CN1314273C - 以运动补偿时间内插图像的方法及设备 - Google Patents
以运动补偿时间内插图像的方法及设备 Download PDFInfo
- Publication number
- CN1314273C CN1314273C CNB981192009A CN98119200A CN1314273C CN 1314273 C CN1314273 C CN 1314273C CN B981192009 A CNB981192009 A CN B981192009A CN 98119200 A CN98119200 A CN 98119200A CN 1314273 C CN1314273 C CN 1314273C
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- motion vector
- motion
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
一种时间内插方法及设备,该方法借助了对位于图像n-1和图像n之间的图像j进行的运动补偿,包括步骤:对图像n-1和图像n之间的运动进行估计,以提供运动矢量场V(n-1,n),检测缺陷运动矢量,其根据用于测量运动矢量局部空间非相干性的方差信息来确定,根据该运动矢量场内插该图像j,对与这些缺陷矢量对应的内插图像区域进行低通滤波,所述低通滤波适应于与所述缺陷矢量相关联的方差。
Description
技术领域
本发明涉及一种在处理连续电视图像序列中采用的,以运动补偿时间内插图像的方法及设备。本发明具体涉及递归PEL类型的运动估计器,即基于像素级而不是图像块级来计算运动的递归PEL类型运动估计器。
背景技术
能够在像素级计算运动,可大大改善内插系统的质量。然而,却不能在图像中所有点上测量运动:当在一场景中有多个目标的不同运动时,例如在第一平面相对于背景平面运动时,像素会从一个图像到另一个图像显现或消失,这使得不可能测量它们的运动。这些区域的存在干扰运动估计器,产生的缺陷问题严重。所以,需要对这些区域特别处理来抑制或至少掩盖所述缺陷。
法国专利第8904256号描述了一种已知的采用一种低效技术方案的具有运动补偿的内插方法。该方法通过方差型的局部算子来检测缺陷运动矢量。然后,通过迫使缺陷运动矢量为零来修改运动矢量场。之后,对这个新的运动矢量场实施采用运动补偿的内插处理。
从法国专利第9104164号还可得知一种像素标记方法,该方法将像素分类为正常、显现、消失或隐藏的像素,然后根据像素的标记情况来针对性处理。内插基于运动矢量场的时间投影并适于这种像素分类。
虽然第一种方法便于使用,但得到的图像质量常常不令人满意。第二种方法过于复杂,并需要对输入图像的运动矢量场进行估计。所得到的改进效果不足以补偿它带来的复杂程度。
发明内容
本发明的目的就是要克服上述缺点。
本发明涉及一种时间内插方法,借助了对位于图像n-1和图像n之间的图像j进行的运动补偿,包括步骤:对图像n-1和图像n之间的运动进行估计,以提供运动矢量场V(n-1,n),检测缺陷运动矢量,其根据用于测量运动矢量局部空间非相干性的方差信息来确定,根据该运动矢量场内插该图像j,对与这些缺陷矢量对应的内插图像区域进行低通滤波,所述低通滤波适应于与所述缺陷矢量相关联的方差。
本发明还涉及一种执行时间内插的设备,包括:运动估计器,它接收图像n-1和图像n,以计算运动矢量场V(n-1,n);检测电路,检测缺陷运动矢量的电路,其根据方差信息来接收运动矢量场;内插电路,它根据这两个图像n-1、n和该运动矢量场,计算内插图像Y(j),低通滤波电路,用于根据检测电路传送的信息对所述内插图像进行滤波,所述滤波适应于与所述缺陷矢量相关联的方差。
附图说明
通过以下参照附图对本发明实施例的说明,将清楚地理解本发明及其优点和其它特征,附图中:
图1是本发明设备的示意图;
图2a至图2c表示在标出有缺陷矢量点的图像上进行的形态学运算。
具体实施方式
利用本发明,运动补偿内插有缺陷的区域可以得到令人满意的处理。该方法简单易用。与相同复杂度的现有技术相比,本发明给出了更好的结果。比较而言,它改善了图像质量。
图1表示一种实现本发明方法的设备。
该设备的两个输入端并联连接到运动估计器1和内插电路2。运动估计器1的输出端并联连接到缺陷检测电路3的输入端、内插电路2的第三输入端以及低通滤波器4的第一输入端。内插电路2的输出端连接低通滤波器4的第二输入端。缺陷检测电路3连接到低通滤波器4的第三输入端。该滤波器的输出端就是所述设备的输出端。
数字编码的前一图像n-1的亮度信息Yn-1,当前图像n的亮度信息Yn同时出现在所述设备的第一输入端和第二输入端。在这两个图像之间进行运动估计。该运动估计可以是递归PEL类型的。然后,在每个像素的电平上指定一个运动矢量,从而产生位于图像n-1和n之间的要内插的图像j的运动矢量场V(n-1,n)。其中将该矢量场传送到内插电路2的第三输入端。内插电路2的第一、第二输入接收所述亮度信息Yn-1和Yn。在运动矢量场V(n-1,n)的运动信息的基础上,计算内插亮度图像Y(j),并将其传送给低通滤波器4,而不考虑运动矢量的可能缺陷,该缺陷将在下面说明。
该矢量场也传送给缺陷检测电路3。该电路的功能是检测缺陷运动矢量。这一检测利用对该矢量场的水平和垂直分量的空间非相干性的测量。
通过对当前矢量场的每个矢量的每一分量(时间指标t)的方差计算,来进行这一测量。
在一个示范性实施例中,对于一给定像素,在以该像素为中心的5×5像素窗口上执行所述计算。下面给出该方差计算的数学方程:
v(i,j,t)表示指定给图像t的i行j列上像素的运动矢量,
vx(i,j,t)和vy(i,j,t)是运动矢量v(i,j,t)的水平和垂直分量。
moy_v(i,j,t)是图像t的以像素i,j为中心的窗口上的v的平均值。
然后,将结果var_vx(i,j,t)和var_vy(i,j,t)与一阈值相比较。如果两个方差中的一个超过该阈值,则标出该矢量为有缺陷的。例如,取该阈值等于10。随后获得所处理的运动矢量场的二值图像,其中二值值“1”表示缺陷矢量,二值值“0”表示非缺陷矢量。
然后,用数学形态滤波器对该二值图像进行处理,以便去除所析出的标记并扩展缺陷矢量的区域。这一处理将在下面说明,它也由缺陷检测器3来执行。图2a、2b、2c表示对图像像素进行的各种运算。
第一处理操作是在覆盖前面得到的二值图像的滑动构造单元基础上的消蚀(erosion)类型滤波。该构造单元是一预定大小的窗口或图像块,在本例中,为3×3像素大小的块。对于在图像中被标记为“1”的一个像素,如果至少有四个属于该构造单元的相邻像素被标记为“1”,则保留这个标记(“1”),否则,将其设为“0”。
图2a表示在矢量场处理之后获得的二值图像部分的例子。出现在格子中的星号,代表着经所述方差阈值比较而被标记为缺陷的矢量所对应的像素。图2b表示在利用3×3像素的构造单元消蚀滤波后得到的二值图像。被画叉的星号对应于在形态学消蚀操作后其标记被删掉的像素。它们对应于值“0”,并且所保留的星号对应值“1”。
在该新图像上进行的第二处理操作是扩展类型滤波。采用的构造单元,例如为3×3像素大小的块。对于一个被标记为“0”像素,如果至少有一个属于该构造单元的相邻像素被标记为“1”,则迫使这个像素的标记为“2”。
图2c表示对消蚀的图像执行扩展处理之后得到的三值(ternary)图像。配置单元具有3×3像素的大小。在没有从前面图像中被删去的星号的边界上出现的画圈星号对应于在扩展后得到的像素,从而对应于标记值“2”。
以这种方法得到的三值遮蔽图像在缺陷检测电路输出端获得,并传送给低通滤波器4。
如上所示,内插图像被传送到低通滤波器4的第二输入端,低通滤波器4的第一输入端接收运动矢量场,第三输入端接收三值遮蔽图像。
以下述方式,在缺陷区域执行低通滤波:
-如果当前像素被标记为“0”,则对作为输入所接收的内插图像的相应像素,不进行滤波;
-如果当前像素被标记为“1”,则在所接收图像内相应缺陷像素周围5×5像素大小的区域上,对这个像素进行低通滤波;
-如果当前像素被标记为“2”,则对所接收图像内相应缺陷像素周围3×3像素大小的区域,进行低通滤波。
所给出的滤波窗口的大小只是示例性的。在缺陷区域(标记为“2”的像素)外围进行较轻度的低通滤波,允许图像在缺陷像素区和其余图像区域之间的平缓过渡。
这种滤波可用于与运动矢量有关的并且测量其局部空间相干性的方差值。采用此方差值确定低通滤波器的系数,从而根据当前矢量的置信度来更改低通滤波器的响应。
这种滤波可应用于亮度值,也可应用于色度值。这样,内插电路计算内插的色度图像,在这些图像上执行这些滤波运算。
本发明的应用领域涉及,例如,频率变换、标准间变换或涉及在运动补偿基础上的时间图像内插的任何应用。
Claims (6)
1.一种时间内插方法,借助了对位于图像n-1和图像n之间的图像j进行的运动补偿,包括步骤:
-对图像n-1和图像n之间的运动进行估计,以提供运动矢量场V(n-1,n),
-检测缺陷运动矢量,其根据用于测量运动矢量局部空间非相干性的方差信息来确定,
-根据该运动矢量场内插该图像j,
-对与这些缺陷矢量对应的内插图像区域进行低通滤波,所述低通滤波适应于与所述缺陷矢量相关联的方差。
2.如权利要求1所述的方法,其特征在于,在所述缺陷运动矢量的检测之后是形态学消蚀和扩展操作。
3.如权利要求2所述的方法,其特征在于,所述形态学消蚀操作所用的结构单元是3×3像素大小的窗口。
4.如权利要求2所述的方法,其特征在于,对于扩展操作之后标记的像素进行所述低通滤波所采用的滤波窗口比对于消蚀操作之后得到标记的像素进行所述低通滤波所采用的滤波窗口要小。
5.如权利要求4所述的方法,其特征在于,对于消蚀之后得到的像素所采用的滤波窗口的大小是5×5像素,对于扩展之后得到的像素所采用的滤波窗口的大小是3×3像素。
6.如权利要求1所述的方法,其特征在于,内插和滤波应用于色度信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9711703A FR2768891B1 (fr) | 1997-09-19 | 1997-09-19 | Procede et dispositif d'interpolation temporelle d'images a compensation de mouvement |
FR9711703 | 1997-09-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1212579A CN1212579A (zh) | 1999-03-31 |
CN1314273C true CN1314273C (zh) | 2007-05-02 |
Family
ID=9511278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB981192009A Expired - Fee Related CN1314273C (zh) | 1997-09-19 | 1998-09-16 | 以运动补偿时间内插图像的方法及设备 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP0903946A1 (zh) |
JP (1) | JPH11168722A (zh) |
CN (1) | CN1314273C (zh) |
FR (1) | FR2768891B1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG89282A1 (en) * | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
FR2820927B1 (fr) | 2001-02-15 | 2003-04-11 | Thomson Multimedia Sa | Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement |
FI20012115A (fi) * | 2001-11-01 | 2003-05-02 | Oplayo Oy | Kuvan interpolointi |
CN100448299C (zh) * | 2002-08-27 | 2008-12-31 | 联发科技股份有限公司 | 播放静态图像的装置及方法 |
EP1592247A1 (en) * | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Block mode adaptive motion compensation |
US7463753B2 (en) * | 2004-09-15 | 2008-12-09 | Raytheon Company | FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker |
JP4483501B2 (ja) | 2004-09-22 | 2010-06-16 | 株式会社ニコン | 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 |
US7965774B2 (en) * | 2006-01-06 | 2011-06-21 | International Business Machines Corporation | Method for visual signal extrapolation or interpolation |
EP1855474A1 (en) | 2006-05-12 | 2007-11-14 | Sony Deutschland Gmbh | Method for generating an interpolated image between two images of an input image sequence |
JP5125294B2 (ja) | 2007-07-31 | 2013-01-23 | 株式会社ニコン | プログラム、画像処理装置、撮像装置および画像処理方法 |
CN101662678B (zh) * | 2008-08-29 | 2011-08-24 | 华为技术有限公司 | 一种运动补偿时域滤波的方法和装置 |
JP2011109229A (ja) * | 2009-11-13 | 2011-06-02 | Nanao Corp | 中間フレーム生成装置及びその方法 |
EP2490448A1 (de) * | 2011-02-18 | 2012-08-22 | Siemens Aktiengesellschaft | Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5057921A (en) * | 1989-03-31 | 1991-10-15 | Thomson Consumer Electronics | Process and device for temporal image interpolation, with corrected movement compensation |
US5534946A (en) * | 1992-05-15 | 1996-07-09 | U.S. Philips Corporation | Apparatus for performing motion-compensated picture signal interpolation |
-
1997
- 1997-09-19 FR FR9711703A patent/FR2768891B1/fr not_active Expired - Fee Related
-
1998
- 1998-08-31 EP EP98402150A patent/EP0903946A1/en not_active Withdrawn
- 1998-09-16 CN CNB981192009A patent/CN1314273C/zh not_active Expired - Fee Related
- 1998-09-17 JP JP10263202A patent/JPH11168722A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5057921A (en) * | 1989-03-31 | 1991-10-15 | Thomson Consumer Electronics | Process and device for temporal image interpolation, with corrected movement compensation |
US5534946A (en) * | 1992-05-15 | 1996-07-09 | U.S. Philips Corporation | Apparatus for performing motion-compensated picture signal interpolation |
Also Published As
Publication number | Publication date |
---|---|
JPH11168722A (ja) | 1999-06-22 |
EP0903946A1 (en) | 1999-03-24 |
FR2768891A1 (fr) | 1999-03-26 |
CN1212579A (zh) | 1999-03-31 |
FR2768891B1 (fr) | 2000-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1314273C (zh) | 以运动补偿时间内插图像的方法及设备 | |
EP0896299B1 (en) | Motion estimator for interlaced images | |
EP0549681B1 (en) | Video image processing | |
NL1021613C2 (nl) | Inrichting en werkwijze voor het omvormen van een raster en/of veldsnelheid met gebruikmaking van adaptieve bewegingscompensatie. | |
EP0187641B1 (en) | Tv system conversion apparatus | |
CN101651786B (zh) | 一种视频序列明暗变化修复的方法和视频处理设备 | |
US5606631A (en) | Method for detecting and removing errors exceeding a specific contrast in digital video signals | |
CN101309385B (zh) | 一种基于运动检测的去隔行处理方法 | |
US20050129306A1 (en) | Method and apparatus for image deinterlacing using neural networks | |
CN102025960B (zh) | 一种基于自适应插值的运动补偿去隔行方法 | |
US6738099B2 (en) | Robust camera motion estimation for video sequences | |
EP2107521B1 (en) | Detecting a border region in an image | |
JPH0799660A (ja) | 動き補償予測装置 | |
CN102946505A (zh) | 一种基于图像分块统计的自适应运动检测方法 | |
CA2704037A1 (en) | Method for detecting a target | |
Zhiwei et al. | New method of background update for video-based vehicle detection | |
CN1512766A (zh) | 转换帧频的装置和方法 | |
JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
CN1565131A (zh) | 检测静态区域 | |
CN111951296B (zh) | 一种目标跟踪方法及装置 | |
CN111754432A (zh) | 一种帧间差分运动检测方法及装置 | |
Zeng et al. | Evaluation of color categorization for representing vehicle colors | |
GB2411538A (en) | Morphological processing of a video sequence | |
KR100209193B1 (ko) | 화상전화기의 목표물 추적장치 및 방법 | |
JPH0414980A (ja) | テレビジョン信号内挿方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070502 Termination date: 20160916 |
|
CF01 | Termination of patent right due to non-payment of annual fee |