CN1913585A - 数字视频中估算运动并补偿所感知运动模糊的方法及系统 - Google Patents
数字视频中估算运动并补偿所感知运动模糊的方法及系统 Download PDFInfo
- Publication number
- CN1913585A CN1913585A CNA200610091334XA CN200610091334A CN1913585A CN 1913585 A CN1913585 A CN 1913585A CN A200610091334X A CNA200610091334X A CN A200610091334XA CN 200610091334 A CN200610091334 A CN 200610091334A CN 1913585 A CN1913585 A CN 1913585A
- Authority
- CN
- China
- Prior art keywords
- pixel
- frame
- motion
- fuzzy
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000013598 vector Substances 0.000 claims abstract description 156
- 238000004590 computer program Methods 0.000 abstract description 23
- 239000004744 fabric Substances 0.000 description 23
- 230000000694 effects Effects 0.000 description 17
- 238000012360 testing method Methods 0.000 description 16
- 238000012423 maintenance Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010019133 Hangover Diseases 0.000 description 1
- 208000024780 Urticaria Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0257—Reduction of after-image effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Liquid Crystal Display Device Control (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
补偿在数字视频序列中因当前帧和上一帧之间运动所引起的感知模糊的方法,所述方法包括:对当前帧和上一帧中多个像素块中各像素块,估算在所述帧之间的运动矢量;根据各群中的一个运动矢量和邻接群中的运动矢量,对多个运动矢量群的各群估算群运动矢量;将所对应群的群运动矢量分配给当前帧中的各像素;根据当前帧产生初始猜测帧,并作为所分配的对应群运动矢量的函数使猜测帧中的对应像素模糊;将各模糊像素与当前帧中的对应像素比较,产生各对应像素的误差像素;使各误差像素模糊并加权;以及合并各误差像素和其在初始猜测帧中的对应像素,以刷新猜测帧并补偿模糊。还提供了补偿感知模糊的系统及计算机程序。
Description
有关申请的相互参照
本申请要求在2005年6月13日提交的美国临时专利申清No.60/689808的35U.S.C.119(e)下的权利,其内容通过参照而结合于本文。
技术领域
本发明一般地涉及图像处理,更具体地说,涉及估算数字视频中的运动的方法及系统和补偿保持型显示的数字视频中感知模糊的方法和系统。
背景技术
众所周知,在例如液晶显示(LCD)的保持型显示器件上显示的数字视频中运动物体可能在观看者看来会有些模糊。据知,感知模糊部分地是由液晶显示单元较慢的LC响应引起的。与例如阴极射线管(CRT)的脉冲型器件相比,LCD显示器具有慢得多的亮度变化响应时间。感知模糊还部分地由在LCD显示器中普遍使用的取样保持技术中固有的延长的发光引起,这造成在人的视网膜上图像余辉的形成。当观看该视频序列时这些图像余辉就产生模糊的视觉感。
有人提出,通过调整LCD显示器来以与灰度转变成比例的量对加于各器件像素上的驱动电压进行调节,从而补偿LCD显示器较慢的响应时间。这种方法通常称为“过驱动”技术,已由H.Okurama、M.Akiyama、K.Takotoh和Y.Uematsu在文章“用于大尺寸LCTV的新的低图像滞后的驱动方法”(“A New Low Image-Lag Drive Methodfor Large-size LCTV”,SID’02 Digest,PP.1284-1287,2002)中描述。
有人提出,通过使用黑帧插入来调整LCD显示器,从而补偿在取样保持驱动技术中固有的延长发光,这种方法已由T.Kurita在文章“有关运动图像保持型显示的所感觉MTF的几点考虑”(“Consideration on Perceived MTF of Hold Type Display For MovingImages”,IDW’98 Digest,pp.823-826,1998)中描述。Park等人的美国专利申请出版物No.2003/0122772中也涉及黑帧插入,并且公开了通过调节给LCD显示器的信号来控制实际数据与所插入的黑数据之比的运行LCD显示器的方法。该比率根据视频流中运动的速度进行控制。据说,增加黑数据与视频数据之比尤其可防止出现运动模糊(motion blur)。
用于补偿延长发光的另一种技术涉及背光闪烁,正如T.Furuhashi、K.Kawabe、J.Hirkata、Y.Tanaka和T.Sato在文章“用于运动画面的高质量的TFT-LCD系统”(“High quality TFT-LCDSystem For Moving Picture”,SID’02 Digest,PP.1284-1287,2002)中所描述的。
为了避免改变保持型显示本身,公知的方法是对数字视频序列的各帧在保持型器件上显示之前施加视频预处理,从而补偿运动模糊。例如,正如K.Sekiya和H.Nakamura在文章“对运动画面的人眼跟踪积分效应和减小模糊的新的可能性”(“Eye-Trace Integration Effecton the Perception of Moving Pictures and a New Possibility For ReducingBlur”,SID’02 Digest,PP.930-933,2002)中所描述的,分析了对阶跃函数的LCD的低通滤波效应,并被用于引入波形调制,从而减小矩形波形中的运动模糊。
用于运动模糊补偿的另一种视频预处理技术是由M.Klompenhouwer和L.J.Velthoven在文章“液晶显示的运动模糊的减小:补偿运动的反向过滤”(“Motion Blur Reduction for Liquid CristalDisplays:Motion Compensated Inverse Filtering”,VisualCommunications and Image Processing,pp690-698,2004)中详细描述的。按照这种技术,通过运用适应运动局部方向的一维高通过滤器处理每个像素,减小模糊。然而,正如运用其它已知的反向过滤方法一样,噪音可能是个问题。
De Haan等人的美国专利申请No.2003/0006991公开了抑制因沿轨迹运动积分(motion integration)而造成的运动模糊的方法,该方法使用对视频信号的逆积分过滤(inverse integration filtering)。视频信号的高空间频率特性确定成使得在图像无深浅反差的区域中过滤可被避免。该方法的宗旨在于减小其它反向过滤方法典型的噪音调制。
还考虑了其它预处理方法。例如,Nishimura的美国专利申请No.2002/0154088公开的一种在LCD显示器上显示图像的方法,所述LCD显示根据所确定的运动矢量,在构成输入图像的图像信号和消隐信号之间切换。该方法旨在减小现有技术中为补偿与CRT显示器相比的LCD显示器的物理特性而作的种种尝试所引起闪烁、拖尾和图像滞留。该方法考虑图像运动速度的因素来改变非图像信号的显示速率。更具体地说,当图像运动很快时,在一帧期间的非图像信号的显示速率就增加,尽力这样地控制,使得非图像信号的电平更接近白色信号电平而不是黑色信号电平。当图像运动很慢时则相反。如此,显示亮度和清晰度一般会增加。
本发明的对象目的在于提出在数字视频中用于估算运动和补偿所感知运动模糊的方法及系统。
发明内容
按照本发明的一个方面,提出了数字视频序列中当前帧和上一帧之间的像素运动的估算方法,所述方法包括如下步骤:
对所述当前帧和上一帧的多个像素块中的各像素块,估算所述帧间的运动矢量;
根据在各群中的一个运动矢量和邻接群中的运动矢量对多个运动矢量群中的各群估算群运动矢量;
将其对应群的群运动矢量分配给当前帧中的各像素。
运动矢量估算的操作可包含:将当前帧和上一帧分为多个像素块,并且所述运动矢量估算包含:对于各像素块,从运动矢量候选列表中选择在当前帧中像素块和上一帧对应的像素块之间提供最小差值的运动矢量。
群运动矢量估算的操作可包含:对各群中具有基本相同方向和至少阈值平均范围的运动矢量的比例已达到第一阈值比例的对应的群赋值群运动矢量;在具有基本相同方向的已赋值的群运动矢量小于第二阈值比例时,迭代地将已赋值群的运动矢量赋予邻接的未赋值群。
按照本发明的另一方面,提出了用所述帧之间像素的运动方向和运动范围的估算值来补偿因数字视频序列的当前帧和上一帧之间的运动引起的感知模糊的方法,所述方法包括如下步骤:
根据当前帧产生初始猜测帧;
作为其对应的所估算的模糊方向和模糊范围的函数,使猜测帧中的像素变模糊;
将各变模糊的像素与当前帧中的对应像素比较,产生各对应像素的误差像素;
将各误差像素变模糊并加权;以及
将各误差像素和其在初始猜测帧中的对应像素合并,从而刷新猜测帧并补偿模糊。
权重可以是对应像素运动(范围和方向)的函数。
按照本发明的另一方面,提出补偿由于数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的方法,所述方法包括如下步骤:
对所述帧中的多个像素块中各像素块,估算在所述帧之间的运动矢量;
根据各群中的一个运动矢量和邻接群中的运动矢量,对多个运动矢量群中的各群估算群运动矢量;
将对应群的群运动矢量分配给当前帧中各像素。
根据当前帧产生初始猜测帧;
作为其对应的所分配的群运动矢量的函数,使猜测帧中的像素变模糊;
将各变模糊的像素与当前帧中对应像素比较,产生各对应像素的误差像素;
使误差像素变模糊并加权;以及
将各误差像素和其在初始猜测帧中对应像素合并,从而刷新猜测帧并补偿模糊。
按照本发明的另一方面,提出了估算在数字视频序列中在当前帧和上一帧之间像素运动的系统,所述系统包括如下:
块矢量计算机,对所述当前帧和上一帧的多个像素块中各像素块确定所述帧之间的运动矢量;
群矢量计算机,根据各群中的一个运动矢量和邻接群中的运动矢量,对多个运动矢量群中的各群确定群运动矢量;以及
像素矢量分配器,将其对应群的群运动矢量分配给当前帧中的各像素。
按照本发明的另一方面,提出使用所述帧之间像素的运动方向和运动范围的估算值来补偿由于在数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的系统,所述系统包括:
运动模糊过滤器阵列,作为其对应的所估算的模糊方向和模糊范围的函数,使根据当前帧的初始猜测帧中的像素变模糊;
比较器,将各变模糊的像素与当前帧中的对应像素比较,产生各对应像素的误差像素,所述运动模糊过滤器阵列还使各误差像素变模糊并加权;以及
加法器,将各误差像素和其在初始猜测帧中对应像素合并,从而刷新猜测帧并补偿模糊。
按照本发明的另一方面,提出补偿由于在数字视频序列中当前帧和上一帧之间运动引起的感知模糊的系统,所述系统包括:
块矢量计算机,对所述帧的多个像素块中各像素块估算在所述帧之间的运动矢量;
群矢量计算机,根据各群中的一个运动矢量和邻接群中的运动矢量,对多个运动矢量群中的各群估算群运动矢量;
像素矢量分配器,将其对应的群的群运动矢量分配给当前帧中的各像素。
运动模糊过滤器阵列,作为其对应的所估算的模糊方向和模糊范围的函数,使根据当前帧的初始猜测图像中的像素变模糊;
比较器,将各个变模糊的像素与当前帧中对应像素比较,产生各对应像素的误差像素,所述运动模糊过滤器阵列还使各误差像素变模糊并加权;以及
加法器,将各误差像素和初始猜测帧中其对应的像素合并,从而刷新猜测帧并补偿模糊。
按照本发明的另一方面,提出了包括估算在数字视频序列中当前帧和上一帧之间像素运动的计算机程序的计算机可读介质,所述计算机程序包含:
对所述当前帧和上一帧的多个像素块中各像素块估算所述帧之间的运动矢量的计算机程序代码;
根据各群中的一个运动矢量和邻接群中的运动矢量,对多个运动矢量群中的各群估算群运动矢量的计算机程序代码;以及
将其对应的群的群运动矢量分配给当前帧中各像素的计算机程序代码。
按照本发明的另一方面,提出了包括使用估算在所述帧之间像素的运动方向和运动范围、补偿由于在数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的计算机程序的计算机可读介质,所述计算机程序包括:
根据当前帧产生初始猜测帧的计算机程序代码;
作为其对应的所估算的模糊方向和模糊范围的函数,使猜测帧中的像素变模糊的计算机程序代码;
将各个变模糊的像素与当前帧中对应像素比较,产生各对应像素的误差像素的计算机程序代码;
使各误差像素变模糊并加权的计算机程序代码;以及
将各误差像素和其在初始猜测帧中其对应像素合并,从而刷新猜测帧并补偿模糊的计算机程序代码。
按照本发明的另一方面,提出了包括补偿由于在数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的计算机程序的计算机可读介质,所述计算机程序包括:
对运动模糊帧中的多个像素块中各像素块,估算在所述帧之间运动矢量的计算机程序代码;
根据各群中的一个运动矢量和邻接群中的运动矢量,对多个运动矢量群中的各群估算群运动矢量的计算机程序代码;
将对应群的群运动矢量分配给当前帧中各像素的计算机程序代码。
根据当前帧产生初始猜测帧的计算机程序代码;
作为对应的所分配群运动矢量的函数,使猜测帧中的像素变模糊的计算机程序代码;
将各变模糊的像素与当前帧中对应像素比较,产生各对应像素的误差像素的计算机程序代码;
使各误差像素变模糊并加权的计算机程序代码;以及
将各误差像素和初始猜测帧中其对应像素合并,从而刷新猜测帧并补偿模糊的计算机程序代码。
本文所述的方法及系统具有增加保持型显示器(例如,LCD显示器)上显示的数字视频清晰度的优点,而不再有在许多已知的反向过滤方法中普遍存在的噪声放大问题,也不再需要对保持型显示硬件本身进行改动。而且,通过将像素分组并将运动矢量分群,可以很快地找到帧中显著的总体和局部对象运动,以供在预补偿所感知运动模糊时使用。
附图说明
以下结合附图详细说明各实施例,附图如下:
图1是表示由于保持型显示器件和人的视觉系统的运动感觉机理所形成的数字视频图像帧中感知模糊的示意图;
图2a至2d是表示造成数字视频帧中感知模糊的人的视觉系统的跟踪行为的帧和定时图;
图3是表示由于保持型显示器件和人的视觉系统的跟踪行为的综合效应形成的空间低通过滤效应的示意图;
图4a是以空间域表示由于保持型显示器件和人的视觉系统的跟踪行为的综合效应引起的空间低通过滤效应的曲线图;
图4b是以频率域表示由于保持型显示器件和人的视觉系统的跟踪行为的综合效应引起的空间低通过滤效应的曲线图;
图5是表示在一个帧间运动估算值条件下,对空间低通过滤效应进行运动模糊预补偿的示意图;
图6是表示对空间低通过滤效应进行运动模糊预补偿的示意图;
图7是表示根据帧间像素运动对数字视频序列中感知模糊预补偿方法的流程图;
图8是表示在运动矢量估算时所执行步骤的流程图;
图9是说明在数字视频序列中两帧表示为逐步经处理以检测角部的两组图像;
图10是表示在图9的两帧间像素块的运动矢量的运动矢量场;
图11是表示将在两帧间各像素块的运动矢量分群从而获得在帧间像素的运动矢量的步骤的流程图;
图12表示根据将群运动矢量赋予靠近的邻近群的方法,将群运动矢量迭代地赋予各群;
图13是表示用与帧中各像素对应的估算运动矢量来预补偿帧中所感知运动模糊的步骤的流程图;
图14a至14d是实验的数字视频序列,它们各具有独特的运动特性;
图15a表示根据图14c的测试序列模拟的作了所感知运动模糊和运动预补偿的帧;
图15b表示根据图14d的测试序列模拟的作了所感知运动模糊和运动预补偿的帧;
图16表示用数码相机摄取并在LCD显示器上没有运动地显示的三幅测试图像;
图17表示图16的用数码相机有运动地摄取的三幅测试图像中的第一幅图像并在LCD显示器上在没有和有运动预补偿的情况下有运动地显示;
图18表示图16的用数码相机摄取的三幅测试图像的第二幅图像,在LCD显示器和CRT显示器上没有运动地显示,以及在有和没有运动预补偿的情况下在运动中拍摄的图像;以及
图19表示图16的用数码相机摄取的三幅测试图像的第三幅图像,并在LCD显示器上和CRT显示器上没有运动地显示,以及在有和没有运动预补偿的情况下在运动中摄取的图像。
具体实施方式
为便于理解,首先讨论由使用取样保持显示格式的保持型显示(例如LCD显示器)引起的数字视频图像中感知模糊。参阅图1,图1的示意图表示由于LCD显示器和人的视觉系统的运动感觉机理形成的在数字视频图像帧中的感知模糊。以下假定LCD显示器的帧速率足够地高,从而容许在一帧间隔内在人的视觉系统内完整的时间积分。在文章“人的视觉系统对运动图像的时间累加”(“Temporal Summationof Moving Images by the Human Visual System”,Proceedings of theRoyal Society of London B,221(1184),pp.321-339,1981)中这种情况表示为D.C.模糊,对于帧速率60Hz或更高些满足这种条件。以下还假定人眼可以完全跟踪在LCD显示器上的区域运动(regionmovement)。这已经由S.Daly在文章““Engineering Observations FromSpatiovelocity and Saptiotemporal Visual Models”根据空间速度和空间时间的视觉模型的工程观察”(SPIE Conference on Human Vision andElectronic Imaging III,SPIE.Vol.3299,pp.180-191,1981)中报道,人眼可以可靠地跟踪速度为每秒80度的对象。这等同于(例如)在观看距离二倍于显示宽度时在60Hz扩展的图形矩阵(XGA)LCD显示器上每帧48像素(48ppf)的运动速率。
在输入视频序列被输入至LCD显示器时,来自输入视频序列的各数字视频图像或帧在LCD显示器上显示并且保持一帧间隔。当观看运动画面时,人眼运用平滑追寻的眼球移动来积极跟踪画面,从而在人的视网膜上产生稳定的图像,这正如M.J.Hawken和K.R.Gegenfurtner在文章“对二阶运动对象的追寻的眼球移动”(“Pursuit Eye Movements to Second Order Motion Targets”,Journal ofthe Optical Society of America A,18(9),pp2292-2296,2001)中所描述的。因而,人的视觉系统采取视觉时间低通过滤来感觉到无闪烁的图像。
图2a至2d是表示在数字视频图像中形成感知模糊的人眼跟踪行为的帧和定时图。图2a表示一个典型的二维帧。图2b表示图2a所示的帧中一条扫描线的水平位置与时间的关系。图2c表示在人眼跟踪该扫描线的运动以后该扫描线的运动补偿位置。可以看到相同的光图案周期地成像在视网膜上,形成稍微稳定状态的视感觉。图2d表示由人的视觉系统所感觉的处于运动中的帧,犹如在一帧间隔内积分的结果。由此可以看到该帧在感觉上是模糊的。
因此,可以看到LCD显示器和人的视觉系统跟踪行为的综合形成空间低通过滤效应。在图3中示意地画出这种效应,这种效应运用数学模型可用下列方程(1)和(2)表示为降级(degradation)函数。
H(f)=sinc(πfvt) (2)
式中:
v是以每秒像素数表示的帧移动;以及
T是以秒表示的显示器刷新率。
方程(1)是定在运动方向的一维模糊函数,而方程(2)是对应的频率域函数。方程(1)和(2)分别表示为图(4a)和(4b)的曲线。
为了处理上述讨论的感知模糊问题,已经开发了运动模糊预补偿技术,现在结合附图5-13说明这种预补偿技术。参阅图5,该图是给出估算帧间运动,对空间低通过滤效应进行运动模糊预补偿的系统的示意图。已经提出使用估算图像的运动方向和运动范围,对数字摄像机摄取的数字图像的运动模糊预补偿的方法,这正如未决的美国专利申请No.10/827394“运动模糊校正”(“Motion BlurCorrection”,2004年4月19日提交)所描述的,该专利的内容通过引用而结合于本文。已经发现为补偿静止图像中模糊所设计的方法所使用的一些概念对于预补偿由于在数字视频序列中帧间像素运动引起的感知模糊可能是有效的。
图6是对空间低通过滤效应进行运动模糊预补偿的另一示意图。在图6中,数字视频序列中每帧通过运动处理过滤器,所述过滤器执行帧运动估算和帧运动补偿。运动处理过滤器的输出送至LCD显示器。还有一个二帧存储缓冲器(未图示)用于使数字视频序列能被实时地处理。
图7是根据在帧间像素运动预补偿数字视频序列中感知模糊所执行的步骤的流程图。在接收到两个接连的或者依次的数字视频帧(当前帧Fn和上一帧Fn-1)后(步骤100),对当前帧中各像素块估算所述二帧之间的运动矢量(步骤200)。得到估算的运动矢量群,并且对所述群估算群运动矢量,再将群运动矢量分配给当前帧中的各个像素(步骤300)。使用分配的群运动矢量,当前帧的像素被过滤,从而预补偿感知模糊(步骤400)。
进行对像素块估算运动矢量,并接着将估算的运动矢量群集,从而很快找到当前帧中显著的整体和局部的运动。这种方法与公知的用来(以牺牲性能为代价)精确寻找个别像素运动的光学流方法相反。
图8还说明估算运动矢量的方式。首先,对当前帧Fn和上一帧Fn-1进行预处理和特征检测(步骤210)。预处理先开始从当前帧Fn和上一帧Fn-1各取出Y-通道亮度图像In和In-1。然后用3*3箱式过滤器(box filter)处理图像In和In-1,使得其平滑,产生预处理图像帧Gn和Gn-1,用方程(3)和(4)表示如下:
Gn-1=In-1H (3)
Gn=InH (4)
式中:
H是过滤器输入响应。
特征检测包括使用Harris角检测器检测在帧中各角,正如C.G.Harris和M.Stephens在文章“综合的角和边缘检测器”(“ACombined Corner And Edge Detector”4th Alvey Vision Conference,pp.147-151,1998)中所描述的。更具体地说,使用下列方程(5)对经预处理的图像帧Gn和Gn-1(分别表示为G1)的每一帧计算测量值R1:
式中:
x和y是图像G1中像素坐标;
D1,,x和D1,y是图像G1在坐标(x,y)的水平和垂直方向导数;以及
ε是防止溢出的小数。
通过使用一个7×7最大过滤器来执行松弛,消除在小邻近区域内的双角(duplicate corners)。然后以递减的次序将测量值R1,分类,第一k对应像素被认为是角像素c(x,y),如下列方程(6)所示:
k=min{检测到的角的总数,512} (6)
图9是说明在数字视频序列中两帧表示为逐步经处理以检测角的两组图像。两行中每一行表示对应的输入帧(a,e)、亮度图像(b,f)、箱式过滤(平滑或者模糊地)的亮度图像(c,g)和具有检测到的角(d,h)(表示为小点)的图像。
返回图8,一旦预处理和特征检测(步骤210)完成,将两个相邻帧Fn和Fn-1(具有高度h和宽度w)的每一帧划分为8×8像素块(步骤212),从而建立像素块运动矢量场的图像Vn(步骤214)。图像Vn的尺寸为(h/8)×(w/8),而各个运动矢量的位置为Vn(i,j)。
那末,通过从候选运动矢量L(m)的列表L中选择运动矢量,以光栅扫描次序确定在像素块运动矢量场图像Vn中在位置Vn(i,j)处的各运动矢量(步骤216)。更具体地说,从候选运动矢量列表L选择提供在数字视频序列中当前帧Fn的像素块和上一帧Fn-1的对应像素块之间最小差值的运动矢量,正如在本文还要叙述的。这种称为“真实运动估算”处理方案的原理由Ralph Braspenning和Gerard de Haan在文章“使用特征一致性的真实运动估算”(“True-Motion EstimationUsing Feature Correspondences”,SPIE Proceedings of VisualCommunications and Image Processing,pp.396-407,Jan.2004)中所描述的。
按照下列方程(7),对由图像Vn中位置Vn(i,j)表示的各像素块建立候选运动矢量的列表L:
式中:
Vn-1是前两帧的运动矢量场;以及
η是零平均值,具有方差σ2的高斯随机变量。
真实运动估算部分地依据于假定在相邻帧Fn和Fn-1之间对象运动大于该像素块。同样地,在当前帧Fn中已经估算的邻近块的运动矢量被用作预测的空间候选值。根据运动矢量是以一定的扫描次序从候选列表中选择的,空间候选值Vn(i-1,j),Vn(i,j-1)是可供使用的。即,
在选择Vn(i,j)之前通过从对应候选列表中选择时Vn(i-1,j),各Vn(i,j-1)须已经被建立。
以与空间候选值类似的方式,时间候选值Vn-1(i+2,j+2)根据运动矢量的上一选择而设置,在此例中,为从上一对相邻帧建立的运动矢量场Vn-1而设置。对于数字视频序列,在随后的相邻帧之间运动矢量非常可能具有高相关性,因此在许多情况下时间候选值能快速地收敛于为运动作的精确选择。
根据对象具有惯性的假定,随机侯选值Vn(i-1,j)+η,Vn(i,j-1)+η为正确跟踪变化的对象运动而设置。
根据在预处理和特征检测(步骤210)检测的角,获得角候选列表Cn(i,j)。对当前帧Fn中块的每一角c,做出在上一帧中在25×25窗口内所有角c’的相关性。将正规化互相关NCC用于计算当前帧Fn中的角c(u,v)和在上一帧中的角c’(u’,v’)之间的相关系数(correlationscore)。正规化互相关NCC表示如下:
式中:
I(u,v)和I’(u’,v’)是在两个已处理帧图像中的像素。
具有NCC值>0.90的角对之间的运动矢量被加入角候选值列表Cn(i,j)。
因为帧间像素块的零移动可能频繁地发生(这决定于数字视频序列中的主题),在,给出零矢量以能快速地收敛并确实为零矢量。
在候选列表L中各候选运动矢量L(m)被赋予对应的罚值P(m)用于块差值计算,如下所示:
赋予罚值是为了给更可能的真实运动矢量候选值增加优先。惩罚机理确保对空间候选值的优先选择,以提供平滑的矢量场。另一方面,随机候选值最少可能成为真实运动矢量,因为它们是为得到各像素块之间最佳匹配还没被找到的新矢量。
然后,按照方程(9),对在当前图像帧Gn的运动偏移像素块和上一图像帧Gn-1的对应块之间的各候选矢量L(m)=(u,v)计算差值绝对值的惩罚和(SAD)S(m):
式中:
b是像素块高度和宽度。
列表L的所有候选运动矢量L(m)中产生最低S(m)的候选矢量Lmin (m)被选为该像素块的运动矢量Vn(i,j),并且被用于刷新运动矢量场图像Vn(步骤218),正如下列方程(10)所示:
Vn(i,j)=Lmin (m) (10)
图10表示在图9的二帧之间像素块的运动矢量的运动矢量场图像。
图11是进一步说明图7的步骤300的流程图,用于为了获得各像素的帧间运动矢量,将运动矢量场图像Vn中的运动矢量Vn(i,j)分群。最初,将运动矢量场图像Vn划分为6×6块运动矢量Vn(i,j)的群(步骤310),再将各群中运动矢量Vn(i,j)量化为四个离散方向中的一个(步骤312)。假如在一个群中经量化方向的运动矢量中超过75%具有相同方向dn(步骤314),那末该群被赋予具有该运动方向dn的群运动矢量(步骤316)。否则,该群不被赋予群运动矢量(步骤318)。
假如该群被赋予具有运动方向dn的群运动矢量,倘若属于该群的块运动矢量的平均范围小于2个像素(步骤320),那末该群所赋予的群运动矢量被清除(步骤318)。
假如属于该群的块运动矢量的平均范围大于或者等于2个像素,就要进行检查来确定是否所有被赋值的群运动矢量的至少75%具有相同运动方向Dn(步骤322)。假如是,则该帧中所有像素被分配具有方向Dn和其范围为具有方向Dn的所有被赋值群运动矢量的平均值的运动矢量(步骤326)。这是通过建立施加在该帧中所有像素的全局帧运动矢量来实现的。
假如所有被赋值的群运动矢量不到75%具有相同运动方向dn,那末还没有被赋予群运动矢量的各群被赋予与它们邻接(靠近连接)的邻近群被赋予的相同的群运动矢量(步骤324)。邻近群是那些满足4-连通性原理的群。群运动矢量的这种赋予是基于这样的假定:邻接像素块很可能是相同对象上的部分,因此可以假定在帧间具有相同的运动。这个过程继续迭代地进行,直至所有还没有被赋予群运动矢量且其邻接具有已被赋予群运动矢量的群的各群都被赋予了群运动矢量(步骤328),此时已被赋值的群运动矢量被分配给当前帧中对应的那部分像素(步骤330)。
图12表示根据将群运动矢量赋予靠近的邻近群的方法、将群运动矢量迭代地赋予各群,从而快速地估算各帧中显著的局部对象运动。
图13是进一步说明图7的步骤400的流程图,用所分配的运动矢量来补偿帧Fn中的所感知运动模糊,以产生输出帧On供LCD显示器显示。在下文叙述的预补偿是对上述未决的美国专利申请No.10/827394“运动模糊的校正”中公开的技术的修改。
在步骤300中,从分配给当前帧Fn中对应像素的群运动矢量获得K个运动矢量的阵列。在没有任何运动矢量时,就无需预补偿,输出帧On等于帧Fn。
然而,在帧间存在运动的场合,就构造一个过滤器组(步骤410),并且为阵列中各运动矢量创立一个线性模糊过滤器fk,它具有与有关的运动矢量对应的尺寸sk和方向θk,并被加到过滤器组上。例如,当K=2时,基于具有方向θ1=0°和范围s1=5个像素的运动矢量的两个模糊过滤器中的第一个f1表示为:
基于具有方向θ2=90°和范围s2=3个像素的运动矢量,两个模糊过滤器中的第二个f2表示为:
通过设定帧Fn为输出帧On的初始猜测图像,建立初始猜测帧(步骤412)。从该猜测图像中选择一个猜测像素(步骤414),并且从过滤器组中提取与该猜测像素对应的模糊过滤器(步骤416)。假如该模糊过滤器不具有至少一个像素的范围(步骤418),那末该方法返回到步骤414,以选择下一个像素。否则,使用Sobel边缘过滤器,估算在模糊过滤器运动方向上的猜测像素的边缘宽窄(步骤420),并且作为在Wn(x,y)中的权重系数存储。按照下列的方程(11)、(12)和(13)进行Sobel边缘过滤器操作和加权:
Wn(x,y)=cos·dx(x,y)+sin·dy(x,y) (13)
然后,通过将On(x,y)与过滤器fk卷积用模糊过滤器使猜测像素变模糊(步骤422),以获得被模糊的像素Bn(x,y)。通过从Fn(x,y)减去Bn(x,y)获得误差En(x,y),确定在帧Fn的像素和被模糊的猜测像素之间的误差(步骤424)。再用模糊过滤器fk模糊误差En(x,y),并用在步骤420获得的边缘宽窄作为权重系数加权(步骤426)。然后按照下列方程(14)用经加权和模糊的误差刷新该猜测像素(步骤428):
On(x,y)=On(x,y)+βx En(x,y)x Wn(x,y) (14)
式中:
β是恒定步长。
假如在猜测图像中还有更多的像素要被选择(步骤430),那末该方法回到步骤414选择下一个像素。否则,计算输出帧On的总调节,以确定按下式(15)在所有像素上计算的猜测图像和猜测图像之间的总差值ΔE:
如ΔE小于预定的误差阈值,那末对于帧Fn的预补偿完成,用调在各像素位置运动方向上的方向清晰过滤器使输出帧On清晰,并将输出帧On提供给LCD显示器显示(步骤436)。否则,通过选择经刷新的猜测图像中的一个像素后回到步骤416,进行重复迭代。
图14a至14d是各具有独特的运动特性的实验数字视频序列,。用实施上述方法的软件对实验序列进行测试,所述软件是在2.26Ghz处理速度的Intel Pentium 4、256Mb的RAM、存储器总线速度266Mhz和Microsoft Windows 2000 Professional操作系统上用MicrosoftVisual Studio C++6.0构造和汇编的。
对于图14a的序列,使用具有320×240像素分辨率的摄像机从左向右摇动摄取构成该序列的两幅图像帧。该两帧的比较得到总体帧运动的估算θ=0°和范围为13个像素,正如在第三幅图像帧上箭头所示。
对于图14b的序列,使用具有640×480像素分辨率的摄像机摄取构成该序列的两幅图像帧。在这个例子中,该图像序列表示朝向不同方向跑动的两只狗。该两帧的比较得到对象运动的估算是其中一只狗为θ=90°和范围为10个像素,正如在第三幅图像帧中由多个连成一体的群所描绘的标识单个运动对象的这只狗身上箭头所示。第二只狗的运动由于运动范围小于范围阈值而忽略不计。
对于图14c的序列,使用具有176×144像素分辨率的摄像机摄取构成该序列的两幅图像帧。在这个例子中,该图像序列表示静态的背景和运动的人。该两帧的比较得到对象运动的估算θ=0°和范围为3个像素,正如在第三幅图像帧中由多个群所描绘的该运动对象上箭头所示。
对于图14d的序列,使用具有320×240像素分辨率的摄像机摄取构成该序列的两幅图像帧。在这个例子中,该图像序列表示在场景中几个足球运动员在跑动。该两帧的比较得到多个对象运动的估算。两个对象估算为θ=0°和范围为7个像素,一个对象估算为θ=180°和范围为4个像素,而另一个对象估算为θ=270°和范围为11个像素。这些对象运动由在对象上箭头所示,各对象由第三幅图像帧中多个群所描绘。
图15a表示模拟的基于图14c的测试序列的所感知运动模糊和被运动预补偿的帧。按照图2a至2d的帧和定时图在估算的运动方向上积分来形成模拟的所感知运动模糊的帧。左上图像是原有帧,右上图像是预处理图像,左下图像是模拟的所感知运动模糊帧和右下图像是所感觉的运动预补偿图像。可以看到右下图像的清晰度要比左下图像好得多。
图15b表示模拟的基于图14d的测试序列的所感知运动模糊和运动预补偿的帧。同样地,按照图2a至2d的帧和定时图在估算的运动方向积分来形成模拟所感知运动模糊帧。左上图像是原有帧,右上图像是预处理图像,左下图像是模拟所感知运动模糊的帧和右下图像是所感觉的运动预补偿图像。由此可以看到右下图像的清晰度要比左下图像好得多。
已经发现上述运动预补偿方法的性能部分地取决于原有帧中运动的复杂性。也已经发现角检测是在运动预补偿方法中最耗费计算能力的操作。下列的表格1列出在预补偿所感知运动模糊时的平均帧处理时间。时间由Standard C library提供的内部计时器测定。
帧尺寸 | 标准处理时间(ms) | 优化处理时间(ms) |
640×480 | 438 | 219 |
240×352 | 109 | 47 |
176×144 | 31 | 15 |
表格1
在表格1中标准处理时间是在执行上述方法时收集的,优化处理时间是在执行改进的方法(其中,角检测施加在该帧的子样本上)时收集的。
图16表示在实验时用数码相机摄取的并且没有运动地显示在LCD显示器上的三幅测试图像。摄像机是具有ISO800的CanonEOS20D,光圈F1.4-F1.6。使用2ms的曝光时间,摄像机分辨率是2336×3504。LCD显示器是具有亮度100%和对比度75%的DellE193FP监视器。为了使所感觉的输出可视化,在摄像机以高于视网膜正常积分时间的高帧率摄取图像的时间平均。各幅图像中的帧对准是用摄像机的快门时间标志执行的。
图17表示在没有和有上述运动预补偿的情况下用摄像机摄取的并且有运动地显示在LCD显示器上的图16的三幅测试图像的第一幅图像(灰条)。对于图17上图(未预处理图像),在帧运动为每帧8个像素(8ppf)时评估灰条的模糊边缘宽度(BEW),灰条的模糊边缘宽度(BEW)在上升时为11.93个像素,在下落时为13.69个像素。对图17下图(已经预处理图像)测量上升BEW为7.03个像素,下落BEW为10.06个像素,表示由摄像机感测的预处理图像更为清晰。
图18表示在有和没有上述运动预补偿的情况下用摄像机摄取的并且没有运动地显示在LCD显示器(左上图)上和CRT显示器(右上图)上的图16的三幅测试图像的第二幅图像(脸)。也是表示用移动中的摄像机从LCD摄取的“脸”测试图像,左中图(没有运动预补偿)和右中图(具有过运动预补偿)。在最下面一行表示用移动中的摄像机从LCD摄取的“脸”测试图像,左下图(在运动预补偿后)和右下图(作为边缘运动图像)。运动速率是8ppf。由此可见经清晰化和边缘运动预处理图像得到了更清晰的特征外貌,例如脸上的眼睛和嘴唇部位。
图19表示在有和没有运动预补偿的情况下用摄像机摄取的并且没有运动地显示在LCD显示器(左上图)上和CRT显示器(右上图)上的图16的三幅测试图像的第三幅图像(饮料箱)。也是表示用移动中的摄像机从LCD摄取的“饮料箱”测试图像,左中图(没有运动预补偿)和右中图(具有过运动预补偿)。最下面一行表示用移动中的摄像机从LCD摄取的“饮料箱”测试图像,左下图为在运动预补偿后,右下图为边缘运动图像。运动速率是8ppf。由此可见经清晰化和边缘运动预处理图像得到了更清晰的文本字符。
尽管在上面已经结合附图阐述了特定的实施例,但应明白其它选择也是可能的。例如,虽然在步骤212在预处理和特征检测时使用3种过滤器规格,若需要的话可以使用其它过滤器规格,从而达到适合特定实施的效果。而且,虽然在确定特征配合的角时谈到使用Harris角检测器,其它角检测算法也可以使用,例如由S.Smith和J.Brady在文章“Susan--对低程度的图像处理的新方案”(“Susan-a new approach to low level image processing”,International Journal ofComputer Vision 23,pp.45-78,May 1997)中所介绍的SUSAN算法。
虽然在步骤212中使用8×8像素块尺寸,应当理解,考虑处理时间与性能之间的平衡效果,也可以选择更大或更小的块尺寸。
虽然在步骤216中特征匹配时计算正规化互相关时使用了25×25像素邻群,应当理解,也可以选择其它邻群尺寸。而且,虽然所有正规化互相关计算选择大于0.90作为候选运动矢量列表的候选值,但是这个阈值可以按要求增加或者减小,以适合特定的实施方式。
虽然用具有6×6块运动矢量的群来为群运动矢量提供数据,应当理解,也可以使用具有更多或者更少的块运动矢量的群,取决于特定的实施的需要。而且,虽然具有相同方向dn的运动矢量或者具有相同方向Dn的群运动矢量的百分比阈值被选定为至少75%,应当理解,这些阈值可以按要求更大些或者更小些,以适合特定的实施方式。
虽然已经谈到误差之和的变化不大于阈值量作为确定迭代预补偿已完成所使用的准则,应当理解,使像素模糊、比较、使误差像素模糊并加权以及合并可按要求迭代地执行预定的次数,以适合特定的实施方式。
所述方法和系统可由软件应用程序实施,该程序包括由处理单元(例如个人计算机或者其它计算机系统环境)执行的计算机可执行指令。该软件应用程序可以作为单独的数字图像/视频编辑工具运行或者可以组合在其它可供使用的数字图像/视频编辑应用程序中,以对这些数字图像/视频编辑应用程序提供增强的功能。该软件应用程序可以由包括例行程序、程序、对象组件和数据结构等程序模块组成,以存储在计算机可读介质中的计算机可读程序代码的形式实现。该计算机可读介质是可由计算机系统读出的、可存储数据的任何数据存储装置。计算机可读介质例如可包括只读存储器、随机存取存储器、CD-ROM、磁带和光学数据存储装置。计算机可读程序代码也可在包括连接的计算机系统的网络上分发,使计算机可读程序代码能以分布方式存储和执行。
尽管已经说明了各个实施例,但是本专业技术人员应当明白在不脱离由所附的权利要求所限定的本发明的精神和范围的条件下可以实现各种变化和修改。
Claims (20)
1.补偿因数字视频序列中当前帧和上一帧之间的运动引起的感知模糊的方法,该方法估算在所述帧之间像素的运动方向和运动范围,所述方法包括如下步骤:
根据当前帧产生初始猜测帧;
作为对应的所估计模糊方向和模糊范围的函数,使猜测帧中的像素模糊;
将各模糊像素与当前帧中的一对应像素比较,产生各对应像素的误差像素;
使各误差像素模糊并加权;以及
合并各误差像素和其在初始猜测帧中的对应像素,以刷新猜测帧并补偿模糊。
2.按照权利要求1所述的方法,其中:所述权重是对应像素运动的函数。
3.按照权利要求2所述的方法,其中:所述权重是猜测图像中对应像素在像素运动方向边缘宽窄的估算值。
4.按照权利要求3所述的方法,其中:用高通过滤器估算所述边缘宽窄。
5.按照权利要求2所述的方法,其中:迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并。
6.按照权利要求5所述的方法,其中:迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并,直至误差之和落在一阈值以下。
7.按照权利要求5所述的方法,其中:以预定的次数迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并。
8.按照权利要求5所述的方法,其中:迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并,直至误差之和的改变不大于连续迭代之间的阈值量。
9.计算机可读介质,载有实施权利要求1所述方法的计算机可执行指令的程序。
10.补偿因数字视频序列中当前帧和上一帧之间的运动引起的感知模糊的方法,所述方法包括如下步骤:
对所述帧中的多个像素块中的各像素块,估算所述帧之间的运动矢量;
根据各群中的一个运动矢量和邻接群中的运动矢量,为多个运动矢量群中的各群估算一个群运动矢量;
将其所对应的群的群运动矢量分配给当前帧中的各像素;
根据当前帧产生初始猜测帧;
作为所分配的对应群运动矢量的函数,使猜测帧中的像素模糊;
将各模糊像素与当前帧中的一对应像素比较,产生各对应像素的误差像素;
使各误差像素模糊并加权;以及
合并各误差像素和其在初始猜测帧中的对应像素,以刷新猜测帧并补偿模糊。
11.补偿因数字视频序列中当前帧和上一帧之间的运动引起的感知模糊的系统,该系统估算在所述帧之间像素的运动方向和运动范围,所述系统包括:
运动模糊过滤器阵列,作为相应的所估计模糊方向和模糊范围的函数,根据当前帧使猜测帧中的像素模糊;
比较器,将各模糊像素与当前帧中一对应像素比较,产生各对应像素的误差像素,所述运动模糊过滤器阵列还使各误差像素模糊并加权;以及
加法器,合并各误差像素和其在初始猜测帧中的对应像素,以刷新猜测帧并补偿模糊。
12.按照权利要求11所述的系统,其中:所述权重是对应像素运动的函数。
13.按照权利要求12所述的系统,其中:所述权重是猜测图像中对应像素在像素运动方向边缘宽窄的估算值。
14.按照权利要求13所述的系统,其中:用高通过滤器估算所述边缘宽窄。
15.按照权利要求11所述的系统,其中:所述初始猜测帧是当前帧。
16.按照权利要求15所述的系统,其中:所述运动模糊过滤器阵列根据所述猜测图像中对应像素在像素运动方向边缘宽窄的估算值来提供权重。
17.按照权利要求12所述的系统,其中:所述运动模糊过滤器阵列、比较器和加法器迭代地进行使模糊、比较、使模糊并加权以及合并。
18.按照权利要求17所述的系统,其中:所述运动模糊过滤器阵列、比较器和加法器迭代地进行使模糊、比较、使模糊并加权以及合并,直至误差之和落在一阈值以下。
19.按照权利要求17所述的系统,其中:所述运动模糊过滤器阵列、比较器和加法器以预定的次数迭代地进行使模糊、比较、使模糊并加权以及合并。
20.按照权利要求17所述的系统,其中:所述运动模糊过滤器阵列、比较器和加法器迭代地进行使模糊、比较、使模糊并加权以及合并,直至误差之和的改变不大于连续迭代之间的阈值量。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US68980805P | 2005-06-13 | 2005-06-13 | |
US60/689808 | 2005-06-13 | ||
US11/377,030 US7728909B2 (en) | 2005-06-13 | 2006-03-16 | Method and system for estimating motion and compensating for perceived motion blur in digital video |
US11/377030 | 2006-03-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1913585A true CN1913585A (zh) | 2007-02-14 |
Family
ID=37524087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA200610091334XA Pending CN1913585A (zh) | 2005-06-13 | 2006-06-13 | 数字视频中估算运动并补偿所感知运动模糊的方法及系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7728909B2 (zh) |
JP (1) | JP2006350334A (zh) |
KR (1) | KR100815010B1 (zh) |
CN (1) | CN1913585A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101272488B (zh) * | 2007-03-23 | 2010-12-22 | 展讯通信(上海)有限公司 | 降低lcd显示运动模糊的视频解码方法和装置 |
CN101933082A (zh) * | 2007-11-30 | 2010-12-29 | 夏普株式会社 | 基于用户图像数据的显示器观看者运动补偿方法和系统 |
CN102572222A (zh) * | 2010-11-15 | 2012-07-11 | 三菱电机株式会社 | 图像处理装置和方法以及图像显示装置和方法 |
CN104917990A (zh) * | 2014-03-12 | 2015-09-16 | 索尼电脑娱乐美国公司 | 通过调整垂直消隐进行视频帧速率补偿 |
CN106063242A (zh) * | 2014-02-27 | 2016-10-26 | 杜比实验室特许公司 | 用于控制颤抖可见性的系统和方法 |
CN107004292A (zh) * | 2014-11-21 | 2017-08-01 | 微软技术许可有限责任公司 | 使用高速缓存的纹理空间模糊的运动模糊 |
CN108124078A (zh) * | 2018-01-17 | 2018-06-05 | 广州暴风新影科技有限公司 | 一种基于视频运动估计自动生成动感数据的方法 |
WO2020062475A1 (zh) * | 2018-09-28 | 2020-04-02 | 惠科股份有限公司 | 显示面板及其驱动方法、设备 |
CN112233031A (zh) * | 2020-10-15 | 2021-01-15 | 苏州科技大学 | 一种液晶显示动态图像感知效果补偿方法及系统 |
TWI756109B (zh) * | 2021-04-19 | 2022-02-21 | 奇景光電股份有限公司 | 顯示裝置與模糊顯示下鏡頭裝置中的邊界線的方法 |
US11545059B2 (en) | 2021-03-22 | 2023-01-03 | Himax Technologies Limited | Display device and method to blur borderline in CUD device |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
US10721405B2 (en) | 2004-03-25 | 2020-07-21 | Clear Imaging Research, Llc | Method and apparatus for implementing a digital graduated filter for an imaging apparatus |
US9826159B2 (en) | 2004-03-25 | 2017-11-21 | Clear Imaging Research, Llc | Method and apparatus for implementing a digital graduated filter for an imaging apparatus |
JP2006098803A (ja) * | 2004-09-29 | 2006-04-13 | Toshiba Corp | 動画処理方法、動画処理装置および動画処理プログラム |
US7405689B2 (en) * | 2005-01-05 | 2008-07-29 | Exar Corporation | Predictive analog to digital converters and methods of using |
TWI271998B (en) * | 2005-09-21 | 2007-01-21 | Inventec Appliances Corp | Image processing method and apparatus thereof |
JP4887750B2 (ja) * | 2005-11-16 | 2012-02-29 | カシオ計算機株式会社 | 画像処理装置、制御方法及びプログラム |
TWI345193B (en) * | 2006-06-15 | 2011-07-11 | Chimei Innolux Corp | Eye tracking compensated method and device thereof and hold-type display |
US8401081B2 (en) * | 2006-08-11 | 2013-03-19 | Thomson Licensing | Accurate motion portrayal for display and digital projectors |
KR100837435B1 (ko) * | 2006-10-25 | 2008-06-12 | 삼성전자주식회사 | 촬영장치 및 이의 대상 추적제어방법 |
US8120717B2 (en) * | 2007-02-21 | 2012-02-21 | Sharp Laboratories Of America, Inc. | Methods and systems for display viewer motion compensation |
US20080205505A1 (en) * | 2007-02-22 | 2008-08-28 | Donald Martin Monro | Video coding with motion vectors determined by decoder |
KR101107256B1 (ko) * | 2007-03-27 | 2012-01-19 | 삼성전자주식회사 | 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치 |
US20080238820A1 (en) * | 2007-03-29 | 2008-10-02 | Otsuka Electronics Co., Ltd | Motion picture image processing system and motion picture image processing method |
US8160149B2 (en) * | 2007-04-03 | 2012-04-17 | Gary Demos | Flowfield motion compensation for video compression |
DE102007027642A1 (de) | 2007-06-15 | 2008-12-18 | Micronas Gmbh | Verfahren zur Bearbeitung einer Bildfolge mit aufeinanderfolgenden Videobildern zur Verbesserung der räumlichen Auflösung |
US8144247B2 (en) * | 2007-06-21 | 2012-03-27 | Samsung Electronics Co., Ltd. | Detection and interpolation of still objects in a video sequence |
US8126063B2 (en) * | 2007-06-21 | 2012-02-28 | Samsung Electronics Co., Ltd. | System and method for still object detection based on normalized cross correlation |
WO2009019848A1 (ja) * | 2007-08-03 | 2009-02-12 | Panasonic Corporation | 撮影装置、撮影方法、およびプログラム |
EP2227299B1 (en) * | 2007-09-07 | 2012-07-18 | Edh Us Llc | Methods and processes for detecting a mark on a playing surface and for tracking an object |
US7843462B2 (en) * | 2007-09-07 | 2010-11-30 | Seiko Epson Corporation | System and method for displaying a digital video sequence modified to compensate for perceived blur |
US20090079862A1 (en) * | 2007-09-25 | 2009-03-26 | Micron Technology, Inc. | Method and apparatus providing imaging auto-focus utilizing absolute blur value |
KR101104609B1 (ko) * | 2007-10-26 | 2012-01-12 | 주식회사 만도 | 차량의 목표주차위치 인식 방법 및 그 시스템 |
EP2073532A1 (en) * | 2007-12-17 | 2009-06-24 | Koninklijke Philips Electronics N.V. | Video signal processing |
US8218888B2 (en) * | 2008-02-25 | 2012-07-10 | Mitsubishi Electric Corporation | Motion blur detecting apparatus and method, image processing apparatus, and image display apparatus |
KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
ES2812473T3 (es) * | 2008-03-19 | 2021-03-17 | Nokia Technologies Oy | Vector de movimiento combinado y predicción de índice de referencia para la codificación de vídeo |
US20090278928A1 (en) * | 2008-05-09 | 2009-11-12 | Honeywell International Inc. | Simulating a fluttering shutter from video data |
US8644565B2 (en) * | 2008-07-23 | 2014-02-04 | Indiana University Research And Technology Corp. | System and method for non-cooperative iris image acquisition |
US8488057B2 (en) * | 2008-12-01 | 2013-07-16 | Ati Technologies Ulc | Method and apparatus for dejuddering image data |
JP5202347B2 (ja) * | 2009-01-09 | 2013-06-05 | キヤノン株式会社 | 動画像処理装置および動画像処理方法 |
US20100303301A1 (en) * | 2009-06-01 | 2010-12-02 | Gregory Micheal Lamoureux | Inter-Frame Motion Detection |
US8615141B2 (en) * | 2009-08-10 | 2013-12-24 | Seiko Epson Corporation | Systems and methods for motion blur reduction |
TWI475882B (zh) * | 2009-12-30 | 2015-03-01 | Altek Corp | Motion detection method using the adjusted digital camera of the shooting conditions |
TR201001471A2 (tr) * | 2010-02-26 | 2011-09-21 | Vestel Elektron�K Sanay� Ve T�Caret Anon�M ��Rket�@ | Ön plan hareket baskınlığına dirençli kamera hareket kestirimi için bir yöntem. |
US8428390B2 (en) * | 2010-06-14 | 2013-04-23 | Microsoft Corporation | Generating sharp images, panoramas, and videos from motion-blurred videos |
US8639042B2 (en) * | 2010-06-22 | 2014-01-28 | Microsoft Corporation | Hierarchical filtered motion field for action recognition |
JP5548552B2 (ja) * | 2010-08-03 | 2014-07-16 | キヤノン株式会社 | 撮像装置 |
JP5381930B2 (ja) * | 2010-08-20 | 2014-01-08 | 株式会社Jvcケンウッド | 映像制御装置および映像制御方法 |
JP2012049603A (ja) * | 2010-08-24 | 2012-03-08 | Olympus Corp | 画像処理装置および画像処理プログラム |
US8532421B2 (en) * | 2010-11-12 | 2013-09-10 | Adobe Systems Incorporated | Methods and apparatus for de-blurring images using lucky frames |
KR101665386B1 (ko) * | 2010-11-15 | 2016-10-12 | 한화테크윈 주식회사 | 로봇 위치 추정 장치 및 방법 |
KR101336629B1 (ko) * | 2011-12-27 | 2013-12-04 | 중앙대학교 산학협력단 | 다수의 이전 영상 프레임을 사용하는 lcd 오버드라이브 장치 및 방법 |
KR101844332B1 (ko) | 2012-03-13 | 2018-04-03 | 삼성전자주식회사 | 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 |
CN102819662B (zh) * | 2012-07-10 | 2015-05-20 | 华东师范大学 | 一种视频流体高度的计算方法 |
KR101341871B1 (ko) * | 2012-09-12 | 2014-01-07 | 포항공과대학교 산학협력단 | 비디오 디블러링 방법 및 그 장치 |
US10200649B2 (en) * | 2014-02-07 | 2019-02-05 | Morpho, Inc. | Image processing device, image processing method and recording medium for reducing noise in image |
US9684970B2 (en) * | 2015-02-27 | 2017-06-20 | Qualcomm Incorporated | Fast adaptive estimation of motion blur for coherent rendering |
US10958927B2 (en) | 2015-03-27 | 2021-03-23 | Qualcomm Incorporated | Motion information derivation mode determination in video coding |
US9530222B2 (en) * | 2015-03-30 | 2016-12-27 | Ca, Inc. | Detecting divergence or convergence of related objects in motion and applying asymmetric rules |
JP6394462B2 (ja) * | 2015-03-30 | 2018-09-26 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2018036444A (ja) * | 2016-08-31 | 2018-03-08 | アイシン精機株式会社 | 表示制御装置 |
CN107968946B (zh) * | 2016-10-18 | 2021-09-21 | 深圳万兴信息科技股份有限公司 | 视频帧率提升方法及装置 |
US11592656B2 (en) * | 2017-05-17 | 2023-02-28 | Kripton Co., Ltd. | Image processing apparatus, image processing program, and image processing method |
US10997736B2 (en) | 2018-08-10 | 2021-05-04 | Apple Inc. | Circuit for performing normalized cross correlation |
CN111275626B (zh) * | 2018-12-05 | 2023-06-23 | 深圳市炜博科技有限公司 | 一种基于模糊度的视频去模糊方法、装置及设备 |
US11423516B2 (en) * | 2019-03-29 | 2022-08-23 | Tobii Ab | Gaze enhanced natural motion blur |
WO2021005609A1 (en) * | 2019-07-09 | 2021-01-14 | Shmuel Mangan | Real-time motion tracking in moving scenes |
CN112733577A (zh) * | 2019-10-28 | 2021-04-30 | 富士通株式会社 | 检测手部动作的方法和装置 |
CN111212298B (zh) * | 2020-01-15 | 2021-02-19 | 广州津虹网络传媒有限公司 | 基于大数据处理的画面阴影自动替换平台及方法 |
US20210304457A1 (en) * | 2020-03-31 | 2021-09-30 | The Regents Of The University Of California | Using neural networks to estimate motion vectors for motion corrected pet image reconstruction |
US20220156945A1 (en) * | 2020-11-17 | 2022-05-19 | Luuk van Dijk | Method for motion estimation based on motion blur |
US11494881B2 (en) * | 2020-12-29 | 2022-11-08 | Hb Innovations, Inc. | Global movement image stabilization systems and methods |
KR102593677B1 (ko) | 2022-06-28 | 2023-10-25 | 주식회사 포딕스시스템 | 객체 검출 이미지 전처리 장치 및 방법 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3854337T2 (de) * | 1987-06-09 | 1996-02-01 | Sony Corp | Bewegungskompensierte Interpolation von digitalen Fernsehbildern. |
US5051844A (en) * | 1989-01-30 | 1991-09-24 | Eastman Kodak Company | Digital halftoning with error diffusion |
US6347153B1 (en) * | 1998-01-21 | 2002-02-12 | Xerox Corporation | Method and system for classifying and processing of pixels of image data |
JP2000175191A (ja) | 1998-12-01 | 2000-06-23 | Sharp Corp | 動画像符号化装置 |
JP2001298745A (ja) | 2000-04-17 | 2001-10-26 | Sharp Corp | 動きベクトル探索装置および方法 |
JP4040826B2 (ja) * | 2000-06-23 | 2008-01-30 | 株式会社東芝 | 画像処理方法および画像表示システム |
JP2002323876A (ja) | 2001-04-24 | 2002-11-08 | Nec Corp | 液晶表示装置における画像表示方法及び液晶表示装置 |
EP1402720A1 (en) | 2001-06-18 | 2004-03-31 | Koninklijke Philips Electronics N.V. | Anti motion blur display |
TW540241B (en) | 2001-11-15 | 2003-07-01 | Chi Mei Optoelectronics Corp | Display method for stablizing MPEG video output via an LCD device |
KR100778845B1 (ko) | 2001-12-29 | 2007-11-22 | 엘지.필립스 엘시디 주식회사 | 액정표시장치의 구동방법 |
JP4114859B2 (ja) | 2002-01-09 | 2008-07-09 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
JP3818649B2 (ja) | 2002-05-20 | 2006-09-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像表示システム、画像表示方法、およびプログラム |
DE60315024T2 (de) | 2002-05-23 | 2008-03-20 | Koninklijke Philips Electronics N.V. | Kantenabhängige reduktion der bewegungsunschärfe |
JP4198550B2 (ja) | 2002-09-10 | 2008-12-17 | 株式会社東芝 | フレーム補間方法およびこのフレーム補間方法を用いた装置 |
JP3898606B2 (ja) * | 2002-09-12 | 2007-03-28 | 株式会社東芝 | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 |
KR100545401B1 (ko) * | 2003-01-11 | 2006-01-24 | (주)플렛디스 | 평판 디스플레이의 화질 조정 장치 및 그 방법 |
JP3960258B2 (ja) | 2003-04-28 | 2007-08-15 | ソニー株式会社 | 信号処理装置および信号処理方法 |
JP4080951B2 (ja) | 2003-05-30 | 2008-04-23 | 株式会社東芝 | フレーム補間方法及び装置並びに画像表示システム |
FR2857147A1 (fr) | 2003-07-01 | 2005-01-07 | Thomson Licensing Sa | Procede de traitement d'une sequence d'images video dans un panneau d'affichage a cristaux liquides |
JP4817000B2 (ja) * | 2003-07-04 | 2011-11-16 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4433719B2 (ja) | 2003-07-31 | 2010-03-17 | ソニー株式会社 | 画像表示装置の焼き付き防止装置及び画像表示装置の焼き付き防止方法 |
US7295612B2 (en) | 2003-09-09 | 2007-11-13 | Apple Inc. | Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence |
JP4198608B2 (ja) | 2004-01-15 | 2008-12-17 | 株式会社東芝 | 補間画像生成方法および装置 |
US7720148B2 (en) * | 2004-03-26 | 2010-05-18 | The Hong Kong University Of Science And Technology | Efficient multi-frame motion estimation for video compression |
US7561186B2 (en) * | 2004-04-19 | 2009-07-14 | Seiko Epson Corporation | Motion blur correction |
KR100541961B1 (ko) * | 2004-06-08 | 2006-01-12 | 삼성전자주식회사 | 선명도 향상 및 잡음처리가 가능한 영상신호 처리장치 및방법 |
US20060062304A1 (en) * | 2004-09-17 | 2006-03-23 | Shih-Chang Hsia | Apparatus and method for error concealment |
-
2006
- 2006-03-16 US US11/377,030 patent/US7728909B2/en active Active
- 2006-06-08 JP JP2006159375A patent/JP2006350334A/ja not_active Withdrawn
- 2006-06-13 CN CNA200610091334XA patent/CN1913585A/zh active Pending
- 2006-06-13 KR KR1020060053028A patent/KR100815010B1/ko active IP Right Grant
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101272488B (zh) * | 2007-03-23 | 2010-12-22 | 展讯通信(上海)有限公司 | 降低lcd显示运动模糊的视频解码方法和装置 |
CN101933082A (zh) * | 2007-11-30 | 2010-12-29 | 夏普株式会社 | 基于用户图像数据的显示器观看者运动补偿方法和系统 |
CN101933082B (zh) * | 2007-11-30 | 2013-03-27 | 夏普株式会社 | 基于用户图像数据的显示器观看者运动补偿方法和系统 |
CN102572222A (zh) * | 2010-11-15 | 2012-07-11 | 三菱电机株式会社 | 图像处理装置和方法以及图像显示装置和方法 |
CN102572222B (zh) * | 2010-11-15 | 2014-10-15 | 三菱电机株式会社 | 图像处理装置和方法以及图像显示装置和方法 |
US10368031B2 (en) | 2014-02-27 | 2019-07-30 | Dolby Laboratories Licensing Corporation | Systems and methods to control judder visibility |
CN106063242A (zh) * | 2014-02-27 | 2016-10-26 | 杜比实验室特许公司 | 用于控制颤抖可见性的系统和方法 |
CN106063242B (zh) * | 2014-02-27 | 2019-07-09 | 杜比实验室特许公司 | 用于控制颤抖可见性的系统和方法 |
CN104917990B (zh) * | 2014-03-12 | 2018-04-13 | 索尼电脑娱乐美国公司 | 通过调整垂直消隐进行视频帧速率补偿 |
CN104917990A (zh) * | 2014-03-12 | 2015-09-16 | 索尼电脑娱乐美国公司 | 通过调整垂直消隐进行视频帧速率补偿 |
CN107004292A (zh) * | 2014-11-21 | 2017-08-01 | 微软技术许可有限责任公司 | 使用高速缓存的纹理空间模糊的运动模糊 |
CN108124078A (zh) * | 2018-01-17 | 2018-06-05 | 广州暴风新影科技有限公司 | 一种基于视频运动估计自动生成动感数据的方法 |
CN108124078B (zh) * | 2018-01-17 | 2020-04-03 | 广州暴风新影科技有限公司 | 一种基于视频运动估计自动生成动感数据的方法 |
WO2020062475A1 (zh) * | 2018-09-28 | 2020-04-02 | 惠科股份有限公司 | 显示面板及其驱动方法、设备 |
US11100842B2 (en) | 2018-09-28 | 2021-08-24 | HKC Corporation Limited | Display panel, and method and device for driving display panel |
CN112233031A (zh) * | 2020-10-15 | 2021-01-15 | 苏州科技大学 | 一种液晶显示动态图像感知效果补偿方法及系统 |
US11545059B2 (en) | 2021-03-22 | 2023-01-03 | Himax Technologies Limited | Display device and method to blur borderline in CUD device |
TWI756109B (zh) * | 2021-04-19 | 2022-02-21 | 奇景光電股份有限公司 | 顯示裝置與模糊顯示下鏡頭裝置中的邊界線的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2006350334A (ja) | 2006-12-28 |
KR20060129972A (ko) | 2006-12-18 |
US7728909B2 (en) | 2010-06-01 |
KR100815010B1 (ko) | 2008-03-18 |
US20060280249A1 (en) | 2006-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1913585A (zh) | 数字视频中估算运动并补偿所感知运动模糊的方法及系统 | |
CN1168052A (zh) | 图象数据内插设备 | |
CN1756299A (zh) | 用于处理运动图像的设备和方法以及计算机程序产品 | |
CN101663885B (zh) | 图像处理装置及方法、图像显示装置及方法 | |
CN1685710A (zh) | 摄像装置、摄像装置图像输出方法以及计算机程序 | |
CN1838737A (zh) | 帧速率变换装置、摇摄·倾斜判断装置及视频装置 | |
CN1992789A (zh) | 运动估计器和运动估计方法 | |
CN1641467A (zh) | 拍摄装置和方法、监视系统、程序和记录介质 | |
CN1744673A (zh) | 一种视频电子防抖的装置 | |
CN1798247A (zh) | 图像显示方法、图像显示装置及投影机 | |
CN1860521A (zh) | 显示设备和方法 | |
CN1650622A (zh) | 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法 | |
CN101069191A (zh) | 视频处理 | |
CN1801268A (zh) | 图像显示装置及其图像显示方法 | |
CN1799057A (zh) | 用于生成高动态范围视频的系统和过程 | |
CN1870715A (zh) | 手抖动校正装置 | |
CN1662944A (zh) | 处理视频画面以提高动态假轮廓效应补偿的方法和设备 | |
CN1992818A (zh) | 摄像装置和方法、记录介质以及程序 | |
CN1758720A (zh) | 图像处理方法和图像处理装置 | |
CN1812489A (zh) | 用于去除视频信号的噪声的装置 | |
CN1670612A (zh) | 投影机和图案图像显示方法 | |
CN1627814A (zh) | 图像处理的方法、装置以及程序 | |
CN1306457C (zh) | 估计编码图像的方法及装置 | |
CN1917028A (zh) | 处理要显示在液晶显示装置上的运动图像的设备及方法 | |
JP2010014879A (ja) | 係数生成装置および方法、画像生成装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
C20 | Patent right or utility model deemed to be abandoned or is abandoned |