CN100544403C - 图像稳定化系统及方法 - Google Patents

图像稳定化系统及方法 Download PDF

Info

Publication number
CN100544403C
CN100544403C CNB2003801057219A CN200380105721A CN100544403C CN 100544403 C CN100544403 C CN 100544403C CN B2003801057219 A CNB2003801057219 A CN B2003801057219A CN 200380105721 A CN200380105721 A CN 200380105721A CN 100544403 C CN100544403 C CN 100544403C
Authority
CN
China
Prior art keywords
image
present image
skew
global motion
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2003801057219A
Other languages
English (en)
Other versions
CN1723692A (zh
Inventor
D·A·A·福尔克纳
G·S·普赖斯
P·J·肯特
P·弗雷特维尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinetiq Ltd
Original Assignee
Qinetiq Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinetiq Ltd filed Critical Qinetiq Ltd
Publication of CN1723692A publication Critical patent/CN1723692A/zh
Application granted granted Critical
Publication of CN100544403C publication Critical patent/CN100544403C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

一种用于使可能以不稳定方式安装的摄像机产生的视频信号稳定的系统包括数字处理装置，用于处理每个输入图像，它尝试把当前图像的特征重叠到先前图像的相似特征。使用屏蔽以防止在重叠过程中可能导致错误的图像部分被用于要施加于图像的所需移动的计算中。屏蔽可包括其中已经检测到图像的小移动的区域，还可包括已经检测到包含过度噪声的图像异常的区域。本发明还公开了用于处理摄像机所需移动、如平移或推移的装置，还公开了用于处理系统所处理的视频信号的边缘的装置。还公开了一种方法。

Description

图像稳定化系统及方法
技术领域
本发明涉及用于摄像机所产生的视频图像的稳定化的系统及方法。具体来说，它涉及用于减小或消除不希望的摄像机运动、如摇晃导致的、摄像机录制的连续图像的偏移。
背景技术
不希望的摄像机运动可能使接收图像失真，或者因再现设备上的感受跳动而使图像的可视分析难以进行。这种摄像机运动例如可由吹动摄像机支架的风、或者因摄像机为手持式而不稳定的支撑、或者因安装在移动车辆或船上等所引起。
一种用来稳定来自受到不希望移动的摄像机的视频图像的方法是利用电动摄像机座，它测量由诸如刮风等引起的摄像机移动，并相应地在物理上移动摄像机。陀螺仪可用来检测摄像机的移动，以及电动机用来对它进行校正。这在实际上提供了努力使摄像机保持在固定位置的机电负反馈环。这个解决方案在摄像机安装在永久或半永久支座上、用于监视应用的情况下极为有效。该方法能够减小视频图像的模糊，即使极慢的摄像机快门速度被使用时，因为在适当稳定化的系统中，摄像机本身没有移动。它还不受现场照明条件的影响，因为没有进行对已记录视频信号的参考，但该技术会很昂贵、麻烦，并且可能要求大量电资源，尤其是在摄像机系统很大的情况下。
这方面的一个发展是使用传感器来检测前面所述的摄像机运动，但使用来自传感器的信号来处理摄像机所产生的信号。处理可涉及以电子方式移动图像，目的是使它与摄像机录制的先前图像对齐。这个方法消除了对电动摄像机座的需求，但仍然需要移动传感器。
图像稳定化可完全通过对图像信号的电子处理来进行。这些方法包括把摄像机产生的当前图像与参考图像进行比较，并在空间上移动当前图像，以便使它与参考图像对齐。不同的技术用来进行这个操作。
一种这样的技术GB0012349.7描述一种用于使摄像机的视频图像稳定的方法。这个方法采用全局运动估算，在其中，明确的水平和垂直分量用作为相对参考图像提供最佳匹配、当前图像需要移位的程度的量度。这些分量在输入到处理过程之前经过高通滤波，因此允许缓慢的摄像机移动通过输出视频信号，而突然移动则被输入到稳定化处理过程。如果摄像机指向的场景中的某个物体正在移动，则这个系统易于出错，并且没有任何工具用于处理摄像机的有意摇摄或推拉摄像。
发明内容
根据本发明，提供一种视频图像稳定化系统，它设置成接收表示多个图像的一个或多个信号，其中，对于至少图像(n-1)和图像(n-2)之后的图像n，系统设置成估算表示图像n与前一个图像之间的空间间隔的图像n与前一个图像之间的全局运动偏移(GMO)值，并根据这个GMO对图像n施加校正移动，其特征在于：
系统设置成参照表示在GMO估算中不考虑的图像n的一个或多个区域的屏蔽来估算图像n的GMO，这个(这些)区域是估计为可能误导GMO的计算的区域。
本发明能够减小一些情况下不希望的摄像机移动的影响。它提供一种用于减小摄像机移动对所得视频图像的影响的系统。当计算当前图像的移动时，该系统采用视频序列中的先前图像作为参考。
GMO是当前图像n与参考图像r的距离的量度或估算。这个距离通常是包含水平和垂直平面中n距离r的像素数量的向量；即，它表明应当应用于n以便获得n与r之间的最佳匹配的移位，并且通过任何适当方式来计算。注意，用于计算这个最佳匹配的不同方法可产生不同结果，其中并非全部都是最佳值。计算最佳值可能过于费时，或者要求过多计算机资源，因此，可采用提供偏移的近似值的其它技术。参考图像r最好是视频序列中的前一个图像、即图像(n-1)，因为这在具有最低GMO方面可能是最接近当前图像的。但是，前一个图像之外的图像可用作r，例如(n-2)或(n-5)，但根据振动的等级和频率，这些可能具有更大的GMO。
其它信息用于估算GMO，以便获得改进的性能。屏蔽是一种这样的信息。这是二进制图像，它用来排除图像n中可能负面影响GMO计算的像素。屏蔽最好通过检查图像n中正在图像的子区域内移动的对象、然后再设置屏蔽的相应位以排除这些区域来产生。这最好通过把图像n分为多个子图像ns、并计算各子图像ns的局部运动偏移(LMO)来进行。LMO可通过与GMO相同的一般方法来计算，但不同的技术可能因以下事实而更为适合：各子图像ns小于图像n。LMO可利用取自如与GMO配合使用的相同参考图像r的相应子图像来计算，但最好使用取自图像(n-2)的相应子图像。同样可使用其它参考图像。
屏蔽最好扩大到对应于没有表现预期特性的像素所表示的图像n的区域。这些像素可能是表现为常开或常断的“静”像素，或者可能是以对于入射光的异常方式表现的像素。它们还可以是被认为由高于某个门限的噪声破坏的像素。噪声的检测可通过任何适当方式来进行。这类区域在本文称作异常区域，并且构成这些区域的像素称作异常像素。
用于计算GMO和LMO的图像最好在进行计算之前进行二次抽样。它的益处在于，计算工作被减小，以及二次抽样过程中固有的低通滤波使稳定化系统对图像噪声更有恢复能力。计算中的局部最小值也较少可能成为问题。为了改进的精度，GMO或LMO计算可在多个分辨率迭代进行，以较低分辨率开始，从其中产生GMO/LMO，然后再移动到考虑了先前迭代中计算的GMO/LMO的较高分辨率。以给定分辨率的多个迭代也可在移动到较高分辨率之前进行。
对于输入图像计算的GMO和LMO可有利地用来估算摇摄(pan)或推拉摄像(zoom)操作是否已经应用于摄像机。在这里，摇摄用来表示摄像机移动以便指向水平或垂直或者两者的不同方向，以及推拉摄像用来表示摄像机镜头的焦距被改变以便摄像机看到不同的视野。
有用的是，运动偏移误差的预测可采用LMO和GMO来进行。一种这样的错误是“锁定跟踪”。例如当摄像机可见的实质上的整个画面由移动物体占据时，可能出现这种情况。例如，如果摄像机指向道路场景，并且极大的卡车经过摄像机附近，则摄像机录制的图像的大部分可能被卡车占据。没有任何纠错，这将给予发生突然摇摄的印象，它将导致稳定化例程错误地尝试跟踪此移动。
另一个这种错误涉及“静止摄像机检测”。GMO历史记录的分析用来预测何时摄像机没有移动。如果检测到这种状态，则GMO向量设置为零。没有这种情况，则小GMO中的错误的累积可能导致出现错误的稳定化。
GMO向量最好被转换为最终稳定化偏移(SO)，它表示在已经执行GMO向量的计算和处理之后要应用于当前图像的向量。这种转换最好考虑摇摄和推拉摄像操作运动偏移误差和估算值。转换最好包含往往会减小应用于先前图像的SO的影响的衰变因子。这是有用的，因为相应的SO向量往往会累积，使得应用于图像的偏移可能以其它方式保持，即使对这种偏移的要求已经结束。
已经根据本发明处理的视频信号可能导致视频图像的边缘没有与显示装置、如电视屏幕的显示区的边缘对齐。这是图像根据任何所检测运动偏移相对显示装置移位的结果。可能快速改变位置的这些边缘宜通过添加图像边缘与显示装置的显示区之间的边界区域来保持不可见。边界更适宜根据图像相对显示区的位移来调整以改变尺寸。这可考虑先前图像以及当前所显示图像的位移。
或者，要显示的图像周围的、通过图像的移位所引起的任何空白区域可采用来自先前图像的图像信息来扩大。这样，没有人工边界的完整图像可提供给显示装置。
作为另一个备选方案，要显示的图像的尺寸可扩大，从而填充任何空白区域。这可通过利用已知算法缩放图像来进行。
注意，输入到系统的一个或多个视频信号可直接来自摄像机，或者它们可来自其它一些装置、如录像机或计算机系统中的数字图像存储装置、或者这些源的混合。
本发明可在包括结合了通用微处理器的那些系统以及结合了数字信号处理器装置的那些系统的计算机系统中实现。计算机可经过编程，以便实现根据本发明的图像稳定化系统。
附图说明
现在参照以下附图、作为实例更详细描述本发明，附图包括：
图1以图解方式说明在其中可实现本发明的硬件；
图2是数据流程图，它表示本发明的一个实施例的顶层操作；
图3更详细地表示估算图像运动偏移和局部运动屏蔽的步骤；
图4更详细地表示各图像n的GMO的计算；
图5更详细地表示各图像n的LMO的计算；
图6更详细地表示产生屏蔽图像的过程；
图7更详细地表示校正GMO的运动偏移误差中所涉及的步骤；
图8更详细地表示摄像机摇摄和推拉摄像检测的操作；
图9以图解方式说明在推拉摄像操作的检测中图像n的LMO外部集合的使用；
图10更详细地表示在给定先前计算信息的情况下产生最终稳定化图像中所涉及的步骤；以及
图11表示对稳定化图像的动态边界生成的效果。
具体实施方式
图1说明可用来实现本发明的典型硬件配置。在这个实例中，视频信号由安装在支座2上的摄像机1产生。摄像机受到风的吹动，如果风足够大，则将导致摄像机在支座上摇晃，如箭头3所示。摄像机向稳定化系统4提供视频信号，其输出为已经如本文所述处理的视频信号，然后，它可在适当的显示器5上显示或者记录到某种适当的媒体中。本发明可应用于许多不同的视频信号格式，应用于数字以及通过适当数字化应用于模拟，本实施例设置用于处理PAL和NTSC信号。
稳定化系统4执行对信号的处理，以便尝试减小摄像机图像的任何不稳定性。系统4包含模数转换器(ADC)6，它对输入模拟视频信号数字化。数字信号则馈送到信号处理器7。这个处理器7能够对输入数据流执行复杂计算和处理，并提供可由数模转换器8转换为模拟信号、准备在显示单元5上重放的输出信号。处理器7连接到数字帧存储装置10，它能够存储来自摄像机的当前图像n以及先前的两个图像(n-1)、(n-2)。它们被用于处理过程。处理器7还连接到通用数字存储器9。这个存储器9保存实现本发明的程序，以及被用作结合本发明的操作产生的数据的通用存储区。
ADC 6以720×288(对于PAL)或720×240(对于NTSC)的分辨率对输入信号数字化，但只有它的中央部分被用作处理算法的输入，因为图像的外层部分可能表示因摄像机移动而没有出现在两个连续图像中的画面的部分。另外，某些摄像机类型包含图像区域的边界上的不活动像素。用于本实施例的活动区域具有576×256(对于PAL)或576×224(对于NTSC)的分辨率。处理结果自然被应用于整个数字化图像。
图2表示本发明的一个实施例的操作的顶层数据流程图。这假定先前已经捕捉了至少两个图像，以及当前图像n已经放入帧存储装置10。这将是对于除系统最初通电的时候之外的所有场合的情况。
与图像n相关的处理如下所述。图像n 100、(n-1)101和(n-2)102提供给模块104，它计算图像n以及屏蔽图像的GMO和LMO。稍后提供如何计算这些偏移和屏蔽的详细情况。图像对于LMO的计算被划分为6×8(对于PAL输入)或6×7(对于NTSC)区域，但当然可使用不同数量的区域。注意，屏蔽在本文中可称作局部运动屏蔽(LMM)，因为它的主要任务是屏蔽出已经检测到局部移动的图像的区域。但是，屏蔽可设置为包括异常区域或像素。屏蔽还可以是从所检测的任何局部运动和异常区域导出的复合屏蔽，但它仍然可称作LMM。
在GMO、LMO和屏蔽的计算之后，本发明的此实施例分析这些值以及先前的这类值，以便检查运动偏移误差。这在模块105中进行，并产生“误差已校正”偏移GMOEC(n)和LMOEC(n)。数据用来检测锁定跟踪错误和静止摄像机错误。关于这是如何进行的详细情况相对以下的图7来描述。
本实施例则检查如模块105中修改的GMOEC(n)和LMOEC(n)，从而检测及补偿符合需要的摄像机移动、即摇摄和推拉摄像。这个检测产生“摄像机状态”值，它则用来调整已计算偏移应用于图像n的方式。检测在摄像机模型模块106中进行。下面参照图8提供关于如何检测摇摄和推拉摄像状态的详细情况。
模块106的状态输出以及在模块105中计算的GMOEC(n)值这时用来计算要应用于图像n的最终稳定化偏移。这在模块107中进行，它产生输出偏移SO(n)。这个偏移被传递给显示例程模块108，它根据SO(n)的值移动图像n，并在如下所述首先应用任何边界之后，向显示装置或记录媒体发送表示这个图像的信号。
图3更详细地表示如本实施例中使用的、对各图像n产生GMO、LMO和LMM的过程。图像n、(n-1)和(n-2)100、101、102被提供给模块104。在步骤109，根据本说明中稍后参照图4描述的已知算法，图像n和(n-1)以及在先前迭代中采用图像(n-1)所计算的LMM用来估算GMO。在步骤110，图像(n)和(n-2)还用来估算图像n的LMO。为此，图像n被划分为6×8(对于PAL)子图像、或局部图像的阵列以及为每一个估算LMO。倒数第二个图像(n-2)用于比较，因为这个图像与当前图像的差别可能大于使用最后一个图像的情况，导致更好地检测局部子图像中的移动-已经发现，局部运动往往会小于全局运动。用于计算每个LMO的算法与用于计算GMO的颇为相似，稍后参照图5更详细地描述。
对于图像n产生的LMO(表示为LMO(n))与图像n的GMO(GMO(n))共同用于产生屏蔽。屏幕在模块111中产生。这个屏蔽用于GMO(n+1)的估算中，并且对于图像n中的每个像素具有1位信息。如果这个位为0，则图像(n+1)中的相应像素没有用于GMO(n+1)的计算中。如果该位为1，则图像(n+1)中的相应像素用于GMO(n+1)的计算中。屏蔽存储在存储器112中直到被使用。屏蔽用来遮蔽已经检测到局部运动-它否则将使所计算GMO值失真-的图像的那些区域，以及还用来遮蔽异常区域。图像中的噪声电平的估算值(114)被求出，并被存储(112)供稍后使用。屏蔽产生和噪声估算的更详细情况稍后针对图6来提供。
图4更详细地表示在GMO的产生时在模块109中采取的步骤。到这个模块的输入是当前图像n 100和前一个图像(n-1)101、先前计算的LMM 113和噪声电平估算值114。对于该过程有三个主要步骤：
在第一个步骤，输入图像和LMM在模块115中进行二次抽样以便减小其大小，因而增加操作的速度和噪声恢复能力；
第二步骤在模块116中根据二次抽样图像进行GMO的主要计算；
第三步骤在模块117中校正所计算GMO，从而考虑二次抽样。
图像的二次抽样采用本相关领域的技术人员熟悉的双线性内插过程来进行，在此不作进一步描述。这个操作的更详细情况可见于Sonka、Hlavac和Boyle的“图像处理和机器视觉”(第二版，1998(PWS)Brooks/Cole Publishing)。本实施例进行二次抽样，以便在垂直维度把分辨率减小到原来的四分之一以及在水平维度把分辨率减小到原来的八分之一。已经发现这个操作产生足够的结果，同时提供计算时间方面的有效减少。二次抽样的其它益处包括对图像中的噪声的更低敏感性以及GMO计算被局部最小值混淆的可能性减小，因为二次抽样有效地对图像进行低通滤波。
GMO值的计算包括计算应用到图像n以便使二次抽样时图像n与图像(n-1)的对准不良最小所需的平移。这个对准不良的量度通过对图像n与(n-1)之间逐个像素的强度差(在这里，为清楚起见，表示为In和In-1)求和以便创建误差值E来求出。
该过程尝试使这个误差值的平方最小。因此，
E＝∑x，y[In(x，y)-In-1((f(x，y)，g(x，y))]2   (等式1)
其中，In(x，y)表示图像n中的点x，y，以及f(x，y)和g(x，y)分别是坐标x和y(即各像素位置)的变换，它们把图像n的图像坐标变换为图像(n-1)的那些坐标。等式1的泰勒展开式产生便于分析的等式，以及通过相对变换函数f和g的参数对此进行微分，并把它们设置为零，所得等式可经过求解，从而揭示对变换或GMO的最近更新。注意，本发明在进行GMO计算之前预先处理图像，以便提供更精确的结果。这个预处理包括逐个像素地把图像(二次抽样后)与屏蔽(同样地二次抽样后)相乘，有效地减小图像n的活动区域，它具有提高精度以及简化计算的效果。
误差等式即等式1的泰勒级数近似的使用引入近似误差，因为本实施例只使用一阶项。这可导致找到误差函数的局部最小值、因而提供不正确GMO的过程。为了减小近似的影响，上述计算GMO的过程迭代进行。使用0.0的初始运动估算值200，它在每次迭代时被更新。每个迭代采用按变换参数的最新估算值201(即所计算的当前GMO的最新值)被扭曲或移位的当前图像n的更新形式。
在计算GMO中，本实施例还采用退火过程来提高精度并帮助减轻移动通过画面的物体导致的误差：退火过程判定任何给定像素是否要被用于当前GMO计算迭代中。它通过考虑图像(n-1)中的每个像素与已经按所计算的GMO的当前值扭曲或移位的图像n中的相应像素之间的绝对差来进行这个操作。如果这个差值大于门限值，则它不用于下一个迭代。噪声电平估算值114用于计算门限值。这个过程排除了虽然已经扭曲但没有对齐的像素-其原因最可能是由于图像异常或者对象移动通过画面。随着图像因过程的迭代而变得更对齐，所选门限减小，因为图像中更多像素应当对齐，产生减小的绝对差值。这个过程实现一种形式的健壮统计估算。其它这种健壮统计估算方法是已知的，并且适用于本发明。
本实施例只计算提供改进对齐的图像n的平移。因此，对于这种情况，f(x，y)＝x+Δx，以及g(x，y)＝y+Δy。目前没有考虑旋转和缩放误差，但是，通过适当修改，本发明同样可适用于稳定从可能对旋转或缩放不稳定性敏感的来源导出的视频信号。这个修改包括以平移、旋转和缩放参数来表示函数f(x，y)和g(x，y)，因此：
f(x，y)＝Δx+bx-cy以及g(x，y)＝Δy+cx+by，
其中，缩放因子＝(b2+c2)1/2，以及旋转度＝tan-1(c/b)。这些等式则以类似于以上所述的方式来求解。关于GMO的计算的这个方面及其它方面的更多信息可见于Kent，P的“多分辨率图像对齐”(IEE Colloquiumon Multiresolution Modelling and Analysis in Image Processing andComputer Vision，1995)以及Kent，P的“多分辨率图像对齐与嵌合”(Journal of Defence Science，Vol.1，No.2)，两者的内容通过引用结合到本文中。注意，这些引用详细说明了多分辨率技术，从而以较低分辨率计算的GMO值则应用于对图像的增加分辨率形式所执行的后续GMO计算。这可根据需要反复进行，以便获得所需精度。本实施例已经发现采用以单分辨率所执行的计算来提供满意的结果，但在必要时可修改为使用多种分辨率。存在计算GMO和LMO的其它方法，并且它们适用于本发明。
在如以上所计算的GMO的估算之后，所得值与二次抽样中使用的相同因子相乘(117)，以便考虑图像的分辨率的变化。注意，本实施例只对GMO和LMO的计算采用图像n的二次抽样形式。其它所有操作以图像原始分辨率对其进行操作。
图5更详细地表示用于计算各图像n的LMO的集合的过程。该过程基于如上所述用于计算GMO的简化形式。图像n再次进行如上所述的二次抽样，以便减小工作量和图像噪声。此后，二次抽样后的图像在模块120中被划分为6×8子图像块(对于PAL)，每个的大小为12×8像素。每个子图像块被传递给GMO估算例程的简化形式(121)，它缺少屏蔽及退火功能。计算利用初始运动估算值202，如上所述地迭代进行，其中初始运动估算值202在每遍被更新，如标号203所示。由于所处理的每个子图像的小尺寸而不需要屏蔽和退火功能。模块121产生的向量则在模块122中与二次抽样中使用的相同因子相乘，从而说明处理中使用的图像的所减小分辨率。然后，从所计算的LMO值中减去图像n以及图像(n-1)的GMO的当前值。这确保LMO值不会受到摄像机移动的破坏。所得LMO 123是保持获得n的每个子图像与(n-2)的相应子图像之间的最佳匹配所需的水平和垂直移位的向量。
图6更详细地表示产生屏蔽的过程。如上所述，这个屏蔽用于从相关计算中消除与局部运动影响以及异常表现的像素有关的像素。如果子图像的LMO大于给定门限，则通过把适当的屏蔽位设置为0来遮蔽与整个子图像对应的区域。这个屏蔽是LMM，并在模块125中计算。在本实施例中，LMM包括屏蔽与其中已经检测到异常像素行为的图像n的区域对应的那个区域。
以下列方式查找异常像素。表示按当前GMO移位的图像n与图像(n-1)之间的绝对差的图像被产生124，即Idiff(n)＝I(n)-I(n-1)。只是由于以上导出的运动影响的LMM屏蔽的部分也被使用，使得Idiff(n)仅包含没有检测到显著的局部运动的那些子图像。
所得差值图像的强度级则在模块126中检验。这通过首先产生Idiff(n)的像素强度分布来进行。然后，门限被设置，作为这个范围的最低十分位数，与5相乘-这个因子根据经验选取以便为运动异常性提供适当的健壮度。这个强度以上的所有像素则被视为异常的，因此LMM中的相应位在模块127中被设置为零，以便将它们从相关操作中排除，如图3所示。这个异常像素门限用作在GMO的计算中使用的噪声电平估算值114。
图7表示模块105的运动偏移纠错的数据流程图。为此，模块105有权访问来自当前图像118和先前图像128的GMO向量以及来自存储在系统存储器中的当前图像的LMO向量123的集合。模块105首先进行锁定跟踪估算129，以便检查极大移动物体导致的GMO的失真。它利用先前已经存储在存储器中的GMO(n)、LMO(n)和GMO(n-1)至GMO(n-25)(PAL)或者至GMO(n-30)(NTSC)来进行这个操作。
锁定跟踪被认为在以下情况下已经发生：
i.GMO(n-1)至GMO(n-25)(或者适当情况下为GMO(n-30))均小于给定门限值(当前使用距离5.0像素)；
ii.GMO(n)大于给定门限；以及
iii.50％以上的LMO(n)大于给定门限(当前使用距离4.0像素)。
本实施例只考虑GMO和LMO向量的水平分量，但是，当然能够使用任一个或者两个分量。当锁定跟踪被认为已经发生时，GMO(n)和LMO(n)的水平分量设置为零。对序列中的这个特定图像、这具有对这个轴停止所有稳定化作用的效果。但垂直轴上的稳定化仍然可能出现。
模块105还分析当前GMO和GMO最近历史记录，以便估算(130)摄像机实际上是否是静止的。它通过考虑等于GMO(n)至GMO(n-49)(对于PAL信号)的相当于大约一秒的GMO来进行这个操作。如果所有已检验GMO均小于门限-通常对于水平以及垂直轴设置为1像素，则摄像机被认为是静止的。在一个备选方法中，已检验GMO的方差被计算，并类似地确定门限。如果方差低于门限-当前设置为1.5像素-以及相当于一秒的GMO也小于如上所述的门限，则摄像机被认为是静止的。当检测到静止状态时，GMO(n)的当前水平和垂直分量被设置为零，对那个图像有效地禁用所有稳定化。
来自模块105的纠错后的偏移被认为是GMOEC 130和LMOEC131。
图8更详细地表示检测摄像机状态138的操作-即是否发生摇摄或推拉摄像操作。在检测摇摄时，两个GMOEC之和之间的差值被计算(133)。一个是从GMOEC(1)到GMOEC(n)的GMOEC(n)的和134(即自系统通电以来的GMOEC值的累积)。另一个135采用在求和之前经过高通滤波器的相同偏移。所使用的滤波器是具有0.5Hz截止频率的二阶贝塞尔滤波器，但相关领域的技术人员知道，存在许多适合的滤波器特性。这种滤波器特性的计算的更详细情况可见于Rabiner、L.R.和B.Gold的“数字信号处理的理论及应用”(Prentice Hall，1975，第228-230页)。这些和之间的足够大的差值表明存在低频全局运动，通常为摇摄。注意，上述摇摄检测与通过对GMOEC和数进行低通滤波将得到的相似；但是，当高通滤波值被用于另一个处理、因此已经存在于系统存储器中时使用上述方法。因此节省了计算低通滤波值的工作。
如果和之间的差异超过门限(本实施例中设置为50.0像素)，则摇摄被认为已经发生。在超过这个门限之前，摇摄检测显示“无摇摄状态”。第一次超过门限，摇摄检测显示“可能的摇摄状态”。如果对于若干连续图像(本实施例中设置为30个图像)发生这种情况，则存在摇摄的足够证明，以及摇摄检测显示“摇摄状态”。
一旦摇摄检测显示“摇摄状态”，它将继续显示“摇摄状态”，直到和之间的差异没有超过门限。为了使转变平滑，摇摄检测将在返回到“无摇摄状态”之前，对数个图像(本实施例中设置为30个图像)显示“可能的摇摄状态”。
在检测推拉摄像操作(136)中，来自以图像中央为中心的局部运动块组的LMOEC(n)132被检验。这通常是矩形边界，在局部运动块的网格边缘的周围的一个块深度。这个情况如图9所示。在这里给出图像n，由大矩形11表示。内侧部分12表示为被划分成一组6×8局部运动块，例如13。如果来自所选块的LMOEC看来显示整体朝向图像中央的移动，则检测到推近。同样，如果移动整体离开图像的中央，则检测到拉远。所选块是图像n的内侧部分12的边界(例如14)上的那些块。矩形的左和右侧上的块被检验，以便查看它们是否显示水平轴上大于某个门限的运动。同样，矩形的上和下侧的块被检验，以便查看它们是否显示垂直轴上大于某个门限的运动。因此将看到，角块构成水平和垂直分析。
对于组中的每个块，运动偏移的幅度与门限值比较。如果某个块具有大于给定门限的运动偏移分量幅度，则那个块被认为具有显著运动。
对于具有显著运动的每个块，相对于图像中央的运动的方向用来判断运动是显示推近还是拉远。组中的所有块则被检验，以便判定推拉摄像操作是否正在进行。在本实施例中，如果满足下列不等式，则推拉摄像被认为已经发生：
Abs ( N Z ( in ) - N Z ( out ) ) ≥ 1 2 N B      (式2)
其中，Nz(in)是组中表明推近的块的数量；Nz(out)是组中表明拉远的块的数量，以及NB是组中块的总数。推拉摄像的方向当然可通过Nz(in)和Nz(out)的比较来发现。
不等式(式2)实际上可计算两次。首先采用NZ(in)和NZ(out)的值来计算，它们仅包括出现大于5个像素的运动偏移分量的那些块。如果随后满足不等式，则认为出现“快速推拉摄像”。如果没有满足不等式，则计算反复进行，这一次在NZ(in)和NZ(out)中包括出现一个或多个像素的运动偏移分量的那些块。如果这里满足不等式，则认为出现“慢速推拉摄像”。把推拉摄像分类为快速或慢速推拉摄像的原因在于，已经发现，通过以不同方式对它们进行处理，取得更好的稳定化。对于两种状态的处理的差别如下所述。
如果对于多个连续图像(本实施例中，对于快速推拉摄像为2个，对于慢速推拉摄像为10个)检测到推拉摄像状态，则存在推拉摄像的足够证明，以及推拉摄像检测显示推拉摄像状态。
一旦推拉摄像检测显示快速或慢速推拉摄像状态，它将继续显示推拉摄像状态，直到对于多个连续图像(本实施例中为10个)没有检测到推拉摄像。为了使转变平滑，推拉摄像检测将在返回到无推拉摄像状态之前，对数个图像(本实施例中同样为10个)显示可能的推拉摄像状态。
如果对给定图像n检测到摇摄和推拉摄像，则状态仲裁过程137用来判定其中的哪个更为重要。该过程通过对状态的每个分配优先级来工作，其中对最高优先级的那个进行操作，而其它的则被忽略。本实施例中使用的顺序如表1所示，按照递减优先级的顺序：
 
1. 快速推拉摄像
2. 摇摄
3. 慢速推拉摄像
4. 可能的摇摄
5. 可能的推拉摄像
6. 没有检测到摇摄或推拉摄像
表1
注意，如果没有观察到其它状态，则缺省选择表1的状态6。
由模块106预测的摄像机状态138馈入模块107(参见图2)，在其中计算要应用于图像n的稳定化偏移(SO)。对模块107的另一个主要输入是纠错后的GMOEC(n)131。已检测摄像机状态用来产生要应用于图像n的最终偏移SO(n)139。这个操作如表2所示来进行。
 
已检测状态 最终图像稳定化偏移SO(n)
1 SO(n)＝快速衰变常数×SO(n-1)
 
2 SO(n)＝快速衰变常数×SO(n-1)+HPF(GMO<sub>EC</sub>(n))
3 SO(n)＝衰变常数×SO(n-1)+HPF(GMO<sub>EC</sub>(n))
4、5或6 SO(n)＝衰变常数×SO(n-1)+(GMO<sub>EC</sub>(n))
表2
表2中的衰变常数用来对于随时间的累积图像偏移进行衰减。这略微减小稳定化的影响，同时改进可见图像数量。如果没有检测到摄像机运动，则衰减偏移将最终使图像返回到其最初起始位置。它在摄像机晃动停止但所计算偏移没有返回到零的情况下极为有用。
另外，如果本发明的实施例制作为没有检测和校正摇摄或推拉摄像运动的能力(它例如可用于增加处理速度和图像吞吐量)，并且该实施例无意地与摇摄或推拉摄像摄像机配合使用，则允许该系统进行工作，但在摇摄或推拉摄像操作过程中具有略微减小的保真度。目前使用的快速衰变常数为0.735，所使用的标准衰变常数为0.98。
表2中使用的高通滤波器(HPF)操作与上述摇摄检测中进行的相同。
以上得出的偏移SO(n)139随后与摄像机状态138共同应用于图像n，以便实现视频信号的稳定化。这个操作分两级进行，如图10所示。第一级140根据向量SO(n)139对图像n移位。图像的这种移位可导致图像区域的部分边界没有任何数据，因此为空白。连续图像中的空白区域可以是不同尺寸的，它们将在图像序列的快速移动边缘被提供给输出显示装置时导致闪烁效果。因此，显示过程的第二级将产生覆盖这些空白区域的“动态”边界141。
动态边界隐藏稳定化图像序列的快速移动边缘。这通过在移位图像的边缘上重叠人工黑边界来进行。它们减小了可见图像的尺寸，使得快速移动边缘被隐藏。边界连续调整以显示尽量多的图像，而没有显示移动边缘。摄像机状态、稳定化偏移SO(n)和SO值的历史记录用来确定所显示边界的量。当正出现摇摄或推拉摄像或者存在极小的图像运动时，动态边界衰减为显示图像的边缘。边界通常将覆盖多达在50个图像的偏移历史记录期内所检测的图像的最大偏移的区域。
用于边界生成的偏移历史记录根据摄像机状态得到各图像的条目。
如果检测到“快速推拉摄像状态”、“摇摄状态”、“慢速推拉摄像状态”、“可能的摇摄状态”或“可能的推拉摄像状态”，则图像n的偏移历史记录中的值被设置为0。
如果检测到“无摇摄状态”或“无推拉摄像状态”，则图像n的偏移历史记录中的值被设置为SO(n)。
为了防止边界变化过快，对各图像限制边界的变化速率。垂直方向的最大变化限制为每个图像5个像素，以及水平方向的最大变化限制为每个图像10个像素。已经发现这些值可顺利工作，但也可使用其它值。
具有已应用的动态边界的移位图像142则被转换为模拟信号，用于在监视器上重放或记录到盘或磁带中。数字信号当然也可采用任何方便的格式保存到计算机盘中。
图11表示起作用的边界生成。在a)中，表示了安装在不稳定平台上的视频摄像机指向的画面。假定摄像机正上下摇晃。摄像机的视野为未加阴影部分143。大矩形表示摄像机在数秒时间通过画面144移动期间在任何时间看到的较大画面144。将会看到，摄像机对于这个图像正指向画面144的上部，因此，由加阴影区域表示的画面145的下部没有出现。
如本文所公开的图像稳定化系统在被提供图11a作为其中之一的一系列图像时将倾向于把图像143朝重放装置的显示区的中央移动，它的上、下限在此由虚线151表示。这将在移位帧的顶部产生间隙。当产生动态边界时，稳定化图像顶部的边界变为至少与这个移动同样大，以便隐藏这个间隙。
图11b)表示摄像机在稍后较短时间，当摄像机因其摇晃而移动并在这时指向较大画面144的底部146时，录制的图像。因此，较大画面144的顶部147在这个帧中没有被记录。同样，稳定化例程将倾向于把这个图像移入如虚线151所表示的显示区的中央，以及它所产生的间隙也在产生动态边界时被覆盖。象上述机制在稳定化图像的顶部和底部产生空白区域一样，也有在一个图像中可见但在另一个图像中不可见的较大画面144的部分区域。例如，在图11a中，可看到树148的顶部，而地面则无法看到。同样，在图11b中，可看到地面149，但树的顶部则无法看到。如果边界仅遮盖空白区域，则仍然可见到与这些边界相邻的、由仅在某些时候可见的画面引起的闪烁区域。这些是以上所述的快速变化边缘。为了隐藏它们，边界延伸到覆盖这个区域，其大小通过检验在前五十个图像上看到的图像的最大偏移(由稳定化偏移给出)来确定。
图11c表示在标号151所表示的显示区内、具有边界150、如上所述产生以覆盖快速移动边缘的所得稳定化图像。
一个备选实施例以不同方式解决移动边缘问题。在这里，在摄像机移动在图像中建立空白区域的情况下，来自前一个图像的图像信息用来有效地覆盖空白区域。这通过创建包含如上所述根据偏移移位的当前图像的缓冲图像来进行，它被写到缓冲器中的先前图像，使得它只改写图像数据存在于当前图像中的那些部分，而使缓冲器中对应于当前图像的空白区域那些部分保持不变。这样，缓冲图像变成大于边界151给定的显示区的图像，但作为当前图像与先前图像的合成。缓冲图像将为较大画面144的大小。这个缓冲图像在虚线151给定的显示极限范围内的部分则被输出到显示装置或记录装置，从而确保没有死区或边界空间需要被显示。
另一个实施例通过线性缩放，使得图像覆盖否则作为因图像移位过程而产生的空白的那些部分，来扩大要显示图像的大小。
技术人员会知道，在本发明的范围内，可设想其它实施例，因而，本发明不应当限制于本文所述的实施例。

Claims (20)

1.一种用于摄像机运动的校正的视频图像稳定化系统，该系统包括：处理器，计算机存储器，从图像源接收表示多个图像的一个或多个信号的模块，以及对于至少前一个图像和再前一个图像之后的当前图像估算表示在当前图像中成像的场景与前一个图像中成像的场景之间的空间间隔的所述当前图像与前一个图像之间的全局运动偏移值，并根据这个全局运动偏移对所述当前图像施加校正移动的模块，其特征在于，还包括：
参照表示在所述全局运动偏移估算中没有考虑的所述当前图像的一个或多个区域的屏蔽图像来估算所述当前图像的全局运动偏移的模块，所述区域是估计为可能误导所述全局运动偏移的估算的区域。
2.如权利要求1所述的稳定化系统，其特征在于，所述系统还包括：检验所述当前图像的一个或多个局部区域以及前一个图像的相应局部区域，并且估算表示所述当前和先前图像的相应局部区域中的相似特征之间的空间间隔的局部运动偏移的模块，如果所述局部运动偏移或者每个局部运动偏移大于给定门限，则设置对应这个或多个局部区域的所述屏蔽的区域，以表明从所述全局运动偏移估算中省略。
3.如权利要求2所述的稳定化系统，其特征在于，所述局部区域包含矩形区域的阵列。
4.如权利要求1至3中的任一项所述的稳定化系统，其特征在于，所述系统还包括：估算表示当前图像的图像的全局运动偏移的模块，所述图像的空间分辨率低于当前图像的空间分辨率。
5.如权利要求4所述的稳定化系统，其特征在于，所述系统还包括：对于各表示当前图像的多个图像迭代进行所述全局运动偏移的估算的模块，其中所述多个图像中的每个具有不同的空间分辨率。
6.如权利要求1至3中的任一项所述的稳定化系统，其特征在于，所述系统还包括：在检测到静止摄像机状态时调整全局运动偏移到0的模块，所述静止摄像机状态通过包含当前全局运动偏移均低于给定门限的多个毗连全局运动偏移来指示。
7.如权利要求2或3所述的稳定化系统，其特征在于，所述系统还包括：在检测到所述图像源观看方向的有意调整即摇摄时调整所述全局运动偏移的模块，该摇摄检测是通过以低于由无意的摄像机移动预期的频率的截止频率对来自至少一系列先前图像的全局运动偏移值进行低通滤波。
8.如权利要求2或3所述的稳定化系统，其特征在于，所述系统还包括：在检测到视野的有意调整即推拉摄像时调整所述全局运动偏移的模块，如果对于当前图像所检验的局部运动偏移的数量x都显示朝向所述当前图像的中央区域的移动方向，或者都显示离开所述当前图像的中央区域的移动方向，则检测到推拉摄像，所述数量x大于给定门限。
9.如权利要求8所述的稳定化系统，其特征在于，所述给定门限为所检验的那些局部运动偏移的50％，以及所述数量x与绝对差成比例，该绝对差是指显示朝向当前图像中央区域移动方向的那些已检验的局部运动偏移的数量与显示离开当前图像中央区域移动方向的那些已检验的局部运动偏移的数量之间的绝对差。
10.如权利要求8所述的稳定化系统，其特征在于，所检验的局部运动偏移取自与当前图像的边缘相邻的那些局部区域。
11.如权利要求9所述的稳定化系统，其特征在于，所检验的局部运动偏移取自与当前图像的边缘相邻的那些局部区域。
12.如权利要求1至3中的任一项所述的稳定化系统，其特征在于，所述系统还包括：对于所述当前图像的至少一个边缘产生边界的模块，所述边界的尺寸可调整，使得所述边界覆盖当前图像的边缘与显示所述当前图像的显示区的相应边缘之间的任何空白空间。
13.如权利要求12所述的稳定化系统，其特征在于，所述系统还包括：对于所述当前图像的至少一个边缘调整所述边界大小的模块，使得所述边界还覆盖当前图像上与一个或多个先前图像上存在的空白空间对应的区域。
14.如权利要求12所述的稳定化系统，其特征在于，所述系统产生的所述边界由来自一个或多个先前图像的图像数据组成。
15.如权利要求1至3中的任一项所述的稳定化系统，其特征在于，所述系统还包括：缩放所述当前图像，使得所述当前图像覆盖当前图像的所述边缘与显示所述当前图像的显示区的所述相应边缘之间的任何空白空间的模块。
16.如权利要求1至3中的任一项所述的稳定化系统，其特征在于，所述当前图像的异常像素用来设置所述屏蔽图像的相应像素，使得它们从所述全局运动偏移的估算中被排除。
17.如权利要求16所述的稳定化系统，其特征在于，高于包含绝对差的图像中的门限的所述像素被视作异常，该绝对差为所述当前图像与前一个图像之间的绝对差，其中当前图像和前一个图像已经应用了校正移动，所述绝对差是指显示朝向当前图像中央区域移动方向的那些已检验的局部运动偏移的数量与显示离开当前图像中央区域移动方向的那些已检验的局部运动偏移的数量之间的绝对差。
18.如权利要求1至3中的任一项所述的稳定化系统，其特征在于，所述系统还包括：在对所述当前图像移位之前把在其它任何操作中调整的已计算的全局运动偏移与位于0与1之间的衰变常数因子相乘的模块。
19.一种相对至少一个先前图像稳定当前图像的方法，其中当前以及先前图像都是由电子信号表示的一系列视频图像的一部分，所述方法包括以下步骤：
i.估算表示所述当前图像中成像的场景与所述前一个图像中成像的场景之间的空间间隔的所述当前与前一个图像之间的全局运动偏移；以及
ii.根据所述全局运动偏移把校正移动施加到所述当前图像；
其特征在于：
屏蔽图像用于估算所述全局运动偏移，所述屏蔽图像表示在所述全局运动偏移估算中没有考虑的所述当前图像的一个或多个区域，所述区域是估计为可能误导所述全局运动偏移的估算的区域。
20.如权利要求19所述的方法，其特征在于，所述方法还包括以下步骤：检验所述当前图像的一个或多个局部区域以及前一个图像的相应局部区域；以及估算表示所述当前和先前图像的相应局部区域中的相似特征之间的空间间隔的局部运动偏移，如果所述局部运动偏移或者每个局部运动偏移大于给定门限，则设置对应这个或多个局部区域的所述屏蔽的区域，以表明从所述全局运动偏移估算中省略。
CNB2003801057219A 2002-12-13 2003-12-04 图像稳定化系统及方法 Expired - Lifetime CN100544403C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0229096.3A GB0229096D0 (en) 2002-12-13 2002-12-13 Image stabilisation system and method
GB0229096.3 2002-12-13

Publications (2)

Publication Number Publication Date
CN1723692A CN1723692A (zh) 2006-01-18
CN100544403C true CN100544403C (zh) 2009-09-23

Family

ID=9949635

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801057219A Expired - Lifetime CN100544403C (zh) 2002-12-13 2003-12-04 图像稳定化系统及方法

Country Status (8)

Country Link
US (1) US7609293B2 (zh)
EP (1) EP1570652B1 (zh)
JP (1) JP4395077B2 (zh)
CN (1) CN100544403C (zh)
AU (1) AU2003285588A1 (zh)
GB (1) GB0229096D0 (zh)
HK (1) HK1087569A1 (zh)
WO (1) WO2004056089A2 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0307307D0 (en) * 2003-03-29 2003-05-07 Atelier Vision Ltd Image processing
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
GB0423578D0 (en) * 2004-10-22 2004-11-24 Greenparrotpictures Ltd Dominant motion estimation for image sequence processing
CN100423552C (zh) * 2005-10-09 2008-10-01 英华达股份有限公司 影像处理方法及其装置
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
TWI296178B (en) * 2005-12-12 2008-04-21 Novatek Microelectronics Corp Image vibration-compensating apparatus and the method thereof
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US8116576B2 (en) * 2006-03-03 2012-02-14 Panasonic Corporation Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture
US8013895B2 (en) * 2006-08-07 2011-09-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical motion sensing
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US20080112630A1 (en) * 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
US8723969B2 (en) * 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
TWI338264B (en) * 2007-07-02 2011-03-01 Asustek Comp Inc Image processing method and electric device using the same
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
JP4864835B2 (ja) * 2007-08-21 2012-02-01 Ｋｄｄｉ株式会社 色補正装置、方法及びプログラム
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US8698908B2 (en) * 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US9837013B2 (en) * 2008-07-09 2017-12-05 Sharp Laboratories Of America, Inc. Methods and systems for display correction
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US20100157079A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
JP4915423B2 (ja) * 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体
JP4915424B2 (ja) * 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
JP2010250611A (ja) * 2009-04-16 2010-11-04 Sony Corp 画像処理装置、画像処理方法及び記録媒体
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
WO2011065960A1 (en) * 2009-11-30 2011-06-03 Hewlett-Packard Development Company, L.P. Stabilizing a subject of interest in captured video
EP2357605B1 (en) * 2009-12-28 2013-01-16 Softkinetic Software Stabilisation method and computer system
FR2955007B1 (fr) * 2010-01-04 2012-02-17 Sagem Defense Securite Estimation de mouvement global et dense
JP2011181984A (ja) * 2010-02-26 2011-09-15 Hitachi-Ge Nuclear Energy Ltd 画像処理方法，画像処理装置およびそれを搭載した水中検査装置
JP5375744B2 (ja) * 2010-05-31 2013-12-25 カシオ計算機株式会社 動画再生装置、動画再生方法及びプログラム
US8988536B2 (en) 2010-12-23 2015-03-24 Samsung Electronics Co., Ltd. Image processing circuit, method of operation thereof, and digital camera including same
TW201303745A (zh) * 2011-07-14 2013-01-16 Novatek Microelectronics Corp 動態偵測方法及顯示裝置
US8760513B2 (en) 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
US9055222B2 (en) * 2012-02-24 2015-06-09 Htc Corporation Electronic device and method for image stabilization
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
WO2014046868A1 (en) * 2012-09-24 2014-03-27 Motorola Mobility Llc Preventing motion artifacts by intelligently disabling video stabilization
US9554042B2 (en) * 2012-09-24 2017-01-24 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US8941743B2 (en) * 2012-09-24 2015-01-27 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US20150334276A1 (en) * 2012-12-31 2015-11-19 Given Imaging Ltd. System and method for displaying an image stream
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
CN104301703A (zh) * 2013-07-16 2015-01-21 联咏科技股份有限公司 匹配搜寻方法与匹配搜寻系统
US8908102B1 (en) * 2013-09-03 2014-12-09 Google Inc. Generating and/or modifying motion compensation parameters for video stabilization
US10554965B2 (en) 2014-08-18 2020-02-04 Google Llc Motion-compensated partitioning
EP3001676B1 (en) * 2014-09-25 2016-10-26 Axis AB Method and image processing device for image stabilization of a video stream
KR102286635B1 (ko) 2014-12-29 2021-08-09 삼성디스플레이 주식회사 표시 장치
WO2016152007A1 (ja) 2015-03-25 2016-09-29 パナソニックＩｐマネジメント株式会社 画像処理装置およびこれを備えた監視システムならびに画像処理方法
EP3076656B1 (en) * 2015-04-02 2017-03-08 Axis AB Method and system for image stabilization
US10708571B2 (en) * 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
US10397600B1 (en) 2016-01-29 2019-08-27 Google Llc Dynamic reference motion vector coding mode
US10462457B2 (en) 2016-01-29 2019-10-29 Google Llc Dynamic reference motion vector coding mode
JP6730423B2 (ja) * 2016-03-28 2020-07-29 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US11265446B2 (en) * 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling
KR102553105B1 (ko) * 2018-11-01 2023-07-07 삼성전자주식회사 이미지의 컨텐츠의 변경에 기반하여 이미지의 표시 위치 또는 면적을 제어하는 전자 장치
CN110248100B (zh) * 2019-07-18 2021-02-19 联想(北京)有限公司 一种拍摄方法、装置及存储介质
US20230056943A1 (en) * 2019-12-13 2023-02-23 Dinesh Vyas Stapler apparatus and methods for use

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2832960B2 (ja) 1988-10-27 1998-12-09 キヤノン株式会社 測距領域設定装置
GB2231750B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
JP3103894B2 (ja) * 1991-02-06 2000-10-30 ソニー株式会社 ビデオデータの手振れ補正装置およびその方法
JP2677312B2 (ja) * 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
US5731849A (en) * 1992-03-13 1998-03-24 Canon Kabushiki Kaisha Movement vector detecting apparatus
SE9201183L (sv) * 1992-04-13 1993-06-28 Dv Sweden Ab Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler
GB9217098D0 (en) 1992-08-12 1992-09-23 British Broadcasting Corp Derivation of studio camera position and motion from the camera image
DE69428838T2 (de) * 1993-06-29 2002-07-18 Sanyo Electric Co Videokamera mit elektronischer Bildstabilisierung und Erzeugung von Additionsdaten
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6459822B1 (en) * 1998-08-26 2002-10-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image stabilization and registration
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
EP1177690B1 (de) * 1999-05-07 2003-11-12 Siemens Aktiengesellschaft Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
US6738099B2 (en) * 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video

Also Published As

Publication number Publication date
GB0229096D0 (en) 2003-01-15
WO2004056089A2 (en) 2004-07-01
EP1570652A2 (en) 2005-09-07
JP2006510282A (ja) 2006-03-23
AU2003285588A1 (en) 2004-07-09
CN1723692A (zh) 2006-01-18
US7609293B2 (en) 2009-10-27
WO2004056089A3 (en) 2004-08-19
US20060061658A1 (en) 2006-03-23
HK1087569A1 (en) 2006-10-13
EP1570652B1 (en) 2015-10-07
JP4395077B2 (ja) 2010-01-06
AU2003285588A8 (en) 2004-07-09

Similar Documents

Publication Publication Date Title
CN100544403C (zh) 图像稳定化系统及方法
KR100268311B1 (ko) 전자적 화상 안정화 장치 및 방법
US7436437B2 (en) Method, device and computer program product for image stabilization using color matching
EP2169945B1 (en) Image processing apparatus and method for detection and correction of camera shake
US7646891B2 (en) Image processor
US5689302A (en) Higher definition video signals from lower definition sources
US20070296807A1 (en) Intersection Detection in Panoramic Video
EP2081149B1 (en) Weighted average image blending based on relative pixel position
EP0589643A1 (en) Digital image stabilization using binary edge data
US20100002074A1 (en) Method, device, and computer program for reducing the resolution of an input image
US8723969B2 (en) Compensating for undesirable camera shakes during video capture
EP1039746B1 (en) Line interpolation method and apparatus
EP0538042A2 (en) Apparatus for judging a hand movement of an image
JPH04213973A (ja) 画像ゆれ補正装置
EP0673575B1 (en) Higher definition video signals from lower definition sources
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2007527139A (ja) 動き補償画像信号の補間
JP2009065283A (ja) 画像ぶれ補正装置
Tucker et al. Image stabilization for a camera on a moving platform
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
JP3020299B2 (ja) 動きベクトル検出装置
US11997418B2 (en) Indirect viewing system and method for adjusting a frame rate
JP2011142400A (ja) 動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、プログラムおよび記録媒体
JP3271387B2 (ja) 動き量検出装置及び動き量検出方法
US20220150443A1 (en) Indirect Viewing System And Method For Adjusting A Frame Rate

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1087569

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1087569

Country of ref document: HK

CX01 Expiry of patent term

Granted publication date: 20090923

CX01 Expiry of patent term