CN105051785B - 用于运动估算的方法和装置 - Google Patents

用于运动估算的方法和装置 Download PDF

Info

Publication number
CN105051785B
CN105051785B CN201480016617.0A CN201480016617A CN105051785B CN 105051785 B CN105051785 B CN 105051785B CN 201480016617 A CN201480016617 A CN 201480016617A CN 105051785 B CN105051785 B CN 105051785B
Authority
CN
China
Prior art keywords
frame
image
interest region
hierarchy
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480016617.0A
Other languages
English (en)
Other versions
CN105051785A (zh
Inventor
P·比焦伊
P·科尔科兰
P·斯特克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
DigitalOptics Corp Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DigitalOptics Corp Europe Ltd filed Critical DigitalOptics Corp Europe Ltd
Priority to CN201710444082.2A priority Critical patent/CN107248168A/zh
Publication of CN105051785A publication Critical patent/CN105051785A/zh
Application granted granted Critical
Publication of CN105051785B publication Critical patent/CN105051785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种估算给定场景的图像帧对之间的运动的方法包括：计算针对图像帧中的每个图像帧的相应积分图像，并且在每个帧内选取至少一个对应的兴趣区域。对于每个兴趣区域，从每个积分图像计算积分图像轮廓，每个轮廓包括元素数组，每个元素包括来自帧的兴趣区域的连续地带的像素强度的总和。将积分图像轮廓进行相关，以确定帧对之间的兴趣区域的相对位移。每个兴趣区域被分割成多个进一步的兴趣区域，之后重复，直到提供了所需要的针对连续分割的兴趣区域的估算运动的分层结构。

Description

用于运动估算的方法和装置
技术领域
本发明涉及用于运动估算的方法和装置。
背景技术
WO2008/151802(参考：FN-174)和WO2011/069698(参考：FN-352)公开了用于确定图像帧之间的相对移动的视频序列中的相应图像帧的相关轮廓(profile)——移动包括相机移动或者主题(subject)移动。然而，提供对帧到帧运动的全局测量的应用受到限制。
因此，可能有用的是，提供指示图像序列的块或者区域内的全局和局部运动两者的信息。有很多运动估算方法使用分层方法来找到视频帧的序列中的局部块运动。
有两种典型方法：
·图像金字塔，例如如在US6459822中公开的那样，其中图像被分解成所谓的高斯(Gaussian)金字塔，其中金字塔的每个层级是前一层级的缩小(downscale)版本。层级之间的常用缩放因子为2。通过使块之间的像素值相关，来找到对应块之间的位移。且不说用于存储图像金字塔所述需要的存储器的量，这是计算密集型处理，即使采用小的搜索半径。
·可变块尺寸，其中图像保持其原始尺寸，但是搜索块随着每次搜索迭代变得更小，并且搜索半径也减小，从而允许更精确的估算。此方法的问题是，图像像素必须被访问多次并且每次迭代的数值复杂度是高的。
US 8200020 B1公开了从源图像选取源图块(tile)的计算设备。从源图块中，计算设备可以选取第一矩形特征和第二矩形特征。基于第一和第二矩形特征，计算设备可以计算源特征矢量。计算设备还可以选取目标图像的搜索区域、以及搜索区域内的目标图块。基于该目标图块，计算设备可以计算目标特征矢量。计算设备可以确定源特征矢量和目标特征矢量之差在误差阈值之下，并且基于这一确定，进一步确定源图像和目标图像之间的映射。然后计算设备可以将该映射应用到源图像以产生经变换的源图像。
US 6809758公开了稳定使用连续帧序列形成的运动图像，其包括：计算相邻帧之前的运动矢量场；从运动矢量场的水平和竖直分量形成运动矢量直方图；向运动矢量直方图应用阈值以产生阈值化运动矢量直方图；从阈值化运动矢量直方图生成平均水平和竖直运动分量；在若干帧内对平均水平和竖直运动分量进行滤波，以针对帧中的每个帧识别不想要的水平和竖直运动分量；以及通过根据对应的不想要的水平和竖直运动使每个帧移位(shift)，来稳定图像序列。
Nguyen V A等人:“Fast Block-Based Motion Estimation Using IntegralFrames”,IEEE Signal Processing Letters,IEEE Service Center,Piscataway,NJ,US,vol.11,no.9,1September 2004,pages 744-747公开了块匹配算法(BMA)，其通过使用从积分帧计算的像素值的块总和来测量两个块之间的匹配。
Ken Sauer等人:“Efficient Block Motion Estimation Using IntegralProjections”,IEEE Transactions On Circuits And Systems For Video Technology,IEEE Service Center,Piscataway,NJ,US,vol.6,no.5,1October 1996,pages 513-518公开了块运动估算方案，其基于运动块与先前帧中的搜索区域的那些块的积分投影的匹配。该方案以递减搜索半径序列进行操作，并且通过子采样运动矢量场来利用典型像中的相邻块中的运动矢量的相似性。
US 6130912公开了获得视频图像数据中的目标帧相对于参考帧的每个宏块的运动矢量。在第一阶段中，应用粗略地搜索参考帧的第一搜索区域，以获得与目标帧中的超级宏块近似最佳的候选超级宏块。在第二阶段中，超级宏块被分割成多个宏块。宏块中的每个宏块被用于构造搜索区域，然后搜索该搜索区域以获得与目标帧中的宏块近似最佳的候选宏块。附加的阶段可以用于进一步精细调谐对宏块的近似。
发明内容
根据本发明的第一方面，提供根据权利要求1的确定给定场景的图像帧对之间的估算运动的分层结构的方法。
本发明的这一方面采用从每个图像帧得出的积分图像，以在图像区域的分层结构的若干层级确定图像帧之间的相对运动。不是直接使用图像相关而是使用积分图像轮廓，来找到对应区域之间的运动。积分图像轮廓是一维数组，其包含图像的兴趣区域的列或者行内的所有像素的强度的总和。将对应区域的积分图像轮廓进行相关，以便找到区域之间的位移。
如所讨论的那样，将图像缩小若干次并且在金字塔或者分层结构中保留所有经缩小层级在嵌入式应用中是不切实际的。此外，从分层结构内的图像的那些经缩小层级建立的轮廓会造成不必要的存储器流量。通过每帧使用单个积分图像，针对分层结构的每个层级按需要进行采样以产生分层位移图，有效地解决了这一问题。
在实施例中，分层结构的每个层级被分割为一个或者多个区域，使得区域的数目随分层结构向下的每个层级增加，例如在基础层级，图像被分割为16x16个区域，向上的下一层级具有8x8个区域，下一层级具有4x4个区域，以此类推。在一些实施例中，对积分图像信息的采样被伸缩，使得每个层级以上方层级的两倍分辨率采样，从而为图像的连续更局部化的区域提供更精细的运动估算。
本发明的实施例优化针对金字塔的每个块的积分轮廓的建立，并且从而提供了执行分层运动估算的高效方法，其将对存储器量和存储器带宽要求最小化并且降低了计算复杂性。
其它方法检测在单个兴趣区域内的多个运动，而不将其分割为子块和重建积分图像轮廓。它们利用两个对应兴趣区域之间的误差函数的局部极小值，并且附加地尝试在包含在兴趣区域内的对象之间设置近似界线。
使用其它方法，代替在金字塔的顶部处开始运动估算，使用基于内置到设备中的运动传感器的对运动的初始猜想，运动估算在分层结构的根层级之下的一个或者多个层级开始。
还提供了被布置为执行上面提及的本发明的方面的图像处理设备和计算机程序产品。
附图说明
现在将通过示例的方式，参照附图描述本发明的实施例，其中：
图1是根据本发明的实施例的被布置为执行运动估算的图像处理装置的框图；
图2是总体上图示根据本发明的实施例的运动估算方法的流程图；
图3示出了用于生成用于图2的方法的第一迭代的积分图像轮廓的积分图像像素；
图4图示了相对于参考图像(R)经位移的目标图像(T)；
图5图示了诸如图4所示的一对经位移图像的示例性积分图像轮廓；
图6示出了在图2的方法的第二迭代时经位移的兴趣区域(ROI)；
图7示出了在图2的方法的第二迭代时用于针对参考图像(R)的左上和左下ROI建立积分图像轮廓所需要的像素；
图8示出了在图2的方法的第三迭代时经位移的兴趣区域(ROI)；
图9图示了插值积分图像轮廓；
图10和图11图示了基于平均绝对误差(MAE)的对轮廓之间的子像素位移的计算；
图12示出了覆盖图像帧的显著部分的对象；
图13示出了指示针对图12的图像的具有局部极小值的MAE的轮廓；
图14示出了根据图2的方法产生的运动矢量的位移矩阵；
图15图示了用于从矩阵选取用于在计算全局变换矩阵中使用的矢量的方法；
图16示出了由图15的方法产生的用于图14的矩阵的选取掩模(mask)；并且
图17至图19图示了兴趣区域的从分层结构的一个层级到下一层级的非均匀子分割。
具体实施方式
现在参照图1，示意性地示出了根据本发明的实施例的用于执行运动估算的图像处理设备10。该设备包括总线12，该总线允许功能处理模块14至22(在总线之下示出)向存储器24至28(在总线上方示出)读取和写入信息。应该注意的是，模块14至22可以并入本地存储器以便于内部处理。
图像帧经由下采样器(DS)14从图像传感器(未示出)获取。下采样器14可以例如是由Fujitsu提供的类型的高斯下采样器。下采样的图像被馈送到积分图像(II)生成器(GEN)14，该积分图像生成器将II写入到存储器24。积分图像的计算是众所周知的并且最初由Viola,P.和Jones,M.在“Rapid Object Detection using a Boosted Cascade of SimpleFeatures”,Computer Vision and Pattern Recognition,2001,Volume 1中公开。积分图像通常用于识别诸如图像中的脸部之类的对象，诸如WO2008/018887(参考：FN-143)中所公开的那样。如将领会的，仅需要原始图像的强度版本以提供积分图像。因此，可以是图像的灰度版本，或者其可以是多平面图像格式(例如RGB、LAB、YCC等)中的任何单个平面。
分层注册引擎(HRE)18从存储器24读取一对帧的积分图像信息，并且针对该图像对生成位移图26(如将在下面更详细描述的)。
然后，运行应用程序的CPU模块20可以使用连续图像帧的位移图26提供配置信息28，例如在WO 2014/005783(参考：FN-384)中描述的类型的图形失真引擎(GDE)22需要配置信息28以提供视频序列内的图像稳定化。
如图所示，HRE模块18不直接使用视频帧，而是使用从图像帧的下采样表示计算的积分图像信息。HRE模块18需要在存储器24中对两个帧的积分图像信息进行缓冲，从而使用针对参考帧的图像信息的一个集并且计算目标帧内的(多个)兴趣区域(ROI)相对于参考帧的位移。如稍后将更详细讨论的那样，在一些实施例中，参考帧可以暂时与目标帧交替出现，使得其在目标帧之前并且然后继目标帧之后。
参照图2，HRE模块18执行分层搜索，以便找到在分层结构的每个层级的兴趣区域的运动矢量。其是由粗到细的方法，其中首先针对完整图像帧的积分图像信息以最大子采样间隔执行搜索。接着，该帧被分裂成多个区域并且对完整帧的运动估算被用作对单独区域中的局部运动的初始猜想；并且这样继续下去通过分层结构。
因此，从完整图像帧开始(步骤30)，模块18基于在存储器中取回的积分图像数据24针对参考帧(R)和目标帧(T)中的每个建立积分图像轮廓(步骤32)。积分图像轮廓为数组，该数组在每个元素中包含图像的兴趣区域的对应地带(列或者行，依赖于搜索方向)中的所有像素强度的总和。通常，积分图像轮廓本地存储在HRE模块18内，虽然如果需要的话，其可以被写回到通用存储器中。
参照图3，一般地，针对分层结构的给定兴趣区域计算积分图像轮廓包括沿着ROI的第一行对积分图像子采样，并且将这些值R1-x从其沿着ROI的最后行子采样的值R2-x减去，标记每个地带的左上角的顶部行值和标记每个地带的右下角的底部行值提供积分图像轮廓内的值。如图3所示，在分层结构的顶部层级，由于R1-1＝0，则第一列的轮廓值简单地为R2-1并且下一列的轮廓值简单地为R2-2–R2-1，并且跨图像的宽度以此类推。因此，仅积分图像信息的底部行需要在分层结构的顶部层级被采样，以在这一层级生成积分图像轮廓。(相似方法适用于确定竖直位移。)
图4示出了水平并且竖直位移的一对图像T、R，并且图5示出了这些图像的水平积分图像轮廓T、R。这些积分图像轮廓可以容易地相关以确定目标帧从参考帧的位移。(再次，执行相同操作以便找到竖直位移，但是在这一情形下，通过将图像的行求和以建立轮廓。)
在图2的实施例中，分层结构的每个层级以直接位于下方的层级的1/2分辨率采样，其中最粗糙的全图像版本在分层结构的顶部而最精细的版本在分层结构的底部。因此在步骤38中，在分层结构的一个层级处找到的运动(在积分图像样本中)乘以2并且设置为下方层级的初始估算，在没有局部移动时其标称不准确度为在每个方向上的±1个样本。
虽然低通滤波器不适用于分层结构的仅可以产生一个指示水平和竖直位移的运动矢量的开始层级，但是在分层结构的产生了运动矢量矩阵的更低层级(图14)，在一些实施例中，在步骤38处，可将低通滤波器应用于该矩阵以减少异常值的影响。
向一个维度看去，来自一个层级的位移值A至D的行被扩充(upscaled)以产生用于下一层级的开始位移值a至h的行：
A B C D
a b c d e f g h
对于没有滤波的简单扩充，开始位移值可以使用以下模式计算：
b＝(3*A+B)/4
c＝(A+3*B)/4
d＝(3*B+C)/4
e＝(B+3*C)/4；等
为了滤波，简单的高斯核[1 2 1]可以被应用于输出值并且通过替换掉对a、b、c…的计算，得到将交替地重复的两个情况的最终核：
c'＝(5*A+10*B+C/16
d'＝(A+10*B+5*C)/16
其中c'和d'是低通滤波后的值。以上计算中所使用的乘法可以被容易地分解为位移位和加法，例如，5*A＝(A<<2)+A并且因此可以实现这一类型的滤波器而无需任何乘法，从而使其对于硬件实施方式而言十分方便。(相同原理适用于运动矢量的列式处理。)
在实施例中，当前往分层结构的下一层级时，每个ROI被分裂成4个新的ROI(图2，步骤34)。再次，子分割层级可以变化并且甚至可以是动态的，具有可变的或者非均匀的ROI尺寸。
图6示出了在方法的第一迭代之后ROI的布局——参考帧(R)在右侧示出而目标帧(T)在左侧示出。在这一阶段，所有四个ROI使用相同的运动初始化(步骤36)，因为其来源于从对分层结构的顶部层级的积分图像信息的分析确定的单个矢量。因此，目标图像(T)的兴趣区域的图像信息取自相对于参考图像(R)的样本根据在分层结构的之前更高层级处确定的运动经过移位的样本。
再次，针对图6所示的4个兴趣区域中的每个兴趣区域确定目标图像的轮廓和目标图像相对于参考图像的位移(步骤32)。如图7所示，通过沿着图像的4个区域中的每个区域的顶部和底部行对积分图像点采样，建立积分图像轮廓。然而，重要的是，目标图像的经位移区域的积分图像信息是从根据针对兴趣区域检测到的位移进行了移位的位置采样的，该位移约束分层结构的更高层级的当前区域。
一旦建立了目标和参考图像的每个区域的积分图像轮廓，则在步骤38、34以及36处针对分层结构的下一层级重复处理之前，可以在步骤32处再次确定第二层级的运动。
如图8中的夸大形式所示，随着处理通过分层结构进行，对ROI的运动估算不再有规律。如图所示，目标图像的一个ROI的移动可以不依赖于另一ROI的移动——这对于包括移动对象的场景来说尤其是如此。
因此，在示例性实施方式中，对于分层结构的最顶层，积分图像信息被子采样，并且因此与原始积分图像分辨率相比缩小4倍。为了计算水平积分图像轮廓，从积分图像的最底部线(line)开始的每个第四像素被采样。通过计算连续样本之差，获得积分图像轮廓值。对于尺寸为640x480的原始帧，对于每个图像而言，金字塔的顶部层级将需要160个值。
来自金字塔的下一较低层级的块需要采样来自积分图像的每个第二条线像素，以便计算所需要的轮廓。例如，为了以原始积分图像的50％分辨率计算的积分图像的左下四分之一部分的轮廓，两条线L0和L1的每个第二像素从如图7所示的积分图像读取。因此，对于640x480的图像，需要每个ROI多达320个像素的积分图像信息，常规方法需要的带宽仍然是本方法的60倍大。
再次，对于确定竖直方向的位移，类似地执行所有计算。
这一建立轮廓的方法允许目标图像内的图像块的任意位置，并且直接支持原始图像的任何整数缩小因子，而不需要任何附加处理。
参照回图2，一旦该方法已经完成了对分层结构的最低层级的处理，这一情况下在第三迭代对目标和参考帧的积分图像的每个像素采样，还可能确定子像素位移(步骤40)。
以子像素精度将轮廓对准允许例如低分辨率图像信息(例如VGA)确定在高分辨率图像(例如全高清(Full HD))内的精确运动。
为了找到子像素移位，兴趣区域的积分图像轮廓之一被插值，以便确定原始采样间隔之间的像素值。在一个实施方式中，采用三次样条插值。图9示出了来自第一轮廓的原始样本(圆圈)被插值以提供连续的线轮廓。来自移位了0.5个像素的第二轮廓的样本以十字示出。位移(误差)被计算为由十字表示的值和在对应位置处取得的蓝线的值之间的平均绝对误差(MAE)。为了节省计算时间，未计算来自蓝线的所有值。仅在必须对两个轮廓之间的误差求值的位置对函数求值。
为了找到MAE具有极小值的子像素移位，采用了二分搜索。图10示出了误差如何随轮廓之间的位移改变。用0标记的点为以多达1个像素对准的轮廓的初始位置。搜索以搜索范围的±0.5的初始步长开始。在那些位置求值的误差值被进行比较，并且当前位置被移动到更小误差的位置。
以限定所需要的准确度的固定数目的迭代重复该操作。为了实现1/256个像素的准确度，使用了8次迭代。搜索的最后步骤在图11中示出，并且这确定了轮廓之间的位移在0.7和0.71个像素之间。
如上文所述，针对图像分层结构的较上层级确定的运动被用作下层的较低层级的ROI的初始猜想。然而，这可能导致错误的初始化和不可恢复的估算误差，尤其在采用小的搜索半径的情况下，即在最大允许位移被设置得过小而不能容纳这种误差的情况下。出现这种问题的典型情形是其中在相机的视场内部有大的、快速移动的对象。如果该对象覆盖小于视频帧的一半，则轮廓相关的最小值将指示场景的背景的运动。在图12中描绘了这种情况，其中对象在成像场景内在不同于背景的方向上移动。
在这一情况下，针对分层结构的顶部层级的运动的单个位移测量将仅反映背景运动。这一运动将被设置为包含标记为ROI 1-4的区域的金字塔的下一层级的初始猜想。虽然其会提供ROI 1和3的适当初始化，但是使用背景位移会提供ROI 2和4的不正确的初始化。此外，这一误差还会被传播到分层结构的所有较低层级，到从ROI 2和4派生的所有区域。
图13示出了用于图12中的图像的分层结构的顶部层级的积分图像轮廓的MAE函数。如在上述子像素分辨率的示例中那样，该函数是通过将轮廓之一相对于另一轮廓移位并且计算轮廓的经位移元素之间的平均绝对误差而计算的。与图10和图11中的示例不同，在这一情形下，函数包含局部最小值以及全局最小值。全局最小值反映最主要的运动，而局部最小值在这一情形下反映对象运动。
计算移位极小值位置的轮廓的绝对差，指示移动对象的位置。这示出了轮廓的哪个部分属于场景中的哪个对象。这允许从诸如图2中的步骤32中的单个轮廓相关返回多个运动值，并且因此，允许对来自分层结构的较低层级的下层块的更准确的初始化。
再次考虑图12的示例，现在可以看到来自金字塔的顶部层级的轮廓的右侧部分中的运动反映了与左侧部分不同的运动。因此，与图6所示的示例(其中4个ROI中的每个ROI设置有相同的初始位移值)不同，ROI 2和4现在可以用更合适的位移值来初始化。
将领会的是，这一技术还适用于基于非积分图像的应用。
同样地，知道了移动对象的大小允许将来自分层结构的一个层级的兴趣区域向下到下一层级的非均匀分裂。
参照图17，其图示了兴趣区域(ROI)，在该兴趣区域中对象(O)向着区域中心相对于背景(B)移动。图18示出了两个积分轮廓，它们是针对这种兴趣区域中的水平位移确定的典型积分轮廓。
图19是二维图，图示了沿着轮廓的误差值与水平位移。水平维度为轮廓的长度，而竖直维度为位移。黑色的左上角和右下角是因为轮廓的非重叠部分并且不需要考虑。可以观察到，存在针对某些位移形成的最小误差线(L)，并且可以使用一些约束优化方法找到此线，诸如具有几何约束的线性或者二次编程或者像蛇形方法或者水平集方法这样的主动轮廓方法。
线L的竖直位置指示位移。线接近水平的位置表示移动的对象或者背景，而线的倾斜部分表示不确定区域。在示例中，两个倾斜部分用于找到图17中的兴趣区域的子分割点H1、H2。再次，类似地找到竖直方向上的运动和子分割，以提供图17中的子分割点V1。因此，在这一情形下，对于分层结构的较低层级，兴趣区域被分割成3个水平区域和2个竖直区域。
将领会的是，这一技术还适用于基于非积分图像的应用。
上述实施例的很多变体是可能的。例如，大多数如今的移动设备配备有诸如加速计和/或陀螺仪之类的运动传感器，并且这些运动传感器可以用于检测帧到帧的相机位移。这些设备的准确度是有限的，并且因此通常，它们不允许对运动的子像素精度测量。
然而，通过提供用于搜索的初始猜想并且从而避免需要计算分层结构的所有层级上的运动；或者实际上提供对分层结构的任何给定层级处的背景相机运动的初始估算，内置运动传感器可以提供减少在图2实施例中采用的图像分层结构中所需要的层级数目的良好方法。
因此，知道了相机几何并且具有来自(多个)相机运动传感器的测量结果，可能计算在传感器平面的运动并且达到给定的准确度。因此例如，顶部层级位移计算可以从图2所示的实施例省略，并且从传感器测量结果计算的运动被用作对第二层级(并且可能后续层级)的初始猜想，例如如图6所示。这保证或者帮助确认全局运动，而不管移动对象。这对于视频稳定化是特别有用的，因为其有助于通过提供对真实相机运动的测量来排除在相机帧内部移动的对象的影响。
反过来想，将图2所示的方法与运动传感器信息组合，提供对运动的子像素准确度测量，单独使用运动传感器不能那样做。
用于补充(多个)运动传感器所需的分层结构层级的数目依赖于图像尺寸和传感器准确度。例如，如果传感器可以提供+-3个像素的准确度，则需要在每个层级具有+-2个像素的搜索半径的至少两个层级的分层结构。
将领会的是，这一技术还适用于基于非积分图像的应用。
在图2中的步骤40中，诸如图14所示的包括局部运动矢量(每个局部运动矢量指示局部水平和竖直位移，潜在地具有子像素准确性)的位移矩阵由HRE模块18提供并且可以被写入到存储器26。
然而，具有示出了两个连续视频帧之间的位移的局部运动矢量矩阵可能不足以提供可靠的视频稳定化。为了使诸如GDE 22之类的模块提供这种稳定化，通常会确定任何两个帧之间的几何变换——这可以以任何形式表达，例如矩阵、四元数、或者缩放-旋转-平移。再次，使用这种变换的细节可以在WO 2014/005783(参考：FN-384)中找到。
为了从诸如图14所示的运动矢量矩阵获得几何变换，可以使用最小二乘法或者等效方法。如果位移矩阵包含具有高斯分布的相对小的测量误差，则这一方法将是足够的。不幸的是，这几乎是不可能的。运动矢量可能在很多方面是无效的，例如，它们可以包含来自移动对象而不是相机运动的局部运动，或者由于缺少所成像的场景中的细节或者由于干扰相关处理的重复模式，它们可能是错误的。因此，直接使用针对场景内的ROI确定的原始位移矩阵信息来提供几何变换将很可能产生差的结果。
可以使用诸如来自Vision Research Lab的RANSAC之类的方法，其拒绝矢量集的异常值，只留下形成最可能的一致运动的矢量。在选取了这种矢量之后，可以使用最小二乘法或者等效方法以从剩余矢量估算最终几何变换。然而，诸如RANSAC之类的方法是计算密集型的，并且可能对移动设备的处理器造成显著负担。RANSAC的其它缺点是：
·其是迭代的，具有未知和变化数目的重复，这可能使处理器负担变高且不可预测；以及
·其是随机的，使得对于同一矢量集，两次连续的运行可能产生略微不同的结果。
本发明的实施例将矩阵估算的计算复杂度减少了几个数量级，具有可预测的执行时间并且提供可重复的结果，如下文所述。
参照图15，来自图14的运动矢量的值首先被量化为整数值(步骤150)。量化水平依赖于所期望的准确度和在帧内的预期运动范围。在最简单的情形下，量化可以被执行为舍入到最近的整数值，但是可以使用其它量化仓(bin)。
在步骤152中，建立对比图(comparagram)。这是2D直方图，其中每个维度分别表示在水平和竖直方向上的经量化运动，并且对比图仓的值示出了共享水平和竖直方向两者上的相同经量化运动值的矢量的频率。
在步骤154中，找到对比图内的最大仓值。最大值的位置成为用于生长连接相邻仓的区域的种子，该生长基于其值与种子值的相似度(步骤156)。
位移矩阵内的落入标记仓内的所有运动矢量被选取用于运动估算(步骤158)。最终的运动估算可以使用标准最小二乘法执行(步骤160)。用于图14的矩阵的样本选取矢量掩模在图15中示出。这与由例如RANSAC提供的结果对比是有利的，虽然RANSAC采用了更合理化和确定性的处理资源。
将领会的是，仍然有以上公开的实施例的其它变体是可能的。
例如，将注意到的是，对于参考图像(见图8)，仅要求积分图像值来自图像内的兴趣区域的边界。因此，在本发明的一些实施例中，对于每个二次获取的图像，在存储器中存储简化积分图像(RII)。知道了所需要的积分图像轮廓可以从与图8RHS所示的边界重叠的样本建立，每个这种图像被用作参考图像。另一方面，对于交替出现的目标图像，存储完整的II，因为用于兴趣区域的边界根据针对分层结构的更高层级计算的位移而变化，如对于图8LHS可以看到的。
完整的积分图像当然可以供包括脸部检测器(未示出)并且如在WO2008/018887(参考：FN-143)中公开的那样的其它处理模块来使用，这种检测器不总是需要每个帧的积分图像——因此采用RII的本发明的实施例不一定对其可能已经执行脸部检测的设备造成更大的处理器负担。
在任何情形下，当使用RII时，生成器16交替地向存储器24写入：全积分图像(帧N)和简化的II(帧N+1)；接着是II(帧N+2)和RII(帧N+3)。
HRE模块18使用来自存储器24的II(N)和RII(N+1)来产生帧N+1的位移图；并且接着使用来自存储器24的RII(N+1)和II(N+2)来产生帧N+2的位移图。
再次，将领会的是，虽然图示的实施例逐层级地将区域除以2，但是可以在实施例的变体中使用除了除以2之外的子分割，以及非均匀子分割。
将注意的是，允许任意的缩放因子将需要从积分图像读取经插值的值，而这将增加复杂度并且减少带宽增益，但是尽管如此，这种实施方式仍然会比标准方法更好地执行。

Claims (27)

1.一种确定给定场景的图像帧对之间的估算运动的分层结构的方法，所述图像帧对中的第一图像帧被指定为参考帧(R)，并且所述图像帧对中的第二图像帧被指定为目标帧(T)，所述方法包括：
a)计算所述图像帧对中的每个图像帧的相应积分图像；
b)在每个帧内选取(30)至少一个对应兴趣区域；
c)对于每个兴趣区域：
i.从每个积分图像计算(32)积分图像轮廓，每个轮廓包括元素的数组，每个元素包括来自所述帧的所述兴趣区域的地带的像素强度的总和，所述计算积分图像轮廓包括在所述分层结构的第一所选取层级以第一子采样间隔对所述积分图像子采样，并且对于步骤c)的每次重复，以连续地更小子采样间隔对所述积分图像子采样；
ii.对所述积分图像轮廓进行相关(32)以确定所述帧对之间的所述兴趣区域的相对位移；
iii.将每个兴趣区域分割(34)成多个进一步的兴趣区域，以去往所述分层结构的下一层级；并且
iv.根据针对在所述分层结构的更高层级的与分割的所述兴趣区域对应的兴趣区域所确定的相对位移，使在所述分层结构的一个层级的所述目标帧(T)的所述分割区域位移(36)，所述更高层级高于所述一个层级；并且
针对所述进一步的兴趣区域重复步骤c)，直到提供了所需要的针对连续分割的兴趣区域的估算运动的分层结构。
2.根据权利要求1所述的方法，其中步骤b)包括初始选取完整图像帧作为兴趣区域。
3.根据权利要求1所述的方法，其中所述分割包括将每个区域水平地和竖直地分割成整数数目的兴趣区域。
4.根据权利要求1所述的方法，包括在所述分层结构的底部层级对所述积分图像的每个像素采样。
5.根据权利要求4所述的方法，进一步包括在所述分层结构的底部层级对所述图像帧对中的每个图像帧的所述积分图像轮廓进行插值(40)，以在所述分层结构的所述底部层级提供针对兴趣区域的位移的子像素测量。
6.根据权利要求1所述的方法，其中所述位移响应于所述相关确定所述兴趣区域内的多于一个位移，以用于根据所述多于一个位移使所述目标图像内的所述分割的兴趣区域不同地位移。
7.根据权利要求1所述的方法，其中所述分割响应于所述相关确定所述兴趣区域内的多于一个位移，以用于确定所述兴趣区域的非均匀分割(H1、H2、V1)，并且以用于根据所述非均匀分割不同地分割所述兴趣区域。
8.根据权利要求1所述的方法，包括计算针对目标帧的全尺寸积分图像，并且计算针对参考帧的减尺寸积分图像，所述减尺寸积分图像仅包括与所述分层结构内的兴趣区域的边界对应的所述图像帧的像素的积分图像数据。
9.根据权利要求8所述的方法，包括从图像帧序列选取所述参考帧和所述目标帧，使得所述参考帧交替出现在所述目标帧之前和之后。
10.根据权利要求1所述的方法，进一步包括从相机运动传感器接收对所述图像帧对之间的相机移动的测量；并且其中所述选取包括选取所述图像内的多个区域，所述目标帧内的至少一个兴趣区域根据对相机移动的所述测量进行位移。
11.根据权利要求1所述的方法，包括基于针对在所述分层结构的底部层级的兴趣区域确定的运动矢量阵列，生成指示所述帧对的相对移动的几何变换。
12.根据权利要求11所述的方法，包括在所述生成之前对所述运动矢量滤波(38)，以消除异常运动矢量。
13.根据权利要求1所述的方法，其中对于步骤c)的每次重复，所述子采样间隔被减半。
14.一种图像处理设备(10)，被布置为获取场景的图像帧序列，并且被布置为根据权利要求1至13中的任一项所述的方法估算所述场景的图像帧对之间的运动。
15.一种确定给定场景的图像帧对之间的估算运动的分层结构的设备，所述图像帧对中的第一图像帧被指定为参考帧(R)，并且所述图像帧对中的第二图像帧被指定为目标帧(T)，所述设备包括：
a)用于计算所述图像帧对中的每个图像帧的相应积分图像的装置；
b)用于在每个帧内选取(30)至少一个对应兴趣区域的装置；
c)对于每个兴趣区域：
i.用于从每个积分图像计算(32)积分图像轮廓的装置，每个轮廓包括元素的数组，每个元素包括来自所述帧的所述兴趣区域的地带的像素强度的总和，用于计算积分图像轮廓的装置被配置用于在所述分层结构的第一所选取层级以第一子采样间隔对所述积分图像子采样，并且对于每个兴趣区域的每次重复操作，以连续地更小子采样间隔对所述积分图像子采样；
ii.用于对所述积分图像轮廓进行相关(32)以确定所述帧对之间的所述兴趣区域的相对位移的装置；
iii.用于将每个兴趣区域分割(34)成多个进一步的兴趣区域，以去往所述分层结构的下一层级的装置；以及
iv.用于根据针对在所述分层结构的更高层级的与分割的所述兴趣区域对应的兴趣区域所确定的相对位移，使在所述分层结构的一个层级的所述目标帧(T)的所述分割区域位移(36)的装置，所述更高层级高于所述一个层级；以及
用于针对所述进一步的兴趣区域重复对于每个兴趣区域的操作，直到提供了所需要的针对连续分割的兴趣区域的估算运动的分层结构的装置。
16.根据权利要求15所述的设备，其中用于选取(30)的装置被配置用于初始选取完整图像帧作为兴趣区域。
17.根据权利要求15所述的设备，其中用于分割的装置被配置用于将每个区域水平地和竖直地分割成整数数目的兴趣区域。
18.根据权利要求15所述的设备，包括用于在所述分层结构的底部层级对所述积分图像的每个像素采样的装置。
19.根据权利要求18所述的设备，进一步包括用于在所述分层结构的底部层级对所述图像帧对中的每个图像帧的所述积分图像轮廓进行插值(40)，以在所述分层结构的所述底部层级提供针对兴趣区域的位移的子像素测量的装置。
20.根据权利要求15所述的设备，其中用于位移的装置是响应于所述相关确定所述兴趣区域内的多于一个位移，以用于根据所述多于一个位移使所述目标图像内的所述分割的兴趣区域不同地位移。
21.根据权利要求15所述的设备，其中用于分割的装置是响应于所述相关确定所述兴趣区域内的多于一个位移，以用于确定所述兴趣区域的非均匀分割(H1、H2、V1)，并且以用于根据所述非均匀分割不同地分割所述兴趣区域。
22.根据权利要求15所述的设备，包括用于计算针对目标帧的全尺寸积分图像，并且计算针对参考帧的减尺寸积分图像的装置，所述减尺寸积分图像仅包括与所述分层结构内的兴趣区域的边界对应的所述图像帧的像素的积分图像数据。
23.根据权利要求22所述的设备，包括用于从图像帧序列选取所述参考帧和所述目标帧，使得所述参考帧交替出现在所述目标帧之前和之后的装置。
24.根据权利要求15所述的设备，进一步包括用于从相机运动传感器接收对所述图像帧对之间的相机移动的测量的装置；并且其中用于选取的装置被配置用于选取所述图像内的多个区域，所述目标帧内的至少一个兴趣区域根据对相机移动的所述测量进行位移。
25.根据权利要求15所述的设备，包括用于基于针对在所述分层结构的底部层级的兴趣区域确定的运动矢量阵列，生成指示所述帧对的相对移动的几何变换的装置。
26.根据权利要求25所述的设备，包括用于在所述生成之前对所述运动矢量滤波(38)，以消除异常运动矢量的装置。
27.根据权利要求15所述的设备，其中对于每个兴趣区域的每次重复操作，所述子采样间隔被减半。
CN201480016617.0A 2013-03-18 2014-03-14 用于运动估算的方法和装置 Active CN105051785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710444082.2A CN107248168A (zh) 2013-03-18 2014-03-14 用于运动估算的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361803115P 2013-03-18 2013-03-18
US61/803,115 2013-03-18
PCT/EP2014/055125 WO2014146983A2 (en) 2013-03-18 2014-03-14 A method and apparatus for motion estimation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710444082.2A Division CN107248168A (zh) 2013-03-18 2014-03-14 用于运动估算的方法和装置

Publications (2)

Publication Number Publication Date
CN105051785A CN105051785A (zh) 2015-11-11
CN105051785B true CN105051785B (zh) 2017-07-04

Family

ID=50289660

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710444082.2A Pending CN107248168A (zh) 2013-03-18 2014-03-14 用于运动估算的方法和装置
CN201480016617.0A Active CN105051785B (zh) 2013-03-18 2014-03-14 用于运动估算的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710444082.2A Pending CN107248168A (zh) 2013-03-18 2014-03-14 用于运动估算的方法和装置

Country Status (6)

Country Link
US (2) US10229504B2 (zh)
EP (2) EP2983136B1 (zh)
JP (1) JP6022734B2 (zh)
KR (1) KR101613176B1 (zh)
CN (2) CN107248168A (zh)
WO (1) WO2014146983A2 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
WO2016083002A1 (en) 2014-11-28 2016-06-02 Fotonation Limited A method for producing a histogram of oriented gradients
WO2016173794A1 (en) 2015-04-30 2016-11-03 Fotonation Limited A method and apparatus for producing a video stream
EP3311364B1 (en) 2015-09-30 2018-12-26 FotoNation Limited A method and system for tracking an object
KR102407624B1 (ko) * 2015-10-06 2022-06-10 삼성전자주식회사 전자 장치의 영상 처리 방법 및 그 전자 장치
EP3373842A4 (en) 2015-11-13 2019-06-05 Novadaq Technologies ULC SYSTEMS AND METHOD FOR LIGHTING AND IMAGING A TARGET
US11477382B2 (en) * 2016-02-19 2022-10-18 Fotonation Limited Method of stabilizing a sequence of images
WO2017140438A1 (en) 2016-02-19 2017-08-24 Fotonation Limited A method of stabilizing a sequence of images
EP3469420A4 (en) * 2016-06-14 2020-02-12 Novadaq Technologies ULC ADAPTIVE IMAGING METHODS AND SYSTEMS FOR IMPROVING LOW LIGHT SIGNALS IN MEDICAL VISUALIZATION
US10334152B2 (en) 2016-08-08 2019-06-25 Fotonation Limited Image acquisition device and method for determining a focus position based on sharpness
US10148943B2 (en) 2016-08-08 2018-12-04 Fotonation Limited Image acquisition device and method based on a sharpness measure and an image acquistion parameter
US10097757B1 (en) 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
CN107071421B (zh) * 2017-05-23 2019-11-22 北京理工大学 一种结合视频稳定的视频编码方法
FR3069688A1 (fr) * 2017-07-25 2019-02-01 Parrot Drones Dispositif electronique et procede d'estimation d'un deplacement d'une scene observee par un drone, appareil electronique de calcul d'une vitesse sol du drone, drone et programme d'ordinateur associes
DE102017216065A1 (de) 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
CN107707913B (zh) * 2017-09-29 2019-12-17 福州大学 快速视频编码中防帧内误差传递方法
US10360662B2 (en) 2017-10-16 2019-07-23 Omnivision Technologies, Inc. Alignment of multiple camera images by matching projected one dimensional image profiles
US10499867B2 (en) 2018-01-08 2019-12-10 Shenzhen Keya Medical Technology Corporation Method, storage medium, and system for analyzing image sequences of periodic physiological activities
US11786202B2 (en) 2018-01-08 2023-10-17 Shenzhen Keya Medical Technology Corporation Method, system, and medium for analyzing image sequence of periodic physiological activity
US10726522B2 (en) * 2018-01-24 2020-07-28 Fotonation Limited Method and system for correcting a distorted input image
JP7344660B2 (ja) * 2018-03-30 2023-09-14 キヤノン株式会社 視差算出装置、視差算出方法及び視差算出装置の制御プログラム
US11037316B2 (en) * 2018-03-30 2021-06-15 Canon Kabushiki Kaisha Parallax calculation apparatus, parallax calculation method, and control program of parallax calculation apparatus
US11151731B2 (en) 2019-08-06 2021-10-19 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
CN114503541A (zh) * 2019-08-06 2022-05-13 三星电子株式会社 用于多帧融合的有效率的正则化图像对准的装置和方法
US10983363B2 (en) 2019-09-19 2021-04-20 Fotonation Limited Method for stabilizing a camera frame of a video sequence
EP3985957B1 (en) * 2020-10-14 2022-11-30 Axis AB Method and system for motion segmentation
US11425412B1 (en) * 2020-11-10 2022-08-23 Amazon Technologies, Inc. Motion cues for video encoding
KR102524823B1 (ko) * 2020-12-04 2023-04-21 포항공과대학교 산학협력단 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법 및 분석장치
US11610338B2 (en) 2021-03-26 2023-03-21 Fotonation Limited Method of controlling a camera
CN113536570B (zh) * 2021-07-16 2022-09-27 中国石油大学(北京) 一种应力参数计算方法、装置、系统及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459822B1 (en) 1998-08-26 2002-10-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image stabilization and registration
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
KR20020018566A (ko) * 2000-09-01 2002-03-08 액티브 올가닉스 인코포레이티드 모노-아실-(리소)-글리세롤인지질로 국소 활성의 효능을강화하는 방법 및 이의 용도
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US7616836B2 (en) * 2004-05-25 2009-11-10 Siemens Medical Solutions Usa, Inc. Method and system for motion compensation in a temporal sequence of images
US7440008B2 (en) * 2004-06-15 2008-10-21 Corel Tw Corp. Video stabilization method
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US20070237514A1 (en) * 2006-04-06 2007-10-11 Eastman Kodak Company Varying camera self-determination based on subject motion
US8059915B2 (en) * 2006-11-20 2011-11-15 Videosurf, Inc. Apparatus for and method of robust motion estimation using line averages
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
KR101354899B1 (ko) * 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
KR101522985B1 (ko) * 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
EP2545411B1 (en) 2009-12-11 2014-02-12 DigitalOptics Corporation Europe Limited Panorama imaging
CN101951464A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于积分图特征块匹配的实时视频稳像方法
JPWO2012066866A1 (ja) * 2010-11-17 2014-05-12 三菱電機株式会社 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法
JP2013020527A (ja) * 2011-07-13 2013-01-31 Sony Corp 画像処理装置および方法、並びにプログラム
CN102957869B (zh) * 2011-09-26 2016-08-17 斯凯普公司 视频稳定
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
US8200020B1 (en) 2011-11-28 2012-06-12 Google Inc. Robust image alignment using block sums
US8928730B2 (en) 2012-07-03 2015-01-06 DigitalOptics Corporation Europe Limited Method and system for correcting a distorted input image
CN102801982B (zh) * 2012-09-07 2015-03-18 浙江外国语学院 一种应用于视频压缩且基于块积分的快速运动估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
俞柏锋等.基于分层的自适应运动估计算法.《电视技术》.2008,第32卷(第3期),全文. *
王建东等.一种粗到精分块金字塔预测连续排除算法.《红外技术》.2007,第29卷(第10期),全文. *

Also Published As

Publication number Publication date
EP2983136A2 (en) 2016-02-10
WO2014146983A2 (en) 2014-09-25
EP2826022A2 (en) 2015-01-21
EP2983136A3 (en) 2016-07-13
US10229504B2 (en) 2019-03-12
US10587806B2 (en) 2020-03-10
US20160035104A1 (en) 2016-02-04
US20190273867A1 (en) 2019-09-05
EP2826022B1 (en) 2015-10-21
CN105051785A (zh) 2015-11-11
JP6022734B2 (ja) 2016-11-09
WO2014146983A3 (en) 2014-11-13
KR101613176B1 (ko) 2016-04-29
CN107248168A (zh) 2017-10-13
JP2016514867A (ja) 2016-05-23
EP2983136B1 (en) 2017-11-22
KR20150119395A (ko) 2015-10-23

Similar Documents

Publication Publication Date Title
CN105051785B (zh) 用于运动估算的方法和装置
US9681150B2 (en) Optical flow determination using pyramidal block matching
JP5547739B2 (ja) オプティカルフローの決定のためのデジタル処理方法およびシステム
US8233747B2 (en) Method and apparatus for forming super resolution images from raw data representative of color filter array images
JP2009146401A (ja) 信号処理方法、装置およびプログラム
CN111861880A (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
Al Ismaeil et al. Enhancement of dynamic depth scenes by upsampling for precise super-resolution (UP-SR)
Bätz et al. Multi-image super-resolution using a dual weighting scheme based on Voronoi tessellation
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
He et al. Detecting dim small target in infrared images via subpixel sampling cuneate network
Shukla et al. A technical review on image super-resolution techniques
Sharma et al. Different techniques of image SR using deep learning: a review
CN103442159A (zh) 基于rs-svm集成的边缘自适应去马赛克方法
Hardie Super-resolution using adaptive Wiener filters
JP5331643B2 (ja) 動きベクトル検出装置及びプログラム
JP4069468B2 (ja) 映像形成装置
Sirota et al. Adaptive algorithms for superresolution based on processing a sequence of images
Khan et al. Comparison of reconstruction and example-based super-resolution
Patil et al. Color super resolution image reconstruction
Ousguine et al. A new image interpolation using laplacian operator
Tu et al. A super resolution algorithm to improve the hough transform
CN118071803A (zh) 一种图像配准方法、装置、电子设备及存储介质
CN116468980A (zh) 深度融合边缘细节与深层特征的红外小目标检测方法及装置
Cho et al. Advanced Super Resolution Algorithm for Large Movement Image
Cho Super Resolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant