CN106101566B - 视频稳定化 - Google Patents

视频稳定化 Download PDF

Info

Publication number
CN106101566B
CN106101566B CN201610730793.1A CN201610730793A CN106101566B CN 106101566 B CN106101566 B CN 106101566B CN 201610730793 A CN201610730793 A CN 201610730793A CN 106101566 B CN106101566 B CN 106101566B
Authority
CN
China
Prior art keywords
image
video signal
camera
motion
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610730793.1A
Other languages
English (en)
Other versions
CN106101566A (zh
Inventor
A.杰弗里莫夫
D.赵
P.卡尔松
S.萨布林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106101566A publication Critical patent/CN106101566A/zh
Application granted granted Critical
Publication of CN106101566B publication Critical patent/CN106101566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

用于使视频信号稳定的方法、装置以及计算机程序产品。使用相机捕获视频信号的多个帧。与相机相关联的运动传感器被用来生成表示该相机的运动的多个样本。这些样本被用来确定所述相机在第一时间与第二时间之间的位移，其中第一时间对应于视频信号的第一帧的曝光时间中点，而第二时间对应于视频信号的第二帧的曝光时间中点。所确定的位移被用来补偿由相机的运动所引起的在第一与第二帧之间视频信号中的运动，从而使视频信号稳定。

Description

视频稳定化
本申请是申请日为2012年5月31日、申请号为201280026334.5的同名中国发明专利申请的分案申请。
技术领域
本发明涉及视频信号的稳定化。特别地，本发明涉及使用相机捕获视频信号的帧并且补偿相机的运动从而使视频信号稳定。
背景技术
相机能够被用来捕获要被用作视频信号的帧的图像序列。相机可以被固定到稳定对象，例如相机可以被安装在诸如三脚架之类的台上，从而在捕获视频帧时使相机保持静止。然而，相机常常可以在移动装置中实现并且不必被安装到固定对象，例如相机可以被握持，或者可以在诸如车辆之类的移动对象上。当相机正在捕获视频信号的帧时，相机的移动可能导致视频信号本身中不想要的移动。
图像稳定化是能够被用来补偿视频信号中不想要的移动的方法。一些系统执行运动估计以便生成运动矢量以供图像稳定化过程使用。在Junlan Yang等人的“Online VideoStabilization Based on Particle Filters”中描述了一种这样的系统。图像稳定化算法可以由三个主要部分构成：运动估计、运动平滑化以及运动补偿。运动估计块可以估计视频信号内的局部运动矢量并且在这些局部估计的基础上计算全局运动矢量。运动平滑化块然后可以处理所估计的全局运动矢量的滤波，以便使计算的值平滑并且防止先前计算的运动矢量之间的大的且不希望的差异。运动补偿块然后可以在与经滤波的全局运动矢量相反的方向上使图像移位，从而使视频信号稳定。运动补偿块可以考虑复杂的变换，例如旋转、翘曲或缩放。
它可能需要大量的处理资源以基于如上面所描述的运动矢量来执行图像稳定化。当要使视频信号实时稳定时，即当视频信号的稳定版本在它正被相机捕获的同时将被使用(例如在视频呼叫中传输或者从装置输出)时，这可能是个问题。当正在执行图像稳定化的装置是诸如其中处理资源有限的移动电话之类的小型移动装置时，这也可能是个问题。
近年来，运动传感器对于制造而言已变得更简单且更便宜并且运动传感器的尺寸已被显著降低了。在移动装置中实现运动传感器现在是可行的。运动传感器生成表示传感器的运动的样本。两个现有技术文档：Andy L.Lin的“Using Sensors for EfficientVideo Coding in Hand-held devices”和Martin Drahansky等人的“AccelerometerBased Digital Video Stabilization for General Security Surveillance Systems”提到使用来自运动传感器的数据以用于视频信号的稳定化的可能性。
发明内容
发明人已认识到，使用来自运动传感器的数据以用于视频信号的稳定化的实现方式与现有技术的系统相比能够被改进。特别地，发明人已考虑了诸如下述的因素：处理非均匀采样的传感器数据；采样的传感器数据与考虑相机的快门速度的视频信号的帧的定时的同步；通过指针修改，视频信号的各帧中的一个帧的图像的快速像素移位；以及如何选择传感器采样速率。这些因素在以上背景技术部分中引用的现有技术中尚未被考虑。
根据本发明的第一方面，提供了一种使视频信号稳定的方法，该方法包括：使用相机捕获视频信号的多个帧；使用与相机相关联的运动传感器来生成表示相机的运动的多个样本；使用这些样本来确定相机在第一时间与第二时间之间的位移，其中第一时间对应于视频信号的第一帧的曝光时间中点，而第二时间对应于视频信号的第二帧的曝光时间中点；以及使用所确定的位移来补偿由相机的运动所引起的在第一与第二帧之间视频信号中的运动，从而使视频信号稳定。
由相机提供用于视频信号的帧的时间戳可能涉及相机的快门关闭的时间(即帧的结束时间)。然而，发明人已经认识到，为了有效地使用来自运动传感器(例如旋转运动传感器)的数据来确定视频信号的第一和第二帧之间的位移(例如角位移)，有利的是确定在各帧的曝光时间的中点之间相机的位移。使用帧的曝光时间的中点提供了相机在第一和第二帧之间的位移的更精确的表示。当将相机位移映射到像素位移时，与使用帧的结束时间相比，这个方法提供了更好的像素位移估计。
在优选实施例中，相机的运动是旋转运动，运动传感器是旋转运动传感器并且相机的位移是相机的角位移。使用样本确定相机在第一时间与第二时间之间的角位移可以包括：使用样本确定相机的角速度；以及在从第一时间到第二时间的时间上对所确定的角速度进行积分，从而确定相机在第一时间与第二时间之间的角位移。
在一个实施例中，相机在第一时间与第二时间之间的角位移由以下等式给出：
Figure BDA0001093029440000031
其中Δθ是相机的角位移，t1是第一帧的结束时间，t2是第二帧的结束时间，e1是第一帧的曝光时间，e2是第二帧的曝光时间且ω(t)是使用样本确定的相机的角速度。
所确定的角速度的积分可以包括在生成样本的各时间之间对角速度进行内插，并且所述方法可以进一步包括延迟视频信号，从而允许相机在第二时间的角速度通过所述在生成样本的各时间之间对角速度进行内插而被确定。
所述方法可以进一步包括对使用样本确定的角速度进行外推，从而确定相机在第二时间的角速度。
使用运动传感器生成的样本的采样速率可以高于视频信号的帧速率。此外，相机和运动传感器可以位于移动装置内。
使用所确定的位移来补偿由相机的运动所引起的在第一和第二帧之间视频信号中的运动可以包括：确定表示由所确定的相机的位移所引起的在第一和第二帧之间视频信号中的运动的像素位移；对所述像素位移进行滤波；以及依照经滤波的像素位移来移位第一和第二帧中至少一个帧的图像，从而使视频信号稳定。像素位移的滤波可以包括：基于针对第二帧的所述确定的像素位移来确定累积的像素位移；以及基于针对第二帧的所确定的累积的像素位移和针对第一帧的经滤波的累积的像素位移的加权和来确定针对第二帧的经滤波的累积的像素位移。
所述方法可以进一步包括将时间偏移加到下述至少之一：(i)所捕获的多个帧和(ii)所生成的多个样本，使得所捕获的多个帧的定时与所生成的多个样本的定时匹配。
根据本发明的第二方面，提供了一种用于使视频信号稳定的装置，该装置包括：相机，其被配置成捕获视频信号的多个帧的；与相机相关联的运动传感器，其被配置成生成表示相机的运动的多个样本；位移确定块，其被配置成使用样本确定相机在第一时间与第二时间之间的位移，其中第一时间对应于视频信号的第一帧的曝光时间中点，而第二时间对应于视频信号的第二帧的曝光时间中点；以及运动补偿块，其被配置成使用所确定的位移来补偿由相机的运动所引起的在第一和第二帧之间视频信号中的运动，从而使视频信号稳定。
运动传感器可以是陀螺运动传感器。所述装置可以是移动装置。
根据本发明的第三方面，提供了一种使视频信号稳定的方法，该方法包括：使用相机捕获视频信号的多个帧；确定表示由相机的运动所引起的在视频信号的第一和第二帧之间视频信号的运动的像素位移；以及依照像素位移来移位第一和第二帧中至少一个帧的图像，从而使视频信号稳定，其中图像包括指示该图像的存储器空间的步幅值、多个像素值、指示该图像的第一像素的位置的指针以及指示该图像的宽度的宽度值，其中图像的所述移位包括调整指针和宽度值而不调整步幅值。
以这种方式，可以通过简单地改变指针和宽度值同时使步幅值保持恒定而将图像移位和调整大小。以这种方式，数据在存储器中的拷贝不是必要的。换句话说，代替将裁切区域拷贝到新的存储器区域中(这可能是复杂过程)，使用允许独立的宽度和步幅值的图像表示。以这种方式，可以通过改变指针和宽度值同时步幅保持原封不动来创建新图像(这是比将裁切区域拷贝到新的存储器区域中更简单的过程)。
图像可以包括多个图像平面，每个图像平面由相应的多个像素值、指示图像平面的第一像素的位置的相应指针以及指示图像平面的宽度的相应宽度值表示，其中图像平面可以通过调整它们相应的指针和宽度值而不调整步幅值而被一起移位。
所述方法可以进一步包括将所确定的像素位移凑整(round)为整数像素位移。
所述方法可以进一步包括：使用与相机相关联的运动传感器生成表示相机的运动的多个样本；以及使用这些样本确定相机在视频信号的第一帧与视频信号的第二帧之间的位移，其中所确定的位移被用来确定所述像素位移。
所述方法可以进一步包括对像素位移进行滤波。
根据本发明的第四方面，提供了一种用于使视频信号稳定的装置，该装置包括：相机，其被配置成捕获视频信号的多个帧；像素位移确定块，其被配置成确定表示由相机的运动所引起的在视频信号的第一和第二帧之间视频信号中的运动的像素位移；以及图像移位块，其被配置成依照像素位移来移位第一和第二帧中至少一个帧的图像，从而使视频信号稳定，其中图像包括指示该图像的存储器空间的步幅值、多个像素值、指示该图像的第一像素的位置的指针以及指示该图像的宽度的宽度值，其中图像移位块被配置成通过调整指针和宽度值而不调整步幅值来移位图像。
根据本发明的第五方面，提供了一种使视频信号稳定的方法，该方法包括：使用相机捕获视频信号的多个帧；确定当相机的快门关闭时而非当相机的快门打开时发生的相机的运动的部分；确定表示由相机的运动的该部分引起并且与其相对应的在视频信号的第一和第二帧之间视频信号中的运动的像素位移；以及依照像素位移来移位第一和第二帧中至少一个帧的图像，从而使视频信号稳定。
以这种方式，当运动模糊存在于视频信号中时可以降低图像稳定化。对于高水平的相机运动，运动模糊将存在于用于没有诸如光学或机械稳定化之类的物理稳定化的装置的视频信号的帧中。当相机在相机的快门打开并且正在捕获视频信号的一个帧的同时移动时，引起运动模糊。如果图像稳定化被应用于包含运动模糊的帧，则所得到的视频信号将包含运动模糊而不包含运动，这可能是有害的，因为查看视频信号的用户可以将其感知为看起来奇怪和/或不自然。发明人已认识到，不补偿在当相机快门打开时的时间间隔期间进行的运动可能是有益的。如果曝光时间(即快门打开持续的时间)是非常短的，则不补偿在快门打开的同时发生的运动将不会产生显著差异。然而，如果曝光时间(即快门打开持续的时间)是非常长的，则较少的稳定化将被应用于视频信号。此外，运动模糊将伴随视频信号中的对应运动，这对于查看视频信号的用户而言可以被感知为更自然的。
所述方法可以进一步包括：使用与相机相关联的运动传感器生成表示相机的运动的部分的多个样本；以及使用这些样本确定相机在视频信号的第一帧与视频信号的第二帧之间的位移，其中所确定的位移被用来确定所述像素位移。
根据本发明的第六方面，提供了一种用于使视频信号稳定的装置，该装置包括：相机，其被配置成捕获视频信号的多个帧；运动确定块，其被配置成确定当相机的快门关闭时而非当相机的快门打开时发生的相机的运动的部分；像素位移确定块，其被配置成确定表示由相机的运动的该部分所引起并且与其相对应的在视频信号的第一和第二帧之间视频信号中的运动的像素位移；以及图像移位块，其被配置成依照像素位移来移位第一和第二帧中至少一个帧的图像，从而使视频信号稳定。
根据本发明的第七方面，提供了一种用于使视频信号稳定的计算机程序产品，该计算机程序产品被体现在非暂时性计算机可读介质上并且被配置以便当在装置的处理器上执行时执行本文中所描述的方法中的任一个的操作。
本文中描述了用于使用运动传感器数据来从视频信号去除相机抖动(和其他相机运动)从而使视频信号稳定的方法，例如以供在移动装置中使用。这些方法可以包括使传感器数据与相机帧同步，并且特别地，确定在曝光时间的中点处的角位移。这些方法可以包括使用适于与来自运动传感器的非均匀采样的样本数据一起使用的指数滤波器对图像位移值进行滤波。这些方法可以包括修改指针的位置以便基于所确定的相机运动来移位和/或裁切视频信号的帧的图像。这些方法可以包括针对包含运动模糊的视频信号的帧来调适图像稳定化。
附图说明
为了更好地理解本发明并且示出本发明可以如何被付诸实施，现将通过例子参考附图，在附图中：
图1示出了根据一个优选实施例的装置；
图2是根据一个优选实施例的使视频信号稳定的过程的流程图；
图3是相机的快门位置随着时间的推移的示范性图形表示；
图4是相机的角速度随着时间的推移的示范性图形表示；以及
图5是在裁切过程之前和之后图像的表示。
具体实施方式
现将仅通过例子来描述本发明的优选实施例。
图1示出了根据一个优选实施例的装置100。装置100可以例如是诸如移动电话或其它手持式装置之类的移动装置。装置100包括相机102、运动传感器104、CPU 106以及存储器108。相机102被配置成捕获图像。所捕获的图像可以被用来形成视频信号，借此每个图像被用作视频信号的帧并且以视频信号的帧速率捕获图像。帧速率可以是例如每秒25帧，尽管相机可以以不同的帧速率操作。用来实现移动图像的感知的最小帧速率是大约每秒十五帧，但这可能取决于查看视频信号的人并且取决于视频信号中的内容(即在视频信号的主题中存在多少运动)。运动传感器104被配置成生成表示装置100的运动的样本。因为运动传感器104和相机102两者都在装置100中，所以它们彼此相关联，使得由运动传感器104所生成的样本能够被用来表示相机102的运动。CPU 106被配置成如在本领域中已知的那样在装置100上执行计算过程。存储器108被用来如在本领域中已知的那样将数据存储在装置100中。块102、104、106以及108能够如在本领域中已知的那样通过经由装置100的总线(在图1中未示出)发送数据来彼此进行通信。
参考图2，现在描述使用根据一个优选实施例的装置100使视频信号稳定的过程。在步骤S202中，相机102捕获要被用作视频信号的帧的图像。例如，相机102可以具有光传感器阵列，所述光传感器记录在分配给视频信号的帧的时间期间入射在传感器上的光的水平。相机102的快门被用来在时间上分离帧，使得在每个帧期间快门打开一定时间段并且关闭另一时间段。所捕获的视频信号的帧被提供给预处理器(例如由CPU 106在处理块中实现)。在使用如在本领域中已知的视频编码技术编码帧之前，预处理器操作来使视频信号的帧中的图像稳定。
在步骤S204中，当相机102正在捕获视频信号的帧时，运动传感器104生成表示装置100的运动的样本。例如，运动传感器104可以是诸如陀螺仪之类的旋转运动传感器。陀螺仪104测量装置100的角速度并且以特定间隔输出表示该角速度的样本。所述间隔可以是或者可以不是规则间隔。优选地但非必要地，平均来说，从陀螺仪104输出的样本的采样速率高于视频信号的帧速率。例如，从陀螺仪104输出的采样速率可以是每秒60个样本，其反映了装置100的最大常见抖动频率并且当前独立于帧速率。由陀螺仪104所生成的样本被提供给预处理器。
在步骤S206中，相机102在视频信号的两个帧(帧1和帧2)之间的角位移被确定。这个确定可以由CPU 106的处理块来执行。发明人已经认识到，为了有效地使用来自陀螺仪104的数据来确定两个帧之间的角位移，在由相机102所捕获的帧的曝光时间的各中点之间的时间间隔上对角速度进行积分是有用的。发明人也已经确定，当不可能使陀螺仪104的采样速率与相机102的帧速率同步时这可能是特别有问题的，尤其是当下述时：
-相机102被布置成根据可用光(是许多相机的)来调整曝光时间；
-用于由相机102所提供的视频信号的帧的时间戳涉及快门关闭的时间(即帧的结束时间，与帧的曝光时间的中点相反)；以及
-陀螺仪数据在帧的曝光时间的中点处不是可用的。
如上面所描述的那样，预处理器接收来自相机102的视频帧并且还接收来自陀螺仪104的样本。来自陀螺仪104的样本被以至少相当于由相机102所捕获的视频信号的帧速率的速率(例如以规则间隔)提供给预处理器。在陀螺仪104中使用更高的采样速率给出更精确的角估计，但在CPU使用方面可能代价更高。
由相机102提供给视频信号的第一帧(帧1)的时间戳t1指示帧的结束时间，即相机102的快门被关闭以结束帧1的时间。类似地，由相机102提供给视频信号的第二帧(帧2)的时间戳t2指示帧的结束时间，即相机102的快门被关闭以结束帧2的时间。为了确定装置100在第一帧与第二帧之间的角位移(Δθ)，与其使用帧的时间戳来表示帧的时间，倒不如使用帧1和帧2的曝光时间的中点更精确。第一和第二帧的曝光时间由e1和e2表示。通过在时间t1-0.5e1与时间t2-0.5e2之间对装置100的角速度(由从陀螺仪104输出的样本表示)进行积分来确定角位移。因此帧1与帧2之间的角位移由下式给出：
Figure BDA0001093029440000091
图3是相机102的快门位置随着时间的推移的示范性图形表示。相机102的快门在帧1结束的时间t1处关闭。快门再次重新打开以便相机102捕获帧2并且然后在帧2结束的时间t2处关闭。在图3中帧1的曝光时间被示出为e1而帧2的曝光时间被示出为e2。期间角速度被积分的时间在图3中被表示为T12。根据观看图3，可以领会，在时间T12上进行积分对应于在第一帧的曝光时间的中点(在时间t1-0.5e1处)与第二帧的曝光时间的中点(在时间t2-0.5e2处)之间进行积分。图3示出将会等于快门的关闭时间的快门的打开时间，但这只是一个例子。在一些(实现短的曝光时间的)实施例中，快门打开持续的时间比快门被关闭持续的时间短。相比之下，在(实施长的曝光时间的)其它实施例中，快门打开持续的时间比快门被关闭持续的时间长。因为陀螺仪104的样本不与由相机102所捕获的视频信号的帧的定时同步，所以情况可能是陀螺仪104没有在帧(帧1和帧2)的中点处生成样本。在该情况下，装置100在各帧的中点处的角速度能够通过对通过由陀螺仪104所生成的样本所表示的角速度进行内插来确定。角速度在任何时刻通过内插来评估，并且各帧的曝光时间的中点限定了在根据以上等式计算角位移时使用的积分区间。
图4是相机102的角速度随着时间的推移的示范性图形表示。由陀螺仪104所生成的表示装置100的角速度的样本在图4中被示出为样本402、404、406、408以及410。能够看到，在图4中所示出的例子中，陀螺仪104的样本的定时不是规则的。例如，样本404与406之间的时间比样本406与408之间的时间短。图4中连接各样本的虚线示出了能够通过对通过由陀螺仪104所生成的样本所表示的角速度进行内插而被确定为时间的函数的角速度的值。经内插的角速度(由虚线示出)可以在时间(t1-0.5e1)与(t2-0.5e2)之间被积分，以便确定相机102在第一和第二帧之间的角位移。图4示出了来自陀螺仪104的各样本之间的简单线性内插法。在其它实施例中，可以使用更高级的内插法。
可能出现这样的情形：其中要被稳定化的帧在来自陀螺仪104的最新样本之后在预处理器处被接收。例如，当帧2在相机102处被捕获时，帧2可以在来自陀螺仪的任何样本已经继帧2的曝光时间的中点(t2-0.5e2)之后被生成之前在预处理器处被接收。例如帧2可以在图4中所示出的样本410之前在预处理器处被接收。在这种情形下，延迟可以被引入到视频流中，以便样本410在帧2被处理之前在预处理器处被接收，从而允许在时间(t2-0.5e2)处的角速度在帧2被预处理器处理之前被确定。可替换地，可以根据来自陀螺仪104的先前接收的样本对角速度进行外推，以便确定装置100在时间(t2-0.5e2)处的角速度。
在没有相机102的运动的情况下(例如对于装置100的固定放置来说)，陀螺仪104可以被禁用以便节省电池寿命。无运动的状态可以通过来自视频编码器的反馈来确定，该视频编码器对在本文中描述并且由预处理器实现的图像稳定化方法之后的视频信号进行编码。视频编码器可以将运动估计作为编码过程的一部分来执行，并且同样地能够确定相机是否正在移动。运动的状态也可以被确定并且用来在相机102被移动时启用陀螺仪104。当装置100在无运动的状态下操作时，运动传感器104可以被以慢间隔轮询以便确定装置100是否已经开始再次移动。取决于硬件和在装置100的操作系统中实现的应用编程接口(API)，存在用来确定装置100何时开始移动的计算上更便宜的方式。
用于相机102和用于陀螺仪104的硬件的操作的定时可能不匹配。这可能是因为相机102和陀螺仪104在独立的硬件芯片中实现。因此，可能是有益的是，将偏移添加到由陀螺仪104所生成的样本和视频信号的帧的任一(或两者)的时间戳。以这种方式，来自陀螺仪104的样本的定时可以与视频信号的帧的定时正确地匹配。所述偏移对于硬件芯片的特定组合来说可能是恒定的。因此，延迟可以在装置100处被离线计算和使用，而对于本文中所描述的方法不招致处理惩罚。
在步骤S208中，表示相机102的运动的像素位移被确定。一般而言，相机102的旋转导致跨越视频信号的帧的图像的近似恒定的像素位移，与到图像中的对象的距离无关。这和线性相机运动相反，对于所述线性相机运动来说像素位移是到对象的距离的函数。将装置100的旋转映射到像素位移的函数(或算法)取决于相机102的参数(例如相机102的透镜的焦距和宽度)和由相机102所捕获的图像的分辨率。编码器反馈可以用于确定由陀螺仪104所生成的样本的精确度并且用于调适映射算法。还存在运动和对象方式的某些情况，其中基于来自陀螺仪104的样本在本文中所描述的稳定化模型是不精确的(例如对于相机102围绕用户的面部的旋转来说，用户的面部可能在帧的中间是稳定的但陀螺仪104检测到旋转并且因此稳定化过程将试图使背景稳定)，这些情况可以被编码器检测到并且反馈给稳定化算法。以这种方式，稳定化算法能够被调适。
在步骤S208中确定的像素位移表示由相机102的运动造成的视频信号的帧的图像中的运动(与图像的主题中的运动相反)。以这种方式，在步骤S208中确定的像素位移表示视频信号的帧的图像中的不想要的运动。
在步骤S210中，在步骤S208中确定的像素位移被滤波。这样做是为了随着时间的推移而使在图像稳定化过程中被应用于视频信号的改变平滑，从而提供更平滑的稳定化的视频信号。取决于例如由相机102所捕获的图像的分辨率、可以被应用于视频信号的可接受的延迟以及能够被应用于在预处理器处从相机102接收的原始视频信号的图像的裁切的允许量，用来对像素位移进行滤波的滤波器可以以不同的方式设计。例如，更高分辨率的视频帧可以受益于对在图像稳定化过程中应用的像素位移的高频改变的更大滤波器衰减。另一方面，裁切的量设置了对最大滤波器衰减的硬限制。
指数滤波器可以被使用，该指数滤波器根据以下等式对像素位移进行滤波：
x_filt(n)＝(1-w)＊x-filt(n-1)+w＊x(n)
其中n表示视频信号的帧号，x表示根据在步骤S208中确定的像素位移的累积位移(或“位置”)，且x_filt表示经滤波的累积位移，其随后被用来确定如何对齐输入图像以便如在下面更详细地描述的那样使它稳定。以这种方式，滤波器充当指数滤波器。当运动停止时，x_filt-x将收敛到零，其暗示没有图像的移位。滤波器通过以前一帧的对应滤波的像素位移并且以在步骤S208中针对当前帧所确定的像素位移作为经滤波的像素位移的基础，随着时间的推移而使对所确定的像素位移的改变平缓。应用于前一帧的经滤波的像素位移的加权是(1-w)，而应用于针对当前帧确定的像素位移的加权是w。因此，调整加权参数w将调整滤波器如何响应像素位移(x)中的改变。当输出x_filt被削波成在范围[x-裁切,x+裁切]内时，递归(无限冲击响应(IIR))滤波器比有限冲击响应(FIR)滤波器更适合，因为削波值被反馈给滤波器回路并且使得x_filt的后续输出较不易于削波。
针对视频信号的分辨率和即时帧速率调适加权参数w，以便获得恒定物理截止频率，其被以赫兹来测量。如果滤波器是理想滤波器，则物理截止频率将限定对x的改变的最高频率分量，x将被合并到x_filt中。对具有比截止频率更高频率的x的改变将被理想滤波器衰减并且将不存在于x_filt中。然而，滤波器不是理想滤波器并且同样地截止频率限定由滤波器对其施加的衰减低于3dB的最高频率。所以对于非理想滤波器，将存在一些在截止频率以下的衰减并且将不会存在在截止频率以上的完美衰减。滤波器输出被削波，使得x_filt与x之间的差不大于帧裁切尺寸，w被调适，以使得物理截止频率是恒定的，例如0.5Hz。根据滤波器传递函数，可以得到将物理截止频率fc映射到w的函数w(fc,fs)。当采样频率(帧速率)fs改变时，w也改变，即使fc是恒定的。与其它滤波器相比，根据上述滤波器等式的滤波器非常适合于截止频率的即时改变(改变w)。
在步骤S212中，使用来自步骤S210的经滤波的像素位移来移位第二帧(帧2)的图像。以这种方式，由于相机102的运动而引起的第二帧(相对于第一帧)的图像中的运动被衰减。换句话说，经滤波的像素位移被用来补偿由相机的运动所引起的在第一和第二帧之间视频信号中的运动，从而使视频信号稳定。
经滤波的像素位移被凑整为全像素位移(即整数像素位移)。这允许采用简单方法来移位第二帧的图像。该图像使用指示图像的存储器空间的步幅值、多个像素值、指示图像的第一像素的位置的指针以及指示图像的宽度的宽度值来表示。图像的移位包括调整指针和宽度值而不调整步幅值。能够看到，宽度值与允许图像的宽度被改变而不影响图像的步幅的步幅值无关。因此，当图像被移位(和/或调整大小)时，图像(例如在存储器108中)的存储器空间不需要被改变。这意味着数据在存储器108中的拷贝在这种方法中不是必要的。这与裁切图像的常规方法形成对照，在该常规方法中图像的裁切区域被拷贝到新的存储器区域中。拷贝裁切区域可能是计算上复杂的，这可能是有害的，尤其是当该方法将在其中可用于CPU 106的处理资源可能受限的移动装置上实现时。采用本文中所描述的方法，因为宽度值与步幅值无关，所以新的移位图像可以通过改变指针和宽度同时保持步幅原封不动来创建。
图像可以由多个图像平面表示，例如亮度平面(Y)和两个色度平面(U和V)。输入图像的图像平面可以通过简单地改变到亮度和色度平面的指针而被移位和调整大小，从而修改图像平面的宽度同时使步幅保持原封不动。图像平面被移位了相同的量以确保经移位的图像平面能够一起用来表示经移位的图像。
为了这个图像移位过程被实现，图像平面需要相应的指针，即它们不能够全部由相同的单个指针来表示。此外，如上面所描述的那样，图像具有独立的宽度和步幅值是必要的。
图5是在移位和裁切过程之前和之后图像的表示。原始图像被表示为502，而经移位和裁切的图像被表示为504。能够看到，图像的步幅值保持不变，而图像的宽度减小。此外，原始指针指向原始图像的左上像素，而经调整的指针指向经移位和裁切的图像的左上像素(其处于与原始图像的左上像素不同的位置)。以这种方式，通过简单地改变宽度值和指针移位和裁切图像。
总结上面所描述的方法，例如参考图2，下述阶段在预处理器中实现以在用视频编码器编码视频信号之前使视频信号的帧的图像稳定：
1.估计相机102在帧1与帧2之间的角位移(步骤S206)；
2.所估计的角位移被映射到帧2的图像的像素位移(步骤S208)；
3.通过对像素位移的序列(或者对如上面所描述的累积的像素位移)应用滤波器来去除帧2的图像中的意想不到的运动(步骤S210)；以及
4.通过将图像移位到由滤波器所计算的位置来创建帧2的稳定化图像(步骤S212)。帧2的稳定化图像的帧尺度(dimension)等于或小于帧2的原始图像的对应尺度。换句话说，视频信号的稳定化图像通过切去由相机102所捕获的视频信号的原始图像内的移动边界来构建。
在一些实施例中，当运动模糊存在于视频信号中时可以降低图像稳定化。当高水平的运动被相机102经历时，运动模糊将存在于视频中。因此，如果本文中所描述的图像稳定化被应用于视频信号的帧，则所得到的视频信号将包含运动模糊但不包含运动，用户可能将其感知为看起来不自然或古怪。
在一个实施例中，在当相机快门打开时的时间间隔(即视频信号的帧的曝光时间)期间，例如在时间间隔[t1-e1,t1]中，不对相机102的运动的进行补偿。如果曝光时间是非常短的(即快门打开比它被关闭持续短得多的时间)，则这将不会产生显著差异。然而，如果曝光时间是非常长的(即快门打开比它被关闭持续长得多的时间)，则很小的图像稳定化将被应用于视频信号。以这种方式，确保了运动模糊在视频信号中将总是具有对应的运动，其对于视频信号的观看者而言被感知为看起来更加自然。
特别有利的是根据由陀螺仪104所生成的样本确定相机102的运动并且确定快门速度，因为该信息能够被用来鉴于视频信号可能经历的运动模糊来确定是否应用图像稳定化，而不增加额外的计算复杂性。
使用纯软件稳定器而不是上面所描述的图像稳定器来解决没有对应运动的运动模糊的问题也是可能的，上面所描述的图像稳定器使用来自陀螺仪104的样本确定相机102的运动。软件运动估计典型地查找表示快门速度间隔的中心的运动矢量。与当如上面所描述的那样与快门速度相结合地使用来自陀螺仪104的样本确定相机102的运动相比，利用软件稳定器实现方式分析运动模糊和查找什么种类的运动产生该模糊是更复杂的。
在上面描述的实施例中，运动传感器104是生成表示装置100的旋转运动的样本的陀螺仪。在其它实施例中，运动传感器104可以感测诸如平移运动之类的其它类型的运动并且生成表示装置100的平移运动的样本。这些样本可以以与如上面关于旋转运动描述的相同方式用来使视频信号稳定。然而，如上面所描述的那样，在平移运动情况下，像素位移将取决于到图像中对象的距离，并且因此这确定像素位移时必须被考虑到。例如，多个加速度计可能能够估计旋转运动，并且在这种情况下加速度计可以在没有进一步修改的情况下使用。对于更一般的平移稳定化，可能变得更难以实现本文中所描述的方法，因为图像中的不同区域移动了不同的像素量。然而，如果到对象的距离是恒定的(且已知的)，则用平移运动实现所述方法可能是简单的。甚至在到对象的距离不是恒定的(但仍然是已知的)情况下，用平移运动实现所述方法将是可能的，但是在确定由相机102的平移运动所引起的像素位移方面增加了额外的复杂性。
在使视频信号稳定之后，使用视频编码过程对视频信号进行编码。经编码的视频信号可以例如作为视频呼叫的一部分被传输到另一用户或者作为广播信号传输。因此，对于视频信号来说，重要的是能够被实时地(即具有非常小的延迟)稳定化和编码以便在诸如视频呼叫或其中用户在感知上完全意识到信号中的延迟的其它通信事件之类的事件中使用。可替换地，经编码的视频信号可以被存储在装置100处，例如存储在存储器108中。
方法步骤S206、S208、S210以及S212可以以软件或者以硬件实现在装置100处。例如，CPU 106可以执行处理块以便实现步骤S206、S208、S210以及S212。例如，用于使视频信号稳定的计算机程序产品可以被提供，所述计算机程序产品可以被存储在存储器108中并且被CPU 106执行。计算机程序产品可以被配置以便当在CPU 106上被执行时执行方法步骤S206、S208、S210以及S212。可替换地，硬件块可以在装置100中实现以便实现步骤S206、S208、S210以及S212。
此外，尽管已经参考优选实施例特别地示出并且描述了本发明，但是本领域的技术人员应理解，在不背离如由所附权利要求所限定的本发明的范围的情况下可以在形式和细节上进行各种改变。

Claims (8)

1.一种使视频信号稳定的方法，所述方法包括：
使用相机捕获所述视频信号的多个帧；
确定表示在所述视频信号的第一帧与第二帧之间由所述相机的运动引起的在所述视频信号中的运动的像素位移；以及
根据所述像素位移来对所述第一帧和所述第二帧中的至少一个的图像进行移位，从而使所述视频信号稳定，其中，所述图像包括指示所述图像的存储空间的步幅值、多个像素值、指示所述图像的第一像素的位置的指针以及指示所述图像的宽度的宽度值，其中，对所述图像进行的所述移位包括：通过调整所述指针和所述宽度值而不调整所述步幅值来对所述图像进行位移并调整大小。
2.如权利要求1所述的方法，其中，所述图像包括多个图像面，所述多个图像面中的每一个是由相应的多个像素值、指示该图像面的第一像素的位置的相应的指针以及指示该图像面的宽度的相应的宽度值来表示的，其中，所述图像面是通过调整它们相应的指针和宽度值而不调整所述步幅值来一起移位的。
3.如权利要求1或2所述的方法，还包括：将所确定的像素位移凑整为整数的像素位移。
4.如权利要求1到2中任意一项所述的方法，还包括：
使用与所述相机相关联的运动传感器来生成表示所述相机的运动的多个样本；以及
使用所述样本来确定在所述视频信号的第一帧与所述视频信号的第二帧之间所述相机的位移，其中，所确定的位移用于确定所述像素位移。
5.如权利要求1到2中任意一项所述的方法，还包括：对所述像素位移进行滤波。
6.如权利要求1到2中任意一项所述的方法，其中，所述相机的运动是旋转运动。
7.一种用于使视频信号稳定的设备，所述设备包括：
相机，被配置为捕获所述视频信号的多个帧；
像素位移确定块，被配置为确定表示在所述视频信号的第一帧与第二帧之间由所述相机的运动引起的在所述视频信号中的运动的像素位移；以及
图像移位块，被配置为根据所述像素位移来对所述第一帧和所述第二帧中的至少一个的图像进行移位，从而使所述视频信号稳定，其中，所述图像包括指示所述图像的存储空间的步幅值、多个像素值、指示所述图像的第一像素的位置的指针以及指示所述图像的宽度的宽度值，其中，所述图像移位块被配置为通过调整所述指针和所述宽度值而不调整所述步幅值来对所述图像进行移位并调整大小。
8.一种存储用于使视频信号稳定的代码的非暂时性计算机可读介质，所述代码被配置为当在设备的处理器上被执行时执行权利要求1到6中任意一项的操作。
CN201610730793.1A 2011-05-31 2012-05-31 视频稳定化 Active CN106101566B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1109071.9A GB2492529B (en) 2011-05-31 2011-05-31 Video stabilisation
GB1109071.9 2011-05-31
CN201280026334.5A CN103563349B (zh) 2011-05-31 2012-05-31 使视频信号稳定的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280026334.5A Division CN103563349B (zh) 2011-05-31 2012-05-31 使视频信号稳定的方法和设备

Publications (2)

Publication Number Publication Date
CN106101566A CN106101566A (zh) 2016-11-09
CN106101566B true CN106101566B (zh) 2020-11-10

Family

ID=44310605

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610730793.1A Active CN106101566B (zh) 2011-05-31 2012-05-31 视频稳定化
CN201280026334.5A Active CN103563349B (zh) 2011-05-31 2012-05-31 使视频信号稳定的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280026334.5A Active CN103563349B (zh) 2011-05-31 2012-05-31 使视频信号稳定的方法和设备

Country Status (5)

Country Link
US (3) US8711233B2 (zh)
EP (3) EP2702760B1 (zh)
CN (2) CN106101566B (zh)
GB (1) GB2492529B (zh)
WO (1) WO2012164048A2 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation
US8988578B2 (en) * 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
US9916514B2 (en) 2012-06-11 2018-03-13 Amazon Technologies, Inc. Text recognition driven functionality
US9300873B2 (en) * 2012-06-22 2016-03-29 Apple Inc. Automated tripod detection and handling in video stabilization
US9407797B1 (en) * 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
CN104349039B (zh) * 2013-07-31 2017-10-24 展讯通信（上海）有限公司 视频防抖方法和装置
US10933209B2 (en) 2013-11-01 2021-03-02 Georama, Inc. System to process data related to user interactions with and user feedback of a product while user finds, perceives, or uses the product
US9407823B2 (en) 2013-12-09 2016-08-02 Microsoft Technology Licensing, Llc Handling video frames compromised by camera motion
CN103810725B (zh) * 2014-03-12 2016-06-08 北京理工大学 一种基于全局优化的视频稳定方法
US9204048B2 (en) * 2014-03-27 2015-12-01 Facebook, Inc. Stabilization of low-light video
US9413963B2 (en) 2014-05-30 2016-08-09 Apple Inc. Video image stabilization
US9754552B2 (en) * 2014-06-17 2017-09-05 Amazon Technologies, Inc. Architectures for processing of head tracking on a mobile device
US9674438B2 (en) 2014-07-06 2017-06-06 Apple Inc. Low light video image stabilization strength modulation
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing
US9787902B1 (en) 2016-06-10 2017-10-10 Apple Inc. Video image stabilization with enforced stabilization constraints
US9888179B1 (en) * 2016-09-19 2018-02-06 Google Llc Video stabilization for mobile devices
US10569613B2 (en) * 2016-10-03 2020-02-25 Tenneco Automotive Operating Company Inc. Method of alerting driver to condition of suspension system
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US10997946B2 (en) * 2017-10-18 2021-05-04 Valve Corporation Display with adjustable duty cycle for individual color channels
CN108680196B (zh) * 2018-04-28 2021-01-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
CN109003245B (zh) * 2018-08-21 2021-06-04 厦门美图之家科技有限公司 坐标处理方法、装置及电子设备
US10681277B1 (en) 2019-03-07 2020-06-09 Qualcomm Incorporated Translation compensation in optical image stabilization (OIS)
BR112022001726A2 (pt) * 2019-08-01 2022-04-12 Stoneridge Electronics A B Fusão de imagem de câmera e sensor para sistema de substituição de espelho
CN111601063B (zh) * 2020-04-29 2021-12-14 维沃移动通信有限公司 视频处理方法及电子设备
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112367460B (zh) * 2020-10-23 2022-10-11 上海掌门科技有限公司 一种视频防抖方法与设备
CN116848848A (zh) * 2021-01-04 2023-10-03 高通股份有限公司 用于图像处理的集成视觉惯性里程计和图像稳定
KR20230023506A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 이미지 안정화를 수행하는 전자 장치 및 그의 동작 방법
EP4203453A1 (en) * 2021-12-23 2023-06-28 Koninklijke Philips N.V. Personal care devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0520741A1 (en) * 1991-06-24 1992-12-30 Canon Kabushiki Kaisha Image compression associated with camera shake correction
WO2010116366A1 (en) * 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system
CN101897174A (zh) * 2007-12-14 2010-11-24 三洋电机株式会社 摄像装置及图像再生装置

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3634414C2 (de) 1986-10-09 1994-12-08 Thomson Brandt Gmbh Fernsehkamera mit einem Target
US4959725A (en) 1988-07-13 1990-09-25 Sony Corporation Method and apparatus for processing camera an image produced by a video camera to correct for undesired motion of the video camera
US5990942A (en) * 1991-05-01 1999-11-23 Canon Kabushiki Kaisha Photographing apparatus using image information for blurring correction
US5438361A (en) * 1992-04-13 1995-08-01 Hughes Aircraft Company Electronic gimbal system for electronically aligning video frames from a video sensor subject to disturbances
US5835138A (en) 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
JPH1198420A (ja) * 1997-09-22 1999-04-09 Sony Corp 電子式手振れ補正装置
US6982746B1 (en) * 1998-02-24 2006-01-03 Canon Kabushiki Kaisha Apparatus and method for correcting shake by controlling sampling timing of shake signal
KR20020001087A (ko) 2000-06-24 2002-01-09 송희상 인터넷을 이용한 보험 중개 사업 방법
KR100683849B1 (ko) 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
JP3865125B2 (ja) * 2002-02-08 2007-01-10 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1377040A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
JP3867680B2 (ja) * 2003-04-01 2007-01-10 ソニー株式会社 撮像装置および手振れ補正方法
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US7880769B2 (en) 2004-02-13 2011-02-01 Qualcomm Incorporated Adaptive image stabilization
JP2005236662A (ja) 2004-02-19 2005-09-02 Mitsubishi Electric Corp 撮像方法、撮像装置及び撮像システム
JP2005252626A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US7933333B2 (en) 2004-06-30 2011-04-26 Pelco, Inc Method and apparatus for detecting motion in MPEG video streams
US7649549B2 (en) 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
EP1679884B1 (en) 2004-12-28 2008-01-23 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using the same
JP4390068B2 (ja) * 2004-12-28 2009-12-24 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP4179279B2 (ja) 2004-12-28 2008-11-12 セイコーエプソン株式会社 撮像装置並びにこれを備えた携帯機器及び携帯電話機
US20060185431A1 (en) 2005-02-23 2006-08-24 Henryk Birecki Camera motion detection system
CN101180874B (zh) 2005-05-25 2010-09-08 松下电器产业株式会社 成像装置、显示控制装置、显示装置、打印控制装置、以及打印装置
US7574443B2 (en) 2005-07-25 2009-08-11 Parascale, Inc. Scalable clustered storage system
US7693405B2 (en) * 2005-11-25 2010-04-06 Seiko Epson Corporation Image pickup device, method of controlling image pickup device, and recording medium
JP4509925B2 (ja) 2005-12-27 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
JP3956991B2 (ja) 2006-01-20 2007-08-08 ソニー株式会社 撮像装置
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US7840085B2 (en) 2006-04-06 2010-11-23 Qualcomm Incorporated Electronic video image stabilization
JP4671430B2 (ja) 2006-06-02 2011-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
FR2903200B1 (fr) 2006-06-29 2008-12-19 Thales Sa Stabilisation hybride d'images pour camera video
US7626612B2 (en) 2006-06-30 2009-12-01 Motorola, Inc. Methods and devices for video correction of still camera motion
TWI422958B (zh) * 2006-07-13 2014-01-11 Pentax Ricoh Imaging Co Ltd 防震裝置
JP4241814B2 (ja) 2006-12-06 2009-03-18 三洋電機株式会社 画像補正装置及び方法並びに電子機器
US8358345B1 (en) * 2007-03-19 2013-01-22 Monitoring Technology Corporation System and method of video capture for sports applications
CN101558637B (zh) * 2007-03-20 2011-10-19 松下电器产业株式会社 摄像装置以及摄像方法
JP4958610B2 (ja) 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
US20090135264A1 (en) 2007-11-28 2009-05-28 Motorola, Inc. Motion blur detection using metadata fields
JP4956401B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US7995859B2 (en) 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
US7860668B2 (en) * 2008-06-18 2010-12-28 Qualcomm Mems Technologies, Inc. Pressure measurement using a MEMS device
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
US7920179B2 (en) 2008-08-05 2011-04-05 Sony Ericsson Mobile Communications Ab Shadow and reflection identification in image capturing devices
US8194152B2 (en) * 2008-09-05 2012-06-05 CSR Technology, Inc. Image processing under flickering lighting conditions using estimated illumination parameters
US20100220215A1 (en) * 2009-01-12 2010-09-02 Jorge Rubinstein Video acquisition and processing systems
JP2010273038A (ja) 2009-05-20 2010-12-02 Hoya Corp 撮像装置
CN101662582A (zh) * 2009-09-08 2010-03-03 长春理工大学 一种机载成像设备图像抖动补偿方法
US8416277B2 (en) * 2009-12-10 2013-04-09 Apple Inc. Face detection as a metric to stabilize video during video chat session
DE102009058597B4 (de) 2009-12-17 2012-04-19 Siemens Aktiengesellschaft Bildaufnahmesystem zur Aufnahme und Übertragung digitaler Videobilder, Bilddatenverarbeitungssystem zum Empfangen und Verarbeiten digitaler Bilddaten, Bildstabilisierungssystem und Verfahren zum Generieren verwacklungsarmer digitaler Videobilder
US9124804B2 (en) * 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
JP5778998B2 (ja) 2010-06-04 2015-09-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置、画像生成方法およびコンピュータプログラム
US8488010B2 (en) * 2010-09-21 2013-07-16 Hewlett-Packard Development Company, L.P. Generating a stabilized video sequence based on motion sensor data
US9041817B2 (en) * 2010-12-23 2015-05-26 Samsung Electronics Co., Ltd. Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0520741A1 (en) * 1991-06-24 1992-12-30 Canon Kabushiki Kaisha Image compression associated with camera shake correction
CN101897174A (zh) * 2007-12-14 2010-11-24 三洋电机株式会社 摄像装置及图像再生装置
WO2010116366A1 (en) * 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system

Also Published As

Publication number Publication date
EP3079351B1 (en) 2019-06-26
US20140211028A1 (en) 2014-07-31
EP2702760A2 (en) 2014-03-05
US20190364210A1 (en) 2019-11-28
GB201109071D0 (en) 2011-07-13
CN103563349B (zh) 2017-04-19
EP3079352A1 (en) 2016-10-12
CN103563349A (zh) 2014-02-05
EP3079352B1 (en) 2019-01-02
WO2012164048A2 (en) 2012-12-06
US20120307086A1 (en) 2012-12-06
US8711233B2 (en) 2014-04-29
EP3079351A1 (en) 2016-10-12
WO2012164048A3 (en) 2013-03-21
CN106101566A (zh) 2016-11-09
GB2492529B (en) 2018-01-10
GB2492529A (en) 2013-01-09
US10412305B2 (en) 2019-09-10
EP2702760B1 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
CN106101566B (zh) 视频稳定化
EP2742680B1 (en) Video stabilisation
EP2759124B1 (en) Received video stabilisation
JP3505199B2 (ja) ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法
US8786716B2 (en) Rolling shutter reduction based on motion sensors
CN111246089B (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
CN102957869B (zh) 视频稳定
CN107809590B (zh) 一种拍照方法和装置
CN110572534A (zh) 全景图像的数字视频稳像方法、装置、设备及存储介质
KR101063071B1 (ko) 비디오 데이터 안정화 방법 및 시스템
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP2018182564A (ja) 映像再生装置とその制御方法及びプログラム
JPH0591393A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200402

Address after: Redmond, Washington, USA

Applicant after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Ai Erlandubailin

Applicant before: Skype

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant