CN103314570A - 用于通过补偿相机的视向的视频稳定方法和设备 - Google Patents

Abstract

一种视频稳定方法包括：基于在视频的帧序列的每个帧中相对相机视向与参考相机视向相比较的差角来测量帧间相机运动；通过使用所述帧间相机运动来产生视频序列的相机运动路径，并通过使用所述相机运动路径基于用户的视向确定相机视向调整角；通过在每个帧中使用相机视向调整角来补偿相机视向。

Description

用于通过补偿相机的视向的视频稳定方法和设备

技术领域

与根据本发明构思的示例性实施例一致的设备和方法涉及用于补偿相机的移动和晃动的视频稳定技术。

背景技术

传统的视频稳定技术被分类为基于2维（2D）分析的视频稳定方案和基于3维（3D）分析的方案。

基于2D分析的视频稳定方案包括：估计运动，通过估计的运动设置相机运动路径，和根据相机运动路径产生图像。在估计运动时，通过用2D运动模型分析捕获的图像来测量运动。虽然通过在相机中将3D空间投影到2D图像来实际获得图像，但是用2D运动模型无法正确地对3D运动进行建模。因此，虽然基于2D分析的视频稳定方案无法完美地执行视频稳定，但是基于2D分析的视频稳定方案能用比较小的计算量推导出有效的结果。

基于3D分析的视频稳定方案通常通过使用运动结构分析技术从2D图像重建3D空间信息和相机位置信息。通过使用重建的信息来定义新的相机位置，并且关于所述新的相机位置的图像信息被合成。虽然基于3D分析的视频稳定方案需要比基于2D分析的视频稳定方案大得多的计算量，但是基于3D分析的视频稳定方案能推导出正确的视频稳定。然而，基于3D分析执行视频稳定的图像会在图像的部分区域存在图像失真的问题。

发明内容

技术问题

根据本发明构思的示例性实施例提供一种用于当正确并迅速地补偿相机的移动和晃动时提供与由人的视觉感知的实际运动相似的屏幕的视频稳定方法和设备。

解决方案

根据一个或多个示例性实施例的一方面，提供一种视频稳定方法，包括：基于在视频的帧序列的每个帧中相对相机视向与参考相机视向相比的差角来测量帧间相机运动；通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径确定用于每个帧的相机参数；通过使用用于每个帧的相机参数来补偿相机运动。

有益效果

根据本发明构思的各种示例性实施例的视频稳定方法和设备可通过根据相机运动将相机视向调整到面向预定的聚焦对象来实现与人类视线相似的视频稳定。

附图说明

图1是根据本发明构思的示例性实施例的视频稳定设备的框图；

图2是根据本发明构思的另一示例性实施例的视频稳定设备的框图；

图3是根据本发明构思的另一示例性实施例的视频稳定设备的框图；

图4是根据本发明构思的另一示例性实施例的视频稳定设备的框图；

图5是根据本发明构思的另一示例性实施例的视频稳定设备的框图；

图6是根据本发明构思的另一示例性实施例的视频稳定设备的框图；

图7是根据本发明构思的另一示例性实施例的视频稳定设备的框图；

图8是用于描述根据本发明构思的示例性实施例的相机运动测量方法的示图；

图9是用于描述根据本发明构思的示例性实施例的测量沿Z轴方向的相机旋转角的方法的示图；

图10是示出相机运动路径的示图，并且图11是用于描述传统视频稳定方法的示图；

图12是示出根据本发明构思的示例性实施例的通过基于相机运动路径的全局相机视向来调整相机运动而获得的相机运动路径的示图；

图13是示出根据本发明构思的示例性实施例的通过基于面向目标区域的相机视向来调整相机运动而获得的相机运动路径的示图；

图14是示出根据本发明构思的示例性实施例的用于根据视频稳定操作调整边缘区域的大小和视频稳定的程度的用户界面的示图；

图15是示出根据本发明构思的示例性实施例的用于用户设置用于视频稳定操作的相机视向的目标区域的用户界面的示图；

图16是示出根据本发明构思的示例性实施例的用于当执行视频稳定操作时提供与过度的视频稳定操作相关的报警的用户界面的示图；

图17是根据本发明构思的示例性实施例的视频稳定方法的流程图；

图18是根据本发明构思的另一示例性实施例的视频稳定方法的流程图；

图19是根据本发明构思的另一示例性实施例的视频稳定方法的流程图；

图20是根据本发明构思的另一示例性实施例的视频稳定方法的流程图；

图21是根据本发明构思的另一示例性实施例的视频稳定方法的流程图；

图22是根据本发明构思的另一示例性实施例的视频稳定方法的流程图；

图23是根据本发明构思的另一示例性实施例的视频稳定方法的流程图。

最佳实施方式

根据一个或多个示例性实施例的另一方面，提供一种视频稳定方法，所述视频稳定方法包括：测量视频的帧序列的每个帧中的相机运动；通过使用每个帧中的相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定用户的视向和相机视向之间的相机视向调整角；通过使用用于每个帧的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定方法，所述视频稳定方法包括：测量视频的帧序列的每个帧中的相机运动；确定帧序列中的视向的目标区域；通过使用每个帧中的相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径基于面向目标区域的视向来确定相机视向调整角；通过使用用于每个帧的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定方法，所述视频稳定方法包括：基于视频的帧序列的每个帧中的相对相机视向与参考相机视向相比较的差角来测量帧间相机运动；通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定基于用户的视向的相机视向调整角；通过使用用于每个帧的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定方法，所述视频稳定方法包括：通过用户界面从用户接收帧序列中的视向的目标区域的选择请求；基于视频的帧序列的每个帧中的相对相机视向与参考相机视向相比较的差角来测量帧间相机运动；通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定基于面向目标区域的视向的相机视向调整角；通过使用用于每个帧的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定方法，所述视频稳定方法包括：通过用户界面从用户接收边缘区域大小和用于视频稳定的稳定等级中的至少一个的选择请求；基于边缘区域大小和稳定等级中的至少一个，通过基于视频的帧序列中的参考相机视向来测量相对帧间相机运动以稳定相机的视频，确定基于面向目标区域的视向的相机视向调整角，并通过使用用于每个帧的相机视向调整角来补偿相机视向。根据一个或多个示例性实施例的另一方面，提供一种视频稳定方法，所述视频稳定方法包括：通过基于视频的帧序列中的参考相机视向来测量相对帧间相机运动以稳定相机的视频，确定基于面向目标区域的视向的相机视向调整角，并通过使用用于每个帧的相机视向调整角来补偿相机视向；当执行相机的视频的稳定时测量与稳定相关的索引；如果与稳定相关的索引超过了预定阈值，则实时报警。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定设备，所述视频稳定设备包括：相机运动测量器，基于视频的帧序列的每个帧中的相对相机视向与参考相机视向相比较的差角来测量帧间相机运动；相机参数确定器，通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定用于每个帧的相机参数；相机运动补偿器，通过使用用于每个帧的相机参数来补偿相机运动。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定设备，所述视频稳定设备包括：相机运动测量器，测量视频的帧序列的每个帧中的相机运动；相机视向调整角确定器，通过使用每个帧中的相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定基于用户的视向的相机视向调整角；相机视向补偿器，通过使用用于每个帧的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定设备，所述视频稳定设备包括：相机运动测量器，测量视频的帧序列的每个帧中的相机运动；视向目标区域确定器，确定帧序列中的视向的目标区域；相机视向调整角确定器，通过使用每个帧中的相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定基于面向目标区域的视向的相机视向调整角；相机视向调整角补偿器，通过使用用于每个帧的基于面向目标区域的视向的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定设备，所述视频稳定设备包括：相机运动测量器，通过确定视频的帧序列的每个帧中的相对相机视向与参考相机视向相比较的差角来测量帧间相机运动；相机视向调整角确定器，通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定基于用户的视向的相机视向调整角；相机视向补偿器，用过使用用于每个帧的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定设备，所述视频稳定设备包括：视向目标区域用户输入单元，通过用户界面从用户接收帧序列中的视向的目标区域的选择请求；相机运动测量器，基于视频的帧序列的每个帧中的相对相机视向与参考相机视向相比较的差角来测量帧间相机运动；相机视向调整角确定器，通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定基于面向目标区域的视向的相机视向调整角；相机视向补偿器，通过使用用于每个帧的相机视向调整角来补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定设备，所述视频稳定设备包括：边缘区域用户输入单元，通过用户界面从用户接收边缘区域大小和用于视频稳定的稳定等级中的至少一个的选择请求；视频相机稳定器，基于边缘区域大小和稳定等级中的至少一个，通过基于视频的帧序列中的参考相机视向来测量相对帧间相机运动以稳定相机的视频，确定基于面向目标区域的视向的相机视向调整角，并通过使用用于每个帧的相机视向调整角补偿相机视向。

根据一个或多个示例性实施例的另一方面，提供一种视频稳定设备，所述视频稳定设备包括：视频相机稳定器，通过基于视频的帧序列中的参考相机视向来测量相对帧间相机运动以稳定相机的视频，确定基于面向目标区域的视向的相机视向调整角，并通过使用用于每个帧的相机视向调整角来补偿相机视向；与稳定相关的索引测量器，当执行相机的视频的稳定时测量与稳定相关的索引；视频稳定报警单元，在执行相机的视频的稳定的同时测量与稳定相关的索引；视频稳定报警单元，如果与稳定相关的索引超过了预定阈值，则实时报警。

根据一个或多个示例性实施例的另一方面，提供一种存储用于执行视频稳定方法的计算机可读程序的计算机可读记录介质。

具体实施方式

以下，参照图1至图7描述根据本发明构思的各种示例性实施例的视频稳定设备。参照图8至图13描述根据本发明构思的各种示例性实施例的视频稳定设备的相似操作。参照图14至图16说明根据本发明构思的各种示例性实施例的视频稳定设备的用户界面。参照图17至图23描述根据本发明构思的各种示例性实施例的视频稳定方法。

根据在图1和图4中示出的示例性实施例的视频稳定设备100和400提供用于通过仅使用作为帧间相机运动而被测量的相对帧间相机旋转角度来补偿相机运动的视频稳定方案。

根据分别在图2、图3和图4中示出的示例性实施例的视频稳定设备200、300和400提供用于通过仅使用在相机运动路径上的当前帧的相机视向和用户的预测的视向之间的差来补偿相机的晃动的视频稳定方案。

根据分别在图5、图6和图7中示出的示例性实施例的视频稳定设备500、600和700包括根据图1至图4的实施例的视频稳定设备100至400中的任意一个，并提供包括用户界面的视频稳定方案。

图1是根据本发明构思的示例性实施例的视频稳定设备100的框图。

参照图1，视频稳定设备100可包括帧间相机运动测量器110、相机参数确定器120和相机运动补偿器130。视频稳定设备100可通过仅使用作为相机运动信息的两帧的相机视向之间的相对运动来补偿相机运动以输出稳定的视频。

帧间相机运动测量器110可获得视频的帧序列，并测量在视频序列的每个帧中的帧间相机运动。相机参数确定器120可通过使用由帧间相机运动测量器110测量的帧间相机运动来产生帧序列的相机运动路径，并根据相机运动路径来确定用于每个帧的相机参数。相机运动补偿器130可通过使用由相机参数确定器120确定的用于每个帧的相机参数来补偿相机运动。

帧间相机运动测量器110可将基于参考相机视向的相对相机视向信息确定为每个帧中的帧间相机运动信息。例如，帧间相机运动测量器110可将当前帧的相机视向和参考相机视向之间的差角确定为帧间相机运动信息。

用于确定在当前帧的相机视向中的相对相机运动的参考相机视向可以是先前帧的相机视向。例如，帧间相机运动测量器110可确定在视频序列中的时间上连续的帧中的每一对中的先前帧和当前帧之间的相对相机视向差角。

可选地，对整个帧序列可共同确定参考相机视向。例如，帧间相机运动测量器110可测量视频序列中的连续帧的每一对之间的相机视向差角的平均值，并将相机视向的平均差角确定为参考相机视向。因此，帧间相机运动测量器110可基于帧序列的相机视向的平均差角，将相对相机视向（即，相机视向的平均差角A和当前帧的相机视向B之间的差角A-B）测量为每个帧中的相机运动信息。

帧间相机运动测量器110可用沿X、Y和Z方向中的每个方向的旋转角来将相机视向差角确定为相机运动信息。帧间相机运动测量器110可通过测量在当前帧的相机视向和参考相机视向之间的沿X轴方向和Y轴方向的相对角变化来确定相机运动的X轴和Y轴分量。

帧间相机运动测量器110可通过使用经由沿Z轴方向的相机旋转而在Z轴平面上的预定区域中产生的沿直线方向的相机运动，来确定沿Z轴方向的相机旋转角。可选择用于对通过沿Z轴方向的相机旋转而产生的沿直线方向的相机运动进行分析的至少一个采样区域。

帧间相机运动测量器110可通过对于在沿Z轴方向的相机旋转角中在预定范围内的每个相机旋转角，确定在参考相机视向上的参考帧的采样区域和当前帧的采样区域之间产生的误差，并通过对采样区域的误差求和，来确定每个相机旋转角的总误差。帧间相机运动测量器110可从在预定范围内的沿Z轴方向的相机旋转角中检测用于使采样区域的总误差最小化的相机旋转角，并将检测的相机旋转角确定为沿Z轴方向的相对相机旋转角。

帧间相机运动测量器110可通过使用视频的帧序列的帧（即，图像）来确定相对帧间相机视向差角。根据本发明构思的另一示例性实施例的帧间相机运动测量器110可通过使用传感器预测相机运动。例如，帧间相机运动测量器110可通过使用经由使用陀螺仪传感器、重力传感器或加速度计而获得的相机运动信息，来确定相对帧间相机视向差角。

相机参数确定器120可通过积累由帧间相机运动测量器110测量的帧间相机运动信息来产生帧序列的相机运动路径。相机参数确定器120还可产生相机运动路径的全局相机运动路径。例如，可通过相机运动路径的低通滤波来产生全局相机运动路径。可根据低通滤波的窗口大小和强度来调整稳定的程度。

由于通过使用相对相机运动（诸如相机视向的差角）来测量由帧间相机运动测量器110测量的帧间相机运动，因此也可通过相对相机运动（例如，相对相机视向与预定参考相机视向相比较的差角）来定义关于由相机参数确定器120产生的相机运动路径的相机视向和全局相机视向。

相机参数确定器120可基于每个帧中的全局相机运动路径来确定相机调整值。例如，当相机运动路径通过视频稳定被改变至全局相机运动路径时，相机参数确定器120可将在通过积累帧间相机运动而产生的实际的相机运动路径和全局相机运动路径之间的差确定为相机调整值。

通过相机运动路径上的相机视线矢量（即，相机位置和相机视向）来定义相机运动路径。因此，相机参数确定器120可将实际的相机运动路径和全局相机运动路径之间的相机位置位移以及实际的相机运动路径的相机视向和全局相机运动路径的相机视向之间的相对方向差确定为相机调整值。

相机参数确定器120可通过使用关于相机运动路径的当前相机视向和参考相机视向之间的差角的信息，来确定实际的相机运动路径和全局相机运动路径之间的相对差角（即，旋转角），其中，从帧间相机运动测量器110接收所述信息。例如，相机参数确定器120可通过对当前相机视向和参考相机视向之间的差角以及关于相机运动路径的全局相机视向和参考相机视向之间的旋转角进行求和，来确定相机视向调整角。

可将通过相机参数确定器120针对每个帧确定的相机调整值作为每个帧中的相机参数输出到相机运动补偿器130。具体地，帧间相机运动测量器110可将相机视向的变化（即，旋转角）提取为相机参数，并将提取的相机视向的旋转角发送到相机运动补偿器130。

相机运动补偿器130可通过使用每个帧中的相机参数来补偿每个帧中的相机运动。例如，相机运动补偿器130可通过使用每个帧中的相机参数在实际的相机运动路径上使相机视向旋转每个帧中的相机视向调整角。

视频稳定设备100可测量单视点视频的帧序列中的相对帧间相机运动，通过积累相对帧间相机运动来产生相机运动路径，并在相机运动路径上执行视频稳定。这里，可通过测量在单视点视频的帧序列中时间上连续的帧之间的相对相机运动来预测相机运动路径。

另外，视频稳定设备100可将视频稳定方案应用到立体视频。详细地，视频稳定设备100的帧间相机运动测量器110可测量关于立体视频中的彼此相应的左视点帧和右视点帧的帧间视点相机运动。可确定在左视点和右视点中的基于参考视点相机视向的其余的视点相机视向的相对方向差（即，差角）。因此，视频稳定设备100可通过帧间相机运动测量器110测量每个连续帧中的帧间视点相机运动来执行立体视频的视频稳定操作。

图2是根据本发明构思的另一示例性实施例的视频稳定设备200的框图。

参照图2，视频稳定设备200可包括相机运动测量器200、相机视向调整角确定器220和相机视向补偿器230。视频稳定设备200可通过使用相机运动产生相机运动路径，并仅调整相机视向（不包括相机运动路径上的相机位置）补偿相机运动，来输出稳定后的视频。

相机运动测量器210可接收视频的帧序列，并测量帧序列的每个帧中的相机运动。相机视向调整角确定器220可通过使用由相机运动测量器210测量的每个帧中的相机运动来产生帧序列的相机运动路径，并通过使用所述相机运动路径基于用户的视向来确定相机视向调整角。相机视向补偿器230可通过使用由相机视向调整角确定器220确定的相机视向调整角来补偿每个帧中的相机视向。因此，视频稳定设备200可完成视频稳定操作。

相机运动测量器210可确定每个帧中的相机视线矢量以测量每个帧中的相机运动。相机视向调整角确定器220可通过积累由相机运动测量器210确定的每个帧中的相机运动来产生帧序列的相机运动路径。因此，由相机视向调整角确定器220产生的相机运动路径可包括关于每个帧中的相机视线矢量的信息。

相机视向调整角确定器220可通过使用帧序列的相机运动路径来预测用户的视向。例如，相机视向调整角确定器220可从产生的相机运动路径分离全局相机视向和局部相机视向，并将所述全局相机视向确定为用户的视向。

存在从帧序列的相机路径分离全局相机视向的各种方法。例如，可通过相机运动路径的低通滤波来确定帧序列的全局相机视向，并且可将在全局相机运动路径上的相机视向确定为全局相机视向。然而，确定全局相机运动路径的方法不限于低通滤波。

相机视向调整角确定器220可通过仅使用相机视向（不包括相机运动路径上的相机位置）来确定相机参数。也就是，相机视向调整角确定器220可将用户的视向和相机运动路径上的当前相机视向之间的差角确定为相机视向调整角。

可将相机运动路径上的相机视向调整到面向帧中心。也就是，相机视向调整角确定器220可检测用于将当前相机视向移动到帧中心的相机视向调整角。

相机视向补偿器230可通过使帧的当前相机视向旋转由相机视向调整角确定器220确定的相机视向调整角，来补偿相机运动。

由于视频稳定设备200仅调整相机视向（不包括在相机运动路径上的相机位置），因此可执行具有以下效果的视频稳定：在保持实际相机运动路径上的相机位置的同时，仅将在实际运动路径上的相机视向移动到用户的视向。

另外，视频稳定设备200还可通过相机运动测量器210针对立体视频中的彼此相应的左视点帧和右视点帧，测量每个连续帧中的帧间视点相机运动，来执行立体视频的视频稳定操作。

图3是根据本发明构思的另一示例性实施例的视频稳定设备300的框图。

参照图3，视频稳定设备300可包括相机运动测量器310、视向目标区域确定器315、相机视向调整角确定器320和相机视向补偿器330。视频稳定设备300可像视频稳定设备200一样通过仅调整相机运动路径上的相机视向补偿相机运动，并还可任意选择相机视向的目标区域。

相机运动测量器310可接收视频的帧序列，并测量帧序列的每个帧中的相机运动。视向目标区域确定器315可确定在视频序列中相机视向所面向的目标区域。相机视向调整角确定器320可通过使用由相机运动测量器310测量的每个帧中的相机运动来产生帧序列的相机运动路径，并基于面向相机运动路径上的每个点的目标区域的相机视向来确定相机视向调整角。相机视向补偿器330可通过使用由相机视向调整角确定器320确定的相机视向调整角来补偿每个帧中的相机视向。

相机运动测量器310可确定每个帧中的相机视线矢量来测量每个帧中的相机运动。

视向目标区域确定器315可通过分析帧序列中的每个帧中的相机视向来确定相机视向面向的目标区域。例如，视向目标区域确定器315可通过分析帧序列中的相机视向来检测相机视向所面向的代表性目标区域或全局相机视向的目标区域。

可选地，视向目标区域确定器315可任意选择相机视向的目标区域，或基于从外部接收到的用于选择相机视向的目标区域的请求来确定相机视向的目标区域。视向目标区域确定器315可将关于相机视向的目标区域的信息发送到相机视向调整角确定器320。

相机视向调整角确定器320可通过使用由相机运动测量器310确定的每个帧中的相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径基于面向目标区域的相机视向来确定相机视向调整角。

相机视向调整角确定器320可通过积累由相机运动测量器310产生的每个帧中的相机运动来产生帧序列的相机运动路径。由相机视向调整角确定器320产生的相机运动路径可包括关于每个帧中的相机视线矢量的信息。

相机视线调整角确定器320可通过使用相机运动路径来预测用户的视向。另外，当相机视向调整角确定器320从视向目标区域确定器315接收到关于相机视向的目标区域的信息时，相机视向调整角确定器320可基于每个帧中的相机视向的目标区域来确定相机视向调整角。

相机视向调整角确定器320可通过使用用户的视向或全局相机视向，基于相机视向的目标区域来确定相机视向调整角。

相机视向调整角确定器320可从相机运动路径的当前相机视向分离全局相机视向和局部相机视向。相机视向调整角确定器320可基于每帧中的全局相机视向确定相机视向的第一调整角。

相机视向调整角确定器320可基于从视向目标区域确定器315接收的关于相机视向的目标区域的信息，来分析全局相机视向所面向的点和帧中的目标区域之间的位移或坐标差。相机视向调整角确定器320可通过使用全局相机视向所面向的点和目标区域之间的位移或坐标差来检测全局相机视向和面向目标区域的相机视向之间的差角，并将检测的差角确定为第二调整角。

相机视向调整角确定器320可通过对每个帧中的相机视向的第一调整角和第二调整角求和来确定相机视向调整角。相机视向补偿器330可通过基于从相机视向调整角确定器320输出的关于相机视向调整角的信息来补偿相机视向以补偿相机晃动。

另外，视频稳定设备300还可通过相机运动测量器310测量关于立体视频中的彼此相应的左视点帧和右视点帧的每个连续帧的帧间视点相机运动来执行立体视频的视频稳定操作。

图4是根据本发明构思的另一示例性实施例的视频稳定设备400的框图。

参照图4，视频稳定设备400可包括帧间相机运动测量器410、相机视向调整角确定器420和相机视向补偿器430。视频稳定设备400可通过使用两帧的相机视向之间的相对运动的相机运动的测量来产生相机运动路径，并仅调整相机视向（不包括相机运动路径上的相机位置）补偿相机运动，来输出稳定后的视频。

帧间相机运动测量器410可接收视频的帧序列，并基于每个帧中的相对相机视向与参考相机视向相比的差角来测量帧间相机运动。相机视向调整角确定器420可通过使用通过帧间相机运动测量器410获得的关于帧间相机运动的信息来产生帧序列的相机运动路径，并通过使用相机运动路径基于目标相机视向来确定相机视向调整角。相机视向补偿器430可通过使用由相机视向调整角确定器420确定的相机视向调整角来补偿每个帧中的相机视向。

帧间相机运动测量器410可执行与帧间相机运动测量器110相同的操作。也就是，帧间相机运动测量器410可将帧序列中的时间上的连续帧中的每对之间的相对相机视向的差角确定为帧间相机运动信息。帧间相机运动测量器410可将帧间相机运动信息发送给相机视向调整角确定器420。

帧间相机运动测量器410可通过沿X、Y和Z方向中的每个方向基于参考相机视向测量相对相机视向来确定相机运动信息。帧间相机运动测量器410可通过使用视频的帧序列的帧（即，图像）来确定相对帧间相机视向差角。可选地，帧间相机运动测量器410可通过使用利用传感器预测的相机运动来确定相对帧间相机视向差角。

相机视向调整角确定器420可通过基于从帧间相机运动测量器410接收的帧间相机运动信息积累帧间相机运动，来产生帧序列的相机运动路径。通过相机视向调整角确定器420产生的相机运动路径可仅通过相对相机视向差值（不包括相机运动信息）来定义。

可从相机运动路径提取当前的相机视向信息。相机视向调整角确定器420可确定相机视向调整角来将当前的相机视向改变至期望的相机视向。

相机视向调整角确定器420可从相机运动路径上的当前的相机视向预测用户的视向。相机视向调整角确定器420可通过使用相机运动路径确定全局相机运动路径，并将全局相机运动路径上的相机视向确定为用户的视向。相机视向调整角确定器420可基于每个帧中的用户的视向（即，全局相机视向）来确定相机视向的第一调整角。

视频稳定设备400还可包括视向目标区域确定器415。当相机视向调整角确定器420从视向目标区域确定器415接收到目标区域信息时，相机视向调整角确定器420可基于面向帧序列的相机运动路径上的每个点的目标区域的相机视向来确定相机视向调整角。

在此情况下，相机视向调整角确定器420可按由图3的相机视向调整角确定器320采用的类似方法，通过对基于用户的视向（即，全局相机视向）的相机视向的第一调整角和基于面向目标区域的相机视向的相机视向的第二调整角求和，来确定相机视向调整角。

另外，相机视向调整角确定器420可通过使用相机运动路径上的当前相机视向和参考相机视向之间的旋转角信息来确定相机视向调整角，其中，从帧间相机运动测量器410接收所述旋转角信息。

例如，相机视向调整角确定器420可通过对相机运动路径上的当前相机视向和参考相机视向之间的旋转角以及参考相机视向和面向目标区域的相机视向之间的旋转角求和，来确定相机视向调整角。由于当前相机视向基于参考相机视向通过相对旋转角来定义，因此可通过使用参考相机视向和面向目标区域的相机视向之间的相对旋转角来容易地确定相机视向调整角。

相机视向补偿器430可通过将相机视向旋转每个帧中的相机视向调整角来补偿相机运动。

视向目标区域确定其415可将相机运动路径上的全局相机视向设置为面向目标区域的相机视向的初始值。

视频稳定设备400还可可按由如上所述的视频稳定设备100、200和300采用的类似方法，通过相机运动测量器410针对立体视频中的彼此相应的左视点帧和右视点帧，测量每个连续帧中的帧间视点相机运动，来执行立体视频的视频稳定操作。

图5是根据本发明构思的另一示例性实施例的视频稳定设备500的框图。

参照图5，视频稳定设备500可包括视向目标区域用户输入单元520和视频稳定装置510。视频稳定装置510可与以上描述的视频稳定设备300或400相同。

视向目标区域用户输入单元520可通过用户接口从用户接收每个帧序列中的相机视向的目标区域的选择请求。视频稳定装置510可接收从视向目标区域用户输入单元520发送的关于相机视向的目标区域的信息。视频稳定装置510可按与由视频稳定设备300或400采用的方法相同的方法，基于面向目标区域的相机视向来调整相机视向。因此，视频稳定设备500可通过将视频的相机视向调整到面向用户期望的目标区域，来执行用于产生与由人感知的视觉晃动相似的结果的视频稳定。

图6是根据本发明构思的另一示例性实施例的视频稳定设备600的视频稳定设备600的框图。

参照图6，视频稳定设备600可包括边缘区域用户输入单元620和视频稳定装置610。视频稳定装置610可与以上描述的视频稳定设备100、200、300或400相同。

边缘区域用户输入单元620可通过用户接口从用户接收边缘区域大小和视频稳定的稳定等级中的至少一个的选择请求。边缘区域用户输入单元620可基于由用户选择的边缘区域大小来确定稳定等级，或基于由用户选择的稳定等级来确定边缘区域大小。可选地，边缘区域用户输入单元620可从用户接收边缘区域大小和稳定等级的预定设置的选择请求。

视频稳定装置610可接收从边缘用户输入单元620发送的关于相机视向的目标区域的信息。视频稳定装置610可按与由视频稳定设备100、200、300或400采用的方法相同的方法，通过基于预定相机视向调整相机视向来补偿相机运动。然而，视频稳定装置610可基于边缘区域大小和稳定等级中的至少一个来限制相机视向调整量。例如，可基于边缘区域大小或稳定等级来限制测量的相机运动的幅度、测量的相机视向调整角的幅度以及由于补偿相机视向而产生的变化。

因此，视频稳定设备600可在通过调整视频的相机视向执行与由人感知的视觉晃动相似的视频稳定时防止过度的视频稳定。

图7是根据本发明构思的另一示例性实施例的视频稳定设备700的框图。

参照图7，视频稳定设备700可包括视频稳定装置710、稳定索引测量器720和视频稳定报警单元730。

视频稳定装置710可与以上描述的视频稳定设备100、200、300、400、500或600相同。也就是，视频稳定装置710可通过以下处理来稳定视频的相机运动：测量视频的每个帧中的相机运动，通过使用相机运动产生相机运动路径，通过使用相机运动路径基于每个帧中的期望的相机视向来确定相机视向调整角，并补偿每个帧中的相机视向。

稳定索引测量器720可通过实时感测视频稳定装置710的视频相机稳定操作来测量与稳定相关的索引。如果测量的与稳定相关的索引超过了预定阈值，则视频稳定报警单元730可实时报警。

根据本发明构思的示例性实施例的与稳定相关的索引可包括通过视频稳定操作产生的边缘区域的大小、由传感器感测到的视频相机运动的幅度和帧间相机运动的幅度中的至少一个。

稳定索引测量器720可通过实时感测视频稳定装置710的视频相机稳定操作来测量用于帧间相机运动测量操作、相机视向调整角确定操作和相机视向补偿操作中的至少一个的与稳定相关的索引。

因此，视频稳定装置710可实时感测视频相机稳定操作，并且如果在每个操作中视频稳定索引超过了危险等级，则警告用户视频稳定被过度执行。

已经参照图1和图4的各个视频稳定设备100和400描述了用于通过将相对帧间相机旋转角用作相机运动信息来补偿相机晃动的视频稳定方法，并且已经参照图2、图3和图4的各个视频稳定设备200、300和400描述了用于通过仅调整相机运动路径上的相机视向来将相机视向调整到面向预定目标区域的视频稳定方法。可通过根据本发明构思的各种示例性实施例的视频稳定方法来高速实现相机运动补偿和与由人感知的视觉晃动相似的视频稳定。

当用户A在奔跑时用相机捕获视频时，由于相机在捕获视频时晃动或运动，因此观看用晃动的相机捕获的视频的用户B会感到严重头晕。然而，即使用户A在奔跑时也晃动或运动，但由于图像被视觉感知到，因此用户A不会感到如此头晕。

这是因为即使用户A的眼睛的位置根据用户A的运动而迅速变化，用户A的视线也面向用户A保持专注的对象。也就是，由于视向被时刻固定到专注的对象，使得专注的对象时刻位于由用户A的眼睛感知的图像的中心，因此即使用户A的眼睛的位置时刻运动，不论用户A的身体如何晃动，用户A也不会感到头晕。

因此，将把人的眼睛的运动（当眼睛的位置时刻运动时，时刻改变用户的眼睛的视向）应用到相机。因此，根据本发明构思的各种示例性实施例的视频稳定设备100、200、300、400、500、600和700可通过根据相机运动将相机视向调整到面向预定的专注对象来实现与人的视线相似的视频稳定。

为此，根据本发明构思的示例性实施例的提供一种视频稳定方案，所述视频稳定方案通过仅使用相机运动路径上的用户的视向，使用当前帧的相机视向和用户的预测的视向之间的差来补偿相机视向，以补偿相机运动。另外，示例性实施例提供一种通过仅调整相机视向以仅测量相机运动中的相对相机视向（即，相机视向的旋转角）来仅预测相机运动路径上的相机视向的方法。

以下将描述预测连续帧之间的相对相机运动的方法。当第K幅图像和第（K+1）幅图像的视向彼此不同时，不必知道第K幅图像和第（K+1）幅图像的正确的视向来匹配第K幅图像和第（K+1）幅图像的视向。反而，如果仅知道与参考视向相应的第K幅图像和第（K+1）幅图像的视线矢量之间的相对方向差（即，帧间视向差），则可将第（K+1）幅图像的视向旋转帧间视向差来匹配第K幅图像的视向。因此，根据本发明构思的示例性实施例的视频稳定设备100、200、300、400、500、600或700中的任意一个可用于仅预测两个帧之间的相对视线矢量差。

另外，可通过使用相对相机运动预测用户的视向并测量当前帧的相机视向和用户的预测的视向之间的差，来调整相机视向。可通过基于参考视向改变N个帧的视向来执行将所述N个帧的视向匹配到单个视向。即使在三维空间中没有正确地定义参考视向，也可通过仅使用N个帧和参考视向之间的相对方向差来预测在所述N个帧的帧序列期间的相机运动。

例如，对于N个帧，可获得连续帧之间的相对视向（即，（N-1）个视向差），并可确定所述（N-1）个视向差的平均值。可将所述（N-1）个视向差的平均值定义为所述N个帧的最终参考视向。还可通过基于初始视向（如所述N个帧的视线矢量）的相对旋转角来定义最终参考视向。因此，最终参考视向可以是用户的视向，或可被改变为另一预定的目标视向。

另外，可通过在不改变相机位置的情况下仅使用最终参考视向和当前相机视向之间的差角来调整相机视向，来补偿相机晃动以与人的视线相似。

将参照图8和图9描述根据本发明构思的各种示例性实施例的相机运动测量方法，其中，通过所述相机运动测量方法来测量相对帧间相机旋转角。

图8是用于描述根据本发明构思的示例性实施例的相机运动测量方法的示图。

为了正确地获得在不同的一般位置捕获的两个图像之间的关系，关于相机的两个中心点之间的距离和相机视线矢量的方向的信息是必需的。然而，在通过使用关于相机的两个中心点之间的距离和相机视线矢量的方向的信息获得两个图像的对象的正确位置和坐标之后来确定位移或坐标差以测量相机运动的方法需要相当大的计算量。

然而，通过采用根据本发明构思的示例性实施例的相机运动测量方法，可通过测量两个相机视向之间的相对方向（即，两个相机视向中的基于参考相机视向的另一个相机视向的旋转角）来测量相对相机运动。另外，可沿X轴、Y轴和Z轴方向中的每个方向确定相机的两个相机视向之间的差。

例如，可通过将面向原始图像800（在调整之前的第K幅图像）中的当前位置810的相机视向820改变为面向图像850（在调整后的第K幅图像）中的图像中心860的参考相机视向830，来在图像中心860拾取位于当前位置810的对象。

由于与相机和捕获的对象之间的距离相比，连续的实际图像之间的相机运动不是很大，因此根据所述相机运动的运动距离可近似等于零。另外，三角函数可用于通过图像中心和预定点之间的位置关系来测量图像中的预定点之间的相对角。然而，由于在连续图像之间的相机运动中的旋转分量实际上不是很大，因此三角函数可近似等于一般多项式表达式。假设根据这种相机运动的特点，则可通过使用图像中的预定点的坐标由一般多项式表达式来简单描述相机的旋转角，并且沿X轴和Y轴方向的相对角变化可被推导为结果值。

因此，可使用当前位置810的中心坐标m和图像中心860的中心坐标m’来预测当前相机视向820和参考相机视向830之间的旋转角θ。另外，如果m和m’之间的位移都具有X轴方向分量和Y轴方向分量，则可分别根据帧中的沿X轴方向的位移和沿Y轴方向的位移来预测沿X轴方向的旋转角和沿Y轴方向的旋转角。

图9是用于描述根据本发明构思的示例性实施例的测量沿Z轴方向的相机旋转角的方法的示图。

可通过使用图像中的多个采样点的直线运动测量针对Z轴的旋转角。例如，直线运动可通过沿Z轴方向的图像900的旋转出现在四个采样点A、B、C和D上。

由于相同旋转，采样点A和C分别具有沿彼此相反的方向的直线运动910和930，并且采样点B和C分别具有沿彼此相反的方向的直线运动920和940。例如，当针对Z轴的顺时针旋转出现时，采样点A、B、C和D可分别具有向右、向下、向左和向上的直线运动。

如果图像900的宽和高彼此不同，则采样点A和C的直线运动的幅度与采样点B和D的直线运动的幅度不同。例如，如果图像900的宽和高分别是W和H，并且如果图像900旋转了旋转角θ，则采样点B和D具有约W/2×θ的运动量，并且采样点B和D具有约H/2×θ的运动量。因此，可基于图像900的宽和高来确定由于在采样点A、B、C和D的每个采样点的旋转运动的直线运动量。

因此，由于相同旋转，分别具有预定大小和方向的直线运动可出现在采样点A、B、C和D，并且可基于从原始点到在Z轴平面上的采样点A、B、C和D中的每个采样点的距离和方向确定相应于旋转角而出现在采样点A、B、C和D的沿直线方向的运动矢量的大小和方向。

在确定了用于采样点A、B、C和D中的每个采样点的在当前帧和参考帧中的每个匹配点的代价值（诸如绝对差和（SAD））之后，可将具有使基于所有采样点A、B、C和D的代价值的最终代价值最小化的大小和方向的运动矢量确定为当前帧和参考帧之间的运动矢量。也就是，用于使最终代价值最小化的运动矢量的运动量可以是最终的直线运动量，其中，通过确定采样点A、B、C和D的代价值，并对采样点A、B、C和D的代价值求和来获得所述最终代价值。可通过将直线运动量转换到旋转运动来确定针对Z轴的旋转角的测量。

可增加或减少用于测量运动量的采样点（例如，采样点A、B、C和D）的数量。为了在采样点测量正确的运动，可使用通过选择在每个采样点周围的采样区域来测量采样区域中的运动矢量的方法。

帧间相机运动测量器110或410可确定沿直线方向的运动矢量的大小和方向来测量在两个帧之间的Z轴方向相机运动，其中，所述运动矢量出现在相应于预定范围中的每个旋转角的Z轴平面上的采样区域。可通过针对每个采样区域基于在由运动矢量沿相应的直线方向移动的图像a和沿参考相机参考视向的帧的相应采样区域b之间的差（c=a-b），来测量代价值并对代价值求和，以确定采样区域的总代价值。

帧间相机运动测量器110或410可通过比较针对旋转角而确定的采样区域的总代价来检测用于产生初始的总代价值的旋转角，并将检测的旋转角确定为沿Z轴方向的相机旋转角。

因此，帧间相机运动测量器110或410可在不预测在帧之间的相机运动中的实际的相机位置和位移的情况下仅预测相机旋转角，并将关于预测的帧之间的相机旋转角的信息发送到相机参数确定器120或相机视向调整角确定器220、320或420。因此，用于测量相机运动的正确位移的计算量可从用于测量相机运动的计算量被减少，并且被发送到相机参数确定器120或相机视向调整角确定器220、320或420的信息量也可被减少。

图10是示出相机运动路径的示图，并且图11是用于描述传统视频稳定方法的示图。

可通过使用由用户在运动时用相机捕获视频而获得的视频来获得相机运动路径1000。关于沿相机运动路径1000运动的相机的信息可由每个帧中的相机位置和相机视向来定义。

可通过分析相机运动路径1000的帧序列来确定从相机运动路径1000推导的全局相机运动路径1030。另外，可将在相机运动路径1000上的帧中产生的实际相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018中的每个实际相机视向划分为基于全局相机运动路径1030的全局相机视向和在相应帧中产生的局部相机视向。

详细说明相机运动路径1000上的两个帧，可将实际相机视向1002和1004分别划分为基于全局相机运动路径1030的全局相机视向1032和1034以及局部相机视向。

根据传统的视频稳定方法，预测相机运动路径1000上的实际相机位置和视向以匹配全局相机运动路径1030的方法可被使用。

也就是，也参照图11，在基于各个坐标系的原点测量实际相机视向1002和1004以及全局相机视向1032和1034之后，可确定在实际相机视向1002和1004与全局相机视向1032和1034之间的各个角度差θ2和θ4。可通过将实际相机视向1002和1004分别旋转θ2和θ4，使实际相机视向1002和1004与全局相机视向1032和1034匹配。

另外，预测在相机运动路径1000上的实际相机视向1002和1004的实际相机位置和在全局相机运动路径1030上的实际相机视向1002和1004的相应位置。可分别确定实际相机视向1002和1004的实际相机位置与在全局相机运动路径1030上的实际相机视向1002和1004的相应位置之间的各个平移差D2和D4。可通过将实际相机视向1002的实际相机位置分别移动D2和D4，实际相机视向1002的实际相机位置与在全局相机运动路径1030上的实际相机视向1002的相应位置匹配。

因此，基于以上描述的传统视频稳定方法，必须通过正确地测量在相机运动路径上的所有相机位置和视向以及在全局相机运动路径上的所有相机位置和视向，来调整实际相机运动路径以与全局相机运动路径匹配。

视频稳定设备200、300和400可通过产生相机运动路径并仅使用当前帧的相机运动路径和用户的预测的视向之间的差，来预测用户的视向以补偿相机晃动。将参照图12和图13详细描述根据本发明构思的各种示例性实施例的相机晃动补偿方法，其中，通过所述相机晃动补偿方法，相机视向被调整到面向预定的视向。

图12是示出根据本发明构思的示例性实施例的通过基于相机运动路径的全局相机视向来调整相机运动而获得的相机运动路径的示图。图13是示出根据本发明构思的示例性实施例的通过基于面向目标区域的相机视向来调整相机运动而获得的相机运动路径的示图。

各个视频稳定设备200、300或400的相机视向调整角确定器220、320或420可通过使用从相机运动测量器210或310或帧间相机运动测量器410获得的相机旋转角信息，来产生相机运动路径1000。可定义沿相机运动路径1000的帧的当前相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018。

由于相机视向调整角确定器220、320或420旨在不移动相机的实际位置，但将相机视向调整为固定在预定焦点，因此相机视向调整角确定器220、320或420在没有预测相机运动路径上的正确相机位置的情况下仅需要基于预定方向的相机视向的相对旋转角。

也就是，相机视向调整角确定器220、320或420可通过分析相机运动路径1000上的帧序列来确定沿相机运动路径1000出现的全局相机运动路径1030，并且在相机运动路径1000上的相应帧中产生的当前的相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018可被分别划分为全局相机视向1032、1034、1036、1038、1040、1042、1044、1046和1048以及在相应帧中产生的局部相机视向。

相机视向调整角确定器220、320或420可基于当前的相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018以及在全局相机运动路径1030上的全局相机视向1032、1034、1036、1038、1040、1042、1044、1046和1048，来确定相机视向调整角。相机视向调整角确定器220、320或420可将关于针对每个帧确定的相机视向调整角的信息发送到相机视向补偿器230、330或430。

具体地，由于根据参照图4描述的实施例所产生的相机运动路径仅基于帧间相机旋转角信息被产生，因此在相机运动路径上的正确的帧间相机位置和正确的帧间相机捕获角不被确定，并且沿相机运动路径的相机视向的旋转角可被连续确定。因此，由相机视向调整角确定器420确定的当前相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018中的每个当前相机视向可与基于预定的参考相机视向的旋转角相应。同样，还可基于参考相机视向通过相对方向差（即，旋转角）来定义全局相机视向1032、1034、1036、1038、1040、1042、1044、1046和1048中的每个全局相机视向、局部相机视向和由相机视向调整角确定器420确定的面向预定视向的相机视向调整角。

相机视向补偿器230、330或430可通过基于从相机视向调整角确定器220、320或420接收的相机视向调整角信息来将当前的相机视向调整相机视向调整角，以补偿相机运动。

例如，相机视向补偿器230、330或430可使相机运动路径1000上的各个当前相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018在它们的相应的帧中旋转它们的相应的相机视向调整角。

如图12中所示，相机视向调整角确定器220、320或420可基于全局相机视向1032、1034、1036、1038、1040、1042、1044、1046和1048确定相机视向调整角信息。相机视向调整角确定器220、320或420可在相机运动路径1000上的各个当前的相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018与它们的相应的全局相机视向1032、1034、1036、1038、1040、1042、1044、1046和1048之间的差角。也就是，相机视向补偿器230、330或430可将各个当前的相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018在它们的相应帧中旋转它们的相应的相机视向调整角，以与它们的相应的全局相机视向1032、1034、1036、1038、1040、1042、1044、1046和1048匹配。

因此，可由相机视向补偿器230、330或430仅将当前相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018调整到它们的相应的相机视向1052、1054、1056、1058、1060、1062、1064、1066和1068，而无需在相机运动路径1000上的它们的相应帧中进行位置改变。也就是，在调整之后，相机视向1052、1054、1056、1058、1060、1062、1064、1066和1068可分别与它们的当前帧中的相应的全局相机视向1032、1034、1036、1038、1040、1042、1044、1046和1048匹配。

如图13中所示，可确定相机视向调整角信息，使得相机视向面向预定目标点。相机视向调整角确定器220、320或420可测量相机运动路径1000上的当前相机视向与面向目标点1330的目标视向之间的差角，并将测量的差角确定为相机视向调整角。也就是，相机视向补偿器230、330或430可将当前相机视向1002、1004、1006、1008、1010、1012、1014、1016和1018在它们的相应帧中旋转它们的相应相机视向调整角，以与面向目标点1330的它们的相应相机视向1332、1334、1336、1338、1340、1342、1344、1346和1348。

因此，由相机视向补偿器230、330或430补偿相机运动的相机视向1332、1334、1336、1338、1340、1342、1344、1346和1348可被调整为在它们的相应当前位置中聚焦到目标点1330。

因此，视频稳定设备200、300和400不但可以调整全局相机运动路径上的全局相机视向或面向帧中心的相机视向，而且可将相机视向调整到面向预定目标点或固定到目标视向。可根据捕获视频的用户的期望来设置相机视向面向的预定目标点或目标视向。

另外，由于当不仅在视频捕获装置中而且在视频再现装置中通过使用根据本发明构思的示例性实施例的视频稳定方法来再现视频时，可执行视频稳定操作，因此可根据观看视频的用户的期望来设置相机视向面向的预定目标点或目标视向。

由于在没有改变实际的相机运动路径和相机位置的情况下，相机视向被固定为时刻面向预定目标点，因此视频稳定设备200、300和400可获得与由人视觉感知到的运动相似的视频。另外，由于可通过在没有测量相机运动路径上的正确的位移的情况下仅使用相机视向，或仅使用相机视向的相对变化或旋转角，来调整相机视向，以补偿相机运动，因此可正确地恢复相机运动路径，从而与通过正确恢复相机运动路径来调整相机位移和相机视向的传统方法相比，减少了计算量。

以下将参照图14至图16描述用于有效使用视频稳定设备100、200、300和400的视频稳定方法的用户界面。

图14是示出根据本发明构思的示例性实施例的用于根据视频稳定操作调整边缘区域的大小和视频稳定的程度的用户界面的示图。

各个视频稳定设备100、200、300或400的相机视向补偿器130、230、330或430可将当前相机视向旋转到目标视向。具体地，通过将平行于Z轴平面的图像旋转沿相机视向调整角的X轴、Y轴和Z轴方向的旋转角分量之中的沿Z轴方向的旋转角，来改变沿Z轴方向的相机视向。

当根据相机视向的这种旋转来执行视频稳定时，因为图像的输出部分由于帧的旋转而丢失或没有被完全恢复，因此由用户实际看到的视角比与原始图像相应的视角更窄。结果，视频再现装置的用户可仅观看在保持在内侧部分的视角内的图像，或只有按这种方式恢复的有效图像可被存储在视频捕获装置或存储装置中。视频稳定的程度越高，根据视频稳定增加的程度而丢失区域（即，边缘区域）量越大。如果在没有考虑边缘区域的情况下过度执行视频稳定，则会大大减小有效图像的大小。也就是，会在视频稳定效果和边缘区域大小之间存在权衡。

因此，可按与视频稳定设备600的视频稳定装置610相同的方式来装备视频稳定设备100、200、300、400、500或700中的任意一个。视频稳定设备600的边缘区域用户输入单元620可为用户提供用户界面1400、1420、1440和1460来调整边缘区域和视频稳定的程度。

用户界面1400显示用于用户自由选择边缘区域的大小或边缘区域的大小与整个图像大小的比率的片条。根据图1至图4的示例性实施例的边缘区域用户输入单元620可基于经由用户界面1400输入的边缘区域的大小或边缘区域的大小与整个图像大小的比率，来确定视频稳定的程度。

用户界面1420显示用于用户自由选择视频稳定等级的片条，其中，视频稳定等级指示视频稳定的程度。根据图1至图4的示例性实施例的边缘区域用户输入单元620可基于经由用户界面1420输入的视频稳定等级来确定边缘区域的大小或边缘区域与整个图像大小的比率。

用户界面1440显示用于用户自由选择视频稳定等级与边缘区域相比较的权衡的片条。用户界面1460显示用于用户选择视频稳定等级与边缘区域相比较的权衡被优化的组合的视频稳定等级与边缘区域相比较的查找表。用户可通过使用连接到用户界面1400、1420、1440和1460的用户控制器来选择边缘区域大小、视频稳定等级或视频稳定等级与边缘区域相比较的权衡。

根据图1至图4的示例性实施例的边缘区域用户输入单元620可基于通过用户界面1400的用户的输入来确定边缘区域大小或视频稳定的程度，并且相机参数确定器120或相机视向调整角确定器220、320或420可基于确定的边缘区域大小或确定的视频稳定的程度来确定相机视向调整角。

图15是示出根据本发明构思的示例性实施例的用于用户设置用于视频稳定操作的相机视向的目标区域的用户界面的示图。

可按与视频稳定设备500的视频稳定装置510相同的方式来装备视频稳定设备300、400、600或700中的任意一个。视频稳定设备500的视向目标区域用户输入单元520可提供用于用户设置相机视向的目标区域或目标视向的用户界面1500。用户界面1500显示能够在捕获场景的当前视频或捕获的视频图像上自由地左、右、上、下移动的选择窗口1510。用户可将选择窗口1510移动到期望的目标点，其中，通过使用选择窗口1510的连接到用户界面1500的运动控制器将相机视向固定到所述期望的目标点。

根据图3和图4的各个示例性实施例的视向目标区域确定器315或415可基于通过用户界面1500的用户的输入来确定目标区域和目标视向，并且相机视向调整角确定器320或420可确定相机视向调整角。

图16是示出根据本发明构思的示例性实施例的用于提供当执行视频稳定操作时与过度的视频稳定操作相关的报警的用户界面的示图。

可按与视频稳定设备700的视频稳定装置710相同的方式来装备视频稳定设备100、200、300、400、500或600中的任意一个。当执行视频稳定操作时，视频稳定设备700的稳定索引测量器720可在每个阶段测量视频稳定的程度。稳定索引测量器720可通过在视频稳定操作期间实时感测视频稳定的程度来测量与稳定相关的索引。

视频稳定设备700可实时测量与稳定相关的索引，诸如通过视频稳定操作产生的边缘区域大小、通过传感器感测到的视频相机运动的幅度或帧间相机运动的幅度。例如，由于相机视向调整角（作为用于补偿的相机运动信息）随着通过视频稳定设备700产生的相机运动路径和积累的帧间相机视向之间的差变化而按比例变化，因此可预测过度的视频稳定。因此，相机视向调整角可用作与稳定相关的索引。

稳定索引测量器720可在视频稳定装置710的视频稳定操作中实时感测到与稳定相关的索引。例如，可在视频稳定操作的帧间相机运动测量阶段、相机视向调整角确定阶段和相机视向补偿阶段中的每个阶段中测量与稳定相关的索引。如果在视频稳定操作的帧间相机运动测量阶段、相机视向调整角确定阶段和相机视向补偿阶段中的每个阶段中测量的与稳定相关的索引超过了预定阈值，则视频稳定报警单元730可实时报警或引导用户关于当前的稳定状态。可通过显示在用户界面1600上的报警窗口1610或语音报警声音1620来实现实时报警。

例如，如果在帧间相机运动测量操作期间，由稳定索引测量器720感测到的相机运动超过了阈值，则视频稳定报警单元730可实时报警。另外，如果在相机视向调整角确定操作期间，由稳定索引测量器720感测到的相机视向调整角超过了阈值，则视频稳定报警单元730可实时报警。另外，如果在相机视向补偿操作期间，由稳定索引测量器720感测到的边缘区域超过了阈值，则视频稳定报警单元730可实时报警。

另外，如果在视频稳定操作期间的帧间相机运动测量阶段和相机视向调整角确定阶段中，视频稳定报警单元730可基于相机运动信息和相机视向调整角信息来预测边缘区域，则在所有视频稳定操作期间，当边缘区域超过阈值时，视频稳定报警单元730可实时报警。

用户可根据基于视频稳定设备700的视频稳定状态的指导和报警来预测用户的运动的程度。也就是，如果存在视频稳定状态过度的指导和报警，则由于分析出需要视频稳定的用户的相机运动很大，因此用户可阻止过度的相机运动。

与稳定相关的索引的阈值可被确定在视频稳定设备700通过分析当前系统和视频而能稳定处理的计算量内。可基于由用户设置的边缘区域与视频稳定的程度相比较的权衡来确定与稳定相关的所索引的阈值。

图17是根据本发明构思的示例性实施例的视频稳定方法的流程图。

参照图17，在操作1710，在视频的帧序列的每个帧中确定当前相机视向与参考相机视向相比较的差角，并基于当前相机视向与参考相机视向相比较的相对差角来测量帧间相机运动。

在操作1720，通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定每个帧中的相机参数。相机参数可包括用于相机运动补偿的相机运动路径上的相机位移和/或相机方向补偿值。

在操作1730，通过使用每个帧中的相机参数来补偿相机运动。

根据图17的示例性实施例的视频稳定方法与根据图1的示例性实施例的视频稳定设备100中的通过仅提取与帧间相机运动相关的相对旋转角信息来补偿相机运动的视频稳定方案相应。

图18是根据本发明构思的另一示例性实施例的视频稳定方法的流程图。

参照图18，在操作1810，在视频的帧序列的每个帧中测量相机运动。在操作1820，通过使用每个帧中的相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定用户的视向和相机视向之间的相机视向调整角。在步骤1830，通过使用每个帧中的相机视向调整角来补偿相机视向。

根据图18的示例性实施例的视频稳定方法与根据图2的示例性实施例的视频稳定设备200中的通过在相机运动路径上仅将相机视向调整到用户的视向来补偿相机运动的视频稳定方案相应。

图19是根据本发明构思的另一示例性实施例的视频稳定方法的流程图。

参照图19，在操作1910，在视频的帧序列中的每个帧中测量相机运动。在操作1920，确定帧序列中的视向的目标区域。在操作1930，通过使用每个帧中的相机运动来产生帧序列的相机运动路径，并且通过使用相机运动路径来确定基于面向目标区域的视向的相机视向调整角。在操作1940，通过使用每个帧中的相机视向调整角来补偿相机视向。

根据图19的示例性实施例的视频稳定方法与根据图3的示例性实施例的视频稳定设备300中的通过在相机运动路径上仅将相机视向调整到面向目标区域的视向来补偿相机运动的视频稳定方案相应。

图20是根据本发明构思的另一示例性实施例的视频稳定方法的流程图。

参照图20，在步骤2010，在视频的帧序列的每个帧中确定当前相机视向与参考相机视向相比较的差角，并基于当前相机视向与参考相机视向相比较的相对差角来测量帧间相机运动。在操作2020，通过使用帧间相机运动来产生帧序列的相机运动路径，并且通过使用相机运动路径来确定基于用户的视向的相机视向调整角。具体地，可根据用户的输入将用户的视向设置到面向目标区域的相机视向。

在操作2030，通过使用每个帧中的相机视向调整角来补偿相机视向。

根据图20的示例性实施例的视频稳定方法与根据图4的示例性实施例的视频稳定设备400中的通过在相机运动路径上根据帧间相机运动仅提取相对旋转角信息并仅将相机视向调整到面向目标区域的视向，来补偿相机运动的视频稳定方案相应。

图21是根据本发明构思的另一示例性实施例的视频稳定方法的流程图。

参照图21，在操作2110，通过用户界面从用户接收帧序列中的视向的目标区域的选择请求。在操作2120，在视频的帧序列的每个帧中确定当前相机视向与参考相机视向相比较的差角，并基于当前相机视向与参考相机视向相比较的相对差角来测量帧间相机运动。

在操作2130，通过使用帧间相机运动来产生帧序列的相机运动路径，并通过使用相机运动路径来确定基于面向目标区域的视向的相机视向调整角。在操作2140，通过使用每个帧中的相机视向调整角来补偿相机视向。

根据图21的示例性实施例的视频稳定方法与根据图5的示例性实施例的视频稳定设备500中的通过根据用户的输入考虑视向的目标区域来补偿相机运动的视频稳定方案相应。因此，根据图21的示例性实施例的视频稳定方法可与根据图17至图20的示例性实施例的视频稳定方法一致。

图22是根据本发明构思的另一示例性实施例的视频稳定方法的流程图。

参照图22，在操作2210，通过用户界面从用户接收边缘区域大小和用于视频稳定的稳定等级中的至少一个的选择请求。

在操作2220，通过以下处理来执行用于稳定相机的视频的视频稳定操作：基于边缘区域大小和稳定等级中的至少一个测量基于视频的帧序列中的参考相机视向的相对帧间相机运动，基于面向目标区域的视向确定相机视向调整角，并通过使用每个帧中的相机视向调整角补偿相机视向。在操作2220中的视频稳定操作可与根据图17至图20的示例性实施例的视频稳定方法一致。

根据图22的示例性实施例的视频稳定方法与根据图6的示例性实施例的视频稳定设备600中的通过根据用户的输入考虑边缘区域来补偿相机运动的视频稳定方案相应。

图23是根据本发明构思的另一示例性实施例的视频稳定方法的流程图。

参照图23，在操作2310，通过以下处理来稳定相机的视频：基于视频的帧序列中的参考相机视向测量相对帧间相机运动，基于面向目标区域的视向来确定相机视向调整角，并通过使用每个帧中的相机视向调整角来补偿相机视向。

在操作2320，当执行操作2310的相机的视频的稳定时，测量与稳定相关的索引。在操作2330，如果与稳定相关的索引操作了预定阈值，则实时执行报警。

根据图23的示例性实施例的视频稳定方法与根据图7的示例性实施例的视频稳定设备700的视频稳定方案相应。

由于基于二维（2D）分析的传统视频稳定方法通过使用简单的平行移动方案或简单的变形方案来补偿原始图像，因此出现图像失真。另外，由于基于传统3D分析的方法通过重建3D图像来产生新的图像，因此可产生比较正确的图像。然而，由于创建3D图像需要相当大的计算量并且完美的重建比较困难，因此仍出现图像失真。

相反，由于根据本发明构思的各种示例性实施例的视频稳定设备100、200、300和400中的每个设备以及图17至图22的视频稳定方法中的每个方法通过基于传统2D分析方案预测图像之间的视线矢量方向差，并调整相机运动路径上的每个帧中的相机视向而不是相机位置的简单的平行移动，来实现3D方案，因此，可输出在人的视线的视点中具有非常低的失真的视频。

本发明的示例性实施例可被写为计算机程序，并可被实现在使用计算机可读记录介质执行所述程序的通用数字计算机中。计算机可读记录介质的示例可包括存储介质，诸如磁性存储介质（例如，ROM、软盘、硬盘等）和光记录介质（例如，CD-ROM或DVD）。

虽然已参照本发明构思的示例性实施例具体示出并描述了本发明构思，但是本领域的普通技术人员将理解：在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上进行各种改变。示例性实施例应仅被视为说明性意义，并且不应被视为限制的目的。因此，本发明构思的范围不由示例性实施例的详细描述来限定，而是由所附的权利要求来限定，并且所述范围内的差异将被理解为被包括在本公开中。

Claims (15)

1.一种视频稳定方法，包括：

基于视频的帧序列的每个帧中的相对相机视向相对于参考相机视向的角来测量帧间相机运动；

通过使用测量的帧间相机运动来产生帧序列的相机运动路径，并通过使用产生的相机运动路径确定用于每个帧的相机参数；

通过使用确定的用于每个帧的相机参数来补偿相机运动。

2.如权利要求1所述的视频稳定方法，其中，测量帧间相机运动的步骤包括：确定在帧序列中的时间上连续的帧中的每对之间的相对相机视向的差角。

3.如权利要求2所述的视频稳定方法，其中，测量帧间相机运动的步骤还包括：计算在帧序列中的时间上连续的帧中的每对之间的相对相机视向的差角的平均值，并将计算的平均值用作参考相机视向。

4.如权利要求1所述的视频稳定方法，其中，测量帧间相机运动的步骤包括：测量沿X轴方向、Y轴方向和Z轴方向中的每个方向的相对相机旋转角。

5.如权利要求4所述的视频稳定方法，其中，测量帧间相机运动的步骤还包括：通过使用出现在Z轴平面上的各个确定的区域的直线运动来确定沿Z轴方向的相机旋转角。

6.如权利要求5所述的视频稳定方法，其中，确定沿Z轴方向的相机旋转角的步骤包括：

确定出现在与预定范围内的各个旋转角中的每个旋转角相应的Z轴平面上的各个确定的区域中的直线运动矢量的大小和方向；

针对各个预定区域中的每个预定区域，基于移动了直线运动矢量的图像和参考相机参考视向中的帧的相应区域之间的误差来确定代价值，并对所述各个预定区域的代价值进行求和；

通过确定关于各个旋转角中的每个旋转角的所述各个预定区域的求和的代价值，并对求和的代价值彼此进行比较，来检测产生最小的总代价值的旋转角，并将检测的旋转角度用作沿Z轴方向的相机旋转角。

7.如权利要求6所述的视频稳定方法，其中，可基于从Z轴平面的原点到相应的预定区域中的每个预定区域的各个距离和各个方向，来分别确定出现在与所述各个旋转角中的每个旋转角相应的所述各个预定区域的直线运动矢量的大小和方向。

8.如权利要求1所述视频稳定方法，其中，确定相机参数的步骤包括：

通过积累与帧间相机运动相关的信息来产生帧序列的相机运动路径；

产生已产生的相机运动路径的全局相机运动路径；

针对全局相机运动路径，确定用于每个帧的相机调整值。

9.如权利要求1所述的视频稳定方法，其中，补偿相机运动的步骤包括：

将相机视向旋转与确定的相机参数相关的视向调整值；

将相机位置移动与确定的相机参数相关的位移调整值。

10.如权利要求1所述的视频稳定方法，其中，测量帧间相机运动的步骤包括：基于通过使用立体视频的每个帧中彼此相应的左视点帧和右视点帧确定的针对参考视点相机视向的其余视点相机视向的差角，来测量帧间相机运动。

11.如权利要求8所述的视频稳定方法，其中，确定相机视向调整值的步骤包括：

从产生的相机运动路径分离全局相机视向和局部相机视向；

确定全局相机视向和局部相机视向之间的差角，并将确定的差角用作相机视向调整角。

12.如权利要求8所述的视频稳定方法，其中，确定相机视向调整值的步骤包括：确定用于将在产生的相机运动路径上的当前相机视向移动到帧中心的相机旋转角，并将确定的相机旋转角用作相机视向调整角。

13.如权利要求8所述的视频稳定方法，其中，补偿相机运动的步骤包括：将每个帧的相机视向旋转相机视向调整角。

14.一种视频稳定设备，包括：

相机运动测量器，基于视频的帧序列的每个帧中的相对相机视向相对于参考相机视向的差角来测量帧间相机运动；

相机参数确定器，通过使用测量的帧间相机运动来产生帧序列的相机运动路径，并通过使用产生的相机运动路径来确定用于每个帧的相机参数；

相机运动补偿器，通过使用确定的用于每个帧的相机参数来补偿相机运动。

15.一种存储用于执行如权利要求1所述的视频稳定方法的计算机可执行程序的非瞬时性计算机可读记录介质。

Images