CN111669499B - 一种视频防抖方法、装置及视频采集设备 - Google Patents

一种视频防抖方法、装置及视频采集设备 Download PDF

Info

Publication number
CN111669499B
CN111669499B CN202010537573.3A CN202010537573A CN111669499B CN 111669499 B CN111669499 B CN 111669499B CN 202010537573 A CN202010537573 A CN 202010537573A CN 111669499 B CN111669499 B CN 111669499B
Authority
CN
China
Prior art keywords
current
original image
image
display image
inclination angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010537573.3A
Other languages
English (en)
Other versions
CN111669499A (zh
Inventor
张国欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN202010537573.3A priority Critical patent/CN111669499B/zh
Publication of CN111669499A publication Critical patent/CN111669499A/zh
Application granted granted Critical
Publication of CN111669499B publication Critical patent/CN111669499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明实施例提供了一种视频防抖方法、装置及视频采集设备，涉及视频处理技术领域，视频采集设备获取当前原始图像，并获取当前方向相对于初始方向的倾斜角度，初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；根据倾斜角度截取当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与上一帧显示图像的世界坐标相同，或所截取的画面区域为当前原始图像的中心区域，当前显示图像对应的视场角小于当前原始图像对应的视场角；输出当前显示图像。应用本发明实施例提供的技术方案，能够在减少画面信息损失的同时，解决无法应对图像大幅度的抖动的问题。

Description

一种视频防抖方法、装置及视频采集设备
技术领域
本发明涉及视频处理技术领域，特别是涉及一种视频防抖方法、装置及视频采集设备。
背景技术
视频记录仪在实际使用过程中，通常由拍摄人员手持，或佩戴在拍摄人员衣服上，这种情况下，当拍摄人员执行转身、走动、跑动等一系列肢体动作时，就会导致视频记录仪拍摄到的图像发生抖动，甚至可能会导致图像模糊，图像中的信息丢失。
相关视频防抖处理技术中，会导致画面信息的损失。为了尽量减少画面信息的损失，相关视频防抖处理技术只能应对图像小幅度的抖动。
发明内容
本发明实施例的目的在于提供一种视频防抖方法、装置及视频采集设备，以在减少画面信息损失的同时，解决无法应对图像大幅度的抖动的问题。具体技术方案如下：
第一方面，本发明实施例提供了一种视频防抖方法，应用于视频采集设备，所述方法包括：
获取所述视频采集设备采集的当前原始图像；
获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度，所述初始方向为所述视频采集设备采集初始图像时的方向，所述初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；
根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与所述上一帧显示图像的世界坐标相同，或所截取的画面区域为所述当前原始图像的中心区域，所述当前显示图像对应的视场角小于所述当前原始图像对应的视场角；
输出所述当前显示图像。
可选的，所述方法还包括：
若所述当前原始图像为所述视频采集设备采集的首张图像，则将所述视频采集设备的当前方向作为初始方向，截取所述当前原始图像的中心区域，作为当前显示图像；
若所述原始图像为所述视频采集设备采集的非首张图像，则执行所述获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度的步骤。
可选的，所述根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像的步骤，包括：
若所述倾斜角度大于第一预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；或
若所述倾斜角度小于第二预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；或
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则确定所述当前原始图像上世界坐标与所述上一帧显示图像的世界坐标相同的画面区域；截取所述当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
可选的，所述若所述倾斜角度大于第一预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像的步骤，包括：
若所述倾斜角度大于第一预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像；
所述若所述倾斜角度小于第二预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像的步骤，包括：
若所述倾斜角度小于第二预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像；
所述若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则确定所述当前原始图像上与所述上一帧显示图像的世界坐标相同的画面区域的步骤，包括：
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则基于所述倾斜角度，计算当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离；将所述当前原始图像上与计算得到的偏移距离匹配的画面区域，作为与所述上一帧显示图像的世界坐标相同的画面区域。
可选的，所述根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像的步骤，包括：
统计预设时间段内所述视频采集设备的方向相对于所述初始方向的倾斜角度的变化幅度，所述预设时间段的终止时间为当前时刻，所述预设时间段的时长为预设时长；
若统计得到所述预设时间段内的变化幅度小于预设幅度阈值，则将所述当前方向更新为所述初始方向，并截取所述当前原始图像上的中心区域，作为当前显示图像。
第二方面，本发明实施例提供了一个视频防抖装置，应用于视频采集设备，所述装置包括：
第一获取单元，用于获取所述视频采集设备采集的当前原始图像；
第二获取单元，用于获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度，所述初始方向为所述视频采集设备采集初始图像时的方向，所述初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；
截取单元，用于根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与所述上一帧显示图像的世界坐标相同，或所截取的画面区域为所述当前原始图像的中心区域，所述当前显示图像对应的视场角小于所述当前原始图像对应的视场角；
输出单元，用于输出所述当前显示图像。
可选的，所述截取单元，还用于若所述当前原始图像为所述视频采集设备采集的首张图像，则将所述视频采集设备的当前方向作为初始方向，截取所述当前原始图像的中心区域，作为当前显示图像；
所述第二获取单元，还用于若所述原始图像为所述视频采集设备采集的非首张图像，则执行所述获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度的步骤。
可选的，所述截取单元，具体用于：
若所述倾斜角度大于第一预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；
若所述倾斜角度小于第二预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则确定所述当前原始图像上世界坐标与所述上一帧显示图像的世界坐标相同的画面区域；截取所述当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
可选的，所述截取单元，具体用于：
若所述倾斜角度大于第一预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；
若所述倾斜角度小于第二预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则基于所述倾斜角度，计算当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离；将所述当前原始图像上与计算得到的偏移距离匹配的画面区域，作为与所述上一帧显示图像的世界坐标相同的画面区域；截取所述当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
可选的，所述截取单元，具体用于：
统计预设时间段内所述视频采集设备的方向相对于所述初始方向的倾斜角度的变化幅度，所述预设时间段的终止时间为当前时刻，所述预设时间段的时长为预设时长；
若统计得到所述预设时间段内的变化幅度小于预设幅度阈值，则将所述当前方向更新为所述初始方向，并截取所述当前原始图像上的中心区域，作为当前显示图像。
第三方面，本发明实施例提供了一种视频采集设备，所述视频采集设备包括广角镜头、图像传感器、图像处理单元和倾角传感器；
所述图像传感器，用于根据从所述广角镜头进入的光线生成采集当前原始图像；
所述倾角传感器，用于获取所述视频采集设备的倾斜数据；
所述图像处理器，用于根据所述倾斜数据，获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度，所述初始方向为所述视频采集设备采集初始图像时的方向，所述初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与所述上一帧显示图像的世界坐标相同，或所截取的画面区域为所述当前原始图像的中心区域，所述当前显示图像对应的视场角小于所述当前原始图像对应的视场角；输出所述当前显示图像。
本发明实施例提供的方案中，视频采集设备采集的原始图像对应的视场角大于显示图像对应的视场角，这使得原始图像相对于显示图像存在视场角冗余。即使视频采集设备存在大幅度的抖动，还是可以基于视频采集设备的当前方向相对于初始方向的倾斜角度，在原始图像上截取到需求对象所占的画面区域，得到显示图像，并输出该显示图像，不必损失需求对象的画面信息，且保证了一直输出包含需求对象的显示图像，这在解决了因视频采集设备抖动导致图像发生抖动的问题的同时，减少了画面信息损失，解决了相关技术中无法应对图像大幅度的抖动的问题。当然，实施本发明的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为相关技术中未倾斜情况下视频防抖处理的一种示意图；
图1b为相关技术中倾斜情况下视频防抖处理的一种示意图；
图1c为相关技术中倾斜过大情况下视频防抖处理的一种示意图；
图2为本发明实施例提供的一种视频防抖方法的第一种流程示意图；
图3a为本发明实施例提供的未倾斜情况下原始图像中画面区域的一种示意图；
图3b为本发明实施例提供的倾斜情况下原始图像中画面区域的一种示意图；
图3c为本发明实施例提供的倾斜情况下原始图像中画面区域的另一种示意图；
图4为本发明实施例提供的一种视频防抖方法的第二种流程示意图；
图5为本发明实施例提供的一种视频防抖方法的第三种流程示意图；
图6为本发明实施例提供的一种视频防抖方法的第四种流程示意图；
图7为本发明实施例提供的一种视频防抖方法的第五种流程示意图；
图8为本发明实施例提供的一种视频防抖方法的第六种流程示意图；
图9为本发明实施例提供的一种视频防抖方法的第七种流程示意图；
图10为本发明实施例提供的一种视频防抖装置的一种结构示意图；
图11为本发明实施例提供的一种视频采集设备的一种结构示意图；
图12为本发明实施例提供的一种视频采集设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，为解决由于视频记录仪拍摄到的图像发生抖动，导致图像模糊、图像中的信息丢失的问题，需要进行视频防抖处理。如图1a和1b所示，视频防抖处理的流程具体包括：获取视频记录仪首次采集的图像1，截取图像1中心处的用户关注区域1，对该用户关注区域1进行插值放大处理，得到与图像1 的视场角相同的图像2，并输出图像2；之后，获取视频记录仪非首次采集的图像3，预测用户关注区域1在图像3中的位置，从该图像3的该位置处截取用户关注区域1，对该用户关注区域1进行插值放大处理，得到与图像1的视场角相同的图像4，并输出图像4。这样，可以一直输出包含用户关注区域1的内容的图像，实现视频防抖的目的。
然而，图1a中整个图像1的画面信息是需求对象的画面信息，为了实现视频防抖的目的，裁剪掉了图像1的部分区域，如图1a中的阴影部分，这使得最终输出的图像2和图像4不包括该阴影部分的区域的画面信息，即最终输出的图像损失了需求对象的部分画面。可见相关技术中，以损失需求对象的画面信息为代价，来达到视频防抖的目的。
而为了尽量减少画面信息的损失，以及保证图像的清晰度，裁剪掉视频记录仪采集的图像的区域一般较小，用户关注区域在视频记录仪采集的图像所占比例一般较大。但是用户关注区域在视频记录仪采集的图像所占比例较大的情况下，若图像发生抖动的幅度较大，很容易造成用户关注区域的一部分位于图像外，如图1c所示的用户关注区域1的子区域11位于视频记录仪采集的图像5外，这将导致无法截取到完整的用户关注区域，无法实现视频防抖的目的。
为了解决上述技术问题，本发明实施例提供了一种视频防抖方法、装置及视频采集设备。下面从总体上对本发明实施例提供的视频防抖方法进行说明，上述视频防抖方法应用于视频采集设备，该视频采集设备可以为视频记录仪、运动相机和车载相机等。
本发明实施例提供的视频防抖方法中，获取视频采集设备采集的当前原始图像；获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度，初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；根据倾斜角度，截取当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与上一帧显示图像的世界坐标相同，或所截取的画面区域为当前原始图像的中心区域，当前显示图像对应的视场角小于当前原始图像对应的视场角；输出当前显示图像。
本发明实施例提供的方案中，视频采集设备采集的原始图像对应的视场角大于显示图像对应的视场角，这使得原始图像相对于显示图像存在视场角冗余。即使视频采集设备存在大幅度的抖动，还是可以基于视频采集设备的当前方向相对于初始方向的倾斜角度，在原始图像上截取到需求对象所占的画面区域，得到显示图像，并输出该显示图像，不必损失需求对象的画面信息，且保证了一直输出包含需求对象的显示图像，这在解决了因视频采集设备抖动导致图像发生抖动的问题的同时，减少了画面信息损失，解决了相关技术中无法应对图像大幅度的抖动的问题。
如图2所示，图2为本发明实施例提供的一种视频防抖方法的一种流程示意图。该视频防抖方法应用于视频采集设备，包括如下步骤。
S21：获取视频采集设备采集的当前原始图像。
其中，原始图像为视频采集设备采集的图像。视频采集设备实时采集原始图像，当前时刻采集的原始图像为当前原始图像。
S22：获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度，其中，初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像。
本发明实施例中，上一帧显示图像为当前时刻前输出的最后一帧显示图像。中心区域的尺寸与显示图像的尺寸相同。中心区域为原始图像的一个画面区域，画面区域的世界坐标可以为画面区域中符合指定条件的点的世界坐标，显示图像的世界坐标可以为显示图像中符合指定条件的点的世界坐标。指定条件可以根据实际需求进行设定，如指定条件可以包括位于画面区域或显示图像的中心位置的点，指定条件还可以包括位于画面区域或显示图像的左上角的点。画面区域的世界坐标和显示图像的世界坐标相同，则表示该画面区域所展示的对象与显示图像所展示的对象相同，如画面区域和显示图像均展示了人员A。
视频采集设备对初始方向的确定存在两种情况，如下。
第一种情况，上一帧显示图像的世界坐标与上一帧原始图像的中心区域的世界坐标相同，即上一帧显示图像所展示的对象所占的区域位于上一帧原始图像的中心区域，则视频采集设备可以将视频采集设备采集的上一帧原始图像作为初始图像，将该视频采集设备采集上一帧原始图像时的方向作为初始方向。其中，上一帧原始图像为当前时刻前视频采集设备采集的最后一帧原始图像。
第二种情况，上一帧显示图像的世界坐标与上一帧原始图像的中心区域的世界坐标不同，即上一帧显示图像所展示的对象所占的区域位于上一帧原始图像的非中心区域，则视频采集设备可以确定当前时刻前中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像为初始图像，将视频采集设备采集该初始图像时的方向作为初始方向。
此外，倾斜角度为矢量，包括角度值和倾斜方向。视频采集设备可以实时获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度。例如，初始方向为正北方向，视频采集设备采集当前原始图像时的当前方向为正西方向，则视频采集设备的倾斜角度为向左90度(即逆时针旋转90度)。
本发明实施例中，倾斜角度可以从视频采集设备中配置的其他组件中获取。一种实现方式中，视频采集设备配置有倾角传感器。倾角传感器实时采集视频采集设备的倾斜数据。视频采集设备处理器分析倾斜数据，得到视频采集设备在设备坐标系下和/或世界坐标系下的倾斜角度。其中，倾角传感器可以为微机电系统陀螺仪等设备。
S23：根据倾斜角度，截取当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与上一帧显示图像的世界坐标相同，或所截取的画面区域为当前原始图像的中心区域，当前显示图像对应的视场角小于当前原始图像对应的视场角。
本发明实施例中，视频采集设备确定倾斜角度后，根据倾斜角度，确定当前原始图像上与上一帧显示图像的世界坐标相同的画面区域，截取该确定的画面区域，将截取的画面区域作为当前显示图像。或者，视频采集设备确定倾斜角度后，根据倾斜角度，截取当前原始图像的中心区域，将截取的中心区域作为当前显示图像。
当视频采集设备倾斜一定角度后，视频采集设备获得的图像在空间中也发生了偏转。本发明实施例中，显示图像对应的视场角小于当前原始图像对应的视场角，这使得原始图像相对于显示图像存在视场角冗余，也就是存着像素冗余。即使视频采集设备存在大幅度的抖动，所改变的也仅仅是需求对象所占的画面区域在原始图像上的位置，也就是，还是可以基于视频采集设备的当前方向相对于初始方向的倾斜角度，在原始图像上截取到需求对象所占的画面区域，得到显示图像。
例如，在视频采集设备未倾斜情况下，如图3a所示，需求对象在原始图像上所占的画面区域为区域1，区域1位于原始图像的中心位置，可直接截取区域 1作为显示图像。当视频采集设备向下倾斜时，如图3b所示，需求对象在原始图像上所占的画面区域为区域2，区域2相对于原始图像的中心位置向上偏移，可直接截取区域2作为显示图像。当视频采集设备向左倾斜时，如图3c所示，需求对象在原始图像上所占的画面区域为区域3，区域3相对于原始图像的中心位置向右偏移，可直接截取区域3作为显示图像。
S24：输出当前显示图像。
视频采集设备输出当前显示图像。之后，用户就可以观看到该当前显示图像。
本发明实施例中，显示图像均是从原始图像中截取需求对象所占的画面区域得到，这保证了输出显示图像包含的需求对象不变，实现了视频防抖的目的。此外，本发明实施例中，直接截取了需求对象所占的画面区域得到显示图像，未裁剪到原始图像中需求对象的画面信息，减少了画面信息损失。结合原始图像相对于显示图像存在视场角冗余，使得视频采集设备存在大幅度的抖动，也可以从原始图像中截取到包含需求对象的画面信息的画面区域，这在减少了画面信息损失，解决了相关技术中无法应对图像大幅度的抖动的问题。
在本发明的一个实施例中，基于图2所示实施例，本发明实施例还提供了一种视频防抖方法。如图4所示，图4为本发明实施例提供的一种视频防抖方法的第二种流程示意图。该方法中还可以包括如下步骤。
S41：获取视频采集设备采集的当前原始图像。步骤S41与步骤S21相同。
S42：检测当前原始图像是否为视频采集设备采集的首张图像。若是，则执行步骤S43；若否，则执行步骤S44。
本发明实施例中，视频采集设备开机后采集的第一张图像为首张图像。在获取到当前原始图像后，视频采集设备检测当前原始图像是否为首张图像。若视频采集设备确定当前原始图像为首张图像，则默认当前原始图像的中心区域包含了需求对象的画面信息，执行步骤S43；若否，则执行步骤S44。
S43：将视频采集设备的当前方向作为初始方向，截取当前原始图像的中心区域，作为当前显示图像。之后执行步骤S46。
若视频采集设备确定当前原始图像为首张图像，则视频采集设备可以默认当前原始图像的中心区域包含了需求对象的画面信息，将视频采集设备的当前方向作为初始方向，以便于基于该初始方向确定每次采集的原始图像中需求对象所在的位置。另外，视频采集设备直接截取当前原始图像的中心区域，作为当前显示图像。
S44：获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度，初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像。步骤S44与步骤S22相同。
S45：根据倾斜角度，截取当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与上一帧显示图像的世界坐标相同，或所截取的画面区域为当前原始图像的中心区域，当前显示图像对应的视场角小于当前原始图像对应的视场角。S45与步骤S23相同。
S46：输出当前显示图像。S46与步骤S24相同。
应用本发明实施例，可以快速准确的定位到初始方向，进而准确的输出包含需求对象的画面信息的显示图像，提高了视频防抖处理的准确度。
在本发明的另一个实施例中，用户可以基于经验设定在视频采集设备中预先设定初始方向。例如，用户一般是利用视频采集设备采集水平正西方向上的图像，则可以设定初始方向为水平正西方向，进而视频采集设备依据设定的初始方向指向如图2所示的视频防抖方法。
在本发明的一个实施例中，为了进一步提高显示图像的质量，基于图2所示的视频防抖方法，本发明实施例还提供了一种视频防抖方法。参考图5，图5 为本发明实施例提供的一种视频防抖方法的第三种流程示意图。该视频防抖方法中，步骤S23可以细化为步骤S231、S232和S233，具体如下。
S21：获取视频采集设备采集的当前原始图像。
S22：获取视频采集设备视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度。初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像。
S231：检测倾斜角度是否大于第一预设角度阈值。若是，则执行步骤S232，若否，则执行步骤S233。
其中，第一预设角度阈值用于指示视频采集设备在上下左右各个方向的最大倾斜角度。第一预设角度阈值可以基于原始图像相对于显示图像的视场角冗余确定。例如，原始图像对应的视场角为180°的广角，显示图像对应的视场角为90°，则可确定第一预设角度阈值为(180°-90°)/2＝45°。第一预设角度阈值为45°，指示视频采集设备在上下左右各个方向的最大倾斜角度为45°。
视频采集设备确定倾斜角度后，检测倾斜角度是否大于第一预设角度阈值，也就是，检测需求对象所占的区域是否在采集的当前原始图像上。若倾斜角度大于第一预设角度阈值，则可确定是需求对象发生改变，导致倾斜角度过大，执行步骤S232。若倾斜角度小于等于第一预设角度阈值，则可确定需求对象未发生改变，当前视频采集设备的倾斜是由于不可抑制的抖动造成，执行步骤 S233。
S232：截取当前原始图像上的中心区域，作为当前显示图像，以及将当前方向更新为初始方向。
若倾斜角度大于第一预设角度阈值，则视频采集设备确定需求对象发生改变，当前原始图像上的中心区域包含了改变后的需求对象的画面信息，将当前方向更新为初始方向，以便于基于更新后的初始方向确定每次采集的原始图像中改变后的需求对象所在的位置。另外，视频采集设备截取当前原始图像的中心区域，作为当前显示图像。
S233：确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域，截取当前原始图像上所确定的画面区域，作为当前显示图像，以及维持初始方向的值不变。
若倾斜角度小于等于第一预设角度阈值，则可确定需求对象未发生改变，当前原始图像上包含了改变后的需求对象的画面信息的区域为非中心区域，维持初始方向的值不变，以避免后续无法在采集的原始图像中需求对象所在的位置。另外，视频采集设备可以将当前原始图像的像素点的图像坐标转换为世界坐标，进而确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域，截取当前原始图像上所确定的画面区域，作为当前显示图像。
S24：输出当前显示图像。
本发明实施例中，当倾斜角度大于第一预设角度阈值时，更新初始方向，基于更新后的初始方向，截取当前原始图像上的画面区域，得到当前显示图像。这样，解决了因原需求对象所占的区域超出原始图像，仍截取原需求对象所占的区域，而带来的图像质量的损失的问题，提高了显示图像的质量。此外，采用本发明实施例，需求对象改变，则适当的调整初始方向，进而调整后续输出的显示图像，提高了视频防抖的准确性。
在本发明的一个实施例中，为了减少计算量，节约计算资源，基于图2所示的视频防抖方法，本发明实施例还提供了一种视频防抖方法。参考图6，图6 为本发明实施例提供的一种视频防抖方法的第四种流程示意图。该视频防抖方法中，步骤S23可以细化为步骤S234、S235和S236，具体如下。
S21：获取视频采集设备采集的当前原始图像。
S22：获取视频采集设备视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度。初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像。
S234：检测倾斜角度是否小于第二预设角度阈值。若是，则执行步骤S235，若否，则执行步骤S236。
其中，第二预设角度阈值的大小可以根据实际需求进行设定。例如，第二预设角度阈值为1°、2°、3°等。第二预设角度阈值小于第一预设角度阈值。
本发明实施例中，视频采集设备在获取到视频采集设备的倾斜角度后，检测视频采集设备的倾斜角度是否小于第二预设角度阈值，若视频采集设备的倾斜角度小于第二预设角度阈值，则视频采集设备可确定视频采集设备的倾斜角度很小，此次的图像抖动可以忽略不计，执行步骤S235。若倾斜角度大于等于第二预设角度阈值，则视频采集设备可确定此次的图像抖动无法忽略不计，执行步骤S236。
S235，截取当前原始图像上的中心区域，作为当前显示图像，以及维持初始方向的值不变。
若视频采集设备的倾斜角度小于第二预设角度阈值，则视频采集设备可确定此次的图像抖动可以忽略不计，也就是，当前原始图像上的中心区域包含了改变后的需求对象的画面信息，维持初始方向的值不变，并截取当前原始图像上的中心区域，作为当前显示图像。
S236，确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域；截取当前原始图像上所确定的画面区域，作为当前显示图像，以及维持初始方向的值不变。
若倾斜角度大于等于第二预设角度阈值，则视频采集设备可确定此次的图像抖动无法忽略不计，也就是，当前原始图像上包含了需求对象的画面信息的区域为非中心区域，确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域；截取当前原始图像上所确定的画面区域，作为当前显示图像，以及维持初始方向的值不变。
S24：输出当前显示图像。
本发明实施例中，若倾斜角度小于第二预设角度阈值，可以直接截取当前原始图像上的中心区域，不需要去确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域，减少了计算量，节约了计算资源。
在本发明的一个实施例中，为了减少计算量，节约计算资源，同时提高图像质量，提高视频防抖的准确性，可以结合上述图5和图6所示实施例进行视频防抖处理，具体如下。
在确定倾斜角度后，若倾斜角度大于第一预设角度阈值，则截取当前原始图像上的中心区域，作为当前显示图像，以及将当前方向更新为初始方向；若倾斜角度小于第二预设角度阈值，则截取当前原始图像上的中心区域，作为当前显示图像，以及维持初始方向的值不变；若倾斜角度小于等于第一预设角度阈值，且倾斜角度大于等于第二预设角度阈值，则确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域；截取当前原始图像上所确定的画面区域，作为当前显示图像，以及维持初始方向的值不变。
在本发明的一个实施例中，基于图2所示的视频防抖方法，本发明实施例还提供了一种视频防抖方法。参考图7，图7为本发明实施例提供的一种视频防抖方法的第五种流程示意图。该视频防抖方法中，步骤S23可以细化为步骤S237 和S238，具体如下
S237：根据倾斜角度，确定当前原始图像上当前显示图像的画面相对于当前原始图像的中心区域的偏移距离。
本发明实施例中，偏移距离为矢量，包括偏移距离值和偏移方向。在确定倾斜角度后，视频采集设备可基于倾斜角度确定当前原始图像上当前显示图像的画面相对于当前原始图像的中心区域的偏移距离值和偏移方向。
S238：截取与偏移距离匹配的画面区域，作为当前显示图像。
本发明实施例中，当前原始图像上与偏移距离匹配的画面区域是指，从当前原始图像的中心位置开始，沿确定的偏移方向偏移确定的偏移距离值后所确定的画面区域。这里，与偏移距离匹配的画面区域即为世界坐标与所述上一帧显示图像的世界坐标相同画面区域，或者与偏移距离匹配的画面区域即为当前原始图像的中心区域。视频采集设备在确定偏移距离后，可确定当前原始图像上与偏移距离匹配的画面区域，截取所确定的画面区域，作为当前显示图像。
基于图7所示实施例，为了减少计算量，节约计算资源，同时提高图像质量，提高视频防抖的准确性，可在视频采集设备中设置第一预设角度阈值和第二预设角度阈值。这种情况下可得到如下方案。
若倾斜角度大于第一预设角度阈值，则确定当前原始图像上当前显示图像的画面相对于当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取当前原始图像上的中心区域，作为当前显示图像，以及将当前方向更新为初始方向；
若倾斜角度小于第二预设角度阈值，则确定当前原始图像上当前显示图像的画面相对于当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取当前原始图像上的中心区域，作为当前显示图像，以及维持初始方向的值不变；
若倾斜角度小于等于第一预设角度阈值，且倾斜角度大于等于第二预设角度阈值，则拒绝更新初始方向，并基于倾斜角度，计算当前显示图像的画面相对于当前原始图像的中心区域的偏移距离；将当前原始图像上与计算得到的偏移距离匹配的画面区域，作为与上一帧显示图像的世界坐标相同的画面区域，截取当前原始图像上的所确定的画面区域，作为当前显示图像，以及维持初始方向的值不变。
在本发明的一个实施例中，为了准确地获取到需要的显示图像，基于图2 所示的视频防抖方法，本发明实施例还提供了一种视频防抖方法。参考图8，图8为本发明实施例提供的一种视频防抖方法的第六种流程示意图。该视频防抖方法中，步骤S23可以细化为步骤S239和S2310。
S21：获取视频采集设备采集的当前原始图像。
S22：获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度。初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像。
S239：统计预设时间段内视频采集设备的方向相对于初始方向的倾斜角度的变化幅度，预设时间段的终止时间为当前时刻，预设时间段的时长为预设时长。
上述预设时长的大小可以根据实际需求进行设定。例如，预设时长可以为1秒、2秒等。以预设时长为1秒为例。若以当前时刻为终止时间，在当前时刻前的1秒时间段内，视频采集设备的倾斜角度均在向左44～44.5度之间变化，则确定以当前时刻为终止时间，在当前时刻前的1秒时间段内的倾斜角度的变化幅度为44.5-44＝0.5。
S2310：若统计得到预设时间段内的变化幅度小于预设幅度阈值，则将当前方向更新为初始方向，并截取当前原始图像上的中心区域，作为当前显示图像。
本发明实施例中，视频采集设备在获取到倾斜角度的变化幅度后，检测倾斜角度的变化幅度是否小于预设幅度阈值。若小于预设幅度阈值，则视频采集设备可确定需求对象发生了改变，需求对象位于当前方向上，且视频采集设备处于静止状态，将当前方向更新为初始方向，并截取当前原始图像上的中心区域，作为当前显示图像。这样，实现了显示图像的准确采集，且降低了计算量。
上述预设幅度阈值的大小可以根据实际需求进行设定。例如，预设幅度阈值可以为1、2、3等。仍以上述步骤S2310中例子进行说明，若预设幅度阈值为 1，当前时刻前的1秒时间段内的倾斜角度的变化幅度为0.5，由于0.5<1，则视频采集设备可将当前方向更新为初始方向，并截取当前原始图像上的中心区域，作为当前显示图像。
一个可选的实施例中，若倾斜角度的变化幅度大于等于预设幅度阈值，则可确定视频采集设备处于抖动的状态，视频采集设备可依据倾斜角度，确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域；截取当前原始图像上所确定的画面区域，作为当前显示图像，以及将当前方向更新为初始方向。
S24：输出当前显示图像。
本发明实施例中，视频采集设备设置了预设时间段和预设幅度阈值。在确定预设时间段内倾斜角度的变化幅度小于预设幅度阈值的情况下，将当前方向更新为初始方向，并截取当前原始图像上的中心区域，作为当前显示图像，提高了获取到显示图像的准确性，同时减少了计算量。
在本发明的一个实施例中，在采集原始图像之前，视频采集设备可获取视频采集设备的方向相对于初始方向的最大倾斜角度，根据最大倾斜角度，调整原始像素的视场角。这样，当需要使用较小幅度的抖动处理时，采用冗余视场角较少的原始视场角，进而节约了视频采集设备的成本。
下面结合图9，对本发明实施例提供的视频防抖方法进行整体说明。该视频防抖方法可以包括如下步骤。
S91：视频采集设备采集当前原始图像，确定视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜数据。
S92：视频采集设备根据视频采集设备的倾斜数据，计算视频采集设备在设备坐标系下和世界坐标系下的倾斜角度。
S93：视频采集设备若基于倾斜角度确定设备处于抖动状态，则根据视频采集设备的倾斜角度，确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域，进而截取该画面区域，作为当前显示图像。
S94：视频采集设备若基于倾斜角度确定设备处于静止状态，则截取当前原始图像的中心区域，作为当前显示图像。
上述步骤S91-S94部分描述相对简单，具体参考上述图1-8部分的描述。
与上述视频防抖方法对应，本发明实施例还提供了一种视频防抖装置。参考图10，图10为本发明实施例提供的一种视频防抖装置的一种结构示意图。该视频防抖装置应用于视频采集设备，包括第一获取单元101、第二获取单元102、截取单元103和输出单元104。
第一获取单元101，用于获取视频采集设备采集的当前原始图像；
第二获取单元102，用于获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度，初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；
截取单元103，用于根据倾斜角度，截取当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与上一帧显示图像的世界坐标相同，或所截取的画面区域为当前原始图像的中心区域，当前显示图像对应的视场角小于当前原始图像对应的视场角；
输出单元104，用于输出当前显示图像。
一个可选的实施例中，截取单元103，还可以用于若当前原始图像为视频采集设备采集的首张图像，则将视频采集设备的当前方向作为初始方向，截取当前原始图像的中心区域，作为当前显示图像；
第二获取单元102，还可以用于若原始图像为视频采集设备采集的非首张图像，则执行获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度的步骤。
一个可选的实施例中，截取单元103，具体可以用于：
若倾斜角度大于第一预设角度阈值，则截取当前原始图像上的中心区域，作为当前显示图像，以及将当前方向更新为初始方向；
若倾斜角度小于第二预设角度阈值，则截取当前原始图像上的中心区域，作为当前显示图像，以及维持初始方向的值不变；
若倾斜角度小于等于第一预设角度阈值，且倾斜角度大于等于第二预设角度阈值，则确定当前原始图像上世界坐标与上一帧显示图像的世界坐标相同的画面区域；截取当前原始图像上所确定的画面区域，作为当前显示图像，以及维持初始方向的值不变。
一个可选的实施例中，截取单元103，具体可以用于：
若倾斜角度大于第一预设角度阈值，则确定当前原始图像上当前显示图像的画面相对于当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；
若倾斜角度小于第二预设角度阈值，则确定当前原始图像上当前显示图像的画面相对于当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；
若倾斜角度小于等于第一预设角度阈值，且倾斜角度大于等于第二预设角度阈值，则基于倾斜角度，计算当前显示图像的画面相对于当前原始图像的中心区域的偏移距离；将当前原始图像上与计算得到的偏移距离匹配的画面区域，作为与上一帧显示图像的世界坐标相同的画面区域；截取当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
一个可选的实施例中，截取单元103，具体可以用于：
统计预设时间段内视频采集设备的方向相对于初始方向的倾斜角度的变化幅度，预设时间段的终止时间为当前时刻，预设时间段的时长为预设时长；
若统计得到预设时间段内的变化幅度小于预设幅度阈值，则将当前方向更新为初始方向，并截取当前原始图像上的中心区域，作为当前显示图像。
本发明实施例提供的方案中，视频采集设备采集的原始图像对应的视场角大于显示图像对应的视场角，这使得原始图像相对于显示图像存在视场角冗余。即使视频采集设备存在大幅度的抖动，还是可以基于视频采集设备的当前方向相对于初始方向的倾斜角度，在原始图像上截取到需求对象所占的画面区域，得到显示图像，并输出该显示图像，不必损失需求对象的画面信息，且保证了一直输出包含需求对象的显示图像，这在解决了因视频采集设备抖动导致图像发生抖动的问题的同时，减少了画面信息损失，解决了相关技术中无法应对图像大幅度的抖动的问题。
与上述视频防抖方法对应，本发明实施例还提供了一种视频采集设备。参考图11，图11为本发明实施例提供的一种视频采集设备的一种结构示意图。该视频采集设备包括：广角镜头111、图像传感器112、图像处理单元113和倾角传感器114。
其中，图像传感器112，用于根据从广角镜头111进入的光线生成采集原始图像；
倾角传感器114，用于获取视频采集设备的倾斜数据；
图像处理器113，用于根据倾斜数据，获取视频采集设备采集当前原始图像时的当前方向相对于初始方向的倾斜角度，初始方向为视频采集设备采集初始图像时的方向，初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；根据倾斜角度，截取当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与上一帧显示图像的世界坐标相同，或所截取的画面区域为当前原始图像的中心区域，当前显示图像对应的视场角小于当前原始图像对应的视场角；输出当前显示图像。
本发明实施例提供的方案中，视频采集设备采集的原始图像对应的视场角大于显示图像对应的视场角，这使得原始图像相对于显示图像存在视场角冗余。即使视频采集设备存在大幅度的抖动，还是可以基于视频采集设备的当前方向相对于初始方向的倾斜角度，在原始图像上截取到需求对象所占的画面区域，得到显示图像，并输出该显示图像，不必损失需求对象的画面信息，且保证了一直输出包含需求对象的显示图像，这在解决了因视频采集设备抖动导致图像发生抖动的问题的同时，减少了画面信息损失，解决了相关技术中无法应对图像大幅度的抖动的问题。
一个可选的实施例中，为了保证原始图像上存在视场角冗余和像素冗余，广角镜头111可以使用鱼眼镜头，广角镜头111的实际视场角大于目标视场角。其中，目标视场角为采集视频采集设备输出的显示图像所需的视场角。这样，图像传感器112可输出像素远大于目标像素。目标像素为显示图像的像素。
例如，目标视场角为90度，目标像素为200万像素，可使用180度广角的鱼眼镜头，以及使用800万像素的图像传感器。此时，视频采集设备的最大倾斜角度为±45度。
本发明实施例中，通过广角镜头111，图像传感器112获得了超过目标视场角一定值的大场景画面，如图3a所示，保证了在一定抖动范围内，可以从图像传感器112生成的原始图像中截取到显示图像。
一个可选的实施例中，当需要适用于较小幅度的抖动处理时，可以减小广角镜头111的视场角冗余量，以及图像传感器112的像素冗余量。
一个可选的实施例中，视频采集设备可以根据视频采集设备确定的倾斜角度的变化幅度确定视频采集设备是否静止。当确定视频采集设备晃动停止，处于静止状态时，视频采集设备将原始图像的中心区域投射为显示图像。这样，可以保证视频的采集跟随使用人员的目标方位转动。
在本发明的一个实施例中，如图12所示，视频采集设备还可以包括显示屏 115、存储单元116和其他功能模块117。其中，图像传感器112、图像处理单元 113、倾角传感器114、存储单元116和其他功能模块117安装在主板上。
显示屏115用于实时显示图像处理器113确定的显示图像。
存储单元11用于存储上述原始图像和显示图像。
其他功能模块117包括但不限定色彩处理模块、分辨率调整模块等等，本发明实施例对此不进行限定。
本发明实施例中，视频采集设备还可以包括电池、外壳、夹子等。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于视频防抖装置、视频采集设备实施例而言，由于其基本相似于视频防抖方法实施例，所以描述的比较简单，相关之处参见视频防抖方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种视频防抖方法，其特征在于，应用于视频采集设备，所述方法包括：
获取所述视频采集设备采集的当前原始图像；
获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度，所述初始方向为所述视频采集设备采集初始图像时的方向，所述初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；
根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与所述上一帧显示图像的世界坐标相同，或所截取的画面区域为所述当前原始图像的中心区域，所述当前显示图像对应的视场角小于所述当前原始图像对应的视场角；
输出所述当前显示图像；
其中，所述根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像的步骤，包括：
若所述倾斜角度大于第一预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；或
若所述倾斜角度小于第二预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；或
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则确定所述当前原始图像上世界坐标与所述上一帧显示图像的世界坐标相同的画面区域；截取所述当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述当前原始图像为所述视频采集设备采集的首张图像，则将所述视频采集设备的当前方向作为初始方向，截取所述当前原始图像的中心区域，作为当前显示图像；
若所述原始图像为所述视频采集设备采集的非首张图像，则执行所述获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度的步骤。
3.根据权利要求1所述的方法，其特征在于，所述若所述倾斜角度大于第一预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像的步骤，包括：
若所述倾斜角度大于第一预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像；
所述若所述倾斜角度小于第二预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像的步骤，包括：
若所述倾斜角度小于第二预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像；
所述若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则确定所述当前原始图像上与所述上一帧显示图像的世界坐标相同的画面区域的步骤，包括：
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则基于所述倾斜角度，计算当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离；将所述当前原始图像上与计算得到的偏移距离匹配的画面区域，作为与所述上一帧显示图像的世界坐标相同的画面区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像的步骤，包括：
统计预设时间段内所述视频采集设备的方向相对于所述初始方向的倾斜角度的变化幅度，所述预设时间段的终止时间为当前时刻，所述预设时间段的时长为预设时长；
若统计得到所述预设时间段内的变化幅度小于预设幅度阈值，则将所述当前方向更新为所述初始方向，并截取所述当前原始图像上的中心区域，作为当前显示图像。
5.一个视频防抖装置，其特征在于，应用于视频采集设备，所述装置包括：
第一获取单元，用于获取所述视频采集设备采集的当前原始图像；
第二获取单元，用于获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度，所述初始方向为所述视频采集设备采集初始图像时的方向，所述初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；
截取单元，用于根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与所述上一帧显示图像的世界坐标相同，或所截取的画面区域为所述当前原始图像的中心区域，所述当前显示图像对应的视场角小于所述当前原始图像对应的视场角；
输出单元，用于输出所述当前显示图像；
其中，所述截取单元，具体用于：
若所述倾斜角度大于第一预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；
若所述倾斜角度小于第二预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则确定所述当前原始图像上世界坐标与所述上一帧显示图像的世界坐标相同的画面区域；截取所述当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
6.根据权利要求5所述的装置，其特征在于，
所述截取单元，还用于若所述当前原始图像为所述视频采集设备采集的首张图像，则将所述视频采集设备的当前方向作为初始方向，截取所述当前原始图像的中心区域，作为当前显示图像；
所述第二获取单元，还用于若所述原始图像为所述视频采集设备采集的非首张图像，则执行所述获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度的步骤。
7.根据权利要求5所述的装置，其特征在于，所述截取单元，具体用于：
若所述倾斜角度大于第一预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；
若所述倾斜角度小于第二预设角度阈值，则确定所述当前原始图像上当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离为零；基于值为零的偏移距离，截取所述当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；
若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则基于所述倾斜角度，计算当前显示图像的画面相对于所述当前原始图像的中心区域的偏移距离；将所述当前原始图像上与计算得到的偏移距离匹配的画面区域，作为与所述上一帧显示图像的世界坐标相同的画面区域；截取当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
8.根据权利要求5所述的装置，其特征在于，所述截取单元，具体用于：
统计预设时间段内所述视频采集设备的方向相对于所述初始方向的倾斜角度的变化幅度，所述预设时间段的终止时间为当前时刻，所述预设时间段的时长为预设时长；
若统计得到所述预设时间段内的变化幅度小于预设幅度阈值，则将所述当前方向更新为所述初始方向，并截取所述当前原始图像上的中心区域，作为当前显示图像。
9.一种视频采集设备，其特征在于，所述视频采集设备包括广角镜头、图像传感器、图像处理单元和倾角传感器；
所述图像传感器，用于根据从所述广角镜头进入的光线生成采集当前原始图像；
所述倾角传感器，用于获取所述视频采集设备的倾斜数据；
所述图像处理器，用于根据所述倾斜数据，获取所述视频采集设备采集所述当前原始图像时的当前方向相对于初始方向的倾斜角度，所述初始方向为所述视频采集设备采集初始图像时的方向，所述初始图像为中心区域的世界坐标与上一帧显示图像的世界坐标相同的原始图像；根据所述倾斜角度，截取所述当前原始图像上的画面区域，作为当前显示图像，所截取画面区域的世界坐标与所述上一帧显示图像的世界坐标相同，或所截取的画面区域为所述当前原始图像的中心区域，所述当前显示图像对应的视场角小于所述当前原始图像对应的视场角；输出所述当前显示图像；
所述图像处理器，具体用于若所述倾斜角度大于第一预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及将所述当前方向更新为所述初始方向；若所述倾斜角度小于第二预设角度阈值，则截取所述当前原始图像上的中心区域，作为当前显示图像，以及维持所述初始方向的值不变；若所述倾斜角度小于等于所述第一预设角度阈值，且所述倾斜角度大于等于所述第二预设角度阈值，则确定所述当前原始图像上世界坐标与所述上一帧显示图像的世界坐标相同的画面区域；截取所述当前原始图像上所确定的画面区域，作为当前显示图像，以及维持所述初始方向的值不变。
CN202010537573.3A 2020-06-12 2020-06-12 一种视频防抖方法、装置及视频采集设备 Active CN111669499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537573.3A CN111669499B (zh) 2020-06-12 2020-06-12 一种视频防抖方法、装置及视频采集设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537573.3A CN111669499B (zh) 2020-06-12 2020-06-12 一种视频防抖方法、装置及视频采集设备

Publications (2)

Publication Number Publication Date
CN111669499A CN111669499A (zh) 2020-09-15
CN111669499B true CN111669499B (zh) 2021-11-19

Family

ID=72387442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537573.3A Active CN111669499B (zh) 2020-06-12 2020-06-12 一种视频防抖方法、装置及视频采集设备

Country Status (1)

Country Link
CN (1) CN111669499B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672058B (zh) * 2020-12-26 2022-05-03 维沃移动通信有限公司 拍摄方法及装置
CN113029089A (zh) * 2021-03-17 2021-06-25 国网安徽省电力有限公司铜陵供电公司 基于电力现场辅助信息的视频画面内目标距离估计方法
CN113329054B (zh) * 2021-04-27 2022-07-12 杭州壹悟科技有限公司 一种设备监控动画显示优化方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103314570A (zh) * 2010-11-12 2013-09-18 三星电子株式会社 用于通过补偿相机的视向的视频稳定方法和设备
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN105100479A (zh) * 2015-07-30 2015-11-25 努比亚技术有限公司 一种移动终端及其图片拍摄方法
JP2017005563A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮像装置
CN106603915A (zh) * 2016-12-14 2017-04-26 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN108156362A (zh) * 2016-12-02 2018-06-12 杭州海康威视数字技术股份有限公司 一种摄像机的防抖方法及摄像机
CN109314744A (zh) * 2017-12-29 2019-02-05 深圳市大疆创新科技有限公司 拍摄设备的图像处理方法、拍摄设备及可移动平台
CN109618103A (zh) * 2019-01-28 2019-04-12 深圳慧源创新科技有限公司 无人机图传视频的防抖方法及无人机
CN107113376B (zh) * 2015-07-31 2019-07-19 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007077614A1 (ja) * 2005-12-28 2007-07-12 Fujitsu Limited Ｔｖ電話機能の撮影画像処理切り替え装置
JP7185992B2 (ja) * 2018-09-26 2022-12-08 株式会社Subaru 車両の乗員監視装置、および乗員保護システム
CN109963106B (zh) * 2019-03-29 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种视频图像处理方法、装置、存储介质及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103314570A (zh) * 2010-11-12 2013-09-18 三星电子株式会社 用于通过补偿相机的视向的视频稳定方法和设备
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
JP2017005563A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮像装置
CN105100479A (zh) * 2015-07-30 2015-11-25 努比亚技术有限公司 一种移动终端及其图片拍摄方法
CN107113376B (zh) * 2015-07-31 2019-07-19 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
CN108156362A (zh) * 2016-12-02 2018-06-12 杭州海康威视数字技术股份有限公司 一种摄像机的防抖方法及摄像机
CN106603915A (zh) * 2016-12-14 2017-04-26 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN109314744A (zh) * 2017-12-29 2019-02-05 深圳市大疆创新科技有限公司 拍摄设备的图像处理方法、拍摄设备及可移动平台
CN109618103A (zh) * 2019-01-28 2019-04-12 深圳慧源创新科技有限公司 无人机图传视频的防抖方法及无人机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于特征提取与匹配的车载电子稳像方法研究》;熊晶莹;《中国博士学位论文全文数据库 信息科技辑》;20170830;第I138-69页 *

Also Published As

Publication number Publication date
CN111669499A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111669499B (zh) 一种视频防抖方法、装置及视频采集设备
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
US9479709B2 (en) Method and apparatus for long term image exposure with image stabilization on a mobile device
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
EP3449624B1 (en) Electronic image stabilization frequency estimator
WO2018223381A1 (zh) 一种视频防抖方法及移动设备
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
CN107690673B (zh) 图像处理方法、装置及服务器
CN110784651B (zh) 一种防抖方法及电子设备
CN113824876B (zh) 数字变焦下画面稳定性处理方法、装置、移动终端及介质
WO2019127512A1 (zh) 拍摄设备的图像处理方法、拍摄设备及可移动平台
CN112040126A (zh) 拍摄方法、装置、电子设备及可读存储介质
JP6098873B2 (ja) 撮像装置および画像処理装置
WO2021035485A1 (zh) 拍摄防抖方法、装置、终端及存储介质
US10911677B1 (en) Multi-camera video stabilization techniques
CN113875219A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111212222A (zh) 图像处理方法、装置、电子装置及存储介质
CN114390186B (zh) 视频拍摄方法及电子设备
US10547785B2 (en) Photographing method including image registration based on reference image, shake information, and a motion vector table
CN114040113A (zh) 图像处理方法及其装置
US10715725B2 (en) Method and system for handling 360 degree image content
JP2016111561A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP6714819B2 (ja) 画像表示システム、情報処理装置、画像表示方法及び画像表示プログラム
CN114449130A (zh) 一种多摄像头的视频融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.