CN110493488A - 视频稳像方法、视频稳像装置和计算机可读存储介质 - Google Patents

视频稳像方法、视频稳像装置和计算机可读存储介质 Download PDF

Info

Publication number
CN110493488A
CN110493488A CN201810461379.4A CN201810461379A CN110493488A CN 110493488 A CN110493488 A CN 110493488A CN 201810461379 A CN201810461379 A CN 201810461379A CN 110493488 A CN110493488 A CN 110493488A
Authority
CN
China
Prior art keywords
image
feature points
area
points matching
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810461379.4A
Other languages
English (en)
Other versions
CN110493488B (zh
Inventor
王艺伟
刘丽艳
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
RIKEN Institute of Physical and Chemical Research
Original Assignee
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIKEN Institute of Physical and Chemical Research filed Critical RIKEN Institute of Physical and Chemical Research
Priority to CN201810461379.4A priority Critical patent/CN110493488B/zh
Priority to EP19727748.6A priority patent/EP3794812B1/en
Priority to JP2020563729A priority patent/JP7078139B2/ja
Priority to US17/051,602 priority patent/US11748894B2/en
Priority to PCT/JP2019/018626 priority patent/WO2019221013A2/en
Publication of CN110493488A publication Critical patent/CN110493488A/zh
Application granted granted Critical
Publication of CN110493488B publication Critical patent/CN110493488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明实施例提供视频稳像方法、装置和计算机可读存储介质，其中视频稳像方法包括：在第一图像中选择第一区域；根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；根据所获取的特征点匹配对进行运动参数估计；根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。

Description

视频稳像方法、视频稳像装置和计算机可读存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种视频稳像方法、视频稳像装置和计算机可读存储介质。
背景技术
视频稳像方法主要应用于隔离外部对成像系统、瞄准系统或定位系统的各项扰动。具体地，视频稳像方法可以大致分为两类：使用传感器进行的稳像方法和通过算法进行的稳像方法。其中，通过算法进行的稳像方法通常包括运动估计、运动平滑和运动补偿几个步骤。通过这些处理步骤，可以获知摄像载体的运动偏移，从而在视频输出时去除上述运动偏移，以显示更加稳定的视频图像帧序列，提高视频输出质量。
然而，现有技术中通过算法进行的视频稳像方法往往在运动估计时包括了所采集的图像中所有物体的运动状态。其中，当所采集的图像中包含了应用场景中运动物体的运动状态时，则会对视频稳像的计算结果造成干扰，影响外部扰动隔离效果，降低视频质量。
发明内容
为解决上述技术问题，根据本发明的一个方面，提供了一种视频稳像方法，包括：在第一图像中选择第一区域；根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；根据所获取的特征点匹配对进行运动参数估计；根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
根据本发明的另一个方面，提供了一种视频稳像装置，包括：选择单元，配置为在第一图像中选择第一区域；匹配单元，配置为根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；估计单元，配置为根据所获取的特征点匹配对进行运动参数估计；补偿单元，配置为根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
根据本发明的另一个方面，提供一种视频稳像装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：在第一图像中选择第一区域；根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；根据所获取的特征点匹配对进行运动参数估计；根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
根据本发明的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：在第一图像中选择第一区域；根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；根据所获取的特征点匹配对进行运动参数估计；根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
根据本发明的上述视频稳像方法、视频稳像装置和计算机可读存储介质，能够在第一图像中选择第一区域，并根据所选择的第一区域进行特征点匹配以及后续的运动参数估计和运动补偿，从而避免了视频图像中对稳像算法有影响的场景区域对图像补偿的干扰作用，提高了视频的输出质量。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出根据本发明一个实施例的视频稳像方法的流程图；
图2(a)示出了根据本发明一个实施例的光流法中第一图像的示意图；图2(b)为对图2(a)中第一图像进行光流计算的示意图；
图3(a)和图3(b)示出了根据本发明实施例的物体检测的示意图；
图4示出针对全景相机的三维立体视频图像所投影的等距柱状图上不同部分的理论运动方向示意图；
图5示出根据本发明一个实施例的视频稳像装置的框图；
图6示出了根据本发明一个实施例的视频稳像装置的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的视频稳像方法、视频稳像装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
本发明实施例中，为了克服现有技术中的特征点匹配和运动估计过程中精度不够的问题，发明人考虑在视频稳像过程中将图像进行区域划分，根据所划分的区域进行特征点匹配和后续的运动估计以及运动补偿，从而提高视频的输出质量。
下面将参照图1描述根据本发明实施例的视频稳像方法。本发明实施例的视频稳像方法既可以应用于普通相机所采集的二维平面视频图像，也可以应用于由全景相机采集的三维全景视频图像等，在此不做限制。图1示出该视频稳像方法100的流程图。
如图1所示，在步骤S101中，在第一图像中选择第一区域。
在本发明实施例中，考虑到基于包含运动物体的运动估计和对整体图像的补偿可能会对图像中的静态物体产生过度的补充，为了尽量避免所采集的视频图像中的某些场景区域(例如运动物体所在的区域)对视频稳像的干扰作用，因此，在本步骤中，会对等待进行稳像处理的第一图像进行区域选择，以划分出一个或多个第一区域。可选地，本发明实施例中的第一图像可以为所采集视频图像的当前帧，当然也可以为视频图像中的任一帧，在此不做限制。第一图像以及随后的第二图像等均可以分别是物体(例如移动机器人、智能车、无人机等)上配备的拍摄单元所获取的图像，其中，拍摄单元可以为单目相机或摄像机，当然也可以为双目或多目相机或摄像机。在一个示例中，当视频图像为二维平面视频图像时，可以直接对此二维平面视频图像进行第一区域的选择。在另一示例中，当视频图像为三维立体视频图像时，可以首先将此图像进行二维坐标转换，得到二维平面图像(如经纬度图像)，并对得到的二维平面图像进行第一区域的选择。
在本发明实施例的一个示例中，在第一图像中所选择的第一区域可以是具有第一状态像素点的一个或多个第一区域。其中像素点所具有的第一状态可以为非运动状态。可选地，所述非运动状态可以包括静止状态或者像素点运动的瞬时速度小于预设阈值的状态。具体地，可以根据第一图像的光流值来划分所述第一图像中的第一区域。光流可以用于表达图像中所有像素点的运动信息，由其引申的光流场可以指示由图像中所有像素点构成的瞬时速度场。由此可见，为了区分第一图像中包括处于非运动状态的像素点的第一区域，可以首先计算所述第一图像中每个像素点的光流值；然后将所述光流值小于预设光流阈值的区域划分为所述第一区域，其中，预设光流阈值可以例如通过计算整个第一图像的平均光流值得到。图2(a)和图2(b)示出了根据本发明一个实施例利用光流进行第一区域划分的示意图。其中，图2(a)为第一图像的示意图，图2(b)为对第一图像进行光流计算的示意图。由图2(a)和图2(b)可以看出，第一图像中相对不动的物体，如周边的树木、中心的人等等所对应像素点的光流值相对较低(在图2(b)中示出为颜色较浅)；而相对运动的物体，如推婴儿车的行人、跑步的人等，其所对应的光流值则相对较高(在图2(b)中示出为颜色较深)。因此，可以通过光流值的高低来将相对运动的物体剔除出第一图像的后续特征点匹配和运动估计步骤，以提高视频稳像计算的精度。例如，可以在图2(b)的光流值示意图中通过方框框选出区域内特定光流值(如区域内平均光流值)超出预设光流阈值的区域，并对应至图2(a)的第一图像中，从而将除这些区域之外的其他区域作为第一图像的第一区域。当然，在实际应用中，也可以不利用方框针对光流值进行框选，而是以像素点或多个像素点的组为单位进行区域划分和选择。
在本发明实施例的另一个示例中，还可以通过例如深度学习网络来对第一图像进行物体检测，并根据物体检测的具体结果来划分出第一区域。具体地，在第一图像中选择第一区域可以包括：对所述第一图像进行物体检测；根据所检测出的所述第一图像中的物体类型，将所述第一图像划分出一个或多个第一区域，其中每个第一区域具有对应的权重值。在这一示例中，对第一图像进行物体检测的结果可以获得多种类型的物体，在检测完毕后，可以针对不同物体的类型对不同物体所在的第一区域赋予不同大小的权重值。图3(a)和图3(b)示出了根据本发明一个实施例的物体检测的示意图。其中，图3(a)所示检测物体分别是窗户和门，图3(b)所示检测物体为建筑物。当然，图3(a)和图3(b)所示仅为示例，在实际应用中，可以根据第一图像所处场景不同检测到各种类型的物体，例如人、车、动物、树木、天空、道路、桌椅等等。在检测到物体并划分出物体类型之后，可以获得不同类型物体所在的第一区域，此外，还可以根据不同的物体类型将不同的第一区域赋予不同的权重值。可选地，相对静止的物体所在的第一区域可以具有较高的权重值，而相对运动的物体所在的第一区域可以具有较低的权重值。在一个示例中，可以将天空、建筑物、门、窗、桌椅所在的第一区域赋予权重值1；将树木所在第一区域赋予权重值0.9；将人、车、动物所在区域赋予权重值0.1等。上述物体检测和第一区域权重值划分均仅为示例，在实际应用中，可以采用其他任意的物体检测或权重值赋值方式，在此不做限制。
在步骤S102中，根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点。
在本步骤中，可以根据第一图像的第一区域的选择方式、选择标准不同来采用不同的方式确定第一特征点。在本发明实施例一个示例中，当划分出具有非运动状态像素点的第一区域时，可以对所有划分出的第一区域进行特征点检测，并将检测到的特征点作为用于进行特征点匹配的第一特征点。例如，当利用前述光流法在第一图像中划分出非运动状态的第一区域时，可以只针对第一区域内进行特征点检测，并相当于将此时的第一区域赋予权重值为1，即选择第一区域内全部(100％)特征点作为第一特征点，以与第二图像中的对应区域进行特征点匹配并获取特征点匹配对。相应地，可以利用与上述第一区域的选择类似的方式，对第二图像进行相应的第二区域的选择，例如，可以同样利用光流法在第二图像中非运动状态的第二区域内进行特征点检测，并在获取第一区域和第二区域内的特征点后，利用第一图像中的第一区域中的第一特征点与第二图像的第二区域中的第二特征点进行特征点匹配来获得特征点匹配对。当然，上述选择方式仅为示例，也可以在第一区域内和非特定区域内分别选择特定比例的特征点，作为第一特征点，并与第二图像中相应的第二特征点进行特征点匹配。
可选地，当采用前述物体检测的方法划分出具有不同权重值的第一区域时，可以根据每个所述第一区域对应的权重值，将检测到的特征点的至少部分作为用于进行特征点匹配的第一特征点。例如，当检测到第一图像中分别具有天空、建筑物、树木、人的区域时，可以将天空、建筑物、树木、人的所在区域分别作为第一区域。随后，进一步根据预先设置的天空、建筑物的权重值1，将天空、建筑物所在的第一区域设置对应的权重值1；根据树木的权重值0.9将树木所在第一区域设置对应的权重值0.9；根据人的权重值0.1将人所在第一区域设置对应的权重值0.1。可选地，可以将权重值作为其对应区域的第一特征点的选择比例。因此，可以根据不同第一区域分别对应的权重值，在不同的第一区域中分别选择相应比例的特征点作为第一特征点。例如，可以在天空、建筑物所在的第一区域中选择其中检测到的全部(100％)特征点作为第一特征点，在树木所在的第一区域中选择其中检测到的全部特征点的90％作为第一特征点，在人所在的第一区域中选择其中检测到的全部特征点的10％作为第一特征点，以进行后续的与第二图像的特征点匹配操作。上述特征点的选择方式可以为随机选择，也可以根据特定的预设规则进行选择，在此不做限制。
在本发明实施例的一个示例中，可选地，还可以利用与上述第一图像的第一区域的选择类似的方式，对第二图像进行相应的第二区域的选择，第二图像中的第二区域的选择和划分标准可以参照第一区域进行，在此不再赘述。在获取了第二图像中的第二区域后，可以在各个第二区域与第一区域之间建立一定的对应关系，并根据第二区域进行特征点的检测和匹配等操作。例如，当确定仅在第一图像的第一区域上检测特征点并将所检测到的所有特征点作为第一特征点进行特征点匹配时，可以在第二图像中与第一区域有对应关系的第二区域中进行特征点检测，并将检测到的所有特征点作为第二特征点，进行匹配。而当确定在第一图像的第一区域上选择一定比例的特征点作为第一特征点时，也同样可以在第二图像中与此第一区域有对应关系的第二区域中选择相同比例的特征点作为第二特征点。可选地，依此类推，可以针对视频中的部分或所有视频帧图像均进行相应区域的选择和划分，并在此基础上进行特征点的检测和不同帧之间的特征点匹配操作。
在本发明实施例中，特征点检测方式可以包括例如尺度不变特征变换(ScaleInvariant Feature Transform,SIFT)特征、加速稳健(Speeded Up Robust Features，SURF)特征、Harris角点等各种特征点检测方法，也可以为ORB(Oriented FAST andRotated BRIEF)特征点检测方法。在检测特征点后，可选地，可以对所检测到的特征点进行描述，例如可以采用灰度特征、梯度特征、视差信息等各种用于特征描述的方法来描述所检测到的特征点。
可选地，在对第一图像和第二图像进行特征点匹配时，可以利用例如基于网格的运动统计(Grid-based Motion Statistics，GMS)等方式进行特征点匹配。在特征点匹配时，可以通过对匹配正确与否的判断，以消除某些错误的、不能够匹配的特征点，仅留下正确的特征点和相应的特征点匹配对，以提高匹配的稳定性。可选地，可以利用运动一致性的方法删除误匹配的特征点匹配对。图4示出了针对全景相机的三维立体视频图像所投影的等距柱状图上不同部分的理论运动方向示意图。在图4中，以全景相机以平行于地面的方式进行运动为例，随着相机的不断运动，位于等距柱状图中不同部分的像素点将沿不同的线条方向移动和变化。也就是说，当在图4例示的视频摄制场景中，对第一图像和第二图像进行特征点匹配时，可以参考第一图像和第二图像所获取时间的间隔，根据特征点匹配对中特征点的运动趋势与图4中理论上的运动方向吻合度的比较，来删除误匹配的特征点匹配对。在一个示例中，第一图像和第二图像为相邻的视频帧，为第一图像和第二图像中特征点匹配对的运动方向，例如可以为第一特征点与第二特征点的连线，为图4中与第一特征点和/或第二特征点的相应位置上理论运动方向，例如可以为穿过此位置的曲线的切线方向，而α为方向和方向之间的夹角。可知：
在一个示例中，可以通过限制cosα的取值来筛选运动方向符合要求的特征点匹配对。例如，可以设置当时，保留此特征点匹配对，而反之则删除此特征点匹配对。当然，上述运动方向的表示方式和夹角取值仅为示例，在实际应用中，可以采用任何运动方向一致性匹配的方式进行特征点筛选，在此不做限制。
在匹配完毕之后，所获取的每一个特征点匹配对均包括所述第一图像的第一特征点和所述第二图像的第二特征点，第一图像中的所有第一特征点和第二图像的所有第二特征点是一一对应的关系，分别构成每一个特征点匹配对。
在步骤S103中，根据所获取的特征点匹配对进行运动参数估计。
在获取了分别包括第一图像的第一特征点和第二图像的第二特征点的特征点匹配对之后，可以根据所获取的特征点匹配对进行运动参数估计。可选地，可以采用例如随机抽样一致性(Random Sample Consensus，RANSAC)来估计第一图像和第二图像之间的单应性矩阵。
其中，可选地，第二图像可以为第一图像的前一帧，也即第一图像和第二图像为相邻帧。其中，当第二图像与第一图像为相邻帧时，在运动参数估计的过程中，可以仅利用所获取的特征点匹配对，来估计所述第一图像和第二图像之间的单应性矩阵，用于后续的运动补偿。另外，可选地，也可以在此基础上，进一步利用所述第二图像与参考帧之间的相对运动关系来估计第一图像和参考帧之间的运动参数用于第一图像和参考帧之间的运动补偿。具体地，可以首先计算第一图像和其前一帧第二图像之间的单应性矩阵，然后依次计算第二图像相对于其前一帧等每相邻两帧之间的单应性矩阵，直至推导到参考帧，以最终计算第一图像相对于参考帧之间的单应性矩阵，用于运动补偿。
可选地，第二图像也可以为视频中的参考帧。此时，可以利用特征点匹配对来估计第一图像和第二图像(也即参考帧)之间的单应性矩阵，作为所估计的运动参数，用于后续的运动补偿。
也就是说，在本步骤中，所获得的运动参数可以为第一图像相对于第二图像的运动参数，也可以为第一图像相对于参考帧之间的运动参数，这决定了在后续步骤中会将第一图像相对于哪一帧进行运动补偿。
在步骤S104中，根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
本步骤中，在进行运动补偿之前，还可以将之前所估计的运动参数，例如前述单应性矩阵Rorigin采用中值滤波进行平滑处理，并利用平滑后的运动参数对所述第一图像进行运动补偿。具体地，可以在矩阵Rorigin中分解出各个姿态角，并进行中值滤波平滑，分别表示为：
其中，n为帧的序号，size为中值滤波中滑动窗口的大小。
当对矩阵Rorigin中分解出的各个姿态角进行平滑处理之后，可以将得到的平滑处理后的姿态角反变换回矩阵中，获取经平滑处理后的矩阵R：
随后，根据前述计算得到的单应性矩阵Rorigin和平滑后的矩阵R对第一图像进行运动补偿，获取补偿后的第一稳定图像Stable(Image)：
Stable(Image)＝R*Rorigin*Unstable(Image)
其中，Unstable(Image)为未经补偿的第一图像，Rorigin为未平滑的矩阵，R为平滑后的矩阵。
在本发明实施例的一个示例中，当第一图像为三维立体视频图像时，Unstable(Image)可为具有三维坐标的三维立体图像，由此获得的第一稳定图像Stable(Image)也相应地为三维立体图像。在得到三维立体第一稳定图像之后，也可以对其进行坐标变换，得到转换后的二维平面图像。而在本发明另一个示例中，当第一图像为二维平面视频图像时，可以直接代入上述公式得到二维平面的第一稳定图像，无需进行三维和二维直接的坐标变换。
根据本发明实施例的上述视频稳像方法，能够在第一图像中选择第一区域，并根据所选择的第一区域进行特征点匹配以及后续的运动参数估计和运动补偿，从而避免了包含运动物体的运动估计和对整体图像的补偿可能会对图像中的静态物体产生过度的补充，提高了视频的输出质量。
下面，参照图5来描述根据本发明实施例的视频稳像装置。图5示出了根据本发明实施例的视频稳像装置500的框图。本发明实施例的视频稳像装置既可以应用于普通相机所采集的二维平面视频图像，也可以应用于由全景相机采集的三维全景视频图像等，在此不做限制。如图5所示，视频稳像装置500包括选择单元510、匹配单元520、估计单元530和补偿单元540。除了这些单元以外，装置500还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的视频稳像装置500执行的下述操作的具体细节与在上文中参照图1-图4描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
图5中的视频稳像装置500的选择单元510配置为在第一图像中选择第一区域。
在本发明实施例中，考虑到基于包含运动物体的运动估计和对整体图像的补偿可能会对图像中的静态物体产生过度的补充，为了尽量避免所采集的视频图像中的某些场景区域(例如运动物体所在的区域)对视频稳像的干扰作用，因此，视频稳像装置500的选择单元510会对等待进行稳像处理的第一图像进行区域选择，以划分出一个或多个第一区域。可选地，本发明实施例中的第一图像可以为所采集视频图像的当前帧，当然也可以为视频图像中的任一帧，在此不做限制。第一图像以及随后的第二图像等均可以分别是物体(例如移动机器人、智能车、无人机等)上配备的拍摄单元所获取的图像，其中，拍摄单元可以为单目相机或摄像机，当然也可以为双目或多目相机或摄像机。在一个示例中，当视频图像为二维平面视频图像时，可以直接对此二维平面视频图像进行第一区域的选择。在另一示例中，当视频图像为三维立体视频图像时，可以首先将此图像进行二维坐标转换，得到二维平面图像(如经纬度图像)，并对得到的二维平面图像进行第一区域的选择。
在本发明实施例的一个示例中，选择单元510在第一图像中所选择的第一区域可以是具有第一状态像素点的一个或多个第一区域。其中像素点所具有的第一状态可以为非运动状态。可选地，所述非运动状态可以包括静止状态或者像素点运动的瞬时速度小于预设阈值的状态。具体地，选择单元510可以根据第一图像的光流值来划分所述第一图像中的第一区域。光流可以用于表达图像中所有像素点的运动信息，由其引申的光流场可以指示由图像中所有像素点构成的瞬时速度场。由此可见，为了区分第一图像中处于非运动状态的第一区域，可以首先计算所述第一图像中每个像素点的光流值；然后将所述光流值小于预设光流阈值的区域划分为所述第一区域，其中，预设光流阈值可以例如通过计算整个第一图像的平均光流值得到。图2(a)和图2(b)示出了根据本发明一个实施例利用光流进行第一区域划分的示意图。其中，图2(a)为第一图像的示意图，图2(b)为对第一图像进行光流计算的示意图。由图2(a)和图2(b)可以看出，第一图像中相对不动的物体，如周边的树木、中心的人等等所对应像素点的光流值相对较低(在图2(b)中示出为颜色较浅)；而相对运动的物体，如推婴儿车的行人、跑步的人等，其所对应的光流值则相对较高(在图2(b)中示出为颜色较深)。因此，可以通过光流值的高低来将相对运动的物体剔除出第一图像的后续特征点匹配和运动估计步骤，以提高视频稳像计算的精度。例如，可以在图2(b)的光流值示意图中通过方框框选出区域内特定光流值(如区域内平均光流值)超出预设光流阈值的区域，并对应至图2(a)的第一图像中，从而将除这些区域之外的其他区域作为第一图像的第一区域。当然，在实际应用中，也可以不利用方框针对光流值进行框选，而是以像素点或多个像素点的组为单位进行区域划分和选择。
在本发明实施例的另一个示例中，选择单元510还可以通过例如深度学习网络来对第一图像进行物体检测，并根据物体检测的具体结果来划分出第一区域。具体地，在第一图像中选择第一区域可以包括：对所述第一图像进行物体检测；根据所检测出的所述第一图像中的物体类型，将所述第一图像划分出一个或多个第一区域，其中每个第一区域具有对应的权重值。在这一示例中，对第一图像进行物体检测的结果可以获得多种类型的物体，在检测完毕后，可以针对不同物体的类型对不同物体所在的第一区域赋予不同大小的权重值。图3(a)和图3(b)示出了根据本发明一个实施例的物体检测的示意图。其中，图3(a)所示检测物体分别是窗户和门，图3(b)所示检测物体为建筑物。当然，图3(a)和图3(b)所示仅为示例，在实际应用中，可以根据第一图像所处场景不同检测到各种类型的物体，例如人、车、动物、树木、天空、道路、桌椅等等。在检测到物体并划分出物体类型之后，可以获得不同类型物体所在的第一区域，此外，还可以根据不同的物体类型将不同的第一区域赋予不同的权重值。可选地，相对静止的物体所在的第一区域可以具有较高的权重值，而相对运动的物体所在的第一区域可以具有较低的权重值。在一个示例中，可以将天空、建筑物、门、窗、桌椅所在的第一区域赋予权重值1；将树木所在第一区域赋予权重值0.9；将人、车、动物所在区域赋予权重值0.1等。上述物体检测和第一区域权重值划分均仅为示例，在实际应用中，可以采用其他任意的物体检测或权重值赋值方式，在此不做限制。
匹配单元520根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点。
匹配单元520可以根据第一图像的第一区域的选择方式、选择标准不同来采用不同的方式确定第一特征点。在本发明实施例一个示例中，当划分出具有非运动状态像素点的第一区域时，可以对所有划分出的第一区域进行特征点检测，并将检测到的特征点作为用于进行特征点匹配的第一特征点。例如，当利用前述光流法在第一图像中划分出非运动状态的第一区域时，可以只针对第一区域内进行特征点检测，并相当于将此时的第一区域赋予权重值为1，即选择第一区域内全部(100％)特征点作为第一特征点，以与第二图像中的对应区域进行特征点匹配并获取特征点匹配对。相应地，可以利用与上述第一区域的选择类似的方式，对第二图像进行相应的第二区域的选择，例如，可以同样利用光流法在第二图像中非运动状态的第二区域内进行特征点检测，并在获取第一区域和第二区域内的特征点后，利用第一图像中的第一区域中的第一特征点与第二图像的第二区域中的第二特征点进行特征点匹配来获得特征点匹配对。当然，上述选择方式仅为示例，也可以在第一区域内和非特定区域内分别选择特定比例的特征点，作为第一特征点，并与第二图像中相应的第二特征点进行特征点匹配。
可选地，当采用前述物体检测的方法划分出具有不同权重值的第一区域时，匹配单元520可以根据每个所述第一区域对应的权重值，将检测到的特征点的至少部分作为用于进行特征点匹配的第一特征点。例如，当检测到第一图像中分别具有天空、建筑物、树木、人的区域时，可以将天空、建筑物、树木、人的所在区域分别作为第一区域。随后，进一步根据预先设置的天空、建筑物的权重值1，将天空、建筑物所在的第一区域设置对应的权重值1；根据树木的权重值0.9将树木所在第一区域设置对应的权重值0.9；根据人的权重值0.1将人所在第一区域设置对应的权重值0.1。可选地，可以将权重值作为其对应区域的第一特征点的选择比例。因此，可以根据不同第一区域分别对应的权重值，在不同的第一区域中分别选择相应比例的特征点作为第一特征点。例如，可以在天空、建筑物所在的第一区域中选择其中检测到的全部(100％)特征点作为第一特征点，在树木所在的第一区域中选择其中检测到的全部特征点的90％作为第一特征点，在人所在的第一区域中选择其中检测到的全部特征点的10％作为第一特征点，以进行后续的与第二图像的特征点匹配操作。上述特征点的选择方式可以为随机选择，也可以根据特定的预设规则进行选择，在此不做限制。
在本发明实施例的一个示例中，可选地，匹配单元520还可以利用与上述第一图像的第一区域的选择类似的方式，对第二图像进行相应的第二区域的选择，第二图像中的第二区域的选择和划分标准可以参照第一区域进行，在此不再赘述。在获取了第二图像中的第二区域后，可以在各个第二区域与第一区域之间建立一定的对应关系，并根据第二区域进行特征点的检测和匹配等操作。例如，当确定仅在第一图像的第一区域上检测特征点并将所检测到的所有特征点作为第一特征点进行特征点匹配时，可以在第二图像中与第一区域有对应关系的第二区域中进行特征点检测，并将检测到的所有特征点作为第二特征点，进行匹配。而当确定在第一图像的第一区域上选择一定比例的特征点作为第一特征点时，也同样可以在第二图像中与此第一区域有对应关系的第二区域中选择相同比例的特征点作为第二特征点。可选地，依此类推，可以针对视频中的部分或所有视频帧图像均进行相应区域的选择和划分，并在此基础上进行特征点的检测和不同帧之间的特征点匹配操作。
在本发明实施例中，特征点检测方式可以包括例如尺度不变特征变换(ScaleInvariant Feature Transform,SIFT)特征、加速稳健(Speeded Up Robust Features，SURF)特征、Harris角点等各种特征点检测方法，也可以为ORB(Oriented FAST andRotated BRIEF)特征点检测方法。在检测特征点后，可选地，可以对所检测到的特征点进行描述，例如可以采用灰度特征、梯度特征、视差信息等各种用于特征描述的方法来描述所检测到的特征点。
可选地，在对第一图像和第二图像进行特征点匹配时，匹配单元520可以利用例如基于网格的运动统计(Grid-based Motion Statistics，GMS)等方式进行特征点匹配。在特征点匹配时，可以通过对匹配正确与否的判断，以消除某些错误的、不能够匹配的特征点，仅留下正确的特征点和相应的特征点匹配对，以提高匹配的稳定性。可选地，可以利用运动一致性的方法删除误匹配的特征点匹配对。图4示出了针对全景相机的三维立体视频图像所投影的等距柱状图上不同部分的理论运动方向示意图。在图4中，以全景相机以平行于地面的方式进行运动为例，随着相机的不断运动，位于等距柱状图中不同部分的像素点将沿不同的线条方向移动和变化。也就是说，当在图4例示的视频摄制场景中，对第一图像和第二图像进行特征点匹配时，可以参考第一图像和第二图像所获取时间的间隔，根据特征点匹配对中特征点的运动趋势与图4中理论上的运动方向吻合度的比较，来删除误匹配的特征点匹配对。在一个示例中，第一图像和第二图像为相邻的视频帧，为第一图像和第二图像中特征点匹配对的运动方向，例如可以为第一特征点与第二特征点的连线，为图4中与第一特征点和/或第二特征点的相应位置上理论运动方向，例如可以为穿过此位置的曲线的切线方向，而α为方向和方向之间的夹角。可知：
在一个示例中，可以通过限制cosα的取值来筛选运动方向符合要求的特征点匹配对。例如，可以设置当时，保留此特征点匹配对，而反之则删除此特征点匹配对。当然，上述运动方向的表示方式和夹角取值仅为示例，在实际应用中，可以采用任何运动方向一致性匹配的方式进行特征点筛选，在此不做限制。
在匹配完毕之后，所获取的每一个特征点匹配对均包括所述第一图像的第一特征点和所述第二图像的第二特征点，第一图像中的所有第一特征点和第二图像的所有第二特征点是一一对应的关系，分别构成每一个特征点匹配对。
估计单元530根据所获取的特征点匹配对进行运动参数估计。
在获取了分别包括第一图像的第一特征点和第二图像的第二特征点的特征点匹配对之后，估计单元530可以根据所获取的特征点匹配对进行运动参数估计。可选地，可以采用例如随机抽样一致性(Random Sample Consensus，RANSAC)来估计第一图像和第二图像之间的单应性矩阵。
其中，可选地，第二图像可以为第一图像的前一帧，也即第一图像和第二图像为相邻帧。其中，当第二图像与第一图像为相邻帧时，在运动参数估计的过程中，可以仅利用所获取的特征点匹配对，来估计所述第一图像和第二图像之间的单应性矩阵，用于后续的运动补偿。另外，可选地，也可以在此基础上，进一步利用所述第二图像与参考帧之间的相对运动关系来估计第一图像和参考帧之间的运动参数用于第一图像和参考帧之间的运动补偿。具体地，可以首先计算第一图像和其前一帧第二图像之间的单应性矩阵，然后依次计算第二图像相对于其前一帧等每相邻两帧之间的单应性矩阵，直至推导到参考帧，以最终计算第一图像相对于参考帧之间的单应性矩阵，用于运动补偿。
可选地，第二图像也可以为视频中的参考帧。此时，估计单元530可以利用特征点匹配对来估计第一图像和第二图像(也即参考帧)之间的单应性矩阵，作为所估计的运动参数，用于后续的运动补偿。
也就是说，估计单元530所获得的运动参数可以为第一图像相对于第二图像的运动参数，也可以为第一图像相对于参考帧之间的运动参数，这决定了在后续步骤中会将第一图像相对于哪一帧进行运动补偿。
补偿单元540根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
补偿单元540在进行运动补偿之前，还可以将之前所估计的运动参数，例如前述单应性矩阵Rorigin采用中值滤波进行平滑处理，并利用平滑后的运动参数对所述第一图像进行运动补偿。具体地，可以在矩阵Rorigin中分解出各个姿态角，并进行中值滤波平滑，分别表示为：
其中，n为帧的序号，size为中值滤波中滑动窗口的大小。
当对矩阵Rorigin中分解出的各个姿态角进行平滑处理之后，可以将得到的平滑处理后的姿态角反变换回矩阵中，获取经平滑处理后的矩阵R：
随后，补偿单元540根据前述计算得到的单应性矩阵Rorigin和平滑后的矩阵R对第一图像进行运动补偿，获取补偿后的第一稳定图像Stable(Image)：
Stable(Image)＝R*Rorigin*Unstable(Image)
其中，Unstable(Image)为未经补偿的第一图像，Rorigin为未平滑的矩阵，R为平滑后的矩阵。
在本发明实施例的一个示例中，当第一图像为三维立体视频图像时，Unstable(Image)可为具有三维坐标的三维立体图像，由此获得的第一稳定图像Stable(Image)也相应地为三维立体图像。在得到三维立体第一稳定图像之后，也可以对其进行坐标变换，得到转换后的二维平面图像。而在本发明另一个示例中，当第一图像为二维平面视频图像时，可以直接代入上述公式得到二维平面的第一稳定图像，无需进行三维和二维直接的坐标变换。
根据本发明实施例的上述视频稳像装置，能够在第一图像中选择第一区域，并根据所选择的第一区域进行特征点匹配以及后续的运动参数估计和运动补偿，从而避免了包含运动物体的运动估计和对整体图像的补偿可能会对图像中的静态物体产生过度的补充，提高了视频的输出质量。
下面，参照图6来描述根据本发明实施例的视频稳像装置。图6示出了根据本发明实施例的视频稳像装置600的框图。如图6所示，该装置600可以是计算机或服务器。
如图6所示，视频稳像装置600包括一个或多个处理器610以及存储器620，当然，除此之外，视频稳像装置600还可能包括具有多个全景相机的立体相机以及输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图6所示的视频稳像装置600的组件和结构只是示例性的，而非限制性的，根据需要，视频稳像装置600也可以具有其他组件和结构。
处理器610可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器620中所存储的计算机程序指令以执行期望的功能，可以包括：在第一图像中选择第一区域；根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；根据所获取的特征点匹配对进行运动参数估计；根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
存储器620可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器610可以运行所述程序指令，以实现上文所述的本发明的实施例的视频稳像装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的视频稳像方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：在第一图像中选择第一区域；根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；根据所获取的特征点匹配对进行运动参数估计；根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
因此，通过使用上述实施例详细解释了本发明；然而，本领域技术人员应清楚本发明不限于在理解释的实施例。本发明在不背离由权利要求限定的本发明的范围的情况下可以被实现为校正的、修改的模式。因此，说明书的描述仅意图解释示例，并且不对本发明施加任何限制含义。

Claims (13)

1.一种视频稳像方法，包括：
在第一图像中选择第一区域；
根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；
根据所获取的特征点匹配对进行运动参数估计；
根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
2.如权利要求1所述的方法，其中，
所述在第一图像中选择第一区域包括：在所述第一图像中，划分出具有第一状态像素点的一个或多个第一区域；
所述根据所选择的第一区域确定一个或多个第一特征点包括：对所述一个或多个第一区域进行特征点检测，将检测到的特征点作为用于进行特征点匹配的第一特征点。
3.如权利要求2所述的方法，其中，
所述第一状态为非运动状态，所述非运动状态包括：
静止状态，或
像素点运动的瞬时速度小于预设阈值的状态。
4.如权利要求2所述的方法，其中，所述在所述第一图像中，划分出具有第一状态像素点的一个或多个第一区域包括：
计算所述第一图像中每个像素点的光流值；
将所述光流值小于预设光流阈值的区域作为所述第一区域。
5.如权利要求1所述的方法，其中，
所述在第一图像中选择第一区域包括：对所述第一图像进行物体检测；根据所检测出的所述第一图像中的物体类型，将所述第一图像划分出一个或多个第一区域，其中每个第一区域具有对应的权重值；
所述根据所选择的第一区域确定一个或多个第一特征点包括：对所述一个或多个第一区域进行特征点检测，根据每个所述第一区域对应的权重值，将检测到的特征点的至少部分作为用于进行特征点匹配的第一特征点。
6.如权利要求1所述的方法，其中，所述获取所述第一图像和第二图像之间的至少一个特征点匹配对还包括：
利用运动一致性的方法删除误匹配的特征点匹配对。
7.如权利要求1所述的方法，其中，所述根据所估计的运动参数对所述第一图像进行运动补偿还包括：
对所估计的运动参数采用中值滤波进行平滑处理，利用平滑后的运动参数对所述第一图像进行运动补偿。
8.如权利要求1所述的方法，其中，
所述第二图像与所述第一图像为相邻帧；或
所述第二图像为所述视频的参考帧。
9.如权利要求8所述的方法，其中，当所述第二图像与所述第一图像为相邻帧时，所述根据所获取的特征点匹配对进行运动参数估计包括：
利用所获取的特征点匹配对，估计所述第一图像和第二图像之间的单应性矩阵。
10.如权利要求9所述的方法，其中，当所述第二图像与所述第一图像为相邻帧时，所述根据所获取的特征点匹配对进行运动参数估计进一步包括：
利用所述单应性矩阵和所述第二图像与参考帧之间的相对运动关系，估计所述第一图像与所述参考帧之间的运动参数。
11.一种视频稳像装置，包括：
选择单元，配置为在第一图像中选择第一区域；
匹配单元，配置为根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；
估计单元，配置为根据所获取的特征点匹配对进行运动参数估计；
补偿单元，配置为根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
12.一种视频稳像装置，包括：
处理器；
和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
在第一图像中选择第一区域；
根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；
根据所获取的特征点匹配对进行运动参数估计；
根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
13.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：
在第一图像中选择第一区域；
根据所选择的第一区域确定一个或多个第一特征点，并与第二图像进行特征点匹配，以获取所述第一图像和第二图像之间的至少一个特征点匹配对，其中每个所述特征点匹配对包括所述第一图像的第一特征点和所述第二图像的第二特征点；
根据所获取的特征点匹配对进行运动参数估计；
根据所估计的运动参数对所述第一图像进行运动补偿，获取补偿后的第一稳定图像。
CN201810461379.4A 2018-05-15 2018-05-15 视频稳像方法、视频稳像装置和计算机可读存储介质 Active CN110493488B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810461379.4A CN110493488B (zh) 2018-05-15 2018-05-15 视频稳像方法、视频稳像装置和计算机可读存储介质
EP19727748.6A EP3794812B1 (en) 2018-05-15 2019-05-09 Video stabilization method and apparatus and non-transitory computer-readable medium
JP2020563729A JP7078139B2 (ja) 2018-05-15 2019-05-09 ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
US17/051,602 US11748894B2 (en) 2018-05-15 2019-05-09 Video stabilization method and apparatus and non-transitory computer-readable medium
PCT/JP2019/018626 WO2019221013A2 (en) 2018-05-15 2019-05-09 Video stabilization method and apparatus and non-transitory computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810461379.4A CN110493488B (zh) 2018-05-15 2018-05-15 视频稳像方法、视频稳像装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110493488A true CN110493488A (zh) 2019-11-22
CN110493488B CN110493488B (zh) 2021-11-26

Family

ID=66677191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810461379.4A Active CN110493488B (zh) 2018-05-15 2018-05-15 视频稳像方法、视频稳像装置和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11748894B2 (zh)
EP (1) EP3794812B1 (zh)
JP (1) JP7078139B2 (zh)
CN (1) CN110493488B (zh)
WO (1) WO2019221013A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN113256679A (zh) * 2021-05-13 2021-08-13 湖北工业大学 一种基于车载后视镜系统的电子稳像算法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557522A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置
US10892287B2 (en) 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
US11704895B2 (en) * 2019-09-27 2023-07-18 Ghost Autonomy Inc. Camera data normalization for an autonomous vehicle
CN113658238B (zh) * 2021-08-23 2023-08-08 重庆大学 一种基于改进特征检测的近红外静脉图像高精度匹配方法
CN113794842B (zh) * 2021-11-16 2022-02-08 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN114827473B (zh) * 2022-04-29 2024-02-09 北京达佳互联信息技术有限公司 视频处理方法和装置
WO2024063675A1 (en) * 2022-09-21 2024-03-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for generating three-dimensional representations

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574892A (zh) * 2003-05-30 2005-02-02 佳能株式会社 用于获得具有图像振动校正的摄影图像的摄影装置和方法
WO2008111169A1 (ja) * 2007-03-13 2008-09-18 Fujitsu Microelectronics Limited 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
CN101558637A (zh) * 2007-03-20 2009-10-14 松下电器产业株式会社 摄像装置以及摄像方法
CN101616310A (zh) * 2009-07-17 2009-12-30 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
US20120169892A1 (en) * 2011-01-05 2012-07-05 Sony Corporation Image processing device and image processing method
CN103079037A (zh) * 2013-02-05 2013-05-01 哈尔滨工业大学 基于远近景切换的自适应电子稳像方法
CN104113698A (zh) * 2014-08-06 2014-10-22 北京北纬通信科技股份有限公司 应用于图像捕获设备的模糊图像处理方法和系统
US20150138322A1 (en) * 2013-11-19 2015-05-21 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
CN106384356A (zh) * 2016-09-22 2017-02-08 北京小米移动软件有限公司 分离视频序列的前景与背景的方法及装置
US20180041716A1 (en) * 2016-08-02 2018-02-08 Canon Kabushiki Kaisha Imaging apparatus and control method therefor
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2798761B1 (fr) * 1999-09-17 2002-03-29 Thomson Multimedia Sa Procede de construction d'un modele de scene 3d par analyse de sequence d'images
JP4249478B2 (ja) * 2002-12-27 2009-04-02 東京瓦斯株式会社 流量計測装置
JP5859958B2 (ja) * 2010-11-11 2016-02-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、およびプログラム
US20130107066A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
TWI469062B (zh) 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
US9053366B2 (en) * 2013-02-20 2015-06-09 Honeywell International Inc. System and method for detecting motion in compressed video
US9277129B2 (en) 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
CN104424649B (zh) 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
CN104574433A (zh) 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法
CN105590309B (zh) 2014-10-23 2018-06-15 株式会社理光 前景图像分割方法和装置
CN104917931B (zh) * 2015-05-28 2018-03-02 京东方科技集团股份有限公司 运动图像补偿方法及装置、显示装置
CN106406507B (zh) 2015-07-30 2020-03-27 株式会社理光 图像处理方法以及电子设备
US9838604B2 (en) 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames
CN109040521B (zh) 2017-06-08 2020-11-13 株式会社理光 图像处理方法、装置、电子设备及计算机可读存储介质
TWI679612B (zh) * 2018-08-14 2019-12-11 國立交通大學 影像追蹤方法
TWI762956B (zh) * 2020-06-17 2022-05-01 瑞昱半導體股份有限公司 影像中靜止圖像的處理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574892A (zh) * 2003-05-30 2005-02-02 佳能株式会社 用于获得具有图像振动校正的摄影图像的摄影装置和方法
WO2008111169A1 (ja) * 2007-03-13 2008-09-18 Fujitsu Microelectronics Limited 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
CN101558637A (zh) * 2007-03-20 2009-10-14 松下电器产业株式会社 摄像装置以及摄像方法
CN101616310A (zh) * 2009-07-17 2009-12-30 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
US20120169892A1 (en) * 2011-01-05 2012-07-05 Sony Corporation Image processing device and image processing method
CN102595025A (zh) * 2011-01-05 2012-07-18 索尼公司 图像处理设备和图像处理方法
CN103079037A (zh) * 2013-02-05 2013-05-01 哈尔滨工业大学 基于远近景切换的自适应电子稳像方法
US20150138322A1 (en) * 2013-11-19 2015-05-21 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
CN104113698A (zh) * 2014-08-06 2014-10-22 北京北纬通信科技股份有限公司 应用于图像捕获设备的模糊图像处理方法和系统
US20180041716A1 (en) * 2016-08-02 2018-02-08 Canon Kabushiki Kaisha Imaging apparatus and control method therefor
CN106384356A (zh) * 2016-09-22 2017-02-08 北京小米移动软件有限公司 分离视频序列的前景与背景的方法及装置
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉淑娇等: "基于背景特征点匹配的视频稳像", 《吉林大学学报（工学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN113132560B (zh) * 2019-12-31 2023-03-28 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN113256679A (zh) * 2021-05-13 2021-08-13 湖北工业大学 一种基于车载后视镜系统的电子稳像算法

Also Published As

Publication number Publication date
CN110493488B (zh) 2021-11-26
US11748894B2 (en) 2023-09-05
WO2019221013A3 (en) 2020-01-02
WO2019221013A2 (en) 2019-11-21
US20210227139A1 (en) 2021-07-22
JP2021534600A (ja) 2021-12-09
EP3794812A2 (en) 2021-03-24
EP3794812B1 (en) 2023-08-30
JP7078139B2 (ja) 2022-05-31
WO2019221013A4 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN110493488A (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
JP6431245B1 (ja) エッジ認識双方向画像処理
Zhuo et al. Defocus map estimation from a single image
CN107277491B (zh) 生成图像的深度图的方法及相关存储介质
JP6894725B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
US10762649B2 (en) Methods and systems for providing selective disparity refinement
WO2018142496A1 (ja) 三次元計測装置
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
AU2013273843A1 (en) Motion blur compensation for depth from defocus
CN108668069A (zh) 一种图像背景虚化方法及装置
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
JP6285686B2 (ja) 視差画像生成装置
US11475629B2 (en) Method for 3D reconstruction of an object
KR20180014149A (ko) 깊이 정보 생성 장치 및 방법
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
WO2019230965A1 (ja) 物体らしさ推定装置、方法、およびプログラム
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
KR20120042323A (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
RU2522044C1 (ru) Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений
JP7341712B2 (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
JP2019176261A (ja) 画像処理装置
CN108062741A (zh) 双目图像处理方法、成像装置和电子设备
GB2533450B (en) Settings of a digital camera for depth map refinement
WO2023081288A1 (en) Apparatus and method for multi-input image signal processing pipeline image enhancement
WO2022216295A1 (en) Method and apparatus for operating an image signal processor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant