CN107360377A - 一种车载视频稳像方法 - Google Patents

一种车载视频稳像方法 Download PDF

Info

Publication number
CN107360377A
CN107360377A CN201710787526.2A CN201710787526A CN107360377A CN 107360377 A CN107360377 A CN 107360377A CN 201710787526 A CN201710787526 A CN 201710787526A CN 107360377 A CN107360377 A CN 107360377A
Authority
CN
China
Prior art keywords
motion vector
video
sequence
horizontal
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710787526.2A
Other languages
English (en)
Other versions
CN107360377B (zh
Inventor
翟少磊
武明虎
席自强
曹敏
于辉
魏龄
朱全聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power System Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power System Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power System Ltd filed Critical Electric Power Research Institute of Yunnan Power System Ltd
Priority to CN201710787526.2A priority Critical patent/CN107360377B/zh
Publication of CN107360377A publication Critical patent/CN107360377A/zh
Application granted granted Critical
Publication of CN107360377B publication Critical patent/CN107360377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车载视频稳像方法，包括：提取视频帧序列中的特征点；对所述视频帧序列中相邻两帧的特征点进行匹配，得到匹配特征点对的集合；计算摄像机运动模型的矩阵参数；计算所述水平位移的水平平均运动矢量、所述垂直位移的垂直平均运动矢量；根据所述水平平均运动矢量计算待过滤水平运动矢量，根据所述垂直平均运动矢量计算待过滤垂直运动矢量；利用所述待过滤水平运动矢量和待过滤垂直运动矢量对所述视频帧序列进行运动补偿。本申请能够较好地补偿视频帧序列中连续帧之间的随机抖动，抑制拍摄视频过程中主要出现的水平、垂直等运动，稳像后的视频帧序列运动轨迹较为平滑，大大提高了车载视频质量，有利于车载视频的后期处理。

Description

一种车载视频稳像方法
技术领域
本申请涉及视频处理技术领域，尤其涉及一种车载视频稳像方法。
背景技术
随着摄像系统在光电侦察、手持移动设备和监视系统等方面的广泛应用，人们对所拍摄图像的清晰度和稳定性要求越来越高。现代车载摄像系统，由于外界干扰(强风，路面颠簸等)，使得采集到的视频序列出现平移、旋转甚至是各个方向的随机抖动，这种视频不仅视觉效果较差，而且会使视频监测人员产生疲劳感，影响其对观测事件的判断，还会对图像像面信息的后期处理造成困难。
对车载视频的处理主要为电子稳像，电子稳像的算法包括三个主要步骤：运动估计，运动滤波和运动补偿。其中，运动估计是将车载视频转换成视频帧序列，根据选用的摄像机运动模型，对视频帧序列进行处理；运动滤波是消除或减轻视频帧序列中的随机抖动，计算补偿分量；运动补偿是根据补偿分量对视频帧序列进行校正完善。现有技术中，常用的运动滤波算法包括基于卡尔曼滤波模型的滤波算法。
基于卡尔曼滤波模型的滤波算法通常只对视频帧序列中的平移运动矢量和部分旋转矢量进行滤波，而车载视频的视频帧序列中还存在一些其他运动矢量，利用现有滤波算法不能滤除，并且，由于在视频帧序列的滤波过程中，当前帧滤波是下一帧滤波的基础，而现有技术的滤波算法准确性较低，随着帧数的积累，累计误差越大，最终会导致视频序列出现失稳现象。
发明内容
本申请提供了一种车载视频稳像方法，以解决现有稳像技术误差较大的问题。
本申请提供了一种车载视频稳像方法，该方法包括：
提取视频帧序列中的特征点；
对所述视频帧序列中相邻两帧的特征点进行匹配，得到匹配特征点对的集合；
计算摄像机运动模型的矩阵参数，其中，所述矩阵参数根据所述匹配特征点对的集合计算得到，所述矩阵参数包括所述相邻帧之间的水平位移和垂直位移；
计算所述水平位移的水平平均运动矢量、所述垂直位移的垂直平均运动矢量；
根据所述水平平均运动矢量计算待过滤水平运动矢量，根据所述垂直平均运动矢量计算待过滤垂直运动矢量；
利用所述待过滤水平运动矢量和待过滤垂直运动矢量对所述视频帧序列进行运动补偿。
优选地，所述特征点为加速鲁棒性特征点。
优选地，所述计算摄像机运动模型的矩阵参数之前，还包括：剔除所述匹配特征点对的集合中的误匹配点对。
优选地，所述误匹配点对的剔除方法为二近邻比值法。
优选地，所述计算摄像机运动模型的矩阵参数，包括：根据所述匹配特征点对的集合，选取摄像机运动模型为仿射变换模型。
优选地，利用最小二乘法计算所述仿射变换模型的矩阵参数。
优选地，所述待过滤水平运动矢量和待过滤垂直运动矢量的计算方法为阻尼滤波法。
优选地，所述提取视频帧序列中的特征点之前，还包括：将车载视频转换成连续的视频帧序列。
优选地，所述方法还包括：将所述视频帧序列进行灰度化处理和高斯去噪。
本申请提供的车载视频稳像方法有益效果包括：
本申请提供的车载视频稳像方法，通过提取视频帧序列中的特征点并进行匹配，得到匹配特征点对的集合，进而选取摄像机运动模型并计算运动模型的矩阵参数，其中，矩阵参数包括相邻帧之间的水平位移和垂直位移，通过计算水平位移的水平平均运动矢量、垂直位移的垂直平均运动矢量以及待过滤水平运动矢量、待过滤垂直运动矢量，然后进行运动补偿，由于视频帧序列中所有方向的运动矢量均可分解为水平运动矢量和垂直运动矢量，因此，本申请通过在水平方向和垂直方向进行运动补偿，能够较好地补偿视频帧序列中连续帧之间的随机抖动，从而抑制了拍摄视频过程中主要出现的水平、垂直等运动，稳像后的视频帧序列运动轨迹较为平滑，大大提高了车载视频质量，有利于车载视频的后期处理。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车载视频稳像方法的流程示意图；
图2为本申请实施例提供的稳像前后峰值信噪比示意图。
具体实施方式
本申请实施例提供一种车载视频稳像方法，基于VS2013平台和Opencv2.4.9库函数完成。参见图1，为本申请实施例提供的一种车载视频稳像方法的流程示意图，如图1所示，具体包括如下步骤：
步骤S110：提取视频帧序列中的特征点。
具体的，首先将采集设备采集的车载视频转换成连续的视频帧序列，然后将视频帧序列依次进行灰度化处理和高斯去噪处理，再对相邻两帧图片进行特征提取，在两帧图片上分别得到一些特征点。例如，相邻的两帧图片分别为F0和F1，选择F1为当前帧，F0为参考帧，在F0上提取了一个特征点a，在F1上提取了坐标与a相近的两个特征点b和c。本实施例中，提取的特征点a、b和c均为加速鲁棒性特征点，即SURF特征点。SURF特征点鲁棒性好，不受光照、旋转和尺度的影响，匹配速度快，准确度很高。
步骤S120：对所述视频帧序列中相邻两帧的特征点进行匹配，得到匹配特征点对的集合。
具体的，对特征点a、b和c，分别计算得到对应的64维特征描述子，再计算特征点a和c的特征描述子之间的欧几里得距离、a和b的特征描述子之间的欧几里得距离。计算得到a和b的特征描述子之间的欧几里得距离小于a和c的特征描述子之间的欧几里得距离，由于欧几里得距离表征相似度，因此，a和b的相似度较高，判定a和b为匹配特征点对。利用64维特征描述子进行特征点匹配，准确性较高，但仍会存在一些误匹配的情况，原因主要有两类：一是特征点的自身定位不准确，另一种是由于视频帧中的局部运动出现了伪特征点。误匹配点对会加大相邻帧间运动估计的误差，进而影响后续的运动补偿，因此必须对匹配点对进一步检验，剔除误匹配点，提高匹配精度。
本实施例采用二近邻算法，为了验证a和b是正确的匹配点对，在F1上找到特征点c，使得a和b的特征描述子之间的距离为最近距离，a和c的特征描述子之间的距离为次近距离，若最近距离与次近距离的比值小于给定阈值，则认为最小距离的匹配点b是a的优秀特征匹配点，反之，剔除掉不满足该条件的匹配点b。本实施例中，给定阈值的取值范围为0.2-0.6之间。所以参考帧F0的特征描述子集合为D1，当前帧F1的特征描述子集合为D2，则相邻两帧F0和F1匹配的特征描述子的集合可以用M表示，参见公式(1)：
其中d1,i和d2,j分别为参考帧F0和当前帧F1的最近距离的匹配点对，同理d1,i和d2,k表示次近距离的匹配点对。通过剔除掉误匹配点对，减少了匹配点对的数量，加快了运动估计的计算。
步骤S130：计算摄像机运动模型的矩阵参数，其中，所述矩阵参数根据所述匹配特征点对的集合计算得到，所述矩阵参数包括所述相邻帧之间的水平位移和垂直位移。
具体的，根据步骤S120求得的正确匹配点对的集合，选择合适的运动模型，由于车载摄像系统采集到的视频除了平移，旋转还有缩放，尺度变换和较大的随机抖动，综合考虑对运动描述的准确性和快速性，本实施例选择仿射变换模型来进行帧间运动估计。根据步骤S120得到a和b是正确匹配点对，设a的坐标为(x0,y0,z0)，b的坐标为(x1,y1,z1)，则相邻帧F0和F1之间的变换式为：
[x1,y1,z1]T＝R3×3×[x0,y0,z0]T+T3×1 (2)
公式(2)中，R3×3代表摄像机旋转变换，T3×1代表摄像机的平移变换。此外，相邻帧F0和F1之间的变换关系还可以用投影的形式表示：
其中，λ表示摄像机到拍摄场景平面的距离，通过公式(2-4)的变换得到二维平面仿射变换模型：
公式(5)中s＝z0/z1为尺度变换，R2×2为旋转变换，tx和ty分别为水平和垂直方向的偏移量。求解这个矩阵最少需要6个方程，也就是3组SURF特征匹配点，然而实际求出的特征点数目远超过方程个数，为了求出最合适的仿射矩阵，使用最小二乘法计算出R2×2、tx和ty，这些参数代表相邻帧间的运动估计，其中R2×2表示旋转，tx和ty表示水平和垂直位移。
步骤S140：计算所述水平位移的水平平均运动矢量、所述垂直位移的垂直平均运动矢量。
具体的，因为误匹配和视频中对象的运动会造成局部运动，这种运动影响稳像后视频的质量，运动滤波的主要目的是分离出采集端视频当中的全局运动和局部运动，而后期的运动补偿是针对全局运动矢量进行的。根据步骤S130，计算出每帧图片在水平和垂直方向上的位移tx和ty，然后利用公式(6-7)计算水平和垂直方向上的平均运动矢量，分别用MEx和MEy表示，其中N代表视频帧的总数。计算出每帧的tx和ty，利用公式(6-7)计算出水平和垂直方向上的平均运动矢量MEx和MEy。
步骤S150：根据所述水平平均运动矢量计算待过滤水平运动矢量，根据所述垂直平均运动矢量计算待过滤垂直运动矢量。
具体的，本发明用阻尼滤波的方法，把MEx和MEy分别带入公式(8)和(9)计算出需要过滤的运动矢量UM(f)x和UM(f)y，其中f是帧数，是处理完f帧后花费的时间，0<ξ<1为阻尼滤波器的阻尼系数，可以根据实际情况进行微调，ψx和ψy为每帧初始振动参数，取值范围-tx<ψx<tx，-ty<ψy<ty。
步骤S160：利用所述待过滤水平运动矢量和待过滤垂直运动矢量对所述视频帧序列进行运动补偿。
具体的，运动补偿是视频稳像系统的最后一个过程，利用步骤S150计算出水平和垂直方向上每帧需要过滤的运动矢量UM(f)x和UM(f)y，因此运动滤波后的仿射变换矩阵参数只有tx和ty发生了变化，tx′＝tx-UM(f)x和ty′＝ty-UM(f)y为运动滤波后的运动矢量，新的仿射变换矩阵由R2×2、tx′和ty′构成，当前帧F1的运动补偿由参考帧F0乘以新的仿射变换，这样就完成了一帧图像的稳像，第二次迭代，第一次迭代的当前帧作为第二次迭代的参考帧进行运动估计，重复步骤S110-S160直到输入最后一帧为止，会得到一个稳像后的视频序列。
参见图2，为本申请实施例提供的稳像前后峰值信噪比示意图，如图2所示，Q为稳像前视频帧序列的信噪比，P为稳像后视频帧序列的信噪比，可见，利用本实施例提供的稳像方法进行稳像后，信噪比提高了约8dB，由于基于信噪比可计算帧间转换保真度(ITF)，而帧间转换保真度(ITF)可代表视频质量，因此，本实施例提供的稳像方法能够使视频质量得到明显提高。
由上述实施例可见，本申请提供的车载视频稳像方法，通过SURF特征匹配法找到相邻两帧的特征点对，采用二近邻比值法剔除误匹配点，剩下的特征点对具有尺度、旋转不变性，然后用最小二乘法求出最合适的仿射变换矩阵，精确计算出视频帧间的运动估计，最后利用阻尼滤波器的方法分别在水平和垂直方向进行运动滤波，得到相比卡尔曼滤波更为平滑的运动轨迹，大大提高了车载视频质量，有利于车载视频的后期处理。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的车载视频稳像方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、ROM(read-only memory，只读存储记忆体)或RAM(英文：random access memory，随机存储记忆体)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (9)

1.一种车载视频稳像方法，其特征在于，包括：
提取视频帧序列中的特征点；
对所述视频帧序列中相邻两帧的特征点进行匹配，得到匹配特征点对的集合；
计算摄像机运动模型的矩阵参数，其中，所述矩阵参数根据所述匹配特征点对的集合计算得到，所述矩阵参数包括所述相邻帧之间的水平位移和垂直位移；
计算所述水平位移的水平平均运动矢量、所述垂直位移的垂直平均运动矢量；
根据所述水平平均运动矢量计算待过滤水平运动矢量，根据所述垂直平均运动矢量计算待过滤垂直运动矢量；
利用所述待过滤水平运动矢量和待过滤垂直运动矢量对所述视频帧序列进行运动补偿。
2.如权利要求1所述的车载视频稳像方法，其特征在于，所述特征点为加速鲁棒性特征点。
3.如权利要求1所述的车载视频稳像方法，其特征在于，所述计算摄像机运动模型的矩阵参数之前，还包括：剔除所述匹配特征点对的集合中的误匹配点对。
4.如权利要求3所述的车载视频稳像方法，其特征在于，所述误匹配点对的剔除方法为二近邻比值法。
5.如权利要求3所述的车载视频稳像方法，其特征在于，所述计算摄像机运动模型的矩阵参数，包括：根据所述匹配特征点对的集合，选取摄像机运动模型为仿射变换模型。
6.如权利要求3所述的车载视频稳像方法，其特征在于，利用最小二乘法计算所述仿射变换模型的矩阵参数。
7.如权利要求1所述的车载视频稳像方法，其特征在于，所述待过滤水平运动矢量和待过滤垂直运动矢量的计算方法为阻尼滤波法。
8.如权利要求1所述的车载视频稳像方法，其特征在于，所述提取视频帧序列中的特征点之前，还包括：将车载视频转换成连续的视频帧序列。
9.如权利要求8所述的车载视频稳像方法，其特征在于，所述方法还包括：将所述视频帧序列进行灰度化处理和高斯去噪。
CN201710787526.2A 2017-09-04 2017-09-04 一种车载视频稳像方法 Active CN107360377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710787526.2A CN107360377B (zh) 2017-09-04 2017-09-04 一种车载视频稳像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710787526.2A CN107360377B (zh) 2017-09-04 2017-09-04 一种车载视频稳像方法

Publications (2)

Publication Number Publication Date
CN107360377A true CN107360377A (zh) 2017-11-17
CN107360377B CN107360377B (zh) 2020-09-25

Family

ID=60290471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710787526.2A Active CN107360377B (zh) 2017-09-04 2017-09-04 一种车载视频稳像方法

Country Status (1)

Country Link
CN (1) CN107360377B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102530A (zh) * 2018-08-21 2018-12-28 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
CN112702528A (zh) * 2020-12-28 2021-04-23 维沃移动通信有限公司 视频防抖方法、装置及电子设备
CN112954134A (zh) * 2021-02-23 2021-06-11 中国科学院合肥物质科学研究院 一种车载稳像显示补偿方法及系统
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008012822A2 (en) * 2006-07-26 2008-01-31 Human Monitoring Ltd Image stabilizer
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
KR20120072351A (ko) * 2010-12-23 2012-07-03 삼성전자주식회사 디지털 이미지 안정화
CN104144282A (zh) * 2014-07-17 2014-11-12 西北工业大学 一种适用于空间机器人视觉系统的快速数字稳像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008012822A2 (en) * 2006-07-26 2008-01-31 Human Monitoring Ltd Image stabilizer
KR20120072351A (ko) * 2010-12-23 2012-07-03 삼성전자주식회사 디지털 이미지 안정화
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN104144282A (zh) * 2014-07-17 2014-11-12 西北工业大学 一种适用于空间机器人视觉系统的快速数字稳像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚军等: ""多种运动补偿算法在电子稳像中的比较及应用"", 《光学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102530A (zh) * 2018-08-21 2018-12-28 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
CN109102530B (zh) * 2018-08-21 2020-09-04 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
US11514625B2 (en) 2018-08-21 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Motion trajectory drawing method and apparatus, and device and storage medium
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN112702528A (zh) * 2020-12-28 2021-04-23 维沃移动通信有限公司 视频防抖方法、装置及电子设备
CN112954134A (zh) * 2021-02-23 2021-06-11 中国科学院合肥物质科学研究院 一种车载稳像显示补偿方法及系统

Also Published As

Publication number Publication date
CN107360377B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
EP3800878B1 (en) Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
CN107360377A (zh) 一种车载视频稳像方法
US9471964B2 (en) Non-local mean-based video denoising method and apparatus
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
CN104144282B (zh) 一种适用于空间机器人视觉系统的快速数字稳像方法
US8385630B2 (en) System and method of processing stereo images
CN106204429A (zh) 一种基于sift特征的图像配准方法
EP1505543A2 (en) Video object tracking
US9247139B2 (en) Method for video background subtraction using factorized matrix completion
CN102098440A (zh) 针对摄像机抖动下运动目标检测的电子稳像方法及系统
CN101383899A (zh) 一种空基平台悬停视频稳像方法
CN113269682B (zh) 一种结合帧间信息的非均匀运动模糊视频复原方法
CN111951325B (zh) 位姿跟踪方法、位姿跟踪装置及电子设备
CN107590234B (zh) 一种基于ransac的室内视觉定位数据库冗余信息减少的方法
US20100208140A1 (en) Image processing apparatus, image processing method and storage medium storing image processing program
CN111783834B (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
CN106412441A (zh) 一种视频防抖控制方法以及终端
CN110428466A (zh) 一种非均匀性校正的方法和设备
CN110322476B (zh) 一种改进stc和surf特征联合优化的目标跟踪方法
US9100573B2 (en) Low-cost roto-translational video stabilization
CN116596794A (zh) 一种基于事件相机的联合去运动模糊和视频插帧方法
CN108492308B (zh) 一种基于相互结构引导滤波的变分光流的确定方法及系统
CN111339824A (zh) 基于机器视觉的路面抛洒物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant