CN114979489A - 基于陀螺仪的重型装备生产场景视频监控稳像方法及系统 - Google Patents

Abstract

本发明公开了一种基于陀螺仪的重型装备生产场景视频监控稳像方法及系统，将陀螺仪搭载在摄像系统上，相机采集抖动视频序列，陀螺仪采集角速度数据信息，通过陀螺仪估计摄像平台的旋转抖动矢量并补偿；将四叉树思想应用于ORB算法提取特征点，采用BEBLID算法和PROSAC算法更高效的进行特征点描述以及误匹配点对剔除，计算仿射运动模型参数来准确的估计摄像平台的平移抖动矢量并补偿，最后利用图像拼接技术解决逆向补偿过程中的边缘像素点丢失问题，最终得到稳定、光滑、清晰的视频图像。本发明方法提高了稳像算法的速度与精度，且不依赖于场景图像信息，为重型装备生产和运行中的视觉监测与测量提供画质清晰且稳定的视频图像。

Description

基于陀螺仪的重型装备生产场景视频监控稳像方法及系统

技术领域

本发明属于图像处理(电子稳像)领域，特别提供了一种基于陀螺仪的重型装备生产场景视频监控稳像方法及系统。

背景技术

随着科技的飞速发展，大型复杂重型装备工业，如重型铝挤压机、重型打桩机等，不仅在世界经济发展中占有重要地位，也是一个国家工业化程度、经济和国防实力的重要标志之一。视觉测量技术在工业领域应用越来越广泛，而相机在使用过程中，由于设备工作时产生的高频率、小幅度的振动或外界噪声等因素影响，降低了图像的分辨率，严重影响了成像质量及测量精度；在一些工业场景中，由于高温、粉尘、水汽、安装位置等限制不能就近安装相机，需要使用长焦镜头将目标拉近拍摄，此种情况也会因为微弱振幅的振动导致视频图像不稳定、不清晰，严重影响工作人员对视频图像有效信息获取。因此，必须对相机采集到的视频进行稳像处理，从而改善视频质量。

稳像技术的目的是隔离或消除成像设备的振动对拍摄视频的影响，按照其实现方法及作用原理的不同可分为三种：机械稳像将伺服系统与陀螺等传感器结合构成稳定平台反向补偿运动载体的相对运动实现稳像；光学稳像利用光学元件的补偿运动来实现稳像；电子稳像采用图像处理方法计算帧间偏移量并反向补偿实现稳像，由于其具有体积小、功耗低、精度高等优点而被广泛应用。

电子稳像一般分为运动估计、运动滤波、运动补偿三部分，基于图像处理的电子稳像算法受图像场景影响较大，而惯性传感器无需考虑场景信息便可获取运动物体当前姿态信息，因此，近几年来，将陀螺仪传感器与图像处理算法相结合的稳像解决方案成为稳像领域的研究热点，稳像技术也伴随着巨大的工业市场需求。

发明内容

针对现有技术中存在的问题，本发明的目的是提供一种基于陀螺仪的重型装备生产场景视频监控稳像方法及系统，解决了相机由于工业设备平台振动及外界噪声干扰而导致采集的视频图像出现抖动、畸变等问题，并且不依赖于场景信息，为后续视频处理提供了画质清晰、稳定、光滑的视频图像。

本发明是通过以下技术方案来实现：

一种基于陀螺仪的重型装备生产场景视频监控稳像方法，包括以下步骤：

步骤1、采集视频序列以及对应的角速度数据信息；

步骤2、根据视频序列的图像帧与对应的角速度数据信息，计算相邻图像帧的旋转矩阵，根据相机内外参数矩阵计算三维世界坐标系与相邻图像帧的像素坐标系的转换关系矩阵，根据旋转矩阵和关系矩阵对图像帧进行逆向补偿得到初步稳定的视频序列；

步骤3、获取初步稳像后视频序列的特征点，根据特征点的坐标并结合仿射运动模型计算相邻帧平移抖动矢量，根据平移抖动矢量对当前图像帧进行逆向补偿得到稳像视频序列。

优选的，步骤1中采用陀螺仪采集角速度数据信息及时间戳并进行数据滤波，采用相机采集抖动视频序列及时间戳，对获取到的角速度数据信息进行插值处理使每帧视频图像对应一组角速度数据信息。

优选的，步骤2中根据角速度数据信息并结合Rodrigues算法确定相邻图像帧的旋转矩阵D。

优选的，所述逆向补偿的方法如下：

Q_{m_final}＝(KDK^-1)^-1Q_m

其中，Q_m为第m帧像素坐标点，K表示相机内参，D为旋转矩阵。

优选的，步骤3中得到最终稳定视频图像的方法如下：

S3.1、对步骤3初步稳像后的相邻图像帧不断划分区域，在每个子区域使用ORB算法提取相邻图像帧的特征点；

S3.2、根据相邻图像帧的特征点筛选最佳特征点；

S3.3、对最佳特征点进行描述得到特征描述向量，根据特征描述向量进行特征匹配得到匹配的特征点对；

S3.4、根据特征点对的坐标并结合仿射运动模型参数估计图像相邻帧的平移抖动矢量并逆向补偿，得到最终的稳定视频图像。

优选的，步骤S3.1中采用四叉树法对初步稳像后的相邻图像帧不断划分区域。

优选的，步骤S3.3得到匹配的特征点对后采用PROSAC算法删除误匹配点对。

优选的，步骤S3.4后还包括以下步骤:

S3.5对稳像过程中由于旋转平移造成的图像帧边缘像素点丢失，采用图像拼接方法进行处理。

优选的，所述图像拼接方法具体如下：

对图像帧之间的重叠区域引入加权平均策略，使得相邻图像帧拼接处平滑过渡。

一种基于陀螺仪的重型装备生产场景视频监控稳像方法的系统，包括，

采集模块，用于采集视频序列以及对应的角速度数据信息；

初步稳像模块，用于根据图像帧与对应的角速度数据信息，计算相邻图像帧的旋转矩阵，根据相机内外参数矩阵计算三维世界坐标系与相邻图像帧的像素坐标系的转换关系矩阵，根据旋转矩阵和关系矩阵对图像帧进行逆向补偿，得到初步稳定的视频序列；

最终稳像模块，用于获取初步稳像后视频序列的特征点，根据特征点的坐标并结合仿射运动模型计算相邻帧平移抖动矢量，根据平移抖动矢量对当前图像帧进行逆向补偿得到稳像视频序列。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供的基于陀螺仪的重型装备生产场景视频监控稳像方法，将陀螺仪搭载在摄像系统上，相机采集抖动视频序列，陀螺仪采集角速度数据信息，通过陀螺仪估计摄像平台的旋转抖动矢量并补偿；将四叉树思想应用于ORB算法提取特征点，根据特征点计算仿射运动模型参数来准确的估计摄像平台的平移抖动矢量并补偿，最后利用图像拼接技术解决逆向补偿过程中的边缘像素点丢失问题，最终得到稳定、光滑、清晰的视频图像。有效解决了由于工业设备平台振动或外界噪声导致摄像系统采集的视频图像出现非意向的抖动、畸变等情况，可为后续图像处理提供画质清晰且稳定的高质量视频图像。

附图说明

图1：为本发明基于基于陀螺仪的重型装备生产场景视频监控稳像方法的流程图；

图2：为本发明陀螺仪与相机搭建结构示意图；

图3：为本发明陀螺仪采集到的角速度数据信息与视频帧对应图；

图4：为本发明特征匹配算法进行平移量估计与补偿步骤流程图；

图5：为本发明视频参考帧与相邻帧采用本发明算法进行正确匹配后的匹配效果图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参阅图1-5，本发明提供了一种基于陀螺仪的重型装备生产场景视频监控稳像方法，包括以下步骤：

步骤1、将陀螺仪搭载在摄像系统上，采集用于参数校准的视频图像，对陀螺仪与相机进行参数校准，具体包括以下步骤：

S1.1、将陀螺仪搭载在相机上，如图2所示进行视频采集，陀螺仪采集角速度数据信息，相机采集视频图像序列；

本实施例实验过程中选用的相机为工业USB相机，帧率为30fps/s，分辨率为1920×1080；硬件传感器采用智能六轴增强版运动姿态陀螺仪传感器，产品型号为WT61PC，工作原理为振动式角速率传感器，内部使用芯片为ICM42605；编程软件为PyCharm2020，编程语言为python3.7。

步骤1.2、采集用于参数校准的视频图像序列，对固定物体拍摄一段大约10秒左右的视频图像序列；利用特征匹配算法将视频图像序列中相邻图像帧间的特征点进行匹配，剔除误匹配点；根据针孔相机模型建立特征点之间的重投影误差方程，计算最小延时值，完成陀螺仪与相机的参数校准；最小延时值t_d的计算方法如式(1)所示；

步骤2、陀螺仪获取角速度数据信息，相机采集视频序列，并使每一帧的图像对应一组角速度数据信息，具体包括以下步骤：

相机采集运动时刻的视频序列及时间戳，陀螺仪采集摄像系统由于振动等原因引起的无意向运动时三轴角速度数据及时间戳，利用卡尔曼滤波消除非意向晃动，获得平滑滤波处理的矢量参数并进行插值处理，如图3所示，使每一帧图像对应一组陀螺仪的数据信息；线性插值的公式如下：

步骤3、根据图像帧与对应的角速度数据信息，计算相邻图像帧的旋转矩阵，相邻图像帧中，其中一个图像帧为参考帧，另一图像帧为当前帧，根据内外参数矩阵计算三维世界坐标系与相邻图像帧的像素坐标系的转换关系矩阵，根据旋转矩阵和关系矩阵对图像帧进行逆向补偿，得到初步稳定的图像帧；具体包括以下步骤：

S3.1、将陀螺仪采集到的三轴角速度积分得到角度，通过Rodrigues算法计算相邻图像帧的旋转矩阵：

S3.2、通过相机标定原理获取相机的内外参数矩阵，根据内外参数矩阵计算三维世界坐标系与相邻图像帧的像素坐标系的转换关系矩阵；

世界坐标系中某点Q在视频序列第m-1帧像素坐标系下的坐标点为Q_m-1，在第m帧像素坐标点为Q_m，设K表示相机内参，R表示刚体变换矩阵，P_w为世界坐标系中的坐标，当摄像平台无旋转抖动并且忽略平移运动时：转换公式矩阵如下：

Q_m＝Q_m-1＝KRP_w(4)

当摄像平台出现旋转运动时，公式(4)中需要加入旋转矩阵：

Q_m＝KDRP_w＝KDR(KR)^-1Q_m-1＝KDK^-1Q_m-1 (5)

S3.3、根据旋转矩阵和关系矩阵对图像帧进行逆向补偿，得到初步稳定的图像帧。

上式为旋转时像素坐标的变化过程，实现稳像的过程便是对当前图像帧逆向补偿即可，逆向补偿的表达式如下：

Q_{m_final}＝(KDK^-1)^-1Q_m (6)

S3.4、重复步骤S3.4对视频序列的每一图像帧进行逆向补偿，得到初步稳定的视频序列。

步骤4、获取初步稳像后视频序列中当前图像帧的特征点，根据特征点的坐标并结合仿射运动模型计算平移抖动矢量，根据平移抖动矢量对当前图像帧进行逆向补偿，得到最终的稳像图像帧，具体包括以下步骤：

S4.1、引入四叉树法对步骤3初步稳像后的相邻图像帧不断划分区域，在每个子区域使用ORB算法提取相邻的当前帧和参考帧的特征点；

将初步稳像后的视频序列采用改进的ORB算法进行视频帧的特征点检测，将摄像设备当前采集的视频图像作为当前帧，与其相邻的前一帧图像作为参考帧，利用四叉树分割思想对图像进行区域划分，并在每个子区域内使用ORB算法进行特征点的提取，ORB算法对FAST算法进行了改进，使得检测到的特征点具备尺度不变性及方向性；

首先，利用四叉树分割思想对当前图像帧和参考图像帧进行区域划分，在每个子区域内，利用像素之间的对比度将待判断的像素点与其圆形区域边界上的16个像素点灰度值进行差值计算，若有N个结果大于阈值，则其为特征点，并引入了高斯差分金字塔，使得提取到的特征点具有尺度不变性及方向性，依次检查每个区域的属性值(特征点数量)，再利用属性值不断进行区域划分，直到树的层次达到一定深度或者满足期望要求后停止分割；

S4.2、对相邻图像帧的特征点采用非极大值抑制的方法筛选最佳特征点；

当所有区域划分结束后，设期望的总特征点数为T，分裂出的所有子区域总数为P，则计算每个区域需要提取的特征点数i为：

若某些子区域内检测到的特征点数目大于期望提取的特征点数目，采用非极大值抑制的方法筛选最佳特征点，保证最终得到的特征点均匀且独立分布；

S4.3、对相邻帧的最佳特征点进行描述得到特征描述向量，根据特征描述向量进行特征匹配，得到匹配特征点对。

采用BEBLID算法进行最佳特征点的描述得到二进制描述向量；

BEBLID算法是一种高效的学习型二值图像描述符，使用其对步骤4.2所述的当前帧与参考帧提取到的最佳特征点进行描述，得到二进制描述向量，特征提取函数f(x)定义为：

其中，I(t)是像素点t的灰度值，R(p,s)是中心位于p的方形边框，大小是s.为了描述图像块，BEBLID高效地计算每对图像块的像素平均灰度值，将得到的f(x)与设定的阈值进行比较得到h(x)，计算公式如下

最后利用增强算法有区分的选择一组特征组成强特征描述，为了让输出为{0,1}，将-1转化为了0、+1转化为了1，以此得到BEBLID二进制描述向量。

S4.4、采用PROSAC算法更高效的剔除误匹配点对；

采用PROSAC算法剔除所述当前帧与参考帧中的误匹配点对，将最近邻和次近邻的比值结果作为排序的依据，即在质量高的粗匹配子集中进行计算，最佳模型会较早出现；

S4.5、根据步骤S4.4筛选后匹配特征点对的坐标并结合仿射运动模型计算平移抖动矢量，根据平移抖动矢量对当前图像帧进行逆向补偿。

经过步骤S4.4PROSAC算法筛选出正确的特征点后，即可求解参考帧与当前帧的运动参数模型，考虑多种因素之后选取仿射运动模型如式(10)，共有六个未知数，至少需要三个特征点对就可求解，求解到模型参数后就可对视频帧图像逆向补偿；

仿射运动模型的表达式如下：

S4.6对稳像过程中由于旋转平移造成的图像边缘像素点丢失导致“黑边”问题，采用图像拼接技术解决，使得输出为稳定、清晰、光滑的视频图像；

采用图像拼接技术，对图像帧之间的重叠区域，引入加权平均策略，使得图像拼接处过渡更加流畅，加权平均融合图像过程为：

其中，w(x,y)表示权值，且权值变化过程为：

x_i表示当前像素点横坐标，x_r、x_l表示重叠区域横坐标的范围，其中w₁由1逐渐变为0，w₂由0逐渐变为1。

步骤5、搭建实验平台并对稳像结果进行评价；

步骤5.1、搭建稳像平台进行实验；

步骤5.2—5.3、对稳像之后的结果进行评价，使用人眼观察法、均方误差法MSE、图像差分评价法D(x,y)、峰值信噪比PSNR等方法对稳像结果评价，公式分别如下：

通过几种评价指标对稳像后的视频序列进行分析，本发明专利的特色创新之处在于稳像算法的速度与精度，故采用的陀螺仪传感器姿态稳定度为0.01度，精度可达到像素级，可实时获取运动物体三轴的角速度信息，并且不依赖于场景信息，对于场景复杂或者单一而导致的特征信息提取缺失等情况得到了有效的解决。

传统的电子稳像算法计算量大、实时性差、易受场景信息干扰，而惯性传感器无需考虑场景信息可以通过测量加速度和角速度实时提供当前姿态预测信息。因此，将陀螺仪传感器与图像特征匹配算法结合起来提高了稳像系统的执行效率、速度和精度也得到了提升。本方法对工业场景具有一定的实用意义，近年来，将传感器与图像处理算法结合解决电子稳像的方法发展迅速，本发明便是基于此提出了基于陀螺仪的工业视频监控电子稳像技术方法。

本发明公开了一种基于陀螺仪的重型装备生产场景视频监控稳像方法，将陀螺仪搭载在摄像系统上，相机采集抖动视频序列，陀螺仪采集角速度数据信息，通过陀螺仪估计摄像平台的旋转抖动矢量并补偿；将四叉树思想应用于ORB算法提取特征点，采用BEBLID算法和PROSAC算法更高效的进行特征点描述以及误匹配点对剔除，计算仿射运动模型参数来准确的估计摄像平台的平移抖动矢量并补偿，最后利用图像拼接技术解决逆向补偿过程中的边缘像素点丢失问题，最终得到稳定、光滑、清晰的视频图像。本发明方法提高了稳像算法的速度与精度，且不依赖于场景图像信息，为重型装备生产和运行中的视觉监测与测量提供画质清晰且稳定的视频图像。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，包括以下步骤：

步骤1、采集视频序列以及对应的角速度数据信息；

步骤2、根据视频序列的图像帧与对应的角速度数据信息，计算相邻图像帧的旋转矩阵，根据相机内外参数矩阵计算三维世界坐标系与相邻图像帧的像素坐标系的转换关系矩阵，根据旋转矩阵和关系矩阵对图像帧进行逆向补偿得到初步稳定的视频序列；

步骤3、获取初步稳像后视频序列的特征点，根据特征点的坐标并结合仿射运动模型计算相邻帧平移抖动矢量，根据平移抖动矢量对当前图像帧进行逆向补偿得到稳像视频序列。

2.根据权利要求1所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，步骤1中采用陀螺仪采集角速度数据信息及时间戳并进行数据滤波，采用相机采集抖动视频序列及时间戳，对获取到的角速度数据信息进行插值处理使每帧视频图像对应一组角速度数据信息。

3.根据权利要求1所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，步骤2中根据角速度数据信息并结合Rodrigues算法确定相邻图像帧的旋转矩阵D。

4.根据权利要求3所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，所述逆向补偿的方法如下：

Q_{m_final}＝(KDK^-1)^-1Q_m

其中，Q_m为第m帧像素坐标点，K表示相机内参，D为旋转矩阵。

5.根据权利要求1所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，步骤3中得到最终稳定视频图像的方法如下：

S3.1、对步骤3初步稳像后的相邻图像帧不断划分区域，在每个子区域使用ORB算法提取相邻图像帧的特征点；

S3.2、根据相邻图像帧的特征点筛选最佳特征点；

S3.3、对最佳特征点进行描述得到特征描述向量，根据特征描述向量进行特征匹配得到匹配的特征点对；

S3.4、根据特征点对的坐标并结合仿射运动模型参数估计图像相邻帧的平移抖动矢量并逆向补偿，得到最终的稳定视频图像。

6.根据权利要求5所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，步骤S3.1中采用四叉树法对初步稳像后的相邻图像帧不断划分区域。

7.根据权利要求5所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，步骤S3.3得到匹配的特征点对后采用PROSAC算法删除误匹配点对。

8.根据权利要求5所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，步骤S3.4后还包括以下步骤:

S3.5对稳像过程中由于旋转平移造成的图像帧边缘像素点丢失，采用图像拼接方法进行处理。

9.根据权利要求8所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法，其特征在于，所述图像拼接方法具体如下：

对图像帧之间的重叠区域引入加权平均策略，使得相邻图像帧拼接处平滑过渡。

10.一种权利要求1-9任一项所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法的系统，其特征在于，包括，

采集模块，用于采集视频序列以及对应的角速度数据信息；

初步稳像模块，用于根据图像帧与对应的角速度数据信息，计算相邻图像帧的旋转矩阵，根据相机内外参数矩阵计算三维世界坐标系与相邻图像帧的像素坐标系的转换关系矩阵，根据旋转矩阵和关系矩阵对图像帧进行逆向补偿，得到初步稳定的视频序列；

最终稳像模块，用于获取初步稳像后视频序列的特征点，根据特征点的坐标并结合仿射运动模型计算相邻帧平移抖动矢量，根据平移抖动矢量对当前图像帧进行逆向补偿得到稳像视频序列。

Images