CN111614895B - 一种图像成像抖动补偿方法、系统及设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供一种图像成像抖动补偿方法、系统和设备，在摄像头组件的平行位置安装重力传感器，通过重力传感器实时地获取摄像组件的抖动加速度数据；采用SOC芯片作为主控模块，利用其运算功能，对采集到的运动图像和抖动加速度数据进行逻辑运算得到目标物体的修正坐标。本发明通过增设简单且价格低廉的重力传感器实现了对目标物体抖动位移的有效检测，采用电路高度集成化、功能全面的SOC芯片进行数据运算，实现了从运动图像、抖动加速度数据到修正坐标的直接输出，从而在超低的制造成本的基础上实现了对目标物体抖动位移的有效补偿，大幅度提高了图像成像的准确率。

Description

一种图像成像抖动补偿方法、系统及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像成像抖动补偿方法、系统及设备。

背景技术

随着时代的进步，作为安全防范系统和事件追溯重要证据的视频监控也逐步在各行各业中普及。而在获取图像时，如何提高图像成像的准确率也成为一个挑战。

出于对行车安全的考虑和自动驾驶发展需求，车载领域也基本普及了视频监控，但是，由于汽车在运动过程中存在垂直方向的上下振动，使得车载视频监控设备(车载摄像头)在采集图像时也会产生抖动，进而致使采集图像中成像物体的位置将发生相应的偏移，从而出现采集到的视频图像模糊、清晰度低、成像物体位置偏移的问题，这大幅度地降低了视频监控设备的成像性能。

现有的图像防抖主要分为两类，一类是设备的物理防抖，通过传感器传输抖动量计算出对应的修正数据，并根据所述修正数据改变成像器件的位置或角度来保持成像的稳定；另一类是图像的电子防抖，在数码照相机上强制提高CCD感光参数同时加快快门，并针对CCD上取得的图像进行分析，然后利用边缘图像进行补偿的防抖。

但是，由于车辆的运动特性，物理防抖明显不适用于车载视频监控设备的图像防抖，而现有的电子防抖是通过降低画质来补偿抖动，其防抖效果并不理想，且无法有效地消除或者减缓前端设备抖动所导致的视频图像模糊等问题。

发明内容

本发明提供一种图像成像抖动补偿方法、系统及设备，解决了现有摄像头电子防抖图像处理技术无法有效地消除或减缓前端设备抖动所导致的视频图像模糊，以及无法兼顾画质与消除画面抖动的技术问题。

为解决以上技术问题，本发明提供一种图像成像抖动补偿方法，包括：

获取目标物体的运动图像，计算帧间间隔时间内所述目标物体的图像位移量；

获取帧间间隔时间内图像获取装置的抖动加速度数据，并计算出对应的抖动位移量；

根据所述图像位移量和所述抖动位移量计算所述目标物体的修正数据，并进一步地求出对应的修正坐标。

所述计算帧间间隔时间内所述目标物体的图像位移量，具体包括：

建立像素坐标系，分别获取上一帧运动图像与当前帧运动图像中所述目标物体的亮度值，并计算出帧间间隔时间内对应的图像光流速度向量；

根据所述图像光流速度向量计算对应的图像位移量。

所述计算出对应的抖动位移量，具体包括：

建立图像坐标系以及与其平行的传感器坐标系；所述图像坐标系与所述像素坐标系成比例关系；

采集帧间间隔时间内图像获取装置的抖动加速度数据；

以所述抖动加速度数据为基础依次求出对应的抖动速度和抖动位移量。

所述整合所述图像位移量和所述抖动位移量得到所述目标物体的修正数据，具体包括：

建立与所述图像坐标系成比例关系的像素坐标系；

根据所述比例关系将所述抖动位移量的图像坐标转换为像素坐标，得到对应的抖动像素位移，其转换公式如下，

u＝Q1*x+u₀，v＝Q2*y+v₀……(9)

其中，u、v分别为所述像素坐标系的横、纵坐标，x、y分别为所述图像坐标系的横、纵坐标，Q1、Q2分别代表所述像素坐标系与所述图像坐标系的长、宽比例，u₀、v₀分别为所述像素坐标系原点与所述图像坐标系原点的横坐标之差、纵坐标之差；

根据所述图像位移量与所述抖动像素位移计算所述目标物体的修正数据，其计算公式如下，

其中，

为图像位移量，

为抖动像素位移，

为修正数据。

所述求出对应的修正坐标，具体为：

获取所述上一帧运动图像中所述目标物体在所述图像坐标系中的初始坐标；根据所述初始坐标与所述修正数据计算所述目标物体的修正坐标，计算公式如下，

其中，

为所述目标物体的初始坐标，

为所述修正数据，

为修正坐标。

所述建立图像坐标系，具体为：

基于所述图像获取装置的几何中心建立图像坐标系，所述图像获取装置用于获取所述目标物体的运动图像；

所述建立传感器坐标系，具体为：

基于传感器模组的几何中心建立传感器坐标系，所述传感器模组用于获取所述抖动加速度数据。

所述传感器模组与所述图像获取装置平行安装。

本发明还提供运行上述的一种图像成像抖动补偿方法的一种图像成像抖动补偿系统，包括主控模块，以及分别与所述主控模块数据连接的图像获取装置和传感器模组；

所述图像获取装置用于采集目标物体的运动图像并发送至所述主控模块；

所述传感器模组用于采集所述图像获取装置的抖动加速度数据并发送至所述主控模块；

所述主控模块用于根据所述运动图像计算所述目标物体的图像位移量；还用于根据所述抖动加速度数据计算所述图像获取装置的抖动位移量；还用于根据所述图像位移量和所述抖动位移量得到所述目标物体的修正数据，并进一步地求出对应的修正坐标。

所述图像获取装置包括摄像头组件，所述摄像头组件用于获取目标物体运动图像，其内置COMS传感器或CCD传感器；

所述传感器模组包括重力传感器，所述重力传感器用于获取所述摄像头组件的抖动加速度数据；

所述主控模块包括SOC芯片，所述SOC芯片用于存储预设的运算逻辑，还用于根据所述运算逻辑处理所述运动图像和抖动加速度数据，计算出对应的图像位移量和抖动位移量，并进一步地求出所述目标物体的修正坐标；

所述摄像头组件与所述重力传感器平行安装。

本发明还提供一种图像成像抖动补偿设备，包括上述的一种图像成像抖动补偿设备系统，或者，运行上述的一种图像成像抖动补偿方法。

本发明提供一种图像成像抖动补偿方法，通过整合从运动图像中获取目标物体在帧间间隔时间内的图像位移量和初始坐标，以及图像获取装置的加速度数据，依次得到目标物体的成像修正数据与修正坐标；采用LK流光算法获取运动图像中目标物体的亮度值进而求出对应的光流速度向量与图像位移量，实现了对目标物体的有效追踪、极大地减少了特征点的计算量、提高了运算速率；利用与图像获取装置平行的传感器模组，以及平行坐标系的建立，可直观地将传感器接收到的抖动位移代入图像坐标系，实现了对外界振动产生的抖动位移的实时监测；根据像素坐标系与图像坐标系的比例关系，将现实中产生的抖动位移转换为对应的像素位移量(虚拟成像)，实现了对现实抖动的图像虚拟化，进而结合图像位移量求得运动图像实际的修正数据。本发明采用精密的运算逻辑与简单抖动加速度变量计算快速且准确地求得目标物体的修正坐标，实现了对目标物体抖动位移的有效补偿，大幅度提高了图像成像的准确率。

本发明提供一种图像成像抖动补偿设备系统和设备，在摄像头组件的平行位置安装重力传感器，通过重力传感器实时地获取摄像组件的抖动加速度数据；采用SOC芯片作为主控模块，利用其运算功能，对采集到的运动图像和抖动加速度数据进行逻辑运算得到目标物体的修正坐标。本发明通过增设简单且价格低廉的重力传感器实现了对目标物体抖动位移的有效检测，采用电路高度集成化、功能全面的SOC芯片进行数据运算，实现了从运动图像、抖动加速度数据到修正坐标的直接输出，从而在超低的制造成本的基础上实现了对目标物体抖动位移的有效补偿，大幅度提高了图像成像的准确率。

附图说明

图1是本发明实施例提供的一种图像成像抖动补偿方法的流程图；

图2是本发明实施例提供的目标物体实际的运动矢量成像为像素运动矢量的示意图；

图3是本发明实施例提供的图像坐标系O-xyz和传感器坐标系O-x′y′z′的平行关系示意图；

图4是本发明实施例提供的图像坐标转换为像素坐标的示意图；

图5是本发明实施例提供的一种图像成像抖动补偿系统的框架图；

其中：目标物体0，主控模块1，图像获取装置2，传感器模组3。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

实施例1

本发明实施例提供的一种图像成像抖动补偿方法，如图1～图3所示，在本实施例中，包括：

获取目标物体0的运动图像，计算帧间间隔时间T_C内所述目标物体0的图像位移量；

获取帧间间隔时间T_C内图像获取装置2的抖动加速度数据，并计算出对应的抖动位移量；

根据所述图像位移量和所述抖动位移量计算所述目标物体0的修正数据，并进一步地求出对应的修正坐标。

优选地，设所述图像获取装置2的采集频率为F1、所述传感器模组3的输出频率为F2，所述F2远大于F1(10倍以上，例如1KHz)；所述传感器模组3的采样速率K为其输出频率F2与所述图像获取装置2采集频率F1之商，具体为：

其中，

T_g为加速度数据更新时间间隔。

所述计算帧间间隔时间T_C内所述目标物体0的图像位移量，具体包括：

采用LK光流法，对所述运动图像进行曝光处理，进而通过像素灰度值确定、跟踪所述运动图像中的目标物体。

根据所述运动图像建立像素坐标系uov，分别获取第m-1帧运动图像与第m帧运动图像中所述目标物体0的I0(u，v，t)和I1(

t+δt)，并计算出帧间间隔时间T_C内对应的图像光流速度向量，其计算公式如下：

其中，u、v分别为所述目标物体0的横、纵坐标，t为获取第m-1帧运动图像时的时刻；

为u方向的速度向量，

为v方向的速度向量，δt为帧间间隔时间；k为像素坐标系uov中的像素点个数；I_ui、I_vi、I_ti分别代表第i像素点亮度I在u、v、t的偏导数，

为所述光流速度向量。

根据所述图像光流速度向量计算对应的图像位移量，计算公式如下：

所述图像位移量为所述光流速度向量

与所述帧间间隔时间T_C的乘积，所述乘积公式如下：

所述图像位移量

即为所述目标物体0的光流像素位移量。

所述计算出对应的抖动位移量，具体包括：

建立图像坐标系O-xyz以及与其平行于的传感器坐标系O-x′y′z′，通过将所述传感器坐标系O-x′y′z′进行旋转或/与平移，即可使得其x′、y′、z′方向与所述图像坐标系O-xyz的x、y、z方向一致。

所述建立图像坐标系O-xyz，具体为：

基于所述图像获取装置2的几何中心建立图像坐标系O-xyz，以所述图像获取装置2指向目标物体的方向为z轴、以左右平行方向为x轴、上下垂直方向为y轴；所述图像获取装置2用于获取所述目标物体0的运动图像；

所述建立传感器坐标系O-x′y′z′，具体为：

基于传感器模组3的几何中心建立传感器坐标系O-x′y′z′，所述传感器模组3用于获取所述抖动加速度数据。

由于图像获取装置2在获取运动图像时，其正面是靠近所述目标物体0的，其向前或向后的运动并不会影响成像并产生抖动位移，因此本发明实施例主要针对的是图像坐标系O-xyz在xoy平面上产生的抖动位移。

所述传感器模组3与所述图像获取装置2平行安装；优选地，所述传感器模组3与所述图像获取装置2平行安装在同一平面。

采集帧间间隔时间T_C内图像获取装置2的抖动加速度数据，所述抖动加速度数据包括图像获取装置2在x、y方向的分加速度；

以所述抖动加速度数据为基础求出对应的抖动速度，其计算公式如下：

其中，

分别为获取第m-1帧运动图像时图像获取装置2在x、y方向的抖动速度矢量，

分别为获取第m帧运动图像时图像获取装置2在x、y方向的抖动速度矢量，

分别表示在第h帧的k时刻图像获取装置2在x、y方向的加速度，m表示总帧数，h表示当前帧，n表示两帧之间的加速度采样次数，T_gk表示第k次采样时刻。

以所述抖动速度求出对应的抖动位移量，其计算公式如下：

其中，

分别表示在帧间间隔时间T_C内图像获取装置2在x、y方向的抖动位移，

分别表示k时刻图像获取装置2在x、y方向的加速度，n表示帧间间隔时间T_C内的加速度采样次数，T_gk表示第k次采样时刻；

为抖动位移量。

所述整合所述图像位移量和所述抖动位移量得到所述目标物体0的修正数据，具体包括：

参见图4，所述图像坐标系O-xyz与所述像素坐标系uov成比例关系；

根据所述比例关系将所述抖动位移量的图像坐标转换为像素坐标，得到对应的抖动像素位移，其转换公式如下，

u＝Q1*x+u₀，v＝Q2*y+v₀……(9)

其中，u、v分别为所述像素坐标系uov的横、纵坐标，x、y分别为所述图像坐标系O-xyz的横、纵坐标，Q1、Q2分别代表所述像素坐标系uov与所述图像坐标系O-xyz的长、宽比例，u₀、v₀分别为所述像素坐标系uov原点与所述图像坐标系O-xyz原点的横坐标之差、纵坐标之差；

当所述像素坐标系与所述图像坐标系O-xyz的xoy平面重合时，所述u₀、v₀均为零，当两者不重合时，可通过相机标定方法测量u₀、v₀。

根据所述图像位移量与所述抖动像素位移计算所述目标物体0的修正数据，其计算公式如下，

其中，

为图像位移量，

为抖动像素位移，

为修正数据。

所述求出对应的修正坐标，具体为：

获取所述上一帧运动图像中所述目标物体0在所述图像坐标系O-xyz中的初始坐标

根据所述初始坐标与所述修正数据计算所述目标物体0的修正坐标，计算公式如下，

其中，

为所述目标物体0的初始坐标，

为所述修正数据，

为修正坐标。

本发明提供一种图像成像抖动补偿方法，通过整合从运动图像中获取目标物体0在帧间间隔时间内的图像位移量和初始坐标，以及图像获取装置2的加速度数据，依次得到目标物体0的成像修正数据与修正坐标；采用LK流光算法获取运动图像中目标物体0的亮度值进而求出对应的光流速度向量与图像位移量，实现了对目标物体0的有效追踪、极大地减少了特征点的计算量、提高了运算速率；利用与图像获取装置2平行的传感器模组3，以及平行坐标系的建立，可直观地将传感器模组3接收到的抖动位移代入图像坐标系，实现了对外界振动产生的抖动位移的实时监测；根据像素坐标系与图像坐标系的比例关系，将现实中产生的抖动位移转换为对应的像素位移量(虚拟成像)，实现了对现实抖动的图像虚拟化，进而结合图像位移量求得运动图像实际的修正数据。本发明采用精密的运算逻辑与简单抖动加速度变量计算快速且准确地求得目标物体0的修正坐标，实现了对目标物体0抖动位移的有效补偿，大幅度提高了图像成像的准确率。

实施例2

参见图2、图3和图5，本发明实施例还提供运行上述的一种图像成像抖动补偿方法的一种图像成像抖动补偿系统，包括主控模块1，以及分别与所述主控模块1数据连接的图像获取装置2和传感器模组3；

所述图像获取装置2用于采集目标物体0的运动图像并发送至所述主控模块1；

所述传感器模组3用于采集所述图像获取装置2的抖动加速度数据并发送至所述主控模块1；

所述主控模块1用于根据所述运动图像计算所述目标物体0的图像位移量；还用于根据所述抖动加速度数据计算所述图像获取装置2的抖动位移量；还用于根据所述图像位移量和所述抖动位移量得到所述目标物体0的修正数据，并进一步地求出对应的修正坐标。

所述图像获取装置2包括摄像头组件，所述摄像头组件用于获取目标物体0运动图像，其内置COMS传感器或CCD传感器；

所述传感器模组3包括重力传感器，所述重力传感器用于获取所述摄像头组件的抖动加速度数据；

所述主控模块1包括SOC芯片，所述SOC芯片用于存储预设的运算逻辑，还用于根据所述运算逻辑处理所述运动图像和抖动加速度数据，计算出对应的图像位移量和抖动位移量，并进一步地求出所述目标物体0的修正坐标；

所述摄像头组件与所述重力传感器平行安装。

具体地，所述SOC芯片通过对所述运动图像进行曝光处理得到灰度化图像，进而采用LK流光算法追踪所述运动图像中的目标物体0并计算其图像位移量。

设所述摄像头组件的采集频率为F1、所述重力传感器的输出频率为F2，所述F2远大于F1(10倍以上，例如1KHz)。所述重力传感器在所述摄像头组件采集图片的间隙进行频率为F2的抖动加速度数据采集。

本实施例提供的图像成像抖动补偿系统工作原理如下：

预先将重力传感器与摄像头组件平行安装。

当摄像头组件在进行图像获取的同时，所述重力传感器也实时地检测所述摄像头组件的抖动加速度数据，两者分别将采集到的运动图像与抖动加速度数据传送到主控模块1的SOC芯片中。

此时，SOC芯片进入运算进程，求出目标物体0的修正坐标并发送到图像生成模块生成准确的运动图像。

实施例3

本发明实施例还提供一种图像成像抖动补偿设备，包括上述的一种图像成像抖动补偿设备系统，或者，运行上述的一种图像成像抖动补偿方法。

本发明实施例提供一种图像成像抖动补偿设备系统和设备，在摄像头组件的平行位置安装重力传感器，通过重力传感器实时地获取摄像组件的抖动加速度数据；采用SOC芯片作为主控模块1，利用其运算功能，对采集到的运动图像和抖动加速度数据进行逻辑运算得到目标物体0的修正坐标。本发明通过增设简单且价格低廉的重力传感器实现了对目标物体0抖动位移的有效检测，采用电路高度集成化、功能全面的SOC芯片进行数据运算，实现了从运动图像、抖动加速度数据到修正坐标的直接输出，从而在超低的制造成本的基础上实现了对目标物体0抖动位移的有效补偿，大幅度提高了图像成像的准确率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种图像成像抖动补偿方法，其特征在于，包括：

获取目标物体的运动图像，计算帧间间隔时间内所述目标物体的图像位移量；

获取帧间间隔时间内图像获取装置的抖动加速度数据，并计算出对应的抖动位移量；

根据所述图像位移量和所述抖动位移量计算所述目标物体的修正数据，并进一步地求出对应的修正坐标；

所述根据所述图像位移量和所述抖动位移量得到所述目标物体的修正数据，具体包括：

根据图像坐标系与像素坐标系的比例关系将所述抖动位移量的图像坐标转换为像素坐标，得到对应的抖动像素位移，其转换公式如下，

u＝Q1*x+u₀，v＝Q2*y+v₀

其中，u、v分别为所述像素坐标系的横、纵坐标，x、y分别为所述图像坐标系的横、纵坐标，Q1、Q2分别代表所述像素坐标系与所述图像坐标系的长、宽比例，u₀、v₀分别为所述像素坐标系原点与所述图像坐标系原点的横坐标之差、纵坐标之差；

为抖动像素位移，

分别表示在帧间间隔时间内图像获取装置在x、y方向的抖动位移；

根据所述图像位移量与所述抖动像素位移计算所述目标物体的修正数据，其计算公式如下，

其中，

为图像位移量，

为抖动像素位移，

为修正数据。

2.如权利要求1所述的一种图像成像抖动补偿方法，其特征在于，所述计算帧间间隔时间内所述目标物体的图像位移量，具体包括：

建立像素坐标系，分别获取上一帧运动图像与当前帧运动图像中所述目标物体的亮度值，并计算出帧间间隔时间内对应的图像光流速度向量；

根据所述图像光流速度向量计算对应的图像位移量。

3.如权利要求2所述的一种图像成像抖动补偿方法，其特征在于，所述计算出对应的抖动位移量，具体包括：

建立图像坐标系以及与其平行的传感器坐标系；采集帧间间隔时间内图像获取装置的抖动加速度数据；

以所述抖动加速度数据为基础依次求出对应的抖动速度和抖动位移量。

4.如权利要求3所述的一种图像成像抖动补偿方法，其特征在于，所述求出对应的修正坐标，具体为：

获取所述上一帧运动图像中所述目标物体在所述图像坐标系中的初始坐标；根据所述初始坐标与所述修正数据计算所述目标物体的修正坐标。

5.如权利要求4所述的一种图像成像抖动补偿方法，其特征在于，

所述建立图像坐标系，具体为：

基于所述图像获取装置的几何中心建立图像坐标系，所述图像获取装置用于获取所述目标物体的运动图像；

所述建立传感器坐标系，具体为：

基于传感器模组的几何中心建立传感器坐标系，所述传感器模组用于获取所述抖动加速度数据。

6.如权利要求5所述的一种图像成像抖动补偿方法，其特征在于：所述传感器模组与所述图像获取装置平行安装。

7.一种图像成像抖动补偿系统，运行权利要求1～6中任意一项权利要求所述的一种图像成像抖动补偿方法，其特征在于：包括主控模块，以及分别与所述主控模块数据连接的图像获取装置和传感器模组；

所述图像获取装置用于采集目标物体的运动图像并发送至所述主控模块；

所述传感器模组用于采集所述图像获取装置的抖动加速度数据并发送至所述主控模块；

所述主控模块用于根据所述运动图像计算所述目标物体的图像位移量；还用于根据所述抖动加速度数据计算所述图像获取装置的抖动位移量；还用于根据所述图像位移量和所述抖动位移量得到所述目标物体的修正数据，并进一步地求出对应的修正坐标。

8.如权利要求7所述的一种图像成像抖动补偿系统，其特征在于：

所述图像获取装置包括摄像头组件，所述摄像头组件用于获取目标物体运动图像，其内置COMS传感器或CCD传感器；

所述传感器模组包括重力传感器，所述重力传感器用于获取所述摄像头组件的抖动加速度数据；

所述主控模块包括SOC芯片，所述SOC芯片用于存储预设的运算逻辑，还用于根据所述运算逻辑处理所述运动图像和抖动加速度数据，计算出对应的图像位移量和抖动位移量，并进一步地求出所述目标物体的修正坐标；

所述摄像头组件与所述重力传感器平行安装。

9.一种图像成像抖动补偿设备，其特征在于：至少包括权利要求7～8中任意一项权利要求所述的一种图像成像抖动补偿设备系统。

Images