CN117201704A - 一种适用于摩托车行车记录仪的视频防抖方法及装置 - Google Patents

Abstract

一种适用于摩托车行车记录仪的视频防抖方法及装置，其方法包括:基于安装在摩托车车头的摄像头和惯性传感器采集图像数据和六轴数据，并进行滤波预处理；基于自适应参数互补滤波和加速度估计补偿进行姿态解算；基于四元数插值实现六轴数据和图像数据时间序列匹配，对图像使用得到的姿态数据进行运动补偿，实现初步稳像；基于FAST特征检测和LK光流法进行运动跟踪和估计；基于自适应参数卡尔曼滤波实现运动平滑，利用平滑后的数据进行运动补偿，最终得到稳定的图像输出。本发明通过融合惯性传感器和图像特征点的技术手段，实现了高效、准确的视频防抖，并为摩托车行车记录仪等设备提供了更好的视频录制功能。

Description

一种适用于摩托车行车记录仪的视频防抖方法及装置

技术领域

本发明涉及图像处理技术领域，涉及一种适用于摩托车行车记录仪的视频防抖方法及装置。

背景技术

近年来，随着摩托车行业的发展，摩托车行车记录仪不断地更新迭代，不仅用于记录精彩的骑行瞬间，而且用于捕获车辆行驶过程中的关键信息。然而，由于摩托车行驶过程中路况变化、风阻、发动机震动等的影响，所记录的视频往往会出现抖动现象，进而影响记录效果和数据分析的准确性。因此，视频防抖技术在摩托车行车记录仪中的应用显得尤为重要。

目前已经有很多视频防抖技术被广泛应用，但是相关方案一般用于手机或者手持和穿戴摄像机，鲜有适用于摩托车记录仪应用场景的防抖方案。现有防抖技术一般为光学防抖、电子防抖和混合防抖等。其中，光学防抖主要通过光学元件对图像进行稳定，但由于光学元件的成本较高，难以在摩托车行车记录仪中广泛应用；电子防抖主要利用图像处理算法进行防抖，但对于摩托车运动过快或抖动幅度较大的情况，防抖效果不尽如人意；混合防抖融合了光学防抖和电子防抖的优点，但也增加了成本和设计难度。

因此，目前还未有一种适用于摩托车行车记录仪的低成本、高效的视频防抖方法和电子装置，能够在车速变化、摩托车震动等情况下保持图像稳定，而且保持图像清晰度和分辨率，同时具有较低的功耗和较小的尺寸，以便于安装在摩托车上，能有效解决摩托车视频质量低，画面模糊，影响视频效果和ADAS等算法功能。

发明内容

本发明要克服现有技术的上述缺点,提供一种适用于摩托车行车记录仪的视频防抖方法及装置。在摩托车行驶过程中，由于地面不平和摩托车震动等因素的影响，摄像头拍摄的视频容易出现抖动和晃动，这将严重影响视频的记录效果和实际应用。本发明通过融合惯性传感器和图像特征点的技术手段，实现了高效、准确的视频防抖，并为摩托车行车记录仪等设备提供了更好的视频录制功能。

具体来说，本发明所述的电子装置包括摄像头、惯性测量单元、同轴线缆和处理器。其中，摄像头用于拍摄行车过程中的视频，惯性测量单元用于检测摄像头在三维空间中的角度和位置变化，同轴线缆用于传输摄像头的RGB原始数据和6D传感器数据，并以PoC(Power Over Coaxia)的方式给摄像头供电，处理器用于对检测到的数据进行处理和分析，并控制图像的稳定输出。

为实现视频防抖功能，本发明提供了一种适用于摩托车行车记录仪的视频防抖方法，其具体步骤包括：

S1：采集惯性传感器和摄像头数据，进行数据预处理，对采集到的数据进行滤波处理，以减小噪声对数据的影响，提高数据准确性。

S2:读取惯性传感器数据，利用改进的互补滤波算法进行姿态估计。

S3:将图像数据和惯性传感器数据进行时间轴同步，以获取更准确的姿态信息。通过时间轴同步算法，将图像和惯性传感器数据的时间戳对齐，从而更加精确地获取摄像头在三维空间中的位置和旋转角度。

S4:根据计算出的摩托车摄像头姿态信息，对图像进行平移旋转，实现大幅的防抖效果，得到初步稳定的图像。进而，结合特征点信息，进一步进行防抖处理。

S5:对经过处理的图像数据进行Fast特征点检测，对前一帧的特征点利用LK金字塔光流法进行特征点跟踪，计算当前帧的特征点，并过滤掉无效特征点。通过对图像特征点的跟踪，获得图像的运动轨迹。

S6:对得到的运动轨迹使用自适应参数卡尔曼滤波，进行运动轨迹平滑滤波，得到平滑、稳定的图像运动。根据计算得到的平滑运动信息，控制图像输出，对前一帧图像进行校正，以获得平稳的视频输出。

进一步的，所述S1的滤波处理，采用数字滤波器，如低通滤波器等。对所述图像数据进行高斯滤波处理，降低图像高斯噪声，增强图像质量。利用高斯滤波来有效地去除图像中的噪声，得到准确可靠的特征点进行检测和跟踪。

进一步的，所述S2的改进自适应参数互补滤波算法可以分为俩步，首先通过利用车身CAN数据采集摩托车自身的车速，利用CAN车速计算车身加速度，从而对加速度计进行一定程度的补偿，减小加速度的误差。

然后，根据摩托车运动状态不同，设计自适应参数对车身进行姿态估计，来抑制摩托车在行驶过程中受到地面震动、发动机震动和自身加速度等因素的影响。

进一步的，所述S3的时间轴同步算法，对图像数据和S2解算得到的姿态数据进行时间轴匹配，采用四元数插值法，对频率更高的姿态数据进行插值。

进一步的，所述S5的运动轨迹计算方法首先对检测得到的FAST特征值采用非最大抑制(NMS)来消除冗余的特征点；然后根据前后帧特征点采用最小二乘估计特征矩阵。

进一步的，所述S6，所述的自适应参数卡尔曼滤波方法是一种利用历史观测和估计值对卡尔曼滤波的过程噪声矩阵和量测噪声协方差进行自适应调整，以获得平滑的运动曲线，从而抑制相机的大幅度抖动等影响。

本发明所提供的视频防抖方法具有如下优点：通过基于惯性传感器和图像特征点的融合方法，来大幅度提高视频防抖效果，减少图像抖动和模糊，从而提高视频质量和观感；同时，该方法具有较高的实时性和算法速度快，能够满足摩托车行车记录仪的实时监控需求，不会对电子设备的电量产生过大的负担；此外，由于该方法可以使用惯性传感器和图像特征点相结合的方式来实现视频防抖，因此可以减小电子设备的尺寸，方便携带和安装。

附图说明

为了更清楚地说明和理解本申请技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，并构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案。

图1为本发明提供的摩托车行车记录仪和摄像头的安装示意图；

图2是本发明提供的硬件架构图示意图；

图3为本发明提供的摩托车行车记录仪视频防抖方案流程图；

图4为本发明提供的改进互补滤波算法流程图；

图5a-图5c为本发明提供的普通卡尔曼滤波算法和自适应卡尔曼滤波算法在运动平滑上的对比图，图5a是视频图像在水平方向上运动轨迹平滑效果对比图，图5b是视频图像在垂直方向上运动轨迹平滑效果对比图，图5c是视频图像在旋转运动上运动轨迹平滑效果对比图。蓝色曲线是视频图像原始运动轨迹，绿色曲线是普通卡尔曼滤波的运动平滑效果，黄色曲线是本发明提供的自适应参数卡尔曼滤波方法的运动平滑效果。

具体实施方式

下面结合本申请中的附图，对本申请的技术方案进行更加详细、清楚地描述。本申请描述地实施例是示例性的，而并不是限制性的，此处描述的实施例仅用于解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本申请实施例提供一种适用于摩托车行车记录仪的视频防抖方法，该方法利用惯性传感器实现相机姿态估计，从而计算出前后帧的图像运动轨迹，再对车辆运动进行补偿实现初步的大幅稳像功能，再利用特征点跟踪的方案，对一些高频抖动进行运动估计和平滑，然后利用平滑后的运动信息处理视频帧，实现稳像校正。

参照图1和图2，图1为该方法适用的的行车记录仪一种安装方案，图2为该方法适用的硬件架构图。方案中的电子装置包括摄像头、惯性测量单元、同轴线缆和嵌入式处理器。

所述车载摄像头装置，用于捕捉道路图像数据，安装在摩托车车头的前部，并且通过所述同轴线与所述嵌入式处理器相连，将采集到的图像数据传输给嵌入式系统进行处理；

所述惯性测量单元，和所述车载摄像头部署在同一设备上，用于检测摄像头以及车身在三维空间中的角度和位置变化，所产生的六轴数据和摄像头图像数据以串行解串的方式，经串行器通过所述同轴线传送到嵌入式系统设备的解串器。摄像头、六轴设备通过同轴线以POC(Power Over Coaxia)的方式供电。

所述嵌入式设备，可以安装于摩托车车座下位置，用于处理图像数据和六轴数据实现本发明的视频防抖功能，得到稳定图像输出。

图3是本发明提供的摩托车行车记录仪视频防抖方法的流程示意图，如图所示，该方法具体包括：

S1、通过摄像头和惯性传感器采集图像数据和六轴传感器数据，对采集到的数据进行滤波处理。对图像数据进行高斯滤波，以去除高斯噪声并增强特征点的检测能力；对采集到的惯性传感器数据进行低通滤波，减小噪声干扰。

S2、对采集到的惯性传感器数据利用基于四元数的互补滤波进行姿态解算，对每一组六轴传感器数据进行处理。定义单位四元数为 其中θ是旋转角度，μ是单位向量，对四元数进行时间t上的微分得到

对微分进行离散化处理得到，陀螺仪四元数更新公式：

其中，Q＝[q₀,q₁,q₂,q₃]^T是单位四元数，ω_x,ω_y和ω_z分别为x,y,z轴上的角速度，单位rad/s，t为上一时刻六轴数据时间，τ为六轴数据更新时间间隔，加速度计数据和四元数的关系可由四元数下地理坐标系R到机体坐标系b之间的旋转矩阵乘以重力加速度得到。具体的旋转矩阵取决于所选择的坐标系。

本实施例选取的公式如下：

其中，v_x,v_y和v_z是六轴传感器x,y,z轴上的加速度，单位g即9.8m/s²，是地理坐标系R到机体坐标系b的旋转矩阵，g为重力加速度，通过上述公式可以进行互补滤波来实现相机姿态解算。然而在摩托车行驶过程中由于加速度、震动等因素，会造成互补滤波算法的加速度数据产生偏差，在参数K_p固定的情况下，无法获得准确的姿态信息。因此对互补滤波的角速度进行补偿，其公式为

GyroError＝K_p×error+K_I×∫error (4)

其中，GyroError是陀螺仪修正误差，K_p是比例增益，越大表明越信任加速度计数据，K_I是积分增益，error是加速度误差。但是由于车身加速度将导致加速度计数据并不可靠，此时如果增益K_p固定将会导致姿态不准确。因此采用如下方案进行参数自适应，整体流程如图4所示，大致可以分为俩步，加速度补偿和角速度补偿

S2.1、计算前向加速度和向心加速度，对加速度计数据进行矫正补偿。利用摩托车CAN进行车速采集，以及利用加速度计算公式计算摩托车前向加速度a_x，对计算得到的加速度进行滑动窗口均值滤波。然后，利用以下公式计算车身向心加速度a_y。

a_y＝v×ω_y (1)

其中，v是车身速度，ω_y是车辆上一时刻的横摆角速度。

对得到的车身加速度，利用旋转矩阵C_nb将加速度从车身坐标系投影到惯性传感器坐标系，C_nb由六轴在安装标定时得到。将加速度计数据和利用计算得到的加速度相减，得到补偿后的加速度数据。

其中，为惯性传感器坐标系下加速度数据，/>为车身坐标系下加速度数据，即之前计算得到车身前向加速度a_x和车身向心加速度a_y。

S2.2、利用前一时刻的姿态数据估计下一时刻的加速度数据，通过矫正后的加速度数据和估计的加速度数据的误差来对陀螺仪数据进行补偿，误差增益参数K_p则通过比较测量得到的加速度值模长和重力加速度模长，实现一个分段连续函数来自适应，函数如下所示：

x＝|MesA-G|/G (6)

a＝1/(error1-error2),b＝1-a×error1 (7)

其中error1和error2是俩个可设定的误差阈值，MesA表示测量得到的加速度模值，上述计算得到的是K_p的增益因子，加速度误差越大，增益K_p越小。

采用互补滤波只是姿态解算的一种方式，这里可以采用其他方式，列如扩展卡尔曼滤波、无迹卡尔曼滤波等，但是这些方式虽然在精度上优于互补滤波，但是计算量上会更大，考虑实时性和设备性能，减小计算量，因此采用互补滤波。

S3、对图像数据和S2解算得到的姿态数据进行时间轴匹配，两种数据在获取时都带有pts时间戳，应该尽量设置俩者数据生成频率成倍数关系，例如视频帧率为20帧，惯性传感器数据生成频率为100hz，但是由于器件限制和视频录制的帧率要求，很难满足惯性传感器数据产生频率与视频数据频率成倍数关系，因此采用四元数插值法，对频率更高的姿态数据进行插值，采用四元数线性插值法，计算量更小，且更易实现，公式如下所示：

q_t＝(1-t)q₀+tq₁ (8)

其中，q₀和q₁是t时刻相邻四元数，q_t为t时刻计算得到的四元数。

S4、通过S3计算所得的当前帧对应的运动估计，对图像数据进行平移旋转变换操作，以实现运动补偿。利用惯性传感器对图像进行大幅稳像，可以解决大部分的抖动问题。此步骤的主要目的是通过惯性传感器提供的姿态信息，对图像进行稳定化处理，以减少图像中的抖动和模糊。这对于后续的特征点检测非常重要，因为在摩托车记录仪的应用场景中，相机安装在车头位置，容易受到快速转弯、路面不平、车身倾斜等因素的影响。

S5、对S4步骤得到的图像数据进行进一步的稳定图像处理，可以分为俩步。

S5.1、将图像转换成灰度图，本实施例使用常用的亮度法进行转换，转换公式如下：

G＝0.21×R +0.72× G +0.07× B (16)

其中，G为计算后的灰度值，R、G、B分别为红绿蓝三色通道上的值，然后对其进行Fast特征点检测。Fast特征点检测对比其他特征点，例如SIFT、SURF，具有计算速度更快的特点，同时也能满足本发明的应用需求。如果需要提高精度，又具有足够的计算能力，可以采用更好的特征点检测算法。对检测的到的特征点使用非最大抑制(NMS)来消除冗余的特征点。

S5.2、对检测到的前一帧特征点和当前帧特征点使用LK光流法进行特征点跟踪，得到当前帧对应特征点所在像素位置，然后根据跟踪结果，过滤掉无效特征点；通过前后帧特征点位置变化计算其变换矩阵，这里采用最小二乘法估计变换矩阵，变换矩阵定义如下：

其中，x，y分别为相机在x轴和y轴上的运动变化量，θ为相机的旋转变化量。最后利用微分的方法计算出相机运动轨迹。

S6、对S5计算得到的轨迹使用自适应参数卡尔曼滤波的方法进行轨迹平滑，最后将平滑后的轨迹使用S4的旋转平移操作应用到前一帧，得到稳定后的图像帧。当过程噪声协方差Q一定时，测量噪声协方差R越小，滤波器的运动跟随效果越好，适用于本身运动过程较为平滑的场景；测量噪声协方差R越大，滤波器的运动平滑效果越好，适用于运动高频大幅抖动的拍摄场景。

本实施例的自适应参数卡尔曼滤波方法为，定义参数为k时刻卡尔曼滤波估计值/>和观测值z_k的误差程度。选取一个滑动窗口，用于计算参数β，参数β用于识别当前运动的抖动情况，计算方法如下

其中L为滑动窗口长度，表示k-L时刻到k-1时刻ε_i的最大值，表示k-L时刻到k-1时刻ε_i的最小值。在本实例中，选取长度为10。选取卡尔曼滤波状态变量为/>描述了相机运动的水平位移、垂直位移、旋转角度和缩放比例。上述参数β计算公式可以修改为：

当相机在某个运动参数上存在较大抖动时，参数β将为一个较小的值，反之为一个较大的值，当抖动较大时应增大量测噪声R，因此定义R与β转换公式为：

其中，参数K_p是一个可调参数，本实施例选取K_p为80。R_x，R_y，R_θ和R_α分别水平位移、垂直位移、旋转角度和缩放比例的量测噪声，表示图5a-图5c是卡尔曼滤波和本实施例所用方法之间的运动平滑效果对比图，图中橙黄色曲线表示的是本实施例提供的自适应参数卡尔曼滤波方法的平滑效果，对比绿色曲线的普通卡尔曼滤波平滑效果，可以看出，普通的卡尔曼滤波虽然很好的跟随了原始运动曲线，但是仍存在较大的抖动，但是自适应卡尔曼滤波的结果更加平滑，抖动量很小。

本实施例介绍了一种适用于摩托车记录仪的视频防抖方案，该方案利用了惯性传感器进行初步的大幅稳像，解决大部分应用场景，同时采用特征点检测的方式对微小抖动进行运动平滑补偿，最终实现视频防抖的功能。该实施例可以做到实时防抖的功能，为摩托车记录仪视频图像稳定增强提供了一种解决方案。

实施例2

本实施例涉及一种适用于摩托车行车记录仪的视频防抖方法的装置，包括摄像头、惯性传感器、同轴线缆和主控处理器；其中，摄像头用于拍摄行车过程中的视频，惯性测量单元用于检测摄像头在三维空间中的角度和位置变化，同轴线缆用于传输摄像头的RGB原始数据和6D传感器数据，并以POC(Power Over Coaxia)的方式给摄像头供电，处理器用于对检测到的数据进行处理和分析，并控制图像的稳定输出。

将摄像头1安装在车头正中心；将摄像头和陀螺仪安装在一起，摄像头传感器和惯性传感器通过硬件线路将数据送入串行器；串行器将数据发送到处理器主板的解串器，实现图像数据和惯性传感器数据的传输，最终由处理器进行图像处理实现视频防抖功能。

Claims (8)

1.一种适用于摩托车行车记录仪的视频防抖方法，其特征在于，包括以下步骤：

S1：采集惯性传感器和摄像头数据，进行数据预处理，对采集到的数据进行滤波处理，以减小噪声对数据的影响，提高数据准确性；

S2:读取惯性传感器数据，利用改进的互补滤波算法进行姿态估计，获取摄像头姿态信息；

S3:将图像数据和惯性传感器数据进行时间轴同步，以获取更准确的姿态信息；通过时间轴同步算法，将图像和惯性传感器数据的时间戳对齐，从而更加精确地获取摄像头在三维空间中的位置和旋转角度；

S4:根据计算出的摩托车摄像头姿态信息，对图像进行平移旋转，实现大幅的防抖效果，得到初步稳定的图像；进而，结合特征点信息，进一步进行防抖处理；

S5:对经过处理的图像数据进行Fast特征点检测，对前一帧的特征点利用LK金字塔光流法进行特征点跟踪，计算当前帧的特征点，并过滤掉无效特征点；通过对图像特征点的跟踪，获得图像的运动轨迹；

S6:对得到的运动轨迹使用自适应参数卡尔曼滤波，进行运动轨迹平滑滤波，得到平滑、稳定的图像运动；根据计算得到的平滑运动信息，控制图像输出，对前一帧图像进行校正，以获得平稳的视频输出。

2.如权利要求1所述的适用于摩托车行车记录仪的视频防抖方法，其特征在于，所述S1中，惯性传感器数据使用的数据滤波方法为低通滤波；摄像头图像数据使用的滤波方法为高斯滤波。

3.如权利要求1所述的适用于摩托车行车记录仪的视频防抖方法，其特征在于，所述S2中，具体的改进互补滤波方法分为两步，车身加速度估计补偿和角速度补偿；

S2.1车身加速度估计补偿方法为利用摩托车CAN总线，进行车速采集，利用加速度计算公式计算摩托车前向加速度a_x，对计算得到的加速度进行滑动窗口均值滤波；然后利用以下公式计算车身向心加速度a_y；

a_y＝v*ω_y (1)

这里v是车身速度，ω_y是车辆上一时刻的横摆角速度；利用旋转矩阵C_nb将加速度从车身坐标系投影到惯性传感器坐标系，将加速度计数据和计算得到的加速度相减，得到补偿后的加速度数据；

其中，为惯性传感器坐标系下加速度数据，/>为车身坐标系下加速度数据；

S2.2角速度补偿方法如下，互补滤波的角速度补偿公式为；

GyroError＝K_p*error+K_I*∫error (4)

当K_p越大表明越信任加速度计数据，这里通过比较测量得到的加速度值模长和重力加速度模长比较，实现一个分段连续函数来自适应增益参数K_p，函数如下所示：

x＝|MesA-G|/G (6)

a＝1/(error1-error2),b＝1-a*error1 (7)

上述计算得到的是K_p的增益因子，加速度误差越大，增益K_p越小；error1和error2为俩个阈值，x为测量的加速度模长与已知重力加速度模长的误差，当误差变大时将越不信任加速度数据。

4.如权利要求1所述的适用于摩托车行车记录仪的视频防抖方法，其特征在于，所述S3中，对图像数据和步骤二解算得到的姿态数据进行时间轴匹配，采用四元数插值法，对频率更高的姿态数据进行插值，公式如下所示：

q_t＝(1-t)q₀+tq₁ (8)

其中，q₀和q₁是t时刻相邻四元数，q_t为t时刻计算得到的四元数。

5.如权利要求1所述的适用于摩托车行车记录仪的视频防抖方法，其特征在于，所述S5中，运动轨迹计算方法如下，

S5.1对检测到的FAST特征值采用非最大抑制(NMS)来消除冗余的特征点；

S5.2采用最小二乘对前后帧图像特征值的变换矩阵进行估计计算，变换矩阵定义为：

其中，x，y分别为相机在x轴和y轴上的运动变化量，θ为相机的旋转变化量；对计算得到的变换矩阵，利用微分的方法计算出运动轨迹。

6.如权利要求1所述的适用于摩托车行车记录仪的视频防抖方法，其特征在于，所述S6中的自适应参数卡尔曼滤波其方法如下，定义参数为k时刻卡尔曼滤波估计值和观测值的误差程度；选取一个滑动窗口，用于计算参数β，这个参数用于识别当前运动的抖动情况，计算方法如下

β ＝|max_k-L<i<k-1ε_i + min_k-L<i<k-1ε_i | / 2 (10)

选取卡尔曼滤波状态变量为上述参数β计算公式可以修改为：

当相机在某个运动参数上存在较大抖动时，参数β将为一个较小的值，反之为一个较大的，当抖动较大时应增大量测噪声R，因此定义R与β转换公式为：

R_x ＝ K_p×e^-βx (12)

R_y＝K_p×e^-βy

R_θ＝K_p×e^-βθ

7.实施权利要求1所述的一种适用于摩托车行车记录仪的视频防抖方法的装置，其特征在于，包括摄像头、惯性传感器、同轴线缆和主控处理器；其中，摄像头用于拍摄行车过程中的视频，惯性测量单元用于检测摄像头在三维空间中的角度和位置变化，同轴线缆用于传输摄像头的RGB原始数据和6D传感器数据，并以POC(Power Over Coaxia)的方式给摄像头供电，处理器用于对检测到的数据进行处理和分析，并控制图像的稳定输出。

8.如权利要求5所述的装置，其特征在于：将摄像头安装在车头正中心；将摄像头和陀螺仪安装在一起，摄像头传感器和惯性传感器通过硬件线路将数据送入串行器；串行器将数据发送到处理器主板的解串器，实现图像数据和惯性传感器数据的传输，最终由处理器进行图像处理实现视频防抖功能。