CN1571475A - 摄像机图像增稳方法及其辅助装置 - Google Patents

Abstract

摄像机图像增稳方法及其辅助装置是一种减少在手持和运动状态下使用摄像机时机身抖动对图像质量影响的方法和装置，其利用角速度传感器实时检测摄像机绕其空间三轴的运动角速度并与图像信号同步记录，在后处理软件中经积分获得两祯图像之间摄像机自身姿态角的变化量，保留运动角速度中的缓变低频成分所对应的姿态角变化量，剔除抖动角速度成分所对应的姿态角变化量，再通过平移和旋转图像，去除图像抖动。该装置由三路相同的电路组成，每一路处理电路由信号采集电路部分的角速度检测电路、信号处理电路部分的电平移位电路、电压/频率变换电路、分频电路、波形变换电路、信号合成与幅度调整电路顺序串联组成，输出信号送至摄像机录音接口。

Description

摄像机图像增稳方法及其辅助装置

                           技术领域

本发明是一种减少在手持和运动状态下使用摄像时机身抖动对图象质量影响的方法和装置，属于摄像机辅助装置的设计及制造的技术领域。

                           背景技术

随着科学技术高度发展和人民生活水平不断提高，摄像机在家庭、工业、军事等领域的应用日益广泛。然而在手持或运动状态下使用时，摄像机机身的抖动导致图像抖动或模糊，严重影响了视觉效果和对图象的识别、处理和利用。

从运动学的角度，摄像机的抖动运动可分解为沿空间三轴的平移抖动和绕空间三轴的转角抖动，其中由于平移抖动对图像的影响与摄像机至被摄物体的距离无关，微量的平移抖动造成的图像抖动是很轻微的，而转角抖动对图像的影响取决于抖动角度与摄像机至被摄物体距离的乘积，因此转角抖动是导致图像抖动的主要因素。

长期以来，人们也研究过一些去除图像抖动的方法。主要有两种：一是沿袭传统的在运动体上稳定单个组件的办法，即测量摄像机的转角抖动，通过机电反馈回路，用执行机构使摄像机的镜头作反方向的等量抖动，从而抵消摄像机的抖动，保持图像稳定和清晰；二是随着计算机性能的提高和图像处理理论和技术的不断发展，人们试图通过对图像的计算处理，用纯软件的方法去除图像抖动，即寻找图像中的对应点，通过平移和旋转图像，达到使图像清晰的目的。

机电反馈回路的驱动执行机构直接与镜头相联，成像与调焦机构也与镜头一起运动，大大增加了摄像机的结构复杂性并导致成本上升和体积增大，同时机电机构在可靠性、寿命、抗环境能力乃至维护保养等方面都远比不上电子元部件，这些缺点直接影响了通过机电回路稳定镜头从而消除图像抖动这一方法在摄像机中的应用。

软件去抖动的方法依赖于相邻两祯图像中的对应参照点的寻找及该参照点在图像中应有的位移量的求取。当被摄对象和摄像机本身都运动(尤其具有转角运动)时，由于摄像机本身的角运动量未知，理论上已经证明通过图像参照点反求摄像机的角运动量和被摄对象的运动参数只能获得不定解(即无穷多组解)。通过寻找多个参照点、搜索最优逼近解的方法在理论方法和实现技术上难度都很大，同时效果也很有限。正由于此，虽然有人试图开发这类图像增稳后处理软件，但进展缓慢，效果也不理想，在摄像机中尚无应用。

然而，如果在相邻两祯图像之间摄像机自身的角运动量为已知，那么上述软件去抖动的方法在理论上就不存在问题，实现技术也会得到大大简化。

                            发明内容

技术问题：针对以上所述存在的问题，本发明提供一种摄像机图像增稳方法及其辅助装置，该方法使用辅助装置测量并与图像同步记录摄像机的角抖动信息，通过图像增稳软件的后处理，去除因摄像机抖动导致的图像抖动和模糊，改善图像清晰度。

技术方案：摄像机正常摄像时的角运动速度是缓慢而平稳的，因此，其实际运动角速度中的交变成分即为抖动角速度。本发明利用角速度传感器实时检测摄像机绕其空间三轴的运动角速度并与图像信号同步记录，在后处理软件中经积分获得两祯图像之间摄像机自身姿态角的变化量，保留运动角速度中的缓变低频成分所对应的姿态角变化量，剔除抖动角速度成分所对应的姿态角变化量，进而通过平移和旋转图像，去除因摄像机抖动或振动导致的图像抖动，实现图像稳定，改善图像清晰度。从而解决了后处理软件中估计摄像机姿态角变化量这一难题，极大地降低了图像增稳软件的难度和复杂性，使得通过后处理软件处理改善图像清晰度这一技术途径成为现实。

该方法后处理软件的操作步骤为：

1)、读取相邻两祯图像数据，

2)、寻找两祯图像上的参照对应点，计算两祯图像间的平移量和转角，

3)、从录音通道读出该两祯图像之间摄像机的运动角速度，作谱分析得其低频分量，

4)、求取与低频分量对应的摄像机角运动量，

5)、根据摄像机角运动量求图象应有平移量和转角，修正第二祯图像，

6)、将第二祯图像作为第一祯，读取后续一祯图像作为第二祯，然后再返回步骤2。

本发明的摄像机图像增稳方法的辅助装置，包括信号采集电路和信号处理电路，该装置由分别测量和处理绕空间三轴运动角速度的三路相同的电路组成，每一路电路由信号采集电路部分的角速度检测电路、信号处理电路部分的电平移位电路、电压/频率变换电路、分频电路、波形变换电路、信号合成与幅度调整电路顺序串联组成，输出信号送至摄像机录音接口。

在第一路处理电路中，角速度检测电路中的角速度传感器U11的输出端“OUT”接电平移位电路中的运算放大器U2A的反向输入端，运算放大器U2A的输出端接电压/频率变换电路中的电压/频率变换器U13的“-IN”端，电压/频率变换器U13的“FO”端接分频电路中的D触发器的“CLK1”端，分频电路的输出端“Q1”接波形变换电路中的运算放大器U15的反向输入端，运算放大器U15的输出端接双二阶低通滤波器U16的“INA”端，双二阶低通滤波器U16的输出端“OUTB”接信号合成与幅度调整电路中的电阻R117，三路信号合成后经隔直电容接至摄像机的录音接口。

角速度检测电路输出三路电压分别与摄像机绕空间三轴的运动角速度成比例；电平移位电路将这三路电压分别转移到不同的电平范围，保证互不重叠；因而电压/频率变换电路能够将这三路电压转换成处于三个互不重叠的频率范围内的脉冲信号；分频电路将三路脉冲信号分别二分频成为方波，以减少其中的谐波成分，便于获得良好的正弦波；波形变换电路将三路方波变换为三路正弦波，各自的频率不变；信号合成与幅度调整电路将三路正弦波合成为一路信号，并将幅度调整为摄像机录音电平后输出至摄像机录音接口。

有益效果：本发明克服了使用纯硬件手段去除摄像机抖动带来的结构复杂、体积大、成本高和可靠性低的问题，克服了使用纯软件方法估计摄像机运动角速度在理论上结果的不确定性和在软件实现技术上的复杂性。通过硬件和软件相结合，使用硬件实时测量和记录摄像机的运动角速度，在摄像机停机时通过内置软件的后处理，消除因机身抖动造成的图像模糊，改善图像清晰度，实现图像稳定。

通过提供不同的偏置电压，将三路角速度传感器的输出电压转移到不同的电平范围，进而通过电压/频率变换，使他们处于不同的频率范围，经二分频去除各路脉冲中的奇次谐波成分，最终通过滤波获得三路频率互不重叠，但都处于音频范围的正弦波，经合成压缩为一路信号，从而可以只使用摄像机的一个录音声道就可以与图像同步地记录摄像机绕空间三轴的角运动速度。

随着集成电路技术的高度发展和微机械陀螺仪的诞生，小型化的传感器组件和处理电路可内置于摄像机，并不显著增加其结构的复杂性。同时数字摄像机已经成为摄像机的主流产品，图像处理可由已经内嵌于摄像机的处理器进行，不需另外增加微处理器。

                             附图说明

图1为摄像机图像增稳辅助装置的组成框图。其中有角速度检测电路1、电平移位电路2、电压/频率变换电路3、分频电路4、波形变换电路5、信号合成与幅度调整电路6、摄像机录音接口7。

图2为本发明之摄像机图像增稳辅助装置的电原理线路图。

图3为后处理软件的流程框图。

                            具体实施方式

图2为本发明之摄像机图像增稳辅助装置的原理线路图，各元件取下列型号即可实现：

角速度传感器：U11、U21、U31：GYROCHIPII-QRS14；

运算放大器：U2：A、U2：B、U2：C：LF444；

电压→频率变换器：U13、U23、U33：AD650；

D触发器：U14、U24、U34：CD4013；

运算放大器：U15、U25、U35：U16、U26、U36内的组件；

双二阶低通滤波器；U16、U26、U36：MAX273；

稳压二极管：Z11、Z21、Z31：2DW232；

以下详细说明该装置的工作原理。

首先定义摄像机的坐标轴和角运动。OX轴沿摄像方向，因而OX轴垂直于摄像机的成像面；OY轴在成像面内水平指向摄像机左侧；OZ轴在成像面内垂直于OY轴指向天顶。摄像机绕OX轴的转动称为侧倾，右倾为正；绕OY轴的转动称为俯仰，下俯为正；绕OZ轴的转动称为横扫，左扫为正。

在实际摄像时，摄像机的运动不会过于剧烈，认为在俯仰和横扫方向的角速度不超过±25°/S，在侧倾方向的角速度不超过±15°/S。

角速度传感器U11、U21和U31的型号均为GYROCHIPII-QRS14。其中角速度传感器U11、U21分别测量摄像机在横扫和俯仰方向的角速度，此二角速度在±25°/S范围内时，角速度传感器U11、U21输出电压均在2.5V±1.25V范围；角速度传感器U13测量摄像机在侧倾方向的角速度，当该角速度在±15°/S范围内时，角速度传感器U31输出电压在2.5V±0.75V范围。

运算放大器U2为内含四个运算放大器的集成电路块，型号为LF444，这里使用其中三个运算放大器U2A、U2B和U2C。Z11、Z21、Z31均为6.2V稳压二极管，分别由12V电源通过电阻R105、R205、R305提供工作电流，经过电阻R103与R104、R203与R204、R303与R304的分压，运算放大器U2A、U2B和U2C的“+”输入端分别得到2.125V、3.625V和4.875V的偏置电压，电阻R101与R102、R201与R202、R301与R302取值相等，因而运算放大器U2A、U2B和U2C的输出电压范围分别为1.75V±1.25V、4.75V±1.25V和7.25V±0.75V。

电压→频率变换器U13、U23、U33的型号均为AD650，三者的外围元件参数均相同，输入电压范围0-10V，输出脉冲频率范围0-40KHz。在运算放大器U2A、U2B和U2C输出电压的作用下，电压→频率变换器U13、U23、U33输出脉冲的频率范围分别为2KHz-12KHz、14KHz-24KHz和26KHz-32KHz。

D触发器U14、U24、U34为CMOS D触发器，型号均为CD4013，分别将各自的输入脉冲二分频为方波，以便剔除其中的奇次谐波分量。因此D触发器U14、U24、U34输出方波的频率范围分别为1KHz-6KHz、7KHz-12KHz和13KHz-16KHz。

运算放大器U15、U25、U35为集成在双二阶低通滤波器U16、U26、U36内部的运算放大器，与各自的外围阻容元件一起，在降低方波电平幅度的同时构成一阶低通滤波器。位于运算放大器U15、U25、U35输出端的阻容元件即电阻R113和电容C14、电阻R213和电容C24、电阻R313和电容C34组成三个无源低通滤波器。

双二阶低通滤波器U16、U26、U36内部均有两个二阶低通滤波器，型号为MAX270，各自串联为四阶低通滤波器。通过MAX270的数据线引脚D0-D6，将二阶低通滤波器U16、U26、U36的截止频率分别设置为6KHz、12KHz和16KHz。

经过六阶滤波，三路信号成为频率均在音频范围内但互不重叠、波形良好的正弦波。电阻R117、R217、R317与电阻R组成求和电路，将三路信号合成为一路信号，同时选择电阻R的阻值使输出信号的幅值与摄像机录音接口的电平要求相适应。电容C隔离前面信号中的直流分量，只允许交流信号输出至录音接口。

图3为后处理软件的主要流程。

首先读取连续两祯图像的数据，寻找两祯图像上的参照对应点，根据参照对应点的相对位置关系计算两祯图像之间的相对平移量和转角；从录音通道读取此两祯图像之间摄象机的运动角速度，经谱分析获得其低频分量，积分求得与此低频分量对应的转角即为在此两祯图像之间摄象机绕其空间三轴应有的转角，据此求得两祯图像之间应有的相对平移量和转角，进而修正第二祯图像。

保存上述第一祯图像，将上述第二祯图像作为第一祯图像，读取后一祯图像作为第二祯图像，再进行上述处理。循环上述过程直至所记录的全部图像处理完毕。

1在已经提出的技术中，微机械陀螺仪在摄像机中多用于镜头稳定闭环回路。本发明为微机械陀螺仪在摄像机中创立了一种新的应用方法，即用于与图像同步地测量和记录摄像机的角运动信息，此使用方法和测量记录的信息可用于图像去抖动、被摄场景和特定对象物体的识别和分析研究、图像处理、计算机图形学研究等科学和技术领域。

2放弃通过稳定摄像机镜头达到图像清晰的纯硬件方法，从而避免了由此产生的结构复杂、体积大、成本高、可靠性低的缺点；放弃通过软件估计摄像机角运动参数进而通过图像处理达到图像清晰的纯软件方法，从而避免了由此产生的技术难度大、计算量大、软件复杂尤其是结果具有不确定性等缺点。通过硬件和软件相结合，使用硬件实时测量摄像机的角运动信号并与图像同步记录，在摄像机停机期间通过内置软件的后处理，去除图像抖动，实现图像稳定和清晰。

3将微机械陀螺仪测得的摄像机绕空间三轴的角运动信号，分别转移到不同的电平范围，再通过电压/频率变换，分频、滤波和合成，压缩为一路音频信号，从而可以只使用摄像机的一个录音声道，与图像同步地记录摄像机绕空间三轴的角运动信息，摄像机的其他录音声道仍可用于记录摄像场景的声音。

4本发明的技术和方法不仅可用于去除手持摄像机的图像抖动，而且可用于处于车载、直升机载、无人机载等多种振动环境中的摄像机的图像去抖动，实现图像稳定和清晰，以利于对特定对象的识别、研究与处理。

Claims (4)

1、一种摄像机图象增稳方法，其特征在于利用角速度传感器实时检测摄像机绕其空间三轴的运动角速度并与图像信号同步记录，在后处理软件中经积分获得两祯图像之间摄像机自身姿态角的变化量，保留运动角速度中的缓变低频成分所对应的姿态角变化量，剔除抖动角速度成分所对应的姿态角变化量，进而通过平移和旋转图像，去除因摄像机抖动或振动导致的图像抖动，实现图像稳定，改善图像清晰度。

2、根据权利要求1所述的摄像机图像增稳方法，其特征在于该方法后处理软件的操作步骤为：

1)、读取相邻两祯图像数据，

2)、寻找两祯图像上的参照对应点，计算两祯图像间的平移量和转角，

3)、从录音通道读出该两祯图像之间摄像机的运动角速度，作谱分析得其低频分量，

4)、求取与低频分量对应的摄像机角运动量，

5)、根据摄像机角运动量求图象应有平移量和转角，修正第二祯图像，

6)、将第二祯图像作为第一祯，读取后续一祯图像作为第二祯，然后再返回步骤2。

3、一种适用于权利要求1或2所述的摄像机图像增稳方法的辅助装置，包括信号采集电路和信号处理电路，其特征在于该装置由分别测量和处理绕空间三轴运动角速度的三路相同的电路组成，每一路电路由信号采集电路部分的角速度检测电路(1)、信号处理电路部分的电平移位电路(2)、电压/频率变换电路(3)、分频电路(4)、波形变换电路(5)、信号合成与幅度调整电路(6)顺序串联组成，输出信号送至摄像机录音接口(7)。

4、根据权利要求3所述的摄像机图像增稳辅助装置，其特征在于在第一路处理电路中，角速度检测电路(1)中的角速度传感器(U11)的输出端“OUT”接电平移位电路(2)中的运算放大器(U2A)的反向输入端，运算放大器(U2A)的输出端接电压/频率变换电路(3)中的电压/频率变换器(U13)的“-IN”端，电压/频率变换器(U13)的“FO”端接分频电路(4)中的D触发器的“CLK1”端，分频电路(4)的输出端“Q1”接波形变换电路(5)中的运算放大器(U15)的反向输入端，运算放大器(U15)的输出端接双二阶低通滤波器(U16)的“INA”端，双二阶低通滤波器(U16)的输出端“OUTB”接信号合成与幅度调整电路(6)中的电阻R117，三路信号合成后经隔直电容C接至摄像机录音接口(7)。

Images