CN110505396A - 一种运动相机的低频大幅抖动抑制装置及方法 - Google Patents

Abstract

一种运动相机的低频大幅抖动抑制装置，通过在多自由度机械臂上安装摄像装置，并使用智能算法进行机械臂的控制来实现运动相机的低频大幅抖动抑制，控制组件有传感器模块和控制模块，控制模块根据机械臂自由度的个数，选用基于机器学习或数学建模的控制算法来进行机械臂的自动控制。一种运动相机的低频大幅抖动抑制方法，包括以下步骤：1)、采集抖动信息：机械臂上安置若干传感器来采集相机装置的实时抖动信息；2)、计算控制参数：客户端根据采集到的抖动信息进行抖动抑制所需控制参数的计算；3)、执行控制命令：客户端发送相应的控制命令，机械臂舵机根据解析后的控制命令作出响应动作。本发明实现了针对相机相对缓慢且大幅度的抖动稳定。

Description

一种运动相机的低频大幅抖动抑制装置及方法

技术领域

本发明属于相机稳定领域，具体涉及一种运动相机的低频大幅抖动抑制装置及方法。

背景技术

随着电子技术的发展，各种摄像设备已广泛普及。由于外部环境的影响，或成像设备自身干扰等因素，摄像设备易发生不规则抖动，导致成像模糊，难以获得清晰的图像。比如车载摄像系统，主要用于获取外部环境的实时画面，但是由于路面坑洼，导致获取的视频序列产生上下晃动，影响了视频的观感体验和后期的数字图像处理，如人脸识别，目标跟踪等。所以，解决运动相机的稳像问题尤为重要。

视频稳像技术按照作用机制可分为三类：机械稳像、光学稳像和电子稳像。机械稳像利用反馈控制原理，通过陀螺仪等传感器来检测摄像载体的抖动偏移，采用伺服结构构成闭环反馈控制平台，通过减小抖动误差来控制执行元件对稳像平台进行稳像，从而在成像输出前对摄像设备进行校正。在使用机械稳像的常规应用场景中，通常需求部署的器件体积较大，维护成本高昂，所以机械稳像一般应用在特种系统中如武器系统。光学稳像通过主动光学部件自适应调整光路，补偿由于摄像平台抖动造成的图像运动，达到稳定图像的目的。光学稳定方法不需稳定整个仪器，因此减轻了被稳定系统的重量。在军事，医疗仪器等方面，光学稳像具有广泛的应用。光学稳像系统功耗低，体积较小且稳像精度很高，但却存在着价格高昂，使用寿命短和维护复杂等缺点。电子稳像是利用计算机数字图像处理和电子技术的方法连续视频图像之间进行运动估计，然后对视频中的每一帧图像之间进行运动估计，然后对视频中的每一帧图像进行运动补偿处理得到稳定的图像。电子稳像具有易于操作，精度高，体积小，功耗低等优点。但对比于机械稳像和光学稳像，电子稳像在起步较晚，还是很多技术不成熟。

然而，目前的运动相机稳定技术并不能处理相对缓慢且大幅度的抖动。这种抖动多数是由相机载体运动所带来的不可避免的左右摇晃和上下起伏，目前存在的稳像技术并不能很好的解决此类抖动，亦或者造价过高难以普及。我们提出利用多自由度大行程的机械臂来实现对运动相机稳定的解决方案。利用算法根据检测到的摄像载体的抖动偏移，在变化的环境下，实时调整机械臂姿态，使位于机械臂上的成像设备能够拍摄出清晰流畅稳定的视频。与传统的伺服系统电机驱动的稳像平台相比，我们设计的基于智能算法的机械臂价格低廉，方便智能，能够解决目前手持设备，车载相机等成像设备的稳像问题，意义重大。

在中国专利CN108942881A公开的方法中，使用了固定块等机械硬件来抑制机械臂抖动的问题，当我们要求高精度的稳像时，稳像系统较为复杂和庞大，增加了系统的功耗和重量。这种机械式稳像方法存在着体积庞大，易受到机械频率限制的制约，造价也过于昂贵，功耗巨大等问题，不适于极限运动等对体积成本要求较高的场景。

在中国专利CN108115684A公开的方法中，使用了电子稳像的方法，电子稳像算法会对拍摄后的图像作数字图像处理，减弱或消除图像序列间不规则的平移，缩放等失真情况，但用这种方法处理后的图像边缘出现大量空白，如抖动幅度较大则从根本上无法稳定视频。当成像系统进行一定范围扫描、局部目标移动时易出现错误判断，如要求同时考虑平移、旋转和多目标观察时有一定的困难。

在中国专利CN207232510U公开的方法中，使用了光学稳像的方法，通过光学部件自适应调整光路，补偿由于摄像平台抖动造成的图像运动。该稳像原理存在着视场不一定稳定的问题，且该方法具有着功耗高，元器件多种、要求制造精细且安装起来复杂的局限性。在使用过程中出现微小的偏差可能导致结果的不尽人意。

在中国专利CN108052004A公开的方法中，使用了深度强化学习来实现工业机械臂的控制。与中国专利CN108052004A对比，本发明利用了机械臂来进行稳像的操作，在应用场景中本发明具有独创性，在底座移动的大前提下稳定相机，对机械臂的控制技术存在着本质区别。在优化目标上，本发明优化的是相机瞬间加速度的最小化。中国专利CN108052004A优化的是定位误差的最小化。本发明的相机稳定装置需要应对不可控的使用环境，在设计上要求本发明对人畜具备无害性且自身具备碰撞鲁棒性，然而中国专利CN108052004A所解决的问题设置在工业应用的大背景下，其应用环境是可控的，与本发明的设计需求存在本质区别。在制造成本上，本发明的目标是稳定相机到人眼不能明显察觉的程度即可，精度要求较低，在硬件配置上更为简单，只需一个加速度计即可，无需额外的传感器来提高电机系统的精度，也无需高精度的伺服电机系统，所以成本较低，制造更加简便。

在中国专利CN107360377A公开的方法中，提供了一种车载视频稳像方法。该方法利用了视频相邻两帧之间的特征点进行匹配，计算水平与垂直的平均运动矢量来进行运动补偿。但该方法的局限性在于只能抑制拍摄过程中主要出现的水平垂直等运动，而在现实应用场景中，相机在拍摄过程中出现抖动的不可能只在水平与垂直方向上。在一些特殊应用场景中，如相机进行了大幅抖动时，算法所要应对的图像场景完全不一样时，软件补偿的方法无法有效的处理。所以在处理大幅抖动时，则需借助本发明提供的稳定装置。

在中国专利CN206920790U公开的方法中，提供了一种相机的机械防抖装置。该专利公开的方法无法应对大幅抖动，并且需要拍摄人员的辅助其工作，且难以实现智能化扩展。

发明内容

为了克服现有的运动相机的无法应对大幅抖动的不足，本发明的目的是提供一种基于多自由度机械臂的运动相机的低频大幅抖动抑制装置及方法，实现运动相机在各种复杂环境中的稳定成像，可以针对大幅抖动且具备良好的智能化扩展，如结合计算机视觉技术，可同时实现相机稳定、目标追踪、智能拍摄角度调整等。

为了解决上述技术问题，本发明提供如下的技术方案：

一种运动相机的低频大幅抖动抑制装置，通过在多自由度机械臂上安装摄像装置，并使用智能算法进行机械臂的控制来实现运动相机的低频大幅抖动抑制，所述装置还包括控制组件，所述控制组件有传感器模块和控制模块，所述控制模块根据机械臂自由度的个数，选用基于机器学习或数学建模的控制算法来进行机械臂的自动控制。

进一步，所述装置还包括电子稳像功能模块或光学稳像功能模块。

再进一步，所述多自由度机械臂可将其上的摄像装置移动至以底座为中心的机械臂行程之内的三维空间中的任一位置。

传感器模块选用一个或两个加速度计，传感器模块置于底座或摄像装置上。

一种运动相机的低频大幅抖动抑制方法，所述方法包括以下步骤：

1)、采集抖动信息：机械臂上安置若干传感器来采集相机装置的实时抖动信息；

2)、计算控制参数：客户端根据采集到的抖动信息进行抖动抑制所需控制参数的计算；

3)、执行控制命令：客户端发送相应的控制命令，机械臂舵机根据解析后的控制命令作出响应动作。

本发明的有益效果表现在：有效解决了常用稳像方法对于低频大幅的抖动效果不佳的问题。同时，本发明对控制系统精度要求不高，可选用低成本舵机及传感器控制系统，易于实现，具备大规模普及的潜力。

本发明设计的机械臂价格低廉，可方便的结合各种智能算法，运动灵活，能够解决目前手持设备，车载相机等成像设备的稳像问题，并提供各种智能化扩展的能力。

本发明的控制模块根据机械臂自由度的个数，可选用强化学习算法或自控控制理论中的控制算法来进行机械臂的自动控制。

附图说明

图1是本发明使用的多自由度机械臂稳像装置结构示意图。

图2是本发明的控制程序流程图。

图3是本发明的机械臂指尖相对底座的模型示意图。

图4是本发明机械臂各个关节的角度及连杆的长度关系。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步的详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围，虽然只给出了垂直轴方向的稳定方案，但稍作扩展即可实现对相机姿态的全方位稳定。

参照图1～图4，一种运动相机的低频大幅抖动抑制装置，通过在多自由度机械臂上安装摄像装置，并使用智能算法进行机械臂的控制来实现运动相机的低频大幅抖动抑制，所述装置还包括控制组件，所述控制组件有传感器模块和控制模块，所述控制模块根据机械臂自由度的个数，选用基于机器学习或数学建模的控制算法来进行机械臂的自动控制。

进一步，所述装置还包括电子稳像功能模块或光学稳像功能模块。

再进一步，所述多自由度机械臂可将其上的摄像装置移动至以底座为中心的机械臂行程之内的三维空间中的任一位置。

传感器模块选用一个或两个加速度计(或陀螺仪及其他传感器)，根据不同算法将传感器模块置于底座或摄像装置上。

本发明对控制系统精度要求不高，可选用低成本舵机及传感器控制系统，设计的基于智能算法的机械臂价格低廉，方便智能，运动灵活，能够解决目前手持设备，车载相机等成像设备的稳像问题，并且具备大规模普及的潜力。

针对高频小幅的抖动，本发明可增加相应的电子稳像功能模块或光学稳像功能模块，使得整体稳像效果更加明显，所能应对的抖动类型更加全面。

本发明可配合机器学习算法实现更加智能的稳像装置，如快速适应各种复杂瞬变的环境，如提供更加智能的人机交互能力，亦或者实现智能化的目标跟踪和拍摄角度调整。

一种运动相机的低频大幅抖动抑制方法，所述方法包括以下步骤：

1)、采集抖动信息：机械臂上安置若干传感器来采集相机装置的实时抖动信息；

2)、计算控制参数：客户端根据采集到的抖动信息进行抖动抑制所需控制参数的计算；

3)、执行控制命令：客户端发送相应的控制命令，机械臂舵机根据解析后的控制命令作出响应动作。

本发明使用的机械臂稳像装置的结构示意图如图1所示，机械臂共有六个舵机，如图依次编号为1-6号，每个舵机的旋转角度为0°-180°。1号舵机控制机械臂的末端执行器运动，2号舵机控制末端执行器绕y轴的旋转，3号舵机控制机械臂指尖的绕x轴旋转，4号、5号舵机可绕x轴转动控制了指尖在y轴、z轴上的位置，6号舵机控制机械臂整体绕z轴旋转。

机械臂以底座为中心，在底座上安置加速度计和控制器。摄像装置设置在机械臂末端的一号舵机处。摄像装置可随机械臂移动至机械臂行程之内的三维空间中的任一位置。

本发明的控制程序流程图如图2所示，与程序建立连接后，会一直接收程序发送过来的加速度值数据，本发明使用的加速度计的量程为±2g。

在可以准确获得机械臂在z轴的加速度值后，可以通过加速度的变化来计算当前机械臂的速度、在z轴上的位移和舵机的角度。之后每若干个时间间隔调整一次机械臂指尖相对底座的高度z。

本发明机械臂指尖在z轴上姿态调整主要涉及三、四、五号舵机。机械臂指尖相对底座的模型如图3所示，表示机械臂指尖相对于底座的最高点以及最低点，图中右边模型4号舵机已达最大旋转角180°。

根据匀加速直线运动公式求出在Δt时间内机械臂的位移情况：根据应用场景不同，可设置来针对性的抑制瞬时大加速度的抖动。由于这种抖动方式在实验室中难以重现，故采用上式方式估计Δz，使得机械臂能够更好更明显的抑制只具备小加速度的抖动。为防止v₀的误差累积，我们在加速度持续一段时间为0时，亦或者|v₀|＜0.1时将v₀置为0。在接收加速度值后算出控制命令并调整机械臂姿态实现机械臂指尖的稳定功能。

指尖期望高度z与当前高度z₀的关系为z＝z₀-Δz，z和机械臂各个关节的角度及连杆的长度关系如图4所示，三号与四号舵机之间的连杆长89mm，四号与五号舵机之间的连杆长104mm。这两根连杆和当前指尖高度z组成了一个三角形，问题转变为求解该三角形α角和β角的角度。在三角形三边已知的情况下可利用三角形余弦公式求出各角的余弦值，将89、104、z带入公式与公式可求得角α以及角β的余弦值。再通过反三角函数即可得到角α和角β的值。180-β、90+α+β、90+α分别表示在指尖目标高度z下舵机三、四、五的旋转角。

计算完所需的控制参数后，客户端发送相应的控制命令。解析控制命令后，机械臂上的舵机做出控制命令相应的响应动作。

Claims (5)

1.一种运动相机的低频大幅抖动抑制装置，其特征在于，通过在多自由度机械臂上安装摄像装置，并使用智能算法进行机械臂的控制来实现运动相机的低频大幅抖动抑制，所述装置还包括控制组件，所述控制组件有传感器模块和控制模块，所述控制模块根据机械臂自由度的个数，选用基于机器学习或数学建模的控制算法来进行机械臂的自动控制。

2.如权利要求1所述的一种运动相机的低频大幅抖动抑制装置，其特征在于，所述装置还包括电子稳像功能模块或光学稳像功能模块。

3.如权利要求1或2所述的一种运动相机的低频大幅抖动抑制装置，其特征在于，所述多自由度机械臂可将其上的摄像装置移动至以底座为中心的机械臂行程之内的三维空间中的任一位置。

4.如权利要求1或2所述的一种运动相机的低频大幅抖动抑制装置，其特征在于，传感器模块选用一个或两个加速度计，传感器模块置于底座或摄像装置上。

5.一种如权利要求1所述的运动相机的低频大幅抖动抑制装置实现的方法，其特征在于，所述方法包括以下步骤：

1)、采集抖动信息：机械臂上安置若干传感器来采集相机装置的实时抖动信息；

2)、计算控制参数：客户端根据采集到的抖动信息进行抖动抑制所需控制参数的计算；

3)、执行控制命令：客户端发送相应的控制命令，机械臂舵机根据解析后的控制命令作出响应动作。