CN111882484B - 一种潜水成像系统高速无缝图像拼接中伺服控制方法 - Google Patents

Abstract

本发明公开了一种潜水成像系统高速无缝图像拼接中伺服控制方法，通过对电机运转方向控制，再电机自身参数优化控制，即对电机控制信号PWM波形死区和偏置设置；保证电机不会在拼接过程中出现回弹、卡顿、抖动现象；保证图像清晰、稳定；对电机最大速度进行优化控制，即对电机控制信号PWM波形饱和设置；保证拼接速度不小于相机最小曝光时间要求；保证电机不会在拼接过程中出现阶梯状痕迹、亮暗条纹现象；最后完成电机控制信号PWM优化，将优化后电机控制信号PWM波形送出；给功率放大器放大后，送电机驱动负载运动。该项潜水成像系统图像拼接技术具有措施有效、执行时间短、通用性强等优点。

Description

一种潜水成像系统高速无缝图像拼接中伺服控制方法

技术领域

本发明属于潜水成像系统图像处理技术领域，具体涉及一种潜水成像系统高速无缝图像拼接中伺服控制方法。

背景技术

图像拼接过程中，伺服系统处于匀速搜索状态，这时速度环起主要作用，伺服系统速度回路主要由执行机构(电机)、角度传感器(陀螺)、伺服控制器三部分组成负反馈系统，伺服控制器采集当前伺服运行速度信息(陀螺输出信号)，经校正后形成控制量，该控制量经功率放大器进行信号放大后，驱动电机运动。

图像拼接技术作为潜水成像系统的一项关键技术，工作原理为：上位机发送拼接指令给拼接模块，拼接模块接收到拼接命令的时刻，作为拼接开始的起始时刻，拼接模块此时采集的码盘传送的伺服系统的位置信息，作为拼接动作开始的起始位置和拼接判断到位信号，拼接模块向伺服控制器发送拼接命令，伺服系统开始执行拼接动作，图像拼接时伺服转台启动进行匀速圆周运动，此时伺服系统速度环起主要作用(即伺服控制器采集当前伺服运行速度信息(陀螺给出)，经拼接控制算法后形成控制量，经功率放大器进行信号放大后，驱动电机进行拼接)，图像拼接模块根据目前的方位视场大小，判断伺服旋转的角度略小于方位视场角时，然后对图像重叠部分进行比对，最后将重叠部分进行对齐完成拼接，从而形成一幅完整的图像。

伺服系统采用方位旋转进行图像拼接的方式，采用全局曝光的CCD相机(卷帘CMOS相机在运动过程中拍摄的图像会有明显的拖影)，而全局曝光相机的图像清晰程度与曝光时间有关，全局曝光相机的曝光时间与成像清晰度有直接关系，如果两幅图像拼接的间隔时间接近相机的最小曝光时间或者小于相机成像清晰所需要的曝光时间，相机的成像也会比较暗，成像不清晰。因此，在图像拼接过程中，由于伺服方位旋转过程中，如果拼接速度不均匀，会造成在相同的拼接角度下，相机曝光时间小于相机最小曝光时间要求，完成拼接的图像有明显的阶梯状的拼接痕迹，和亮暗条纹；其中阶梯状拼接如图1所示，亮暗条纹如图2所示。所以图像拼接过程中保持伺服系统匀速运动是关键一步。

拼接过程中图像不清晰主要是因为与陆地使用环境不同，海上环境相对单一，各帧图像之间的特征点基本相同，因此很难只通过纯粹的图像拼接算法进行拼接。此时，需要借助码盘、陀螺以及惯导等传感器的信息，来保证拼接的质量。而要使用这些信息，就需要保证以下两点：1)信号采集的同步2)传感器的精度。因此，我们首先通过设计保证系统信号采集同步，即摄像机视频曝光的时间与角度传感器采集的时间一致，同时选取高精度的传感器。

发明内容

有鉴于此，本发明针对伺服系统在图像拼接过程中出现阶梯状痕迹、亮暗条纹、不清晰等现象，提出一种潜水成像系统高速无缝图像拼接中伺服控制方法，该方法可以有效保证电机在拼接过程中匀速运行，可以提高产品在高速图像拼接过程中伺服运行的平稳性，实现图像高速、无缝拼接。

具体的实现步骤如下：

一种潜水成像系统高速无缝图像拼接中伺服控制方法，上位机发送拼接指令给拼接模块，拼接模块接收到拼接命令的时刻，作为拼接开始的起始时刻，拼接模块此时采集的码盘传送的伺服系统的位置信息，作为拼接动作开始的起始位置和拼接判断到位信号，拼接模块向伺服控制器发送拼接命令，伺服系统开始执行拼接动作，图像拼接时伺服转台启动进行匀速圆周运动，伺服控制器采集光纤陀螺给出的当前伺服运行速度信息并对速度环进行控制，经拼接控制算法后形成电机控制量，由此驱动电机进行图像拼接；图像拼接模块根据目前的方位视场大小，判断伺服旋转的角度略小于方位视场角时，然后对图像重叠部分进行比对，最后将重叠部分进行对齐完成拼接，从而形成一幅完整的图像，在对伺服系统中电机的控制方法为：

在图像拼接过程中，由于伺服方位旋转过程中，伺服系统会出现速度不均匀现象，如果拼接速度快，会造成在相同的拼接角度下，相机曝光时间小于相机最小曝光时间要求，完成拼接的图像有明显的阶梯状的拼接痕迹，和亮暗条纹；其中阶梯状拼接如图1所示，亮暗条纹如图2所示。

伺服控制器捕捉送出的PWM波形，判断PWM波形符号，如果为负，则将其变为正值，控制电机反转；

根据PWM波形的取值对电机自身参数优化控制，具体为：PWM取值范围在100～200之内时，PWM输出为零，否则偏置设置为10～50输出；

根据PWM波形的取值对电机最大速度进行优化控制，具体为：PWM大于临界值6000时，PWM输出为6000；不大于临界值6000时，PWM波形直接输出；

完成电机控制信号PWM优化后，将优化后电机控制信号PWM波形输出给电机，由此实现图像拼接。

较佳的，在图像拼接开始时，将角度传感器信号直接传送给图像拼接模块，保证信号采集的同步。

本发明具有如下有益效果：

本发明的一种潜水成像系统高速无缝图像拼接中伺服控制方法，通过对电机运转方向控制，再电机自身参数优化控制，即对电机控制信号PWM波形死区和偏置设置；保证电机不会在拼接过程中出现回弹、卡顿、抖动现象；保证图像清晰、稳定；对电机最大速度进行优化控制，即对电机控制信号PWM波形饱和设置；保证拼接速度不小于相机最小曝光时间要求；保证电机不会在拼接过程中出现阶梯状痕迹、亮暗条纹现象；最后完成电机控制信号PWM优化，将优化后电机控制信号PWM波形送出；给功率放大器放大后，送电机驱动负载运动。该项潜水成像系统图像拼接技术具有措施有效、执行时间短、通用性强等优点。

附图说明

图1为具有阶梯状拼接痕迹的图像；

图2为具有亮暗条纹的拼接痕迹的图像；

图3为PWM波形校正流程图；

图4为陀螺与图像拼接模块的对接方式流程图；

图5为角度传感器与图像拼接模块的对接方式流程图；

图6为PWM校正方法流程图；

图7为采用本发明方法的图像实际拼接效果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

潜水成像系统，图像拼接和显示功能，图像拼接模块要求电视在16°×9°视场条件下，分辨率1280*720，对图像进行360°全景拼接，且拼接图像中需要有角度刻度标尺，同时能显示舰船的艏艉向以及当前的视场范围。

拼接后的图像无明显的拼缝，且具备旋转校正功能，同时还具备亮度均衡功能，保证拼接后的图像无明显的亮度梯度。

硬件结构：图像拼接模块具有多个高性能处理器，包括FPGA+DSP+CPU+GPU及大内存配置，能够满足多种复杂场景的应用；DSP+FPGA架构，实现了需求独特、灵活、功能强大的DSP+FPGA高速数据采集处理系统；CPU+GPU采用NVIDIA Pascal^TM构架，外形小巧、节能高效，为机器学习设备提供卓越的速度和能效。

首先，选取高精度速度传感器：

方位测速元件选择光纤陀螺，光纤陀螺具有宽带宽，性能稳定的优点。俯仰测速元件选择双轴MEMS陀螺：本系统光纤陀螺指标如下：

a)测量范围：-200(°)/s～+200(°)/s；

b)全温零偏稳定性(1σ)：≤10(°)/h；

c)全温零偏重复性(1σ)：≤10(°)/h；

d)标度因数非线性度(1σ)：不大于400ppm；

e)标度因数不对称性(1σ)：不大于400ppm；

f)标度因数重复性(1σ)：不大于400ppm；

g)随机游走系数：不大于0.1(°)/h1/2；

h)带宽：大于300Hz；

i)启动时间：5s；

j)输出方式：RS422串口；

k)输出频率：0.25ms，4kHz。

本系统选用的高精度MEMS陀螺指标如下：

a)测量范围：-300(°)/s～+300(°)/s；

b)零偏稳定性(1σ)：≤10(°)/h；

c)零偏重复性(1σ)：≤10(°)/h；

d)带宽：大于150Hz；

e)分辨率：0.01°/s；

f)启动时间：1s；

g)稳定时间：6s；

h)输出方式：RS422串口；

i)输出频率：0.25ms，4kHz。

俯仰选用高精度双轴MEMS陀螺，一是MEMS陀螺体积小，便于安装；二是双轴MEMS陀螺安装在系统光轴上，能测量出光轴在方位、俯仰上的运动速度，通过方位和俯仰方向上的速度闭环，隔离方位、俯仰方向的扰动，以及横滚上扰动造成的目标在方位和俯仰方向上的平移，通过两轴两框架结构达到三轴稳定的效果(该结构不能消除目标的旋转，可通过图像处理的方式消除目标旋转)。

陀螺的信号传输如图4所示，陀螺数据均是通过控制板接收之后，以数据包的形式，通过RS422串口传递给图像拼接模块，数据的发送周期为0.5ms，假定光端机的信号延迟忽略不计，则陀螺信号到图像拼接模块的延迟最大为0.5ms，若指向器运转速率为45°/s，则0.5ms内，运行了0.0225°，若在16°视场内，拼接视频时，单个像元对应的视场角为16/1280＝0.0125°，由此可知，信号传输延迟造成了两个像元的偏移，若在10°视场内拼接，则单个像元对应的视场角为10/1280＝0.0078°，信号传输延迟造成了3个像元的错位。

陀螺的数据输出周期为4KHz,其相对于控制板的通信频率要高一倍，因此，陀螺本身的数据更新率完全满足控制板的采样要求，这就意味着图像拼接模块所使用的陀螺信息的“时间尺度”由控制电路板的通信周期确定，而该通信周期内并不能保证转台的运转不超过1个像元对应的角度，因此，必然会造成拼接误差，因此，将陀螺信号作为绝对的角度尺寸进行图像拼接，会造成图像拼接不稳定。

因此，为了更好的进行图像的精细拼接，必须借助高精度的码盘信息。

然后选取高精度位置传感器：

本系统中角度传感器用于测角和视频图像拼接。系统要求测角误差：≤3mrad(1σ)，选用进口码盘，其主要性能参数为：

电源电压：DC5V±10％；

功率：≤1.25W；

工作温度：-40℃～80℃；

精度：±2.69角秒；

输出方式：BISS。

2.69角秒＝0.013mrad，角度精度远远高于系统对测角精度的要求；

角度传感器的信号传输流程如图5所示。

如图6所示，方位和俯仰码盘输出的BISS信号直接传输给光端机，光端机直接输出给图像拼接模块，其中，光端机的光电转换和数据传输均是以物理转换的形式进行，并没有通过数据打包处理，因此，整个数据传输过程的延时在ns级，可以认为没有延时，而BISS的数据输出频率最高可达25KHz，为了保证信号的传输质量，我们选取12.5KHz，通过上一节的计算可知，单个像元在最小视场下，对应的角度为2.77°/1280*3600＝7.79”,而对应的码盘精度为5.4”，可以分辨瞬时视场，从这两方面来说，码盘的精度和数据输出满足图像拼接的使用要求，但仍需验证其是否满足转台运转的非均匀性指标要求：

转台速度非均匀性对图像拼接影响分析：

假设条件：

水平视场角：A；

水平分辨率：K；

角度采样率：ε；

拼接角度判定阈值一般需要选取瞬时视场角的1/2；因此，该阈值：

转台运转的非均匀性为α，转台运转的速度为ω，则

通过计算可得：

根据本实施例实际参数取：

A＝10°

K＝1280

ω＝45°/s

ε＝12.5KHz

通过计算可得α≤8.5％；而实际指标要求α≤10‰，完全满足指标要求，因此，码盘各参数的选取是合理的。

在拼接过程过，先设置信号采集的同步：

如何保证信号采集的同步，即摄像机视频曝光的时间与角度传感器采集的时间一致。本系统的设计思路是将角度传感器信号直接传送给图像拼接模块，该信号的刷新率可以达到10000Hz/s，远远高于视频的刷新率。根据转台的最大转速45°/s，可以知道，角度信号每刷新一次，转台的转动角度为45°/10000＝0.0045°。假设拼接时的视场角为10°，则瞬时视场为10/1280＝0.0078°，因此角度信号的刷新频率满足使用要求。

图像拼接模块采集到视频同步信号的同时，记录角度值，根据转台的速度选取图像的中间一定大小的区域作为拼接的子图，同时以码盘输出的0位角度值作为零点校正，对每幅全景图进行起始点位的校正，防止拼接图片出现滑移，通过上面的计算可知，角度传感器的精度至少要高于拼接时的瞬时视场，而本发明选取的码盘精度为0.0015°，完全满足精度要求。此时使用拼接子图完成的拼接图是模糊拼接，之后需要对子图间使用边缘匹配算法，对拼接图进行校正，使两张子图更好的衔接在一起，最后对该拼接图进行色彩和亮度均衡，得到更好的视觉效果，该算法可满足50Hz/s的视频流拼接处理。

然后对电机进行匀速控制，保证拼接过程中图像质量，具体为：

在图像拼接过程中，由于伺服方位旋转过程中，伺服系统会出现速度不均匀现象，如果拼接速度快，会造成在相同的拼接角度下，相机曝光时间小于相机最小曝光时间要求，完成拼接的图像有明显的阶梯状的拼接痕迹，和亮暗条纹；其中阶梯状拼接如图1所示，亮暗条纹如图2所示。

为保证伺服系统在拼接过程中速度均匀，实现图像高速无缝拼接，我们对电机的控制信号PWM波形进行校正，让电机在拼接全过程中，实现匀速运动，保证拼接过程中图像质量。

电机控制信号PWM波形校正方法流程图如图6所示，具体实施方法如下：

判断电机运转方向；

伺服控制器捕捉送出的PWM波形，判断PWM波形符号，如果为负，则将其变为正值，电机反转，如果为正值，电机正转，向下进行；

电机自身参数优化控制；即对电机控制信号PWM波形死区和偏置设置；保证电机不会在拼接过程中出现回弹、卡顿、抖动现象；保证图像清晰、稳定；

为保证电机匀速运行，需对电机自身参数进行优化控制；对电机进行死区设置和偏置设置；PWM取值范围在150之内，PWM输出为零，否则偏置为10输出；其中死区150和偏置10为调试值，PWM死区经验值为100～200，偏置经验值为10～50；

对电机最大速度进行优化控制，即对电机控制信号PWM波形饱和设置；保证拼接速度不小于相机最小曝光时间要求；保证电机不会在拼接过程中出现阶梯状痕迹、亮暗条纹现象；

饱和设置；PWM大于临界值6000时，PWM输出为6000；不大于临界值时，等值输出；其中6000的计算为同行业内部计算，根据电机参数计算；

完成电机控制信号PWM优化，将优化后电机控制信号PWM波形输出给电机，由此实现图像拼接。

基于步骤1～4完成图像拼接技术设计，图像实际拼接效果如图7所示，拼接过程中无阶梯状和亮暗条纹现象，拼接图像清晰、完整。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种潜水成像系统高速无缝图像拼接中伺服控制方法，上位机发送拼接指令给拼接模块，拼接模块接收到拼接命令的时刻，作为拼接开始的起始时刻，拼接模块此时采集的码盘传送的伺服系统的位置信息，作为拼接动作开始的起始位置和拼接判断到位信号，拼接模块向伺服控制器发送拼接命令，伺服系统开始执行拼接动作，图像拼接时伺服转台启动进行匀速圆周运动，伺服控制器采集光纤陀螺给出的当前伺服运行速度信息并对速度环进行控制，经拼接控制算法后形成电机控制量，由此驱动电机进行图像拼接；图像拼接模块根据目前的方位视场大小，判断伺服旋转的角度略小于方位视场角时，然后对图像重叠部分进行比对，最后将重叠部分进行对齐完成拼接，从而形成一幅完整的图像，其特征在于，在对伺服系统中电机的控制方法为：

在图像拼接过程中，由于伺服方位旋转过程中，伺服系统会出现速度不均匀现象，如果拼接速度快，会造成在相同的拼接角度下，相机曝光时间小于相机最小曝光时间要求，完成拼接的图像有明显的阶梯状的拼接痕迹，和亮暗条纹；其中阶梯状拼接如图1所示，亮暗条纹如图2所示；

伺服控制器捕捉送出的PWM波形，判断PWM波形符号，如果为负，则将其变为正值，控制电机反转；

根据PWM波形的取值对电机自身参数优化控制，具体为：PWM取值范围在100～200之内时，PWM输出为零，否则偏置设置为10～50输出；

根据PWM波形的取值对电机最大速度进行优化控制，具体为：PWM大于临界值6000时，PWM输出为6000；不大于临界值6000时，PWM波形直接输出；

完成电机控制信号PWM优化后，将优化后电机控制信号PWM波形输出给电机，由此实现图像拼接。

2.如权利要求1所述的一种潜水成像系统高速无缝图像拼接中伺服控制方法，其特征在于，在图像拼接开始时，将角度传感器信号直接传送给图像拼接模块，保证信号采集的同步。

3.如权利要求1所述的一种潜水成像系统高速无缝图像拼接中伺服控制方法，其特征在于，所述码盘的性能参数为：

电源电压：DC5V±10％；

功率：≤1.25W；

工作温度：-40℃～80℃；

精度：±2.69角秒；

输出方式：BISS；

2.69角秒＝0.013mrad。

4.如权利要求1所述的一种潜水成像系统高速无缝图像拼接中伺服控制方法，其特征在于，方位测速元件选择光纤陀螺。

5.如权利要求4所述的一种潜水成像系统高速无缝图像拼接中伺服控制方法，其特征在于，所述光纤陀螺指标如下：

a)测量范围：-200(°)/s～+200(°)/s；

b)全温零偏稳定性(1σ)：≤10(°)/h；

c)全温零偏重复性(1σ)：≤10(°)/h；

d)标度因数非线性度(1σ)：不大于400ppm；

e)标度因数不对称性(1σ)：不大于400ppm；

f)标度因数重复性(1σ)：不大于400ppm；

g)随机游走系数：不大于0.1(°)/h1/2；

h)带宽：大于300Hz；

i)启动时间：5s；

j)输出方式：RS422串口；

k)输出频率：0.25ms，4kHz。

6.如权利要求1所述的一种潜水成像系统高速无缝图像拼接中伺服控制方法，其特征在于，俯仰测速元件选择双轴MEMS陀螺。

7.如权利要求6所述的一种潜水成像系统高速无缝图像拼接中伺服控制方法，其特征在于，所述MEMS陀螺指标如下：

a)测量范围：-300(°)/s～+300(°)/s；

b)零偏稳定性(1σ)：≤10(°)/h；

c)零偏重复性(1σ)：≤10(°)/h；

d)带宽：大于150Hz；

e)分辨率：0.01°/s；

f)启动时间：1s；

g)稳定时间：6s；

h)输出方式：RS422串口；

i)输出频率：0.25ms，4kHz。