CN112435298A - 基于图像处理和单目视觉的射流闭环控制方法 - Google Patents

Abstract

本发明公开了一种基于图像处理和单目视觉的射流闭环控制方法，包括：S1、获取视频帧，对目标船舶进行跟踪；S2、通过空间坐标转换，计算目标船舶与摄像机之间的距离；S3、根据水炮和摄像头的相对位置，计算水炮水平偏转角；S4、通过质点运动规律建立射流轨迹模型，计算水炮俯仰角；S5、对射流落点进行识别，计算射流落点与目标船舶所在目标框的偏差，根据射流落点判断是否打中目标船舶；S6、若未打中目标船舶，则根据射流落点位置设置提前运动角度以对射流的水平偏转角和俯仰角二次调整，并返回步骤S5继续。该方法通过三角几何模型对水炮的水平偏转角计算，将质点运动规律的射流轨迹定位方式与计算机视觉的调整结合在一起，形成对射流的闭环控制。

Description

基于图像处理和单目视觉的射流闭环控制方法

技术领域

本发明涉及射流闭环技术领域，具体涉及一种基于图像处理和单目视觉的射流闭环控制方法。

背景技术

近些年来发生的海洋争端越发激烈，水炮因其杀伤性较低、不容易造成伤亡，避免争端扩大引发战争，是海警船以及消防船必备的防护打击和救援装置。海监船上现有的水炮主要通过手动控制，操作缓慢、人工强度大、且打击准确率低。实现水炮的定点打击对于进一步维护国家海洋权益至关重要。其主要方法是通过光电系统对目标进行跟踪、提供图像坐标信息并根据坐标系转换获得实际环境中目标的位置信息，水炮根据目标在水炮坐标系中的位置信息来调整水炮的俯仰角和方位角信息，从而实现对目标的定点打击。水炮水平方位角易通过几何模型运算实现，但俯仰角受到水炮内部参数和多种外部因素影响，最主要的是水炮的压力，弹道截面积、安装位置、风向、空气密度等影响因素。目前实现水炮俯仰角调整的主要有两种方式：基于质点运动规律的数学计算的射流轨迹定位方式、基于计算机视觉的调整方式。

基于质点运动规律的数学计算的射流轨迹定位方式是根据物理质点运动学和弹道学等理论，对射流影响因素进行分析模拟，将质点做抛物运动的轨迹来推测射流的运动轨迹。闵永林提出了一种建立不同俯仰角下的射流轨迹模型，并根据目标位置反推俯仰角的方法来提升定位精度。廖小东等通过对射流微元体进行受力分析，建立了参数化的射流轨迹运动化方程。朱蓓丽等将射流微元体的受力分析和水炮的结构参数、工作压力和工作流量进行分析，通过Simulink平台实现对射流轨迹仿真。陈学军等在仅考虑空气阻力下建立射流运动轨迹模型，并提出一种定位补偿方法来来调整射流角度。但现实中这些影响因素很难获取到，难以通过单纯的质点运动规律和数学计算来实现对射流轨迹的定位，定位准确性不高，且大多数都是单纯的进行打击，没有实现对水炮打击的闭环控制。

基于计算机视觉的调整方式则可以在图像中提取射流并确定射流轨迹落点，通过落点位置与目标位置差来判断是否准确打中目标，若没有准确打中目标则根据位置偏差来调整水炮的角度参数，实现闭环控制，得到越来越多学者的研究。陈静提出了一种对初次射流识别结果建立模板，结合射流轨迹的运动特点使用模板匹配射流起始点，从起始点开始单向依次搜索后续射流轨迹。孙维禄等提出一种在彩色图像中，利用RGB三色法，对射流轨迹进行提取并确定射流落点位置的方法。苏浩等提出了一种分步对筛选后的射流轨迹进行择优选择方法，具有一定的稳定性。

但现有射流控制技术大多数是开环控制，并没有反馈环节，即对射流落点和目标位置差对水炮的水平角度和俯仰角度进行二次调整。

发明内容

本发明为了克服以上技术的不足，提供了一种基于图像处理和单目视觉的射流闭环控制方法。该方法通过三角几何模型来对水炮的水平偏转角进行计算，将质点运动规律的数学计算的射流轨迹定位方式与计算机视觉的调整结合在一起，形成对射流的闭环控制。

本发明克服其技术问题所采用的技术方案是：

一种基于图像处理和单目视觉的射流闭环控制方法，包括如下步骤：

S1、获取视频帧，对目标船舶进行跟踪，在目标船舶跟踪过程中，摄像机中心始终瞄准目标船舶中心，设目标船舶处于目标框中，所述目标框为矩形框；

S2、通过空间坐标转换，计算目标船舶与摄像机之间的距离；

S3、根据水炮和摄像头的相对位置，计算水炮的水平偏转角；

S4、通过质点运动规律建立射流轨迹模型，计算水炮的俯仰角；

S5、通过图像处理技术对射流落点进行识别，计算射流落点与目标船舶所在的目标框的偏差，根据射流落点判断是否打中目标船舶；

S6、若打中目标船舶，则继续获取下一帧视频；若未打中目标船舶，则根据射流落点位置设置提前运动角度以对射流的水平偏转角和俯仰角二次调整，并返回步骤S5继续。

进一步地，所述步骤S2具体包括如下：

依次设点P为光电云台，线段PF为摄像机初始水平方位，矩形R₁R₂R₃R₄为目标船舶的目标框，点S为目标船舶矩形框底部R₂R₃的中心点，h为摄像机距离水平面的安装高度OP，d为本船舶与目标船舶之间的水平距离OS，角a为摄像机的俯仰角，f为摄像机的有效焦距；(u₀,v₀)为光轴与像素平面坐标系的交点，作为像素平面坐标系的原点，取为(0,0)；(u,v)为目标船舶矩形框底部中心点S在像素平面坐标系上的投影坐标；

图像坐标系与像素平面坐标系之间有如下关系，其中dx和dy为每一个像素点在x轴和y轴方向上的物理尺寸；(u₀,v₀)为像素平面坐标系的中心点，为相机的内参，可通过相机标定获取，点S在像平面上的实际投影点与屏幕中心点之间的关系如式(1)：

根据几何三角原理，目标船舶与摄像机之间的距离为：

进一步地，所述步骤S3具体包括如下：

已知摄像机水平偏转角和俯仰角，以及摄像机安装高度和相对水炮的位置偏移量；以摄像机与地面的垂直投影作为坐标原点，建立空间坐标系，其中，A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)分别表示摄像机、射流起始点、目标船舶在空间坐标系中位置，η和γ分别为摄像机对准目标船舶中心位置需要的水平偏移角和竖直俯仰角，θ和β分别为水炮打击目标船舶的初始水平偏移角和水炮垂直定位目标船舶与y轴方向的夹角；

摄像机与射流起始点之间的水平偏移量为：

已知摄像机相对目标船舶的高度AO和水炮相对目标船舶的高度BB′，根据三角几何原理，可得：

可知目标船舶距离水炮在x轴、y轴上面的分量距离为：

根据三角几何原理可得：

故水炮打击目标船舶需要的水平偏转角为：

其中，h₁指水炮的安装高度。

进一步地，所述步骤S4具体包括如下：

将射流分割成单位体积流量的水微团，设射流轨迹只受重力和空气阻力的影响；根据牛顿第二运动定律对某一时刻t进行受力分解，分别建立射流水微团在x轴方向和y轴方向的动力学方程：

其中，m是水微团的质量，g代表重力常数，k为空气阻力系数，ω为水微团运动速度与x轴方向的夹角，v_x和v_y分别为水微团运动速度在x轴和y轴上的速度分量，即为v_x＝v·cosω，v_y＝v·sinω；根据式(8)消去变量v_x和v_y可得式(9)：

设射流水微团的初始俯仰角为ω₀，初始速度为v₀；根据分离变量求解微分方程组(9)，可得：

消去时间变量t，可得射流轨迹方程：

由式(11)可知，在射流高度固定、压力一定时，当射流水微团质量、重力、空气阻力系数一定时，水炮射程和轨迹只与初始俯仰角有关；式(11)为超越方程，无法求解ω₀的值，这里对

基于泰勒公式展开，并近似取二次多项式为：

即可求出ω₀的近似解为：

由于ω₀＝π/4时，射程x最远，故对式(11)加上约束条件ω₀≤π/4，水炮垂直定位目标为(h₁/tanβ,0)；同时根据式(4)和式(5)可求：

即可求得水炮打击目标船舶需要的俯仰角为：

进一步地，所述步骤S5具体包括如下：

通过图像处理技术对射流落点进行识别，检测到射流落点坐标为(xp，yp)，光电中心始终对准目标船舶中心(xr，yr)，故目标船舶中心点坐标是已知的，因此只要检测出射流落点坐标即可，二者之间的位置之差为：

对水炮角度进行二次调整，设置调整像素的两个临界值为ε₁、ε₂，若像素位置差小于ε₁，则认为水炮打中目标，不进行调整；若像素位置差在[ε₁，ε₂]中，则在原有的角度转动角度上增加二次调整角度偏差值；若像素位置差大于ε₂，则给予一个恒定的二次调整角度；以此不断迭代调整，直至将像素位置差控制在ε₁内。

进一步地，所述步骤S6中，根据射流落点位置设置提前运动角度以对射流的水平偏转角和俯仰角二次调整具体包括如下：

设图像坐标系中，图像左上角为坐标原点，水平向右为x方向，垂直向下为y轴方向；根据Δx和Δy的正负对水炮的转动方向进行调整，其中，水炮与摄像机的位置差异及水炮转动方向的对应关系如下表格：

结合式(5)可得二次调整后，最终水炮打击目标船舶的水平偏转角为：

同理，结合式(15)，最终水炮打击目标船舶的俯仰角为：

其中，λ_p当前水炮水平转速的值，λ_pmax水炮水平转速最大值，λ_v当前水炮俯仰转速的值，λ_vmax水炮俯仰转速最大值。

本发明的有益效果是：

本发明主要是通过摄像机来采集图像信息，通过三角几何模型对水炮的水平偏转角计算，将质点运动规律的射流轨迹定位方式与计算机视觉的调整结合在一起，对射流以及射流落点通过图像分割来进行识别，并反馈落点在像素屏幕坐标系中的落点位置，与目标位置进行比较，从而判断是否击中目标，若未击中目标，通过二次调整打击方位，实现对目标的闭环控制打击，进而实现精准打击。

附图说明

图1为本发明实施例所述的基于图像处理和单目视觉的射流闭环控制方法的流程图。

图2为本发明实施例的单目测距几何模型示意图。

图3为本发明实施例的像素平面坐标系的投影示意图。

图4为本发明实施例的空间坐标系示意图。

图5为本发明实施例的射流水微团在空中受力示意图。

图6为本发明实施例的水炮打击示意图。

图7为本发明实施例的射流落点与目标位置的示意图。

图8为本发明实施例的位置差与水炮角速度的关系图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

如图1所示，本实施例所述的一种基于图像处理和单目视觉的射流闭环控制方法，包括如下步骤：

步骤S1、获取视频帧，对目标船舶进行跟踪，在目标船舶跟踪过程中，摄像机中心始终瞄准目标船舶中心，设目标船舶处于目标框中，所述目标框为矩形框。

步骤S2、通过空间坐标转换，计算目标船舶与摄像机之间的距离。

本实施例中，所述步骤S2具体包括如下：

如图2和3所示，依次设点P为光电云台，线段PF为摄像机初始水平方位，矩形R₁R₂R₃R₄为目标船舶的目标框，点S为目标船舶矩形框底部R₂R₃的中心点，h为摄像机距离水平面的安装高度OP，d为本船舶与目标船舶之间的水平距离OS，角a为摄像机的俯仰角，f为摄像机的有效焦距；(u₀,v₀)为光轴与像素平面坐标系的交点，作为像素平面坐标系的原点，取为(0,0)；(u,v)为目标船舶矩形框底部中心点S在像素平面坐标系上的投影坐标；

图像坐标系与像素平面坐标系之间有如下关系，其中dx和dy为每一个像素点在x轴和y轴方向上的物理尺寸；(u₀,v₀)为像素平面坐标系的中心点，为相机的内参，可通过相机标定获取，点S在像平面上的实际投影点与屏幕中心点之间的关系如式(1)：

根据几何三角原理，目标船舶与摄像机之间的距离为：

步骤S3、根据水炮和摄像头的相对位置，计算水炮的水平偏转角。

本实施例中，所述步骤S3具体包括如下：

已知摄像机水平偏转角和俯仰角，以及摄像机安装高度和相对水炮的位置偏移量；以摄像机与地面的垂直投影作为坐标原点，建立空间坐标系，如图4所示。其中，A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)分别表示摄像机、射流起始点、目标船舶在空间坐标系中位置，η和γ分别为摄像机对准目标船舶中心位置需要的水平偏移角和竖直俯仰角，θ和β分别为水炮打击目标船舶的初始水平偏移角和水炮垂直定位目标船舶与y轴方向的夹角；

摄像机与射流起始点之间的水平偏移量为：

已知摄像机相对目标船舶的高度AO和水炮相对目标船舶的高度BB′，根据三角几何原理，可得：

可知目标船舶距离水炮在x轴、y轴上面的分量距离为：

根据三角几何原理可得：

故水炮打击目标船舶需要的水平偏转角为：

其中，h₁指水炮的安装高度，如图6所示。

步骤S4、通过质点运动规律建立射流轨迹模型，计算水炮的俯仰角。

本实施例中，所述步骤S4具体包括如下：

为了研究射流轨迹分析，本实施例将射流分割成单位体积流量的水微团进行研究，如图5所示。射流轨迹主要受压力、流量、高度、空气密度和水炮射流俯仰角的影响，由于空气密度远远小于水的密度，则空气浮力相对于水的重力显得非常微小，故其受到空气浮力的影响甚微，另一方面，射流射程一般保持在压力恒定、流量稳定、高度固定的情况下，其影响可以忽略不计，故设射流轨迹只受重力和空气阻力的影响；根据牛顿第二运动定律对某一时刻t进行受力分解，分别建立射流水微团在x轴方向和y轴方向的动力学方程：

其中，m是水微团的质量，g代表重力常数，k为空气阻力系数，ω为水微团运动速度与x轴方向的夹角，v_x和v_y分别为水微团运动速度在x轴和y轴上的速度分量，即为v_x＝v·cosω，v_y＝v·sinω；根据式(8)消去变量v_x和v_y可得式(9)：

如图6所示，设射流水微团的初始俯仰角为ω₀，初始速度为v₀；根据分离变量求解微分方程组(9)，可得：

消去时间变量t，可得射流轨迹方程：

由式(11)可知，在射流高度固定、压力一定时，当射流水微团质量、重力、空气阻力系数一定时，水炮射程和轨迹只与初始俯仰角有关；式(11)为超越方程，无法求解ω₀的值，这里对

基于泰勒公式展开，并近似取二次多项式为：

即可求出ω₀的近似解为：

由于ω₀＝π/4时，射程x最远，故对式(11)加上约束条件ω₀≤π/4，水炮垂直定位目标为(h₁/tanβ,0)；同时根据式(4)和式(5)可求：

即可求得水炮打击目标船舶需要的俯仰角为：

步骤S5、通过图像处理技术对射流落点进行识别，计算射流落点与目标船舶所在的目标框的偏差，根据射流落点判断是否打中目标船舶。

通过前述对水炮水平偏转角和俯仰角进行调整，可以使水炮较为准确的对准目标船舶，考虑到实际环境的复杂性，以及目标的运动速度和摄像机本身存在的稳定误差等因素，使得水炮的实际打击点与射流模型得到的水炮水平偏转角和俯仰角略有误差，因而必须对水炮打击角度进行二次调整。

本实施例中，所述步骤S5具体包括如下：

通过图像处理技术对射流落点进行识别，如图7所示，检测到射流落点坐标为(xp，yp)，光电中心始终对准目标船舶中心(xr，yr)，故目标船舶中心点坐标是已知的，因此只要检测出射流落点坐标即可，二者之间的位置之差为：

对水炮角度进行二次调整，设置调整像素的两个临界值为ε₁、ε₂，若像素位置差小于ε₁，则认为水炮打中目标，不进行调整；若像素位置差在[ε₁，ε₂]中，则在原有的角度转动角度上增加二次调整角度偏差值；若像素位置差大于ε₂，则给予一个恒定的二次调整角度；以此不断迭代调整，直至将像素位置差控制在ε₁内。位置差与水炮角速度的关系如图8所示。

步骤S6、若打中目标船舶，则继续获取下一帧视频；若未打中目标船舶，则根据射流落点位置设置提前运动角度以对射流的水平偏转角和俯仰角二次调整，并返回步骤S5继续。

根据射流落点位置设置提前运动角度以对射流的水平偏转角和俯仰角二次调整具体包括如下：

设图像坐标系中，图像左上角为坐标原点，水平向右为x方向，垂直向下为y轴方向；根据Δx和Δy的正负对水炮的转动方向进行调整，其中，水炮与摄像机的位置差异及水炮转动方向的对应关系如下表格：

对于图7而言，Δx>0，Δy>0，水炮此时的转动方向应为：水平逆时针转动，垂直向下转动。

结合式(5)可得二次调整后，最终水炮打击目标船舶的水平偏转角为：

同理，结合式(15)，最终水炮打击目标船舶的俯仰角为：

其中，λ_p当前水炮水平转速的值，λ_pmax水炮水平转速最大值，λ_v当前水炮俯仰转速的值，λ_vmax水炮俯仰转速最大值。

通过对某一帧的视频图像进行分析、判断，并在后续帧中不断对水炮的角度(水平偏转角和俯仰角)进行调整，一次次向目标靠近，保证准确的打击效果。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (6)

1.一种基于图像处理和单目视觉的射流闭环控制方法，其特征在于，包括如下步骤：

S1、获取视频帧，对目标船舶进行跟踪，在目标船舶跟踪过程中，摄像机中心始终瞄准目标船舶中心，设目标船舶处于目标框中，所述目标框为矩形框；

S2、通过空间坐标转换，计算目标船舶与摄像机之间的距离；

S3、根据水炮和摄像头的相对位置，计算水炮的水平偏转角；

S4、通过质点运动规律建立射流轨迹模型，计算水炮的俯仰角；

S5、通过图像处理技术对射流落点进行识别，计算射流落点与目标船舶所在的目标框的偏差，根据射流落点判断是否打中目标船舶；

S6、若打中目标船舶，则继续获取下一帧视频；若未打中目标船舶，则根据射流落点位置设置提前运动角度以对射流的水平偏转角和俯仰角二次调整，并返回步骤S5继续。

2.根据权利要求1所述的基于图像处理和单目视觉的射流闭环控制方法，其特征在于，所述步骤S2具体包括如下：

依次设点P为光电云台，线段PF为摄像机初始水平方位，矩形R₁R₂R₃R₄为目标船舶的目标框，点S为目标船舶矩形框底部R₂R₃的中心点，h为摄像机距离水平面的安装高度OP，d为本船舶与目标船舶之间的水平距离OS，角a为摄像机的俯仰角，f为摄像机的有效焦距；(u₀,v₀)为光轴与像素平面坐标系的交点，作为像素平面坐标系的原点，取为(0,0)；(u,v)为目标船舶矩形框底部中心点S在像素平面坐标系上的投影坐标；

图像坐标系与像素平面坐标系之间有如下关系，其中dx和dy为每一个像素点在x轴和y轴方向上的物理尺寸；(u₀,v₀)为像素平面坐标系的中心点，为相机的内参，可通过相机标定获取，点S在像平面上的实际投影点与屏幕中心点之间的关系如式(1)：

根据几何三角原理，目标船舶与摄像机之间的距离为：

3.根据权利要求1所述的基于图像处理和单目视觉的射流闭环控制方法，其特征在于，所述步骤S3具体包括如下：

已知摄像机水平偏转角和俯仰角，以及摄像机安装高度和相对水炮的位置偏移量；以摄像机与地面的垂直投影作为坐标原点，建立空间坐标系，其中，A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)分别表示摄像机、射流起始点、目标船舶在空间坐标系中位置，η和γ分别为摄像机对准目标船舶中心位置需要的水平偏移角和竖直俯仰角，θ和β分别为水炮打击目标船舶的初始水平偏移角和水炮垂直定位目标船舶与y轴方向的夹角；

摄像机与射流起始点之间的水平偏移量为：

已知摄像机相对目标船舶的高度AO和水炮相对目标船舶的高度BB^′，根据三角几何原理，可得：

可知目标船舶距离水炮在x轴、y轴上面的分量距离为：

根据三角几何原理可得：

故水炮打击目标船舶需要的水平偏转角为：

其中，h₁指水炮的安装高度。

4.根据权利要求3所述的基于图像处理和单目视觉的射流闭环控制方法，其特征在于，所述步骤S4具体包括如下：

将射流分割成单位体积流量的水微团，设射流轨迹只受重力和空气阻力的影响；根据牛顿第二运动定律对某一时刻t进行受力分解，分别建立射流水微团在x轴方向和y轴方向的动力学方程：

其中，m是水微团的质量，g代表重力常数，k为空气阻力系数，ω为水微团运动速度与x轴方向的夹角，v_x和v_y分别为水微团运动速度在x轴和y轴上的速度分量，即为v_x＝v·cosω，v_y＝v·sinω；根据式(8)消去变量v_x和v_y可得式(9)：

设射流水微团的初始俯仰角为ω₀，初始速度为v₀；根据分离变量求解微分方程组(9)，可得：

消去时间变量t，可得射流轨迹方程：

由式(11)可知，在射流高度固定、压力一定时，当射流水微团质量、重力、空气阻力系数一定时，水炮射程和轨迹只与初始俯仰角有关；式(11)为超越方程，无法求解ω₀的值，这里对

基于泰勒公式展开，并近似取二次多项式为：

即可求出ω₀的近似解为：

由于ω₀＝π/4时，射程x最远，故对式(11)加上约束条件ω₀≤π/4，水炮垂直定位目标为(h₁/tanβ,0)；同时根据式(4)和式(5)可求：

即可求得水炮打击目标船舶需要的俯仰角为：

5.根据权利要求4所述的基于图像处理和单目视觉的射流闭环控制方法，其特征在于，所述步骤S5具体包括如下：

通过图像处理技术对射流落点进行识别，检测到射流落点坐标为(xp，yp)，光电中心始终对准目标船舶中心(xr，yr)，故目标船舶中心点坐标是已知的，因此只要检测出射流落点坐标即可，二者之间的位置之差为：

对水炮角度进行二次调整，设置调整像素的两个临界值为ε₁、ε₂，若像素位置差小于ε₁，则认为水炮打中目标，不进行调整；若像素位置差在[ε₁，ε₂]中，则在原有的角度转动角度上增加二次调整角度偏差值；若像素位置差大于ε₂，则给予一个恒定的二次调整角度；以此不断迭代调整，直至将像素位置差控制在ε₁内。

6.根据权利要求5所述的基于图像处理和单目视觉的射流闭环控制方法，其特征在于，所述步骤S6中，根据射流落点位置设置提前运动角度以对射流的水平偏转角和俯仰角二次调整具体包括如下：

设图像坐标系中，图像左上角为坐标原点，水平向右为x方向，垂直向下为y轴方向；根据Δx和Δy的正负对水炮的转动方向进行调整，其中，水炮与摄像机的位置差异及水炮转动方向的对应关系如下表格：

结合式(5)可得二次调整后，最终水炮打击目标船舶的水平偏转角为：

同理，结合式(15)，最终水炮打击目标船舶的俯仰角为：

其中，λ_p当前水炮水平转速的值，λ_pmax水炮水平转速最大值，λ_v当前水炮俯仰转速的值，λ_vmax水炮俯仰转速最大值。

Images