CN108985184B - 一种多用途飞机外挂物自动挂载系统及挂载方法 - Google Patents

一种多用途飞机外挂物自动挂载系统及挂载方法 Download PDF

Info

Publication number
CN108985184B
CN108985184B CN201810671492.5A CN201810671492A CN108985184B CN 108985184 B CN108985184 B CN 108985184B CN 201810671492 A CN201810671492 A CN 201810671492A CN 108985184 B CN108985184 B CN 108985184B
Authority
CN
China
Prior art keywords
mounting
camera
control
point
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810671492.5A
Other languages
English (en)
Other versions
CN108985184A (zh
Inventor
齐霄强
宋佳
赵凯
陈亚涛
李宁
郭皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810671492.5A priority Critical patent/CN108985184B/zh
Publication of CN108985184A publication Critical patent/CN108985184A/zh
Application granted granted Critical
Publication of CN108985184B publication Critical patent/CN108985184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开了一种多用途飞机外挂物自动挂载系统及挂载方法,属于自动挂载技术领域。该系统包括图像识别模块、控制解算模块、机械升降臂执行单元、综合显示控制模块和外挂物运输车;首先图像识别模块中相机采集到两帧相邻图像做差分处理,并传输给位置检测模块进行坐标系换算,求解出外挂物和机翼下对应挂载点的空间相对位置,作为误差控制信号传递给控制解算模块;控制解算模块计算出误差完成控制参数计算,并产生控制信号传递给机械升降臂执行单元,机械升降臂将挂载平台托举离开车体,到达目标位置与目标姿态进行作业。本发明有效避免环境干扰的影响,提高了系统的可靠性及安全性,极大地提高了武器装备的智能化和自动化效率。

Description

一种多用途飞机外挂物自动挂载系统及挂载方法
技术领域
本发明属于自动挂载技术领域,具体是一种多用途飞机外挂物自动挂载系统及挂载方法。
背景技术
飞机作为一种空中作战平台,可以完成多重打击任务,武器的配置是通过悬挂点实现的,可以分为外挂、内挂和半埋式等几种类型。外挂方式是目前战斗机用得最为广泛的方式,可挂载航炮、导弹、火箭弹、炸弹和副油箱等,同时具有较强的扩展能力。
飞机地面勤务人员需要依靠专用保障设备完成飞机维护和地面准备工作,以保证飞机的空中作战能力。由于各型号产品存在挂载形式及挂点结构等差异,目前我军及世界他国军队飞机外挂物的挂载技术大多采用人工操作、多人合作或半自动化的挂载方式,存在效率低、安装误差大、无法适应低矮空间以及设备兼容性差等多种问题。
因此,迫切需要一种系统能完成自动化的外挂物挂载操作,必要时能进行人工干预,实现在狭小空间内工作,并对不同种类的外挂物兼容性强。
发明内容
针对上述问题,本发明提出一种多用途飞机外挂物自动挂载系统及挂载方法,以计算机视觉技术为基础,在飞机挂载点附近相应区域布设标识点,标识点与机翼挂载点位置相对固定;图像识别系统完成标识点的图像捕获及识别,通过图像识别确定出标识点与相机之间的相对空间位置关系,相机与外挂物位置也是相对固定的,进而获得挂载点与外挂物之间的空间拓扑关系,驱动机械升降臂实现外挂物的自动挂载操作。
所述的多用途飞机外挂物自动挂载系统,包括图像识别模块、控制解算模块、机械升降臂执行单元、综合显示控制模块和外挂物运输车等;
图像识别模块用来测量外挂物与待挂载点之间的空间相对位置,作为误差控制信号传递给控制解算模块;控制解算模块根据误差控制信号完成信息处理及控制参数计算,并产生相应的控制指令信号,驱动机械升降臂执行单元;机械升降臂执行单元通过升降臂调节器调节机械升降臂完成控制指令,并实时反馈当前位置给控制解算模块;
综合显示控制模块实时显示控制信息和状态信息,允许用户手动设定参数;通过外挂物运输车将待挂物运输到飞机挂载点下方后即可实现飞机外挂物的自动挂载任务。
所述图像识别模块包括特征标识点、相机、程序控制闪光灯、位置检测模块和对准测量模块;
特征标识点布设在挂载点附近的固定位置,由高折射率玻璃微珠制成反光的二维码标签构成;相机安装在沿挂载物挂载方向的滑轨上,保持相机与挂载物挂点所在的直线与挂载方向垂直,从而保证相机与挂载物挂点位置相对固定;通过程序控制闪光灯的闪灭,拍摄得到第一幅图像为闪光灯和自然光照射下的特征标识点图像,第二幅为仅自然光照射下的特征标识点图像,将两幅图像差分后得到闪光灯照射下的特征标识点图像;将差分处理后的图像数据传输给位置检测模块,位置检测模块获得相机与标识点位置的关系,对准测量模块利用相机与挂载物、标识点与待挂载点之间固定的空间拓扑关系进行空间坐标换算,求解出外挂物和机翼下对应挂载点的空间相对位置关系,并传输给控制解算模块。
所述控制解算模块由数据处理单元和控制解算器组成;数据处理单元是根据图像识别模块输出的外挂物与挂载点之间的空间相对位置关系,通过旋转矩阵将不同笛卡尔坐标系转换到统一的大地参考系,从而给控制解算器提供基准位置。控制解算器采用双闭环的形式,将挂载点与外挂物的实际位置与目标位置的误差,以及实际姿态与目标姿态的误差作为输入,分别实现位置和姿态的控制,机械升降臂执行单元的输入量作为输出,将相应的控制信号传递给升降臂执行单元;
所述机械升降臂执行单元由机械升降臂、升降臂调节器、挂载平台和位置传感器组成;根据接收到的控制信号控制挂载平台,实现机械升降臂与挂载平台在特定方向上的精确运动。
机械升降臂用来连接挂载平台与车体,将挂载平台托举离开车体,到达指定位置进行作业。挂载平台用来固定外挂物,由x方向丝杆导轨、y方向丝杆导轨、z方向的剪式升降机构、旋转机构和四角高度可调平台构成,各部分均由步进电机驱动,其中x方向丝杆导轨、y方向丝杆导轨和z方向的剪式升降机构完成平移运动;旋转机构完成外挂物的偏航运动,四角高度可调平台负责外挂物的俯仰和滚转运动;故挂载平台能实现外挂物在6个自由度上的运动;位置传感器将挂载平台的位置信息反馈至控制解算模块;升降臂调节器与挂载平台各步进电机的控制均为PID控制。
所述综合显示控制模块由高清摄像机、用户显示界面与人机接口构成。
利用高清摄像机实时传回挂载过程,方便操作人员控制,同时设置紧急停止按钮,避免特殊情况;用户显示界面所显示的信息包括外挂物实时位置、姿态信息与实时挂载画面。
所述外挂物运输车包括车体与电源模块。
一种多用途飞机外挂物自动挂载方法,具体步骤如下:
步骤一、在导弹机翼挂载点周围特定位置布设由反光材质构成的定位二维码标识;
步骤二、将相机安装在挂载平台沿挂载物挂载方向的滑轨上,保持相机与挂载物挂点所在的直线与挂载物挂载方向垂直,从而保证相机与挂载物挂点位置相对固定;
步骤三、将相机采集到的两帧相邻图像做差分处理,并传输给位置检测模块进行相机与标识点相对位置解算,对准测量模块利用已知的相机与挂载物、标识点与待挂载点之间的空间拓扑关系进行相对坐标位置换算,求解出外挂物和机翼下对应挂载点空间相对位置关系;
具体求解方法为:
相机识别反光特征点标识:假设(Xc,Yc,Zc)为特征标识点在相机坐标系下的坐标,(Xw,Yw,Zw)为目标点在世界坐标系下的坐标;(x,y)为目标点在图像平面上的坐标;
假设uv坐标系是以像素为单位表示的图像坐标系,u轴与v轴分别与x轴与y轴平行,则(x,y)与(u,v)关系有
Figure BDA0001708372080000031
其中,dx表示每个像素在横轴方向上的物理尺寸;dy表示每个像素在纵轴方向上的物理尺寸。
图像坐标系与摄像机坐标系坐标转换关系有
Figure BDA0001708372080000032
其中f为相机焦距。
摄像机坐标系与世界坐标系转换关系有
Figure BDA0001708372080000033
其中R为3×3正交矩阵,T为平移向量,0为矩阵[0 0 0]。
由上述三式整理得图像坐标系像素坐标与世界坐标系坐标关系有:
Figure BDA0001708372080000034
其中M1为相机内参数矩阵,可通过相机标定得出;M2为相机外参数矩阵。
进行坐标系换算后,特征标识点的大小和相对挂载点的位置均固定,同时相机内部参数、外部参数和畸变系数已知,根据投影原理获取相机相对二维码标识的坐标。由于布设二维码标识与机翼挂点拓扑关系相对固定,图像识别系统在升降臂平台与外挂物的拓扑关系也是固定且已知,通过图像坐标系、相机坐标系和世界坐标系之间的换算得到在统一的大地参考系下外挂物与机翼挂载点之间的相对位置和姿态。
步骤四、图像识别模块将外挂物与挂载点之间的空间相对位置,作为误差控制信号传递给控制解算模块;
步骤五、控制解算模块中的数据处理单元根据误差完成控制参数计算,并产生相应的控制信号传递给升降臂执行单元;
误差是指:外挂物与机翼挂载点的实际位置与目标位置之间的误差,以及外挂物与机翼挂载点的姿态和目标的姿态之间的误差。
步骤六、机械升降臂执行单元根据接收到的控制信号控制挂载平台,机械升降臂将挂载平台托举离开车体,到达目标位置与目标姿态进行作业。
步骤七、操作人员通过综合显示控制模块实时观测挂载过程。
本发明的优点在于:
1、一种多用途飞机外挂物自动挂载系统,采用特定形式的二维码标识,利用高反光材料制作,可以获得高亮的标识图像,提高图像识别率;二维码标识是固定尺寸的平面,可以实现一次图像识别同时获得位置和角度的多维信息;还可以利用二维码的编码信息实现对不同种类挂载点的类别特征进行编码。
2、一种多用途飞机外挂物自动挂载系统,设计机械升降臂和挂载平台组合结构,能保证在狭小空间的作业能力,同时也在一定程度上简化了单个控制机构的设计难度。
3、一种多用途飞机外挂物自动挂载系统,用户显示界面保证了挂载操作的可视化,同时在特殊环境下,操作人员可以及时停止挂载操作,提高了系统的可靠性及安全性。
4、一种多用途飞机外挂物自动挂载方法,通过程序控制闪光灯的闪灭,将相机采集到的两帧相邻图像进行差分处理,使用差分来消除强环境光产生的偏光对特征图像的影响,得到排除干扰的图像数据;未对图像数据做其他任何操作,差分后反映的是真实情况,不损失图像信息。
5、一种多用途飞机外挂物自动挂载方法,利用图像识别技术在近距离定位上精度很高合乎要求,能完成一键挂载操作,极大地提高了武器装备的智能化和自动化水平。
附图说明
图1是本发明一种多用途飞机外挂物自动挂载系统的结构示意图;
图2是本发明一种多用途飞机外挂物自动挂载系统的相机识别模块示意图;
图3是本发明一种多用途飞机外挂物自动挂载系统的特定标识点示意图;
图4是本发明一种多用途飞机外挂物自动挂载系统的挂载平台结构示意图。
图5是本发明一种多用途飞机外挂物自动挂载系统的四角可调的挂载平台示意图;
图6是现有技术中实际的车体及机械臂照片。
图7是本发明一种多用途飞机外挂物自动挂载方法的原理图。
图8是本发明一种多用途飞机外挂物自动挂载方法的流程图。
图9是本发明特征点标识在相机坐标系,世界坐标系和图像平面上的坐标示意图。
图中
1-图像识别模块 2-控制解算模块 3-机械升降臂执行单元
4-综合显示控制模块 5-外挂物运输车
101-特征点标识 102-相机 103-程序控制闪光灯
104-位置检测模块 105-对准测量模块
301-机械升降臂 302-升降臂调节器 303-挂载平台
304-位置传感器 305-x方向丝杆导轨 306-y方向丝杆导轨
307-剪式升降机构 308-旋转机构 309-四角高度可调平台
401-高清摄像机 402-用户显示界面 403-人机接口
501-车体 502-电源模块
具体实施方式
下面将结合附图和实例对本发明作进一步的详细说明。
本发明一种多用途飞机外挂物自动挂载系统,如图1所示,由图像识别模块1、控制解算模块2、机械升降臂执行单元3、综合显示控制模块4和外挂物运输车5等组成。
图像识别模块1用来测量外挂物与待挂载点之间的空间相对位置,并作为误差控制信号传递给控制解算模块2;控制解算模块2根据误差控制信号完成信息处理及控制参数计算,并产生相应的控制指令信号,驱动机械升降臂执行单元3;机械升降臂执行单元3通过升降臂调节器调节机械升降臂完成控制指令,并实时反馈当前位置给控制解算模块2;
综合显示控制模块4实时显示控制信息和状态信息,允许用户手动设定参数;通过外挂物运输车5将待挂物运输到飞机挂载点下方后即可实现飞机外挂物的自动挂载任务。
所述图像识别模块1包括特征点标识101、相机102、程序控制闪光灯103、位置检测模块104与对准测量模块105;
如图3所示,特征点标识101是布设在挂载点附近的固定位置,由高折射率玻璃微珠制成反光的二维码标签构成;相机102如图2所示,安装在沿挂载物挂载方向的滑轨上,保持相机102与挂载物挂点所在的直线与挂载物挂载方向垂直,从而保证相机102与挂载物挂点位置相对固定;程序控制闪光灯103配合相机102捕捉图像,通过程序控制闪光灯103的闪灭,拍摄得到第一幅图像为闪光灯和自然光照射下的特征标识点图像,第二幅为仅自然光照射下的特征标识点图像,将两幅图像差分(相减)后,即可得到闪光灯照射下的特征标识点图像,将差分处理后图像数据传输给位置检测模块104,位置检测模块104读取到相机102捕捉到的图像,获得相机与标识点的位置关系,对准测量模块105利用已知的相机与挂载物、标识点与待挂载点之间的空间拓扑关系进行相对坐标位置换算,求解出外挂物和机翼下对应挂载点的空间相对位置关系并传输给控制解算模块2。
所述控制解算模块2由数据处理单元和控制解算器组成;数据处理单元是根据图像识别模块1输出的外挂物与挂载点之间的空间相对位置关系,通过旋转矩阵将不同笛卡尔坐标系转换到统一的大地参考系,从而给控制解算器提供外挂物与机翼挂载点的基准位置。控制解算器采用双闭环的形式,以挂载点与外挂物的位置和姿态偏差作为输入,分别解算出位置和姿态控制信号,将相应的控制信号传递给升降臂执行单元3;
所述机械升降臂执行单元3如图6所示,由机械升降臂301、升降臂调节器302、挂载平台303和位置传感器304组成;根据接收到的控制信号控制挂载平台303实现机械升降臂301与挂载平台303在特定方向上的精确运动。
机械升降臂301用来连接挂载平台303与车体501,主要目的是将挂载平台303托举离开车体501,到达指定位置进行作业,避免车体501直接携带挂载平台303进行挂载操作,提升了在狭小空间的作业能力。如图4所示,挂载平台303用来固定外挂物,由一个x方向丝杆导轨305、两个y方向丝杆导轨306、z方向的剪式升降机构307、旋转机构308和四角高度可调平台309构成,各部分均由步进电机驱动,其中x方向丝杆导轨305、y方向丝杆导轨306和z方向的剪式升降机构307完成平移运动;旋转机构308完成外挂物的偏航运动,四角高度可调平台309如图5所示,负责外挂物的俯仰和滚转运动;故挂载平台能实现外挂物在6个自由度上的运动;位置传感器304将挂载平台303的位置信息反馈至控制解算模块2;升降臂调节器302与挂载平台303各步进电机的控制均为PID控制。
所述综合显示控制模块4由高清摄像机401、用户显示界面402和人机接口403构成。
除去图像识别模块1中所用到的相机102,另外单独利用高清摄像机401实时记录和传回挂载过程,并上传至用户显示界面402处显示,方便操作人员干预控制,同时设置紧急停止按钮,避免特殊情况;用户显示界面402所显示的信息包括外挂物实时位置、姿态信息与实时挂载画面。
所述外挂物运输车5包括车体501与电源模块502。车体501作为系统其他模块的载体,由工作人员控制;电源模块502将所有模块共地连接,图像识别模块1、控制解算模块2、机械臂执行单元3均接入DC直流电源,继电器接入高电压,来驱动电机模块。图像识别模块1产生的控制信号传递给控制解算模块2,控制继电器带动电动机工作,两部分均由车体501单独供电。
在应用本自动挂载系统时,如图7所示,首先需要在导弹机翼挂载点周围的固定位置布设由反光物质构成的二维码标识101;第二步为满足对多种不同挂载物的兼容性要求,将相机102安装在挂载平台303沿挂载物挂载方向的滑轨上,当不同挂载物挂点位置不同时,可移动相机保证相机102与挂载物挂点所在的直线与挂载物挂载方向垂直,从而保证相机102与挂载物挂点位置相对固定;第三步由操作人员按下一键挂载按键,进行一键挂载操作。相机102的摄像头获取标识点数据,求解出外挂物和机翼下对应挂载点的角度和位置关系,根据角度调整旋转机构308完成外挂物的偏航运动,并调整四角高度可调平台309完成外挂物的俯仰和滚转运动;根据位置调整x方向丝杆导轨305、y方向丝杆导轨306和z方向的剪式升降机构307的平移运动;同时挂载全过程显示在用户显示界面402中间,工作人员随时可以终止挂载操作。
一种多用途飞机外挂物自动挂载方法,如图8所示,具体步骤如下:
步骤一、在导弹机翼挂载点周围特定位置布设由反光物质构成的二维码标识;
步骤二、将相机安装在挂载平台沿挂载物挂载方向的滑轨上,保持相机与挂载物挂点所在的直线与挂载物挂载方向垂直,从而保证相机与挂载物挂点位置相对固定;
步骤三、相机采集到两帧相邻图像做差分处理,并传输给位置检测模块获得相机与标识点的位置关系,利用对准测量模块进行相对位置换算,求解出外挂物和机翼下对应挂载点的空间相对位置关系;
具体求解方法为:
图像识别模块1利用OpenCV进行图像识别,利用其中的findContours轮廓提取函数识别视野中可能存在的回字形,并对可能存在的回字形与二维码标识101进行对比,符合二维码标识101的进行进一步操作,通过确定出二维码标识101的位置、形状等信息即可对二维码标识101定位;计算二维码标识101边长、二维码标识101中心距在图像上的投影长度,据此计算出俯仰、偏航、滚转角度,根据二维码标识中心点在图像坐标系中的位置信息,可以确定x、y、z三轴方向上位置坐标信息,由此得出标识点相对相机102的6个自由度信息,通过相对位置解算可以获得挂载物相对机翼挂载点的空间位置关系。
位置检测模块104中,相机识别反光特征点标识:如图9所示,假设(Xc,Yc,Zc)为特征标识点在相机坐标系下的坐标,(Xw,Yw,Zw)为目标点在世界坐标系下的坐标;(x,y)为目标点在图像平面上的坐标;
假设uv坐标系是以像素为单位表示的图像坐标系,u轴与v轴分别与x轴与y轴平行,则(x,y)与(u,v)关系有
Figure BDA0001708372080000071
其中,dx表示每个像素在横轴方向上的物理尺寸;dy表示每个像素在纵轴方向上的物理尺寸。
图像坐标系与摄像机坐标系坐标转换关系有
Figure BDA0001708372080000081
其中f为相机焦距。
摄像机坐标系与世界坐标系转换关系有
Figure BDA0001708372080000082
其中R为3×3正交矩阵,T为平移向量,0为矩阵[0 0 0]。
由上述三式整理得图像坐标系像素坐标与世界坐标系坐标关系有:
Figure BDA0001708372080000083
其中M1为相机内参数矩阵,可通过相机标定得出;M2为相机外参数矩阵。
进行坐标系换算后,特征标识点的大小和相对挂载点的位置均固定,同时相机内部参数、外部参数和畸变系数已知,根据投影原理获取相机相对二维码标识的坐标。由于布设二维码标识与机翼挂点拓扑关系相对固定,图像识别系统在升降臂平台与外挂物的拓扑关系也是固定且已知,通过图像坐标系、相机坐标系和世界坐标系之间的换算得到在统一的大地参考系下外挂物与机翼挂载点之间的相对位置和姿态。
步骤四、图像识别模块将外挂物与挂载点之间的空间相对位置,作为误差控制信号传递给控制解算模块;
步骤五、控制解算模块中的数据处理单元计算出误差完成控制参数计算,并产生相应的控制信号传递给升降臂执行单元;
图像识别模块1的对准测量模块105将6个自由度进行计算,将计算结果传递给控制解算模块2的数据处理单元,得出外挂物与机翼挂载点的实际位置与目标位置之间的误差,以及外挂物与机翼挂载点的姿态和目标的姿态之间的误差,完成控制参数计算,并产生相应的控制信号传递给升降臂执行单元3。
步骤六、机械升降臂执行单元根据接收到的控制信号控制挂载平台,机械升降臂将挂载平台托举离开车体,到达目标位置与目标姿态进行作业。
升降臂执行单元3控制继电器和电机等来控制机械结构,同时位置传感器304将挂载平台303的位置信息反馈至控制解算模块2,机械臂调节器302与挂载平台303各步进电机的控制即为PID控制。
操作人员操控机械升降臂301将挂载平台303运送至挂点位置附近,打开一键挂载功能,升降臂执行单元3根据接收到的控制信号来分别控制x方向上的丝杆导轨305、y方向上的丝杆导轨306、z方向的剪式升降机构307、旋转机构308和四角高度可调平台309,由步进电机驱动实现外挂物在6个自由度上的运动,直至挂载物达到目标位置与目标姿态。
步骤七、操作人员通过综合显示控制模块实时观测挂载过程。

Claims (8)

1.一种多用途飞机外挂物自动挂载系统,其特征在于,包括图像识别模块、控制解算模块、机械升降臂执行单元、综合显示控制模块和外挂物运输车;
图像识别模块用来测量外挂物与待挂载点之间的空间相对位置,作为误差控制信号传递给控制解算模块;控制解算模块根据误差控制信号完成信息处理及控制参数计算,并产生相应的控制指令信号,驱动机械升降臂执行单元;机械升降臂执行单元通过升降臂调节器调节机械升降臂完成控制指令,并实时反馈当前位置给控制解算模块;
综合显示控制模块实时显示控制信息和状态信息,允许用户手动设定参数;通过外挂物运输车将待挂物运输到飞机挂载点下方后,实现飞机外挂物的自动挂载任务;
所述图像识别模块包括特征标识点、相机、程序控制闪光灯、位置检测模块和对准测量模块;
特征标识点布设在挂载点附近的固定位置,相机安装在沿挂载物挂载方向的滑轨上,保持相机与挂载物挂点所在的直线与挂载物挂载方向垂直,从而保证相机与挂载物挂点位置相对固定;通过程序控制闪光灯的闪灭,拍摄得到第一幅图像为闪光灯和自然光照射下的特征标识点图像,第二幅为仅自然光照射下的特征标识点图像,将两幅图像差分后得到闪光灯照射下的特征标识点图像;将差分处理后的图像数据传输给位置检测模块,位置检测模块获得相机与标识点位置的关系,对准测量模块利用相机与挂载物、标识点与待挂载点之间固定的空间拓扑关系进行空间坐标换算,求解出外挂物和机翼下对应挂载点的空间相对位置关系,并传输给控制解算模块;
所述控制解算模块由数据处理单元和控制解算器组成;数据处理单元是根据图像识别模块输出的外挂物与挂载点之间的空间相对位置关系,通过旋转矩阵将不同笛卡尔坐标系转换到统一的大地参考系,从而给控制解算器提供基准位置;控制解算器采用双闭环的形式,将挂载点与外挂物的实际位置与目标位置的误差,以及实际姿态与目标姿态的误差作为输入,分别实现位置和姿态的控制,机械升降臂执行单元的输入量作为输出,将相应的控制信号传递给升降臂执行单元;
所述机械升降臂执行单元由机械升降臂、升降臂调节器、挂载平台和位置传感器组成;根据接收到的控制信号控制挂载平台,将挂载平台托举离开车体,实现机械升降臂与挂载平台在特定方向上的运动,到达指定位置进行作业;位置传感器将挂载平台的位置信息反馈至控制解算模块;升降臂调节器与挂载平台各步进电机的控制为PID控制。
2.如权利要求1所述的多用途飞机外挂物自动挂载系统,其特征在于,所述的特征标识点由高折射率玻璃微珠制成反光的二维码标签构成。
3.如权利要求1所述的多用途飞机外挂物自动挂载系统,其特征在于,所述的挂载平台用来固定外挂物,由x方向丝杆导轨、y方向丝杆导轨、z方向的剪式升降机构、旋转机构和四角高度可调平台构成,各部分均由步进电机驱动,其中x方向丝杆导轨、y方向丝杆导轨和z方向的剪式升降机构完成平移运动;旋转机构完成外挂物的偏航运动,四角高度可调平台负责外挂物的俯仰和滚转运动;故挂载平台能实现外挂物在6个自由度上的运动。
4.如权利要求1所述的多用途飞机外挂物自动挂载系统,其特征在于,所述的综合显示控制模块由高清摄像机、用户显示界面与人机接口构成,高清摄像机实时传回挂载过程,同时设置紧急停止按钮,避免特殊情况;用户显示界面所显示的信息包括外挂物实时位置、姿态信息与实时挂载画面。
5.如权利要求1所述的多用途飞机外挂物自动挂载系统,其特征在于,所述的外挂物运输车包括车体与电源模块。
6.基于权利要求1所述的一种多用途飞机外挂物自动挂载系统的自动挂载方法,其特征在于,具体步骤如下:
步骤一、在导弹机翼挂载点周围特定位置布设由反光材质构成的定位二维码标识;
步骤二、将CCD相机安装在挂载平台沿挂载物挂载方向的滑轨上,保持相机与挂载物挂点所在的直线与挂载物挂载方向垂直,从而保证CCD相机与挂载物挂点位置相对固定;
步骤三、将相机采集到的两帧相邻图像做差分处理,并传输给位置检测模块进行相机与标识点相对位置解算,对准测量模块利用已知的相机与挂载物、标识点与待挂载点之间的空间拓扑关系进行相对坐标位置换算,求解出外挂物和机翼下对应挂载点的空间相对位置关系;
步骤四、图像识别模块将外挂物与挂载点之间的空间相对位置,作为误差控制信号传递给控制解算模块;
步骤五、控制解算模块中的数据处理单元根据误差完成控制参数计算,并产生相应的控制信号传递给升降臂执行单元;
步骤六、机械升降臂执行单元根据接收到的控制信号控制挂载平台,机械升降臂将挂载平台托举离开车体,到达目标位置与目标姿态进行作业;
步骤七、操作人员通过综合显示控制模块实时观测挂载过程。
7.如权利要求6所述的自动挂载方法,其特征在于,步骤三所述的求解出外挂物和机翼下对应挂载点的空间相对位置关系的方法,具体为:
相机识别反光特征点标识:假设(Xc,Yc,Zc)为特征标识点在相机坐标系下的坐标,(Xw,Yw,Zw)为目标点在世界坐标系下的坐标;(x,y)为目标点在图像平面上的坐标;
假设uv坐标系是以像素为单位表示的图像坐标系,u轴与v轴分别与x轴与y轴平行,则(x,y)与(u,v)关系有
Figure FDA0003357844380000031
其中,dx表示每个像素在横轴方向上的物理尺寸;dy表示每个像素在纵轴方向上的物理尺寸;
图像坐标系与摄像机坐标系坐标转换关系有
Figure FDA0003357844380000032
其中f为相机焦距;
摄像机坐标系与世界坐标系转换关系有
Figure FDA0003357844380000033
其中R为3×3正交矩阵,T为平移向量,0为矩阵[0 0 0];
由上述三式整理得图像坐标系像素坐标与世界坐标系坐标关系有:
Figure FDA0003357844380000034
其中M1为相机内参数矩阵,通过相机标定得出;M2为相机外参数矩阵;
进行坐标系换算后,特征标识点的大小和相对挂载点的位置均固定,同时相机内部参数、外部参数和畸变系数已知,根据投影原理获取相机相对二维码标识的坐标;由于布设二维码标识与机翼挂点拓扑关系相对固定,图像识别系统在升降臂平台与外挂物的拓扑关系也是固定且已知,通过图像坐标系、相机坐标系和世界坐标系之间的换算得到在统一的大地参考系下外挂物与机翼挂载点之间的相对位置和姿态。
8.如权利要求6所述的自动挂载方法,其特征在于,步骤五所述的误差是指:外挂物与机翼挂载点的实际位置与目标位置之间的误差,以及外挂物与机翼挂载点的姿态和目标的姿态之间的误差。
CN201810671492.5A 2018-06-26 2018-06-26 一种多用途飞机外挂物自动挂载系统及挂载方法 Active CN108985184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810671492.5A CN108985184B (zh) 2018-06-26 2018-06-26 一种多用途飞机外挂物自动挂载系统及挂载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810671492.5A CN108985184B (zh) 2018-06-26 2018-06-26 一种多用途飞机外挂物自动挂载系统及挂载方法

Publications (2)

Publication Number Publication Date
CN108985184A CN108985184A (zh) 2018-12-11
CN108985184B true CN108985184B (zh) 2022-04-29

Family

ID=64538814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810671492.5A Active CN108985184B (zh) 2018-06-26 2018-06-26 一种多用途飞机外挂物自动挂载系统及挂载方法

Country Status (1)

Country Link
CN (1) CN108985184B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149481B (zh) * 2019-06-23 2024-05-07 广西翼界科技有限公司 一种相机指示灯信号检测模块及航拍控制系统
CN110532905B (zh) * 2019-08-13 2022-11-22 齐霄强 一种自装卸机构作业影像辅助操控方法
CN110606221A (zh) * 2019-09-19 2019-12-24 成都立航科技股份有限公司 一种用于挂弹车自动挂弹的方法
CN113506299B (zh) * 2021-09-13 2021-12-10 武汉逸飞激光股份有限公司 软包电芯上料控制方法、装置、电子设备及存储介质
CN114627395B (zh) * 2022-05-17 2022-08-05 中国兵器装备集团自动化研究所有限公司 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227842A (zh) * 2015-10-20 2016-01-06 杨珊珊 一种航拍设备的拍摄范围标定装置及方法
CN105825505A (zh) * 2016-03-14 2016-08-03 北京航空航天大学 一种面向硬式空中加油的视觉测量方法
CN107139178A (zh) * 2017-05-10 2017-09-08 哈尔滨工业大学深圳研究生院 一种无人机及其基于视觉的抓取方法
CN107590835A (zh) * 2017-08-24 2018-01-16 中国东方电气集团有限公司 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN107932514A (zh) * 2017-12-15 2018-04-20 天津津航计算技术研究所 基于机器人视觉伺服控制的机载设备挂装方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667923B2 (en) * 2013-05-21 2017-05-30 Tadano Ltd. Camera attitude detection device and work region line display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227842A (zh) * 2015-10-20 2016-01-06 杨珊珊 一种航拍设备的拍摄范围标定装置及方法
CN105825505A (zh) * 2016-03-14 2016-08-03 北京航空航天大学 一种面向硬式空中加油的视觉测量方法
CN107139178A (zh) * 2017-05-10 2017-09-08 哈尔滨工业大学深圳研究生院 一种无人机及其基于视觉的抓取方法
CN107590835A (zh) * 2017-08-24 2018-01-16 中国东方电气集团有限公司 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN107932514A (zh) * 2017-12-15 2018-04-20 天津津航计算技术研究所 基于机器人视觉伺服控制的机载设备挂装方法

Also Published As

Publication number Publication date
CN108985184A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108985184B (zh) 一种多用途飞机外挂物自动挂载系统及挂载方法
CN109556577B (zh) 用于空中非破坏性检查的定位系统
CN107139178B (zh) 一种无人机及其基于视觉的抓取方法
CN105335733B (zh) 一种无人机自主着陆视觉定位方法及系统
CN110618691B (zh) 基于机器视觉的无人机同心圆靶精准降落方法
CN112504242B (zh) 一种用于吊装式平视显示器的校靶系统及校靶方法
CN110333735B (zh) 一种实现无人机水陆二次定位的系统和方法
WO2023193362A1 (zh) 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN110919654A (zh) 一种基于视觉伺服的机械臂自动对接系统
CN110879617A (zh) 一种红外引导无人机降落方法及装置
CN111192318A (zh) 确定无人机位置和飞行方向的方法、装置及无人机
CN109753079A (zh) 一种无人机精准降落于移动平台方法
CN113031462A (zh) 无人机用港机巡检航线规划系统及方法
CN114434456A (zh) 一种机房巡检机器人及其巡检方法
CN108945536A (zh) 一种基于旋翼飞行器的交会对接实验平台
CN111452045A (zh) 一种基于立体视觉的钢筋识别标记系统和方法
CN114092552A (zh) 一种基于固定端图像进行大型刚体构件对接的方法
CN114973037B (zh) 一种无人机智能检测与同步定位多目标的方法
CN111580551A (zh) 一种基于视觉定位的导航系统与方法
CN105760855A (zh) 一种多源光电信息融合飞机残骸识别系统
CN114034205B (zh) 一种箱体装填系统及装填方法
CN114554030B (zh) 设备检测系统以及设备检测方法
CN105044672A (zh) 基于光学编码的追踪与定位系统与方法
CN115493513A (zh) 一种应用于空间站机械臂的视觉系统
RU2735196C1 (ru) Способ управления посадкой малого беспилотного летательного аппарата

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant