CN114092549A - 一种动态组网协同探测系统及方法 - Google Patents

一种动态组网协同探测系统及方法 Download PDF

Info

Publication number
CN114092549A
CN114092549A CN202110710566.3A CN202110710566A CN114092549A CN 114092549 A CN114092549 A CN 114092549A CN 202110710566 A CN202110710566 A CN 202110710566A CN 114092549 A CN114092549 A CN 114092549A
Authority
CN
China
Prior art keywords
target
aerial vehicle
unmanned aerial
matching
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110710566.3A
Other languages
English (en)
Inventor
奚勇
李大鹏
许东欢
陈光山
朱婧文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN202110710566.3A priority Critical patent/CN114092549A/zh
Publication of CN114092549A publication Critical patent/CN114092549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W60/00—Affiliation to network, e.g. registration; Terminating affiliation with the network, e.g. de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/16—Gateway arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种动态组网协同探测系统及方法，多个无人机平台观测平台和地面工作站构成局域网，系统网关，为每个无人机平台观测平台动态分配唯一的网络地址、配置网络接口；无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；当目标出现时，各无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，系统网关，将目标图像信息发送给地面工作站；地面工作站采用多目视觉协同探测的方法，计算得到观测目标的位置信息。

Description

一种动态组网协同探测系统及方法
技术领域
本发明属于协同探测成像技术领域，尤其涉及一种动态组网协同探测系统及方法
背景技术
目前的协同探测算法多用于近距离的目标识别及指定数目的多成像系统协同探测，系统较为冗余，算法复杂度过高，系统的可移植性差，同时在传输距离及协同探测效率上无法满足多成像系统协同组网的探测需求；而目前相关的协同探测方法及研究方案亦严重不足，这极大地制约了协同探测算法在民用、军事等相关领域走向实用工程化的进度。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种动态组网协同探测系统及方法，从而完成对目标的位置推算，满足协同探测的场景需求。
本发明解决技术的方案是：一种基于动态组网的协同探测系统，该系统包括M个无人机平台观测平台、系统网关、地面工作站和飞控数据地面接收设备；每个无人机平台观测平台包括网桥、成像探测系统、飞控模块；无人机平台观测平台与地面工作站时间同步；M大于等于2；
M个无人机平台观测平台和地面工作站构成局域网，系统网关，为每个无人机平台观测平台动态分配唯一的网络地址、配置网络接口；
无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
当目标出现时，各无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，系统网关，将目标图像信息发送给地面工作站；
地面工作站，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。
所述多目视觉协同探测的方法具体如下：
根据任意两台无人机平台观测平台目标图像信息和位姿信息，通过双目协同探测算法得到观测目标的一组位置信息，将观测目标的多组位置信息再进行滤波处理，得到精确的观测目标位置信息。
所述系统网关为无人机观测平台动态分配地址的过程为：
S1-1、新的无人机观测平台通过无线网络自动发送入网请求信息给系统网关；
S1-2、系统网关收到入网请求信息后为新的无人机观测平台分配一个网络地址，并将其并入局域网，并将分配的网络地址返回给新的无人机观测平台；
S1-3、无人机观测平台收到分配的网络地址后发出应答信号，将自身的设备描述信息发向系统网关进行注册，完成新的无人机观测平台的局域网加入；
S1-4、网关定时向已加入局域网的无人机观测平台发出信息，测试无人机观测平台是否处于在线状态，若无人机观测平台预设的时间段内无相应响应信号，则系统网关将该无人机观测平台从局域网中删除。
所述系统网关中的网口通信通过VS2010平台实现。
所述局域网采用UDP协议进行网络通信。
所述系统网关采用多线程实现目标图像的转发。
所述双目协同探测算法具体步骤如下：
S1、获取两个无人机观测平台同一时刻的位姿信息和目标图像；
S2、将无人机观测平台的位姿信息,转换到世界坐标系下；
S3、采用Fusiello极线校正方法对两个无人机观测平台获得的目标图像进行校正得到极线校正后的目标图像；
S4、采用ORB算法在极线校正后的两幅目标图像中提取待测目标的FAST 特征点并对FAST特征点进行brief算子描述，得到FAST特征点的brief描述子；
S5、根据两副目标图像中FAST特征点的brief描述子，将两副目标图像中FAST特征点进行双向暴力匹配，得到匹配特征点对；
S6、利用透射投影方程组，将匹配特征点对的像素坐标代入透射投影方程组，求解透射投影方程组得到匹配特征点对在世界坐标系下的三维坐标，即：观测目标的位置信息。
所述步骤S5双向暴力匹配方法如下：
S5.1、以校正后的第一幅目标图像为基准图像，校正后的第二幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.2、以校正后的第二幅目标图像为基准图像，校正后的第一幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.3、遍历步骤5.1和步骤5.2中两副图像中匹配成功的特征点对，若两幅目标图像中的FAST特征点相互匹配到彼此，那么则认为匹配成功，将相互匹配成功的特征点定为匹配特征点对。
所述S5.1和步骤S5.2找到匹配图像与基准图像上相匹配的FAST特征点的具体过程如下：
(a)、提取基准图像中任一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)；
(b)、在匹配图像上遍历(y-d,y+d)范围内的FAST特征点，得到FAST 特征点的像素坐标qj(xj,yj)及其brief描述子(b1j,...,bkj...,bLj)；其中，j＝1,2,...,m，m 为遍历到(y-d,y+d)范围内的FAST特征点个数；
(c)、计算基准图像FAST特征点的像素坐标p(x,y)与匹配图像中 (y-d,y+d)范围内的每一个FAST特征点brief描述子之间的汉明距离，并对汉明距离排序，得到汉明匹配距离最近的特征点对和汉明匹配距离第二近的特征点对；
(d)、如果最近距离和次近距离的比值小于阈值，那么认为汉明匹配距离最近的特征点对匹配成功，反之则失败；重新提取基准图像中另一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)，重复步骤(b)～(d)，直到遍历完基准图像中所有FAST特征点。
所述步骤(6)的具体步骤如下：
(6.1)、将匹配特征点对的像素坐标代入透射投影方程组：
Figure BDA0003133536020000041
其中，(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，M'1为匹配特征点对中第一幅目标图像所对应的成像探测系统的透视投影矩阵，M'2为匹配特征点对中第二幅目标图像所对应的成像探测系统的透视投影矩阵，P(x,y,z) 为待测目标在地心地固坐标系下的三维坐标；
(6.2)、利用最小二乘算法求得透射投影方程组唯一解，即可得到待测目标在地心地固坐标系下的三维坐标：
P＝(HTH)-1HTB
其中，
Figure BDA0003133536020000042
。
所述地面工作站还将二次曲线作为目标位置的最佳逼近，根据连续多个观测目标的位置信息，采用最小二乘法拟合目标三维运动轨迹，将目标三维运动轨迹参数回传至无人探测平台，无人探测平台根据预测的观测目标的位置信息实时调整自身的位置和姿态，稳定跟踪探测目标。
本发明的另一个技术解决方案是：一种动态组网协同探测方法，该方法包括如下步骤：
S1、M个无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
S2、当目标出现时，M个无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，M大于等于2；
S3、系统网关，将目标图像信息发送给地面工作站；
S4、地面工作站，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。
本发明与现有技术相比的有益效果是：
(1)、本发明通过高动态组网模式实现了多无人探测平台之间的数据传输，并开发了基于多目探测的协同探测优化算法，满足了多探测平台和远距离探测的探测需求；
(2)、本发明给出了多目探测平台及信息解算的方法，从而完成对目标的位置解算；
(3)、本发明采用双向匹配方法寻找匹配特征点对，确保彼此是对方的最优匹配点，防止误匹配；
(4)、本发明无人机观测平台在成像探测接收过程中，成像探测过程中不向目标发送激光、雷达等主动探测源，达到的效果为整体隐蔽性好，适用于空中战场环境。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
图1是本发明实施例提供的一种动态组网协同探测系统组成示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明提供了一种动态组网协同探测系统，其特征在于包括M个无人机平台观测平台、系统网关、地面工作站和飞控数据地面接收设备；每个无人机平台观测平台包括网桥、成像探测系统、飞控模块；无人机平台观测平台与地面工作站时间同步；M大于等于2，可根据实际情况调整。在此以2个观测平台举例：无人机观测平台A包括网桥A、成像探测系统A、飞控模块A；无人机观测平台B包括网桥B、成像探测系统B、飞控模块B，如图1所示。
M个无人机平台观测平台和地面工作站构成局域网，系统网关，用于组建高速动态局域网络，为每个无人机平台观测平台动态分配唯一的网络地址、配置网络接口，同时，将地面工作站的多个网口接入系统，并自动分配地址，实现局域网内部的多条并行互相访问线路；本实施例中，成像探测系统A和B将目标图像通过网关和系统网关下传到地面工作站。
无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
当目标出现时，各无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，系统网关，将目标图像信息发送给地面工作站；
地面工作站，用于作为整个系统的数据中转及处理中心，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。多目视觉协同探测的方法是基于双目协同探测方法，具体为：根据任意两台无人机平台观测平台目标图像信息和位姿信息，通过双目协同探测算法得到观测目标的一组位置信息，然后利用剩余的探测平台中选择双目进行目标位置解算，依次类推(若剩余目数为单数，可利用已使用数据进行解算)，将观测目标的多组位置信息再进行滤波处理，得到精确的观测目标位置信息。地面工作站还可以结合接收到的飞控模块信息对数据进行综合处理，给出具体的指令回传到两个平台，两个平台及时调整位姿，进行下一时刻的目标观测。
所述系统网关为无人机观测平台动态分配地址的过程为：
S1-1、新的无人机观测平台C(若有多个，以此类推)通过无线网络自动发送入网请求信息给系统网关；
S1-2、系统网关收到入网请求信息后为新的无人机观测平台分配一个网络地址，并将其并入局域网，并将分配的网络地址返回给新的无人机观测平台；
S1-3、无人机观测平台收到分配的网络地址后发出应答信号，将自身的设备描述信息发向系统网关进行注册，完成新的无人机观测平台的局域网加入；设备描述信息包括了无人机观测平台的端口号、网络属性等信息
S1-4、网关定时向已加入局域网的无人机观测平台发出信息，测试无人机观测平台是否处于在线状态，若无人机观测平台预设的时间段内无相应响应信号，则系统网关将该无人机观测平台从局域网中删除。
所述系统网关中的网口通信通过VS2010平台实现。
所述局域网采用UDP协议进行网络通信，完成对数据的接收。
为提高程序的实时性，采用多线程的方法，主线程功能实现对数据的接受，及是否丢包的判读。将接收的数据存于缓存区；子线程1通过对帧头的判读实现对一帧图像的数据包收集与解包，并解包拼接为一帧完整的图像；子线程2 完成对一帧完整数据的存取与实施限制。通过以上方法，可实现图像接收与现实，帧频达到50Hz以上。
由上可知，多目视觉探测的核心在于双目探测算法，现将双目视觉解算方法介绍如下：
所述双目协同探测算法具体步骤如下：
S1、获取两个无人机观测平台同一时刻的位姿信息和目标图像；
S2、将无人机观测平台的位姿信息,转换到世界坐标系下；所述世界坐标系优选地心地固坐标系。
S3、采用Fusiello极线校正方法对两个无人机观测平台获得的目标图像进行校正得到极线校正后的目标图像；
S4、采用ORB算法在极线校正后的两幅目标图像中提取待测目标的FAST 特征点并对FAST特征点进行brief算子描述，得到FAST特征点的brief描述子；
FAST特征点的brief描述子通过如下步骤得到：
S4.1、在N×N区域内，选取L个点对模板，构成点对模板集合S，L为2 的整数次幂，例如，L为64或者128，N为奇数，N大于等于3，N×N≥L，N 可以是16、32等；
S4.2、提取极线校正后目标图像中的FAST特征点，计算以FAST特征点 O为中心的n×n区域的灰度质心坐标C，并计算向量
Figure BDA0003133536020000081
的方向θ，n≤N；
灰度质心坐标C通过以下公式得到：
Figure BDA0003133536020000082
其中，(x,y)分别表示像素坐标，I(x,y)表示像素坐标(x,y)处的灰度值；
向量
Figure BDA0003133536020000091
的方向θ通过以下公式得到：
Figure BDA0003133536020000092
S4.3、将步骤S4.1中的L个点对模板集合S旋转角度θ，得到以FAST特征点O为中心点的N×N区域内新的点对模板集合Sθ；
N×N区域内新的点对模板集合Sθ通过以下公式得到：
Figure BDA0003133536020000093
S包括每个点对模板中第一特征点和第二特征点的像素坐标。
S4.4、比较以FAST特征点O为中心的N×N区域中新的点对模板集合Sθ中每个点对对应像素灰度值大小，生成特征点的brief描述子。
特征点的brief描述子是L位二进制比特串，通过以下公式得到：
Figure BDA0003133536020000094
例如，本发明某一具体实施例中，L为128，
Figure BDA0003133536020000095
其中，
Figure BDA0003133536020000096
fd为特征点的brief描述子；
其中，xi,yi为像素坐标,I为图像灰度值。
S5、根据两副目标图像中FAST特征点的brief描述子，将两副目标图像中FAST特征点进行双向暴力匹配，得到匹配特征点对；
双向暴力匹配方法如下：
S5.1、以校正后的第一幅目标图像为基准图像，校正后的第二幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.2：以校正后的第二幅目标图像为基准图像，校正后的第一幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.3：遍历步骤5.1和步骤5.2中两副图像中匹配成功的特征点对，若两幅目标图像中的FAST特征点相互匹配到彼此，那么则认为匹配成功，将相互匹配成功的特征点定为匹配特征点对。
上述S5.1和步骤S5.2找到匹配图像与基准图像上相匹配的FAST特征点的具体过程如下：
(a)、提取基准图像中任一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)；
(b)、在匹配图像上遍历(y-d,y+d)范围内的FAST特征点，得到FAST 特征点的像素坐标qj(xj,yj)及其brief描述子(b1j,...,bkj...,bLj)；其中，j＝1,2,...,m，m 为遍历到(y-d,y+d)范围内的FAST特征点个数；
(c)、计算基准图像FAST特征点的像素坐标p(x,y)与匹配图像中 (y-d,y+d)范围内的每一个FAST特征点brief描述子之间的汉明距离，并对汉明距离排序，得到汉明匹配距离最近的特征点对和汉明匹配距离第二近的特征点对；
(d)、如果最近距离和次近距离的比值小于阈值，那么认为汉明匹配距离最近的特征点对匹配成功，反之则失败；重新提取基准图像中另一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)，重复步骤(b)～(d)，直到遍历完基准图像中所有FAST特征点。
S6、利用透射投影方程组，将匹配特征点对的像素坐标代入透射投影方程组，求解透射投影方程组得到匹配特征点对在世界坐标系下的三维坐标，即：观测目标的位置信息。
假设(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，根据透射投 影方程如公式1。如目标在其中之一左相机图像上的投影点为p，实际上从左相 机光心Ol和P连线上的任意一点(P1,P2等)在左相机图像是的投影点都是p， 而其对应到右相机图像上的投影为一条直线(即直线O1P在左相机图像上的投 影。
将中建立的投射投影方程联立：
Figure BDA0003133536020000111
式中，(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，M'1为匹配特征点对中第一幅目标图像所对应的成像探测系统的透视投影矩阵，M'2为匹配特征点对中第二幅目标图像所对应的成像探测系统的透视投影矩阵，M'1和M'2均为3×4的透视投影矩阵，P(x,y,z)为待测目标在地心地固坐标系下的三维坐标；
P(x,y,z)为待测目标在地心地固坐标系下的三维坐标。
通过对公式(1)简化、然后利用最小二乘算法可以求得超定方程组唯一解： P＝(HTH)-1HTB
其中，
Figure BDA0003133536020000112
P即待测目标在地心地固坐标系下的坐标。
本发明某一具体实施例中，所述地面工作站还将二次曲线作为目标位置的最佳逼近，根据连续多个观测目标的位置信息，采用最小二乘法拟合目标三维运动轨迹，将目标三维运动轨迹参数回传至无人探测平台，无人探测平台根据预测的观测目标的位置信息实时调整自身的位置和姿态，稳定跟踪探测目标。
具体步骤如下:
(1)、将二次曲线作为目标位置的最佳逼近，即目标在世界坐标系下各个方向上做匀加速运动，其运动方程为：
Figure BDA0003133536020000121
式中，(Xt，Yt，Zt)为t时刻目标位置坐标，a为方程组系数，t为时间。
(2)、通过网桥交换状态信息得到两个成像探测系统都在稳定跟踪目标的工作状态下，本发明仅根据包括当前帧在内的最近N'帧探测目标三维位置信息，将其代入下述公式(4)所示方程组，解算出的目标在世界坐标系下的位置，辨识出目标运动的位置参数，N'取5。
本发明还可以采用最小二乘法拟合目标三维运动轨迹，得到待求参数 a(ax0,ax1,ax2,ay0,ay1,ay2,az0,az1,az2)。
Figure BDA0003133536020000122
(3)、通过最小二乘算法可以求得超定方程组唯一解：
a＝(FTF)-1FTC
其中，
Figure BDA0003133536020000123
在工作站推算出的目标实时位置、距离信息的基础上，本发明还可以通过网桥反馈给综成像观测平台A和B，A和B跟踪指令实时调整本平台的相关位置和姿态，以此类推，完成成像系统对目标的稳定，及对目标的实时位置，姿态输出。
综上所述，本发明给出了搭建探测平台及信息解算的方法，从而完成对目标的位置解算；本发明通过高动态组网的形式实现跨平台之间的数据传输，并开发了基于高速数据链的协同探测优化算法，可满足外场变化场景及对未知目标的探测需求；本发明通过被动探测接收，成像过程无需通向外界发送激光、雷达等主动探测源，达到的效果为整体隐蔽性好，适用于空中战场环境。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (15)

1.一种动态组网协同探测系统，其特征在于包括M个无人机平台观测平台、系统网关、地面工作站和飞控数据地面接收设备；每个无人机平台观测平台包括网桥、成像探测系统、飞控模块；无人机平台观测平台与地面工作站时间同步；M大于等于2；
M个无人机平台观测平台和地面工作站构成局域网，系统网关，为每个无人机平台观测平台动态分配唯一的网络地址、配置网络接口；
无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
当目标出现时，各无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，系统网关，将目标图像信息发送给地面工作站；
地面工作站，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。
2.根据权利要求1所述的一种动态组网协同探测系统，其特征在于所述多目视觉协同探测的方法具体如下：
根据任意两台无人机平台观测平台目标图像信息和位姿信息，通过双目协同探测算法得到观测目标的一组位置信息，将观测目标的多组位置信息再进行滤波处理，得到精确的观测目标位置信息。
3.根据权利要求1所述的一种动态组网协同探测系统，其特征在于所述系统网关为无人机观测平台动态分配地址的过程为：
S1-1、新的无人机观测平台通过无线网络自动发送入网请求信息给系统网关；
S1-2、系统网关收到入网请求信息后为新的无人机观测平台分配一个网络地址，并将其并入局域网，并将分配的网络地址返回给新的无人机观测平台；
S1-3、无人机观测平台收到分配的网络地址后发出应答信号，将自身的设备描述信息发向系统网关进行注册，完成新的无人机观测平台的局域网加入；
S1-4、网关定时向已加入局域网的无人机观测平台发出信息，测试无人机观测平台是否处于在线状态，若无人机观测平台预设的时间段内无相应响应信号，则系统网关将该无人机观测平台从局域网中删除。
4.根据权利要求1所述的一种动态组网协同探测系统，其特征在于所述系统网关采用多线程实现目标图像的转发。
5.根据权利要求2所述的一种动态组网协同探测系统，其特征在于所述双目协同探测算法具体步骤如下：
S1、获取两个无人机观测平台同一时刻的位姿信息和目标图像；
S2、将无人机观测平台的位姿信息,转换到世界坐标系下；
S3、采用Fusiello极线校正方法对两个无人机观测平台获得的目标图像进行校正得到极线校正后的目标图像；
S4、采用ORB算法在极线校正后的两幅目标图像中提取待测目标的FAST特征点并对FAST特征点进行brief算子描述，得到FAST特征点的brief描述子；
S5、根据两副目标图像中FAST特征点的brief描述子，将两副目标图像中FAST特征点进行双向暴力匹配，得到匹配特征点对；
S6、利用透射投影方程组，将匹配特征点对的像素坐标代入透射投影方程组，求解透射投影方程组得到匹配特征点对在世界坐标系下的三维坐标，即：观测目标的位置信息。
6.根据权利要求5所述的一种动态组网协同探测系统，其特征在于所述步骤S5双向暴力匹配方法如下：
S5.1、以校正后的第一幅目标图像为基准图像，校正后的第二幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.2、以校正后的第二幅目标图像为基准图像，校正后的第一幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.3、遍历步骤5.1和步骤5.2中两副图像中匹配成功的特征点对，若两幅目标图像中的FAST特征点相互匹配到彼此，那么则认为匹配成功，将相互匹配成功的特征点定为匹配特征点对。
7.根据权利要求6所述的一种动态组网协同探测系统，其特征在于所述S5.1和步骤S5.2找到匹配图像与基准图像上相匹配的FAST特征点的具体过程如下：
(a)、提取基准图像中任一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)；
(b)、在匹配图像上遍历(y-d,y+d)范围内的FAST特征点，得到FAST特征点的像素坐标qj(xj,yj)及其brief描述子(b1j,...,bkj...,bLj)；其中，j＝1,2,...,m，m为遍历到(y-d,y+d)范围内的FAST特征点个数；
(c)、计算基准图像FAST特征点的像素坐标p(x,y)与匹配图像中(y-d,y+d)范围内的每一个FAST特征点brief描述子之间的汉明距离，并对汉明距离排序，得到汉明匹配距离最近的特征点对和汉明匹配距离第二近的特征点对；
(d)、如果最近距离和次近距离的比值小于阈值，那么认为汉明匹配距离最近的特征点对匹配成功，反之则失败；重新提取基准图像中另一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)，重复步骤(b)～(d)，直到遍历完基准图像中所有FAST特征点。
8.根据权利要求5所述的一种动态组网协同探测系统，其特征在于所述步骤(6)的具体步骤如下：
(6.1)、将匹配特征点对的像素坐标代入透射投影方程组：
Figure FDA0003133536010000041
其中，(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，M'1为匹配特征点对中第一幅目标图像所对应的成像探测系统的透视投影矩阵，M'2为匹配特征点对中第二幅目标图像所对应的成像探测系统的透视投影矩阵，P(x,y,z)为待测目标在地心地固坐标系下的三维坐标；
(6.2)、利用最小二乘算法求得透射投影方程组唯一解，即可得到待测目标在地心地固坐标系下的三维坐标：
P＝(HTH)-1HTB
其中，
Figure FDA0003133536010000042
Figure FDA0003133536010000043
9.根据权利要求1所述的一种动态组网协同探测系统，其特征在于所述地面工作站还将二次曲线作为目标位置的最佳逼近，根据连续多个观测目标的位置信息，采用最小二乘法拟合目标三维运动轨迹，将目标三维运动轨迹参数回传至无人探测平台，无人探测平台根据预测的观测目标的位置信息实时调整自身的位置和姿态，稳定跟踪探测目标。
10.一种动态组网协同探测方法，其特征在于包括如下步骤：
S1、M个无人机平台观测平台的飞控模块，按照预设的周期发送带有位姿信息的无线信号至飞控数据地面接收设备，飞控数据地面接收设备解算出位姿信息，将位姿信息转发至地面工作站；
S2、当目标出现时，M个无人机平台观测平台的成像探测系统对目标进行观测，获取目标图像信息，通过网桥将目标图像信息发送给系统网关，M大于等于2；
S3、系统网关，将目标图像信息发送给地面工作站；
S4、地面工作站，利用各无人机平台观测平台发送的目标图像信息和位姿信息、位姿信息，采用多目视觉协同探测的方法，计算得到观测目标的位置信息。
11.根据权利要求10所述的一种动态组网协同探测方法，其特征在于所述多目视觉协同探测的方法具体如下：
根据任意两台无人机平台观测平台目标图像信息和位姿信息，通过双目协同探测算法得到观测目标的一组位置信息，将观测目标的多组位置信息再进行滤波处理，得到精确的观测目标位置信息。
12.根据权利要求11所述的一种动态组网协同探测系统，其特征在于所述双目协同探测算法具体步骤如下：
S1、获取两个无人机观测平台同一时刻的位姿信息和目标图像；
S2、将无人机观测平台的位姿信息,转换到世界坐标系下；
S3、采用Fusiello极线校正方法对两个无人机观测平台获得的目标图像进行校正得到极线校正后的目标图像；
S4、采用ORB算法在极线校正后的两幅目标图像中提取待测目标的FAST特征点并对FAST特征点进行brief算子描述，得到FAST特征点的brief描述子；
S5、根据两副目标图像中FAST特征点的brief描述子，将两副目标图像中FAST特征点进行双向暴力匹配，得到匹配特征点对；
S6、利用透射投影方程组，将匹配特征点对的像素坐标代入透射投影方程组，求解透射投影方程组得到匹配特征点对在世界坐标系下的三维坐标，即：观测目标的位置信息。
13.根据权利要求12所述的一种动态组网协同探测系统，其特征在于所述步骤S5双向暴力匹配方法如下：
S5.1、以校正后的第一幅目标图像为基准图像，校正后的第二幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.2、以校正后的第二幅目标图像为基准图像，校正后的第一幅目标图像作为匹配图像，遍历基准图像上的FAST特征点，找到匹配图像与基准图像上相匹配的FAST特征点；
S5.3、遍历步骤5.1和步骤5.2中两副图像中匹配成功的特征点对，若两幅目标图像中的FAST特征点相互匹配到彼此，那么则认为匹配成功，将相互匹配成功的特征点定为匹配特征点对。
14.根据权利要求13所述的一种动态组网协同探测系统，其特征在于所述S5.1和步骤S5.2找到匹配图像与基准图像上相匹配的FAST特征点的具体过程如下：
(a)、提取基准图像中任一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)；
(b)、在匹配图像上遍历(y-d,y+d)范围内的FAST特征点，得到FAST特征点的像素坐标qj(xj,yj)及其brief描述子(b1j,...,bkj...,bLj)；其中，j＝1,2,...,m，m为遍历到(y-d,y+d)范围内的FAST特征点个数；
(c)、计算基准图像FAST特征点的像素坐标p(x,y)与匹配图像中(y-d,y+d)范围内的每一个FAST特征点brief描述子之间的汉明距离，并对汉明距离排序，得到汉明匹配距离最近的特征点对和汉明匹配距离第二近的特征点对；
(d)、如果最近距离和次近距离的比值小于阈值，那么认为汉明匹配距离最近的特征点对匹配成功，反之则失败；重新提取基准图像中另一个FAST特征点的像素坐标p(x,y)和brief描述子(a1,...,ak...,aL)，重复步骤(b)～(d)，直到遍历完基准图像中所有FAST特征点。
15.根据权利要求11所述的一种动态组网协同探测系统，其特征在于所述步骤(6)的具体步骤如下：
(6.1)、将匹配特征点对的像素坐标代入透射投影方程组：
Figure FDA0003133536010000071
其中，(u1,v1)和(u2,v2)是匹配特征点的两个特征点像素坐标，M1'为匹配特征点对中第一幅目标图像所对应的成像探测系统的透视投影矩阵，M'2为匹配特征点对中第二幅目标图像所对应的成像探测系统的透视投影矩阵，P(x,y,z)为待测目标在地心地固坐标系下的三维坐标；
(6.2)、利用最小二乘算法求得透射投影方程组唯一解，即可得到待测目标在地心地固坐标系下的三维坐标：
P＝(HTH)-1HTB
其中，
Figure FDA0003133536010000072
Figure FDA0003133536010000073
CN202110710566.3A 2021-06-25 2021-06-25 一种动态组网协同探测系统及方法 Pending CN114092549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110710566.3A CN114092549A (zh) 2021-06-25 2021-06-25 一种动态组网协同探测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110710566.3A CN114092549A (zh) 2021-06-25 2021-06-25 一种动态组网协同探测系统及方法

Publications (1)

Publication Number Publication Date
CN114092549A true CN114092549A (zh) 2022-02-25

Family

ID=80296032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710566.3A Pending CN114092549A (zh) 2021-06-25 2021-06-25 一种动态组网协同探测系统及方法

Country Status (1)

Country Link
CN (1) CN114092549A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117032276A (zh) * 2023-07-04 2023-11-10 长沙理工大学 基于双目视觉和惯导融合无人机的桥梁检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202818625U (zh) * 2012-07-13 2013-03-20 北京理工大学 无人机无线数据传输系统
US9646502B1 (en) * 2015-02-27 2017-05-09 Amazon Technologies, Inc. Universal unmanned aerial vehicle identification system
CN111524174A (zh) * 2020-04-16 2020-08-11 上海航天控制技术研究所 一种动平台动目标双目视觉三维构建方法
CN111551177A (zh) * 2020-04-16 2020-08-18 上海航天控制技术研究所 一种基于无人机平台的外场协同探测试验方法
CN112197761A (zh) * 2020-07-24 2021-01-08 北京理工大学 一种高精度多旋翼机协同定位方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202818625U (zh) * 2012-07-13 2013-03-20 北京理工大学 无人机无线数据传输系统
US9646502B1 (en) * 2015-02-27 2017-05-09 Amazon Technologies, Inc. Universal unmanned aerial vehicle identification system
CN111524174A (zh) * 2020-04-16 2020-08-11 上海航天控制技术研究所 一种动平台动目标双目视觉三维构建方法
CN111551177A (zh) * 2020-04-16 2020-08-18 上海航天控制技术研究所 一种基于无人机平台的外场协同探测试验方法
CN112197761A (zh) * 2020-07-24 2021-01-08 北京理工大学 一种高精度多旋翼机协同定位方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117032276A (zh) * 2023-07-04 2023-11-10 长沙理工大学 基于双目视觉和惯导融合无人机的桥梁检测方法及系统

Similar Documents

Publication Publication Date Title
CN107747941B (zh) 一种双目视觉定位方法、装置及系统
WO2020134254A1 (zh) 一种基于强化学习的喷涂机器人轨迹优化方法
CN110347186B (zh) 基于仿生双目联动的地面运动目标自主跟踪系统
CN107292921A (zh) 一种基于kinect相机的快速三维重建方法
US9536320B1 (en) Multiple coordinated detectors for examination and ranging
CN110434516A (zh) 一种智能焊接机器人系统及焊接方法
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN111415375B (zh) 一种基于多鱼眼摄像机和双针孔投影模型的slam方法
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN114092549A (zh) 一种动态组网协同探测系统及方法
CN112541970A (zh) 一种集中式协同SlAM中的重定位方法及装置
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
Wen et al. Edge computing-based collaborative vehicles 3D mapping in real time
CN112330747B (zh) 基于无人机平台的多传感器联合探测和显示方法
CN111551177A (zh) 一种基于无人机平台的外场协同探测试验方法
Schneider et al. On the quality and efficiency of approximate solutions to bundle adjustment with epipolar and trifocal constraints
Vemprala et al. Collaborative localization for micro aerial vehicles
CN115131434A (zh) 基于视觉传感器的多移动机器人协作建图方法及系统
Ross et al. Vision-based target geolocation and optimal surveillance on an unmanned aerial vehicle
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
CN113112532A (zh) 一种多ToF相机系统实时配准方法
Zhang et al. A practical calibration method for multiple cameras
CN113259649B (zh) 基于场景摄像头重定位的虚拟现实方法、系统
CN115690334B (zh) 一种基于共面约束的三维重建整体优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination