CN105730705A - 一种飞行器摄像定位系统 - Google Patents
一种飞行器摄像定位系统 Download PDFInfo
- Publication number
- CN105730705A CN105730705A CN201610084196.6A CN201610084196A CN105730705A CN 105730705 A CN105730705 A CN 105730705A CN 201610084196 A CN201610084196 A CN 201610084196A CN 105730705 A CN105730705 A CN 105730705A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- target
- image
- data
- plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 102100029368 Cytochrome P450 2C18 Human genes 0.000 claims abstract description 8
- 101000919360 Homo sapiens Cytochrome P450 2C18 Proteins 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 42
- 239000000835 fiber Substances 0.000 claims description 13
- 239000011248 coating agent Substances 0.000 claims description 12
- 238000000576 coating method Methods 0.000 claims description 12
- 239000013307 optical fiber Substances 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 101150115013 DSP1 gene Proteins 0.000 claims description 8
- 101100388212 Arabidopsis thaliana DSP3 gene Proteins 0.000 claims description 7
- 101150052726 DSP2 gene Proteins 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000007747 plating Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract 1
- 238000012937 correction Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- IHQKEDIOMGYHEB-UHFFFAOYSA-M sodium dimethylarsinate Chemical class [Na+].C[As](C)([O-])=O IHQKEDIOMGYHEB-UHFFFAOYSA-M 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种飞行器摄像定位系统，包括，安装于飞行器上机身两侧,两侧各四个，呈近似凸四边形的激光目标源；在着陆平台上沿飞行器着陆方向左右两侧对称布置的两台近红外广角摄像机；图像处理单元对图像进行目标搜索、捕获、识别与跟踪，完成激光目标源的跟踪测量，实时解算出飞行器的位置与姿态，将解算结果通过CPCI总线接口送到主控系统单元；所述主控系统单元根据图像处理单元发送的结算结果控制飞行器着陆轨迹。所述系统克服了现有定位系统的不足，易操作、抗干扰能力强、适应恶劣环境。
Description
技术领域
本发明涉及飞行器控制技术领域，尤其涉及一种飞行器摄像定位系统。
背景技术
目前,飞行器着陆定位系统主要包括以下几种形式：
微波着陆系统，由机上设备获得引导数据，其优点是：系统精度高，能满足全天候工作要求；允许飞机任意选择机场航道，适用于作各种起落的各型飞机；系统容量大，能满足空中交通量增加的要求；设备体积小，对场地要求低。但是易受电子干扰。
目视引导系统，由专职引导员在着陆平台利用信号旗或无线电指令目视引导飞机着舰。这要求引导员既有丰富的指挥经验，又有很强的目测能力。但是，抗阴雨雾云恶劣天气能力不足，也容易出现操作失误。
计算机视觉自主着陆系统，主要通过安装在飞机上的摄像机，获得着陆点附近的图像，使用计算机视觉算法，估计出飞机的飞行状态和相对于着陆点的位置和方位，结合其他机载传感器，实现飞机的自主着陆控制。
但是,上述技术存在很多缺点:1、无线电导航设备复杂,且易受干扰；2、人工目视控制,抗阴雨雾云恶劣天气能力不足，且容易出现操作失误；3、自主着陆系统对计算能力要求较高；4、着陆平台可能是动平台,动平台做六自由度运动，飞行器相对动平台位置关系复杂。因此,需要一种易操作、抗干扰能力强、适应恶劣环境的定位着陆系统。
发明内容
鉴于上述的分析，本发明旨在提供一种飞行器摄像定位系统,在昼夜条件及各种天气状况下精确定位飞行器相对着陆平台位置，所述系统也可以应用到其他运动物体之间的相互精确定位，用以解决现有技术中存在的各种问题。
本发明的目的主要是通过以下技术方案实现的：
一种飞行器摄像定位系统，包括激光目标源、摄像机、图像处理单元、主控系统单元和光纤通信模块，其中,
所述激光目标源数量为八个，安装于飞行器上机身两侧,两侧各四个，呈近似凸四边形；
所述摄像机为两台近红外广角摄像机,在着陆平台上沿飞行器着陆方向左右两侧对称布置；
所述近红外广角摄像机与图像处理单元通过光纤通信模块连接；
所述图像处理单元包括数据预处理板和数据处理板；
所述数据预处理板接收通过光纤通信模块传输的两路串行数字图像信号，并将其转换为并行图像数据流传输到数据处理板；
数据处理板接收来自数据预处理板的两路图像数据流，同时对两路图像进行目标搜索、捕获、识别与跟踪，分别完成总共八个激光目标源的跟踪测量，实时解算出飞行器相对预期指定着落面的三维空间位置与姿态，将解算结果通过CPCI总线接口送到主控系统单元；
所述主控系统单元根据图像处理单元发送的结算结果计算出飞行器应移动方向并转化为控制信号；将控制信号发送给飞行器，控制飞行器着陆轨迹。
其中,所述激光目标源为中心波长在近红外波段的激光二极管，发出的光形成一个中心波长为808nm，带宽4nm的光谱。
其中,所述摄像机为两台近红外广角摄像机,在着陆平台上沿飞行器着陆方向左右两侧对称布置；
所述近红外广角摄像机的光学镜头采用镀滤光膜设计，一层滤光膜可以截止波长815nm至1100nm的光，另一层滤光膜可截止800nm以下的所有光；两层滤光膜的组合起到了极窄带通滤波器的作用；
为防止运动目标两侧摄像机采集图像时刻的不同，两台摄像机接收同步信号后同时开始自动曝光。
其中,所述数据预处理板通过高速FPGA驱动光纤收发模块与摄像机信息交互，接收通过光纤通信模块传输的两路串行数字图像信号，进行串并转换并进行图像解码、滤波等预处理；预处理后的两路图像数据流经两路并行总线通过CPCI插座发送到数据处理板。
其中,所述数据处理板采用DSP+FPGA的处理架构实现对多路数字图像的高速并行处理与目标姿态的实时解算；来自图像预处理板的两路数据图像流经底板的并行数据总线传送到数据处理板的FPGA中，FPGA主要负责对图像的增强、背景抑制以及实时在线分割，DSP主要负责完成图像处理任务的目标识别、跟踪、脱靶量计算、多目标联合位置解算等功能；DSP通过FPGA产生的译码地址与FPGA交互信息。
其中,数据处理板通过PCI桥芯与底板的CPCI总线互联，可通过PCI总线与主控系统单元进行通信，数据处理板也可通过单独设置的并行数据总线与图像预处理板进行通信。
其中,所述DSP为4片，其中一片DSP备用，DSP1和DSP2各自执行跟踪过程，二者分别对左右摄像机所成图像进行处理，完成左右两路摄像机中目标捕获和跟踪，当两片DSP完成目标源位置计算后，通过LinkPort口将目标源位置信息发送给DSP3，DSP3利用两路图像中目标源位置信息通过双摄影解算模型完成飞行器位置解算、判断解算结果正确性，并将解算合理标志和正确的解算结果反馈给DSP1和DSP2。
本发明的技术效果如下：
1)有源目标源，窄带通滤波器，高质量广角镜头和抗溢出CMOS传感器的组合在各种情况下能提供用于目标检测的优质图像。
2)系统中采用激光目标源作为配合目标，应用808nm发光光源，可以在黑暗中或光照条件很差的情况下看到标志点。
3)飞行器两侧的八个镜头的光源独立，某个损坏不会影响其他的使用
4)两台摄像机对称布置，可以在着陆平台纵横摇情况下有效提高捕获一侧飞行器激光目标源概率。
5)采用光纤传输单元，可以较好的解决电磁屏蔽问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为飞行器摄像定位系统框图；
图2为图像处理单元结构框图；
图3为数据预处理板工作原理框图；
图4为数据处理板结构框图；
图5位数据处理板DSP工作原理框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。
如图1所示，一种飞行器摄像定位系统包括:
激光目标源、摄像机、图像处理单元和主控系统单元等模块，其中,
所述激光目标源数量为八个，安装于飞行器上机身两侧,两侧各四个，呈近似凸四边形；为飞行器高速精确定位系统获取飞行器空中位置和姿态信息提供配合目标,在摄像机所成图像中便于利用凸四边形的几何关系算法识别出对应的目标源图像并在结算中进行对应。其中,
所述激光目标源为中心波长在近红外波段的激光二极管，发出的光形成一个中心波长为808nm，带宽4nm的光谱,可有效区别于可见光波长，有利于提取目标，且对人眼安全；近红外波段光730nm－950nm有着很强的水汽穿透能力，可以在大雾下工作；所述激光二极管通过光纤连接扩束镜头,使发射光分布呈超过九十度的锥型体且光束照射均匀性比值不小于80％；激光目标源从各角度观察形成虚像位置固定，在目标源内部；虽然目标源所成出光面3cm，但是各个激光目标为点目标，这样，可有效的减少激光发光功率需求，摄像机图像传感器饱和后有溢出，利用重心法求取目标图像中心，有较高的精度。
所述激光目标源由激光目标源电控箱进行激光电控。
所述摄像机为两台近红外广角摄像机,在着陆平台上沿飞行器着陆方向左右两侧对称布置；所述近红外广角摄像机与图像处理单元通过光纤通信模块连接，摄像机把图像信息按约定的图像协议格式组帧后通过光纤通信模块发送给图像处理单元。其中,
所述近红外摄像机采用短焦距5.7mm，90度大视场广角光学镜头；光学镜头上采用镀滤光膜设计，一层滤光膜可以截止波长815nm至1100nm的光，另一层滤光膜可截止800nm以下的所有光；两层滤光膜的组合起到了极窄带通滤波器的作用,阻止了通过带宽(800-815nm)以外的各种波长的环境光。环境光的减少使在各种光照条件下检测相对低能量的目标源成为可能；
所述近红外摄像机采用高速CMOS传感器,传感器有2048×2048个有效像素,分布于11mm×11mm区域上，全分辨率输出最高帧率为180帧每秒；考虑到传感器与镜头的资源平衡，从CMOS中选取1536×1536像素读出，利用FPGA把相邻像元采取2×2合并，得到768×768像素图像，等效像元尺寸为11um×11um，分布区域为8.4mm×8.4mm；
所述近红外摄像机可以根据光照等情况调节曝光时间的长短,即根据上一帧或上几帧的图像灰度统计信息制定本帧的曝光策略，使图像有较好的成像质量；
为防止运动目标两侧摄像机采集图像时刻的不同，两台摄像机接收同步信号后同时开始自动曝光。同步信号电气特性符合RS422标准，0.2V<Va-Vb<5V表示“0”；-5V<Va-Vb<-0.2V表示“1”，脉宽30ms，上升沿不大于1us的脉冲，信号A是正脉冲，信号B是负脉冲。同步信号传输采用四芯电缆，电缆1、2芯作为信号地，3、4芯分别连接信号A、B。
摄像机每秒收到秒脉冲后按时序发出30帧图像，每帧图像从开始爆光到传输完毕时间小于10ms。摄像机最快可完成每秒100帧图像的发送。
所述约定的图像协议格式如下：
每帧图像数据：769行×780列；
帧头数据：1行×780列，量化位数16位，定义如下：
帧标识：8个字节，0FFFH,0555H,0FFFH,0555H；
帧类型标识：4个字节，0AAAH,0AAAH；
行开始标识：4个字节，0BBBH,0BBBH；
总长度：4个字节，0012H,4E2CH；
摄像机状态信息：2个字节，00110000(正常工作)，00010000(故障)，00100000(休眠)，00110000(无效)；
摄像机标识：2个字节，0101H(左摄像机),0108H(右摄像机)；
外同步有效：2个字节，01AAH(有效)，0155H(无效)；
像元合并有效：2个字节，01AAH(有效)，0155H(无效)；
图像帧序号：2个字节，0000H—001DH；
帧计数：4个字节，00000001H—FFFFFFFFH；
摄像机心跳信号:2个字节，00AAH；
保留字段：1504个字节；
行结束标识：20个字节，0CCCH，……；
有效图像数据：768行×768列，光电传感器有效量化位数10位，高6位补零。
图像数据低字节在前，高字节在后。
帧结束标识：20个字节，0EEEH,……。
所述图像处理单元通过光纤通信模块从近红外摄像机获得图像信息，按帧格式解码后得到整幅图像及状态信息进行目标源检测分析和目标源检测分析后处理，如附图图2所示，所述图像处理单元包括数据预处理板和数据处理板,所述数据预处理板和数据处理板均为6UCPCI加固电路板。
如附图图3所示，所述数据预处理板通过高速FPGA驱动光纤收发模块与摄像机信息交互，接收通过光纤通信模块传输的两路串行数字图像信号，并将其转换为并行图像数据流。预处理板通过CPCI底板自定义接口与数据处理板进行数据交互，将并行图像数据流通过CPCI插座传输到数据处理板；具体如下:两路来自摄像机的光纤数字图像经光纤连接器4EOLTR-85-512523M-Lm接收后，再经TLK2501串并转换，将串行图像数据流转换为并行图像数据流送入FPGA-SPARTAN6中进行图像解码、滤波等预处理，预处理后的两路图像数据流经两路并行总线通过CPCI插座发送到数据处理板，进行下一步数据处理。同时，预处理后的两路图像数据流还可以经TLK2501并串转换，再经光纤连接器4EOLTR-85-512523M-Lm发送到外接图像显示、记录设备。
如附图图4所示，数据处理板通过CPCI插座接收来自数据预处理板的两路图像数据流，同时对两路图像进行目标搜索、捕获、识别与跟踪，分别完成总共八个目标的跟踪测量，实时解算出飞行器相对预期指定着落面的三维空间位置与姿态，将解算结果通过CPCI总线接口送到主控系统单元。
数据处理板采用DSP+FPGA的处理架构，可实现对多路数字图像的高速并行处理与目标姿态的实时解算；DSP选用AD公司的TigerShark201，其CPU核心频率可达到600MHz；FPGA选用Xilinx公司的SpartanXC3S4000。4片DSP均各配置容量为2Gbit的高速SDRAM存储器；4片DSP通过Link-Port口实现交叉互联，与FPGA共同构成高速并行浮点数据处理系统。
来自图像预处理板的两路数据图像流经底板的并行数据总线传送到数据处理板的FPGA中，FPGA主要负责对图像的增强、背景抑制以及实时在线分割，DSP主要负责完成图像处理任务的目标识别、跟踪、脱靶量计算、多目标联合位置解算等功能。DSP通过FPGA产生的译码地址与FPGA交互信息。
数据处理板通过PCI桥芯片PCI9656BA与底板的CPCI总线互联，可通过PCI总线与主控系统单元进行通信，数据处理板也可通过单独设置的并行数据总线与图像预处理板进行通信。4片ADSP-TS201高速浮点数字信号处理器之间采用高速LinkPort口交叉互联，通过LinkPort口实现四片DSP间的高速数据交换。每个DSP均外接2G容量的DDRII-53332bit高速存储器，用于图像及数据的存储与缓冲。
其中一片DSP备用，如图5所示，DSP1和DSP2各自执行跟踪过程，二者分别对左右摄像机所成图像进行处理，完成左右两路摄像机中目标捕获和跟踪，当两片DSP完成目标源位置计算后，通过LinkPort口将目标源位置信息发送给DSP3，DSP3利用两路图像中目标源位置信息通过双摄影解算模型完成飞行器位置解算、利用反投影误差判断解算结果正确性，并将解算合理标志和正确的解算结果反馈给DSP1和DSP2。具体包括以下几个步骤：目标源搜索与捕获、目标源识别、目标源位置校正、数据解算、摄像机参数标定，其中；
步骤一、目标源搜索与捕获
目标源搜索与捕获主要是从图像中搜索所有候选目标，并统计每个候选目标的属性特征，为下一步的目标源识别提供信息源。目标源搜索与捕获目标主要包括图像增强、图像分割、图像滤波、多目标捕获与标记4个子步骤。
1.1图像增强
图像增强主要是为了滤除图像中背景杂波(如太阳光照、云层等)的干扰，提高图像的信噪比，有利于目标源的捕获和识别。
图像增强方法是对整幅图像(768×768)进行滤波处理，算法的时间开销和空间开销都非常的大，所以图像增强算法均在FPGA硬件中实时完成，由于一些算法需要先得到视频流中的几行数据后方能实现，故需要在FPGA中预存几个电视扫描行的数据(以5×5的滤波算子为例，需要预存3行)。
太阳光照和天空云层对目标的捕获和识别影响较大，虽然太阳的能量比较大，但是其大部分区域都处在低频部分，而激光目标源可以认为是一个个奇异点，分布在信号的低频部分，所以采用高通滤波的方法对图像进行滤波处理，这样可以有效地滤除太阳等背景杂波的影响。
1.2图像分割
通过统计图像灰度分布特性，利用自适应阈值方式进行图像分割，实现目标与背景的分离。
统计图像灰度分布的过程中，为了提高统计结果的可靠性与实时效率，背景均值不需要在整个波门中进行，对于简单的天空背景图像而言，可以统计局部区域以代替全局统计结果，即只需要计算图像背景的边缘几个局部区域即可。在进行图像分割的过程中利用DSP和FPGA相结合的方法进行，其中FPGA完成图像灰度信息的统计，DSP计算分割阈值，当阈值计算完成后传回FPGA，FPGA对图像进行图像分割。
1.3图像滤波
虽然经过图像增强后，图像上的噪声和干扰大幅减小，然而图像分割后仍可能存在大量的小面积虚假目标及孤立的噪声点，目标标记后，同一个目标仍可能被识别为多个候选目标。同时，大量虚假目标的出现给目标源识别带来了沉重的计算负担。由于真实目标一般具有一定的面积，因此，在标记之前进一步滤除小面积的噪声点，并对同属一个目标的多个被分割断裂区域进行连接，可以减少虚警、提高目标识别概率、降低航迹处理的负担。
图像滤波包括了腐蚀与膨胀运算。腐蚀运算可以消除图像中小于所选取结构元的目标，膨胀则可以连接被误分割断裂但属于同一个目标的区域。将这两个算子串联使用，并使膨胀的结构元大于腐蚀的结构元，则在滤除虚警的同时更完整的保留了真实目标。通常前者结构元尺度选为1×2，后者选为3×3，数学形态学运算是对全视场图像进行，所以该部分在FPGA中进行以提高计算速度。
1.4多目标捕获和标记
当FPGA完成经过形态学处理的二值图像后，进行目标前后沿数据生成。目标前后沿即是由目标段起始和结束像素坐标位置组成，目标由各扫描行中目标段组成，连通的目标段同属于一个目标。DSP1/2通过DMA读取目标分割的前后沿数据，进行多目标标记，获得各个目标的特征信息(包括目标大小、目标坐标以及宽度和高度信息)。
多目标捕获和标记处理根据线段连通性对目标进行标记、建立映射表，从而计算出视场中总的目标数目，以及各个目标对应的特征参数，包括目标面积、长、宽以及位置坐标等参数，便于后续目标识别与跟踪。
步骤二、目标源识别
目标源识别就是DSP1/2利用每个候选目标的特征信息对多目标捕获和标记处理后的各个候选目标进行识别，用以剔除伪目标，识别出真正感兴趣的真实目标源的过程。其中，目标源识别过程涉及到三次目标判别，分别为第一次目标判别、第二次目标判别和第三次目标判别。
第一次目标判别是根据候选目标特征集中的特征信息剔除虚假的目标，其中目标源的特征信息包括目标源的面积、能量、长宽比。根据直升飞机在图像视场内的最远和最近运动距离可以确定目标源特征信息的临界范围[Fmax,Fmin]，判断每个候选目标源特征信息是否在特征范围[Fmax,Fmin]内，如果不在该范围内将该候选目标源予以剔除。
第二次目标判别根据目标之间呈现近似凸四边形的几何关系，搜索到真实目标源点。由于四个目标源在飞行器上安装近似成凸四边形的关系，根据摄影几何关系，其在图像上的投影点也近似成凸四边形的关系，所以对第一次目标判别后剩余的候选目标源数据集逐一判断是否满足凸四边形关系。凸四边形的判别方法是任意三点组成的三角形，第四点必定位于三角形之外。同时满足凸四边形关系的四个点还要进行两两之间距离的判断，即四边形的两个长边之比和两条宽边之比要在范围[Lmax,Lmin]内，其中范围[Lmax,Lmin]根据飞行器运动距离和角度进行确定。
第三次目标判别对真实目标源点，根据目标轨迹运动连续性进行进一步判别。当搜索到四个目标源点之后，下一步要对目标源真实性进行进一步的判别，通过连续几帧目标运动轨迹的连续性进行判别。由于飞行器运动的连续性，其两侧的目标源点运动也是连续的，所以如果目标源在图像上的投影点在连续几帧满足连续性则为真实目标源点，否则为假目标源点。
步骤三、目标源位置校正
数据处理板经过目标源搜索与捕获、目标源识别等一系列的信息处理，最终实现对所需要目标位置的精确测量。DSP通过计算每个目标源的质心位置，并通过摄像机畸变参数完目标源位置校正，主要包括目标源位置生成、目标源位置校正。
3.1目标源位置生成
通过计算每个目标源点的质心位置，完成飞行器位置解算，该质心位置即为飞行器上空间物理目标源在图像上的投影点。
3.2目标源位置畸变校正
由于摄像机提供的目标源位置信息存在畸变，所以需要根据摄像机的畸变校正参数对得到的每个目标源位置进行畸变校正。
步骤四、数据解算
飞行器位置解算由DSP3采用双摄影测量数学模型完成，双摄影测量作为一种目标位姿参数测量方法的称谓，其具体定义为：两个摄像机同时对一个目标成像，一个摄像机拍摄到目标一侧的四个目标源点，而另一个摄像机拍摄到目标的另一侧的四个目标源点，由目标上的这八个目标源点在目标上的位置、两个摄像机相对于参考坐标系的位姿关系、摄像机内部参数和八个像点的图像坐标等信息，用双摄影测量算法计算出该目标在参考坐标系中的位置和姿态。
双摄影测量算法利用摄像机针孔模型，由每个目标源点可建立两个非线性方程，8个点一共可建立16个方程，得到一个由16个方程构成的6变量的非线性方程组。为求解该超定方程组，先通过几何方法求出一个初始解，再利用牛顿-辛普森迭代法求出最小二乘解。
对于目标源丢失和复现的问题，其解决方法如下：
当飞行器进入着陆平台上空初始跟踪中，如果两侧摄像机均捕获到四个目标时，经过三帧确认目标后，稳定跟踪目标并利用两侧八目标参与双摄影测量进行飞行器定位；如果飞行器两侧四个目标点中各少一个目标点，利用跟踪的六个目标参与双摄影测量进行飞行器定位，同时进行全视场搜索目标；当只有一侧四个目标识别并稳定跟踪时，采用四点单摄像机进行飞机定位；
如果飞行器两侧八个目标中，一侧四个目标点中一个至三个目标因故障或离开摄像机视场时，利用稳定跟踪的其余目标参与双摄影测量进行飞行器定位，使实时解算数据连续不跳跃，同时全视场搜索丢失目标；
当丢失的目标又复现的时候，对复现的目标进行识别确认精跟踪后再参与双摄影测量计算，在之前均采用稳定跟踪的其余目标进行双摄影测量计算。其中当丢失的目标复现时采用反投影法进行识别确认，利用一侧四个目标采用单摄像机测量算法解算出飞行器位置，利用摄像机的外参数，可以计算出飞行器另外一侧的目标源在另外一侧图像面的投影坐标，通过在投影点附近可识别确认目标。
数据处理板在外同步时序控制下进行工作，接收来自主控系统单元的CPCI控制命令，根据任务需求执行数据装订、故障诊断、待机唤醒以及目标搜索、提取、位置解算等任务，CSCI接收的控制命令将指明程序的工作状态。
所述主控系统单元根据图像处理单元发送的结算结果计算出飞行器应移动方向并转化为控制信号；将控制信号发送给飞行器，控制飞行器着陆轨迹。
所述光纤通信模块中的光纤收发芯片采用8b/10b编码，物理带宽为2Gb，光纤一路通道有效带宽为1.6Gb,考虑到飞行器定位精度需求，摄像机图像分辨率可能采用1536×1536像素，100帧每秒的图像的发送需求带宽为3.2G,需要两路光纤通道。光纤转换芯片TLK2501工作频率100M，为了保证信号完整性，减少并行数据间的延迟，具体布线时采用蛇行线来保证并行数据线间误差在+/-10mils。也可以采用更高带宽的光纤通道。
本发明的技术效果如下：
1)有源目标源，窄带通滤波器，高质量广角镜头和抗溢出CMOS传感器的组合在各种情况下能提供用于目标检测的优质图像。
2)系统中采用激光目标源作为配合目标，应用808nm发光光源，可以在黑暗中或光照条件很差的情况下看到标志点。
3)飞行器两侧的八个镜头的光源独立，某个损坏不会影响其他的使用
4)两台摄像机对称布置，可以在着陆平台纵横摇情况下有效提高捕获一侧飞行器激光目标源概率。
5)采用光纤传输单元，可以较好的解决电磁屏蔽问题。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种飞行器摄像定位系统，包括激光目标源、摄像机、图像处理单元、主控系统单元和光纤通信模块，其中,
所述激光目标源数量为八个，安装于飞行器上机身两侧,两侧各四个，呈近似凸四边形；
所述摄像机为两台近红外广角摄像机,在着陆平台上沿飞行器着陆方向左右两侧对称布置；
所述近红外广角摄像机与图像处理单元通过光纤通信模块连接；
所述图像处理单元包括数据预处理板和数据处理板；
所述数据预处理板接收通过光纤通信模块传输的两路串行数字图像信号，并将其转换为并行图像数据流传输到数据处理板；
所述数据处理板接收来自数据预处理板的两路图像数据流，同时对两路图像进行目标搜索、捕获、识别与跟踪，分别完成总共八个激光目标源的跟踪测量，实时解算出飞行器相对预期指定着落面的三维空间位置与姿态，将解算结果通过CPCI总线接口送到主控系统单元；
所述主控系统单元根据图像处理单元发送的结算结果计算出飞行器应移动方向并转化为控制信号；将控制信号发送给飞行器，控制飞行器着陆轨迹。
2.根据权利要求1所述的飞行器摄像定位系统，其中,
所述激光目标源为中心波长在近红外波段的激光二极管，发出的光形成一个中心波长为808nm，带宽4nm的光谱。
3.根据权利要求1所述的飞行器摄像定位系统，其中,
所述摄像机为两台近红外广角摄像机,在着陆平台上沿飞行器着陆方向左右两侧对称布置；
所述近红外广角摄像机的光学镜头采用镀滤光膜设计，一层滤光膜可以截止波长815nm至1100nm的光，另一层滤光膜可截止800nm以下的所有光；两层滤光膜的组合起到了极窄带通滤波器的作用；
为防止运动目标两侧摄像机采集图像时刻的不同，两台摄像机接收同步信号后同时开始自动曝光。
4.根据权利要求1所述的飞行器摄像定位系统，其中,
所述数据预处理板通过高速FPGA驱动光纤收发模块与摄像机信息交互，接收通过光纤通信模块传输的两路串行数字图像信号，进行串并转换并进行图像解码、滤波等预处理；预处理后的两路图像数据流经两路并行总线通过CPCI插座发送到数据处理板。
5.根据权利要求1所述的飞行器摄像定位系统，其中,
所述数据处理板采用DSP+FPGA的处理架构实现对多路数字图像的高速并行处理与目标姿态的实时解算；来自图像预处理板的两路数据图像流经底板的并行数据总线传送到数据处理板的FPGA中，FPGA主要负责对图像的增强、背景抑制以及实时在线分割，DSP主要负责完成图像处理任务的目标识别、跟踪、脱靶量计算、多目标联合位置解算等功能；DSP通过FPGA产生的译码地址与FPGA交互信息。
6.根据权利要求5所述的飞行器摄像定位系统，其中,
数据处理板通过PCI桥芯与底板的CPCI总线互联，可通过PCI总线与主控系统单元进行通信，数据处理板也可通过单独设置的并行数据总线与图像预处理板进行通信。
7.根据权利要求5所述的飞行器摄像定位系统，其中,
所述DSP为4片，其中一片DSP备用，DSP1和DSP2各自执行跟踪过程，二者分别对左右摄像机所成图像进行处理，完成左右两路摄像机中目标捕获和跟踪，当两片DSP完成目标源位置计算后，通过LinkPort口将目标源位置信息发送给DSP3，DSP3利用两路图像中目标源位置信息通过双摄影解算模型完成飞行器位置解算、判断解算结果正确性，并将解算合理标志和正确的解算结果反馈给DSP1和DSP2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610084196.6A CN105730705B (zh) | 2016-02-14 | 2016-02-14 | 一种飞行器摄像定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610084196.6A CN105730705B (zh) | 2016-02-14 | 2016-02-14 | 一种飞行器摄像定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105730705A true CN105730705A (zh) | 2016-07-06 |
| CN105730705B CN105730705B (zh) | 2017-11-10 |
Family
ID=56245133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610084196.6A Active CN105730705B (zh) | 2016-02-14 | 2016-02-14 | 一种飞行器摄像定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105730705B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955288A (zh) * | 2016-07-15 | 2016-09-21 | 零度智控（北京）智能科技有限公司 | 飞行器定位及控制方法及系统 |
| CN106295563A (zh) * | 2016-08-09 | 2017-01-04 | 武汉中观自动化科技有限公司 | 一种基于多目视觉对飞行目标飞行性能评估的系统及方法 |
| CN106454283A (zh) * | 2016-12-14 | 2017-02-22 | 中国人民解放军军械工程学院 | 一种仿生鹰眼智能漫游跟踪装置及跟踪方法 |
| CN106933240A (zh) * | 2017-03-16 | 2017-07-07 | 东北农业大学 | 基于光纤通讯的无人机飞行控制系统 |
| CN107328310A (zh) * | 2017-06-26 | 2017-11-07 | 南京长峰航天电子科技有限公司 | 多目标靶船测控系统 |
| CN109073762A (zh) * | 2017-09-28 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 定位故障光伏板的方法、设备及无人机 |
| CN109859264A (zh) * | 2017-11-30 | 2019-06-07 | 北京机电工程研究所 | 一种基于视觉导引的飞行器捕控跟踪系统 |
| CN110033472A (zh) * | 2019-03-15 | 2019-07-19 | 电子科技大学 | 一种复杂红外地面环境下的稳定目标跟踪方法 |
| CN110363821A (zh) * | 2019-07-12 | 2019-10-22 | 顺丰科技有限公司 | 单目相机安装偏差角的获取方法、装置、相机及存储介质 |
| CN112197766A (zh) * | 2020-09-29 | 2021-01-08 | 西安应用光学研究所 | 一种针对系留旋翼平台的视觉测姿装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5287104A (en) * | 1991-10-16 | 1994-02-15 | Shemwell David M | Method and apparatus for aiding a landing aircraft |
| CN1173449A (zh) * | 1997-03-29 | 1998-02-18 | 深圳奥沃国际科技发展有限公司 | 指引飞机起降的激光信号系统 |
| US6320516B1 (en) * | 2000-03-20 | 2001-11-20 | Richard E. Reason | Airport and runway laser lighting method |
| EP2107393A1 (en) * | 2008-04-01 | 2009-10-07 | Daylight Solutions, Inc. | Mid infrared optical illuminator assembly |
| CN202320788U (zh) * | 2011-11-04 | 2012-07-11 | 中国船舶工业集团公司船舶系统工程部 | 一种飞行器降落激光引导装置 |
| CN202414171U (zh) * | 2011-12-01 | 2012-09-05 | 中国科学院西安光学精密机械研究所 | 飞行器助降系统 |
| CN203318684U (zh) * | 2013-04-17 | 2013-12-04 | 西安中飞航空测试技术发展有限公司 | 一种飞机定点着陆图像系统 |
| CN104340371A (zh) * | 2013-07-24 | 2015-02-11 | 空中客车营运有限公司 | 自主且自动的着陆方法和系统 |
-
2016
- 2016-02-14 CN CN201610084196.6A patent/CN105730705B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5287104A (en) * | 1991-10-16 | 1994-02-15 | Shemwell David M | Method and apparatus for aiding a landing aircraft |
| CN1173449A (zh) * | 1997-03-29 | 1998-02-18 | 深圳奥沃国际科技发展有限公司 | 指引飞机起降的激光信号系统 |
| US6320516B1 (en) * | 2000-03-20 | 2001-11-20 | Richard E. Reason | Airport and runway laser lighting method |
| EP2107393A1 (en) * | 2008-04-01 | 2009-10-07 | Daylight Solutions, Inc. | Mid infrared optical illuminator assembly |
| CN202320788U (zh) * | 2011-11-04 | 2012-07-11 | 中国船舶工业集团公司船舶系统工程部 | 一种飞行器降落激光引导装置 |
| CN202414171U (zh) * | 2011-12-01 | 2012-09-05 | 中国科学院西安光学精密机械研究所 | 飞行器助降系统 |
| CN203318684U (zh) * | 2013-04-17 | 2013-12-04 | 西安中飞航空测试技术发展有限公司 | 一种飞机定点着陆图像系统 |
| CN104340371A (zh) * | 2013-07-24 | 2015-02-11 | 空中客车营运有限公司 | 自主且自动的着陆方法和系统 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955288A (zh) * | 2016-07-15 | 2016-09-21 | 零度智控（北京）智能科技有限公司 | 飞行器定位及控制方法及系统 |
| CN106295563A (zh) * | 2016-08-09 | 2017-01-04 | 武汉中观自动化科技有限公司 | 一种基于多目视觉对飞行目标飞行性能评估的系统及方法 |
| CN106295563B (zh) * | 2016-08-09 | 2019-06-07 | 武汉中观自动化科技有限公司 | 一种基于多目视觉对飞行目标飞行性能评估的系统及方法 |
| CN106454283B (zh) * | 2016-12-14 | 2019-05-07 | 中国人民解放军陆军工程大学 | 一种仿生鹰眼智能漫游跟踪装置及跟踪方法 |
| CN106454283A (zh) * | 2016-12-14 | 2017-02-22 | 中国人民解放军军械工程学院 | 一种仿生鹰眼智能漫游跟踪装置及跟踪方法 |
| CN106933240A (zh) * | 2017-03-16 | 2017-07-07 | 东北农业大学 | 基于光纤通讯的无人机飞行控制系统 |
| CN107328310B (zh) * | 2017-06-26 | 2018-03-27 | 南京长峰航天电子科技有限公司 | 多目标靶船测控系统 |
| CN107328310A (zh) * | 2017-06-26 | 2017-11-07 | 南京长峰航天电子科技有限公司 | 多目标靶船测控系统 |
| CN109073762A (zh) * | 2017-09-28 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 定位故障光伏板的方法、设备及无人机 |
| US11334077B2 (en) | 2017-09-28 | 2022-05-17 | SZ DJI Technology Co., Ltd. | Method and device for locating faulty photovoltaic panel, and unmanned aerial vehicle |
| CN109859264A (zh) * | 2017-11-30 | 2019-06-07 | 北京机电工程研究所 | 一种基于视觉导引的飞行器捕控跟踪系统 |
| CN110033472A (zh) * | 2019-03-15 | 2019-07-19 | 电子科技大学 | 一种复杂红外地面环境下的稳定目标跟踪方法 |
| CN110033472B (zh) * | 2019-03-15 | 2021-05-11 | 电子科技大学 | 一种复杂红外地面环境下的稳定目标跟踪方法 |
| CN110363821A (zh) * | 2019-07-12 | 2019-10-22 | 顺丰科技有限公司 | 单目相机安装偏差角的获取方法、装置、相机及存储介质 |
| CN112197766A (zh) * | 2020-09-29 | 2021-01-08 | 西安应用光学研究所 | 一种针对系留旋翼平台的视觉测姿装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105730705B (zh) | 2017-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105730705B (zh) | 一种飞行器摄像定位系统 | |
| CN105758397B (zh) | 一种飞行器摄像定位方法 | |
| CN111461023B (zh) | 基于三维激光雷达的四足机器人自主跟随领航员的方法 | |
| CN105302151B (zh) | 一种飞机入坞引导和机型识别的系统及方法 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| CN109270534A (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| CN110297498A (zh) | 一种基于无线充电无人机的轨道巡检方法及系统 | |
| CN108038415B (zh) | 一种基于机器视觉的无人机自动检测与跟踪方法 | |
| CN110058597A (zh) | 一种自动驾驶异构系统及实现方法 | |
| CN110579771A (zh) | 一种基于激光点云的飞机泊位引导方法 | |
| CN106175780A (zh) | 面肌运动捕捉分析系统及其分析方法 | |
| CN109819173A (zh) | 基于tof成像系统的深度融合方法和tof相机 | |
| CN106647758A (zh) | 一种目标物体检测方法、装置及自动引导车的跟随方法 | |
| CN101727654A (zh) | 一种并行流水线实现的点目标连通域实时标记与识别方法 | |
| CN113066050B (zh) | 一种基于视觉的空投货台航向姿态解算方法 | |
| CN110371016A (zh) | 车辆前灯的距离估计 | |
| CN112505050A (zh) | 一种机场跑道异物检测系统及方法 | |
| CN112329584A (zh) | 基于机器视觉自动识别电网异物的方法及系统、设备 | |
| CN112650304B (zh) | 无人机自主着陆系统、方法和无人机 | |
| CN113792593A (zh) | 一种基于深度融合的水下近距离目标识别跟踪方法及系统 | |
| CN109708659B (zh) | 一种分布式智能光电低空防护系统 | |
| CN116580107A (zh) | 一种跨视角多目标实时轨迹跟踪方法与系统 | |
| CN112051588A (zh) | 一种多传感器融合的玻璃识别系统 | |
| CN109862263B (zh) | 一种基于图像多维特征识别的移动目标自动跟踪方法 | |
| JPH11211738A (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |