CN115639519B

CN115639519B - 基于多光谱融合的光端机初始指向方位测量方法及设备

Info

Publication number: CN115639519B
Application number: CN202211432293.1A
Authority: CN
Inventors: 董科研; 张博; 刘超; 宋延嵩; 刘天赐; 梁宗林; 朴明旭
Original assignee: Changchun University of Science and Technology
Current assignee: Changchun University of Science and Technology
Priority date: 2022-11-16
Filing date: 2022-11-16
Publication date: 2023-04-07
Anticipated expiration: 2042-11-16
Also published as: CN115639519A

Abstract

本发明具体涉及一种基于多光谱融合的光端机初始指向方位测量方法及设备，方法包括以下步骤：S1：采集光端机多光谱图像；S2：将采集到的光端机多光谱图像分成两个通道的光端机图像，分别为可见光波段图像和红外波段图像；S3：分别通过可见光目标检测模型和红外目标检测模型对可见光波段图像和红外波段图像进行目标检测处理；S4：将两个通道的检测结果进行图像融合检测处理，得到光端机初始指向方位测量结果；本发明可以在不同环境背景下完成光端机初始指向方位的测量，初始指向测量速度快，具有很高的操作实时性，检测准确度高且鲁棒性好，对激光通信光端机初始指向方位测量过程中光端机目标的快速检测工作起到了重要作用。

Description

基于多光谱融合的光端机初始指向方位测量方法及设备

技术领域

本发明涉及无线激光通信技术领域，具体涉及一种基于多光谱融合的光端机初始指向方位测量方法及设备。

背景技术

空间激光通信系统由于具有高速率、体积小、低功耗、安全性能好、无带宽限制等诸多优点，使其在商业、民用、军事等领域具有广泛应用前景。捕获、对准、跟踪(APT)子系统是空间激光通信系统的重要组成部分，是空间激光通信正常进行的前提与保障。而初始指向方位测量是激光通信的第一步，也是空间激光通信系统中一项关键技术。

在经典无线激光通信系统中，因为通信光光束疏散角相对窄小并且光束功率不高，在对光束进行捕获的过程中较为困难，为了减小捕获所需的时间，提升捕获概率与捕获效率，常常都会选择加入大束散角、大功率的信标光系统，从而先对信标光进行快速捕获，在进行跟踪。

初始指向方位测量部分没有任何差异，都是通信视轴从零位开始转动，到指向通信对方所在不确定区域（AOU）的过程。基本示意图如图1所示。原理是在己方位置、己方姿态，对方位置已知情况下，通信双方在完全时统的条件下，使用坐标转换计算视轴互指的方位角和俯仰角，将此角度信息驱动转台带动视轴从初始零位开始旋转，指向对方。高精度的位置、姿态、速度、时间参数获取是关键。星载终端可以通过星历表、自身姿态传感器获得上述信息。其他平台则需通过专门设备获得。

经典无线激光通信系统工作过程，在通信开始之前，要进行初始指向，通过查阅星历表和GPS等，计算出卫星平台的轨道信息和平台姿态信息。由于测量计算等误差影响，会产生一个不确定区域。

通过初始指向后，需要在不确定区域内捕获到激光光束。一般情况下不确定区域会有几个毫弧度，远大于通信光，较于大疏散角的信标光而言，也要大出许多。常用的捕获策略有凝视-凝视策略、凝视-扫描策略和扫描-扫描策略。捕获的过程主要是端机调整激光光束方向，在确定区域内扫描，每扫描一个点，都会在这个点滞留一个足够的时间，等待对方接收到激光光束后回传的反馈信号，如果在限定时间内并未接到反馈信号，则激光光束跳至下一点继续扫描，依次往复。一旦接收到对方传来的反馈信号，便停止扫描，捕获完成，进入跟踪阶段。因为目标在不确定区域中心出现的概率最高，一般都会选择从中心开始扫描，从而节省扫描时间。

但信标光在整个系统的工作阶段使用效率不高，为了增大束散角及功率，额外增加了系统负载功率，并且光端机要额外增加一个相机来专门处理信标光信号，光端机的体积重量都会受到影响。经典无线激光通信光端机要用两台相机来分别处理信标光光束和通信光光束，导致光端机的体积重量与功耗都比较大，初始指向方位测量需要进行大量扫描，经典无线激光通信光端机在对对端设备初始指向方位大量扫描的的过程中难以快速确定对端设备初始指向方位，且测量精度有限，鲁棒性差。

发明内容

因此，本发明要解决的技术问题在于克服经典无线激光通信光端机体积重量大、功耗大、在对对端设备初始指向方位大量扫描的过程中难以快速确定对端设备初始指向、检测精度有限、鲁棒性差的缺陷，从而提供了一种基于多光谱融合的光端机初始指向方位测量方法及设备。

一种基于多光谱融合的光端机初始指向方位测量方法，包括以下步骤：

S1：采集光端机多光谱图像；

S2：将采集到的光端机多光谱图像分成两个通道的光端机图像，分别为可见光波段图像和红外波段图像；

S3：分别通过可见光目标检测模型和红外目标检测模型对可见光波段图像和红外波段图像进行目标检测处理；

S4：将两个通道的检测结果进行图像融合检测处理，得到光端机初始指向方位测量结果。

进一步，所述步骤S4通过图像决策级融合检测对两个通道的检测结果进行处理，具体流程为：

S4.1：将可见光目标模型检测得到的部分候选框和红外目标模型检测得到的部分候选框放在一个候选框集合当中；

S4.2：根据候选框置信度的高低，对候选框集合进行排序，得到置信度最高的候选框Rmax；

S4.3：计算其他候选框与Rmax的交互比，判断交互比的数值是否达到所抑制的阈值，如果数值大于阈值，将该候选框舍弃，否则保留该候选框；

S4.4：将所有小于阈值的候选框放到一个集合里面，重复步骤S4.2和S4.3，直到只剩下一个候选框，将该候选框作为图像融合检测最终结果，并通过坐标转换计算得到光端机初始指向方位最终测量结果。

进一步，所述步骤S3中可见光目标检测模型和红外目标检测模型都采用区域卷积神经网络R-CNN模型，R-CNN模型进行目标检测处理步骤为：

S3.1：生成候选区域；通过算法在输入图像上提取多个生成可能包含目标的候选区域；

S3.2：进行特征提取；调整图片大小，输入AlexNet网络，通过卷积神经网络CNN对每个候选区域提取对应的特征向量；

S3.3：对区域进行分类；将提取的特征向量进行二分类SVM，通过SVM的输出结果得出特征向量对应的候选区域是否存在目标；

S3.4：对检测框进行修正；通过使用算法对检测框进行调整，直至预测框接近于真实框。

进一步，所述步骤S3.1中选择Selective Search搜索算法在输入图像上提取候选区域。

进一步，所述步骤S3.1中提取的候选区域个数为2000个。

进一步，所述步骤S3.4中通过边框回归算法对检测框进行调整。

进一步，所述可见光波段图像的波长为400-800 nm，所述红外波段图像的波长为0.8um-14um。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本发明技术方案通过采集多光谱图像，对采集图像进行分波段处理，可见光和红外双通道进行目标检测，对两个通道的检测结果经过图像融合检测处理，最终得到光端机初始指向方位测量结果，整个光端机初始指向方位测量过程迅速，且具有很高的操作实时性；同时，整个光端机初始指向方位测量系统结构紧凑，使得光端机的体积重量与功耗都大大减少，提高了光端机的便携性。本发明涉及的方法检测准确度高，鲁棒性好，系统紧凑便携，可以在不同环境背景下完成光端机初始指向方位的测量，对激光通信光端机初始指向方位测量过程中光端机目标的快速检测工作起到了重要作用。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为初始指向示意图；

图2为多光谱融合光端机检测处理方法示意图；

图3为R-CNN目标检测模型处理流程图；

图4为图像决策级融合处理流程图；

图5为图像决策级融合检测图像示意图；

图6为光端机融合检测输出图像示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

对光束光端机进行检测是光端机初始指向方位测量的重要环节，光端机系统通常采用高灵敏度图像传感器作为探测器，本发明采用多光谱相机进行光端机图像的检测与捕获跟踪，方便激光通信光端机进行小型化便携化轻量化的设计；本发明针对光端机初始指向方位测量过程在采集多光谱图像的特点，以及实际光端机目标检测需要，设计出一种基于多光谱融合的光端机初始指向方位测量方法，具体如图2所述，包括以下步骤：

S1：采集光端机多光谱图像；

传统的光端机目标检测，一般是基于单波段相机采集的，但其不能很好地适应复杂环境背景，针对此类问题，本发明通过采用一个多光谱相机，采集可见光与红外两个波段的图像，分别进行目标检测，选用可见光目标检测模型对可见光波段图像进行检测，红外目标检测模型对红外波段图像的目标进行检测，再将检测结果进行融合检测，使得检测精度高且鲁棒性好；为了提升激光通信光端机初始指向方位测量过程中光端机目标的检测性能，本发明将可见光光端机目标检测模型与红外光端机目标检测模型结合，实现可见光加红外双波段的光端机目标检测。

请参阅图4，本发明步骤S4中通过图像决策级融合检测对两个通道的检测结果进行处理，具体流程为：

对光端机多光谱图像，经过上述光端机图像处理的过程，得到图像决策级融合检测后的图像，并将检测出来的光端机初始指向光斑目标框选出来。处理图像如图5所示。可见光波段光端机图像如图5（左侧）所示，红外波段光端机图像如图5（中间）所示，最终融合输出检测结果图像如图5（右侧）所示。

理论分析可知，在白天或光照良好的情况下，可见光目标检测模型具有更好的检测结果，特别是对于不明显的红外波段光端机目标进行检测。而在夜间或亮度不足的环境下，红外目标检测模型检测光端机目标的准确度更高。将两个波段的检测结果进行图像像素级融合检测，大大提高了光端机目标的检测准确度。图像像素级融合检测相比于传统单波段目标检测具有全场景适应，检测准确度高的优势。

经过上述光端机多光谱目标检测的过程，得到的融合检测结果，后续需要对图像中的光端机信息进行提取，标记出光端机的位置，计算质心，像素位置等信息，最后将提取出光端机的位置坐标与零点坐标进行比较，从而来判断光端机的初始指向方位。最终处理得到的光端机融合检测输出图像如图6所示。

请参阅图3，本发明步骤S3中可见光目标检测模型和红外目标检测模型都采用区域卷积神经网络R-CNN模型，R-CNN目标检测模型通过生成目标可能存在的候选区域，然后经过CNN、分类器等方法，判断候选区域中是否存在要检测的目标，最后对识别出目标的候选区域进行精细的调整，R-CNN模型进行目标检测处理步骤为：

建立光端机目标的检测模型，要分别对可见光波段和红外波段图像进行训练，生成对应波段的目标检测模型。可见光波段目标检测与红外波段目标检测的区别主要是两者所检测处理的图像光学波段是不同的，但是都是基于图像进行的目标检测。本发明采用深度学习的R-CNN目标检测模型，同时多光谱图像采集的数据集，分波段进行模型的训练。采集不同环境背景下的光端机目标多光谱图像，分成可见光波段和红外波段，分别进行模型训练，得到可见光目标模型和红外目标模型。

所述步骤S3.1中选择Selective Search搜索算法在输入图像上提取候选区域。

所述步骤S3.1中提取的候选区域个数为2000个。

所述步骤S3.4中通过边框回归算法对检测框进行调整。

所述可见光波段图像的波长为400-800 nm，所述红外波段图像的波长为0.8um-14um。

本发明还包括一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasablePROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM 可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（dynamic RAM，DRAM）、同步动态随机存取存储器（synchronousDRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDRSDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambusRAM，DR RAM）。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，高密度数字视频光盘（digital video disc，DVD））、或者半导体介质（例如，固态硬盘（solid state disc，SSD））等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种基于多光谱融合的光端机初始指向方位测量方法，其特征在于，包括以下步骤：

S1：采集光端机多光谱图像；

S4：将两个通道的检测结果进行图像融合检测处理，得到光端机初始指向方位测量结果；

所述步骤S4通过图像决策级融合检测对两个通道的检测结果进行处理，具体流程为：

2.根据权利要求1所述的方法，其特征在于，所述步骤S3中可见光目标检测模型和红外目标检测模型都采用区域卷积神经网络R-CNN模型，R-CNN模型进行目标检测处理步骤为：

3.根据权利要求2所述的方法，其特征在于，所述步骤S3.1中选择Selective Search搜索算法在输入图像上提取候选区域。

4.根据权利要求2所述的方法，其特征在于，所述步骤S3.1中提取的候选区域个数为2000个。

5.根据权利要求2所述的方法，其特征在于，所述步骤S3.4中通过边框回归算法对检测框进行调整。

6.根据权利要求1所述的方法，其特征在于，所述可见光波段图像的波长为400-800nm，所述红外波段图像的波长为0.8um-14um。

7.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一项所述方法的步骤。