CN117848503B - 高精度目标三维复原的多谱段偏振智能探测装置及方法 - Google Patents
高精度目标三维复原的多谱段偏振智能探测装置及方法 Download PDFInfo
- Publication number
- CN117848503B CN117848503B CN202410258678.3A CN202410258678A CN117848503B CN 117848503 B CN117848503 B CN 117848503B CN 202410258678 A CN202410258678 A CN 202410258678A CN 117848503 B CN117848503 B CN 117848503B
- Authority
- CN
- China
- Prior art keywords
- unit
- target
- image
- polarization
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 141
- 230000010287 polarization Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims description 70
- 238000001228 spectrum Methods 0.000 claims description 40
- 230000004927 fusion Effects 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000002329 infrared spectrum Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000007123 defense Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000013078 crystal Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006833 reintegration Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
高精度目标三维复原的多谱段偏振智能探测装置及方法。属于光电探测技术领域，具体涉及高精度目标复原的多谱段偏振智能探测技术领域。所述装置包括若干多谱段偏振探测系统、校准系统、调度系统、图像处理系统和显示与存储系统；所述校准系统与多谱段偏振探测系统相连，所述调度系统与多谱段偏振探测系统以及图像处理系统相连，所述图像处理系统与多谱段偏振探测系统、调度系统以及显示与存储系统相连。该探测装置具有广泛的应用领域，民用可应用于消防安全、道路、治安监控，军用可应用于目标搜索及预警、边防缉私、舰船航行，在军用、民用方面都具有十分重要的社会效益。
Description
技术领域
本发明属于光电探测技术领域，具体涉及高精度目标复原的多谱段偏振智能探测技术领域。
背景技术
光电装备在烟尘、雾霾等复杂背景下，对低对比度、隐身、伪装、欺骗目标的探测识别能力较弱，面对复杂危险环境人工探测危险性高、效率低，利用人造目标与自然背景偏振度相差较大、具有更好的保偏能力、偏振对物体材质特性更为敏感等机理，将多谱段偏振成像关键技术与多维探测技术、无人车载、机载平台相结合，能够有效提高目标识别概率、探测距离、信息采集量、图像对比度、探测效率等。
2018年，法国开展海洋污染的偏振检测，利用研制的四通道偏振探测仪，通过试验证明了偏振海洋污染检测性能，表明清洁海域和污染海域的偏振区别主要是由单反射散射和噪声造成的。2019年，美国研制多角度沟道光谱偏振计，采用双光束光谱偏振调制，获得了较高偏振精度。2020年昆明物理研究所研制了短波、中波双色探测器，该探测器可以同时对两个波段进行探测，但装置体积大、能耗高且探测波段受限，无法对目标物体进行精确测量。
当前的光电探测手段，受目标物体所处的环境条件、探测装置的灵活机动能力差和探测角度、探测谱段单一等限制，无法在复杂环境下提供多维度的目标信息并对目标进行三维立体重建，精确还原和识别目标信息，因此如何弥补以上缺陷，发展新型光电探测技术以提高目标的精准探测识别能力是目前亟需解决的问题。
发明内容
为解决上述问题，本发明提供一种高精度目标三维复原的多谱段偏振智能探测装置，所述装置包括若干多谱段偏振探测系统、校准系统、调度系统、图像处理系统和显示与存储系统；
所述校准系统与多谱段偏振探测系统相连，所述调度系统与多谱段偏振探测系统以及图像处理系统相连，所述图像处理系统与多谱段偏振探测系统、调度系统以及显示与存储系统相连；
所述多谱段偏振探测系统用于同时采集目标的多谱段光谱信息和偏振信息，所述校准系统用于对多谱段偏振探测系统进行校准，所述调度系统用于集成多谱段偏振探测系统，并确定最终的探测范围，实现天地一体化探测，所述图像处理系统用于对目标多方位特征图进行选择和优化，提取三维特征并进行智能复原，所述显示与存储系统用于显示最终复原的目标三维信息并存储。
进一步，所述多谱段偏振探测系统包括第一分光棱镜单元、第一微偏振片阵列单元、400-1700nm探测器单元、第二分光棱镜单元、第二微偏振片阵列单元、中波红外探测器单元、第三微偏振片阵列单元、长波红外探测器单元和多相机同步控制单元；
所述第一分光棱镜单元将入射光分为垂直于其光轴方向和平行于其光轴方向的两束光路；其中，垂直于其光轴方向的光为400-1700nm谱段的光，平行于其光轴方向的光为其他谱段的光，所述第一微偏振片阵列单元固定在垂直于第一分光棱镜单元光轴的方向上；
所述第一微偏振片阵列单元集成在400-1700nm探测器单元上，所述400-1700nm探测器单元产生400-1700nm谱段的目标偏振图像；
所述第二分光棱镜单元固定在平行于第一分光棱镜单元光轴的方向上并将光路分为垂直于其光轴方向和平行于其光轴方向的两束光路；其中，垂直于其光轴方向的光为中波红外光，平行于其光轴方向的光为长波红外光，所述第二微偏振片阵列单元固定在垂直于第二分光棱镜单元光轴的方向上；
所述第二微偏振片阵列单元集成在中波红外探测器单元上，所述中波红外探测器单元产生中波红外谱段的目标偏振图像；
所述第三微偏振片阵列单元固定在平行于第二分光棱镜单元光轴的方向上；
所述第三微偏振片阵列单元集成在长波红外探测器单元上，所述长波红外探测器单元产生长波红外谱段的目标偏振图像；
所述400-1700nm探测器单元、中波红外探测器单元和长波红外探测器单元与多相机同步控制单元相连。
进一步，所述校准系统包括高精度光学平台单元、平行光管单元、显示器单元以及第一计算机单元；
所述高精度光学平台单元置于平行光管单元前方，且高精度光学平台单元与平行光管单元始终保持光轴平行；所述平行光管单元与显示器单元相连；所述显示器单元与第一计算机单元相连；所述第一计算机单元与高精度光学平台单元相连。
进一步，所述调度系统包括若干吊舱单元、若干机载单元、若干场景扫描单元、天地一体化平台控制单元以及若干车载单元；
所述吊舱单元分别固定在机载单元和车载单元上；所述场景扫描单元安装在机载单元上；所述场景扫描单元与天地一体化平台控制单元相连；所述天地一体化平台控制单元与机载单元和车载单元相连。
进一步，所述图像处理系统包括空间位置获取单元、电荷耦合图像传感器单元、第一编码器单元、图像融合单元、第二编码器单元、第二计算机单元、视差图生成单元、图像拼接单元以及置信度分析单元；
所述空间位置获取单元与电荷耦合图像传感器单元相连；所述电荷耦合图像传感器单元与第一编码器单元相连；所述第一编码器单元与图像融合单元相连；所述图像融合单元与第二编码器单元相连；所述第二编码器单元与第二计算机单元相连；所述第二计算机单元与视差图生成单元相连；所述视差图生成单元与图像拼接单元相连；所述图像拼接单元与置信度分析单元相连；所述置信度分析单元与电荷耦合图像传感器单元相连。
进一步，所述显示与存储系统包括目标显示单元和信息存储单元；
所述目标显示单元和信息存储单元相连。
进一步，所述多相机同步控制单元与显示器单元、吊舱单元以及电荷耦合图像传感器单元分别相连，天地一体化平台控制单元与空间位置获取单元相连，所述置信度分析单元与目标显示单元相连。
进一步，所述高精度目标三维复原的多谱段偏振智能探测装置的工作方式为：
S1、利用校准系统对多谱段偏振探测系统逐一进行校正；
S2、将校准的多谱段偏振探测系统安装至吊舱单元中，并将吊舱单元分别固定在机载单元和车载单元上；
S3、利用场景扫描单元对目标场景进行扫描，确定探测目标范围，并将目标场景信息传递给天地一体化平台控制单元；
S4、天地一体化平台控制单元接收来自场景扫描单元的目标场景信息，根据目标场景信息对机载单元和车载单元实施调度，实现目标全方位多角度成像，用于目标高精度三维复原；
S5、空间位置获取单元接收天地一体化平台控制单元的信号，获取各机载单元和车载单元的调度信息和空间分布情况，确定各多谱段偏振探测系统的位置信息；位置信息确定后，获取各个方位多谱段偏振探测系统的图像，传递给电荷耦合图像传感器单元；
S6、电荷耦合图像传感器单元将图像信号转换成数字信号，并捕获像素网络上每个像素的光谱和偏振信息；
S7、电荷耦合图像传感器单元将所捕获的像素光谱偏振信息传输给第一编码器单元，第一编码器单元通过卷积神经网络来分别提取各个像素中0°、45°、90°和135°的偏振特征和400-1700nm、中波红外和长波红外的光谱特征，并传递给图像融合单元；
S8、图像融合单元通过卷积神经网络来提取第一编码器单元的偏振信息和光谱信息，并将图像以相同波段，相同偏振方向为特征分别进行融合，获取只包含单一偏振方向特征或单一波段光谱特征的图像信息；
S9、第二编码器单元获取来自图像融合单元的信号，并通过卷积神经网络，根据场景信息和图像特征信息，为每幅特征图像生成一个阈值，将来自图像融合单元的图像各像素点的强度信息与阈值对比，将大于阈值的像素点作为真实特征像素点进行保留，小于阈值的像素点作为伪特征像素点并剔除；完成全部特征图像的像素点提取后，将信息传递给第二计算机单元；
S10、第二计算机单元将来自于第二编码器单元的真实特征像素点的数字信号按照0°、45°、90°和135°的偏振特征和400-1700nm、中波红外和长波红外的光谱特征重新整合，得到多谱段偏振探测系统各个方位下最包含细节特征和动态特征的特征图像；
S11、视差图生成单元接收第二计算机单元获取的各个方位下最包含细节特征和动态特征的特征图像，并根据各探测系统不同探测方位，通过SURF深度算法计算各探测系统的成像视差，获取各探测方位下目标动态范围视差图，并传递给图像拼接单元；
S12、图像拼接单元根据视差图生成单元获取的各探测方位下目标动态范围视差图，通过CNN神经网络还原目标空间三维特征图像；
S13、对所还原的目标空间三维特征图像进行误差函数分析，误差函数包含三个部分，分别为中心坐标误差、边界误差以及置信度误差，通过残差神经网络，若满足所还原目标三维图像的中心坐标误差、边界误差和置信度误差均小于0.5%，则认为目标还原成功，否则控制整个图像处理系统重新迭代，直到满足精度需求；
S14、目标显示单元显示出完成置信度分析后的目标三维复原图像，并在信息存储单元中保存，用于目标精准观测和数据存储。
进一步，所述利用校准系统对多谱段偏振探测系统逐一进行校正具体为：
将多谱段偏振探测系统置于高精度光学平台单元上，采用平行光管单元模拟无限远目标探测条件，多谱段偏振探测系统对无限远处目标进行成像，并通过显示器单元进行显示，通过第一计算机单元，根据显示结果对高精度光学平台单元进行调控，使400-1700nm探测器单元、中波红外探测器单元和长波红外探测器单元同时对准平行光管单元中无限远处目标并保持成像区域的一致性，当显示器单元中显示的400-1700nm探测器单元、中波红外探测器单元和长波红外探测器单元的目标重合时，视作多谱段偏振探测系统校准完成。
本发明所述系统的有益效果为：
（1）本发明所述系统可以获取可见光、短波红外、中波红外、长波红外的强度探测和偏振探测信息，提高目标成像质量。
（2）本发明所述系统可以多角度、多谱段的同时探测，大大降低误识率，提高对目标的三维立体还原能力，实现高精度目标三维复原的多谱段偏振智能探测。
（3）本发明所述系统采用天地一体化探测，可以根据探测目标及目标周围环境变化，智能调整探测范围，提高探测器机动性、扩大探测范围、提高探测效率。
（4）通过图像处理系统编码、融合和拼接的相互配合，得到高精度的复原图像，大大提高了图像复原的精度。
该探测装置具有广泛的应用领域，民用可应用于消防安全、道路、治安监控，军用可应用于目标搜索及预警、边防缉私、舰船航行，在军用、民用方面都具有十分重要的社会效益。
附图说明
图1为本发明实施例中所述高精度目标三维复原的多谱段偏振智能探测装置示意图；
图2为机载单元和车载单元配置图；
图3为卷积神经网络结构参数图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
实施例1、
针对目前探测器探测手段单一，无法获取目标物体的多维度探测信息，本实施例提供一种高精度目标三维复原的多谱段偏振智能探测装置，实现多角度多谱段同时探测，可以降低误识别的风险，提高对目标的三维立体还原能力。
如图1所示，所述装置包括若干多谱段偏振探测系统1、校准系统2、调度系统3、图像处理系统4和显示与存储系统5；
多谱段偏振探测系统1与校准系统2、调度系统3、图像处理系统4相连；所述校准系统2与多谱段偏振探测系统1相连；所述调度系统3与多谱段偏振探测系统1、图像处理系统4相连；所述图像处理系统4与多谱段偏振探测系统1、调度系统3、显示与存储系统5相连；所述显示与存储系统5与图像处理系统4相连。
所述多谱段偏振探测系统1包括第一分光棱镜单元12、第一微偏振片阵列单元13、400-1700nm探测器单元14、第二分光棱镜单元15、第二微偏振片阵列单元16、中波红外探测器单元17、第三微偏振片阵列单元18、长波红外探测器单元19和多相机同步控制单元110，所述多谱段偏振探测系统1用于同时采集目标的多谱段光谱信息和偏振信息。
具体实施中，所述多谱段偏振探测系统1包括晶亮光电公司FG015-90-AR1第一分光棱镜单元12、昊亮光电haoliang1第一微偏振片阵列单元13、睿创光子RVS6151M1400-1700nm探测器单元14、晶亮光电公司FG015-50-AR1第二分光棱镜单元15、昊亮光电haoliang1第二微偏振片阵列单元16、高新科技公司C615M中波红外探测器单元17、昊亮光电haoliang1第三微偏振片阵列单元18、高新科技公司TWIN412长波红外探测器单元19、日本THine公司THP7312多相机同步控制单元110。
如图1所示，目标11发射的光线首先进入所述第一分光棱镜单元12，将光路分为垂直于其光轴方向和平行于其光轴方向的两束光路，其中，垂直于其光轴方向的光为400-1700nm谱段的光，平行于其光轴方向的光为其他谱段的光；所述第一微偏振片阵列单元13固定在垂直于第一分光棱镜单元12光轴的方向上；所述第一微偏振片阵列单元13集成在400-1700nm探测器单元14上；所述第二分光棱镜单元15固定在平行于第一分光棱镜单元12光轴的方向上并将光路分为垂直于其光轴方向和平行于其光轴方向的两束光路，其中，垂直于其光轴方向的光为中波红外光，平行于其光轴方向的光为长波红外光；所述第二微偏振片阵列单元16固定在垂直于第二分光棱镜单元15光轴的方向上；所述第二微偏振片阵列单元16集成在中波红外探测器单元17上；所述第三微偏振片阵列单元18固定在平行于第二分光棱镜单元15光轴的方向上；所述第三微偏振片阵列单元18集成在长波红外探测器单元19上；所述400-1700nm探测器单元14、中波红外探测器单元17和长波红外探测器单元19与多相机同步控制单元110相连；所述多相机同步控制单元110与校准系统2、调度系统3和图像处理系统4相连。
所述校准系统2包括高精度光学平台单元21、平行光管单元22、显示器单元23和第一计算机单元24，所述校准系统2用于对多谱段偏振探测系统进行校准。
具体实施中，所述校准系统2包括德国attocube公司ANPz102高精度光学平台单元21、北京上光仪器有限公司SG-F1000A平行光管单元22、显示器单元23和第一计算机单元24，用于对多谱段偏振探测系统进行校准。
所述高精度光学平台单元21置于平行光管单元22前方，且高精度光学平台单元21与平行光管单元22始终保持光轴平行；所述平行光管单元22与显示器单元23相连；所述显示器单元23与第一计算机单元24相连；所述第一计算机单元24与高精度光学平台单元21相连，各单元形成闭环调节，最大化的提升多路相机校准精度。
所述调度系统3包括若干吊舱单元31、若干机载单元32、若干场景扫描单元33、天地一体化平台控制单元34和若干车载单元35，所述调度系统3用于集成多谱段偏振探测系统，并通过机载单元对目标进行扫描，确定最终的探测范围，对机载单元和车载单元进行调度，实现天地一体化探测；
所述吊舱单元31分别固定在机载单元32和车载单元35上；所述场景扫描单元33安装在机载单元32上；所述场景扫描单元33与天地一体化平台控制单元34相连；所述天地一体化平台控制单元34与机载单元32和车载单元35相连。
具体实施中，所述调度系统3包括数字鹰科技股份有限公司DXG30吊舱单元31、大疆DJI FlyCart 30机载单元32、华朗三维HL1000场景扫描单元33、东田工控DT-610L-IZ690MA天地一体化平台控制单元34和车载单元35，用于集成多谱段偏振探测系统，并通过机载单元对目标进行扫描，确定最终的探测范围，对机载单元和车载单元进行调度，实现天地一体化探测。
所述图像处理系统4包括空间位置获取单元41、电荷耦合图像传感器单元42、第一编码器单元43、图像融合单元44、第二编码器单元45、第二计算机单元46、视差图生成单元47、图像拼接单元48、置信度分析单元49，所述图像处理系统4用于对目标多方位特征图进行选择和优化，提取三维特征并进行智能复原。
所述空间位置获取单元41与电荷耦合图像传感器单元42相连；所述电荷耦合图像传感器单元42与第一编码器单元43相连；所述第一编码器单元43与图像融合单元44相连；所述图像融合单元44与第二编码器单元45相连；所述第二编码器单元45与第二计算机单元46相连；所述第二计算机单元46与视差图生成单元47相连；所述视差图生成单元47与图像拼接单元48相连；所述图像拼接单元48与置信度分析单元49相连；所述置信度分析单元49与电荷耦合图像传感器单元42相连，整个系统实现闭环的反馈调节，最大程度的复原目标真实信息；所述置信度分析单元49与显示与存储系统5相连。
具体实施中，所述图像处理系统4包括空间位置获取单元41、亿达电子公司FCCD111A电荷耦合图像传感器单元42、北京德安天才经贸有限公司的RON786第一编码器单元43、图像融合单元44、北京德安天才经贸有限公司的RON786第二编码器单元45、第二计算机单元46、视差图生成单元47、图像拼接单元48、置信度分析单元49，用于对目标多方位特征图进行选择和优化，提取三维特征并进行智能复原。
所述显示与存储系统5包括目标显示单元51、信息存储单元52，所述显示与存储系统5用于显示最终复原的目标三维信息并存储。
所述目标显示单元51与信息存储单元52相连。
实施例2、
本实施例是对实施例1的进一步限定，对所述装置的工作方法进行进一步说明。
首先，对多谱段偏振探测系统1的成像进行说明：
第一分光棱镜单元12接收来自目标11的入射光，入射光沿第一分光棱镜单元12光轴方向进入，并将其分为400-1700nm谱段和中波红外至长波红外谱段的光束，其中400-1700nm谱段的光束沿垂直于第一分光棱镜光轴方向出射，中波红外至长波红外光束沿平行于第一分光棱镜光轴方向出射。400-1700nm谱段的光束经过第一微偏振片阵列单元13，形成0°、45°、90°、135°的偏振光，由400-1700nm探测器单元14的感光芯片接收，形成400-1700nm谱段的目标偏振图像。
第二分光棱镜单元15接收由第一分光棱镜单元12分出的平行于第一分光棱镜光轴方向的中波红外至长波红外谱段的出射光，并将其分为垂直于第二分光棱镜光轴方向出射的中波红外谱段光束和平行于第二分光棱镜光轴方向出射的长波红外谱段光束，其中，中波红外光束经过第二微偏振片阵列单元16，形成0°、45°、90°、135°的偏振光，由中波红外探测器单元17的感光芯片接收，形成中波红外谱段的目标偏振图像。长波红外光束经过第三微偏振片阵列单元18，形成0°、45°、90°、135°的偏振光，由长波红外探测器单元19的感光芯片接收，形成长波红外谱段的目标偏振图像。
接下来，对所述高精度目标三维复原的多谱段偏振智能探测装置的工作方式进行进一步介绍：
S1、利用校准系统2对多谱段偏振探测系统1逐一进行校正；
S2、将校准的多谱段偏振探测系统1安装至吊舱单元31中，并将吊舱单元31分别固定在机载单元32和车载单元35上；机载单元和车载单元的配置关系可以根据实际需要进行分配，如图2所示即为一种配置关系。
S3、利用场景扫描单元33对目标场景进行扫描，确定探测目标范围，并将目标场景信息传递给天地一体化平台控制单元34；
S4、天地一体化平台控制单元34接收来自场景扫描单元33的目标场景信息，根据目标场景信息对机载单元32和车载单元35实施调度，实现目标全方位多角度成像，用于目标高精度三维复原；
S5、空间位置获取单元41接收天地一体化平台控制单元34的信号，获取各机载单元32和车载单元35的调度信息和空间分布情况，确定各多谱段偏振探测系统1的位置信息；位置信息确定后，获取各个方位多谱段偏振探测系统1的图像，传递给电荷耦合图像传感器单元42；
S6、电荷耦合图像传感器单元42将图像信号转换成数字信号，并捕获像素网络上每个像素的光谱和偏振信息；
S7、电荷耦合图像传感器单元42将所捕获的像素光谱偏振信息传输给第一编码器单元43，第一编码器单元43通过卷积神经网络来分别提取各个像素中0°、45°、90°和135°的偏振特征和400-1700nm、中波红外和长波红外的光谱特征，并传递给图像融合单元44；
S8、图像融合单元44通过卷积神经网络来提取第一编码器单元43的偏振信息和光谱信息，并将图像以相同波段，相同偏振方向为特征分别进行融合，获取只包含单一偏振方向特征或单一波段光谱特征的图像信息；
S9、第二编码器单元45获取来自图像融合单元44的信号，并通过卷积神经网络，根据场景信息和图像特征信息，为每幅特征图像生成一个阈值，将来自图像融合单元44的图像各像素点的强度信息与阈值对比，将大于阈值的像素点作为真实特征像素点进行保留，小于阈值的像素点作为伪特征像素点并剔除；完成全部特征图像的像素点提取后，将信息传递给第二计算机单元46；
S10、第二计算机单元将来自于第二编码器单元的真实特征像素点的数字信号按照0°、45°、90°和135°的偏振特征和400-1700nm、中波红外和长波红外的光谱特征重新整合，得到多谱段偏振探测系统1各个方位下最包含细节特征和动态特征的特征图像；
S11、视差图生成单元47接收第二计算机单元46获取的各个方位下最包含细节特征和动态特征的特征图像，并根据各探测系统不同探测方位，通过SURF深度算法计算各探测系统的成像视差，获取各探测方位下目标动态范围视差图，并传递给图像拼接单元48；
S12、图像拼接单元48根据视差图生成单元47获取的各探测方位下目标动态范围视差图，通过CNN神经网络还原目标空间三维特征图像；
S13、对所还原的目标空间三维特征图像进行误差函数分析，误差函数包含三个部分，分别为中心坐标误差、边界误差以及置信度误差，通过残差神经网络，若满足所还原目标三维图像的中心坐标误差、边界误差和置信度误差均小于0.5%，则认为目标还原成功，否则控制整个图像处理系统4重新迭代，直到满足精度需求；
S14、目标显示单元51显示出完成置信度分析后的目标三维复原图像，并在信息存储单元52中保存，用于目标精准观测和数据存储。
步骤S1具体为：将多谱段偏振探测系统1置于高精度光学平台单元21上，采用平行光管单元22模拟无限远目标探测条件，多谱段偏振探测系统1对无限远处目标进行成像，并通过显示器单元23进行显示，通过第一计算机单元24，根据显示结果对高精度光学平台单元21进行调控，使400-1700nm探测器单元14、中波红外探测器单元17和长波红外探测器单元19同时对准平行光管单元22中无限远处目标并保持成像区域的一致性，当显示器单元23中显示的400-1700nm探测器单元14、中波红外探测器单元17和长波红外探测器单元19的目标重合时，视作多谱段偏振探测系统校准完成。
步骤S7中的卷积神经网络结构参数如图3所示，其中，Res表示对残差结构重复的次数，例如，Res1：1表示对残差重复1次。
步骤S9中，将来自图像融合单元的图像各像素点的强度信息与阈值/>对比，将大于阈值/>的像素点作为真实特征像素点进行保留，小于阈值/>的像素点作为伪特征像素点并剔除的公式为：
其中，G表示图像的全部像素点；E为各像素点强度信息；为阈值，由神经网络根据场景信息和图像特征信息自动生成。
根据图像像素点灰度值的大小，设置初始阈值T0（0≤T0≤255），把图像所有像素点分为两类，一类像素值小于等于T0作为背景区域，另一类像素值大于T0作为目标区域，得到图像背景区域平均像素值E1与目标区域平均像素值E2，计算E1和E2的类间方差，当类间方差取最大值时，认为该初始阈值T0为全局最佳阈值。
图像所有像素点数为n，背景区域所有像素点数为n1，目标区域所有像素点数为n2，背景区域占图像总像素数的比例为p1，目标区域占图像总像素数的比例为p2，背景区域平均像素值为E1，目标区域平均像素值为E2，图像平均像素值为E，类间方差为g，
类间方差计算公式如下：
；
；
；
计算图像可能取到的所有像素值，即分别计算初始阈值T0取0-255所有数值时的类间方差，使g取得最大的T0值则认为是最合适的阈值。
所述步骤S10所述的得到多谱段偏振探测系统1各个方位下最包含细节特征和动态特征的特征图像，通过：
；
实现，其中，表示最包含丰富细节特征和真实动态特征的特征图像；/>表示卷积神经网络结构；/>表示通过卷积核对特征图进行重新整合；/>和/>分别描述各像素点的光谱特征和偏振特征；/>和/>分别表示卷积神经网络获取的光谱特征参数和偏振特征参数，均由神经网络根据各像素点特征实时获取；/>和/>分别表示全部像素点光谱特征的总和与全部像素偏振特征的总和。
所述步骤S11所述的获取各探测方位下目标动态范围视差图，获取的是高动态范围视差图，通过：
；
获得，其中，为高动态范围视差图；/>表示SCRF深度算法；/>表示SURF深度网络的连接层，/>表示各个探测方位下探测系统的权重系数，由神经网络自动生成；表示各个方位探测器输入的最包含丰富细节特征和真实动态特征的特征图像。
步骤S13所述的中心坐标误差通过：
；
获得，其中，为三维图像的中心坐标误差；i、j、q分别为目标三维图像的长，宽，高单元格；l、w、h分别为目标三维图像长，宽，高单元格的最大值，由足够多次CNN神经网络学习训练获得；/>为各个探测系统测得目标的中心坐标；/>为CNN神经网络还原得到的目标中心坐标；CNN为CNN神经网络结构。
步骤S13所述的边界误差通过：
；
其中，为三维图像的边界误差；/>分别表示各个探测系统测得目标的长度，宽度和高度边界；/>为CNN神经网络还原得到的目标的长度，宽度和高度边界。
步骤S13所述的置信度误差通过：
；
获得，其中，为三维图像的置信度误差；/>为包含目标边界信息的置信度误差网络；/>为不包含目标边界信息的置信度误差网络；/>表示置信度预测值；/>表示置信度实际值。
Claims (8)
1.一种高精度目标三维复原的多谱段偏振智能探测装置的工作方法，其特征在于，所述工作方法为：
S1、利用校准系统（2）对多谱段偏振探测系统（1）逐一进行校正；
S2、将校准的多谱段偏振探测系统（1）安装至吊舱单元（31）中，并将吊舱单元（31）分别固定在机载单元（32）和车载单元（35）上；
S3、利用场景扫描单元（33）对目标场景进行扫描，确定探测目标范围，并将目标场景信息传递给天地一体化平台控制单元（34）；
S4、天地一体化平台控制单元（34）接收来自场景扫描单元（33）的目标场景信息，根据目标场景信息对机载单元（32）和车载单元（35）实施调度，实现目标全方位多角度成像，用于目标高精度三维复原；
S5、空间位置获取单元（41）接收天地一体化平台控制单元（34）的信号，获取各机载单元（32）和车载单元（35）的调度信息和空间分布情况，确定各多谱段偏振探测系统（1）的位置信息；位置信息确定后，获取各个方位多谱段偏振探测系统（1）的图像，传递给电荷耦合图像传感器单元（42）；
S6、电荷耦合图像传感器单元（42）将图像信号转换成数字信号，并捕获像素网络上每个像素的光谱和偏振信息；
S7、电荷耦合图像传感器单元（42）将所捕获的像素光谱偏振信息传输给第一编码器单元（43），第一编码器单元（43）通过卷积神经网络来分别提取各个像素中0°、45°、90°和135°的偏振特征和400-1700nm、中波红外和长波红外的光谱特征，并传递给图像融合单元（44）；
S8、图像融合单元（44）通过卷积神经网络来提取第一编码器单元（43）的偏振信息和光谱信息，并将图像以相同波段，相同偏振方向为特征分别进行融合，获取只包含单一偏振方向特征或单一波段光谱特征的图像信息；
S9、第二编码器单元（45）获取来自图像融合单元（44）的信号，并通过卷积神经网络，根据场景信息和图像特征信息，为每幅特征图像生成一个阈值，将来自图像融合单元（44）的图像各像素点的强度信息与阈值对比，将大于阈值的像素点作为真实特征像素点进行保留，小于阈值的像素点作为伪特征像素点并剔除；完成全部特征图像的像素点提取后，将信息传递给第二计算机单元（46）；
S10、第二计算机单元将来自于第二编码器单元的真实特征像素点的数字信号按照0°、45°、90°和135°的偏振特征和400-1700nm、中波红外和长波红外的光谱特征重新整合，得到多谱段偏振探测系统（1）各个方位下最包含细节特征和动态特征的特征图像；
S11、视差图生成单元（47）接收第二计算机单元（46）获取的各个方位下最包含细节特征和动态特征的特征图像，并根据各探测系统不同探测方位，通过SURF深度算法计算各探测系统的成像视差，获取各探测方位下目标动态范围视差图，并传递给图像拼接单元（48）；
S12、图像拼接单元（48）根据视差图生成单元（47）获取的各探测方位下目标动态范围视差图，通过CNN神经网络还原目标空间三维特征图像；
S13、对所还原的目标空间三维特征图像进行误差函数分析，误差函数包含三个部分，分别为中心坐标误差、边界误差以及置信度误差，通过残差神经网络，若满足所还原目标三维图像的中心坐标误差、边界误差和置信度误差均小于0.5%，则认为目标还原成功，否则控制整个图像处理系统（4）重新迭代，直到满足精度需求；
S14、目标显示单元（51）显示出完成置信度分析后的目标三维复原图像，并在信息存储单元（52）中保存，用于目标精准观测和数据存储。
2.根据权利要求1所述的高精度目标三维复原的多谱段偏振智能探测装置的工作方法，其特征在于，所述利用校准系统（2）对多谱段偏振探测系统（1）逐一进行校正具体为：
将多谱段偏振探测系统（1）置于高精度光学平台单元（21）上，采用平行光管单元（22）模拟无限远目标探测条件，多谱段偏振探测系统（1）对无限远处目标进行成像，并通过显示器单元（23）进行显示，通过第一计算机单元（24），根据显示结果对高精度光学平台单元（21）进行调控，使400-1700nm探测器单元（14）、中波红外探测器单元（17）和长波红外探测器单元（19）同时对准平行光管单元（22）中无限远处目标并保持成像区域的一致性，当显示器单元（23）中显示的400-1700nm探测器单元（14）、中波红外探测器单元（17）和长波红外探测器单元（19）的目标重合时，视作多谱段偏振探测系统校准完成。
3.一种适用于权利要求1或2所述工作方法的高精度目标三维复原的多谱段偏振智能探测装置，其特征在于，所述装置包括若干多谱段偏振探测系统（1）、校准系统（2）、调度系统（3）、图像处理系统（4）和显示与存储系统（5）；
所述校准系统（2）与多谱段偏振探测系统（1）相连，所述调度系统（3）与多谱段偏振探测系统（1）以及图像处理系统（4）相连，所述图像处理系统（4）与多谱段偏振探测系统（1）、调度系统（3）以及显示与存储系统（5）相连；
所述多谱段偏振探测系统（1）用于同时采集目标的多谱段光谱信息和偏振信息，所述校准系统（2）用于对多谱段偏振探测系统进行校准，所述调度系统（3）用于集成多谱段偏振探测系统，并确定最终的探测范围，实现天地一体化探测，所述图像处理系统（4）用于对目标多方位特征图进行选择和优化，提取三维特征并进行智能复原，所述显示与存储系统（5）用于显示最终复原的目标三维信息并存储；
所述图像处理系统（4）包括空间位置获取单元（41）、电荷耦合图像传感器单元（42）、第一编码器单元（43）、图像融合单元（44）、第二编码器单元（45）、第二计算机单元（46）、视差图生成单元（47）、图像拼接单元（48）以及置信度分析单元（49）；
所述空间位置获取单元（41）与电荷耦合图像传感器单元（42）相连；所述电荷耦合图像传感器单元（42）与第一编码器单元（43）相连；所述第一编码器单元（43）与图像融合单元（44）相连；所述图像融合单元（44）与第二编码器单元（45）相连；所述第二编码器单元（45）与第二计算机单元（46）相连；所述第二计算机单元（46）与视差图生成单元（47）相连；所述视差图生成单元（47）与图像拼接单元（48）相连；所述图像拼接单元（48）与置信度分析单元（49）相连；所述置信度分析单元（49）与电荷耦合图像传感器单元（42）相连。
4.根据权利要求3所述的高精度目标三维复原的多谱段偏振智能探测装置，其特征在于，所述多谱段偏振探测系统（1）包括第一分光棱镜单元（12）、第一微偏振片阵列单元（13）、400-1700nm探测器单元（14）、第二分光棱镜单元（15）、第二微偏振片阵列单元（16）、中波红外探测器单元（17）、第三微偏振片阵列单元（18）、长波红外探测器单元（19）和多相机同步控制单元（110）；
所述第一分光棱镜单元（12）将入射光分为垂直于其光轴方向和平行于其光轴方向的两束光路；其中，垂直于其光轴方向的光为400-1700nm谱段的光，平行于其光轴方向的光为其他谱段的光，所述第一微偏振片阵列单元（13）固定在垂直于第一分光棱镜单元（12）光轴的方向上；
所述第一微偏振片阵列单元（13）集成在400-1700nm探测器单元（14）上，所述400-1700nm探测器单元（14）产生400-1700nm谱段的目标偏振图像；
所述第二分光棱镜单元（15）固定在平行于第一分光棱镜单元（12）光轴的方向上并将光路分为垂直于其光轴方向和平行于其光轴方向的两束光路；其中，垂直于其光轴方向的光为中波红外光，平行于其光轴方向的光为长波红外光，所述第二微偏振片阵列单元（16）固定在垂直于第二分光棱镜单元（15）光轴的方向上；
所述第二微偏振片阵列单元（16）集成在中波红外探测器单元（17）上，所述中波红外探测器单元（17）产生中波红外谱段的目标偏振图像；
所述第三微偏振片阵列单元（18）固定在平行于第二分光棱镜单元（15）光轴的方向上；
所述第三微偏振片阵列单元（18）集成在长波红外探测器单元（19）上，所述长波红外探测器单元（19）产生长波红外谱段的目标偏振图像；
所述400-1700nm探测器单元（14）、中波红外探测器单元（17）和长波红外探测器单元（19）与多相机同步控制单元（110）相连。
5.根据权利要求4所述的高精度目标三维复原的多谱段偏振智能探测装置，其特征在于，所述校准系统（2）包括高精度光学平台单元（21）、平行光管单元（22）、显示器单元（23）以及第一计算机单元（24）；
所述高精度光学平台单元（21）置于平行光管单元（22）前方，且高精度光学平台单元（21）与平行光管单元（22）始终保持光轴平行；所述平行光管单元（22）与显示器单元（23）相连；所述显示器单元（23）与第一计算机单元（24）相连；所述第一计算机单元（24）与高精度光学平台单元（21）相连。
6.根据权利要求5所述的高精度目标三维复原的多谱段偏振智能探测装置，其特征在于，所述调度系统（3）包括若干吊舱单元（31）、若干机载单元（32）、若干场景扫描单元（33）、天地一体化平台控制单元（34）以及若干车载单元（35）；
所述吊舱单元（31）分别固定在机载单元（32）和车载单元（35）上；所述场景扫描单元（33）安装在机载单元（32）上；所述场景扫描单元（33）与天地一体化平台控制单元（34）相连；所述天地一体化平台控制单元（34）与机载单元（32）和车载单元（35）相连。
7.根据权利要求6所述的高精度目标三维复原的多谱段偏振智能探测装置，其特征在于，所述显示与存储系统（5）包括目标显示单元（51）和信息存储单元（52）；
所述目标显示单元（51）和信息存储单元（52）相连。
8.根据权利要求7所述的高精度目标三维复原的多谱段偏振智能探测装置，其特征在于，所述多相机同步控制单元（110）与显示器单元（23）、吊舱单元（31）以及电荷耦合图像传感器单元（42）分别相连，天地一体化平台控制单元（34）与空间位置获取单元（41）相连，所述置信度分析单元（49）与目标显示单元（51）相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410258678.3A CN117848503B (zh) | 2024-03-07 | 2024-03-07 | 高精度目标三维复原的多谱段偏振智能探测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410258678.3A CN117848503B (zh) | 2024-03-07 | 2024-03-07 | 高精度目标三维复原的多谱段偏振智能探测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117848503A CN117848503A (zh) | 2024-04-09 |
| CN117848503B true CN117848503B (zh) | 2024-05-24 |
Family
ID=90542080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410258678.3A Active CN117848503B (zh) | 2024-03-07 | 2024-03-07 | 高精度目标三维复原的多谱段偏振智能探测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117848503B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110824499A (zh) * | 2019-10-28 | 2020-02-21 | 长春理工大学 | 一种机载双谱段偏振全天时海上目标搜索系统 |
| CN111123987A (zh) * | 2019-12-27 | 2020-05-08 | 中国科学院西安光学精密机械研究所 | 一种共孔径双波段成像系统光轴平行性调节系统及方法 |
| CN113447127A (zh) * | 2021-06-24 | 2021-09-28 | 长春理工大学 | 基于被动成像的多谱段偏振光传输特性测试装置及方法 |
| CN113701885A (zh) * | 2021-08-27 | 2021-11-26 | 长春理工大学 | 一种离轴三反全谱段偏振光谱成像探测装置 |
| CN113758566A (zh) * | 2021-08-30 | 2021-12-07 | 长春理工大学 | 一种离轴三反多谱段偏振成像探测光学系统 |
| CN116008980A (zh) * | 2022-12-07 | 2023-04-25 | 成都空御科技有限公司 | 一种分布式机载无人机综合探测系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090021598A1 (en) * | 2006-12-06 | 2009-01-22 | Mclean John | Miniature integrated multispectral/multipolarization digital camera |
| WO2018156795A1 (en) * | 2017-02-22 | 2018-08-30 | Rebellion Photonics, Inc. | Systems and methods for monitoring remote installations |
-
2024
- 2024-03-07 CN CN202410258678.3A patent/CN117848503B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110824499A (zh) * | 2019-10-28 | 2020-02-21 | 长春理工大学 | 一种机载双谱段偏振全天时海上目标搜索系统 |
| CN111123987A (zh) * | 2019-12-27 | 2020-05-08 | 中国科学院西安光学精密机械研究所 | 一种共孔径双波段成像系统光轴平行性调节系统及方法 |
| CN113447127A (zh) * | 2021-06-24 | 2021-09-28 | 长春理工大学 | 基于被动成像的多谱段偏振光传输特性测试装置及方法 |
| CN113701885A (zh) * | 2021-08-27 | 2021-11-26 | 长春理工大学 | 一种离轴三反全谱段偏振光谱成像探测装置 |
| CN113758566A (zh) * | 2021-08-30 | 2021-12-07 | 长春理工大学 | 一种离轴三反多谱段偏振成像探测光学系统 |
| CN116008980A (zh) * | 2022-12-07 | 2023-04-25 | 成都空御科技有限公司 | 一种分布式机载无人机综合探测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多尺度候选融合与优化的三维目标检测算法;才华等;《吉林大学学报（工学版）》;20231017;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117848503A (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110926474B (zh) | 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| JP6858415B2 (ja) | 海面計測システム、海面計測方法および海面計測プログラム | |
| CN113012398A (zh) | 地质灾害监测预警方法、装置、计算机设备及存储介质 | |
| CN113284171B (zh) | 一种基于卫星遥感立体成像对的植被高度分析方法及系统 | |
| CN109781635B (zh) | 一种分布式遥感卫星系统 | |
| CN113537018A (zh) | 基于多时相卫星遥感和无人机技术的水土保持监测方法 | |
| CN115236655B (zh) | 基于全极化sar的滑坡识别方法、系统、设备及介质 | |
| CN105403199B (zh) | 基于无人机的毒品原植物种植侦测方法及系统 | |
| CN111581884A (zh) | 一种星载多分辨率目标光学辐射图像仿真方法 | |
| CN103761704B (zh) | 基于红外遥感数据的图像生成方法和系统 | |
| CN105675149B (zh) | 基于自照明波前传感器的气动光学效应校正装置 | |
| Gu et al. | UAV-based integrated multispectral-LiDAR imaging system and data processing | |
| WO2013034941A2 (en) | Method for measuring cloud-base distance and apparatus for measuring polarization | |
| Weng et al. | Introduction to remote sensing systems, data, and applications | |
| CN117848503B (zh) | 高精度目标三维复原的多谱段偏振智能探测装置及方法 | |
| Liu et al. | High-spatial-resolution nighttime light dataset acquisition based on volunteered passenger aircraft remote sensing | |
| CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
| Ostrowski et al. | Analysis of point cloud generation from UAS images | |
| Zhang et al. | Fusion of ascending and descending polarimetric SAR data for color orthophoto generation | |
| CN111680659B (zh) | 国际空间站rgb夜间灯光图像的相对辐射归一化方法 | |
| Markelin et al. | Geometric processing workflow for vertical and oblique hyperspectral frame images collected using UAV | |
| KR20190136851A (ko) | 광학 위성영상의 개선된 scf 추정식을 이용한 적설 깊이 추정 방법 및 그 장치 | |
| Seiz | Ground-and satellite-based multi-view photogrammetric determination of 3D cloud geometry | |
| Hooper et al. | Airborne spectral polarimeter for ocean wave research |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |