CN113032957B - 一种基于数字孪生技术的类复眼光电系统的构建方法 - Google Patents

一种基于数字孪生技术的类复眼光电系统的构建方法 Download PDF

Info

Publication number
CN113032957B
CN113032957B CN202110196442.8A CN202110196442A CN113032957B CN 113032957 B CN113032957 B CN 113032957B CN 202110196442 A CN202110196442 A CN 202110196442A CN 113032957 B CN113032957 B CN 113032957B
Authority
CN
China
Prior art keywords
compound eye
photoelectric
detection
data processing
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110196442.8A
Other languages
English (en)
Other versions
CN113032957A (zh
Inventor
贾鹏
贺田
贾奇伟
王伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202110196442.8A priority Critical patent/CN113032957B/zh
Publication of CN113032957A publication Critical patent/CN113032957A/zh
Application granted granted Critical
Publication of CN113032957B publication Critical patent/CN113032957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于类复眼光电技术领域；现有的类复眼光电探测系统结构上模仿昆虫复眼，但对移动目标的观测能力远不及昆虫复眼，成像易受干扰，无法实时对关键移动目标进行检测、跟踪与预警，本发明提供一种基于数字孪生技术类复眼光电系统的构建方法，从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，采用数字孪生技术对类复眼光电探测系统及探测目标进行建模，降低了硬件条件及环境的限制，利用数字孪生模型进行设计及优化，大幅提升类复眼系统对移动目标的快速探测能力。

Description

一种基于数字孪生技术的类复眼光电系统的构建方法
技术领域
本发明涉及基于数字孪生技术的类复眼光电系统，更具体的说，涉及一种基于数字孪生技术的类复眼光电系统的构建方法。
背景技术
昆虫复眼具有大视场、高分辨率和对快速移动目标的实时探测能力，基于仿生学原理，科学家已经制造出的多台类复眼光电探测系统，并实用于天文及空间目标探测任务中；虽然现有类复眼光电探测系统结构上模仿了昆虫复眼，但是其对移动目标的观测能力却远不及昆虫复眼，其主要问题及原因可总结如下：一是当前的类复眼系统内，每个单眼独立工作，没有发挥合作优势，降低了对关键目标的发现能力；二是受加工误差及外部干扰影响，类复眼系统内每个单眼成像质量具有一定差异，导致其整体分辨率受限于成像质量最差的单眼；三是根据观测分辨率及视场覆盖要求，每个单眼配备的相机往往有百万量级的像元数目，每次观测可同时获取成千上万个目标的图像，使其无法实时对关键移动目标进行检测、跟踪与预警。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于数字孪生技术的类复眼光电系统的构建方法，该发明实现对关键移动目标进行实时检测、跟踪与预警，为天文及空间科学基础研究提供一种新的数据获取手段。
为实现上述目的，本发明提供了如下技术方案：
一种基于数字孪生技术类复眼光电系统的构建方法，所述构建方法从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，具体包括以下步骤：
步骤1. 基于深度神经网络建立直连式数据处理框架，直连式数据处理框架从若干单眼获取原始探测信号；
步骤2. 利用光电系统模拟技术和数字孪生技术，建立直连式数据处理框架的数字孪生模型，根据类复眼光电探测系统子结构实验系统获取实测图像，提取不同视场内的点扩散函数PSF，通过实测图像拟合物理模型参数，初步优化类复眼光电探测系统物理结构；
步骤3. 利用步骤2中所获得的数字孪生模型，训练优化类复眼探测系统的物理结构和直连式数据处理框架，实现类复眼光电系统对实时移动目标的探测。
进一步，直连式数据处理框架包括图像预处理部分、信息归总及目标检测部分。
进一步，数字孪生模型包括探测目标、类复眼探测系统和直连式数据处理框架，利用光电系统蒙特卡洛模拟方法建立物理模型，物理模型完成全天相机光机电结构、观测目标及环境、观测目标光学传输过程。
进一步，类复眼光电探测系统子结构实验系统内各个单眼的视场重叠大于60%。
进一步，步骤3中，训练优化类复眼光电探测系统的步骤如下：
步骤3.1 在数字孪生模型的基础上，建立1000组包含不同数目、速度及光变特征的移动目标检测场景；
步骤3.2 以移动目标检测位置精度为损失函数，在数字孪生模型内训练神经网络权重，每20组移动目标检测场景训练结束后，根据神经网络的权重进行一次神经网络剪枝，并根据剪枝结果，合并或裁剪目标检测神经元，对类复眼光电探测系统内的单眼视场的大小及分辨率进行调整，调整后继续在数字孪生模型内训练神经网络权重；
步骤3.3 重复步骤3.2，经过50次上述训练后，损失函数的值达到最小，此时即获得类复眼光电探测系统的物理模型和直连式数据处理框架。
综上所述，发明具有以下有益效果：
本发明采用数字孪生技术对类复眼光电探测系统及探测目标进行建模，降低了硬件条件及环境对研究的限制，为进一步研究类复眼系统成像原理提供了关键技术；利用数字孪生模型对类复眼系统物理结构与数据处理方法同时进行设计及优化，从根本上改变类复眼系统的结构设计方法和数据处理模式，大幅提升类复眼系统对移动目标的快速探测能力。
具体实施方式
下面对本发明作进一步详细说明。
本发明公开了一种基于数字孪生技术类复眼光电系统的构建方法，所述构建方法从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，具体包括以下步骤：
步骤1. 基于深度神经网络建立直连式数据处理框架，直连式数据处理框架从若干单眼获取原始探测信号；直连式数据处理框架包括图像预处理部分、信息归总及目标检测部分，图像预处理部分从光电系统的点扩散函数PSF出发，利用无监督学习技术实现图像质量评价、畸变矫正和基于点扩散函数PSF的模板实时探测功能；信息归总及目标检测部分利用神经网络把多个单眼获取的目标探测矩阵与最终目标探测结果即天球坐标系上的移动目标的位置连接，经过图像预处理后，光电探测图像投影在天球坐标系上形成目标探测矩阵，最终探测结果触发神经网络，并在目标探测矩阵中显现。
步骤2. 利用光电系统模拟技术和数字孪生技术，建立直连式数据处理框架的数字孪生模型，数字孪生模型包括探测目标、类复眼探测系统和直连式数据处理框架，利用光电系统蒙特卡洛模拟方法建立的物理模型完成全天相机光机电结构、观测目标及环境、观测目标光学传输过程；同时，根据类复眼光电探测系统子结构实验系统的实测图像，提取不同视场内的点扩散函数PSF，通过实测图像，拟合物理模型参数，初步优化类复眼光电探测系统物理结构；类复眼光电探测系统子结构实验系统是小型的实物类复眼实验系统，用来进行实际的数据获取，包括四组相机和成像器件，相机的视场范围160°~180°，口径为10~20mm；成像器件的读出帧率20FPS以上，2K×2K像元以上，灰度级大于8位，类复眼光电探测系统子结构实验系统内各个单眼的视场重叠大于60%，将重叠视场内不同位置的图像在直连式数据处理框架中进行图像质量评价、畸变矫正处理及基于PSF的目标实时探测，重叠视场内不同位置的图像能够模拟不同位置参数下的类复眼光电探测系统获取的图像，保证在实验中对不同位置参数下的类复眼光电探测系统进行测试，并对直连式数据处理框架进行测试。
步骤3. 利用步骤2中所获得的数字孪生模型，训练优化类复眼探测系统的物理结构和数据处理框架，实现类复眼光电系统对实时移动目标的探测，在数字孪生模型的基础上，建立1000组包含不同数量、速度和光边特征的移动目标检测场景，预设的1000组不同的目标检测场景针对现有实际的探测目标和环境确定，以移动目标检测位置精度为损失函数，利用损失函数训练神经网络权重，移动目标检测位置精度与损失函数的值呈正相关关系，据此调整神经网络的权重；每20组移动目标检测场景训练结束后，根据神经网络的权重进行一次神经网络剪枝，并根据剪枝结果，合并或裁剪目标检测神经元，对权重微小和/或不重要的神经元进行剪枝，同时针对剪裁后的神经元，对类复眼光电探测系统内的单眼视场的大小及分辨率进行调整，调整后继续在数字孪生模型内训练神经网络权重；在预设的1000组移动目标检测场景的范围内，每进行迭代一次，神经网络以及权重优化一次，损失函数的值更小，经过50次上述训练后，损失函数的值达到最小，也就是移动目标检测精度最高，可认为是类复眼光电探测系统的最终的物理模型和相应的直连式处理框架，即获得类复眼光电探测系统的物理模型和直连式数据处理框架。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述构建方法从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，具体包括以下步骤：
步骤1. 基于深度神经网络建立直连式数据处理框架，直连式数据处理框架从若干单眼获取原始探测信号；
步骤2. 利用光电系统模拟技术和数字孪生技术，建立直连式数据处理框架的数字孪生模型，根据类复眼光电探测系统子结构实验系统获取实测图像，提取不同视场内的点扩散函数PSF，通过实测图像拟合物理模型参数，初步优化类复眼光电探测系统物理结构；
步骤3. 利用步骤2中所获得的数字孪生模型，训练优化类复眼探测系统的物理结构和直连式数据处理框架，实现类复眼光电系统对实时移动目标的探测；
训练优化类复眼光电探测系统的步骤如下：
步骤3.1 在数字孪生模型的基础上，建立1000组包含不同数目、速度及光变特征的移动目标检测场景；
步骤3.2 以移动目标检测位置精度为损失函数，在数字孪生模型内训练神经网络权重，每20组移动目标检测场景训练结束后，根据神经网络的权重进行一次神经网络剪枝，并根据剪枝结果，合并或裁剪目标检测神经元，对类复眼光电探测系统内的单眼视场的大小及分辨率进行调整，调整后继续在数字孪生模型内训练神经网络权重；
步骤3.3 重复步骤3.2，经过50次上述训练后，损失函数的值达到最小，此时即获得类复眼光电探测系统的物理模型和直连式数据处理框架。
2.根据权利要求1所述的基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述直连式数据处理框架包括图像预处理部分、信息归总及目标检测部分。
3.根据权利要求1或2所述的基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述数字孪生模型包括探测目标、类复眼探测系统和直连式数据处理框架，利用光电系统蒙特卡洛模拟方法建立物理模型，物理模型完成全天相机光机电结构、观测目标及环境、观测目标光学传输过程。
4.根据权利要求1所述的基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述类复眼光电探测系统子结构实验系统内各个单眼的视场重叠大于60%。
CN202110196442.8A 2021-02-22 2021-02-22 一种基于数字孪生技术的类复眼光电系统的构建方法 Active CN113032957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110196442.8A CN113032957B (zh) 2021-02-22 2021-02-22 一种基于数字孪生技术的类复眼光电系统的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110196442.8A CN113032957B (zh) 2021-02-22 2021-02-22 一种基于数字孪生技术的类复眼光电系统的构建方法

Publications (2)

Publication Number Publication Date
CN113032957A CN113032957A (zh) 2021-06-25
CN113032957B true CN113032957B (zh) 2022-03-29

Family

ID=76461437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110196442.8A Active CN113032957B (zh) 2021-02-22 2021-02-22 一种基于数字孪生技术的类复眼光电系统的构建方法

Country Status (1)

Country Link
CN (1) CN113032957B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4673264A (en) * 1983-02-25 1987-06-16 Tokyo Kogaku Kikai Kabushiki Kaisha Ophthalmic instrument having focus detecting mark projecting means
CN205176308U (zh) * 2015-12-03 2016-04-20 成都九登科技有限公司 一种孪生聚光器
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4673264A (en) * 1983-02-25 1987-06-16 Tokyo Kogaku Kikai Kabushiki Kaisha Ophthalmic instrument having focus detecting mark projecting means
CN205176308U (zh) * 2015-12-03 2016-04-20 成都九登科技有限公司 一种孪生聚光器
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Detection and Classification of Astronomical Targets with Deep Neural Networks in Wide-field Small Aperture Telescopes;Peng Jia 等;《The Astronomical Journal》;20200416;1-10 *

Also Published As

Publication number Publication date
CN113032957A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN107862293B (zh) 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN103796001B (zh) 一种同步获取深度及色彩信息的方法及装置
CN111563878B (zh) 一种空间目标定位方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN104537616A (zh) 鱼眼图像畸变的校正方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN110113560A (zh) 视频智能联动的方法及服务器
CN110910456A (zh) 基于Harris角点互信息匹配的立体相机动态标定算法
CN111429378A (zh) 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN113936031A (zh) 一种基于机器视觉的云影轨迹预测方法
CN111260687A (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN110599416B (zh) 一种基于空间目标图像数据库的非合作目标图像盲复原方法
CN113032957B (zh) 一种基于数字孪生技术的类复眼光电系统的构建方法
CN104065958A (zh) 一种led显示屏亮度采集系统
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN104065853B (zh) 一种红外相机串扰消除方法
CN111161399B (zh) 基于二维影像生成三维模型的数据处理方法及组件
CN114076935A (zh) 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质
CN113989164B (zh) 一种水下彩色图像复原方法、系统及存储介质
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN103400381B (zh) 一种基于光学成像的水下目标跟踪方法
WO2023023961A1 (zh) 一种基于激光线阵的piv图像标定装置及方法
CN112365400B (zh) 一种快速光场角度超分辨重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant