CN115984368A - 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 - Google Patents
基于数据解耦的未知隐藏目标定位方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115984368A CN115984368A CN202310085779.0A CN202310085779A CN115984368A CN 115984368 A CN115984368 A CN 115984368A CN 202310085779 A CN202310085779 A CN 202310085779A CN 115984368 A CN115984368 A CN 115984368A
- Authority
- CN
- China
- Prior art keywords
- target
- complex
- data set
- basic
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000004807 localization Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 239000005337 ground glass Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000013401 experimental design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000004964 aerogel Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Abstract
本发明公开了一种基于数据解耦的未知隐藏目标定位方法、系统及存储介质。所述未知隐藏目标定位方法包括：获取散斑图像；经过目标定位网络，生成用于指示目标位置的指示信息；所述目标定位网络包含注意力机制，其训练方法包括：构建基本元素数据集；训练初始神经网络，获得预训练神经网络；构建复杂元素数据集；对所述预训练神经网络进行测试，并迭代更新预训练神经网络的参数，获得目标定位网络。本发明提供的定位方法通过采用多种基本几何元素进行训练以及多种复杂几何图形进行测试所获得的目标定位网络模型，对散斑图像进行目标定位，能够在复杂散射介质影响下，克服目标形状、类别及数量限制，从而实现散射介质后未知目标的准确的位置估计。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于数据解耦的未知隐藏目标定位方法、系统及存储介质。
背景技术
散射现象主要是由于目标光子在复杂散射介质中的调制作用，原有的目标特征信息有明显的衰减，导致人眼无法通过相机采集到的散斑图像识别目标。从目标散斑图像中准确有效地分析目标信息，包括位置信息，在日常生活和安全方面非常重要--特别是在军事应用方面。例如，在军事上，在复杂的天气条件下检测空中目标位置，在恶劣的环境下识别和跟踪地面目标。同时从散斑图像中获得的目标信息在民用领域也很有价值。
散斑形成是散射介质对携带目标信息的入射光场进行重新编码。最近的一些研究提出了克服散射介质对入射光的干扰，获得携带目标信息的入射光场的信息。例如，波前整形技术，但其在对散射场景不固定的情况下，无法对入射光场波前进行有效的恢复和测量；传输矩阵测量技术，强散射介质的入射光场和出射光场可以通过介质的传输矩阵联系起来，通过测量介质的传输矩阵结合出射光场信息，实现携带目标信息的入射光场获取，但要求复杂的光学实验系统，且其计算量过大。
由于目标信息的获取受到介质散射程度的可变特性的影响。在复杂的环境中，很难通过估计系统的点扩散函数(PSF)并利用目标产生的散射和成像系统产生的散射之间的卷积关系来解析目标信息。基于散斑相关的方法，由于只获得了目标的振幅信息，可以使用Fienup等人提出的混合输入输出和误差减少的相位恢复算法来重建目标的完整形状信息。然而，恢复效果具有很高的随机性，重建质量得不到保证，而且无法确定重建目标的位置。
在自相关原理的基础上，Guo等人对隐藏目标的横向和轴向运动进行了研究，但要求成像过程在光学记忆效应范围内，且适合于小物体的行动。2012年，Jakobsen等人设计了一个空间滤波函数，通过分析观察平面变化时目标散射点的情况来进行目标的定位。2015年，K.Jo等人结合散斑运动的理论模型的设计与传感器相结合，实现了目标运动位置估计。Akhlaghi等人(2017年)分析了散射图的目标统计特征，以跟踪隐藏的目标。
为了更好地解决传统方法的局限性，人们研究了机器学习和深度学习方法，以进一步解决散射图像的目标信息，而不使用复杂的物理模型。2018年，Hui等人提出使用支持向量回归算法来验证使用机器学习来实现通过散射介质的目标成像的可行性。随后，基于深度学习的算法被用于散射环境下的目标成像。2019年，Yang等人尝试通过U-Net结构，利用光纤和磨砂玻璃来恢复手写数字图像。Li等人提出IDiffNet网络实现对透过散射介质的目标高效成像，Guo等人通过将其与自相关原理相结合实现了复杂的目标成像。
然而上述现有技术在复杂散射介质影响下，克服目标形状、类别及数量限制，从而实现散射介质后未知目标的位置估计的应用效果仍然不理想。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于数据解耦的未知隐藏目标定位方法、系统及存储介质。
为实现前述发明目的，本发明采用的技术方案包括：
第一方面，本发明提供一种基于数据解耦的未知隐藏目标定位方法，包括：
获取散斑图像，所述散斑图像为待定位目标图像经过散射介质的散射作用后形成的；
使所述散斑图像经过目标定位网络，生成用于指示所述散斑图像中的待定位目标的位置的指示信息；
其中，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息；
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络；
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息；
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
第二方面，本发明还提供一种基于数据解耦的未知隐藏目标定位系统，包括：
图像获取模块，用于获取散斑图像，所述散斑图像为待定位目标图像经过散射介质的散射作用后形成的；
目标定位模块，用于使所述散斑图像经过目标定位网络，生成用于指示所述散斑图像中的待定位目标的位置的指示信息；
其中，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息；
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络；
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息；
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
第三方面，本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序和/或目标定位网络；
所述计算机程序被运行时执行上述未知隐藏目标定位方法的步骤；
和/或，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息；
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络；
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息；
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：
本发明提供的未知隐藏目标定位方法通过采用多种基本几何元素的训练集进行训练以及多种复杂几何图形的测试集进行测试所获得的目标定位网络模型，对散斑图像进行目标定位，能够在复杂散射介质影响下，克服目标形状、类别及数量限制，从而实现散射介质后未知目标的准确的位置估计。
上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。
附图说明
图1是本发明一典型实施案例提供的散射光路的结构设计示意图；
图2是本发明一典型实施案例提供的散射光路的实物光路照片；
图3是本发明一典型实施案例提供的单阶段的目标检测算法的过程示意图；
图4是本发明一典型实施案例提供的目标定位网络的结构和过程示意图；
图5是本发明一典型实施案例提供的MHSA改进模块的结构示意图。
具体实施方式
鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。
由于复杂散射介质的影响，携带目标信息的光子在通过散射介质时将会被衰减，目标定位就很困难。散射图像中目标位置信息的分辨率对于在军事应用中的浓雾等环境中实现精确的目标定位至关重要。本发明根据神经网络强大的特征解析能力和散射形成的特点，设计了一个包含注意力机制的目标定位网络，同时，构建了一个具有基本元素的训练数据集来进行目标定位网络的训练，以实现数据解耦，进而实现了复杂散射环境下不同领域目标的位置估计定位。
具体的，参见图1、图2以及图3-图4，本发明实施例提供的一种基于数据解耦的未知隐藏目标定位方法，包括如下的步骤：
获取散斑图像，所述散斑图像为待定位目标图像经过散射介质的散射作用后形成的。
使所述散斑图像经过目标定位网络，生成用于指示所述散斑图像中的待定位目标的位置的指示信息。
其中，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括如下的步骤：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息。
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络。
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息。
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
其中，所述基本几何元素是指构成复杂几何图形的基本图形，例如圆、三角或正方等简单的几何图形，而所述复杂几何图形指示由多个基本图形组合形成的复杂图形，例如字母、物品形状图形以及数字等等。
所述复杂元素数据集可以采用现有的开源或商业图形数据集，亦可以自行收集或绘制相应的数据集图形。
作为上述技术方案的一些典型的应用示例，本发明所提供的未知隐藏目标定位方法，以及其中所包含的网络的训练方法具体可以采用如下的步骤得以实施：
1)根据基本元素数据集的设置，构建相应的数据集。结合光路设计图，搭建实际光路采集平台，获取相应数据对应的散斑图像。
2)将采集的数据集进行归一化处理，并基于Pytorch深度学习框架的计算平台上运行算法模型，以CPU i7-8700和GPU RTX2080Ti为核心，通过Pytorch 1.9和CUDA10.1加速训练。
3)同光路平台下，对获取到的复杂目标散斑图像实施隐藏在散射介质后的目标实施定位。
在一些实施方案中，所述训练方法具体包括如下的步骤：
使所述基本几何元素的目标图像经过散射光路的散射，形成基本散斑图像。
将所述基本散斑图像输入所述初始神经网络，生成第一位置标注信息。
基于所述第一位置标注信息与所述基本位置标记信息的差异，更新所述初始神经网络的参数，获得所述预训练神经网络。
在一些实施方案中，还包括如下的步骤：
使所述使所述复杂几何图形的目标图像经过所述散射光路的散射，形成复杂散斑图像。
将所述复杂散斑图像输入所述预训练神经网络，生成第二位置标注信息。
基于所述第二位置标注信息与所述复杂位置标记信息的差异，对所述预训练神经网络进行测试和/或继续进行参数更新。
在一些实施方案中，所述基本散斑图像和/或复杂散斑图像经过归一化处理，获得归一化图形，然后将所述归一化图形输入对应的神经网络。
在一些实施方案中，所述散射光路包括沿光线传播方向依次设置的准直器、空间光调制器、静态散射介质以及探测器。
所述准直器用于通过半波段将激光准直成平行光；所述空间光调制器用于对入射的所述平行光进行调制，获得对应的目标图像；所述探测器用于获取所述目标图像经过所述静态散射介质散射后形成的散斑图像。
在一些实施方案中，所述静态散射介质包括毛玻璃。
在一些实施方案中，所述空间光调制器包括数字微镜阵列，所述探测器包括CMOS相机。
在一些实施方案中，所述基本元素数据集包括对所述基本几何元素进行空间位置变换以及大小缩放产生的多种不同位置及大小的基本几何元素。
在一些实施方案中，所述基本几何元素包括圆形、三角形以及矩形。
在一些实施方案中，对所述复杂几何图形进行空间位置变换以及大小缩放产生多种不同空间位置和尺寸的单一复杂几何图形，对所述预训练神经网络进行目标定位准确性的检测。
此外，在一些实施方案中，本发明实施例还对所采用的CSPDarknet-53模块中ResBlock Bottleneck模块进行了改进，如图5所示，该模块是用于将目标之间的信息与位置感知相关联，增强网络全局依赖关系建模的能力，充分利用多尺度上下文信息，提升目标的检测能力。具体结构为Multi-Head Self-Attention，是利用多个查询，来平行地通过计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分，然后再进行拼接。其中的改进点为使用MHSA层替换3×3空间卷积层。通过上述方式不仅增强网络全局依赖关系建模的能力，同时减少了参数，降低了计算时延。原理大致是：ResBlock Bottleneck模块先1×1点卷积处理，再经过3×3卷积层，然后是1×1点卷积处理。具体改进方式将ResBlockBottleneck模块中3×3卷积层替换为MHSA层。
上述改进可以总结为：所述目标定位网络的结构包括依次连接的特征提取模块、语义信息模块和检测头模块，所述特征提取模块包括设置于两端的卷积层以及设置于中间的MHSA层。
作为上述技术方案的一些典型的应用示例，上述未知隐藏目标定位方法可以采用如下的具体步骤得以实施：
1)在光学成像时，每个像元接收对应空间位置的一束光线，根据光线强度不同，具有不同的像素值。相机最终获得的图像表示为由所有光线独立所成的像的和，当光线传播过程中遇到散射介质时，每一束光线都发生散射现象，在最后的成像面上叠加形成散斑图像。其成像过程可表示为：
其中，Eout代表接收到的散射图像，K代表散射介质(即磨砂玻璃)的点扩散函数，Ein代表矢量目标输入图像，f(xi)代表在xi处光线强度与像素值的映射函数。
同时根据微分几何原理可知，所有复杂几何体可近似为大量足够小的基本几何图像(如正方形)的集合。因此，首先构建基本元素数据集，包括不同大小的圆形、三角形和正方形等基本元素及其旋转变化和随机位置等虚拟物体被用作简单目标的初始数据，获得不同目标的斑点图像，将手写的数字和组合形式等用作隐藏在散射介质后面的未知复杂目标。
2)将基本元素数据集和复杂目标数据集，经设计的光路采集系统采集相应的散斑图像。其中用于实验数据采集的光学实验设计如图1和图2所示。
在更加具体的实施案例中，采用波长为532nm的绿色激光通过半波段准直成平行光，然后通过透镜组合作为照明源。利用空间光调制器(DMD数字微镜阵列)(分辨率1024×768，像素大小13.7μm，用于编码和显示虚拟目标)对入射光束进行调制，获得目标图像。携带目标信息的准直激光束被4f系统调制，并在入射的静态散射介质处散射。探测器接收散射场图像(PYTHON1300 CMOS相机)。其散射目标图像与散射介质的距离为z1，磨砂玻璃(例如可以选用毛玻璃，220目)置于CMOS和DMD之间，探测器置于散射介质后面，散射强度已被记录，探测器靶面与散射介质之间的距离例如可以设置为d＝50mm。
但需要说明的是，上述散射介质的选择，并非仅限于上述示例的具体选择，能够产生光学图像散射的介质均可用于实现上述训练方法，例如气凝胶、悬浊液、乳浊液等等。
3)将采集的数据集进行归一化处理，使用预处理的训练数据集中的8000对基本元素数据集，以及复杂目标收集的2000对数据集进行测试，8000对训练图像被送入实验设计的网络，其中散斑图和目标位置标注文件被作为网络的输入。本文涉及的神经网络模型是在基于Pytorch深度学习框架的计算平台上运行的，以CPU i7-8700和GPU RTX2080Ti为核心，通过Pytorch 1.9和CUDA10.1加速。
4)将步骤3获得的最优模型在测试集上进行测试，在一个由不同位移及其大小和形状变化组成的单一目标数据集上进行了实验，测试其目标定位的准确性，同时对该模型的准确性在多目标数据集上得到了进一步验证。其结果依然能够实现不同类别的目标定位。
继续参见图1、图2以及图3-图4，本发明实施例提供的一种基于数据解耦的未知隐藏目标定位系统，其包括：
图像获取模块，用于获取散斑图像，所述散斑图像为待定位目标图像经过散射介质的散射作用后形成的。
目标定位模块，用于使所述散斑图像经过目标定位网络，生成用于指示所述散斑图像中的待定位目标的位置的指示信息。
其中，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息。
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络。
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息。
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
本发明实施例还提供的一种可读存储介质，所述可读存储介质中存储有计算机程序和/或目标定位网络。
所述计算机程序被运行时执行上述任一实施方式所提供的未知隐藏目标定位方法的步骤。
在一些实施方案中，所述目标定位网络包含注意力机制，并且所述目标定位网络是通过如下的训练方法训练获得的：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息。
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络。
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息。
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
基于上述实施例，可以明确，本发明实施例所提供的未知隐藏目标定位方法通过采用多种基本几何元素的训练集进行训练以及多种复杂几何图形的测试集进行测试所获得的目标定位网络模型，对散斑图像进行目标定位，能够在复杂散射介质影响下，克服目标形状、类别及数量限制，从而实现散射介质后未知目标的准确的位置估计。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于数据解耦的未知隐藏目标定位方法，其特征在于，包括：
获取散斑图像，所述散斑图像为待定位目标图像经过散射介质的散射作用后形成的；
使所述散斑图像经过目标定位网络，生成用于指示所述散斑图像中的待定位目标的位置的指示信息；
其中，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息；
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络；
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息；
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
2.根据权利要求1所述的未知隐藏目标定位方法，其特征在于，所述训练方法具体包括：
使所述基本几何元素的目标图像经过散射光路的散射，形成基本散斑图像；
将所述基本散斑图像输入所述初始神经网络，生成第一位置标注信息；
基于所述第一位置标注信息与所述基本位置标记信息的差异，更新所述初始神经网络的参数，获得所述预训练神经网络；
和/或，使所述使所述复杂几何图形的目标图像经过所述散射光路的散射，形成复杂散斑图像；
将所述复杂散斑图像输入所述预训练神经网络，生成第二位置标注信息；
基于所述第二位置标注信息与所述复杂位置标记信息的差异，对所述预训练神经网络进行测试和/或继续进行参数更新。
3.根据权利要求2所述的未知隐藏目标定位方法，其特征在于，所述基本散斑图像和/或复杂散斑图像经过归一化处理，获得归一化图形，然后将所述归一化图形输入对应的神经网络。
4.根据权利要求2所述的未知隐藏目标定位方法，其特征在于，所述散射光路包括沿光线传播方向依次设置的准直器、空间光调制器、静态散射介质以及探测器；
所述准直器用于通过半波段将激光准直成平行光；所述空间光调制器用于对入射的所述平行光进行调制，获得对应的目标图像；所述探测器用于获取所述目标图像经过所述静态散射介质散射后形成的散斑图像。
5.根据权利要求4所述的未知隐藏目标定位方法，其特征在于，所述静态散射介质包括毛玻璃；
和/或，所述空间光调制器包括数字微镜阵列，所述探测器包括CMOS相机。
6.根据权利要求2所述的未知隐藏目标定位方法，其特征在于，所述基本元素数据集包括对所述基本几何元素进行空间位置变换以及大小缩放产生的多种不同位置及大小的基本几何元素；
优选的，所述基本几何元素包括圆形、三角形以及矩形。
7.根据权利要求2所述的未知隐藏目标定位方法，其特征在于，对所述复杂几何图形进行空间位置变换以及大小缩放产生多种不同空间位置和尺寸的单一复杂几何图形，对所述预训练神经网络进行目标定位准确性的检测。
8.根据权利要求1所述的未知隐藏目标定位方法，其特征在于，所述目标定位网络的结构包括依次连接的特征提取模块、语义信息模块和检测头模块，所述特征提取模块包括设置于所述特征提取模块两端的卷积层以及设置于卷积层之间的MHSA层。
9.一种基于数据解耦的未知隐藏目标定位系统，其特征在于，包括：
图像获取模块，用于获取散斑图像，所述散斑图像为待定位目标图像经过散射介质的散射作用后形成的；
目标定位模块，用于使所述散斑图像经过目标定位网络，生成用于指示所述散斑图像中的待定位目标的位置的指示信息；
其中，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息；
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络；
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息；
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序和/或目标定位网络；
所述计算机程序被运行时执行权利要求1-8中任意一项所述的未知隐藏目标定位方法的步骤；
和/或，所述目标定位网络包含注意力机制，并且所述目标定位网络的训练方法包括：
构建基本元素数据集，所述基本元素数据集包含多个不同位置的基本几何元素以及所述基本几何元素对应的基本位置标记信息；
利用所述基本元素数据集训练初始神经网络，获得预训练神经网络；
构建复杂元素数据集，所述复杂元素数据集包括多个复杂几何图形以及所述复杂几何图形对应的复杂位置标记信息；
利用所述复杂元素数据集对所述预训练神经网络进行测试，并迭代更新所述预训练神经网络的参数，获得所述目标定位网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310085779.0A CN115984368A (zh) | 2023-01-12 | 2023-01-12 | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310085779.0A CN115984368A (zh) | 2023-01-12 | 2023-01-12 | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115984368A true CN115984368A (zh) | 2023-04-18 |
Family
ID=85974299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310085779.0A Pending CN115984368A (zh) | 2023-01-12 | 2023-01-12 | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984368A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145902A (zh) * | 2018-08-21 | 2019-01-04 | 武汉大学 | 一种利用泛化特征对几何标识进行识别及定位的方法 |
| US20190318469A1 (en) * | 2018-04-17 | 2019-10-17 | Coherent AI LLC | Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns |
| CN110823812A (zh) * | 2019-10-29 | 2020-02-21 | 上海交通大学 | 基于机器学习的散射介质成像方法及系统 |
| CN110880196A (zh) * | 2019-11-11 | 2020-03-13 | 哈尔滨工业大学（威海） | 基于深度学习的肿瘤光声图像快速重建方法及装置 |
| CN111739116A (zh) * | 2020-07-16 | 2020-10-02 | 南京理工大学 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
| US20210031057A1 (en) * | 2019-08-01 | 2021-02-04 | Keiichi Nakagawa | Method for reconstructing x-ray cone-beam CT images |
| CN113962866A (zh) * | 2021-12-22 | 2022-01-21 | 南京理工大学 | 一种基于物理感知学习的散射成像目标重建方法 |
| CN114170304A (zh) * | 2021-11-04 | 2022-03-11 | 西安理工大学 | 一种基于多头自注意力和置换注意力的相机定位方法 |
-
2023
- 2023-01-12 CN CN202310085779.0A patent/CN115984368A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190318469A1 (en) * | 2018-04-17 | 2019-10-17 | Coherent AI LLC | Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns |
| CN109145902A (zh) * | 2018-08-21 | 2019-01-04 | 武汉大学 | 一种利用泛化特征对几何标识进行识别及定位的方法 |
| US20210031057A1 (en) * | 2019-08-01 | 2021-02-04 | Keiichi Nakagawa | Method for reconstructing x-ray cone-beam CT images |
| CN110823812A (zh) * | 2019-10-29 | 2020-02-21 | 上海交通大学 | 基于机器学习的散射介质成像方法及系统 |
| CN110880196A (zh) * | 2019-11-11 | 2020-03-13 | 哈尔滨工业大学（威海） | 基于深度学习的肿瘤光声图像快速重建方法及装置 |
| CN111739116A (zh) * | 2020-07-16 | 2020-10-02 | 南京理工大学 | 基于深度神经网络透过散射介质的目标定位和重建方法 |
| CN114170304A (zh) * | 2021-11-04 | 2022-03-11 | 西安理工大学 | 一种基于多头自注意力和置换注意力的相机定位方法 |
| CN113962866A (zh) * | 2021-12-22 | 2022-01-21 | 南京理工大学 | 一种基于物理感知学习的散射成像目标重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN WANG等: "An Unknown Hidden Target Localization Method Based on Data Decoupling in Complex Scattering Media", PHOTONICS, vol. 9, no. 12 * |
| 江舸;经文;成彬彬;: "亚毫米波人体隐藏目标复合散斑问题探讨", 微波学报, no. 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Weinmann | Reconstruction and analysis of 3D scenes | |
| CN104115074B (zh) | 全息图处理方法和系统 | |
| Hesselink | Digital image processing in flow visualization | |
| CN112287571B (zh) | 基于物理驱动的散射泛化成像方法和实验方法 | |
| Bonaldi et al. | Square kilometre array science data challenge 1: analysis and results | |
| Zendel et al. | Analyzing computer vision data-the good, the bad and the ugly | |
| Temel et al. | Challenging environments for traffic sign detection: Reliability assessment under inclement conditions | |
| CN112161953B (zh) | 一种基于散射介质的宽光谱单帧散射成像方法 | |
| CN110503679A (zh) | 一种红外基准图制备与评价方法 | |
| Lin et al. | Automatic aircraft detection in very-high-resolution satellite imagery using a YOLOv3-based process | |
| CN108416834A (zh) | 透明目标表面三维重构方法、装置和系统 | |
| Li et al. | Hierarchical disentanglement-alignment network for robust SAR vehicle recognition | |
| WO2016097168A1 (fr) | Procede de discrimination et d'identification par imagerie 3d d'objets d'une scene | |
| CN115984368A (zh) | 基于数据解耦的未知隐藏目标定位方法、系统及存储介质 | |
| Loktev et al. | Image Blur Simulation for the Estimation of the Behavior of Real Objects by Monitoring Systems. | |
| Khan et al. | A review of benchmark datasets and training loss functions in neural depth estimation | |
| Bartoli et al. | Computer Vision–ECCV 2020 Workshops: Glasgow, UK, August 23–28, 2020, Proceedings, Part VI | |
| MacKay et al. | Learning for free: Object detectors trained on synthetic data | |
| Kilduff et al. | Crater Detection for Cislunar Autonomous Navigation through Convolutional Neural Networks | |
| Li et al. | Omnidirectional Ring Structured Light Noise Filtering Based On DCGAN Network And Autoencoder | |
| CN115984405B (zh) | 基于自相关性增强的散射成像方法、系统及模型训练方法 | |
| Liu | Optical phase space measurements and applications to 3D imaging and light scattering | |
| CN110264494A (zh) | 基于相关性分析的逆稀疏表示的灰度-热目标跟踪方法 | |
| Rodríguez | A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking | |
| Beemelmanns et al. | MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |