CN115620121A - 一种基于数字孪生的光电目标高精度检测方法 - Google Patents

一种基于数字孪生的光电目标高精度检测方法 Download PDF

Info

Publication number
CN115620121A
CN115620121A CN202211305638.7A CN202211305638A CN115620121A CN 115620121 A CN115620121 A CN 115620121A CN 202211305638 A CN202211305638 A CN 202211305638A CN 115620121 A CN115620121 A CN 115620121A
Authority
CN
China
Prior art keywords
image
target
photoelectric
sample
photoelectric target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211305638.7A
Other languages
English (en)
Inventor
张来线
孙华燕
郭惠超
张怀利
李迎春
郑海晶
张世成
陈文龙
张廷华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202211305638.7A priority Critical patent/CN115620121A/zh
Publication of CN115620121A publication Critical patent/CN115620121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于数字孪生的光电目标高精度检测方法，包括：分别拍摄得到主动图像和被动图像，进行帧间差分运算，得到差分图像；对差分图像进行自适应阈值分割，得到光电目标候选区域；将真实光电目标图像和每个光电目标候选区域同时输入到经过训练的数字孪生网络目标检测模型中，数字孪生网络目标检测模型通过比较光电目标候选区域和真实光电目标图像的相似度，从而判定该光电目标候选区域是否具有光电目标。本发明可以有效检测出室内复杂环境中潜在的微型摄像头并准确定位其位置，该方法首次提出使用数字孪生的思想对光电目标进行检测，相较于传统目标判别方式，本发明准确率更高，整个检测流程逻辑清晰且严谨并有效降低虚警概率。

Description

一种基于数字孪生的光电目标高精度检测方法
技术领域
本发明属于光电探测与识别技术领域，具体涉及一种基于数字孪生的光电目标高精度检测方法。
背景技术
随着光电子以及微电子产业的快速发展，各种光电成像装备被广泛应用于企业安保、工业视觉、街道监控等日常领域，例如摄像机、手机相机与监控摄像头等；各类高性能的光电设备也被应用于目标侦察、预警、跟踪等军事领域，例如光电侦察系统、光电测量系统和光电跟踪系统等。这些光电成像设备给人们的日常生活带来了极大的便利，并且在军事领域上发挥着极为重要的作用。但是与此同时，也给提供了犯法获利的途径。
针对上述所存在的问题，需要对摄像头进行检测并确定其位置，从而保证高安全级别场所的安全性。具体的，可利用摄像头所存在的猫眼效应，对摄像头进行检测，此方法不依赖于摄像头的启动和无线信号的发射，仅针对摄像头本身的特性。在该领域中利用激光主动成像进行探测是最为有效的途径之一，已经较为成熟地应用于常规摄像头的检测，也有部分方法可以针对室内的微型摄像头进行检测，但在较为复杂场景下对微型摄像头的检测精度仍需提高，此项技术主要面临两大问题：一是微型摄像头所产生的光电目标在图像中所占像素点较少，其能提取的特征也相对较少，因此在检测的过程中容易出现漏检的现象。二是在室内环境下的场景不一，光电目标易于与背景或者高亮度物体的反射光斑混淆，仅利用目标纹理及光强度特性很难将真假目标进行分辨。因此利用激光主动成像探测技术对光电目标进行高精度检测的关键技术问题就是有效消除背景的各种亮点并对光电目标进行准确判别，降低虚警概率。
下面的文献涉及到微型摄像头及类似小目标的检测方法：
1.Li L,Ren J,Wang X.Fast cat-eye effect target recognition based onsaliency extraction.Optics Communications,2015,350:33-39.论文利用激光成像系统获取主动图像和被动图像，在视觉注意力机制的基础上提出了一种图像多通道显著性处理方法识别光电目标，对初始图像中8个方向的通道进行处理后获得方向显著性映射并进行融合，对融合图像进行阈值分割，从而实现光电目标的检测。该方法较为依赖图像的高分辨率，高分辨率图像会携带更多的信息，但却带来耗时较长的不良影响，成本较高。
2.Huang J,Zhang H,Wang L,et al.Improved YOLOv3 Model for miniaturecamera detection.Optics&Laser Technology,2021,142:107133.论文利用单静态主动式激光探测系统采集图像，使用基于深度学习领域改进的YOLOv3目标检测算法对采集到的主动图像进行实时探测。该方法采用的是单阶段检测算法，相对于基于候选区域的两阶段检测算法，在检测准确率和定位精度上略有不足，且该方法受限于激光入射角度和检测距离，较难应用。
除上述论文方法外，专利CN 108226953 A和专利CN 108320303 A是基于光电目标的光学特性进行检测，提取特征的能力略显不足，且操作复杂。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于数字孪生的光电目标高精度检测方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于数字孪生的光电目标高精度检测方法，包括以下步骤：
步骤S1，对于同一检测区域，分别拍摄得到主动图像和被动图像；其中，所述主动图像是指对检测区域进行激光照射时拍摄得到的图像；所述被动图像是指未对检测区域进行激光照射时拍摄得到的图像；
步骤S2，对所述主动图像和所述被动图像进行帧间差分运算，得到差分图像；
步骤S3，对所述差分图像进行自适应阈值分割，在所述差分图像中分割出至少一个光电目标候选区域；
步骤S4，采用以下方法，对每个光电目标候选区域进行识别，判定该光电目标候选区域是否具有光电目标：
步骤S4.1，获得真实光电目标图像；
步骤S4.2，将所述真实光电目标图像和每个所述光电目标候选区域同时输入到经过训练的数字孪生网络目标检测模型中，所述数字孪生网络目标检测模型通过比较所述光电目标候选区域和所述真实光电目标图像的相似度，从而判定该光电目标候选区域是否具有光电目标；
步骤S5，对于判定具有光电目标的光电目标候选区域，将该光电目标候选区域的位置显示到所述主动图像中，并进行标识，即为在所述主动图像中识别到的光电目标。
优选的，步骤S3具体为：
步骤S3.1，将所述差分图像中的像素点按灰度值由高到低进行排列，取一百分位数的像素点，并将所述第一百分位数的像素点的灰度值作为亮度分割阈值 Ith；
步骤S3.2，对所述差分图像进行处理，将灰度值低于亮度分割阈值Ith的像素点去除，仅保留灰度值高于等于亮度分割阈值Ith的像素点，即：去除低亮度像素点，保留高亮度像素点，由此得到处理后的差分图像；
步骤S3.3，在所述处理后的差分图像中，获得灰度值最高的像素点的灰度值，表示为：Imax；
采用下式，得到阈值T：
Figure BDA0003905841730000041
Figure BDA0003905841730000042
其中：m表示所述处理后的差分图像中，最大灰度值与假目标区域灰度波动中最低灰度值的差异程度，为经亮度分割阈值Ith分割后，光电目标与背景区域的差异程度；
k为常数；
步骤S3.4，在步骤S3.3得到的处理后的差分图像中，采用阈值T进行分割，将灰度值低于阈值T的像素点去除，仅保留灰度值高于等于亮阈值T的像素点，得到分割后的差分图像；
步骤S3.5，确定窗口尺寸；窗口尺寸大于单个光电目标的尺寸；
在步骤S3.4得到的分割后的差分图像中，按设定步长移动窗口，每移动到一个位置，判别窗口内图像区域是否满足以下两个条件，如果满足，则认为窗口内图像区域为识别到的一个光电目标候选区域；
条件1：窗口内图像区域中像素点个数大于参数N；其中，参数N通过以下公式确定：
Figure BDA0003905841730000043
d为探测距离；
H'为探测的光电目标的最小尺寸；
f为拍摄图像时采用的焦距；
C为像元尺寸；
条件2：窗口内图像区域中，所有像素点形成的最小外接矩形的长度a与宽度b满足以下公式：
a：b≤2：1。
优选的，采用以下方法，对数字孪生网络进行训练：
步骤A1，获得训练样本集；所述训练样本集包括多个训练样本；所述训练样本包括多个正训练样本和多个负训练样本；
所述正训练样本获得方法为：获取成对的具有真实光电目标的主动图像正样本和被动图像正样本；对所述主动图像正样本和所述被动图像正样本进行帧间差分运算，得到的差分图像作为正训练样本；
所述负训练样本获得方法为：获取成对的不具有真实光电目标的主动图像负样本和被动图像负样本；对所述主动图像负样本和所述被动图像负样本进行帧间差分运算，得到的差分图像作为负训练样本；
步骤A2，建立数字孪生网络目标检测模型；
步骤A3，将真实光电目标图像和所述训练样本输入所述数字孪生网络目标检测模型中，所述数字孪生网络目标检测模型对真实光电目标图像和所述训练样本的相似度进行检测，得到相似度值；
步骤A4，判断相似度值是否超过预设定的相似度阈值，如果超过，则得到所述训练样本中包含真实光电目标的结论；否则，得到所述训练样本中不包含真实光电目标的结论；
步骤A5，将步骤A4得到的结论与真实情况进行对比，并根据对比结果调整数字孪生网络目标检测模型的参数权重；然后返回步骤A3，采用下一个训练样本对所述数字孪生网络目标检测模型继续进行训练，直到达到设定要求，得到训练完成的数字孪生网络目标检测模型。
优选的，所述数字孪生网络目标检测模型采用轻量型卷积神经网络，训练时采用带动量的SGD优化器进行训练，动量设置为0.9，学习率设为0.001，每隔 10代下降为原来的90％，每次学习的训练样本为50个。
优选的，所述数字孪生网络目标检测模型包括第一网络结构、第二网络结构和Sigmoid函数；所述第一网络结构和所述第二网络结构的网络结构相同，网络权重共享；
所述真实光电目标图像输入到所述第一网络结构，经所述第一网络结构进行特征提取，得到第一图像特征值；
所述训练样本输入到所述第二网络结构，经所述第二网络结构进行特征提取，得到第二图像特征值；
所述第一图像特征值和所述第二图像特征值输入到所述Sigmoid函数，所述Sigmoid函数输出所述第一图像特征值和所述第二图像特征值的相似度。
优选的，所述第二网络结构对所述训练样本进行特征提取，得到第二图像特征值，具体为：
所述第二网络结构包括Squeeze层、Expand层、LayerNorm归一化层、全连接层和激活层；
所述训练样本输入Squeeze层中1×1卷积进行降维，得到降维后训练样本；
所述降维后训练样本，分别输入到Expand层中的1×1卷积和3×3卷积进行并行计算，输出第1-1样本特征和第1-2样本特征；
将所述第1-1样本特征和所述第1-2样本特征分别输入到LayerNorm归一化层，分别得到第2-1样本特征和所述第2-2样本特征；
将所述第2-1样本特征和所述第2-2样本特征分别输入到全连接层，分别得到第3-1样本特征和所述第3-2样本特征；所述第3-1样本特征和所述第3-2样本特征均为一维向量特征，分别表示为：样本特征F1和样本特征F2；
计算所述样本特征F1和所述样本特征F2差值的L1范数，然后将计算结果进行两次全连接，输出第二图像特征值。
优选的，步骤S5中，在主动图像中，采用预测框标识该光电目标候选区域，并输出预测框的中心图像坐标(x,y)：
Figure BDA0003905841730000071
其中：
(x1,y1)为预测框的左上角坐标，(x2,y2)为预测框的右下角坐标。
本发明提供的一种基于数字孪生的光电目标高精度检测方法具有以下优点：
可以有效检测出室内复杂环境中潜在的微型摄像头并准确定位其位置，该方法首次提出使用数字孪生的思想对光电目标进行检测，相较于传统目标判别方式，本发明准确率更高，整个检测流程逻辑清晰且严谨并有效降低虚警概率。
附图说明
图1为本发明提供的基于数字孪生的光电目标高精度检测方法的流程示意图；
图2为本发明提供的数字孪生网络目标检测模型的结构图；
图3为室内环境下采集的主动图像的图；
图4为室内环境下采集的被动图像的图；
图5为本发明方法的检测结果图；
图6为常规方法的检测结果图；
图7为差分图像中真目标灰度值分布图；
图8为差分图像中假目标灰度值分布图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明是一种基于数字孪生的光电目标高精度检测方法，可以有效检测出室内的微型摄像头并确认其位置，利用摄像头中传感器所产生的猫眼效应，即光学系统将入射光汇聚到摄像头中焦平面的光电传感器或分划板上，根据光路可逆原理，该光束会沿原光路返回，且反射光的强度相比于普通物体和背景漫反射光的强度高出2-4个量级。针对光电目标的这种特性，先采集激光主动图像与被动图像进行差分运算与预处理，获得光电目标候选区域；然后训练一种基于数字孪生思想的改进残差网络对该目标区域进行判别；最后将判别结果进行分析与处理，将真实的光电目标在原图中进行标记并输出其准确位置。
本发明提供的基于数字孪生的光电目标高精度检测方法，可以有效检测出室内复杂环境中潜在的微型摄像头并准确定位其位置，该方法首次提出使用数字孪生的思想对光电目标进行检测，相较于传统目标判别方式，本发明准确率更高，整个检测流程逻辑清晰且严谨并有效降低虚警概率。
如图1所示，本发明提供的基于数字孪生的光电目标高精度检测方法，包括以下步骤：
步骤S1，对于同一检测区域，分别拍摄得到主动图像和被动图像；其中，所述主动图像是指对检测区域进行激光照射时拍摄得到的图像；所述被动图像是指未对检测区域进行激光照射时拍摄得到的图像；
如图3所示，为室内环境下采集的主动图像的图；如图4所示，为室内环境下采集的被动图像的图。
步骤S2，对所述主动图像和所述被动图像进行帧间差分运算，得到差分图像；
通过控制激光器的闭合采集主动图像与被动图像并进行性帧间差分运算，能够消除主被动图像背景平均灰度值过大的影响。
步骤S3，对所述差分图像进行自适应阈值分割，在所述差分图像中分割出至少一个光电目标候选区域；
本步骤具体为：
步骤S3.1，将所述差分图像中的像素点按灰度值由高到低进行排列，取一百分位数的像素点，并将所述第一百分位数的像素点的灰度值作为亮度分割阈值 Ith；
步骤S3.2，对所述差分图像进行处理，将灰度值低于亮度分割阈值Ith的像素点去除，仅保留灰度值高于等于亮度分割阈值Ith的像素点，即：去除低亮度像素点，保留高亮度像素点，由此得到处理后的差分图像；
亮度分割阈值Ith可采用以下公式表示：
Ith＝after_data[position(Q1)]
position(Q1)＝1+(n-1)×0.01
其中：n为差分图像中像素点的数量，position(Q1)为分位数位置。
步骤S3.3，在所述处理后的差分图像中，获得灰度值最高的像素点的灰度值，表示为：Imax；
采用下式，得到阈值T：
Figure BDA0003905841730000101
Figure BDA0003905841730000102
其中：m表示所述处理后的差分图像中，最大灰度值与假目标区域灰度波动中最低灰度值的差异程度，可近似看作经亮度分割阈值Ith分割后，光电目标与背景区域的差异程度；对阈值T求解的过程中光电目标与经Ith阈值分割后的区域背景差异程度越大，m所占的权重越高，阈值T越趋近于灰度最大值。
k为常数；
步骤S3.4，在步骤S3.3得到的处理后的差分图像中，采用阈值T进行分割，将灰度值低于阈值T的像素点去除，仅保留灰度值高于等于亮阈值T的像素点，得到分割后的差分图像；
步骤S3.5，确定窗口尺寸；窗口尺寸大于单个光电目标的尺寸；
在步骤S3.4得到的分割后的差分图像中，按设定步长移动窗口，每移动到一个位置，判别窗口内图像区域是否满足以下两个条件，如果满足，则认为窗口内图像区域为识别到的一个光电目标候选区域；
条件1：窗口内图像区域中像素点个数大于参数N；其中，参数N通过以下公式确定：
Figure BDA0003905841730000103
d为探测距离；
H'为探测的光电目标的最小尺寸；
f为拍摄图像时采用的焦距；
C为像元尺寸；
条件2：窗口内图像区域中，所有像素点形成的最小外接矩形的长度a与宽度b满足以下公式：
a：b≤2：1。
本发明采用的对所述差分图像进行自适应阈值分割，是一种利用光电目标回波特性阈值分割方法，其原理为：
发明人通过大量实验数据，针对光电目标回波光强统计特性提出一种自适应阈值分割方法。相机(即光电目标)在受到激光照射因探测器的光线饱和产生猫眼效应形成较强的回波现象，在主动图像与被动图像帧间差分运算后的差分图像中，表现为高灰度值特性且目标区域内灰度波动较小，即该区域整体灰度值接近Imax；如图7所示，为差分图像中真目标灰度值分布图，其现象是由于探测器光线饱和所导致；而高亮度物体伪目标因光线漫反射导致其在差分图像中虽表现为较高的灰度值但目标区域内灰度波动较大，即灰度值变化在Ith与Imax之间进行波动，如图8所示，根据真目标与假目标在差分图像中灰度变化的分布特性引入阈值T对真目标和假目标进行分割识别。选取的阈值T公式如下：
Figure BDA0003905841730000111
Figure BDA0003905841730000112
然后再进行窗口内图像区域的筛选，也就是进行形状度量判别步骤，阈值分割后的窗口内图像区域进行筛选，由于光电目标在图像中表现为实心的圆形或近似圆形，因此剔除其长宽比超过2:1的畸形光斑，并剔除像素点数量过少的小面积区域，得到最终的光电目标候选区域。
步骤S4，采用以下方法，对每个光电目标候选区域进行识别，判定该光电目标候选区域是否具有光电目标：
本发明中，光电目标包括但不限于微型摄像头。
步骤S4.1，获得真实光电目标图像；
步骤S4.2，将所述真实光电目标图像和每个所述光电目标候选区域同时输入到经过训练的数字孪生网络目标检测模型中，所述数字孪生网络目标检测模型通过比较所述光电目标候选区域和所述真实光电目标图像的相似度，从而判定该光电目标候选区域是否具有光电目标；
本发明中，采用以下方法，对数字孪生网络进行训练：
步骤A1，获得训练样本集；所述训练样本集包括多个训练样本；所述训练样本包括多个正训练样本和多个负训练样本；
所述正训练样本获得方法为：获取成对的具有真实光电目标的主动图像正样本和被动图像正样本；对所述主动图像正样本和所述被动图像正样本进行帧间差分运算，得到的差分图像作为正训练样本；
所述负训练样本获得方法为：获取成对的不具有真实光电目标的主动图像负样本和被动图像负样本；对所述主动图像负样本和所述被动图像负样本进行帧间差分运算，得到的差分图像作为负训练样本；
例如，拍摄得到6850个大小为640*480的主动图像和6850个大小为640*480 的被动图像。每个主动图像对应一个被动图像。
对每个主动图像进行剪裁，剪裁出20*20像素点作为主动图像样本；对应的，对被动图像进行剪裁，剪裁出20*20像素点作为被动图像样本。
为了达到更好的模型训练效果，使具有真实光电目标的正样本与虚假目标的负样本数量比为1：1，共剪裁得到6083张图像样本。
步骤A2，建立数字孪生网络目标检测模型；
步骤A3，将真实光电目标图像和所述训练样本输入所述数字孪生网络目标检测模型中，所述数字孪生网络目标检测模型对真实光电目标图像和所述训练样本的相似度进行检测，得到相似度值；
步骤A4，判断相似度值是否超过预设定的相似度阈值，如果超过，则得到所述训练样本中包含真实光电目标的结论；否则，得到所述训练样本中不包含真实光电目标的结论；
例如，本发明将光电目标相似度的判别阈值设置为0.9，即基于数字孪生思想将需要判别的图像与真实的光电目标图像进行输入，相似度阈值达到90％以上判定为图像中具有真实目标，反之则为假目标。在进行推理过程中，光电目标样本只需输入一次即可，无需每次进行判别时重新输入，大大提高了算法的检测效率。
步骤A5，将步骤A4得到的结论与真实情况进行对比，并根据对比结果调整数字孪生网络目标检测模型的参数权重；然后返回步骤A3，采用下一个训练样本对所述数字孪生网络目标检测模型继续进行训练，直到达到设定要求，得到训练完成的数字孪生网络目标检测模型。设定要求可以为：数字孪生网络目标检测模型的预测正确率大于某个数值范围。
本发明中，作为一个具体实施方式，所述数字孪生网络目标检测模型采用轻量型卷积神经网络，是一种基于数字孪生思想改进的轻量型卷积神经网络模型，轻量型卷积神经网络主要包含SqueezeNet、ShuffvNet、GhostNet和 CondenseNet等，本发明提供的SqueezeNet轻量型卷积神经网络，其将3×3卷积替换成1×1卷积和减少3×3卷积的通道数，极大的减少模型运行时的参数量占比；并通过将降采样后置，使该网络可以提取Feature Map中更多的信息来提升网络精度。
训练时采用带动量的SGD优化器进行训练，动量设置为0.9，学习率设为 0.001，每隔10代下降为原来的90％，每次学习的训练样本为50个。
作为一个具体实施方式，参考图2，所述数字孪生网络目标检测模型包括第一网络结构、第二网络结构和Sigmoid函数；所述第一网络结构和所述第二网络结构的网络结构相同，网络权重共享；
所述真实光电目标图像输入到所述第一网络结构，经所述第一网络结构进行特征提取，得到第一图像特征值；
所述训练样本输入到所述第二网络结构，经所述第二网络结构进行特征提取，得到第二图像特征值；
所述第一图像特征值和所述第二图像特征值输入到所述Sigmoid函数，所述Sigmoid函数输出所述第一图像特征值和所述第二图像特征值的相似度。通过 Sigmoid函数使相似度结果在0-1之间，该相似度结果代表真实光电目标图像与训练样本的相似程度。Sigmoid函数公式如下：
Figure BDA0003905841730000141
其中，所述第二网络结构对所述训练样本进行特征提取，得到第二图像特征值，具体为：
所述第二网络结构包括Squeeze层、Expand层、LayerNorm归一化层、全连接层和激活层；
所述训练样本输入Squeeze层中1×1卷积进行降维，得到降维后训练样本；
所述降维后训练样本，分别输入到Expand层中的1×1卷积和3×3卷积进行并行计算，输出第1-1样本特征和第1-2样本特征；
将所述第1-1样本特征和所述第1-2样本特征分别输入到LayerNorm归一化层，分别得到第2-1样本特征和所述第2-2样本特征；
将所述第2-1样本特征和所述第2-2样本特征分别输入到全连接层，分别得到第3-1样本特征和所述第3-2样本特征；所述第3-1样本特征和所述第3-2样本特征均为一维向量特征，分别表示为：样本特征F1和样本特征F2；
计算所述样本特征F1和所述样本特征F2差值的L1范数，然后将计算结果进行两次全连接，得到一个神经元的输出，输出第二图像特征值。
其中，对样本特征F1和样本特征F2进行相减操作再进行绝对值求和，即为计算所述样本特征F1和所述样本特征F2差值的L1范数。
步骤S5，对于判定具有光电目标的光电目标候选区域，将该光电目标候选区域的位置显示到所述主动图像中，并进行标识，即为在所述主动图像中识别到的光电目标。
例如，在主动图像中，采用两个像素点宽度的闭合正方形方框对候选区域进行标记。
在主动图像中，采用预测框标识该光电目标候选区域，并输出预测框的中心图像坐标(x,y)：
Figure BDA0003905841730000151
其中：
(x1,y1)为预测框的左上角坐标，(x2,y2)为预测框的右下角坐标。
本发明提供的基于数字孪生的光电目标高精度检测方法，可以高精度有效检测出室内的微型摄像头并确认其位置，如图5所示，为本发明方法的检测结果图；如图6所示，为常规方法的检测结果图，可以看出，本发明有效提高了光电目标的识别精度。
本发明步骤可概括描述为：
S1、图像差分与预处理步骤：
将主被动图像进行帧间差分运算和图像预处理，获得光电目标候选区域；
S2、数字孪生网络判别步骤：
通过基于数字孪生的深度学习网络对差分图像中的光电目标候选区域进行光电目标判别，以此筛除虚假目标，引用的数字孪生思想是通过神经网络来判别两个输入的相似程度，输出为相似度数值。
具体的，将一幅需要判别是否具有光电目标的图像与一幅光电目标图像分别输入到轻量型神经网络中，通过损失函数的计算，可以对两张图像的相似程度进行比较进而得出结论。通过此方式来获取需判别图像中是否具有真实光电目标的具体信息，相对于单一神经网络检测来讲，本发明有效提高了光电目标的识别精度。
S3、光电目标标记步骤：
将上述方式所获取真实的光电目标具体位置显示到主动图像中并进行标记。
本发明的有益效果主要体现在：
1.本发明首次提出基于数字孪生的思想解决光电目标检测问题，可以解决在室内较为复杂背景下对光电目标进行识别的问题，相较于传统目标判别方式来讲准确率更高，更具有检测性能上的优势。
2.本发明基于微型摄像机所产生的猫眼效应光斑要比背景与物体的漫反射的光斑强度高的特点，对其候选区域通过深度学习模型判别达到高精度检测的目的，对光学仪器的要求和操作较低，检测精度更依赖于方法本身。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于数字孪生的光电目标高精度检测方法，其特征在于，包括以下步骤：
步骤S1，对于同一检测区域，分别拍摄得到主动图像和被动图像；其中，所述主动图像是指对检测区域进行激光照射时拍摄得到的图像；所述被动图像是指未对检测区域进行激光照射时拍摄得到的图像；
步骤S2，对所述主动图像和所述被动图像进行帧间差分运算，得到差分图像；
步骤S3，对所述差分图像进行自适应阈值分割，在所述差分图像中分割出至少一个光电目标候选区域；
步骤S4，采用以下方法，对每个光电目标候选区域进行识别，判定该光电目标候选区域是否具有光电目标：
步骤S4.1，获得真实光电目标图像；
步骤S4.2，将所述真实光电目标图像和每个所述光电目标候选区域同时输入到经过训练的数字孪生网络目标检测模型中，所述数字孪生网络目标检测模型通过比较所述光电目标候选区域和所述真实光电目标图像的相似度，从而判定该光电目标候选区域是否具有光电目标；
步骤S5，对于判定具有光电目标的光电目标候选区域，将该光电目标候选区域的位置显示到所述主动图像中，并进行标识，即为在所述主动图像中识别到的光电目标。
2.根据权利要求1所述的基于数字孪生的光电目标高精度检测方法，其特征在于，步骤S3具体为：
步骤S3.1，将所述差分图像中的像素点按灰度值由高到低进行排列，取一百分位数的像素点，并将所述第一百分位数的像素点的灰度值作为亮度分割阈值Ith；
步骤S3.2，对所述差分图像进行处理，将灰度值低于亮度分割阈值Ith的像素点去除，仅保留灰度值高于等于亮度分割阈值Ith的像素点，即：去除低亮度像素点，保留高亮度像素点，由此得到处理后的差分图像；
步骤S3.3，在所述处理后的差分图像中，获得灰度值最高的像素点的灰度值，表示为：Imax；
采用下式，得到阈值T：
Figure FDA0003905841720000021
Figure FDA0003905841720000022
其中：m表示所述处理后的差分图像中，最大灰度值与假目标区域灰度波动中最低灰度值的差异程度，为经亮度分割阈值Ith分割后，光电目标与背景区域的差异程度；
k为常数；
步骤S3.4，在步骤S3.3得到的处理后的差分图像中，采用阈值T进行分割，将灰度值低于阈值T的像素点去除，仅保留灰度值高于等于亮阈值T的像素点，得到分割后的差分图像；
步骤S3.5，确定窗口尺寸；窗口尺寸大于单个光电目标的尺寸；
在步骤S3.4得到的分割后的差分图像中，按设定步长移动窗口，每移动到一个位置，判别窗口内图像区域是否满足以下两个条件，如果满足，则认为窗口内图像区域为识别到的一个光电目标候选区域；
条件1：窗口内图像区域中像素点个数大于参数N；其中，参数N通过以下公式确定：
Figure FDA0003905841720000023
d为探测距离；
H'为探测的光电目标的最小尺寸；
f为拍摄图像时采用的焦距；
C为像元尺寸；
条件2：窗口内图像区域中，所有像素点形成的最小外接矩形的长度a与宽度b满足以下公式：
a：b≤2：1。
3.根据权利要求1所述的基于数字孪生的光电目标高精度检测方法，其特征在于，采用以下方法，对数字孪生网络进行训练：
步骤A1，获得训练样本集；所述训练样本集包括多个训练样本；所述训练样本包括多个正训练样本和多个负训练样本；
所述正训练样本获得方法为：获取成对的具有真实光电目标的主动图像正样本和被动图像正样本；对所述主动图像正样本和所述被动图像正样本进行帧间差分运算，得到的差分图像作为正训练样本；
所述负训练样本获得方法为：获取成对的不具有真实光电目标的主动图像负样本和被动图像负样本；对所述主动图像负样本和所述被动图像负样本进行帧间差分运算，得到的差分图像作为负训练样本；
步骤A2，建立数字孪生网络目标检测模型；
步骤A3，将真实光电目标图像和所述训练样本输入所述数字孪生网络目标检测模型中，所述数字孪生网络目标检测模型对真实光电目标图像和所述训练样本的相似度进行检测，得到相似度值；
步骤A4，判断相似度值是否超过预设定的相似度阈值，如果超过，则得到所述训练样本中包含真实光电目标的结论；否则，得到所述训练样本中不包含真实光电目标的结论；
步骤A5，将步骤A4得到的结论与真实情况进行对比，并根据对比结果调整数字孪生网络目标检测模型的参数权重；然后返回步骤A3，采用下一个训练样本对所述数字孪生网络目标检测模型继续进行训练，直到达到设定要求，得到训练完成的数字孪生网络目标检测模型。
4.根据权利要求3所述的基于数字孪生的光电目标高精度检测方法，其特征在于，所述数字孪生网络目标检测模型采用轻量型卷积神经网络，训练时采用带动量的SGD优化器进行训练，动量设置为0.9，学习率设为0.001，每隔10代下降为原来的90％，每次学习的训练样本为50个。
5.根据权利要求3所述的基于数字孪生的光电目标高精度检测方法，其特征在于，所述数字孪生网络目标检测模型包括第一网络结构、第二网络结构和Sigmoid函数；所述第一网络结构和所述第二网络结构的网络结构相同，网络权重共享；
所述真实光电目标图像输入到所述第一网络结构，经所述第一网络结构进行特征提取，得到第一图像特征值；
所述训练样本输入到所述第二网络结构，经所述第二网络结构进行特征提取，得到第二图像特征值；
所述第一图像特征值和所述第二图像特征值输入到所述Sigmoid函数，所述Sigmoid函数输出所述第一图像特征值和所述第二图像特征值的相似度。
6.根据权利要求5所述的基于数字孪生的光电目标高精度检测方法，其特征在于，所述第二网络结构对所述训练样本进行特征提取，得到第二图像特征值，具体为：
所述第二网络结构包括Squeeze层、Expand层、LayerNorm归一化层、全连接层和激活层；
所述训练样本输入Squeeze层中1×1卷积进行降维，得到降维后训练样本；
所述降维后训练样本，分别输入到Expand层中的1×1卷积和3×3卷积进行并行计算，输出第1-1样本特征和第1-2样本特征；
将所述第1-1样本特征和所述第1-2样本特征分别输入到LayerNorm归一化层，分别得到第2-1样本特征和所述第2-2样本特征；
将所述第2-1样本特征和所述第2-2样本特征分别输入到全连接层，分别得到第3-1样本特征和所述第3-2样本特征；所述第3-1样本特征和所述第3-2样本特征均为一维向量特征，分别表示为：样本特征F1和样本特征F2；
计算所述样本特征F1和所述样本特征F2差值的L1范数，然后将计算结果进行两次全连接，输出第二图像特征值。
7.根据权利要求1所述的基于数字孪生的光电目标高精度检测方法，其特征在于，步骤S5中，在主动图像中，采用预测框标识该光电目标候选区域，并输出预测框的中心图像坐标(x,y)：
Figure FDA0003905841720000051
其中：
(x1,y1)为预测框的左上角坐标，(x2,y2)为预测框的右下角坐标。
CN202211305638.7A 2022-10-24 2022-10-24 一种基于数字孪生的光电目标高精度检测方法 Pending CN115620121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211305638.7A CN115620121A (zh) 2022-10-24 2022-10-24 一种基于数字孪生的光电目标高精度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211305638.7A CN115620121A (zh) 2022-10-24 2022-10-24 一种基于数字孪生的光电目标高精度检测方法

Publications (1)

Publication Number Publication Date
CN115620121A true CN115620121A (zh) 2023-01-17

Family

ID=84864004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211305638.7A Pending CN115620121A (zh) 2022-10-24 2022-10-24 一种基于数字孪生的光电目标高精度检测方法

Country Status (1)

Country Link
CN (1) CN115620121A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115849202A (zh) * 2023-02-23 2023-03-28 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作目标识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115849202A (zh) * 2023-02-23 2023-03-28 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作目标识别方法

Similar Documents

Publication Publication Date Title
US11341648B2 (en) Colony contrast gathering
CN110298297B (zh) 火焰识别方法和装置
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN113537099B (zh) 一种公路隧道火灾烟雾动态检测方法
CN111368771A (zh) 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质
CN113592911B (zh) 表观增强深度目标跟踪方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN116205919A (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN111460917B (zh) 基于多模态信息融合的机场异常行为检测系统及方法
CN115620121A (zh) 一种基于数字孪生的光电目标高精度检测方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN117011346A (zh) 鼓风机图像配准算法
CN111402185B (zh) 一种图像检测方法及装置
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN116309270A (zh) 一种基于双目图像的输电线路典型缺陷识别方法
CN114387484B (zh) 一种基于yolov4改进的口罩佩戴检测方法及系统
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN114648738A (zh) 一种基于物联网与边缘计算的图像识别系统与方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
Roy Automatics number plate recognition using convolution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination