CN112906816B - 基于光微分与双通道神经网络的目标检测方法和装置 - Google Patents

基于光微分与双通道神经网络的目标检测方法和装置 Download PDF

Info

Publication number
CN112906816B
CN112906816B CN202110276253.1A CN202110276253A CN112906816B CN 112906816 B CN112906816 B CN 112906816B CN 202110276253 A CN202110276253 A CN 202110276253A CN 112906816 B CN112906816 B CN 112906816B
Authority
CN
China
Prior art keywords
feature map
channel
fusion
dimensional
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110276253.1A
Other languages
English (en)
Other versions
CN112906816A (zh
Inventor
何良雨
崔健
刘彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengrui Lingchuang Zhuhai Technology Co ltd
Original Assignee
Fengrui Lingchuang Zhuhai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengrui Lingchuang Zhuhai Technology Co ltd filed Critical Fengrui Lingchuang Zhuhai Technology Co ltd
Priority to CN202110276253.1A priority Critical patent/CN112906816B/zh
Publication of CN112906816A publication Critical patent/CN112906816A/zh
Application granted granted Critical
Publication of CN112906816B publication Critical patent/CN112906816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于光微分与双通道神经网络的目标检测方法和装置，通过获取利用带有二维光学微分器的图像采集装置采集的待检测的产品预定位置的图片对应的待检测特征图，利用双通道神经网络模型的第i个双通道融合特征层对第i‑1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图；利用双通道神经网络模型的输出层预测第N个多维度交互融合特征图的目标检测点。本方案显著提升模型对缺陷纹理特征的提取能力，突显出目标与背景的纹理差异，可用于检测半导体、3C电子等产品表面缺陷。

Description

基于光微分与双通道神经网络的目标检测方法和装置
技术领域
本发明涉及图像识别领域，尤其涉及一种基于光微分与双通道神经网络的目标检测方法和装置。
背景技术
各类物品或产品在生产过程中很容易出现各类缺陷，这些缺陷可能会影响产品的使用寿命和可靠度，因此，表面缺陷检测是品质管控的关键环节。基于机器视觉的表面缺陷检测方法具有效率高、准确性高、实时性高等优点，在缺陷检测领域得到广泛的研究和应用。但是，由于缺陷类型繁多，特征难以定义，且只发生在生产过程中，使得基于计算机视觉的物品或产品表面缺陷检测方法遇到困难。并且，流行的卷积神经网络模型为了提高检测精度，大都具有复杂的网络结构和大量的模型参数，这使得卷积神经模型难以部署在硬件资源和计算资源有限的嵌入式系统上，也无法实现对物品或产品表面缺陷的有效检测。
发明内容
鉴于上述问题，本发明提出一种基于光微分与双通道神经网络的目标检测方法和装置。
本发明实施例提供一种基于光微分与双通道神经网络的目标检测方法，该方法包括：
获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像采集装置采集的；
利用双通道神经网络模型的第i个双通道融合特征层对第i-1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图；
利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框；
确定各个预测边界框的对应置信度；
将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标位置。
本发明实施例所述的基于光微分与双通道神经网络的目标检测方法，所述待检测特征图是利用带有二维光学微分器的图像采集装置获取的。
本发明实施例所述的基于光微分与双通道神经网络的目标检测方法，每一个双通道融合特征层包括主路特征提取通道、支路特征提取通道和多维度交互特征融合层，所述利用双通道神经网络模型的第i个双通道融合特征层对第i-1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，包括：
利用所述第i个双通道融合特征层的主路特征提取通道确定第i-1个多维度交互融合特征图的平均池化特征图；
利用所述第i个双通道融合特征层的支路特征提取通道确定第i-1个多维度交互融合特征图的最大池化特征图；
利用所述第i个双通道融合特征层的多维度交互特征融合层多维度交互融合所述平均池化特征图和所述最大池化特征图以确定第i个多维度交互融合特征图。
本发明实施例所述的基于光微分与双通道神经网络的目标检测方法，通过以下公式确定第i个多维度交互融合特征图：
Si＝σ(Vi*avgpool(Ci)+Vi*maxpool(Ci)+bi)
Si表示第i个多维度交互融合特征图，σ表示sigmoid操作，avgpool()表示平均池化操作，maxpool()表示最大池化操作，Vi表示第i个交互融合特征图Ci对应的卷积核，bi表示预设的第i个偏置量；
Figure BDA0002976753790000031
DHi×Wi表示像素尺寸为Hi×Wi的第i个融合特征图，δ表示softmax操作；
Figure BDA0002976753790000032
QHi×Wi表示像素尺寸为Hi×Wi的第i-1个多维度交互融合特征图的平均池化特征图，PHi×Wi表示像素尺寸为Hi×Wi的第i-1个多维度交互融合特征图的最大池化特征图，V(h，w)表示卷积核的中心位于第i-1个多维度交互融合特征图的平均池化特征图或第i-1个多维度交互融合特征图的最大池化特征图的第h行第w列。
本发明实施例所述的基于光微分与双通道神经网络的目标检测方法，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S10：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框；
S20：将所述预定数量的初始标记边界框的面积作为所述预定数量的聚类中心面积；
S30：分别计算各个预先标记的标记边界框的面积与所述预定数量的聚类中心面积之差；
S40：将每一个预先标记的标记边界框和差值最小的聚类中心面积归为一类；
S50：分别计算各个类别中各个标记边界框的面积平均值；
S60：利用所述预定数量的面积平均值更新所述预定数量的聚类中心面积；
S70：判断各个标记边界框的面积平均值的变化是否在预设的面积变化范围内，若不在预设的面积变化范围内，则重复S30～S60；
S80：若在预设的面积变化范围内，则将所述预定数量的面积平均值作为所述预定数量的预测边界框的面积；
S90：根据每一个类别中各个标记边界框的长度均值和宽度均值确定对应预测边界框的面积对应的长度和宽度。
本发明实施例所述的基于光微分与双通道神经网络的目标检测方法，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S11：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框长度；
S21：将所述预定数量的初始标记边界框长度作为预定数量的聚类中心长度；
S31：分别计算各个预先标记的标记边界框长度与所述预定数量的聚类中心长度之差；
S41：将每一个预先标记的标记边界框长度和差值最小的聚类中心长度归为一类；
S51：分别计算各个类别中各个标记边界框长度的长度平均值；
S61：利用所述预定数量的长度平均值更新所述预定数量的聚类中心长度；
S71：判断各个标记边界框的长度平均值的变化是否在预设的长度变化范围内，若不在预设的长度变化范围内，则重复S31～S61；
S81：若在预设的长度变化范围内，将所述预定数量的长度平均值作为所述预定数量的预测边界框长度；
S91：根据每一个类别中各个标记边界框的宽度均值确定对应的预测边界框宽度。
本发明实施例所述的基于光微分与双通道神经网络的目标检测方法，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S12：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框宽度；
S22：将所述预定数量的初始标记边界框宽度作为预定数量的聚类中心宽度；
S32：分别计算各个预先标记的标记边界框宽度与所述预定数量的聚类中心宽度之差；
S42：将每一个预先标记的标记边界框宽度和差值最小的聚类中心宽度归为一类；
S52：分别计算各个类别中各个标记边界框宽度的宽度平均值；
S62：利用所述预定数量的宽度平均值更新所述预定数量的聚类中心宽度；
S72：判断各个标记边界框的宽度平均值的变化是否在预设的宽度变化范围内，若不在预设的宽度变化范围内，则重复S32～S62；
S82：若在预设的宽度变化范围内，将所述预定数量的宽度平均值作为所述预定数量的预测边界框宽度；
S92：根据每一个类别中各个标记边界框的长度均值确定对应的预测边界框长度。
本发明实施例提出一种基于光微分与双通道神经网络的目标检测装置，该装置包括：
待检测特征图获取模块，用于获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像采集装置采集的；
融合特征图获取模块，用于利用双通道神经网络模型的第i个双通道融合特征层对第i-1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图；
预测边界框预测模块，用于利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框；
置信度确定模块，用于确定各个预测边界框的对应置信度；
真实边界框确定模块，用于将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标位置。
本发明实施例公开一种计算机设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的基于光微分与双通道神经网络的目标检测方法。
本发明实施例公开一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例公开所述的基于光微分与双通道神经网络的目标检测方法。
本发明实施例公开一种基于光微分与双通道神经网络的目标检测系统，所述系统包括带有二维光学微分器的图像采集装置和本申请实施例所述计算机设备，所述计算机设备接收所述带有二维光学微分器的图像采集装置采集的待检测的产品预定位置的图片对应的待检测特征图。
本发明公开的基于光微分与双通道神经网络的目标检测方法包括：获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像采集装置采集的；利用双通道神经网络模型的第i个双通道融合特征层对第i-1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图；利用双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框；确定各个预测边界框的对应置信度；将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标缺陷位置。本发明具有以下有益效果：
图像采集装置的二维光学微分器可以将原目标光场转换为微分光场，提高图像采集装置对细节纹理信息的采集能力；利用双通道进行特征融合，能够显著提升模型对缺陷纹理特征的提取能力，突显出目标与背景的纹理差异信息。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例提出的一种基于光微分与双通道神经网络的目标检测方法的流程示意图；
图2示出了本发明实施例提出的一种微分成像示意图；
图3示出了本发明实施例提出的一种基于光微分与双通道神经网络的目标检测方法的双通道融合的过程示意图；
图4示出了本发明实施例提出的一种基于光微分与双通道神经网络的目标检测方法的双通道融合的结构示意图；
图5示出了本发明实施例提出的另一种基于光微分与双通道神经网络的目标检测方法的流程示意图；
图6示出了本发明实施例提出的一种平均池化处理示意图；
图7示出了本发明实施例提出的一种最大池化处理示意图；
图8示出了本发明实施例提出的一种确定预测边界框的像素尺寸的流程示意图；
图9示出了本发明实施例提出的另一种确定预测边界框的像素尺寸的流程示意图；
图10示出了本发明实施例提出的再一种确定预测边界框的像素尺寸的流程示意图；
图11示出了本发明实施例提出的一种基于光微分与双通道神经网络的目标检测方法装置的结构示意图。
主要元件符号说明：
10-基于光微分与双通道神经网络的目标检测装置；11-待检测特征图获取模块；12-融合特征图获取模块；13-预测边界框预测模块；14-置信度确定模块；15-真实边界框确定模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
本发明公开的基于光微分与双通道神经网络的目标检测方法涉及的双通道神经网络模型使用了双通道融合特征卷积神经网络，在主网络通道之外添加一条侧向连接通道，同时使用这两个通道进行特征提取，在主网络通道使用平均值池化，降低在池化过程中邻域大小受限造成的估计值方差增大问题，更多的保留图像的背景信息；在侧向连接通道使用最大值池化，减少卷积层参数误差造成的估计均值偏移问题，进而保留更多的纹理特征；本发明在每个卷积层将采用平均值池化方式的主网络通道和采用最大值池化方式的侧向连接通道进行特征融合，能够显著提升模型对缺陷纹理特征的提取能力，突显出目标与背景的纹理差异信息。
进一步的，本发明利用改进的K-means聚类算法，对用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框进行聚类分析，确定最适合的预测边界框的像素尺寸，有效提高模型定位的能力。
实施例1
本实施例，参见图1，示出了一种基于光微分与双通道神经网络的目标检测方法包括以下步骤：
S100：获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像采集装置采集的。
考虑到，对于具有细微纹理特征的产品而言，图像采集装置的图像传感器对纹理的成像效果、各环节处理带来的纹理信息损失、背景环境对目标纹理特征检测的干扰等，都会给产品的检测过程带来不可忽视的影响。因此，本实施例还可以利用带有二维光学微分器的图像采集装置获取待检测特征图。
二维光学微分器是一种可以实现空间光场微分运算的光学器件，其出射光场的空间分布是入射光场空间分布的微分结果。可以理解，在数字图像处理中，通常会通过差分运算来计算纹理变化，比如prewitt算子(一阶差分)、Laplacian算子(二阶差分)。而差分是离散化的微分运算，差分对应离散数字量运算，微分对应连续模拟量运算，微分有着更细腻更完整的纹理变化表达能力，能充分挖掘纹理的细节特征。传统成像系统使用图像传感器直接将目标光场离散数字化，造成大量的不可逆细节损失。而本实施例通过在图像传感器之前增加二维光学微分器，可以直接对目标光场模拟量提取微分信息，可以大量保留纹理细节特征。示范性的，如图2所示，在不改变其他光路光学处理过程的基础上，通过在图像传感器前增加二维光学微分器，可以将原目标光场转换为微分光场，提高图像采集装置对细节纹理信息的采集能力。
示范性的，二维光学微分器可以是拓扑光学微分器(Topological opticaldifferentiator)，拓扑光学微分器是基于平面反射的各向同性二维微分。当输入光场为Sin(x,y)，输出光场的光强为Iout(x,y)，则有：
Figure BDA0002976753790000101
其中，
Figure BDA0002976753790000102
使用带有二维光学微分器的图像采集装置接收输出光场的光强信息，即采集了输入光场的微分信息，其中，微分信息携带着丰富的纹理变化细节。
二维光学微分器还可以是光子晶体平板微分器、基于自旋霍尔效应的微分器、螺旋相位微分器等。
进一步的，可以对待检测的产品预定位置的图片进行预处理，预处理方法包括：对获取待检测的产品预定位置的图片进行剪切和缩放，将待检测的产品预定位置的图片处理成预设大小的待检测特征图；还可以利用双通道神经网络模型的输入层和标准卷积层获取待检测的产品预定位置的图片对应的待检测特征图。
可以理解，待检测的产品可以是电子产品、半导体、工业产品、食品包装、医疗器械和各类生产包装等，本实施例在此不做限定。
S200：利用双通道神经网络模型的第i个双通道融合特征层对第i-1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图。
其中，双通道神经网络模型如下表所示。
Figure BDA0002976753790000103
Figure BDA0002976753790000111
进一步的，如图3所示，双通道神经网络模型的第1个双通道融合特征层对待检测特征图进行特征提取后，在将两个通道获取的特征进行多维度交互特征融合，以确定第1个多维度交互融合特征图，进一步的，双通道神经网络模型的第2个双通道融合特征层对第1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第2个多维度交互融合特征图，依次递进，直至获得第N个多维度交互融合特征图。
进一步的，如图4所示，每一个双通道融合特征层包括主路特征提取通道、支路特征提取通道和多维度交互特征融合层；所述主路特征提取通道包括平均池化层、第一主路卷积层、第一主路BN层、第一主路激活层、第二主路卷积层、第二主路BN层、第二主路激活层；所述支路特征提取通道包括最大池化层、第一支路卷积层、支路BN层、支路激活层和第二支路卷积层。
双通道融合特征层的总层数可以预先确定，可以利用转置卷积输出各个双通道融合特征层对应的RGB图像，根据输出的各个RGB图像确定双通道融合特征层的总层数。示范性的，在构造双通道神经网络模型时，对于表面瑕疵目标体积微小，其灰度值相对于产品表面图像背景也不突出，目标特征难以提取的技术问题，第6个双通道融合特征层对应输出的RGB图像可以有效反应目标的细节特征，在双通道融合特征层的总层数为6层时，目标检测的精度最高。
S300：利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框。
预定数量的预测边界框的像素尺寸可以是不同的，优选的，预定数量可以是6个，每一个预测边界框的像素尺寸不同，即对应6个像素尺寸，第N个多维度交互融合特征图的每一个像素点对应6个像素尺寸不同的预测边界框。可以理解，预测边界框的数量过多计算复杂，计算时间较长，预测边界框的数量过少将降低目标检测的准确性。
S400：确定各个预测边界框的对应置信度。
第N个多维度交互融合特征图的每一个像素可以预测6个像素尺寸不同的预测边界框，第N个多维度交互融合特征图的像素尺寸大小若为16*16，则像素点的总数为16*16，16*16*6代表预测边界框的总数，可以利用logistic分类器确定各个预测边界框的对应置信度。
S500：将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标位置。
进一步的，可以将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标位置。
本实施例公开的基于光微分与双通道神经网络的目标检测方法包括：获取待检测的产品预定位置的图片对应的待检测特征图；利用双通道神经网络模型的第i个双通道融合特征层对第i-1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图；利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框；确定各个预测边界框的对应置信度；将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标缺陷位置。本实施例利用光微分原理和双通道进行特征融合，能够显著提升模型对缺陷纹理特征的提取能力，突显出目标与背景的纹理差异信息，可以快速准确的检测半导体类型产品表面瑕疵。
实施例2
本实施例，参见图5，示出了另一种基于光微分与双通道神经网络的目标检测方法包括以下步骤：
S100：获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像采集装置采集的。
S210：利用所述第i个双通道融合特征层的主路特征提取通道确定第i-1个多维度交互融合特征图的平均池化特征图。
池化层是通过对上一卷积层进行特征选取压缩操作，实现非线性的下采样过程，一般用于对上一层特征图中的特征信息进行降维，使特征图中的特征向量实现逐层减小，从而减少计算量，降低模型训练的复杂性。并且实现了正向传播中的特征融合，避免过拟合现象。
确定第i-1个多维度交互融合特征图的平均池化特征图，即第i-1个多维度交互融合特征图进行平均值池化处理，将第i-1个多维度交互融合特征图中对所有相邻区域的像素值计算平均值，并将平均值作为唯一的输出，删去其他相邻位置的像素点，如图6所示。
进一步的，平均值池化公式可以表示为：
Figure BDA0002976753790000141
Figure BDA0002976753790000142
表示第i-1个多维度交互融合特征图的平均池化特征图的第h行第w列的像素值，Xh，w表示第i-1个多维度交互融合特征图的第h行第w列的像素值，Kh表示第i-1个多维度交互融合特征图的行相邻像素数目，Kw表示第i-1个多维度交互融合特征图的列相邻像素数目。
平均值池化是在邻域内保留平均值，相当于提取全局性的特征信息，降低在池化过程中邻域大小受限造成的估计值方差增大问题，因此，在主网络通道使用平均值池化，可以更全面的提取图像信息，进而更多的保留图像的背景特征。
S220：利用所述第i个双通道融合特征层的支路特征提取通道确定第i-1个多维度交互融合特征图的最大池化特征图。
确定第i-1个多维度交互融合特征图的最大池化特征图，即对第i-1个多维度交互融合特征图进行最大值池化处理，最大值池化是将第i-1个多维度交互融合特征图中对所有相邻区域的像素值选取其中最大值作为唯一的输出，删去其他相邻位置的像素点，如图7所示。
进一步的，最大值池化公式表示为：
Figure BDA0002976753790000143
Figure BDA0002976753790000144
表示第i-1个多维度交互融合特征图的最大池化特征图的第h行第w列的像素值，Xh，w表示第i-1个多维度交互融合特征图的第h行第w列的像素值，Kh表示第i-1个多维度交互融合特征图的行相邻像素数目，Kw表示第i-1个多维度交互融合特征图的列相邻像素数目。
最大值池化是在邻域内保留最大值，减少了卷积层参数误差造成的估计均值偏移问题，可以起到对特征的突出作用，因此，在侧向连接通道使用最大值池化，进而使网络提取到更多的纹理特征。
S230：利用所述第i个双通道融合特征层的多维度交互特征融合层多维度交互融合所述平均池化特征图和所述最大池化特征图以确定第i个多维度交互融合特征图。
双通道融合特征层的两个通道对应的两种池化方式采用相同的邻域大小，因此输出尺度大小是相同的。对于相同尺度的两幅特征图，可以采用同一个卷积核对其进行卷积计算，实现两个通道特征的融合与提取。
进一步的，可以通过以下公式确定第i个多维度交互融合特征图：
Si＝σ(Vi*avgpool(Ci)+Vi*maxpool(Ci)+bi)
Si表示第i个多维度交互融合特征图，σ表示sigmoid操作，avgpool()表示平均池化操作，maxpool()表示最大池化操作，Vi表示第i个交互融合特征图Ci对应的卷积核，bi表示预设的第i个偏置量。
其中，
Figure BDA0002976753790000151
DHi×Wi表示像素尺寸为Hi×Wi的第i个融合特征图，δ表示softmax操作。
进一步的，通过以下公式确定第i个融合特征图：
Figure BDA0002976753790000152
DHi×Wi表示像素尺寸为Hi×Wi的第i个融合特征图，QHi×Wi表示像素尺寸为Hi×Wi的第i-1个多维度交互融合特征图的平均池化特征图，PHi×Wi表示像素尺寸为Hi×Wi的第i-1个多维度交互融合特征图的最大池化特征图，V(h，w)表示卷积核的中心位于第i-1个多维度交互融合特征图的平均池化特征图或第i-1个多维度交互融合特征图的最大池化特征图的第h行第w列。
考虑到，卷积神经网络中的不同特征图和同一特征图中的不同特征信息在产品的缺陷检测中的重要性不同。本实施例在进行特征融合时根据不同层次特征的特性，对不同通道的特征图以及同一特征图的不同像素点分配不同的权重，强调重要特征并抑制不必要的特征，实现对特征的优化选择。首先利用卷积核将两个通道提取的特征图进行卷积操作得到新的特征图
Figure BDA0002976753790000161
然后对
Figure BDA0002976753790000162
的各个通道赋予不同的权重值，将较大的权值分配给对突出对象具有高响应的通道，提高该通道特征的有效性，最后，对特征图同一平面上的各个像素点赋予不同的权重值，进而突出图像的细节特征，并抑制噪声信号，提升目标瑕疵特征的表征能力。
S300：利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框。
S400：确定各个预测边界框的对应置信度。
S500：将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标位置。
实施例3
本实施例，参见图8，所述预定数量的预测边界框的像素尺寸可以利用以下方法预先确定：
S10：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框。
S20：将所述预定数量的初始标记边界框的面积作为所述预定数量的聚类中心面积。
S30：分别计算各个预先标记的标记边界框的面积与所述预定数量的聚类中心面积之差。
S40：将每一个预先标记的标记边界框和差值最小的聚类中心面积归为一类。
S50：分别计算各个类别中各个标记边界框的面积平均值。
S60：利用所述预定数量的面积平均值更新所述预定数量的聚类中心面积。
S70：判断各个标记边界框的面积平均值的变化是否在预设的面积变化范围内。
若不在预设的面积变化范围内，则重复S30～S60；若在预设的面积变化范围内，则执行步骤S80。
S80：则将所述预定数量的面积平均值作为所述预定数量的预测边界框的面积。
S90：根据每一个类别中各个标记边界框的长度均值和宽度均值确定对应预测边界框的面积对应的长度和宽度。
进一步的，参见图9，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S11：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框长度。
S21：将所述预定数量的初始标记边界框长度作为预定数量的聚类中心长度。
S31：分别计算各个预先标记的标记边界框长度与所述预定数量的聚类中心长度之差。
S41：将每一个预先标记的标记边界框长度和差值最小的聚类中心长度归为一类。
S51：分别计算各个类别中各个标记边界框长度的长度平均值。
S61：利用所述预定数量的长度平均值更新所述预定数量的聚类中心长度。
S71：判断各个标记边界框的长度平均值的变化是否在预设的长度变化范围内。
若不在预设的长度变化范围内，则重复S31～S61；若在预设的长度变化范围内，则执行步骤S81。
S81：将所述预定数量的长度平均值作为所述预定数量的预测边界框长度。
S91：根据每一个类别中各个标记边界框的宽度均值确定对应的预测边界框宽度。
进一步的，参见图10，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S12：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框宽度。
S22：将所述预定数量的初始标记边界框宽度作为预定数量的聚类中心宽度。
S32：分别计算各个预先标记的标记边界框宽度与所述预定数量的聚类中心宽度之差。
S42：将每一个预先标记的标记边界框宽度和差值最小的聚类中心宽度归为一类。
S52：分别计算各个类别中各个标记边界框宽度的宽度平均值。
S62：利用所述预定数量的宽度平均值更新所述预定数量的聚类中心宽度。
S72：判断各个标记边界框的宽度平均值的变化是否在预设的宽度变化范围内。
若不在预设的宽度变化范围内，则重复S32～S62；若在预设的宽度变化范围内，则执行步骤S82。
S82：将所述预定数量的宽度平均值作为所述预定数量的预测边界框宽度。
S92：根据每一个类别中各个标记边界框的长度均值确定对应的预测边界框长度。
利用训练所述双通道神经网络模型的训练样本集中各个训练样本的尺寸大小及形状等纹理特征，对训练样本集中各个训练样本中各个预先标记的标记边界框的面积或长或宽进行聚类分析，得到最接近产品表面目标缺陷大小的预测边界框，可以有效降低模型训练过程中的拟合难度，从而提高了对目标区域准确定位的能力。
实施例4
本实施例，涉及一种双通道神经网络模型的训练方法包括以下步骤：
S1：设置输入图像的大小为M'×M'，类别为1，设置学习率θ和权重衰减w，设置最大迭代次数tmax。
S2：随机选取训练样本集中的N'张原始图像及目标缺陷的位置坐标输入双通道神经网络模型中。
训练样本集中的训练样本是利用图像采集系统采集产品预定位置图像并进行预处理，利用图像分割方法对产品表面目标缺陷图像进行剪切和缩放，将原始图像统一裁剪为尺寸大小为512×512的产品表面目标缺陷图像，从中挑选出有效样本图片作为训练样本，再将这些训练样本通过图像旋转、翻转、改变对比度、调整亮度的处理方式，实现对数据集的数据扩充；并通过标注工具Labelimg标注训练样本集中的预处理后产品表面目标缺陷图像中的目标位置坐标，得到包含每个目标缺陷的种类名称及位置坐标信息xml文件，并与产品表面目标缺陷图像一一对应后作为训练样本集，其中，训练样本集包括训练集和测试集，且训练集和测试集中样本数量比例为2:1。
S3：将双通道神经网络模型输出层提取的特征图划分为16×16的网格，其中，每个网格预测出6个边界框。
S4：通过双通道神经网络模型预测每个网格中含有目标的个数，为每个目标选择一个最接近目标大小的边界框作为初始预测框，利用logistic分类器对每个边界框中目标缺陷的置信度值进行预测，并给出每个边界框的中心坐标和长宽值。
S5：通过损失函数计算步骤S4中预测的目标的置信度值与步骤S2中各个目标缺陷的位置坐标之间的差异值。
S6：根据学习率θ、权重衰减w和步骤S5中的差异值调整双通道神经网络模型的参数，返回步骤S2，直到遍历完训练集中所有的图像。
S7：迭代次数增加1，循环执行步骤S2至步骤S6，直至达到最大迭代次数tmax时，双通道神经网络模型停止训练，保存最后一次迭代的双通道神经网络模型的参数，双通道神经网络模型的训练完成。
其中，损失函数采用了二分类交叉熵损失作为类别预测的损失函数。损失函数计算公式如下：
Figure BDA0002976753790000191
式中：ηi,χi表示第i个网格中是否存在目标缺陷，若存在则ηi＝1,χi＝0，若不存在，则η＝0,χ＝1，pi(c)为预测为有目标缺陷的得分值；
Figure BDA0002976753790000192
为预测为无目标缺陷的得分值。
实施例5
本实施例，参见图11，一种基于光微分与双通道神经网络的目标检测装置10包括：待检测特征图获取模块11、融合特征图获取模块12、预测边界框预测模块13、置信度确定模块14和真实边界框确定模块15。
待检测特征图获取模块11，用于获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像采集装置采集的；融合特征图获取模块12，用于利用双通道神经网络模型的第i个双通道融合特征层对第i-1个多维度交互融合特征图进行特征提取和多维度交互特征融合以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图；预测边界框预测模块13，用于利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框；置信度确定模块14，用于确定各个预测边界框的对应置信度；真实边界框确定模块15，用于将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标缺陷位置。
本实施例一种基于光微分与双通道神经网络的目标检测装置10通过待检测特征图获取模块11、融合特征图获取模块12、预测边界框预测模块13、置信度确定模块14和真实边界框确定模块15的配合使用，用于执行上述实施例所述的基于光微分与双通道神经网络的目标检测方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
可以理解，本发明实施例涉及一种计算机设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的基于光微分与双通道神经网络的目标检测方法。
可以理解，本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的基于光微分与双通道神经网络的目标检测方法。
可以理解，本发明实施例涉及一种基于光微分与双通道神经网络的目标检测系统，所述系统包括带有二维光学微分器的图像采集装置和如本申请实施例所述计算机设备，所述计算机设备接收所述带有二维光学微分器的图像采集装置采集的待检测的产品预定位置的图片对应的待检测特征图。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于光微分与双通道神经网络的目标检测方法，其特征在于，该方法包括：
获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像传感器采集的，所述二维光学微分器用于将目标光场转换为微分光场，所述图像传感器用于接收微分光场；
利用双通道神经网络模型的第i个双通道融合特征层的主路特征提取通道确定第i-1个多维度交互融合特征图的平均池化特征图；利用所述第i个双通道融合特征层的支路特征提取通道确定第i-1个多维度交互融合特征图的最大池化特征图；利用所述第i个双通道融合特征层的多维度交互特征融合层多维度交互融合所述平均池化特征图和所述最大池化特征图以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图，所述第i个多维度交互融合特征图通过以下公式计算：
Si=σ(Vi*avgpool(Ci)+Vi*maxpool(Ci)+bi)
Si表示第i个多维度交互融合特征图，σ表示sigmoid操作，avgpool()表示平均池化操作，maxpool()表示最大池化操作，Vi表示第i个交互融合特征图Ci对应的卷积核，bi表示预设的第i个偏置量；
Figure 159217DEST_PATH_IMAGE001
D Hi×Wi 表示像素尺寸为H i ×W i 的第i个融合特征图，δ表示softmax操作；
Figure 919363DEST_PATH_IMAGE002
Q Hi×Wi 表示像素尺寸为H i ×W i 的第i-1个多维度交互融合特征图的平均池化特征图，P Hi ×Wi 表示像素尺寸为H i ×W i 的第i-1个多维度交互融合特征图的最大池化特征图，V （h，w） *Q Hi ×Wi 表示卷积核的中心位于第i-1个多维度交互融合特征图的平均池化特征图的第h行第w列，V （h，w） *P Hi×Wi 表示卷积核的中心位于第i-1个多维度交互融合特征图的最大池化特征图的第h行第w列；
利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框；
确定各个预测边界框的对应置信度；
将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标位置。
2.根据权利要求1所述的基于光微分与双通道神经网络的目标检测方法，其特征在于，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S10：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框；
S20：将所述预定数量的初始标记边界框的面积作为所述预定数量的聚类中心面积；
S30：分别计算各个预先标记的标记边界框的面积与所述预定数量的聚类中心面积之差；
S40：将每一个预先标记的标记边界框和差值最小的聚类中心面积归为一类；
S50：分别计算各个类别中各个标记边界框的面积平均值；
S60：利用所述预定数量的面积平均值更新所述预定数量的聚类中心面积；
S70：判断各个标记边界框的面积平均值的变化是否在预设的面积变化范围内，若不在预设的面积变化范围内，则重复S30~S60；
S80：若在预设的面积变化范围内，则将所述预定数量的面积平均值作为所述预定数量的预测边界框的面积；
S90：根据每一个类别中各个标记边界框的长度均值和宽度均值确定对应预测边界框的面积对应的长度和宽度。
3.根据权利要求1所述的基于光微分与双通道神经网络的目标检测方法，其特征在于，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S11：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框长度；
S21：将所述预定数量的初始标记边界框长度作为预定数量的聚类中心长度；
S31：分别计算各个预先标记的标记边界框长度与所述预定数量的聚类中心长度之差；
S41：将每一个预先标记的标记边界框长度和差值最小的聚类中心长度归为一类；
S51：分别计算各个类别中各个标记边界框长度的长度平均值；
S61：利用所述预定数量的长度平均值更新所述预定数量的聚类中心长度；
S71：判断各个标记边界框的长度平均值的变化是否在预设的长度变化范围内，若不在预设的长度变化范围内，则重复S31~S61；
S81：若在预设的长度变化范围内，将所述预定数量的长度平均值作为所述预定数量的预测边界框长度；
S91：根据每一个类别中各个标记边界框的宽度均值确定对应的预测边界框宽度。
4.根据权利要求1所述的基于光微分与双通道神经网络的目标检测方法，其特征在于，所述预定数量的预测边界框的像素尺寸利用以下方法预先确定：
S12：从用于训练所述双通道神经网络模型的训练样本集的各个预先标记的标记边界框中随机确定所述预定数量的初始标记边界框宽度；
S22：将所述预定数量的初始标记边界框宽度作为预定数量的聚类中心宽度；
S32：分别计算各个预先标记的标记边界框宽度与所述预定数量的聚类中心宽度之差；
S42：将每一个预先标记的标记边界框宽度和差值最小的聚类中心宽度归为一类；
S52：分别计算各个类别中各个标记边界框宽度的宽度平均值；
S62：利用所述预定数量的宽度平均值更新所述预定数量的聚类中心宽度；
S72：判断各个标记边界框的宽度平均值的变化是否在预设的宽度变化范围内，若不在预设的宽度变化范围内，则重复S32~S62；
S82：若在预设的宽度变化范围内，将所述预定数量的宽度平均值作为所述预定数量的预测边界框宽度；
S92：根据每一个类别中各个标记边界框的长度均值确定对应的预测边界框长度。
5.一种基于光微分与双通道神经网络的目标检测装置，其特征在于，该装置包括：
待检测特征图获取模块，用于获取待检测的产品预定位置的图片对应的待检测特征图，所述待检测的产品预定位置的图片对应的待检测特征图是利用带有二维光学微分器的图像传感器采集的，所述二维光学微分器用于将目标光场转换为微分光场，所述图像传感器用于接收微分光场；
融合特征图获取模块，用于利用双通道神经网络模型的第i个双通道融合特征层的主路特征提取通道确定第i-1个多维度交互融合特征图的平均池化特征图；利用所述第i个双通道融合特征层的支路特征提取通道确定第i-1个多维度交互融合特征图的最大池化特征图；利用所述第i个双通道融合特征层的多维度交互特征融合层多维度交互融合所述平均池化特征图和所述最大池化特征图以确定第i个多维度交互融合特征图，i≤N，N为所述双通道神经网络模型的双通道融合特征层的总层数，第0个多维度交互融合特征图为所述待检测特征图，所述第i个多维度交互融合特征图通过以下公式计算：
Si=σ(Vi*avgpool(Ci)+Vi*maxpool(Ci)+bi)
Si表示第i个多维度交互融合特征图，σ表示sigmoid操作，avgpool()表示平均池化操作，maxpool()表示最大池化操作，Vi表示第i个交互融合特征图Ci对应的卷积核，bi表示预设的第i个偏置量；
Figure 186396DEST_PATH_IMAGE001
D Hi×Wi 表示像素尺寸为H i ×W i 的第i个融合特征图，δ表示softmax操作；
Figure 385296DEST_PATH_IMAGE002
Q Hi×Wi 表示像素尺寸为H i ×W i 的第i-1个多维度交互融合特征图的平均池化特征图，P Hi ×Wi 表示像素尺寸为H i ×W i 的第i-1个多维度交互融合特征图的最大池化特征图，V （h，w） *Q Hi ×Wi 表示卷积核的中心位于第i-1个多维度交互融合特征图的平均池化特征图的第h行第w列，V （h，w） *P Hi×Wi 表示卷积核的中心位于第i-1个多维度交互融合特征图的最大池化特征图的第h行第w列；
预测边界框预测模块，用于利用所述双通道神经网络模型的输出层预测第N个多维度交互融合特征图的每一个像素点对应的预定数量的预测边界框；
置信度确定模块，用于确定各个预测边界框的对应置信度；
真实边界框确定模块，用于将大于预设置信阈值的置信度对应的预测边界框作为真实边界框以根据所述真实边界框确定目标位置。
6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至4任一项所述的基于光微分与双通道神经网络的目标检测方法。
7.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至4任一项所述的基于光微分与双通道神经网络的目标检测方法。
8.一种基于光微分与双通道神经网络的目标检测系统，其特征在于，所述系统包括带有二维光学微分器的图像采集装置和如权利要求6所述计算机设备，所述计算机设备接收所述带有二维光学微分器的图像采集装置采集的待检测的产品预定位置的图片对应的待检测特征图。
CN202110276253.1A 2021-03-15 2021-03-15 基于光微分与双通道神经网络的目标检测方法和装置 Active CN112906816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276253.1A CN112906816B (zh) 2021-03-15 2021-03-15 基于光微分与双通道神经网络的目标检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276253.1A CN112906816B (zh) 2021-03-15 2021-03-15 基于光微分与双通道神经网络的目标检测方法和装置

Publications (2)

Publication Number Publication Date
CN112906816A CN112906816A (zh) 2021-06-04
CN112906816B true CN112906816B (zh) 2021-11-09

Family

ID=76106407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276253.1A Active CN112906816B (zh) 2021-03-15 2021-03-15 基于光微分与双通道神经网络的目标检测方法和装置

Country Status (1)

Country Link
CN (1) CN112906816B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516661B (zh) * 2021-09-15 2022-02-08 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置
CN113945531B (zh) * 2021-10-20 2023-10-27 福州大学 一种双通道成像气体定量检测方法
CN115239946B (zh) * 2022-06-30 2023-04-07 锋睿领创(珠海)科技有限公司 小样本迁移学习训练、目标检测方法、装置、设备和介质
CN115439422B (zh) * 2022-08-21 2023-03-28 哈尔滨理工大学 二维空间微分运算及图像边缘检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126681B1 (en) * 2002-04-23 2006-10-24 Kla-Tencor Technologies Corporation Closed region defect detection system
CN1954236A (zh) * 2004-07-30 2007-04-25 松下电工株式会社 图像处理设备
KR101062236B1 (ko) * 2010-12-02 2011-09-05 삼성탈레스 주식회사 타겟 신호 검출을 가이드하는 비행 시뮬레이터 장치
CN106873058A (zh) * 2017-01-12 2017-06-20 浙江大学 一种基于表面等离激元空间光场微分器的图像边缘提取方法及系统
CN110796640A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 一种小目标缺陷的检测方法、装置、电子设备及存储介质
CN111310861A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种基于深度神经网络的车牌识别和定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126681B1 (en) * 2002-04-23 2006-10-24 Kla-Tencor Technologies Corporation Closed region defect detection system
CN1954236A (zh) * 2004-07-30 2007-04-25 松下电工株式会社 图像处理设备
KR101062236B1 (ko) * 2010-12-02 2011-09-05 삼성탈레스 주식회사 타겟 신호 검출을 가이드하는 비행 시뮬레이터 장치
CN106873058A (zh) * 2017-01-12 2017-06-20 浙江大学 一种基于表面等离激元空间光场微分器的图像边缘提取方法及系统
CN110796640A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 一种小目标缺陷的检测方法、装置、电子设备及存储介质
CN111310861A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种基于深度神经网络的车牌识别和定位方法

Also Published As

Publication number Publication date
CN112906816A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112906816B (zh) 基于光微分与双通道神经网络的目标检测方法和装置
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
CN111160311A (zh) 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
US9361702B2 (en) Image detection method and device
CN112446378B (zh) 目标检测方法及装置、存储介质、终端
US9846929B2 (en) Fast density estimation method for defect inspection application
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
US20130163869A1 (en) Apparatus and method for extracting edge in image
CN110889399B (zh) 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN106780727B (zh) 一种车头检测模型重建方法及装置
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN112149590A (zh) 一种手部关键点检测方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN116665153A (zh) 一种基于改进型Deeplabv3+网络模型的道路场景分割方法
CN115424237A (zh) 一种基于深度学习的前向车辆识别与距离检测方法
CN107316296A (zh) 一种基于对数变换的遥感图像变化检测方法及装置
CN114638996A (zh) 基于对抗学习的模型训练方法、装置、设备和存储介质
CN115909347A (zh) 仪表示数识别方法、装置、设备及介质
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN114882020A (zh) 产品的缺陷检测方法、装置、设备及计算机可读介质
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN114998222A (zh) 汽车差速器壳体表面检测方法、电子设备及介质
CN112380986A (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant