CN116952954B - 一种基于条纹光的凹凸检测方法、装置、设备及存储介质 - Google Patents

一种基于条纹光的凹凸检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116952954B
CN116952954B CN202310893311.4A CN202310893311A CN116952954B CN 116952954 B CN116952954 B CN 116952954B CN 202310893311 A CN202310893311 A CN 202310893311A CN 116952954 B CN116952954 B CN 116952954B
Authority
CN
China
Prior art keywords
resolution
features
scale level
low
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310893311.4A
Other languages
English (en)
Other versions
CN116952954A (zh
Inventor
余嘉豪
王桂艳
郭成
陈莉
宋海川
何挺
靳志伟
陈安全
苏建明
魏东
周众喜
王长剑
王永志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Turing Qidian Intelligent Technology Co ltd
Original Assignee
Ningbo Turing Qidian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Turing Qidian Intelligent Technology Co ltd filed Critical Ningbo Turing Qidian Intelligent Technology Co ltd
Priority to CN202310893311.4A priority Critical patent/CN116952954B/zh
Publication of CN116952954A publication Critical patent/CN116952954A/zh
Application granted granted Critical
Publication of CN116952954B publication Critical patent/CN116952954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机领域，提供了一种基于条纹光的凹凸检测方法、装置、设备及存储介质，其方法包括：获取在条纹光下的待检测图像；对所述待检测图像进行特征提取，得到多个低分辨率特征；对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征；对所述多个高分辨率特征进行下采样处理，得到多个目标特征；根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果，对低分辨率特征进行上采样处理之后，再进行下采样处理，能够减少噪声，使得目标特征的语义性更强，噪声更低，使得基于该目标特征进行识别的效果更好，从而提高识别的准确率。

Description

一种基于条纹光的凹凸检测方法、装置、设备及存储介质
技术领域
本发明属于计算机领域，尤其涉及一种基于条纹光的凹凸检测方法、装置、设备及存储介质。
背景技术
为了保证产品的质量，工厂在将产品发出之前，会对产品进行质量检测，检查产品的表面是否存在凹凸点等缺陷。在实际场景中，由于产品表面的凹凸点缺陷可能形变量较小，在常规光环境下用肉眼去捕捉这些缺陷是很困难的，而条纹光环境可以将微小的凹凸点缺陷放大成扭曲的条纹光视觉形状，故而工业界基本让检测工人在条纹光环境下检测缺陷。
现有技术将卷积神经网络模型应用于对产品在条纹光下的图像进行自动检测，即通过卷积层获取待检测图像的特征，通过池化层对上述特征进行选择以及过滤，通过全连接层对提取的特征进行非线性组合以得到输出，得到待检测图像的识别结果，确定待检测图像是否存在表面缺陷。
但现有技术的卷积神经网络模型只能对特征较为简单的图像进行有效识别，对于特征较为复杂的图像的识别精度较低。
发明内容
本申请实施例的目的在于提供一种基于条纹光的凹凸检测方法，旨在解决现有技术对复杂图像的识别精度低的问题。
本申请实施例是这样实现的，一种基于条纹光的凹凸检测方法，所述方法包括：
获取在条纹光下的待检测图像；
对所述待检测图像进行特征提取，得到多个低分辨率特征；
对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征；
对所述多个高分辨率特征进行下采样处理，得到多个目标特征；
根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果。
本申请实施例的另一目的在于一种基于条纹光的凹凸检测装置，包括：
待检测图像获取单元，用于获取在条纹光下的待检测图像；
低分辨率特征确定单元，用于对所述待检测图像进行特征提取，得到多个低分辨率特征；
高分辨率特征确定单元，用于对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征；
目标特征确定单元，用于对所述多个高分辨率特征进行下采样处理，得到多个目标特征；以及，
凹凸检测结果确定单元，用于根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果。
本申请实施例的另一目的在于一种终端设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述一种基于条纹光的凹凸检测方法的步骤。
本申请实施例的另一目的在于一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于条纹光的凹凸检测方法的步骤。
本申请实施例提供的一种基于条纹光的凹凸检测方法，通过对待检测图像进行特征提取，得到低分辨率特征，对低分辨率特征进行上采样处理，得到高分辨率特征，对高分辨率特征进行下采样处理，得到目标特征，使得目标特征的语义性更强、噪声更低，基于目标特征得到的识别结果准确率更高，从而能够识别出各种复杂场景下的待检测图像是否存在凹凸缺陷以及该凹凸缺陷的类型。
附图说明
图1为本申请实施例提供的一种基于条纹光的凹凸检测方法的应用环境图；
图2为本申请实施例提供的一种基于条纹光的凹凸检测方法的流程图；
图3为本申请实施例提供的一种低分辨率特征确定方法的流程图；
图4为本申请实施例提供的一种凹凸检测神经网络模型的结构图；
图5为本申请实施例提供的一种缺陷特征确定方法的流程图；
图6为本申请实施例提供的一种不同尺度级别的低分辨率特征确定方法的流程图；
图7为本申请实施例提供的一种低分辨率特征处理方法的流程图；
图8为本申请实施例提供的一种不同尺度级别的高分辨率特征确定方法的流程图；
图9为本申请实施例提供的一种目标特征处理方法的流程图；
图10为本申请实施例提供的一种基于条纹光的凹凸检测装置的结构框图；
图11为一个实施例中终端设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
图1为本申请实施例提供的一种基于条纹光的凹凸检测方法的应用环境图，如图1所示，在该应用环境中，包括终端110以及计算机设备120。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端110以及计算机设备120可以通过网络进行连接，本申请在此不做限制。
在一个实施例中，提出了一种基于条纹光的凹凸检测方法，本实施例主要以该方法应用于上述图1中的终端110来进行说明。一种基于条纹光的凹凸检测方法，包括：
步骤S202：获取在条纹光下的待检测图像。
其中，待检测图像可以是通过检测装置对产品进行自动检测时，拍摄得到的产品在条纹光下的图像，并通过网络传输到终端110，或者是工人手动拍摄产品在条纹光下的图像，并通过数据线等方式将产品图像传输至终端110，本申请对如何获取待检测图像不做具体限制。
步骤S204：对所述待检测图像进行特征提取，得到多个低分辨率特征。
其中，在得到待检测图像之后，可通过现有技术的神经网络模型，如CNN(Convolutional Neural Networks)模型，或者YOLO(You Only Look Once)模型等，对待检测图像进行特征提取，得到多个特征，由于后续处理中会进行上采样处理，因而将此处神经网络模型得到的多个特征确定为低分辨率特征。
步骤S206：对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征。
其中，通过多重积分算法将低分辨率特征转换为高分辨率特征，使得得到的高分辨率特征与原始特征的相似度更高，而多重积分算法为现有技术手段，本申请在此不做具体介绍。当然，也可以通过其他上采样方法得到高分辨率特征，如插值法、转置卷积法等。
步骤S208：对所述多个高分辨率特征进行下采样处理，得到多个目标特征。
其中，基于多元偏微分算法对高分辨率特征进行下采样处理，使得得到目标特征能够保留高分辨率特征的大部分信息，而多元偏微分算法为现有技术手段，本申请在此不做具体介绍。当然，也可以通过其他下采样方法得到目标特征，如隔位取值、合并区域等。对低分辨率特征进行上采样处理之后，再进行下采样处理，能够减少噪声，使得目标特征的语义性更强，噪声更低，使得基于该目标特征进行识别的效果更好，从而提高识别的准确率。
步骤S210：根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果。
其中，由于一个目标特征可以转换为多维空间的一个点，因而可以通过一个线性分类器对目标特征进行划分，根据其位于多维空间的位置确定其所对应的类别，从而得到待检测图像的凹凸检测结果。由于本申请的技术方案为神经网络模型的一种架构，因而上述分类器可通过常规的神经网络模型的训练方法训练得到。
在一个实施例中，如图3所示，步骤S204包括：
步骤S302：对所述待检测图像进行特征提取，得到缺陷特征。
其中，基于卷积神经网络对待检测图像进行特征提取，将待检测图像中的缺陷特征提取出来，从而便于后续对缺陷特征的处理，具体处理过程请参见图5以及对应实施例的内容。
步骤S304：根据所述缺陷特征以及预设的尺度级别，确定多个低分辨率特征。
其中，如图4所示，通过在卷积神经网络后加入级联的概率网络层，从而增加模型的学习容量，且由于特征图像在经过一层概率网络层之后，且尺寸会缩小一级，因而能够输出多个不同尺度级别的低分辨率特征。然后通过嵌套级联的积分上采样层和微分下采样层来构建完整神经网络架构以生成多层次的特征向量，使得得到的目标特征能够更好地体现待检测图像的特征，从而提高识别的准确性。
在一个实施例中，如图5所示，步骤S302包括：
步骤S502：从所述待检测图像中确定凹凸缺陷区域。
其中，通过卷积神经网络从待检测图像中提取出存在凹凸缺陷的区域，上述神经网络模型可以为CNN模型，或者是YOLO模型，本申请在此不做限制。
步骤S504：根据所述凹凸缺陷区域以及预设的卷积神经网络，确定凹凸几何特征以及所述凹凸几何特征对应的权重。
其中，在得到凹凸缺陷区域之后，采用另一个卷积神经网络对凹凸缺陷区域进行特征提取，从而确定凹凸几何特征以及该凹凸几何特征对应的权重，上述卷积神经网络也为现有技术，在此就不做具体介绍。
凹凸几何特征对应的权重计算公式为公式(1)：
在公式(1)中，R(rb)代表凹凸几何特征的权重；rb代表凹凸几何特征经过卷积神经网络的池化层之后得到的奖励值；r1、r2、r3为手动设定的奖励阈值；R0为手工设置的奖励边界值。
步骤S506：根据所述凹凸几何特征以及所述凹凸几何特征对应的权重，确定缺陷特征。
其中，得到凹凸几何特征以及对应的权重之后，将凹凸几何特征加权求和即可得到知识向量，即缺陷特征。
得到知识向量后，在图4中的所有概率网络层、积分上采样层、微分下采样层的输出特征图像上加上该知识向量，并采用对比噪声损失函数优化该知识向量，该损失函数如公式(2)所示：
在公式(2)中，θ代表网络参数；M为批尺寸；p(·)为本申请缺陷检测网络输出的各个缺陷所属类别的概率；rθ为本申请缺陷检测网络输出的缺陷检测框集合；τi为第i个检测框的标签，即缺陷类别；g(τi)代表第i个知识向量；F(·)代表平均池化操作。
在一个实施例中，如图6所示，步骤S304包括：
S602：对所述缺陷特征进行特征提取，得到第一尺度级别的低分辨率特征。
其中，如图4所示，概率网络层0得到卷积神经网络提取的特征之后，对特征进行特征提取，得到第一尺度级别的低分辨率特征。
S604：对所述第一尺度级别的低分辨率特征进行特征提取，得到第二尺度级别的低分辨率特征。
其中，如图4所示，概率网络层1对概率网络层0得到的第一尺度的低分辨率特征进行特征提取，得到第二尺度的低分辨率特征。由于每个概率网络层进行特征提取时，均会受限于其采样的分辨率，无法识别到超出其采样分辨率的特征，因而通过级联的概率网络层进行特征提取，且后一级别的输入为前一级别的输出，能够突破采样分辨率的限制，识别出更宏观的特征。举例来说：假设每个概率网络层的采样分辨率为10*10，则其只能在这10*10的区域内寻找特征，但有些特征的大小会超出10*10，因而单个概率网络层并不能将该特征识别出来。然而，在级联的概率网络层中，经过前一级别的概率网络层提取之后的特征图像会缩小一级(缩小两倍或者更多)，使得后一级的概率网络层能够识别出在原始图像中占据区域较大的特征，从而提高神经网络模型的学习能力。
S606：当判断所述第二尺度级别的低分辨率特征对应的尺度级别高于预设阈值时，则将第二尺度级别的低分辨率特征确定为第一尺度级别的低分辨率特征，返回至所述对所述第一尺度级别的低分辨率特征进行特征提取，得到第二尺度级别的低分辨率特征的步骤。
其中，由于概率网络层越多，得到的神经网络模型的学习深度越高，就能识别更多的特征，检测的准确性就越高，但也会使得得到的神经网络模型的计算量增大，因而本领域的技术人员可根据实际需要确定概率网络层的深度。另外，由于特征图像在每经过一层概率网络层之后，其大小会缩小一级，因而在经过有限次的特征提取之后，特征图像的大小会小于概率网络层的采样分辨率，在此之后继续对特征图像进行特征提取并不会提高神经网络模型的性能。因而，在决定概率网络层的深度时，需要考虑经过所有概率网络层之后的特征图像的大小。
在一个实施例中，如图7所示，步骤S206之前，包括：
步骤S702：根据各个所述低分辨率特征，确定低分辨率特征的均值以及方差。
其中，如图4所示，本申请的神经网络框架中有3大模块，分别为概率网络模块、积分上采样模块、微分下采样模块，其中，概率网络模块用于提取各个低分辨率特征、积分上采样模块用于将低分辨率特征转换为高分辨率特征、微分下采样模块用于将高分辨率特征转换为目标特征。通过概率网络模块提取各个凹凸缺陷的几何特征，在积分上采样模块以及微分下采样模块中会将这些特征进行组合与融合，所以最终整个网络能够检测出各种各样的凹凸点缺陷。另外，每个模块中均设有多个单元，从而提高神经网络模型的学习深度。优选的，概率网络模块设有6个计算单元，即6个概率网络层；微分上采样模块设有4个计算单元，即4个积分上采样层；微分下采样模块设有3个技术单元，即3个微分下采样层，从而使得神经网络模型不容易出现过拟合现象或者是欠拟合现象，使得训练之后的神经网络模型对于各类待检测图像都具有较好的识别准确率。
如图4所示，概率网络模块中的各个计算单元均会将自身得到的特征图像传递到微分上采样模块对应的计算单元(具体的对应关系请参见图4)，但由于各个模块得到的特征的统计量分布不匹配，因而需要对概率网络模块输出的各个特征图像进行一定的处理。优选的，如图4所示，概率网络层0以及概率网络层1不会将自身得到特征图像传递至积分上采样模块，因为概率网络层0以及概率网络层1所处的深度较浅，得到的特征的噪声较大，从而避免概率网络层0以及概率网络层1得到的特征图像中的噪声影响后续模块的处理精度，降低整体的识别准确率。
步骤S704：基于所述均值以及方差，对各个所述低分辨率特征进行归一化处理。
其中，在得到概率网络层需要传递至积分上采样模块的各个特征图像之后，由于特征图像实质上为特征向量，因而可以对各个特征图像进行均值化处理，以得到其均值，再根据均值求得各个特征图像的方差，然后在根据公式(3)，对概率网络模块输出的各个低分辨率特征进行归一化处理。
在公式(3)中，Xi为概率网络模块输出的第i个特征；Yi为特征Xi经过归一化处理后得到的输出；为低分辨率特征的均值；/>为低分辨率特征的方差。
步骤S706：基于预设的转换矩阵，对各个所述低分辨率特征进行状态转换处理。
其中，经过归一化处理之后，还需要经过状态转换处理之后才能使得概率网络模块的输出特征能够在积分上采样模块中被处理，状态转换处理的过程如下：
Zi＝WYi+b (4)
公式(4)为对经过归一化处理之后的各个特征的状态转换处理，其中，W为状态转换矩阵；b为偏移；Yi为经过归一化处理的第i个低分辨率特征；Zi为Yi经过状态转换处理后的输出。由于特征Yi的通道数为c，而为了实现对特征Yi的状态转换，W就需要为一个c×c的矩阵。而在现实中c通常很大，因而在实际处理中会对W进行低秩分解，从而减少状态转换过程的计算量，具体过程如下：
W＝UVT (5)
如公式(5)所示，W可以改写为矩阵U与矩阵V转置的乘积，U、V为c×k的矩阵，且k远小于c，则新参量2ck远小于原参量c2，从而使得计算量大幅降低，因而公式(4)可以写成公式(6)：
Zi＝UVTYi+b (6)
另外，如图4所示，积分上采样模块输出的各个高分辨率特征也需要经过归一化处理以及状态转换处理之后，才交付给微分下采样模块进行进一步处理，其具体的处理过程与低分辨率特征进行归一化处理以及状态转换处理的过程类似，因而不再重复。
在一个实施例中，如图8所示，步骤S206包括：
步骤S802：对最小尺度级别的低分辨率特征进行上采样处理，得到第一尺度级别的高分辨率特征。
其中，如图4所示，由于特征图像每经过一层概率网络层都会缩小一级，因而在经过概率网络层5之后的特征图像的尺度级别最小。该特征图像在经过归一化处理以及状态转换处理之后，交付给积分上采样层3进行上采样处理，得到第一尺度级别高分辨率特征。
步骤S804：根据所述第一尺度级别的高分辨率特征以及第一尺度级别的高分辨率特征所在的尺度级别对应的低分辨率特征，确定第二尺度级别的高分辨率特征。
其中，高分辨率特征与低分辨率特征的尺度对应关系可参考图4，在高分辨率模块中的各个计算单元在进行上采样处理时，会接收上一级别的计算单元输出的高分辨率特征以及概率网络模块对应计算单元输出的低分辨率特征，从而实现概率网络模块与积分上采样模块之间的特征共享。同理，在微分下采样模块中的各个计算单元在进行下采样处理时，会接收上一级别的计算单元输出的目标特征以及积分上采样模块对应计算单元输出的高分辨率特征，从而实现各个模块之间的信息共享，实现丰富的凹凸视觉组合以减少推理计算量。
举例来说：如图4所示，积分上采样层2在处理时，会接受来自积分上采样层3输出的高分辨率特征，以及概率网络层4输出的低分辨率特征，且该低分辨率特征经过归一化处理以及状态转换处理；微分下采样层1在进行处理时，会接受来自微分下采样层0输出的目标特征以及积分上采样层输出的高分辨率特征，且该高分辨率特征经过归一化处理以及状态转换处理。
步骤S806：当判断所述尺度级别的高分辨率特征对应的尺度级别低于预设阈值时，则将所述第二尺度级别的高分辨率特征确定为所述第一尺度级别的高分辨率特征，返回至所述根据所述第一尺度级别的高分辨率特征以及第一尺度级别的高分辨率特征所在的尺度级别对应的低分辨率特征，确定第二尺度级别的高分辨率特征的步骤。
其中，为了提高网络的整体识别能力，需要嵌套多个积分上采样层，而积分上采样层的具体数量，可由本领域的技术人员根据实际需要决定。另外，由于特征图像每经过层积分上采样层之后就会扩大一级，因而在设置积分上采样层的数量时，需要考虑经过所有积分上采样层之后的特征图像的大小。
在一个实施例中，如图9所示，在步骤S210之前，包括：
步骤S902：根据所述目标特征，确定目标特征的高阶统计量。
其中，由于微分下采样模块存在多个计算单元，每个计算单元得到目标特征所在的尺度级别不同，在将目标特征交付至分类器进行划分之前，需要对各个加权融合处理。
步骤S904：根据所述高阶统计量以及预设的比例系数，确定目标特征的权重。
其中，在获取目标特征的高阶统计量之后，可计算目标特征的权重，其具体计算过程如下：
如公式(7)、(8)所示，其中，wi为第i个目标特征的权重；Xi为第i个目标特征；τ为预设的比例系数；N为级别数，在本申请中为3；M为预定义的高阶统计量的最高阶数；sk(Xi)代表求解Xi的第k阶统计量；exp(x)代表自然常数e的x次幂(此处的x只用于举例说明，不代表公式(7)、(8)中存在x)。
步骤S906：基于所述目标特征的权重，对所述目标特征进行加权融合处理。
其中，具体的执行过程如下：
在公式(9)中，Y为目标特征经过加权融合处理之后的输出结果；wi为第i个目标特征的权重；Xi为第i个目标特征；N为级别数，在本申请中为3。分类器则根据加权融合处理之后的目标特征，确定待检测图像中是否存在缺陷以及缺陷的位置、类型。
在一个实施例中，如图10所示，一种基于条纹光的凹凸检测装置，包括：
待检测图像获取单元1010，用于获取在条纹光下的待检测图像；
低分辨率特征确定单元1020，用于对所述待检测图像进行特征提取，得到多个低分辨率特征；
高分辨率特征确定单元1030，用于对所述多个低分辨率特征进行上采样处理，得到多个高分辨特征；
目标特征确定单元1040，用于对所述多个高分辨特征进行下采样处理，得到多个目标特征；以及，
凹凸检测结果确定单元1050，用于根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果。
其中，装置中各个单元的具体执行步骤可参照上面实施例的内容，在此不再重复。
在一个实施例中，如图11所示，提出了一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取在条纹光下的待检测图像；
对所述待检测图像进行特征提取，得到多个低分辨率特征；
对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征；
对所述多个高分辨率特征进行下采样处理，得到多个目标特征；
根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取在条纹光下的待检测图像；
对所述待检测图像进行特征提取，得到多个低分辨率特征；
对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征；
对所述多个高分辨率特征进行下采样处理，得到多个目标特征；
根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果。
应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于条纹光的凹凸检测方法，其特征在于，所述方法包括：
获取在条纹光下的待检测图像；
对所述待检测图像进行特征提取，得到多个低分辨率特征；
对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征；
对所述多个高分辨率特征进行下采样处理，得到多个目标特征；
根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果；
所述对所述待检测图像进行特征提取，得到多个低分辨率特征，包括：
对所述待检测图像进行特征提取，得到缺陷特征；
根据所述缺陷特征以及预设的尺度级别，确定多个低分辨率特征；
所述根据所述缺陷特征以及预设的尺度级别，确定多个低分辨率特征，包括：
对所述缺陷特征进行特征提取，得到第一尺度级别的低分辨率特征；
对所述第一尺度级别的低分辨率特征进行特征提取，得到第二尺度级别的低分辨率特征；
当判断所述第二尺度级别的低分辨率特征对应的尺度级别高于预设阈值时，则将第二尺度级别的低分辨率特征确定为第一尺度级别的低分辨率特征，返回至所述对所述第一尺度级别的低分辨率特征进行特征提取，得到第二尺度级别的低分辨率特征的步骤；
所述对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征，包括：
对最小尺度级别的低分辨率特征进行上采样处理，得到第一尺度级别的高分辨率特征；
根据所述第一尺度级别的高分辨率特征以及第一尺度级别的高分辨率特征所在的尺度级别对应的低分辨率特征，确定第二尺度级别的高分辨率特征；
当判断所述尺度级别的高分辨率特征对应的尺度级别低于预设阈值时，则将所述第二尺度级别的高分辨率特征确定为所述第一尺度级别的高分辨率特征，返回至所述根据所述第一尺度级别的高分辨率特征以及第一尺度级别的高分辨率特征所在的尺度级别对应的低分辨率特征，确定第二尺度级别的高分辨率特征的步骤。
2.根据权利要求1所述的一种基于条纹光的凹凸检测方法，其特征在于，所述对所述待检测图像进行特征提取，得到缺陷特征，包括：
从所述待检测图像中确定凹凸缺陷区域；
根据所述凹凸缺陷区域以及预设的卷积神经网络，确定凹凸几何特征以及所述凹凸几何特征对应的权重；
根据所述凹凸几何特征以及所述凹凸几何特征对应的权重，确定缺陷特征。
3.根据权利要求1所述的一种基于条纹光的凹凸检测方法，其特征在于，在所述对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征之前，包括：
根据各个所述低分辨率特征，确定低分辨率特征的均值以及方差；
基于所述均值以及方差，对各个所述低分辨率特征进行归一化处理；
基于预设的转换矩阵，对各个所述低分辨率特征进行状态转换处理。
4.根据权利要求1所述的一种基于条纹光的凹凸检测方法，其特征在于，在所述根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果之前，包括：
根据所述目标特征，确定目标特征的高阶统计量；
根据所述高阶统计量以及预设的比例系数，确定目标特征的权重；
基于所述目标特征的权重，对所述目标特征进行加权融合处理。
5.一种基于条纹光的凹凸检测装置，其特征在于，包括：
待检测图像获取单元，用于获取在条纹光下的待检测图像；
低分辨率特征确定单元，用于对所述待检测图像进行特征提取，得到多个低分辨率特征；
高分辨率特征确定单元，用于对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征；
目标特征确定单元，用于对所述多个高分辨率特征进行下采样处理，得到多个目标特征；以及，
凹凸检测结果确定单元，用于根据所述多个目标特征分别在与目标特征维数对应的多维空间的位置信息，确定所述待检测图像的凹凸检测结果；
所述对所述待检测图像进行特征提取，得到多个低分辨率特征，包括：
对所述待检测图像进行特征提取，得到缺陷特征；
根据所述缺陷特征以及预设的尺度级别，确定多个低分辨率特征；
所述根据所述缺陷特征以及预设的尺度级别，确定多个低分辨率特征，包括：
对所述缺陷特征进行特征提取，得到第一尺度级别的低分辨率特征；
对所述第一尺度级别的低分辨率特征进行特征提取，得到第二尺度级别的低分辨率特征；
当判断所述第二尺度级别的低分辨率特征对应的尺度级别高于预设阈值时，则将第二尺度级别的低分辨率特征确定为第一尺度级别的低分辨率特征，返回至所述对所述第一尺度级别的低分辨率特征进行特征提取，得到第二尺度级别的低分辨率特征的步骤；
所述对所述多个低分辨率特征进行上采样处理，得到多个高分辨率特征，包括：
对最小尺度级别的低分辨率特征进行上采样处理，得到第一尺度级别的高分辨率特征；
根据所述第一尺度级别的高分辨率特征以及第一尺度级别的高分辨率特征所在的尺度级别对应的低分辨率特征，确定第二尺度级别的高分辨率特征；
当判断所述尺度级别的高分辨率特征对应的尺度级别低于预设阈值时，则将所述第二尺度级别的高分辨率特征确定为所述第一尺度级别的高分辨率特征，返回至所述根据所述第一尺度级别的高分辨率特征以及第一尺度级别的高分辨率特征所在的尺度级别对应的低分辨率特征，确定第二尺度级别的高分辨率特征的步骤。
6.一种终端设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述的一种基于条纹光的凹凸检测方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的一种基于条纹光的凹凸检测方法的步骤。
CN202310893311.4A 2023-07-20 2023-07-20 一种基于条纹光的凹凸检测方法、装置、设备及存储介质 Active CN116952954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310893311.4A CN116952954B (zh) 2023-07-20 2023-07-20 一种基于条纹光的凹凸检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310893311.4A CN116952954B (zh) 2023-07-20 2023-07-20 一种基于条纹光的凹凸检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116952954A CN116952954A (zh) 2023-10-27
CN116952954B true CN116952954B (zh) 2024-06-07

Family

ID=88457799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310893311.4A Active CN116952954B (zh) 2023-07-20 2023-07-20 一种基于条纹光的凹凸检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116952954B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900045A (zh) * 2013-09-27 2016-08-24 森赛尔股份有限公司 触摸传感器检测器系统及方法
CN111311606A (zh) * 2020-01-20 2020-06-19 四川大学 连续相位图获取方法、装置、计算机设备和可读存储介质
CN111914894A (zh) * 2020-06-28 2020-11-10 中国建设银行股份有限公司 特征提取方法、装置、电子设备及计算机可读存储介质
US11170470B1 (en) * 2018-12-06 2021-11-09 Facebook, Inc. Content-adaptive non-uniform image downsampling using predictive auxiliary convolutional neural network
KR20230102134A (ko) * 2021-12-30 2023-07-07 인천대학교 산학협력단 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900045A (zh) * 2013-09-27 2016-08-24 森赛尔股份有限公司 触摸传感器检测器系统及方法
US11170470B1 (en) * 2018-12-06 2021-11-09 Facebook, Inc. Content-adaptive non-uniform image downsampling using predictive auxiliary convolutional neural network
CN111311606A (zh) * 2020-01-20 2020-06-19 四川大学 连续相位图获取方法、装置、计算机设备和可读存储介质
CN111914894A (zh) * 2020-06-28 2020-11-10 中国建设银行股份有限公司 特征提取方法、装置、电子设备及计算机可读存储介质
KR20230102134A (ko) * 2021-12-30 2023-07-07 인천대학교 산학협력단 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的单频条纹结构光相位图处理方法研究;肖昆;中国优秀硕士论文全文数据库（电子期刊）;20220415;全文 *

Also Published As

Publication number Publication date
CN116952954A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN108564127B (zh) 图像转换方法、装置、计算机设备及存储介质
CN108764325B (zh) 图像识别方法、装置、计算机设备和存储介质
CN108805828B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111080628A (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
WO2021114809A1 (zh) 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN113673530B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN110738236B (zh) 图像匹配方法、装置、计算机设备及存储介质
CN109063921B (zh) 客户风险预警的优化处理方法、装置、计算机设备和介质
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN109934262B (zh) 图片差异性判断方法、装置、计算机设备和存储介质
CN113269149B (zh) 活体人脸图像的检测方法、装置、计算机设备及存储介质
CN111860496A (zh) 车牌识别方法、装置、设备及计算机可读存储介质
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN110807463B (zh) 图像分割方法、装置、计算机设备和存储介质
Wang et al. An unsupervised heterogeneous change detection method based on image translation network and post-processing algorithm
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN114005019A (zh) 一种翻拍图像识别方法及其相关设备
CN116952954B (zh) 一种基于条纹光的凹凸检测方法、装置、设备及存储介质
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant