CN117252845A - 玻璃检测方法、装置、设备及介质 - Google Patents

玻璃检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN117252845A
CN117252845A CN202311283459.2A CN202311283459A CN117252845A CN 117252845 A CN117252845 A CN 117252845A CN 202311283459 A CN202311283459 A CN 202311283459A CN 117252845 A CN117252845 A CN 117252845A
Authority
CN
China
Prior art keywords
image
layer
feature
sub
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311283459.2A
Other languages
English (en)
Inventor
常青玲
廖洹浩
徐世廷
孟晓飞
崔岩
许钟文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Siwei Kanan Intelligent Equipment Co ltd
Wuyi University
Original Assignee
Guangdong Siwei Kanan Intelligent Equipment Co ltd
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Siwei Kanan Intelligent Equipment Co ltd, Wuyi University filed Critical Guangdong Siwei Kanan Intelligent Equipment Co ltd
Priority to CN202311283459.2A priority Critical patent/CN117252845A/zh
Publication of CN117252845A publication Critical patent/CN117252845A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了玻璃检测方法、装置、设备及介质，通过获取玻璃全景图像和对应玻璃全景图像的强度图像；将玻璃全景图像和强度图像拼接，得到拼接图像；对拼接图像提取特征得到第一特征图像；对第一特征图像提取深层特征图像和浅层特征图像；融合深层特征图像和浅层特征图像得到融合特征图像；根据融合特征图像进行检测得到检测结果；综合利用全景图和强度图的方法，提高玻璃检测的准确性；使用特征提取网络进行特征提取，并逐渐提取图像的局部和全局高级语义特征，辅助推测每个像素点的语义信息；通过融合多层特征信息对比提取，进一步提高玻璃检测的准确性。

Description

玻璃检测方法、装置、设备及介质
技术领域
本申请实施例涉及图像处理领域，尤其涉及玻璃检测方法、装置、设备及介质。
背景技术
玻璃检测项目是对玻璃是否存在破损、斑点或不均匀性等问题的项目。传统的玻璃检测多是在简单的平面图上进行训练、设计的，平面图形中所包含的信息较少，并且这些平面图中的玻璃相对单一、占用幅度大，从而导致训练结果不够准确，并不具备良好的实用性。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一，本申请实施例提供了玻璃检测方法、装置、设备及介质，能够提高玻璃检测的准确性。
本申请的第一方面的实施例，一种玻璃检测方法，包括：
获取玻璃全景图像和对应玻璃全景图像的强度图像，所述玻璃全景图像为彩色模式；
将所述玻璃全景图像和所述强度图像拼接，得到拼接图像；
对所述拼接图像提取特征得到第一特征图像；
对所述第一特征图像提取深层特征图像和浅层特征图像；
融合所述深层特征图像和所述浅层特征图像得到融合特征图像；
根据所述融合特征图像进行检测得到检测结果。
根据本申请的第一方面的某些实施例，所述将所述玻璃全景图像和所述强度图像拼接，得到拼接图像，包括：
将三通道的玻璃全景图像和三通道的强度图像在通道上进行拼接，得到六通道的拼接图像。
根据本申请的第一方面的某些实施例，所述对所述拼接图像提取特征得到第一特征图像，包括：
通过特征提取网络对所述拼接图像提取特征得到第一特征图像；
其中，所述特征提取网络包括编码器层、分组卷积层和逆瓶颈层，所述编码器层由多个卷积层、池化层堆叠而成。
根据本申请的第一方面的某些实施例，所述对所述第一特征图像提取深层特征图像和浅层特征图像，包括：
通过核尺寸小的卷积模块对所述第一特征图像提取浅层特征图像；
通过核尺寸大的卷积模块对所述第一特征图像提取浅层特征图像。
根据本申请的第一方面的某些实施例，所述卷积模块对输入图像的特征提取过程如下：
将输入图像依次经过3x3卷积层、批标准化层和激活函数层处理，得到第一子处理图像；
将所述第一子处理图像依次经过1xk卷积层、kx1变形卷积层、批标准化层和激活函数层处理，得到第二子处理图像；
将所述第一子处理图像依次经过kx1变形卷积层、1xk卷积层、批标准化层和激活函数层处理，得到第三子处理图像；
将所述第二子处理图像和所述第三子处理图像拼接后，依次经过3x3卷积层、批标准化层和激活函数层处理，得到第四子处理图像；
将所述第一子处理图像和所述第四子处理图像拼接得到第五子处理图像；
将所述第五子处理图像依次经过1xk卷积层、kx1变形卷积层、批标准化层和激活函数层处理，得到第六子处理图像；
将所述第五子处理图像依次经过kx1变形卷积层、1xk卷积层、批标准化层和激活函数层处理，得到第七子处理图像；
将所述第六子处理图像和所述第七子处理图像拼接后，依次经过3x3卷积层、批标准化层和激活函数层处理，得到第八子处理图像；
将所述第五子处理图像和所述第八子处理图像拼接后，依次经过自注意力层、3x3卷积层、批标准化层和激活函数层处理，得到输出特征图像。
根据本申请的第一方面的某些实施例，核尺寸小的卷积模块的k小于核尺寸大的卷积模块的k。
根据本申请的第一方面的某些实施例，所述融合所述深层特征图像和所述浅层特征图像得到融合特征图像，包括：
对所述深层特征图像进行卷积得到第一卷积图像；
对所述浅层特征图像进行卷积得到第二卷积图像；
拼接所述第一卷积图像和所述第二卷积图像得到第三卷积图像；
对所述第三卷积图像进行卷积得到融合特征图像。
本申请的第二方面的实施例，一种玻璃检测装置，包括：
图像输入单元，用于获取玻璃全景图像和对应玻璃全景图像的强度图像，所述玻璃全景图像为彩色模式；
图像拼接单元，用于将所述玻璃全景图像和所述强度图像拼接，得到拼接图像；
第一特征提取单元，用于对所述拼接图像提取特征得到第一特征图像；
第二特征提取单元，用于对所述第一特征图像提取深层特征图像和浅层特征图像；
特征融合单元，用于融合所述深层特征图像和所述浅层特征图像得到融合特征图像；
图像检测单元，用于根据所述融合特征图像进行检测得到检测结果。
本申请的第三方面的实施例，一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的玻璃检测方法。
本申请的第四方面的实施例，一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的玻璃检测方法。
上述方案至少具有以下的有益效果：通过获取玻璃全景图像和对应玻璃全景图像的强度图像；将玻璃全景图像和强度图像拼接，得到拼接图像；对拼接图像提取特征得到第一特征图像；对第一特征图像提取深层特征图像和浅层特征图像；融合深层特征图像和浅层特征图像得到融合特征图像；根据融合特征图像进行检测得到检测结果；综合利用全景图和强度图的方法，提高玻璃检测的准确性；使用特征提取网络进行特征提取，并逐渐提取图像的局部和全局高级语义特征，辅助推测每个像素点的语义信息；通过融合多层特征信息对比提取，进一步提高玻璃检测的准确性。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1是本申请的实施例提供的玻璃检测方法的步骤图；
图2是特征提取网络的结构图；
图3是融合网络的结构图；
图4是本申请的实施例提供的玻璃检测装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
下面结合附图，对本申请实施例作进一步阐述。
本申请的实施例，提供了一种玻璃检测方法。
参照图1，玻璃检测方法，包括：
步骤S100，获取玻璃全景图像和对应玻璃全景图像的强度图像；
步骤S200，将玻璃全景图像和强度图像拼接，得到拼接图像；
步骤S300，对拼接图像提取特征得到第一特征图像；
步骤S400，对第一特征图像提取深层特征图像和浅层特征图像；
步骤S500，融合深层特征图像和浅层特征图像得到融合特征图像；
步骤S600，根据融合特征图像进行检测得到检测结果。
对于步骤S100，通过拍摄设备拍摄多张图像，将多张图像拼接得到全景图像，玻璃全景图像为包含有玻璃物件的全景图像。玻璃全景图像为彩色模式。
通过算法将玻璃全景图像转换为强度图像。或者，通过专业的用于拍摄强度图像的拍摄设备对玻璃全景图像同场景进行拍摄，得到对应玻璃全景图像的强度图像。
对于步骤S200，将玻璃全景图像和强度图像拼接，得到拼接图像，包括：将三通道的玻璃全景图像和三通道的强度图像在通道上进行拼接，得到六通道的拼接图像。
通过将玻璃全景图像和强度图像拼接，以便后续的特征提取网络结合两种图像不同的特征提取到更加有用的信息。
将全景图与强度图相结合。通过综合分析全景图和强度图，可以更准确地检测到玻璃的存在与位置，以及可能的破损、斑点或不均匀性。例如，玻璃的反射特性在全景图中可能不明显，但在强度图中能够清晰展示出来；而玻璃的断裂或破损则可能在强度图中产生不规则的光线分布。综合利用全景图和强度图的方法，可以大大提高玻璃检测的准确性，并为相关领域的研究和应用提供更可靠的数据支持。
对于步骤S300，对拼接图像提取特征得到第一特征图像包括：
通过特征提取网络对拼接图像提取特征得到第一特征图像；
其中，特征提取网络包括编码器层、分组卷积层和逆瓶颈层，编码器层由多个卷积层、池化层堆叠而成。
特征提取网络的每个stage的b lock的比例调整到1:1:3:1，最终得到的b lock数是(3,3,9,3)。
对于图像数据集，通常采用224x224的输入尺寸，由于图像尺寸对于网络来说是非常大的，网络通常使用一个步长为4，大小也为4的卷积将其尺寸降采样到56x56。因为这个卷积的步长和大小是完全相同的，所以它又是一个无覆盖的卷积，或者叫补丁化的卷积。这部分为stem层，它是位于输入之后的一个降采样层。Stem层也是一个步长为4，大小也为4的卷积操作。
特征提取网络引入了分组卷积的思想，将3x3卷积替换成了3x3的分组卷积，即将通道分组，然后以组为单位进行卷积；通过分组卷积的方式来提升模型的计算速度。
逆瓶颈层是一个中间大，两头小的结构，能够有效的避免信息流失。
特征提取网络采用7x7卷积核的卷积层。
通过GELU激活函数层，但是采用更少数量的激活函数，仅在两个1x1卷积之间添加了一个GELU激活函数。
仅在第一个1x1卷积之前添加了一个BN层，有利于简化特征提取网络的结构。
对于步骤S400，对第一特征图像提取深层特征图像和浅层特征图像，包括：
通过核尺寸小的卷积模块对第一特征图像提取浅层特征图像；
通过核尺寸大的卷积模块对第一特征图像提取浅层特征图像。
参照图2，卷积模块对输入图像的特征提取过程如下：
将输入图像依次经过3x3卷积层、批标准化层和激活函数层处理，得到第一子处理图像；
将第一子处理图像依次经过1xk卷积层、kx1变形卷积层、批标准化层和激活函数层处理，得到第二子处理图像；
将第一子处理图像依次经过kx1变形卷积层、1xk卷积层、批标准化层和激活函数层处理，得到第三子处理图像；
将第二子处理图像和第三子处理图像拼接后，依次经过3x3卷积层、批标准化层和激活函数层处理，得到第四子处理图像；
将第一子处理图像和第四子处理图像拼接得到第五子处理图像；
将第五子处理图像依次经过1xk卷积层、kx1变形卷积层、批标准化层和激活函数层处理，得到第六子处理图像；
将第五子处理图像依次经过kx1变形卷积层、1xk卷积层、批标准化层和激活函数层处理，得到第七子处理图像；
将第六子处理图像和第七子处理图像拼接后，依次经过3x3卷积层、批标准化层和激活函数层处理，得到第八子处理图像；
将第五子处理图像和第八子处理图像拼接后，依次经过自注意力层、3x3卷积层、批标准化层和激活函数层处理，得到输出特征图像。
核尺寸小的卷积模块的k小于核尺寸大的卷积模块的k。
其中，conv表示卷积层，DConv表示变形卷积层，k1对应k，BN表示批归一化层，ReLU表示激活函数层，Attent ion表示自注意力层。
由于在图像中玻璃的水平边界发生了强烈的变形，而垂直边界几乎没有变化，基于深层特征嵌入了更多的高级语义，能够更好地定位目标物体，而浅层特征具有更大的空间尺寸，保留了更丰富、更详细的底层信息，在前两个阶段使用核尺寸小的卷积模块，在后两个阶段使用核尺寸大的卷积模块。
参照图3，对于步骤S500，通过融合网络融合深层特征图像和浅层特征图像得到融合特征图像，包括：
对深层特征图像进行卷积得到第一卷积图像；
对浅层特征图像进行卷积得到第二卷积图像；
拼接第一卷积图像和第二卷积图像得到第三卷积图像；
对第三卷积图像进行卷积得到融合特征图像。
其中，不同尺寸的特征图像，先通过1x1卷积层，然后和其他尺寸的特征图像进行拼接，再通过1x1卷积层，实现图像融合，得到融合特征图像。
使用特征提取网络进行特征提取，并结合特征金字塔逐渐提取图像的局部和全局高级语义特征的方法，可以辅助推测每个像素点的语义信息。此外，通过融合多层特征信息对比提取，还能进一步提高玻璃检测的准确性，有助于玻璃检测任务的快速实施。
对于步骤S600，通过解码器根据融合特征图像进行检测得到检测结果。检测结果显示玻璃是否存在裂缝等问题。
简单地将一个解码器的输出传递给下一个解码器并不能很好地平衡这些偏差。前两个解码器的输出强调边界细节，这有助于模型描绘对象轮廓，而后两个解码器的输出强调高级语义，这有助于模型定位对象区域，从而进行准确的推断。
首先，解码器使用前一个阶段的输出作为基本信息，并在此基础上进行更改。其次，它获取特征提取网络在每个阶段所生成的特征图作为直接得到的特征信息。最后，它还使用经过特征提取模块和融合模块处理后得到的特征。这一部分特征信息与特征提取网络生成的信息相互验证，以提高网络预测结果的准确性。
本申请的实施例，提供了一种玻璃检测装置。
参照图4，玻璃检测装置，包括：图像输入单元10、图像拼接单元20、第一特征提取单元30、第二特征提取单元40、特征融合单元50、图像检测单元60。
其中，图像输入单元10用于获取玻璃全景图像和对应玻璃全景图像的强度图像；图像拼接单元20用于将玻璃全景图像和强度图像拼接，得到拼接图像；第一特征提取单元30用于对拼接图像提取特征得到第一特征图像；第二特征提取单元40用于对第一特征图像提取深层特征图像和浅层特征图像；特征融合单元50用于融合深层特征图像和浅层特征图像得到融合特征图像；图像检测单元60用于根据融合特征图像进行检测得到检测结果。
可以理解的是，本申请的实施例提供的玻璃检测装置采用如上所述的玻璃检测方法，本申请的实施例提供的玻璃检测装置的各单元对应玻璃检测方法的各步骤，玻璃检测装置和玻璃检测方法两者采用相同的技术手段，解决相同的技术问题，具有相同的技术效果。
本申请的实施例，提供一种电子设备。电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的玻璃检测方法方法。
该电子设备可以为包括电脑等任意智能终端。
总体而言，对于电子设备的硬件结构，处理器可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本申请实施例的方法。
输入/输出接口用于实现信息输入及输出。
通信接口用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线在设备的各个组件(例如处理器、存储器、输入/输出接口和通信接口)之间传输信息。处理器、存储器、输入/输出接口和通信接口通过总线实现彼此之间在设备内部的通信连接。
本申请的实施例，提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于执行如上的玻璃检测方法方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-On ly Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种玻璃检测方法，其特征在于，包括：
获取玻璃全景图像和对应玻璃全景图像的强度图像，所述玻璃全景图像为彩色模式；
将所述玻璃全景图像和所述强度图像拼接，得到拼接图像；
对所述拼接图像提取特征得到第一特征图像；
对所述第一特征图像提取深层特征图像和浅层特征图像；
融合所述深层特征图像和所述浅层特征图像得到融合特征图像；
根据所述融合特征图像进行检测得到检测结果。
2.根据权利要求1所述的一种玻璃检测方法，其特征在于，所述将所述玻璃全景图像和所述强度图像拼接，得到拼接图像，包括：
将三通道的玻璃全景图像和三通道的强度图像在通道上进行拼接，得到六通道的拼接图像。
3.根据权利要求1所述的一种玻璃检测方法，其特征在于，所述对所述拼接图像提取特征得到第一特征图像，包括：
通过特征提取网络对所述拼接图像提取特征得到第一特征图像；
其中，所述特征提取网络包括编码器层、分组卷积层和逆瓶颈层，所述编码器层由多个卷积层、池化层堆叠而成。
4.根据权利要求1所述的一种玻璃检测方法，其特征在于，所述对所述第一特征图像提取深层特征图像和浅层特征图像，包括：
通过核尺寸小的卷积模块对所述第一特征图像提取浅层特征图像；
通过核尺寸大的卷积模块对所述第一特征图像提取浅层特征图像。
5.根据权利要求4所述的一种玻璃检测方法，其特征在于，所述卷积模块对输入图像的特征提取过程如下：
将输入图像依次经过3x3卷积层、批标准化层和激活函数层处理，得到第一子处理图像；
将所述第一子处理图像依次经过1xk卷积层、kx1变形卷积层、批标准化层和激活函数层处理，得到第二子处理图像；
将所述第一子处理图像依次经过kx1变形卷积层、1xk卷积层、批标准化层和激活函数层处理，得到第三子处理图像；
将所述第二子处理图像和所述第三子处理图像拼接后，依次经过3x3卷积层、批标准化层和激活函数层处理，得到第四子处理图像；
将所述第一子处理图像和所述第四子处理图像拼接得到第五子处理图像；
将所述第五子处理图像依次经过1xk卷积层、kx1变形卷积层、批标准化层和激活函数层处理，得到第六子处理图像；
将所述第五子处理图像依次经过kx1变形卷积层、1xk卷积层、批标准化层和激活函数层处理，得到第七子处理图像；
将所述第六子处理图像和所述第七子处理图像拼接后，依次经过3x3卷积层、批标准化层和激活函数层处理，得到第八子处理图像；
将所述第五子处理图像和所述第八子处理图像拼接后，依次经过自注意力层、3x3卷积层、批标准化层和激活函数层处理，得到输出特征图像。
6.根据权利要求5所述的一种玻璃检测方法，其特征在于，核尺寸小的卷积模块的k小于核尺寸大的卷积模块的k。
7.根据权利要求1所述的一种玻璃检测方法，其特征在于，所述融合所述深层特征图像和所述浅层特征图像得到融合特征图像，包括：
对所述深层特征图像进行卷积得到第一卷积图像；
对所述浅层特征图像进行卷积得到第二卷积图像；
拼接所述第一卷积图像和所述第二卷积图像得到第三卷积图像；
对所述第三卷积图像进行卷积得到融合特征图像。
8.一种玻璃检测装置，其特征在于，包括：
图像输入单元，用于获取玻璃全景图像和对应玻璃全景图像的强度图像，所述玻璃全景图像为彩色模式；
图像拼接单元，用于将所述玻璃全景图像和所述强度图像拼接，得到拼接图像；
第一特征提取单元，用于对所述拼接图像提取特征得到第一特征图像；
第二特征提取单元，用于对所述第一特征图像提取深层特征图像和浅层特征图像；
特征融合单元，用于融合所述深层特征图像和所述浅层特征图像得到融合特征图像；
图像检测单元，用于根据所述融合特征图像进行检测得到检测结果。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的玻璃检测方法。
10.一种计算机存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任一项所述的玻璃检测方法。
CN202311283459.2A 2023-09-28 2023-09-28 玻璃检测方法、装置、设备及介质 Pending CN117252845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311283459.2A CN117252845A (zh) 2023-09-28 2023-09-28 玻璃检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311283459.2A CN117252845A (zh) 2023-09-28 2023-09-28 玻璃检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117252845A true CN117252845A (zh) 2023-12-19

Family

ID=89129050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311283459.2A Pending CN117252845A (zh) 2023-09-28 2023-09-28 玻璃检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117252845A (zh)

Similar Documents

Publication Publication Date Title
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
KR20200014725A (ko) 차량 보험 이미지 처리 방법, 장치, 서버 및 시스템
CN108764039B (zh) 神经网络、遥感影像的建筑物提取方法、介质及计算设备
CN111444744A (zh) 活体检测方法、装置以及存储介质
US9349152B2 (en) Image identifiers and methods and systems of presenting image identifiers
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN111797826B (zh) 大骨料集中区域检测方法和装置及其网络模型训练方法
CN114708437B (zh) 目标检测模型的训练方法、目标检测方法、装置和介质
CN110399847B (zh) 关键帧提取方法、装置及电子设备
US8989505B2 (en) Distance metric for image comparison
CN115600157A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN114332349B (zh) 一种双目结构光边缘重建方法、系统及存储介质
CN114440903A (zh) 一种高精地图构建方法、装置、存储介质及电子设备
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN112785651B (zh) 用于确定相对位姿参数的方法和装置
CN107563257B (zh) 视频理解方法及装置
CN117252845A (zh) 玻璃检测方法、装置、设备及介质
CN113379746B (zh) 图像检测方法、装置、系统、计算设备及可读存储介质
CN115082758A (zh) 目标检测模型的训练方法、目标检测方法、装置和介质
CN113642398A (zh) 空间区域识别的方法及装置
CN113591862A (zh) 文本识别的方法及装置
CN115272768A (zh) 内容识别方法、装置、设备、存储介质及计算机程序产品
CN115797164A (zh) 固定视场中的图像拼接方法、装置、系统
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
CN114511788A (zh) 一种坡体裂缝识别方法、系统、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination