CN113379746B - 图像检测方法、装置、系统、计算设备及可读存储介质 - Google Patents

图像检测方法、装置、系统、计算设备及可读存储介质 Download PDF

Info

Publication number
CN113379746B
CN113379746B CN202110933938.9A CN202110933938A CN113379746B CN 113379746 B CN113379746 B CN 113379746B CN 202110933938 A CN202110933938 A CN 202110933938A CN 113379746 B CN113379746 B CN 113379746B
Authority
CN
China
Prior art keywords
image
detected
target
layer
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110933938.9A
Other languages
English (en)
Other versions
CN113379746A (zh
Inventor
王昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Glory Intelligent Machine Co ltd
Original Assignee
Shenzhen Glory Intelligent Machine Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Glory Intelligent Machine Co ltd filed Critical Shenzhen Glory Intelligent Machine Co ltd
Priority to CN202110933938.9A priority Critical patent/CN113379746B/zh
Publication of CN113379746A publication Critical patent/CN113379746A/zh
Application granted granted Critical
Publication of CN113379746B publication Critical patent/CN113379746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • G06F11/2221—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test input/output devices or peripheral units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像检测方法、装置、系统、计算设备及可读存储介质，应用于计算机技术领域。该方法通过获取弯折区处的同一待检测区域处的至少两张原始图像，将至少两张原始图像合成待检测图像后输入卷积神经网络，采用卷积神经网络对弯折区处是否产生裂纹来进行检测。为了提高弯折区处的缺陷检测能力，需要将至少两张原始图像合成后的待检测图像输入至卷积神经网络，提高了对待检测区域进行缺陷检测时输入的信息量，从而提高了弯折区处的缺陷检测能力，使得弯折区处的缺陷检测结果更加准确，且提高了检测效率。

Description

图像检测方法、装置、系统、计算设备及可读存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像检测方法、装置、系统、计算设备及可读存储介质。
背景技术
随着柔性显示技术的发展，柔性窄边框、高屏占比的终端设备备受市场青睐，在制备窄边框的显示屏时，需要将位于非显示区的芯片固定到显示屏的背面，此时的弯折区（bending区）会进行弯折，但是，当弯折区进行弯折时，弯折区内的各膜层受到弯折应力容易出现裂纹，导致显示屏产生亮线不良。
因此，亟需提供一种图像检测方式，来检测显示屏的弯折区处的裂纹等缺陷。
发明内容
本申请实施例提供一种图像检测方法、装置、系统、计算设备及可读存储介质，应用于计算机技术领域，有助于检测显示屏的弯折区处的裂纹等缺陷。
第一方面，本申请实施例提出一种图像检测方法，包括：计算设备获取至少两张原始图像，每张原始图像均为终端设备中的显示屏的弯折区内的同一待检测区域处的图像；计算设备将至少两张原始图像合成待检测图像；计算设备采用卷积神经网络中的卷积层对待检测图像进行卷积处理，得到待检测图像对应的目标特征图；计算设备采用卷积神经网络中的池化层对目标特征图进行池化处理，得到池化结果；计算设备采用卷积神经网络中的全连接层对池化结果进行全连接处理，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值，目标通道为待检测图像中的任一通道；计算设备基于偏移值，对待检测图像中的各个待校正通道进行偏移校正，得到目标图像；计算设备采用卷积神经网络中的语义分割子网络对目标图像进行语义分割处理，得到待检测区域处的检测结果。
这样，将至少两张原始图像合成后的待检测图像输入至卷积神经网络，提高了对待检测区域进行缺陷检测时输入的信息量，从而提高了弯折区处的缺陷检测能力，使得弯折区处的缺陷检测结果更加准确，且采用卷积神经网络实现对缺陷的检测，可提高检测效率。
在一种可能的实现方式中，计算设备采用卷积神经网络中的卷积层对待检测图像进行卷积处理，得到待检测图像对应的目标特征图，包括：计算设备采用卷积神经网络中的n个卷积层对待检测图像进行卷积处理，得到第n个卷积层输出的目标特征图；其中，每个卷积层包括第一子卷积层和第二子卷积层，第二子卷积层的输入为第一子卷积层输出的特征图，n个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，n为大于1的正整数，1＜i≤n，i为正整数。本申请通过在卷积神经网络中设置至少两个卷积层来提取待检测图像的特征信息，使得得到的目标特征图可包括较为复杂的特征，使得后续可以更加容易的实现对缺陷的识别。
在一种可能的实现方式中，第二子卷积层的步长大于第一子卷积层的步长，第一子卷积层的填充值与第二子卷积层的填充值相等；目标特征图的宽度与待检测图像的宽度之间的比值为1/m，目标特征图的高度与待检测图像的高度之间的比值为1/m，m为大于1的正整数。这样，本申请可采用两个步长不同的子卷积层交替使用，使得目标特征图的尺寸小于待检测图像的尺寸，且得到的目标特征图中不会过多丢失特征图的位置信息，使得最后得到的目标特征图更能准确反映待检测图像的特征信息。
在一种可能的实现方式中，在每个卷积层中，第二子卷积层中的卷积核的数量为第一子卷积层中的卷积核的数量的2倍，第一个卷积层包括的第一子卷积层中的卷积核的数量为待检测图像的通道数的2倍，第i个卷积层中的第一子卷积层的卷积核的数量与第i-1个卷积层中的第二子卷积层的卷积核的数量相等，目标特征图的通道数与待检测图像的通道数之间的比值为2n+1。本申请将第二子卷积层中的卷积核的数量设置为第一子卷积层中的卷积核的数量的2倍，提高最终得到的目标特征图包含的特征信息，以提高图像检测的准确度。
在一种可能的实现方式中，计算设备采用卷积神经网络中的池化层对目标特征图进行池化处理，得到池化结果，包括：计算设备采用卷积神经网络中的池化层对目标特征图中的每个通道进行全局平均池化，得到池化向量。本申请采用全局平均池化对目标特征图进行池化处理，使得最终得到的池化结果包含有各个位置的特征信息，不会过多丢失特征图像内的特征信息，从而可提高检测准确性。
在一种可能的实现方式中，计算设备采用卷积神经网络中的全连接层对池化结果进行全连接处理，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值，包括：计算设备将池化向量与全连接层中的权重矩阵点乘后，再与全连接层中的偏置向量相加，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值；其中，偏移值包括沿x轴的第一偏移量和沿y轴的第二偏移量，待检测图像的通道数为C，偏移值的数量为2（C-1）个，权重矩阵为P×Q的二维矩阵，P等于2（C-1），Q等于目标特征图的通道数。这样，可基于全连接层检测到各个通道的偏移值，以便后续进行偏移校正。
在一种可能的实现方式中，计算设备基于偏移值，对待检测图像中的各个待校正通道进行偏移校正，得到目标图像，包括：计算设备将待校正通道内的各个像素沿x轴均移动第一偏移量个像素，并将待校正通道内的各个像素沿y轴均移动第二偏移量个像素，得到目标图像；其中，在目标通道对应的图像定义域内，移动后的待校正通道与目标通道的非重合区域处填充有像素值为0的像素。本申请通过偏移值将待检测图像的各个通道内的像素对齐，当待检测图像存在裂纹时，偏移校正后得到的目标图像的裂纹也会对齐，从而后续再通过语义分割子网络对目标图像进行语义分割处理以识别裂纹的位置时，可以准确识别到该裂纹。
在一种可能的实现方式中，在计算设备采用卷积神经网络中的卷积层对待检测图像进行卷积处理，得到待检测图像对应的目标特征图之前，还包括：计算设备获取训练数据，训练数据包括多个样本图像组合和每个样本图像组合的目标值，每个样本图像组合包括同一检测区域处采集的至少两张样本图像；计算设备将至少两张样本图像合成样本合成图像；计算设备采用卷积神经网络对样本合成图像进行处理，得到样本合成图像的预测值；计算设备根据预测值、目标值和损失函数，确定样本合成图像的损失值；计算设备基于损失值，更新卷积神经网络中的参数。本申请预先采用样本图像训练得到卷积神经网络，使得在根据原始图像合成待检测图像后，可采用训练好的卷积神经网络实现对待检测图像进行自动检测。
在一种可能的实现方式中，原始图像的数量为两张，其中一张原始图像为明场下采集的待检测区域处的图像，另一张原始图像为暗场下采集的待检测区域处的图像。本申请通过分别采集同一待检测区域处于暗场和明场下的原始图像，使得合成的待检测图像包含更多的信息，综合多种成像模式对待检测区域来进行综合的缺陷检测，以提高缺陷检测结果的准确性。
第二方面，本申请实施例提出一种图像检测装置，包括：通信单元，用于获取至少两张原始图像，每张原始图像均为终端设备中的显示屏的弯折区内的同一待检测区域处的图像；处理单元，用于将至少两张原始图像合成待检测图像；采用卷积神经网络中的卷积层对待检测图像进行卷积处理，得到待检测图像对应的目标特征图；采用卷积神经网络中的池化层对目标特征图进行池化处理，得到池化结果；采用卷积神经网络中的全连接层对池化结果进行全连接处理，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值，目标通道为待检测图像中的任一通道；基于偏移值，对待检测图像中的各个待校正通道进行偏移校正，得到目标图像；采用卷积神经网络中的语义分割子网络对目标图像进行语义分割处理，得到待检测区域处的检测结果。
在一种可能的实现方式中，处理单元，具体用于采用卷积神经网络中的n个卷积层对待检测图像进行卷积处理，得到第n个卷积层输出的目标特征图；其中，每个卷积层包括第一子卷积层和第二子卷积层，第二子卷积层的输入为第一子卷积层输出的特征图，n个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，n为大于1的正整数，1＜i≤n，i为正整数。
在一种可能的实现方式中，第二子卷积层的步长大于第一子卷积层的步长，第一子卷积层的填充值与第二子卷积层的填充值相等；目标特征图的宽度与待检测图像的宽度之间的比值为1/m，目标特征图的高度与待检测图像的高度之间的比值为1/m，m为大于1的正整数。
在一种可能的实现方式中，在每个卷积层中，第二子卷积层中的卷积核的数量为第一子卷积层中的卷积核的数量的2倍，第一个卷积层包括的第一子卷积层中的卷积核的数量为待检测图像的通道数的2倍，第i个卷积层中的第一子卷积层的卷积核的数量与第i-1个卷积层中的第二子卷积层的卷积核的数量相等，目标特征图的通道数与待检测图像的通道数之间的比值为2n+1。
在一种可能的实现方式中，处理单元，具体用于采用卷积神经网络中的池化层对目标特征图中的每个通道进行全局平均池化，得到池化向量。
在一种可能的实现方式中，处理单元，具体用于将池化向量与全连接层中的权重矩阵点乘后，再与全连接层中的偏置向量相加，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值；其中，偏移值包括沿x轴的第一偏移量和沿y轴的第二偏移量，待检测图像的通道数为C，偏移值的数量为2（C-1）个，权重矩阵为P×Q的二维矩阵，P等于2（C-1），Q等于目标特征图的通道数。
在一种可能的实现方式中，处理单元，具体用于将待校正通道内的各个像素沿x轴均移动第一偏移量个像素，并将待校正通道内的各个像素沿y轴均移动第二偏移量个像素，得到目标图像；其中，在目标通道对应的图像定义域内，移动后的待校正通道与目标通道的非重合区域处填充有像素值为0的像素。
在一种可能的实现方式中，通信单元，还用于获取训练数据，训练数据包括多个样本图像组合和每个样本图像组合的目标值，每个样本图像组合包括同一检测区域处采集的至少两张样本图像；处理单元，还用于将至少两张样本图像合成样本合成图像；采用卷积神经网络对样本合成图像进行处理，得到样本合成图像的预测值；根据预测值、目标值和损失函数，确定样本合成图像的损失值；基于损失值，更新卷积神经网络中的参数。
在一种可能的实现方式中，原始图像的数量为两张，其中一张原始图像为明场下采集的待检测区域处的图像，另一张原始图像为暗场下采集的待检测区域处的图像。
第三方面，本申请实施例提出一种图像检测系统，包括图像采集装置以及上述的图像检测装置；图像采集装置，用于采集至少两张原始图像，并将至少两张原始图像发送至图像检测装置。
第四方面，本申请实施例提出一种计算设备，包括存储器和处理器，存储器用于存储计算机程序，处理器用于调用计算机程序，以执行上述的图像检测方法。
第五方面，本申请实施例提出一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被运行时，实现上述的图像检测方法。
应当理解的是，本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
附图说明
图1为本申请实施例提供的终端设备的结构示意图；
图2为本申请实施例提供的显示屏的剖视图；
图3为本申请实施例提供的一种图像检测方法的流程图；
图4为本申请实施例的卷积神经网络的结构示意图；
图5为本申请实施例的卷积神经网络中的偏移校正子网络的示意图；
图6为本申请实施例的偏移校正子网络中的卷积层进行卷积操作的示意图；
图7为本申请实施例的偏移校正子网络中的池化层进行全局平均池化操作的示意图；
图8为本申请实施例基于偏移值对待校正通道进行偏移校正的示意图；
图9为本申请实施例中的图像检测网络中的语义分割子网络的示意图；
图10为本申请实施例中的语义分割子网络中的池化层进行最大池化操作的示意图；
图11为本申请实施例提供的一种图像检测装置的示意性框图；
图12为本申请实施例提供的一种计算设备的硬件结构示意图；
图13为本申请实施例提供的一种图像检测系统的结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
本申请实施例提供的图像检测方法，可以应用于检测具有显示屏的终端设备，该终端设备可以是手机、平板电脑、电子阅读器、笔记本电脑、车载设备、可穿戴设备、电视等设备等，显示屏可以为柔性显示屏。
如图1所示，终端设备100包括显示屏10和壳体20。其中，显示屏10安装于壳体20上，其用于显示图像或视频等；显示面板10和壳体20共同围设出终端设备100的容纳腔体，以便通过该容纳腔体放置终端设备100的电子器件等，同时对位于容纳腔体内的电子器件形成密封和保护的作用。例如，终端设备100的电路板和电池等位于该容纳腔体内。
沿图1所示的截面A-A’得到的剖视图如图2所示，显示屏10可以为有机发光二极管（organic light-emittingdiode，OLED）显示屏，该显示屏10具有显示区11、弯折区12和非显示区13，弯折区12位于显示区11和非显示区13之间。显示区11指的是显示屏10的主要画面显示区域，其表面为平面；非显示区13也可称为绑定区，是用于将显示屏10与驱动芯片进行绑定的区域，由于在将显示屏10与驱动芯片绑定时，为了实现显示屏10的窄边框，需要将驱动芯片绑定到显示屏10的背面（即显示屏10出光面的相对面），因此，会对弯折区12进行弯折处理。
弯折区12实际上指的是显示屏10下边沿处呈曲面结构的显示区域，例如，在一些产品中，显示屏10的弯折区12为半径0.35mm，长度为60mm至100mm的半圆弧长条形区域。
当然，在某些终端设备中，也会对显示屏10的左边沿和右边沿进行弯折，使得显示屏10左边沿和右边沿处也可用来进行画面显示，来提高终端设备的屏占比，则弯折区12也可以指的是显示屏10左边沿和右边沿处呈曲面结构的显示区域。
但是，当弯折区12进行弯折时，弯折区12内的各膜层受到弯折应力容易出现裂纹，导致显示屏10产生亮线不良，即产品出现质量问题。因此，在对显示屏10的弯折区12进行弯折处理后，往往需要对弯折区12进行检测，以检测弯折区12处是否存在裂纹等缺陷，而目前通常是人为通过肉眼识别弯折区12处的缺陷，导致缺陷检测结果的效率和准确率较低。
基于此，在对显示屏10的弯折区12进行弯折处理后，需要一种更有效的检测方式来检测弯折区12是否产生裂纹，因此，本申请实施例提出了一种图像检测方法，通过获取弯折区12处的同一待检测区域处的至少两张原始图像，将至少两张原始图像合成待检测图像后输入卷积神经网络，采用卷积神经网络对弯折区12处是否产生裂纹来进行检测。为了提高弯折区12处的缺陷检测能力，需要将至少两张原始图像合成后的待检测图像输入至卷积神经网络，提高了对待检测区域进行缺陷检测时输入的信息量，从而提高了弯折区12处的缺陷检测能力，使得弯折区12处的缺陷检测结果更加准确，且提高了检测效率。
参照图3，为本申请实施例提供的一种图像检测方法的流程图，该图像检测方法可应用在计算设备中，该方法具体可以包括如下步骤：
步骤301，获取至少两张原始图像，每张原始图像均为终端设备中的显示屏的弯折区内的同一待检测区域处的图像。
在本申请实施例中，在将显示屏10的弯折区12进行弯折处理后，通过图像采集装置对弯折区12内的同一待检测区域采集至少两张原始图像，图像采集装置将采集的至少两张原始图像发送至图像检测装置。该原始图像指的是终端设备的显示屏10的弯折区12弯折处理后，对弯折区12内的某一个待检测区域处进行拍摄后直接得到的图像。
其中，每张原始图像的尺寸为H×W×C1，W指的是原始图像的宽度，即宽度方向上的像素数量，H指的是原始图像的高度，即高度方向上的像素数量，C1指的是原始图像的通道数。
原始图像可以为灰度图像或者彩色图像，当原始图像为灰度图像时，原始图像的通道数C1等于1；当原始图像为彩色图像时，原始图像的通道数C1可以等于3，例如，原始图像的这三个通道分别为R（红色）通道、G（绿色）通道和B（蓝色）通道。
实际上，图像采集装置可以为摄像机，图像采集装置采集的同一待检测区域的原始图像的张数可以为两张、三张、四张等。图像采集装置采集的各张原始图像可以是间隔一段时间采集的同一待检测区域处的图像，且各张原始图像采集时所处的光照条件可以相同也可以不同，图像采集装置采集的各张原始图像也可以是不同光照条件下连续采集的同一待检测区域处的图像。
可选的，在一些实施例中，原始图像的数量为两张，其中一张原始图像为明场下采集的待检测区域处的图像，另一张原始图像为暗场下采集的待检测区域处的图像。因此，显示屏10的弯折区12弯折处理后，在对弯折区12内的某一个待检测区域进行检测时，分别将终端设备处于明场环境下采集一张该待检测区域处的原始图像，将终端设备处于暗场环境下再采集一张该待检测区域处的原始图像。
明场指的是显示屏10熄屏，通过控制外部光源的发出的光线的入射方向，使得外部光源的发出的光线以第一入射角度照射到显示屏10的弯折区内的待检测区域，待检测区域对外部光源入射的光线进行反射，反射后的光线入射至图像采集装置的拍摄镜头内；暗场指的是显示屏10熄屏，通过控制光线的入射方向，使得外部光源的发出的光线以第二入射角度照射到显示屏10的弯折区内的待检测区域，待检测区域对外部光源入射的光线进行反射，使得正常情况下反射后的光线不入射到图像采集装置的拍摄镜头内。
值得注意的是，上述提到以第二入射角度将外部光源的发出的光线照射到待检测区域，待检测区域反射后的光线不入射到图像采集装置的拍摄镜头内，指的是在待检测区域不存在裂纹等缺陷时，待检测区域反射后的光线全部出射至图像采集装置的拍摄镜头以外的区域；而当待检测区域存在裂纹时，裂纹所处区域和待检测区域中裂纹以外的区域的反射界面不同，因此，裂纹以外的区域的反射后的光线不会入射到图像采集装置的拍摄镜头内，而裂纹所在区域可能会将外部光源入射的光线反射至图像采集装置的拍摄镜头内。
实际上，若待检测区域存在裂纹，则在明场下呈裂纹状，而在暗场下呈发光的毛丝灰尘。
需要说明的是，当针对待检测区域，仅拍摄一张原始图像来进行缺陷检测时，其缺陷检测结果可能会不准确，例如，在明场下采集待检测区域的一张原始图像，当待检测区域处既存在裂纹又存在灰尘时，基于这一张原始图像进行缺陷检测，无法分别出裂纹和灰尘。因此，本申请可以通过一张明场下的原始图像和一张暗场下采集的原始图像，综合多种成像模式对待检测区域来进行综合的缺陷检测，以提高缺陷检测结果的准确性。
可选的，当原始图像的张数为3张时，其可以包括两张明场下采集的图像和一张暗场下采集的图像，但是，这两张明场下采集的图像，在采集时刻将外部光源发出的光线的光强设置成不一样。
通常，当需要采集视野范围2mm左右的弯折区时，图像采集装置需要移动拍照约50次，每次拍照时的视野范围就是待检测区域。若图像采集装置采用一般的拍照方式，假设每个待检测区域的停留时间为1s，则采集视野范围2mm左右的弯折区至少需要50s左右的拍照时间，则每小时件数（units per hour，UPH）值基本上仅能得到70左右；而当图像采集装置具有飞拍功能，且采用飞拍成像方式时，每个待检测区域的停留时间小于0.3s，则UPH值可提高至大于200。因此，当采用飞拍成像技术对整个弯折区12进行图像采集时，图像采集所需的时间较短，则提高了原始图像采集的效率，相应的，缺陷检测的效率也得到了提高。飞拍成像技术指的是图像采集装置在进行运动的同时不断进行拍照。
步骤302，将至少两张原始图像合成待检测图像。
在本申请实施例中，图像检测装置在接收到图像采集装置发送的至少两张原始图像，将至少两张原始图像合成待检测图像。
需要说明的是，在根据图像采集装置发送的至少两张原始图像合成待检测图像时，当图像采集装置发送的原始图像的数量大于2张时，可以根据图像采集装置发送的所有原始图像合成待检测图像，也可以从图像采集装置发送的所有原始图像中随机选取部分原始图像来进行图像合成，选取的部分原始图像的数量大于或等于2。
通常，各张原始图像的宽度和高度均相等，将至少两张原始图像进行合成，也就是将各张原始图像的通道进行堆叠。若各张原始图像的高度不相等时，可以对高度较大的原始图像的边缘进行裁剪，或者对高度较小的原始图像的边缘用像素值为0的像素进行填充，以将各张原始图像的高度设置成相等，相应的，若各张原始图像的宽度不相等时，可以对宽度较大的原始图像的边缘进行裁剪，或者对宽度较小的原始图像的边缘用像素值为0的像素进行填充，以将各张原始图像的宽度设置成相等，然后，再将各张宽度和高度均相等的原始图像的通道进行堆叠。
例如，同一待检测区域处的原始图像为两张，且这两张原始图像均为彩色图像，每张原始图像的宽度W为256，高度H为256，且通道数C1为3，其分别为R通道、G通道和B通道，则每张原始图像的尺寸为256×256×3，则合成后的待检测图像的宽度W为256，高度H为256，且通道数C为6，其分别为第一张原始图像的R通道、第一张原始图像的G通道、第一张原始图像的B通道、第二张原始图像的R通道、第二张原始图像的G通道和第二张原始图像的B通道，则待检测图像的尺寸为256×256×6。
当然，同一待检测区域处的原始图像的张数不局限于两张，若同一待检测区域处的原始图像的张数为D张，且每张原始图像的通道数为3时，则待检测图像的通道数C=3D，D为大于1的正整数。
可以理解的是，由于各张原始图像是多次采集的，因此，同一待检测区域处的各张原始图像中的像素可能会存在偏移，假设待检测区域存在裂纹时，同一条裂纹在不同的原始图像的位置可能不同。例如，其中一张原始图像为明场下采集的待检测区域处的图像，另一张原始图像为暗场下采集的待检测区域处的图像，若待检测区域存在裂纹，则将两张原始图像合成后的待检测图像，其呈现出一个裂纹状缺陷和一个毛丝灰尘。
若直接将合成的待检测图像输入至语义分割子网络来进行识别，无法准确检测到裂纹的坐标位置。因此，本申请实施例在将待检测图像输入至卷积神经网络来检测缺陷时，首先需要执行步骤303至306，采用偏移校正子网络将待检测图像的各个通道内的像素对齐，得到目标图像，然后执行步骤307，将目标图像输入至语义分割子网络，以识别待检测区域是否存在裂纹等缺陷。
步骤303，采用卷积神经网络中的卷积层对待检测图像进行卷积处理，得到待检测图像对应的目标特征图。
如图4所示，本申请实施例的卷积神经网络200包括偏移校正子网络210和语义分割子网络220，偏移校正子网络210包括卷积层、池化层和全连接层。
其中，偏移校正子网络210中的卷积层为n个，图像检测装置将合成的待检测图像输入至卷积神经网络200时，首先，通过卷积神经网络200中的n个卷积层对待检测图像依次进行卷积处理，得到第n个卷积层输出的特征图，第n个卷积层输出的特征图也就是待检测图像对应的目标特征图。
如图5所示，假设偏移校正子网络210中的卷积层包括3个，从待检测图像的输入开始将其分别称为第一卷积层、第二卷积层和第三卷积层，每个卷积层包括第一子卷积层和第二子卷积层。例如，第一卷积层中的第一子卷积层为conv1-1，第一卷积层中的第二子卷积层为conv1-2，第二卷积层中的第一子卷积层为conv2-1，第二卷积层中的第二子卷积层为conv2-2，第三卷积层中的第一子卷积层为conv3-1，第三卷积层中的第二子卷积层为conv3-2。
第一卷积层中的第一子卷积层conv1-1对待检测图像进行卷积处理后得到第一特征图，第一卷积层中的第一子卷积层conv1-1输出的第一特征图，作为第一卷积层中的第二子卷积层conv1-2的输入，第一卷积层中的第二子卷积层conv1-2对第一特征图进行卷积处理后得到第二特征图；第一卷积层输出的第二特征图作为第二卷积层的输入，第二卷积层中的第一子卷积层conv2-1对第二特征图进行卷积处理后得到第三特征图，第二卷积层中的第一子卷积层conv2-1输出的第三特征图，作为第二卷积层中的第二子卷积层conv2-2的输入，第二卷积层中的第二子卷积层conv2-2对第三特征图进行卷积处理后得到第四特征图；第二卷积层输出的第四特征图作为第三卷积层的输入，第三卷积层中的第一子卷积层conv3-1对第四特征图进行卷积处理后得到第五特征图，第三卷积层中的第一子卷积层conv3-1输出的第五特征图，作为第三卷积层中的第二子卷积层conv3-2的输入，第三卷积层中的第二子卷积层conv3-2对第五特征图进行卷积处理后得到第六特征图，此时，第六特征图也就是待检测图像对应的目标特征图。
可以理解的是，偏移校正子网络210中的卷积层的数量不局限于3个，其还可以为其他数量，例如，偏移校正子网络210中的卷积层的数量n可以为2或4等。并且，每个卷积层包括第一子卷积层和第二子卷积层，第二子卷积层的输入为第一子卷积层输出的特征图，n个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，n为大于1的正整数，1＜i≤n，i为正整数。当偏移校正子网络210中有多个卷积层时，最开始的卷积层往往提取较多的一般特征，一般特征也可以称为低级别的特征，越往后的卷积层提取到的特征越来越复杂，越复杂的特征更容易实现对缺陷的识别，因此，当偏移校正子网络210中的卷积层的数量越多时，可使得图像检测结果更加准确。而当偏移校正子网络210中的卷积层的数量越少时，偏移校正子网络210中的参数也就越少，如卷积核的权重等参数，则使得卷积神经网络的训练和图像检测的速度可以都得到提升。
在一些实施例中，每个子卷积层都具有卷积核以及卷积处理时相应的参数，如步长（stride）和填充值（padding）等。卷积核是一种滤波器，用于提取图像的特征图，卷积核的尺寸包括宽度、高度和通道数，且卷积核的通道数与输入图像的通道数相等；步长指的是卷积核在输入图像上进行滑动提取该输入图像的特征图的过程中，该卷积核在高度方向和宽度方向执行两次卷积处理之间滑动的距离；填充值指的是在输入图像的边缘填充的像素值为0的像素的层数。
下面以图6所示的示意图介绍三维输入图像与三维卷积核的卷积操作的具体计算方式，如图6所示，假设输入图像的宽度W为3，高度H为3，通道数为3，即输入图像的尺寸为3×3×3，这三个通道分别为第一通道、第二通道和第三通道，当padding值为1时，在每个通道的边缘填充的一层像素值为0的像素，以分别得到第一填充图像、第二填充图像和第三填充图像，此时，第一填充图像、第二填充图像和第三填充图像均为5×5的二维图像；并且，卷积核的通道数与输入图像的通道数相等，即卷积核的通道数为3，卷积核的宽度和高度均为3，即卷积核为尺寸为3×3×3，将卷积核的三个通道分别称为卷积核W0-1、卷积核W0-2和卷积核W0-3，卷积核W0-1、卷积核W0-2和卷积核W0-3均为3×3的二维卷积核。
将每个3×3的二维卷积核从对应的填充图像的左上角开始，与对应的填充图像的3×3个像素值进行相乘后再相加，其步长设置为1。例如针对第一填充图像的左上角，其与卷积核W0-1卷积后的结果为：0×1+0×1+0×1+0×（-1）+1×（-1）+1×0+0×（-1）+1×1+1×0=0，按照上述方式，通过卷积核W0-1对第一填充图像进行卷积处理得到第一卷积图像，通过卷积核W0-2对第二填充图像进行卷积处理得到第二卷积图像，通过卷积核W0-3对第三填充图像进行卷积处理得到第三卷积图像，且第一卷积图像、第二卷积图像和第三卷积图像均为3×3的二维图像，最后，再将第一卷积图像、第二卷积图像和第三卷积图像中同一像素位置处的值相加，得到输出图像，该输出图像也为3×3的二维图像，例如，针对第一卷积图像、第二卷积图像和第三卷积图像左上角的像素，其相加后的结果为：0+3+（-1）=2。
也就是说，针对输入图像进行padding处理后的填充图像，需要将三维卷积核的每个通道与填充图像的每个通道分别卷积后，得到每个填充图像对应的卷积图像，最后，再将卷积图像中同一像素位置处的值相加得到二维的输出图像。而当每个子卷积层中的卷积核的数量为r时，则输入图像经过r个三维的卷积核卷积后得到的输出图像的通道数为r，通过不同的卷积核来学习输入图像不同的特征（每个卷积核学习到不同的权重），以提取输入图像的特征。
如图5所示，输入图像的尺寸为H×W×C，在第一卷积层中的第一子卷积层conv1-1中，卷积核的数量为2C个，每个卷积核的尺寸均为3×3×C，步长为1，padding值为1，第一卷积层中的第一子卷积层conv1-1，按照图6所示的卷积方式对待检测图像进行卷积处理后得到第一特征图，该第一特征图的尺寸为H×W×2C；在第一卷积层中的第二子卷积层conv1-2中，卷积核的数量为4C个，每个卷积核的尺寸均为3×3×2C，步长为2，padding值为1，第一卷积层中的第二子卷积层conv1-2按照上述的卷积方式（与图6的区别在于，每次卷积核在高度方向和宽度方向执行两次卷积处理之间滑动的距离变为2）对第一特征图进行卷积处理后得到第二特征图，该第二特征图的尺寸为H/2×W/2×4C，基于第一卷积层中的第二子卷积层conv1-2的步长2，使得第二特征图的宽度降低至第一特征图的宽度的一半，第二特征图的高度也降低至第一特征图的高度的一半。
在第二卷积层中的第一子卷积层conv2-1中，卷积核的数量为4C，每个卷积核的尺寸均为3×3×4C，步长为1，padding值为1，第二卷积层中的第一子卷积层conv2-1按照上述卷积方式对第二特征图进行卷积处理后得到第三特征图，第三特征图的尺寸为H/2×W/2×4C；在第二卷积层中的第二子卷积层conv2-2中，卷积核的数量为8C，每个卷积核的尺寸均为3×3×4C，步长为2，padding值为1，第二卷积层中的第二子卷积层conv2-2按照上述的卷积方式对第三特征图进行卷积处理后得到第四特征图，该第四特征图的尺寸为H/4×W/4×8C，基于第二卷积层中的第二子卷积层conv2-2的步长为2，使得第四特征图的宽度降低至第二特征图的宽度的一半，第四特征图的高度也降低至第二特征图的高度的一半。
在第三卷积层中的第一子卷积层conv3-1中，卷积核的数量为8C，每个卷积核的尺寸均为3×3×8C，步长为1，padding值为1，第三卷积层中的第一子卷积层conv3-1按照上述卷积方式对第四特征图进行卷积处理后得到第五特征图，该第五特征图的尺寸为H/4×W/4×8C；在第三卷积层中的第二子卷积层conv3-2中，卷积核的数量为16C，每个卷积核的尺寸均为3×3×8C，步长为2，padding值为1，第三卷积层中的第二子卷积层conv3-2按照上述的卷积方式对第五特征图进行卷积处理后得到第六特征图，该第六特征图的尺寸为H/8×W/8×16C，基于第三卷积层中的第二子卷积层conv3-2的步长为2，使得第六特征图的宽度降低至第四特征图的宽度的一半，第六特征图的高度也降低至第四特征图的高度的一半，第六特征图为目标特征图。
综上，每个卷积层中，第一子卷积层的步长为1，第二子卷积层的步长为2，且第一子卷积层的填充值与第二子卷积层的填充值均为1，基于3个第一子卷积层和3个第二子卷积层的交替使用，将目标特征图的宽度降低至待检测图像的宽度的1/8，并将目标特征图的高度也降低至待检测图像的高度1/8。
可以理解的是，目标特征图的宽度与待检测图像的宽度之间的比值不局限于1/8，其还可与为其他比例，通过调整卷积层的数量、步长和padding值等参数，使得目标特征图的宽度与待检测图像的宽度之间的比值为1/m，m为大于1的正整数，例如，m还可以为4或16等，还可以将目标特征图的宽度降低至待检测图像的宽度的1/4或1/16等；相应的，目标特征图的高度与待检测图像的高度之间的比值也不局限于1/8，其还可与为其他比例，通过调整卷积层的数量、步长和padding值等参数，使得目标特征图的高度与待检测图像的高度之间的比值为1/m，例如，m还可以为4或16等，还可以将目标特征图的高度降低至待检测图像的高度的1/4或1/16等。
通过卷积层对待检测图像进行卷积处理，使得目标特征图的宽度小于待检测图像的宽度，目标特征图的高度小于待检测图像的高度，从而减小后续进行池化处理的数据量。当卷积处理后得到的目标特征图的宽度和高度越小时，后续进行池化处理的数据量也就越少，从而可提高池化处理的速度，相应的，图像检测速率也就得到提高。
需要说明的是，在本申请实施例的偏移校正子网络210中，任意相邻两个子卷积层之间不设置池化层。通常，在相关技术中，是在每个卷积层后都设置池化层，通过池化层来降低特征图的尺寸，但是，池化处理会丢失掉卷积层输出的特征图的部分位置信息，因此，本申请实施例采用两个步长不同的子卷积层交替使用，在降低特征图的尺寸的同时，不会丢失特征图的位置信息，使得最后得到的目标特征图更能准确反映待检测图像的特征信息。
可以理解的是，第一子卷积层的步长不局限于1，第二子卷积层的步长不局限于2，可以将第二子卷积层的步长设置成大于第一子卷积层的步长，第一子卷积层的填充值与第二子卷积层的填充值设置成相等即可。例如，第一子卷积层的步长为1，第二子卷积层的步长为3，或者，第一子卷积层的步长为2，而第二子卷积层的步长为3等；另外，第一子卷积层的填充值与第二子卷积层的填充值也可以均设置为2或3等。
另外，在图5中，可以看出，在每个卷积层中，第二子卷积层中的卷积核的数量为第一子卷积层中的卷积核的数量的2倍，第一个卷积层包括的第一子卷积层中的卷积核的数量为待检测图像的通道数的2倍，第i个卷积层中的第一子卷积层的卷积核的数量与第i-1个卷积层中的第二子卷积层的卷积核的数量相等。其中，第一个卷积层指的是第一卷积层，第一个卷积层包括的第一子卷积层指的是第一卷积层中的第一子卷积层为conv1-1。
因此，当偏移校正子网络210中的卷积层的数量n等于3时，目标特征图的通道数为16C，假设偏移校正子网络210中的卷积层的数量n等于2时，目标特征图的通道数为8C，因此，目标特征图的通道数与待检测图像的通道数之间的比值为2n+1。
可以理解的是，目标特征图的通道数与待检测图像的通道数之间的比值不局限于2n+1，通过合理选取每个子卷积层中的卷积核的数量，使得目标特征图的通道数与待检测图像的通道数之间的比值不为2n+1，例如，每个子卷积层中的卷积核的数量均与待检测图像的通道数相等，使得目标特征图的通道数与待检测图像的通道数相等。
例如，待检测图像的尺寸为256×256×6，目标特征图的宽度降低至待检测图像的宽度的1/8，目标特征图的高度降低至待检测图像的高度1/8，目标特征图的通道数为待检测图像的通道数的16倍，则目标特征图的尺寸为32×32×96。
当卷积处理后得到的目标特征图的通道数越多时，卷积层中的卷积核的数量也就越多，从待检测图像中获取到的特征也就更充分，从而可提高图像检测的准确度；当卷积处理后得到的目标特征图的通道数越少时，则卷积层中的卷积核的数量也就越少，则偏移校正子网络210中的参数也就越少，从而提高卷积神经网络的训练和图像检测的速度。
步骤304，采用卷积神经网络中的池化层对目标特征图进行池化处理，得到池化结果。
如图4和图5所示，在采用卷积神经网络中的卷积层对待检测图像进行卷积处理，得到待检测图像对应的目标特征图之后，将目标特征图输入至卷积神经网络中的池化层，采用池化层对目标特征图进行池化处理，得到池化结果。
通常，两种常见的池化处理为均值池化（average pooling）和最大值池化（maxpooling），上两种池化处理均是在特征图的宽度和高度这两个维度进行处理，并不影响输出特征图的深度。
可选的，本申请实施例是采用均值池化方式对目标特征图进行池化处理，具体的，是采用卷积神经网络中的池化层对目标特征图中的每个通道进行全局平均池化，得到池化向量，该池化层也可称为全局平均池化层。
全局平均池化指的是对目标特征图中的每个通道的所有像素的像素值求平均值，最终得到多个数据组成的池化向量，池化向量中的数据的个数等于目标特征图的通道数。如图7所示，假设目标特征图中的一个通道的尺寸为4×4，共有16个像素值，对这16个像素值求平均值，即（1+1+2+4+5+6+7+8+3+2+1+0+1+2+3+4）/16=3。
因此，当目标特征图的尺寸为H/8×W/8×16C时，对每个通道内的H/8×W/8个像素值求平均值，得到16C个数据，这16C个数据组成16C×1大小的一维池化向量。
例如，当目标特征图的尺寸为32×32×96，对每个通道内的32×32个像素值求平均值，得到96个数据组成的池化向量。
步骤305，采用卷积神经网络中的全连接层对池化结果进行全连接处理，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值，目标通道为待检测图像中的任一通道。
如图4和图5所示，在采用卷积神经网络中的池化层对目标特征图进行池化处理，得到池化结果之后，将池化结果输入卷积神经网络中的的全连接层，采用全连接层对池化结果进行全连接处理，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值。
其中，全连接层包括权重矩阵和偏置向量，且权重矩阵的行数与所需的偏移值的数量相等，权重矩阵的列数与目标特征图的通道数相等，偏置向量中的数据的个数与所需的偏移值的数量相等。
当待检测图像的通道数为C时，以待检测图像中的一个通道作为目标通道，待检测图像中除目标通道外的其他通道均称为待校正通道，因此，待校正通道的数量为C-1，由于每个待校正通道需要沿x轴（即宽度方向）和y轴（即高度方向）进行校正，因此，所需的偏移值的数量为2（C-1），因此，权重矩阵为P×Q的二维矩阵时，P等于2（C-1），Q等于目标特征图的通道数。当目标特征图的通道数与待检测图像的通道数之间的比值为2n+1，则目标特征图的通道数为2n+1×C，Q也就等于2n+1×C。
实际上，采用全连接层对池化结果进行全连接处理，是通过下面的全连接公式进行计算：
Z=W×a+b
其中，a表示池化向量，W表示权重矩阵，b表示偏置向量，Z表示偏移值。若池化向量a为2n+1C×1大小的一维向量，权重矩阵W的行数为2（C-1），权重矩阵W的列数为2n+1×C，偏置向量b为1×2（C-1）大小的一维向量，因此，将池化向量与全连接层中的权重矩阵点乘后，再与全连接层中的偏置向量相加，可得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值，且该偏移值的数量等于2（C-1）。
这2（C-1）个偏移值包括沿x轴的第一偏移量和沿y轴的第二偏移量，第一偏移量的数量为C-1个，第二偏移量的数量为C-1。如图5所示，这2（C-1）个偏移值分别为x2、y2、x3、y3直至xc、yc。
在一些实施例中，目标通道为待检测图像的第一通道，即待检测图像中的第一个通道，则x2表示待检测图像的第二个通道需要沿x轴移动第一偏移量，y2表示待检测图像的第二个通道需要沿y轴移动的第二偏移量，x3表示待检测图像的第三个通道需要沿x轴移动的第一偏移量，y3表示待检测图像的第三个通道需要沿y轴移动的第二偏移量，以此类推，xc表示待检测图像的第C个通道需要沿x轴移动的第一偏移量，yc表示待检测图像的第C个通道需要沿y轴移动的第二偏移量。
例如，当待检测图像的通道数C为6时，将96个数据组成的池化向量输入全连接层进行全连接处理时，可得到10个偏移值，其分别为待检测图像中的第二个通道沿x轴移动的第一偏移量x2、待检测图像中的第二个通道沿y轴移动的第二偏移量y2、待检测图像的第三个通道沿x轴移动的第一偏移量x3，待检测图像的第三个通道沿y轴移动的第二偏移量y3、待检测图像的第四个通道沿x轴移动的第一偏移量x4，待检测图像的第四个通道沿y轴移动的第二偏移量y4、待检测图像的第五个通道沿x轴移动的第一偏移量x5，待检测图像的第五个通道沿y轴移动的第二偏移量y5、待检测图像的第六个通道沿x轴移动的第一偏移量x6，待检测图像的第六个通道沿y轴移动的第二偏移量y6。
步骤306，基于偏移值，对待检测图像中的各个待校正通道进行偏移校正，得到目标图像。
如图4和图5所示，在采用全连接层对池化结果进行全连接处理，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值之后，根据待检测图像中的各个待校正通道对应的偏移值，对待检测图像中的各个待校正通道进行偏移校正，得到目标图像。目标图像包括待检测图像的目标通道以及偏移校正后的各个待校正通道，在进行偏移校正时，目标通道内的像素保持不变，目标图像的通道数与待检测图像的通道数相等。
具体的，将待校正通道内的各个像素沿x轴均移动第一偏移量个像素，并将待校正通道内的各个像素沿y轴均移动第二偏移量个像素，得到目标图像；其中，在目标通道对应的图像定义域内，移动后的待校正通道与目标通道的非重合区域处填充有像素值为0的像素。目标通道对应的图像定义域指的是目标通道内的各个像素所围成的区域。
当待校正通道内的各个像素沿x轴均移动第一偏移量个像素，并将待校正通道内的各个像素沿y轴均移动第二偏移量个像素之后，移动后的待校正通道与目标通道会存在非重合区域，部分非重合区域位于目标通道对应的图像定义域之外，另一部分非重合区域位于目标通道对应的图像定义域之内，将移动后的待校正通道中位于图像定义域之外的非重合区域处的像素值删除，而在目标通道对应的图像定义域之内的非重合区域处，对移动后的待校正通道填充像素值为0的像素。
并且，填充的像素值为0的像素的行数，等于沿y轴移动的第二偏移量，填充的像素值为0的像素的列数，等于沿x轴移动的第一偏移量。
如图8所示，假设待检测图像中的第4个通道的尺寸为7×7，待检测图像中的第4个通道相对于待检测图像中的第1个通道，沿x轴移动的第一偏移量x4为1，沿y轴移动的第二偏移量y4也为1，因此，将第4个通道内的所有像素均沿x轴方向向右移动1个像素，沿y轴方向向下移动1个像素，因此，在目标通道对应的图像定义域内，移动后的待校正通道与目标通道会存在一行和一列的非重合区域，这一行非重合区域位于图像定义域的上侧，这一列非重合区域位于图像定义域的左侧，在这部分非重合区域处，对移动后的待校正通道填充一行和一列的像素值为0的像素，得到图8中右侧所示的移动后的待校正通道。
通过偏移值将待检测图像的各个通道内的像素对齐，当待检测图像存在裂纹时，偏移校正后得到的目标图像的裂纹也会对齐，从而后续再通过语义分割子网络对目标图像进行语义分割处理以识别裂纹的位置时，可以准确识别到该裂纹。
步骤307，采用卷积神经网络中的语义分割子网络对目标图像进行语义分割处理，得到待检测区域处的检测结果。
在本申请实施例中，卷积神经网络220中的语义分割子网络220可以为Unet语义分割网络，基于语义分割子网络220可对偏移校正后得到的目标图像进行语义分割处理，得到待检测区域处的检测结果，该检测结果实际上指的是缺陷的位置坐标。
Unet语义分割网络采用的是一个包含下采样和上采样的网络结构，其包括S个下采样单元和S个上采样单元，S为大于1的正整数；并且，第S个下采样单元与第1个上采样单元之间通过中间卷积层连接，第S个上采样单元之后连接一个卷积核尺寸为1×1的卷积层。
其中，每个下采样单元包括K个卷积层和一个最大池化层，每个上采样单元包括一个反卷积层和K个卷积层，K为正整数。在每个下采样单元中，卷积层的输出作为最大池化层的输入，第j个下采样单元中的最大池化层的输出作为第j+1个下采样单元中的卷积层的输入；第j个上采样单元中的卷积层的输出作为第j+1个上采样单元中的反卷积层的输入，并且，第j个下采样单元中的卷积层的输出与第S+1-j个上采样单元中的反卷积层的输出按照通道拼接后，作为第S+1-j个上采样单元中的卷积层的输入，1≤j≤S，j为正整数。通过将对应层数的下采样单元和上采样单元拼接，使得下采样单元提取到的特征可以传递到上采样单元，使得Unet语义分割网络的检测结果更加准确。
可选的，如图9所示，Unet语义分割网络包括4个下采样单元和4个上采样单元，即S等于4，每个下采样单元包括2个卷积层，每个上采样单元也包括2个卷积层，即K等于2，连接第4个下采样单元与第1个上采样单元的中间卷积层也包括两个卷积层。
其中，上采样单元、下采样单元和中间卷积层中包括的各个卷积层中的卷积核的尺寸（高度和宽度）均为3×3，其通道数与输入图像的通道数相等，对应的步长为1，padding值为1；上采样单元中的反卷积层中的反卷积核的尺寸为2×2，其通道数与输入图像的通道数相等，下采样单元中的最大池化层的池化核的尺寸为2×2，步长为2。
并且，后一个下采样单元包括的各个卷积层中的卷积核的数量，是前一个下采样单元包括的各个卷积层中的卷积核的数量的2倍，因此，每个下采样单元都可以将输入图像的通道数翻倍；每个下采样单元中的最大池化层的作用是降低特征图的尺寸、压缩数据和参数的数量，且每个下采样单元中的最大池化层都采用尺寸为2×2，步长为2的池化核，使得最大池化处理后得到的池化特征图的宽度和高度都降低至输入的卷积特征图的一半。
而后一个上采样单元包括的各个卷积层中的卷积核的数量，是前一个上采样单元包括的各个卷积层中的卷积核的数量的1/2，因此，每个上采样单元都可以将输入图像的通道数减半；每个上采样单元中的反卷积层中的反卷积核就是原卷积核的转置矩阵，使用反卷积层填充图像内容，使得输出图像的内容变的变得丰富，经过每个上采样单元中的反卷积层进行反卷积处理后，使得反卷积层处理后得到的反卷积特征图的宽度和高度都提高至输入的特征图的两倍，且反卷积层处理后得到的反卷积特征图的通道数降低至输入的特征图的通道数的一半。
如图9所示，当目标图像的尺寸为256×256×6时，将目标图像先输入到第一个下采样单元，第一个下采样单元中的两个卷积层中的卷积核的数据均为64，经过第一个下采样单元中的两个卷积层的卷积处理后，输出得到第一卷积特征图，第一卷积特征图的尺寸为256×256×64；然后，将第一卷积特征图输入到第一个下采样单元中的最大池化层，输出得到第一池化特征图，第一个下采样单元中的最大池化层的池化核的尺寸为2×2，个数为64，步长为2，使得第一池化特征图的宽度降低至第一卷积特征图的宽度的一半，第一池化特征图的高度也降低至第一卷积特征图的高度的一半，第一池化特征图的通道数与第一卷积特征图的通道数相等，则第一池化特征图的尺寸为128×128×64。
图10示出的是最大池化操作的具体计算方式，假设输入至最大池化层的输入图像的尺寸为4×4，池化核的尺寸为2×2，步长为2，则从左侧的输入图像的左上角开始，确定出左上角的四个像素值的最大值为6，然后向右滑动两个像素确定出最大值为8，以此类推，可得到右侧所示的池化特征图。
将第一池化特征图输入至第二个下采样单元，第二个下采样单元中的两个卷积层中的卷积核的数量均为128，经过第二个下采样单元中的两个卷积层的卷积处理后，输出得到第二卷积特征图，第二卷积特征图的尺寸为128×128×128；然后将第二卷积特征图输入至第二个下采样单元中的最大池化层，输出得到第二池化特征图，第二池化特征图的尺寸为64×64×128。
将第二池化特征图输入至第三个下采样单元，第三个下采样单元中的两个卷积层中的卷积核的数量均为256，经过第三个下采样单元中的两个卷积层的卷积处理后，输出得到第三卷积特征图，第三卷积特征图的尺寸为64×64×256；然后将第三卷积特征图输入至第三个下采样单元中的最大池化层，输出得到第三池化特征图，第三池化特征图的尺寸为32×32×256。
将第三池化特征图输入至第四个下采样单元，第四个下采样单元中的两个卷积层中的卷积核的数量均为512，经过第四个下采样单元中的两个卷积层的卷积处理后，输出得到第四卷积特征图，第四卷积特征图的尺寸为32×32×512；然后将第四卷积特征图输入至第四个下采样单元中的最大池化层，输出得到第四池化特征图，第四池化特征图的尺寸为16×16×512。
将第四池化特征图输入至中间卷积层，中间卷积层包括的两个卷积层中的卷积核的数量均为1024，经过中间卷积层中的两个卷积层的卷积处理后，输出得到第五卷积特征图，第五卷积特征图的尺寸为16×16×1024。
将第五卷积特征图输入至第一个上采样单元中的反卷积层，输出得到第一反卷积特征图，第一反卷积特征图的尺寸为32×32×512；然后，将第四个下采样单元（即j=4）中的两个卷积层输出的第四卷积特征图，与第一个上采样单元中的反卷积层输出的第一反卷积特征图按照通道进行拼接，拼接得到的第一拼接特征图的尺寸为32×32×1024；接着，将第一拼接特征图输入至第一个上采样单元中的卷积层，第一个上采样单元中的两个卷积层的卷积核的数量均为512，经过第一个上采样单元中的两个卷积层的卷积处理后，输出得到第六卷积特征图，第六卷积特征图的尺寸为32×32×512。
将第六卷积特征图输入至第二个上采样单元中的反卷积层，输出得到第二反卷积特征图，第二反卷积特征图的尺寸为64×64×256；然后，将第三个下采样单元（即j=3）中的两个卷积层输出的第三卷积特征图，与第二个上采样单元中的反卷积层输出的第二反卷积特征图按照通道进行拼接，拼接得到的第二拼接特征图的尺寸为64×64×512；接着，将第二拼接特征图输入至第二个上采样单元中的卷积层，第二个上采样单元中的两个卷积层的卷积核的数量均为256，经过第二个上采样单元中的两个卷积层的卷积处理后，输出得到第七卷积特征图，第七卷积特征图的尺寸为64×64×256。
将七卷积特征图输入至第三个上采样单元中的反卷积层，输出得到第三反卷积特征图，第三反卷积特征图的尺寸为128×128×128；然后，将第二个下采样单元（即j=2）中的两个卷积层输出的第二卷积特征图，与第三个上采样单元中的反卷积层输出的第三反卷积特征图按照通道进行拼接，拼接得到的第三拼接特征图的尺寸为128×128×256；接着，将第三拼接特征图输入至第三个上采样单元中的卷积层，第三个上采样单元中的两个卷积层的卷积核的数量均为128，经过第三个上采样单元中的两个卷积层的卷积处理后，输出得到第八卷积特征图，第八卷积特征图的尺寸为128×128×128。
将第八卷积特征图输入至第四个上采样单元中的反卷积层，输出得到第四反卷积特征图，第四反卷积特征图的尺寸为256×256×64；然后，将第一个下采样单元（即j=1）中的两个卷积层输出的第一卷积特征图，与第四个上采样单元中的反卷积层输出的第四反卷积特征图按照通道进行拼接，拼接得到的第四拼接特征图的尺寸为256×256×128；接着，将第四拼接特征图输入至第四个上采样单元中的卷积层，第四个上采样单元中的两个卷积层的卷积核的数量均为64，经过第四个上采样单元中的两个卷积层的卷积处理后，输出得到第九卷积特征图，第九卷积特征图的尺寸为256×256×64。
最后，由于第四个上采样单元之后连接一个卷积核尺寸为1×1的卷积层，该卷积层中卷积核的数量为2，每个卷积核的通道数为64，对第九卷积特征图进行卷积处理后，将64个通道的特征向量转换为所需的分类结果的数量（分类结果的数量为2），从而得到待检测区域处的检测结果。
可以理解的是，在下采样单元和上采样单元中的每个卷积层中，其padding值也可均设置为0，因此，输入特征图经过两个卷积层卷积处理后，其宽度和高度均减小4，例如，输入特征图中每个通道的尺寸为256×256，经过第一个卷积层后，尺寸变为254×254，再经过第二个卷积层后，尺寸变为252×252。而当下采样单元和上采样单元中的每个卷积层的padding值为0时，在对第j个下采样单元中的卷积层的输出与第S+1-j个上采样单元中的反卷积层的输出按照通道拼接时，首先要将对第j个下采样单元中的卷积层的输出的特征图进行裁剪，使得第j个下采样单元中的卷积层的输出的特征图的宽度等于第S+1-j个上采样单元中的反卷积层的输出的特征图的宽度，且第j个下采样单元中的卷积层的输出的特征图的高度等于第S+1-j个上采样单元中的反卷积层的输出的特征图的高度，然后再将裁剪后的特征图，与第S+1-j个上采样单元中的反卷积层的输出的特征图进行拼接。
需要说明的是，本申请实施例中的语义分割子网络220不局限于Unet语义分割网络，其还可以为其他语义分割网络，如FCN语义分割网络等。
可选的，在使用卷积神经网络之前，需要对卷积神经网络进行训练。具体的：获取训练数据，训练数据包括多个样本图像组合和每个样本图像组合的目标值，每个样本图像组合包括同一检测区域处采集的至少两张样本图像；将至少两张样本图像合成样本合成图像；采用卷积神经网络对样本合成图像进行处理，得到样本合成图像的预测值；根据预测值、和损失函数，确定样本合成图像的损失值；基于损失值，更新卷积神经网络中的参数。
其中，样本图像组合包括同一检测区域处采集的至少两张样本图像，其可以是一张暗场下采集的样本图像和一张明场下采集的样本图像，并且，该样本图像可以是有缺陷的图像，也可以是无缺陷的图像。此外，还需要人工识别各个样本图像是否存在缺陷，并根据是否存在缺陷，对各个样本图像组合标注其目标值，当样本图像组合存在缺陷时，目标值为样本图像组合中的各个样本图像的缺陷处的位置坐标，当样本图像组合不存在缺陷时，目标值表示样本图像组合不存在缺陷。
对同一样本图像组合中的至少两张样本图像进行合成，得到样本合成图像，然后将样本合成图像输入未训练好的卷积神经网络中，输出得到样本合成图像的预测值。在训练卷积神经网络的过程中，因为希望卷积神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前卷积神经网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为卷积神经网络中的各层预先配置参数)，比如，如果卷积神经网络的预测值高了，就调整权重向量让它的预测值低一些，不断的调整，直到卷积神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么卷积神经网络的训练就变成了尽可能缩小这个loss的过程。
可选的，损失函数可以为
Figure 660305DEST_PATH_IMAGE001
，该损失函数称为Dice损失函数，X表示预测 值，Y表示目标值，L为损失值，|X⋂Y|表示X和Y集合的交集，|X|表示对X集合内的所有元素求 和，|Y|表示对Y集合内的所有元素求和。
实际上，根据样本合成图像的预测值、目标值和损失函数不断对卷积神经网络进行调整，是调整偏移校正子网络中的各个卷积层的卷积核、偏移校正子网络中的全连接层的权重矩阵和偏置向量，以及语义分割子网络中的各个卷积核和反卷积核的参数等。
此外，为了得到最终的卷积神经网络，需要将所有的数据集划分为训练集、验证集和测试集，训练集中的数据也就是训练数据，通过训练集训练卷积神经网络，根据情况调整卷积神经网络内的参数，选择出其中最好的模型，然后再用训练集和验证集训练出一个最终的模型，最后用测试集评估最终的模型。
上面已对本申请实施例的图像检测处理方法进行了说明，下面对本申请实施例提供的执行上述图像检测方法的图像检测装置进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本申请实施例提供的图像检测装置可以执行上述图像检测方法的步骤。
图11为本申请实施例提供的一种图像检测装置的示意性框图。图11所示的图像检测装置1100包括：通信单元1101和处理单元1102。其中，通信单元1101，用于获取至少两张原始图像，每张原始图像均为终端设备中的显示屏的弯折区内的同一待检测区域处的图像；处理单元1102，用于将至少两张原始图像合成待检测图像；采用卷积神经网络中的卷积层对待检测图像进行卷积处理，得到待检测图像对应的目标特征图；采用卷积神经网络中的池化层对目标特征图进行池化处理，得到池化结果；采用卷积神经网络中的全连接层对池化结果进行全连接处理，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值，目标通道为待检测图像中的任一通道；基于偏移值，对待检测图像中的各个待校正通道进行偏移校正，得到目标图像；采用卷积神经网络中的语义分割子网络对目标图像进行语义分割处理，得到待检测区域处的检测结果。
可选的，处理单元1102，具体用于采用卷积神经网络中的n个卷积层对待检测图像进行卷积处理，得到第n个卷积层输出的目标特征图；其中，每个卷积层包括第一子卷积层和第二子卷积层，第二子卷积层的输入为第一子卷积层输出的特征图，n个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，n为大于1的正整数，1＜i≤n，i为正整数。
可选的，第二子卷积层的步长大于第一子卷积层的步长，第一子卷积层的填充值与第二子卷积层的填充值相等；目标特征图的宽度与待检测图像的宽度之间的比值为1/m，目标特征图的高度与待检测图像的高度之间的比值为1/m，m为大于1的正整数。
可选的，在每个卷积层中，第二子卷积层中的卷积核的数量为第一子卷积层中的卷积核的数量的2倍，第一个卷积层包括的第一子卷积层中的卷积核的数量为待检测图像的通道数的2倍，第i个卷积层中的第一子卷积层的卷积核的数量与第i-1个卷积层中的第二子卷积层的卷积核的数量相等，目标特征图的通道数与待检测图像的通道数之间的比值为2n+1。
可选的，处理单元1102，具体用于采用卷积神经网络中的池化层对目标特征图中的每个通道进行全局平均池化，得到池化向量。
可选的，处理单元1102，具体用于将池化向量与全连接层中的权重矩阵点乘后，再与全连接层中的偏置向量相加，得到待检测图像中除目标通道外的其他待校正通道相对于目标通道的偏移值；其中，偏移值包括沿x轴的第一偏移量和沿y轴的第二偏移量，待检测图像的通道数为C，偏移值的数量为2（C-1）个，权重矩阵为P×Q的二维矩阵，P等于2（C-1），Q等于目标特征图的通道数。
可选的，处理单元1102，具体用于将待校正通道内的各个像素沿x轴均移动第一偏移量个像素，并将待校正通道内的各个像素沿y轴均移动第二偏移量个像素，得到目标图像；其中，在目标通道对应的图像定义域内，移动后的待校正通道与目标通道的非重合区域处填充有像素值为0的像素。
可选的，通信单元1101，还用于获取训练数据，训练数据包括多个样本图像组合和每个样本图像组合的目标值，每个样本图像组合包括同一检测区域处采集的至少两张样本图像；处理单元1102，还用于将至少两张样本图像合成样本合成图像；采用卷积神经网络对样本合成图像进行处理，得到样本合成图像的预测值；根据预测值、目标值和损失函数，确定样本合成图像的损失值；基于损失值，更新卷积神经网络中的参数。
可选的，原始图像的数量为两张，其中一张原始图像为明场下采集的待检测区域处的图像，另一张原始图像为暗场下采集的待检测区域处的图像。
图12为本申请实施例提供的一种计算设备的硬件结构示意图。图12所示的计算设备1200包括：存储器1201、处理器1202和通信接口1203，其中，存储器1201、处理器1202、通信接口1203可以通信；示例性的，存储器1201、处理器1202和通信接口1203可以通过通信总线通信。
存储器1201可以是只读存储器（read only memory，ROM），静态存储设备，动态存储设备或者随机存取存储器（random access memory，RAM）。存储器1201可以存储计算机程序，由处理器1202来控制执行，并由通信接口1203来执行通信，从而实现本申请上述实施例提供的图像检测方法。
处理器1202可以采用通用的中央处理器（central processing unit，CPU），微处理器，应用专用集成电路（application apecific antegrated aircuit，ASIC），图形处理器（graphics processing unit，GPU）或者一个或多个集成电路。
处理器1202还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的图像检测方法的功能可以通过处理器1202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1202还可以是通用处理器、数字信号处理器（digital signalprocessing，DSP）、专用集成电路（ASIC）、现成可编程门阵列（field programmable gatearray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请下文实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请下文实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1201，处理器1202读取存储器1201中的信息，结合其硬件完成本申请实施例的图像检测方法的功能。
可选的，通信接口1203使用例如但不限于收发器一类的收发模块，来实现计算设备1200与其他设备或通信网络之间的通信。例如，可以通过通信接口1203获取原始图像。
另外，本申请实施例中的图像检测装置1100可部署在任意环境中的一个计算设备上（例如：单独部署在边缘环境的一个边缘服务器上），图像检测装置1100也可以分布式地部署在不同的环境中。
例如，图像检测装置1100可以在逻辑上分成多个部分，每个部分具有不同的功能，图像检测装置1100中的各部分可以分别部署在终端计算设备（位于用户侧）、边缘环境和云环境中的任意两个或三个中。位于用户侧的终端计算设备例如可以包括下述至少一种：终端服务器、智能手机、笔记本电脑、平板电脑、个人台式电脑、智能摄相机等。边缘环境为包括距离终端计算设备较近的边缘计算设备集合的环境，边缘计算设备包括：边缘服务器、拥有计算力的边缘小站等。部署在不同环境或设备的图像检测装置1100的各个部分协同实现图像检测功能。
应理解，本申请实施例不对图像检测装置的哪些部分部署具体部署在什么环境进行限制性的划分，实际应用时可根据终端计算设备的计算能力、边缘环境和云环境的资源占有情况或具体应用需求进行适应性的部署。
本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
一种可能的实现方式中，计算机可读介质可以包括RAM，ROM，只读光盘（compactdisc read-only memory，CD-ROM）或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线（Digital Subscriber Line，DSL）或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘（Digital Versatile Disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
图13为本申请实施例提供的一种图像检测系统的结构示意图。图13所示的图像检测系统1300包括图像采集装置1301和上述的图像检测装置1100；图像采集装置1301，用于采集至少两张原始图像，并将至少两张原始图像发送至图像采集装置1100。
可选的，图像采集装置1301可采用飞拍成像技术对整个弯折区内的各个待检测区域进行图像，以提高了原始图像采集的效率，进而提高缺陷检测的效率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像检测系统1300中的图像采集装置1100的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (21)

1.一种图像检测方法，其特征在于，包括：
计算设备获取至少两张原始图像；每张所述原始图像均为终端设备中的显示屏的弯折区内的同一待检测区域处的图像；
所述计算设备将所述至少两张原始图像合成待检测图像；
所述计算设备采用卷积神经网络中的卷积层对所述待检测图像进行卷积处理，得到所述待检测图像对应的目标特征图；
所述计算设备采用所述卷积神经网络中的池化层对所述目标特征图进行池化处理，得到池化结果；
所述计算设备采用所述卷积神经网络中的全连接层对所述池化结果进行全连接处理，得到所述待检测图像中除目标通道外的其他待校正通道相对于所述目标通道的偏移值；所述目标通道为所述待检测图像中的任一通道；
所述计算设备基于所述偏移值，对所述待检测图像中的各个所述待校正通道进行偏移校正，得到目标图像；
所述计算设备采用所述卷积神经网络中的语义分割子网络对所述目标图像进行语义分割处理，得到所述待检测区域处的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述计算设备采用卷积神经网络中的卷积层对所述待检测图像进行卷积处理，得到所述待检测图像对应的目标特征图，包括：
所述计算设备采用所述卷积神经网络中的n个卷积层对所述待检测图像进行卷积处理，得到第n个卷积层输出的所述目标特征图；
其中，每个所述卷积层包括第一子卷积层和第二子卷积层，所述第二子卷积层的输入为所述第一子卷积层输出的特征图，所述n个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，所述n为大于1的正整数，1＜i≤n，所述i为正整数。
3.根据权利要求2所述的方法，其特征在于，所述第二子卷积层的步长大于所述第一子卷积层的步长，所述第一子卷积层的填充值与所述第二子卷积层的填充值相等；
所述目标特征图的宽度与所述待检测图像的宽度之间的比值为1/m，所述目标特征图的高度与所述待检测图像的高度之间的比值为1/m，所述m为大于1的正整数。
4.根据权利要求2所述的方法，其特征在于，在每个所述卷积层中，所述第二子卷积层中的卷积核的数量为所述第一子卷积层中的卷积核的数量的2倍，第一个所述卷积层包括的所述第一子卷积层中的卷积核的数量为所述待检测图像的通道数的2倍，第i个所述卷积层中的所述第一子卷积层的卷积核的数量与第i-1个所述卷积层中的所述第二子卷积层的卷积核的数量相等，所述目标特征图的通道数与所述待检测图像的通道数之间的比值为2n +1。
5.根据权利要求1所述的方法，其特征在于，所述计算设备采用所述卷积神经网络中的池化层对所述目标特征图进行池化处理，得到池化结果，包括：
所述计算设备采用所述卷积神经网络中的池化层对所述目标特征图中的每个通道进行全局平均池化，得到池化向量。
6.根据权利要求5所述的方法，其特征在于，所述计算设备采用所述卷积神经网络中的全连接层对所述池化结果进行全连接处理，得到所述待检测图像中除目标通道外的其他待校正通道相对于所述目标通道的偏移值，包括：
所述计算设备将所述池化向量与所述全连接层中的权重矩阵点乘后，再与所述全连接层中的偏置向量相加，得到所述待检测图像中除目标通道外的其他待校正通道相对于所述目标通道的偏移值；
其中，所述偏移值包括沿x轴的第一偏移量和沿y轴的第二偏移量，所述待检测图像的通道数为C，所述偏移值的数量为2（C-1）个，所述权重矩阵为P×Q的二维矩阵，所述P等于2（C-1），所述Q等于所述目标特征图的通道数。
7.根据权利要求6所述的方法，其特征在于，所述计算设备基于所述偏移值，对所述待检测图像中的各个所述待校正通道进行偏移校正，得到目标图像，包括：
所述计算设备将所述待校正通道内的各个像素沿x轴均移动所述第一偏移量个像素，并将所述待校正通道内的各个像素沿y轴均移动所述第二偏移量个像素，得到所述目标图像；
其中，在所述目标通道对应的图像定义域内，移动后的所述待校正通道与所述目标通道的非重合区域处填充有像素值为0的像素。
8.根据权利要求1所述的方法，其特征在于，在所述计算设备采用卷积神经网络中的卷积层对所述待检测图像进行卷积处理，得到所述待检测图像对应的目标特征图之前，还包括：
所述计算设备获取训练数据；所述训练数据包括多个样本图像组合和每个所述样本图像组合的目标值，每个所述样本图像组合包括同一检测区域处采集的至少两张样本图像；
所述计算设备将所述至少两张样本图像合成样本合成图像；
所述计算设备采用卷积神经网络对所述样本合成图像进行处理，得到所述样本合成图像的预测值；
所述计算设备根据所述预测值、所述目标值和损失函数，确定所述样本合成图像的损失值；
所述计算设备基于所述损失值，更新所述卷积神经网络中的参数。
9.根据权利要求1所述的方法，其特征在于，所述原始图像的数量为两张，其中一张所述原始图像为明场下采集的所述待检测区域处的图像，另一张所述原始图像为暗场下采集的所述待检测区域处的图像。
10.一种图像检测装置，其特征在于，包括：
通信单元，用于获取至少两张原始图像；每张所述原始图像均为终端设备中的显示屏的弯折区内的同一待检测区域处的图像；
处理单元，用于将所述至少两张原始图像合成待检测图像；采用卷积神经网络中的卷积层对所述待检测图像进行卷积处理，得到所述待检测图像对应的目标特征图；采用所述卷积神经网络中的池化层对所述目标特征图进行池化处理，得到池化结果；采用所述卷积神经网络中的全连接层对所述池化结果进行全连接处理，得到所述待检测图像中除目标通道外的其他待校正通道相对于所述目标通道的偏移值，所述目标通道为所述待检测图像中的任一通道；基于所述偏移值，对所述待检测图像中的各个所述待校正通道进行偏移校正，得到目标图像；采用所述卷积神经网络中的语义分割子网络对所述目标图像进行语义分割处理，得到所述待检测区域处的检测结果。
11.根据权利要求10所述的装置，其特征在于，所述处理单元，具体用于采用所述卷积神经网络中的n个卷积层对所述待检测图像进行卷积处理，得到第n个卷积层输出的所述目标特征图；
其中，每个所述卷积层包括第一子卷积层和第二子卷积层，所述第二子卷积层的输入为所述第一子卷积层输出的特征图，所述n个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，所述n为大于1的正整数，1＜i≤n，所述i为正整数。
12.根据权利要求11所述的装置，其特征在于，所述第二子卷积层的步长大于所述第一子卷积层的步长，所述第一子卷积层的填充值与所述第二子卷积层的填充值相等；
所述目标特征图的宽度与所述待检测图像的宽度之间的比值为1/m，所述目标特征图的高度与所述待检测图像的高度之间的比值为1/m，所述m为大于1的正整数。
13.根据权利要求11所述的装置，其特征在于，在每个所述卷积层中，所述第二子卷积层中的卷积核的数量为所述第一子卷积层中的卷积核的数量的2倍，第一个所述卷积层包括的所述第一子卷积层中的卷积核的数量为所述待检测图像的通道数的2倍，第i个所述卷积层中的所述第一子卷积层的卷积核的数量与第i-1个所述卷积层中的所述第二子卷积层的卷积核的数量相等，所述目标特征图的通道数与所述待检测图像的通道数之间的比值为2n+1。
14.根据权利要求10所述的装置，其特征在于，所述处理单元，具体用于采用所述卷积神经网络中的池化层对所述目标特征图中的每个通道进行全局平均池化，得到池化向量。
15.根据权利要求14所述的装置，其特征在于，所述处理单元，具体用于将所述池化向量与所述全连接层中的权重矩阵点乘后，再与所述全连接层中的偏置向量相加，得到所述待检测图像中除目标通道外的其他待校正通道相对于所述目标通道的偏移值；
其中，所述偏移值包括沿x轴的第一偏移量和沿y轴的第二偏移量，所述待检测图像的通道数为C，所述偏移值的数量为2（C-1）个，所述权重矩阵为P×Q的二维矩阵，所述P等于2（C-1），所述Q等于所述目标特征图的通道数。
16.根据权利要求15所述的装置，其特征在于，所述处理单元，具体用于将所述待校正通道内的各个像素沿x轴均移动所述第一偏移量个像素，并将所述待校正通道内的各个像素沿y轴均移动所述第二偏移量个像素，得到所述目标图像；
其中，在所述目标通道对应的图像定义域内，移动后的所述待校正通道与所述目标通道的非重合区域处填充有像素值为0的像素。
17.根据权利要求10所述的装置，其特征在于，所述通信单元，还用于获取训练数据；所述训练数据包括多个样本图像组合和每个所述样本图像组合的目标值，每个所述样本图像组合包括同一检测区域处采集的至少两张样本图像；
所述处理单元，还用于将所述至少两张样本图像合成样本合成图像；采用卷积神经网络对所述样本合成图像进行处理，得到所述样本合成图像的预测值；根据所述预测值、所述目标值和损失函数，确定所述样本合成图像的损失值；基于所述损失值，更新所述卷积神经网络中的参数。
18.根据权利要求10所述的装置，其特征在于，所述原始图像的数量为两张，其中一张所述原始图像为明场下采集的所述待检测区域处的图像，另一张所述原始图像为暗场下采集的所述待检测区域处的图像。
19.一种图像检测系统，其特征在于，包括图像采集装置以及如权利要求10至18中任一项所述的图像检测装置；
所述图像采集装置，用于采集至少两张原始图像，并将所述至少两张原始图像发送至所述图像检测装置。
20.一种计算设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1至9中任一项所述的图像检测方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至9中任一项所述的图像检测方法。
CN202110933938.9A 2021-08-16 2021-08-16 图像检测方法、装置、系统、计算设备及可读存储介质 Active CN113379746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110933938.9A CN113379746B (zh) 2021-08-16 2021-08-16 图像检测方法、装置、系统、计算设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110933938.9A CN113379746B (zh) 2021-08-16 2021-08-16 图像检测方法、装置、系统、计算设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113379746A CN113379746A (zh) 2021-09-10
CN113379746B true CN113379746B (zh) 2021-11-02

Family

ID=77577144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110933938.9A Active CN113379746B (zh) 2021-08-16 2021-08-16 图像检测方法、装置、系统、计算设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113379746B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115144B (zh) * 2023-10-18 2024-05-24 深圳市强达电路股份有限公司 一种pcb内部孔位缺陷在线检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540641A (zh) * 2018-02-28 2018-09-14 努比亚技术有限公司 复合图像获取方法、柔性屏终端及计算机可读存储介质
CN110070524A (zh) * 2019-04-03 2019-07-30 北京东舟技术股份有限公司 一种智能终端面板视觉故障检测系统
CN110188047A (zh) * 2019-06-20 2019-08-30 重庆大学 一种基于双通道卷积神经网络的重复缺陷报告检测方法
CN112508975A (zh) * 2020-12-21 2021-03-16 上海眼控科技股份有限公司 一种图像识别方法、装置、设备及存储介质
CN112561904A (zh) * 2020-12-24 2021-03-26 凌云光技术股份有限公司 一种降低显示屏外观aoi缺陷误检率的方法及系统
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853959B2 (en) * 2019-04-01 2020-12-01 Sandisk Technologies Llc Optical inspection tool and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540641A (zh) * 2018-02-28 2018-09-14 努比亚技术有限公司 复合图像获取方法、柔性屏终端及计算机可读存储介质
CN110070524A (zh) * 2019-04-03 2019-07-30 北京东舟技术股份有限公司 一种智能终端面板视觉故障检测系统
CN110188047A (zh) * 2019-06-20 2019-08-30 重庆大学 一种基于双通道卷积神经网络的重复缺陷报告检测方法
CN112508975A (zh) * 2020-12-21 2021-03-16 上海眼控科技股份有限公司 一种图像识别方法、装置、设备及存储介质
CN112561904A (zh) * 2020-12-24 2021-03-26 凌云光技术股份有限公司 一种降低显示屏外观aoi缺陷误检率的方法及系统
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测;邓志鹏 等;《测绘学报》;20180930;第47卷(第9期);第1216-1227页 *

Also Published As

Publication number Publication date
CN113379746A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
US10708525B2 (en) Systems and methods for processing low light images
US10205896B2 (en) Automatic lens flare detection and correction for light-field images
WO2020192483A1 (zh) 图像显示方法和设备
EP3134868B1 (en) Generation and use of a 3d radon image
JP5871862B2 (ja) ３ｄ深度情報に基づいたイメージぼかし
US20210133920A1 (en) Method and apparatus for restoring image
KR101800995B1 (ko) 위상 기반 오토포커스를 위한 신뢰도 측정
CN112862877B (zh) 用于训练图像处理网络和图像处理的方法和装置
US20200195910A1 (en) Apparatus including multiple cameras and image processing method
CN110599455A (zh) 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
EP4055556B1 (en) Defocus blur removal and depth estimation using dual-pixel image data
CN113379746B (zh) 图像检测方法、装置、系统、计算设备及可读存储介质
KR20220078283A (ko) 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법
EP4032061A1 (en) Learning-based lens flare removal
EP2750391B1 (en) Method, apparatus and computer program product for processing of images
US8786616B2 (en) Parallel processing for distance transforms
US20190246046A1 (en) System and method for photographic effects
CN115619678A (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN114119701A (zh) 图像处理方法及其装置
CN115170383A (zh) 一种图像虚化方法、装置、存储介质及终端设备
CN113096084B (zh) 基于阵列相机成像的视觉检测方法、设备及系统
CN113436245B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN112866550B (zh) 相位差获取方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 518122 floor 5, building B1, glory Intelligent Manufacturing Industrial Park, No. 9, Lanzhu West Road, Zhukeng community, Longtian street, Pingshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen glory Intelligent Machine Co.,Ltd.

Address before: 518118 sixth floor, No. 1 plant, Swire Yinde Industrial Park, No. 2 Jinxiang Third Road, Zhukeng community, Longtian street, Pingshan District, Shenzhen, Guangdong

Patentee before: Shenzhen glory Intelligent Machine Co.,Ltd.

CP02 Change in the address of a patent holder