CN113516612A - 数据处理方法、装置、设备和存储介质 - Google Patents

数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113516612A
CN113516612A CN202010287409.1A CN202010287409A CN113516612A CN 113516612 A CN113516612 A CN 113516612A CN 202010287409 A CN202010287409 A CN 202010287409A CN 113516612 A CN113516612 A CN 113516612A
Authority
CN
China
Prior art keywords
image
target object
detection model
target
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010287409.1A
Other languages
English (en)
Other versions
CN113516612B (zh
Inventor
白德桃
周静辉
魏溪含
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010287409.1A priority Critical patent/CN113516612B/zh
Publication of CN113516612A publication Critical patent/CN113516612A/zh
Application granted granted Critical
Publication of CN113516612B publication Critical patent/CN113516612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种数据处理方法、装置、设备和存储介质，该方法包括：获取包含目标对象的待检测图像以及与目标对象对应的模板图像，并根据二者确定辅助图像，此辅助图像用于表明两图像之间对应像素点的像素值差异。接着，提取辅助图像的图像特征，并根据提取出的图像特征确定待检测图像中目标对象的质量级别数据。可见，上述是一个自动确定目标对象质量的方法，能够大大提高质检的效率。并且通过引入模板图像得到的辅助图像，能够将目标对象中的瑕疵区域凸显出来，再根据从此辅助图像中提取的图像特征进行质量检测，从而保证了目标对象中的非瑕疵区域不会对质量检测造成干扰，保证质量级别数据的准确性。

Description

数据处理方法、装置、设备和存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。
背景技术
在生产领域，无论是何种产品，在出厂销售之前，质量检测都是一项比不可少的环节。以布匹生产为例，由于生产环境、生产设备以及生产工艺等多方面因素的影响，生产出的布匹有可能会出现如缝头、虫粘、沾污、花毛、破洞、缝头印、错花、色差等等的多种类型的缺陷。
但是现有技术中人工检测缺陷的方式效率十分低下，并且质量检测过程中使用的强光还会对人眼造成损伤。因此，如何实现质量检测的自动化就成为一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法、装置、设备和存储介质，用以提高质量检测的效率。
第一方面，本发明实施例提供一种数据处理方法，包括：
获取包含目标对象的待检测图像；
获取与所述目标对象对应的模板图像；
确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像；
对所述辅助图像进行图像特征提取；
根据提取出的图像特征，确定所述目标对象对应的质量级别数据。
第二方面，本发明实施例提供一种数据处理装置，包括：
获取模块，用于获取包含目标对象的待检测图像以及与所述目标对象对应的模板图像；
图像确定模块，用于确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像；
提取模块，用于对所述辅助图像进行图像特征提取；
结果确定模块，用于根据提取出的图像特征，确定所述目标对象对应的质量级别数据。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的数据处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的数据处理方法。
第五方面，本发明实施例提供一种数据处理方法，包括：
获取包含目标对象的样本图像以及与所述目标对象对应的模板图像；
确定反映所述样本图像与所述模板图像之间像素值差异的辅助图像；
根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据；
响应于用户对所述质量级别数据的修改，根据修改后的质量级别数据调整所述检测模型的参数，以使所述检测模型收敛。
第六方面，本发明实施例提供一种数据处理装置，包括：
获取模块，用于获取包含目标对象的样本图像以及与所述目标对象对应的模板图像；
图像确定模块，用于确定反映所述样本图像与所述模板图像之间像素值差异的辅助图像；
训练模块，用于根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据；
调整模块，用于响应于用户对所述质量级别数据的修改，根据修改后的质量级别数据调整所述检测模型的参数，以使所述检测模型收敛。
第七方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的数据处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第五方面所述的数据处理方法。
本发明实施例提供的数据处理方法，获取包含目标对象的待检测图像以及与目标对象对应的模板图像，其中，待检测图像中包含的需要进行质量检测的目标对象，而模板图像中包含的对象与目标对象相同且不存在瑕疵。再根据两图像确定辅助图像，此辅助图像用于表明两图像之间对应像素点的像素值差异。接着，提取辅助图像的图像特征，并根据提取出的图像特征确定待检测图像中目标对象对应的质量级别数据。
可见，上述是一个自动确定目标对象质量的方法，可以大大提高质检效率。并且辅助图像反映的是待检测图像与模板图像之间差异。当待检测图像中的目标对象存在质量问题即存在瑕疵区域时，通过引入模板图像得到的辅助图像可以将目标对象中的瑕疵区域凸显出来，再根据从此辅助图像中提取的图像特征来进行质检，保证了目标对象中的非瑕疵区域不会对质量检测造成干扰，从而保证质量级别数据的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程图；
图2a为待检测图像中的目标对象不存在瑕疵时对应的辅助图像；
图2b为待检测图像中的目标对象存在瑕疵时对应的辅助图像；
图3为本发明实施例提供的一种检测模型对图像的处理过程的示意图；
图4为本发明实施例提供的另一种数据处理方法的流程图；
图5为本发明实施例提供的又一种数据处理方法的流程图；
图6为本发明实施例提供的又一种数据处理方法的流程图；
图7为本发明实施例提供的另一种数据处理模型对图像的处理过程的示意图；
图8为本发明实施例提供的又一种数据处理方法的流程图；
图9为本发明实施例提供的一种数据处理装置的结构示意图；
图10为与图9所示实施例提供的数据处理装置对应的电子设备的结构示意图；
图11为本发明实施例提供的另一种数据处理装置的结构示意图；
图12为与图11所示实施例提供的数据处理装置对应的电子设备的结构示意图；
图13为本发明实施例提供的数据处理方法在花纹图案布匹检测场景下的示意图；
图14为本发明实施例提供的检测模型训练过程在花纹图案布匹检测场景下的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
下面以对带有花纹图案的布匹进行质量检测场景为例，对本发明实施例提供的数据处理方法进行说明。但在此之前，可以先对执行该数据处理方法的现实意义进行说明：
正如背景技术中提到的，质量检测是产品出厂前一项必不可少的环节。为了保证检测的效率，可以使用检测算法来代替人工检测。现有技术中使用检测算法进行自动化质检的主要过程为：获取包含待检测花纹图案的待检测图像，先对此图像进行特征提取，再利用提取出的图像特征检测产品质量。
但在使用现有检测算法进行质检时，布匹上的花纹图案往往会对真正的瑕疵区域造成干扰，因此，检测算法常常会将布匹上的花纹图案误认为是布匹的瑕疵。另外，对于错花、色差等类型的瑕疵，这类瑕疵表示的是印染出来的花纹图案与设计的花纹图案之间的差异，单独使用一张图像是无法检测出上述类型的瑕疵的。因此，使用现有的检测算法并不能保证质量检测的准确性。为了提高质检准确性，则可以使用本发明下述各实施例提供的数据处理方法来实现花纹团布匹的自动质检。
需要说明的有，下述各实施例提供的数据处理方法同样也适用于纯色布的质量检测。同时，除了上述布匹的检测场景之外，对于其他颜色复杂、多变的产品，比如PCB电路板的检测、带有花纹的轮胎的检测、瓷砖瑕疵的检测等等，下述各实施例提供的数据处理方法同样适用。
需要说明的还有，本发明提供的数据处理方法除了能够对实际的产品进行检测，还可以对非实物的内容进行检测，比如检测拍摄设备拍得的图片或者视频中是否存在瑕疵，瑕疵可以是图片或视频中存在的污点等等。
基于上述内容，使用本发明各实施例提供的数据处理方法进行质量检测的既可以是实物，比如上述提及的花纹图案布匹、带有花纹的轮胎、PCB电路板、瓷砖等等，也可以是非实物，比如图片或视频等等，这些进行检测的内容可以统称为目标对象。
下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
本发明提供的下述各实施例均以花纹图案布匹的质量检测场景为例进行说明。在此种场景下，待检测图像中包含目标对象是实际的待检测产品，也即是带有花纹图案的布匹，模板图像中包含的是不存在瑕疵的花纹图案布匹，当然两图像中的布匹具有相同的花纹图案。
图1为本发明实施例提供的一种数据处理方法的流程图，本发明实施例提供的该数据处理方法可以由数据处理设备来执行。可以理解的是，该数据处理设备可以实现为软件、或者软件和硬件的组合。如图1所示，该方法包括如下步骤：
S101，获取包含目标对象的待检测图像。
S102，获取与目标对象对应的目模板图像。
每一码布可以包含多个花纹图案周期，相机可以通过控制自身的成像距离，依次对布匹上每个周期的花纹图案进行拍摄，以得到包含一个周期花纹图案的多张图像，也即是包含目标对象的多种图像。数据处理设备可以获取相机拍得的此多张图像。
根据实际经验可知，在每一码布包含的多个花纹图案周期中，花纹图案出现瑕疵的比例较低，也即是每一码布对应的多张图像中，绝大多数图像中包含的花纹图案都是不存在瑕疵的。因此，一种可选地方式，数据处理设备可以直接将多张图像中的任意一张图像确定为模板图像。与待检测图像相同的，模板图像中同样包含一个花纹图案周期，且其中的花纹图案是不存在瑕疵的。
由于此模板图像是后续对目标对象进行质量检测的重要参考依据。因此，为了保证模板图像选择的准确性，则另一种可选地方式，数据处理设备在接收到多张图像后，可以将其分别显示于自身提供的界面上，用户可以在此界面上触发选择操作，在多张图像中确定用户选中的图像为模板图像。
在确定出模板图像后，多张图像中剩余图像中的任意一张均可以认为是待检测图像。其中，待检测图像和模板图像具有相同的尺寸，比如M×N，且二者也具有相同的通道数，比如两图像都是3通道的图像。
S103，确定反映待检测图像与模板图像之间像素值差异的辅助图像。
由于待检测图像与模板图像尺寸相同，因此，两图像各自包含的像素点之间具有一一对应关系。可选地，可以先确定待检测图像与模板图像中对应像素点之间的像素差值也即是两图像之间的像素值差异，再根据此像素值差异生成辅助图像。
可见，辅助图像中各像素点的像素值实际上就是待检测图像和模板图像中对应像素点之间的像素差值。同时，又由于待检测图像和模板图像包含的花纹图案是相同的，因此，若待检测的花纹布匹不存在瑕疵，则两图像中对应像素点之间的像素差值为0，此时，得到的辅助图像是一张全黑的图像，可以如图2a所示。
若待检测的花纹布匹存在瑕疵区域，则辅助图像中会存在部分像素点的像素差值不为0，这些像素点也即是对应于待检测图像中描述瑕疵区域的像素点，此时，得到的辅助图像不是全黑的，可以如图2b所示。
S104，对辅助图像进行图像特征提取。
S105，根据提取出的图像特征，确定目标对象对应的质量级别数据。
数据处理设备在获取到辅助图像后，可以将其输入至自身配置的检测模型中，以通过此检测模型中的特征提取层对辅助图像进行特征提取。最终，特征提取层输出的图像特征会进一步输入检测模型的输出层，以通过输出层输出目标对象对应的质量级别数据。上述检测模型对图像的处理过程可以参见图3。
其中，本实施例中的目标对象是一个具体的待检测产品，则检测模型输出的质量级别数据就可以包括待检测产品的缺陷类型、缺陷类型的出现频率、缺陷的尺寸信息以及缺陷的位置信息中的至少一项。在花纹图案布匹的质检场景中，上述质量级别数据具体就是布匹的花纹图像具有的瑕疵类型，此瑕疵类型的出现频率，此瑕疵的尺寸、位置中的至少一项。
可选地，在得到待检测产品对应的质量级别数据后，还可以根据此质量级别数据确定此待检测产品的缺陷级别，再根据不同的缺陷级别对待检测产品即花纹图案布匹进行相应的处理。
本实施例中，数据处理设备可以根据获取到的待检测图像和模板图像确定出辅助图像，并对其进行图像特征提取，再根据图像特征确定待检测图像中的目标对象的质量检测结果。可见，上述是一个自动确定目标对象质量的方法，可以大大提高质检效率。同时，当待检测图像中的目标对象存在瑕疵区域时，辅助图像反映的就是目标对象的瑕疵区域。也就是说，通过引入模板图像得到的辅助图像可以将目标对象中的瑕疵区域凸显出来。然后，根据从此辅助图像中提取的图像特征来进行质检，保证了目标对象中的非瑕疵区域不会对质量检测造成干扰，从而保证质量级别数据的准确性。
需要说明的还有，根据上述描述可知，在使用现有的检测模型进行质检时，需要输入的是待检测图像。此种方式，若待检测图像中包含的是一种全新的花纹图案，则检测模型往往不能输出准确的质量级别数据。此时就需要使用包含全新花纹图案的图像重新对检测模型训练，之后才能使其准确地对此种全新的花纹图案进行质量检测。
而使用本发明各实施例提供的数据处理方法，由于辅助图像是将模板图像和待检测图像中对应像素点的像素值相减后得到的。因此，无论是全新的或者已有的花纹图案，在生成辅助图像的过程中，花纹图案都会被消除，而只保留下瑕疵区域。所以即使待检测图像中包含的是一种全新的花纹图案，也能够实现准确的质量检测。
根据如图1所示的实施例可知，相机会对一码布中的每个花纹图案周期都进行拍摄，以得到模板图像以及待检测图像。但由于相机拍摄角度的偏差，很难保证待检测图像与模板图像中包含的目标对象是完全对齐的，也即是很难保证图像中的花纹图案是完全对齐的，两图像之间总是会存在些许像素偏移的。
由于在得到辅助图像的过程中，存在将待检测图像和模板图像中对应的像素点之间的像素值相减的过程，因此，上述的像素偏移会影响生成的辅助图像的准确性。基于此，图4为本发明实施例提供的另一种数据处理方法的流程图。如图4所示，该方法可以包括如下步骤：
S201，获取包含目标对象的待检测图像。
S202，获取与目标对象对应的模板图像。
上述步骤201～202的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
S203，确定待检测图像与模板图像之间的像素偏移量。
S204，根据像素偏移量，对齐待检测图像与模板图像。
数据处理设备在得到待检测图像和模板图像后，对于待检测图像中的任一像素点A，可以采用光流法计算其的运动信息也即是像素偏移量。其中，可以采用基于卷积神经网络的光流预测算法计算像素偏移量，比如FlowNet网络等等。
举例来说，像素点A在待检测图像中的像素坐标可以表示为(x1,y1)，与像素点A对应像素点A’在模板图像中的像素坐标可以表示为(x2,y2)，则像素点A的像素偏移量可以表示为(ux,vy)＝(x2,y2)-(x1,y1)。
在得到待检测图像中每个像素点对应的像素偏移量之后，便可以根据每个像素点的像素偏移量重新生成一张图像，也即是对齐后的待检测图像。
S205，确定反映对齐后的待检测图像与模板图像之间像素值差异的辅助图像。
根据对齐后的待检测图像和模板图像确定辅助图像的过程，可以参见上述图1所示实施例中的相关描述，在此不再赘述。
S206，对辅助图像进行图像特征提取。
S207，根据提取出的图像特征，确定目标对象对应的质量级别数据。
上述步骤206～207的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
本实施例中，通过将待检测图像与模板图像进行对齐处理，以使得对齐后的待检测图像与模板图像中各像素点之间的对应关系更加准确，保证得到的辅助图像的准确性，也保证了质量级别数据的准确性。
在上述各实施例中，检测模型都是直接对辅助图像提取图像特征，并利用提取出的图像特征实现目标对象的质量检测的。但由于辅助图像中已经大幅去除了布匹中花纹图案的细节信息，此时，对于某些细小且颜色变化不明显的瑕疵类型如花毛等等，仅使用辅助图像并不能很好地将其检测出来。
因此，为了保证各种瑕疵类型都能够被准确检测出来，图5为本发明实施例提供的又一种数据处理方法的流程图。如图5所示，该方法可以包括如下步骤：
S301，获取包含目标对象的待检测图像。
S302，获取与目标对象对应的模板图像。
S303，确定反映待检测图像与模板图像之间像素值差异的辅助图像。
上述步骤301～303的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
可选地，在得到待检测图像后，同样可以采用如图4所示实施例中的方式进行图像对齐，并用对齐后的待检测图像执行后续步骤。
S304，拼接待检测图像和辅助图像，以得到第一目标图像。
对于图像拼接可以进行以下理解：根据上述描述可知，待检测图像和模板图像可以分别是3通道的图像，因此，根据二者得到的辅助图像也是一张3通道的图像。此时，可以将3通道的待检测图像和3通道的辅助图像进行拼接，以得到6通道的第一目标图像。其中，第一目标图像的尺寸同样为M×N，与待检测图像、模板图像、辅助图像相同。
经过拼接后，在第一目标图像中，3个通道的数据用于描述花纹图案中的瑕疵区域的信息，另外3个通道的数据用于描述花纹图案的细节信息，使得第一目标图像可以同时描述花纹图案的细节信息以及花纹图案中瑕疵区域的信息。
S305，将第一目标图像输入到第一检测模型，以通过第一检测模型的特征提取层对第一目标图像进行特征提取。
S306，将提取出的图像特征输入到第一检测模型的输出层，以通过输出层输出目标对象对应的质量级别数据。
然后，将第一目标图像输入到第一检测模型，以由第一检测模型中的特征提取层对第一目标图像进行特征提取。当然，提取出的图像特征既能够反映花纹图案的细节信息，又能够反映花纹图案中瑕疵区域的信息。提取出的图像特征会进一步输入第一检测模型中的输出层，以通过输出层输出目标对象对应的质量级别数据。
其中，本实施例中的第一检测模型对图像的处理过程同样可以参见图3。称为第一检测模型是为了与图6所示实施例中使用的第二检测模型区分开来。另外，此部分未详细描述的内容可参见图1所示实施例中的相关内容。
本实施例中，通过辅助图像与待检测图像的拼接可以得到第一目标图像，此图像中既包含花纹图案的细节信息，又包含花纹图案中瑕疵区域的信息。相比于上述实施例提供的仅将待检测图像或者仅将辅助图像输入检测模型以实现质量检测的方式，本实施例将此第一目标图像输入第一检测模型后，可以使得第一检测模型提取出同样包含丰富信息的图像特征，而这些信息丰富的图像特征便能够提高质量检测的准确性。同时，也正是由于提取出的图像特征中包含丰富的花纹图案的细节信息，因此，对于上述提到的如花毛等特定类型的瑕疵也能够检测出来。
在图5所示实施例的基础上，为了进一步提高质量检测的准确性，可选地，图6为本发明实施例提供的又一种数据处理方法的流程图。如图6所示，该方法可以包括如下步骤：
S401，获取包含目标图像的待检测图像。
S402，获取与目标对象对应的模板图像。
S403，确定反映待检测图像与模板图像之间像素值差异的辅助图像。
S404，拼接待检测图像和辅助图像，以得到第一目标图像。
上述步骤401～404的执行过程与前述实施例的相应步骤相似，可以参见如图5所示实施例中的相关描述，在此再不赘述。
S405，根据模板图像生成第二目标图像，第二目标图像与第一目标图像具有相同的数据量。
在得到第一目标图像后，还可以对模板图像进行拼接，以得到与第一目标图像具有同样数据量的第二目标图像，也即是第二目标图像也是6通道的，尺寸为M×N的图像。
一种可选地拼接方式，与得到辅助图像类似的，可以先确定模板图像与模板图像自身之间的像素差值，再根据像素差值确定一张尺寸为M×N且像素值均为0的图像。为了后续描述的清晰，可以将此图像称为补充图像。将此补充图像与模板图像进行拼接，从而得到6通道的第二目标图像。
S406，将第一目标图像输入第二检测模型的第一子网络，以通过第一子网络的特征提取层对第一目标图像进行特征提取。
S407，将第二目标图像输入第二检测模型的第二子网络，以通过第二子网络的特征提取层对第二目标图像进行特征提取，其中，第二子网络与第一子网络具有相同的网络参数。
第二检测模型包含两个结构相同，网络参数也相同的子网络。其中，第二检测模型的模型结构可以参见图7。实际应用中，第二检测模型比如可以是孪生卷积神经模型。因此，第一子网络和第二子网络各自输入的图像就需要有相同的尺寸以及通道数，而上述将补充图像与模板图像拼接从而生成第二目标图像的过程正是为了保证这一点。
在得到两张目标图像后，将第一目标图像输入至第二模型的第一子网络中，以由第一子网络的特征提取层提取第一目标图像的图像特征。同时将第二目标图像输入至第二检测模型的第二子网络中，以由第二子网络的特征提取层提取第二目标图像的图像特征。正是由于第二检测模型具有两个子网络，因此，可以实现图像特征的同时提取，保证提取效率。
S408，将提取出的第一目标图像以及第二目标图像各自的图像特征输入至第二检测模型的特征融合层。
在两个子网络分别提取出的图像特征后，还可以将其一并输入至第二检测模型的特征融合层，以实现特征融合。同时，由于第一子网络与第二子网络具有相同的网络参数，因此，子网络提取出的第一目标图像的图像特征与第二目标图像的图像特征之间的差异反映的就是待检测图像中花纹图案的瑕疵区域。
基于此，一种可选地融合方式，可以根据第一目标图像的图像特征与第二目标图像的图像特征之差确定特征融合的融合结果，其中，图像特征可以以向量形式表示。具体地，通过以下公式进行图像特征融合：
fdiff＝abs(fsap-ftep)
其中，fdiff为融合结果，fsap为从第一目标图像中提取的图像特征，ftep为从第二目标图像中提取的图像特征。
但若采取上述图像特征直接相减的融合方式，图像特征中对应于花纹图案的细节信息很容易被直接消除。为了使融合后的图像特征中能够保留待检测图像中花纹图案的细节信息，使得模板图像在质量检测过程中发挥更好的作用，另一种可选地融合方式，可以为从不同的目标图像中提取出的图像特征设置相应的权重参数，再通过以下公式进行图像特征融合：
fdiff＝abs(αfsap-βftep)
其中，fdiff为融合结果，fsap为从第一目标图像中提取的图像特征，ftep为从第二目标图像中提取的图像特征，α、β分别为从第一目标图像、第二目标图像中提取的图像特征对应的权重参数。并且在第二检测模型的训练收敛后即可得到上述的权重参数。
S409，将特征融合层输出的融合结果输入第二检测模型的输出层，以通过输出层输出目标对象对应的质量级别数据。
最后，将特征融合层输出的融合结果输入第二检测模型的输出层，以由此输出层输出质量级别数据。另外，上述第二模型对图像处理的具体过程也可以结合图7理解。
本实施例中，通过对第一目标图像和第二目标图像各自的图像特征的融合，可以使得融合后的图像特征既包含待检测图像中花纹图案瑕疵区域的信息，又包含花纹图案的细节信息，融合后的图像特征中包含丰富的信息，从而能够保证质量检测的准确性。
上述各实施例中都是通过检测模型来最终得到目标对象的质量级别数据的，则对于检测模型的训练过程，图8为本发明实施例提供的又一种数据处理方法的流程图。如图8所示，该方法可以包括如下步骤：
S501，获取包含目标对象的样本图像以及与目标对象对应的模板图像。
S502，确定反映样本图像与模板图像之间像素值差异的辅助图像。
上述步骤501～502的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
S503，根据辅助图像训练检测模型，以由检测模型输出目标对象对应的质量级别数据。
S504，响应于用户对质量级别数据的修改，根据修改后的质量级别数据调整检测模型的参数，以使检测模型收敛。
可选地，检测模型的结构可以如图3所示，则一种可选地检测模型训练方式，将辅助图像直接输入至训练模型，以通过检测模型的特征提取层对辅助图像进行特征提取。再将提取出的图像特征输入到检测模型的输出层，以通过输出层输出目标对象对应的质量级别数据。
此时，目标对象对应的质量级别数据可以展示给用户，用户可以对其进行修改。检测模型则可以根据修改前、后的质量级别数据确定模型的损失值，从而进一步根据损失值调整模型参数，直至检测模型收敛。
基于图3所示的模型结构，则另一种可选地训练方式，将样本图像和辅助图像进行拼接，以得到第一输入图像。具体的拼接过程可以参见图5所示实施例中的相关描述。然后，将第一输入图像输入到检测模型，以通过检测模型的特征提取层对第一目标图像进行特征提取。再将提取出的图像特征输入到检测模型的输出层，以通过输出层输出目标对象对应的质量级别数据。
此时同样地，用户可以通过修改质量级别数据的方式参与到模型参数调整的过程中，从而实现检测模型的收敛。
可选地，检测模型的结构可以如图7所示，则又一种可选地检测模型训练方式，将样本图像和辅助图像进行拼接，以得到第一输入图像。根据模板图像生成第二输入图像。其中，第二输入图像与第一输入图像具有相同的数据量，具体来说是两输入图像的尺寸相同，通道数相同。对于第一输入图像、第二输入图像的生成方式可以参见图6所示实施例中的相关描述，在此不再赘述。
然后，将第一输入图像输入检测模型的第一子网络，以通过第一子网络的特征提取层对第一输入图像进行特征提取。将第二输入图像输入检测模型的第二子网络，以通过第二子网络的特征提取层对第二输入图像进行特征提取。其中，第二子网络与第一子网络可以是孪生卷积神经网络中的两个子网络，二者具有相同的网络参数。
接着，将提取出的第一输入图像以及第二输入图像各自的图像特征输入至检测模型的特征融合层。将特征融合层输出的融合结果输入检测模型的输出层，以通过输出层输出目标对象对应的质量级别数据。其中，可选地，还可以结合预先设置的权重系数来进行特征融合，具体过程同样可以参见图6所示实施例中的相关描述。
本实施例提供的方法实际上是一种检测模型训练方法，用户可以参与到模型参数的调整过程中，从而提高了模型训练的效果。
以下将详细描述本发明的一个或多个实施例的数据处理装置。本领域技术人员可以理解，这些数据处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图9为本发明实施例提供的一种数据处理装置的结构示意图，如图9所示，该装置包括：
获取模块11，用于获取包含目标对象的待检测图像以及与目标对象对应的模板图像。
图像确定模块12，用于确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像。
提取模块13，用于对所述辅助图像进行图像特征提取。
结果确定模块14，用于根据提取出的图像特征，确定所述目标对象对应的质量级别数据。
可选地，所述图像确定模块12具体用于：确定所述待检测图像与所述模板图像中对应像素点之间的像素差值；以及根据所述像素差值生成所述辅助图像。
可选地，所述装置还包括：
偏移量确定模块21，用于确定所述待检测图像与所述模板图像之间的像素偏移量。
对齐模块22，用于根据所述像素偏移量，对齐所述待检测图像与所述模板图像。
所述图像确定模块12，还用于确定反映对齐后的待检测图像与所述模板图像之间像素值差异的辅助图像。
可选地，所述提取模块13具体包括：
拼接单元131，用于拼接所述待检测图像和所述辅助图像，以得到第一目标图像。
提取单元132，用于将所述第一目标图像输入到第一检测模型，以通过所述第一检测模型的特征提取层对所述第一目标图像进行特征提取。
可选地，所述结果确定模块14具体用于：将提取出的图像特征输入到所述第一检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
可选地，所述提取模块13中的拼接单元131，还用于拼接所述待检测图像和所述辅助图像，以得到第一目标图像。
所述提取模块13还包括：生成单元133，用于根据所述模板图像生成第二目标图像，所述第二目标图像与所述第一目标图像具有相同的数据量。
所述提取单元132，用于将所述第一目标图像输入第二检测模型的第一子网络，以通过所述第一子网络的特征提取层对所述第一目标图像进行特征提取；以及将所述第二目标图像输入所述第二检测模型的第二子网络，以通过所述第二子网络的特征提取层对所述第二目标图像进行特征提取，其中，所述第二子网络与所述第一子网络具有相同的网络参数。
可选地，所述结果确定模块14具体包括：
输入单元141，用于将提取出的所述第一目标图像以及所述第二目标图像各自的图像特征输入至所述第二检测模型的特征融合层。
输出单元142，用于将所述特征融合层输出的融合结果输入所述第二检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
可选地，所述结果确定模块14中的输出单元142具体用于：将所述第一目标图像以及所述第二目标图像各自的图像特征输入至所述第二检测模型的特征融合层，以使所述特征融合层根据所述第一目标图像的图像特征与所述第二目标图像的图像特征各自对应的权重参数，融合图像特征。
可选地，所述获取模块11具体用于：获取包含目标对象的多张图像，其中，所述待检测图像为所述多张图像中的任一张；以及响应于用户的选择操作，在所述多张图像中确定所述用户选中的图像为所述模板图像。
可选地，所述装置还包括：
等级确定模块23，用于根据所述目标对象对应的质量级别数据确定所述目标对象的缺陷等级，其中，所述目标对象包括待检测产品，所述质量级别数据包括所述待检测产品的缺陷类型、所述缺陷类型的出现频率、缺陷的尺寸信息以及缺陷的位置信息中的至少一项。
图9所示装置可以执行图1至图7所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图7所示实施例中的描述，在此不再赘述。
以上描述了一种数据处理装置的内部功能和结构，在一个可能的设计中，数据处理装置的结构可实现为一电子设备，如图10所示，该电子设备可以包括：处理器31和存储器32。其中，所述存储器32用于存储支持该电子设备执行上述图1至图7所示实施例中提供的数据处理方法的程序，所述处理器31被配置为用于执行所述存储器32中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤：
获取包含目标对象的待检测图像；
获取与所述目标对象对应的模板图像；
确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像；
对所述辅助图像进行图像特征提取；
根据提取出的图像特征，确定所述目标对象对应的质量级别数据。
可选地，所述处理器31还用于执行前述图1至图7所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口33，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图7所示方法实施例中数据处理方法所涉及的程序。
图11为本发明实施例提供的另一种数据处理装置的结构示意图，如图11所示，该装置包括：
获取模块41，用于获取包含目标对象的样本图像以及与所述目标对象对应的模板图像。
图像确定模块42，用于确定反映所述样本图像与所述模板图像之间像素值差异的辅助图像。
训练模块43，用于根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据。
调整模块44，用于响应于用户对所述质量级别数据的修改，根据修改后的质量级别数据调整所述检测模型的参数，以使所述检测模型收敛。
可选地，所述训练模块43包括：
拼接单元431，用于拼接所述样本图像和所述辅助图像，以得到第一输入图像。
训练单元432，用于将所述第一输入图像输入到所述检测模型，以通过所述检测模型的特征提取层对所述第一输入图像进行特征提取；以及将提取出的图像特征输入到所述检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
可选地，所述训练模块43中的拼接单元，用于拼接所述样本图像和所述辅助图像，以得到第一输入图像；以及根据所述模板图像生成第二输入图像，所述第二输入图像与所述第一输入图像具有相同的数据量。
所述训练单元432，用于将所述第一输入图像输入所述检测模型的第一子网络，以通过所述第一子网络的特征提取层对所述第一输入图像进行特征提取；
将所述第二输入图像输入所述检测模型的第二子网络，以通过所述第二子网络的特征提取层对所述第二输入图像进行特征提取，其中，所述第二子网络与所述第一子网络具有相同的网络参数；将提取出的所述第一输入图像以及所述第二输入图像各自的图像特征输入至所述检测模型的特征融合层；以及将所述特征融合层输出的融合结果输入所述检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
可选地，所述获取模块41具体用于：获取包含目标对象的多张图像，其中，所述样本图像为所述多张图像中的任一张；以及响应于所述用户的选择操作，在所述多张图像中确定所述用户选中的图像为所述模板图像。
图11所示装置可以执行图8所示实施例的方法，本实施例未详细描述的部分，可参考对图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8所示实施例中的描述，在此不再赘述。
以上描述了另一种数据处理装置的内部功能和结构，在一个可能的设计中，数据处理装置的结构可实现为一电子设备，如图12所示，该电子设备可以包括：处理器51和存储器52。其中，所述存储器52用于存储支持该电子设备执行上述图8所示实施例中提供的数据处理方法的程序，所述处理器51被配置为用于执行所述存储器52中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器51执行时能够实现如下步骤：
获取包含目标对象的样本图像以及与所述目标对象对应的模板图像；
确定反映所述样本图像与所述模板图像之间像素值差异的辅助图像；
根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据；
响应于用户对所述质量级别数据的修改，根据修改后的质量级别数据调整所述检测模型的参数，以使所述检测模型收敛。
可选地，所述处理器51还用于执行前述图8所示实施例中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口53，用于该电子设备与其他设备或通信网络通信。
另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图8所示方法实施例中数据处理方法所涉及的程序。
为了便于理解，结合如下的应用场景对以上提供的数据处理方法的具体实现过程进行示例性说明。可以结合图3、图7以及图13进行理解。
首先，在花纹图案布匹的质检场景中，在布匹生产的流水线上可以设置有相机，用于对布匹上的每一个花纹图案周期进行拍摄。对于一码布，相机可以拍摄到多张图像。
数据处理设备在获取到相机拍摄的多张图像后，可以将其分别展示在设备的显示屏上，用户可以根据显示结果，对其中花纹图案完好的一张图像触发选择操作，数据处理设备响应于此选择操作后，将其确定为模板图像，而多张图像中剩余图像中的任意一张均可以认为是待检测图像，在对每一张剩余图像都进行检测后也即是完成了对一码布的质量检测。
当然，根据实际经验可知，多张图像中花纹图案存在瑕疵的通常是很少一部分，因此，数据处理设备在得到多张图像后，可选地，可以自动选择其中一张作为模板图像，剩余图像均为待检测图像。
然后，考虑到相机拍摄的精准度，还可以进一步确定待检测图像与模板图像中对应像素点之间的像素偏移量，并根据此偏移量实现待检测图像与模板图像的对齐。使用对齐后的待检测图像和模板图像生成辅助图像。如果待检测图像中花纹图案存在瑕疵，则此辅助图像便能够将瑕疵区域凸显出来，正如图2b所示的那样。在实际应用中，由于上述的像素偏移量通常较小，因此也可以不执行上述的对齐处理，直接根据模板图像和待检测图像生成辅助图像。
接着，对辅助图像进行图像特征提取，并根据特征图像确定花纹图案的质量检测结果。
一种可选地质检方式，可以直接将辅助图像输入至检测模型，以由检测模型中的特征提取层进行图像特征的提取，再将提取出的图像特征输入至检测模型中的输出层，以通过输出层输出质量检测结果。此检测模型对图像的处理过程可以如图3所示。
另一种可选地质检方式，可以将待检测图像与辅助图像进行拼接，以得到第一目标图像，此图像中同时包含花纹图案的详细信息以及花纹图案中瑕疵区域的信息。然后，将其输入至检测模型，并通过模型提取出的图像特征进行质量检测。此种方式所能达到的效果可以参见如图5所示实施例中的相关描述。
又一种可选地质检方式，可以在对待检测图像与辅助图像进行拼接的同时，还可以对模板图像也进行拼接处理，以分别得到第一目标图像和第二目标图像。然后将第一目标图像和第二目标图像输入至检测模型，此检测模型对图像的处理过程可以如图7所示。检测模型中第一子网络的特征提取层对第一目标图像进行特征提取，同时检测模型中第二子网络的特征提取层对第二目标图像进行特征提取。两个子网络提取出的图像特征又会一并输入至检测网络的特征融合层，以进行特征融合。融合结果会进一步输入至检测模型的输出层，以通过输出层输出花纹图案布匹的质量检测结果。此种方式所能达到的效果可以参见如图6所示实施例中的相关描述。
最终，数据处理设备还可以根据检测模型输出的质量检测结果确定花纹图案的缺陷等级，并对缺陷等级不同的布匹做不同的处理。其中，质量检测结果可以包括：花纹图案具有的瑕疵类型，此瑕疵类型的出现频率，此瑕疵的尺寸、位置中的至少一项。
另外，在其他质检场景中，比如PCB电路板、带有花纹的轮胎或者瓷砖质检场景中，整体过程与图13所示的场景基本相同，只不过待检测图像中包含的待检测产品发生变化。具体过程同样可以参见图13所示实施例中的描述，在此不再赘述。
另外，在另一种场景中，拍摄设备可以进行拍摄，由于拍摄设备的拍摄参数设置不佳或者拍摄环境的复杂，因此容易导致拍摄设备拍得的图片中存在瑕疵，此时同样可以使用上述的数据处理方法实现对图像是否存在瑕疵的检测。
为了便于理解，还可以以花纹图案布匹场景为例，说明检测模型的具体训练方法，可以结合结合图3、图7以及图14进行理解。
首先，在花纹图案布匹的质量检测场景中，可以通过互联网搜集到多张花纹图案相同的多张图像，或者与图13所示实施例中相同的由相机拍得多张图像。用户可从多张图像中选择没有瑕疵的为模板图像，剩余图像中的任意一张均可以认为是样本图像。
得到样本图像和模板图像后，可以直接根据二者之间的像素值差异确定辅助图像。可选地，也可以按照图4所示的方式进行图像对齐，并用对齐后的样本图像生成辅助图像。接着，可以根据辅助图像对检测模型进行训练，以由检测模型输出样本图像中花纹图案对应的质量数据。
检测模型输出的质量级别数据可以展示给用户，以便用户对其进行修改。检测模型则可以根据修改前、后的质量级别数据确定模型的损失值，从而进一步根据损失值调整模型参数，直至检测模型收敛。
可选地，检测模型的结构可以如图3所示，则一种可选地检测模型训练方式，将辅助图像直接输入至训练模型，以通过检测模型的输出层输出花纹图案对应的质量级别数据。用户可以通过修改质量级别数据的方式参与到模型参数调整的过程中，从而实现检测模型的收敛。
基于图3所示的模型结构，则另一种可选地训练方式，先将样本图像和辅助图像拼接成第一输入图像。再将第一输入图像输入到检测模型，以由检测模型进行特征提取，并根据提取出的图像特征输出花纹图案对应的质量级别数据。此时，用户同样可以通过修改质量级别数据的方式参与到模型参数调整的过程中，从而实现检测模型的收敛。
可选地，检测模型的结构还可以如图7所示，则又一种可选地检测模型训练方式，先将样本图像和辅助图像拼接成第一输入图像，同时根据模板图像生成第二输入图像。再将第一输入图像、第二输入图像分别至检测模型的第一子网络和第二子网络中。其中，两个子网络具有相同的网络参数。第一子网络的特征提取层对第一输入图像进行特征提取，且第二子网络的特征提取层也会对第二输入图像进行特征提取。
接着，检测模型中的特征融合层会将两个子网络各自提取出的图像特征进行融合，并根据特征的融合结果输出花纹图案对应的质量级别数据，以便用户进一步参与到检测模型的训练过程中。
需要说明的有，上述提供的几种模型训练方式的具体过程可以参见图8中的相关描述，在此不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种数据处理方法，其特征在于，包括：
获取包含目标对象的待检测图像；
获取与所述目标对象对应的模板图像；
确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像；
对所述辅助图像进行图像特征提取；
根据提取出的图像特征，确定所述目标对象对应的质量级别数据。
2.根据权利要求1所述的方法，其特征在于，所述确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像，包括：
确定所述待检测图像与所述模板图像中对应像素点之间的像素差值；
根据所述像素差值生成所述辅助图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待检测图像与所述模板图像之间的像素偏移量；
根据所述像素偏移量，对齐所述待检测图像与所述模板图像。
所述确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像，包括：
确定反映对齐后的待检测图像与所述模板图像之间像素值差异的辅助图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述辅助图像进行图像特征提取，包括：
拼接所述待检测图像和所述辅助图像，以得到第一目标图像；
将所述第一目标图像输入到第一检测模型，以通过所述第一检测模型的特征提取层对所述第一目标图像进行特征提取。
5.根据权利要求4所述的方法，其特征在于，所述根据提取出的图像特征，确定所述目标对象对应的质量级别数据，包括：
将提取出的图像特征输入到所述第一检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
6.根据权利要求1所述的方法，其特征在于，所述对所述辅助图像进行图像特征提取，包括：
拼接所述待检测图像和所述辅助图像，以得到第一目标图像；
根据所述模板图像生成第二目标图像，所述第二目标图像与所述第一目标图像具有相同的数据量；
将所述第一目标图像输入第二检测模型的第一子网络，以通过所述第一子网络的特征提取层对所述第一目标图像进行特征提取；
将所述第二目标图像输入所述第二检测模型的第二子网络，以通过所述第二子网络的特征提取层对所述第二目标图像进行特征提取，其中，所述第二子网络与所述第一子网络具有相同的网络参数。
7.根据权利要求6所述的方法，其特征在于，所述根据提取出的图像特征，确定所述目标对象对应的质量级别数据，包括：
将提取出的所述第一目标图像以及所述第二目标图像各自的图像特征输入至所述第二检测模型的特征融合层；
将所述特征融合层输出的融合结果输入所述第二检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
8.根据权利要求7所述的方法，其特征在于，所述将提取出的所述第一目标图像以及所述第二目标图像各自的图像特征输入至所述第二检测模型的特征融合层，包括：
将所述第一目标图像以及所述第二目标图像各自的图像特征输入至所述第二检测模型的特征融合层，以使所述特征融合层根据所述第一目标图像的图像特征与所述第二目标图像的图像特征各自对应的权重参数，融合图像特征。
9.根据权利要求1所述的方法，其特征在于，所述获取包含目标对象的待检测图像，包括：
获取包含目标对象的多张图像，其中，所述待检测图像为所述多张图像中的任一张；
所述获取与所述目标对象对应的模板图像，包括：
响应于用户的选择操作，在所述多张图像中确定所述用户选中的图像为所述模板图像。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标对象对应的质量级别数据确定所述目标对象的缺陷级别，其中，所述目标对象包括待检测产品，所述质量级别数据包括所述待检测产品的缺陷类型、所述缺陷类型的出现频率、缺陷的尺寸信息缺陷的位置信息中的至少一项。
11.一种数据处理方法，其特征在于，包括：
获取包含目标对象的样本图像以及与所述目标对象对应的模板图像；
确定反映所述样本图像与所述模板图像之间像素值差异的辅助图像；
根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据；
响应于用户对所述质量级别数据的修改，根据修改后的质量级别数据调整所述检测模型的参数，以使所述检测模型收敛。
12.根据权利要求11所述的方法，其特征在于，所述根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据，包括：
拼接所述样本图像和所述辅助图像，以得到第一输入图像；
将所述第一输入图像输入到所述检测模型，以通过所述检测模型的特征提取层对所述第一输入图像进行特征提取；
将提取出的图像特征输入到所述检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
13.根据权利要求11所述的方法，其特征在于，所述根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据，包括：
拼接所述样本图像和所述辅助图像，以得到第一输入图像；
根据所述模板图像生成第二输入图像，所述第二输入图像与所述第一输入图像具有相同的数据量；
将所述第一输入图像输入所述检测模型的第一子网络，以通过所述第一子网络的特征提取层对所述第一输入图像进行特征提取；
将所述第二输入图像输入所述检测模型的第二子网络，以通过所述第二子网络的特征提取层对所述第二输入图像进行特征提取，其中，所述第二子网络与所述第一子网络具有相同的网络参数；
将提取出的所述第一输入图像以及所述第二输入图像各自的图像特征输入至所述检测模型的特征融合层；
将所述特征融合层输出的融合结果输入所述检测模型的输出层，以通过所述输出层输出所述目标对象对应的质量级别数据。
14.根据权利要求11至13中任一项所述的方法，其特征在于，所述获取包含目标对象的样本图像以及与所述目标对象对应的模板图像，包括：
获取包含目标对象的多张图像，其中，所述样本图像为所述多张图像中的任一张；
响应于所述用户的选择操作，在所述多张图像中确定所述用户选中的图像为所述模板图像。
15.一种数据处理装置，其特征在于，包括：
获取模块，用于获取包含目标对象的待检测图像以及与所述目标对象对应的模板图像；
图像确定模块，用于确定反映所述待检测图像与所述模板图像之间像素值差异的辅助图像；
提取模块，用于对所述辅助图像进行图像特征提取；
结果确定模块，用于根据提取出的图像特征，确定所述目标对象对应的质量级别数据。
16.一种数据处理装置，其特征在于，包括：
获取模块，用于获取包含目标对象的样本图像以及与所述目标对象对应的模板图像；
图像确定模块，用于确定反映所述样本图像与所述模板图像之间像素值差异的辅助图像；
训练模块，用于根据所述辅助图像训练检测模型，以由所述检测模型输出所述目标对象对应的质量级别数据；
调整模块，用于响应于用户对所述质量级别数据的修改，根据修改后的质量级别数据调整所述检测模型的参数，以使所述检测模型收敛。
17.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至10中任一项所述的数据处理方法。
18.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求11至14中任一项所述的数据处理方法。
19.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至10中任一项所述的数据处理方法。
20.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求11至14中任一项所述的数据处理方法。
CN202010287409.1A 2020-04-13 2020-04-13 数据处理方法、装置、设备和存储介质 Active CN113516612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010287409.1A CN113516612B (zh) 2020-04-13 2020-04-13 数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010287409.1A CN113516612B (zh) 2020-04-13 2020-04-13 数据处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113516612A true CN113516612A (zh) 2021-10-19
CN113516612B CN113516612B (zh) 2022-06-14

Family

ID=78060752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010287409.1A Active CN113516612B (zh) 2020-04-13 2020-04-13 数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113516612B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693467A (zh) * 2022-04-29 2022-07-01 苏州康索机电有限公司 一种压铸件的生产方法和系统
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN114882033A (zh) * 2022-07-11 2022-08-09 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN115311273A (zh) * 2022-10-11 2022-11-08 富联裕展科技(深圳)有限公司 检测模型的训练方法、缺陷检测方法、装置及存储介质
CN117576490A (zh) * 2024-01-16 2024-02-20 口碑(上海)信息技术有限公司 一种后厨环境检测方法和装置、存储介质和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
CN100427931C (zh) * 2006-04-10 2008-10-22 浙江大学 基于激光图像的水果表面缺陷检测方法
CN101403704A (zh) * 2007-12-07 2009-04-08 东华大学 氟塑料薄膜在线疵点检测系统和方法
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US20100208980A1 (en) * 2009-02-18 2010-08-19 Texas Instruments Deutschland Gmbh Apparatus and method for detecting defects in wafer manufacturing
CN102075786B (zh) * 2011-01-19 2012-10-24 宁波大学 一种图像客观质量评价方法
CN105225208A (zh) * 2015-10-14 2016-01-06 上海联影医疗科技有限公司 一种计算机断层成像金属伪影校正方法及装置
CN105976389A (zh) * 2016-05-20 2016-09-28 南京理工大学 一种手机底板连接器缺陷检测方法
CN109916906A (zh) * 2018-10-11 2019-06-21 乐人株式会社 缺陷检测装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
CN100427931C (zh) * 2006-04-10 2008-10-22 浙江大学 基于激光图像的水果表面缺陷检测方法
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
CN101403704A (zh) * 2007-12-07 2009-04-08 东华大学 氟塑料薄膜在线疵点检测系统和方法
US20100208980A1 (en) * 2009-02-18 2010-08-19 Texas Instruments Deutschland Gmbh Apparatus and method for detecting defects in wafer manufacturing
CN102075786B (zh) * 2011-01-19 2012-10-24 宁波大学 一种图像客观质量评价方法
CN105225208A (zh) * 2015-10-14 2016-01-06 上海联影医疗科技有限公司 一种计算机断层成像金属伪影校正方法及装置
CN105976389A (zh) * 2016-05-20 2016-09-28 南京理工大学 一种手机底板连接器缺陷检测方法
CN109916906A (zh) * 2018-10-11 2019-06-21 乐人株式会社 缺陷检测装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SANLI TANG 等: "ONLINE PCB DEFECT DETECTOR ON A NEW PCB DEFECT DATASET", 《ARXIV：1902.06197V1》 *
金闳奇 等: "基于梯度与归一化互信息的印刷图像配准", 《包装工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN114693467A (zh) * 2022-04-29 2022-07-01 苏州康索机电有限公司 一种压铸件的生产方法和系统
CN114882033A (zh) * 2022-07-11 2022-08-09 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN114882033B (zh) * 2022-07-11 2022-09-20 心鉴智控(深圳)科技有限公司 一种医用包装盒制品的瑕疵在线检测方法及检测系统
CN115311273A (zh) * 2022-10-11 2022-11-08 富联裕展科技(深圳)有限公司 检测模型的训练方法、缺陷检测方法、装置及存储介质
CN117576490A (zh) * 2024-01-16 2024-02-20 口碑(上海)信息技术有限公司 一种后厨环境检测方法和装置、存储介质和电子设备
CN117576490B (zh) * 2024-01-16 2024-04-05 口碑(上海)信息技术有限公司 一种后厨环境检测方法和装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN113516612B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN113516612B (zh) 数据处理方法、装置、设备和存储介质
CN109767418B (zh) 检査装置、数据生成装置、数据生成方法及存储介质
JP6470506B2 (ja) 検査装置
US20190147586A1 (en) Defect inspection apparatus, defect inspection method, and program thereof
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
CN108280822A (zh) 屏幕划痕的检测方法及装置
CN105389809B (zh) 显示性能测试方法、系统和装置
JP2005293141A (ja) マーカ検出方法及び装置並びに位置姿勢推定方法
CN114170161A (zh) 一种烟支外观缺陷检测方法及系统
JP2019067130A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
JP2009116377A (ja) 画像処理コントローラ用のプログラム作成装置
CN110838149A (zh) 一种相机光源自动配置方法及系统
US8111288B2 (en) Image processing controller and test support system
CN113781393B (zh) 屏幕缺陷检测方法、装置、设备及存储介质
US7929024B2 (en) Program creation apparatus for image processing controller
CN111103306A (zh) 检测与标记瑕疵的方法
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
JP6608708B2 (ja) 外観検査装置、外観検査方法及び該外観検査装置に用いるコントローラで実行することが可能なコンピュータプログラム
CN117309759A (zh) 缺陷检测系统、方法、电子设备和存储介质
CN108020553A (zh) 检查条件决定装置、检查条件决定方法及计算机可读介质
TW201522949A (zh) 影像資訊檢測方法
CN112088395A (zh) 图像处理装置、图像处理方法以及图像处理程序
JP2019045510A (ja) 検査装置
CN102625045A (zh) 电子照相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant