CN115082667A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115082667A
CN115082667A CN202110283503.4A CN202110283503A CN115082667A CN 115082667 A CN115082667 A CN 115082667A CN 202110283503 A CN202110283503 A CN 202110283503A CN 115082667 A CN115082667 A CN 115082667A
Authority
CN
China
Prior art keywords
image
processed
area
prediction
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110283503.4A
Other languages
English (en)
Inventor
张博深
王亚彪
汪铖杰
李季檩
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Cloud Computing Beijing Co Ltd
Priority to CN202110283503.4A priority Critical patent/CN115082667A/zh
Priority to PCT/CN2021/108838 priority patent/WO2022193523A1/zh
Publication of CN115082667A publication Critical patent/CN115082667A/zh
Priority to US18/130,165 priority patent/US20230237633A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、设备及存储介质，其中方法包括：从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；获取所述每个图像区域的关注度，并根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度，可提升识别图像是否为缺陷图像的识别结果的精准度。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
为了实现对图像中的缺陷(如花屏等使图像不清楚的缺陷)进行检测，现有的缺陷检测方法通常是采用的，先对待处理图像进行特征提取，然后对提取到的特征进行识别，如果确定提取的特征中存在缺陷特征，则确定该待处理图像为缺陷图像。由此可见，在采用当前的图像检测方法对图像进行缺陷检测时，只会基于对特征数据的识别，二分类地输出结果是否为缺陷图像，而由于很多的缺陷图像只是轻微缺陷或者局部缺陷，或者小面积缺陷的图像，且由于从图像中提取的特征的局限性，使得基于当前的对特征数据的识别结果的参考，进而确定出图像是否为缺陷图像的结果并不可靠。由此，如何提升识别图像是否为缺陷图像的准确性，成为了当前研究热点。
发明内容
本发明实施例提供了一种图像处理方法、装置、设备及存储介质，可提升识别图像是否为缺陷图像的识别结果的精准度。
一方面，本发明实施例提供了一种图像处理方法，包括：
从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；
根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；
获取所述每个图像区域的关注度，并根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；
根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度。
再一方面，本发明实施例提供了一种图像处理装置，包括：
提取单元，用于从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；
检测单元，用于根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；
获取单元，用于获取所述每个图像区域的关注度；
调整单元，用于根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；
生成单元，用于根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度。
再一方面，本发明实施例提供了一种图像处理设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持图像处理设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：
从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；
根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；
获取所述每个图像区域的关注度，并根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；
根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度。
再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时，所述程序指令被处理器执行时，用于执行如第一方面所述的图像处理方法。
在本发明实施例中，图像处理设备在获取到待处理图像后，则可从待处理图像的每个图像区域中分别提取处一个或多个特征数据，进而，该待处理图像可根据提取出的特征数据对该待处理图像的每个图像区域进行缺陷检测，得到每个图像区域是否存在缺陷的预测概率。此外，该图像处理设备还将获取针对每个图像区域的关注度，并可进而基于每个图像区域的关注度，对确定出的每个图像区域是否存在缺陷的预测概率进行调整，从而可采用调整后的预测概率生成该待处理图像的预测结果，以及该预测结果的置信度，由于图像处理设备提取得到的特征数据，是基于不同图像区域进行提取的，使得该图像处理设备可充分考虑待处理图像中的局部特征，而且，基于对每个图像区域的关注度，对不同图像区域是否存在缺陷的预测概率进行调整，可使得该图像处理设备获取到的预测结果，是根据不同图像区域的关注度的不同进行自适应集成得到的，使得得到的预测结果更加平滑，进而可提升对该待处理图像进行缺陷预测的准确度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理方法的示意图；
图2是本发明实施例提供的一种图像处理方法的示意流程图；
图3a是本发明实施例提供的一种对待处理图像进行分割的示意图；
图3b是本发明实施例提供的一种对待处理图像进行分割的示意图；
图4是本发明实施例提供的一种图像处理方法的示意流程图；
图5a是本发明实施例提供的一种进行缺陷预测的示意图；
图5b是本发明实施例提供的一种确定图像区域的关注度的示意图；
图5c是本发明实施例提供的一种不同缺陷程度的图像的示意图；
图5d是本发明实施例提供的一种对不同图像进行识别处理的示意图；
图6是本发明实施例提供的一种图像处理装置的示意性框图；
图7是本发明实施例提供的一种图像处理设备的示意性框图。
具体实施方式
本发明实施例提出了一种图像处理方法，使得图像处理设备可充分考虑待处理图像中不同图像区域的关注度，从而可根据对待处理图像中每个图像区域的关注度，对采用不同图像区域进行缺陷检测后所得到的预测概率进行自适应的集成，进而生成针对该待处理图像是否存在缺陷的预测结果，基于在得到待处理图像是否存在缺陷的预测结果的过程中，对待处理图像中不同图像区域的关注度的考察，使得图像处理设备可获得更加精准的预测结果，实现了对图像处理设备的预测准确度的提升。其中，缺陷图像是因存在缺陷而导致图像信息呈现不完整的图像，该缺陷图像包括花屏图像或者模糊图像等，缺陷图像的存在会导致原图像的显示不清楚，从而影响用户对原图像的观看，该缺陷图像例如可以是花屏图像或模糊图像，花屏图像是指原图像中覆盖有点状、片状、或马赛克干扰的图像，模糊图像是指分辨率较低的图像。而缺陷检测则是用于确定图像中是否存在上述缺陷的检测，在一个实施例中，对图像执行缺陷检测后，将输出被检测图像(如上述的待处理图像)为缺陷图像的概率，进而可基于该概率确定出被检测图像是否为缺陷图像的二值检测结果，那么，该图像处理设备根据被检测图像的二值检测结果，则可确定针对该被检测图像的后续处理规则。在一个实施例中，如果被检测图像的二值检测结果为：该被检测图像为缺陷图像，那么该图像处理设备将先对该被检测图像进行图像恢复处理，以消除该被检测图像中的缺陷，再将恢复后的图像进行输出显示；或者，如果该图像处理设备确定该被检测图像的二值检测结果为该被检测图像为正常图像，则可直接将该被检测图像进行输出显示。
在一个实施例中，该图像处理方法可调用图像处理设备中训练完成的识别模型进行执行，该训练完成的识别模型在执行该图像处理方法时可如图1所示，该训练完成的识别模型包括特征提取网络，预测网络和分类器，其中，该特征提取网络用于进行图像特征的提取，该图像特征包括梯度特征，或者纹理特征等，该特征提取网络可以是卷积神经网络(Convolutional Neural Networks，CNN)结构，该卷积神经网络可以是任意卷积神经网络，且可基于实际应用需求使用计算量较大或者较小的神经网络，进而使得该训练完成的识别模型在采用特征提取网络进行图像特征提取时，可在取得较好提取效果的基础上，还能保证对特征进行提取的效率。此外，该预测网络用于根据特征提取网络提取到的特征数据，对该待处理图像进行缺陷预测，确定该待处理图像的预测结果(或预测结果)，该分类器则用于根据该预测网络得到的预测结果，对该待处理图像是否为缺陷图像进行二分类，该二分类的结果即是指示该待处理图像确定为缺陷图像，或该待处理图像为非缺陷图像(即正常图像)，在一个实施例中，该分类器可以是一个支持向量机(Support Vector Machine，SVM)的分类器，或者，也可以是一种基于树的分类器，在本发明实施例中，对训练完成的识别模型中的具体网络结构均不作限定。在图像处理设备调用训练完成的识别模型对待处理图像进行处理时，可如图1所示，并将具体执行如下步骤：
①该图像处理设备可在确定出待处理图像后，将该待处理图像输入到该训练完成的识别模型中，那么，在该训练完成的识别模型在获取到该待处理图像后，则可先调用特征提取网络对该待处理图像进行图像分割处理，得到该待处理图像的一个或多个图像区域，进一步地，该特征提取网络可分别对每个图像区域进行特征提取，以从每个图像区域中提取得到一个或多个特征数据，在提取到每个图像区域的特征后，该特征提取网络则会将提取到的特征数据发送给预测网络。
②预测网络在得到特征提取网络发送的特征数据后，可根据获取到的特征数据，预测每个图像区域存在缺陷的预测概率，并在预测得到每个图像区域存在缺陷的预测概率后，进一步获取该每个图像区域的关注度，从而可根据每个图像区域的关注度，对相应图像区域中存在缺陷的预测概率进行调整，并将调整后预测概率发送到分类器中。
③分类器在从预测网络中获取到调整后的预测概率后，则可根据该缺陷分类结果确定该待处理图像的预测结果，且该分类器还可根据得到的预测结果为该待处理图像添加分类标签，在一个实施例中，分类器为该待处理图像添加的分类标签包括用于指示该待处理图像为缺陷图像的标签，以及用于指示该待处理图像为正常图像的标签，其中，为该待处理图像添加指示该待处理图像为缺陷图像的标签可以是1，则相应的，添加的用于指示该待处理图像为正常图像的标签则可以为0。在本发明实施例中，分类器为该待处理图像添加的分类标签的标签形式不做限定。
请参见图2，是本发明实施例提出的一种图像处理方法的示意流程图，该图像处理方法可由上述的图像处理设备执行，如图2所示，该方法可包括：
S201，从待处理图像的N个图像区域中分别提取出M个特征数据，一个图像区域对应一个或多个特征数据。
在一个实施例中，该待处理图像可以是任意的图片图像，或者也可以是视频中的任意图像帧，该图像处理设备可在获取到待处理图像后，可先对该待处理图像进行图像分割处理，从而得到该待处理图像的N个图像区域，N为大于等于1的整数。其中，在图像处理设备对该待处理图像进行图像分割时，该图像处理设备可采用如图3a所示的规则化分割方式(或采样方式)对该待处理图像进行分割，以保证分割得到的图像区域可覆盖该待处理图像的全图区域，而且由于图像处理设备在后续进行特征提取时，是基于分割得到的每个图像区域进行特征提取的，也就可以使得图像处理设备保证在后续获取到该待处理图像的全部特征，那么也就使该图像处理设备避免了由于该待处理图像只存在局部缺陷或轻微缺陷，而导致的对该待处理图像中局部缺陷的特征提取遗漏的问题，从而也就可保证该图像处理设备提取到的特征数据的可靠性。其中，如图3a所示，若N＝5，该待处理图像可以是如图3a中由301标记的图像，则该图像处理设备基于对该待处理图像的图像分割处理，所获取的5个图像区域可分别为如图3a中由每个虚线框标出的图像区域。需要说明的是，在本发明实施例中，以缺陷图像为花屏图像为例进行详细说明，在该缺陷图像为其他存在缺陷的图像时，可参见本发明实施例，此外，在本发明实施例中，采用灰度对原图像进行遮挡，以作为图像中的花屏示意性说明，即图像中的花屏示例性地可以是如图3a中由301标记的灰度区域。
在一个实施例中，该图像处理设备在对该待处理图像进行分割处理，进而得到该待处理图像的N个图像区域时，该图像处理设备还可基于待处理图像中的图像内容，随机从该待处理图像中获取出N个图像区域，如图3b所示，其中，如图3b所述图像中的缺陷，也可以是由如图3b中302标记的灰度区域，那么该图像处理设备在基于图像内容随机从该待处理图像中获取出N个图像区域时，可先确定该图像内容中，出现缺陷时对用户观看体验影响较大的图像元素，从而该图像处理设备则可将对用户的观看体验影响较大的图像元素所在的区域选取出来，作为该待处理图像的一个图像区域。举例来说，如果该待处理图像为的图像内容为包括人物图像，则可认为该待处理图像中的人物图像在缺陷时将极大地影响用户的观看体验，所以，该图像处理设备则可将包括人物特征的，如脸部特征，手部特征等的区域选取出来作为该待处理图像的图像区域，或者，如果待处理设备认为待处理图像的中心部分如果缺陷，将会对用户的观看体验造成影响，则该图像处理设备在获取到该待处理图像后，则可将该待处理图像的中心区域选取出来，作为该待处理图像的一个图像区域。可以理解的是，其他对该待处理图像进行分割，以得到该待处理图像的一个或多个图像区域的方式也可以适用于本发明实施例。
在图像处理设备从待处理图像中获取到N个图像区域后，则可对每个图像区域分别进行特征提取，以从该待处理图像的N个图像中分别提取出M个特征数据，M为大于等于1的整数，且M大于等于N，在图像处理设备获取到M特征数据后，则可根据该M各特征数据对相应图像区域进行缺陷检测，得到每个图像区域存在缺陷的预测概率，即转而执行步骤S202。在一个实施例中，该图像处理设备在对每个图像区域进行特征提取时，可从每个图像区域中提取得到一个或多个特征数据，在一个实施例中，该图像处理设备在从每个图像区域中提取出多个特征数据时，也直接基于该图像区域的多个特征数据，对该图像区域进行缺陷检测，从而得到该图像区域存在缺陷的预测概率；或者，该图像处理设备在从每个图像区域中提取出多个特征数据时，还可先对提取得到的多个特征数据进行特征融合，得到该图像区域对应的一个目标特征数据，进而基于得到的目标特征数据对该图像区域进行缺陷检测，以确定出该图像区域存在缺陷的预测概率。
S202，根据M个特征数据对N个图像区域进行缺陷检测，得到N个图像区域中的每个图像区域存在缺陷的预测概率。
在图像处理设备从待处理图像的N个图像区域中分别提取出M个特征数据后，该图像处理设备则可基于提取出的M个特征数据，对该待处理图像的每个图像区域进行缺陷检测，可以理解的是，该图像处理设备对每个图像区域执行的缺陷检测，即用于确定该待处理图像中是否存在缺陷，以及该区域存在缺陷的概率，那么，基于图像处理设备根据提取出的M个特征数据，对每个图像区域进行缺陷检测将获取得到每个图像区域存在缺陷的预测概率，该存在缺陷的预测概率对应概率值的大小则可用于反映相应图像区域存在缺陷(或缺陷图像)的可能性，一般来说，如果图像处理设备对一个图像区域进行缺陷检测后，得到的该图像区域存在缺陷的预测概率较高，则说明该图像区域存在缺陷的可能性较大，如若一个图像区域存在缺陷的预测概率为0.9，则该图像处理设备则可认为该图像区域存在极大可能性是存在缺陷。
在一个实施例中，该图像处理设备在根据M个特征数据对该N个图像区域进行缺陷检测时，该图像处理设备将对该N个图像区域中的每个图像区域均进行缺陷检测，那么需要说明的是，在该图像处理设备基于M个特征数据对每个图像区域进行缺陷检测时，该图像处理设备可根据该M个特征数据中，与每个图像区域对应的一个或多个特征数据，对相应图像区域进行缺陷检测。举例来说，若该图像处理设备当前进行缺陷检测的图像区域为该待处理图像中的图像区域A，而从该图像区域A中提取出的特征数据包括特征数据1和特征数据2，那么在图像处理设备对图像区域A进行缺陷检测时，该图像处理设备则从获取的M个特征数据中选取出特征数据1和特征数据2，并采用该特征数据1和特征数据2对该图像区域A进行缺陷检测。在另一种实施例中，该图像处理设备在对每个图像区域进行缺陷检测时，除了可参考在该被检测的图像区域中提取出的特征数据，还可一并参考从与该被检测的图像区域相邻的其他图像区域中提取出的特征数据。如若当前进行缺陷检测的图像区域为该待处理图像中的图像区域A，而从该图像区域A中提取出的特征数据包括特征数据1和特征数据2，与该图像区域A相邻的图像区域包括图像区域B，那么，该图像处理设备对图像区域A进行缺陷检测时，将从获取的M个特征数据中选取出特征数据1和特征数据2，还将获取从图像区域B中提取出的特征数据(假设为特征数据3)，那么，该图像处理设备在对图像区域A进行缺陷检测时，将采用该特征数据1，特征数据2，以及特征数据3对该图像区域A进行缺陷检测。
可以理解的是，该图像处理设备基于特征数据对每个图像区域进行缺陷检测的过程，即是对每个特征数据进行特征识别的过程，该图像处理设备可以是终端设备，该终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等；或者，该图像处理设备也可以是服务器，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器等。此外，该图像处理设备还可以是终端设备或服务器中的一个处理模块。在该图像处理设备获取确定出每个图像区域存在缺陷的预测概率后，则可基于每个图像区域的关注度，并结合响应每个图像区域存在缺陷的预测概率，生成该待处理图像的预测结果，以及该预测结果的置信度，即该图像处理设备可转而执行步骤S203。
S203，获取每个图像区域的关注度，并根据每个图像区域的关注度对每个图像区域存在缺陷的预测概率进行调整。
S204，根据每个图像区域调整后的预测概率，生成待处理图像的预测结果及预测结果的置信度。
在步骤S203和步骤S204中，图像处理设备在确定出待处理图像中每个图像区域存在缺陷的预测概率后，还可进一步获取每个图像区域的关注度，在一个实施例中，针对每个图像区域的关注度可以是技术人员基于图像是否存在缺陷的经验值预设到该图像处理设备中的，例如，根据经验值认为，与人物相关内容的图像出现缺陷的概率较大，则该图像处理设备在获取待处理图像中的图像区域对应的关注度时，该图像处理设备获取到的包括与人物相关的图像区域的关注度则较大，如该图像处理设备确定待处理图像中分别包括图像区域A和图像区域B，且图像区域A中包括与人物相关的内容(如脸部图像)，而图像区域B则不包括与人物相关的内容，则图像处理设备获取的针对图像区域A的关注度，必然大于获取的针对图像区域B的关注度。在另一种实施方式中，图像处理设备还可根据每个图像在缺陷后对用户观看该图像的影响程度，确定每个图像区域的关注度，如当一个图像的图像中心区域在缺陷后，对用户观看该图像的影响程度较高，而一个图像的边缘位置缺陷后，对用户观看该图像的影响程度较低，则如果图像处理设备确定获取的待处理图像包括的图像区域A为待处理图像的中心区域图像，而获取的图像区域B为待处理图像的边缘区域图像，则该图像处理设备获取的针对图像区域A的关注度，将大于获取的针对图像区域B的关注度。
此外，在另一种实施方式中，该图像处理设备还可采用注意力机制确定每个图像的关注度，其中，注意力机制(Attention Mechanism)和人类视觉的注意力机制类似，就是使用人工智能(Artificial Intelligence，AI)技术，使得机器(如图像处理设备)能在众多信息中把注意力集中放在重要的点上，选出关键信息，而忽略其他不重要的信息。那么该图像处理设备基于注意力机制则可从该待处理图像中确定出需要关注的图像区域，进而获取的需要关注的图像区域的关注度，将大于不需关注的图像区域的关注度。其中，人工智能技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
在一个实施例中，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大图像处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本发明实施例主要涉及人工智能技术的计算机视觉技术(Computer Vision,CV)领域，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
基于图像处理设备获取到针对每个图像区域的关注度后，则可根据每个图像区域的关注度，对相应图像区域存在缺陷的预测概率进行调整，在具体实现中，图像处理设备在基于图像区域对应的关注度对相应图像区域存在缺陷的预测概率进行调整时，可对每个相应图像区域存在缺陷的预测概率按照一定的比例进行调整，且该调整比例与每个图像区域的关注度成正相关的，也就是说，如果该图像处理设备获取的一个图像区域的关注度，大于获取的另一图像区域的关注度，则该图像处理设备在对该一个图像区域存在缺陷的预测概率进行调整的比例，大于对另一图像区域存在缺陷的预测概率的调整比例。举例来说，若图像处理设备获取的针对图像区域A的关注度大于针对图像区域B的关注度，则该图像处理设备而可对图像区域A存在缺陷的预测概率进行调整的比例为a，而对图像区域B存在缺陷的预测概率进行调整的比例则为b，且a大于b。
在图像处理设备基于每个图像区域的关注度，对相应图像区域存在缺陷的预测概率进行调整后，则可得到每个图像区域对应的调整后存在缺陷的预测概率，那么，该图像处理设备在得到每个图像区域调整后预测概率后，进一步地，该图像处理设备则可基于每个图像区域调整后的预测概率，生成该待处理图像的预测结果，以及该预测结果的置信度。在图像处理设备基于每个图像区域调整后的预测概率，生成该待处理图像的预测结果时，若一个图像区域调整后的预测概率大于等于预测阈值，则可认为该待处理图像的预测结果为：该待处理图像为缺陷图像；而如果一个图像区域调整后的预测概率小于该预测阈值，则可认为该待处理图像的预测结果为该待处理图像为正常图像。为了保证图像处理设备的预测精准度，该图像处理设备在基于是否存在缺陷的预测概率确定该待处理图像是否为缺陷图像时，可将预测阈值设置为一个较小值，如0或者0.1等，使得图像处理设备可有效避免对缺陷图像的漏检。此外，该图像处理设备还可根据调整后的预测概率，确定针对该待处理图像的预测结果的置信度，具体地，该图像处理设备可直接将该调整后的预测概率作为该待处理图像对应预测结果的置信度，或者，该图像处理设备也可在将该预测结果进行归一化处理后，将归一化后的预测结果作为该待处理图像的预测结果的置信度。
在本发明实施例中，图像处理设备在获取到待处理图像后，则可从待处理图像的每个图像区域中分别提取处一个或多个特征数据，进而，该待处理图像可根据提取出的特征数据对该待处理图像的每个图像区域进行缺陷检测，得到每个图像区域存在缺陷的预测概率。此外，该图像处理设备还将获取针对每个图像区域的关注度，并可进而基于每个图像区域的关注度，对每个图像区域存在缺陷的预测概率进行调整，从而可采用调整后的预测概率生成该待处理图像的预测结果，以及该预测结果的置信度，由于图像处理设备提取得到的特征数据，是基于不同图像区域进行提取的，使得该图像处理设备可充分考虑待处理图像中的局部特征，而且，基于对每个图像区域的关注度，对不同图像区域的是否存在缺陷的预测概率进行调整，可使得该图像处理设备获取到的预测结果，是根据不同图像区域的关注度的不同进行自适应集成得到的，使得预测结果更加平滑，进而可提升对该待处理图像进行缺陷预测的准确度。
请参见图4，是本发明实施例提供的一种图像处理方法的示意流程图，该图像处理方法也可由上述的图像处理设备执行，如图4所示，该方法可包括：
S401，从待处理图像的N个图像区域中分别提取出M个特征数据，M和N均为大于等于1的整数，且M大于等于N，一个图像区域对应一个或多个特征数据。
S402，根据M个特征数据对N个图像区域进行缺陷检测，得到N个图像区域中的每个图像区域存在缺陷的预测概率。
在步骤S401和步骤S402中，图像处理设备在获取到待处理图像后，可先对对待处理图像进行划分，进而可获取划分得到的一个或多个图像区域，该图像处理设备在获取到划分得到的一个或多个图像区域后，则可调用训练完成的识别模型对任一图像区域进行特征提取处理，得到每个图像区域对应的一个或多个特征数据。在一个实施例中，该图像处理设备在获取划分得到的一个或多个图像区域时，可先对划分得到的每个图像区域进行平面插值处理，以调整每个图像区域的区域大小，其中，调整后的每个图像区域的区域大小相同，进一步地，该图像处理设备则可将调整后的一个图像区域作为划分得到的一个图像区域。如图5a所示，图像处理设备在获取到待处理图像后，可对该待处理图像进行随机的图像块裁剪处理，图像处理设备在获取到裁剪得到的图像块(或图像区域)后，该图像处理设备可对剪裁得到的图像块进行平面插值处理，进而使得剪裁得到的图像块为固定大小，例如可以是224毫米×224毫米的大小，进一步地，该图像处理设备会将获取到的每个图像区域经过一个卷积神经网络进行特征提取，值得注意的是，此处的卷积神经网络权重是共享的，这样就不必训练五个卷积神经网络，很大程度上节省了参数以及图形处理器(GraphicsProcessing Unit，GPU)算力。对于每个图像区域提取到的特征，该图像处理设备可保留每个图像区域提取到的特征数据不变，从而基于每个图像区域提取到的特征数据，对相应图像区域进行缺陷检测处理，或者，该图像处理设备也可对每个图像区域提取到的特征数据进行特征融合，并进而基于每个图像区域对应的融合后的特征数据，确定相应图像区域存在缺陷的预测概率。并进而可得到该待处理图像的预测结果和相应的置信度。
在一个实施例中，该图像处理设备在对待处理图像进行分割时，可按照如图5a所示的方式分割，或者，该图像处理设备也可按照如图3a所示的规则化采样方式对待处理图像进行分割，以实现对待处理图像的区域全覆盖。在图像处理设备对待处理图像进行分割完毕，得到多个图像区域后，则可对每个图像区域进行特征提取，得到每个图像区域的特征数据，并根据每个图像区域的特征数据对相应图像区域进行缺陷检测处理，得到每个图像区域存在缺陷的预测概率。在该图像处理设备得到每个图像区域存在缺陷的预测概率后，则可进一步地获取每个图像区域的关注度，即转而执行步骤S403。
S403，获取每个图像区域的关注度，关注度包括预测概率的预测权重。
S404，采用每个图像区域的预测权重，对相应图像区域存在缺陷的预测概率进行加权处理，并将每个图像区域加权处理后的预测概率作为相应图像区域调整后的预测概率。
在步骤S403和步骤S404中，图像处理设备获取的关注度包括针对存在缺陷的预测概率的预测权重，该图像处理设备获取目标图像区域的关注度的方式包括：采用注意力机制从待处理图像中确定出关注区域，并获取目标图像区域与关注区域之间的重叠区域，进而使得该图像处理设备可根据重叠区域的面积，确定目标图像区域的关注度；其中，目标图像区域的关注度，与重叠区域的面积大小正相关。如图5b所示，若该图像处理设备采用注意力机制从待处理图像中确定出的关注区域为如图5b中由50标记的区域，而从待处理图像中获取的图像区域包括如图5b中由51标记的区域，以及如图5b中由52标记的区域，那么，由于该关注区域50与图像区域51之间的重叠面积，大于关注区域50与图像区域52之间的重叠面积，那么，该图像处理设备则确定该图像区域51的关注度大于图像区域52的关注度。
在一个实施例中，该注意力机制被包括在训练完成的识别模型中，其中，对该识别模型的训练过程包括：获取样本图像，样本图像被添加有标注标签，标注标签用于指示样本图像是否为缺陷图像(如上述的花屏图像等)；其中，若为该样本图像添加的标注标签为1，则可指示该样本图像为缺陷图像，而如果为该样本图像添加的标注标签为0，则可指示该样本图像不是缺陷图像。在该图像处理设备获取到样本图像后，则可调用初始识别模型确定样本图像的预测标签，进而可根据预测标签和标注标签之间的差异，调整初始识别模型的模型参数，得到训练完成的识别模型。由于为样本图像添加的标注标签为二值标签(如上述的0或1)，而二值标签仅用于指示该图像是否是缺陷，但是在缺陷图像为局部缺陷时，这样的一个标注标签是一个不确定性较高的弱标签，所以，在图像处理设备对识别模型进行训练时，将引入注意力机制来降低区域缺陷对模型训练的影响，具体地，若样本图像也被划分为N个样本区域，那么，采用该识别模型得到第i个样本区域的预测结果的预测值可能为pi，在训练该识别模型时，由于引入了注意力机制，因此，图像处理设备将对注意力参数Wi进行训练，该参数随着对识别模型的网络训练会逐渐更新，并将训练完成的注意力参数Wi作为每个样本区域的关注度，也就使得图像处理设备可对每个样本区域存在缺陷的预测概率进行集成，所以，采用每个图像区域的关注度Wi对每个图像区域存在缺陷的预测概率pi进行加权处理后，得到的调整后的预测概率可以为p，且存在式1的表达式：
Figure BDA0002979104560000141
其中，Wi为每个图像区域的关注度(即每个图像区域对应存在缺陷的预测概率的预测权重)，pi为采用每个图像区域的特征数据进行缺陷检测确定出的，每个图像区域存在缺陷的预测概率。在有个实施例中，该注意力权重Wi的意义在于自适应地评价当前图像区域对于缺陷分类判断的贡献度，当网络训练逐渐收敛的时候，对于上述局部缺陷图像中不存在缺陷区域的图像块，Wi的权重值较低，而对于存在缺陷的局部图像块，Wi则会比较高，这样融合之后的结果可以充分考虑每一个图像块的重要程度，得到稳定的输出结果。也就是说，图像处理设备在调整初始识别模型的模型参数得到训练完成的识别模型时，即是对注意力参数进行调整，以降低预测标签和标注标签之间的差异，并在预测标签和标注标签之间的差异取得最小值时，得到训练完成的识别模型。在一个实施例中，可用softmax交叉熵损失函数(一种逻辑回归损失函数)指示预测标签和标注标签之间的差异，该softmax交叉熵损失函数可以如式2所示：
Loss＝-[ylogp+(1-y)log(1-p)] 式2
其中，y表示样本图像是否为缺陷的标注信息(如该样本图像的标识标签)，p表示模型经过多个图像区域集成之后输出的概率值，p可由上述式1计算得出，二者之间得到的损失用来驱动模型的权重更新，进而优化整个识别模型，从而完成对识别模型的优化，得到训练完成的识别模型。
在图像处理设备获取到每个图像区域的关注度后，该图像处理设备在则可采用每个图像区域的预测权重，对相应图像区域存在缺陷的预测概率进行加权处理，即，该图像处理设备可对每个图像区域加权处理后的预测概率进行求和，得到加权求和后的预测概率，其中，每个图像区域加权求和后的预测概率，即是相应图像区域调整后存在缺陷的预测概率。在图像处理设备得到每个图像区域调整后存在缺陷的预测概率后，则可转而执行步骤S405。
S405，根据每个图像区域调整后的预测概率，生成待处理图像的预测结果及预测结果的置信度。
在一个实施例中，图像处理设备调整后的预测概率即是，对相应图像区域存在缺陷的预测概率进行加权处理后的预测概率，进而使得图像处理设备可基于加权处理后的预测概率，生成该待处理图像的预测结果以及预测结果的置信度，在具体实现中，该图像处理设备可在加权处理后的预测概率大于概率阈值时，确定该待生成图像为缺陷图像，且该待生成图像为缺陷图像的置信度为加权求和后的预测概率的权重值。在图像处理设备确定出该待处理图像的预测结果的置信度后，由于该置信度可用于指示预测结果的准确性，则该图像处理设备可在该置信度大于等于第一阈值，则为待处理图像添加缺陷标签；否则，则为待处理图像添加正常标签，其中，该第一阈值例如可以是0.9或者0.86等值，此外，该置信度还可用于反应待处理图像的缺陷程度，可以理解，该置信度越大，对应的缺陷程度越高，其中，该缺陷程度可基于缺陷面积确定，即缺陷面积越大，则缺陷程度越高，如图5c所示，图像处理设备可基于存在缺陷的面积确定不同的缺陷程度；此外，该缺陷程度还可基于图像中像素差异的大小确定。所以，图像处理设备在确定出待处理图像的预测结果的置信度后，如果该置信度大于等于第二阈值，则说明该待处理图像的缺陷程度较高，则可对待处理图像进行恢复处理，以消除待处理图像中的缺陷。
在一个实施例中，该预测结果和该预测结果可用于对图像质量进行检测，若该待处理图像是视频中的图像帧，则该图像处理设备可基于可将视频帧作为待处理图像，进而基于视频帧的预测结果和相应的置信度，确定该视频数据的数据质量。如图5d所示，若图像处理设备从视频数据中获取到的用于作为待处理图像的图像帧为如图5d中由501标记的图像所示，那么该图像处理设备在从视频数据中获取到待处理图像的图像帧后，则可调用训练完成的识别模型得到针对该图像帧501的预测结果，以及相应的置信度，如输出的预测结果是如图5d中的“缺陷图像”，该置信度为0.95；且预测结果为“正常图像”时的置信度为0.05；那么图像处理设备则可确定该图像帧501为缺陷图像，且其缺陷程度较高。或者，如果该图像处理设备从视频数据中获取到的用于作为待处理图像的图像帧为如图5d中由502标记的图像所示，那么该图像处理设备在从视频数据中获取到待处理图像的图像帧后，则可调用训练完成的识别模型得到针对该图像帧502的预测结果，以及相应的置信度，如输出的预测结果是如图5d中的“正常图像”，该置信度为0.99，且为“缺陷图像”的置信度为0.01，那么，该图像处理设备则可确定该图像帧502为正常图像。
在本发明实施例中，图像处理设备在从待处理图像中获取到多个图像区域，并从图像区域中提取出多个特征数据后，该图像处理设备可根据提取出的特征数据，分别对每个图像区域进行缺陷检测，得到每个图像区域存在缺陷的预测概率，进而可在获取到每个图像区域的关注度后，根据每个图像区域的关注度指示的预测权重，对相应图像区域存在缺陷的预测概率进行加权处理，并将加权处理后的预测概率作为相应图像区域调整后的预测概率，那么使得图像处理设备可根据每个图像区域调整后的预测概率，生成待处理图像的预测结果以及该预测结果的置信度，由此，可提升待处理设备进行缺陷检测得到的预测结果的准确度。
基于上述图像处理方法实施例的描述，本发明实施例还提出了一种图像处理装置，该图像处理装置可以是运行于上述图像处理设备中的一个计算机程序(包括程序代码)。该图像处理装置可用于执行如图2和图4所述的图像处理方法，请参见图6，该图像处理装置包括：提取单元601，检测单元602，获取单元603，调整单元604和生成单元605。
提取单元601，用于从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；
检测单元602，用于根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；
获取单元603，用于获取所述每个图像区域的关注度；
调整单元604，用于根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；
生成单元605，用于根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度。
在一个实施例中，所述待处理图像包括目标图像区域；所述获取单元603，具有用于：
采用注意力机制从所述待处理图像中确定出关注区域，并获取所述目标图像区域与所述关注区域之间的重叠区域；
根据所述重叠区域的面积，确定所述目标图像区域的关注度；其中，所述目标图像区域的关注度，与所述重叠区域的面积大小正相关。
在一个实施例中，所述注意力机制被包括在训练完成的识别模型中，所述获取单元603，具体用于：
获取样本图像，所述样本图像被添加有标注标签，所述标注标签用于指示所述样本图像是否为缺陷图像；
调用初始识别模型确定所述样本图像的预测标签；
根据所述预测标签和所述标注标签之间的差异，调整所述初始识别模型的模型参数，得到训练完成的识别模型。
在一个实施例中，所述调整单元604，具体用于：
调整所述注意力参数，以降低所述预测标签和所述标注标签之间的差异，并在所述预测标签和所述标注标签之间的差异取得最小值时，得到训练完成的识别模型。
在一个实施例中，所述关注度包括所述预测权重；所述调整单元604，具体用于：
采用每个图像区域的预测权重，对相应图像区域存在缺陷的预测概率进行加权处理，并将每个图像区域加权处理后的预测概率作为相应图像区域调整后的预测概率。
在一个实施例中，所述生成单元605，具体用于：
对所述每个图像区域加权处理后的预测概率进行求和，得到加权求和后的预测概率；
若所述加权后的预测概率大于概率阈值，则确定所述待生成图像为缺陷图像，且所述待生成图像为缺陷图像的置信度为所述加权求和后的预测概率的权重值。
在一个实施例中，所述置信度用于指示所述预测结果的准确性；所述装置还包括：添加单元606。
添加单元606，用于若所述置信度大于等于第一阈值，则为所述待处理图像添加缺陷标签；否则，则为所述待处理图像添加正常标签。
在一个实施例中，所述置信度用于反应所述待处理图像的缺陷程度；所述装置还包括：恢复单元607。
恢复单元607，用于若所述置信度大于等于第二阈值，则对所述待处理图像进行恢复处理，以消除所述待处理图像中的缺陷。
在一个实施例中，所述提取单元601，具体用于：
对待处理图像进行划分，并获取划分得到的一个或多个图像区域；
调用训练完成的识别模型对任一图像区域进行特征提取处理，得到每个图像区域对应的一个或多个特征数据。
在一个实施例中，所述提取单元601，具体用于：
对划分得到的每个图像区域进行平面插值处理，以调整每个图像区域的区域大小，其中，调整后的每个图像区域的区域大小相同；
将调整后的一个图像区域作为划分得到的一个图像区域。
在本发明实施例中，在获取到待处理图像后，提取单元601则可从待处理图像的每个图像区域中分别提取处一个或多个特征数据，进而，检测单元602可根据提取出的特征数据对该待处理图像的每个图像区域进行缺陷检测，得到每个图像区域存在缺陷的预测概率。此外，获取单元601还将获取针对每个图像区域的关注度，调整单元601则可进而基于每个图像区域的关注度，对每个图像区域存在缺陷的预测概率进行调整，从而生成单元605可采用调整后的预测概率生成该待处理图像的预测结果，以及该预测结果的置信度，由于提取得到的特征数据是基于不同图像区域进行提取的，使得可充分考虑待处理图像中的局部特征，而且，基于对每个图像区域的关注度，对不同图像区域存在缺陷的预测概率进行调整，可使得获取到的预测结果是根据不同图像区域的关注度的不同进行自适应集成得到的，使得预测结果更加平滑，进而可提升对该待处理图像进行缺陷预测的准确度。
请参见图7，是本发明实施例提供的一种图像处理设备的结构示意性框图。如图7所示的本实施例中的图像处理设备可包括：一个或多个处理器701；一个或多个输入设备702，一个或多个输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行所述存储器704存储的程序指令。
所述存储器704可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储器704也可以包括非易失性存储器(non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器704还可以包括上述种类的存储器的组合。
所述处理器701可以是中央处理器(central processing unit，CPU)。所述处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理器701也可以为上述结构的组合。
本发明实施例中，所述存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行存储器704存储的程序指令，用来实现上述如图2和图4中相应方法的步骤。
在一个实施例中，所述处理器701被配置调用所述程序指令，用于执行：
从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；
根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；
获取所述每个图像区域的关注度，并根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；
根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度。
在一个实施例中，所述待处理图像包括目标图像区域，所述处理器701被配置调用所述程序指令，用于执行：
采用注意力机制从所述待处理图像中确定出关注区域，并获取所述目标图像区域与所述关注区域之间的重叠区域；
根据所述重叠区域的面积，确定所述目标图像区域的关注度；其中，所述目标图像区域的关注度，与所述重叠区域的面积大小正相关。
在一个实施例中，所述注意力机制被包括在训练完成的识别模型中，所述处理器701被配置调用所述程序指令，用于执行：
获取样本图像，所述样本图像被添加有标注标签，所述标注标签用于指示所述样本图像是否为缺陷图像；
调用初始识别模型确定所述样本图像的预测标签；
根据所述预测标签和所述标注标签之间的差异，调整所述初始识别模型的模型参数，得到训练完成的识别模型。
在一个实施例中，所述处理器701被配置调用所述程序指令，用于执行：
调整所述注意力参数，以降低所述预测标签和所述标注标签之间的差异，并在所述预测标签和所述标注标签之间的差异取得最小值时，得到训练完成的识别模型。
在一个实施例中，所述关注度包括所述预测概率的预测权重；所述处理器701被配置调用所述程序指令，用于执行：
采用每个图像区域的预测权重，对相应图像区域的存在缺陷的预测概率进行加权处理，并将每个图像区域加权处理后的预测概率作为相应图像区域调整后的预测概率。
在一个实施例中，所述处理器701被配置调用所述程序指令，用于执行：
对所述每个图像区域加权处理后的预测概率进行求和，得到加权求和后的预测概率；
若所述加权后的预测概率大于概率阈值，则确定所述待生成图像为缺陷图像，且所述待生成图像为缺陷图像的置信度为所述加权求和后的预测概率的权重值。
在一个实施例中，所述置信度用于指示所述预测结果的准确性；所述处理器701被配置调用所述程序指令，用于执行：
若所述置信度大于等于第一阈值，则为所述待处理图像添加缺陷标签；否则，则为所述待处理图像添加正常标签。
在一个实施例中，所述置信度用于反应所述待处理图像的缺陷程度；所述处理器701被配置调用所述程序指令，用于执行：
若所述置信度大于等于第二阈值，则对所述待处理图像进行恢复处理，以消除所述待处理图像中的缺陷。
在一个实施例中，所述处理器701被配置调用所述程序指令，用于执行：
对待处理图像进行划分，并获取划分得到的一个或多个图像区域；
调用训练完成的识别模型对任一图像区域进行特征提取处理，得到每个图像区域对应的一个或多个特征数据。
在一个实施例中，所述处理器701被配置调用所述程序指令，用于执行：
对划分得到的每个图像区域进行平面插值处理，以调整每个图像区域的区域大小，其中，调整后的每个图像区域的区域大小相同；
将调整后的一个图像区域作为划分得到的一个图像区域。
本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述如图2或图4所示的方法实施例。其中，所述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的局部实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；
根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；
获取所述每个图像区域的关注度，并根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；
根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度。
2.如权利要求1所述的方法，其特征在于，所述待处理图像包括目标图像区域，获取所述目标图像区域的关注度的方式包括：
采用注意力机制从所述待处理图像中确定出关注区域，并获取所述目标图像区域与所述关注区域之间的重叠区域；
根据所述重叠区域的面积，确定所述目标图像区域的关注度；其中，所述目标图像区域的关注度，与所述重叠区域的面积大小正相关。
3.如权利要求2所述的方法，其特征在于，所述注意力机制被包括在训练完成的识别模型中，对所述识别模型的训练过程包括：
获取样本图像，所述样本图像被添加有标注标签，所述标注标签用于指示所述样本图像是否为缺陷图像；
调用初始识别模型确定所述样本图像的预测标签；
根据所述预测标签和所述标注标签之间的差异，调整所述初始识别模型的模型参数，得到训练完成的识别模型。
4.如权利要求3所述的方法，其特征在于，所述模型参数包括注意力参数，所述调整所述初始识别模型的模型参数，得到训练完成的识别模型，包括：
调整所述注意力参数，以降低所述预测标签和所述标注标签之间的差异，并在所述预测标签和所述标注标签之间的差异取得最小值时，得到训练完成的识别模型。
5.如权利要求1所述的方法，其特征在于，所述关注度包括所述预测概率的预测权重；所述根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整，包括：
采用每个图像区域的预测权重，对相应图像区域存在缺陷的预测概率进行加权处理，并将每个图像区域加权处理后的预测概率作为相应图像区域调整后的预测概率。
6.如权利要求5所述的方法，其特征在于，所述根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度，包括：
对所述每个图像区域加权处理后的预测概率进行求和，得到加权求和后的预测概率；
若所述加权后的预测概率大于概率阈值，则确定所述待生成图像为缺陷图像，且所述待生成图像为缺陷图像的置信度为所述加权求和后的预测概率的权重值。
7.如权利要求1所述的方法，其特征在于，所述置信度用于指示所述预测结果的准确性；所述方法还包括：
若所述置信度大于等于第一阈值，则为所述待处理图像添加缺陷标签；否则，则为所述待处理图像添加正常标签。
8.如权利要求1所述的方法，其特征在于，所述置信度用于反应所述待处理图像的缺陷程度；所述方法还包括：
若所述置信度大于等于第二阈值，则对所述待处理图像进行恢复处理，以消除所述待处理图像中的缺陷。
9.如权利要求1所述的方法，其特征在于，所述从待处理图像的N个图像区域中分别提取出M个特征数据，包括：
对待处理图像进行划分，并获取划分得到的一个或多个图像区域；
调用训练完成的识别模型对任一图像区域进行特征提取处理，得到每个图像区域对应的一个或多个特征数据。
10.如权利要求9所述的方法，其特征在于，所述获取划分得到的一个或多个图像区域，包括：
对划分得到的每个图像区域进行平面插值处理，以调整每个图像区域的区域大小，其中，调整后的每个图像区域的区域大小相同；
将调整后的一个图像区域作为划分得到的一个图像区域。
11.一种图像处理装置，其特征在于，包括：
提取单元，用于从待处理图像的N个图像区域中分别提取出M个特征数据，所述M和N均为大于等于1的整数，且所述M大于等于N，一个图像区域对应一个或多个特征数据；
检测单元，用于根据所述M个特征数据对所述N个图像区域进行缺陷检测，得到所述N个图像区域中的每个图像区域存在缺陷的预测概率；
获取单元，用于获取所述每个图像区域的关注度；
调整单元，用于根据所述每个图像区域的关注度对所述每个图像区域存在缺陷的预测概率进行调整；
生成单元，用于根据所述每个图像区域调整后的预测概率，生成所述待处理图像的预测结果及所述预测结果的置信度。
12.一种图像处理设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、所述输入设备、所述输出设备和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～10任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～10任一项所述的方法。
CN202110283503.4A 2021-03-16 2021-03-16 图像处理方法、装置、设备及存储介质 Pending CN115082667A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110283503.4A CN115082667A (zh) 2021-03-16 2021-03-16 图像处理方法、装置、设备及存储介质
PCT/CN2021/108838 WO2022193523A1 (zh) 2021-03-16 2021-07-28 图像处理方法、装置、设备及存储介质
US18/130,165 US20230237633A1 (en) 2021-03-16 2023-04-03 Image processing method and apparatus, system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110283503.4A CN115082667A (zh) 2021-03-16 2021-03-16 图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115082667A true CN115082667A (zh) 2022-09-20

Family

ID=83245609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110283503.4A Pending CN115082667A (zh) 2021-03-16 2021-03-16 图像处理方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20230237633A1 (zh)
CN (1) CN115082667A (zh)
WO (1) WO2022193523A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619778A (zh) * 2022-12-06 2023-01-17 南京迈能能源科技有限公司 一种电力设备缺陷识别方法、系统、可读存储介质及设备
CN116030030A (zh) * 2023-02-13 2023-04-28 中建科技集团有限公司 一种预制构件的焊缝内外缺陷一体化评估方法
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109580656B (zh) * 2018-12-24 2021-01-15 广东华中科技大学工业技术研究院 基于动态权重组合分类器的手机导光板缺陷检测方法及系统
US11024034B2 (en) * 2019-07-02 2021-06-01 Acist Medical Systems, Inc. Image segmentation confidence determination
CN110516677A (zh) * 2019-08-23 2019-11-29 上海云绅智能科技有限公司 一种神经网络识别模型、目标识别方法及系统
CN111709471B (zh) * 2020-06-12 2022-09-23 腾讯科技（深圳）有限公司 对象检测模型的训练方法以及对象检测方法、装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619778A (zh) * 2022-12-06 2023-01-17 南京迈能能源科技有限公司 一种电力设备缺陷识别方法、系统、可读存储介质及设备
CN116030030A (zh) * 2023-02-13 2023-04-28 中建科技集团有限公司 一种预制构件的焊缝内外缺陷一体化评估方法
CN116030030B (zh) * 2023-02-13 2023-08-29 中建科技集团有限公司 一种预制构件的焊缝内外缺陷一体化评估方法
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN116542980B (zh) * 2023-07-06 2023-11-03 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品

Also Published As

Publication number Publication date
WO2022193523A1 (zh) 2022-09-22
US20230237633A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
US11657602B2 (en) Font identification from imagery
US20220230420A1 (en) Artificial intelligence-based object detection method and apparatus, device, and storage medium
CN115082667A (zh) 图像处理方法、装置、设备及存储介质
CN111738244A (zh) 图像检测方法、装置、计算机设备和存储介质
EP4092623A1 (en) Image processing method and apparatus, and device and storage medium
CN111488826A (zh) 一种文本识别方法、装置、电子设备和存储介质
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN114463586A (zh) 图像识别模型的训练与图像识别方法、装置、设备和介质
CN112288074A (zh) 图像识别网络生成方法及装置、存储介质及电子设备
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN113591674B (zh) 一种面向实时视频流的边缘环境行为识别系统
CN110969154A (zh) 文本识别方法、装置、计算机设备和存储介质
CN110942067A (zh) 文本识别方法、装置、计算机设备和存储介质
CN114529750A (zh) 图像分类方法、装置、设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN114399497A (zh) 文本图像质量检测方法、装置、计算机设备及存储介质
CN113869253A (zh) 活体检测方法、训练方法、装置、电子设备及介质
CN113516148A (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN113763313A (zh) 文本图像的质量检测方法、装置、介质及电子设备
CN117593610B (zh) 图像识别网络训练及部署、识别方法、装置、设备及介质
CN116778534B (zh) 图像处理方法、装置、设备和介质
CN114332884B (zh) 文档元素的识别方法、装置、设备及存储介质
CN117409295A (zh) 一种基于YOLOv7的小目标检测方法、装置、存储介质及系统
CN116912283A (zh) 基于级联残差卷积神经网络的视频分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40074016

Country of ref document: HK