CN111986103A - 图像处理方法、装置、电子设备和计算机存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN111986103A
CN111986103A CN202010699965.XA CN202010699965A CN111986103A CN 111986103 A CN111986103 A CN 111986103A CN 202010699965 A CN202010699965 A CN 202010699965A CN 111986103 A CN111986103 A CN 111986103A
Authority
CN
China
Prior art keywords
image
detected
difference
cut
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010699965.XA
Other languages
English (en)
Inventor
李帅朋
李韡
沈宇军
吴立威
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010699965.XA priority Critical patent/CN111986103A/zh
Publication of CN111986103A publication Critical patent/CN111986103A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本实施例公开了一种图像处理方法、装置、电子设备和计算机存储介质，该方法包括：将待检测图像按照至少一个裁剪区域进行裁剪，得到至少一个第一裁剪后图像，每个所述第一裁剪后图像包括一个裁剪区域对应的裁剪后图像；对每个所述第一裁剪后图像进行复原，得到第一复原图像；根据所述第一复原图像与所述待检测图像的差异，确定所述待检测图像中的异常位置。如此，在本公开实施例中，由于第一复原图像是对第一裁剪后图像复原得到的图像，且第一裁剪后图像是对待检测图像裁剪得到的图像，因而，在第一裁剪后图像与待检测图像存在差异时，可以根据差异对应的位置，准确地检测异常并定位出待检测图像的异常位置。

Description

图像处理方法、装置、电子设备和计算机存储介质
技术领域
本公开涉及计算机视觉处理技术，尤其涉及一种图像处理方法、装置、电 子设备和计算机存储介质。
背景技术
在相关技术中，异常检测是计算机视觉，工业视觉乃至医学领域中重要的 研究方向，在实际应用中，可以将图像输入到建立的异常检测模型中，从而确 定该图像是否存在异常。异常检测模型在众多领域均有重要意义。如，帮助工 业生产线上瑕疵品、损坏品的检测、辅助医疗影像检测等。
然而，相关技术中，由于存在异常样本较少且难以收集等问题，异常检测 的精度较低，仅能实现异常图像与正常图像的分类。
发明内容
本公开实施例期望提供图像异常检测与定位的技术方案。
本公开实施例提供了一种图像处理方法，所述方法包括：
将待检测图像按照至少一个裁剪区域进行裁剪，得到至少一个第一裁剪后 图像，每个所述第一裁剪后图像包括一个裁剪区域对应的裁剪后图像；
对每个所述第一裁剪后图像进行复原，得到第一复原图像；
根据所述第一复原图像与所述待检测图像的差异，确定所述待检测图像中 的异常位置。
在一些实施例中，对每个所述第一裁剪后图像进行复原，得到第一复原图 像的步骤由神经网络执行，所述神经网络采用第一样本图像和第二裁剪后图像 训练得到，所述第一样本图像表示预先确定的不存在异常的样本图像，所述第 二裁剪后图像表示对所述第一样本图像进行部分区域裁剪后得到的图像。
在一些实施例中，所述神经网络采用第一样本图像和第二裁剪后图像训练 得到，包括：
将第二裁剪后图像输入至所述神经网络，利用所述神经网络对所述第二裁 剪后图像进行处理，得到第二复原图像；
根据所述第二复原图像和所述第一样本图像，调整所述神经网络的网络参 数值。
在一些实施例中，所述根据所述第二复原图像和所述第一样本图像，调整 所述神经网络的网络参数值，包括：
对所述第一样本图像进行鉴别，得到第一鉴别结果；对所述第二复原图像 进行鉴别，得到第二鉴别结果；
根据所述第一鉴别结果和所述第二鉴别结果得出对抗损失；根据所述神经 网络的损失，调整所述神经网络的网络参数值，所述神经网络的损失包括所述 对抗损失。
在一些实施例中，所述神经网络的损失还包括以下至少一种损失：第一区 域损失、第二区域损失，所述第一区域损失表示所述第一样本图像和所述第二 复原图像在裁剪区域的差异，所述第二区域损失表示所述第一样本图像和所述 第二复原图像在除裁剪区域外的其它区域的差异。
在一些实施例中，所述方法还包括：
通过对所述第一样本图像进行随机裁剪，得到所述第二裁剪后图像。
在一些实施例中，所述通过对所述第一样本图像进行随机裁剪，得到所述 第二裁剪后图像，包括：
对所述第一样本图像进行随机裁剪后，将随机裁剪的裁剪区域的像素值置 为0，或者，在所述裁剪区域添加随机噪声，得到所述第二裁剪后图像。
在一些实施例中，在所述至少一个裁剪区域的个数大于1的情况下，待检 测图像的任意位置处于所述至少一个裁剪区域的范围内。
在一些实施例中，所述将待检测图像按照至少一个裁剪区域进行裁剪，得 到至少一个第一裁剪后图像，包括：
将所述待检测图像按照滑动窗口裁剪，得到多个第一裁剪后图像，每个所 述第一裁剪后图像包括一个窗口对应的裁剪后图像；
所述第一复原图像包括：一个窗口对应的裁剪后图像的复原图像。
在一些实施例中，所述根据所述第一复原图像与所述待检测图像的差异， 确定所述待检测图像中的异常位置，包括：
在至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像存在差异， 或者，所述至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像的差 异满足预设条件的情况下，根据所述差异对应的窗口的位置，确定所述待检测 图像中的异常位置。
在一些实施例中，所述方法还包括：
确定所述第一复原图像与所述待检测图像的至少两种差异，将所述至少两 种差异融合，得到所述第一复原图像与所述待检测图像的差异。
在一些实施例中，所述将所述至少两种差异融合，得到所述第一复原图像 与所述待检测图像的差异，包括：
将所述至少两种差异进行加权平均运算，得到所述第一复原图像与所述待 检测图像的差异；或者，
将所述至少两种差异通过投票机制进行融合，得到所述第一复原图像与所 述待检测图像的差异。
在一些实施例中，所述至少两种差异包括以下差异中的至少两项：风格差 异、感知差异和像素重建差异；所述风格差异表示所述第一复原图像与所述待 检测图像的风格特征差异，所述感知差异表示所述第一复原图像与所述待检测 图像在特征空间的差异；所述像素重建差异表示所述第一复原图像与所述待检 测图像在图像像素空间的差异。
本公开实施例还提供了一种图像处理装置，所述装置包括第一处理模块、 第二处理模块和第三处理模块，其中，
第一处理模块，用于将待检测图像按照至少一个裁剪区域进行裁剪，得到 至少一个第一裁剪后图像，每个所述第一裁剪后图像包括一个裁剪区域对应的 裁剪后图像；
第二处理模块，用于对每个所述第一裁剪后图像进行复原，得到第一复原 图像；
第三处理模块，用于根据所述第一复原图像与所述待检测图像的差异，确 定所述待检测图像中的异常位置。
在一些实施例中，对每个所述第一裁剪后图像进行复原，得到第一复原图 像的步骤由神经网络执行，所述神经网络采用第一样本图像和第二裁剪后图像 训练得到，所述第一样本图像表示预先确定的不存在异常的样本图像，所述第 二裁剪后图像表示对所述第一样本图像进行部分区域裁剪后得到的图像。
在一些实施例中，所述装置还包括训练模块，所述训练模块，用于将第二 裁剪后图像输入至所述神经网络，利用所述神经网络对所述第二裁剪后图像进 行处理，得到第二复原图像；根据所述第二复原图像和所述第一样本图像，调 整所述神经网络的网络参数值。
在一些实施例中，所述训练模块，用于根据所述第二复原图像和所述第一 样本图像，调整所述神经网络的网络参数值，包括：
对所述第一样本图像进行鉴别，得到第一鉴别结果；对所述第二复原图像 进行鉴别，得到第二鉴别结果；
根据所述第一鉴别结果和所述第二鉴别结果得出对抗损失；根据所述神经 网络的损失，调整所述神经网络的网络参数值，所述神经网络的损失包括所述 对抗损失。
在一些实施例中，所述神经网络的损失还包括以下至少一种损失：第一区 域损失、第二区域损失，所述第一区域损失表示所述第一样本图像和所述第二 复原图像在裁剪区域的差异，所述第二区域损失表示所述第一样本图像和所述 第二复原图像在除裁剪区域外的其它区域的差异。
在一些实施例中，所述训练模块，还用于通过对所述第一样本图像进行随 机裁剪，得到所述第二裁剪后图像。
在一些实施例中，所述训练模块，用于通过对所述第一样本图像进行随机 裁剪，得到所述第二裁剪后图像，包括：
对所述第一样本图像进行随机裁剪后，将随机裁剪的裁剪区域的像素值置 为0，或者，在所述裁剪区域添加随机噪声，得到所述第二裁剪后图像。
在一些实施例中，在所述至少一个裁剪区域的个数大于1的情况下，待检 测图像的任意位置处于所述至少一个裁剪区域的范围内。
在一些实施例中，所述第一处理模块，用于将待检测图像按照至少一个裁 剪区域进行裁剪，得到至少一个第一裁剪后图像，包括：
将所述待检测图像按照滑动窗口裁剪，得到多个第一裁剪后图像，每个所 述第一裁剪后图像包括一个窗口对应的裁剪后图像；
所述第一复原图像包括：一个窗口对应的裁剪后图像的复原图像。
在一些实施例中，所述第三处理模块，用于根据所述第一复原图像与所述 待检测图像的差异，确定所述待检测图像中的异常位置，包括：
在至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像存在差异， 或者，所述至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像的差 异满足预设条件的情况下，根据所述差异对应的窗口的位置，确定所述待检测 图像中的异常位置。
在一些实施例中，所述第三处理模块，还用于确定所述第一复原图像与所 述待检测图像的至少两种差异，将所述至少两种差异融合，得到所述第一复原 图像与所述待检测图像的差异。
在一些实施例中，所述第三处理模块，用于将所述至少两种差异融合，得 到所述第一复原图像与所述待检测图像的差异，包括：
将所述至少两种差异进行加权平均运算，得到所述第一复原图像与所述待 检测图像的差异；
将所述至少两种差异通过投票机制进行融合，得到所述第一复原图像与所 述待检测图像的差异。
在一些实施例中，所述至少两种差异包括以下差异中的至少两项：风格差 异、感知差异和像素重建差异；所述风格差异表示所述第一复原图像与所述待 检测图像的风格特征差异，所述感知差异表示所述第一复原图像与所述待检测 图像在特征空间的差异；所述像素重建差异表示所述第一复原图像与所述待检 测图像在图像像素空间的差异。
本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理 器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行上述任意一种图像处理方法。
本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该 计算机程序被处理器执行时实现上述任意一种图像处理方法。
本公开实施例提出的图像处理方法、装置、电子设备和计算机存储介质中， 将待检测图像按照至少一个裁剪区域进行裁剪，得到至少一个第一裁剪后图像， 每个所述第一裁剪后图像包括一个裁剪区域对应的裁剪后图像；对每个所述第 一裁剪后图像进行复原，得到第一复原图像；根据所述第一复原图像与所述待 检测图像的差异，确定所述待检测图像中的异常位置。如此，在本公开实施例 中，由于第一复原图像是对第一裁剪后图像复原得到的图像，且第一裁剪后图 像是对待检测图像裁剪得到的图像，因而，在第一裁剪后图像与待检测图像存 在差异时，可以根据差异对应的位置，准确地检测异常并定位出待检测图像的 异常位置；也就是说，本公开实施例不仅可以实现异常检测，还可以进行像素 级别的异常定位。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的， 而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符 合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的图像处理方法的流程图；
图2为本公开实施例中滑动窗口的大小和数量对异常定位的影响的示意图；
图3为本公开实施例中热力图融合的示意图；
图4为本公开实施例中神经网络的网络架构的示意图；
图5为本公开实施例的神经网络训练方法的流程图；
图6为本公开实施例中采用不同方法检测异常的热力图；
图7A为本公开实施例中神经网络的训练阶段的流程框图；
图7B为本公开实施例中基于神经网络进行异常检测和定位的流程框图；
图8为本公开实施例的图像处理装置的组成结构示意图；
图9为本公开实施例的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处 所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提 供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施 例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实 施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其 他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不 仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包 括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包 括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外 的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、 部分处理器、部分程序或软件等等)。
例如，本公开实施例提供的图像处理方法包含了一系列的步骤，但是本公 开实施例提供的图像处理方法不限于所记载的步骤，同样地，本公开实施例提 供的图像处理装置包括了一系列模块，但是本公开实施例提供的装置不限于包 括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所 需要设置的模块。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存 在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单 独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种 或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表 示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开实施例可以应用于终端和/或服务器组成的计算机系统中，并可以与 众多其它通用或专用计算系统环境或配置一起操作。这里，终端可以是瘦客户 机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费 电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算 机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算 技术环境，等等。
终端、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指 令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、 目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的 抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云 计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云 计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质 上。
在相关技术中，异常检测方法仅能实现异常图像与正常图像的分类，并且 一部分异常检测方法尚未达到实际工业应用的程度；通常，图像中存在的异常 种类较为复杂且不可预测，某些种类异常可能在已有的异常样本图像(包含异 常的样本图像)中从未出现；相关技术中，异常检测方法难以适用于实际存在 的复杂种类的异常检测，例如，基于硬编码的异常检测仅能适用于对某一种异 常的检测，难以准确检测实际存在的各种不同种类的异常，这里，硬编码表示 数据直接嵌入到程序或其他可执行对象的源代码中的软件开发实践方式；进一 步地，异常样本图像通常较少且难以收集，因而，基于异常样本图像和正常样本图像(不包含异常的样本图像)训练异常检测模型，是难以实现的，即，难 以基于异常样本图像和正常样本图像，建立异常检测准确性较高的异常检测模 型；另外，在相关技术中，异常检测方法仅能实现异常检测，并不能实现图像 中的异常的局部定位。
针对上述技术问题，在本公开的一些实施例中，提出了一种图像处理方法， 本公开实施例可以应用于工业质检、辅助医疗设备等领域。应用本公开实施例 的图像处理方法，可以对实际应用场景的图像进行异常检测和定位。
图1为本公开实施例的图像处理方法的流程图，如图1所示，该流程可以 包括：
步骤101：将待检测图像按照至少一个裁剪区域进行裁剪，得到至少一个 第一裁剪后图像，每个所述第一裁剪后图像包括一个裁剪区域对应的裁剪后图 像。
这里，待检测图像可以是需要进行异常检测的图像；示例性地，可以从本 地存储区域或网络获取待检测图像，例如，待检测图像可以为通过移动终端或 相机等拍摄的图像；待检测图像的格式可以是联合图像专家小组(Joint Photographic Experts GROUP，JPEG)、位图(Bitmap，BMP)、便携式网络图 形(Portable Network Graphics，PNG)或其他格式；需要说明的是，这里仅仅 是对内容图像的格式和来源进行了举例说明，本公开实施例并不对待检测图像 的格式和来源进行限定。
在一个示例中，可以对待检测图像按照一个裁剪区域进行裁剪，得到第一 裁剪后图像，此时，第一裁剪后图像包含一个裁剪区域对应的裁剪后图像；在 另一个示例中，可以对待检测图像按照多个裁剪区域分别进行裁剪，得到第一 裁剪后图像，此时，第一裁剪后图像包含多个裁剪区域对应的裁剪后图像。
本公开实施例中，并不对裁剪区域的形状进行限定，示例性地，裁剪区域 的形状可以是正方形、长方形、圆形、椭圆形、三角形、多边形或者其它不规 则形状；在对待检测图像按照多个裁剪区域分别进行裁剪的情况下，上述多个 裁剪区域的形状可以相同，也可以不相同。
在具体实施时，对将待检测图像按照裁剪区域进行裁剪后，可以将裁剪区 域的像素值置为0，使除裁剪区域外的其它区域的像素值保持不变，得到裁剪 后图像；也可以在裁剪区域添加随机噪声，使除裁剪区域外的其它区域的像素 值保持不变，得到裁剪后图像。
步骤102：对每个所述第一裁剪后图像进行复原，得到第一复原图像；
这里，图像复原的目的在于通过填充丢失的像素来恢复被破坏的图像，即， 在裁剪区域内进行图像重建；示例性地，可以基于裁剪区域的边缘的语义信息， 采用训练完成的神经网络对第一裁剪后图像进行复原，也可以采用其它方式对 第一裁剪后图像进行复原。在一个具体的示例中，可以利用深度学习技术，使 用不包含异常的正常样本图像训练用于实现图像复原的神经网络，如此，加基 于训练完成的神经网络，可以针对任意图像实现高质量的图像复原。
步骤103：根据所述第一复原图像与所述待检测图像的差异，确定所述待 检测图像中的异常位置。
可以理解地，在第一复原图像与待检测图像的差异较小的情况下，可以认 为待检测图像为不存在异常的图像；在第一复原图像与待检测图像的差异较大 的情况下，可以认为待检测图像可能存在异常，且差异越大，则表示待检测图 像存在异常的可能性越大。
这里，在第一复原图像与待检测图像存在差异，或者，第一复原图像与待 检测图像的差异较大的情况下，可以认为是由裁剪区域的异常导致出现上述差 异，因而，可以根据第一复原图像与待检测图像的差异，确定待检测图像中的 异常位置。
在实际应用中，步骤101至步骤103可以利用电子设备中的处理器实现， 上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit， ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置 (Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable Gate Array， FPGA)、中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微 处理器中的至少一种；在一些实施例中，步骤101至步骤103还可以利用上述 处理器结合图像处理单元(Graphics Processing Unit，GPU)实现，如此，可以 进一步提高异常检测和定位的速度。
可以看出，在本公开实施例中，由于第一复原图像是对第一裁剪后图像复 原得到的图像，且第一裁剪后图像是对待检测图像裁剪得到的图像，因而，在 第一裁剪后图像与待检测图像存在差异时，可以根据差异对应的位置，准确地 检测异常并定位出待检测图像的异常位置；也就是说，本公开实施例不仅可以 实现异常检测，还可以进行像素级别的异常定位。
作为一种实现方式，在上述至少一个裁剪区域的个数大于1的情况下，待 检测图像的任意位置处于至少一个裁剪区域的范围内，即各个裁剪区域需要覆 盖待检测图像的任意位置，如此，无论待检测图像中的异常位置处于待检测图 像的哪个区域，待检测图像中的异常位置均处于至少一个裁剪区域内，因而， 无论待检测图像中的异常位置处于待检测图像的哪个区域，均可以确定待检测 图像中的异常位置，提高了待检测图像中的异常定位的可靠性。
在一种实施方式中，可以将待检测图像按照滑动窗口裁剪，得到多个第一 裁剪后图像，每个第一裁剪后图像包括一个窗口对应的裁剪后图像；相应地， 第一复原图像包括：一个窗口对应的裁剪后图像的复原图像。
在一些实施例中，可以按照滑动窗口多次确定裁剪区域，每个窗口对应一 个裁剪区域，不同窗口的位置是不同的，不同窗口的大小可以相同，也可以不 同；在待检测图像中，针对每个裁剪区域进行裁剪，可以得到一个第一裁剪后 图像；通过窗口的滑动，可以使各个裁剪区域需要覆盖待检测图像的任意位置。
这里，并不对滑动窗口的形状进行限定，示例性地，窗口的形状为正方形、 长方形、三角形、多边形等形状。
可以看出，通过滑动窗口的方式确定裁剪区域，便于在待检测区域中均匀 选取出各个区域的裁剪区域，具有便于实现的特点。
本公开实施例中，裁剪区域的大小和数量可以根据实际应用需求确定，例 如，可以根据异常位置的定位精度和/或耗费的计算资源来确定，作为一种实现 方式，可以预先获取异常位置已知的至少一个待检测图像，针对至少一个待检 测图像，分别基于不同大小和/或不同数量的裁剪区域执行步骤101至步骤103， 然后，针对不同大小和/或不同数量的裁剪区域，分别比较步骤103确定的异常 位置和已知的异常位置，和/或，分别确定执行步骤101至步骤103所耗费的计 算资源，从而确定出裁剪区域的大小和数量。
在一个具体的示例中，每个滑动窗口的形状为正方形，每个滑动窗口的边 长为S个像素，确定各个裁剪区域所使用的滑动窗口的数量为N2；在实际应用 中，对于给定的待检测图像，可以采用滑动窗口的方式分别生成N2个边长为S 的正方形蒙版，每个正方形蒙版对应一个裁剪区域；对于每个正方形蒙版，通 过裁剪图像并进行图像复原，从而得到N2个第一复原图像；然后可以通过每个 第一复原图像与待检测图像的差异，实现异常定位。
图2为本公开实施例中滑动窗口的大小和数量对异常定位的影响的示意图， 如图2所示，滑动窗口的参数共分为四组，在第一组参数中，S＝10，N＝8；在 第二组参数中，S＝30，N＝8；在第三组参数中，S＝30，N＝20；在第四组参数中， S＝80，N＝20；图2中，第一列表示输入的三个待检测图像，第二列至第五列分 别表示第一组参数至第四组参数对应的异常定位的效果；通过图2可以看出， 采用第二组参数或者第三组参数时，异常定位的结果与实际情况更为相符；另 外，第三组参数与第二组参数相比，N的值增大会导致计算资源耗费的增加， 但是，第三组参数对应的异常定位效果与第二组参数相比并没有明显改善。
需要说明的是，上述记载的内容仅仅是对裁剪区域的大小和数量的确定方 式进行示例性说明，本公开实施例并不限定于此。
对于根据第一复原图像与所述待检测图像的差异，确定所述待检测图像中 的异常位置的实现方式，示例性地，可以在至少一个窗口对应的裁剪后图像的 复原图像与所述待检测图像存在差异，或者，所述至少一个窗口对应的裁剪后 图像的复原图像与所述待检测图像的差异满足预设条件的情况下，根据所述差 异对应的窗口的位置，确定所述待检测图像中的异常位置。
示例性地，预设条件可以包括差异大于预设差异阈值，在至少一个窗口对 应的裁剪后图像的复原图像与所述待检测图像的差异满足预设条件的情况下， 可以认为裁剪区域存在异常的可能性较大。因此，根据异对应的窗口的位置， 可以较为准确地确定待检测图像中的异常位置。
在一种实施方式中，可以确定第一复原图像与待检测图像的至少两种差异， 将上述至少两种差异融合，得到第一复原图像与所述待检测图像的差异。
这里，第一复原图像与待检测图像的每种差异对应一种异常的评判标准， 通过将至少两种差异融合，可以实现评判标准的融合，基于评判标准的融合， 可以更为准确地得出第一复原图像与所述待检测图像的差异。
对于将上述至少两种差异融合，得到第一复原图像与所述待检测图像的差 异的实现方式，在一个示例中，可以将至少两种差异进行加权平均运算，得到 所述第一复原图像与所述待检测图像的差异；在另一个示例中，可以将所述至 少两种差异通过投票机制进行融合，得到所述第一复原图像与所述待检测图像 的差异，例如，在至少两种差异的差异种类数大于或等于3的情况下，将所述 至少两种差异通过投票机制进行融合，得到所述第一复原图像与所述待检测图 像的差异。
这里，在将至少两种差异进行加权平均运算的情况下，每种差异的权重可 以根据实际应用需求预先设置；投票机制的含义是：对于待检测图像的每个像 素，在至少两种差异的确定方式中，在半数或半数以上确定存在差异时，将该 像素确定为差异像素点；否则，不将该像素确定为差异像素点。
可见，通过加权平均运算或投票机制，将至少两种差异融合，可以实现评 判标准的融合，基于评判标准的融合，可以更为准确地得出第一复原图像与所 述待检测图像的差异。
示例性地，上述至少两种差异包括以下差异中的至少两项：风格差异、感 知差异和像素重建差异；这里，风格差异(the style error)表示第一复原图像与 所述待检测图像的风格特征差异，风格差异可以是通过VGG正则化方法计算 出的第一复原图像与待检测图像的距离；感知差异(the perceptual error)表示 第一复原图像与所述待检测图像在特征空间的差异，感知差异可以是通过VGG style正则化方法计算出的第一复原图像与待检测图像在特征空间的距离；像素 重建差异(the per-pixel reconstruction error)表示所述第一复原图像与所述待检 测图像在图像像素空间的差异，像素重建差异可以是通过L2正则化方法计算 出的第一复原图像与待检测图像在图像像素空间的距离。
在具体实现时，第一复原图像与待检测图像的至少两种差异可以通过的热 力图的方式进行呈现，在热力图中，存在差异的像素可以用高亮像素标记出； 不存在差异的像素与待检测图像的像素保持一致；如此，通过热力图的展示， 可以直观地呈现第一复原图像与待检测图像的区别；进而，通过上述至少两种 差异的融合，可以最终得到第一复原图像与待检测图像的差异，最终得到的第 一复原图像与待检测图像的差异也可以通过热力图进行呈现。
综上，本公开实施例通过滑动窗口确定各个裁剪区域并通过热力图融合， 可以更为准确地定位待检测图像的异常位置。
图3为本公开实施例中热力图融合的示意图，如图3所示，第一列表示输 入的三个待检测图像，第二列至第四列分别表示风格差异、感知差异和像素重 建差异对应的热力图，第五列表示最终得到的第一复原图像与待检测图像的差 异的热力图；通过第二列至第五列与第一列的比较，可以看出，通过将至少两 种差异融合，可以更为准确地得出第一复原图像与所述待检测图像的差异。
在一些实施例中，步骤102可以由神经网络执行，上述神经网络采用第一 样本图像和第二裁剪后图像训练得到，第一样本图像表示预先确定的不存在异 常的样本图像，第二裁剪后图像表示对第一样本图像进行部分区域裁剪后得到 的图像。
在实际应用中，可以从本地存储区域或网络获取第一样本图像，然后，可 以采用按照上述记载的图像裁剪方式对第一样本图像进行裁剪，得到第二裁剪 后图像；第一样本图像的格式可以是JPEG、BMP、PNG或其他格式；需要说 明的是，这里仅仅是对第一样本图像的格式和来源进行了举例说明，本发明实 施例并不对第一样本图像的格式和来源进行限定。
可以看出，本公开实施例中，可以基于神经网络对第一裁剪后图像进行复 原，具有易于实现的特点。
本公开实施例中，并不对上述神经网络的架构进行限定，例如，上述神经 网络可以采用沙漏(hourglass)网络或者其它网络架构；图4为本公开实施例 中神经网络的网络架构的示意图，如图4所示，神经网络采用沙漏网络架构， 输入的原始图像经过采用沙漏网络架构的神经网络架构处理后，可以得到原始 图像对应的复原图像。
下面通过附图示例性地说明上述神经网络的训练过程。
图5为本公开实施例的神经网络训练方法的流程图，如图5所示，该流程 可以包括：
步骤501：获取第二裁剪后图像。
本步骤的实现方式已经在前述记载的内容中作出说明，这里不再赘述。例 如，在一些实施例中，可以在对所述第一样本图像进行随机裁剪后，将随机裁 剪的裁剪区域的像素值置为0，或者，在所述裁剪区域添加随机噪声，得到述 第二裁剪后图像。通过随机裁剪的方式，可以使神经网络能够针对不同位置和 不同形状的异常点进行复原。
在一个示例中，需要按照裁剪区域进行裁剪的图像可以表示为I，I是大小 为a*b的矩阵，图像I可以是待检测图像或第一样本图像，a和b分别表示图像 的像素值长度和像素值宽度；此时，可以设置裁剪蒙版M，M是大小为a*b的 矩阵，M的元素为0或1；元素为0的位置表示图像需要裁剪的位置，在实际 应用中，通过以下公式(1)可以得出裁剪后图像：
Icrop＝Μ⊙I (1)
其中，Icrop表示对图像I进行裁剪后得到的图像，在图像I是待检测图像时，Icrop表示第一裁剪后图像；在图像I是第一样本图像时，Icrop表示第二裁剪后图像； ⊙表示矩阵的内积运算，即，表示按照元素位置对应相乘。
步骤502：将第二裁剪后图像输入至神经网络，利用神经网络对第二裁剪 后图像进行处理，得到第二复原图像。
示例性地，在神经网络的图像处理过程中，可以对第二裁剪后图像进行部 分卷积运算，已实现对第二裁剪后图像的复原。
步骤503：根据第二复原图像和第一样本图像，调整所述神经网络的网络 参数值。
对于本步骤的实现方式，示例性地，可以利用鉴别器对第一样本图像进行 鉴别，得到第一鉴别结果；利用鉴别器对所述第二复原图像进行鉴别，得到第 二鉴别结果；根据第一鉴别结果和所述第二鉴别结果得出对抗损失；根据神经 网络的损失，调整神经网络的网络参数值，神经网络的损失包括对抗损失。
这里，对抗损失可以通过公式(2)进行表示：
Figure RE-GDA0002720233130000161
其中，Ladv表示对抗损失，
Figure BDA0002592652770000162
和
Figure BDA0002592652770000163
表示求期望，D(·)表示鉴别器对应的函数，R(·)表示图像复原处理的函数，即，可以将神经网络对第二裁剪后图 像进行处理过程用R(·)表示，I表示第一样本图像。
本公开实施例中，基于对抗损失得出神经网络的损失，进而根据神经网络 的损失训练神经网络，可以使训练完成的神经网络的图像能够更准确地复原裁 剪后图像，进而可以提高异常检测和异常定位的准确性。
图6为本公开实施例中采用不同方法检测异常的热力图，如图6所示，第 一列和第四列表示输入的待检测图像，第二列和第三列均为针对第一列的图像 得出的异常检测的热力图，第二列对应的异常检测方法为：不采用对抗损失得 出神经网络，然后基于该神经网络执行步骤101至步骤103的方法；第三列对 应的异常检测方法为：采用对抗损失得出神经网络，然后基于该神经网络执行 步骤101至步骤103的方法；第五列和第六列均为针对第四列的图像得出的异 常检测的热力图，第五列对应的异常检测方法为：不采用对抗损失得出神经网 络，然后基于该神经网络执行步骤101至步骤103的方法；第六列对应的异常 检测方法为：采用对抗损失得出神经网络，然后基于该神经网络执行步骤101 至步骤103的方法。
通过图6可以看出，基于对抗损失训练的神经网络，与不采用对抗损失训 练的神经网络相比，能够使异常检测的热力图更加清晰和准确。
在一些实施例中，上述神经网络的损失还可以包括以下至少一种损失：第 一区域损失、第二区域损失，第一区域损失表示所述第一样本图像和第二复原 图像在裁剪区域的差异，第二区域损失表示所述第一样本图像和第二复原图像 在除裁剪区域外的其它区域的差异。
在一个具体的示例中，第一区域损失可以通过公式(3)进行表示：
Figure BDA0002592652770000171
其中，Linp表示第一区域损失，Α表示元素全为1的矩阵，Α是大小为a*b的矩 阵，||·||1表示1范数。
第二区域损失可以通过公式(4)进行表示：
Figure BDA0002592652770000172
其中，Lrec表示第二区域损失。
在上述神经网络的损失包括多种损失的情况下，可以对多种损失进行加权 求和，得到神经网络的损失；每种损失的权重可以根据实际应用需求预先设置。
例如，在上述神经网络的损失可以通过公式(5)表示：
L＝Ladv+λ1Linp+λ2Lrec (5)
其中，L表示神经网络的损失，λ1和λ2分别表示第一区域损失和第二区域损失 的权重，在一个具体的示例中，λ1等于16，λ2等于1。
步骤504：判断网络参数值调整后的神经网络是否满足训练结束条件，如 果否，则重新执行步骤501至步骤504；如果是，则执行步骤505。
本公开实施例中，训练结束条件可以是训练神经网络时的迭代次数达到设 定次数，或者，网络参数值调整后的神经网络对图像的处理满足设定的精度需 求；这里，设定阈值和设定的精度需求可以是预先设置的；示例性地，设定的 精度需求与神经网络的损失相关，第一个示例中，设定的精度需求可以是上述 神经网络的损失小于设定阈值。在实际应用中，设定阈值可以根据实际应用需 求预先设置。
本公开实施例中，网络参数值的调整过程可以通过公式(6)进行说明，在 具体实现时，可以通过公式(6)进行不断优化图像复原处理的函数和鉴别器：
Figure BDA0002592652770000181
公式(6)中，R和D分别表示图像复原处理的函数和鉴别器；根据公式(6)， 可以不断调整R和D中的网络参数。
步骤505：将网络参数值调整后的神经网络作为训练完成的神经网络。
在实际应用中，步骤501至步骤505可以利用电子设备中的处理器实现， 上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制 器、微处理器中的至少一种。
可以看出，在本公开实施例中，通过预先训练神经网络，可以使训练完成 的神经网络能够较为准确地对第一裁剪后图像，得到第一复原图像，进而，有 利于基于第一复原图像和待检测图像的差异，准确地对待检测图像进行异常定 位。
下面通过附图对本公开实施例中神经网络的训练和应用过程进行说明。
图7A为本公开实施例中神经网络的训练阶段的流程框图，如图7A所示， 在训练阶段，可以对第一样本图像进行裁剪，得到第二裁剪后图像，然后利用 神经网络对第二裁剪后进行图像复原处理，得到第二复原图像，然后，通过比 较第二复原图像与第一样本图像的差异，调整神经网络的网络参数值。
图7B为本公开实施例中基于神经网络进行异常检测和定位的流程框图， 如图7B所示，在神经网络训练完成后，可以基于滑动窗口对待检测图像进行 处理，得到多个第一裁剪后图像进行复原；图7B中，黑色方框和白色方框表 示滑动窗口；然后，对每个第一裁剪后图像进行复原，可以得到第一复原图像； 基于上述记载的内容，对第一复原图像与待检测图像的各种差异进行融合，得 到第一复原图像与待检测图像的差异，将最终得到的第一复原图像与待检测图 像的差异通过热力图进行呈现；在一些实施例中，第一复原图像与待检测图像 的各种差异可以包括上述风格差异、感知差异和像素重建差异，这里，可以得 出第一复原图像与待检测图像的风格差异、感知差异和像素重建差异的热力图， 然后在将第一复原图像与待检测图像的各种差异的热力图进行融合后，可以得 到第一复原图像与待检测图像的融合后差异的热力图。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写 顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执 行顺序应当以其功能和可能的内在逻辑确定。
在前述实施例提出的图像处理方法的基础上，本公开实施例提出了一种图 像处理装置。
图8为本公开实施例的图像处理装置的组成结构示意图，如图8所示，该 装置可以包括第一处理模块801、第二处理模块802和第三处理模块803，其中，
第一处理模块801，用于将待检测图像按照至少一个裁剪区域进行裁剪， 得到至少一个第一裁剪后图像，每个所述第一裁剪后图像包括一个裁剪区域对 应的裁剪后图像；
第二处理模块802，用于对每个所述第一裁剪后图像进行复原，得到第一 复原图像；
第三处理模块803，用于根据所述第一复原图像与所述待检测图像的差异， 确定所述待检测图像中的异常位置。
在一些实施例中，对每个所述第一裁剪后图像进行复原，得到第一复原图 像的步骤由神经网络执行，所述神经网络采用第一样本图像和第二裁剪后图像 训练得到，所述第一样本图像表示预先确定的不存在异常的样本图像，所述第 二裁剪后图像表示对所述第一样本图像进行部分区域裁剪后得到的图像。
在一些实施例中，所述装置还包括训练模块，所述训练模块，用于将第二 裁剪后图像输入至所述神经网络，利用所述神经网络对所述第二裁剪后图像进 行处理，得到第二复原图像；根据所述第二复原图像和所述第一样本图像，调 整所述神经网络的网络参数值。
在一些实施例中，所述训练模块，用于根据所述第二复原图像和所述第一 样本图像，调整所述神经网络的网络参数值，包括：
对所述第一样本图像进行鉴别，得到第一鉴别结果；对所述第二复原图像 进行鉴别，得到第二鉴别结果；
根据所述第一鉴别结果和所述第二鉴别结果得出对抗损失；根据所述神经 网络的损失，调整所述神经网络的网络参数值，所述神经网络的损失包括所述 对抗损失。
在一些实施例中，所述神经网络的损失还包括以下至少一种损失：第一区 域损失、第二区域损失，所述第一区域损失表示所述第一样本图像和所述第二 复原图像在裁剪区域的差异，所述第二区域损失表示所述第一样本图像和所述 第二复原图像在除裁剪区域外的其它区域的差异。
在一些实施例中，所述训练模块，还用于对所述第一样本图像进行随机裁 剪，得到所述第二裁剪后图像。
在一些实施例中，在所述至少一个裁剪区域的个数大于1的情况下，待检 测图像的任意位置处于所述至少一个裁剪区域的范围内。
在一些实施例中，所述第一处理模块，用于将待检测图像按照至少一个裁 剪区域进行裁剪，得到至少一个第一裁剪后图像，包括：
将所述待检测图像按照滑动窗口裁剪，得到多个第一裁剪后图像，每个所 述第一裁剪后图像包括一个窗口对应的裁剪后图像；
所述第一复原图像包括：一个窗口对应的裁剪后图像的复原图像。
在一些实施例中，所述第三处理模块803，用于根据所述第一复原图像与 所述待检测图像的差异，确定所述待检测图像中的异常位置，包括：
在至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像存在差异， 或者，所述至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像的差 异满足预设条件的情况下，根据所述差异对应的窗口的位置，确定所述待检测 图像中的异常位置。
在一些实施例中，所述第三处理模块803，还用于确定所述第一复原图像 与所述待检测图像的至少两种差异，将所述至少两种差异融合，得到所述第一 复原图像与所述待检测图像的差异。
在一些实施例中，所述第三处理模块803，用于将所述至少两种差异融合， 得到所述第一复原图像与所述待检测图像的差异，包括：
将所述至少两种差异进行加权平均运算，得到所述第一复原图像与所述待 检测图像的差异；
将所述至少两种差异通过投票机制进行融合，得到所述第一复原图像与所 述待检测图像的差异。
在一些实施例中，所述至少两种差异包括以下差异中的至少两项：风格差 异、感知差异和像素重建差异；所述风格差异表示所述第一复原图像与所述待 检测图像的风格特征差异，所述感知差异表示所述第一复原图像与所述待检测 图像在特征空间的差异；所述像素重建差异表示所述第一复原图像与所述待检 测图像在图像像素空间的差异。
实际应用中，第一处理模块801、第二处理模块802和第三处理模块803 均可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、 PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是 各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述 集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行 销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解， 本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案 的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服 务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部 或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟 或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种图像处理方法对应的计算机程序指令可以被 存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像处理方法 对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意 一种图像处理方法。
基于前述实施例相同的技术构思，参见图9，其示出了本公开实施例提供 的一种电子设备9，可以包括：存储器901和处理器902；其中，
所述存储器901，用于存储计算机程序和数据；
所述处理器902，用于执行所述存储器中存储的计算机程序，以实现前述 实施例的任意一种图像处理方法。
在实际应用中，上述存储器901可以是易失性存储器(volatile memory)， 例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存 储器(flashmemory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器902提供指令和数 据。
上述处理器902可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、 微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现 上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以 用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的 描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同 或相似之处可以互相参考，为了简洁，本文不再赘述
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任 意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任 意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下 可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实 施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方 案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包 括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者 网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保 护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
将待检测图像按照至少一个裁剪区域进行裁剪，得到至少一个第一裁剪后图像，每个所述第一裁剪后图像包括一个裁剪区域对应的裁剪后图像；
对每个所述第一裁剪后图像进行复原，得到第一复原图像；
根据所述第一复原图像与所述待检测图像的差异，确定所述待检测图像中的异常位置。
2.根据权利要求1所述的方法，其特征在于，对每个所述第一裁剪后图像进行复原，得到第一复原图像的步骤由神经网络执行，所述神经网络采用第一样本图像和第二裁剪后图像训练得到，所述第一样本图像表示预先确定的不存在异常的样本图像，所述第二裁剪后图像表示对所述第一样本图像进行部分区域裁剪后得到的图像。
3.根据权利要求2所述的方法，其特征在于，所述神经网络采用第一样本图像和第二裁剪后图像训练得到，包括：
将第二裁剪后图像输入至所述神经网络，利用所述神经网络对所述第二裁剪后图像进行处理，得到第二复原图像；
根据所述第二复原图像和所述第一样本图像，调整所述神经网络的网络参数值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第二复原图像和所述第一样本图像，调整所述神经网络的网络参数值，包括：
对所述第一样本图像进行鉴别，得到第一鉴别结果；对所述第二复原图像进行鉴别，得到第二鉴别结果；
根据所述第一鉴别结果和所述第二鉴别结果得出对抗损失；根据所述神经网络的损失，调整所述神经网络的网络参数值，所述神经网络的损失包括所述对抗损失。
5.根据权利要求4所述的方法，其特征在于，所述神经网络的损失还包括以下至少一种损失：第一区域损失、第二区域损失，所述第一区域损失表示所述第一样本图像和所述第二复原图像在裁剪区域的差异，所述第二区域损失表示所述第一样本图像和所述第二复原图像在除裁剪区域外的其它区域的差异。
6.根据权利要求2至5任一项所述的方法，其特征在于，所述方法还包括：
通过对所述第一样本图像进行随机裁剪，得到所述第二裁剪后图像。
7.根据权利要求6所述的方法，其特征在于，所述通过对所述第一样本图像进行随机裁剪，得到所述第二裁剪后图像，包括：
对所述第一样本图像进行随机裁剪后，将随机裁剪的裁剪区域的像素值置为0，或者，在所述裁剪区域添加随机噪声，得到所述第二裁剪后图像。
8.根据权利要求1所述的方法，其特征在于，在所述至少一个裁剪区域的个数大于1的情况下，待检测图像的任意位置处于所述至少一个裁剪区域的范围内。
9.根据权利要求1或7所述的方法，其特征在于，所述将待检测图像按照至少一个裁剪区域进行裁剪，得到至少一个第一裁剪后图像，包括：
将所述待检测图像按照滑动窗口裁剪，得到多个第一裁剪后图像，每个所述第一裁剪后图像包括一个窗口对应的裁剪后图像；
所述第一复原图像包括：一个窗口对应的裁剪后图像的复原图像。
10.根据权利要求9所述的方法，其特征在于，所述根据所述第一复原图像与所述待检测图像的差异，确定所述待检测图像中的异常位置，包括：
在至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像存在差异，或者，所述至少一个窗口对应的裁剪后图像的复原图像与所述待检测图像的差异满足预设条件的情况下，根据所述差异对应的窗口的位置，确定所述待检测图像中的异常位置。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述第一复原图像与所述待检测图像的至少两种差异，将所述至少两种差异融合，得到所述第一复原图像与所述待检测图像的差异。
12.根据权利要求11所述的方法，其特征在于，所述将所述至少两种差异融合，得到所述第一复原图像与所述待检测图像的差异，包括：
将所述至少两种差异进行加权平均运算，得到所述第一复原图像与所述待检测图像的差异；或者，
将所述至少两种差异通过投票机制进行融合，得到所述第一复原图像与所述待检测图像的差异。
13.根据权利要求11所述的方法，其特征在于，所述至少两种差异包括以下差异中的至少两项：风格差异、感知差异和像素重建差异；所述风格差异表示所述第一复原图像与所述待检测图像的风格特征差异，所述感知差异表示所述第一复原图像与所述待检测图像在特征空间的差异；所述像素重建差异表示所述第一复原图像与所述待检测图像在图像像素空间的差异。
14.一种图像处理装置，其特征在于，所述装置包括：第一处理模块、第二处理模块和第三处理模块，其中，
第一处理模块，用于将待检测图像按照至少一个裁剪区域进行裁剪，得到至少一个第一裁剪后图像，每个所述第一裁剪后图像包括一个裁剪区域对应的裁剪后图像；
第二处理模块，用于对每个所述第一裁剪后图像进行复原，得到第一复原图像；
第三处理模块，用于根据所述第一复原图像与所述待检测图像的差异，确定所述待检测图像中的异常位置。
15.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行权利要求1至13任一项所述的方法。
16.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至13任一项所述的方法。
CN202010699965.XA 2020-07-20 2020-07-20 图像处理方法、装置、电子设备和计算机存储介质 Withdrawn CN111986103A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699965.XA CN111986103A (zh) 2020-07-20 2020-07-20 图像处理方法、装置、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699965.XA CN111986103A (zh) 2020-07-20 2020-07-20 图像处理方法、装置、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN111986103A true CN111986103A (zh) 2020-11-24

Family

ID=73438843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699965.XA Withdrawn CN111986103A (zh) 2020-07-20 2020-07-20 图像处理方法、装置、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN111986103A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561863A (zh) * 2020-12-03 2021-03-26 吉林大学 一种基于改进ResNet的医学图像多分类识别系统
CN113205512A (zh) * 2021-05-26 2021-08-03 北京市商汤科技开发有限公司 图像异常检测方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117770A1 (en) * 2013-10-29 2015-04-30 Ability Enterprise Co., Ltd. Image processing method, electronic device, electronic device readable storage medium and program applied in electronic device
CN108921220A (zh) * 2018-06-29 2018-11-30 国信优易数据有限公司 图像复原模型训练方法、装置及图像复原方法和装置
CN109886891A (zh) * 2019-02-15 2019-06-14 北京市商汤科技开发有限公司 一种图像复原方法及装置、电子设备、存储介质
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117770A1 (en) * 2013-10-29 2015-04-30 Ability Enterprise Co., Ltd. Image processing method, electronic device, electronic device readable storage medium and program applied in electronic device
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN108921220A (zh) * 2018-06-29 2018-11-30 国信优易数据有限公司 图像复原模型训练方法、装置及图像复原方法和装置
CN109886891A (zh) * 2019-02-15 2019-06-14 北京市商汤科技开发有限公司 一种图像复原方法及装置、电子设备、存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561863A (zh) * 2020-12-03 2021-03-26 吉林大学 一种基于改进ResNet的医学图像多分类识别系统
CN113205512A (zh) * 2021-05-26 2021-08-03 北京市商汤科技开发有限公司 图像异常检测方法、装置、设备及计算机可读存储介质
CN113205512B (zh) * 2021-05-26 2023-10-24 北京市商汤科技开发有限公司 图像异常检测方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP3333768A1 (en) Method and apparatus for detecting target
CN111311543B (zh) 图像清晰度检测方法、系统、设备及存储介质
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN110059666B (zh) 一种注意力检测方法及装置
US10586152B2 (en) Determining image forensics using gradient statistics at edges
CN110348393B (zh) 车辆特征提取模型训练方法、车辆识别方法及设备
US10679098B2 (en) Method and system for visual change detection using multi-scale analysis
CN111986103A (zh) 图像处理方法、装置、电子设备和计算机存储介质
US10540539B2 (en) Facial recognition encode analysis
US11393072B2 (en) Methods and systems for automatically correcting image rotation
CN114169419A (zh) 一种目标对象的检测方法、装置、计算机设备及存储介质
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN113781511B (zh) 传送带边缘磨损检测方法、装置、计算机设备及存储介质
JP6874864B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN117292191A (zh) 一种模型优化方法、电子设备及计算机可读存储介质
CN116824135A (zh) 基于机器视觉的大气自然环境试验工业产品识别分割方法
CN116630286A (zh) 一种图像异常检测与定位的方法、装置、设备及存储介质
CN112785595A (zh) 目标属性检测、神经网络训练及智能行驶方法、装置
CN114549319A (zh) 图像处理方法、装置、电子设备、存储介质和程序
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
CN112883973A (zh) 车牌识别方法、装置、电子设备和计算机存储介质
CN114550129A (zh) 一种基于数据集的机器学习模型处理方法和系统
JP2022510963A (ja) 人体向き検出方法、装置、電子機器及びコンピュータ記憶媒体
CN114663428B (zh) 基于人工智能的物体表面异常检测方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201124