CN114078108B - 图像中异常区域的处理方法、装置和图像分割方法、装置 - Google Patents

图像中异常区域的处理方法、装置和图像分割方法、装置 Download PDF

Info

Publication number
CN114078108B
CN114078108B CN202010803078.2A CN202010803078A CN114078108B CN 114078108 B CN114078108 B CN 114078108B CN 202010803078 A CN202010803078 A CN 202010803078A CN 114078108 B CN114078108 B CN 114078108B
Authority
CN
China
Prior art keywords
image
processed
error distribution
region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010803078.2A
Other languages
English (en)
Other versions
CN114078108A (zh
Inventor
王纯亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yueying Technology Co ltd
Original Assignee
Beijing Yueying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yueying Technology Co ltd filed Critical Beijing Yueying Technology Co ltd
Priority to CN202010803078.2A priority Critical patent/CN114078108B/zh
Priority to US18/006,955 priority patent/US20230260110A1/en
Priority to PCT/CN2021/078882 priority patent/WO2022033015A1/zh
Publication of CN114078108A publication Critical patent/CN114078108A/zh
Application granted granted Critical
Publication of CN114078108B publication Critical patent/CN114078108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种图像中异常区域的处理方法和装置，涉及图像处理技术领域。该方法包括：针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域；根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值；根据该待检测区域的原始像素值，计算与各预测像素值相应的预测误差分布，作为第一误差分布；根据第一误差分布，判断该待检测区域是否属于待处理图像中的异常区域。

Description

图像中异常区域的处理方法、装置和图像分割方法、装置
技术领域
本公开涉及图像处理技术领域，特别涉及一种图像中异常区域的处理方法、图像中异常区域的处理装置、图像分割方法、图像分割装置、电子设备和非易失性计算机可读存储介质。
背景技术
目前，图像识别和分割技术在计算机视觉、医学图像分析等领域中得到了广泛的应用。例如，可以利用基于监督训练的机器学习方式实现人脸识别、自动驾驶、肿瘤检测等功能。
但是，由于训练数据采样的局限性，并不能把实际应用中可能出现的所有情况都包含进去。例如，在实际使用中，训练好的机器学习模型往往会遇到图像中存在包含异常区域的异常区域。这些异常区域包含了训练中没有出现的物体或图像表象，从而导致机器学习模型做出错误的判别或预测。
在相关技术中，可以在受到异常区域干扰的情况下，利用自动编码器和生成对抗网络等深度生成网络，生成未受干扰的纯净图像特性。使用纯净图像训练的自动编码器或生成对抗网络重建图像。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：需要一定数量的包含异常区域的图像样本来训练深度神经网络，使得异常区域的检测难以适应各种实际情况，从而导致异常区域的检测性能下降。
鉴于此，本公开提出了一种图像中异常区域的处理技术方案，能够提高异常区域的检测性能。
根据本公开的一些实施例，提供了一种图像中异常区域的处理方法，包括：针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域；根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值；根据该待检测区域的原始像素值，计算与所述各预测像素值相应的预测误差分布，作为第一误差分布；根据所述第一误差分布，判断该待检测区域是否属于所述待处理图像中的异常区域。
在一些实施例中，所述根据所述第一误差分布，判断该像素是否属于所述待处理图像中的异常区域包括：根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域，所述第二误差分布能够表征不包含所述异常区域的图像的预测误差分布。
在一些实施例中，所述第二误差分布通过以下方式中的一个确定：
根据所述第一机器学习模型处理不包含所述异常区域的其他图像的预测误差分布，确定所述第二误差分布；根据所述待处理图像中所有像素的第一误差分布的标准差，确定所述第二误差分布；或者根据所述待处理图像，利用第二机器学习模型确定所述第二误差分布。
在一些实施例中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：生成步骤，将所有属于所述异常区域的像素替换为相应的预测像素值，生成候选图像；更新步骤，根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布，或者根据所述候选图像，利用第二机器学习模型，更新所述第二误差分布；判断步骤，根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域。
在一些实施例中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：重复所述生成步骤、所述更新步骤、所述判断步骤，直到满足迭代条件，以确定所述待处理图像中的各待检测区域是否属于异常区域。
在一些实施例中，所述根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布包括：根据所述多个待处理区域，利用所述第一机器学习模型，计算所述候选图像中该待检测区域的各预测像素值；根据所述候选图像的各预测像素值，确定所述候选图像中该待检测区域的预测误差分布；利用所述候选图像中该待检测区域的预测误差分布，更新所述第二误差分布。
在一些实施例中，所述根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域包括：根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定所述待处理图像中的各待检测区域是否属于所述异常区域。
在一些实施例中，所述根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域包括：根据判断为属于所述异常区域的像素，生成候选像素集合；根据所述候选图像中各像素的第二误差分布，计算各像素不属于所述异常区域的第一概率，根据所述候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据所述第一概率和所述第二概率确定的所述像素集合的后验概率，生成目标函数；以所述候选像素集合中的像素为变量，以最大化所述后验概率为条件，求解所述目标函数，以确定所述候选图像中哪些像素属于所述异常区域。
在一些实施例中，所述的处理方法，还包括：根据满足所述迭代条件时生成的候选图像，确定不包含所述异常区域的纯净图像。
在一些实施例中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：根据所述第一误差分布与第二误差分布的交叉熵，确定所述差异。
在一些实施例中，所述第一阈值根据所述差异的标准差确定。
在一些实施例中，所述针对待处理图像中任一个像素，划分包含该像素的多个待处理区域包括：利用多个掩模叠加在所述待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含像素的一个待处理区域；移动所述多个掩模，形成多个第二空白区域，分别作为各第二空白区域包含像素的另一个待处理区域；不断移动所述多个掩模，直到所述待处理图像中所有像素均具有多个待处理区域。
在一些实施例中，所述待处理图像为生物的医学影像图像，所述异常区域为非生物区域或异常生物区域；或者所述待处理图像为工业产品图像，所述异常区域为破损或划痕区域。
根据本公开的另一些实施例，提供一种图像分割方法，包括：根据上述任一个实施例所述的图像中异常区域的处理方法，检测待处理图像中的异常区域；对生成的不包含所述异常区域的纯净图像进行图像分割，以确定所述待处理图像的图像分割结果。
根据本公开的又一些实施例，提供一种图像中异常区域的处理装置，包括：划分单元，用于针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域；预测值计算单元，用于根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值；分布计算单元，用于根据该待检测区域的原始像素值，计算与所述各预测像素值相应的预测误差分布，作为第一误差分布；判断单元，用于根据所述第一误差分布，判断该待检测区域是否属于所述待处理图像中的异常区域。
在一些实施例中，所述判断单元根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域，所述第二误差分布能够表征不包含所述异常区域的图像的预测误差分布。
在一些实施例中，所述分布计算单元通过以下方式中的一个确定第二误差分布：根据所述第一机器学习模型处理不包含所述异常区域的其他图像的预测误差分布，确定所述第二误差分布；根据所述待处理图像中所有像素的第一误差分布的标准差，确定所述第二误差分布；或者根据所述待处理图像，利用第二机器学习模型确定所述第二误差分布。
在一些实施例中，所述的处理装置还包括生成单元，用于执行生成步骤，将所有属于所述异常区域的像素替换为相应的预测像素值，生成候选图像；所述分布计算单元执行更新步骤，根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布，或者根据所述候选图像，利用第二机器学习模型，更新所述第二误差分布；所述判断单元执行判断步骤，根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域。
在一些实施例中，所述生成单元、所述分布计算单元和所述判断单元重复上述生成步骤、更新步骤、更新步骤，直到满足迭代条件，以确定所述待处理图像中的各像素是否属于异常区域。
在一些实施例中，所述预测值计算单元根据所述多个待处理区域，利用所述第一机器学习模型，计算所述候选图像中该待检测区域的各预测像素值；所述分布计算单元根据所述候选图像的各预测像素值，确定所述候选图像中该待检测区域的预测误差分布；所述分布计算单元利用所述候选图像中该待检测区域的预测误差分布，更新所述第二误差分布。
在一些实施例中，所述判断单元根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定所述待处理图像中的各待检测区域是否属于所述异常区域。
在一些实施例中，所述判断单元根据判断为属于所述异常区域的像素，生成候选像素集合；根据所述候选图像中各像素的第二误差分布，计算各像素不属于所述异常区域的第一概率，根据所述候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据所述第一概率和所述第二概率确定的所述像素集合的后验概率，生成目标函数；以所述候选像素集合中的像素为变量，以最大化所述后验概率为条件，求解所述目标函数，以确定所述候选图像中哪些像素属于所述异常区域。
在一些实施例中，所述生成单元，用于根据满足所述迭代条件时生成的候选图像，确定不包含所述异常区域的纯净图像。
在一些实施例中，所述判断单元根据所述第一误差分布与第二误差分布的交叉熵，确定所述差异。
在一些实施例中，所述第一阈值根据所述差异的标准差确定。
在一些实施例中，所述划分单元利用多个掩模叠加在所述待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含待检测区域的一个待处理区域；移动所述多个掩模，形成多个第二空白区域，分别作为各第二空白区域包含待检测区域的另一个待处理区域；不断移动所述多个掩模，直到所述待处理图像中所有待检测区域均具有多个待处理区域。
在一些实施例中，所述待处理图像为生物的医学影像图像，所述异常区域为非生物区域或异常生物区域；或者所述待处理图像为工业产品图像，所述异常区域为破损或划痕区域。
根据本公开的再一些实施例，提供一种图像分割装置，包括：检测单元，用于根据上述任一个实施例所述的图像中异常区域的处理方法，检测待处理图像中的异常区域；分割单元，用于对生成的不包含所述异常区域的纯净图像进行图像分割，以确定所述待处理图像的图像分割结果。
根据本公开的又一些实施例，提供一种电子设备，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的图像中异常区域的处理方法或图像分割方法。
根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的图像中异常区域的处理方法或图像分割方法。
在上述实施例中，针对待处理图像中每一个像素的像素值进行多次预测，并基于多个预测值确定预测误差分布作为检测异常区域的依据。这样，可以在无需异常区域训练数据的情况下，利用待处理图像中正常区域和异常区域的预测误差分布的差异，对异常区域的特征进行深度挖掘，从而提高异常区域的检测性能。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开的图像中异常区域的处理方法的一些实施例的流程图；
图2a示出本公开的图像中异常区域的处理方法的一些实施例的示意图；
图2b示出本公开的图像中异常区域的处理方法的一些实施例的示意图；
图2c示出本公开的图像中异常区域的处理方法的一些实施例的示意图；
图3示出图1的步骤140的一些实施例的流程图；
图4示出本公开的图像中异常区域的处理装置的一些实施例的框图；
图5示出本公开的电子设备的一些实施例的框图；
图6示出本公开的电子设备的另一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如前所述，由于训练数据采样的局限性，并不能把实际情况中可能出现的所有情况都包含进去。因此，在实际情况中，训练好的机器学习模型可能遇到待处理图像中包含训练中没有出现的物体或图像表象，从而导致该模型做出错误的判别或预测。
例如，在医学成像领域中，患者在图像采集之前可能在体内植入了一些医疗设备(如起搏器等)，或者在图像采集时可能佩戴有一些额外物体(如纽扣、项链等)。这些异常区域在医学图像通常被称为异物，极易引起分割网络或分类网络的失败。
因此，很难通过有监督学习的方式进行有效检测待处理图像中的这些异常区域。
基于上述技术问题，本公开提出了一种无监督的像素级图像异常区域(异常区域所在区域)的检测技术方案。该技术方案基于图像补绘(image inpainting)技术来建立图像中各区域的预测模型，在不需要含有异常区域标注的训练数据的情况下，进行无监督学习。
这样，本技术方案可以自动检测图像上存在的异常区域的所在区域，并具有相当高的准确性。而且，本技术方案还可以将检测到的异常区域从待处理图像中去除，得到纯净图像用于进一步的图像处理(如分割、分类等)。
例如，可以通过下面的实施例实现上述技术方案。
图1示出本公开的图像中异常区域的处理方法的一些实施例的流程图。
如图1所示，该方法包括：步骤110，划分多个待处理区域；步骤120，计算各预测像素值；步骤130，计算第一误差分布；和步骤140，判断异常区域。
在步骤110中，针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域。例如，待检测区域可以为待处理图像中的任一个像素，待检测区域为某干扰物体所在区域。
在一些实施例中，例如，可以通过图2a中的实施例来实现步骤110。
图2a示出本公开的图像中异常区域的处理方法的一些实施例的示意图。
如图2a所示，对于一个待处理图像I中的任一个像素x，针对待处理图像中的每一个像素x均形成多个包含该像素的待处理区域。这些待处理区域可以是大小、位置、形状不同的“孔洞”。例如，“孔洞”的形状可以矩形，也可以是任一种形状，甚至是不规则形状。
在一些实施例中，可以根据先验知识，“孔洞”大小可以根据最大的异常区域的大小设置。
利用这些“孔洞”作为掩模叠加在某一待处理像素所在区域上，可以将“孔洞”内所有的原有像素值置0形成遮盖区域，以便将待处理像素的像素值作为预测的对象。
在一些实施例中，需要对待处理图像中的每一个像素均进行如上处理，即需要遍历待处理图像中的每一个像素。例如，可以根据待处理图像的大小、异常区域的大小、检测需求等要素，设置一定的步长；按照该步长，在待处理图像上移动各“孔洞”，以实现对每一个像素的掩模处理。
在一些实施例中，为了提高遍效率，可以使用网格式的“孔洞”组实现多个像素的并行处理。例如，可以通过图2b、2c的实施例来实现并行处理。
图2b、2c示出本公开的图像中异常区域的处理方法的一些实施例的示意图。
如图2b所示，可以利用多个掩模(图中小的矩形框)叠加在待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含像素的一个待处理区域。
如图2c所示，移动这些掩模，形成多个第二空白区域，分别作为各第二空白区域包含像素的另一个待处理区域；不断移动多个掩模，直到待处理图像中所有像素均具有多个待处理区域。
在待处理图像上形成了包含各像素的空白区域后，就可以通过图1中的其他步骤进行像素值预测。
在步骤120中，根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值。
在一些实施例中，对于待处理图像中遮盖区域的像素x，可以通过补绘函数I′(x)＝g(M,x)来预测x点上的灰度值(像素值)I(x)的预测值I′(x)，M为包含x的待处理区域，即“孔洞”。g(M,x)可以是一个机器学习模型，如PCNN(Partial Convolutional NeuralNetwork，部分卷积神经网络)。
在一些实施例中，由于一个像素x具有多个待处理区域，因此可以得到多个I′(x)。这样，就可以根据I(x)及其相应的多个I′(x)，计算多个预测误差εx＝I(x)-I′(x)。
由于异常区域所在的异常区域与待处理图像中的正常区域的预测误差εx不同，因此可以根据每一个像素的预测误差来判断该像素是否属于异常区域。
但是，预测误差与“孔洞”的大小、形状等诸多因素相关，仅依靠εx检测异常区域的准确率较低。因此，本公开对一个像素采用多个待处理区域进行预测，以获取εx的误差分布Pa(εx)。通过Pa(εx)可以更加准确地检测异常区域。
在步骤130中，根据该待检测区域的原始像素值，计算与各预测像素值相应的预测误差分布，作为第一误差分布。
在一些实施例中，由于本公开为每一个像素设置了多个待处理区域，因此对于每一个像素x，均可以计算多个预测误差εx。这样，就可以得到εx的预测误差分布Pa(εx)。例如，Pa(εx)可以通过εx的PDF(Probability Density Function，概率密度函数)计算。
在一些实施例中，由于异常区域所在的异常区域与待处理图像中的正常区域的预测误差分布Pa(εx)不同，因此可以根据每一个像素的Pa(εx)是否符合来判断该像素是否属于异常区域。
在步骤140中，根据第一误差分布，判断该待检测区域是否属于待处理图像中的异常区域。可以选择向用户发出关于该异常区域的警告信息。例如，待处理图像为生物的医学影像图像，异常区域为属于非生物的物体；或者待处理图像为工业产品图像，异常区域为破损或划痕区域。
在一些实施例中，根据第一误差分布与第二误差分布的差异是否大于第一阈值，判断该像素是否属于待处理图像中的异常区域。第二误差分布能够表征不包含异常区域的图像的预测误差分布。
例如，根据先验知识，可以知道正常区域的预测误差分布Pb(εx)为第二误差分布，通常呈现的分布特性为一个宽度很窄的单峰分布。在Pa(εx)不符合上述分布特性的情况下，可以判断像素x属于异常区域。
在一些实施例中，根据第一误差分布与第二误差分布的交叉熵，确定差异。交叉熵即KL(Kullback–Leibler)散度。
在一些实施例中，第一阈值可以根据差异的标准差确定。例如，可以将交叉熵的标准差的3倍作为第一阈值。
在一些实施例中，无法直接获取不包含异常区域的纯净图像，也就无法直接获取Pb(εx)。在这种情况下，可以采用迭代方法来逐步完善对异常区域的判断，以及对纯净图像的预测误差的估计。
例如，可以通过图3中的实施例实现步骤140。
图3示出图1的步骤140的一些实施例的流程图。
如图3所示，步骤140包括：步骤1410，替换预测像素值；步骤1420，更新第二误差分布；和步骤1430，判断异常区域。
在步骤1410中，将所有属于所述异常区域的像素值，替换为相应的预测像素值，生成候选图像。例如，可以根据满足迭代条件时生成的候选图像，确定不包含异常区域的纯净图像。
在一些实施例中，根据上述任一个实施例中的图像中异常区域的处理方法，检测待处理图像中的异常区域；对生成的不包含异常区域的纯净图像进行图像分割，以确定待处理图像的图像分割结果。例如，上述任一个实施例中处理方法输出的不包含异常区域的纯净图像可作为另外一个图像分割模块的输入。
在一些实施例中，可以用所有属于异常区域的像素集合建立一个新的待处理区域。利用第二机器学习模型预测该新的待处理区域中的像素值。利用预测的像素值替换待处理图像中相应区域的像素值以生成候选图像。
在一些实施例中，对于待处理图像I，为第i次迭代得到的第一误差分布与第二误差分布的差异值(如KL散度)。
例如，Pa(εx)和Pb(εx)均成正态分布。这样，需要获取Pa(εx)和Pb(εx)的均值和标准差，以计算二者的KL散度；还可以生成Pa(εx)和Pb(εx)的直方图，然后计算两个直方图的KL散度。
在一些实施例中，根据机器学习模型处理不包含异常区域的其他图像的预测误差分布，确定第二误差分布作为Pb(εx)的初值。
例如，可以预先生成多个不包含异常区域的其他图像作为训练数据，通过上述“孔洞”和补绘函数I′(x)＝g(M,x)计算其预测误差分布Pb(εx)作为第二误差分布，从而确定迭代初值
在一些实施例中，由于异常区域一般在待处理图像中的面积占比较小，因此可以通过统计方法确定第二误差分布作为Pb(εx)的初值。
例如，可以根据待处理图像中所有像素的第一误差分布的标准差，确定第二误差分布，从而确定迭代初值
在一些实施例中，纯净图像中像素的预测误差分布Pb(εx)通常满足以零为均值以σ0为标准方差的正态分布N(0,σ0)。σ0的初值可以通过上述实施例确定。例如，σ0可以被设置为待处理图片中所有像素的预测误差的标准差的中位数。
在一些实施例中，在确定了KL散度初值后，可以根据第一阈值确定覆盖了异常区域的“孔洞”的各初值M0。
例如，可以通过分析训练集中纯净图像的的范围确定第一阈值。例如，第一阈值可以为/>标准差的3倍。
在确定了M0之后，可以利用训练好的补绘神经网络，确定覆盖区域的像素值，从而把这些M0充上“正常”的像素值，以生成本次迭代的候选图像/>
在步骤1420中，根据候选图像，利用多个待处理区域和第一机器学习模型，更新第二误差分布。例如，可以对候选图像进行图像补绘，以确定本次迭代的预测误差分布或者通过训练第二机器学习模型直接来推测/>
在一些实施例中，根据多个待处理区域，利用第一机器学习模型，计算候选图像中该像素的各预测像素值；根据候选图像的各预测像素值，确定候选图像中该像素的预测误差分布；利用候选图像中该像素的预测误差分布，更新第二误差分布。
在一些实施例中，利用一个新的机器学习模型(第二机器学习模型)，以候选图像为输入，以每个像素预测误差的均值和标准方差为输出，直接估计预测误差分布，来更新第二误差分布。这个新的机器模型可以用上面进行补绘的第一机器学习模型产生的预测误差分布来进行训练。在步骤1430中，根据第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该像素是否属于所述异常区域。
在一些实施例中，根据Pa(εx)和的/>可以确定新的第一阈值；根据新的第一阈值，可以确定本次迭代中覆盖了异常区域的“孔洞”M1。通过对M1覆盖区域的图像补绘，可以更新的迭代图像/>
在一些实施例中，可以重复上述步骤，直到满足迭代条件，以确定待处理图像中的各像素是否属于异常区域。例如，迭代条件可以根据迭代次数设置，或者根据覆盖异常区域的“孔洞”是否趋于稳定设置。
这样，通过迭代不断更新 和Mi，可以得到越来越准确的异常区域和纯净图像。
在一些实施例中，为了避免在迭代过程中向Pa(εx)漂移，即预测的纯净图片(候选图片)越来越接近输入的污染图片(待处理图片)，可以在更新Mi的时候增加纠错检查处理。例如，可以通过下面任一个实施例中的方法实现纠错检查处理。
在一些实施例中，根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定待处理图像中的各像素是否属于所述异常区域。
例如，根据本次迭代的Mi进行图像补绘处理，得到本次迭代的候选图像计算/>与上次迭代的/>之间的KL散度/> 超过第二阈值，则认为Mi的覆盖区域为异常区域；可以将根据/>和/>两个KL散度确定的异常区域的并集，确定为本次迭代的包含异常区域的异常区域。
例如，为了确保在图像补绘处理中“孔洞”能够覆盖所有异常区域的像素，在每次阈值更新操作，将“孔洞”扩展若干个像素(如3个像素等)作为新的“孔洞”。
在一些实施例中，根据判断为属于所述异常区域的像素，生成候选像素集合；根据候选图像中各像素的第二误差分布，计算各像素不属于异常区域的第一概率，根据候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据第一概率和第二概率确定的像素集合的后验概率，生成目标函数；以候选像素集合中的像素为变量，以最大化后验概率为条件，求解目标函数，以确定候选图像中哪些像素属于异常区域。
例如，可以将对本次迭代覆盖异常区域的Mi的估计，作为一个针对后验概率的优化问题。即寻找一个Mi，使得Mi覆盖区域为异常区域的概率最大，而Mi未覆盖区域为正常区域的概率最大。
例如，可以将最大化这个后验概率等价于最小化它的-log(·)值。这样，可以设置一个目标函数，其包含Mi覆盖区域为异常区域的概率的成分(-log(P(Pa(εx)||Mi＝1))，和Mi未覆盖区域为正常区域的概率的成分为了让得到的区域更加平滑，还可以加入一个使得Mi边界平滑的成分。
上述实施例中，提出了通过多次图像补绘来观测各个像素点的预测误差分布，并通过对分布的分析来判断是否存在异常。例如，通过比较两个预测误差分布的差异，来确定相应区域是否存在异常。
而且，还提出了通过图像补绘处理，对异常区域进行补绘，从而推测无异物的纯净图像；并通过迭代，逐步完善对异常区域的判定，以及对纯净图像的推测。
图4示出本公开的图像中异常区域的处理装置的一些实施例的框图。
如图4所示，图像中异常区域的处理装置4包括划分单元41、预测值计算单元42、分布计算单元43和判断单元44。
划分单元41针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域。
预测值计算单元42根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值。
分布计算单元43根据该待检测区域的原始像素值，计算与各预测像素值相应的预测误差分布，作为第一误差分布。
判断单元44根据第一误差分布，判断该待检测区域是否属于待处理图像中的异常区域。
在一些实施例中，判断单元44根据第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于待处理图像中的异常区域。第二误差分布能够表征不包含异常区域的图像的预测误差分布。
在一些实施例中，分布计算单元43通过以下方式中的一个确定第二误差分布：根据第一机器学习模型处理不包含异常区域的其他图像的预测误差分布，确定第二误差分布；根据待处理图像中所有像素的第一误差分布的标准差，确定第二误差分布；或者根据待处理图像，利用第二机器学习模型确定第二误差分布。
在一些实施例中，处理装置4还包括生成单元45，用于执行生成步骤，将所有属于所述异常区域的像素替换为相应的预测像素值，生成候选图像；分布计算单元43执行更新步骤，根据候选图像，利用多个待处理区域和第一机器学习模型，更新第二误差分布，或者根据候选图像，利用第二机器学习模型，更新第二误差分布；判断单元44执行判断步骤，根据第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于异常区域。
在一些实施例中，生成单元45、分布计算单元43和判断单元44重复上述步骤，直到满足迭代条件，以确定待处理图像中的各像素是否属于异常区域。
在一些实施例中，预测值计算单元42根据多个待处理区域，利用第一机器学习模型，计算候选图像中该待检测区域的各预测像素值；分布计算单元43根据候选图像的各预测像素值，确定候选图像中该待检测区域的预测误差分布；分布计算单元43利用候选图像中该待检测区域的预测误差分布，更新第二误差分布。
在一些实施例中，判断单元44根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定待处理图像中的各待检测区域是否属于异常区域。
在一些实施例中，判断单元44根据判断为属于异常区域的像素，生成候选像素集合；根据候选图像中各像素的第二误差分布，计算各像素不属于异常区域的第一概率，根据候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据第一概率和第二概率确定的像素集合的后验概率，生成目标函数；以候选像素集合中的像素为变量，以最大化后验概率为条件，求解目标函数，以确定候选图像中哪些像素属于异常区域。
在一些实施例中，生成单元45，用于根据满足迭代条件时生成的候选图像，确定不包含异常区域的纯净图像。
在一些实施例中，判断单元4根据第一误差分布与第二误差分布的交叉熵，确定差异。
在一些实施例中，第一阈值根据差异的标准差确定。
在一些实施例中，划分单元41利用多个掩模叠加在待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含待检测区域的一个待处理区域；移动多个掩模，形成多个第二空白区域，分别作为各第二空白区域包含待检测区域的另一个待处理区域；不断移动多个掩模，直到待处理图像中所有待检测区域均具有多个待处理区域。
在一些实施例中，待处理图像为生物的医学影像图像，异常区域为非生物区域或异常生物区域；或者待处理图像为工业产品图像，异常区域为破损或划痕区域。
在一些实施例中，本公开的图像分割装置包括：检测单元，用于根据上述任一个实施例中的图像中异常区域的处理方法，检测待处理图像中的异常区域；分割单元，用于对生成的不包含异常区域的纯净图像进行图像分割，以确定待处理图像的图像分割结果。
图5示出本公开的电子设备的一些实施例的框图。
如图5所示，该实施例的电子设备5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的图像中异常区域的处理方法或图像分割方法。
其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图6示出本公开的电子设备的另一些实施例的框图。
如图6所示，该实施例的电子设备6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的图像中异常区域的处理方法或图像分割方法。
存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
电子设备6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的图像中异常区域的处理方法、图像中异常区域的处理装置、图像分割方法、图像分割装置、电子设备和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (18)

1.一种图像中异常区域的处理方法，包括：
针对待处理图像中任一个或多个像素组成的待检测区域，划分包含所述待检测区域的多个待处理区域；
对于所述待检测区域中的每一个像素，根据所述多个待处理区域中的每一个之外的预设范围内的像素值，利用第一机器学习模型，分别计算所述每一个像素的预测像素值，以获取所述每一个像素的多个预测像素值；
根据所述每一个像素的原始像素值和所述多个预测像素值，计算所述每一个像素的多个预测误差；
计算所述多个预测误差的预测误差分布，作为第一误差分布；
根据所述第一误差分布，判断所述待检测区域是否属于所述待处理图像中的异常区域。
2.根据权利要求1所述的处理方法，其中，所述根据所述第一误差分布，判断该待检测区域是否属于所述待处理图像中的异常区域包括：
根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域，所述第二误差分布能够表征不包含所述异常区域的图像的预测误差分布。
3.根据权利要求2所述的处理方法，其中，
所述第二误差分布通过以下方式中的一个确定：
根据所述第一机器学习模型处理不包含所述异常区域的其他图像的预测误差分布，确定所述第二误差分布；
根据所述待处理图像中所有像素的第一误差分布的标准差，确定所述第二误差分布；或者
根据所述待处理图像，利用第二机器学习模型确定所述第二误差分布。
4.根据权利要求2所述的处理方法，其中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：
生成步骤，将所有属于所述异常区域的像素替换为相应的预测像素值，生成候选图像；
更新步骤，根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布，或者根据所述候选图像，利用第二机器学习模型，更新所述第二误差分布；
判断步骤，根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域。
5.根据权利要求4所述的处理方法，其中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：
重复所述生成步骤、所述更新步骤、所述判断步骤，直到满足迭代条件，以确定所述待处理图像中的各待检测区域是否属于异常区域。
6.根据权利要求4所述的处理方法，其中，所述根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布包括：
根据所述多个待处理区域，利用所述第一机器学习模型，计算所述候选图像中该待检测区域的各预测像素值；
根据所述候选图像的各预测像素值，确定所述候选图像中该待检测区域的预测误差分布；
利用所述候选图像中该待检测区域的预测误差分布，更新所述第二误差分布。
7.根据权利要求4所述的处理方法，其中，所述根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域包括：
根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定所述待处理图像中的各待检测区域是否属于所述异常区域。
8.根据权利要求4所述的处理方法，其中，所述根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域包括：
根据判断为属于所述异常区域的像素，生成候选像素集合；
根据所述候选图像中各像素的第二误差分布，计算各像素不属于所述异常区域的第一概率，根据所述候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；
根据所述第一概率和所述第二概率确定的所述像素集合的后验概率，生成目标函数；
以所述候选像素集合中的像素为变量，以最大化所述后验概率为条件，求解所述目标函数，以确定所述候选图像中哪些像素属于所述异常区域。
9.根据权利要求4所述的处理方法，还包括：
根据满足迭代条件时生成的候选图像，确定不包含所述异常区域的纯净图像。
10.根据权利要求2所述的处理方法，其中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：
根据所述第一误差分布与第二误差分布的交叉熵，确定所述差异。
11.根据权利要求2所述的处理方法，其中，
所述第一阈值根据所述差异的标准差确定。
12.根据权利要求1所述的处理方法，其中，所述针对待处理图像中任一个像素或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域包括：
利用多个掩模叠加在所述待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含待检测区域的一个待处理区域；
移动所述多个掩模，形成多个第二空白区域，分别作为各第二空白区域包含待检测区域的另一个待处理区域；
不断移动所述多个掩模，直到所述待处理图像中所有待检测区域均具有多个待处理区域。
13.根据权利要求1-12任一项所述的处理方法，其中，
所述待处理图像为生物的医学影像图像，所述异常区域为非生物区域或异常生物区域；或者
所述待处理图像为工业产品图像，所述异常区域为破损或划痕区域。
14.一种图像分割方法，包括：
根据权利要求1-13任一项所述的图像中异常区域的处理方法，检测待处理图像中的异常区域；
对生成的不包含所述异常区域的纯净图像进行图像分割，以确定所述待处理图像的图像分割结果。
15.一种图像中异常区域的处理装置，包括：
划分单元，用于针对待处理图像中任一个或多个像素组成的待检测区域，划分包含所述待检测区域的多个待处理区域；
预测值计算单元，用于对于所述待检测区域中的每一个像素，根据所述多个待处理区域中的每一个之外的预设范围内的像素值，利用第一机器学习模型，分别计算所述每一个像素的预测像素值，以获取所述每一个像素的多个预测像素值；
分布计算单元，用于根据所述每一个像素的原始像素值和所述多个预测像素值，计算所述每一个像素的多个预测误差，计算所述多个预测误差的预测误差分布，作为第一误差分布；
判断单元，用于根据所述第一误差分布，判断所述待检测区域是否属于所述待处理图像中的异常区域。
16.一种图像分割装置，包括：
检测单元，用于根据权利要求1-13任一项所述的图像中异常区域的处理方法，检测待处理图像中的异常区域；
分割单元，用于对生成的不包含所述异常区域的纯净图像进行图像分割，以确定所述待处理图像的图像分割结果。
17.一种电子设备，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-13任一项所述的图像中异常区域的处理方法，或者权利要求14所述的图像分割方法。
18.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-13任一项所述的图像中异常区域的处理方法，或者权利要求14所述的图像分割方法。
CN202010803078.2A 2020-08-11 2020-08-11 图像中异常区域的处理方法、装置和图像分割方法、装置 Active CN114078108B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010803078.2A CN114078108B (zh) 2020-08-11 2020-08-11 图像中异常区域的处理方法、装置和图像分割方法、装置
US18/006,955 US20230260110A1 (en) 2020-08-11 2021-03-03 Method and apparatus for processing abnormal region in image, and image segmentation method and apparatus
PCT/CN2021/078882 WO2022033015A1 (zh) 2020-08-11 2021-03-03 图像中异常区域的处理方法、装置和图像分割方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803078.2A CN114078108B (zh) 2020-08-11 2020-08-11 图像中异常区域的处理方法、装置和图像分割方法、装置

Publications (2)

Publication Number Publication Date
CN114078108A CN114078108A (zh) 2022-02-22
CN114078108B true CN114078108B (zh) 2023-12-22

Family

ID=80247612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803078.2A Active CN114078108B (zh) 2020-08-11 2020-08-11 图像中异常区域的处理方法、装置和图像分割方法、装置

Country Status (3)

Country Link
US (1) US20230260110A1 (zh)
CN (1) CN114078108B (zh)
WO (1) WO2022033015A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359270B (zh) * 2022-03-09 2022-06-07 山东华硕汽车配件科技有限公司 基于计算机视觉的汽车发动机油路铜套缺陷检测方法
CN115032202B (zh) * 2022-08-10 2022-11-08 山东唐乐生物科技股份有限公司 一种甜菊糖苷产品的残留杂质去除方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1348314A (zh) * 1996-05-17 2002-05-08 松下电器产业株式会社 图像解码装置
CN105574513A (zh) * 2015-12-22 2016-05-11 北京旷视科技有限公司 文字检测方法和装置
CN110096960A (zh) * 2019-04-03 2019-08-06 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN110287817A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标识别及目标识别模型的训练方法、装置和电子设备
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN111062918A (zh) * 2019-12-10 2020-04-24 歌尔股份有限公司 一种基于计算机视觉的异常检测方法及装置
CN111223079A (zh) * 2019-12-31 2020-06-02 国网北京市电力公司 输电线路检测方法和装置、存储介质及电子装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878570B2 (en) * 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
EP3857565A4 (en) * 2018-11-20 2021-12-29 Arterys Inc. Machine learning-based automated abnormality detection in medical images and presentation thereof
CN110853045B (zh) * 2019-09-24 2022-02-11 西安交通大学 基于核磁共振图像的血管壁分割方法、设备及存储介质
CN110827273A (zh) * 2019-11-14 2020-02-21 中南大学 一种基于区域卷积神经网络的茶叶病害检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1348314A (zh) * 1996-05-17 2002-05-08 松下电器产业株式会社 图像解码装置
CN105574513A (zh) * 2015-12-22 2016-05-11 北京旷视科技有限公司 文字检测方法和装置
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110096960A (zh) * 2019-04-03 2019-08-06 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN110287817A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标识别及目标识别模型的训练方法、装置和电子设备
CN111062918A (zh) * 2019-12-10 2020-04-24 歌尔股份有限公司 一种基于计算机视觉的异常检测方法及装置
CN111223079A (zh) * 2019-12-31 2020-06-02 国网北京市电力公司 输电线路检测方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
WO2022033015A1 (zh) 2022-02-17
US20230260110A1 (en) 2023-08-17
CN114078108A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
US10388018B2 (en) Image processing apparatus, image processing method, and storage medium
US9799115B2 (en) Apparatus and method for automatically registering landmarks in three-dimensional medical image
US10489916B2 (en) Method and apparatus for updating a background model
US20150262039A1 (en) Image processing apparatus and image processing method
CN114078108B (zh) 图像中异常区域的处理方法、装置和图像分割方法、装置
US9349194B2 (en) Method for superpixel life cycle management
CN112085701B (zh) 一种人脸模糊度检测方法、装置、终端设备及存储介质
JP2013065103A (ja) 追跡装置、追跡方法およびプログラム
Sridevi et al. A survey on monochrome image segmentation methods
Rahim et al. Hand gesture recognition based on optimal segmentation in human-computer interaction
CN111079613B (zh) 姿势识别方法和装置、电子设备及存储介质
US9619729B2 (en) Density measuring device, density measuring method, and computer program product
Hemalatha et al. A computational model for texture analysis in images with fractional differential filter for texture detection
Xavierarockiaraj et al. Brain tumor detection using modified histogram thresholding-quadrant approach
KR20110080246A (ko) 분산과 사전확률을 고려한 데이터 분류 장치 및 방법
CN112381084B (zh) 断层图像的轮廓自动识别方法
CN107729863B (zh) 人体指静脉识别方法
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
US11288816B2 (en) Image detection device, image detection method and storage medium storing program
US20240127567A1 (en) Detection-frame position-accuracy improving system and detection-frame position correction method
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
Mandal et al. Adaptive median filtering based on unsupervised classification of pixels
CN110969210A (zh) 一种小慢目标的识别分类方法、装置、设备及存储介质
CN114511591B (zh) 轨迹跟踪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221102

Address after: No. 309, floor 3, building 6, No. 14, Huayuan North Road, Haidian District, Beijing 100083

Applicant after: Beijing Yueying Technology Co.,Ltd.

Address before: No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, Binhai New Area, Tianjin, 300457

Applicant before: Tianjin Tuoying Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant