CN110268442A - 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 - Google Patents

在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 Download PDF

Info

Publication number
CN110268442A
CN110268442A CN201980000607.0A CN201980000607A CN110268442A CN 110268442 A CN110268442 A CN 110268442A CN 201980000607 A CN201980000607 A CN 201980000607A CN 110268442 A CN110268442 A CN 110268442A
Authority
CN
China
Prior art keywords
area
image
rectangular area
region
amplification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980000607.0A
Other languages
English (en)
Other versions
CN110268442B (zh
Inventor
许景涛
索健文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN110268442A publication Critical patent/CN110268442A/zh
Application granted granted Critical
Publication of CN110268442B publication Critical patent/CN110268442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了在样本图像中检测背景物上的外来物的计算机实现的方法。计算机实现的方法包括：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓。在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。

Description

在图像中检测背景物上的外来物的计算机实现的方法、在图 像中检测背景物上的外来物的设备以及计算机程序产品
技术领域
本发明涉及图像处理技术，更具体地，涉及在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品。
背景技术
在许多场景中，外来物检测对于执行或规划任务而言是有用的。例如，太阳能板常常被诸如鸟粪和树叶之类的外来物所污染。由于太阳能板电厂中的太阳能板的表面积较大，对太阳能板的受污染区域的定向清洁可十分困难。自动检测太阳能板的图像中的外来物可有助于太阳能板的清洁，特别是针对那些受污染的区域而言。又例如，在半导体制造中使用的掩膜板上的外来物可不利地影响所制造的装置的质量。因此，对掩膜板进行定向清洁将极大地有利于制造过程。
发明内容
一方面，本发明提供了一种在样本图像中检测背景物上的外来物的计算机实现的方法，包括：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。
可选地，分割显著区域包括：自动地生成外接显著区域的矩形区域；通过放大外接显著区域的矩形区域来自动地生成放大的矩形区域；自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像；基于ROI图像自动地生成初始格，初始格与ROI图像具有相同的纵横比；以及，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作。
可选地，自动地生成放大的矩形区域包括：通过沿外接显著区域的矩形区域的全部四条边以相同比率放大外接显著区域的矩形区域来自动地生成等向放大的矩形区域，其中，等向放大的矩形区域和外接显著区域的矩形区域具有相同的纵横比。
可选地，自动地生成放大的矩形区域还包括：基于确定等向放大的矩形区域位于样本图像的边界内，将等向放大的矩形区域指定为放大的矩形区域。
可选地，自动地生成放大的矩形区域还包括：基于确定等向放大的矩形区域的至少一条边位于样本图像的边界外，收缩等向放大的矩形区域的该至少一条边以获得收缩的矩形区域；以及，基于确定收缩的矩形区域位于样本图像的边界内，将收缩的矩形区域指定为放大的矩形区域。
可选地，基于ROI图像自动地生成初始格包括：通过沿与ROI图像对应的区域的全部四条边以相同比率收缩与ROI图像对应的区域来生成等向收缩的矩形区域。
可选地，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作包括：将ROI图像和初始格输入自动Grabcut操作中；基于ROI图像和初始格生成背景并检测前景；以及，将前景映射至样本图像上以生成外来物区域。
可选地，生成背景并检测前景包括：自动地将初始格以外的ROI图像的区域中的像素指定为背景像素；自动地将初始格内的ROI图像的区域中的像素指定为未定义像素；利用建模算法自动地将未定义像素重新指定到背景像素或前景像素中；以及，自动地检测前景像素和背景像素之间的边界，从而生成背景和前景。
可选地，利用高斯混合模型算法执行生成背景并检测前景。
可选地，所述计算机实现的方法还包括：将原始图像去噪以生成样本图像；其中，将原始图像去噪包括：将原始图像转换为灰度图像；从原始图像移除与背景物对应的子图像；以及，利用指定的灰度值填充与背景物对应的移除区域。
另一方面，本发明提供了一种在样本图像中检测背景物上的外来物的设备，包括：存储器；以及，一个或多个处理器；其中，存储器和所述一个或多个处理器彼此连接；并且，存储器存储计算机可执行指令以控制所述一个或多个处理器：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。
可选地，为了分割显著区域，存储器存储计算机可执行指令以控制所述一个或多个处理器：自动地生成外接显著区域的矩形区域；通过放大外接显著区域的矩形区域来自动地生成放大的矩形区域；自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像。基于ROI图像自动地生成初始格，初始格与ROI图像具有相同的纵横比；以及，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作。
可选地，为了自动地生成放大的矩形区域，存储器存储计算机可执行指令以控制所述一个或多个处理器：通过沿外接显著区域的矩形区域的全部四条边以相同比率放大外接显著区域的矩形区域来自动地生成等向放大的矩形区域，其中，等向放大的矩形区域和外接显著区域的矩形区域具有相同的纵横比。
可选地，为了自动地生成放大的矩形区域，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定等向放大的矩形区域位于样本图像的边界内，将等向放大的矩形区域指定为放大的矩形区域。
可选地，为了自动地生成放大的矩形区域，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定等向放大的矩形区域的至少一条边位于样本图像的边界外，收缩等向放大的矩形区域的该至少一条边以获得收缩的矩形区域；以及，基于确定收缩的矩形区域位于样本图像的边界内，将收缩的矩形区域指定为放大的矩形区域。
可选地，为了基于ROI图像自动地生成初始格，存储器还存储计算机可执行指令以控制所述一个或多个处理器：通过沿与ROI图像对应的区域的全部四条边以相同比率收缩与ROI图像对应的区域来生成等向收缩的矩形区域。
可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：将ROI图像和初始格输入至自动Grabcut操作中；基于ROI图像和初始格生成背景并检测前景；以及，将前景映射至样本图像上以生成外来物区域。
可选地，为了生成背景并检测前景，存储器还存储计算机可执行指令以控制所述一个或多个处理器：自动地将初始格以外的ROI图像的区域中的像素指定为背景像素；自动地将初始格内的ROI图像的区域中的像素指定为未定义像素；利用建模算法自动地将未定义像素重新指定到背景像素或前景像素中；以及，自动地检测前景像素和背景像素之间的边界，从而生成背景和前景。
可选地，所述设备还包括图像捕获装置，其配置为获得在背景物上具有外来物的样本图像。
另一方面，本发明提供了一种计算机程序产品，其包括其上具有计算机可读指令的非暂时性有形计算机可读介质，所述计算机可读指令由处理器可执行，以使得所述处理器执行：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。
附图说明
以下附图仅为根据所公开的各种实施例的用于示意性目的的示例，而不旨在限制本发明的范围。
图1是根据本公开的一些实施例中的在背景物上具有外来物的图像。
图2是根据本公开的一些实施例中的在背景物上具有外来物的图像。
图3示出了根据本公开的一些实施例中的若干个示例性图像的图像特征和显著区域掩膜。
图4A至图4D示出了根据本公开的一些实施例中的在无用户交互的情况下利用自动Grabcut操作分割显著区域的方法。
图5A至图5E示出了根据本公开的一些实施例中的在无用户交互的情况下利用自动Grabcut操作分割显著区域的方法。
具体实施方式
现在将参照以下实施例更具体地描述本公开。需注意，以下对一些实施例的描述仅针对示意和描述的目的而呈现于此。其不旨在是穷尽性的或者受限为所公开的确切形式。
Grabcut算法已用于图像分割(参见，例如，C.Rother,V.Kolmogorov和A.Black,“GrabCut-interactive foreground extraction using iterated graph cuts”,ACMTransactions on Graphics,2004,vol.23 no.3,pp.309-314，其以引用方式整体并入本文)。在Grabcut图像分割中，可应用迭代优化处理以评估前景和背景。这种方式在强制执行区域内像素标签均匀化和应用图像分割优化(最大流量最小切割(max-flow min-cut))之间交替，以利用使用高斯混合模型建模的前景物和背景的颜色分布来推断像素标签。然而，常规的Grabcut算法要求用户交互，并且无法自动地执行。
因此，本公开特别提供了在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品，其实质上避免了由于相关技术的局限和缺点所导致的问题中的一个或多个。一方面，本公开提供了一种在图像中检测背景物上的外来物的计算机实现的方法。在一些实施例中，计算机实现的方法包括：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓。可选地，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。
图1是根据本公开的一些实施例中的在背景物上具有外来物的图像。图2是根据本公开的一些实施例中的在背景物上具有外来物的图像。参照图1，背景物BO是光伏板(太阳能板)，在该光伏板上具有外来物FO(例如，鸟粪)。参照图2，背景物BO是光伏板，在该光伏板上具有外来物FO(例如，叶子)。本方法提供了一种新颖算法，用于在图像(例如，可见光图像)中自动地识别外来物FO并且自动地将外来物FO分类为物体类型。算法包括步骤：检测图像中的显著区域以及分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓。本方法可应用于在复杂场景中检测背景物上的外来物。本方法的应用示例包括检测光伏板上的外来物、检测在半导体制造中使用的掩膜板上的外来物、以及海上目标检测。例如，光伏板的最上层由玻璃制成，并且光伏板上的环境光的反射和折射使得外来物检测成为一个复杂的问题。本方法已经用于与每天的条件和时间无关地在光伏板上检测外来物。本方法可对任意适当图像(例如，使用广角镜头或普通镜头捕获的图像)有效。此外，本方法可用于实时的外来物检测和当相机相对背景物(例如，光伏板)运动时的外来物检测。
可以基于背景物和可疑外来物的图像特性来提取各种适当的图像特征。适当的图像特征的示例包括色调特征、局部二值模式(LBP)纹理特征、亮度特征和饱和度特征。图3示出了根据本公开的一些实施例中的若干个示例性图像的图像特征和显著区域掩膜。参照图3，示例性图像包括两种外来物(鸟粪和叶子)的图像和背景物(没有外来物的光伏板)的图像。如图3所示，可以基于背景物和外来物的图像特性来提取图像的色调特征和LBP纹理特征。
在一些实施例中，图像可以转换为多个颜色通道，例如，红色通道、绿色通道和蓝色通道。可选地，对应的图像特征可以计算为来自所述多个颜色通道的值的平均值。例如，亮度特征可以计算为所述多个颜色通道的亮度值的平均值。
在一些实施例中，可以基于等式(1)来计算LBP纹理特征：
其中，I(c)为目标像素的灰度值；I(p)为邻近目标像素的相邻像素的灰度值；p为相邻像素的总数；(xc,yc)代表目标像素的坐标值。可选的，p＝8。。
具体地，在一个示例中，所述方法包括将候选图像划分成多个单元，可选地，每个单元包括至少8个像素。将像素的灰度值(或照度值)与八个相邻像素(左上、中上、右上、左、右、左下、中下、右下)进行比较。等式(1)中的s(x)是阈函数，当像素的值大于相邻像素的值时，通过阈函数指定“1”；否则，通过阈函数指定“0”。获得八位二值数(eight-digit binarynumber)作为像素的LBP纹理特征。可选地，计算并且可选地归一化出现的每个八位二值数的频率的直方图。将直方图(可选地，归一化的直方图)级联以生成单元的特征向量。
在一些实施例中，图像特征包括颜色特性特征。可选地，所述方法包括首先将RGB空间的图像转换为HIS空间的图像，其中H表示色调特征，I表示亮度特征并且S表示饱和度特征。可以根据等式(2)计算色调特征：
其中，R表示红色灰度，G表示绿色灰度并且B表示蓝色灰度。
在一些实施例中，可以根据等式(3)来计算饱和度特征：
其中，R表示红色灰度，G表示绿色灰度并且B表示蓝色灰度。
在一些实施例中，可以根据等式(4)来计算亮度特征：
其中，R表示红色灰度，G表示绿色灰度并且B表示蓝色灰度。
在一些实施例中，基于人类视觉注意模型来检测图像中的显著区域，并且随后可以获得关于显著区域的信息。在检测显著区域时可以使用各种适当的显著区域检测算法，比如频率调谐(FT)显著区域检测算法。可选地，可以基于初始检测到的显著区域的特性(例如，形状)来精确化显著区域。例如，可以基于初始检测到的显著区域的纵横比和/或初始检测到的显著区域的形状的紧密度来精确化显著区域，以生成精确显著区域，随后将该精确显著区域用于所述方法的后续步骤。
在一些实施例中，通过FT显著区域检测算法来检测图像中的显著区域。在一个示例中，首先向图像应用高斯平滑操作。随后，所述方法包括将RGB空间的图像转换为CIElab空间的图像。CIElab颜色模型补偿RGB和CMYK颜色模型的缺陷。CIElab颜色模型是基于生理特征的与装置无关的颜色模型。CIElab颜色模型由三种元素组成，这三种元素包括照度通道(L)和两个颜色通道(a和b)。a通道对应于从暗绿(低照度值)到灰(中间照度值)以及到亮粉(高照度值)的颜色。b通道对应于从亮蓝(低照度值)到灰(中间照度值)以及到黄(高照度值)的颜色。
具体地，首先，基于等式(5)，将RGB空间的图像转换为XYZ空间的图像：
其中，
随后，基于等式(6)至等式(8)，将XYZ空间的图像转换为LAB空间的图像：
L*＝116f(Y/Yn)-16 (6)；
a*＝500[f(X/Xn)-f(Y/Yn)] (7)；
b*＝200[f(Y/Yn)-f(Z/Zn)] (8)；
其中，
其中，Xn＝1，Yn＝1，Zn＝1。对于f(X/Xn)，t表示X/Xn。对于f(Y/Yn)，t表示Y/Yn。对于f(Z/Zn)，t表示Z/Zn。f(t)是阈函数，当t大于(6/29)3时，通过阈函数指定“t1/3”；否则，通过阈函数指定
可选地，计算图像的三个通道L、a和b的平均值。可选地，计算三个通道的平均值与图像中的每个像素的L、a和b值之间的欧氏距离，从而获得多个显著图(salient map)。可选地，归一化(例如，缩放)所述多个显著图，随后进行自适应阈值分割以获得显著区域的二值图像。提取二值图像中的相连区域，从而获得显著区域。
在一些实施例中，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域的步骤。在一些实施例中，自动Garbcut操作包括以下步骤中的一个或任意组合：(1)自动地生成外接显著区域的矩形区域；(2)通过放大外接显著区域的矩形区域来自动地生成放大的矩形区域；(3)自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像。(4)基于ROI图像自动地生成初始格(initializationbox)，初始格与ROI图像具有相同的纵横比；以及(5)，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作。
图4A至图4D示出了根据本公开的一些实施例中的在无用户交互的情况下利用自动Grabcut操作分割显著区域的方法。参照图4A，在样本图像SI中检测到显著区域SA。自动地生成外接显著区域的矩形区域CRR。在一个示例中，可以通过利用显著区域SA的最外边界点(例如，(xup，yup)、(xdown，ydown)、(xleft，yleft)、(xright、yright)确定外接显著区域的矩形区域CRR的四个角的坐标(例如，(xleft，yup)、(xright，yup)、(xleft，ydown)、(xright、ydown)来生成外接显著区域的矩形区域CRR，从而自动地生成外接显著区域的矩形区域CRR。
参照图4B，所述方法还包括：通过放大外接显著区域的矩形区域CRR来自动地生成放大的矩形区域ERC。可选地，如图4B所示，放大的矩形区域ERC是等向放大的矩形区域，并且自动地生成放大的矩形区域ERC包括：通过沿外接显著区域的矩形区域CRR的全部四条边以相同比率放大外接显著区域的矩形区域CRR来自动地生成等向放大的矩形区域，其中，等向放大的矩形区域和外接显著区域的矩形区域CRR具有相同的纵横比。将等向放大的矩形区域指定为放大的矩形区域ERC。可选地，如图4B所示，特别当等向放大的矩形区域位于样本图像SI的边界内时，可以执行该操作。
可选地，放大的矩形区域ERC和外接显著区域的矩形区域CRR共中心并且具有相同的纵横比。可选地，放大的矩形区域ERC的宽度是外接显著区域的矩形区域CRR的宽度的M倍(M＞1，例如，两倍)；并且，放大的矩形区域ERC的长度是外接显著区域的矩形区域CRR的长度的N倍(N＞1，例如，两倍)。
参照图4C，所述方法还包括：自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像ROII。
参照图4D，所述方法还包括：通过沿与ROI图像ROII对应的区域的全部四条边以相同比率收缩与ROI图像对应的区域来生成等向收缩的矩形区域EDSRC。可选地，与ROI图像ROII对应的区域和等向收缩的矩形区域EDSRC共中心并且具有相同的纵横比。可选地，与ROI图像ROII对应的区域的宽度是等向收缩的矩形区域EDSRC的宽度的P倍(P＞1，例如，两倍)；并且，与ROI图像ROII对应的区域的长度是等向收缩的矩形区域EDSRC的长度的Q倍(Q＞1，例如，两倍)。基于等向收缩的矩形区域EDSRC，所述方法生成与等向收缩的矩形区域EDSRC对应的初始格。初始格与ROI图像具有相同纵横比。
图5A至图5D示出了根据本公开的一些实施例中的在无用户交互的情况下利用自动Grabcut操作分割显著区域的方法。参照图5A，在样本图像SI中检测到显著区域SA。自动地生成外接显著区域的矩形区域CRR。在一个示例中，可以通过利用显著区域SA的最外边界点(例如，(xup，yup)、(xdown，ydown)、(xleft，yleft)、(xright、yright)确定外接显著区域的矩形区域CRR的四个角的坐标(例如，(xleft，yup)、(xright，yup)、(xleft，ydown)、(xright、ydown)来生成外接显著区域的矩形区域CRR，从而自动地生成外接显著区域的矩形区域CRR。
参照图5B，所述方法还包括：通过放大外接显著区域的矩形区域CRR来自动地生成放大的矩形区域ERC。可选地，如图5B所示，自动地生成放大的矩形区域ERC包括：通过沿外接显著区域的矩形区域CRR的全部四条边以相同比率放大外接显著区域的矩形区域CRR来自动地生成等向放大的矩形区域EDERC，其中，等向放大的矩形区域EDERC和外接显著区域的矩形区域CRR具有相同的纵横比。然而，如图5B所示，等向放大的矩形区域EDERC的至少一条边位于样本图像SI的边界以外。
可选地，等向放大的矩形区域EDERC和外接显著区域的矩形区域CRR共中心并且具有相同的纵横比。可选地，等向放大的矩形区域EDERC的宽度是外接显著区域的矩形区域CRR的宽度的M倍(M＞1，例如，两倍)；并且，等向放大的矩形区域EDERC的长度是外接显著区域的矩形区域CRR的长度的N倍(N＞1，例如，两倍)。
参照图5B和图5C，自动地生成放大的矩形区域ERC还包括：基于确定等向放大的矩形区域EDERC至少一条边位于样本图像SI的边界外，收缩等向放大的矩形区域EDERC的所述至少一条边以获得收缩的矩形区域；以及，基于确定收缩的矩形区域位于样本图像SI的边界内，将收缩的矩形区域指定为放大的矩形区域ERC。
参照图5D，所述方法还包括：自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像ROII。
参照图5E，所述方法还包括：通过沿与ROI图像ROII对应的区域的全部四条边以相同比率收缩与ROI图像对应的区域来生成等向收缩的矩形区域EDSRC。可选地，与ROI图像ROII对应的区域和等向收缩的矩形区域EDSRC共中心并且具有相同的纵横比。可选地，与ROI图像ROII对应的区域的宽度是等向收缩的矩形区域EDSRC的宽度的P倍(P＞1，例如，两倍)；并且，与ROI图像ROII对应的区域的长度是等向收缩的矩形区域EDSRC的长度的Q倍(Q＞1，例如，两倍)。基于等向收缩的矩形区域EDSRC，所述方法生成与等向收缩的矩形区域EDSRC对应的初始格。初始格与ROI图像具有相同纵横比。
在一些实施例中，利用ROI图像ROII和初始格作为输入自动地执行自动Grabcut操作。可选地，所述方法包括：将ROI图像和初始格输入自动Grabcut操作；基于ROI图像和初始格生成背景并检测前景；以及，将前景映射至样本图像上以生成外来物区域。
在一些实施例中，生成背景并检测前景的步骤包括：自动地将初始格以外的ROI图像的区域中的像素指定为背景像素；自动地将初始格内的ROI图像的区域中的像素指定为未定义像素；利用建模算法自动地将未定义像素重新指定到背景像素或前景像素中；以及，自动地检测前景像素和背景像素之间的边界，从而生成背景和前景。
在一些实施例中，利用高斯混合模型(GMM)算法执行生成背景并检测前景。可选地，高斯混合模型算法是完全协方差高斯混合模型，其利用RGB颜色空间中的K个高斯分量(例如，K＝5)。在一个示例中，所述方法包括：将初始格指定为潜在目标区域，并且将初始格以外的图像区域指定为背景。对于RGB颜色空间的图像，高斯混合模型算法用于建模背景和前景，并且将未定义像素标记为可能前景或可能背景。图像中的每个像素被认为通过虚边与周围像素连接，并且每条边基于其与周围像素的相似度而可能属于前景或背景。每个像素(例如，算法中的节点)连接至前景节点或背景节点。在完成节点连接之后，(每个节点可能连接至前景或背景)，如果节点之间的边属于不同端(例如，一个节点属于前景而另一个节点属于背景)，则执行分割(例如，通过最大流量/最小切割算法)以断开节点之间的边。该操作将前景与背景分开，从而生成前景。随后，将前景映射至样本图像上以生成外来物区域。
在一些实施例中，样本图像是从原始图像处理而来的图像。例如，光伏板图像通常包括表面上交替的网格线。在不预先处理原始光伏板图像的情况下，从原始图像提取的纹理特征将不可避免地受到网格线噪声的影响。因此，在一些实施例中，所述方法还包括：将原始图像去噪以生成样本图像。在一些实施例中，将原始图像去噪包括：将原始图像转换为灰度图像；从原始图像移除与背景物对应的子图像；以及，利用指定的灰度值填充与背景物对应的移除区域。
在一个示例中，原始图像是光伏板的图像。去噪方法包括：将光伏板的表面的图像转换为灰度图像、计算灰度图像的每行和每列的灰度值之和；基于简单的阈值判断定位网格线区域并且移除光伏板表面图像中的网格线区域；利用最小二乘法执行二次多项式拟合，从而获得网格线区域的灰度值，并且填充移除的网格线区域；以及，将颜色空间的三个通道(如RGB空间中的R，G，B通道)中的填充图像组合为输出图像，从而生成用于后续处理的样本图像。
在一些实施例中，所述方法还包括：基于对所述显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。
可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征组合以生成训练一维特征向量；随后，对训练一维特征向量执行特征向量长度归一化以生成训练归一化特征向量。可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征向量长度归一化以生成归一化的训练特征向量；随后，对归一化的训练特征向量执行特征组合以生成训练归一化特征向量。
在一些实施例中，在获得显著区域掩膜之后，所述方法还包括对由显著区域掩膜围绕的区域的图像特征执行特征组合以生成一维特征向量。可选地，从图像提取的图像特征包括第一类型的特征和第二类型的特征；并且，对图像特征执行特征组合的步骤包括：将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个。可选地，可以将多于两种类型的图像特征组合为所述一维特征向量。在一个示例中，第一类型的特征是色调特征，并且第二类型的特征是LBP纹理特征。
在一些实施例中，在特征组合之后，所述方法还包括对一维特征向量执行特征向量长度归一化以生成归一化特征向量。可选地，特征向量长度归一化是特征向量长度缩放(feature vector length scaling)。归一化(或可选地，缩放)特征向量(例如，归一化的一维特征向量)用作图像分类器的输入，以识别图像中的可疑外来物。可选地，图像分类器是预训练的图像分类器。可选地，在特征向量长度归一化的处理中，相对彼此归一化一维特征向量的色调分量，并且相对彼此归一化一维特征向量的LBP纹理特征分量。
在一个示例中，在特征向量长度归一化处理之前，执行特征组合处理。可选地，将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个。随后，对组合的一维特征向量执行特征向量长度归一化。相对彼此归一化一维特征向量的色调分量，并且相对彼此归一化一维特征向量的LBP纹理特征分量，从而获得归一化的一维特征向量。
在另一个示例中，在特征组合处理之前，执行特征向量长度归一化处理。可选地，相对彼此归一化一维特征向量的色调分量，并且相对彼此归一化一维特征向量的LBP纹理特征分量。将第一类型的归一化特征中的对应一个和第二类型的归一化特征中的对应一个组合为一维特征向量中的对应一个，从而获得归一化的一维特征向量。
可选地，所述方法还包括：输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。
在一些实施例中，所述方法还包括：确定由显著区域掩膜围绕的区域的颜色一致性。如果确定由显著区域掩膜围绕的区域的颜色一致性等于或高于阈值颜色一致性值(这表示颜色充分一致)，则输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。
如果确定由显著区域掩膜围绕的区域的颜色一致性低于阈值颜色一致性值(这表示颜色没有充分一致)，则可选地，所述方法还包括：将显著区域分割成多个子区域；以及，基于将显著区域分割为多个子区域的结果，确定精确显著区域的轮廓。
可选地，确定颜色一致性的步骤包括：计算由显著区域掩膜围绕的区域的色调特征的变化；以及，确定色调特征的变化是否大于第一阈值。色调特征的变化大于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性低于第二阈值。色调特征的变化等于或小于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性等于或大于第二阈值。
另一方面，本公开提供了一种在图像中检测背景物上的外来物的设备。在一些实施例中，所述设备包括：存储器；以及，一个或多个处理器。所述存储器和所述一个或多个处理器彼此连接。在一些实施例中，存储器存储计算机可执行指令以控制所述一个或多个处理器：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓。可选地，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。
如本文所用，术语“处理器”指的是可以执行计算的物理装置。处理器的示例包括：中央处理单元(CPU)、微处理器单元(MPU)、微控制器单元(MCU)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字系统处理器(DSP)、精简指令集(RISC)处理器、图像处理器、协处理器、浮点单元、网络处理器、多核处理器、前端处理器、现场可编程门阵列(FPGA)、视频处理单元、视觉处理单元、张量处理单元(TPU)、神经处理单元(NPU)、片上系统(SOC)等。
在一些实施例中，为了分割显著区域，存储器存储计算机可执行指令以控制所述一个或多个处理器：自动地生成外接显著区域的矩形区域；通过放大外接显著区域的矩形区域来自动地生成放大的矩形区域；自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像。基于ROI图像自动地生成初始格，初始格与ROI图像具有相同的纵横比；以及，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作。
在一些实施例中，为了自动地生成放大的矩形区域，存储器存储计算机可执行指令以控制所述一个或多个处理器：通过沿外接显著区域的矩形区域的全部四条边以相同比率放大外接显著区域的矩形区域来自动地生成等向放大的矩形区域，其中，等向放大的矩形区域和外接显著区域的矩形区域具有相同的纵横比。可选地，为了自动地生成放大的矩形区域，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定等向放大的矩形区域位于样本图像的边界内，将等向放大的矩形区域指定为放大的矩形区域。可选地，为了自动地生成放大的矩形区域，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定等向放大的矩形区域的至少一条边位于样本图像的边界外，收缩等向放大的矩形区域的所述至少一条边以获得收缩的矩形区域；以及，基于确定收缩的矩形区域位于样本图像的边界内，将收缩的矩形区域指定为放大的矩形区域。
在一些实施例中，为了基于ROI图像自动地生成初始格，存储器还存储计算机可执行指令以控制所述一个或多个处理器：通过沿与ROI图像对应的区域的全部四条边以相同比率收缩与ROI图像对应的区域来生成等向收缩的矩形区域。
在一些实施例中，存储器还存储计算机可执行指令以控制所述一个或多个处理器：将ROI图像和初始格输入至自动Grabcut操作中；基于ROI图像和初始格生成背景并检测前景；以及，将前景映射至样本图像上以生成外来物区域。可选地，为了生成背景并检测前景，存储器还存储计算机可执行指令以控制所述一个或多个处理器：自动地将初始格以外的ROI图像的区域中的像素指定为背景像素；自动地将初始格内的ROI图像的区域中的像素指定为未定义像素；利用建模算法自动地将未定义像素重新指定到背景像素或前景像素中；以及，自动地检测前景像素和背景像素之间的边界，从而生成背景和前景。
可选地，所述设备还包括图像捕获装置，其配置为获得在背景物上具有外来物的样本图像。
另一方面，本公开提供了一种计算机程序产品，其包括其上具有计算机可读指令的非暂时性有形计算机可读介质，所述计算机可读指令由处理器可执行，以使得所述处理器执行：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓。可选地，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。
出于示意和描述目的已示出对本发明实施例的上述描述。其并非旨在穷举或将本发明限制为所公开的确切形式或示例性实施例。因此，上述描述应当被认为是示意性的而非限制性的。显然，许多修改和变形对于本领域技术人员而言将是显而易见的。选择和描述这些实施例是为了解释本发明的原理和其最佳方式的实际应用，从而使得本领域技术人员能够理解本发明适用于特定用途或所构思的实施方式的各种实施例及各种变型。本发明的范围旨在由所附权利要求及其等同形式限定，其中除非另有说明，否则所有术语以其最宽的合理意义解释。因此，术语“发明”、“本发明”等不一定将权利范围限制为具体实施例，并且对本发明示例性实施例的参考不隐含对本发明的限制，并且不应推断出这种限制。本发明仅由随附权利要求的精神和范围限定。此外，这些权利要求可涉及使用跟随有名词或元素的“第一”、“第二”等术语。这种术语应当理解为一种命名方式而非意在对由这种命名方式修饰的元素的数量进行限制，除非给出具体数量。所描述的任何优点和益处不一定适用于本发明的全部实施例。应当认识到的是，本领域技术人员在不脱离随附权利要求所限定的本发明的范围的情况下可以对所描述的实施例进行变化。此外，本公开中没有元件和组件是意在贡献给公众的，无论该元件或组件是否明确地记载在随附权利要求中。

Claims (20)

1.一种在样本图像中检测背景物上的外来物的计算机实现的方法，包括：
提取所述样本图像的图像特征；
检测所述样本图像中的显著区域；以及
分割所述显著区域以基于分割所述显著区域的结果确定外来物区域的轮廓；
其中，在无用户交互的情况下通过自动Garbcut操作执行分割所述显著区域。
2.根据权利要求1所述的计算机实现的方法，其中，分割所述显著区域包括：
自动地生成外接所述显著区域的矩形区域；
通过放大外接所述显著区域的所述矩形区域来自动地生成放大的矩形区域；
自动地将所述放大的矩形区域与所述样本图像组合，并且对所述样本图像执行裁剪操作以生成感兴趣区域图像；
基于所述感兴趣区域图像自动地生成初始格，所述初始格与所述感兴趣区域图像具有相同的纵横比；以及
利用所述感兴趣区域图像和所述初始格作为输入自动地执行所述自动Grabcut操作。
3.根据权利要求2所述的计算机实现的方法，其中，自动地生成所述放大的矩形区域包括：通过沿外接所述显著区域的所述矩形区域的全部四条边以相同比率放大外接所述显著区域的所述矩形区域来自动地生成等向放大的矩形区域，其中，所述等向放大的矩形区域和外接所述显著区域的所述矩形区域具有相同的纵横比。
4.根据权利要求3所述的计算机实现的方法，其中，自动地生成所述放大的矩形区域还包括：基于确定所述等向放大的矩形区域位于所述样本图像的边界内，将所述等向放大的矩形区域指定为所述放大的矩形区域。
5.根据权利要求3所述的计算机实现的方法，其中，自动地生成所述放大的矩形区域还包括：基于确定所述等向放大的矩形区域的至少一条边位于所述样本图像的边界外，收缩所述等向放大的矩形区域的所述至少一条边以获得收缩的矩形区域；以及
基于确定所述收缩的矩形区域位于所述样本图像的边界内，将所述收缩的矩形区域指定为所述放大的矩形区域。
6.根据权利要求2至5中任一项所述的计算机实现的方法，其中，基于所述感兴趣区域图像自动地生成所述初始格包括：通过沿与所述感兴趣区域图像对应的区域的全部四条边以相同比率收缩与所述感兴趣区域图像对应的区域来生成等向收缩的矩形区域。
7.根据权利要求2至6中任一项所述的计算机实现的方法，其中，利用所述感兴趣区域图像和所述初始格作为输入自动地执行所述自动Grabcut操作包括：
将所述感兴趣区域图像和所述初始格输入所述自动Grabcut操作；
基于所述感兴趣区域图像和所述初始格生成背景并检测前景；以及
将所述前景映射至所述样本图像上以生成所述外来物区域。
8.根据权利要求7所述的计算机实现的方法，其中，生成所述背景并检测所述前景包括：
自动地将所述初始格以外的所述感兴趣区域图像的区域中的像素指定为背景像素；
自动地将所述初始格内的所述感兴趣区域图像的区域中的像素指定为未定义像素；
利用建模算法自动地将所述未定义像素重新指定到所述背景像素中或重新指定到前景像素中；以及
自动地检测所述前景像素和所述背景像素之间的边界，从而生成所述背景和所述前景。
9.根据权利要求8所述的计算机实现的方法，其中，利用高斯混合模型算法执行生成所述背景并检测所述前景。
10.根据权利要求1至9中任一项所述的计算机实现的方法，还包括：将原始图像去噪以生成所述样本图像；
其中，将所述原始图像去噪包括：
将所述原始图像转换为灰度图像；
从所述原始图像移除与背景物对应的子图像；以及
利用指定的灰度值填充与所述背景物对应的移除区域。
11.一种在样本图像中检测背景物上的外来物的设备，包括：
存储器；以及
一个或多个处理器；
其中，所述存储器和所述一个或多个处理器彼此连接；并且
所述存储器存储计算机可执行指令以控制所述一个或多个处理器：
提取所述样本图像的图像特征；
检测所述样本图像中的显著区域；以及
分割所述显著区域以基于分割所述显著区域的结果确定外来物区域的轮廓；
其中，在无用户交互的情况下通过自动Garbcut操作执行分割所述显著区域。
12.根据权利要求11所述的设备，其中，为了分割所述显著区域，所述存储器存储计算机可执行指令以控制所述一个或多个处理器：
自动地生成外接所述显著区域的矩形区域；
通过放大外接所述显著区域的所述矩形区域来自动地生成放大的矩形区域；
自动地将所述放大的矩形区域与所述样本图像组合，并且对所述样本图像执行裁剪操作以生成感兴趣区域图像；
基于所述感兴趣区域图像自动地生成初始格，所述初始格与所述感兴趣区域图像具有相同的纵横比；以及
利用所述感兴趣区域图像和所述初始格作为输入自动地执行所述自动Grabcut操作。
13.根据权利要求12所述的设备，其中，为了自动地生成所述放大的矩形区域，所述存储器存储计算机可执行指令以控制所述一个或多个处理器：通过沿外接所述显著区域的所述矩形区域的全部四条边以相同比率放大外接所述显著区域的所述矩形区域来自动地生成等向放大的矩形区域，其中，所述等向放大的矩形区域和外接所述显著区域的所述矩形区域具有相同的纵横比。
14.根据权利要求13所述的设备，其中，为了自动地生成所述放大的矩形区域，所述存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定所述等向放大的矩形区域位于所述样本图像的边界内，将所述等向放大的矩形区域指定为所述放大的矩形区域。
15.根据权利要求13所述的设备，其中，为了自动地生成所述放大的矩形区域，所述存储器存储计算机可执行指令以控制所述一个或多个处理器：
基于确定所述等向放大的矩形区域的至少一条边位于所述样本图像的边界外，收缩所述等向放大的矩形区域的所述至少一条边以获得收缩的矩形区域；以及
基于确定所述收缩的矩形区域位于所述样本图像的边界内，将所述收缩的矩形区域指定为所述放大的矩形区域。
16.根据权利要求12至15中任一项所述的设备，其中，为了基于所述感兴趣区域图像自动地生成所述初始格，所述存储器还存储计算机可执行指令以控制所述一个或多个处理器：通过沿与所述感兴趣区域图像对应的区域的全部四条边以相同比率收缩与所述感兴趣区域图像对应的区域来生成等向收缩的矩形区域。
17.根据权利要求12至16中任一项所述的设备，其中，所述存储器还存储计算机可执行指令以控制所述一个或多个处理器：
将所述感兴趣区域图像和所述初始格输入所述自动Grabcut操作；
基于所述感兴趣区域图像和所述初始格生成背景并检测前景；以及
将所述前景映射至所述样本图像上以生成所述外来物区域。
18.根据权利要求17所述的设备，其中，为了生成所述背景并检测所述前景，所述存储器存储计算机可执行指令以控制所述一个或多个处理器：
自动地将所述初始格以外的所述感兴趣区域图像的区域中的像素指定为背景像素；
自动地将所述初始格内的所述感兴趣区域图像的区域中的像素指定为未定义像素；
利用建模算法自动地将所述未定义像素重新指定到所述背景像素中或重新指定到前景像素中；以及
自动地检测所述前景像素和所述背景像素之间的边界，从而生成所述背景和所述前景。
19.根据权利要求11至18中任一项所述的设备，还包括图像捕获装置，其配置为获得在所述背景物上具有所述外来物的所述样本图像。
20.一种计算机程序产品，其包括非暂时性有形计算机可读介质，所述非暂时性有形计算机可读介质上具有计算机可读指令，所述计算机可读指令由处理器可执行，以使得所述处理器执行：
提取所述样本图像的图像特征；
检测所述样本图像中的显著区域；以及
分割所述显著区域以基于分割所述显著区域的结果确定外来物区域的轮廓；
其中，在无用户交互的情况下通过自动Garbcut操作执行分割所述显著区域。
CN201980000607.0A 2019-05-09 2019-05-09 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 Active CN110268442B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/086213 WO2020223962A1 (en) 2019-05-09 2019-05-09 Computer-implemented method of detecting foreign object on background object in image, apparatus for detecting foreign object on background object in image, and computer-program product

Publications (2)

Publication Number Publication Date
CN110268442A true CN110268442A (zh) 2019-09-20
CN110268442B CN110268442B (zh) 2023-08-29

Family

ID=67912096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000607.0A Active CN110268442B (zh) 2019-05-09 2019-05-09 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品

Country Status (3)

Country Link
US (1) US11263752B2 (zh)
CN (1) CN110268442B (zh)
WO (1) WO2020223962A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418957B (zh) * 2021-12-24 2022-11-18 广州大学 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN115147770B (zh) * 2022-08-30 2022-12-02 山东千颐科技有限公司 基于图像处理的皮带异物视觉识别系统
CN115330794B (zh) * 2022-10-13 2022-12-23 扬州中科半导体照明有限公司 基于计算机视觉的led背光异物缺陷检测方法
CN116205892B (zh) * 2023-03-13 2024-04-05 北京智盟信通科技有限公司 一种评估光伏组串工况的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689295A (zh) * 2007-06-29 2010-03-31 汤姆森许可贸易公司 用于减少图像中的伪像的设备和方法
US20120249726A1 (en) * 2011-03-31 2012-10-04 Tessera Technologies Ireland Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US20130101170A1 (en) * 2011-10-21 2013-04-25 Industry-University Cooperation Foundation Hanyang University Method of image processing and device therefore
CN103295219A (zh) * 2012-03-02 2013-09-11 北京数码视讯科技股份有限公司 图像分割的方法与装置
CN104966085A (zh) * 2015-06-16 2015-10-07 北京师范大学 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN107341455A (zh) * 2017-06-21 2017-11-10 北京航空航天大学 一种对夜间机场跑道路面上外来物的区域多特征的检测方法及检测装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292369B2 (en) * 2000-12-28 2007-11-06 Seiko Epson Corporation Logo data generating method and system
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN102779338B (zh) 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
US8989437B2 (en) 2011-05-16 2015-03-24 Microsoft Corporation Salient object detection by composition
US8908948B2 (en) * 2011-12-21 2014-12-09 Institute Of Automation, Chinese Academy Of Sciences Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale structure information
US9042648B2 (en) * 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US20140254922A1 (en) * 2013-03-11 2014-09-11 Microsoft Corporation Salient Object Detection in Images via Saliency
EP3028256A4 (en) * 2013-07-31 2016-10-19 Microsoft Technology Licensing Llc GEODETIC RELIEF USING PRELIMINARY REARPLANS
TWI532361B (zh) * 2013-12-27 2016-05-01 國立臺灣科技大學 自動尋景拍攝方法及其系統
US9934577B2 (en) 2014-01-17 2018-04-03 Microsoft Technology Licensing, Llc Digital image edge detection
JP6330385B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
US9881380B2 (en) * 2016-02-16 2018-01-30 Disney Enterprises, Inc. Methods and systems of performing video object segmentation
US10492712B2 (en) * 2016-03-30 2019-12-03 Aetrex Worldwide, Inc. System and method for identifying physical properties of feet
CN110268420B (zh) * 2019-05-09 2023-07-28 京东方科技集团股份有限公司 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689295A (zh) * 2007-06-29 2010-03-31 汤姆森许可贸易公司 用于减少图像中的伪像的设备和方法
US20120249726A1 (en) * 2011-03-31 2012-10-04 Tessera Technologies Ireland Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US20130101170A1 (en) * 2011-10-21 2013-04-25 Industry-University Cooperation Foundation Hanyang University Method of image processing and device therefore
CN103295219A (zh) * 2012-03-02 2013-09-11 北京数码视讯科技股份有限公司 图像分割的方法与装置
CN104966085A (zh) * 2015-06-16 2015-10-07 北京师范大学 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN107341455A (zh) * 2017-06-21 2017-11-10 北京航空航天大学 一种对夜间机场跑道路面上外来物的区域多特征的检测方法及检测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘超: "基于显著性检测的图像匹配", 《北京信息科技大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
WO2020223962A1 (en) 2020-11-12
CN110268442B (zh) 2023-08-29
US20210233245A1 (en) 2021-07-29
US11263752B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN110268442A (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
CN110268420A (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
CN108537239B (zh) 一种图像显著性目标检测的方法
Saarinen Color image segmentation by a watershed algorithm and region adjacency graph processing
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN107180410A (zh) 一种图像的风格化重建方法及装置
Almogdady et al. A flower recognition system based on image processing and neural networks
US8559714B2 (en) Post processing for improved generation of intrinsic images
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
Mai et al. Back propagation neural network dehazing
CN110705634A (zh) 一种鞋跟型号识别方法、装置及存储介质
Kumar et al. Enhancing scene perception using a multispectral fusion of visible–near‐infrared image pair
JP7300027B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
US8428352B1 (en) Post processing for improved generation of intrinsic images
CN109448010B (zh) 一种基于内容特征的四方连续纹样自动生成方法
Xiaoxu et al. Image dehazing base on two-peak channel prior
US8553979B2 (en) Post processing for improved generation of intrinsic images
Boutiche et al. Fast Generalized Chan-Vese Model for plant/soil segmentation to estimate percentage of ground cover in agricultural images
Chaczko et al. A preliminary investigation on computer vision for telemedicine systems using OpenCV
Riaz et al. Visibility restoration using generalized haze-lines
Chaczko et al. Teaching Computer Vision for telemedicine systems using OpenCV
Semary et al. Texture recognition based natural gray images coloring technique
Stephane et al. Primal sketch of image series with edge preserving filtering application to change detection
Hu et al. Road extraction from remote sensing imagery based on road tracking and ribbon snake

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant