CN110268420A - 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 - Google Patents

在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 Download PDF

Info

Publication number
CN110268420A
CN110268420A CN201980000611.7A CN201980000611A CN110268420A CN 110268420 A CN110268420 A CN 110268420A CN 201980000611 A CN201980000611 A CN 201980000611A CN 110268420 A CN110268420 A CN 110268420A
Authority
CN
China
Prior art keywords
image
training
salient region
feature
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980000611.7A
Other languages
English (en)
Other versions
CN110268420B (zh
Inventor
张欢欢
许景涛
唐小军
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN110268420A publication Critical patent/CN110268420A/zh
Application granted granted Critical
Publication of CN110268420B publication Critical patent/CN110268420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

提供了在图像中检测背景物上的外来物的计算机实现的方法。计算机实现的方法包括：基于背景物和可疑外来物的图像特性来提取图像的图像特征；基于人类视觉注意模型来检测图像中的显著区域；基于对显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。

Description

在图像中检测背景物上的外来物的计算机实现的方法、在图 像中检测背景物上的外来物的设备以及计算机程序产品
技术领域
本发明涉及图像处理技术，更具体地，涉及在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品。
背景技术
在许多场景中，外来物检测对于执行或规划任务而言是有用的。例如，太阳能板常常被诸如鸟粪和树叶之类的外来物所污染。由于太阳能板电厂中的太阳能板的表面积较大，对太阳能板的受污染区域的定向清洁可十分困难。自动检测太阳能板的图像中的外来物可有助于太阳能板的清洁，特别是针对那些受污染的区域而言。又例如，在半导体制造中使用的掩膜板上的外来物可不利地影响所制造的装置的质量。因此，对掩膜板进行定向清洁将极大地有利于制造过程。
发明内容
一方面，本发明提供了一种在图像中检测背景物上的外来物的计算机实现的方法，包括：基于背景物和可疑外来物的图像特性来提取图像的图像特征；基于人类视觉注意模型来检测图像中的显著区域；基于对显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。
可选地，从图像提取的图像特征包括第一类型的特征和第二类型的特征；对图像特征执行特征组合包括：将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个。
可选地，第一类型的特征是色调特征，并且第二类型的特征是局部二值模式(LBP)纹理特征。
可选地，所述计算机实现的方法还包括：确定由显著区域掩膜围绕的区域的颜色一致性。
可选地，所述计算机实现的方法还包括：基于确定由显著区域掩膜围绕的区域的颜色一致性低于阈值，将显著区域分割为多个子区域；以及，基于将显著区域分割为多个子区域的结果，确定精确显著区域的轮廓。
可选地，确定颜色一致性包括：计算由显著区域掩膜围绕的区域的色调特征的变化；以及，确定色调特征的变化是否大于第一阈值；其中，色调特征的变化大于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性低于第二阈值。
可选地，所述计算机实现的方法还包括：对初始图像分类器进行预训练以获得图像分类器；其中，对初始图像分类器进行预训练包括：提供训练样本、与训练样本对应的训练分类标签、与训练样本对应的训练图像特征、以及与训练样本对应的训练显著区域掩膜，训练图像特征包括第一类型的训练特征和第二类型的训练特征；对由训练显著区域掩膜围绕的区域的训练图像特征执行特征组合以及特征向量长度归一化以生成训练归一化特征向量；基于训练归一化特征向量对训练样本进行分类以生成初始分类标签；确定初始分类标签与训练分类标签之间的匹配度；以及，基于匹配度调整初始图像分类器。
可选地，对初始图像分类器进行预训练还包括：提供训练图像，该训练图像在训练背景物上具有训练外来物；基于训练背景物和训练外来物的图像特性来提取训练图像的训练图像特征；基于人类视觉注意模型来检测训练图像中的训练显著区域；基于对训练显著区域的检测来生成训练显著区域掩膜；以及，获得由训练显著区域掩膜围绕的区域中的训练图像特征。
可选地，所述计算机实现的方法还包括：输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。
可选地，背景物是光伏板。
另一方面，本发明提供了一种在图像中检测背景物上的外来物的设备，包括：存储器；以及，一个或多个处理器；其中，存储器和所述一个或多个处理器彼此连接；并且，存储器存储计算机可执行指令以控制所述一个或多个处理器：基于背景物和可疑外来物的图像特性来提取图像的图像特征；基于人类视觉注意模型来检测图像中的显著区域；基于对显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。
可选地，从图像提取的图像特征包括第一类型的特征和第二类型的特征；其中，存储器存储计算机可执行指令以控制所述一个或多个处理器：将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个。
可选地，第一类型的特征是色调特征，并且第二类型的特征是局部二值模式(LBP)纹理特征。
可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：确定由显著区域掩膜围绕的区域的颜色一致性。
可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定由显著区域掩膜围绕的区域的颜色一致性低于阈值，将显著区域分割为多个子区域；以及，基于将显著区域分割为多个子区域的结果，确定精确显著区域的轮廓。
可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：计算由显著区域掩膜围绕的区域的色调特征的变化；以及，确定色调特征的变化是否大于第一阈值；其中，色调特征的变化大于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性低于第二阈值。
可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。
可选地，背景物是光伏板。
可选地，设备还包括图像捕获装置，其配置为获得在背景物上具有外来物的图像。
另一方面，本发明提供了一种计算机程序产品，其包括其上具有计算机可读指令的非暂时性有形计算机可读介质，所述计算机可读指令由处理器可执行，以使得所述处理器执行：基于图像中的背景物和可疑外来物的图像特性来提取图像的图像特征；基于人类视觉注意模型来检测图像中的显著区域；基于对显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。
附图说明
以下附图仅为根据所公开的各种实施例的用于示意性目的的示例，而不旨在限制本发明的范围。
图1是根据本公开的一些实施例中的在背景物上具有外来物的图像。
图2是根据本公开的一些实施例中的在背景物上具有外来物的图像。
图3示出了根据本公开的一些实施例中的若干个示例性图像的图像特征和显著区域掩膜。
图4A示出了特征组合和特征向量长度归一化的示例性处理。
图4B示出了特征组合和特征向量长度归一化的示例性处理。
图5是示出根据本公开的一些实施例中的在图像中检测背景物中的外来物的方法的流程图。
图6是示出根据本公开的一些实施例中的获得关于显著区域的信息的过程的流程图。
具体实施方式
现在将参照以下实施例更具体地描述本公开。需注意，以下对一些实施例的描述仅针对示意和描述的目的而呈现于此。其不旨在是穷尽性的或者受限为所公开的确切形式。
本公开特别提供了在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品，其实质上避免了由于相关技术的局限和缺点所导致的问题中的一个或多个。一方面，本公开提供了一种在图像中检测背景物上的外来物的计算机实现的方法。在一些实施例中，所述计算机实现的方法包括：基于背景物和可疑外来物的图像特性来提取图像的图像特征；基于人类视觉注意模型(humanvisual attention model)来检测图像中的显著区域(salient region)；基于对显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。
图1是根据本公开的一些实施例中的在背景物上具有外来物的图像。图2是根据本公开的一些实施例中的在背景物上具有外来物的图像。参照图1，背景物BO是光伏板(太阳能板)，在该光伏板上具有外来物FO(例如，鸟粪)。参照图2，背景物BO是光伏板，在该光伏板上具有外来物FO(例如，叶子)。本方法提供了一种新颖算法，用于在图像(例如，可见光图像)中自动地识别外来物FO并且自动地将外来物FO分类为物体类型。该算法包括检测图像中的显著区域的步骤以及对外来物FO进行分类的步骤。本方法可应用于在复杂场景中检测背景物上的外来物。本方法的应用示例包括检测光伏板上的外来物、检测在半导体制造中使用的掩膜板上的外来物、以及海上目标检测。例如，光伏板的最上层由玻璃制成，并且光伏板上的环境光的反射和折射使得外来物检测成为一个复杂的问题。本方法已经用于与每天的条件和时间无关地在光伏板上检测外来物。本方法可对任意适当图像(例如，使用广角镜头或普通镜头捕获的图像)有效。此外，本方法可用于实时的外来物检测和当相机相对背景物(例如，光伏板)运动时的外来物检测。
此外，本方法使得能够将外来物自动分类为物体类型。关于物体类型的信息可有助于后续处理，例如，提供关于制定清洁光伏板的清洁策略的指南。通过本方法获得的信息还可以并入大数据分析中。
可以基于背景物和可疑外来物的图像特性来提取各种适当的图像特征。适当的图像特征的示例包括色调特征、局部二值模式(LBP)纹理特征、亮度特征和饱和度特征。图3示出了根据本公开的一些实施例中的若干个示例性图像的图像特征和显著区域掩膜。参照图3，示例性图像包括两种外来物(鸟粪和叶子)的图像和背景物(没有外来物的光伏板)的图像。如图3所示，可以基于背景物和外来物的图像特性来提取图像的色调特征和LBP纹理特征。
在一些实施例中，图像可以转换为多个颜色通道，例如，红色通道、绿色通道和蓝色通道。可选地，对应的图像特征可以计算为来自所述多个颜色通道的值的平均值。例如，亮度特征可以计算为所述多个颜色通道的亮度值的平均值。
在一些实施例中，可以基于等式(1)来计算LBP纹理特征：
其中，为目标像素的灰度值；I(p)为邻近目标像素的相邻像素的灰度值；p为相邻像素的总数；(xc,yc)代表目标像素的坐标值。可选的，p＝8。
具体地，在一个示例中，所述方法包括将候选图像划分成多个单元，可选地，每个单元包括至少8个像素。将像素的灰度值(或照度值)与八个相邻像素(左上、中上、右上、左、右、左下、中下、右下)进行比较。等式(1)中的s(x)是阈函数，当像素的值大于相邻像素的值时，通过阈函数指定“1”；否则，通过阈函数指定“0”。获得八位二值数(eight-digit binarynumber)作为像素的LBP纹理特征。可选地，计算并且可选地归一化出现的每个八位二值数的频率的直方图。将直方图(可选地，归一化的直方图)级联以生成单元的特征向量。
在一些实施例中，图像特征包括颜色特性特征。可选地，所述方法包括首先将RGB空间的图像转换为HIS空间的图像，其中H表示色调特征，I表示亮度特征并且S表示饱和度特征。可以根据等式(2)计算色调特征：
其中，R表示红色灰度，G表示绿色灰度并且B表示蓝色灰度。
在一些实施例中，可以根据等式(3)来计算饱和度特征：
其中，R表示红色灰度，G表示绿色灰度并且B表示蓝色灰度。
在一些实施例中，可以根据等式(4)来计算亮度特征：
其中，R表示红色灰度，G表示绿色灰度并且B表示蓝色灰度。
在一些实施例中，基于人类视觉注意模型来检测图像中的显著区域，并且随后可以获得关于显著区域的信息。在检测显著区域时可以使用各种适当的显著区域检测算法，比如频率调谐(FT)显著区域检测算法。可选地，可以基于初始检测到的显著区域的特性(例如，形状)来精确化显著区域。例如，可以基于初始检测到的显著区域的纵横比和/或初始检测到的显著区域的形状的紧密度来精确化显著区域，以生成精确显著区域，随后将该精确显著区域用于所述方法的后续步骤。
在一些实施例中，通过FT显著区域检测算法来检测图像中的显著区域。在一个示例中，首先向图像应用高斯平滑操作。随后，所述方法包括将RGB空间的图像转换为CIElab空间的图像。CIElab颜色模型补偿RGB和CMYK颜色模型的缺陷。CIElab颜色模型是基于生理特征的与装置无关的颜色模型。CIElab颜色模型由三种元素组成，这三种元素包括照度通道(L)和两个颜色通道(a和b)。a通道对应于从暗绿(低照度值)到灰(中间照度值)以及到亮粉(高照度值)的颜色。b通道对应于从亮蓝(低照度值)到灰(中间照度值)以及到黄(高照度值)的颜色。
具体地，首先，基于等式(5)，将RGB空间的图像转换为XYZ空间的图像：
其中，
随后，基于等式(6)至等式(8)，将XYZ空间的图像转换为LAB空间的图像：
L*＝116f(Y/Yn)-16 (6)；
a*＝500[f(X/Xn)-f(Y/Yn)] (7)；
b*＝200[f(Y/Yn)-f(Z/Zn)] (8)；
其中，
其中，Xn＝1，Yn＝1，Zn＝1。对于f(X/Xn)，t表示X/Xn。对于f(Y/Yn)，t表示Y/Yn。对于f(Z/Zn)，t表示Z/Zn。f(t)是阈函数，当t大于(6/29)3时，通过阈函数指定“t1/3”；否则，通过阈函数指定
可选地，计算图像的三个通道L、a和b的平均值。可选地，计算三个通道的平均值与图像中的每个像素的L、a和b值之间的欧氏距离，从而获得多个显著图(salient map)。可选地，归一化(例如，缩放)所述多个显著图，随后进行自适应阈值分割以获得显著区域的二值图像。提取二值图像中的相连区域，从而获得显著区域。
基于检测到的显著区域，可以生成显著区域掩膜，如图3所示。因此，一旦生成了显著区域掩膜，就可以获得由显著区域掩膜围绕的区域中的图像特征。在一个示例中，初始检测的显著区域用于生成显著区域掩膜。在一个示例中，精确显著区域用于生成显著区域掩膜。
在一些实施例中，在获得显著区域掩膜之后，所述方法还包括对由显著区域掩膜围绕的区域的图像特征执行特征组合以生成一维特征向量。可选地，从图像提取的图像特征包括第一类型的特征和第二类型的特征；并且，对图像特征执行特征组合的步骤包括：将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个。可选地，可以将多于两种类型的图像特征组合为所述一维特征向量。在一个示例中，第一类型的特征是色调特征，并且第二类型的特征是LBP纹理特征。
在一些实施例中，在特征组合之后，所述方法还包括对一维特征向量执行特征向量长度归一化以生成归一化特征向量。可选地，特征向量长度归一化是特征向量长度缩放(feature vector length scaling)。归一化(或可选地，缩放)特征向量(例如，归一化的一维特征向量)用作图像分类器的输入，以识别图像中的可疑外来物。可选地，图像分类器是预训练的图像分类器。图4A示出了特征组合和特征向量长度归一化的示例性处理。如图4A所示，在特征向量长度归一化的处理中，相对彼此归一化一维特征向量的色调分量，并且相对彼此归一化一维特征向量的LBP纹理特征分量。
在一个示例中，如图4A所示，在特征向量长度归一化处理之前，执行特征组合处理。可选地，将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个。随后，对组合的一维特征向量执行特征向量长度归一化。相对彼此归一化一维特征向量的色调分量，并且相对彼此归一化一维特征向量的LBP纹理特征分量，从而获得归一化的一维特征向量。
图4B示出了特征组合和特征向量长度归一化的示例性处理。在另一个示例中，并且参照图4B，在特征组合处理之前，执行特征向量长度归一化处理。可选地，相对彼此归一化一维特征向量的色调分量，并且相对彼此归一化一维特征向量的LBP纹理特征分量。将第一类型的归一化特征中的对应一个和第二类型的归一化特征中的对应一个组合为一维特征向量中的对应一个，从而获得归一化的一维特征向量。
可选地，所述方法还包括：输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。
在一些实施例中，所述方法还包括：确定由显著区域掩膜围绕的区域的颜色一致性。如果确定由显著区域掩膜围绕的区域的颜色一致性等于或高于阈值颜色一致性值(这表示颜色充分一致)，则输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。
如果确定由显著区域掩膜围绕的区域的颜色一致性低于阈值颜色一致性值(这表示颜色没有充分一致)，则可选地，所述方法还包括：将显著区域分割成多个子区域；以及，基于将显著区域分割为多个子区域的结果，确定精确显著区域的轮廓。
可选地，确定颜色一致性的步骤包括：计算由显著区域掩膜围绕的区域的色调特征的变化；以及，确定色调特征的变化是否大于第一阈值。色调特征的变化大于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性低于第二阈值。色调特征的变化等于或小于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性等于或大于第二阈值。
各种适当的分割算法可用于将显著区域分割成多个子区域。在一个示例中，可将显著区域的外接矩形框用作初始边界，并且可采用交互式图像分割算法(例如GrabCut)来分割显著区域。在另一个示例中，可将显著区域的连接区域的外边界用作初始边界，并且可采用基于能量的图像分割算法(例如水平集分割(level set segmentation))来分割显著区域。
随后，所述方法还包括：输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。可选地，所述方法还包括：与分类标签和相对位置一起输出精确显著区域。
可以针对图像中检测到的全部显著区域重复上述处理。图5是示出根据本公开的一些实施例中的在图像中检测背景物中的外来物的方法的流程图。图5总结了上述处理。图6是示出根据本公开的一些实施例中的获得关于显著区域的信息的过程的流程图。
在一些实施例中，所述方法还包括：对初始图像分类器进行预训练以获得图像分类器。可选地，对初始图像分类器进行预训练的步骤包括：提供训练样本、与训练样本对应的训练分类标签、与训练样本对应的训练图像特征、以及与训练样本对应的训练显著区域掩膜，训练图像特征包括第一类型的训练特征和第二类型的训练特征；对由训练显著区域掩膜围绕的区域的训练图像特征执行特征组合以及特征向量长度归一化以生成训练归一化特征向量；基于训练归一化特征向量对训练样本进行分类以生成初始分类标签；确定初始分类标签与训练分类标签之间的匹配度；以及，基于匹配度调整初始图像分类器。在一个示例中，初始分类标签与训练分类标签不匹配，所述方法包括：调整初始图像分类器，并且重复预训练步骤一个或多个循环，并且确定匹配度，直到存在匹配。例如，匹配度可以以0至10的标度来指示。可选地，可以手动地选择训练样本。可选地，可以手动地提供与训练样本对应的训练分类标签。可选地，可以通过计算机实现的方法自动地生成与训练样本对应的训练分类标签。在对初始图像分类器进行预训练时，可以使用各种适当的图像分类算法，例如支持向量机(SVM)图像分类算法。以上结合用于分类和检测图像中背景物上的外来物的处理讨论了用于特征组合和特征向量长度归一化的方法。
可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征组合以生成训练一维特征向量；随后，对训练一维特征向量执行特征向量长度归一化以生成训练归一化特征向量(参见例如图4A)。可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征向量长度归一化以生成归一化的训练特征向量；随后，对归一化的训练特征向量执行特征组合以生成训练归一化特征向量(参见例如图4B)。
在一些实施例中，对初始图像分类器进行预训练的步骤还包括：提供训练图像，该训练图像在训练背景物上具有训练外来物；基于训练背景物和训练外来物的图像特性来提取训练图像的训练图像特征；基于人类视觉注意模型来检测训练图像中的训练显著区域；基于对训练显著区域的检测来生成训练显著区域掩膜；以及，获得由训练显著区域掩膜围绕的区域中的训练图像特征。可选地，从图像提取的图像特征包括第一类型的特征和第二类型的特征。可选地，第一类型的特征是色调特征，并且第二类型的特征是LBP纹理特征。以上结合用于分类和检测图像中背景物上的外来物的处理讨论了用于提取训练图像特征、检测训练显著区域、生成训练显著区域掩膜和获得训练图像特征的方法。
另一方面，本公开提供了一种在图像中检测背景物上的外来物的设备。在一些实施例中，所述设备包括：存储器；以及，一个或多个处理器。所述存储器和所述一个或多个处理器彼此连接。在一些实施例中，存储器存储计算机可执行指令以控制所述一个或多个处理器：基于背景物和可疑外来物的图像特性来提取图像的图像特征；基于人类视觉注意模型来检测图像中的显著区域；基于对显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。可选地，从图像提取的图像特征包括第一类型的特征和第二类型的特征。可选地，存储器存储计算机可执行指令以控制所述一个或多个处理器：将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个。可选地，第一类型的特征是色调特征，并且第二类型的特征是局部二值模式(LBP)纹理特征。
可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征组合以生成训练一维特征向量；随后，对训练一维特征向量执行特征向量长度归一化以生成训练归一化特征向量。可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征向量长度归一化以生成归一化的训练特征向量；随后，对归一化的训练特征向量执行特征组合以生成训练归一化特征向量。
如本文所用，术语“处理器”指的是可以执行计算的物理装置。处理器的示例包括：中央处理单元(CPU)、微处理器单元(MPU)、微控制器单元(MCU)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字系统处理器(DSP)、精简指令集(RISC)处理器、图像处理器、协处理器、浮点单元、网络处理器、多核处理器、前端处理器、现场可编程门阵列(FPGA)、视频处理单元、视觉处理单元、张量处理单元(TPU)、神经处理单元(NPU)、片上系统(SOC)等。
在一些实施例中，存储器还存储计算机可执行指令以控制所述一个或多个处理器：确定由显著区域掩膜围绕的区域的颜色一致性。可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定由显著区域掩膜围绕的区域的颜色一致性低于阈值，将显著区域分割为多个子区域；以及，基于将显著区域分割为多个子区域的结果，确定精确显著区域的轮廓。可选地，为了确定由显著区域掩膜围绕的区域的颜色一致性，存储器还存储计算机可执行指令以控制所述一个或多个处理器：计算由显著区域掩膜围绕的区域的色调特征的变化；以及，确定色调特征的变化是否大于第一阈值。可选地，色调特征的变化大于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性低于第二阈值。
可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：输出与可疑外来物对应的分类标签以及可疑外来物在背景物上的相对位置。
在一些实施例中，所述设备还包括图像捕获装置，其配置为获得在背景物上具有外来物的图像。
另一方面，本公开提供了一种计算机程序产品，其包括其上具有计算机可读指令的非暂时性有形计算机可读介质，所述计算机可读指令由处理器可执行，以使得所述处理器执行：基于图像中的背景物和可疑外来物的图像特性来提取图像的图像特征；基于人类视觉注意模型来检测图像中的显著区域；基于对显著区域的检测来生成显著区域掩膜；获得由显著区域掩膜围绕的区域中的图像特征；对由显著区域掩膜围绕的区域的图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及，利用图像分类器识别可疑外来物，其中，图像分类器使用归一化特征向量作为输入以识别可疑外来物。可选地，从图像提取的图像特征包括第一类型的特征和第二类型的特征。可选地，所述计算机可读指令由处理器可执行，以使得所述处理器执行：将第一类型的特征中的对应一个和第二类型的特征中的对应一个组合为一维特征向量中的对应一个，从而对图像特征执行特征组合。可选地，第一类型的特征是色调特征，并且第二类型的特征是局部二值模式(LBP)纹理特征。
可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征组合以生成训练一维特征向量；随后，对训练一维特征向量执行特征向量长度归一化以生成训练归一化特征向量。可选地，执行特征组合以及特征向量长度归一化包括：首先，对由训练显著区域掩膜围绕的区域的训练图像特征执行特征向量长度归一化以生成归一化的训练特征向量；随后，对归一化的训练特征向量执行特征组合以生成训练归一化特征向量。
在一些实施例中，所述计算机可读指令由处理器可执行，以使得所述处理器执行：确定由显著区域掩膜围绕的区域的颜色一致性。可选地，所述计算机可读指令由处理器可执行，以使得所述处理器执行：基于确定由显著区域掩膜围绕的区域的颜色一致性低于阈值，将显著区域分割为多个子区域；以及，基于将显著区域分割为多个子区域的结果，确定精确显著区域的轮廓。可选地，为了确定颜色一致性，所述计算机可读指令由处理器可执行，以使得所述处理器执行：计算由显著区域掩膜围绕的区域的色调特征的变化；以及，确定色调特征的变化是否大于第一阈值。可选地，色调特征的变化大于第一阈值指示由显著区域掩膜围绕的区域的颜色一致性低于第二阈值。
出于示意和描述目的已示出对本发明实施例的上述描述。其并非旨在穷举或将本发明限制为所公开的确切形式或示例性实施例。因此，上述描述应当被认为是示意性的而非限制性的。显然，许多修改和变形对于本领域技术人员而言将是显而易见的。选择和描述这些实施例是为了解释本发明的原理和其最佳方式的实际应用，从而使得本领域技术人员能够理解本发明适用于特定用途或所构思的实施方式的各种实施例及各种变型。本发明的范围旨在由所附权利要求及其等同形式限定，其中除非另有说明，否则所有术语以其最宽的合理意义解释。因此，术语“发明”、“本发明”等不一定将权利范围限制为具体实施例，并且对本发明示例性实施例的参考不隐含对本发明的限制，并且不应推断出这种限制。本发明仅由随附权利要求的精神和范围限定。此外，这些权利要求可涉及使用跟随有名词或元素的“第一”、“第二”等术语。这种术语应当理解为一种命名方式而非意在对由这种命名方式修饰的元素的数量进行限制，除非给出具体数量。所描述的任何优点和益处不一定适用于本发明的全部实施例。应当认识到的是，本领域技术人员在不脱离随附权利要求所限定的本发明的范围的情况下可以对所描述的实施例进行变化。此外，本公开中没有元件和组件是意在贡献给公众的，无论该元件或组件是否明确地记载在随附权利要求中。

Claims (20)

1.一种在图像中检测背景物上的外来物的计算机实现的方法，包括：
基于所述背景物和可疑外来物的图像特性来提取所述图像的图像特征；
基于人类视觉注意模型来检测所述图像中的显著区域；
基于对所述显著区域的检测来生成显著区域掩膜；
获得由所述显著区域掩膜围绕的区域中的所述图像特征；
对由所述显著区域掩膜围绕的所述区域的所述图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及
利用图像分类器识别所述可疑外来物，其中，所述图像分类器使用所述归一化特征向量作为输入以识别所述可疑外来物。
2.根据权利要求1所述的计算机实现的方法，其中，从所述图像提取的所述图像特征包括第一类型的特征和第二类型的特征；
对所述图像特征执行特征组合包括：将所述第一类型的特征中的对应一个和所述第二类型的特征中的对应一个组合为一维特征向量中的对应一个。
3.根据权利要求2所述的计算机实现的方法，其中，所述第一类型的特征是色调特征，并且所述第二类型的特征是局部二值模式纹理特征。
4.根据权利要求1至3中任一项所述的计算机实现的方法，还包括：确定由所述显著区域掩膜围绕的所述区域的颜色一致性。
5.根据权利要求4所述的计算机实现的方法，还包括：基于确定由所述显著区域掩膜围绕的所述区域的所述颜色一致性低于阈值，将所述显著区域分割为多个子区域；以及
基于将所述显著区域分割为所述多个子区域的结果，确定精确显著区域的轮廓。
6.根据权利要求4所述的计算机实现的方法，其中，确定所述颜色一致性包括：
计算由所述显著区域掩膜围绕的所述区域的色调特征的变化；以及
确定所述色调特征的所述变化是否大于第一阈值；
其中，所述色调特征的所述变化大于所述第一阈值指示由所述显著区域掩膜围绕的所述区域的所述颜色一致性低于第二阈值。
7.根据权利要求1至6中任一项所述的计算机实现的方法，还包括：对初始图像分类器进行预训练以获得所述图像分类器；
其中，对所述初始图像分类器进行预训练包括：
提供训练样本、与所述训练样本对应的训练分类标签、与所述训练样本对应的训练图像特征、以及与所述训练样本对应的训练显著区域掩膜，所述训练图像特征包括第一类型的训练特征和第二类型的训练特征；
对由所述训练显著区域掩膜围绕的区域的所述训练图像特征执行特征组合以及特征向量长度归一化以生成训练归一化特征向量；
基于所述训练归一化特征向量对所述训练样本进行分类以生成初始分类标签；
确定所述初始分类标签与所述训练分类标签之间的匹配度；以及
基于所述匹配度调整所述初始图像分类器。
8.根据权利要求7所述的计算机实现的方法，其中，对所述初始图像分类器进行预训练还包括：
提供在训练背景物上具有训练外来物的所述训练图像；
基于所述训练背景物和所述训练外来物的图像特性来提取所述训练图像的训练图像特征；
基于所述人类视觉注意模型来检测所述训练图像中的训练显著区域；
基于对所述训练显著区域的检测来生成所述训练显著区域掩膜；以及
获得由所述训练显著区域掩膜围绕的区域中的所述训练图像特征。
9.根据权利要求1至8中任一项所述的计算机实现的方法，还包括：输出与所述可疑外来物对应的分类标签以及所述可疑外来物在所述背景物上的相对位置。
10.根据权利要求1至9中任一项所述的计算机实现的方法，其中，所述背景物是光伏板。
11.一种在图像中检测背景物上的外来物的设备，包括：
存储器；以及
一个或多个处理器；
其中，所述存储器和所述一个或多个处理器彼此连接；并且
所述存储器存储计算机可执行指令以控制所述一个或多个处理器：
基于所述背景物和可疑外来物的图像特性来提取所述图像的图像特征；
基于人类视觉注意模型来检测所述图像中的显著区域；
基于对所述显著区域的检测来生成显著区域掩膜；
获得由所述显著区域掩膜围绕的区域中的所述图像特征；
对由所述显著区域掩膜围绕的所述区域的所述图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及
利用图像分类器识别所述可疑外来物，其中，所述图像分类器使用所述归一化特征向量作为输入以识别所述可疑外来物。
12.根据权利要求11所述的设备，其中，从所述图像提取的所述图像特征包括第一类型的特征和第二类型的特征；
其中，所述存储器存储计算机可执行指令以控制所述一个或多个处理器：将所述第一类型的特征中的对应一个和所述第二类型的特征中的对应一个组合为一维特征向量中的对应一个。
13.根据权利要求12所述的设备，其中，所述第一类型的特征是色调特征，并且所述第二类型的特征是局部二值模式纹理特征。
14.根据权利要求11至13中任一项所述的设备，其中，所述存储器还存储计算机可执行指令以控制所述一个或多个处理器：确定由所述显著区域掩膜围绕的所述区域的颜色一致性。
15.根据权利要求14所述的设备，其中，所述存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定由所述显著区域掩膜围绕的所述区域的所述颜色一致性低于阈值，将所述显著区域分割为多个子区域；以及
基于将所述显著区域分割为所述多个子区域的结果，确定精确显著区域的轮廓。
16.根据权利要求14所述的设备，其中，所述存储器还存储计算机可执行指令以控制所述一个或多个处理器：
计算由所述显著区域掩膜围绕的所述区域的色调特征的变化；以及
确定所述色调特征的所述变化是否大于第一阈值；
其中，所述色调特征的所述变化大于所述第一阈值指示由所述显著区域掩膜围绕的所述区域的所述颜色一致性低于第二阈值。
17.根据权利要求11至16中任一项所述的设备，其中，所述存储器还存储计算机可执行指令以控制所述一个或多个处理器：输出与所述可疑外来物对应的分类标签以及所述可疑外来物在所述背景物上的相对位置。
18.根据权利要求11至17中任一项所述的设备，其中，所述背景物是光伏板。
19.根据权利要求11至18中任一项所述的设备，还包括图像捕获装置，其配置为获得在所述背景物上具有所述外来物的所述图像。
20.一种计算机程序产品，其包括非暂时性有形计算机可读介质，所述非暂时性有形计算机可读介质上具有计算机可读指令，所述计算机可读指令由处理器可执行，以使得所述处理器执行：
基于图像中的背景物和可疑外来物的图像特性来提取所述图像的图像特征；
基于人类视觉注意模型来检测所述图像中的显著区域；
基于对所述显著区域的检测来生成显著区域掩膜；
获得由所述显著区域掩膜围绕的区域中的所述图像特征；
对由所述显著区域掩膜围绕的所述区域的所述图像特征执行特征组合以及特征向量长度归一化以生成归一化特征向量；以及
利用图像分类器识别所述可疑外来物，其中，所述图像分类器使用所述归一化特征向量作为输入以识别所述可疑外来物。
CN201980000611.7A 2019-05-09 2019-05-09 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 Active CN110268420B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/086221 WO2020223963A1 (en) 2019-05-09 2019-05-09 Computer-implemented method of detecting foreign object on background object in image, apparatus for detecting foreign object on background object in image, and computer-program product

Publications (2)

Publication Number Publication Date
CN110268420A true CN110268420A (zh) 2019-09-20
CN110268420B CN110268420B (zh) 2023-07-28

Family

ID=67912936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000611.7A Active CN110268420B (zh) 2019-05-09 2019-05-09 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品

Country Status (3)

Country Link
US (1) US11238301B2 (zh)
CN (1) CN110268420B (zh)
WO (1) WO2020223963A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798441A (zh) * 2020-07-12 2020-10-20 国网山西省电力公司电力科学研究院 一种基于图像处理的光伏电站光伏板污染物检测方法
CN111985480A (zh) * 2020-06-29 2020-11-24 联宝(合肥)电子科技有限公司 一种多贴标签检测方法、装置及存储介质
CN113569683A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 结合显著区域检测的场景分类方法、系统、设备及介质
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020223962A1 (en) * 2019-05-09 2020-11-12 Boe Technology Group Co., Ltd. Computer-implemented method of detecting foreign object on background object in image, apparatus for detecting foreign object on background object in image, and computer-program product
US11755948B2 (en) * 2019-12-18 2023-09-12 Google Llc Attribution and generation of saliency visualizations for machine-learning models
CN113989716B (zh) * 2021-10-21 2024-05-28 西安科技大学 煤矿井下输送带异物目标检测方法、系统、设备及终端
CN116468729B (zh) * 2023-06-20 2023-09-12 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、系统及计算机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299776A1 (en) * 2010-04-05 2011-12-08 Lee Kuang-Chih Systems and methods for segmenting human hairs and faces in color images
US20120262486A1 (en) * 2011-04-15 2012-10-18 Sony Computer Entertainment Europe Limited System and method of user interaction for augmented reality
CN105445277A (zh) * 2015-11-12 2016-03-30 湖北工业大学 一种fpc表面质量视觉智能检测方法
CN107854130A (zh) * 2016-09-21 2018-03-30 通用电气公司 用于生成减影图像的系统和方法
CN108764202A (zh) * 2018-06-06 2018-11-06 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563324B1 (en) * 2000-11-30 2003-05-13 Cognex Technology And Investment Corporation Semiconductor device image inspection utilizing rotation invariant scale invariant method
US7570800B2 (en) * 2005-12-14 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for binning defects detected on a specimen
US9092842B2 (en) * 2011-08-04 2015-07-28 Sharp Laboratories Of America, Inc. System for defect detection and repair
JP5957357B2 (ja) * 2012-10-15 2016-07-27 株式会社日立ハイテクノロジーズ パターン検査・計測装置及びプログラム
JP6484854B2 (ja) * 2015-04-20 2019-03-20 株式会社明電舎 太陽光パネル外観監視装置
JP6708385B2 (ja) * 2015-09-25 2020-06-10 キヤノン株式会社 識別器作成装置、識別器作成方法、およびプログラム
CN106408605A (zh) * 2016-08-30 2017-02-15 浙江克里蒂弗机器人科技有限公司 一种基于颜色与纹理识别技术来判断光伏电池板是否肮脏的方法
CN106227215A (zh) 2016-08-31 2016-12-14 宁波易拓智谱机器人有限公司 机器人自动光伏组件清洗系统及其清洗方法
EP3151164A3 (en) * 2016-12-26 2017-04-12 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection
CN107241062A (zh) 2017-08-08 2017-10-10 上海安乃基能源科技有限公司 光伏面板检测装置及系统
CN108549309A (zh) 2018-05-17 2018-09-18 青海黄河上游水电开发有限责任公司光伏产业技术分公司 一种监测系统及监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299776A1 (en) * 2010-04-05 2011-12-08 Lee Kuang-Chih Systems and methods for segmenting human hairs and faces in color images
US20120262486A1 (en) * 2011-04-15 2012-10-18 Sony Computer Entertainment Europe Limited System and method of user interaction for augmented reality
CN105445277A (zh) * 2015-11-12 2016-03-30 湖北工业大学 一种fpc表面质量视觉智能检测方法
CN107854130A (zh) * 2016-09-21 2018-03-30 通用电气公司 用于生成减影图像的系统和方法
CN108764202A (zh) * 2018-06-06 2018-11-06 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万迪明等: "一种基于视觉显著性分析的输电线路异物检测方法", 《电视技术》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985480A (zh) * 2020-06-29 2020-11-24 联宝(合肥)电子科技有限公司 一种多贴标签检测方法、装置及存储介质
CN111985480B (zh) * 2020-06-29 2022-04-15 联宝(合肥)电子科技有限公司 一种多贴标签检测方法、装置及存储介质
CN111798441A (zh) * 2020-07-12 2020-10-20 国网山西省电力公司电力科学研究院 一种基于图像处理的光伏电站光伏板污染物检测方法
CN113569683A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 结合显著区域检测的场景分类方法、系统、设备及介质
CN113569683B (zh) * 2021-07-20 2024-04-02 上海明略人工智能(集团)有限公司 结合显著区域检测的场景分类方法、系统、设备及介质
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质
CN116503733B (zh) * 2023-04-25 2024-02-06 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN110268420B (zh) 2023-07-28
US20210256291A1 (en) 2021-08-19
WO2020223963A1 (en) 2020-11-12
US11238301B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110268420B (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
Yang et al. Underwater image enhancement based on conditional generative adversarial network
JP7113657B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN101630363B (zh) 复杂背景下彩色图像人脸的快速检测方法
CN110268442B (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN108932493B (zh) 一种面部皮肤质量评价方法
CN109829914A (zh) 检测产品缺陷的方法和装置
Deb et al. Shadow detection and removal based on YCbCr color space
CN108197546A (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
Mondal et al. Image dehazing by joint estimation of transmittance and airlight using bi-directional consistency loss minimized FCN
JP2001126075A (ja) 画像処理方法および装置並びに記録媒体
JP6047561B2 (ja) 同一シーンの複数の画像を処理するための方法、コンピュータシステム、およびコンピュータプログラム
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
CN111882555B (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
Mai et al. Back propagation neural network dehazing
Sahu et al. Image dehazing based on luminance stretching
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
CN110956184A (zh) 一种基于hsi-lbp特征的抽象图方向确定方法
Tribak et al. Remote solar panels identification based on patterns localization
Wu et al. Omnidirectional Gradient and Its Application in Stylized Edge Extraction of Infrared Image
Juneja et al. A hybrid mathematical model for face localization over multi-person images and videos
CN112070041A (zh) 一种基于cnn深度学习模型的活体人脸检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant