CN111738097B - 一种目标分类方法、装置、电子设备和可读存储介质 - Google Patents

一种目标分类方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111738097B
CN111738097B CN202010474357.9A CN202010474357A CN111738097B CN 111738097 B CN111738097 B CN 111738097B CN 202010474357 A CN202010474357 A CN 202010474357A CN 111738097 B CN111738097 B CN 111738097B
Authority
CN
China
Prior art keywords
target
classification
infrared image
visible light
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010474357.9A
Other languages
English (en)
Other versions
CN111738097A (zh
Inventor
张观良
刘殿超
付万豪
王志成
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Software Research Center Beijing Co Ltd
Original Assignee
Ricoh Software Research Center Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Software Research Center Beijing Co Ltd filed Critical Ricoh Software Research Center Beijing Co Ltd
Priority to CN202010474357.9A priority Critical patent/CN111738097B/zh
Publication of CN111738097A publication Critical patent/CN111738097A/zh
Application granted granted Critical
Publication of CN111738097B publication Critical patent/CN111738097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标分类方法、装置、电子设备和可读存储介质。其中方法包括：获取红外图像和与红外图像对应的可见光图像；从红外图像中检测出目标，并确定目标在红外图像中的位置坐标；根据目标在红外图像中的位置坐标与标定的变换矩阵，确定该目标在可见光图像中的位置坐标；分别提取目标在红外图像和可见光图像的特征，融合后得到包含温度信息的融合特征；根据融合特征对目标进行分类。上述技术方案首先通过红外图像检测出目标，保证了目标检测的全面性，然后融合红外图像和可见光图像的信息，提高了图像中目标分类的精确度；并且通过多级分类，减少了目标检测中二次确认的工作量，提高了目标检测和分类的效率和准确率。

Description

一种目标分类方法、装置、电子设备和可读存储介质
技术领域
本发明涉及图像处理领域，具体涉及一种目标分类方法、装置、电子设备和可读存储介质。
背景技术
我国清洁可再生能源持续增长，清洁低碳、安全高效的能源体系正加快构建，到2050年，风能和太阳能成为我国能源系统的绝对主力。太阳能电站目前主要利用太阳能电池板进行发电，而随着太阳能电站的长期运营，故障也开始增多，早期的故障检测主要通过人工抽检的方式，随着技术发展，无人机开始大规模应用于太阳能电站巡检中。
目前太阳能电站巡检主要是利用红外摄像头采集数据来确定故障和类别，但故障在红外图像上一般表现为光斑、热带或者整个区域发热，具体原因还需要人工利用可见光图像来确认，对于大规模太阳能电站巡检来说，二次确认的工作量较大。
发明内容
鉴于上述技术问题，提出了本发明以便提供克服上述技术问题或者至少部分地解决上述技术问题的一种目标分类方法、装置、电子设备和可读存储介质。
依据本发明的一个方面，提供了一种目标分类方法，所述方法包括：
获取红外图像和与所述红外图像对应的可见光图像；
从所述红外图像中检测出目标，并确定所述目标在所述红外图像中的位置坐标；
根据所述目标在所述红外图像中的位置坐标与标定的变换矩阵，确定该目标在所述可见光图像中的位置坐标；
分别提取所述目标在所述红外图像和所述可见光图像的特征，对提取的特征进行融合，得到包含温度信息的融合特征；
根据所述融合特征对所述目标进行分类。
可选地，所述从所述红外图像中检测出目标包括：
基于最高温提取法、形状识别法和物体检测法中的任一种或几种，对所述红外图像进行目标检测。
可选地，所述根据所述融合特征对所述目标进行分类包括：
将所述融合特征输入到多级分类器中进行逐级分类，基于各级分类器的结果确定目标分类结果。
可选地，所述将所述融合特征输入到多级分类器中进行逐级分类包括：
根据每一层级的分类器输出的分类结果，确定待使用的下一层级的分类器；每一层级的分类器包括若干个二分类器和/或若干个多分类器。
可选地，所述根据所述融合特征对所述目标进行分类包括：
将每一层级的分类器输出的各类别的概率与相应类别的预设概率阈值进行比较，根据比较结果对该层级的分类器输出的分类结果进行过滤和/或合并。
可选地，所述目标为太阳能面板的疑似故障区域，所述初级分类的类别包括：内部故障、外部故障和无故障；
所述内部故障的二级分类的类别包括：电池片损坏、二极管击穿或接线盒故障和整体故障；
所述外部故障二级分类的类别包括：电池片上的玻璃板破裂、遮挡、表面污迹和太阳能面板掉落；
所述方法还包括：
基于预定义的各所述类别的故障原因的描述信息和/或维修建议，生成故障分类的报告。
可选地，所述将每一层级的分类器输出的各类别的概率与相应类别的预设概率阈值进行比较，根据比较结果对该层级的分类器输出的分类结果进行过滤和/或合并包括：
预设二级分类的某一类别的概率阈值，判断经过该类别的二级分类器得到的概率是否小于所述概率阈值，若小于所述概率阈值则可认为是内部故障；
若大于所述阈值，则是外部故障，进一步根据预设规则判断该类别是否需要与其他类别合并；
根据判断结果更新故障原因的描述信息和/或维修建议，重新生成故障的分类报告。
依据本发明的另一个方面，提供了一种目标分类装置，所述装置包括：
图像获取单元，适于获取红外图像和与所述红外图像对应的可见光图像；
目标检测单元，适于从所述红外图像中检测出目标，并确定所述目标在所述红外图像中的位置坐标；
位置确定单元，适于根据所述目标在所述红外图像中的位置坐标与标定的变换矩阵，确定该目标在所述可见光图像中的位置坐标；
特征融合单元，适于分别提取所述目标在所述红外图像和所述可见光图像的特征，对提取的特征进行融合，得到包含温度信息的融合特征；
目标分类单元，适于根据所述融合特征对所述目标进行分类。
依据本发明的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。
由上述可知，本发明的技术方案，首先从红外图像中检测出目标，然后根据所述目标在所述红外图像中的位置坐标确定该目标在所述可见光图像中的位置坐标；再利用上述的位置坐标分别提取所述目标在所述红外图像和所述可见光图像的特征向量，融合后得到包含温度信息的融合特征向量；将该融合特征向量输入到多级分类器中，得到细粒度的故障分类和描述信息。由于上述方案利用红外图像检测出目标，保证了目标检测的全面性；然后融合了红外图像和可见光图像中目标的信息，提高了目标分类的精确度；通过后续的细粒度的分级分类，不仅避免了故障检测中二次确认的工作量，而且提高了故障检测和分类的效率和准确率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明一个实施例的图像分类方法的流程示意图；
图2示出了本发明一个实施例的图像融合的效果示意图；
图3示出了本发明一个实施例的分级分类的流程示意图；
图4示出了本发明一个实施例的类别过滤与合并的流程示意图；
图5示出了本发明一个实施例的图像分类装置的结构示意图；
图6示出了本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明的技术构思在于，结合可见光图像和红外图像数据，根据各个故障在可见光图像和红外图像上的表现形式，设计出一种图像分类方法：首先利用红外图像经检测获得故障和故障位置，然后确定故障在可见光图像的位置，再提取两图像中的目标特征，将两种图像的目标特征融合后获得融合特征，将该融合特征的特征向量经处理后输入到单级分类器或多级分类器获得故障的分类结果。该方案可以在检测到故障的时，给出更细粒度的分类结果和具体故障原因的描述信息；且能够减少检测太阳能电池板故障时人工进行故障原因确认的工作量，提高报告生成效率和准确率。
图1示出了本发明一个实施例的图像分类方法的流程示意图，所述图像分类方法包括下列步骤：
S110，获取红外图像和与所述红外图像对应的可见光图像。
以太阳能面板上故障(即目标)的检测和分类为例，当然，本发明中的目标不限于故障的检测和分类。本发明中的红外图像和可见光图像可以是来自无人机等无人驾驶设备上红外摄像头和可见光摄像头采集的图像，当然也可以来其他设备上具有对应关系的图像。上述对应关系可以通过红外摄像头和可见光摄像头采集时的时间对齐来确定，当然也可以根据在太阳能电站里的位置获得。
S120，从所述红外图像中检测出目标，并确定所述目标在所述红外图像中的位置坐标。
利用目标检测法从红外图像中检测确定出目标，通过训练好的检测模型从多帧红外图像中筛选出有故障的红外图像，并且确定故障在该红外图像中的位置坐标。
S130，根据所述目标在所述红外图像中的位置坐标与标定的变换矩阵，确定该目标在所述可见光图像中的位置坐标。
以无人机上获得的红外图像和可见光图像为例，通过红外摄像头和可见光摄像头的内参和外参，可确定标定的变换矩阵，然后通过红外图像坐标和变换矩阵得到目标在可见光图像上的位置坐标。
S140，分别提取所述目标在所述红外图像和所述可见光图像的特征，对提取的特征进行融合，得到包含温度信息的融合特征。
提取红外图像上目标的特征向量以及根据确定的位置坐标提取可见光的在目标位置的特征向量，将上述特征向量融合后得到具有红、绿、蓝(RGB)以及温度四个通道的信息的融合特征向量，参见图2示出的图像融合的效果示意图，其中左上部的图像是红外图像，左下部的图像为可见光图像，右侧为融合后的图像。
S150，根据所述融合特征对所述目标进行分类。
在该步骤中，可将融合特征向量通过降维或下采样等运算处理后输入到单级分类器或者具有多级的多级分类器中，对检测出的故障等目标进行分类，得到具有故障的图像的分类结果。
该实施例公开的技术方案，首先通过检测方法从红外图像筛选出具有目标的红外图像，然后融合可见光图像中目标的信息，丰富了分类依据的信息内容，提高了分类的精确性，并且减少了现有方法中人工确认目标分类的工作量。
在一个实施例中，S120中所述从所述红外图像中检测出目标包括：基于最高温提取法、形状识别法和物体检测法中的任一种或几种，对所述红外图像进行目标检测。
最高温提取法是通过获取红外图像中异常的高温区域确定故障等目标的区域。
物体的形状识别是模式识别的重要方向，在计算机中物体的形状有多种表示方式，基于不同的形状表示方式，提出了多种形状识别方法，如基于傅里叶描述子、主分量分析、不变性距等方法。形状识别法包括哈夫变换方法，它是利用图像的全局特性而对目标轮廓进行直接检测的方法。
物体检测法包括传统的物体检测方法和基于深度学习的检测方法，比如HOG检测方法和基于R-CNN的物体检测方法等。其中，HOG(Histogramof OrientedGradient，方向梯度直方图)检测方法是通过计算局部区域的梯度方向直方图来构成特征，属于传统检测方法；而基于R-CNN(Region-CNN，基于卷积神经网络提取框)的物体检测方法则属于基于深度学习的检测方法，目前被广泛使用。
通过上述检测方法，可以在红外图像中定位出所有故障等目标的位置，并且可以将它们通过box(框)裁剪出来。
在一个实施例中，S150包括：将所述融合特征输入到多级分类器中进行逐级分类，基于各级分类器的结果确定目标分类结果。
下面以具有两级分类的多级分类器为例，该分类器可以基于一个模型来实现，也可以通过两个或多个分类模型分别来实现。
比如，初级分类器可以由一个预先训练好的多分类器实现，比如softmax分类器，从而得到各类别的概率。而二级分类器则是针对初级分类得到的每一类别的图像继续分类，可以针对各类别设置一个能够实现多分类的多分类器，也可以设置多个二分类器，其有益效果是分类灵活，不会受到如多分类器时类别变化带来的不利影响。
分类的依据既可以是融合后的特征向量，也可以根据需要选择融合前的各目标的特征向量。
在一个实施例中，所述将所述融合特征输入到多级分类器中进行逐级分类包括：根据每一层级的分类器输出的分类结果，确定待使用的下一层级的分类器；每一层级的分类器包括若干个二分类器和/或若干个多分类器。
在该实施例确定了多级分类器选择以及每一级中针对每一个分类结果如何进行再分类的规则。比如，可以根据实际需要设置三级分类对二级分类结果进行再分类，从而得到更加具体详细的分类信息。比如在太阳能面板的故障分类时，可以将二级分类中遮挡进一步分为草木遮挡和阴影，因为草木遮挡的危害更大，可能造成固定位置的长期发热，导致电池片的永久损坏。
在具体分类时，可以根据分类结果中存在某一类或几类故障的可能性选择一个或多个二分类器或多分类器进行分类，从而提高分类的效率。
在一个实施例中，所述S150包括：将每一层级的分类器输出的各类别的概率与相应类别的预设概率阈值进行比较，根据比较结果对该层级的分类器输出的分类结果进行过滤和/或合并。
由于可见光图像反光以及光线比较差等情况可能导致分类错误，因此，在该实施例中，设置了一种利用概率阈值对分类结果进行过滤的规则。比如，可以根据图像的某一类别分类概率的大小与预设的概率阈值进行比较，从而将该类别下的部分图像进行重新分类或者将该类别下的图像同时加入其它类别的信息，从而获得一个立体和准确的分类结果。
当然，对于某些既可以分在该类别下也可以分在另一类别下等情况，或者主观上认为可以分在一起的情况，也可以将上述类别进行合并。
在一个实施例中，所述目标为太阳能面板的故障，所述初级分类的类别包括：内部故障、外部故障和无故障；所述内部故障的二级分类的类别包括：电池片损坏、二极管击穿或接线盒故障和整体故障；所述外部故障二级分类的类别包括：电池片上的玻璃板破裂、遮挡、表面污迹和太阳能面板掉落。
所述方法还包括：基于预定义的各所述类别的故障原因的描述信息和/或维修建议，生成故障分类的报告。
该实施例示出了针对太阳能面板的故障分类的具体方式。参见图3所示的分级分类示意图，太阳能面板故障中有些是内部故障，如电池片损坏、二极管击穿或接线盒故障和整体故障，该类型的故障在可见光图像上是不可见的，因此，针对内部故障的二级分类需要针对红外图像中的热斑、热条纹、整体发热等形状进行详细分析，找出各故障与形状之间的联系；而外部故障比如电池片上的玻璃板破裂、遮挡、表面污迹和太阳能面板掉落，则可通过可见光图像和红外图像均可以检测得到，此时可以充分利用可见光图像的特征信息作进一步分类。由于可见光图像由于光线条件的限制可能出现漏检或错检等情况，本发明的外部故障中可能被检为内部故障，甚至是内部故障和外部故障并存的情况。
需要说明的是，特别是针对二级分类的各类别，根据各类型的特点，可以预定义各类型的详细信息，如各类型故障的特点以及在红外图像上的表现，并且给出该类型故障的维修建议，然后综合故障信息，生成包括故障分类、位置、维修建议等在内的报告。
在一个实施例中，所述将每一层级的分类器输出的各类别的概率与相应类别的预设概率阈值进行比较，根据比较结果对该层级的分类器输出的分类结果进行过滤和/或合并包括：预设二级分类的某一类别的概率阈值，判断经过该类别的二级分类器得到的概率是否小于所述概率阈值，若小于所述概率阈值则可认为是内部故障；若大于所述阈值，则是外部故障，进一步根据预设规则判断该类别是否需要与其他类别合并；根据判断结果更新故障原因的描述信息和/或维修建议，重新生成故障的分类报告。
比如，由于拍摄环境的影响，可见光图像可能会出现模糊或者太阳光反射的情况，因此针对外部故障，需要对分类结果进行过滤与合并。如图4所示的类别过滤与合并的流程示意图，某二级分类器输出类别i与对应的概率Vi，当Vi小于概率阈值Hi时，则认为是内部故障；大于Hi时，则判断该类别是否需要和其他类别合并。例如：鸟粪造成的表面污迹，当其概率小于概率阈值时，表明该表面污迹可能是由内部故障造成的，并非是真正的表面污迹，则需要进入内部故障的分类器进行再分类，进一步判断是电池片损坏、二极管击穿或接线盒故障或整体故障中的哪一种。例如，表面污迹故障的类别下，其描述信息可能包括：太阳能面板存在表面污迹和/或太阳能面板内部电池片损坏，红外图像表现为产生热斑。
另外，如果用户定义将表面污迹和灰尘遮挡合并为一个类别，并且表面污迹和灰尘遮挡的概率都大于概率阈值时，则将其合并为表面污迹或者灰尘遮挡。
当分类信息变更时，需要对报告进行相应的更新。
图5示出了根据本发明一个实施例的图像分类装置的结构示意图，所述装置500包括：
图像获取单元510，适于获取红外图像和与所述红外图像对应的可见光图像；
目标检测单元520，适于从所述红外图像中检测出目标，并确定所述目标在所述红外图像中的位置坐标；
位置确定单元530，适于根据所述目标在所述红外图像中的位置坐标与标定的变换矩阵，确定该目标在所述可见光图像中的位置坐标；
特征融合单元540，适于分别提取所述目标在所述红外图像和所述可见光图像的特征，融合后得到包含温度信息的融合特征；
目标分类单元550，适于根据所述融合特征对所述目标进行分类。
该实施例公开的技术方案，图像获取单元510得到对应的红外图像和可见光图像后，首先通过目标检测单元520从红外图像筛选出具有目标的红外图像，然后通过位置确定单元530根据坐标变换的方式得到可见光图像中的目标位置，再经特征融合单元540将上述两种特征信息融合，最后通过目标分类单元550实现分类。由此，通过加入可见光图像中的目标特征信息，丰富了分类依据的信息内容，提高了分类的精确性，并且减少了现有方法中人工确认目标分类的工作量。
在一个实施例中，所述图像获取单元510适于：基于最高温提取法、形状识别法和物体检测法中的任一种或几种，对所述红外图像进行目标检测。
在一个实施例中，所述目标分类单元550适于：将所述融合特征输入到多级分类器中进行逐级分类，基于各级分类器的结果确定目标分类结果。
在一个实施例中，所述目标分类单元550适于：根据每一层级的分类器输出的分类结果，确定待使用的下一层级的分类器；每一层级的分类器包括若干个二分类器和/或若干个多分类器。
在一个实施例中，所述目标分类单元550还适于：将每一层级的分类器输出的各类别的概率与相应类别的预设概率阈值进行比较，根据比较结果对该层级的分类器输出的分类结果进行过滤和/或合并。
在一个实施例中，所述目标为太阳能面板的疑似故障区域，所述初级分类的类别包括：内部故障、外部故障和无故障；所述内部故障的二级分类的类别包括：电池片损坏、二极管击穿或接线盒故障和整体故障；所述外部故障二级分类的类别包括：电池片上的玻璃板破裂、遮挡、表面污迹和太阳能面板掉落。
且所述装置还包括报告生成单元，适于：基于预定义的各所述类别的故障原因的描述信息和/或维修建议，生成故障分类的报告。
在一个实施例中，所述目标分类单元550进一步适于：预设二级分类的某一类别的概率阈值，判断经过该类别的二级分类器得到的概率是否小于所述概率阈值，若小于所述概率阈值则可认为是内部故障；若大于所述阈值，则是外部故障，进一步根据预设规则判断该类别是否需要与其他类别合并。所述报告生成单元适于：根据判断结果更新故障原因的描述信息和/或维修建议，重新生成故障的分类报告。
需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。
综上所述，本发明实施例公开的技术方案，首先从红外图像中检测出目标，然后根据所述目标在所述红外图像中的位置坐标确定该目标在所述可见光图像中的位置坐标；再利用上述的位置坐标分别提取所述目标在所述红外图像和所述可见光图像的特征向量，融合后得到包含温度信息的融合特征向量；将该融合特征向量输入到多级分类器中，得到细粒度的故障分类和描述信息。由于上述方案融合了红外图像和可见光图像的信息，提高了图像分类的精确度；通过后续的细粒度的分级分类，不仅减少了故障检测中二次确认的工作量，而且提高了故障检测和分类的效率和准确率。
需要说明的是：
图6示意了电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其特征在于，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended IndustryStandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像分类装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取红外图像和与所述红外图像对应的可见光图像；
从所述红外图像中检测出目标，并确定所述目标在所述红外图像中的位置坐标；
根据所述目标在所述红外图像中的位置坐标与标定的变换矩阵，确定该目标在所述可见光图像中的位置坐标；
分别提取所述目标在所述红外图像和所述可见光图像的特征，融合后得到包含温度信息的融合特征；
根据所述融合特征对所述目标进行分类。
上述如本发明图5所示实施例揭示的图像分类装置执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中图像分类方法执行的步骤，并实现图像分类方法在图1所示实施例的功能，本发明实施例在此不再赘述。
本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中图像分类方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其特征在于包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其特征在于包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种目标分类方法，其特征在于，所述方法包括：
获取红外图像和与所述红外图像对应的可见光图像；
从所述红外图像中检测出目标，并确定所述目标在所述红外图像中的位置坐标；
根据所述目标在所述红外图像中的位置坐标与标定的变换矩阵，确定该目标在所述可见光图像中的位置坐标；
分别提取所述目标在所述红外图像和所述可见光图像的特征，对提取的特征进行融合，得到包含温度信息的融合特征，提取红外图像上目标的特征向量以及根据确定的位置坐标提取可见光的在目标位置的特征向量，将上述特征向量融合后得到具有红、绿、蓝(RGB)以及温度四个通道的信息的融合特征向量；
根据所述融合特征对所述目标进行分类。
2.如权利要求1所述的方法，其特征在于，所述从所述红外图像中检测出目标包括：
基于最高温提取法、形状识别法和物体检测法中的任一种或几种，对所述红外图像进行目标检测。
3.如权利要求1或2所述的方法，其特征在于，所述根据所述融合特征对所述目标进行分类包括：
将所述融合特征输入到多级分类器中进行逐级分类，基于各级分类器的结果确定目标分类结果。
4.如权利要求3所述的方法，其特征与，所述将所述融合特征输入到多级分类器中进行逐级分类包括：
根据每一层级的分类器输出的分类结果，确定待使用的下一层级的分类器；每一层级的分类器包括若干个二分类器和/或若干个多分类器。
5.如权利要求3所述的方法，其特征在于，所述根据所述融合特征对所述目标进行分类包括：
将每一层级的分类器输出的各类别的概率与相应类别的预设概率阈值进行比较，根据比较结果对该层级的分类器输出的分类结果进行过滤和/或合并。
6.如权利要求5所述的方法，其特征在于，所述目标为太阳能面板的疑似故障区域，所述分类的类别包括：内部故障、外部故障和无故障；
内部故障分类的类别包括：电池片损坏、二极管击穿或接线盒故障和整体故障；
外部故障分类的类别包括：电池片上的玻璃板破裂、遮挡、表面污迹和太阳能面板掉落；
所述方法还包括：
基于预定义的各所述类别的故障原因的描述信息和/或维修建议，生成故障分类的报告。
7.如权利要求6所述的方法，其特征在于，所述将每一层级的分类器输出的各类别的概率与相应类别的预设概率阈值进行比较，根据比较结果对该层级的分类器输出的分类结果进行过滤和/或合并包括：
预设二级分类的某一类别的概率阈值，判断经过该类别的二级分类器得到的概率是否小于所述概率阈值，若小于所述概率阈值则可认为是内部故障；
若大于所述阈值，则是外部故障，进一步根据预设规则判断该类别是否需要与其他类别合并；
根据判断结果更新故障原因的描述信息和/或维修建议，重新生成故障的分类报告。
8.一种目标分类装置，其特征在于，所述装置包括：
图像获取单元，适于获取红外图像和与所述红外图像对应的可见光图像；
目标检测单元，适于从所述红外图像中检测出目标，并确定所述目标在所述红外图像中的位置坐标；
位置确定单元，适于根据所述目标在所述红外图像中的位置坐标与标定的变换矩阵，确定该目标在所述可见光图像中的位置坐标；
特征融合单元，适于分别提取所述目标在所述红外图像和所述可见光图像的特征，对提取的特征进行融合，得到包含温度信息的融合特征，提取红外图像上目标的特征向量以及根据确定的位置坐标提取可见光的在目标位置的特征向量，将上述特征向量融合后得到具有红、绿、蓝(RGB)以及温度四个通道的信息的融合特征向量；
目标分类单元，适于根据所述融合特征对所述目标进行分类。
9.一种电子设备，包括：处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1-7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1-7之任一所述方法。
CN202010474357.9A 2020-05-29 2020-05-29 一种目标分类方法、装置、电子设备和可读存储介质 Active CN111738097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010474357.9A CN111738097B (zh) 2020-05-29 2020-05-29 一种目标分类方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010474357.9A CN111738097B (zh) 2020-05-29 2020-05-29 一种目标分类方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111738097A CN111738097A (zh) 2020-10-02
CN111738097B true CN111738097B (zh) 2024-04-05

Family

ID=72646568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010474357.9A Active CN111738097B (zh) 2020-05-29 2020-05-29 一种目标分类方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111738097B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184711B (zh) * 2020-11-05 2024-04-02 杭州青枭科技有限公司 一种光伏组件缺陷检测和定位方法及系统
CN112465738B (zh) * 2020-12-21 2023-05-05 国网山东省电力公司电力科学研究院 基于红外与可见光图像的光伏电站在线运维方法及系统
CN112613568B (zh) * 2020-12-29 2022-08-05 清华大学 基于可见光及红外多光谱图像序列的目标识别方法和装置
CN112668666A (zh) * 2021-01-12 2021-04-16 北京格灵深瞳信息技术股份有限公司 基于ssd的目标检测方法、装置、终端及介质
CN113284128B (zh) * 2021-06-11 2023-05-16 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN114674263B (zh) * 2022-05-27 2022-09-23 深圳市海清视讯科技有限公司 体积测量方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815838A (zh) * 2017-01-22 2017-06-09 晶科电力有限公司 一种光伏组件热斑检测的方法以及系统
CN108270968A (zh) * 2017-12-30 2018-07-10 广东金泽润技术有限公司 一种红外与可见光图像融合探测系统及方法
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
CN110266268A (zh) * 2019-06-26 2019-09-20 武汉理工大学 一种基于图像融合识别的光伏组件故障检测方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
WO2020051897A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 图像融合方法、系统、电子设备和计算机可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815838A (zh) * 2017-01-22 2017-06-09 晶科电力有限公司 一种光伏组件热斑检测的方法以及系统
CN108270968A (zh) * 2017-12-30 2018-07-10 广东金泽润技术有限公司 一种红外与可见光图像融合探测系统及方法
CN110060272A (zh) * 2018-01-18 2019-07-26 杭州海康威视数字技术股份有限公司 人脸区域的确定方法、装置、电子设备及存储介质
WO2020051897A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 图像融合方法、系统、电子设备和计算机可读介质
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110266268A (zh) * 2019-06-26 2019-09-20 武汉理工大学 一种基于图像融合识别的光伏组件故障检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Visible Image Recognition of Power Transformer Equipment Based on Mask R-CNN;Anfeng Jiang et al;《2019 IEEE Sustainable Power and Energy Conference (iSPEC)》;657-661 *
光伏电站设备故障检测与诊断方法研究;易伟;《中国优秀硕士学位论文全文数据库（电子期刊）》;第2014年卷(第01期);全文 *

Also Published As

Publication number Publication date
CN111738097A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738097B (zh) 一种目标分类方法、装置、电子设备和可读存储介质
CN108960266B (zh) 图像目标检测方法及装置
CN107316036B (zh) 一种基于级联分类器的害虫识别方法
CN113378829B (zh) 一种基于正负样本均衡的弱监督目标检测方法
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN106355188A (zh) 图像检测方法及装置
CN112884055A (zh) 一种目标标注方法和一种目标标注装置
TW201820176A (zh) 分類方法、分類模組及電腦程式產品
CN102087790B (zh) 一种低空对地车辆检测与运动分析的方法和系统
CN113298050B (zh) 车道线识别模型训练方法、装置及车道线识别方法、装置
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN112560971A (zh) 一种主动学习自迭代的图像分类方法和系统
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN115795021A (zh) 一种大数据风险监测识别预警装置及系统
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
CN114463686A (zh) 基于复杂背景下的移动目标检测方法和系统
CN111310611B (zh) 细胞视野图的检测方法及存储介质
CN110728229B (zh) 图像处理方法、装置、设备和存储介质
US10621466B2 (en) Method for extracting features of a thermal image
CN115620083B (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN116342955A (zh) 一种基于改进的特征金字塔网络的目标检测方法及系统
CN112927222B (zh) 一种基于混合改进Faster R-CNN实现多种类光伏阵列热斑检测方法
Shaout et al. A smart traffic sign recognition system
KR20240101603A (ko) 결함 분류 방법 및 장치, 장비 및 저장 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant