CN113506293B - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113506293B CN113506293B CN202111049958.6A CN202111049958A CN113506293B CN 113506293 B CN113506293 B CN 113506293B CN 202111049958 A CN202111049958 A CN 202111049958A CN 113506293 B CN113506293 B CN 113506293B
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- model
- frames
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 752
- 238000007689 inspection Methods 0.000 claims abstract description 161
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000005540 biological transmission Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000005457 optimization Methods 0.000 claims description 24
- 230000001629 suppression Effects 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 17
- 230000005764 inhibitory process Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 19
- 230000005856 abnormality Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 10
- 230000007547 defect Effects 0.000 description 6
- 239000012212 insulator Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种图像处理方法、装置、设备及存储介质,方法包括:获取目标巡检图像,目标巡检图像中包括输电线路上所配置的N个部件对象;对目标巡检图像进行对象定位检测,得到M个对象检测框;基于M个对象检测框,从目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的部件对象;根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型;调用对象检测模型对相应的子图像中的部件对象进行异常检测,得到N个部件对象的异常检测结果。通过此方法可有效节省人力成本,提升检测效率以及异常检测结果的准确性。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着经济和社会的发展,发电量和用电量逐年上升;在常年的使用过程中,由于电力传输的输电线路受到外界环境的影响,使得输电线路上的部件对象(如销钉、防震锤、绝缘子等)容易出现不同程度的破损,从而存在相应缺陷。这些部件是否存在缺陷,与输电线路的安全性息息相关;例如,销钉是固定螺母的关键零件,销钉的脱落会导致各部件之间连接的不稳定,影响输电线路大的安全性;同时,防震锤的脱落也给输电线路的安全运行带来了极大的隐患。基于此,为保证输电线路的安全性,通常需定时地对输电线路上的相关部件进行异常检测,以便于在检测到异常的部件时,可对该异常的部件进行修复。
目前,通常是采用无人机对输电线路进行拍摄,得到关于输电线路的巡检图像;然后由检测人员人为地对该巡检图像中的部件对象进行异常识别,以确定该部件对象是否存在异常的。这样的方式需要花费较多的人力成本,且检测效率较低;并且,由于无人机在拍摄输电线路的过程中,存在拍摄不稳定和视角不稳定的情况,这样会增加检测人员的检测难度,从而进一步降低检测效率和异常检测结果的准确性。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质,可以有效节省人力成本,提升检测效率以及异常检测结果的准确性。
一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
另一方面,本申请实施例提供了一种图像处理装置,所述装置包括:
第一获取单元,用于获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
第一处理单元,用于对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
所述第一处理单元,还用于基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
所述第一处理单元,还用于根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
所述第一处理单元,还用于调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括输入接口和输出接口,所述计算机设备还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如下步骤:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
另一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如下步骤:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
本申请实施例在获取到目标巡检图像后,可先对目标巡检图像进行对象定位检测,得到M个对象检测框。其次,基于该M个对象检测框从目标巡检图像中裁剪出多个子图像,进而根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型。然后,可调用确定出的各个对象检测模型分别对相应的子图像中的部件对象进行异常检测,以得到N个部件对象的异常检测结果。可见,上述图像处理过程中,无需检测人员的人为介入,可有效节省人力成本。并且,通过先定位裁剪出子图像的方式,可使得各个对象检测模型在对相应的子图像中的部件对象进行异常检测时,只关注于对应的子图像的图像信息,无需关注其他的图像信息,这样可有效减少各个对象检测模型所需关注的图像信息的信息量,有效提升检测效率和检测结果的准确性。进一步的,由于每个子图像对应的对象检测模型是基于每个子图像的属性数据确定的,这样可使得各个对象检测模型和对应的子图像是相适配的,从而使得各个子图像中的部件对象能够被较好地定位缺陷异常,进而进一步提升检测结果的准确性。另外,还可通过各个对象检测模型的并行调用,进一步提升检测效率。
另一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
另一方面,本申请实施例提供了一种图像处理装置,所述装置包括:
第二获取单元,用于获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
定位单元,用于对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
第二处理单元,用于分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括输入接口和输出接口,所述计算机设备还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如下步骤:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
另一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如下步骤:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
本申请实施例在获取到目标巡检图像后,可先对目标巡检图像进行对象定位检测,得到M个对象检测框。然后,可分别对每个对象检测框中的部件对象进行异常检测,得到N个部件对象的异常检测结果。可见,上述图像处理过程中,无需检测人员的人为介入,可有效节省人力成本;并且,基于两阶段的部件对象定位和部件对象的异常检测的方式,可使得在对各个部件对象进行异常检测时,只需关注各个部件对象所处的对象检测框中的图像信息,无需关注其他的图像信息,这样可有效避免其他的图像信息所造成的干扰,从而有效提升检测结果的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的流程示意图;
图2是本申请另一实施例提供的一种图像处理方法的流程示意图;
图3a是本申请实施例提供的一种正常卷积和空洞卷积所对应的感受野的示意图;
图3b是本申请实施例提供的一种图像裁剪的示意图;
图3c是本申请实施例提供的一种对象检测模型的模型结构示意图;
图4是本申请另一实施例提供的一种图像处理方法的流程示意图;
图5a是本申请实施例提供的一种交并比的示意图;
图5b是本申请实施例提供的一种调用对象检测模型对相应的子图像中的部件对象进行异常检测的流程示意图;
图6是本申请实施例提供的一种图像处理装置的结构示意图;
图7是本申请另一实施例提供的一种图像处理装置的结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请实施例中,输电线路是指用于输送电量的线路;输电线路上可配置一个或多个部件对象,该部件对象例如可以是销钉、防震锤、绝缘子,等等。为了节省对输电线路上的部件对象进行异常检测所需的人力成本,以及提升检测效率和异常检测结果的准确性,本申请实施例提出了一种图像处理方法;该图像处理方法可由一个计算机设备执行,该计算机设备可以是终端或服务器,对此不作限定。其中,此处所提及的终端可以为以下任一种:智能手机、笔记本电脑、台式电脑,等等;此处所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,等等。
在具体实现中,可先采用无人机对输电线路进行拍摄,得到输电线路的目标巡检图像;然后,可控制无人机将该目标巡检图像传输给计算机设备,使计算机设备采用本申请实施例所提出的图像处理方法对目标巡检图像进行图像处理,以实现对输电线路上的各个部件对象的异常检测。参见图1所示,该图像处理方法的大致流程如下:首先,计算机设备可获取目标巡检图像;具体的,计算机设备可接收无人机传输的目标巡检图像,以实现目标巡检图像的获取。该目标巡检图像中可包括输电线路上所配置的N个部件对象,N为大于1的整数;此处所提及的N个部件对象可包括但不限于:一个或多个销钉、一个或多个防震锤、一个或多个绝缘子,等等。其次,计算机设备可对目标巡检图像进行对象定位检测,得到M个对象检测框;1<M≤N,一个对象检测框中至少包括一个部件对象。然后,计算机设备可分别对每个对象检测框中的部件对象进行异常检测,得到N个部件对象的异常检测结果;具体的,该步骤可包括以下任一种具体实施方式:
在一种实施方式中,计算机设备可先在目标巡检图像中标注出M个对象检测框,然后将标注了M个对象检测框的目标巡检图像输入至一个对象检测模型中,使得这一个对象检测模型分别对每个对象检测框中的部件对象进行异常检测,从而得到N个部件对象的异常检测结果。另一种实施方式中,计算机设备可先基于M个对象检测框,从目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的部件对象。其次,计算机设备可根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型;确定出的对象检测模型的数量和子图像的数量相同,且不同子图像对应的对象检测模型可相同或不同,对此不作限定。然后,计算机设备调用对象检测模型对相应的子图像中的部件对象进行异常检测,得到N个部件对象的异常检测结果;即计算机设备可分别调用确定出的各个对象检测模型对相应的子图像中的部件对象进行异常检测,得到N个部件对象的异常检测结果。
基于上述描述可见,计算机设备在对目标巡检图像进行图像处理,以实现对输电线路上的部件对象进行异常检测的过程中,无需检测人员进行人为地异常检测,可有效节省人力成本。并且,通过先部件对象定位,再部件对象的异常检测的方式,可使得在对各个部件对象进行异常检测时,只需关注各个部件对象所处的对象检测框中的图像信息,无需关注其他的图像信息;这样不仅可有效避免其他的图像信息所造成的干扰,从而有效提升检测结果的准确性,还可减少检测每个部件对象时所需关注的图像信息的信息量,有效提升检测效率和检测结果的准确性。
基于上述描述,本申请实施例进一步提出了如图2所示的图像处理方法,该图像处理方法可由上述所提及的计算机设备执行;参见图2所示,该图像处理方法可包括如下步骤S201-S205:
S201,获取目标巡检图像,该目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数。
S202,对目标巡检图像进行对象定位检测,得到M个对象检测框。
其中,M个对象检测框可以是通过调用对象定位模型对目标巡检图像进行对象检测得到的;1<M≤N,一个对象检测框中至少包括一个部件对象。
在具体实现中,计算机设备可先获取对象定位模型,该对象定位模型可包括多个分支网络,各个分支网络通过使用不同的空洞数进行空洞卷积,使得多个分支网络的感受野不同。其中,空洞卷积又可称为膨胀卷积或扩张卷积;具体是指:在标准的卷积图(convolution map)中注入空洞,以此来增加感受野的卷积方式。空洞数是指空洞卷积在正常卷积的基础上,所引入的超参数;该空洞数又可称为扩张率或膨胀率,其主要用于定义卷积核处理数据时各值的间距。例如,设卷积核的尺寸为3x3;且采用黑色圆点表示该卷积核,采用黑色实线框表示该卷积核进行卷积处理后的感受野。那么,该卷积核进行正常卷积所得到的感受野为3,如图3a中的第一幅图所示;若空洞数为2,则该卷积核进行空洞卷积所得到的感受野为5,如图3a中的第二幅图所示;若空洞数为3,则该卷积核进行空洞卷积所得到的感受野为8,如图3a中的第三幅图所示。由此可见,空洞卷积可利用注入空洞的方式,让原本尺寸为3x3的卷积核,在相同参数量和计算量下,拥有5或者更大的感受野,从而无需下采样。
另外,计算机设备还可对目标巡检图像进行语义特征提取,得到目标巡检图像的图像语义特征。具体的,计算机设备可调用一个预训练的语义特征提取模型对目标巡检图像进行语义特征提取,得到目标巡检图像的图像语义特征;其中,语义特征提取模型和对象定位模型相互独立。或者,若对象定位模型中还包括图像语义提取网络,则计算机设备也可调用该对象定位模型中的图像语义提取网络对目标巡检图像进行语义特征提取,得到目标巡检图像的图像语义特征。
在得到图像语义特征后,计算机设备可调用对象定位模型中的各个分支网络使用相应的空洞数,分别对图像语义特征进行空洞卷积。由于不同的分支网络所使用的空洞数不同,这样可实现感受野由小到大,从而使得在空洞卷积时可以更好地覆盖多尺度的图像语义特征。并且,由于多个分支网络要检测的内容是相同的、要学习的图像语义特征也是相同的,只不过是形成了不同的感受野来检测不同尺度的图像语义特征,因此各个分支网络之间可共享权重,这样既可充分利用图像语义特征,学习到更本质的信息,也可减少参数量与过拟合的风险,从而提升空洞卷积结果的准确性和稳定性。
在各个分支网络得到相应的空洞卷积结果后,计算机设备可调用各个分支网络基于相应的空洞卷积结果,分别对目标巡检图像进行对象定位检测,得到多个候选检测框以及各个候选检测框的准确性指示值,该准确性指示值用于指示候选检测框的准确性。然后,计算机设备可基于各个候选检测框的准确性指示值,从多个候选检测框中选取M个候选检测框作为M个对象检测框。其中,选取M个对象检测框的方式可包括以下任一种:
在一种实施方式中,计算机设备可按照准确性从高到低的选取顺序,基于各个候选检测框的准确性指示值,从多个候选检测框中依次选取M个候选检测框作为M个对象检测框。
另一种实施方式中,计算机设备可基于各个候选检测框的准确性指示值,从多个候选检测框中选取准确性指示值大于预设阈值的M个候选检测框作为M个对象检测框。
另一种实施方式中,考虑到在对目标巡检图像进行对象定位检测的过程中,在同一个位置上可能产生大量的候选检测框,这些候选检测框之间可能存在重叠,这些重叠的候选检测框通常包含相同的部件对象。因此,为了避免选取出的M个对象检测框中存在重叠的检测框,提升检测的有效性,计算机设备可通过搜索局部极大值和对非极大值进行抑制的方式,从多个候选检测框中选取M个候选检测框作为M个对象检测框,使得选取得到的各个对象检测框之间相互不重叠。其中,搜索局部极大值和对非极大值进行抑制的方式的大致原理为:以准确性指示值较大的候选检测框为基准,若其他的候选检测框与作为基准的候选检测框的重叠部分较大,则对该其他的候选检测框的准确性指示值进行抑制处理,若重叠部分较小,则保持该其他的候选检测框的准确性指示值不变;迭代此过程,直至每个候选检测框均被作为基准后,再根据各个候选检测框最终的准确性指示值,从多个候选检测框中选取M个候选检测框作为M个对象检测框。
S203,基于M个对象检测框,从目标巡检图像中裁剪出多个子图像。
在具体实施过程中,计算机设备可遍历M个对象检测框中的各个对象检测框;针对当前遍历的当前对象检测框,计算机设备可从目标巡检图像中确定包含当前对象检测框的图像区域,然后将确定的图像区域从目标巡检图像中裁剪出来,得到一个子图像。在各个对象检测框均被遍历后,计算机设备便可得到多个子图像;一个子图像中可包括一个对象检测框中的部件对象,如图3b所示。
需要说明的是,上述只是示例性地说明了从目标巡检图像中裁剪出多个子图像的实施方式,但并不对此进行限定;例如,上述是以一个对象检测框对应一个子图像的裁剪策略为例进行说明的,但在其他实施例中,计算机设备在每次进行图像裁剪时,也可将包含多个对象检测框的区域作为一个图像区域,从而裁剪出一个子图像,那么此实施方式下的一个子图像可包括多个对象检测框中的部件对象。综上,本申请实施例所提及的一个子图像中可包括至少一个对象检测框中的部件对象。
S204,根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型。
其中,对象检测模型是指:可识别部件对象是否存在异常特征的任一模型。例如,对象检测模型可以是基于YOLO(You only look once)构建的检测模型,此处所提及的YOLO是一种基于深度神经网络的对象检测算法;YOLO可实现快速检测的同时,还达到较高的准确率。并且,此处所提及的YOLO可以具体是指:YOLOv1、YOLOv2或者YOLOv3,等等;为便于阐述,后续均以对象检测模型是基于YOLOv3构建的检测模型为例进行说明。
需要说明的是,针对任一子图像而言,确定出的用于对该任一子图像进行异常检测的对象检测模型,是预先采用与该任一图像的图像属性相关的样本图像对预设的初始检测模型进行模型训练得到的。也就是说,针对任意两个图像属性不同的子图像而言,这两个子图像所对应的对象检测模型本质上可理解为:采用不同图像属性所关联的样本图像对同一个初始检测模型进行训练,所得到的两个对象检测模型;也就是说,各个子图像所对应的对象检测模型可具有相同的模型结构,而不同图像属性的各个子图像所对应的对象检测模型所对应的样本图像不同。
具体的,该对象检测模型的模型结构可参见图3c所示:该对象检测模型可包括:多个卷积层、多个残差模块、多个concat模块(连接模块),以及多个上采样层,等等;其中,concat模块主要用于对输入的不同尺度的特征进行融合拼接处理。应理解的是,图3c只是示例性地表征了对象检测模型的模型结构,并不对此进行限定;例如,对象检测模型还可包括全连接层等其他部分。
S205,调用对象检测模型对相应的子图像中的部件对象进行异常检测,得到N个部件对象的异常检测结果。
在具体实现中,对象检测模型对相应的子图像中的部件对象进行异常检测的大致原理如下:首先,可将输入的子图像的图像尺寸统一缩放为[416,416]这一指定尺寸。其次,可通过对象检测模型中的各个网络层(如卷积层、残差模块)对统一尺寸后的子图像进行特征提取;具体的,可先通过图3c中的第1个网络层中的第一个卷积层(即3x3x32的卷积层)对统一尺寸后的子图像进行卷积处理,并将通过卷积处理所提取出的图像特征输入至第1个网络层中的第二个卷积层(即3x3x64/2的卷积层),由第一个卷积层中的第二个卷积层对输入的图像特征进行卷积处理,得到图3c中所示的208x208x64的图像特征。接着,可通过图3c中的第2个网络层中的残差模块对208x208x64的图像特征作进一步特征提取,并将提取得到的图像特征输入至第2个网络层中的卷积层(即3x3x128/2的卷积层),由第2个网络层中的卷积层对输入的图像特征进行卷积处理,得到图3c中所示的104x104x128的图像特征。
以此类推,直至图3c所示的各个网络层均进行了特征提取处理,不同网络层所输出的图像特征的尺度是不同的。然后,可通过concat模块以及上采样层等多个模块,将不同网络层所输出的不同尺度的图像特征融合在一起,得到最终的图像特征(即scale4所对应的图像特征)。最后,可通过全连接层根据最终的图像特征进行异常检测,以确定子图像中的部件对象是否存在异常;进一步的,若子图像中的部件对象存在异常,则还可定位出部件对象的异常位置以及该异常位置的准确性信息。也就是说,每个部件对象的异常检测结果可至少包括异常指示信息,该异常指示信息用于指示部件对象是否存在异常;进一步的,针对存在异常的部件对象而言,该部件对象的异常检测结果还可包括:用于指示部件对象的异常位置的异常位置信息,以及异常位置的准确性信息,等等。可选的,若检测到N个部件对象中存在异常的部件对象,则还可根据该异常的部件对象的异常位置信息,在目标巡检图像中对该异常的部件对象的异常位置进行标注,从而在用户界面中显示标注了异常位置的目标巡检图像,使得用户可直观查看异常位置,以便于用户采取相关解决措施对该异常的部件对象进行维护。
本申请实施例在获取到目标巡检图像后,可先对目标巡检图像进行对象定位检测,得到M个对象检测框。其次,基于该M个对象检测框从目标巡检图像中裁剪出多个子图像,进而根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型。然后,可调用确定出的各个对象检测模型分别对相应的子图像中的部件对象进行异常检测,以得到N个部件对象的异常检测结果。可见,上述图像处理过程中,无需检测人员的人为介入,可有效节省人力成本。并且,通过先定位裁剪出子图像的方式,可使得各个对象检测模型在对相应的子图像中的部件对象进行异常检测时,只关注于对应的子图像的图像信息,无需关注其他的图像信息,这样可有效减少各个对象检测模型所需关注的图像信息的信息量,有效提升检测效率和检测结果的准确性。进一步的,由于每个子图像对应的对象检测模型是基于每个子图像的属性数据确定的,这样可使得各个对象检测模型和对应的子图像是相适配的,从而使得各个子图像中的部件对象能够被较好地定位缺陷异常,进而进一步提升检测结果的准确性。另外,还可通过各个对象检测模型的并行调用,进一步提升检测效率。
基于上述描述,本申请实施例进一步提出了如图4所示的图像处理方法,该图像处理方法可由上述所提及的计算机设备执行;参见图4所示,该图像处理方法可包括如下步骤S401-S408:
S401,获取目标巡检图像,该目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数。
S402,获取对象定位模型,以及对目标巡检图像进行语义特征提取,得到目标巡检图像的图像语义特征。
在本申请实施例中,对象定位模型是采用训练数据集对初始定位模型进行迭代的多次模型优化得到的;此处的训练数据集可包括:样本巡检图像以及样本巡检图像的标注信息;该标注信息用于指示:样本巡检图像中的各个部件对象的标注检测框。其中,一次模型优化的过程如下:
首先,可调用当前定位模型对样本巡检图像进行对象定位检测,得到多个预测检测框。具体的,可先将样本巡检图像和对应的标注信息,输入至ResNet网络(深度残差网络),使得该ResNet网络提取出该样本巡检图像的样本语义特征;然后,可调用当前定位模型中的各个分支网络使用相应的空洞数,分别对样本语义特征进行空洞卷积,并基于相应的空洞卷积结果,分别对样本巡检图像进行对象定位检测,得到多个样本检测框以及各个样本检测框的准确性指示值;最后,可基于各个样本检测框的准确性指示值,从所有的样本检测框中选取多个样本检测框作为多个预测检测框。需要说明的是,从所有的样本检测框中选取多个预测检测框的选取方式,与后续所提及的从多个候选检测框中选取M个对象检测框的选取方式类似,在此不再赘述。并且,样本语义特征的获取公式可如下:
其次,计算机设备可根据标注信息所指示的各个标注检测框和多个预测检测框之间的差异,计算用于衡量当前定位模型的模型损失的损失衡量数据。具体的,计算机设备可采用下述损失计算公式计算损失衡量数据:
在上述损失计算公式中,为二分交叉熵损失函数,为均方差损失函数。是检测得到的预测检测框的序号,是第i个预测检测框的准确性指示值。的值用于指示第i个预测检测框是正样本还是负样本,具体的,若的值为1,则表示第i个预测检测框为正样本,若的值为0,则表示第i个预测检测框为负样本;其中,当第i个预测检测框和对应的标准检测框之间的交并比大于或等于预设阈值(如0.5)时,第i个预测检测框为正样本;当第i个预测检测框和对应的标准检测框之间的交并比小于预设阈值(如0.5)时,第i个预测检测框为负样本。表示第i个预测检测框的坐标值,表示第i个预测检测框为正样本时,与第i个预测检测框对应的标注检测框的坐标值。
需要说明的是,在实际运用中,上述所提及的训练数据集中的样本巡检图像的数量为多个,计算机设备实际是对多个样本巡检图像进行批次划分后,采每次采用一个批次的样本巡检图像和对应的标注信息进行模型优化的,上述只是以一个样本巡检图像为例,对一次模型优化的过程进行说明的。基于此,上述损失计算公式中的表示对一个批次中各个样本巡检图像进行分类和回归,所得到的各个样本巡检图像的预测检测框的数量的平均值,表示一个批次中的各个样本巡检图像的标注检测框的数量的平均值,表示分类和回归的平衡参数。
然后,计算机设备可基于动态学习率和损失衡量数据,对所述当前定位模型进行模型优化;其中,动态学习率和模型优化的次数成反比。具体的,计算机设备将损失衡量数据反向传递入当前定位模型中,进行模型权重的更新;并使用指数衰减调整学习率(Exponential LR),采用调整后的动态学习率对模型学习进行控制,动态学习率的计算公式可如下:
S403,调用对象定位模型中的各个分支网络使用相应的空洞数,分别对图像语义特征进行空洞卷积。
S404,调用各个分支网络基于相应的空洞卷积结果,分别对目标巡检图像进行对象定位检测,得到多个候选检测框以及各个候选检测框的准确性指示值,该准确性指示值用于指示候选检测框的准确性。
S405,基于各个候选检测框的准确性指示值,从多个候选检测框中选取M个候选检测框作为M个对象检测框。其中,1<M≤N,一个对象检测框中至少包括一个部件对象。
在具体实现中,计算机设备可先从多个候选检测框中确定未被选取的候选检测框,并基于未被选取的各个候选检测框的准确性指示值,从未被选取的候选检测框中选取准确性指示值最大的候选检测框作为基准候选检测框。其次,计算机设备可遍历未被选取的候选检测框中,除基准候选检测框以外的其他候选检测框,并计算当前遍历的当前候选检测框与基准候选检测框之间的交并比;若该交并比大于或等于目标阈值,则对当前候选检测框的准确性指示值进行抑制处理,以更新当前候选检测框的准确性指示值;否则,则保持当前候选检测框的准确性指示值不变。在其他候选检测框均被遍历后,迭代执行从多个候选检测框中确定未被选取的候选检测框,直至各个候选检测框均被选取过;最后,可按照分数从高到低的选取顺序,根据所述各个候选检测框的最新的准确性指示值,从多个候选检测框中选取M个候选检测框作为M个对象检测框。
针对上述所提及的步骤S405的具体实现方式,需说明以下几点:
①上述所提及的交并比是指:一种可以用于反映两个候选检测框之间的相关度的数值;交并比的值越大,则表明两个候选检测框之间的相关度越高,即两个候选检测框之间的重叠部分越多。本申请实施例可以将当前候选检测框和基准候选检测框相交的相交面积(如图5a中序号为①的灰色部分的面积),与当前候选检测框和基准候选检测框合并在一起的合并面积(如图5a中序号为②的灰色部分的面积)的比值确定为交并比。
②上述所提及的“对当前候选检测框的准确性指示值进行抑制处理,以更新当前候选检测框的准确性指示值”这一步骤的具体实施方式可以是:先根据基准数值和交并比,计算当前候选检测框的指示值抑制因子;其中,此处所提及的基准数值可根据业务需求或者经验值设置,例如可设置基准数值为1。具体的,可计算基准数值和交并比之间的差值;将计算得到的差值,确定为当前候选检测框的指示值抑制因子;例如,设基准数值为1,交并比为0.8,则指示值抑制因子可等于0.2(即1减去0.8的差值)。在计算得到指示值抑制因子后,计算机设备可采用该指示值抑制因子,对当前候选检测框的准确性指示值进行抑制处理,以更新当前候选检测框的准确性指示值;具体的,此步骤可包括以下任一种实施方式:
实施方式一,计算机设备可对指示值抑制因子和当前候选检测框的准确性指示值进行乘法运算,得到乘法运算结果;将乘法运算结果作为新的准确性指示值,更新当前候选检测框的准确性指示值,使得当前候选检测框的更新后的准确性指示值为乘法运算结果。例如,承接上述例子,仍设指示值抑制因子为0.2;若当前候选检测框的准确性指示值为0.8,则该当前候选检测框的更新后的准确性指示值可等于:0.2×0.8=0.16。基于此实施方式的描述,当前候选检测框的准确性指示值可采用下述公式进行更新:
实施方式二,计算机设备可对指示值抑制因子和当前候选检测框的准确性指示值进行乘法运算,得到乘法运算结果;将当前候选检测框的准确性指示值和乘法运算结果之间的差值,作为新的准确性指示值,更新当前候选检测框的准确性指示值,使得当前候选检测框的更新后的准确性指示值为:当前候选检测框的更新前的准确性指示值和乘法运算结果之间的差值算结果。例如,承接上述例子,仍设指示值抑制因子为0.2;若当前候选检测框的准确性指示值为0.8,则该当前候选检测框的更新后的准确性指示值可等于:1-0.2×0.8=0.84。
S406,基于M个对象检测框,从目标巡检图像中裁剪出多个子图像。
S407,根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型。
在一种实施方式中,表示每个子图像的图像属性的属性数据可包括:用于指示每个子图像中的部件对象的对象类别的目标类别信息;相应的,步骤S204的具体实施方式可以是:获取预设的多个对象检测模型,以及每个对象检测模型所支持的对象类别;针对任一子图像,根据每个对象检测模型所支持的对象类别,将支持任一子图像的目标类别信息所指示的对象类别的对象检测模型,确定为用于对任一子图像进行异常检测的对象检测模型。例如,设总共有2个对象检测模型:hammerYOLO模型(支持防震锤的对象检测模型)和bolt YOLO模型(支持销钉的对象检测模型);其中,若某个子图像a的目标类别信息指示该子图像a中的部件对象的对象类别为防震锤,则可将hammerYOLO模型确定为用于对该子图像a进行异常检测的对象检测模型,从而通过后续步骤S408调用hammerYOLO模型对子图像a中的部件对象进行异常检测;若某个子图像b的目标类别信息指示该子图像b中的部件对象的对象类别为销钉,则可将blotYOLO模型确定为用于对该子图像b进行异常检测的对象检测模型,从而通过后续步骤S408调用blotYOLO模型对子图像b中的部件对象进行异常检测,如图5b所示。
另一种实施方式中,表示每个子图像的图像属性的属性数据可包括:用于指示每个子图像的图像尺寸的目标尺寸信息;相应的,步骤S204的具体实施方式可以是:获取预设的多个对象检测模型,以及每个对象检测模型适配的图像尺寸;针对任一子图像,根据每个对象检测模型适配的图像尺寸,将图像尺寸与任一子图像的目标尺寸信息所指示的图像尺寸相匹配的对象检测模型,确定为用于对任一子图像进行异常检测的对象检测模型。
S408,调用对象检测模型对相应的子图像中的部件对象进行异常检测,得到N个部件对象的异常检测结果。
本申请实施例在获取到目标巡检图像后,可先对目标巡检图像进行对象定位检测,得到M个对象检测框。其次,基于该M个对象检测框从目标巡检图像中裁剪出多个子图像,进而根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型。然后,可调用确定出的各个对象检测模型分别对相应的子图像中的部件对象进行异常检测,以得到N个部件对象的异常检测结果。可见,上述图像处理过程中,无需检测人员的人为介入,可有效节省人力成本。并且,通过先定位裁剪出子图像的方式,可使得各个对象检测模型在对相应的子图像中的部件对象进行异常检测时,只关注于对应的子图像的图像信息,无需关注其他的图像信息,这样可有效减少各个对象检测模型所需关注的图像信息的信息量,有效提升检测效率和检测结果的准确性。进一步的,由于每个子图像对应的对象检测模型是基于每个子图像的属性数据确定的,这样可使得各个对象检测模型和对应的子图像是相适配的,从而使得各个子图像中的部件对象能够被较好地定位缺陷异常,进而进一步提升检测结果的准确性。另外,还可通过各个对象检测模型的并行调用,进一步提升检测效率。
基于上述图像处理方法实施例的描述,本申请实施例还公开了一种图像处理装置;所述图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),且该图像处理装置可以执行图1所示的图像处理方法。请参见图6,所述数据处理装置可以运行如下单元:
第二获取单元601,用于获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
定位单元602,用于对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
第二处理单元603,用于分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
在一种实施方式中,第二处理单元603在用于分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果时,可具体用于:
基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
进一步的,基于上述图像处理方法实施例的描述,本申请实施例还公开了一种图像处理装置;所述图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),且该图像处理装置可以执行图2或图4所示的图像处理方法。请参见图7,所述数据处理装置可以运行如下单元:
第一获取单元701,用于获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
第一处理单元702,用于对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
所述第一处理单元702,还用于基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
所述第一处理单元702,还用于根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
所述第一处理单元702,还用于调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
在一种实施方式中,第一处理单元702在用于对所述目标巡检图像进行对象定位检测,得到M个对象检测框时,可具体用于:
获取对象定位模型,所述对象定位模型包括多个分支网络,各个分支网络通过使用不同的空洞数进行空洞卷积,使得所述多个分支网络的感受野不同;
对所述目标巡检图像进行语义特征提取,得到所述目标巡检图像的图像语义特征;
调用所述对象定位模型中的各个分支网络使用相应的空洞数,分别对所述图像语义特征进行空洞卷积;
调用所述各个分支网络基于相应的空洞卷积结果,分别对所述目标巡检图像进行对象定位检测,得到多个候选检测框以及各个候选检测框的准确性指示值,所述准确性指示值用于指示候选检测框的准确性;
基于所述各个候选检测框的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框。
另一种实施方式中,第一处理单元702在用于基于所述各个候选检测框的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框时,可具体用于:
从所述多个候选检测框中确定未被选取的候选检测框,并基于所述未被选取的各个候选检测框的准确性指示值,从所述未被选取的候选检测框中选取准确性指示值最大的候选检测框作为基准候选检测框;
遍历所述未被选取的候选检测框中,除所述基准候选检测框以外的其他候选检测框,并计算当前遍历的当前候选检测框与所述基准候选检测框之间的交并比;
若所述交并比大于或等于目标阈值,则对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值;否则,则保持所述当前候选检测框的准确性指示值不变;
在其他候选检测框均被遍历后,迭代执行从所述多个候选检测框中确定未被选取的候选检测框,直至各个候选检测框均被选取过;
按照分数从高到低的选取顺序,根据所述各个候选检测框的最新的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框。
另一种实施方式中,第一处理单元702在用于对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值时,可具体用于:
根据基准数值和所述交并比,计算所述当前候选检测框的指示值抑制因子;
采用所述指示值抑制因子,对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值。
另一种实施方式中,第一处理单元702在用于根据基准数值和所述交并比,计算所述当前候选检测框的指示值抑制因子时,可具体用于:
计算所述基准数值和所述交并比之间的差值;
将计算得到的差值,确定为所述当前候选检测框的指示值抑制因子。
另一种实施方式中,第一处理单元702在用于采用所述指示值抑制因子,对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值时,可具体用于:
对所述指示值抑制因子和所述当前候选检测框的准确性指示值进行乘法运算,得到乘法运算结果;
将所述乘法运算结果作为新的准确性指示值,更新所述当前候选检测框的准确性指示值,使得所述当前候选检测框的更新后的准确性指示值为所述乘法运算结果。
另一种实施方式中,所述M个对象检测框是通过调用对象定位模型对所述目标巡检图像进行对象检测得到的;
所述对象定位模型是采用训练数据集对初始定位模型进行迭代的多次模型优化得到的,所述训练数据集包括:样本巡检图像以及所述样本巡检图像的标注信息;所述标注信息用于指示:所述样本巡检图像中的各个部件对象的标注检测框;
其中,一次模型优化的过程如下:
调用当前定位模型对所述样本巡检图像进行对象定位检测,得到多个预测检测框;
根据所述标注信息所指示的各个标注检测框和所述多个预测检测框之间的差异,计算用于衡量所述当前定位模型的模型损失的损失衡量数据;
基于动态学习率和所述损失衡量数据,对所述当前定位模型进行模型优化;其中,所述动态学习率和模型优化的次数成反比。
另一种实施方式中,所述表示每个子图像的图像属性的属性数据包括:用于指示所述每个子图像中的所述部件对象的对象类别的目标类别信息;相应的,第一处理单元702在用于根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型时,可具体用于:
获取预设的多个对象检测模型,以及每个对象检测模型所支持的对象类别;
针对任一子图像,根据所述每个对象检测模型所支持的对象类别,将支持所述任一子图像的目标类别信息所指示的对象类别的对象检测模型,确定为用于对所述任一子图像进行异常检测的对象检测模型。
另一种实施方式中,所述表示每个子图像的图像属性的属性数据包括:用于指示所述每个子图像的图像尺寸的目标尺寸信息;相应的,第一处理单元702在用于根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型时,可具体用于:
获取预设的多个对象检测模型,以及每个对象检测模型适配的图像尺寸;
针对任一子图像,根据所述每个对象检测模型适配的图像尺寸,将图像尺寸与所述任一子图像的目标尺寸信息所指示的图像尺寸相匹配的对象检测模型,确定为用于对所述任一子图像进行异常检测的对象检测模型。
本申请实施例在获取到目标巡检图像后,可先对目标巡检图像进行对象定位检测,得到M个对象检测框。其次,基于该M个对象检测框从目标巡检图像中裁剪出多个子图像,进而根据表示每个子图像的图像属性的属性数据,分别确定用于对每个子图像进行异常检测的对象检测模型。然后,可调用确定出的各个对象检测模型分别对相应的子图像中的部件对象进行异常检测,以得到N个部件对象的异常检测结果。可见,上述图像处理过程中,无需检测人员的人为介入,可有效节省人力成本。并且,通过先定位裁剪出子图像的方式,可使得各个对象检测模型在对相应的子图像中的部件对象进行异常检测时,只关注于对应的子图像的图像信息,无需关注其他的图像信息,这样可有效减少各个对象检测模型所需关注的图像信息的信息量,有效提升检测效率和检测结果的准确性。进一步的,由于每个子图像对应的对象检测模型是基于每个子图像的属性数据确定的,这样可使得各个对象检测模型和对应的子图像是相适配的,从而使得各个子图像中的部件对象能够被较好地定位缺陷异常,进而进一步提升检测结果的准确性。另外,还可通过各个对象检测模型的并行调用,进一步提升检测效率。
请参见图8,是本发明另一实施例提供的一种计算机设备的结构示意图。如图8所示的本申请实施例中的计算机设备可以包括:一个或多个处理器801;一个或多个输入设备802,一个或多个输出设备803和存储器804。上述处理器801、输入设备802、输出设备803和存储器804通过总线805连接。存储器804用于存储计算机存储介质,所述计算机存储介质包括一条或多条指令,处理器801 用于执行存储器804中的计算机存储介质中的指令。
其中,处理器801可以是中央处理单元 (Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。输入设备802可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备803可以包括显示器(LCD等)、扬声器等。存储器 804可以包括只读存储器和随机存取存储器,并向处理器 801 提供指令和数据。存储器804的一部分还可以包括非易失性随机存取存储器。例如,存储器 804还可以存储设备类型的信息。
在本发明实施例中,由处理器801加载并执行计算机存储介质中存放的一条或多条指令,以实现上述图1所示方法流程的相应步骤;具体实现中,计算机存储介质中的一条或多条指令由处理器801加载并执行如下步骤:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
可选的,在分别对每个对象检测框中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果时,该一条或多条指令由该处理器801加载,用于具体执行:
基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
或者,在本发明实施例中,由处理器801加载并执行计算机存储介质中存放的一条或多条指令,以实现上述图2或图4所示方法流程的相应步骤;在具体实现中,计算机存储介质中的一条或多条指令由处理器801加载并执行如下步骤:
获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;
对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;
基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;
根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;
调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果。
在一种实施方式中,在对所述目标巡检图像进行对象定位检测,得到M个对象检测框时,该一条或多条指令由该处理器801加载,用于具体执行:
获取对象定位模型,所述对象定位模型包括多个分支网络,各个分支网络通过使用不同的空洞数进行空洞卷积,使得所述多个分支网络的感受野不同;
对所述目标巡检图像进行语义特征提取,得到所述目标巡检图像的图像语义特征;
调用所述对象定位模型中的各个分支网络使用相应的空洞数,分别对所述图像语义特征进行空洞卷积;
调用所述各个分支网络基于相应的空洞卷积结果,分别对所述目标巡检图像进行对象定位检测,得到多个候选检测框以及各个候选检测框的准确性指示值,所述准确性指示值用于指示候选检测框的准确性;
基于所述各个候选检测框的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框。
另一种实施方式中,在基于所述各个候选检测框的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框时,该一条或多条指令由该处理器801加载,用于具体执行:
从所述多个候选检测框中确定未被选取的候选检测框,并基于所述未被选取的各个候选检测框的准确性指示值,从所述未被选取的候选检测框中选取准确性指示值最大的候选检测框作为基准候选检测框;
遍历所述未被选取的候选检测框中,除所述基准候选检测框以外的其他候选检测框,并计算当前遍历的当前候选检测框与所述基准候选检测框之间的交并比;
若所述交并比大于或等于目标阈值,则对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值;否则,则保持所述当前候选检测框的准确性指示值不变;
在其他候选检测框均被遍历后,迭代执行从所述多个候选检测框中确定未被选取的候选检测框,直至各个候选检测框均被选取过;
按照分数从高到低的选取顺序,根据所述各个候选检测框的最新的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框。
另一种实施方式中,在对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值时,该一条或多条指令由该处理器801加载,用于具体执行:
根据基准数值和所述交并比,计算所述当前候选检测框的指示值抑制因子;
采用所述指示值抑制因子,对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值。
另一种实施方式中,在根据基准数值和所述交并比,计算所述当前候选检测框的指示值抑制因子时,该一条或多条指令由该处理器801加载,用于具体执行:
计算所述基准数值和所述交并比之间的差值;
将计算得到的差值,确定为所述当前候选检测框的指示值抑制因子。
另一种实施方式中,在采用所述指示值抑制因子,对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值时,该一条或多条指令由该处理器801加载,用于具体执行:
对所述指示值抑制因子和所述当前候选检测框的准确性指示值进行乘法运算,得到乘法运算结果;
将所述乘法运算结果作为新的准确性指示值,更新所述当前候选检测框的准确性指示值,使得所述当前候选检测框的更新后的准确性指示值为所述乘法运算结果。
另一种实施方式中,所述M个对象检测框是通过调用对象定位模型对所述目标巡检图像进行对象检测得到的;
所述对象定位模型是采用训练数据集对初始定位模型进行迭代的多次模型优化得到的,所述训练数据集包括:样本巡检图像以及所述样本巡检图像的标注信息;所述标注信息用于指示:所述样本巡检图像中的各个部件对象的标注检测框;
其中,一次模型优化的过程如下:
调用当前定位模型对所述样本巡检图像进行对象定位检测,得到多个预测检测框;
根据所述标注信息所指示的各个标注检测框和所述多个预测检测框之间的差异,计算用于衡量所述当前定位模型的模型损失的损失衡量数据;
基于动态学习率和所述损失衡量数据,对所述当前定位模型进行模型优化;其中,所述动态学习率和模型优化的次数成反比。
另一种实施方式中,所述表示每个子图像的图像属性的属性数据包括:用于指示所述每个子图像中的所述部件对象的对象类别的目标类别信息;相应的,在根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型时,该一条或多条指令由该处理器801加载,用于具体执行:
获取预设的多个对象检测模型,以及每个对象检测模型所支持的对象类别;
针对任一子图像,根据所述每个对象检测模型所支持的对象类别,将支持所述任一子图像的目标类别信息所指示的对象类别的对象检测模型,确定为用于对所述任一子图像进行异常检测的对象检测模型。
另一种实施方式中,所述表示每个子图像的图像属性的属性数据包括:用于指示所述每个子图像的图像尺寸的目标尺寸信息;相应的,在根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型时,该一条或多条指令由该处理器801加载,用于具体执行:
获取预设的多个对象检测模型,以及每个对象检测模型适配的图像尺寸;
针对任一子图像,根据所述每个对象检测模型适配的图像尺寸,将图像尺寸与所述任一子图像的目标尺寸信息所指示的图像尺寸相匹配的对象检测模型,确定为用于对所述任一子图像进行异常检测的对象检测模型。
需要说明的是,在本申请的另一实施例中还可提供计算机可读存储介质,该计算机可读存储介质存储有一条或多条指令,该一条或多条指令被处理器执行时实现本申请实施例提供的图1、图2和图4所描述的图像处理方法的实现方式。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的终端和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (4)
1.一种图像处理方法,其特征在于,包括:获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果;
所述对所述目标巡检图像进行对象定位检测,得到M个对象检测框,包括:获取对象定位模型,所述对象定位模型包括多个分支网络,各个分支网络通过使用不同的空洞数进行空洞卷积,使得所述多个分支网络的感受野不同;对所述目标巡检图像进行语义特征提取,得到所述目标巡检图像的图像语义特征;调用所述对象定位模型中的各个分支网络使用相应的空洞数,分别对所述图像语义特征进行空洞卷积;调用所述各个分支网络基于相应的空洞卷积结果,分别对所述目标巡检图像进行对象定位检测,得到多个候选检测框以及各个候选检测框的准确性指示值,所述准确性指示值用于指示候选检测框的准确性,且所述准确性指示值是可更新的;基于所述各个候选检测框的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框,包括:先从多个候选检测框中确定未被选取的候选检测框,并基于未被选取的各个候选检测框的准确性指示值,从未被选取的候选检测框中选取准确性指示值最大的候选检测框作为基准候选检测框;
所述基于所述各个候选检测框的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框,包括:从所述多个候选检测框中确定未被选取的候选检测框,并基于所述未被选取的各个候选检测框的准确性指示值,从所述未被选取的候选检测框中选取准确性指示值最大的候选检测框作为基准候选检测框;遍历所述未被选取的候选检测框中,除所述基准候选检测框以外的其他候选检测框,并计算当前遍历的当前候选检测框与所述基准候选检测框之间的交并比;若所述交并比大于或等于目标阈值,则对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值;否则,则保持所述当前候选检测框的准确性指示值不变;在其他候选检测框均被遍历后,迭代执行从所述多个候选检测框中确定未被选取的候选检测框,直至各个候选检测框均被选取过;按照分数从高到低的选取顺序,根据所述各个候选检测框的最新的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框;
所述对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值,包括:根据基准数值和所述交并比,计算所述当前候选检测框的指示值抑制因子;采用所述指示值抑制因子,对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值;
所述根据基准数值和所述交并比,计算所述当前候选检测框的指示值抑制因子,包括:计算所述基准数值和所述交并比之间的差值;将计算得到的差值,确定为所述当前候选检测框的指示值抑制因子;
所述采用所述指示值抑制因子,对所述当前候选检测框的准确性指示值进行抑制处理,以更新所述当前候选检测框的准确性指示值,包括:对所述指示值抑制因子和所述当前候选检测框的准确性指示值进行乘法运算,得到乘法运算结果;将所述乘法运算结果作为新的准确性指示值,更新所述当前候选检测框的准确性指示值,使得所述当前候选检测框的更新后的准确性指示值为所述乘法运算结果;
所述M个对象检测框是通过调用对象定位模型对所述目标巡检图像进行对象检测得到的;所述对象定位模型是采用训练数据集对初始定位模型进行迭代的多次模型优化得到的,所述训练数据集包括:样本巡检图像以及所述样本巡检图像的标注信息;所述标注信息用于指示:所述样本巡检图像中的各个部件对象的标注检测框;其中,一次模型优化的过程如下:调用当前定位模型对所述样本巡检图像进行对象定位检测,得到多个预测检测框;根据所述标注信息所指示的各个标注检测框和所述多个预测检测框之间的差异,计算用于衡量所述当前定位模型的模型损失的损失衡量数据,具体的,采用下述损失计算公式计算损失衡量数据:
式中,L a 为二分交叉熵损失函数,L b 为均方差损失函数,是检测得到的预测检测框的序号,是第i个预测检测框的准确性指示值,的值用于指示第i个预测检测框是正样本还是负样本,具体的,若的值为1,则表示第i个预测检测框为正样本,若的值为0,则表示第i个预测检测框为负样本;其中,当第i个预测检测框和对应的标准检测框之间的交并比大于或等于预设阈值时,第i个预测检测框为正样本;当第i个预测检测框和对应的标准检测框之间的交并比小于预设阈值时,第i个预测检测框为负样本;表示第i个预测检测框的坐标值,表示第i个预测检测框为正样本时,与第i个预测检测框对应的标注检测框的坐标值; N cls 表示对一个批次中各个样本巡检图像进行分类和回归,所得到的各个样本巡检图像的预测检测框的数量的平均值,表示一个批次中的各个样本巡检图像的标注检测框的数量的平均值,表示分类和回归的平衡参数;基于动态学习率和所述损失衡量数据,对所述当前定位模型进行模型优化,其中,所述动态学习率和模型优化的次数成反比,具体地:将损失衡量数据反向传递入当前定位模型中,进行模型权重的更新;并使用指数衰减调整学习率,采用调整后的动态学习率对模型学习进行控制,动态学习率的计算公式可如下:
所述表示每个子图像的图像属性的属性数据包括:用于指示所述每个子图像中的所述部件对象的对象类别的目标类别信息;所述根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型,包括:获取预设的多个对象检测模型,以及每个对象检测模型所支持的对象类别;针对任一子图像,根据所述每个对象检测模型所支持的对象类别,将支持所述任一子图像的目标类别信息所指示的对象类别的对象检测模型,确定为用于对所述任一子图像进行异常检测的对象检测模型;
所述表示每个子图像的图像属性的属性数据包括:用于指示所述每个子图像的图像尺寸的目标尺寸信息;所述根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型,包括:获取预设的多个对象检测模型,以及每个对象检测模型适配的图像尺寸;针对任一子图像,根据所述每个对象检测模型适配的图像尺寸,将图像尺寸与所述任一子图像的目标尺寸信息所指示的图像尺寸相匹配的对象检测模型,确定为用于对所述任一子图像进行异常检测的对象检测模型。
2.一种用于实现权利要求1所述方法的图像处理装置,其特征在于,包括:第一获取单元,用于获取目标巡检图像,所述目标巡检图像中包括输电线路上所配置的N个部件对象,N为大于1的整数;第一处理单元,用于对所述目标巡检图像进行对象定位检测,得到M个对象检测框,1<M≤N,一个对象检测框中至少包括一个部件对象;所述第一处理单元,还用于基于所述M个对象检测框,从所述目标巡检图像中裁剪出多个子图像,一个子图像中包括至少一个对象检测框中的所述部件对象;所述第一处理单元,还用于根据表示每个子图像的图像属性的属性数据,分别确定用于对所述每个子图像进行异常检测的对象检测模型;所述第一处理单元,还用于调用所述对象检测模型对相应的子图像中的所述部件对象进行异常检测,得到N个部件对象的异常检测结果;
所述对所述目标巡检图像进行对象定位检测,得到M个对象检测框,包括:获取对象定位模型,所述对象定位模型包括多个分支网络,各个分支网络通过使用不同的空洞数进行空洞卷积,使得所述多个分支网络的感受野不同;对所述目标巡检图像进行语义特征提取,得到所述目标巡检图像的图像语义特征;调用所述对象定位模型中的各个分支网络使用相应的空洞数,分别对所述图像语义特征进行空洞卷积;调用所述各个分支网络基于相应的空洞卷积结果,分别对所述目标巡检图像进行对象定位检测,得到多个候选检测框以及各个候选检测框的准确性指示值,所述准确性指示值用于指示候选检测框的准确性,且所述准确性指示值是可更新的;基于所述各个候选检测框的准确性指示值,从所述多个候选检测框中选取M个候选检测框作为M个对象检测框,包括:先从多个候选检测框中确定未被选取的候选检测框,并基于未被选取的各个候选检测框的准确性指示值,从未被选取的候选检测框中选取准确性指示值最大的候选检测框作为基准候选检测框;
候选检测框中选取准确性指示值最大的候选检测框作为基准候选检测框;
其中,所述对象定位模型是采用训练数据集对初始定位模型进行迭代的多次模型优化得到的,一次模型优化的过程如下:
根据标注信息所指示的各个标注检测框和多个预测检测框之间的差异,计算用于衡量当前定位模型的模型损失的损失衡量数据,具体的,采用下述损失计算公式计算损失衡量数据:
式中, L a 为二分交叉熵损失函数, L b 为均方差损失函数,是检测得到的预测检测框的序号,是第i个预测检测框的准确性指示值,的值用于指示第i个预测检测框是正样本还是负样本,具体的,若的值为1,则表示第i个预测检测框为正样本,若的值为0,则表示第i个预测检测框为负样本;其中,当第i个预测检测框和对应的标准检测框之间的交并比大于或等于预设阈值时,第i个预测检测框为正样本;当第i个预测检测框和对应的标准检测框之间的交并比小于预设阈值时,第i个预测检测框为负样本;表示第i个预测检测框的坐标值,表示第i个预测检测框为正样本时,与第i个预测检测框对应的标注检测框的坐标值; N cls 表示对一个批次中各个样本巡检图像进行分类和回归,所得到的各个样本巡检图像的预测检测框的数量的平均值,表示一个批次中的各个样本巡检图像的标注检测框的数量的平均值,表示分类和回归的平衡参数;
基于动态学习率和损失衡量数据,对所述当前定位模型进行模型优化;其中,动态学习率和模型优化的次数成反比,具体的:计算机设备将损失衡量数据反向传递入当前定位模型中,进行模型权重的更新;并使用指数衰减调整学习率(Exponential LR),采用调整后的动态学习率对模型学习进行控制,动态学习率的计算公式可如下:
3.一种计算机设备,包括输入接口和输出接口,其特征在于,所述计算机设备还包括:处理器,适于实现一条或多条指令;以及,计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1所述的图像处理方法。
4.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如权利要求1所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111049958.6A CN113506293B (zh) | 2021-09-08 | 2021-09-08 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111049958.6A CN113506293B (zh) | 2021-09-08 | 2021-09-08 | 一种图像处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113506293A CN113506293A (zh) | 2021-10-15 |
CN113506293B true CN113506293B (zh) | 2021-12-07 |
Family
ID=78016911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111049958.6A Active CN113506293B (zh) | 2021-09-08 | 2021-09-08 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113506293B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920117B (zh) * | 2021-12-14 | 2022-02-22 | 成都数联云算科技有限公司 | 一种面板缺陷区域检测方法、装置、电子设备及存储介质 |
CN114419522A (zh) * | 2022-03-29 | 2022-04-29 | 以萨技术股份有限公司 | 一种目标对象结构化解析方法、装置及设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734143A (zh) * | 2018-05-28 | 2018-11-02 | 江苏迪伦智能科技有限公司 | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 |
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
CN110378239A (zh) * | 2019-06-25 | 2019-10-25 | 江苏大学 | 一种基于深度学习的实时交通标志检测方法 |
CN110390261A (zh) * | 2019-06-13 | 2019-10-29 | 北京汽车集团有限公司 | 目标检测方法、装置、计算机可读存储介质及电子设备 |
CN111462109A (zh) * | 2020-04-17 | 2020-07-28 | 广东电网有限责任公司 | 一种耐张线夹的缺陷检测方法、装置、设备及存储介质 |
CN111507958A (zh) * | 2020-04-15 | 2020-08-07 | 全球能源互联网研究院有限公司 | 目标检测方法、检测模型的训练方法及电子设备 |
CN111898617A (zh) * | 2020-06-29 | 2020-11-06 | 南京邮电大学 | 基于注意力机制与并行空洞卷积网络的目标检测方法、系统 |
CN111967299A (zh) * | 2020-06-29 | 2020-11-20 | 北京百度网讯科技有限公司 | 无人机巡检方法、装置、设备及存储介质 |
CN112183353A (zh) * | 2020-09-28 | 2021-01-05 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法、装置和相关设备 |
CN113096130A (zh) * | 2021-06-09 | 2021-07-09 | 常州微亿智造科技有限公司 | 物件缺陷的检测方法、装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
US10984521B2 (en) * | 2018-11-20 | 2021-04-20 | Bnsf Railway Company | Systems and methods for determining defects in physical objects |
CN110414477B (zh) * | 2019-08-06 | 2021-11-23 | 广东三维家信息科技有限公司 | 图像比例尺检测方法及装置 |
CN111666938B (zh) * | 2020-05-21 | 2021-08-17 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的两地双车牌检测识别方法及系统 |
CN111914804A (zh) * | 2020-08-18 | 2020-11-10 | 中科弘云科技(北京)有限公司 | 多角度旋转遥感图像小目标检测方法 |
CN112215122B (zh) * | 2020-09-30 | 2023-10-24 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
CN112634254A (zh) * | 2020-12-29 | 2021-04-09 | 北京市商汤科技开发有限公司 | 绝缘子缺陷检测方法及相关装置 |
CN112749673A (zh) * | 2021-01-20 | 2021-05-04 | 西安中科星图空间数据技术有限公司 | 一种基于遥感影像智能提取储油罐库存的方法及装置 |
-
2021
- 2021-09-08 CN CN202111049958.6A patent/CN113506293B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
CN108734143A (zh) * | 2018-05-28 | 2018-11-02 | 江苏迪伦智能科技有限公司 | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 |
CN110390261A (zh) * | 2019-06-13 | 2019-10-29 | 北京汽车集团有限公司 | 目标检测方法、装置、计算机可读存储介质及电子设备 |
CN110378239A (zh) * | 2019-06-25 | 2019-10-25 | 江苏大学 | 一种基于深度学习的实时交通标志检测方法 |
CN111507958A (zh) * | 2020-04-15 | 2020-08-07 | 全球能源互联网研究院有限公司 | 目标检测方法、检测模型的训练方法及电子设备 |
CN111462109A (zh) * | 2020-04-17 | 2020-07-28 | 广东电网有限责任公司 | 一种耐张线夹的缺陷检测方法、装置、设备及存储介质 |
CN111898617A (zh) * | 2020-06-29 | 2020-11-06 | 南京邮电大学 | 基于注意力机制与并行空洞卷积网络的目标检测方法、系统 |
CN111967299A (zh) * | 2020-06-29 | 2020-11-20 | 北京百度网讯科技有限公司 | 无人机巡检方法、装置、设备及存储介质 |
CN112183353A (zh) * | 2020-09-28 | 2021-01-05 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法、装置和相关设备 |
CN113096130A (zh) * | 2021-06-09 | 2021-07-09 | 常州微亿智造科技有限公司 | 物件缺陷的检测方法、装置 |
Non-Patent Citations (5)
Title |
---|
Detection of Power Line Insulator Defects Using Aerial Images Analyzed With Convolutional Neural Networks;Xian Tao等;《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS: SYSTEMS》;20200430;第50卷(第4期);第1486-1498页 * |
Soft-NMS-Object Detection With One Line of Code;Navaneeth Bodla等;《Proceedings of the IEEE International Conference on Computer Vision (ICCV)》;20171231;第5561-5569页 * |
冼世平.基于无人机自动巡检技术的输电线路缺陷识别方法的研究与应用.《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》.2021,(第06期), * |
基于无人机自动巡检技术的输电线路缺陷识别方法的研究与应用;冼世平;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》;20210615(第06期);正文第26-27、42-44页 * |
基于特征融合和自适应锚框的目标检测算法研究;陈运忠;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20210215(第02期);正文第42-43页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113506293A (zh) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107220618B (zh) | 人脸检测方法及装置、计算机可读存储介质、设备 | |
CN113506293B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN110608982A (zh) | 检测方法、装置、移动设备、电子设备及存储介质 | |
CN111524112B (zh) | 追钢识别方法、系统、设备及介质 | |
CN110491106B (zh) | 基于知识图谱的数据预警方法、装置和计算机设备 | |
CN111310770B (zh) | 目标检测方法和装置 | |
CN112001406B (zh) | 一种文本区域检测方法及装置 | |
CN112215271B (zh) | 一种基于多头注意力机制的抗遮挡目标检测方法及设备 | |
CN113515399A (zh) | 数据异常检测方法及装置 | |
CN112085056A (zh) | 目标检测模型生成方法、装置、设备及存储介质 | |
CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
CN108229545B (zh) | 青光眼诊断的方法、装置及电子设备 | |
CN114187009A (zh) | 交易风险预测模型的特征解释方法、装置、设备及介质 | |
CN111968103B (zh) | 一种钢卷间距检测方法、系统、介质及电子终端 | |
CN110705695B (zh) | 搜索模型结构的方法、装置、设备和存储介质 | |
CN116188940A (zh) | 训练模型的方法、装置、存储介质以及电子设备 | |
CN115222691A (zh) | 图像缺陷检测方法、系统及相关装置 | |
CN115205619A (zh) | 检测模型的训练方法、检测方法、装置和存储介质 | |
CN115272166A (zh) | 模型训练方法、缺陷目标检测方法、装置及存储介质 | |
CN111524108B (zh) | 一种变电站设备检测方法及设备 | |
CN113989632A (zh) | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 | |
CN112446229B (zh) | 一种标志杆的像素坐标获取方法及装置 | |
CN117132810B (zh) | 目标检测方法、模型训练方法、装置、设备和存储介质 | |
CN115511015B (zh) | 一种样本筛选方法、装置、设备及计算机可读存储介质 | |
CN118097222A (zh) | 管廊环境火焰检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |