CN114299054A - 部件缺失检测方法、装置、电子设备及存储介质 - Google Patents

部件缺失检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114299054A
CN114299054A CN202111672474.7A CN202111672474A CN114299054A CN 114299054 A CN114299054 A CN 114299054A CN 202111672474 A CN202111672474 A CN 202111672474A CN 114299054 A CN114299054 A CN 114299054A
Authority
CN
China
Prior art keywords
target
image
position information
processed
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111672474.7A
Other languages
English (en)
Inventor
孙明珊
暴天鹏
吴立威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202111672474.7A priority Critical patent/CN114299054A/zh
Publication of CN114299054A publication Critical patent/CN114299054A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本公开提供了一种部件缺失检测方法、装置、电子设备及存储介质,该方法包括:获取接触网对应的待处理图像;基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。

Description

部件缺失检测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种部件缺失检测方法、装置、电子设备及存储介质。
背景技术
随着高铁建设的不断发展,对高速铁路供电系统的安全性与可靠性的要求日渐提升。其中,接触网检测和维护已成为高铁运营维护的重要内容。该高铁运营维护任务中包括检测接触网上的零部件(例如螺栓、螺母等)是否存在缺失的一项任务。
一般的,通过具有先验知识的检测员对采集的接触网图像进行检测,确定接触网上是否存在部件缺失。但是,上述人工进行排查的方式,存在耗时较长、效率较低的问题,且易出现漏检情况。
发明内容
有鉴于此,本公开至少提供一种部件缺失检测方法、装置、电子设备及存储介质。
第一方面,本公开提供了一种部件缺失检测方法,包括:
获取接触网对应的待处理图像;
基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;
基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。
由于接触网上的结构化部件与包括的局部部件之间存在结构关联关系,因此可以通过接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对获取的待处理图像进行检测,得到待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别;其中,目标局部部件属于待处理图像包括的目标结构化部件的子部件,实现利用待处理图像包括的目标结构化部件,较准确和较高效的推测得到目标结构化部件上应存在的目标局部部件的绝对位置信息和目标局部部件的第一类别;再可以基于待处理图像、目标局部部件的绝对位置信息和第一类别,确定待处理图像对应的部件缺失结果,实现了部件缺失的自动检测,提高了部件缺失检测的效率和准确率,降低了漏检率。
一种可能的实施方式中,所述基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果,包括:
基于所述目标局部部件的绝对位置信息,从所述待处理图像中截取所述目标局部部件对应的局部图像;
基于所述目标局部部件的第一类别,对所述局部图像进行目标检测,确定所述局部图像中是否存在目标局部部件;
若检测到任一局部图像中不存在目标局部部件,则确定所述待处理图像对应的部件缺失结果为所述任一局部图像对应的目标局部部件缺失。
上述实施方式中,通过基于目标局部部件的绝对位置信息,从待处理图像中截取目标局部部件对应的局部图像,将待处理图像中除局部图像之外的其他图像信息筛除,避免了其他图像信息对目标局部部件的检测造成干扰,提高了对局部图像进行目标检测时目标局部部件的检测精准度。进而,可以根据各个局部图像的目标局部部件的检测结果,较准确的确定待处理图像对应的部件缺失结果,提高了部件缺失检测的精准度。
一种可能的实施方式中,所述方法还包括:
在所述部件缺失结果指示为目标局部部件缺失的情况下,确定所述目标局部部件对应的缺失部件信息;
基于所述目标局部部件对应的所述缺失部件信息,生成针对所述目标局部部件的警示信息。
这里,在检测到待处理图像存在目标局部部件缺失时,可以确定目标局部部件对应的缺失部件信息,根据目标局部部件对应的缺失部件信息,生成针对目标局部部件的警示信息,警示信息的内容较为丰富和灵活,以便管理人员可以根据警示信息较精准的对接触网进行维护,提高接触网的运行安全性。
一种可能的实施方式中,所述基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像对应的目标特征图、以及所述待处理图像上预测存在的目标局部部件对应的初始位置信息;
基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
这里,可以先基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对待处理图像进行检测,比如进行初定位检测,得到待处理图像对应的目标特征图、以及待处理图像上预测存在的目标局部部件对应的初始位置信息;再基于初始位置信息和目标特征图进行重定位检测,得到待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别;通过多次检测过程,使得生成的绝对位置信息较为准确。
一种可能的实施方式中,所述基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第一特征提取,得到第一目标局部特征图;
基于所述第一目标局部特征图,对所述初始位置信息进行调整,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息;以及
基于所述第一目标局部特征图,确定所述目标局部部件的第一类别。
这里,基于初始位置信息,从目标特征图中截取目标局部部件对应的局部特征图,该局部特征图中目标局部部件的特征信息占比较大,再对局部特征图进行至少一次第一特征提取,得到第一目标局部特征图,基于第一目标局部特征图,能够较准确的得到目标局部部件的绝对位置信息和第一类别。
一种可能的实施方式中,在所述获取接触网对应的待处理图像之后,所述方法还包括:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别;
所述方法还包括:
在检测到所述部件缺失结果指示为所述目标局部部件缺失的情况下,基于所述目标局部部件与所属的目标结构化部件之间的相对位置信息、所述目标局部部件的绝对位置信息、所述目标局部部件的第一类别、和所述目标结构化部件的第二类别中的至少一种信息,确定所述目标局部部件对应的缺失部件信息。
这里,缺失部件信息的内容较为丰富,后续基于目标局部部件对应的缺失部件信息,生成针对目标局部部件的警示信息时,使得生成的警示信息能够较为精准的对缺失的目标局部部件进行报告,便于管理人员对缺失的目标局部部件的维护。
一种可能实施方式中,所述基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别,包括:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的初始相对位置信息;
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第二特征提取,得到第二目标局部特征图;
基于所述第二目标局部特征图,对所述初始相对位置信息进行调整,得到所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息;以及
基于所述第二目标局部特征图,确定所述目标结构化部件的第二类别。
一种可能的实施方式中,在获取接触网对应的待处理图像之后,所述方法还包括:
对所述待处理图像的亮度进行调整,生成调整后的待处理图像;
所述基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述调整后的待处理图像进行检测,得到所述调整后的待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
为了缓解待处理图像可能存在的曝光不足的问题,可以对待处理图像的亮度进行调整,生成调整后的待处理图像,以便后续能够对调整后的待处理图像进行目标检测,提高部件检测精准度。
一种可能的实施方式中,在所述待处理图像对应有所述接触网的目标线路标识的情况下,所述基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
从接触网所需要的不同线路标识分别对应的、预设局部部件与对应的预设结构化部件之间的预设相对位置信息中,确定与所述目标线路标识匹配的目标相对位置信息;
基于与所述目标线路标识匹配的、预设局部部件与对应的预设结构化部件之间的目标相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
考虑到不同线路段上结构化部件与包括的局部部件之间的结构关联关系可能不同,为了对各个线路段上接触网的局部部件进行较为精准的检测,可以设置线路标识,针对不同线路标识设置不同的预设相对位置信息。再可以根据待处理图像对应的接触网的目标线路标识,确定与目标线路标识匹配的目标相对位置信息,并基于目标相对位置信息,对待处理图像进行检测,较为准确的预测得到目标局部部件的绝对位置信息和第一类别。
一种可能的实施方式中,所述目标局部部件的绝对位置信息和第一类别为基于训练后的目标神经网络确定的;根据下述步骤训练得到所述目标神经网络:
获取接触网对应的包含标注数据的样本图像,所述标注数据包括至少一个局部部件的样本绝对位置信息、所述局部部件对应的第一样本类别、每个所述局部部件与所属的结构化部件之间的样本相对位置信息以及所述结构化部件对应的第二样本类别;
将所述样本图像输入至待训练神经网络中,得到所述样本图像对应的预测数据,其中,所述预测数据为与所述标注数据匹配的数据;
基于所述标注数据和所述预测数据,对所述待训练神经网络进行训练,直至训练后的神经网络收敛,得到所述目标神经网络。
这里,标注数据中可以包括至少一个局部部件的样本绝对位置信息、局部部件对应的第一样本类别、每个局部部件与所属的结构化部件之间的样本相对位置信息以及结构化部件对应的第二样本类别,标注数据的数据内容较丰富,且将相对位置信息和第二样本类别作为待训练神经网络的监督信号,再得到预测数据之后,基于标注数据和预测数据能够较准确的对待训练神经网络进行训练,提高训练得到的目标神经网络的性能。
以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。
第二方面,本公开提供了一种部件缺失检测装置,包括:
获取模块,用于获取接触网对应的待处理图像;
检测模块,用于基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;
确定模块,用于基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。
一种可能的实施方式中,所述确定模块,在基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果时,用于:
基于所述目标局部部件的绝对位置信息,从所述待处理图像中截取所述目标局部部件对应的局部图像;
基于所述目标局部部件的第一类别,对所述局部图像进行目标检测,确定所述局部图像中是否存在目标局部部件;
若检测到任一局部图像中不存在目标局部部件,则确定所述待处理图像对应的部件缺失结果为所述任一局部图像对应的目标局部部件缺失。
一种可能的实施方式中,所述装置还包括:警示模块,用于:
在所述部件缺失结果指示为目标局部部件缺失的情况下,确定所述目标局部部件对应的缺失部件信息;
基于所述目标局部部件对应的所述缺失部件信息,生成针对所述目标局部部件的警示信息。
一种可能的实施方式中,所述检测模块,在基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像对应的目标特征图、以及所述待处理图像上预测存在的目标局部部件对应的初始位置信息;
基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
一种可能的实施方式中,所述检测模块,在基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第一特征提取,得到第一目标局部特征图;
基于所述第一目标局部特征图,对所述初始位置信息进行调整,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息;以及
基于所述第一目标局部特征图,确定所述目标局部部件的第一类别。
一种可能的实施方式中,所述检测模块,还用于:基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别;
所述警示模块,还用于:在检测到所述部件缺失结果指示为所述目标局部部件缺失的情况下,基于所述目标局部部件与所属的目标结构化部件之间的相对位置信息、所述目标局部部件的绝对位置信息、所述目标局部部件的第一类别、和所述目标结构化部件的第二类别中的至少一种信息,确定所述目标局部部件对应的缺失部件信息。
一种可能的实施方式中,所述检测模块,在基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别时,用于:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的初始相对位置信息;
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第二特征提取,得到第二目标局部特征图;
基于所述第二目标局部特征图,对所述初始相对位置信息进行调整,得到所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息;以及
基于所述第二目标局部特征图,确定所述目标结构化部件的第二类别。
一种可能的实施方式中,在获取接触网对应的待处理图像之后,所述装置还包括:调整模块,用于:
对所述待处理图像的亮度进行调整,生成调整后的待处理图像;
所述检测模块,在基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述调整后的待处理图像进行检测,得到所述调整后的待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
一种可能的实施方式中,在所述待处理图像对应有所述接触网的目标线路标识的情况下,所述检测模块,在基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
从接触网所需要的不同线路标识分别对应的、预设局部部件与对应的预设结构化部件之间的预设相对位置信息中,确定与所述目标线路标识匹配的目标相对位置信息;
基于与所述目标线路标识匹配的、预设局部部件与对应的预设结构化部件之间的目标相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
一种可能的实施方式中,所述目标局部部件的绝对位置信息和第一类别为基于训练后的目标神经网络确定的;所述装置还包括训练模块,用于根据下述步骤训练得到所述目标神经网络:
获取接触网对应的包含标注数据的样本图像,所述标注数据包括至少一个局部部件的样本绝对位置信息、所述局部部件对应的第一样本类别、每个所述局部部件与所属的结构化部件之间的样本相对位置信息以及所述结构化部件对应的第二样本类别;
将所述样本图像输入至待训练神经网络中,得到所述样本图像对应的预测数据,其中,所述预测数据为与所述标注数据匹配的数据;
基于所述标注数据和所述预测数据,对所述待训练神经网络进行训练,直至训练后的神经网络收敛,得到所述目标神经网络。
第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的部件缺失检测方法的步骤。
第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的部件缺失检测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种部件缺失检测方法的流程示意图;
图2示出了本公开实施例所提供的一种部件缺失检测方法中,预设局部部件和预设结构化部件的检测框的示意图;
图3示出了本公开实施例所提供的另一种部件缺失检测方法的流程示意图;
图4示出了本公开实施例所提供的一种部件缺失检测装置的架构示意图;
图5示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
接触网检测和维护已成为高铁运营维护的重要内容。该高铁运营维护任务中包括检测接触网上的零部件(例如螺栓、螺母等)是否存在缺失的一项任务。一般的,通过具有先验知识的检测员对采集的接触网图像进行检测,确定接触网上是否存在部件缺失。但是,上述人工进行排查的方式,存在耗时较长、效率较低的问题,且易出现漏检情况。
为了提高接触网的缺失部件的检测效率和准确率,本公开实施例提供了一种部件缺失检测方法、装置、电子设备及存储介质。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种部件缺失检测方法进行详细介绍。本公开实施例所提供的部件缺失检测方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备。其中,服务器例如可以包括云端服务器、本地服务器;终端设备例如可以包括用户设备(UserEquipment,UE)、移动设备、计算设备等。在一些可能的实现方式中,该部件缺失检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例所提供的部件缺失检测方法的流程示意图,所述方法包括S101-S103,其中:
S101,获取接触网对应的待处理图像;
S102,基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;
S103,基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。
由于接触网上的结构化部件与包括的局部部件之间存在结构关联关系,因此可以通过预设结构化部件与其包括的预设局部部件之间的预设相对位置信息,对获取的待处理图像进行检测,得到待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别;其中,目标局部部件属于待处理图像包括的目标结构化部件的子部件,实现利用待处理图像包括的目标结构化部件,较准确和较高效的推理得到目标结构化部件上应存在的目标局部部件的绝对位置信息和目标局部部件的第一类别;再可以基于待处理图像、目标局部部件的绝对位置信息和第一类别,确定待处理图像对应的部件缺失结果,实现了部件缺失的自动检测,提高了部件缺失检测的效率和准确率,降低了漏检率。
下述对S101-S103进行具体说明。
针对S101:
示例性的,可以通过巡检车车顶上设置的高清成像设备采集接触网对应的待处理图像,进而执行主体能够获取接触网对应的待处理图像。具体的,接触网对应的待处理图像可以由4C巡检系统提供,该系统依靠巡检车对高铁线路进行巡视,当车上的传感装置检测到高铁线路立柱时,触发安装在巡检车顶部的不同方位的多组高清成像设备拍摄采集高铁线路图片(即接触网图片),从而保证在不误拍的同时尽可能避免拍摄死角。
实施时,在高清成像设备采集到接触网对应的图像之后,可以将接触网对应的图像中分辨率较低的图像筛掉,将筛选后的图像作为接触网对应的待处理图像。
其中,在采集接触网对应的待处理图像时,可以确定接触网对应的目标线路标识,将该目标线路标识与接触网对应的待处理图像关联。其中,接触网对应的目标线路标识可以根据实际情况进行设置。比如,目标线路标识可以为:京广铁路S11段等;或者,线路标识可以为:JGS11等。
一般的,为了避免影响铁路的正常作业,巡检车一般会在夜间进行巡视,并采集接触网对应的待处理图像,由于夜间光线较差,故待处理图像可能存在曝光不足的问题。基于此,本公开实施方式中,在获取接触网对应的待处理图像之后,所述方法还包括:对所述待处理图像的亮度进行调整,生成调整后的待处理图像。比如,可以使用gamma亮度增强、直方图均衡化等方式对待处理图像的亮度进行调整,生成调整后的待处理图像。进而在S102中,可以基于接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对调整后的待处理图像进行检测,得到调整后的待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别。
为了缓解待处理图像可能存在的曝光不足的问题,可以对待处理图像的亮度进行调整,生成调整后的待处理图像,以便后续能够对调整后的待处理图像进行目标检测,提高部件检测精准度。
针对S102:
接触网络所需要的预设局部部件和对应的预设结构化部件可以为:接触网正常工作所需要的、应该存在的各个结构化部件和每个结构化部件包括的局部部件。其中,预设结构化部件和预设局部部件可以根据实际情况进行设置,一般的,预设局部部件属于预设结构化部件的子部件。比如,预设局部部件可以包括以下至少一种:螺栓、螺母、开口销;预设结构化部件可以包括以下至少一种:柱顶盖板、柱顶底座、臂腕底座、压板金具、套管单耳、套管双耳。或者,预设局部部件可以为套管单耳、结构化部件可以为定位环;预设局部部件可以为绝缘子铁模压板、结构化部件可以为绝缘子金具等。
由于在接触网上预设局部部件与所属的预设结构化部件之间的相对位置关系是确定的,比如,针对预设结构化部件:柱顶盖板;该柱顶盖板上存在有螺母,该螺母与柱顶盖板之间的相对位置关系是确定的。因此,可以针对接触网上的各个预设结构化部件,提取确定每个预设结构化部件包括的预设局部部件、与该预设结构化部件之间的预设相对位置信息,得到接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息。
预设相对位置信息可以包括:预设局部部件的第一检测框的每条边与预设结构化部件的第二检测框上对应边的距离、和第二检测框的尺寸之间的比例。由图2可知,该图中包括预设局部部件的第一检测框21和预设结构化部件的第二检测框22,第一检测框22的上侧边与第二检测框22的上侧边之间的距离为y1,第一检测框22的下侧边与第二检测框22的下侧边之间的距离为y2,第一检测框22的左侧边与第二检测框22的左侧边之间的距离为x1,第一检测框22的右侧边与第二检测框22的右侧边之间的距离为x2;则预设相对位置信息可以包括[x1/w,y1/h,x2/w,y2/h]。
示例性的,可以根据对待处理图像进行目标检测,确定待处理图像中包括的目标结构化部件,再根据预设结构化部件包括的预设局部部件与预设结构化部件之间的预设相对位置信息,确定待处理图像中包括的目标结构化部件上应该存在的目标局部部件的绝对位置信息,以及确定该目标局部部件的第一类别。
或者,也可以获取样本图像,该样本图像关联有预设局部部件与所属预设结构化部件之间的预设相对位置信息;利用该样本图像训练得到目标神经网络;再利用训练得到的目标神经网络,对待处理图像进行检测,根据检测到的目标结构化部件的至少部分特征信息,确定待处理图像中应该存在的目标局部部件的绝对位置信息和目标局部部件的第一类别。
由于利用了预设相对位置信息训练目标神经网络,使得目标神经网络能够根据检测到的目标结构化部件的至少部分特征信息和预设相对位置信息,确定目标局部部件的绝对位置信息和第一类别。
其中,待处理图像中应该存在的目标局部部件为:接触网正常工作所需的局部部件,但是应该存在的目标局部部件在待处理图像中可能是存在的,也可能是不存在的。
在待处理图像中不存在目标局部部件时(即待处理图像中该目标局部部件是缺失的),也可以根据目标结构化部件的至少部分特征信息和预设相对位置信息,得到待处理图像中应存在的目标局部部件的绝对位置信息和第一类别。目标局部部件的绝对位置信息可以包括目标局部部件的检测框的中心点的坐标信息、检测框的尺寸、检测框的四个顶点的坐标信息等。
在高铁线路中,不同的线路段上同一目标结构化部件的结构、尺寸等可能存在差异;比如,第一线路段包括的目标结构化部件一中可能包括开口销,而第二线路段包括的目标结构化部件二中可能包括螺栓;或者,第一线路段上目标局部部件位于目标结构化部件的右上角,而第二线路段上目标局部部件位于目标结构化部件的左上角,即第一线路段和第二线路段上目标局部部件与所属的目标结构化部件之间的相对位置信息不同。
基于此,一种可选实施方式中,在待处理图像对应有接触网的目标线路标识的情况下,基于接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对待处理图像进行检测,得到待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,可以包括:
步骤A1,从接触网所需要的不同线路标识分别对应的、预设局部部件与对应的预设结构化部件之间的预设相对位置信息中,确定与所述目标线路标识匹配的目标相对位置信息;
步骤A2,基于与所述目标线路标识匹配的、预设局部部件与对应的预设结构化部件之间的目标相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
实施时,可以针对每个线路标识,确定该线路标识下预设局部部件与所属的预设结构化部件之间的预设相对位置信息,得到不同线路标识分别对应的、预设局部部件与所属的预设结构化部件之间的预设相对位置关系。再可以根据待处理图像关联的目标线路标识,确定与目标线路标识匹配的目标相对位置关系。
比如,如线路标识包括线路标识1、线路标识2、和线路标识3。其中,线路标识1对应有:预设局部部件与所属的预设结构化部件1之间的预设相对位置信息1;预设局部部件与所属的预设结构化部件2之间的预设相对位置信息2。线路标识2对应有:预设局部部件与所属的预设结构化部件1之间的预设相对位置信息3;预设局部部件与所属的预设结构化部件2之间的预设相对位置信息2。线路标识3对应有:预设局部部件与所属的预设结构化部件1之间的预设相对位置信息4;预设局部部件与所属的预设结构化部件2之间的预设相对位置信息5。
在目标线路标识为线路标识3时,可以将预设局部部件与所属的预设结构化部件1之间的预设相对位置信息4;预设局部部件与所属的预设结构化部件2之间的预设相对位置信息5,确定为与目标线路标识匹配的目标相对位置信息。
再可以基于与目标线路标识匹配的目标相对位置关系,对待处理图像进行检测,得到待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别。
考虑到不同线路段上结构化部件与包括的局部部件之间的结构关联关系可能不同,为了对各个线路段上接触网的局部部件进行较为精准的检测,可以设置线路标识,针对不同线路标识设置不同的预设相对位置信息。再可以根据待处理图像对应的接触网的目标线路标识,确定与目标线路标识匹配的目标相对位置信息,并基于目标相对位置信息,对待处理图像进行检测,较为准确的预测得到目标局部部件的绝对位置信息和第一类别。
一种可选实施方式中,所述基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,可以包括:
步骤B1,基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对待处理图像进行检测,得到待处理图像对应的目标特征图、以及待处理图像上预测存在的目标局部部件对应的初始位置信息;
步骤B2,基于初始位置信息和目标特征图,得到待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别。
这里,可以先基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对待处理图像进行检测,比如进行初定位检测,得到待处理图像对应的目标特征图、以及待处理图像上预测存在的目标局部部件对应的初始位置信息;再基于初始位置信息和目标特征图进行重定位检测,得到待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别;通过多次检测过程,使得生成的绝对位置信息较为准确。
本公开实施方式中,可以基于关联有预设相对位置信息的训练样本,训练得到目标神经网络;利用目标神经网络对待处理图像进行检测,生成待处理图像对应的目标特征图,以及得到待处理图像上预测存在的目标局部部件对应的初始位置信息。其中,初始位置信息可以包括目标局部部件的样本框在目标特征图上的坐标信息。该目标特征图可以为目标神经网络对待处理图像进行多次特征提取后生成的特征图。
再可以利用初始位置信息和目标特征图,得到待处理图像中预测存在的目标局部部件的绝对位置信息和目标局部部件的第一类别。
一种可选实施方式中,步骤B2中,所述基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,可以包括:
步骤B21,基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
步骤B22,对所述局部特征图进行至少一次第一特征提取,得到第一目标局部特征图;
步骤B23,基于所述第一目标局部特征图,对所述初始位置信息进行调整,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息;以及,基于所述第一目标局部特征图,确定所述目标局部部件的第一类别。
实施时,可以根据初始位置信息,从目标特征图中截取目标局部部件对应的局部特征图。再可以利用目标神经网络对局部特征图进行一次或多次第一特征提取,得到第一目标局部特征图。再基于第一目标局部特征图,对初始位置信息进行调整,得到待处理图像中预测存在的目标局部部件的绝对位置信息;以及,基于第一目标局部特征图确定目标局部部件的第一类别。
这里,基于初始位置信息,从目标特征图中截取目标局部部件对应的局部特征图,该局部特征图中目标局部部件的特征信息占比较大,再对局部特征图进行至少一次第一特征提取,得到第一目标局部特征图,基于第一目标局部特征图,能够较准确的得到目标局部部件的绝对位置信息和第一类别。
一种可选实施方式中,在获取接触网对应的待处理图像之后,所述方法还包括:基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别。
实施时,在获取到接触网对应的待处理图像之后,可以根据预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对待处理图像进行检测,确定待处理图像中预测存在的目标局部部件与所属的目标结构化部件之间的相对位置信息,和该目标结构化部件对应的第二类别。
一种可能实施方式中,所述基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别,可以包括:
步骤一、基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的初始相对位置信息;
步骤二、基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
步骤三、对所述局部特征图进行至少一次第二特征提取,得到第二目标局部特征图;
步骤四、基于所述第二目标局部特征图,对所述初始相对位置信息进行调整,得到所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息;以及基于所述第二目标局部特征图,确定所述目标结构化部件的第二类别。
实施时,可以在目标神经网络中设置主干网络、和与主干网络相连的两路网络检测分支。将待处理图像输入至目标神经网络中,主干网络对待处理图像进行特征提取,生成中间特征图。再将中间特征图分别输入至两路网络检测分支。
第一路检测分支可以对中间特征图进行检测,得到待处理图像对应的目标特征图、以及待处理图像上预测存在的目标局部部件对应的初始位置信息;第二路检测分支可以对中间特征图进行检测,确定待处理图像中预测存在的目标局部部件与所属的目标结构化部件之间的初始相对位置信息。
其中,初始相对位置信息可以为:[x11/w1,y11/h1,x21/w1,y21/h1],x11为目标局部部件检测框的左侧边距离目标结构化部件检测框的左侧边的第一距离;y11为目标局部部件检测框的上侧边距离目标结构化部件检测框的上侧边的第二距离;x21为目标局部部件检测框的右侧边距离目标结构化部件检测框的右侧边的第三距离;y21为目标局部部件检测框的下侧边距离目标结构化部件检测框的下侧边的第四距离;w1为目标结构化部件检测框的宽度;h1为目标结构化部件检测框的高度。
还可以基于目标局部部件的初始位置信息,从目标特征图中截取目标局部部件对应的局部特征图。
利用目标神经网络中的第一路检测分支对局部特征图进行至少一次第一特征提取,得到第一目标局部特征图;再利用第一目标局部特征图对初始位置信息进行调整,得到待处理图像中预测存在的目标局部部件的绝对位置信息;以及基于第一目标局部特征图,确定目标局部部件的第一类别。
利用目标神经网络中的第二路检测分支对局部特征图进行至少一次第二特征提取,得到第二目标局部特征图;再利用第二目标局部特征图,对初始相对位置信息进行调整,得到待处理图像中预测存在的目标局部部件与所属的目标结构化部件之间的相对位置信息;以及基于第二目标局部特征图,确定目标结构化部件的第二类别。
进而该方法还包括:在检测到部件缺失结果指示为目标局部部件缺失的情况下,基于目标局部部件与所属的目标结构化部件之间的相对位置信息、目标局部部件的绝对位置信息、目标局部部件的第一类别、和目标结构化部件的第二类别中的至少一种信息,确定目标局部部件对应的缺失部件信息。
可以将相对位置信息、绝对位置信息、第一类别和第二类别,确定为目标局部部件对应的缺失部件信息。缺失部件信息可以根据需要进行选取,比如,缺失部件信息中还可以包括目标线路标识。
这里,缺失部件信息的内容较为丰富,后续基于目标局部部件对应的缺失部件信息,生成针对目标局部部件的警示信息时,使得生成的警示信息能够较为精准的对缺失的目标局部部件进行报告,便于管理人员对缺失的目标局部部件的维护。
针对S103:
实施时,可以根据目标局部部件的绝对位置信息,确定待处理图像中与该绝对位置信息匹配的位置处、是否存在与第一类别对应的物体;若存在,则确定待处理图像对应的部件缺失结果为不缺失;若不存在,则确定待处理图像对应的部件缺失结果为缺失。
一种可选实施方式中,所述基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果,包括:
步骤C1,基于所述目标局部部件的绝对位置信息,从所述待处理图像中截取所述目标局部部件对应的局部图像;
步骤C2,基于所述目标局部部件的第一类别,对所述局部图像进行目标检测,确定所述局部图像中是否存在目标局部部件;
步骤C3,若检测到任一局部图像中不存在目标局部部件,则确定所述待处理图像对应的部件缺失结果为所述任一局部图像对应的目标局部部件缺失。
可以根据目标局部部件的绝对位置信息,从待处理图像中截取目标局部部件对应的局部图像。再可以基于目标局部部件的第一类别,确定该目标局部部件对应的部件检测神经网络;并利用该目标局部部件对应的部件检测神经网络,对局部图像进行目标检测,确定局部图像中是否存在目标局部部件,得到局部图像对应的检测结果。比如局部图像存在目标局部部件的第一检测结果、或局部图像不存在目标局部部件的第二检测结果。
在预设局部部件包括开口销、螺栓、螺母时,可以训练得到:开口销对应的部件检测神经网络,该神经网络用于检测图像中是否存在开口销;螺栓对应的部件检测神经网络,该神经网络用于检测图像中是否存在螺栓;螺母对应的部件检测神经网络,该神经网络用于检测图像中是否存在螺母。比如若目标局部局部的第一类别是开口销,则可以选取开口销对应的部件检测神经网络,利用该开口销对应的部件检测神经网络,对局部图像进行目标检测,确定局部图像中是否存在目标局部部件,得到局部图像对应的检测结果。
在局部图像的数量为多个时,若每个局部图像中均存在目标局部部件时,确定待处理图像对应的部件缺失结果为不存在部件缺失。若检测到任一局部图像不存在目标局部部件时,确定待处理图像对应的部件缺失结果为:任一局部图像对应的目标局部部件缺失。比如,部件缺失结果可以为:目标局部部件一缺失。
上述实施方式中,通过基于目标局部部件的绝对位置信息,从待处理图像中截取目标局部部件对应的局部图像,将待处理图像中除局部图像之外的其他图像信息筛除,避免了其他图像信息对目标局部部件的检测造成干扰,提高了对局部图像进行目标检测时目标局部部件的检测精准度。进而,可以根据各个局部图像的目标局部部件的检测结果,较准确的确定待处理图像对应的部件缺失结果,提高了部件缺失检测的精准度。
一种可选实施方式中,所述方法还包括:在所述部件缺失结果指示为目标局部部件缺失的情况下,确定所述目标局部部件对应的缺失部件信息;并基于所述目标局部部件对应的所述缺失部件信息,生成针对所述目标局部部件的警示信息。
实施时,若部件缺失结果指示为目标局部部件缺失时,可以确定目标局部部件对应的缺失部件信息,比如缺失部件信息可以包括目标局部部件的绝对位置信息、目标局部部件的第一类别、目标局部部件所属的目标结构化部件的第二类别、目标局部部件与所属的目标结构化部件之间的相对位置信息、目标局部部件所处的接触网的目标线路标识等。
再可以根据目标局部部件对应的缺失部件信息,生成针对目标局部部件的警示信息。比如,警示信息可以为“JGS11-柱顶盖板上的螺母缺失”等。
这里,在检测到待处理图像存在目标局部部件缺失时,可以确定目标局部部件对应的缺失部件信息,根据目标局部部件对应的缺失部件信息,生成针对目标局部部件的警示信息,警示信息的内容较为丰富和灵活,以便管理人员可以根据警示信息较精准的对接触网进行维护,提高接触网的运行安全性。
一种可选实施方式中,所述目标局部部件的绝对位置信息和第一类别为基于训练后的目标神经网络确定的;根据下述步骤训练得到所述目标神经网络:
步骤D1,获取接触网对应的包含标注数据的样本图像,所述标注数据包括至少一个局部部件的样本绝对位置信息、所述局部部件对应的第一样本类别、每个所述局部部件与所属的结构化部件之间的样本相对位置信息以及所述结构化部件对应的第二样本类别;
步骤D2,将所述样本图像输入至待训练神经网络中,得到所述样本图像对应的预测数据,其中,所述预测数据为与所述标注数据匹配的数据;
步骤D3,基于所述标注数据和所述预测数据,对所述待训练神经网络进行训练,直至训练后的神经网络收敛,得到所述目标神经网络。
实施时,可以将样本图像输入至待训练神经网络中,得到样本图像对应的预测数据,其中预测数据中包括的数据类型与标注数据一致。即预测数据中可以包括预测得到的至少一个局部部件的预测绝对位置信息、局部部件对应的第一预测类别、每个局部部件与所属的结构化部件之间的预测相对位置信息、结构化部件对应的第二预测类别。
再可以根据标注数据和预测数据,确定待训练神经网络的损失值,根据该损失值调整待训练神经网络的网络参数,直至训练后的神经网络(即参数调整后的神经网络)收敛,得到目标神经网络。
一般的,传统的神经网络是通过所见即所得的视觉特征,对图像进行检测,即传统的神经网络是对图像进行检测,得到图像中包含的对象信息。而本公开提出的目标神经网络是在检测到结构化部件之后,根据结构化部件和包括的局部部件之间的结构关联关系,反向推理得到图像上结构化部件中本应该存在的局部部件的位置信息和类别;再可以对图像进行目标检测,若图像中包含有本应该存在的局部部件时,则局部部件不存在缺失;若图像中不包含本应该存在的局部部件时,则局部部件存在缺失,实现了对图像上部件缺失的自动检测,将神经网络应用于部件缺失检测场景中,提高了部件缺失检测的效率和准确率。
这里,标注数据中可以包括至少一个局部部件的样本绝对位置信息、局部部件对应的第一样本类别、每个局部部件与所属的结构化部件之间的样本相对位置信息以及结构化部件对应的第二样本类别,标注数据的数据内容较丰富,且将相对位置信息和第二样本类别作为待训练神经网络的监督信号,再得到预测数据之后,基于标注数据和预测数据能够较准确的对待训练神经网络进行训练,提高训练得到的目标神经网络的性能。
示例性的,结合图3对部件缺失检测方法进行具体说明。该方法可以包括:
S301,获取接触网对应的待处理图像。
S302,对所述待处理图像的亮度进行调整,生成调整后的待处理图像。
S303,利用训练得到目标神经网络,对待处理图像进行第一路检测,得到待处理图像对应的目标特征图、以及待处理图像上预测存在的目标局部部件对应的初始位置信息。
S304,利用训练得到目标神经网络,对待处理图像进行第二路检测,得到待处理图像中预测存在的目标局部部件与所属的目标结构化部件之间的初始相对位置信息。
S305,基于初始位置信息,从目标特征图中截取目标局部部件对应的局部特征图。
S306,一、对局部特征图进行至少一次第一特征提取,得到第一目标局部特征图;基于第一目标局部特征图,对初始位置信息进行调整,得到待处理图像中预测存在的目标局部部件的绝对位置信息;以及基于第一目标局部特征图,确定目标局部部件的第一类别;二、对局部特征图进行至少一次第二特征提取,得到第二目标局部特征图;基于第二目标局部特征图,对初始相对位置信息进行调整,得到待处理图像中预测存在的目标局部部件与所属的目标结构化部件之间的相对位置信息;以及基于第二目标局部特征图,确定目标结构化部件的第二类别。
S307,基于目标局部部件的绝对位置信息,从待处理图像中截取目标局部部件对应的局部图像。
S308,基于目标局部部件的第一类别,对局部图像进行目标检测,确定局部图像中是否存在目标局部部件。
S309,若检测到任一局部图像中不存在目标局部部件,则确定待处理图像对应的部件缺失结果为任一局部图像对应的目标局部部件缺失;若检测到每个局部图像中均存在目标局部部件,则确定待处理图像对应的部件缺失结果为不存在部件缺失。
S310,在部件缺失结果指示为目标局部部件缺失的情况下,确定目标局部部件对应的缺失部件信息;并基于目标局部部件对应的缺失部件信息,生成针对目标局部部件的警示信息。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思,本公开实施例还提供了一种部件缺失检测装置,参见图4所示,为本公开实施例提供的部件缺失检测装置的架构示意图,包括获取模块401、检测模块402、确定模块403,具体的:
获取模块401,用于获取接触网对应的待处理图像;
检测模块402,用于基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;
确定模块403,用于基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。
一种可能的实施方式中,所述确定模块403,在基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果时,用于:
基于所述目标局部部件的绝对位置信息,从所述待处理图像中截取所述目标局部部件对应的局部图像;
基于所述目标局部部件的第一类别,对所述局部图像进行目标检测,确定所述局部图像中是否存在目标局部部件;
若检测到任一局部图像中不存在目标局部部件,则确定所述待处理图像对应的部件缺失结果为所述任一局部图像对应的目标局部部件缺失。
一种可能的实施方式中,所述装置还包括:警示模块404,用于:
在所述部件缺失结果指示为目标局部部件缺失的情况下,确定所述目标局部部件对应的缺失部件信息;
基于所述目标局部部件对应的所述缺失部件信息,生成针对所述目标局部部件的警示信息。
一种可能的实施方式中,所述检测模块402,在基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像对应的目标特征图、以及所述待处理图像上预测存在的目标局部部件对应的初始位置信息;
基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
一种可能的实施方式中,所述检测模块402,在基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第一特征提取,得到第一目标局部特征图;
基于所述第一目标局部特征图,对所述初始位置信息进行调整,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息;以及
基于所述第一目标局部特征图,确定所述目标局部部件的第一类别。
一种可能的实施方式中,所述检测模块402,还用于:基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别;
所述警示模块404,还用于:在检测到所述部件缺失结果指示为所述目标局部部件缺失的情况下,基于所述目标局部部件与所属的目标结构化部件之间的相对位置信息、所述目标局部部件的绝对位置信息、所述目标局部部件的第一类别、和所述目标结构化部件的第二类别中的至少一种信息,确定所述目标局部部件对应的缺失部件信息。
一种可能的实施方式中,所述检测模块402,在基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别时,用于:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的初始相对位置信息;
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第二特征提取,得到第二目标局部特征图;
基于所述第二目标局部特征图,对所述初始相对位置信息进行调整,得到所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息;以及
基于所述第二目标局部特征图,确定所述目标结构化部件的第二类别。
一种可能的实施方式中,在获取接触网对应的待处理图像之后,所述装置还包括:调整模块405,用于:
对所述待处理图像的亮度进行调整,生成调整后的待处理图像;
所述检测模块402,在基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述调整后的待处理图像进行检测,得到所述调整后的待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
一种可能的实施方式中,在所述待处理图像对应有所述接触网的目标线路标识的情况下,所述检测模块402,在基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别时,用于:
从接触网所需要的不同线路标识分别对应的、预设局部部件与对应的预设结构化部件之间的预设相对位置信息中,确定与所述目标线路标识匹配的目标相对位置信息;
基于与所述目标线路标识匹配的、预设局部部件与对应的预设结构化部件之间的目标相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
一种可能的实施方式中,所述目标局部部件的绝对位置信息和第一类别为基于训练后的目标神经网络确定的;所述装置还包括训练模块406,用于根据下述步骤训练得到所述目标神经网络:
获取接触网对应的包含标注数据的样本图像,所述标注数据包括至少一个局部部件的样本绝对位置信息、所述局部部件对应的第一样本类别、每个所述局部部件与所属的结构化部件之间的样本相对位置信息以及所述结构化部件对应的第二样本类别;
将所述样本图像输入至待训练神经网络中,得到所述样本图像对应的预测数据,其中,所述预测数据为与所述标注数据匹配的数据;
基于所述标注数据和所述预测数据,对所述待训练神经网络进行训练,直至训练后的神经网络收敛,得到所述目标神经网络。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图5所示,为本公开实施例提供的电子设备的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当电子设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
获取接触网对应的待处理图像;
基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;
基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。
其中,处理器501的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的部件缺失检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的部件缺失检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种部件缺失检测方法,其特征在于,包括:
获取接触网对应的待处理图像;
基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;
基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果,包括:
基于所述目标局部部件的绝对位置信息,从所述待处理图像中截取所述目标局部部件对应的局部图像;
基于所述目标局部部件的第一类别,对所述局部图像进行目标检测,确定所述局部图像中是否存在目标局部部件;
若检测到任一局部图像中不存在目标局部部件,则确定所述待处理图像对应的部件缺失结果为所述任一局部图像对应的目标局部部件缺失。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在所述部件缺失结果指示为目标局部部件缺失的情况下,确定所述目标局部部件对应的缺失部件信息;
基于所述目标局部部件对应的所述缺失部件信息,生成针对所述目标局部部件的警示信息。
4.根据权利要求1~3任一所述的方法,其特征在于,所述基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像对应的目标特征图、以及所述待处理图像上预测存在的目标局部部件对应的初始位置信息;
基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
5.根据权利要求4所述的方法,其特征在于,所述基于所述初始位置信息和所述目标特征图,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第一特征提取,得到第一目标局部特征图;
基于所述第一目标局部特征图,对所述初始位置信息进行调整,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息;以及
基于所述第一目标局部特征图,确定所述目标局部部件的第一类别。
6.根据权利要求4或5所述的方法,其特征在于,在所述获取接触网对应的待处理图像之后,所述方法还包括:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别;
所述方法还包括:
在检测到所述部件缺失结果指示为所述目标局部部件缺失的情况下,基于所述目标局部部件与所属的目标结构化部件之间的相对位置信息、所述目标局部部件的绝对位置信息、所述目标局部部件的第一类别、和所述目标结构化部件的第二类别中的至少一种信息,确定所述目标局部部件对应的缺失部件信息。
7.根据权利要求6所述的方法,所述基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息、和所述目标结构化部件对应的第二类别,包括:
基于预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,确定所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的初始相对位置信息;
基于所述初始位置信息,从所述目标特征图中截取所述目标局部部件对应的局部特征图;
对所述局部特征图进行至少一次第二特征提取,得到第二目标局部特征图;
基于所述第二目标局部特征图,对所述初始相对位置信息进行调整,得到所述待处理图像中预测存在的所述目标局部部件与所属的目标结构化部件之间的相对位置信息;以及
基于所述第二目标局部特征图,确定所述目标结构化部件的第二类别。
8.根据权利要求1~7任一所述的方法,其特征在于,在获取接触网对应的待处理图像之后,所述方法还包括:
对所述待处理图像的亮度进行调整,生成调整后的待处理图像;
所述基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述调整后的待处理图像进行检测,得到所述调整后的待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
9.根据权利要求1~8任一所述的方法,其特征在于,在所述待处理图像对应有所述接触网的目标线路标识的情况下,所述基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别,包括:
从接触网所需要的不同线路标识分别对应的、预设局部部件与对应的预设结构化部件之间的预设相对位置信息中,确定与所述目标线路标识匹配的目标相对位置信息;
基于与所述目标线路标识匹配的、预设局部部件与对应的预设结构化部件之间的目标相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别。
10.根据权利要求1~9任一所述的方法,其特征在于,所述目标局部部件的绝对位置信息和第一类别为基于训练后的目标神经网络确定的;根据下述步骤训练得到所述目标神经网络:
获取接触网对应的包含标注数据的样本图像,所述标注数据包括至少一个局部部件的样本绝对位置信息、所述局部部件对应的第一样本类别、每个所述局部部件与所属的结构化部件之间的样本相对位置信息以及所述结构化部件对应的第二样本类别;
将所述样本图像输入至待训练神经网络中,得到所述样本图像对应的预测数据,其中,所述预测数据为与所述标注数据匹配的数据;
基于所述标注数据和所述预测数据,对所述待训练神经网络进行训练,直至训练后的神经网络收敛,得到所述目标神经网络。
11.一种部件缺失检测装置,其特征在于,包括:
获取模块,用于获取接触网对应的待处理图像;
检测模块,用于基于所述接触网所需要的预设局部部件与对应的预设结构化部件之间的预设相对位置信息,对所述待处理图像进行检测,得到所述待处理图像中预测存在的目标局部部件的绝对位置信息和所述目标局部部件的第一类别;其中,所述目标局部部件属于所述待处理图像包括的目标结构化部件的子部件;
确定模块,用于基于所述待处理图像、所述目标局部部件的所述绝对位置信息和所述第一类别,确定所述待处理图像对应的部件缺失结果。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的部件缺失检测方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的部件缺失检测方法的步骤。
CN202111672474.7A 2021-12-31 2021-12-31 部件缺失检测方法、装置、电子设备及存储介质 Pending CN114299054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111672474.7A CN114299054A (zh) 2021-12-31 2021-12-31 部件缺失检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111672474.7A CN114299054A (zh) 2021-12-31 2021-12-31 部件缺失检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114299054A true CN114299054A (zh) 2022-04-08

Family

ID=80974794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111672474.7A Pending CN114299054A (zh) 2021-12-31 2021-12-31 部件缺失检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114299054A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821478A (zh) * 2022-05-05 2022-07-29 北京容联易通信息技术有限公司 一种基于视频智能分析的工序流程检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821478A (zh) * 2022-05-05 2022-07-29 北京容联易通信息技术有限公司 一种基于视频智能分析的工序流程检测方法及系统
CN114821478B (zh) * 2022-05-05 2023-01-13 北京容联易通信息技术有限公司 一种基于视频智能分析的工序流程检测方法及系统

Similar Documents

Publication Publication Date Title
WO2021036636A1 (zh) 升降设备的振动检测方法、装置、服务器及存储介质
JP4724247B2 (ja) 家屋異動判定方法、家屋異動判定プログラム、家屋異動判定用画像生成方法、及び家屋異動判定用画像
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
Do et al. Automatic license plate recognition using mobile device
CN116168351B (zh) 电力设备巡检方法及装置
US9824289B2 (en) Exploiting color for license plate recognition
CN114374760A (zh) 图像测试方法、装置、计算机设备及计算机可读存储介质
CN114299054A (zh) 部件缺失检测方法、装置、电子设备及存储介质
CN111126493B (zh) 深度学习模型的训练方法、装置、电子设备及存储介质
JP2014016710A (ja) 対象物検出装置及びプログラム
CN111079752A (zh) 识别红外图像中的断路器的方法、装置及可读存储介质
CN116311205A (zh) 车牌识别方法、车牌识别装置、电子设备及存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN112634382B (zh) 一种非自然对象的图像识别、替换方法和装置
JP2019082916A (ja) 判定装置、判定方法および判定プログラム
JPWO2018110377A1 (ja) 映像監視装置
CN113191336A (zh) 基于图像识别的电力隐患识别方法及系统
KR20160119997A (ko) 물고기 영상의 특징 정보 추출 방법 및 물고기 영상의 특징 정보를 이용한 물고기 식별 방법
CN110740256A (zh) 门铃摄像头协作方法及相关产品
CN115601606B (zh) 一种门店状态检测方法、装置、设备及存储介质
WO2023171205A1 (ja) 外観検査システム、外観検査方法、及びプログラム
CN117218162B (zh) 一种基于ai的全景追踪控视系统
CN113365027B (zh) 视频处理方法及装置、电子设备和存储介质
JP7419838B2 (ja) 電力設備の調査要否判定装置、及び調査要否判定方法
CN112730427B (zh) 一种基于机器视觉的产品表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination