CN115294447A - 一种工具核验方法、系统、计算机设备及存储介质 - Google Patents

一种工具核验方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN115294447A
CN115294447A CN202210785524.0A CN202210785524A CN115294447A CN 115294447 A CN115294447 A CN 115294447A CN 202210785524 A CN202210785524 A CN 202210785524A CN 115294447 A CN115294447 A CN 115294447A
Authority
CN
China
Prior art keywords
image
detected
tool
standard
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210785524.0A
Other languages
English (en)
Inventor
樊晓东
孟俊华
樊晓莉
张宜霞
杨维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kuanyan Hebei Intelligent Equipment Co ltd
Original Assignee
Kuanyan Hebei Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kuanyan Hebei Intelligent Equipment Co ltd filed Critical Kuanyan Hebei Intelligent Equipment Co ltd
Priority to CN202210785524.0A priority Critical patent/CN115294447A/zh
Publication of CN115294447A publication Critical patent/CN115294447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于运营隧道的日常检测维修技术领域,公开了一种工具核验方法、系统、计算机设备及存储介质,从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;待检测工具为作业人员带出作业区域的工具;依次在多个特征维度,确定待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;根据最后一个特征维度的相似度比对结果,从标准图像库中确定所述作业人员未从作业区域带回的工具。对待检测图像和标准图像进行相似度比对,根据相似度比对结果确定作业人员未从作业区域带回的工具,无论工具尺寸何种大小均采用图像相似度比对算法核验,且不需要为工具加装额外的设备,经济成本较低。

Description

一种工具核验方法、系统、计算机设备及存储介质
技术领域
本发明属于运营隧道的日常检测维修技术领域,尤其涉及一种工具核验方法、系统、计算机设备及存储介质。
背景技术
随着隧道的运行时间逐渐变长,以混凝土材料为主的隧道结构出现渗漏水或者裂缝、剥落等表观缺陷,都是无法避免的病害现象。因此,对隧道结构的维护是为保障隧道交通长期稳定运行的必要手段。
目前运营隧道的日常检测维修工作,大多离不开人工作业。然而,实际的维修过程中使用的工具种类与数量较多,且人工作业大多在夜间进行,照明条件较差,视野范围有限,极易造成所使用工具的清点错误和遗失现象。这对列车的安全运行造成极大的隐患,危及交通运行安全和司乘人员安全。因此,确保作业人员将维修工具全部从作业区域带出,是保障列车运行安全的重要因素。
发明人在研究相关技术过程中发现,有人提出一种基于RFID的工具设备管理系统,使用RFID射频模块用于对贴有RFID标签的工具进行入网记录与出网核对,以确保工具的全部带离。然而,RFID芯片的抗干扰性较差、读取距离较短,同时也受限于工具的尺寸。很多工具的尺寸过小,不可能再为其加装任何额外设备。并且,对所有的设备加装RFID管理系统,需要投入巨大的财力,经济成本过高。
发明内容
针对现有技术存在的问题,本发明提供了一种工具核验方法、系统、计算机设备及存储介质。
本发明是这样实现的,一种工具核验方法,所述工具核验方法包括:从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具;依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。
进一步,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具;
所述依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,包括:依次在图像颜色特征维度、图像梯度方向特征维度、图像轮廓特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度。
进一步,所述依次在图像颜色特征维度、图像梯度特征维度、图像轮廓特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,包括:
在图像颜色特征维度,逐个确定所述待检测图像库中的每个待检测图像与标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第一相似度值;
确定所述待检测图像对应的多个第一相似度值是否满足第一预设条件;
将满足所述第一预设条件的第一相似度值对应的第一待检测图像从所述待检测图像库中去除,得到第一待检测图像库;并将与所述第一待检测图像最相似的标准图像从所述标准图像库中去除,得到第一标准图像库;
在图像梯度特征维度,逐个确定所述第一待检测图像库中的每个待检测图像与第一标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第二相似度值;
确定所述待检测图像对应的多个第二相似度值是否满足第二预设条件;
将满足所述第二预设条件的第二相似度值对应的第二待检测图像从所述第一待检测图像库中去除,得到第二待检测图像库;并将与所述第二待检测图像最相似的标准图像从所述第一标准图像库中去除,得到第二标准图像库;
在图像轮廓特征维度,逐个确定所述第二待检测图像库中的每个待检测图像与第二标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第三相似度值。
进一步,所述根据在最后一个特征维度的相似度比对结果,确定所述作业人员未从所述作业区域带回的工具,包括:
根据在最后一个特征维度的相似度比对结果,得到多个第N相似度值;
确定所述第N相似度值是否满足第N预设条件;
确定满足第N预设条件的第N相似度值所对应的第N待检测图像;
将与所述第N待检测图像最相似的标准图像从第(N-1)标准图像库中去除,得到第N标准图像库;所述第(N-1)标准图像库为根据上一个特征维度的相似度比对结果,去除最相似的标准图像后得到的;
将所述第N标准图像库中的标准工具确定为所述作业人员未从所述作业区域带回的工具。
进一步,所述根据在最后一个特征维度的相似度比对结果,确定所述作业人员未从所述作业区域带回的工具,包括:
确定满足第三预设条件的第三相似度值所对应的第三待检测图像;
将与所述第三待检测图像最相似的标准图像从所述第二标准图像库中去除,得到第三标准图像库;
将所述第三标准图像库中的标准工具确定为所述作业人员未从所述作业区域带回的工具。
进一步,所述确定所述待检测图像对应的多个第一相似度值是否满足第一预设条件,包括:
从所述第一相似度值中选取最大的第一相似度值和第二大的第一相似度值;
确定所述最大的第一相似度值和所述第二大的第一相似度值是否满足第一预设条件,所述第一预设条件为:所述最大的第一相似度值大于或等于预设第一阈值,且所述最大的第一相似度值与所述第二大的第一相似度值之间的差大于或等于预设第二阈值;
在确定所述待检测图像对应的多个第一相似度值是否满足第一预设条件之后,还包括:
确定满足所述第一预设条件的第一相似度值所对应的第一待检测图像;
将所述第一待检测图像所对应的待检测工具,确定为所述作业人员带入所述作业区域的标准工具。
在从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像之前,还包括:
确定每个待检测工具是否分别摆放在预设背景版面的矩形分隔区域中;
若是,则为位于所述预设背景版面上的所有待检测工具拍摄一张全景照片,得到包括所有待检测工具的图像;
所述从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,包括:
从所述包括所有待检测工具的图像中分割出仅包括所述预设背景版面和所述待检测工具的第一图像;
将所述第一图像分割为分别仅包括一个所述待检测工具和对应矩形分隔区域背景的多个第二图像;
对每个所述第二图像进行目标分割,分别得到仅包括所述待检测工具的多个第三图像;
将所述第三图像中的待检测工具旋转到目标方向,得到所述待检测工具对应的待检测图像;
在确定每个待检测工具是否分别摆放在预设背景版面的矩形分隔区域中之前,还包括:
在确定每个标准工具分别摆放在所述预设背景版面的矩形分隔区域中的情况下,为位于所述预设背景版面上的所有标准工具拍摄一张全景照片,得到标准图像;
从所述标准图像中分割出每一个标准工具对应的图像,得到多个标准图像;
在为位于所述预设背景版面上的所有待检测工具拍摄一张全景照片之后,还包括:
确定所述图像中包含的待检测工具的第一数量,并获取预先得到的标准图像中包含的标准工具的第二数量;
若所述第一数量小于所述第二数量,则确定所述作业人员从所述作业区域带回的工具有遗漏;
若所述第一数量等于所述第二数量,则执行依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度的步骤。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述工具核验方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述工具核验方法的步骤。
本发明的另一目的在于提供一种实施所述工具核验方法的工具核验系统,其特征在于,所述工具核验系统包括:
分割模块,用于从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具;
相似度确定模块,用于依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;其中,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具;
工具核验模块,用于根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。
结合上述的技术方案和解决的技术问题,请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为:
第一、针对上述现有技术存在的技术问题以及解决该问题的难度,紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等,详细、深刻地分析本发明技术方案如何解决的技术问题,解决问题之后带来的一些具备创造性的技术效果。具体描述如下:在本发明实施例中,从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具;依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;其中,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具;根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。在上述方法中,对待检测图像和标准图像进行相似度比对,根据相似度比对结果确定作业人员未从作业区域带回的工具,无论工具尺寸何种大小均可以采用图像相似度比对算法进行核验,且不需要为工具加装额外的设备,经济成本较低。
第二,把技术方案看做一个整体或者从产品的角度,本发明所要保护的技术方案具备的技术效果和优点,具体描述如下:
本发明能够在离场时审核物品的数量和完整性,避免现场工作人员遗落工器具导致事故。通过图像比对算法,可以完全替代人工审核,达到审核速度快,识别准确率高,降低人员主观因素造成的潜在风险。还可以应用于,结合不同的图像摄取装置,实现对不可见光或特定波段下采集的图像进行物品核验。
第三,作为本发明的权利要求的创造性辅助证据,还体现在以下几个重要方面:
(1)本发明的技术方案转化后的预期收益和商业价值为:可以大规模应用在施工现场管理中,
(2)本发明的技术方案填补了国内外业内技术空白:填补了施工现场管理等领域,物品出清核验的技术空白。
(3)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题:解决了施工现场管理中依靠人工核验,受主观因素影响较大的风险,提供了完整的技术方案和装置,有效保障物品出清核验的难题。
附图说明
图1为本发明实施例提供的第一种工具核验方法的示意图;
图2为本发明实施例提供的一种包括所有待检测工具的图像示意图;
图3为本发明实施例提供的第一图像示意图;
图4为本发明实施例提供的第二图像示意图;
图5为本发明实施例提供的第三图像示意图;
图6为本发明实施例提供的待检测图像示意图;
图7为本发明实施例提供的第二种工具核验方法的示意图;
图8为本发明实施例提供的一种工具核验系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现,该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示,为本发明实施例提供的第一种工具核验方法的示意图。参照图1,所述方法包括:
101.从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具。
在本发明实施例中,作业区域为作业人员进行施工、巡检、维修等工作的区域。例如,作业区域可以为房屋建筑工程、市政工程等正在施工或作业的场地,作业人员为利用施工工具进行施工的施工员;作业区域也可以为已经投入运营的隧道设施区域,作业人员为利用维修工具、检测工具进行巡检的工作人员。
本发明实施例的目的为核验作业人员工作完毕后从作业区域带出的工具,与之前带入作业区域的工具是否相同,因此,可以将带出作业区域的工具称为待检测工具,将之前带入作业区域的工具称为标准工具。通过将待检测工具与标准工具进行相似度比对,可以判断待检测工具是否为标准工具,并可以判断哪些工具发生了遗失。
具体地,在作业人员进入作业区域前,可以采集作业人员携带的所有工具的图像,得到标准图像,在作业人员完成工作从作业区域返回时,同样采集作业人员从作业区域带回的所有工具的图像,得到待检测图像。
在采集标准图像时,可以将标准工具一一摆放在预设的背景版面上,然后拍摄一张包括所有标准工具的图像。在采集待检测图像时也用同样的方法,得到一张包括所有待检测工具的图像。
采用图像分割方法从包括所有待检测工具的图像中分割出每一个待检测工具,得到多个待检测图像,多个待检测图像组成待检测图像库。
具体地,所述从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,包括以下步骤A1-A4:
A1、从包括所有待检测工具的图像中分割出仅包括所述预设背景版面和所述待检测工具的第一图像;
A2、将所述第一图像分割为分别仅包括一个待检测工具和对应矩形分隔区域背景的多个第二图像;
A3、对每个所述第二图像进行目标分割,分别得到仅包括待检测工具的多个第三图像;
A4、将所述第三图像中的待检测工具旋转到目标方向,得到待检测工具对应的待检测图像。
步骤A1-A4中,将每一个待检测工具从包括所有待检测工具的图像中分割出来,并且需要去除所有背景、将待检测工具旋转到目标方向,从而得到统一朝向同一个方向的、分别仅包括一个待检测工具的多个待检测图像。
图2为本发明实施例提供的一种包括所有待检测工具的图像示意图。在图2中,标号1所示的预设背景版面为白色版面,共有11件待检测工具分别摆放在预设背景版面的11个矩形分隔区域中。在图2中,11件待检测工具为目标对象,预设背景版面为背景,而预设背景版面的外围为拍摄照片时的环境图像,其为噪声区域。图2中标号2所示为噪声区域。
从包括所有待检测工具的图像中分割出仅包括预设背景版面和待检测工具的第一图像,即将噪声区域从图像中去除。具体地,可以设定某一阈值T,利用阈值分割方法将噪声区域去除;或者,利用边缘检测方法将噪声区域去除。
图3为本发明实施例提供的第一图像示意图。在图3中,将噪声区域2识别了出来,并将颜色设置为了黑色,得到仅包括预设背景版面和待检测工具的第一图像。
根据矩形分隔区域的边界线对第一图像进行分割,可得到分别仅包括一个待检测工具和对应矩形分隔区域背景的多个第二图像。
图4为本发明实施例提供的第二图像示意图。在图4中,共展示了8件待检测工具对应的8幅第二图像。一幅第二图像中仅包括一件待检测工具和其对应的背景区域。
对第二图像中的待检测工具进行目标识别,可得到仅包括待检测工具的第三图像。目标识别的方法可以为阈值分割、边缘检测等。
图5为本发明实施例提供的第三图像示意图。在图5中,待检测工具被从背景区域中识别出来,并且背景区域被置为了黑色。
待检测工具被作业人员摆放时可能呈现不同的姿态和方向,可以将第三图像中的待检测工具统一调整到目标方向,以使待检测工具的摆放方向与标准图像中的标准工具呈现一致的方向,以便于后续进行相似度比对。
目标方向可以为水平方向、竖直方向等,可以根据需求进行确定。
图6为本发明实施例提供的待检测图像示意图。多个第三图像中的待检测工具被旋转到水平方向,得到图6中的多个待检测图像。
在步骤A1-A4中,将待检测工具从图像中一一分割出来,并旋转到目标方向,得到待检测图像,有利于单独对每个待检测图像进行后续的相似度比对,提高了相似度比对的效率。
此外,在先前得到标准图像后,也可以采用图像分割方法从包括所有标准工具的图像中分割出每一个标准工具,得到多个标准图像,多个标准图像组成标准图像库。
标准图像的获得方法也可以参照步骤A1-A4,并且,最终标准图像中的标准工具也需调整到目标方向,使得待检测工具的摆放方向与标准图像中的标准工具呈现一致的方向,以便于后续进行相似度比对。
102.依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;其中,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具。
在本发明实施例中,将所有的待检测图像与所有的标准图像在多个特征维度上进行相似度比对。并且,根据每一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的比对,以及确定需要进行下一个特征维度比对的待检测图像和标准图像是哪些图像。
特征维度,是指用来描述对象的特征项。例如,待检测图像和标准图像的特征维度可以包括图像的颜色特征、梯度特征、轮廓特征、明暗特征等。
首先将待检测图像库中的待检测图像与标准图像库中的标准图像在第一特征维度进行相似度比对。具体地,从待检测图像库中取出第一个待检测图像,将其与标准图像库中的每一个标准图像进行相似度比对,得到多个第一相似度值;继续从待检测图像库中取出第二个待检测图像,同样将该第二个待检测图像与标准图像在第一特征维度分别进行相似度比对,得到多个第一相似度值;直至所有的待检测图像与标准图像均在第一特征维度比对完毕,则停止比对。从得到的所有第一相似度值中,选取满足第一预设条件的目标第一相似度值,将该目标第一相似度值对应的待检测图像和标准图像确定为同一件工具对应的图像,并将该目标第一相似度值对应的待检测图像和标准图像分别从待检测图像库和标准图像库去除。
然后,在第二特征维度,对剩余的待检测图像和标准图像分别一一进行相似度比对,得到多个第二相似度值。从得到的所有第二相似度值中,选取满足第二预设条件的目标第二相似度值,将该目标第二相似度值对应的待检测图像和标准图像确定为同一件工具对应的图像,并将目标第二相似度值对应的待检测图像和标准图像分别从待检测图像库和标准图像库中去除。
继续进行下一个特征维度的相似度比对,直至待检测图像库或标准图像库中没有剩余的图像为止。
可选地,步骤102包括:
依次在图像颜色特征维度、图像梯度方向特征维度、图像轮廓特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度。
在本发明实施例中,图像颜色特征维度,具体可以是利用图像颜色直方图进行相似度比对,图像梯度特征维度(Histogram ofOriented Gradient,HOG),具体可以是利用梯度方向直方图进行相似度比对,图像轮廓特征维度,具体可以是利用图像中最大的轮廓进行相似度比对。
作业人员在工作时,有可能会将使用的工具染上油污,使得工具的颜色发生变化;对于一些柔性的工具,有可能形态也会发生变化。
图像颜色特征可以用图像颜色直方图描述。图像颜色直方图表示了图像中关于颜色的数量特征,可以反映图像颜色的统计分布和基本色调,直方图只包含了图像中某一颜色值出现的频数。图像颜色直方图不受工具旋转和平移变化的影响,可以排除工具形态发生变化对核验工具产生的影响。但是,颜色直方图只描述图像颜色的统计特征,不能表现颜色的空间分布特征,因此,在第二个特征维度选用图像梯度方向特征,图像的梯度方向特征可以反映不同颜色的像素在空间上的分布特征。
图像梯度方向特征可以用方向梯度直方图(Histogram ofOriented Gradient,HOG)描述。方向梯度直方图是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。
经过在图像颜色特征和图像梯度方向特征维度上的相似度比对,可以检测出在颜色和梯度方向上相似的图像。但是,对于使用中颜色发生改变的工具,仍然无法检测出,因此,第三个特征维度采用图像轮廓特征维度。
图像轮廓是指构成图像形状的边界或外形线,可以通过将图像转换为二值图像,从二值图像中识别最大的轮廓来描述图像轮廓特征。通过在图像轮廓特征维度进行相似度比对,可以检测到图像颜色发生改变,但外在轮廓未发生改变的工具。例如,可以检测出使用中沾染到油污的工具。
本发明实施例通过在图像颜色特征维度、图像梯度方向特征维度、图像轮廓特征维度,确定待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,可以检测出在使用中形态发生变化的工具和颜色发生变化的工具,检测适用度更高,准确度更高。
可选地,在图像颜色特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,包括以下步骤d-f:
d、将所述待检测图像和所述标准图像分别从RGB颜色空间转换到HSV颜色空间。
e、对所述HSV颜色空间的待检测图像和标准图像,分别取H通道和S通道的像素值,并根据所述取H通道和S通道的像素值,建立H通道和S通道的直方图,并对所述直方图进行归一化,得到待检测直方图和标准直方图。
f、利用巴氏距离方法对所述待检测直方图和所述标准直方图其进行相似度计算。
可选地,在图像梯度方向特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,包括以下步骤g-l:
g、分别计算所述待检测图像和所述标准图像中每个像素点的梯度大小和梯度方向;
h、分别将所述待检测图像和所述标准图像划分成多个连通区域;
i、根据所述梯度大小和梯度方向,分别统计每个连通区域的梯度直方图,并根据所述梯度直方图分别计算所述连通区域内不同梯度范围的像素数量;
j、将所有的连通区域组成多个块,计算每个块内所述不同梯度范围的像素点的数量,得到每个块的梯度方向特征;
k、分别将所述待检测图像、所述标准图像中每个块的梯度方向特征串联起来,得到所述待检测图像和所述标准图像的梯度方向特征;
l、计算所述待检测图像的梯度方向特征和所述标准图像的梯度方向特征之间的相似度。
可选地,在图像轮廓特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,包括以下步骤m-o:
m、分别获取所述待检测图像和所述标准图像的二值图像,并分别利用所述二值图像,确定所述待检测图像和所述标准图像中的最大轮廓;
n、分别计算所述待检测图像的最大轮廓和所述标准图像的最大轮廓对应Hu(Visualpattern recognitionby moment invariants)不变距参数;
o、利用所述Hu不变矩参数,计算所述待检测图像的最大轮廓和所述标准图像的最大轮廓之间的相似度。
103.根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。
通过在最后一个特征维度的相似度比对,从待检测图像库和标准图像库中将相似度满足条件的待检测图像和标准图像去除,得到剩余的待检测图像和标准图像。这些剩余的待检测图像为与每一个标准图像的相似度均较低的图像,可以确定剩余的待检测图像对应的待检测工具为作业人员在进入作业区域时未携带的工具;而剩余的标准图像,为作业人员在进入作业区域时携带的、而作业人员未从作业区域带出的工具,即被遗忘在作业区域中的工具。
这样,通过本发明实施例的方法,就可以检测出作业人员遗忘在作业区域的工具。
可选地,步骤103包括以下步骤B1-B5:
B1、根据在最后一个特征维度的相似度比对结果,得到多个第N相似度值;
B2、确定所述第N相似度值是否满足第N预设条件;
B3、确定满足第N预设条件的第N相似度值所对应的第N待检测图像;
B4、将与所述第N待检测图像最相似的标准图像从第(N-1)标准图像库中去除,得到第N标准图像库;所述第(N-1)标准图像库为根据上一个特征维度的相似度比对结果,去除最相似的标准图像后得到的;
B5、将所述第N标准图像库中的标准工具确定为所述作业人员未从所述作业区域带回的工具。
在步骤B1-B5中,在最后一个特征维度上,对待检测图像和标准图像进行相似度比对,得到多个第N相似度值。从中确定满足第N预设条件的第N相似度值,然后确定满足第N预设条件的第N相似度值所对应的待检测图像和标准图像,将对应的标准图像从标准图像库中去除,得到第N标准图像库。这样,第N标准图像库中的标准图像即为与任何一个待检测图像都不能配对的标准图像,说明该标准图像对应的标准工具未被作业人员从作业区域中带回。
综上,在本发明实施例中,从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具;依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;其中,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具;根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。在上述方法中,对待检测图像和标准图像进行相似度比对,根据相似度比对结果确定作业人员未从作业区域带回的工具,无论工具尺寸大小均可以采用图像相似度比对算法进行核验,且不需要为工具加装额外的设备,经济成本较低。
此外,本发明实施例在多个特征维度上进行相似度比对,且根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像。这样就可以从不同特征维度,逐步寻找到与待检测图像相似度较高的标准图像。因为采用不同的特征维度进行了比对,并根据最后一个特征维度的相似度比对结果,确定作业人员未从作业区域带回的工具,这样最终确定的核验结果准确度较高,
并且,本发明实施例通过在图像颜色特征维度、图像梯度方向特征维度、图像轮廓特征维度,确定待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,可以检测出在使用中形态发生变化的工具和颜色发生变化的工具,检测适用度更高,准确度更高。
如图7所示,为本发明实施例提供的第二种工具核验方法的示意图。参照图7,所述方法包括:
201.在确定每个所述标准工具分别摆放在预设背景版面的矩形分隔区域中的情况下,为位于所述预设背景版面上的所有标准工具拍摄一张全景照片,得到标准图像。
作业人员在要进入作业区域工作前,将携带的工具分别放置在预设背景版面的矩形分隔区域中。
该预设背景版面为供摆放工具的背景板,为了方便摆放和后续图像分割,可以设置为与工具的颜色差别较大的纯色(如白色),并可以设置矩形分隔区域,以分隔不同的工具。
将作业人员进入作业区域前携带的工具称为标准工具。工具核验系统在确定每个标准工具均分别摆放在所述预设背景版面的矩形分隔区域中的情况下,为位于预设背景版面上的所有标准工具拍摄一张全景照片,得到包括所有标准工具的标准图像。
202.从所述标准图像中分割出每一个标准工具对应的图像,得到多个标准图像。
按照矩形分隔区域分割出每个标准工具对应的图像,得到多个标准图像。
203.确定每个待检测工具是否分别摆放在所述预设背景版面的矩形分隔区域中。
在本发明实施例中,当作业人员完成工作从作业区域带着待检测工具出来时,作业人员将待检测工具放置在预设背景版面上。工具核验系统判断每个待检测工具是否分别摆放在预设背景版面的矩形分隔区域中,当判断结果为“是”时,则执行步骤204。当判断结果为“否”时,则继续执行步骤203。
204.若是,则为位于所述预设背景版面上的所有待检测工具拍摄一张全景照片,得到包括所有待检测工具的图像。
全景照片,即为包括预设背景版面及所有待检测工具的照片,该照片中可能还包括预设背景版面外围的环境噪声。
可选地,步骤204之后,还包括:
确定所述图像中包含的待检测工具的第一数量,并获取预先得到的标准图像中包含的标准工具的第二数量;若所述第一数量小于所述第二数量,则确定所述作业人员从所述作业区域带回的工具有遗漏。
在本发明实施例中,当得到待检测工具的图像后,识别图像中包含的待检测工具的数量,并识别标准图像中包含的标准工具的数量,分别得到第一数量和第二数量。
比较第一数量和第二数量,若第一数量小于第二数量,则说明待检测工具的数量小于标准工具的数量,说明作业人员从作业区域带回的工具有遗漏。此时,可以执行依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度的步骤,以确定遗漏的工具是什么。
若第一数量等于第二数量,则说明作业人员从作业区域带回的工具数量是对的,但是不能确定带回的工具与当时带入的工具是否完全一致,因此,仍可以执行依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度的步骤,以确定带回的工具与带入的工具是否完全一致。
205.从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具。
在本发明实施例中,步骤205可以参照步骤101,此处不再赘述。
206.在图像颜色特征维度,逐个确定所述待检测图像库中的每个待检测图像与标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第一相似度值。
将待检测图像库中的待检测图像与标准图像库中的标准图像在图像颜色特征维度进行相似度比对。具体地,从待检测图像库中取出一个待检测图像,将其与标准图像库中的每一个标准图像进行相似度比对,得到多个第一相似度值。
207.确定所述待检测图像对应的多个第一相似度值是否满足第一预设条件。
该多个第一相似度值为待检测图像与每一个标准图像之间的相似度值。第一预设条件为预先设定。
可选地,步骤207包括以下步骤C1-C2:
C1、从所述第一相似度值中选取最大的第一相似度值和第二大的第一相似度值;
C2、确定所述最大的第一相似度值和所述第二大的第一相似度值是否满足第一预设条件,所述第一预设条件为:所述最大的第一相似度值大于或等于预设第一阈值,且所述最大的第一相似度值与所述第二大的第一相似度值之间的差大于或等于预设第二阈值。
在步骤C1-C2中,从第一相似度值中选取最大的两个相似度值,即最大的第一相似度值和第二大的第一相似度值,然后确定最大的第一相似度值是否大于或等于预设第一阈值;若是,则确定最大的第一相似度值与第二大的第一相似度值之间的差是否大于或等于预设第二阈值,若仍是,则确定第一相似度值满足预设第一条件。
其中,第一阈值应设定为一个比较高的相似度值,第二阈值应设定为一个比较大的差值。若两个条件中有一个不满足,则确定第一相似度值不满足预设第一条件。
在第一预设条件中,首先,最大的第一相似度值需大于或等于第一阈值,保证了最大的相似度值必须是一个比较高的值。其次,最大的第一相似度值与第二大的第一相似度值之间的差需大于或等于预设第二阈值,保证了最大的第一相似度值远远大于第二大的第一相似度值,即存在一个标准图像与该待检测图像之间高度相似,且该待检测图像与其他标准图像非常不相似,这样,就可以比较可信的确定待检测图像中的待检测工具就是那个标准图像中的标准工具。这样就有效提高了核验的准确性。
可选地,在步骤207之后还包括以下步骤D1-D2:
D1、确定满足所述第一预设条件的第一相似度值所对应的第一待检测图像;
D2、将所述第一待检测图像所对应的待检测工具,确定为所述作业人员带入所述作业区域的标准工具。
在步骤D1-D2中,若待检测图像的第一相似度值满足第一预设条件,说明待检测图像与某个标准工具高度相似。因此,可以确定该待检测图像就是该标准工具。
208.将满足所述第一预设条件的第一相似度值对应的第一待检测图像从所述待检测图像库中去除,得到第一待检测图像库;并将与所述第一待检测图像最相似的标准图像从所述标准图像库中去除,得到第一标准图像库。
确定待检测图像就是标准工具之后,该待检测图像被核验完毕,可以从待检测图像库中去除。对待检测图像库中的每一个待检测图像均执行步骤206-步骤208的方法,即每次得到满足第一预设条件的第一相似度值之后,将该对应的待检测图像均从待检测图像库中去除,最终得到第一待检测图像库。
并且,将对应的标准图像也从标准图像库中去除,最终得到第一标准图像库。
例如,步骤206-步骤208可以简单描述为如下步骤:
a、待检测图像库中有m张图像。取待检测图像库中的一张图像c1,依次与标准图像库中的n张图像进行相似性比对,得到n个第一相似度值。从n个第一相似度值中取最大的和第二大的第一相似度值,确定是否满足第一预设条件。若满足,则从待检测图像库中去除图像c1;同时,最大的第一相似度值对应的标准图像为d1,从标准图像库中去除图像d1。此时待检测图像库中有m-1张图像,标准图像库中有n-1张图像。
b、再取待检测图像库中的一张图像c2,按照a中方法进行相似性比对,若标准图像库中不存在与c2满足第一预设条件的图像,则保留c2在待检测图像库中。
c、按照a,b中方法,依次对待检测图像库中的m张图像与标准图像库中n张图像进行一一比对。最终待检测图像库中剩余x张图像,为第一待检测图像库,标准图像库中剩余y张图像,为第一标准图像库。
每比对一次待检测图像,即根据相似度比对结果从待检测图像库和标准图像库中取出相应的图像,可以减少后续相似度比对的工作量,提高了运算效率。
209.在图像梯度特征维度,逐个确定所述第一待检测图像库中的每个待检测图像与第一标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第二相似度值。
将第一待检测图像库中的待检测图像与第一标准图像库中的标准图像在图像梯度特征维度进行相似度比对。具体地,从第一待检测图像库中取出一个待检测图像,将其与第一标准图像库中的每一个标准图像进行相似度比对,得到多个第二相似度值。
210.确定所述待检测图像对应的多个第二相似度值是否满足第二预设条件。
因为特征维度不同,最终得到的相似度值的取值大小也不同,因此,在第一预设条件和第二预设条件中,第一阈值与第三阈值,第二阈值与第四阈值的大小是不同的。
但确定相似度值是否满足预设条件的方法可以是相同的,即,步骤210包括以下步骤:
从所述第二相似度值中选取最大的第二相似度值和第二大的第二相似度值;确定所述最大的第二相似度值和所述第二大的第二相似度值是否满足第二预设条件,所述第二预设条件为:所述最大的第二相似度值大于或等于预设第三阈值,且所述最大的第二相似度值与所述第二大的第二相似度值之间的差大于或等于预设第四阈值。
211.将满足所述第二预设条件的第二相似度值对应的第二待检测图像从所述第一待检测图像库中去除,得到第二待检测图像库;并将与所述第二待检测图像最相似的标准图像从所述第一标准图像库中去除,得到第二标准图像库。
确定待检测图像就是标准工具之后,该待检测图像被核验完毕,可以从第一待检测图像库中去除。对第一待检测图像库中的每一个待检测图像均执行步骤209-步骤211的方法,即每次得到满足第二预设条件的第二相似度值之后,将对应的待检测图像均从待检测图像库中去除,最终得到第二待检测图像库。
并且,将对应的标准图像也从标准图像库中去除,最终得到第二标准图像库。
例如,步骤209-步骤211可以简单描述为如下步骤:
将第一待检测图像库中的x张图像依次与第一标准图像库中的y张图像进行图像梯度特征维度相似性比对。具体流程与步骤a-c中相似性比对流程一样。最终第一待检测库中剩余p张图像,第一标准图像库中剩余q张图像,分别称为第二待检测图像库和第二标准图像库。
212.在图像轮廓特征维度,逐个确定所述第二待检测图像库中的每个待检测图像与第二标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第三相似度值。
将第二待检测图像库中的待检测图像与第二标准图像库中的标准图像在图像轮廓特征维度进行相似度比对。具体地,从第二待检测图像库中取出一个待检测图像,将其与第二标准图像库中的每一个标准图像进行相似度比对,得到多个第三相似度值。
213.确定满足第三预设条件的第三相似度值所对应的第三待检测图像。
从第三相似度值中选取最大的第三相似度值和第二大的第三相似度值;确定所述最大的第三相似度值和所述第二大的第三相似度值是否满足第三预设条件。所述第三预设条件为:所述最大的第三相似度值大于或等于预设第五阈值,且所述最大的第三相似度值与所述第二大的第三相似度值之间的差大于或等于预设第六阈值。
将满足第三预设条件的待检测图像选取出来,得到第三待检测图像。
214.将与所述第三待检测图像最相似的标准图像从所述标准图像库中去除,得到第三标准图像库。
与第三待检测图像最相似的标准图像,即与第三待检测图像相似度值最大的标准图像。将该标准图像从第二标准图像库中去除,得到第三标准图像库。
例如,步骤212-步骤214可以简单描述为如下步骤:
第二待检测图像库中的p张图像依次与第二标准图像库中的q张图像进行轮廓比对。具体流程与步骤a-c中相似性比对流程一样。最终第二待检测图像库中剩余i张图像,第二标准图像库中剩余j张图像,分别称为第三待检测图像库和第三标准图像库。
215.将所述第三标准图像库中的标准工具确定为所述作业人员未从所述作业区域带回的工具。
第三标准图像库中的图像为经过图像颜色、图像梯度、图像轮廓三种特征维度的匹配后,与任何一个待检测图像的相似度值都很低的图像。说明第三标准图像库中的图像对应的标准工具并未被作业人员带出作业区域,因此,将第三标准图像库中的标准工具确定为作业人员未从作业区域带回的工具。
可选地,在步骤215之后,若第三待检测图像库中剩余i张图像,第三标准图像库中剩余j张图像,则可以进行以下逻辑判断:
若i=0,j=0,则待检测图像库与标准图像库中的图像一致,说明待检测工具与标准工具完全一致;
若i=0,j≠0,则待检测图像库与标准图像库相比少了j张图像,说明待检测工具比标准工具少了j件,即有j件工具未从作业区域带回;
若i≠0,j=0,则待检测图像库与标准图像库相比多了i张图像,说明待检测工具比标准工具多个i件,可能作业人员从作业区域额外多拿了i件工具;
若i≠0,j≠0,则待检测图像库与标准图像库相比少了j张图像,说明待检测工具比标准工具少了j件,即有j件工具未从作业区域带回。
本发明实施例中的工具核验方法,除具有图1中的工具核验方法的有益效果,还从所述第一相似度值中选取最大的第一相似度值和第二大的第一相似度值;确定所述最大的第一相似度值和所述第二大的第一相似度值是否满足第一预设条件,所述第一预设条件为:所述最大的第一相似度值大于或等于预设第一阈值,且所述最大的第一相似度值与所述第二大的第一相似度值之间的差大于或等于预设第二阈值。这样,不仅保证了最大的相似度值必须是一个比较高的值,且最大的第一相似度值远远大于第二大的第一相似度值,这样,就可以比较可信的确定待检测图像中的待检测工具就是那个标准图像中的标准工具。这样就有效提高了核验的准确性。
并且,每比对一次待检测图像,就根据相似度比对结果从待检测图像库和标准图像库中取出相应的图像,可以减少后续相似度比对的工作量,提高了运算效率。
图8为本发明实施例提供的一种工具核验系统的结构框图。如图8所示,该工具核验系统300包括以下模块:
分割模块301,用于从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具;
相似度确定模块302,用于依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;其中,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具;
工具核验模块303,用于根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值,该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
本发明可以在工具、器具的核验中应用;可以适用于对任意物品的核验,只要这个物品在使用的过程中性质、形状、数量保持不变即可。该方法还可应用与物品防盗、安检、自动售货机等使用场景。
本发明已经成功应用于对地铁隧道日常巡检工作中的工具核验。
在地铁隧道的巡检工作中,巡检人员通常为5-8人一个工班,需要携带15-20种不同规格的工具。在进场前需要对工具种类和数量进行人工登记,并拍照留存。在离场时需要再次逐个核验工具种类和数量并再次拍照留存。通常逐个核验用时较长,容易出现疏漏。
应用本发明后,在进场前拍摄一张所有工具的照片,一方面用于留存,另一方面使用本发明装置识别其中的工具类型,建立图像库,完成数量统计等工作。在离场时再次拍摄一张所有工具的照片,不要求工具摆放顺序或位置与进场时相同。能够再次识别图中的工具,并与图像库进行比对,完成工具类型、数量、完整性等方面的核验。从而降低了工具核验的复杂度,减少了工具核验时间,避免出现人为疏漏的风险,得到地铁公司的高度认可和一致好评。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种工具核验方法,其特征在于,所述工具核验方法包括:从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具;依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。
2.如权利要求1所述的工具核验方法,其特征在于,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具。
3.如权利要求1所述的工具核验方法,其特征在于,所述依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,包括:依次在图像颜色特征维度、图像梯度方向特征维度、图像轮廓特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度。
4.如权利要求3所述的工具核验方法,其特征在于,所述依次在图像颜色特征维度、图像梯度特征维度、图像轮廓特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度,包括:
在图像颜色特征维度,逐个确定所述待检测图像库中的每个待检测图像与标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第一相似度值;
确定所述待检测图像对应的多个第一相似度值是否满足第一预设条件;
将满足所述第一预设条件的第一相似度值对应的第一待检测图像从所述待检测图像库中去除,得到第一待检测图像库;并将与所述第一待检测图像最相似的标准图像从所述标准图像库中去除,得到第一标准图像库;
在图像梯度特征维度,逐个确定所述第一待检测图像库中的每个待检测图像与第一标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第二相似度值;
确定所述待检测图像对应的多个第二相似度值是否满足第二预设条件;
将满足所述第二预设条件的第二相似度值对应的第二待检测图像从所述第一待检测图像库中去除,得到第二待检测图像库;并将与所述第二待检测图像最相似的标准图像从所述第一标准图像库中去除,得到第二标准图像库;
在图像轮廓特征维度,逐个确定所述第二待检测图像库中的每个待检测图像与第二标准图像库中的每个标准图像之间的相似度,得到每个所述待检测图像对应的多个第三相似度值。
5.如权利要求1所述的工具核验方法,其特征在于,所述根据在最后一个特征维度的相似度比对结果,确定所述作业人员未从所述作业区域带回的工具,包括:
根据在最后一个特征维度的相似度比对结果,得到多个第N相似度值;
确定所述第N相似度值是否满足第N预设条件;
确定满足第N预设条件的第N相似度值所对应的第N待检测图像;
将与所述第N待检测图像最相似的标准图像从第(N-1)标准图像库中去除,得到第N标准图像库;所述第(N-1)标准图像库为根据上一个特征维度的相似度比对结果,去除最相似的标准图像后得到的;
将所述第N标准图像库中的标准工具确定为所述作业人员未从所述作业区域带回的工具。
6.如权利要求5所述的工具核验方法,其特征在于,所述根据在最后一个特征维度的相似度比对结果,确定所述作业人员未从所述作业区域带回的工具,包括:
确定满足第三预设条件的第三相似度值所对应的第三待检测图像;
将与所述第三待检测图像最相似的标准图像从所述第二标准图像库中去除,得到第三标准图像库;
将所述第三标准图像库中的标准工具确定为所述作业人员未从所述作业区域带回的工具。
7.如权利要求4所述的工具核验方法,其特征在于,所述确定所述待检测图像对应的多个第一相似度值是否满足第一预设条件,包括:
从所述第一相似度值中选取最大的第一相似度值和第二大的第一相似度值;
确定所述最大的第一相似度值和所述第二大的第一相似度值是否满足第一预设条件,所述第一预设条件为:所述最大的第一相似度值大于或等于预设第一阈值,且所述最大的第一相似度值与所述第二大的第一相似度值之间的差大于或等于预设第二阈值;
在确定所述待检测图像对应的多个第一相似度值是否满足第一预设条件之后,还包括:
确定满足所述第一预设条件的第一相似度值所对应的第一待检测图像;
将所述第一待检测图像所对应的待检测工具,确定为所述作业人员带入所述作业区域的标准工具。
在从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像之前,还包括:
确定每个待检测工具是否分别摆放在预设背景版面的矩形分隔区域中;
若是,则为位于所述预设背景版面上的所有待检测工具拍摄一张全景照片,得到包括所有待检测工具的图像;
所述从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,包括:
从所述包括所有待检测工具的图像中分割出仅包括所述预设背景版面和所述待检测工具的第一图像;
将所述第一图像分割为分别仅包括一个所述待检测工具和对应矩形分隔区域背景的多个第二图像;
对每个所述第二图像进行目标分割,分别得到仅包括所述待检测工具的多个第三图像;
将所述第三图像中的待检测工具旋转到目标方向,得到所述待检测工具对应的待检测图像;
在确定每个待检测工具是否分别摆放在预设背景版面的矩形分隔区域中之前,还包括:
在确定每个标准工具分别摆放在所述预设背景版面的矩形分隔区域中的情况下,为位于所述预设背景版面上的所有标准工具拍摄一张全景照片,得到标准图像;
从所述标准图像中分割出每一个标准工具对应的图像,得到多个标准图像;
在为位于所述预设背景版面上的所有待检测工具拍摄一张全景照片之后,还包括:
确定所述图像中包含的待检测工具的第一数量,并获取预先得到的标准图像中包含的标准工具的第二数量;
若所述第一数量小于所述第二数量,则确定所述作业人员从所述作业区域带回的工具有遗漏;
若所述第一数量等于所述第二数量,则执行依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度的步骤。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~7任意一项所述工具核验方法的步骤。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1~7任意一项所述工具核验方法的步骤。
10.一种实施权利要求1~7任意一项所述工具核验方法的工具核验系统,其特征在于,所述工具核验系统包括:
分割模块,用于从包括所有待检测工具的图像中分割出每一个待检测工具对应的待检测图像,组成待检测图像库;所述待检测工具为作业人员带出作业区域的工具;
相似度确定模块,用于依次在多个特征维度,确定所述待检测图像库中的待检测图像与预设的标准图像库中的标准图像之间的相似度;其中,根据上一个特征维度的相似度比对结果,确定是否需要进行下一个特征维度的相似度比对,以及确定需要进行下一个特征维度的相似度比对的待检测图像和标准图像;其中,每个所述标准图像对应一个标准工具,所有的所述标准图像组成所述标准图像库;所述标准工具为所述作业人员带入所述作业区域的工具;
工具核验模块,用于根据最后一个特征维度的相似度比对结果,从所述标准图像库中确定所述作业人员未从所述作业区域带回的工具。
CN202210785524.0A 2022-07-05 2022-07-05 一种工具核验方法、系统、计算机设备及存储介质 Pending CN115294447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210785524.0A CN115294447A (zh) 2022-07-05 2022-07-05 一种工具核验方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210785524.0A CN115294447A (zh) 2022-07-05 2022-07-05 一种工具核验方法、系统、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115294447A true CN115294447A (zh) 2022-11-04

Family

ID=83822226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210785524.0A Pending CN115294447A (zh) 2022-07-05 2022-07-05 一种工具核验方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115294447A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681377A (zh) * 2023-05-24 2023-09-01 天津瑞利通科技有限公司 工具管理方法、系统、电子设备及可读存储介质
CN118506254A (zh) * 2024-07-19 2024-08-16 成都煜恒科技有限公司 一种基于人工智能学习的工具管理方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681377A (zh) * 2023-05-24 2023-09-01 天津瑞利通科技有限公司 工具管理方法、系统、电子设备及可读存储介质
CN116681377B (zh) * 2023-05-24 2024-02-27 天津瑞利通科技有限公司 工具管理方法、系统、电子设备及可读存储介质
CN118506254A (zh) * 2024-07-19 2024-08-16 成都煜恒科技有限公司 一种基于人工智能学习的工具管理方法及系统

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN115294447A (zh) 一种工具核验方法、系统、计算机设备及存储介质
CN103512762B (zh) 图像处理方法、装置及列车故障检测系统
Prabhakar et al. Automatic vehicle number plate detection and recognition
CN113436157B (zh) 一种用于受电弓故障的车载图像识别方法
CN107004266A (zh) 检测轮胎表面上缺陷的方法
Antar et al. Automatic number plate recognition of Saudi license car plates
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN109461133A (zh) 桥梁螺栓脱落检测方法及终端设备
CN108229473A (zh) 车辆年检标签检测方法及装置
CN117635590B (zh) 一种笔记本电脑外壳的缺陷检测方法及装置
US20230342937A1 (en) Vehicle image analysis
CN114821274A (zh) 一种用于识别分合指示牌的状态的方法和设备
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
CN111695374B (zh) 监控视角中斑马线区域的分割方法、系统、介质及设备
CN115131564A (zh) 基于人工智能的车辆部件损伤检测方法及相关设备
CN113657316A (zh) 移动交通违章监测方法、系统、电子设备及存储介质
Andonovski et al. Computer vision system for cabin door detection and location
Niblock et al. Fast model-based feature matching technique applied to airport lighting
Khodke et al. Evaluation for Pattern Matching and Analysis of Car’s Number Plate Recognition Using Template Matching
Radopoulou et al. Improving patch defect detection using vision tracking on video data
CN118397316B (zh) 一种轨道列车项点的缺失检测方法
CN114387572B (zh) 交通执法影像中基于ai技术的闯红灯违法车辆匹配方法
Azad et al. New framework based on complementary methods for efficiency and accuracy of license plate recognition system
Yang et al. License Plate Location Algorithm Based on Grayscale Stretching and Maximum Variance Threshold Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination