CN116630656A - 一种基于目标检测的连续废钢图片重复目标去重方法 - Google Patents

Abstract

本发明公开了一种基于目标检测的连续废钢图片重复目标去重方法，涉及废钢识别技术领域。本发明通过三个角度的摄像头记录废钢货车卸货过程来获取废钢图片数据；将废钢图片数据输入到深度学习目标检测模型，提取图片的目标类别特征；统计图片的目标类别特征，计算出每个图片之间的目标类别特征重复度，根据阈值进行去重处理，去除相似度大的图片，得到最适合用于预测目标的废钢图片。本发明解决了在废钢识别技术领域处理连续废钢图片时，相邻图片具有相同目标特征导致目标重复计算进而影响废钢扣杂评级准确度的问题，提高了废钢识别的准确度和效率，为废钢识别提供了更可靠和实用的技术手段。

Description

一种基于目标检测的连续废钢图片重复目标去重方法

技术领域

本发明涉及废钢识别技术领域，更具体地说，涉及一种基于目标检测的连续废钢图片重复目标去重方法。

背景技术

中国作为世界第一钢铁大国的稳固地位，对于废钢的主要用户各大钢铁企业来说，废钢的外形尺寸、是否超长超重、是否含有密闭件等都是非常重要的废钢质量关注点。

在废钢识别技术领域中，由于废钢来源复杂，种类繁多、料型不一，在处理连续废钢图片时，往往会存在相邻的图片具有相同目标的情况，导致目标重复出现进而被重复计算，进而影响废钢扣杂评级的准确性。

传统计算图像相似度的方法包括灰度直方图、峰值信噪比(Peak Signal toNoise Ratio，PSNR)、结构相似性(Structural Similarity，SSIM)、感知哈希等等，这些方法通过图像的质量、结构、亮度等信息而不是图像内容来衡量图像相似度，虽然计算简单，但是准确度不高，抗干扰性弱，去重力度小、效果差，不能得到最适合用于预测目标的废钢图片，从而影响废钢识别目标检测效果。

发明内容

1.发明要解决的技术问题：

本发明的目的克服现有技术存在的不足，提供一种基于目标检测的连续废钢图片重复目标去重方法，有效解决上述背景技术中提出的问题。

2.技术方案：

为实现上述目的，本发明提供的技术方案为：一种基于目标检测的连续废钢图片重复目标去重方法，其步骤为：

步骤一、采用三个角度的摄像头记录废钢货车卸货过程而获取时间序列废钢图片数据；

步骤二、将废钢图片数据输入到深度学习目标检测模型，提取图片的目标类别特征，生成检测结果；

步骤三、根据检测结果统计图片的目标类别特征，计算出每个图片之间的目标类别特征重复度，然后根据阈值进行去重处理，得到最适合用于预测目标的废钢图片数据，去重算法流程图如图1所示。

进一步地，所述的步骤一中，通过三个角度的摄像头对废钢工厂中废钢货车卸货的过程进行连续拍照记录，从而获取三个角度的时间序列废钢图片数据，三个角度表示不同方向的拍摄角度，分别标记为角度0、角度1和角度2，命名方式为当前拍照时间，具体到秒，并加上角度数字后缀进行区分，例如：20230203102234_1.jpg表示在2023年2月3日10点22分34秒，从角度1拍摄的废钢图片。

进一步地，所述的步骤二中，生成检测结果具体表现为两种数据形式：一种为包含目标边界框的废钢图片，另一种为包含废钢目标矩形框数据的文本文档，具体而言，将废钢图片数据输入深度学习目标检测模型进行目标检测，提取图片特征，得到包含废钢目标矩形框的图片以及包含废钢目标矩形框数据的文本文档，以上两种检测结果文件均按照时间序列命名规则，每一张废钢图片对应一个文本文档，废钢图片中的每一个废钢目标矩形框对应文本文档中的每一行信息。

更进一步地，将废钢图片数据输入深度学习目标检测模型进行目标检测，提取图片特征，得到包含废钢目标矩形框的图片如图2所示，以及包含废钢目标矩形框数据的文本文档。每一张废钢图片对应一个文本文档，每一个废钢目标矩形框对应文本文档中的一行信息，其中目标数据的文本文档由若干行数据组成，每行数据表示一个废钢目标信息，包括5个数字，第1个数字表示废钢目标类别序号，第2个数字表示当前废钢目标矩形框中心点横坐标，第3个数字表示当前废钢目标矩形框中心点纵坐标，第4个数字表示当前废钢目标矩形框的宽度，第5个数字表示当前废钢目标矩形框的高度。

进一步地，所述的步骤三中，计算出每个图片之间的目标类别特征重复度，根据阈值，分别对每一个角度图片进行去重操作：

将废钢目标数据的文本文档按照命名进行排序，以保证最早拍摄的图片最先进行统计；

定义三个变量：未重复目标列表A，当前文本文档对应的目标列表B，以及当前图片中重复目标的列表C；

将第一个文本文档内容加入到列表A。对文本文档依次进行遍历，依次遍历文本文档，将当前遍历的目标数据目标文本加入目标列表B；

对比列表A和列表B，检查B列表中是否存在与A列表中相同类别的目标。对于相同类别的目标，使用目标矩形框交并比(IOU)计算方法进行目标矩形框位置的对比，交并比(IOU)的具体计算方法为：

(1)交并比(IOU)计算：

如图3情况下，我们假设灰色矩形框和黑色矩形框分别为两个目标矩形框，目标矩形框1由(x1,y1)为左上角坐标和(x2,y2)为右下角坐标组成。目标矩形框2由(x3,y3)为左上角坐标和(x4,y4)为右下角坐标组成。

那么IOU为：

其中Area of Intersection of two boxes面积为(x3,y3)与(x2,y2)组成的矩形面积，Area ofUnion oftwo boxes面积为(x1,y1)与(x4,y4)组成的矩形面积。

(2)计算两个目标矩形框的相交部分(intersection)：

直观来看,两个目标矩形框的交集有多种情况,如图4，明显右边两个目标矩形框完全重合交集面积占比最大。首先我们将相交矩形的坐标表示为[x_inter1，y_inter1，x_inter2，y_inter2]，分别代表图5中灰色相交矩形的左上角和右下角的坐标。计算相交部分的左上角坐标(x_inter_1,y_inter_1)和右下角坐标(x_inter_2,y_inter_2)：

x_inter_1＝max(x1,x3)

y_inter_1＝max(y1,y3)

x_inter_2＝min(x2,x4)

y_inter_2＝min(y2,y4)

那么两个矩形相交面积为：

相交面积＝(x_inter_2-x_inter_1)*(y_inter_2-y_inter_1)

如果相交部分的左上角坐标(x_inter_1,y_inter_1)在右下角坐标(x_inter_2,y_inter_2)的左上方，则两个目标矩形框不相交，相交面积为0。

(3)计算两个目标矩形框的并集部分(union)

目标矩形框的并集是两个矩形框所覆盖的总面积，假设两个目标矩形框的面积分别为S1和S2，两个目标矩形框并集部分重复计算了一个交集面积，所以并集面积为：

并集面积＝S1+S2-相交面积

通过交并比面积公式可以得到以下结论：

a两个框的IOU可以取0到1之间的任何值。

b如果两个框不相交，则它们的相交区域将为0，因此IOU也将为0。

c如果两个完全重叠的目标矩形框，则交集的面积将等于其并集的面积，因此IOU将为1。

计算完两个目标矩形框的IOU值后，设定阈值0.6，若IOU值大于0.6，则认为这两个图片中的目标属于同一目标，将当前目标矩形框信息添加到重复目标列表C；

重复以上步骤，对列表A和列表B中所有的目标矩形框进行IOU对比，直到完成所有目标矩形框的比较；

从当前文本文档的目标列表B中删除所有重复的目标矩形框信息，得到不包含重复目标矩形框信息的新列表D；

如果列表D不为空，则将其中不重复的目标信息加入到未重复目标列表A中，完成去重操作。

3.与现有技术相比，本发明具有如下显著效果：

针对种类繁多、料型不一、内容复杂的连续废钢图片，本发明提供一种优质的连续废钢图片去重方法，对从三个不同角度摄像头采集的废钢图片进行去重处理，避免了对废钢图片目标特征的重复计算，去重效果明显，计算方法简单，提高了废钢识别的准确度和效率，为废钢识别技术领域的废钢扣杂评级提供更可靠和切实可行的技术手段。

附图说明

图1为本发明的去重算法流程图；

图2为本发明的包含废钢目标矩形框的废钢目标检测图片；

图3为本发明一种计算目标矩形框的左上角坐标和右下角坐标示例图；

图4为本发明一种计算目标矩形框的相交面积示例图；

图5为本发明一种交并比示例图；

图6为本发明的整体流程图；

图7为本发明一种三个角度的摄像头方案对现场拍照示例图。

具体实施方式

为使本发明的目的、技术方案以及突出优点更加清楚明白，下面将结合附图和具体实施方式对本发明进行详细说明，整体流程图如图6所示。

通过自主开发的废钢智能检测系统对现场进行废钢图像的采集：在车辆到达指定位置后，现场通过爪机进行抓取卸车，在此过程中，输入车牌号与图像采集间隔时间，在开启废钢智能检测系统采集功能后，即可完成定时采集图像的任务，在采集废钢图像过程中会存在大量重复图片，本发明提供一种基于目标检测的连续废钢图片重复目标去重方法，可以实现判断和删除这些重复图片的功能，具体步骤如下：

步骤一、获取以时间序列命名的废钢图片：

现场使用三个摄像头分别从三个角度对货车卸货整个过程进行拍照，摄像头的现场架构图请参阅图7，这个方案理论上可以捕获更加全面的废钢特征，摄像头的视线需要全面覆盖货车车厢，且高度固定不影响起重机的操作，通过自主开发的废钢智能检测系统里的图像采集模块对现场进行废钢图像的采集，具体过程如下：

在车辆到达指定位置后，输入车牌号与图像采集间隔时间，开启废钢智能检测系统采集功能，即可完成定时采集图像的任务，通过废钢智能检测模块进行图像采集，三个不同方向的摄像头对同一车辆进行图像采集，每隔三秒进行一次拍照图片采集，三个摄像头拍摄的图片命名格式为时间+数字后缀，例如摄像头1拍摄图片为：20230322103245_1.jpg表示摄像头1在2023年3月22日10点32分45秒拍摄的图片，一车废钢进行拍摄结束后共有三种角度的废钢图片。

在已提出方案中，根据抓机工作高度设置球形摄像机的高度，首次进厂试验时，即使现场设备已按照原方案进行安装，也可能出现如下问题：

现场未安排妥当，没有倒车空间，导致车辆无法停在指定位置，车厢中轴线与摄像机之间发生偏差，车厢侧部分废钢无法完全采集；

针对13.5m型长车厢，即使停放在摄像头正下方，由于摄像头厂家所给参数问题，导致方案出现偏差，两端也有部分未采集到信息；

方案中的球形摄像机已为工作高度添加安全余量，但是由于操作人员的不确定性，易对球形摄像机造成一定程度的破坏，停放在摄像头正下方时，影响工作人员的操作，增加卸车时长，且车辆向外侧偏移程度更深。

对于出现的上述问题，可以通过更改车辆位置解决，将车辆完全停放在监控支臂外侧，避免了抓机与摄像机的误碰撞，也可解决超长车辆部分无法采集的问题。

步骤二、将所有废钢图片传入深度学习模型，通过深度学习目标检测模型对废钢图片进行目标识别，得到检测后的带有目标边界框的废钢图片如图2所示，以及深度学习识别后生成的目标数据文本文档如表1所示。

表1

步骤三、根据检测结果统计图片的目标类别特征，计算出每个图片之间的目标类别特征重复度，根据阈值进行去重处理，得到最适合用于预测目标的废钢图片数据，具体方法如下：

将得到的目标数据文本文档进行排序，保证时间最早的数据最先被处理，定义三个变量：未重复的目标列表A，包含所有目标、当前文本文档对应的目标列表B和当前图片重复目标的列表C；

将第一个文本文档内容按照列表形式放入列表A,对以时间序列排序的目标数据文本文档进行遍历，将当前遍历的目标数据文本文档放入列表B。对比列表A和列表B，查看B列表中与A列表是否存在相同类别的目标，将B列表中每个目标类别依次与A列表中目标类别进行对比，假如二者目标类别一致，则进行目标矩形框位置的IOU计算，加入此IOU大于阈值0.6，将当前矩形框的信息全部加入列表C。将所有目标数据文本文档全部进行交并比(IOU)计算统计；

将当前文本文档的列表B中的重复矩形框进行删除,得到新的不包含重复矩形框信息的列表D。如果列表D不为空列表，将列表D中的不重复矩形框信息保存为新的文本文档，并且将列表D中的不重复矩形框信息加入到列表A中，进行之后的对比；

清空列表D，列表C，之后重复上述步骤，直至所有文本文档对比结束，则去重过程完成，处理之后的图片序列大大减少了重复度，废钢识别的准确率大幅提高。

如表2所示为使用本去重算法与未使用本去重算法得到的预测废钢重量结果对比结果(单位为KG)。

表2

以上示意性地对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (5)

1.一种基于目标检测的连续废钢图片重复目标去重方法，其特征在于，包括以下步骤：

步骤一：获取以时间序列命名的废钢图片数据；

步骤二：将采集到的废钢图片数据输入到深度学习目标检测模型，提取图片的目标类别特征，生成检测结果；

步骤三：根据检测结果统计图片的目标类别特征，计算出每个图片之间的目标类别特征重复度，根据阈值进行去重处理，得到最适合用于预测目标的废钢图片数据。

2.根据权利要求1所述的一种基于目标检测的连续废钢图片重复目标去重方法，其特征在于：所述步骤一中，获取以时间序列命名的废钢图片数据包括以下步骤：

通过三个角度的摄像头对废钢货车卸货过程进行连续拍照记录，获取废钢图片数据，三个角度表示不同方向的拍摄角度，分别标记为角度0、角度1、角度2，废钢图片数据命名方式为当前拍照时间具体到秒，并加上角度数字后缀进行区分。

3.根据权利要求1所述的一种基于目标检测的连续废钢图片重复目标去重方法，其特征在于：所述步骤二中，生成检测结果包括：

经过深度学习目标检测模型处理后的废钢图片数据得到目标类别特征，生成检测结果具体表现为两种数据形式：一种为包含目标边界框的废钢图片，另一种为包含废钢目标矩形框数据的文本文档，具体而言，将废钢图片数据输入深度学习目标检测模型进行目标检测，提取图片特征，得到包含废钢目标矩形框的图片以及废钢目标矩形框数据的文本文档，以上两种检测结果文件均按照时间序列命名规则，每一张废钢图片对应一个文本文档，废钢图片中的每一个废钢目标矩形框对应文本文档中的每一行信息。

4.根据权利要求3所述的一种基于目标检测的连续废钢图片重复目标去重方法，其特征在于：废钢图片中的每一个废钢目标矩形框对应文本文档中的每一行信息，所述目标数据检测结果中的文本文档包括若干行数据，每行数据表示一个废钢目标信息，包括5个数字，第1个数字表示废钢目标类别序号，第2个数字表示当前废钢目标矩形框中心点横坐标，第3个数字表示当前废钢目标矩形框中心点纵坐标，第4个数字表示当前废钢目标矩形框的宽度，第5个数字表示当前废钢目标矩形框的高度。

5.根据权利要求1所述的一种基于目标检测的连续废钢图片重复目标去重方法，其特征在于：所述步骤三中，计算出每个图片之间的目标类别特征重复度，根据阈值进行去重处理包括以下步骤：

统计三个角度的图片文件夹，对三个角度的图片分别进行去重操作；

将废钢目标数据的文本文档按照命名进行排序，以保证最早拍摄的图片最先进行统计；

定义三个变量：未重复目标列表A，当前文本文档对应的目标列表B，以及当前图片中重复目标的列表C；

将第一个文本文档内容加入到列表A。对文本文档依次进行遍历，将当前遍历的文本文档内容加入目标列表B；

对比列表A和列表B，检查B列表中是否存在与A列表中相同类别的目标，对于相同类别的目标，使用矩形框交并比(IOU)计算方法进行目标矩形框位置的对比；

计算完两个矩形框的IOU值后，设定阈值0.6，若IOU值大于0.6，则认为这两个图片中的目标属于同一目标，将当前矩形框信息添加到重复目标列表C；

重复以上步骤，对列表A和列表B中所有的矩形框进行IOU对比，直到完成所有目标矩形框的比较；

从当前文本文档的目标列表B中删除所有重复的目标矩形框信息，得到不包含重复目标矩形框信息的新列表D；

如果列表D不为空，则将其中不重复的目标信息加入到未重复目标列表A中，完成去重操作。