CN111402295B - 基于对象检测和跟踪的移动物体识别方法 - Google Patents

Abstract

本发明公开了一种基于对象检测和跟踪的移动物体识别方法，获取yolo‑tiny框架对具有液体箱的标签数据进行训练，得到液体箱检测模型，利用所述检测模型依次对视频帧图像进行检测，得到液体箱的检测框；其次基于对象跟踪算法，依次统计液体箱并生成对应的跟踪器；再次基于跟踪对象检测算法，依次统计跟踪器对应的液体箱是否被跟丢或已被跟踪到的次数。最后如果液体箱已被跟丢或者已被跟踪到的次数超过设置的阈值，那么基于移动对象检测算法进行评估液体箱是否存在正确的移动过程。解决了计算机量化液体箱移动过程的问题，能够准确监测液体箱是否移动以及移动过程。

Description

基于对象检测和跟踪的移动物体识别方法

技术领域

本发明涉及物体检测和跟踪技术领域，尤其涉及一种基于对象检测和跟踪的移动物体识别方法。

背景技术

移动物体识别技术是基于工厂场景所遇到的液体箱移动检测问题而提出的一种使移动物体检测更加准确规范的技术，在工厂中，工厂工人开车驶入工厂，然后将装载着液体物料的箱子准确对接到物料输入管口，经过一段时间后，开车工人再开着小车带着此箱子驶离工厂，目前在工厂进行移动液体箱识别时，事先需要在液体箱移动目的地的位置上部署固定式摄像头，然后基于这个摄像头的视频画面进行图像分析，进而识别液体箱是否准确移动到目的地，基于固定位置的摄像头和人工智能移动物体识别算法，实现对液体箱移动的实时监测，但不能准确监测液体箱是否移动以及移动过程。

发明内容

本发明的目的在于提供一种基于对象检测和跟踪的移动物体识别方法，准确监测液体箱是否移动以及移动过程。

为实现上述目的，本发明提供了一种基于对象检测和跟踪的移动物体识别方法，包括：

利用对象检测算法，得到液体箱的检测框；

基于对象跟踪算法，依次统计所述液体箱并生成对应的跟踪器；

基于所述跟踪对象检测算法，依次统计所述跟踪器对应的液体箱的被跟踪情况；

根据所述液体箱的被跟踪情况，利用移动对象检测算法评估所述液体箱是否存在正确的移动过程。

其中，所述利用对象检测算法，得到液体箱的检测框，包括：

获取yolo-tiny框架对具有液体箱的标签数据进行训练，得到液体箱检测模型，并利用所述液体箱检测模型对视频帧图像进行检测，得到液体箱的检测框。

其中，所述基于对象跟踪算法，依次统计所述液体箱并生成对应的跟踪器，包括：

对获取的首帧图像新建跟踪器，则将所述检测框与所述跟踪器存储的跟踪框计算交叠率，并根据所述交叠率的大小，判断所述检测框的匹配情况。

其中，所述根据所述交叠率的大小，判断所述检测框的匹配情况，包括：

若所述交叠率大于第一设定值，则统计所述跟踪器和所述交叠率，并将所述交叠率按升序排列，得到所述跟踪器与所述检测框的匹配度并更新所述跟踪框；

若所述交叠率小于第一设定值，则所述检测框无对应的跟踪器，则新建跟踪器进行检测。

其中，基于所述跟踪对象检测算法，依次统计所述跟踪器对应的液体箱的被跟踪情况，包括：

获取所述跟踪器记录的相邻两帧图像，将后一帧图像与前一帧图像进行比较，若所述后一帧图像中没有液体箱，则液体箱跟丢，统计数为-1，若所述后一帧图像中有液体箱，则液体箱没有跟丢，统计数进行累加。

其中，根据所述液体箱的被跟踪情况，利用移动对象检测算法评估所述液体箱是否存在正确的移动过程，包括：

获取所述跟踪框中的抽象框，并将所述抽象框中的像素值赋值为1，所述跟踪框中除所述抽象框外的的像素值赋值为0，得到所述抽象框对应的二值图，并将所有的所述二值图进行累加，得到累加图，并对所述累加图进行归一化处理。

其中，根据所述液体箱的被跟踪情况，利用移动对象检测算法评估所述液体箱是否存在正确的移动过程，还包括：

将按升值排列的所述交叠率所对应的末位跟踪框与所述跟踪器记录的末帧跟踪框的面积进行做差计算，若大于第二设定值，则所述液体箱离开工厂，若小于第二设定值，则所述液体箱未离开工厂。

本发明的一种基于对象检测和跟踪的移动物体识别方法，获取yolo-tiny框架对具有液体箱的标签数据进行训练，得到液体箱检测模型，利用所述检测模型依次对视频帧图像进行检测，得到液体箱的检测框；其次基于对象跟踪算法，依次统计液体箱并生成对应的跟踪器；再次基于跟踪对象检测算法，依次统计跟踪器对应的液体箱是否被跟丢或已被跟踪到的次数；最后如果液体箱已被跟丢或者已被跟踪到的次数超过设置的阈值，那么基于移动对象检测算法进行评估液体箱是否存在正确的移动过程。解决了计算机量化液体箱移动过程的问题，能够准确监测液体箱是否移动以及移动过程。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于对象检测和跟踪的移动物体识别方法的步骤示意图。

图2是本发明提供的一种基于对象检测和跟踪的移动物体识别方法的流程示意图。

图3是本发明提供的统计抽象框内二值图的累加图。

图4是本发明提供的液体箱移动过程抽象框的累加图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1和图2，本发明提供一种基于对象检测和跟踪的移动物体识别方法，包括：

S101、利用对象检测算法，得到液体箱的检测框。

具体的，获取yolo-tiny框架和具有液体箱的标签数据进行训练，得到液体箱检测模型，并利用所述液体箱检测模型对视频帧图像进行检测，得到液体箱的检测框，其中，yolo-tiny是精简版的目标对象检测模型，既有速度又有精度，模型精小，还非常灵活，在保证算法准确率的前提下，可以提高本算法的性能和降低显存占用比例。

S102、基于对象跟踪算法，依次统计所述液体箱并生成对应的跟踪器。

具体的，基于对象跟踪算法，对于首张帧图像而言，是不存在对应的跟踪器的，这时需要新建跟踪器，采用比较稳定的跟踪器(TrackerCSRT，opencv内自带的跟踪器，能准确地跟踪目标对象)，在有短时遮挡的情况下还能准确跟踪到位。

对获取的图像不是首帧图像，则将所述检测框与所述跟踪器存储的跟踪框计算交叠率(iou)，并根据所述交叠率的大小，判断所述检测框的匹配情况，若所述交叠率大于第一设定值(或足够大)，则统计所述跟踪器和所述交叠率，并将所述交叠率按升序排列，得到所述跟踪器与所述检测框的匹配度，其中，得到的最大的交叠率所对应的跟踪器就是与所述检测框最匹配的，并更新所述跟踪器内的跟踪框；若所述交叠率小于第一设定值(或足够小)，则所述检测框无对应的跟踪器，则重新获取跟踪器进行检测

S103、基于所述跟踪对象检测算法，依次统计所述跟踪器对应的液体箱的被跟踪情况。

具体的，由于所述跟踪器已经记录了液体箱，再次基于跟踪对象检测算法，则获取所述跟踪器记录的相邻两帧图像，将后一帧图像与前一帧图像进行比较，若所述后一帧图像中没有液体箱，则液体箱跟丢，统计数为-1，若所述后一帧图像中有液体箱，则液体箱没有跟丢，统计数进行累加。

S104、根据所述液体箱的被跟踪情况，利用移动对象检测算法评估所述液体箱是否存在正确的移动过程。

具体的，基于移动对象检测算法，在移动过程中液体箱的跟踪框是在不停地抖动的，而在静止状态下液体箱的跟踪框也会有小幅度的抖动，这会影响评估算法的结果。所以提出了这样一种过滤器：先定义一个抽象框，所述抽象框为基于液体箱所对应的跟踪框中心点的5x5框，并将所述抽象框中的像素值赋值为1，所述跟踪框中除所述抽象框外的的像素值赋值为0，得到所述抽象框对应的二值图，对于同一个液体箱而言，在每一个帧图像中都存在一个抽象框的二值图，并将所有的所述二值图进行累加，得到累加图，其内的每个像素值表征液体箱移动过程中的统计量。视频中静止状态下的液体箱的抽象框内的像素点是相同的，小幅度的抖动时的相同液体箱的抽象框之间总会存在交集的，而移动状态下相同液体箱的抽象框之间是几乎不存在交集的，如图2所示，抽象框抖动幅度越小，累加数就越大，越能表征液体箱所处的状态；如图3所示，抽象框移动过程中累加图，可以有效区分液体箱是否移动，为了避免液体箱移动过程中出现的短暂停留所造成的误判，所以要对累加图进行归一化处理(归一化：累加图除以帧图像的统计量)，用于去除不同停留帧数带来的影响。并针对工厂液体箱移动检测场景，增加液体箱是否离开工厂的判断：并根据液体箱所对应跟踪器内的最大跟踪框和最后存储的跟踪框的面积差大于第二设定值时，可以认为液体箱离开工厂，否则未离场。

在工厂液体箱移动场景中，在视觉上对于人眼而言，分辨液体箱是否移动是个相对简单过程，在用计算机量化这个移动过程中，需要选择正确的识别方法。如果用视频帧差法来计算液体箱是否移动，当液体箱子缓慢移动时，由于前后帧之间较为平滑，所以很难判别液体箱是在移动，被误判为静止；当液体箱静止时，由于外部环境影响而造成的液体箱的检测框的抖动，也会被误判为移动。而本专利解决了这些问题，利用一个抽象框统计量来量化液体箱是否移动，从而准确监测液体箱是否移动及移动过程。

本发明的一种基于对象检测和跟踪的移动物体识别方法，获取yolo-tiny框架对具有液体箱的标签数据进行训练，得到液体箱检测模型，利用所述检测模型依次对视频帧图像进行检测，得到液体箱的检测框；其次基于对象跟踪算法，依次统计液体箱并生成对应的跟踪器；再次基于跟踪对象检测算法，依次统计跟踪器对应的液体箱是否被跟丢或已被跟踪到的次数；最后如果液体箱已被跟丢或者已被跟踪到的次数超过设置的阈值，那么基于移动对象检测算法进行评估液体箱是否存在正确的移动过程。解决了计算机量化液体箱移动过程的问题，能够准确监测液体箱是否移动以及移动过程。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (3)

1.一种基于对象检测和跟踪的移动物体识别方法，其特征在于，包括：

利用对象检测算法，得到液体箱的检测框，包括：

获取yolo-tiny框架对具有液体箱的标签数据进行训练，得到液体箱检测模型，并利用所述液体箱检测模型对视频帧图像进行检测，得到液体箱的检测框；

基于对象跟踪算法，依次统计所述液体箱并生成对应的跟踪器，包括：

对获取的首帧图像新建跟踪器，则将所述检测框与所述跟踪器存储的跟踪框计算交叠率，并根据所述交叠率的大小，判断所述检测框的匹配情况；

基于跟踪对象检测算法，依次统计所述跟踪器对应的液体箱的被跟踪情况，包括：

获取所述跟踪器记录的相邻两帧图像，将后一帧图像与前一帧图像进行比较，若所述后一帧图像中没有液体箱，则液体箱跟丢，统计数为-1，若所述后一帧图像中有液体箱，则液体箱没有跟丢，统计数进行累加；

根据所述液体箱的被跟踪情况，利用移动对象检测算法评估所述液体箱是否存在正确的移动过程，包括：

获取所述跟踪框中的抽象框，并将所述抽象框中的像素值赋值为1，所述跟踪框中除所述抽象框外的像素值赋值为0，得到所述抽象框对应的二值图，并将所有的所述二值图进行累加，得到累加图，并对所述累加图进行归一化处理。

2.如权利要求1所述的一种基于对象检测和跟踪的移动物体识别方法，其特征在于，所述根据所述交叠率的大小，判断所述检测框的匹配情况，包括：

若所述交叠率大于第一设定值，则统计所述跟踪器和所述交叠率，并将所述交叠率按升序排列，得到所述跟踪器与所述检测框的匹配度并更新所述跟踪框；

若所述交叠率小于第一设定值，则所述检测框无对应的跟踪器，则新建跟踪器进行检测。

3.如权利要求1所述的一种基于对象检测和跟踪的移动物体识别方法，其特征在于，根据所述液体箱的被跟踪情况，利用移动对象检测算法评估所述液体箱是否存在正确的移动过程，还包括：

将按升值排列的所述交叠率所对应的末位跟踪框与所述跟踪器记录的末帧跟踪框的面积进行做差计算，若大于第二设定值，则所述液体箱离开工厂，若小于第二设定值，则所述液体箱未离开工厂。