CN110288629A - 基于移动物体检测的目标检测自动标注方法及装置 - Google Patents

基于移动物体检测的目标检测自动标注方法及装置 Download PDF

Info

Publication number
CN110288629A
CN110288629A CN201910551489.4A CN201910551489A CN110288629A CN 110288629 A CN110288629 A CN 110288629A CN 201910551489 A CN201910551489 A CN 201910551489A CN 110288629 A CN110288629 A CN 110288629A
Authority
CN
China
Prior art keywords
picture
mobile object
frame
target frame
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910551489.4A
Other languages
English (en)
Other versions
CN110288629B (zh
Inventor
杨文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN201910551489.4A priority Critical patent/CN110288629B/zh
Publication of CN110288629A publication Critical patent/CN110288629A/zh
Application granted granted Critical
Publication of CN110288629B publication Critical patent/CN110288629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Abstract

本发明提供了一种基于移动物体检测的目标检测自动标注方法及装置，该方法包括采用场景分类器确定待检测视频的场景类别，选取与场景类别具有对应关系的至少一种移动物体检测算法，待检测视频包括同一类移动物体；通过至少一种移动物体检测算法检测待检测视频的多帧图片中的移动物体，对检测到的移动物体标注目标框；对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框；采用预设算法在多帧图片中移除移动物体上重叠的目标框，将剩余目标框作为移动物体的最终标注结果。采用本发明方案的自动标注方法可以极大的节省目标检测标注的人力成本，比传统纯人工的标注方法更加有效率，有效地节省了人力成本。

Description

基于移动物体检测的目标检测自动标注方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于移动物体检测的目标检测自动标注方法及装置。
背景技术
目前基于机器学习或者深度学习的目标检测非常流行，已经成为自动驾驶领域主要的视觉感知方法。现有技术中，不论是使用机器学习还是深度学习的方法，目标检测模型的训练都需要大量的图片和标注操作，且主要采用人工标注的方式进行标注，对于具有较小物体的图片，所需的标注人力成本巨大，因此，如何可以节省目标检测标注的人力成本是目前面临的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于移动物体检测的目标检测自动标注方法及装置。
依据本发明一方面，提供了一种基于移动物体检测的目标检测自动标注方法，包括：
采用场景分类器确定待检测视频的场景类别，选取与所述场景类别具有对应关系的至少一种移动物体检测算法，所述待检测视频包括同一类移动物体；
通过所述至少一种移动物体检测算法检测所述待检测视频的多帧图片中的移动物体，对检测到的所述移动物体标注目标框；
对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框；
采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框，将剩余目标框作为所述移动物体的最终标注结果。
可选地，采用场景分类器确定待检测视频的场景类别，选取与所述场景类别具有对应关系的至少一种移动物体检测算法，包括：
从所述待检测视频中选取至少一帧图片；
将所述至少一帧图片输入至所述场景分类器，所述场景分类器依据所述至少一帧图片对应的场景类别确定所述待检测视频的场景类别；
选取与所述场景类别具有对应关系的至少一种移动物体检测算法，且获取所述至少一种移动物体检测算法对应的置信度。
可选地，若将从所述待检测视频中选取出多帧图片输入至所述场景分类器，则所述场景分类器依据所述至少一帧图片对应的场景类别确定所述待检测视频的场景类别，包括：
利用所述场景分类器对所述多帧图片进行场景分类，确定出每帧图片对应的场景类别；
依据每帧图片对应的场景类别对所述多帧图片分组，统计每组图片包含的图片帧数；
将图片帧数最多的一组图片对应的场景类别确定为所述待检测视频的场景类别。
可选地，对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框，包括：
定义所述待检测视频中已标注目标框的任一帧图片为跟踪图片，所述多帧图片中与跟踪图片相邻的后帧图片为被跟踪图片；
采用预置目标跟踪算法在被跟踪图片中跟踪与所述跟踪图片中已由移动物体检测算法标注目标框的移动物体对应的移动物体，在被跟踪图片中对跟踪到的移动物体标注目标框和对应的跟踪置信度；
以当前新标注后的被跟踪图片作为新的跟踪图片，对新的跟踪图片相邻的后帧被跟踪图片中的移动物体采用预置目标跟踪算法跟踪标注，直到所述多帧图片均标注完成。
可选地，采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框，包括：
确定所述多帧图片的移动物体上重叠目标框中每个目标框的置信度；
采用预设算法从所述移动物体上的重叠目标框中移除置信度低于预设值的目标框；
其中，若目标框直接由移动物体检测算法标注，则该目标框的置信度为所述移动物体检测算法对应的置信度；
若目标框由预置目标跟踪算法跟踪标注，则该目标框的置信度为跟踪图片中对应的移动物体在标注目标框时采用的移动物体检测算法对应的置信度、与所述被跟踪图片中标注目标框对应的跟踪置信度的乘积。
可选地，所述预设算法包括Soft NMS算法。
可选地，采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框之后，还包括：
接收用户对所述多帧图片中移动物体的目标框的检测、调整操作；
对检测、调整操作后的多帧图片进行保存。
可选地，对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪之前，还包括：
对所述待检测视频中的多帧图片进行尺寸缩放；
通过所述移动物体检测算法对不同尺寸下的多帧图片中的移动物体分别标注目标框；
将标注完目标框的不同尺寸的多帧图片缩放还原至初始尺寸。
依据本发明另一方面，还提供了一种基于移动物体检测的目标检测自动标注装置，包括：
选取模块，适于采用场景分类器确定待检测视频的场景类别，选取与所述场景类别具有对应关系的至少一种移动物体检测算法，所述待检测视频包括同一类移动物体；
标注模块，适于通过所述至少一种移动物体检测算法检测所述待检测视频的多帧图片中的移动物体，对检测到的所述移动物体标注目标框；
跟踪模块，适于对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框；
移除模块，适于采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框，将剩余目标框作为所述移动物体的最终标注结果。
依据本发明另一方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上文任意实施例中的基于移动物体检测的目标检测自动标注方法。
在本发明实施例中，通过采用场景分类器确定待检测视频的场景类别，选取与场景类别具有对应关系的至少一种移动物体检测算法，从而可以利用至少一种移动物体检测算法检测待检测视频的多帧图片中的移动物体，并对检测到的移动物体标注目标框，相比较于使用其他深度学习模型，本方案的场景泛化能力更强，效果更好。通过对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框，能够有效地补充遗漏的检测框。采用预设算法在多帧图片中移除移动物体上重叠的目标框，并将剩余目标框作为移动物体的最终标注结果，能够避免一个移动物体上出现重叠的目标框，避免目标检测的不准确性。进一步地，采用本发明方案的自动标注方法可以极大的节省目标检测标注的人力成本，比传统纯人工的标注方法更加有效率，有效地节省了人力成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于移动物体检测的目标检测自动标注方法的流程示意图；
图2示出了根据本发明一个实施例的基于移动物体检测的目标检测自动标注装置的结构示意图；
图3示出了根据本发明另一个实施例的基于移动物体检测的目标检测自动标注装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决上述技术问题，本发明实施例提供了一种基于移动物体检测的目标检测自动标注方法的流程示意图。图1示出了根据本发明一个实施例的基于移动物体检测的目标检测自动标注方法的流程示意图。参见图1，该方法至少包括步骤S102至步骤S108。
步骤S102，采用场景分类器确定待检测视频的场景类别，选取与场景类别具有对应关系的至少一种移动物体检测算法，待检测视频包括同一类移动物体。
在该步骤中，场景分类器可以采用机器学习(如HOG+SVM、ACF+adaboost等)分类器或深度学习分类器(如卷积神经网络CNN等)。本发明实施例对场景分类器的具体类型不做限定。另外，同一类移动物体可以是行人或车辆或动物等移动物体。
步骤S104，通过至少一种移动物体检测算法检测待检测视频的多帧图片中的移动物体，对检测到的移动物体标注目标框。
步骤S106，对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框。
步骤S108，采用预设算法在多帧图片中移除移动物体上重叠的目标框，将剩余目标框作为移动物体的最终标注结果。
在本发明实施例中，通过采用场景分类器确定待检测视频的场景类别，选取与场景类别具有对应关系的至少一种移动物体检测算法，从而可以利用至少一种移动物体检测算法检测待检测视频的多帧图片中的移动物体，并对检测到的移动物体标注目标框，相比较于使用其他深度学习模型，本方案的场景泛化能力更强，效果更好。通过对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框，能够有效地补充遗漏的检测框。采用预设算法在多帧图片中移除移动物体上重叠的目标框，并将剩余目标框作为移动物体的最终标注结果，能够避免一个移动物体上出现重叠的目标框，避免目标检测的不准确性。进一步地，采用本发明方案的自动标注方法可以极大的节省目标检测标注的人力成本，比传统纯人工的标注方法更加有效率，有效地节省了人力成本。
参见上文步骤S102，在本发明一实施例中，采用场景分类器确定待检测视频的场景类别，选取与场景类别具有对应关系的至少一种移动物体检测算法的过程具体为，首先，从待检测视频中选取至少一帧图片，然后，将至少一帧图片输入至场景分类器，由场景分类器依据至少一帧图片对应的场景类别确定待检测视频的场景类别，进而，选取与场景类别具有对应关系的至少一种移动物体检测算法，且获取至少一种移动物体检测算法对应的置信度。
在该实施例中，场景分类器是采用机器学习模型的方式，基于输入样本和输出样本预先进行训练，输入样本指的是输入图像，输出样本指的是不同的移动物体检测算法和对应的置信度数值。因此，当场景分类器输入至少一张图片时，场景分类器可以直接输出至少一种移动物体检测算法及其对应的置信度。
在本发明一实施例中，若从待检测视频中选取一帧图片，那么可以直接依据这一帧图片对应的场景类别确定待检测视频的场景类别。
若从待检测视频中选取出多帧图片，那么需要依据多帧图片各自对应的场景类别来综合考虑并确定待检测视频的场景类别。具体的，在利用场景分类器对多帧图片进行场景分类，并确定出每帧图片对应的场景类别之后，可以依据每帧图片对应的场景类别对多帧图片分组，且统计出每组图片包含的图片帧数。进而，将图片帧数最多的一组图片对应的场景类别确定为待检测视频的场景类别。
该实施例中的多帧图片可以是待检测视频中连续的几帧图片，当然为了保证能够准确地确定出待检测视频的场景类别，还可以选取待检测视频不同时间段内的多帧图片。
在本发明实施例中，移动物体检测算法有很多种，根据视频背景的复杂度、采集视频的摄像机是否运动等条件的不同，适用的运动目标检测算法也有很大的差别，通常用的三种方法是光流场法、帧间差分法、背景减法。本发明实施例中的移动物体检测算法可以采用上述三种方法中的至少一种。
在本发明一实施例中，为了方便场景分类器快速地确定待检测视频的场景类别，还可以在录制待检测视频时，录制仅包含一类移动物体的视频。
另外，还需要尽量保证视频中的移动物体一直保持在移动状态，以及移动物体没有遮挡，并避免移动物体只有部分显示在视频界面(即避免移动物体太大)和移动物体在视频中人眼也无法辨识(即避免移动物体太小)。
在本发明实施例中，还可以结合除了图像之外的其他任何有用数据信息一起送入场景分类器来选取用于检测移动物体的移动物体检测算法及其置信度，从而能够准确有效地选取更加合适待检测视频的场景的检测移动物体的移动物体检测算法及其置信度。本实施例中的其他数据信息可以是摄像头是否处于移动状态的信息。例如，由于视频采集人员利用摄像头录制待检测视频时明确知道摄像头是否在移动，因此，对于移动摄像头录制的视频可以添加是否移动的标签，并且，对于移动的摄像头还可以添加摄像头的移动速度等信息。又例如，在采用车辆的摄像头录制待检测视频时通过获取车辆当前的GPS(GlobalPositioning System，全球定位系统)信息或者IMU(Inertial Measurement Unit，惯性测量单元)传感器信息，从而确定出当前摄像头是否处于移动状态。
本发明实施例中录制待检测视频的除了采用摄像头，还可以采用其他的视频采集设备，本发明实施例对此不做具体的限定。视频的场景类别是多种多样的，例如场景类别包括白天、晚上、阴天、雨天等场景，还包括草地、雪地、大海等场景，本发明实施例对场景类别不做限定。
本发明方案对待检测视频中的多帧图片中的移动物体标注目标框后，这些标注目标框后的图片可以作为图片样本进行后续产品用的机器学习或者深度学习模型的训练，训练后的模型可以用于检测视频中的物体并进行分类。
若模型训练采用小图训练的方式，则可以无需保证视频中的移动物体一直在移动状态，也无需保证移动物体没有遮挡，对于移动物体太大或太小也没有特殊要求。这里，小图训练的意思是在只将移动物体的目标框附近区域截图出来单独训练，这样可以防止整个图中有未检测到的移动物体作为真值，最终导致引入错误的负样本。
参见上文步骤S106，在本发明一实施例中，在对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，并对跟踪到的移动物体标注目标框的具体过程如下：
第一步，定义待检测视频中已标注目标框的任一帧图片为跟踪图片，多帧图片中与跟踪图片相邻的后帧图片为被跟踪图片。
第二步，采用预置目标跟踪算法在被跟踪图片中跟踪与跟踪图片中已由移动物体检测算法标注目标框的移动物体对应的移动物体，在被跟踪图片中对跟踪到的移动物体标注目标框和对应的跟踪置信度。
第三步，以当前新标注后的被跟踪图片作为新的跟踪图片，对新的跟踪图片相邻的后帧被跟踪图片中的移动物体采用预置目标跟踪算法跟踪标注，直到多帧图片均标注完成。
参见上文步骤S108并结合上述实施例的内容，在本发明一实施例中，采用预设算法在多帧图片中移除移动物体上重叠的目标框时，先确定多帧图片的移动物体上重叠目标框中每个目标框的置信度。然后，采用预设算法从移动物体上的重叠目标框中移除置信度低于预设值的目标框。
若移动物体上的目标框直接由移动物体检测算法标注，则该目标框的置信度为移动物体检测算法对应的置信度。
若移动物体上的目标框由预置目标跟踪算法跟踪标注，则该目标框的置信度为跟踪图片中对应的移动物体在标注目标框时采用的移动物体检测算法对应的置信度、与被跟踪图片中标注目标框对应的跟踪置信度的乘积。
在该步骤中，预设算法可以采用Soft NMS算法。当然还可以采用其他算法，本发明实施例对此不做具体的限定。
为了更加清楚地体现上述实施例，先以一具体实例对采用预设算法在多帧图片中移除移动物体上重叠的目标框的过程进行介绍。
例如，多帧图片中的第一帧图片的移动物体上有目标框a，目标框a利用光流场法检测并标注出。通过获取光流场法对应的置信度，假设确定出目标框a的置信度为0.9。
多帧图片中的第二帧图片的移动物体上有目标框b和与其重叠的目标框c，目标框b利用帧间差分法检测并标注出，通过获取帧间差分法对应的置信度，假设确定出目标框b的置信度为0.8。目标框c由第一帧图片中目标框a对应的移动物体跟踪标注出，目标框c在跟踪标注过程中得到的跟踪置信度为0.9。
那么可以确定出目标框a的置信度即为0.9。目标框b的置信度为0.8。目标框c的置信度为0.9*0.9，即置信度为0.81。
对于第一帧图片的移动物体，不存在重叠的目标框，则可以不进行移除。对于第二帧图片的移动物体，目标框b和目标框c重叠，且目标框b的置信度小于目标框c的置信度，从而可以采用Soft NMS算法将目标框b从第二帧图片上移除。
在本发明一实施例中，在采用预设算法在多帧图片中移除移动物体上重叠的目标框之后，为了确保对移动物体目标检测的准确性，避免自动标注处理过程中出现标注错误，还可以由人工对标注结果进行检查。对于存在的错误标注，由人工进一步地进行修正和调整。
因此，本发明方案在采用预设算法在多帧图片中移除移动物体上重叠的目标框之后，还可以接收用户对多帧图片中移动物体的目标框的检测、调整操作。最后再对用户检测、调整操作后的多帧图片进行保存。
在本发明一实施例中，为了能够更加准确地实现对移动物体的检测，在对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪之前，还可以通过对待检测视频中的多帧图片进行尺寸缩放，从而利用移动物体检测算法对不同尺寸下的多帧图片中的移动物体分别标注目标框，进而将标注完目标框的不同尺寸的多帧图片缩放还原至初始尺寸。
例如，多帧图片的初始尺寸为80*100，首先将多帧图片放大到160*200之后，利用移动物体检测算法对160*200尺寸下的多帧图片中的移动物体分别标注目标框。然后，将多帧图片放大到240*300之后，利用移动物体检测算法对240*300尺寸下的多帧图片中的移动物体分别标注目标框。在不同尺寸下标注完目标框后，将240*300尺寸的多帧图片缩放还原至80*100。这里的图片尺寸仅仅是示意性的，本发明实施例对此不做具体的限定。
通过将多帧图片缩放至不同尺寸进行标注，从而可以使本方案能够更加广泛的适用于包含不同大小的移动物体的待检测视频，对于各种大小的移动物体均可以进行准确且有效地自动标注。
本发明中，基于移动物体检测的目标检测自动标注方法可以在服务器端或者终端本地上运行。本发明方法可以应用于汽车的辅助驾驶ADAS(Advanced Driving AssistantSystem，高级驾驶辅助系统)、自动泊车APA及自动驾驶等领域。
基于同一发明构思，本发明实施例还提供了一种基于移动物体检测的目标检测自动标注装置。图2示出了根据本发明一个实施例的基于移动物体检测的目标检测自动标注装置的结构示意图。参见图2，基于移动物体检测的目标检测自动标注装置包括选取模块210、标注模块220、跟踪模块230及移除模块240。
现介绍本发明实施例的基于移动物体检测的目标检测自动标注装置200的各组成或器件的功能以及各部分间的连接关系：
选取模块210，适于采用场景分类器确定待检测视频的场景类别，选取与场景类别具有对应关系的至少一种移动物体检测算法，待检测视频包括同一类移动物体；
标注模块220，与选取模块210耦合，适于通过至少一种移动物体检测算法检测待检测视频的多帧图片中的移动物体，对检测到的移动物体标注目标框；
跟踪模块230，与标注模块220耦合，适于对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框；
移除模块240，与跟踪模块230耦合，适于采用预设算法在多帧图片中移除移动物体上重叠的目标框，将剩余目标框作为移动物体的最终标注结果。
在本发明一实施例中，选取模块210还适于，首先从待检测视频中选取至少一帧图片。然后将至少一帧图片输入至场景分类器，场景分类器依据至少一帧图片对应的场景类别确定待检测视频的场景类别。最后选取与场景类别具有对应关系的至少一种移动物体检测算法，且获取至少一种移动物体检测算法对应的置信度。
在该实施例中，若选取模块210将从待检测视频中选取出多帧图片输入至场景分类器，在确定待检测视频的场景类别时，可以先利用场景分类器对多帧图片进行场景分类，确定出每帧图片对应的场景类别。然后依据每帧图片对应的场景类别对多帧图片分组，统计每组图片包含的图片帧数。最后将图片帧数最多的一组图片对应的场景类别确定为待检测视频的场景类别。
在本发明一实施例中，跟踪模块230还适于定义待检测视频中已标注目标框的任一帧图片为跟踪图片，多帧图片中与跟踪图片相邻的后帧图片为被跟踪图片。采用预置目标跟踪算法在被跟踪图片中跟踪与跟踪图片中已由移动物体检测算法标注目标框的移动物体对应的移动物体，在被跟踪图片中对跟踪到的移动物体标注目标框和对应的跟踪置信度。以当前新标注后的被跟踪图片作为新的跟踪图片，对新的跟踪图片相邻的后帧被跟踪图片中的移动物体采用预置目标跟踪算法跟踪标注，直到多帧图片均标注完成。
在本发明一实施例中，移除模块240还适于确定多帧图片的移动物体上重叠目标框中每个目标框的置信度。采用预设算法从移动物体上的重叠目标框中移除置信度低于预设值的目标框。其中，若目标框直接由移动物体检测算法标注，则该目标框的置信度为移动物体检测算法对应的置信度。若目标框由预置目标跟踪算法跟踪标注，则该目标框的置信度为跟踪图片中对应的移动物体在标注目标框时采用的移动物体检测算法对应的置信度、与被跟踪图片中标注目标框对应的跟踪置信度的乘积。
在该实施例中，预设算法可以包括Soft NMS算法，当然也可以采用其他算法，本发明实施例对此不做具体的限定。
本发明实施例还提供了另一种基于移动物体检测的目标检测自动标注装置。图3示出了根据本发明另一个实施例的基于移动物体检测的目标检测自动标注装置的结构示意图。参见图3，基于移动物体检测的目标检测自动标注装置200除了包括上述各模块之外，还包括缩放模块250、还原模块260、检测调整模块270和保存模块280。
缩放模块250，适于在跟踪模块230对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪之前，对待检测视频中的多帧图片进行尺寸缩放。
标注模块220，与缩放模块250耦合，还适于通过移动物体检测算法对不同尺寸下的多帧图片中的移动物体分别标注目标框。
还原模块260，与标注模块220和跟踪模块230分别耦合，适于将标注完目标框的不同尺寸的多帧图片缩放还原至初始尺寸。
检测调整模块270，与移除模块240耦合，适于接收用户对多帧图片中移动物体的目标框的检测、调整操作。
保存模块280，与检测调整模块270耦合，适于对检测、调整操作后的多帧图片进行保存。
根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
在本发明实施例中，通过采用场景分类器确定待检测视频的场景类别，选取与场景类别具有对应关系的至少一种移动物体检测算法，从而可以利用至少一种移动物体检测算法检测待检测视频的多帧图片中的移动物体，并对检测到的移动物体标注目标框，相比较于使用其他深度学习模型，本方案的场景泛化能力更强，效果更好。通过对多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框，能够有效地补充遗漏的检测框。采用预设算法在多帧图片中移除移动物体上重叠的目标框，并将剩余目标框作为移动物体的最终标注结果，能够避免一个移动物体上出现重叠的目标框，避免目标检测的不准确性。进一步地，采用本发明方案的自动标注方法可以极大的节省目标检测标注的人力成本，比传统纯人工的标注方法更加有效率，有效地节省了人力成本。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行指令时执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，程序指令可以存储于一计算机可读取存储介质中，当程序指令被计算设备的处理器执行时，计算设备执行本发明各实施例方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (10)

1.一种基于移动物体检测的目标检测自动标注方法，包括：
采用场景分类器确定待检测视频的场景类别，选取与所述场景类别具有对应关系的至少一种移动物体检测算法，所述待检测视频包括同一类移动物体；
通过所述至少一种移动物体检测算法检测所述待检测视频的多帧图片中的移动物体，对检测到的所述移动物体标注目标框；
对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框；
采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框，将剩余目标框作为所述移动物体的最终标注结果。
2.根据权利要求1所述的方法，其中，采用场景分类器确定待检测视频的场景类别，选取与所述场景类别具有对应关系的至少一种移动物体检测算法，包括：
从所述待检测视频中选取至少一帧图片；
将所述至少一帧图片输入至所述场景分类器，所述场景分类器依据所述至少一帧图片对应的场景类别确定所述待检测视频的场景类别；
选取与所述场景类别具有对应关系的至少一种移动物体检测算法，且获取所述至少一种移动物体检测算法对应的置信度。
3.根据权利要求2所述的方法，其中，若将从所述待检测视频中选取出多帧图片输入至所述场景分类器，则所述场景分类器依据所述至少一帧图片对应的场景类别确定所述待检测视频的场景类别，包括：
利用所述场景分类器对所述多帧图片进行场景分类，确定出每帧图片对应的场景类别；
依据每帧图片对应的场景类别对所述多帧图片分组，统计每组图片包含的图片帧数；
将图片帧数最多的一组图片对应的场景类别确定为所述待检测视频的场景类别。
4.根据权利要求2所述的方法，其中，对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框，包括：
定义所述待检测视频中已标注目标框的任一帧图片为跟踪图片，所述多帧图片中与跟踪图片相邻的后帧图片为被跟踪图片；
采用预置目标跟踪算法在被跟踪图片中跟踪与所述跟踪图片中已由移动物体检测算法标注目标框的移动物体对应的移动物体，在被跟踪图片中对跟踪到的移动物体标注目标框和对应的跟踪置信度；
以当前新标注后的被跟踪图片作为新的跟踪图片，对新的跟踪图片相邻的后帧被跟踪图片中的移动物体采用预置目标跟踪算法跟踪标注，直到所述多帧图片均标注完成。
5.根据权利要求4所述的方法，其中，采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框，包括：
确定所述多帧图片的移动物体上重叠目标框中每个目标框的置信度；
采用预设算法从所述移动物体上的重叠目标框中移除置信度低于预设值的目标框；
其中，若目标框直接由移动物体检测算法标注，则该目标框的置信度为所述移动物体检测算法对应的置信度；
若目标框由预置目标跟踪算法跟踪标注，则该目标框的置信度为跟踪图片中对应的移动物体在标注目标框时采用的移动物体检测算法对应的置信度、与所述被跟踪图片中标注目标框对应的跟踪置信度的乘积。
6.根据权利要求1-5任一项所述的方法，其中，所述预设算法包括Soft NMS算法。
7.根据权利要求1-5任一项所述的方法，其中，采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框之后，还包括：
接收用户对所述多帧图片中移动物体的目标框的检测、调整操作；
对检测、调整操作后的多帧图片进行保存。
8.根据权利要求1-5任一项所述的方法，其中，对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪之前，还包括：
对所述待检测视频中的多帧图片进行尺寸缩放；
通过所述移动物体检测算法对不同尺寸下的多帧图片中的移动物体分别标注目标框；
将标注完目标框的不同尺寸的多帧图片缩放还原至初始尺寸。
9.一种基于移动物体检测的目标检测自动标注装置，包括：
选取模块，适于采用场景分类器确定待检测视频的场景类别，选取与所述场景类别具有对应关系的至少一种移动物体检测算法，所述待检测视频包括同一类移动物体；
标注模块，适于通过所述至少一种移动物体检测算法检测所述待检测视频的多帧图片中的移动物体，对检测到的所述移动物体标注目标框；
跟踪模块，适于对所述多帧图片中的移动物体采用预置目标跟踪算法进行跟踪，对跟踪到的移动物体标注目标框；
移除模块，适于采用预设算法在所述多帧图片中移除所述移动物体上重叠的目标框，将剩余目标框作为所述移动物体的最终标注结果。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-8任一项所述的基于移动物体检测的目标检测自动标注方法。
CN201910551489.4A 2019-06-24 2019-06-24 基于移动物体检测的目标检测自动标注方法及装置 Active CN110288629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910551489.4A CN110288629B (zh) 2019-06-24 2019-06-24 基于移动物体检测的目标检测自动标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910551489.4A CN110288629B (zh) 2019-06-24 2019-06-24 基于移动物体检测的目标检测自动标注方法及装置

Publications (2)

Publication Number Publication Date
CN110288629A true CN110288629A (zh) 2019-09-27
CN110288629B CN110288629B (zh) 2021-07-06

Family

ID=68005457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910551489.4A Active CN110288629B (zh) 2019-06-24 2019-06-24 基于移动物体检测的目标检测自动标注方法及装置

Country Status (1)

Country Link
CN (1) CN110288629B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991296A (zh) * 2019-11-26 2020-04-10 腾讯科技（深圳）有限公司 视频标注方法、装置、电子设备及计算机可读存储介质
CN111147751A (zh) * 2019-12-31 2020-05-12 北京华为数字技术有限公司 拍照模式的生成方法、装置和计算机可读存储介质
CN113127666A (zh) * 2020-01-15 2021-07-16 初速度（苏州）科技有限公司 一种连续帧数据的标注系统、方法和装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041102A1 (en) * 2003-08-22 2005-02-24 Bongiovanni Kevin Paul Automatic target detection and motion analysis from image data
US8295547B1 (en) * 2010-05-26 2012-10-23 Exelis, Inc Model-based feature tracking in 3-D and 2-D imagery
CN102902976A (zh) * 2011-07-29 2013-01-30 中国科学院电子学研究所 一种基于目标及其空间关系特性的图像场景分类方法
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN104680532A (zh) * 2015-03-02 2015-06-03 北京格灵深瞳信息技术有限公司 一种对象标注方法及装置
US20160267669A1 (en) * 2015-03-12 2016-09-15 James W. Justice 3D Active Warning and Recognition Environment (3D AWARE): A low Size, Weight, and Power (SWaP) LIDAR with Integrated Image Exploitation Processing for Diverse Applications
CN106446933A (zh) * 2016-08-31 2017-02-22 河南广播电视大学 基于上下文信息的多目标检测方法
CN107292274A (zh) * 2017-06-28 2017-10-24 北京飞搜科技有限公司 一种适用于视频中快速人脸检测的方法及系统
CN107369203A (zh) * 2017-07-14 2017-11-21 北京航空航天大学 室内三维场景自适应构建方法及装置
CN108229287A (zh) * 2017-05-31 2018-06-29 北京市商汤科技开发有限公司 图像识别方法和装置、电子设备和计算机存储介质
CN108320296A (zh) * 2017-12-28 2018-07-24 新智数字科技有限公司 一种视频中目标对象的检测跟踪方法、装置及设备
CN108509891A (zh) * 2018-03-27 2018-09-07 斑马网络技术有限公司 图像标注方法、装置、存储介质及电子设备
CN109492576A (zh) * 2018-11-07 2019-03-19 北京旷视科技有限公司 图像识别方法、装置及电子设备
CN109711285A (zh) * 2018-12-11 2019-05-03 百度在线网络技术（北京）有限公司 识别模型的训练、测试方法和装置
CN109815787A (zh) * 2018-12-10 2019-05-28 深圳前海达闼云端智能科技有限公司 目标识别方法、装置、存储介质及电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041102A1 (en) * 2003-08-22 2005-02-24 Bongiovanni Kevin Paul Automatic target detection and motion analysis from image data
US8295547B1 (en) * 2010-05-26 2012-10-23 Exelis, Inc Model-based feature tracking in 3-D and 2-D imagery
CN102902976A (zh) * 2011-07-29 2013-01-30 中国科学院电子学研究所 一种基于目标及其空间关系特性的图像场景分类方法
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN104680532A (zh) * 2015-03-02 2015-06-03 北京格灵深瞳信息技术有限公司 一种对象标注方法及装置
US20160267669A1 (en) * 2015-03-12 2016-09-15 James W. Justice 3D Active Warning and Recognition Environment (3D AWARE): A low Size, Weight, and Power (SWaP) LIDAR with Integrated Image Exploitation Processing for Diverse Applications
CN106446933A (zh) * 2016-08-31 2017-02-22 河南广播电视大学 基于上下文信息的多目标检测方法
CN108229287A (zh) * 2017-05-31 2018-06-29 北京市商汤科技开发有限公司 图像识别方法和装置、电子设备和计算机存储介质
CN107292274A (zh) * 2017-06-28 2017-10-24 北京飞搜科技有限公司 一种适用于视频中快速人脸检测的方法及系统
CN107369203A (zh) * 2017-07-14 2017-11-21 北京航空航天大学 室内三维场景自适应构建方法及装置
CN108320296A (zh) * 2017-12-28 2018-07-24 新智数字科技有限公司 一种视频中目标对象的检测跟踪方法、装置及设备
CN108509891A (zh) * 2018-03-27 2018-09-07 斑马网络技术有限公司 图像标注方法、装置、存储介质及电子设备
CN109492576A (zh) * 2018-11-07 2019-03-19 北京旷视科技有限公司 图像识别方法、装置及电子设备
CN109815787A (zh) * 2018-12-10 2019-05-28 深圳前海达闼云端智能科技有限公司 目标识别方法、装置、存储介质及电子设备
CN109711285A (zh) * 2018-12-11 2019-05-03 百度在线网络技术（北京）有限公司 识别模型的训练、测试方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991296A (zh) * 2019-11-26 2020-04-10 腾讯科技（深圳）有限公司 视频标注方法、装置、电子设备及计算机可读存储介质
CN110991296B (zh) * 2019-11-26 2023-04-07 腾讯科技（深圳）有限公司 视频标注方法、装置、电子设备及计算机可读存储介质
CN111147751A (zh) * 2019-12-31 2020-05-12 北京华为数字技术有限公司 拍照模式的生成方法、装置和计算机可读存储介质
CN111147751B (zh) * 2019-12-31 2022-01-11 北京华为数字技术有限公司 拍照模式的生成方法、装置和计算机可读存储介质
CN113127666A (zh) * 2020-01-15 2021-07-16 初速度（苏州）科技有限公司 一种连续帧数据的标注系统、方法和装置
CN113127666B (zh) * 2020-01-15 2022-06-24 魔门塔(苏州)科技有限公司 一种连续帧数据的标注系统、方法和装置

Also Published As

Publication number Publication date
CN110288629B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
Neumann et al. Nightowls: A pedestrians at night dataset
US11704888B2 (en) Product onboarding machine
WO2017041396A1 (zh) 一种车道线数据的处理方法、装置、存储介质及设备
CN108986138A (zh) 目标跟踪方法及设备
US20210056715A1 (en) Object tracking method, object tracking device, electronic device and storage medium
CN110288629A (zh) 基于移动物体检测的目标检测自动标注方法及装置
CN109974721A (zh) 一种基于高精度地图的视觉回环检测方法和装置
CN105512618B (zh) 视频跟踪方法
US11340700B2 (en) Method and apparatus with image augmentation
CN109101929A (zh) 一种行人计数方法及装置
Hasan et al. Traffic sign recognition system (TSRS): SVM and convolutional neural network
CN112102141A (zh) 水印的检测方法、装置、存储介质以及电子设备
CN110363790A (zh) 目标追踪方法、装置和计算机可读存储介质
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN109903308B (zh) 用于获取信息的方法及装置
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
CN116968022A (zh) 一种基于视觉引导的机械臂抓取目标物体方法及系统
Dingel et al. AdaPT: Adaptable particle tracking for spherical microparticles in lab on chip systems
Chen et al. Integrated vehicle and lane detection with distance estimation
Baca et al. Automated data annotation for 6-dof ai-based navigation algorithm development
CN111460854A (zh) 一种远距离目标检测方法、装置及系统
CN112651351B (zh) 一种数据处理的方法和装置
Kiran et al. Automatic hump detection and 3D view generation from a single road image
CN109117888A (zh) 目标对象识别方法及其神经网络生成方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220323

Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: No.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic Development Zone, Hubei Province

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.