CN109934851A - 一种标注方法、装置及机器可读存储介质 - Google Patents
一种标注方法、装置及机器可读存储介质 Download PDFInfo
- Publication number
- CN109934851A CN109934851A CN201910244437.2A CN201910244437A CN109934851A CN 109934851 A CN109934851 A CN 109934851A CN 201910244437 A CN201910244437 A CN 201910244437A CN 109934851 A CN109934851 A CN 109934851A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- tracking position
- tracking
- callout box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明提供一种标注方法、装置及机器可读存储介质,所述方法包括:获取标注好的第一图像,并根据所述第一图像中的标注框确定目标跟踪点;基于所述目标跟踪点,在第二图像中对目标进行光流跟踪,以确定所述目标在所述第二图像中的位置信息;根据所述位置信息在所述第二图像中对所述目标进行标注,并对标注数据进行保存和输出。应用本发明实施例可以提高标注的效率和准确性。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种标注方法、装置及机器可读存储介质。
背景技术
图像分类,检测及分割是计算机视觉领域的三大任务。图像分类模型是将图像划分为单个类别,通常对应于图像中最突出的目标(如行人、车辆等)。但是实际应用中很多图像通常包含不只一个目标,此时如果使用图像分类模型为图像分配一个单一标签其实是非常粗糙的,并不准确。对于这种情况,就需要目标检测模型,目标检测模型可以识别一张图像的多个目标,并可以定位出不同目标(给出边界框)。
在将目标检测模型用于目标检测任务之前,需要通过大量的样本对目标检测模型进行训练、验证和测试(对应的样本集可以分别称为训练集、验证集和测试集),其中,样本是指进行了目标标注的图像数据。
目前,进行目标标注的主要方式是人工标注,标注人员会对图像中的目标进行画框标注,根据图像中的目标的实际位置进行定点画框,然后对画出的区域进行相应坐标的保存和类型的输出,候选区域准确性的高低主要取决于标注人员,标注的数据量也取决于标注人员的数量和投入的时间,其实现效率较低,且准确性也较差。
发明内容
本发明提供一种标注方法、装置及机器可读存储介质,以解决现有标注方法效率低、准确性差的问题。
根据本发明的第一方面,提供一种标注方法,包括:
获取标注好的第一图像,并根据所述第一图像中的标注框确定目标跟踪点;
基于所述目标跟踪点,在第二图像中对目标进行光流跟踪,以确定所述目标在所述第二图像中的位置信息;
根据所述位置信息在所述第二图像中对所述目标进行标注,并对标注数据进行保存和输出。
根据本发明的第二方面,提供一种标注装置,包括:
获取单元,用于获取标注好的第一图像;
确定单元,用于根据所述第一图像中的标注框确定目标跟踪点;
光流跟踪单元,用于基于所述目标跟踪点,在第二图像中对目标进行光流跟踪,以确定所述目标在所述第二图像中的位置信息;
标注单元,用于根据所述位置信息在所述第二图像中对所述目标进行标注,并对标注数据进行保存和输出。
根据本发明的第三方面,提供一种机器可读存储介质,所述计算机可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时上述标注方法步骤。
应用本发明公开的技术方案,通过获取标注好的第一图像,并根据第一图像中的标注框确定目标跟踪点,进而,基于目标跟踪点,在第二图像中对目标进行光流跟踪,以确定目标在第二图像中的位置信息,根据位置信息在第二图像中对所述目标进行标注,并对标注数据进行保存和输出,提高了标注效率以及标注准确性。
附图说明
图1是本发明实施例提供的一种标注方法的流程示意图;
图2是本发明实施例提供的一种跟踪点分布的示意图;
图3是本发明实施例提供的一种标注方法的流程示意图;
图4A是本发明实施例提供的一种标注好的第N张图像的示意图;
图4B是本发明实施例提供的一种标注好的第N+1张图像的示意图;
图5是本发明实施例提供的一种标注装置的结构示意图;
图6是本发明实施例提供的另一种标注装置的结构示意图;
图7是本发明实施例提供的另一种标注装置的结构示意图;
图8是本发明实施例提供的一种标注装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1,为本发明实施例提供的一种标注方法的流程示意图,如图1所示,该标注方法可以包括以下步骤:
需要说明的是,在本发明实施例中,第一图像并不特指某一固定图像,而是可以指代任意视频中的任一视频帧,或连续拍摄(如拍摄时间间隔小于预设时间阈值)的同一场景的多张图像中的任一图像。
同理,第二图像也并不特指某一固定图像,而是可以指代与第一图像在获取时间以及场景上存在连续性的图像。
例如,第一图像和第二图像可以为同一视频中的连续视频帧,或者,第一图像和第二图像可以为同一视频中按照一定的帧间隔抽取的两个视频帧(如每隔1或2个视频帧抽取1个视频帧),或者,第一图像和第二图像可以为连续拍摄的同一场景的两张图像。
本发明实施例中,第一图像的标注可以通过人工标注的方式进行手动标注,也可以通过采用本发明实施例提供的标注方法进行标注。
例如,当按照本发明实施例提供的方式完成第二图像的标注之后,可以将该标注好的第二图像作为新的第一图像,对其他图像(新的第二图像)进行标注。
步骤101、获取标注好的第一图像,并根据第一图像中的标注框确定目标跟踪点。
本发明实施例中,标注好的第一图像可以通过对输入的图像进行人工标注的方式获取(即输入的图像为未标注的图像),或者,也可以通过接收输入的标注好的图像的方式获取(即输入的图像为标注好的图像)。
当获取到标注好的第一图像时,可以根据第一图像中的标注框确定目标跟踪点。
其中,第一图像中的标注框对应的目标可以为行人或车辆等移动方向随机性较低,较为稳定的目标。
需要说明的,在本发明实施例中,第一图像中的标注框可以为一个或多个(即存在多个目标),可以分别按照步骤101~103描述的方式对该多个目标进行标注。
其中,当第一图像中的标注框为多个时,该多个目标的标注可以并发进行。
在本发明其中一个实施例中,上述根据第一图像中的标注框确定目标跟踪点,可以包括:
利用均匀撒点的方式,在第一图像中的标注框中确定目标跟踪点。
在该实施例中,为了提高跟踪点的确定效率,进而提高图像标注的效率,可以利用均匀撒点的方式确定第一图像中的跟踪点(本文中称为目标跟踪点),即当一个标注框确定时,在该标注框范围内进行固定位置确定跟踪点。
例如,在第一图像的标注框范围内,固定等间距的确定25个或者36个目标跟踪点,各目标跟踪点等间距排布(水平方向上,各目标跟踪点之间的间距相等;竖直方向上,各目标跟踪点之间的间距也相等),其示意图可以如图2所示。
应该认识到,在本发明实施例中,在第一图像中确定目标跟踪点的方式并不限于均匀撒点的方式,也可以通过寻找角点的方式实现,其具体实现在此不做赘述。
步骤102、基于目标跟踪点,在第二图像中对目标进行光流跟踪,以确定目标在第二图像中的位置信息。
本发明实施例中,在第一图像中确定了目标跟踪点之后,可以基于所确定的目标跟踪点,利用光流跟踪的方式,确定待标注的目标在第二图像中的位置信息。
在本发明其中一个实施例中,上述基于目标跟踪点,在第二图像进行对目标进行光流跟踪,以确定目标在第二图像中的位置信息,可以包括:
对于任一目标跟踪点,在第二图像中搜索与该目标跟踪点相似度最高的点,并将与该目标跟踪点相似度最高的点确定为第二图像中的目标跟踪点;
根据第二图像中的目标跟踪点确定目标在第二图像中的位置信息。
在该实施例中,在第一图像中确定了目标跟踪点后,对应第一图像中的任一跟踪点,可以在第二图像中进行全局搜索,以确定与该目标跟踪点相似度最高的点,并将与该目标跟踪点相似度最高的点确定为第二图像中的目标跟踪点。
在该实施例中,对于第一图像中的各目标跟踪点,当在第二图像中均确定了对应的目标跟踪点之后,可以根据第二图像中的目标跟踪点确定目标在第二图像中的位置信息。
需要说明的是,在本发明实施例中,用于在第二图像中进行目标定位的目标跟踪点需要对应第一图像的同一标注框中的目标跟踪点。
在一个示例中,上述根据第二图像中的目标跟踪点确定目标在第二图像中的位置信息,可以包括:
根据第二图像中的目标跟踪点,确定目标在第二图像中的中心点坐标;
根据第二图像中的目标跟踪点的分散程度确定目标在第二图像中对应的标注框的修正系数,并根据修正系数以及目标在第一图像中对应的标注框的宽高,确定目标在第二图像中对应的标注框的宽高。
在该示例中,在第二图像中确定了目标跟踪点后,一方面,可以根据第二图像中的目标跟踪点,确定目标在第二图像中的中心点坐标(即目标在第二图像中对应的标注框的中心点坐标)。
例如,可以将各第二目标图像中各目标跟踪点的坐标的平均值,确定为目标在第二图像中的中心点坐标。
另一方面,可以根据第二图像中的目标跟踪点的分散程度确定目标在第二图像中对应的标注框的修正系数。
例如,可以利用第二图像中的目标跟踪点的方差与第一图像中的目标跟踪点的方差的比值来表征第二图像中的目标跟踪点的分散程度,即可以根据第二图像中的目标跟踪点的方差与第一图像中的目标跟踪点的方差的比值确定修正系数。
例如,将第二图像中的目标跟踪点的方差与第一图像中的目标跟踪点的方差的比值确定为修正系数。
其中,第一图像(或第二图像)中的目标跟踪点的方差为第一图像(或第二图像)中各目标跟踪点的坐标与各目标跟踪点的坐标中心的方差和。
需要说明的是,在本发明实施例中,在确定修正系数时,还可以分别根据第二图像中各目标跟踪点的横、纵坐标的分散程度,分别确定标注框的宽、高的修正系数,例如,根据第二图像中各目标跟踪点的横坐标的分散程度(可以通过第二图像中各目标跟踪点的横坐标与目标跟踪点的中心点的方差和,与第一图像中各目标跟踪点的横坐标与目标跟踪点的中心点的方差和,这两个方差和的比值来表征横坐标的分散程度)确定标注框的宽的修正系数。
在该示例中,确定了标注框的修正系数,可以根据该修正系数以及目标在第一图像中对应的标注框的宽高,确定目标在第二图像中对应的标注框的宽高。
例如,假设修正系数为a,目标在第一图像中对应的标注框的宽高分别为w和h,则目标在第二图像中对应的标注框的宽高分别为a*w和a*h。
在该示例中,确定了目标在第二图像中的中心点坐标以及目标在第二图像中对应的标注框的宽高,即确定了目标在第二图像中的位置信息(即目标在第二图像中对应的标注框的位置信息)。
步骤103、根据位置信息在第二图像中对目标进行标注,并对标注数据进行保存和输出。
本发明实施例中,确定了目标在第二图像中的位置信息之后,可以根据该位置信息在第二图像中对目标进行标注,即在第二图像中使用标注框框出目标,并对标注数据(如标注框的位置信息)进行保存和输出。
进一步地,在本发明实施例中,为了进一步提高目标标注的准确性,按照步骤101~步骤103中描述的方式,在第二图像中对目标进行了标注之后,在对标注数据进行保存和输出之前,还可以在指定功能界面中展示标注效果,例如,在预览界面展示目标标注预览图,由标注人员查看标注效果。
其中,若目标对应的标注框将目标包含在内,且标注框各边界与目标边缘的最小距离均满足预设要求(如小于预设距离阈值),则确定目标标注效果满足要求;若目标对应的标注框未将目标包含在内,或者,目标对应的标注框将目标包含在内,但是标注框至少一个边界与目标边缘的最小距离不满足要求(即标注框过大),则可以通过输入调节指令的方式,触发对标注框进行调整,并对调整后的标注数据进行保存和输出。
相应地,当接收到针对第二图像中的标注框的调整指令时,可以对第二图像中的标注框进行调整,例如,对标注框的宽或/和高进行缩放。
需要说明的是,在本发明实施例中,标注数据输出的数据种类可以包括百分比制、归一制、中心点及宽高制、左上角及右下角定点制等,本发明实施例对此不做限定。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案,下面结合具体实例对本发明实施例提供的技术方案进行说明。
在该实施例中,标注工具可以包括一个图像输入接口、标注数据修改接口、光流输入接口、光流输出接口、候选区框选显示接口以及标注数据输出接口。
在该实施例中,以第一图像和第二图像为同一视频监控设备拍摄的监控画面中的连续视频帧为例(其中,第一图像为第N帧视频帧(也可以称为第N张图像),第二图像为第N+1帧视频帧(也可以称为第N+1张图像))。
在该实施例中,目标标注的实现流程可以如图3所示,其可以包括以下处理步骤:
图像输入到标注工具中之后,标注工具可以对输入的图像进行缩放,以显示最佳比例。
具体地,标注工具加载完成图像之后,可以根据标注工具的最大分辨率,以及图像的宽、高,确定对图像进行缩放的缩放比例。
举例来说,可以通过以下公式确定缩放比例p:
p=Fmax/max(ws,hs)
其中,Fmax为支持的最大分辨率,ws为图像实际宽度,hs为图像实际高度。
例如,假设Fmax=800,若输入图像ws/hs>1,且ws为1000,则p=Fmax/ws=800/1000=0.8;同理,若图像ws/hs<1,hs为500,则p=Fmax/hs=800/500=1.6。
在该实施例中,缩放比例p确定好后,标注工具可以将图像的宽与高均进行p尺度的伸缩,得到新的宽与高,后续图像的处理均用新的宽与高进行操作,这样,在固定大小的工具中,显示的图像能达到较好的显示效果。
在该实施例中,可以通过人工标注的方式对第N张图像中的车辆进行标注,如图4A所示,可以分别通过标注框(也可以称为候选框)1、标注框2和标注框3对图像中左上侧白色的车辆、右侧白色的车辆和左下侧黑色的车辆进行标注。
确定了标注框1、标注框2和标注3的位置信息(如中心点坐标和宽高)后,可以将这3个标注框的位置信息输入到光流输入接口,从而,光流辅助模块接收到该3个标注框的位置信息之后,可以进行光流预测。
其中,在光流预测之前,可以对标注框中的图像进行采点,以得到跟踪点(即目标跟踪点),在第N张图像和第N+1张图像中对跟踪点的流动性进行跟踪预测。
在该实施例中,利用均匀撒点的方式进行采点,以确定跟踪点,在正方形标注框或长方形标注框中的跟踪点呈均匀分布状态,在较小的标注框内,可以采用5×5的方式均匀撒点,在较大的标注框内,可以采用6×6、7×7的方式均匀撒点,其示意图可以如图2所示。
由于标注框的四个顶点坐标位置已确定,因此,跟踪点的位置很快就可以确定,然后,标注工具可以根据所确定的跟踪点,进行光流跟踪。
在确定好跟踪点后,光流跟踪模块就可以根据当前第N张图像选择好的跟踪点,在第N+1张图像中进行光流跟踪,确定第N+1张图像中的跟踪点的位置。
由于图像中干扰和噪声等因素,原先的跟踪点通常会被打散,不成规则的矩形。
例如,假设跟踪点的数量为25个,其中心点平均值坐标即为框选出的标注框的中心点坐标;光流预测后的25个跟踪点的中心点平均值坐标相比原先的会发生偏移,计算预测后的中心点坐标的方法:
中心点横坐标xt:去除25个跟踪点的横坐标中的一个最大值后,将剩余横坐标的平均值确定为第N+1张图像中的中心点的横坐标;
中心点纵坐标yt:去除25个跟踪点的纵坐标中的一个最大值后,将剩余纵坐标的平均值确定为目标在第N+1张图像中的中心点的纵坐标。
计算公式如下:
其中,xi为第N+1张图像中第i个跟踪点的横坐标,yi为第N+1张图像中第i个跟踪点的纵坐标,xmax为第N+1张图像中25个跟踪点的横坐标的最大值,ymax为第N+1张图像中25个跟踪点的纵坐标的最大值。
其中,通过去除跟踪点的横坐标中的最大值以及纵坐标中的最大值,可以减少确定中心点坐标时的随机误差的干扰,提高所确定的中心点坐标的准确性。
在该实施例中,确定好中心点坐标后,可以再确定第N+1张图像中标注框的宽高;其中,宽高的计算可以根据跟踪点的分散程度得出一个修正系数,然后将第N张图像中标注框的宽高乘以修正系数,得到最新的宽和高,作为第N+1张图像中标注框的宽高。
需要说明的是,在该实施例中,若在第N张图像中,目标处于边缘位置,且在第N+1张图像中目标消失,则第N+1张图像中的跟踪点一般会分散程度特别大,如第N+1张图像中跟踪点的方差大于设定的阈值,或者,第N+1张图像中跟踪点的方差与第N张图像中跟踪点的方差的比值大于设定的阈值,这种情况需要置为错误,将结果丢弃,即并不根据确定的跟踪点进行目标标注。
在该实施例中,为了进一步提高目标标注的准确性,在第N+1张图像中对目标进行了标注之后,在对标注数据进行保存和输出之前,还可以在指定功能界面中展示标注效果,例如,在预览界面展示目标标注预览图,由标注人员查看标注效果。
例如,若第N+1张图像中,标注框1将目标包含在内,且各边界与目标边缘的最小距离满足预设要求,则标注框1不需要调整,标注框1对应的标注数据不变化;若标注框2未将目标包含在内,或是将目标包含在内,但至少一个边界与目标边缘的最小距离不满足要求,则可以对标注框2进行调整,调整完后,标注工具会对标注数据进行更新,将最新的标注框坐标替换原先存在偏差的数据。
完成第N+1张图像中的目标标注之后,可以进行标注数据的保存和输出;其中,第N+1张图像中标注框的示意图可以如图4B所示。
在该实施例中,在对第N张图像进行目标标注后,通过光流辅助跟踪以确定第N+1张图像中目标的位置,通过光流辅助跟踪出的候选结果,只需进行小幅度位置调整甚至不需要调整,减少了标注工作量;由于经过了算法辅助以及人工校正过程,可以高效、精准的获取目标的定点位置,大大提高了标注数据的鲁棒性,并且进一步地提高了标注的效率。
需要说明的是,在本发明实施例中,按照上述方式对第N+1张图像进行了标注之后,可以基于该第N+1张图像,按照上述方式对第N+2张图像进行标注。其中,若在第N+1张图像中出现了新的目标,则可以通过人工标注的方式对新出现的目标进行标注,并进而在第N+2张图中对新出现的目标进行跟踪。
通过以上描述可以看出,在本发明实施例提供的技术方案中,通过获取标注好的第一图像,并根据第一图像中的标注框确定目标跟踪点,进而,基于目标跟踪点,在第二图像中对目标进行光流跟踪,以确定目标在第二图像中的位置信息,根据位置信息在第二图像中对所述目标进行标注,并对标注数据进行保存和输出,提高了标注效率以及标注准确性。
请参见图5,为本发明实施例提供一种标注装置的结构示意图,如图5所示,该标注装置可以包括:
获取单元510,用于获取标注好的第一图像;
确定单元520,用于根据所述第一图像中的标注框确定目标跟踪点;
光流跟踪单元530,用于基于所述目标跟踪点,在第二图像中对目标进行光流跟踪,以确定所述目标在所述第二图像中的位置信息;
标注单元540,用于根据所述位置信息在所述第二图像中对所述目标进行标注,并对标注数据进行保存和输出。
在可选实施例中,所述确定单元520,具体用于利用均匀撒点的方式,在所述第一图像中的标注框中确定所述目标跟踪点。
在可选实施例中,所述光流跟踪单元530,具体用于对于任一目标跟踪点,在所述第二图像中搜索与该目标跟踪点相似度最高的点,并将与该目标跟踪点相似度最高的点确定为所述第二图像中的目标跟踪点;根据所述第二图像中的目标跟踪点确定所述目标在所述第二图像中的位置信息。
在可选实施例中,所述光流跟踪单元530,具体用于根据所述第二图像中的目标跟踪点,确定所述目标在所述第二图像中的中心点坐标;根据所述第二图像中的目标跟踪点的分散程度确定所述目标在所述第二图像中对应的标注框的修正系数,并根据所述修正系数以及所述目标在所述第一图像中对应的标注框的宽高,确定所述目标在所述第二图像中对应的标注框的宽高。
在可选实施例中,所述光流跟踪单元530,具体用于去除所述目标跟踪点的横坐标中的一个最大值后,将剩余横坐标的平均值确定为所述目标在所述第二图像中的中心点的横坐标;去除所述目标跟踪点的纵坐标中的一个最大值后,将剩余纵坐标的平均值确定为所述目标在所述第二图像中的中心点的纵坐标。
在可选实施例中,所述光流跟踪单元530,具体用于根据所述第二图像中的目标跟踪点的方差与所述第一图像中的目标跟踪点的方差的比值确定所述修正系数;
其中,图像中的目标跟踪点的方差为该图像中各目标跟踪点的坐标与各目标跟踪点的坐标中心的方差和。
请一并参见图6,为本发明实施例提供的另一种标注装置的结构示意图,如图6所示,在图5所示标注装置的基础上,图6所示标注装置还包括:
调整单元550,用于根据接收到的针对所述第二图像中的标注框的调整指令,对所述第二图像中的标注框进行调整。
请一并参见图7,为本发明实施例提供的另一种标注装置的结构示意图,如图7所示,在图5所示标注装置的基础上,图7所示标注装置还包括:
缩放单元560,用于根据所支持的最大分辨率对所述第一图像和所述第二图像进行缩放。
在可选实施例中,所述缩放单元560,具体用于根据以下公式确定图像缩放比例p:
p=Fmax/max(ws,hs)
其中,Fmax为支持的最大分辨率,ws为图像实际宽度,hs为图像实际高度;
根据所述图像缩放比例数对所述第一图像和所述第二图像进行缩放。
请参见图8,为本发明实施例提供的一种标注装置的硬件结构示意图。该标注装置可以包括处理器801、存储有机器可执行指令的机器可读存储介质802。处理器801与机器可读存储介质802可经由系统总线803通信。并且,通过读取并执行机器可读存储介质802中与标注逻辑对应的机器可执行指令,处理器801可执行上文描述的标注方法。
本文中提到的机器可读存储介质802可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是易失存储器、非易失性存储器或者类似的存储介质。具体地,机器可读存储介质802可以是RAM(Radom Access Memory,随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。
本发明实施例还提供了一种包括机器可执行指令的机器可读存储介质,例如图8中的机器可读存储介质802,所述机器可执行指令可由标注装置中的处理器801执行以实现以上描述的标注方法。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
由上述实施例可见,通过获取标注好的第一图像,并根据第一图像中的标注框确定目标跟踪点,进而,基于目标跟踪点,在第二图像中对目标进行光流跟踪,以确定目标在第二图像中的位置信息,根据位置信息在第二图像中对所述目标进行标注,并对标注数据进行保存和输出,提高了标注效率以及标注准确性。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (15)
1.一种标注方法,其特征在于,包括:
获取标注好的第一图像,并根据所述第一图像中的标注框确定目标跟踪点;
基于所述目标跟踪点,在第二图像中对目标进行光流跟踪,以确定所述目标在所述第二图像中的位置信息;
根据所述位置信息在所述第二图像中对所述目标进行标注,并对标注数据进行保存和输出。
2.根据权利要求1所述的方法,其特征在于,所述根据第一图像中的标注框确定目标跟踪点,包括:
利用均匀撒点的方式,在所述第一图像中的标注框中确定所述目标跟踪点。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标跟踪点,在第二图像进行对目标进行光流跟踪,以确定所述目标在所述第二图像中的位置信息,包括:
对于任一目标跟踪点,在所述第二图像中搜索与该目标跟踪点相似度最高的点,并将与该目标跟踪点相似度最高的点确定为所述第二图像中的目标跟踪点;
根据所述第二图像中的目标跟踪点确定所述目标在所述第二图像中的位置信息。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第二图像中的目标跟踪点确定所述目标在所述第二图像中的位置信息,包括:
根据所述第二图像中的目标跟踪点,确定所述目标在所述第二图像中的中心点坐标;
根据所述第二图像中的目标跟踪点的分散程度确定所述目标在所述第二图像中对应的标注框的修正系数,并根据所述修正系数以及所述目标在所述第一图像中对应的标注框的宽高,确定所述目标在所述第二图像中对应的标注框的宽高。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第二图像中的目标跟踪点,确定所述目标在所述第二图像中的中心点坐标,包括:
去除所述目标跟踪点的横坐标中的一个最大值后,将剩余横坐标的平均值确定为所述目标在所述第二图像中的中心点的横坐标;
去除所述目标跟踪点的纵坐标中的一个最大值后,将剩余纵坐标的平均值确定为所述目标在所述第二图像中的中心点的纵坐标。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第二图像中的目标跟踪点的分散程度确定所述目标在所述第二图像中对应的标注框的修正系数,包括:
根据所述第二图像中的目标跟踪点的方差与所述第一图像中的目标跟踪点的方差的比值确定所述修正系数;
其中,图像中的目标跟踪点的方差为该图像中各目标跟踪点的坐标与各目标跟踪点的坐标中心的方差和。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述位置信息在所述第二图像中对所述目标进行标注之后,所述对标注数据进行保存和输出之前,还包括:
根据接收到的针对所述第二图像中的标注框的调整指令,对所述第二图像中的标注框进行调整。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述在第二图像进行对目标进行光流跟踪之前,还包括:
根据所支持的最大分辨率对所述第一图像和所述第二图像进行缩放;
其中,所述对所述第一图像和所述第二图像进行缩放,包括:
根据以下公式确定图像缩放比例p:
p=Fmax/max(ws,hs)
其中,Fmax为支持的最大分辨率,ws为图像实际宽度,hs为图像实际高度;
根据所述图像缩放比例数对所述第一图像和所述第二图像进行缩放。
9.一种标注装置,其特征在于,包括:
获取单元,用于获取标注好的第一图像;
确定单元,用于根据所述第一图像中的标注框确定目标跟踪点;
光流跟踪单元,用于基于所述目标跟踪点,在第二图像中对目标进行光流跟踪,以确定所述目标在所述第二图像中的位置信息;
标注单元,用于根据所述位置信息在所述第二图像中对所述目标进行标注,并对标注数据进行保存和输出。
10.根据权利要求9所述的装置,其特征在于,
所述确定单元,具体用于利用均匀撒点的方式,在所述第一图像中的标注框中确定所述目标跟踪点。
11.根据权利要求9所述的装置,其特征在于,
所述光流跟踪单元,具体用于对于任一目标跟踪点,在所述第二图像中搜索与该目标跟踪点相似度最高的点,并将与该目标跟踪点相似度最高的点确定为所述第二图像中的目标跟踪点;根据所述第二图像中的目标跟踪点确定所述目标在所述第二图像中的位置信息。
12.根据权利要求11所述的装置,其特征在于,
所述光流跟踪单元,具体用于根据所述第二图像中的目标跟踪点,确定所述目标在所述第二图像中的中心点坐标;其中,去除所述目标跟踪点的横坐标中的一个最大值后,将剩余横坐标的平均值确定为所述目标在所述第二图像中的中心点的横坐标;去除所述目标跟踪点的纵坐标中的一个最大值后,将剩余纵坐标的平均值确定为所述目标在所述第二图像中的中心点的纵坐标;
根据所述第二图像中的目标跟踪点的方差与所述第一图像中的目标跟踪点的方差的比值确定所述修正系数,并根据所述修正系数以及所述目标在所述第一图像中对应的标注框的宽高,确定所述目标在所述第二图像中对应的标注框的宽高;其中,图像中的目标跟踪点的方差为该图像中各目标跟踪点的坐标与各目标跟踪点的坐标中心的方差和。
13.根据权利要求9-12任一项所述的装置,其特征在于,所述装置还包括:
调整单元,用于根据接收到的针对所述第二图像中的标注框的调整指令,对所述第二图像中的标注框进行调整。
14.根据权利要求9-12任一项所述的装置,其特征在于,所述装置还包括:
缩放单元,用于根据所支持的最大分辨率对所述第一图像和所述第二图像进行缩放;其中,根据以下公式确定图像缩放比例p:
p=Fmax/max(ws,hs)
其中,Fmax为支持的最大分辨率,ws为图像实际宽度,hs为图像实际高度;
根据所述图像缩放比例数对所述第一图像和所述第二图像进行缩放。
15.一种机器可读存储介质,其特征在于,所述计算机可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现权利要求1-8任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910244437.2A CN109934851A (zh) | 2019-03-28 | 2019-03-28 | 一种标注方法、装置及机器可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910244437.2A CN109934851A (zh) | 2019-03-28 | 2019-03-28 | 一种标注方法、装置及机器可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109934851A true CN109934851A (zh) | 2019-06-25 |
Family
ID=66988696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910244437.2A Pending CN109934851A (zh) | 2019-03-28 | 2019-03-28 | 一种标注方法、装置及机器可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934851A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110737417A (zh) * | 2019-09-30 | 2020-01-31 | 深圳市格上视点科技有限公司 | 一种演示设备及其标注线的显示控制方法和装置 |
CN110933435A (zh) * | 2019-11-29 | 2020-03-27 | 上海依图网络科技有限公司 | 动图延时优化处理方法、装置、设备及可读存储介质 |
CN110991491A (zh) * | 2019-11-12 | 2020-04-10 | 苏州智加科技有限公司 | 图像标注方法、装置、设备及存储介质 |
CN112533060A (zh) * | 2020-11-24 | 2021-03-19 | 浙江大华技术股份有限公司 | 一种视频处理方法及装置 |
CN114049540A (zh) * | 2021-11-29 | 2022-02-15 | 平安银行股份有限公司 | 基于人工智能的标注图像检测方法、装置、设备及介质 |
CN114241384A (zh) * | 2021-12-20 | 2022-03-25 | 北京安捷智合科技有限公司 | 连续帧图片标注方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7613321B2 (en) * | 2004-03-05 | 2009-11-03 | Sony Corporation | Moving object tracking method using occlusion detection of the tracked object, and image processing apparatus |
CN102693216A (zh) * | 2012-05-08 | 2012-09-26 | 苏州盛景空间信息技术有限公司 | 基于分数阶微分的点特征跟踪方法 |
CN103605506A (zh) * | 2013-10-30 | 2014-02-26 | 南通同洲电子有限责任公司 | 一种图形用户界面资源的显示方法及终端 |
CN105760178A (zh) * | 2016-03-17 | 2016-07-13 | 网易(杭州)网络有限公司 | 对界面控件进行适配的方法及装置 |
CN106203423A (zh) * | 2016-06-26 | 2016-12-07 | 广东外语外贸大学 | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 |
CN107967692A (zh) * | 2017-11-28 | 2018-04-27 | 西安电子科技大学 | 一种基于跟踪学习检测的目标跟踪优化方法 |
-
2019
- 2019-03-28 CN CN201910244437.2A patent/CN109934851A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7613321B2 (en) * | 2004-03-05 | 2009-11-03 | Sony Corporation | Moving object tracking method using occlusion detection of the tracked object, and image processing apparatus |
CN102693216A (zh) * | 2012-05-08 | 2012-09-26 | 苏州盛景空间信息技术有限公司 | 基于分数阶微分的点特征跟踪方法 |
CN103605506A (zh) * | 2013-10-30 | 2014-02-26 | 南通同洲电子有限责任公司 | 一种图形用户界面资源的显示方法及终端 |
CN105760178A (zh) * | 2016-03-17 | 2016-07-13 | 网易(杭州)网络有限公司 | 对界面控件进行适配的方法及装置 |
CN106203423A (zh) * | 2016-06-26 | 2016-12-07 | 广东外语外贸大学 | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 |
CN107967692A (zh) * | 2017-11-28 | 2018-04-27 | 西安电子科技大学 | 一种基于跟踪学习检测的目标跟踪优化方法 |
Non-Patent Citations (5)
Title |
---|
ALIAS WAVEFRONT编著: "《Maya3.0完全手册 Live篇》", 30 November 2000 * |
KE GU ET AL: "Quality Assessment Considering Viewing Distance and Image Resolution", 《IEEE TRANSACTIONS ON BROADCASTING》 * |
余翔宇等: "基于K-L变换的两传感器图像自动配准", 《电波科学学报》 * |
蒋菱等: "基于LK光流跟踪法的有效目标点增强跟踪", 《图像与多媒体》 * |
雷帮军等: "《视频目标跟踪系统分步详解》", 31 December 2015 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110737417A (zh) * | 2019-09-30 | 2020-01-31 | 深圳市格上视点科技有限公司 | 一种演示设备及其标注线的显示控制方法和装置 |
CN110737417B (zh) * | 2019-09-30 | 2024-01-23 | 深圳市格上视点科技有限公司 | 一种演示设备及其标注线的显示控制方法和装置 |
CN110991491A (zh) * | 2019-11-12 | 2020-04-10 | 苏州智加科技有限公司 | 图像标注方法、装置、设备及存储介质 |
CN110933435A (zh) * | 2019-11-29 | 2020-03-27 | 上海依图网络科技有限公司 | 动图延时优化处理方法、装置、设备及可读存储介质 |
CN112533060A (zh) * | 2020-11-24 | 2021-03-19 | 浙江大华技术股份有限公司 | 一种视频处理方法及装置 |
CN112533060B (zh) * | 2020-11-24 | 2023-03-21 | 浙江大华技术股份有限公司 | 一种视频处理方法及装置 |
CN114049540A (zh) * | 2021-11-29 | 2022-02-15 | 平安银行股份有限公司 | 基于人工智能的标注图像检测方法、装置、设备及介质 |
CN114241384A (zh) * | 2021-12-20 | 2022-03-25 | 北京安捷智合科技有限公司 | 连续帧图片标注方法、电子设备及存储介质 |
CN114241384B (zh) * | 2021-12-20 | 2024-01-19 | 北京安捷智合科技有限公司 | 连续帧图片标注方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934851A (zh) | 一种标注方法、装置及机器可读存储介质 | |
Dubská et al. | Fully automatic roadside camera calibration for traffic surveillance | |
Chen et al. | Object-level motion detection from moving cameras | |
CN105913028B (zh) | 一种基于face++平台的人脸跟踪方法及其装置 | |
US20130002866A1 (en) | Detection and Tracking of Moving Objects | |
Nguyen et al. | Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system | |
CN103699905A (zh) | 一种车牌定位方法及装置 | |
CN106295598A (zh) | 一种跨摄像头目标跟踪方法及装置 | |
CN106447701A (zh) | 用于图像相似性确定、对象检测和跟踪的方法和装置 | |
CN109670462A (zh) | 基于定位信息的航空器跨全景持续跟踪方法 | |
CN103679186A (zh) | 检测和跟踪目标的方法和装置 | |
Aeschliman et al. | Tracking vehicles through shadows and occlusions in wide-area aerial video | |
US10657672B2 (en) | Image processing device, image processing method and storage medium | |
CN111932579A (zh) | 基于被跟踪目标运动轨迹对设备角度的调整方法及装置 | |
CN103607558A (zh) | 一种视频监控系统及其目标匹配方法和装置 | |
Montero et al. | Framework for natural landmark-based robot localization | |
CN109583361A (zh) | 基于能量最小化的场景视频文本跟踪方法 | |
Revaud et al. | Robust automatic monocular vehicle speed estimation for traffic surveillance | |
CN111951328A (zh) | 一种物体位置检测方法、装置、设备和存储介质 | |
Donate et al. | Shot boundary detection in videos using robust three-dimensional tracking | |
CN104484889A (zh) | 目标跟踪方法和装置 | |
CN111462321B (zh) | 点云地图处理方法、处理装置、电子装置和车辆 | |
CN112215036B (zh) | 跨镜追踪方法、装置、设备及存储介质 | |
KR101935969B1 (ko) | 히스토그램을 이용한 객체 추적 실패 감지 및 재추적 방법 및 장치 | |
WO2016005252A1 (en) | Method and device for image extraction from a video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |
|
RJ01 | Rejection of invention patent application after publication |