CN112655018A - 对象追踪方法、对象追踪系统以及对象追踪程序 - Google Patents

Abstract

在步骤S1中，以第一帧率通过学习识别方法来识别动态图像内的至少一个对象。在步骤S2中，基于通过学习识别方法识别出的对象将ROI位置初始化。在步骤S3中，基于ROI位置，以比第一帧率高的第二帧率通过使用了模板的模板匹配来追踪动态图像内的对象。在步骤S4中，修正通过学习识别方法识别了对象的时刻的帧的ROI与以第二帧率持续进行模板匹配至现在的帧的ROI之间的差异。

Description

对象追踪方法、对象追踪系统以及对象追踪程序

技术领域

本发明涉及对象追踪方法、对象追踪系统以及对象追踪程序。

背景技术

对象追踪技术是识别并追踪由相机拍摄到的动态图像中的特定的对象的技术。在近年来的代表性的对象追踪技术中，有使用模板匹配来局部地追踪对象的方法(以下，称作“局部对象追踪方法”)、通过基于深度学习等学习理论进行的处理来识别对象的方法(以下，称作“学习识别方法”)等(例如，非专利文献1)。

在先技术文献

非专利文献

非专利文献1：姜明俊、高木健、石井抱“使用深度学习的高速对象追踪”日本机械学会机器人与机电一体化演讲会2018演讲论文集2A1-K17(2018)

发明内容

发明要解决的课题

局部对象追踪方法仅在对象附近进行局部搜索，因此，具有能够使执行速度高速化的优点，但另一方面，在追踪开始时需要初始模板的人为指定。因此，存在如下问题：若是因背景画面的复杂性、对象的遮挡或姿势变化等而导致追踪的失败多次发生，则追踪变得困难。

另一方面，在以卷积神经网络(CNN)为基础的学习识别方法中，近年来，深度学习的性能显著提高。与向高性能GPU的并行安装相结合，学习识别方法实现几十fps(frameper second)这样的帧率下的实时对象识别。

学习识别方法以针对每帧独立的方式进行对象识别，因此，存在即使一度丢失对象也能够瞬间再次识别对象的优点。但是，未必在全部的帧中识别都稳定，因此存在识别结果间断的问题。此外，在主动视觉等机械反馈中，要求几百fps这样的高速实时对象检测。但是，这在现有的计算机技术中是困难的。这样，在学习识别方法中，存在在执行速度上有界限的问题。

与此相对，近年来，提出了活用局部对象追踪方法与学习识别方法这双方的优点的混合对象追踪方法(例如，非专利文献1)。在非专利文献1所记载的技术中，以某一帧率执行的基于学习识别方法进行的对象识别和以更高的帧率执行的基于局部对象追踪方法进行的对象追踪并行地动作。

在该技术中，只要追踪正常工作，就通过相关滤波器更新ROI(Region OfInterest)的位置和模板，持续进行追踪。另一方面，在追踪偏离而对象丢失的情况下，基于通过学习识别方法识别出的对象将ROI位置和模板初始化，基于此进行新的追踪。由此，即便针对遮挡等对象的外观变化，也能够实现稳健的对象追踪。

但是，实际上，基于学习识别方法进行的对象识别需要一定的计算时间。因此，在从基于某一帧开始对象识别处理到该处理完成而识别出对象为止的期间，会经过上述的计算时间。成为ROI位置、模板初始化的对象的帧是持续进行模板匹配至现在的帧(以下，称作“当前帧”)。因而，开始对象识别处理的帧相对于当前帧延迟。例如，在动态图像的采样率为500fps，开始对象识别处理的帧相对于当前帧为30帧前的帧的情况下，该延迟为60ms。

如果在该延迟的期间在帧内对象运动，则在开始对象识别处理的帧与当前帧之间产生ROI位置的偏移。尤其是在由高速相机拍摄到的动态图像、帧内的对象的运动大的动态图像的情况下，因在拍摄中左右平移相机而产生的该偏移大。在这种情况下，即使是混合对象追踪方法，也难以进行连续且稳定的追踪。

本发明是鉴于这样的状况而完成的，其目的在于提供一种针对高速的动态图像也能够实现连续且稳定的对象追踪的技术。

用于解决课题的方案

为了解决上述课题，本发明的某一方案的对象追踪方法包括：以第一帧率通过学习识别方法来识别动态图像内的至少一个对象的步骤；以比第一帧率高的第二帧率通过使用了模板的模板匹配来追踪动态图像内的对象的步骤；修正开始了基于学习识别方法进行的对象的识别的帧的ROI与以第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异的步骤；以及基于修正后的ROI将当前帧的ROI位置初始化的步骤。

也可以是，修正差异的步骤包括再现从开始了对象的识别的帧到当前帧为止的实际图像的步骤。

也可以是，在再现实际图像的步骤中，将提取从开始了对象的识别的帧到当前帧为止的实际图像的一部分而得到的实际图像再现。

也可以是，当前帧的ROI位置以第一帧率被初始化。

实施方式也可以还包括基于通过学习识别方法识别出的对象以第一帧率将模板初始化的步骤。

实施方式也可以还包括对通过学习识别方法识别出的对象与通过模板匹配追踪到的对象进行比较的步骤，当进行比较的步骤中的比较结果为规定的值以下时，ROI位置基于通过模板匹配追踪到的对象被初始化，当进行比较的步骤中的比较结果大于规定的值时，ROI位置基于修正后的ROI被初始化。

实施方式也可以还包括对通过学习识别方法识别出的对象与通过模板匹配追踪到的对象进行比较的步骤，当进行比较的步骤中的比较结果为规定的值以下时，模板基于通过模板匹配追踪到的对象被初始化，当进行比较的步骤中的比较结果大于规定的值时，模板基于通过学习识别方法识别出的对象被初始化。

实施方式也可以还包括存储从开始了基于学习识别方法进行的对象的识别的帧到当前帧为止的帧的步骤，使用开始了基于学习识别方法进行的对象的识别的帧的ROI位置和模板，对存储的帧执行基于模板匹配进行的追踪，由此进行修正差异的步骤。

本发明的另一对象追踪方法包括：以第一帧率通过学习识别方法来识别动态图像内的对象的步骤；以比第一帧率高的第二帧率通过使用了模板的模板匹配来追踪动态图像内的对象的步骤；根据开始了基于学习识别方法进行的对象的识别的帧的图像，预测以第二帧率持续进行模板匹配至现在的当前帧的图像的步骤；修正开始了基于学习识别方法进行的对象的识别的帧的ROI与预测出的当前帧的ROI之间的差异的步骤；以及基于修正后的ROI将当前帧的ROI位置初始化的步骤。

也可以是，学习识别方法包括深度学习。

也可以是，动态图像是由高速相机拍摄到的动态图像。

也可以是，第二帧率为第一帧率的8倍以上。

本发明的另一方案是对象追踪系统。该对象追踪系统具备：对象识别部，其以第一帧率通过学习识别方法来识别动态图像内的对象；对象追踪部，其以比第一帧率高的第二帧率通过使用了模板的模板匹配来追踪动态图像内的至少一个对象；修正部，其修正开始了基于学习识别方法进行的对象的识别的帧的ROI与以第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异；以及ROI位置初始化部，其基于修正后的ROI将当前帧的ROI位置初始化。

本发明的又一方案是对象追踪程序。该对象追踪程序使计算机执行如下步骤：以第一帧率通过学习识别方法来识别动态图像内的至少一个对象的步骤；以比第一帧率高的第二帧率通过使用了模板的模板匹配来追踪动态图像内的对象的步骤；修正开始了基于学习识别方法进行的对象的识别的帧的ROI与以第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异的步骤；以及基于修正后的ROI将当前帧的ROI位置初始化的步骤。

需要说明的是，将以上的构成要素的任意组合、本发明的表述在装置、方法、系统、存储介质、计算机程序等之间转换而得到的方案作为本发明的方案也是有效的。

发明效果

根据本发明，针对高速的动态图像，也能够实现连续且稳定的对象追踪。

附图说明

图1是表示实施方式的动态图像的帧的图。

图2是第一实施方式的对象追踪方法的流程图。

图3是第二实施方式的对象追踪方法的流程图。

图4是第三实施方式的对象追踪方法的流程图。

图5是第四实施方式的对象追踪方法的流程图。

图6是第五实施方式的对象追踪方法的流程图。

图7是第六实施方式的对象追踪方法的流程图。

图8是第七实施方式的对象追踪方法的流程图。

图9是第八实施方式的对象追踪系统的框图。

图10是第九实施方式的对象追踪系统的框图。

图11是表示基于比较例的方法进行的对象追踪实验的结果的图。图11的(a)、图11的(b)分别表示追踪的对象的x坐标、y坐标。

图12是表示基于第六实施方式进行的对象追踪实验的结果的图。图11的(a)、图11的(b)分别表示追踪的对象的x坐标、y坐标。

图13是表示基于第九实施方式进行的对象追踪实验的结果的图。

具体实施方式

在对实施方式进行具体说明之前，对概要进行说明。

图1表示本发明的实施方式的动态图像的帧。帧F₀、F₁、F₂、F₃、…、F_N-1是成为追踪的对象的动态图像的帧。帧f_1b、f_1a、f_2b、f_2a是通过深度学习等学习识别方法执行对象识别的帧。帧fI_1b、fI_1a、fI_2b、fI_2a是存储于缓冲器等的实际图像。

在图1的例子中，在第一周期t1，通过学习识别方法，周期性地识别动态图像内的对象。以下，将第一周期t1的倒数称作第一帧率。当通过学习识别方法识别出对象时，基于该识别出的对象，将ROI位置初始化。基于该初始化后的ROI位置，在第二周期t2，通过使用了模板的模板匹配来追踪动态图像内的对象。以下，将第二周期t2的倒数称作第二帧率。此外，将基于学习方法进行的对象识别所需的计算时间设为t3。需要说明的是，动态图像内的追踪对象并不限定于一个，也可以为多个。

第一周期t1比第二周期t2长。此处，设t1＝N·t2。优选t1为t2的8倍以上，即N≥8。换言之，优选第一帧率为第二帧率的八分之一以下。

f_1b表示在某一时刻通过学习识别方法开始对象的识别的帧。将此时的时刻t设为-t3。如上所述，由于对象识别所需的计算时间为t3，因此，在t＝0该计算完成，在帧f_1a识别出对象。

当从f_1b的时刻起经过t1的时间而成为t＝t1-t3时，对帧f_2b开始下一周期的对象识别。然后，在t＝t1，该对象识别完成。以下相同。

从在t＝-t3开始对象的识别到在t＝0对象的识别完成为止的实际图像存储于缓冲器等。在本例中，t＝-t3时的实际图像fI_1b到t＝0时的实际图像fI_1a存储于缓冲器B1。

在下一对象识别的周期中，t＝t1-t3时的实际图像fI_2b到t＝t1时的实际图像fI_2a存储于缓冲器B2。以下相同。

F₀、F₁、F₂、F₃、…分别表示在t＝0、t2、2·t2…依次追踪对象的帧。如上所述，在t＝0通过学习识别方法识别出对象，因此，该时刻的帧F₀的ROI位置被更新。将该帧F₀称作当前帧CF(Current Frame)。

在时刻t＝t1＝N·t2，根据下一周期的基于学习识别方法进行的对象识别，将帧F_N-1的ROI位置初始化为新的位置。因而，即使在F₁～F_N-2的任一帧中追踪偏离而丢失对象的情况下，通过帧F_N-1中的对象识别，也能够在F_N以后的帧再次开始追踪。

如图1的下段所示，开始了基于学习识别方法进行的对象识别的帧f_1b相对于当前帧CF延迟时间t3。如果在该t3的期间在动态图像内对象大幅地运动，则在帧f_1b内的对象位置(ROI位置)与当前帧CF内的对象位置之间产生大的差异。

实施方式修正该差异。实施方式再现存储在缓冲器B1内的帧fI_1b到fI_1a的实际影像来追踪对象，并修正ROI位置。该实际影像的再现可以是使用了存储的全部的帧的高速再现，也可以是从存储的帧提取出的帧的子集的逐帧再现。

如图1的中段所示，在t＝-t3位于帧fI_1b的左下角的ROII_1b在t＝0移动到帧fI_1a的右下角的I_1a。另一方面，如图1的下段所示，在t＝0识别出对象的帧f_1a的ROI₁是基于t＝-t3时的帧f_1b计算的，因此位于帧f_1a的左下角。该ROI₁根据实际图像I_1a来修正。然后，基于该修正后的ROI，更新当前帧CF的ROI位置。

这样，更新的ROI位置不会从当前帧CF内的对象位置延迟，而始终追随当前帧CF。因而，能够实现平滑且不间断的对象追踪。

以下，参照图2～图8对本发明的各种实施方式进行说明。在实施方式以及变形例中，对相同或者同等的构成要素标注相同的符号，并适当省略重复的说明。图2～图8的流程图表示以第一帧率通过学习方法来识别对象的周期、即第一周期的1个周期的量的流程。

(第一实施方式)

图2是第一实施方式的对象追踪方法的流程图。

在“开始”处，开始某一第一周期的基于学习方法进行的对象的追踪。

在步骤S1中，本方法以第一帧率通过学习识别方法来识别动态图像内的至少一个对象。学习识别方法例如可以使用基于CNN的深度学习。对象的识别例如以(1)识别候补的检测、(2)目标的决定这两个阶段进行。由此，识别目标ROI的图像、位置、尺寸等。

在步骤S2中，本方法以比第一帧率高的第二帧率通过使用了模板的模板匹配来追踪动态图像内的对象。动态图像内的对象的追踪可以使用基于相关滤波器进行的局部区域追踪。基于相关滤波器进行的局部区域追踪也可以包括(1)相关滤波器中使用的ROI图像选择、(2)频率空间中的相关计算、(3)基于相关峰检测进行的追踪ROI区域更新等处理。

在步骤S3中，本方法修正在步骤S1中开始了基于学习识别方法进行的对象的识别的帧的ROI与在步骤S2中以第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异。如上所述，例如可以将通过学习识别方法开始了对象的识别的帧到当前帧的视频影像存储于缓冲器，再现该缓冲器内的实际影像来追踪对象，由此进行该修正。该实际影像的再现可以是使用存储于缓冲器的全部的帧的高速再现，也可以是从缓冲器内提取出的帧的子集的逐帧再现。

在步骤S4中，本方法基于在步骤S3中修正后的ROI，将当前帧的ROI位置初始化。

在“结束”处，该周期的基于学习方法进行的流程内的处理结束。接着，流程转移到下一周期，开始下一第一周期的基于学习方法进行的对象的追踪。以下，针对每个第一周期反复进行同样的流程。

根据本实施例，ROI位置不会从当前帧内的对象位置延迟，而始终追随当前帧。由此，能够实现平滑且不间断的对象追踪。

(第二实施方式)

图3是第二实施方式的对象追踪方法的流程图。

第二实施方式代替第一实施方式的步骤S4而具备步骤S41。其他的处理与第一实施方式相同。

在步骤S41中，本方法基于在步骤S3中修正后的ROI，以第一帧率将当前帧的ROI位置初始化。即，在本实施方式中，当以第一帧率通过学习识别方法识别对象时，与此相应地，ROI位置每次都被初始化。

根据本实施方式，能够将通过学习识别方法得到的识别结果最大限度地利用于ROI位置的更新。

(第三实施方式)

图4是第三实施方式的对象追踪方法的流程图。

第三实施方式在第一实施方式的各处理的基础上进一步具备步骤S5。其他的处理与第一实施方式相同。

在步骤S5中，本方法基于在步骤S1中通过学习识别方法识别出的对象，以第一帧率将模板以及ROI位置初始化。即，在本实施方式中，每当以第一帧率通过学习识别方法识别对象时，以第二帧率进行的对象追踪中使用的模板以及ROI位置每次都被初始化。

根据本实施方式，能够将通过学习识别方法得到的识别结果最大限度利用于模板以及ROI位置的更新。

(第四实施方式)

图5是第四实施方式的对象追踪方法的流程图。

第四实施方式在第一实施方式的各处理的基础上进一步具备步骤S42以及步骤S6。其他的处理与第一实施方式相同。

在步骤S6中，本方法在开始对象的识别的帧中，对通过学习识别方法识别出的对象与通过模板匹配追踪到的对象进行比较。该比较可以包括对象的ROI的位置偏移、模板的形状的图案的差异等。当步骤S6中的比较结果为规定的值以下时，在步骤S42中，基于通过模板匹配追踪到的对象将ROI位置初始化。另一方面，当步骤S6中的比较结果大于规定的值时，在步骤S4中，基于修正后的ROI将当前帧的ROI位置初始化。即，在本实施方式中，只要追踪正常工作，在通过学习识别方法识别出的对象与通过模板匹配追踪导的对象之间不存在规定的差异，则基于通过模板匹配追踪到的对象进行ROI位置的初始化。仅在追踪偏离而丢失对象的情况下，才基于通过学习识别方法识别出的对象进行ROI位置的初始化。

根据本实施方式，能够更新ROI位置以使追踪軌跡连续。

(第五实施方式)

图6是第五实施方式的对象追踪方法的流程图。

第五实施方式在第三实施方式的各处理的基础上进一步具备步骤S52以及步骤S6，代替步骤S5而具备步骤S51。其他的处理与第三实施方式相同。

在步骤S6中，本方法对通过学习识别方法识别出的对象与通过模板匹配追踪到的对象进行比较。该比较可以包括对象的ROI的位置偏移、模板的形状的图案的差异等。当步骤S6中的比较结果为规定的值以下时，在步骤S52中，基于通过模板匹配追踪到的对象将模板以及ROI位置初始化。另一方面，当步骤S6中的比较结果大于规定的值时，在步骤S51中，基于通过学习识别方法识别出的对象将模板以及ROI位置初始化。即，在本实施方式中，在开始对象的识别的帧中，只要追踪正常工作，在通过学习识别方法识别出的对象与通过模板匹配追踪到的对象之间不存在规定的差异，就基于通过模板匹配追踪到的对象进行模板以及ROI位置的初始化。仅在追踪ROI偏离识别结果的情况下，才基于通过学习识别方法识别出的对象进行模板以及ROI位置的初始化。

根据本实施方式，能够仅在必要的情况下，将通过学习识别方法得到的识别结果利用于模板的更新。

(第六实施方式)

图7是第六实施方式的对象追踪方法的流程图。

第六实施方式在第一实施方式的各处理的基础上进一步具备步骤S7，代替步骤S3而具备步骤S31。其他的处理与第一实施方式相同。

在步骤S7中，本方法存储从开始了基于学习识别方法进行的对象的识别的帧到当前帧为止的帧。

在步骤S31中，本方法使用开始了基于学习识别方法进行的对象的识别的帧的ROI位置和模板来对所存储的帧执行基于模板匹配进行的追踪，由此修正开始了对象的识别的帧的ROI与当前帧的ROI之间的差异。此时的模板匹配例如以相当于第二帧率中的1帧的量的时间执行。

根据本实施方式，执行从通过学习识别方法开始了对象的识别的帧到当前帧为止的基于模板匹配进行的追踪，由此能够修正ROI位置。

(第七实施方式)

图8是第七实施方式的对象追踪方法的流程图。

第七实施方式在第一实施方式的各处理的基础上进一步具备步骤S8，代替步骤S3而具备步骤S32。其他的处理与第一实施方式相同。

在步骤S8中，本方法根据在S1中通过学习识别方法开始了对象的识别的帧来预测当前帧的图像。在该预测中，也可以使用线形预测等已知的方法。

在步骤S42中，本方法修正在步骤S1中通过学习识别方法开始了对象的识别的帧的ROI与在步骤S8中预测出的当前帧的ROI之间的差异。

根据本实施方式，取代使用实际影像的当前帧，而是预测当前帧，由此能够大量削减模板匹配的处理量。

(第八实施方式)

图9是第八实施方式的对象追踪系统的框图。

对象追踪系统1具备对象识别部10、对象追踪部11、修正部12以及初始化部13。

对象识别部10以第一帧率通过学习识别方法来识别动态图像内的对象。对象追踪部11以比第一帧率高的第二帧率通过使用了模板的模板匹配来追踪动态图像内的对象。修正部12修正在对象识别部10中开始了基于学习识别方法进行的对象的识别的帧的ROI与在对象追踪部11中以第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异。初始化部13基于由修正部12修正后的ROI，将当前帧的模板以及ROI位置初始化。

图10是第九实施方式的对象追踪系统2的框图。

本实施方式的对象追踪系统包括具备对象识别部10、对象追踪部11、修正部12和初始化部13的对象追踪装置3、以及其他的周边装置。对象追踪装置3的构成以及动作与第八实施例所涉及的对象追踪系统1的构成以及动作相同，因此省略说明。

对象追踪系统2也可以具备高速相机14。高速相机14例如以每秒500帧以上的帧率拍摄动态图像，将拍摄到的动态图像数据发送至对象追踪装置3。

对象追踪系统2也可以具备操作用PC15。操作用PC15由操作者操作，将操作者设定的设定数据、各种指令发送至对象追踪装置3。

对象追踪装置3也可以具备显示装置16、智能手机17或者服务器18。由对象追踪装置3追踪到的追踪对象数据被发送至显示装置16、智能手机17，在这些装置中作为动态图像显示。或者，由对象追踪装置3追踪到的追踪对象数据被发送至服务器18，作为动态图像数据蓄积。

根据本实施例，ROI位置不会从当前帧内的对象位置延迟，而会始终追随当前帧，因此能够实现平滑且不间断的对象追踪。

(第九实施方式)

追踪的对象可以为多个。尤其地，这些对象也可以以不同的速度运动。以下，参照图2对第九实施方式的对象追踪方法的流程进行说明。在“开始”处，开始某一第一周期的基于学习方法进行的对象的追踪。

在步骤S1中，本方法以第一帧率通过学习识别方法来识别动态图像内的多个对象。多个对象例如可以是在由单一的相机拍摄到的动态图像内运动的多个对象物。尤其地，这些对象物的运动速度可以不同。以下，作为例示，将“人”作为第一对象且将“机动车”作为第二对象来识别。需要说明的是，该情况下的学习识别方法也与追踪单一的对象的情况同样，例如，也可以使用基于CNN的深度学习。

在步骤S2中，本方法以比第一帧率高的第二帧率通过使用了模板的模板匹配来分别追踪动态图像内的人和机动车。追踪可以使用基于相关滤波器进行的局部区域追踪。基于相关滤波器进行的局部区域追踪可以包括(1)相关滤波器中使用的ROI图像选择、(2)频率空间中的相关计算、(3)基于相关峰检测进行的追踪ROI区域更新等处理。

在步骤S3中，本方法对于人以及机动车，修正在步骤S1中开始了基于学习识别方法进行的识别的帧的人以及机动车的ROI与在步骤S2中以第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异。如上所述，例如可以将从通过学习识别方法开始了人以及机动车的识别的帧到当前帧为止的视频影像存储于缓冲器，再现并追踪该缓冲器内的实际影像，由此进行该修正。该实际影像的再现可以是使用了存储于缓冲器的全部帧的高速再现，也可以是从缓冲器内提取出的帧的子集的逐帧再现。

在步骤S4中，本方法基于在步骤S3中修正后的ROI，将当前帧的人以及机动车各自的ROI位置初始化。

在“结束”处，该周期的基于学习方法进行的流程内的处理结束。接着，流程转移到下一周期，开始下一第一周期的基于学习方法进行的人以及机动车的追踪。以下，针对每个第一周期反复进行同样的流程。

在以往的对象追踪技术中，在想要追踪运动速度不同的多个对象物的情况下，追踪的难易度根据对象而不同。即，一般情况下，以高速运动的对象比以低速运动的对象难以追踪。这成为在追踪中相互弄错了对象物、由于在画面上两个图像交错所产生的遮挡而导致对象的追踪失败的原因。根据本实施方式，多个对象各自的ROI位置不会从当前帧延迟，而是始终追随当前帧，因此，能够实现平滑且不间断的追踪，能够进行持续的追踪。

以上的实施方式能够应用于任意的动态图像。尤其地，实施方式也可以应用于近年来性能显著提高且在产业上被广泛应用的高速相机所拍摄的动态图像。在图像捕获的采样率高的高速相机的情况下，对象追踪技术中的上述课题变得特别严重。因而，本发明的实施方式对于由高速相机拍摄的动态图像特别有效。

只要第二帧率比第一帧率高，这些帧率就可以是任意的值。作为一例，第一帧率可以为每秒100帧以下，第二帧率可以为每秒500帧以上。深度学习等学习方法在超过每秒100帧时，计算机成本、计算时间上的缺点就会大。另一方面，如果考虑到现在以及将来的高速相机的性能、规格中的要求条件，则优选基于模板匹配的追踪以每秒500帧以上进行。

(验证实验)

本发明人等为了确认本发明的效果而进行了实施方式的对象追踪实验。

图11是表示基于比较例的方法进行的对象追踪实验的结果的图。

此处，作为比较例，使用了非专利文献1所记载的技术。对以采样率500fps取得的动态图像以与其相同的帧率500fps进行使用了相关滤波器的追踪，并且以帧率50fps进行基于深度学习的对象识别，由此进行实验。只要追踪正常工作，ROI位置和模板就由相关滤波器更新，持续进行追踪。在追踪偏离而丢失对象的情况下，基于通过深度学习识别出的对象更新模板ROI，基于此再次开始追踪。

图11的(a)、图11的(b)分别表示追踪的对象的画面上的x坐标、y坐标。此处，x坐标是指图像的水平方向，y坐标是指图像的垂直方向(下同)。如图所示，曲线图在多个时刻中断，追踪失败。此外，即使在追踪成功的地方，曲线图也不描绘平滑的曲线。认为这是由于基于深度学习的对象识别时刻的帧相对于当前帧延迟而无法进行准确的追踪。

图12是表示本发明的第六实施方式的对象追踪实验的结果的图。

本实施方式与比较例的不同之处在于，本实施方式具备修正基于深度学习的对象识别时刻的帧与当前帧之间的ROI的差异的步骤。其他的实验条件与比较例相同。

图12的(a)、图12的(b)分别表示追踪的对象的画面上的x坐标、y坐标。与图11不同，在测定时间的5秒钟整体内，曲线图不间断。此外，曲线图整体绘制大致平滑的曲线。认为这表示实现了准确的对象追踪，确认了本发明的有效性。

图13是表示基于本发明的第九实施方式进行的对象追踪实验的结果的图。图13示出对象即“人”和“机动车”的画面上的x坐标。追踪的机动车在测定时间的5秒钟整体内，曲线图几乎不间断。另一方面，追踪的人在从时刻3秒到3.7秒的期间由于机动车在相机前通过而产生遮挡，在此期间曲线图中断。但是，在机动车通过后被立即识别到，之后的持续的追踪成功。这样，对于运动速度不同的多个对象，即使在中途产生了遮挡的情况下，也确认到本发明的有效性。但是，在移动体翻转、方向转换时等也存在停止期间，因此，速度的概念包括速度＝0。

以上，基于实施例对本发明进行了说明。本领域技术人员应当理解，这些实施例是例示，上述各构成要素、各处理工艺的组合可以有各种变形例，且这样的变形例也在本发明的范围内。

例如，第二帧率可以与取入动态图像时的帧率一致。或者，第二帧率也可以与取入的动态图像的帧的一部分的帧相关。即，基于模板匹配的对象的追踪可以逐帧进行，也可以在帧的子集中进行。

高速相机也可以取代用于拍摄能够用肉眼识别的图像的可见光拍摄相机，而是用于使红外线等不可见光可见化的不可见光拍摄相机。

本发明的方法并不限定于监视相机等固定相机，也可以应用于由车载用相机或无人机用相机等移动体用相机、伴随着平移等大的运动的相机拍摄到的图像等广泛领域内的动态图像，工业实用性高。

工业实用性

本发明涉及对象追踪方法、对象追踪系统以及对象追踪程序。

符号说明：

S1…以第一帧率通过学习识别方法来识别动态图像内的对象的步骤；

S2…以第二帧率通过使用了模板的模板匹配来追踪动态图像内的对象的步骤；

S3…修正开始了对象的识别的帧的ROI与当前帧的ROI之间的差异的步骤；

S31…使用开始了基于学习识别方法进行的对象的识别的帧的ROI位置和模板来对所存储的帧执行基于模板匹配进行的追踪，由此修正开始了对象的识别的帧的ROI与当前帧的ROI之间的差异的步骤；

S32…修正开始了基于学习识别方法进行的对象的识别的帧的ROI与预测出的当前帧的ROI之间的差异的步骤；

S4…基于修正后的ROI将当前帧的ROI位置初始化的步骤；

S41…基于修正后的ROI以第一帧率将当前帧的ROI位置初始化的步骤；

S42…基于通过模板匹配追踪到的对象将当前帧的ROI位置初始化；

S5…基于通过学习识别方法识别出的对象以第一帧率将模板以及ROI位置初始化的步骤；

S51…基于通过学习识别方法识别出的对象将当前帧的模板以及ROI位置初始化的步骤；

S52…基于通过模板匹配追踪到的对象将当前帧的模板以及ROI位置初始化的步骤；

S6…在开始了对象的识别的帧中，对通过学习识别方法识别出的对象与通过模板匹配追踪到的对象之差进行比较的步骤；

S7…存储从开始了基于学习识别方法进行的对象的识别的帧到当前帧为止的帧的步骤；

S8…根据开始了基于学习识别方法进行的对象的识别的帧的图像来预测当前帧的图像的步骤；

1…对象追踪系统；

10…对象识别部；

11…对象追踪部；

12…修正部；

13…初始化部。

Claims (14)

1.一种对象追踪方法，其包括：

以第一帧率通过学习识别方法来识别动态图像内的至少一个对象的步骤；

以比所述第一帧率高的第二帧率通过使用了模板的模板匹配来追踪所述动态图像内的对象的步骤；

对开始了基于所述学习识别方法进行的对象的识别的帧的ROI与以所述第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异进行修正的步骤；以及

基于修正后的所述ROI将所述当前帧的ROI位置初始化的步骤。

2.根据权利要求1所述的对象追踪方法，其中，

修正所述差异的步骤包括对从开始了所述对象的识别的帧到所述当前帧为止的实际图像进行再现的步骤。

3.根据权利要求2所述的对象追踪方法，其中，

在再现所述实际图像的步骤中，将提取从开始了所述对象的识别的帧到所述当前帧为止的实际图像的一部分而得到的实际图像再现。

4.根据权利要求1至3中任一项所述的对象追踪方法，其中，

所述当前帧的ROI位置以所述第一帧率被初始化。

5.根据权利要求1至4中任一项所述的对象追踪方法，其中，

所述对象追踪方法还包括基于通过所述学习识别方法识别出的对象以所述第一帧率将所述模板初始化的步骤。

6.根据权利要求1至3中任一项所述的对象追踪方法，其中，

所述对象追踪方法还包括在开始了对象的识别的帧中对通过所述学习识别方法识别出的对象与通过所述模板匹配追踪到的对象进行比较的步骤，

当进行所述比较的步骤中的比较结果为规定的值以下时，基于通过所述模板匹配追踪到的对象对所述ROI位置进行初始化，

当进行所述比较的步骤中的比较结果大于规定的值时，基于修正后的所述ROI对所述ROI位置进行初始化。

7.根据权利要求1至3中任一项所述的对象追踪方法，其中，

所述对象追踪方法还包括在开始了对象的识别的帧中对通过所述学习识别方法识别出的对象与通过所述模板匹配追踪到的对象进行比较的步骤，

当进行所述比较的步骤中的比较结果为规定的值以下时，基于通过所述模板匹配追踪到的对象对所述模板及ROI位置进行初始化，

当进行所述比较的步骤中的比较结果大于规定的值时，基于通过所述学习识别方法识别出的对象对所述模板及ROI位置进行初始化。

8.根据权利要求1所述的对象追踪方法，其中，

所述对象追踪方法还包括对从开始了基于所述学习识别方法进行的对象的识别的帧到当前帧为止的帧进行存储的步骤，

使用开始了基于所述学习识别方法进行的对象的识别的帧的ROI位置和模板，对存储的所述帧执行基于模板匹配进行的追踪，由此进行修正所述差异的步骤。

9.一种对象追踪方法，其包括：

以第一帧率通过学习识别方法来识别动态图像内的对象的步骤；

以比所述第一帧率高的第二帧率通过使用了模板的模板匹配来追踪所述动态图像内的对象的步骤；

根据开始了基于所述学习识别方法进行的对象的识别的帧的图像，预测以所述第二帧率持续进行模板匹配至现在的当前帧的图像的步骤；

对开始了基于所述学习识别方法进行的对象的识别的帧的ROI与预测出的所述当前帧的ROI之间的差异进行修正的步骤；以及

基于修正后的所述ROI将当前帧的ROI位置初始化的步骤。

10.根据权利要求1至9中任一项所述的对象追踪方法，其中，

所述学习识别方法包括深度学习。

11.根据权利要求1至10中任一项所述的对象追踪方法，其中，

所述动态图像是由高速相机拍摄到的动态图像。

12.根据权利要求1至11中任一项所述的对象追踪方法，其中，

所述第二帧率为所述第一帧率的8倍以上。

13.一种对象追踪系统，其具备：

对象识别部，其以第一帧率通过学习识别方法来识别动态图像内的至少一个对象；

对象追踪部，其以比所述第一帧率高的第二帧率通过使用了模板的模板匹配来追踪所述动态图像内的对象；

修正部，其对开始了基于所述学习识别方法进行的对象的识别的帧的ROI与以所述第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异进行修正；以及

ROI位置初始化部，其基于修正后的所述ROI将所述当前帧的ROI位置初始化。

14.一种对象追踪程序，其使计算机执行如下步骤：

以第一帧率通过学习识别方法来识别动态图像内的至少一个对象的步骤；

以比所述第一帧率高的第二帧率通过使用了模板的模板匹配来追踪所述动态图像内的对象的步骤；

对开始了基于所述学习识别方法进行的对象的识别的帧的ROI与以所述第二帧率持续进行模板匹配至现在的当前帧的ROI之间的差异进行修正的步骤；以及

基于修正后的所述ROI将所述当前帧的ROI位置初始化的步骤。

Images