CN108010008B - 目标的追踪方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种目标的追踪方法、装置及电子设备，涉及智能识别的技术领域，该方法包括：获取待处理的热成像图像帧，其中，热成像图像帧为对监控区域进行监控得到的温度图像，热成像图像帧的数量为多个；基于热成像图像帧确定目标对象的移动轨迹，其中，移动轨迹为目标对象在监控区域内移动时的轨迹，目标对象为在监控区域中处于移动状态的待追踪对象。本发明缓解了现有技术中无法对监控区域内的目标进行无感知追踪的技术问题。

Description

目标的追踪方法、装置及电子设备

技术领域

本发明涉及智能识别的技术领域，尤其是涉及一种目标的追踪方法、装置及电子设备。

背景技术

随着大数据分析技术的快速发展，大数据分析已经应用到各个领域，例如，商店等实体店中。商店等实体店的店主可以通过分析商店中顾客的移动轨迹和购买的商品来进行大数据分析。在现有技术中，主要通过以下方式来确定顾客的移动轨迹：采用Beacon或WiFi嗅探等基于客户无线终端设备(如智能手机)的方式；VLC可见光通讯；机器视觉。

第一种方式要求客户移动设备的蓝牙或WiFi保持一直开启状态，因此限制了其使用。另外，由于这种技术是通过无线电信号的信号强度来进行三角定位，而信号强度受移动设备的方向、人体或室内物体的遮挡变化很大，因此，导致该技术的追踪精度无法达到预想的精度。对于一些小的场景如便利店、超市中定位具体货架的位置，则无法实现准确的追踪。第二种方式的问题在于，需要顾客主动配合，打开移动设备端的专用APP，并保持前置摄像头一直朝上无遮挡。第三种方式的成本高，而且其实现成本随着室内人流密度的上升而指数上升，例如亚马逊的标杆项目Amazon Go，就是使用纯视觉方案做人员跟踪和定位，但也只能同时允许最多20人在店内，因为再多人对计算能力要求实在太高。

针对上述问题，还未提出有效解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种目标的追踪方法、装置及电子设备，以缓解了现有技术中无法对监控区域内的目标进行无感知追踪的技术问题。

第一方面，本发明实施例提供了一种目标的追踪方法，包括：获取待处理的热成像图像帧，其中，所述热成像图像帧为对监控区域进行监控得到的温度图像，所述热成像图像帧的数量为多个；基于所述热成像图像帧确定目标对象的移动轨迹，其中，所述移动轨迹为所述目标对象在所述监控区域内移动时的轨迹，所述目标对象为在所述监控区域中处于移动状态的待追踪对象。

进一步地，基于所述热成像图像帧确定所述目标对象的移动轨迹包括：在所述热成像图像帧中标记各个所述目标对象的位置信息，得到至少一个位置信息；按照所述热成像图像帧的采集时间，将所述至少一个位置信息中所属于同一目标对象的位置信息进行合成，得到各个所述目标对象的移动轨迹。

进一步地，在所述热成像图像帧中标记各个所述目标对象的位置信息包括：在每个所述热成像图像帧中标记各个所述目标对象的位置信息；或者，在所述热成像图像帧中每隔N帧标记各个所述目标对象的位置信息，其中，N为正整数。

进一步地，所述方法还包括：基于选择参数在所述热成像图像帧中选择目标对象，所述选择参数包括以下至少之一：移动对象的温度和移动对象的表面发射率。

进一步地，所述方法还包括：获取所述目标对象的属性特征；依照所述属性特征的获取时间和所述目标对象的起始追踪时间，建立所述属性特征和所述目标对象所属的移动轨迹之间的关联关系，得到关联数据；其中，所述起始追踪时间为所述热成像图像帧中首次出现所述目标对象的时间。

进一步地，获取所述目标对象的属性特征包括：获取图像采集装置采集的所述目标对象的图像信息，其中，所述图像信息中包括所述目标对象的体貌信息和/或衣着信息；对所述图像信息进行属性分析，得到所述目标对象的属性特征。

进一步地，所述方法还包括：获取所述移动轨迹的属性特征；结合所述移动轨迹的属性特征和/或所述目标对象的属性特征对所述关联数据进行分析，得到所属于各个属性特征的移动轨迹分布图。

进一步地，所述方法还包括：确定标签信息，所述标签信息为用于对各个移动轨迹进行区分的信息；将所述标签信息和所述移动轨迹进行绑定。

进一步地，通过以下任一种方法确定标签信息：利用人脸特征信息确定所述标签信息，其中，一个人脸特征信息对应一个标签信息；利用所述移动轨迹的生成时间确定所述标签信息；利用所述移动轨迹确定所述标签信息。

进一步地，获取待处理的热成像图像帧包括：通过红外热成像仪获取所述热成像图像帧，其中，所述红外热成像仪的数量为一个或者多个，且所述红外热成像仪能够覆盖所述监控区域；当所述红外热成像仪的数量为多个时，将各个红外热成像仪在相同时间采集到的多张热成像图像帧进行拼接。

第二方面，本发明实施例还提供了一种目标的追踪装置，包括：获取单元，用于获取待处理的热成像图像帧，其中，所述热成像图像帧为对监控区域进行监控得到的温度图像，所述热成像图像帧的数量为多个；确定单元，用于基于所述热成像图像帧确定目标对象的移动轨迹，其中，所述移动轨迹为所述目标对象在所述监控区域内移动时的轨迹，所述目标对象为在所述监控区域中处于移动状态的待追踪对象。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法。

第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述所述方法。

在本发明实施例中，首先获取待处理的热成像图像帧，然后，在热成像图像帧中确定目标对象，接下来，基于热成像图像帧确定目标对象的移动轨迹。通过该方式，通过采集热成像图像帧，能够对目标对象实现精确的无感知定位和轨迹追踪，进而缓解了现有技术中无法对监控区域内的对象进行无感知追踪的技术问题，从而实现了对监控区域内的目标对象进行无感知追踪的技术效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种电子设备的示意图；

图2是根据本发明实施例的一种目标的追踪方法的流程图；

图3是根据本发明实施例的一种热成像图像帧的局部示意图；

图4是根据本发明实施例的一种基于热成像图像帧确定目标对象的移动轨迹的流程图；

图5是根据本发明实施例的一种目标的追踪装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

首先，参照图1来描述用于实现本发明实施例的目标的追踪方法的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理设备102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的目标的追踪方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

实施例二：

根据本发明实施例，提供了一种目标的追踪方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种目标的追踪方法的流程图，如图2所示，该方法包括如下步骤：

步骤S102，获取待处理的热成像图像帧，其中，所述热成像图像帧为对监控区域进行监控得到的温度图像，所述热成像图像帧的数量为多个；

在本发明实施例中，可以通过红外热成像仪采集监控区域内的红外视频流，在该红外视频流中包括多个热成像图像帧，且在多个热成像图像帧中包括多个移动对象，移动对象包括移动的人或者移动的物体。

步骤S104，基于所述热成像图像帧确定目标对象的移动轨迹，其中，所述移动轨迹为所述目标对象在所述监控区域内移动时的轨迹，所述目标对象为在所述监控区域中处于移动状态的待追踪对象。

在本发明实施例中，目标对象主要为移动的人，还可以为移动的机器人等移动对象。通过上述描述可知，无需顾客开启任何的客户端(例如，定位客户端)，通过热成像图像帧就能够对移动的人进行轨迹追踪，从而，得到每个目标对象的移动轨迹。

在本发明实施例中，可以通过处理器来执行上述步骤S102至步骤S104。其中，处理器可以为安装在监控区域的处理器，还可以为云端处理器。当处理器为安装在监控区域的处理器时，该处理器将获取通过图像采集装置采集到的热成像图像帧，然后，基于热成像图像帧生成目标对象的移动轨迹，其中，此时，处理器和图像采集装置可以有线或者无线连接。当处理器为云端处理器时，图像采集装置将通过局域网将热成像图像帧传输至云端处理器中，以使云端处理器基于热成像图像帧生成目标对象的移动轨迹。

需要说明的是，除了上述两种处理器之外，能够执行步骤S102和步骤S104的处理器均可以应用在本发明实施例中，对此不作具体限定。

在本发明实施例中，首先获取待处理的热成像图像帧，然后，在热成像图像帧中确定目标对象，接下来，基于热成像图像帧确定目标对象的移动轨迹。通过该方式，通过采集热成像图像帧，能够对目标对象实现精确的无感知定位和轨迹追踪，进而缓解了现有技术中无法对监控区域内的对象进行无感知追踪的技术问题，从而实现了对监控区域内的目标对象进行无感知追踪的技术效果。

下面将结合具体的实施方式对本发明实施例进行详细的介绍。

在本发明实施例中，首先要获取待处理的热成像图像帧，然后，在热成像图像帧中确定目标对象。通过上述描述可知，可以通过红外热成像仪采集监控区域的热成像图像视频流，从而得到热成像图像帧。其中，红外热成像仪安装在监控区域内，且红外热成像仪的安装数量可以为一个，还可以为多个，多个红外热成像仪安装在监控区域的不同位置上。具体可以根据监控区域的面积大小来确定红外热成像仪的安装数量。

需要说明的是，在本发明实施例中，采用的红外热成像仪可以为最近推出市场的成本在千元级甚至百元级别的红外热成像仪，例如，国际上知名的Flir，国内的高德红外等等，为其大规模应用奠定了基础。通过采用成本较低的红外热成像仪，能够减少用户的成本投入，让轨迹追踪在商店中进行实现，并大规模广泛使用。

在热成像图像帧中确定目标对象时，可以通过下述实施方式来实现：

基于选择参数在所述热成像图像帧中选择目标对象，所述选择参数包括以下至少之一：移动对象的温度和移动对象的表面发射率。

通过上述描述可知，在本发明实施例中，通过红外热成像仪来采集热成像图像帧，红外热成像仪分辨的是物体表面的温度信息，该温度信息除了与物理温度相关之外，还与物体表面的发射率相关联。因此，在本发明实施例中，在从热成像图像帧中提取目标对象时，可以根据温度和表面发射率这两个选择参数来选择目标对象。

例如，将温度与环境温度不同的移动对象作为目标对象，或者，将温度高于(或者低于)某个温度的移动对象作为目标对象，又或者，将温度不同于其他物体温度的移动对象作为目标对象。

又例如，将表面发射率与背景不同的移动对象作为目标对象，或者，将表面发射率高于(或者低于)某个数值的移动对象作为目标对象。

通过上述方式，不仅能够对具有不同物理温度的移动对象进行区分，还能够对具有相同物理温度的移动对象进行区分。当两个物体的物体温度相同时，通过区分两个物体的表面发射率就能够实现目标对象的确定。

例如，假设，目标对象目是人，此时，可以先通过温度对多个热成像图像帧中的多个移动对象进行筛选，得到温度满足要求的移动对象。

又例如，假设，目标对象是机器人，此时，在监控空间内可能包括多个与该机器人温度相同或者接近的移动对象。此时，可以通过物体表面的发射率从图像帧包含的多个温度相同或者接近的移动对象中选择机器人作为目标对象。

需要说明的是，在本发明实施例中，在基于温度和表面发射率进行目标对象的确定时，还需要结合图像处理算法(例如，帧差法)对该热成像图像帧中的对象(包括移动对象和静止对象)进行筛选，以筛选得到移动对象。

通过上述描述可知，如果在监控区域中安装一个红外热成像仪，那么该红外热成像仪拍摄范围能够覆盖整个监控区域。如果一个红外热成像仪无法拍摄监控区域的全景图像，此时可以在监控区域内设置多个红外热成像仪，以保证多个红外热成像仪的拍摄范围能够覆盖监控区域。

在通过RGB相机或者灰度相机来采集图像帧时，都需要专门的图像处理算法，此时需要大量的计算。但是，红外热成像仪输出的原始数据为温度信息，相当于每一个像素就是一个温度。且红外热成像仪不需要RGB相机或灰度相机的高分辨率要求，例如，720p、1080p，甚至4K。因此，对于处理器计算能力的要求就大幅下降，此时，将降低处理器的投入成本，从而节省用户的投入开支。

在一个可选的实施方式中，获取待处理的热成像图像帧包括如下过程：

通过红外热成像仪获取所述热成像图像帧，其中，所述红外热成像仪的数量为一个或者多个，且所述红外热成像仪能够覆盖所述监控区域；当所述红外热成像仪的数量为多个时，将各个红外热成像仪在相同时间采集到的多张热成像图像帧进行拼接。

在本发明实施例中，如果红外热成像仪的数量为一个，那么可以通过将该红外热成像仪获取热成像图像帧。

在本发明实施例中，当红外热成像仪的数量为多个时，首先将多个红外热成像仪安装在监控区域的各个位置，其中，可以按照每个红外热成像仪的拍摄范围对其进行安装。在安装之后，要求多个红外热成像仪的拍摄范围能够覆盖该监控区域，其中，如图3所示的即为该全景图像的一个部分。

在通过该多个红外热成像仪采集对应的感测区域的热成像图像帧之后，可以将多个红外成像仪获取到的多张热成像图像帧进行对齐和拼接，以形成一个完整的室内图像(即，上述监控区域的全景图像)。需要说明的是，上述对齐和拼接的方式可以为根据多个红外热成像仪在监控区域的位置关系将多张热成像图像帧进行对齐和拼接；也可以采用图像算法(例如，神经网络算法)对多张热成像图像帧进行对齐和拼接。

需要说明的是，在本发明实施例中，在将多个红外成像仪获取到的热成像图像帧进行对齐和拼接时，除了按照多个红外成像仪在监控区域的安装位置对其进行对齐和拼接之外，还需要按照多个红外成像仪的采集时间对其进行对齐和拼接。例如，多个红外成像仪的数量为3个，分别为红外成像仪1，红外成像仪2和红外成像仪3，此时，可以将红外成像仪1在15:30分采集的热成像图像帧1，将红外成像仪2在15:30分采集的热成像图像帧2，以及将红外成像仪3在15:30分采集的热成像图像帧3进行拼接和对齐，拼接和对齐之后的热成像图像帧中包括监控区域的全景图像。

当监控区域的面积较小时，可以安装一个红外成像仪，通过该红外成像仪来检测监控区域的全景图像。当监控区域的面积较大时，可以安装多个红外成像仪，通过该多个红外成像仪来检测监控区域的全景图像，以满足监控区域的多种需求。

在本发明实施例中，在获取到待处理的热成像图像帧之后，就可以基于所述热成像图像帧确定所述目标对象的移动轨迹。

在一个可选的实施方式中，如图4所示，基于所述热成像图像帧确定所述目标对象的移动轨迹包括如下步骤：

步骤S2041，在所述热成像图像帧中标记各个所述目标对象的位置信息，得到至少一个位置信息；

步骤S2042，按照所述热成像图像帧的采集时间，将所述至少一个位置信息中所属于同一目标对象的位置信息进行合成，得到各个所述目标对象的移动轨迹。

在本发明实施例中，在获取到热成像图像帧之后，在热成像图像帧中标记各个目标对象的位置信息；然后，按照热成像图像帧的采集时间，将至少一个位置中属于同一目标对象的位置信息进行合成，进而，得到目标对象的移动轨迹。

例如，热成像图像帧1至热成像图像帧N中包括目标对象1，此时，可以，可以在热成像图像帧1至热成像图像帧N中依次标记目标对象1的位置信息；然后，按照热成像图像帧1至热成像图像帧N的采集时间，将目标对象1的位置信息进行合成，得到目标对象1的移动轨迹。

需要说明的是，热成像图像帧1至热成像图像帧N中包含的其他目标对象的移动轨迹也按照上述过程来进行描绘。热成像图像帧1至热成像图像帧N中同时包括目标对象1和目标对象2，此时，可以，可以在热成像图像帧1至热成像图像帧N中依次分别标记目标对象1的位置信息1和目标对象2的位置信息2；然后，按照热成像图像帧1至热成像图像帧N的采集时间，将目标对象1的位置信息1进行合成，得到目标对象1的移动轨迹1；以及按照热成像图像帧1至热成像图像帧N的采集时间，将目标对象2的位置信息2进行合成，得到目标对象2的移动轨迹2。

需要说明的是，上述位置信息均指目标对象在监控区域中的位置信息。

在本发明实施例中，通过采集热成像图像帧，能够对目标对象实现精确的无感知定位和轨迹追踪，进而缓解了现有技术中无法对监控区域内的目标进行无感知追踪的技术问题，从而实现了对监控区域内的目标对象进行无感知追踪的技术效果。

在本发明实施例中，在热成像图像帧中标记各个所述目标对象的位置信息时，可以采用以下方式来进行标记：

方式一、在每个所述热成像图像帧中标记各个所述目标对象的位置信息；

方式二、在所述热成像图像帧中每隔N帧标记各个所述目标对象的位置信息，其中，N为正整数。

在本发明实施例中，用户可以根据实际需要来选择方式一或者方式二中的任一种方式来进行位置信息的标记。例如，当用户想要准确度更高的移动轨迹时，则可以采用方式一来标记位置信息；当处理器的处理能力有限，且对精度无过高的要求时，则可以采用方式二来进行位置信息的标记。

在本发明实施例中，在对每个目标对象的移动轨迹进行追踪时，需要使用时间轴同步的方式将目标对象的属性特征与该目标对象的移动轨迹进行数据关联，此时，记录下来的轨迹都包含自身的ID，以用于轨迹之间的区分。

在一个可选的实施方式中，可以通过下述过程来将目标对象的属性特征与该目标对象的移动轨迹进行数据关联：

首先，获取所述目标对象的属性特征；

其中，获取所述目标对象的属性特征包括：获取图像采集装置采集的所述目标对象的图像信息，其中，所述图像信息中包括所述目标对象的体貌信息和/或衣着信息；以及，对所述图像信息进行属性分析，得到所述目标对象的属性特征；

然后，依照所述属性特征的获取时间和所述目标对象的起始追踪时间，建立所述属性特征和所述目标对象所属的移动轨迹之间的关联关系，得到关联数据；其中，所述起始追踪时间为所述热成像图像帧中首次出现所述目标对象的时间。

需要说明的是，如果目标对象为人，那么体貌信息可以为人脸信息，发型信息，体型信息，体态和步态等信息；衣着信息可以为衣帽信息，例如，衣服的相关信息，以及帽子的相关信息，例如，是否戴帽子，戴的是什么类型的帽子等等；上述属性特征包括性别，年龄，身高，种族(白种人，黄种人和黑种人)，发型和衣着等信息。

在本发明实施例中，当一个目标对象进入到监控区域或者在已经追踪的目标对象走出该监控区域时，可以使用图像采集装置(例如，RGB相机)进行人的图像信息的采集，通过上述描述可知，采集到的图像信息中包括目标对象的体貌信息和/或衣着信息。此时，就可以根据该体貌信息和/或衣着信息进行属性分析，以确定目标对象的属性特征，其中，属性分析包括人脸、人体等方面的分析，分析得到的属性特征包括性别，年龄，身高，种族(白种人，黄种人和黑种人)，发型和衣着等信息。

需要说明的是，人的属性分析可以在进入该监控区域时进行，也可以在走出该监控区域时进行，走出该监控区域时由于只有一张人脸对准摄像头，数据更为准确；根据获取的人脸或人体RGB图像，进行人的属性分析，包括性别、年龄、身高、发型、衣着等，将人的属性信息与后续的轨迹信息相关联。

在分析得到属性特征之后，就可以将目标对象的属性特征与其移动轨迹进行数据关联。在将目标对象的属性特征与其移动轨迹进行数据关联时，可以获取目标对象的属性特征的获取时间，以及获取移动轨迹的起始追踪时间。其中，获取时间为图像采集装置拍摄到该目标对象进入到监控区域的时间；目标对象的起始追踪时间为该目标对象首次出现在热成像图像帧的时间。如果这两个时间相同，则将具有相同时间的属性特征和移动轨迹进行数据关联。

例如，某对象A(在进入监控区域之间，目标对象称为对象)在下午13：00进入到便利店。此时，图像采集装置1将在13:00分或者13:01分采集到对象的图像信息。此时，红外热成像仪也将在13:00分(即为起始追踪时间)采集到包含该对象A的热成像图像帧，或者在13:01分(即为起始追踪时间)采集到包含该对象A的热成像图像帧。在红外热成像仪检测到该对象A进入到监控区域之后，该对象A变为目标对象，此时，将追踪该目标对象的移动轨迹，并绘制该目标对象的移动轨迹。在建立该目标对象的属性特征与该目标对象的移动轨迹之间的数据关联关系时，基于对象A进店的时间(即，13:00分或者13:01分)和该对象A起始追踪时间(即，13:00分或者13:01分)来建立上述关联关系。需要说明的是，起始采集时间和起始追踪时间并不是要求严格一致，可以存在一定的误差，该误差值可以根据实际情况来进行设定，对此不作具体限定。

需要说明的是，如果两个顾客同时进入到某商店时，图像采集装置和红外热成像仪将分别同时采集到包含该两个顾客的图像信息和热成像图像帧。此时，可以基于图像信息中两个顾客的位置关系，以及热成像图像帧中两个顾客的位置关系来进行数据的关联操作。例如，将左边顾客的属性特征和移动轨迹进行关联，然后，将右边顾客的属性特征和移动轨迹进行关联。

在本发明实施例中，在将目标对象的属性特征和移动轨迹进行关联之后，可以将关联数据进行分类，具体可以通过下述过程来实现分类：

首先，获取所述移动轨迹的属性特征；

然后，结合所述移动轨迹的属性特征和/或所述目标对象的属性特征对所述关联数据进行分析，得到所属于各个属性特征的移动轨迹分布图。

在本发明实施例中，在生成移动轨迹之后，还可以基于移动轨迹的生成时间和移动轨迹自身生成移动轨迹的属性特征。之后，可以按照目标对象的属性特征和/或移动轨迹的属性特征对关联数据进行分类。例如，按照移动轨迹的生成时间对关联数据进行分类，以确定每个时间段内，目标对象的移动轨迹和目标对象的数量。又例如，还可以按照目标对象的属性特征进行分类，将年龄在20-35岁的关联数据分为一组，将年龄在55岁以上的关联数据分为一组，以确定不同年龄段的顾客的购买行为。又例如，还可以结合移动轨迹的生成时间和目标对象的年龄来对移动轨迹进行分组。具体分组方式，在本发明实施例中，不作具体限定。

在本发明实施例中，通过对关联数据进行分析，能够得到各个标签信息的移动轨迹分布图。上述数据分析包括轨迹的热力图分析、男性或女性的轨迹分析、特定年龄段的轨迹分析等等。如果探测区域为商店等区域，那么上述大数据分析的结果可以用于导购、商品的摆放位置规划等。

在本发明实施例中，在生成移动轨迹之后，还需要对各个移动轨迹进行区分，具体地，可以通过下述方式来对各个移动轨迹进行区分：

首先，确定标签信息，所述标签信息为用于对各个移动轨迹进行区分的信息；其中，可以通过以下任一种方法确定标签信息：利用人脸特征信息确定所述标签信息，其中，一个人脸特征信息对应一个标签信息；利用所述移动轨迹的生成时间确定所述标签信息；利用所述移动轨迹确定所述标签信息。

然后，将所述标签信息和所述移动轨迹进行绑定。

在本发明实施例中，记录下来的轨迹都包含自身的标签信息(也即，ID)，以用于轨迹之间的区分。此时，可以用人脸特征信息作为区分不同人及人的轨迹的标签，此时，不用注册底库，而是使用图像检测装置检测到的人脸属性特征生成一个独一无二的标签信息(也即，ID)；除此之外，也可以用移动轨迹产生的时间及移动轨迹本身产生一个标签信息(也即，ID)。标签信息的目的是为了区分不同的轨迹数据。

在本发明实施例中，可以从上述RGB抓拍相机中抓拍得到图像信息中，分析目标对象的脸部信息，得到目标对象的人脸特征信息，其中，人脸特征信息包括眼睛的特征信息，嘴巴的特征信息，鼻子的特征信息等等，例如，眼睛，嘴巴和鼻子的特征点及其位置。通过上述描述可知，通过为移动轨迹确定标签信息，能够为众多的移动轨迹进行区分。

需要说明的是，在为每个移动轨迹确定标签信息之后，还可以建立该移动轨迹与目标对象的属性特征之间的关联关系，从而实现对移动轨迹的大数据分析与处理。

在本发明实施例中，由于红外热成像仪输出的数据完全不会受到背景颜色、光线强度的干扰，视场中只有温度分布情况(即灰度图)。那么只需要对灰度图中温度在37度左右的移动对象进行跟踪即可，比起传统的RGB视觉算法需要判断黑发、白发、秃顶等不同颜色的情况，以及加入肩膀识别等等，红外热成像仪的灰度图极大的降低了对算法以及计算能力的要求，并且提高了数据精度，使得低成本的轨迹跟踪成为可能。

实施例三：

本发明实施例还提供了一种目标的追踪装置，该目标的追踪装置主要用于执行本发明实施例上述内容所提供的目标的追踪方法，以下对本发明实施例提供的目标的追踪装置做具体介绍。

图5是根据本发明实施例的一种目标的追踪装置的示意图，如图5所示，该目标的追踪装置主要包括获取单元10和确定单元20，其中：

获取单元10，用于获取待处理的热成像图像帧，其中，所述热成像图像帧为对监控区域进行监控得到的温度图像，所述热成像图像帧的数量为多个；

确定单元20，用于基于所述热成像图像帧确定目标对象的移动轨迹，其中，所述移动轨迹为所述目标对象在所述监控区域内移动时的轨迹，所述目标对象为在所述监控区域中处于移动状态的待追踪对象。

在本发明实施例中，首先获取待处理的热成像图像帧，然后，在热成像图像帧中确定目标对象，接下来，基于热成像图像帧确定目标对象的移动轨迹。通过该方式，通过采集热成像图像帧，能够对目标对象实现精确的无感知定位和轨迹追踪，进而缓解了现有技术中无法对监控区域内的对象进行无感知追踪的技术问题，从而实现了对监控区域内的目标对象进行无感知追踪的技术效果。

可选地，确定单元20包括：标记模块，用于在所述热成像图像帧中标记各个所述目标对象的位置信息，得到至少一个位置信息；合成模块，用于按照所述热成像图像帧的采集时间，将所述至少一个位置信息中所属于同一目标对象的位置信息进行合成，得到各个所述目标对象的移动轨迹。

可选地，标记模块用于：在每个所述热成像图像帧中标记各个所述目标对象的位置信息；或者，在所述热成像图像帧中每隔N帧标记各个所述目标对象的位置信息，其中，N为正整数。

可选地，该装置还用于：基于选择参数在所述热成像图像帧中选择目标对象，所述选择参数包括以下至少之一：移动对象的温度和移动对象的表面发射率。

可选地，该装置还用于：获取所述目标对象的属性特征；依照所述属性特征的获取时间和所述目标对象的起始追踪时间，建立所述属性特征和所述目标对象所属的移动轨迹之间的关联关系，得到关联数据；其中，所述起始追踪时间为所述热成像图像帧中首次出现所述目标对象的时间。

可选地，该装置还用于：获取图像采集装置采集的所述目标对象的图像信息，其中，所述图像信息中包括所述目标对象的体貌信息和/或衣着信息；对所述图像信息进行属性分析，得到所述目标对象的属性特征。

可选地，该装置还用于：获取所述移动轨迹的属性特征；结合所述移动轨迹的属性特征和/或所述目标对象的属性特征对所述关联数据进行分析，得到所属于各个属性特征的移动轨迹分布图。

可选地，该装置还用于：确定标签信息，所述标签信息为用于对各个移动轨迹进行区分的信息；将所述标签信息和所述移动轨迹进行绑定。

可选地，通过以下任一种方法确定标签信息：利用人脸特征信息确定所述标签信息，其中，一个人脸特征信息对应一个标签信息；利用所述移动轨迹的生成时间确定所述标签信息；利用所述移动轨迹确定所述标签信息。

可选地，获取单元10用于：通过红外热成像仪获取所述热成像图像帧，其中，所述红外热成像仪的数量为一个或者多个，且所述红外热成像仪能够覆盖所述监控区域；当所述红外热成像仪的数量为多个时，将各个红外热成像仪在相同时间采集到的多张热成像图像帧进行拼接。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明实施例所提供的一种目标的追踪方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种目标的追踪方法，其特征在于，在监控区域内设置一个或多个红外热成像仪，所述一个或多个红外热成像仪的拍摄范围覆盖监控区域，以及在监控区域内设置用于采集目标对象进入所述监控区域图像的图像采集装置，包括：

通过所述图像采集装置获取所述目标对象在进入所述监控区域时的RGB图像和时间；

对所述RGB图像进行属性分析，得到所述目标对象的属性特征；

通过所述一个或多个红外热成像仪获取待处理的热成像图像帧，其中，所述热成像图像帧为对监控区域进行监控得到的温度图像，所述热成像图像帧的数量为多个；

基于所述热成像图像帧确定目标对象的移动轨迹，以及针对所述目标对象的起始追踪时间，其中，所述移动轨迹为所述目标对象在所述监控区域内移动时的轨迹，所述目标对象为在所述监控区域中处于移动状态的待追踪对象，所述起始追踪时间为所述热成像图像帧中首次出现所述目标对象的时间；

基于所述起始追踪时间和进入所述监控区域时的时间的对应关系，建立所述目标对象的属性特征和所述目标对象的移动轨迹的关联关系。

2.根据权利要求1所述的方法，其特征在于，基于所述热成像图像帧确定所述目标对象的移动轨迹包括：

在所述热成像图像帧中标记各个所述目标对象的位置信息，得到至少一个位置信息；

按照所述热成像图像帧的采集时间，将所述至少一个位置信息中所属于同一目标对象的位置信息进行合成，得到各个所述目标对象的移动轨迹。

3.根据权利要求2所述的方法，其特征在于，在所述热成像图像帧中标记各个所述目标对象的位置信息包括：

在每个所述热成像图像帧中标记各个所述目标对象的位置信息；或者

在所述热成像图像帧中每隔N帧标记各个所述目标对象的位置信息，其中，N为正整数。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

基于选择参数在所述热成像图像帧中选择目标对象，所述选择参数包括以下至少之一：移动对象的温度，移动对象的表面发射率。

5.根据权利要求1所述的方法，其特征在于，所述RGB图像中包括所述目标对象的体貌信息和/或衣着信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述移动轨迹的属性特征；

结合所述移动轨迹的属性特征和/或所述目标对象的属性特征对所述关联数据进行分析，得到所属于各个属性特征的移动轨迹分布图。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定标签信息，所述标签信息为用于对各个移动轨迹进行区分的信息；

将所述标签信息和所述移动轨迹进行绑定。

8.根据权利要求7所述的方法，其特征在于，通过以下任一种方法确定标签信息：

利用人脸特征信息确定所述标签信息，其中，一个人脸特征信息对应一个标签信息；

利用所述移动轨迹的生成时间确定所述标签信息；

利用所述移动轨迹确定所述标签信息。

9.根据权利要求1所述的方法，其特征在于，获取待处理的热成像图像帧包括：

当所述红外热成像仪的数量为多个时，将各个红外热成像仪在相同时间采集到的多张热成像图像帧进行拼接。

10.一种目标的追踪装置，其特征在于，在监控区域内设置一个或多个红外热成像仪，所述一个或多个红外热成像仪的拍摄范围覆盖监控区域，以及在监控区域内设置用于采集目标对象进入所述监控区域图像的图像采集装置，包括：

获取单元，用于通过所述图像采集装置获取所述目标对象在进入所述监控区域时的RGB图像和时间；通过所述一个或多个红外热成像仪获取待处理的热成像图像帧，其中，所述热成像图像帧为对监控区域进行监控得到的温度图像，所述热成像图像帧的数量为多个；

确定单元，用于对所述RGB图像进行属性分析，得到所述目标对象的属性特征；基于所述热成像图像帧确定目标对象的移动轨迹，以及针对所述目标对象的起始追踪时间；基于所述起始追踪时间和进入所述监控区域时的时间的对应关系，建立所述目标对象的属性特征和所述目标对象的移动轨迹的关联关系；其中，所述移动轨迹为所述目标对象在所述监控区域内移动时的轨迹，所述目标对象为在所述监控区域中处于移动状态的待追踪对象，所述起始追踪时间为所述热成像图像帧中首次出现所述目标对象的时间。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一项所述的方法。

12.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1-9中任一所述方法。

Images