CN109816702A

CN109816702A - 一种多目标跟踪装置和方法

Info

Publication number: CN109816702A
Application number: CN201910048536.3A
Authority: CN
Inventors: 廖文灯; 赵鹏浩; 刘海川
Original assignee: Suzhou Silicon Micro Intelligent Technology Co Ltd
Current assignee: Suzhou Silicon Micro Intelligent Technology Co Ltd
Priority date: 2019-01-18
Filing date: 2019-01-18
Publication date: 2019-05-28

Abstract

一种多目标跟踪装置和方法，适用于拍摄设备，其中所述多目标跟踪装置包括：雷达集成单元，用于采集目标的目标感知数据；摄像单元，用于采集视频图像；处理单元，用于根据所述目标感知数据确定目标相对于所述目标跟踪装置的相对位置，并根据所述相对位置对所述摄像单元进行拍摄调整。通过所述多目标跟踪装置和方法可以在拍摄环境不佳的情况下，使多目标跟踪系统做到清晰的跟踪拍摄。

Description

一种多目标跟踪装置和方法

技术领域

本发明涉及图像处理技术，特别是涉及一种多目标跟踪装置和方法。

背景技术

传统的多目标跟踪系统都是采用单目摄像机或多目摄像机采集图像后，进行图像配准识别跟踪的方式，在极度恶劣的天气情况下，比如大雾天气，下雨天等浓见度低下的情况下，传统的摄像机并不能拍摄清晰的视频图像，当然也就无法做到后续的跟踪处理。

以当前的AI安防相机为例，其主要由传统的Image Sensor嵌入式硬件平台配合深度学习算法，在应用环境中对真实被摄物(人物、物体)的拍摄，可以自动进行一系列的目标、特征跟踪，检测识别目标的差异性，来判断物体/人物的差异化特征，通过有线/无线网络把识别到的特征数据传输到云端服务器数据库汇总分析，输出特定需求结果数据，来帮助人来作为跟踪记录、实时检索实现被摄区域的安防记录查询、报警指令、数据统计等需求。

但是AI相机是建立在以光学镜片加Image Sensor来获取真实场景中的物体及人物特征数据。传统的光学Image Sensor在现实的使用环境中在不同的环境影响下存在不同的失效问题。例如在各环境光线较暗和雨、雪、雾天气环境中会影响传感器的拍摄识别。

AI相机在光线较暗或无光线照射的空间内无法实现目标特征捕捉和提取，在光线较暗的环境中Image Sensor无法捕获到被摄物体的特征，如果被摄物距离相机较远的话，为相机分辨率所限，无法拍到被摄物。目前已有的人脸识别AI相机在光线较暗的环境下，无法实现人脸数据捕捉及识别，所以此类传感器也无法满足在较暗的环境下及长距离的目标跟踪检测。

在阴雨、雾天的室外环境下AI相机还会受到雨水冰雪和尘埃的光线遮挡折射，导致无法拍摄到被摄物，获取拍摄特征非常困难。

发明内容

本发明实施例所要解决的技术问题是如何在拍摄环境不佳的情况下，使多目标跟踪系统做到清晰的跟踪拍摄。

为了解决上述问题，本发明实施例提供的技术方案如下：

一种多目标跟踪装置，适用于拍摄设备，其中，包括：雷达集成单元，用于采集目标的目标感知数据；摄像单元，用于采集视频图像；处理单元，用于根据所述目标感知数据确定目标相对于所述目标跟踪装置的相对位置，并根据所述相对位置对所述摄像单元进行拍摄调整。

可选的，上述的多目标跟踪装置中，所述目标感知数据包括：目标的距离信息，速度信息以及角度信息。

可选的，上述的多目标跟踪装置中，所述根据所述目标感知数据确定目标于所述目标跟踪装置的相对位置包括：将所述目标感知数据于雷达坐标系的位置，以及所述视频图像于摄像头坐标系的位置，通过坐标映射至世界坐标系中；将所述目标感知数据和所述视频图像进行时间同步；根据所述目标感知数据以及所述视频图像于世界坐标系中的位置关系，确定目标相对于所述目标跟踪装置的相对位置。

可选的，上述的多目标跟踪装置中还包括：识别单元，用于结合所述目标感知数据以预设尺寸，于所述视频图像中标定感兴趣区域，并指令所述摄像单元对所述感兴趣区域持续摄像。

可选的，上述的多目标跟踪装置中，所述根据所述相对位置对所述摄像单元进行拍摄调整包括：根据所述相对位置，对所述摄像单元进行聚焦调整。

可选的，上述的多目标跟踪装置中还包括：发送单元，用于将所述视频图像上传至云端服务器。

为了解决上述问题，本发明实施例还提供了另一种多目标跟踪方法，技术方案如下：

一种多目标跟踪方法，适用于拍摄设备，其中，包括：采集目标的目标感知数据；采集视频图像；根据所述目标感知数据确定目标相对于所述目标跟踪装置的相对位置，并根据所述相对位置，进行拍摄调整。

可选的，上述的多目标跟踪方法中，所述根据所述目标感知数据确定目标于所述目标跟踪装置的相对位置包括：将所述目标感知数据于雷达坐标系的位置，以及所述视频图像于摄像头坐标系的位置，通过坐标映射至世界坐标系中；将所述目标感知数据和所述视频图像进行时间同步；根据所述目标感知数据以及所述视频图像于世界坐标系中的位置关系，确定目标相对于所述目标跟踪装置的相对位置。

可选的，上述的多目标跟踪方法还包括：在所述确定目标相对于所述目标跟踪装置的相对位置之后，还包括：结合所述目标感知数据以预设尺寸，于所述视频图像中标定感兴趣区域，并对所述感兴趣区域持续摄像。

可选的，上述的多目标跟踪方法中，所述根据所述相对位置对所述摄像单元进行拍摄调整包括：根据所述相对位置，对所述摄像单元进行聚焦调整。

与现有技术相比，本发明的技术方案具有以下优点：

本发明中，通过雷达集成单元感知到目标信息，并把目标信息给到处理单元，由处理单元根据雷达探测到的目标距离信息计算适合当前摄像机的调整值，并将相应调整参数发送给摄像单元重新聚焦，保证了在诸如大雾天气，下雨天或其他恶劣天气条件下，以及拍摄环境昏暗等能见度低下的环境下，本系统仍能够正确跟踪目标，从而解决了传统的多目标跟踪系统在恶劣天气下无法跟踪目标的情况。

附图说明

图1是本发明实施例一种多目标跟踪装置的结构示意图；

图2是毫米波雷达与世界坐标系的位置关系示意图；

图3是摄像机坐标与世界坐标系的关系示意图；

图4是本发明实施例毫米波雷达与摄像机采集数据时间同步示意图；

图5是本发明实施例一种多目标跟踪方法的流程示意图。

具体实施方式

可见在现有技术中，目前还没有一种可以适用于外部拍摄环境不佳的情况下，有效拍摄质量，并做到持续跟踪拍摄的装置和方法。

本发明实施例中，通过雷达集成单元感知到目标信息，并把目标信息给到处理单元，由处理单元根据雷达探测到的目标距离信息计算适合当前摄像机的调整值，并将相应调整参数发送给摄像单元重新聚焦，保证了在诸如大雾天气，下雨天或其他恶劣天气条件下，以及拍摄环境昏暗等能见度低下的环境下，本系统仍能够正确跟踪目标，从而解决了传统的多目标跟踪系统在恶劣天气下无法跟踪目标的情况。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本发明实施例的一种多目标跟踪装置，可适用于拍摄设备，如CMOS相机或CCD相机，也可以是具有深度计算的AI相机。如图1所示，所述多目标跟踪装置可以包括：

雷达集成单元，用于采集目标的目标感知数据；

摄像单元，用于采集视频图像；

处理单元，用于根据所述目标感知数据确定目标相对于所述目标跟踪装置的相对位置，并根据所述相对位置对所述摄像单元进行拍摄调整。

在具体实施中，所述雷达单元可以采用毫米波雷达。由于毫米波雷达平均信号的发射和接收范围在100米左右，因此可以保证长距离高精度的目标位置跟踪检测，提升的多目标跟踪系统的周围物体的捕捉范围；同时，毫米波雷达芯片体积更小，充分节省了多目标跟踪系统的实际物理排布空间，设备体积可以做的更小，使用更灵活；且毫米波雷达全集成芯片相比其他感知传感器造价更低，能充分降低多目标跟踪系统设备的物料成本，其功耗更低，还能大大节约设备的电能储备，增加设备的待机时间。

毫米波雷达可以由单发单收、单发双收或多发多收组成。为了得到精确目标位置，可以进一步采用的毫米波雷达阵列作为具体应用，即毫米波雷达阵列由多个毫米波雷达模块组成，构成一个多发多收(MIMO)的毫米波雷达阵列，负责对监测目标的感知。

在上述的具体实施中，通过所述雷达集成单元采集的目标感知数据可包括如下数据：目标的距离信息，速度信息以及角度信息。当目标出现时，分别计算上述距离信息，速度信息，角度信息，进而由目标的所述距离信息，速度信息以及角度信息生成雷达坐标系的目标X/Y/V方位信息(其中，X，Y为方位坐标，V为速度)，实现对目标方位的确定。

在具体实施中，所述处理单元可以是中央处理器，如MCU，ARM，DSP或计算机等，也可以是由任意其他具有同类计算能力的处理器组成。

在具体实施中，所述根据所述相对位置对所述摄像单元进行拍摄调整包括：根据所述相对位置，对所述摄像单元进行聚焦调整。根据上述毫米波雷达探测到的目标距离信息，调整摄像机的镜头聚焦值，使目标图像清晰聚焦到图像平面上，有如下公式：

其中，f为镜头的焦距(常数)，L为雷达探测到的目标距离信息，V为相距即摄像单元的镜头到成像元件之间的距离，其中V有如下计算公式：

V＝kx+a (2)

式中，k，a都为常数(k和a的值，可以根据多次测量通过最小二乘拟合得到，即为先验值)，x为聚焦值，由(1)和(2)式可得x：

由此，由(3)式可根据毫米波雷达探测到的距离信息，计算出实时调整目标图像的聚焦值，并把聚焦值x传送给摄像机以调整摄像机的聚焦。

本发明实施例通过(毫米波)雷达信号的多物质穿透、远距离、不受环境光干扰的特性，结合已有摄像设备，如AI相机的多目标跟踪系统进行目标拍摄，弥补了传统多目标跟踪系统的先天不足，解决多目标跟踪系统对于环境光干扰、雨雪雾天气、无法远距离探测的技术问题，达到了更精准的真实场景数据获取能力。

由于雷达信号的穿透性强，因此在不同的使用环境中，受外界光线/尘埃/烟雾的干扰少，辅助机器视觉矫正被摄物焦距，保证监测功能的稳定性。

射频毫米波雷达全芯片解决方案集成AI相机具备可穿透不同的密度的物质、高精度远距离的检测被摄物，可达到全天侯使用场景和适应能力。在已有的AI相机的前提下解决以下技术问题：

(1)可以在光线较暗的环境下实现远距离目标探测跟踪被摄物，同时可以根据射频信号的发送接受时间和速度来判断被摄物距离多目标跟踪系统的距离，为拍摄单元的图像传感器(Image Sensor)提供对焦数据参照，并发射对焦指令。毫米波雷达通常的探测跟踪距离范围可控制在百米左右，这样在原有拍摄设备Image Sensor的基础上解决了探测远距离和暗光线环境下的被测物体，检测精度可控制在厘米级，在一定的在被摄物的探测距离和光线环境适应能力上有了很大的提升。

(2)在室外的全天候的雨、雪、雾光线折射和尘埃遮挡较强的环境下，基于毫米波雷达穿透性强的特点，以电磁波形式的发射和接收辅助ImageSensor穿透遮挡视觉光线的尘埃物和折射物，到达被摄物体，辅助矫正ImageSensor拍摄盲区。

为了进一步提高对目标方位的准确判断，以及实现对目标的连续跟踪拍摄，本发明实施例在前述第一实施例的基础上，还进一步提供了另一种可适用于拍摄设备中的多目标跟踪装置。为了说明方便，本实施例以毫米波雷达和摄像机作为所述雷达集成单元和所述摄像单元示例进行说明，具体来说，所述多目标跟踪装置可包括：

雷达集成单元，用于采集目标的目标感知数据；

摄像单元，用于采集视频图像；

在具体实施中，所述根据所述目标感知数据确定目标于所述目标跟踪装置的相对位置包括：将所述目标感知数据于雷达坐标系的位置，以及所述视频图像于摄像头坐标系的位置，通过坐标映射至世界坐标系中；将所述目标感知数据和所述视频图像进行时间同步；根据所述目标感知数据以及所述视频图像于世界坐标系中的位置关系，确定目标相对于所述目标跟踪装置的相对位置。

在实际应用中，由于毫米波雷达以及摄像机分别处于不同的坐标系，要实现毫米波雷达和摄像机的视频图像信息的融合以提供更精准的调整参数，需建立毫米波雷达与摄像机所在坐标系之间的相关关系，也就是毫米波雷达坐标与图像像素坐标之间的关系，即坐标映射。以下分别将就毫米波雷达和摄像头的坐标映射进行说明。

1、毫米波雷达与世界坐标系之间的转换

如图2所示，毫米波雷达与三维世界坐标系的位置关系，设毫米波雷达坐标系为Or-XrYrZr，它以毫米波雷达的几何中心为原点，Xr指向雷达右侧，Yr垂直向上，Zr指向目标图像的前方。三维世界坐标系为Ow-XwYwZw，在毫米波雷达系上的d处，目标图像的为P点。

如图2所示，假设毫米波雷达探测到前方目标图像的距离为L，相对角度为θ，将目标图像P的毫米波雷达坐标转换成世界坐标如下式所示：

2、摄像机与世界坐标系的转换

摄像机与世界坐标系的转换如图3所示，其中O是摄像机的中心，Xc、Yc所在平面平行于成像平面，Zc轴是摄像机的光轴，与图像平面成九十度。

世界坐标通过旋转矩阵R和平移向量t转换之后得到摄像机坐标，其转换关系如下：

式(5)中，R和t是摄像机的外部参数，可通过摄像机外部标定方法离线获取。

3、摄像机坐标系与图像像素坐标系的转换

摄像机以物理作为度量单位，图像坐标是以像素作为度量单位，需通过图像物理坐标建立摄像机与图像坐标系之间的转换，使得单位统一。根据毫米波雷达与摄像头的位置以及世界坐标系与图像坐标系之间的关系，可以得到摄像机坐标系与图像像素坐标系的转换如下：

其中，(X_P，Y_p)为图像坐标系中投影点的坐标。d_x和d_y和分别为每一个像素在X轴与Y轴方向上的物理尺寸。(X_P0，Y_p0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵。t为摄像机外部参数平移向量；M称为投影矩阵。上述参数中，(d_x，d_y)、(X_P0，Y_p0)焦距f是摄像机内部参数，R和T是摄像机外部参数，它们均可通过摄像机标定方法离线获取。

通过上述的(4)式和(6)式之间的对应关系，即可求得毫米波雷达数据信息与视频图像信息之间坐标映射关系，即最终能够根据所述目标感知数据以及所述视频图像于世界坐标系中的位置关系，确定目标相对于所述目标跟踪装置的相对位置。

坐标映射在空间上使毫米波雷达探测到的目标数据信息和视频图像信息融合在一起，但是时间坐标上，由于毫米波雷达与摄像机之间的帧率可能不一样，毫米波雷达探测到的目标数据信息和视频图像的信息并不在同一时刻上，所以需把毫米波雷达的数据信息和摄像机的视频图像信息进行时间上的融合。因此在上述的具体实施中，还可以进一步将所述目标感知数据和所述视频图像进行时间同步。

本实施例中，毫米波雷达的采集频率为50Hz，摄像机的采集频率为25HZ，两者采集到的数据不在同一时刻，造成了数据在时间上的偏差。本实施例以摄像机的采样频率为基准，其时间同步示意图如图4所示。

由图可见，在40ms、80ms、120ms等时间节点上，通过接收视频图像的同时，获取对应图像当前时间的雷达数据。从而使得毫米波雷达与摄像机的数据采集频率相同，在时间上实现了同步。

通过结合图像坐标系，对雷达坐标系的目标信息进行坐标映射，图像校正等，得到图像坐标系的目标信息，进而实现对目标图像的图像处理，重新对进行聚焦调整等，从而得到清晰的拍摄图像。

在具体实施中，为了实现对目标的持续跟踪拍摄，所述多目标跟踪装置还可以包括：识别单元，用于结合所述目标感知数据以预设尺寸，于所述视频图像中标定感兴趣区域，并指令所述摄像单元对所述感兴趣区域持续摄像。

毫米波雷达探测到目标是以坐标点的方式反映在视频图像上，本实施例根据该点的位置可以生成一个目标区域。例如，行人，车辆可以是街道上所设多目标跟踪装置的主要跟踪目标，而人和车的大概尺寸根据经验值可以先获取到并作为一预设尺寸输入本实施例的多目标跟踪装置。假设目标P的预设尺寸高度为H，则根据式子(4)和式(6)可得到该目标低点和顶点在图像中的坐标为：

其中，L为毫米波雷达探测到前方目标P图像的距离，θ为相对角度，得到目标的低点和顶点后，可知目标区域高度为|Y_p1-Y_p2|，于是通过下式可求得目标区域：

其中，R_ration为矩形的高宽比，根据目标的大小，由经验值设定；(R_x，R_y)为感兴趣区域的顶点坐标，R_width为矩形的宽度，R_height为矩形的高度。由此，完成了对感兴趣区域的识别判断，从而可以进一步地实现持续跟踪。

在具体实施中，如图1所示，所述的多目标跟踪装置还可以包括：发送单元。所述发送单元用于将所述视频图像上传至云端服务器。

根据前述实施方式得到的感兴趣目标区域后，毫米波雷达持续跟踪同时(直至超出雷达和摄像机的监测范围)，处理单元指令发送单元将视频目标图像传送给云端服务器做识别处理。

概而言之，本实施例通过摄像单元和(毫米波)雷达集成单元为图像数据和感知数据端，获取真实场景中被跟踪物的形态、位置、距离、大小信息，传输给处理单元，实现输入数据的比对、矫正、归纳处理，然后通过有线网络/无线网络的形式将整理筛选过的精确数据上传到云端服务器数据库。根据实际应用场景，如安防和新零售等的数据需求，通过其他端点对接到云端服务器，从而可满足具体定制化的场景解决方案。

在上述的流程中，(毫米波)雷达集成单元配合摄像单元获取被摄物的形态特征、颜色信息和空间距离、位置信息，全面立体的采集到真实环境中的被摄物的真实精确数据，并且通过毫米波雷达信号的抗干扰、远距离、穿透性强的特点提升了多目标跟踪系统的场景适应能力和扩大了跟踪目标的捕捉范围。

与前述第一实施例和第二实施例相对应的，为了解决在拍摄环境不佳的情况下，无法使多目标跟踪系统做到清晰拍摄的问题，本发明实施例还公开了一种多目标跟踪方法，同样适用于拍摄设备中。如图5所示，所述多目标跟踪方法可以包括：

步骤S101，采集目标的目标感知数据；

步骤S102，采集视频图像；

步骤S103，根据所述目标感知数据确定目标相对于所述目标跟踪装置的相对位置；

步骤S105，根据所述相对位置，进行拍摄调整。

在具体实施中，所述步骤S103可以包括：

步骤S1031，将所述目标感知数据于雷达坐标系的位置，以及所述视频图像于摄像头坐标系的位置，通过坐标映射至世界坐标系中；

步骤S1031，将所述目标感知数据和所述视频图像进行时间同步；

步骤S1032，根据所述目标感知数据以及所述视频图像于世界坐标系中的位置关系，确定目标相对于所述目标跟踪装置的相对位置。

在具体实施中，所述步骤S103之后还可以包括：步骤S104，结合所述目标感知数据以预设尺寸，于所述视频图像中标定感兴趣区域，并对所述感兴趣区域持续摄像。

在具体实施中，所述步骤S105可具体包括：根据所述相对位置，对所述摄像单元进行聚焦调整。

本领域技术人员可以理解的是，本实施例与第一和第二实施例为基于同一发明构思，因此关于本实施例的其他具体内容可以参照前述实施例的对应内容，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims

1.一种多目标跟踪装置，适用于拍摄设备，其特征在于，包括：

雷达集成单元，用于采集目标的目标感知数据；

摄像单元，用于采集视频图像；

2.如权利要求1所述的多目标跟踪装置，其特征在于：所述目标感知数据包括：目标的距离信息，速度信息以及角度信息。

3.如权利要求1所述的多目标跟踪装置，其特征在于，所述根据所述目标感知数据确定目标于所述目标跟踪装置的相对位置包括：

将所述目标感知数据于雷达坐标系的位置，以及所述视频图像于摄像头坐标系的位置，通过坐标映射至世界坐标系中；

将所述目标感知数据和所述视频图像进行时间同步；

根据所述目标感知数据以及所述视频图像于世界坐标系中的位置关系，确定目标相对于所述目标跟踪装置的相对位置。

4.如权利要求3所述的多目标跟踪装置，其特征在于，还包括：识别单元，用于结合所述目标感知数据以预设尺寸，于所述视频图像中标定感兴趣区域，并指令所述摄像单元对所述感兴趣区域持续摄像。

5.如权利要求1所述的多目标跟踪装置，其特征在于，所述根据所述相对位置对所述摄像单元进行拍摄调整包括：根据所述相对位置，对所述摄像单元进行聚焦调整。

6.如权利要求1所述的多目标跟踪装置，其特征在于，还包括：发送单元，用于将所述视频图像上传至云端服务器。

7.一种多目标跟踪方法，适用于拍摄设备，其特征在于，包括：

采集目标的目标感知数据；

采集视频图像；

根据所述目标感知数据确定目标相对于所述目标跟踪装置的相对位置，并根据所述相对位置，进行拍摄调整。

8.如权利要求7所述的多目标跟踪方法，其特征在于，所述根据所述目标感知数据确定目标于所述目标跟踪装置的相对位置包括：

将所述目标感知数据和所述视频图像进行时间同步；

9.如权利要求8所述的多目标跟踪方法，其特征在于，还包括：在所述确定目标相对于所述目标跟踪装置的相对位置之后，还包括：结合所述目标感知数据以预设尺寸，于所述视频图像中标定感兴趣区域，并对所述感兴趣区域持续摄像。

10.如权利要求7所述的多目标跟踪装置，其特征在于，所述根据所述相对位置对所述摄像单元进行拍摄调整包括：根据所述相对位置，对所述摄像单元进行聚焦调整。