CN111402324A - 一种目标测量方法、电子设备以及计算机存储介质 - Google Patents

Abstract

本发明实施例提供了一种目标测量方法、电子设备以及计算机存储介质，其中方法包括：采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；从图像信息中识别目标对象；基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

Description

一种目标测量方法、电子设备以及计算机存储介质

技术领域

本发明涉及信息处理技术领域，尤其涉及一种目标测量方法、电子设备以及计算机存储介质。

背景技术

车辆追踪甚至目标追踪在各类领域有广泛的应用，与此有关的专利技术也有很多，但是基于无人机等飞行平台而实现的车辆追踪技术却少之又少。已有的基于无人机车辆跟踪专利要么需要事先人工查找视频中车辆目标，要么通过逐帧进行目标检测来实现车辆追踪。上述技术的不足在于：无法做到目标框实时连续的显示，以及无法对跟踪的目标做到实时测距。

发明内容

为解决上述技术问题，本发明实施例提供了一种目标测量方法、电子设备以及计算机存储介质。

第一方面，提供了一种目标测量方法，所述方法包括：

采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

从图像信息中识别目标对象；

基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

第二方面，提供了一种电子设备，包括：

采集模块，用于采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

目标标注模块，用于从图像信息中识别目标对象；

计算模块，用于基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

第三方面，提供了一种电子设备，包括：

摄像头，用于采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

处理器，用于从图像信息中识别目标对象；基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

第四方面，提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例的技术方案，就能够基于采集到的二维图像结合电子设备所在高度以及角度参数，获取目标对象的相对距离以及相对方位。如此，实现了采用单独的二维采集的方式高效的完成针对目标对象的测量的处理，降低了硬件复杂度，并且降低了处理负责度，提升了处理的效率。

附图说明

图1是本申请实施例提供的一种目标测量方法流程示意图；

图2为本发明实施例提供的一种处理场景示意图一；

图3为本发明实施例提供的一种处理场景示意图二；

图4为本发明实施例二轴云平台组成结构示意图；

图5为本发明实施例三维坐标系与目标之间的关系示意图；

图6为本发明实施例提供的一种流程示意图；

图7为本发明实施例电子设备组成结构示意图一；

图8为本发明实施例电子设备组成结构示意图二；

图9为本发明实施例电子设备组成结构示意图三。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本发明实施例提供了一种目标测量方法，包括：

步骤11：采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

步骤12：从图像信息中识别目标对象；

步骤13：基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

本实施例中，所述目标测量方法应用于电子设备中，尤其适用于安装有图像采集模块即摄像头的无人机中。为了解决目标追踪以及方位估计问题，本发明以目标对象为目标车辆的跟踪为例，需要理解的是，本实施例中目标对象还可以为其他实体，比如人物、动物、植物等等，只是处理方法与目标车辆相同，因此不再进行赘述，仅以目标车辆为例进行以下说明：

所述从图像信息中识别目标对象，包括：

基于深度网络识别所述目标图像中包含的目标对象；

设置针对所述目标对象的目标框。

也就是说，本实施例首先需要针对目标对象、或者目标车辆进行跟踪目标标注。

其中，本发明实施例提供了两种方式标注欲跟踪目标，其一是通过人工标注目标车辆坐标，其二是采用深度网络进行目标检测，进而对目标车辆进行标注。而采用深度网络来识别目标车辆一是识别准确度大幅提高，二是可以区分不同颜色的车辆，而采用Haar、HOG难以区分车辆颜色；但是采用深度网络来进行目标车辆的识别，能够更加准确，并且本实施例的采集模块能够采集到彩色图片，因此能够区分目标对象的颜色。

具体来说，用来标注跟踪目标所用的深度网络为YOLO-Net，我们通过对该神经网络结构进行调整，可以在一般电脑上用CPU快速计算得到目标车辆的检测结果。标注结果见图2或图3，在图中识别出目标对象，并且在目标对象处设置有目标框。

所述从图像信息中识别目标对象之后，所述方法还包括：

当所述目标对象移动出所述目标框的中心位置时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括针对采集模块的调整方向以及调整距离；基于所述调整参数对所述采集模块进行调整。

或者，当所述目标对象移动出所述目标框时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括所述采集模块的调整方向以及调整距离；基于所述调整参数对所述采集模块进行调整。

也就是说，本实施例提供了两种跟踪目标对象的方式，一种就是实时保持目标对象位于目标框的中心位置，也就是实时调整摄像头或采集模块的角度；另一种就是当目标对象即将离开目标框的时候，再次调整摄像头或采集模块，而再次调整的调整结果为使得调整后目标对象保持位于目标框的中心点。

比如，目标车辆追踪：待目标车辆坐标标注完成后，采用相关性滤波跟踪以替代逐帧目标检测实现目标车辆追踪，具体是通过统计目标框内的各个特征，通过比较目标框附近区域中相关性最高的框作为目标车辆的下一个位置。

这里进行目标对象的跟踪，使用到的目标跟踪算法是一种基于相关滤波结合颜色概率的方法，使得跟踪算法自动的学习目标框内更加显著的部分，以上述算法为目标跟踪的核心，在通过比对下一帧临近区域，选择相关性最大的目标框作为目标车辆在下一帧的位置。

最后执行步骤13，即进行目标对象、即目标车辆的距离、方位估计：通过目标车辆的位置坐标，再结合单目云台摄像头与无人机相应参数，以飞行平台为坐标中心构建三维空间坐标实现对目标车辆的跟踪以及方位的估计。

具体来说，方位、距离估计是本申请的核心。

采集模块可以理解为摄像头，其安装位置可以为安置在无人机下方的摄像头，以摄像头正向水平方向为三维空间中的Y轴，垂直于Y轴的水平方向为空间中的X轴，竖直向下的方向为Z轴，显然X、Y、Z三轴中任意一轴均垂直于另外两轴构成的平面。摄像头基于二轴云台，具体细节见图4。

由于本实施例在进行目标对象跟踪时，提供了两种方式，一种为实时将目标对象设置在跟踪的目标框中心位置；另一种为当目标对象即将离开目标框的时候，调整采集模块即摄像头以使得采集的二维图像上的目标框的中心位置处为目标对象。下面进行目标对象的距离以及方位的处理时，分别针对上述两种方式进行说明：

第一种，所述基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位，包括：

基于电子设备所在高度，以及角度参数，确定所述采集模块与所述目标对象之间的直线距离，将所述直线距离作为所述电子设备与所述目标对象之间的相对距离；

将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标；

将针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标转换为所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

也就是说，基于摄像头所捕获的二维图片以图片中心为原点构建二维坐标系。因为，本发明中采用方框作为跟踪目标所用的框，令坐标(a,b)为目标框中心在图像二维坐标系中的对应坐标，通过变换可知二维图片中原点坐标位置位于三维空间系中的YoZ平面中。计摄像头所处的高度为h，摄像头与XoY平面的夹角为θ，比如可以参见图5，其中示出图像或者目标框的中心位置在三维坐标系中与XoY平面之间的夹角为θ。那么计算出图片中心的距离以及方位的估计：

到无人机直线距离：h/sin(θ)，X轴坐标：0，Y轴坐标：h/tan(θ)，Z轴坐标：-h。

另外一种方式中，不主动的调节摄像头方向，只有当目标即将离开视界(例如目标框越出事先在图像上标记的边界，见图3)后才会按照上述方式从新校正摄像头中心。

所述基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位，包括：

将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象在所述二维参考坐标系中的参考坐标；

基于所述目标对象在所述二维参考坐标系中的参考坐标，确定所述目标对象在三维坐标系中的水平偏移角度以及垂直偏移角度；

基于所述水平偏移角度、垂直偏移角度、电子设备所在高度以及角度参数，确定所述电子设备与所述目标对象之间的相对距离，并确定所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

也就是说，当目标中心在二维平面坐标为(a,b)时，对于的距离以及方位的估计为：

到无人机直线距离：h/sin(θ-β)/cos(α)，

X轴坐标：h·tan(α)/sin(θ-β)，

Y轴坐标：h/tan(θ-β)，

Z轴坐标：-h。

这里tan(α)＝a/r、tan(β)＝b/r，α表征水平偏移，β为垂直偏移；其中r为对应摄像头焦距的相应内参(可以通过简单的三角变换求得)。

还需要指出的是，本实施例对应的优选场景为假设无人机高度h十分大或者目标车辆同无人机竖直高度等于h。

基于上述方案，本实施例还根据上述所计算获得的目标车辆的坐标我们既可以采用上述建立的空间三维坐标系构建三维地图(无人机视角)。另外，因为无人机视角的三维坐标系中XoY平面水平只是坐标轴未对齐正方向，所以只需将无人机视角的三维坐标系实时绕Z轴旋转相应角度便可以得到以正方向所构造的三维地图。

最后，结合图6再次描述本申请的处理流程：当采集模块为摄像头时，首先通过摄像头采集图像数据；将图像数据传输至标注模块，通过标注模块对图像数据中的目标对象进行人工标注、或者利用深度网络对目标对象进行标注；控制摄像头进行目标跟踪，进而获得目标对象的位置信息，其中包括有距离以及方位；

同时，保持检测目标是否存在与目标框内，若是，则继续检测，并判断目标是否越出边界，若是，则调整摄像头的角度；否则，若目标不存在与目标框内，若不存在则重新拍摄目标，若目标没有越出边界，则保持进行目标跟踪。

本发明引入深度神经网络并结合相关滤波方法使得系统可以智能、自动地事先目标检测以及跟踪。另外，基于无人机测距绝大多数通过红外测距或者使用双目摄像头进行测距，本发明专利使用无人机基于单目摄像头在跟踪车辆的同时并进行测距以及分析目标方位，这样可大大降低成本。

本发明专利基于安置在无人机上的单目云台摄像头捕获到的道路俯瞰摄像，首先，本发明提供两种方式对目标进行事先标注，一种是通过自带模型进行目标检测，另一种则是人工标注目标坐标；利用获得目标坐标，提取相应特征，采用相关性滤波进而实现目标追踪；另外，利用无人机等平台所得到的高度信息以及摄像头的各类内参进而得到目标距离以及方位等位置信息的估计。综上本发明意在利用无人机等高空飞行平台实现单一目标的实时跟踪以及对目标方位、距离的相应估计，本发明不依赖于复杂的测距检测装置，可以基于简单的设备进行改装。本发明专利不需依赖复杂的设备装置，通过算法大大精简流程的复杂度，使得本发明可以适用于大多数无人机平台。

可见，通过采用上述方案，就能够基于采集到的二维图像结合电子设备所在高度以及当前采集图像角度参数，获取目标对象的相对距离以及相对方位。如此，实现了采用单独的二维采集的方式高效的完成针对目标对象的测量的处理，降低了硬件复杂度，并且降低了处理负责度，提升了处理的效率。

如图7所示，本发明实施例提供了一种电子设备，包括：

采集模块71，用于采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

目标标注模块72，用于从图像信息中识别目标对象；

计算模块73，用于基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

本实施例中，所述目标测量方法应用于电子设备中，尤其适用于安装有图像采集模块即摄像头的无人机中。为了解决目标追踪以及方位估计问题，本发明以目标对象为目标车辆的跟踪为例，需要理解的是，本实施例中目标对象还可以为其他实体，比如人物、动物、植物等等，只是处理方法与目标车辆相同，因此不再进行赘述，仅以目标车辆为例进行以下说明：

所述目标标注模块72，用于基于深度网络识别所述目标图像中包含的目标对象；设置针对所述目标对象的目标框。

也就是说，本实施例首先需要针对目标对象、或者目标车辆进行跟踪目标标注。

其中，本发明实施例提供了两种方式标注欲跟踪目标，其一是通过人工标注目标车辆坐标，其二是采用深度网络进行目标检测，进而对目标车辆进行标注。而采用深度网络来识别目标车辆一是识别准确度大幅提高，二是可以区分不同颜色的车辆，而采用Haar、HOG难以区分车辆颜色；但是采用深度网络来进行目标车辆的识别，能够更加准确，并且本实施例的采集模块能够采集到彩色图片，因此能够区分目标对象的颜色。

具体来说，用来标注跟踪目标所用的深度网络为YOLO-Net，我们通过对该神经网络结构进行调整，可以在一般电脑上用CPU快速计算得到目标车辆的检测结果。标注结果见图2或图3，在图中识别出目标对象，并且在目标对象处设置有目标框。

所述电子设备还包括：

目标跟踪模块，用于当所述目标对象移动出所述目标框的中心位置时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括针对采集模块的调整方向以及调整距离；

姿态调整模块，用于基于所述调整参数对所述采集模块进行调整。

或者，目标跟踪模块，用于当所述目标对象移动出所述目标框时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括所述采集模块的调整方向以及调整距离；姿态调整模块，用于基于所述调整参数对所述采集模块进行调整。

需要指出的是，姿态调整模块，还可以调整二轴平台的姿态、和/或、调整无人机姿态(也就是调整电子设备的整体姿态)。换句话说，调整参数可以包含有针对二轴平台的姿态、和/或、无人机姿态的调整参数，比如，无人机的飞行速度、角度等等，以及二轴平台中各个轴的调整角度等，这里不再赘述。

也就是说，本实施例提供了两种跟踪目标对象的方式，一种就是实时保持目标对象位于目标框的中心位置，也就是实时调整摄像头或采集模块的角度；另一种就是当目标对象即将离开目标框的时候，再次调整摄像头或采集模块，而再次调整的调整结果为使得调整后目标对象保持位于目标框的中心点。

比如，目标车辆追踪：待目标车辆坐标标注完成后，采用相关性滤波跟踪以替代逐帧目标检测实现目标车辆追踪，具体是通过统计目标框内的各个特征，通过比较目标框附近区域中相关性最高的框作为目标车辆的下一个位置。

这里进行目标对象的跟踪，使用到的目标跟踪算法是一种基于相关滤波结合颜色概率的方法，使得跟踪算法自动的学习目标框内更加显著的部分，以上述算法为目标跟踪的核心，在通过比对下一帧临近区域，选择相关性最大的目标框作为目标车辆在下一帧的位置。

最后进行目标对象、即目标车辆的距离、方位估计：通过目标车辆的位置坐标，再结合单目云台摄像头与无人机相应参数，以飞行平台为坐标中心构建三维空间坐标实现对目标车辆的跟踪以及方位的估计。

具体来说，方位、距离估计是本申请的核心。

采集模块可以理解为摄像头，其安装位置可以为安置在无人机下方的摄像头，以摄像头正向水平方向为三维空间中的Y轴，垂直于Y轴的水平方向为空间中的X轴，竖直向下的方向为Z轴，显然X、Y、Z三轴中任意一轴均垂直于另外两轴构成的平面。摄像头基于二轴云台，具体细节见图4。

由于本实施例在进行目标对象跟踪时，提供了两种方式，一种为实时将目标对象设置在跟踪的目标框中心位置；另一种为当目标对象即将离开目标框的时候，调整采集模块即摄像头以使得采集的二维图像上的目标框的中心位置处为目标对象。下面进行目标对象的距离以及方位的处理时，分别针对上述两种方式进行说明：

第一种，所述计算模块73，用于基于电子设备所在高度，以及角度参数，确定所述采集模块与所述目标对象之间的直线距离，将所述直线距离作为所述电子设备与所述目标对象之间的相对距离；

将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标；

将针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标转换为所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

也就是说，基于摄像头所捕获的二维图片以图片中心为原点构建二维坐标系。因为，本发明中采用方框作为跟踪目标所用的框，令坐标(a,b)为目标框中心在图像二维坐标系中的对应坐标，通过变换可知二维图片中原点坐标位置位于三维空间系中的YoZ平面中。计摄像头所处的高度为h，摄像头与XoY平面的夹角为θ，比如可以参见图5，其中示出图像或者目标框的中心位置在三维坐标系中与XoY平面之间的夹角为θ。那么计算出图片中心的距离以及方位的估计：

到无人机直线距离：h/sin(θ)，X轴坐标：0，Y轴坐标：h/tan(θ)，Z轴坐标：-h。

另外一种方式中，不主动的调节摄像头方向，只有当目标即将离开视界(例如目标框越出事先在图像上标记的边界，见图3)后才会按照上述方式从新校正摄像头中心。

所述计算模块73，用于将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象在所述二维参考坐标系中的参考坐标；

基于所述目标对象在所述二维参考坐标系中的参考坐标，确定所述目标对象在三维坐标系中的水平偏移角度以及垂直偏移角度；

基于所述水平偏移角度、垂直偏移角度、电子设备所在高度以及角度参数，确定所述电子设备与所述目标对象之间的相对距离，并确定所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

也就是说，当目标中心在二维平面坐标为(a,b)时，对于的距离以及方位的估计为：

到无人机直线距离：h/sin(θ-β)/cos(α)，

X轴坐标：h·tan(α)/sin(θ-β)，

Y轴坐标：h/tan(θ-β)，

Z轴坐标：-h。

这里tan(α)＝a/r、tan(β)＝b/r，α表征水平偏移，β为垂直偏移；其中r为对应摄像头焦距的相应内参(可以通过简单的三角变换求得)。

还需要指出的是，本实施例对应的优选场景为假设无人机高度h十分大或者目标车辆同无人机竖直高度等于h。

基于上述方案，本实施例还根据上述所计算获得的目标车辆的坐标我们既可以采用上述建立的空间三维坐标系构建三维地图(无人机视角)。另外，因为无人机视角的三维坐标系中XoY平面水平只是坐标轴未对齐正方向，所以只需将无人机视角的三维坐标系实时绕Z轴旋转相应角度便可以得到以正方向所构造的三维地图。

最后，结合图8再次描述当电子设备为无人机时，本实施例包含的各个模块之间的关系，无人机平台中包含有摄像头、二轴云台；摄像头采集到的图像通过目标标注模块进行处理；进而目标跟踪模块根据图像中的目标对象；并通过姿态调整模块调整摄像头、无人机、二轴云台中至少之一的角度或方向。

本发明引入深度神经网络并结合相关滤波方法使得系统可以智能、自动地事先目标检测以及跟踪。另外，基于无人机测距绝大多数通过红外测距或者使用双目摄像头进行测距，本发明专利使用无人机基于单目摄像头在跟踪车辆的同时并进行测距以及分析目标方位，这样可大大降低成本。

本发明专利基于安置在无人机上的单目云台摄像头捕获到的道路俯瞰摄像，首先，本发明提供两种方式对目标进行事先标注，一种是通过自带模型进行目标检测，另一种则是人工标注目标坐标；利用获得目标坐标，提取相应特征，采用相关性滤波进而实现目标追踪；另外，利用无人机等平台所得到的高度信息以及摄像头的各类内参进而得到目标距离以及方位等位置信息的估计。综上本发明意在利用无人机等高空飞行平台实现单一目标的实时跟踪以及对目标方位、距离的相应估计，本发明不依赖于复杂的测距检测装置，可以基于简单的设备进行改装。本发明专利不需依赖复杂的设备装置，通过算法大大精简流程的复杂度，使得本发明可以适用于大多数无人机平台。

可见，通过采用上述方案，就能够基于采集到的二维图像结合电子设备所在高度以及当前采集图像在三维坐标系中的角度参数，获取目标对象的相对距离以及相对方位。如此，实现了采用单独的二维采集的方式高效的完成针对目标对象的测量的处理，降低了硬件复杂度，并且降低了处理负责度，提升了处理的效率。

如图9所示，本发明实施例提供了一种电子设备，包括：

摄像头91，用于采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

处理器92，用于从图像信息中识别目标对象；基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

本实施例中，所述目标测量方法应用于电子设备中，尤其适用于安装有图像采集模块即摄像头的无人机中。为了解决目标追踪以及方位估计问题，本发明以目标对象为目标车辆的跟踪为例，需要理解的是，本实施例中目标对象还可以为其他实体，比如人物、动物、植物等等，只是处理方法与目标车辆相同，因此不再进行赘述，仅以目标车辆为例进行以下说明：

所述处理器92，用于基于深度网络识别所述目标图像中包含的目标对象；设置针对所述目标对象的目标框。

也就是说，本实施例首先需要针对目标对象、或者目标车辆进行跟踪目标标注。

其中，本发明实施例提供了两种方式标注欲跟踪目标，其一是通过人工标注目标车辆坐标，其二是采用深度网络进行目标检测，进而对目标车辆进行标注。而采用深度网络来识别目标车辆一是识别准确度大幅提高，二是可以区分不同颜色的车辆，而采用Haar、HOG难以区分车辆颜色；但是采用深度网络来进行目标车辆的识别，能够更加准确，并且本实施例的采集模块能够采集到彩色图片，因此能够区分目标对象的颜色。

具体来说，用来标注跟踪目标所用的深度网络为YOLO-Net，我们通过对该神经网络结构进行调整，可以在一般电脑上用CPU快速计算得到目标车辆的检测结果。标注结果见图2或图3，在图中识别出目标对象，并且在目标对象处设置有目标框。

所述处理器92，用于当所述目标对象移动出所述目标框的中心位置时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括针对采集模块的调整方向以及调整距离；基于所述调整参数对所述采集模块进行调整。

或者，处理器92，用于当所述目标对象移动出所述目标框时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括所述采集模块的调整方向以及调整距离；基于所述调整参数对所述采集模块进行调整。

需要指出的是，姿态调整模块，还可以调整二轴平台的姿态、和/或、调整无人机姿态(也就是调整电子设备的整体姿态)。换句话说，调整参数可以包含有针对二轴平台的姿态、和/或、无人机姿态的调整参数，比如，无人机的飞行速度、角度等等，以及二轴平台中各个轴的调整角度等，这里不再赘述。

也就是说，本实施例提供了两种跟踪目标对象的方式，一种就是实时保持目标对象位于目标框的中心位置，也就是实时调整摄像头或采集模块的角度；另一种就是当目标对象即将离开目标框的时候，再次调整摄像头或采集模块，而再次调整的调整结果为使得调整后目标对象保持位于目标框的中心点。

比如，目标车辆追踪：待目标车辆坐标标注完成后，采用相关性滤波跟踪以替代逐帧目标检测实现目标车辆追踪，具体是通过统计目标框内的各个特征，通过比较目标框附近区域中相关性最高的框作为目标车辆的下一个位置。

这里进行目标对象的跟踪，使用到的目标跟踪算法是一种基于相关滤波结合颜色概率的方法，使得跟踪算法自动的学习目标框内更加显著的部分，以上述算法为目标跟踪的核心，在通过比对下一帧临近区域，选择相关性最大的目标框作为目标车辆在下一帧的位置。

最后进行目标对象、即目标车辆的距离、方位估计：通过目标车辆的位置坐标，再结合单目云台摄像头与无人机相应参数，以飞行平台为坐标中心构建三维空间坐标实现对目标车辆的跟踪以及方位的估计。

具体来说，方位、距离估计是本申请的核心。

采集模块可以理解为摄像头，其安装位置可以为安置在无人机下方的摄像头，以摄像头正向水平方向为三维空间中的Y轴，垂直于Y轴的水平方向为空间中的X轴，竖直向下的方向为Z轴，显然X、Y、Z三轴中任意一轴均垂直于另外两轴构成的平面。摄像头基于二轴云台，具体细节见图4。

由于本实施例在进行目标对象跟踪时，提供了两种方式，一种为实时将目标对象设置在跟踪的目标框中心位置；另一种为当目标对象即将离开目标框的时候，调整采集模块即摄像头以使得采集的二维图像上的目标框的中心位置处为目标对象。下面进行目标对象的距离以及方位的处理时，分别针对上述两种方式进行说明：

第一种，所述处理器92，用于基于电子设备所在高度，以及角度参数，确定所述采集模块与所述目标对象之间的直线距离，将所述直线距离作为所述电子设备与所述目标对象之间的相对距离；

将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标；

将针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标转换为所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

也就是说，基于摄像头所捕获的二维图片以图片中心为原点构建二维坐标系。因为，本发明中采用方框作为跟踪目标所用的框，令坐标(a,b)为目标框中心在图像二维坐标系中的对应坐标，通过变换可知二维图片中原点坐标位置位于三维空间系中的YoZ平面中。计摄像头所处的高度为h，摄像头与XoY平面的夹角为θ，比如可以参见图5，其中示出图像或者目标框的中心位置在三维坐标系中与XoY平面之间的夹角为θ。那么计算出图片中心的距离以及方位的估计：

到无人机直线距离：h/sin(θ)，X轴坐标：0，Y轴坐标：h/tan(θ)，Z轴坐标：-h。

另外一种方式中，不主动的调节摄像头方向，只有当目标即将离开视界(例如目标框越出事先在图像上标记的边界，见图3)后才会按照上述方式从新校正摄像头中心。

所述处理器92，用于将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象在所述二维参考坐标系中的参考坐标；

基于所述目标对象在所述二维参考坐标系中的参考坐标，确定所述目标对象在三维坐标系中的水平偏移角度以及垂直偏移角度；

基于所述水平偏移角度、垂直偏移角度、电子设备所在高度以及角度参数，确定所述电子设备与所述目标对象之间的相对距离，并确定所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

也就是说，当目标中心在二维平面坐标为(a,b)时，对于的距离以及方位的估计为：

到无人机直线距离：h/sin(θ-β)/cos(α)，

X轴坐标：h·tan(α)/sin(θ-β)，

Y轴坐标：h/tan(θ-β)，

Z轴坐标：-h。

这里tan(α)＝a/r、tan(β)＝b/r，α表征水平偏移，β为垂直偏移；其中r为对应摄像头焦距的相应内参(可以通过简单的三角变换求得)。

还需要指出的是，本实施例对应的优选场景为假设无人机高度h十分大或者目标车辆同无人机竖直高度等于h。

基于上述方案，本实施例还根据上述所计算获得的目标车辆的坐标我们既可以采用上述建立的空间三维坐标系构建三维地图(无人机视角)。另外，因为无人机视角的三维坐标系中XoY平面水平只是坐标轴未对齐正方向，所以只需将无人机视角的三维坐标系实时绕Z轴旋转相应角度便可以得到以正方向所构造的三维地图。

最后，结合图8再次描述当电子设备为无人机时，本实施例包含的各个模块之间的关系，无人机平台中包含有摄像头、二轴云台；摄像头采集到的图像通过目标标注模块进行处理；进而目标跟踪模块根据图像中的目标对象；并通过姿态调整模块调整摄像头、无人机、二轴云台中至少之一的角度或方向。

本发明引入深度神经网络并结合相关滤波方法使得系统可以智能、自动地事先目标检测以及跟踪。另外，基于无人机测距绝大多数通过红外测距或者使用双目摄像头进行测距，本发明专利使用无人机基于单目摄像头在跟踪车辆的同时并进行测距以及分析目标方位，这样可大大降低成本。

本发明专利基于安置在无人机上的单目云台摄像头捕获到的道路俯瞰摄像，首先，本发明提供两种方式对目标进行事先标注，一种是通过自带模型进行目标检测，另一种则是人工标注目标坐标；利用获得目标坐标，提取相应特征，采用相关性滤波进而实现目标追踪；另外，利用无人机等平台所得到的高度信息以及摄像头的各类内参进而得到目标距离以及方位等位置信息的估计。综上本发明意在利用无人机等高空飞行平台实现单一目标的实时跟踪以及对目标方位、距离的相应估计，本发明不依赖于复杂的测距检测装置，可以基于简单的设备进行改装。本发明专利不需依赖复杂的设备装置，通过算法大大精简流程的复杂度，使得本发明可以适用于大多数无人机平台。

可见，通过采用上述方案，就能够基于采集到的二维图像结合电子设备所在高度以及当前采集图像在三维坐标系中的角度参数，获取目标对象的相对距离以及相对方位。如此，实现了采用单独的二维采集的方式高效的完成针对目标对象的测量的处理，降低了硬件复杂度，并且降低了处理负责度，提升了处理的效率。

本申请实施例还提供了一种计算机存储介质，用于存储计算机程序。

可选的，该计算机存储介质可应用于本申请实施例中的任意一种网络设备，并且该计算机程序使得计算机执行本申请实施例的各个方法中由网络设备实现的相应流程，为了简洁，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，)ROM、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种目标测量方法，应用于电子设备中，所述方法包括：

采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

从图像信息中识别目标对象；

基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

2.根据权利要求1所述的方法，其特征在于，所述从图像信息中识别目标对象，包括：

基于深度网络识别所述目标图像中包含的目标对象；

设置针对所述目标对象的目标框。

3.根据权利要求2所述的方法，其特征在于，所述从图像信息中识别目标对象之后，所述方法还包括：

当所述目标对象移动出所述目标框的中心位置时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括针对采集模块的调整方向以及调整距离；

基于所述调整参数对所述采集模块进行调整。

4.根据权利要求3所述的方法，其特征在于，所述基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位，包括：

基于电子设备所在高度，以及角度参数，确定所述采集模块与所述目标对象之间的直线距离，将所述直线距离作为所述电子设备与所述目标对象之间的相对距离；

将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标；

将针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标转换为所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

5.根据权利要求2所述的方法，其特征在于，所述从图像信息中识别目标对象之后，所述方法还包括：

当所述目标对象移动出所述目标框时，确定针对采集模块的调整参数；其中，所述调整参数用于调整所述采集模块以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括所述采集模块的调整方向以及调整距离；

基于所述调整参数对所述采集模块进行调整。

6.根据权利要求5所述的方法，其特征在于，所述基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位，包括：

将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象在所述二维参考坐标系中的参考坐标；

基于所述目标对象在所述二维参考坐标系中的参考坐标，确定所述目标对象在三维坐标系中的水平偏移角度以及垂直偏移角度；

基于所述水平偏移角度、垂直偏移角度、电子设备所在高度以及角度参数，确定所述电子设备与所述目标对象之间的相对距离，并确定所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与电子设备之间的相对方位。

7.一种电子设备，包括：

采集模块，用于采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

目标标注模块，用于从图像信息中识别目标对象；

计算模块，用于基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

8.一种电子设备，包括：

摄像头，用于采集得到包含有目标对象的图像信息；其中，所述图像信息为二维图像信息；

处理器，用于从图像信息中识别目标对象；基于电子设备所在高度以及角度参数，确定所述目标对象的相对距离以及相对方位。

9.根据权利要求8所述的电子设备，其特征在于，所述处理器，用于基于深度网络识别所述目标图像中包含的目标对象；设置针对所述目标对象的目标框。

10.根据权利要求9所述的电子设备，其特征在于，所述处理器，用于当所述目标对象移动出所述目标框的中心位置时，确定针对摄像头的调整参数；其中，所述调整参数用于调整所述摄像头以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括针对采集模块的调整方向以及调整距离；基于所述调整参数对所述摄像头进行调整。

11.根据权利要求10所述的电子设备，其特征在于，所述处理器，用于基于电子设备所在高度，以及角度参数，确定所述摄像头与所述目标对象之间的直线距离，将所述直线距离作为所述摄像头与所述目标对象之间的相对距离；

将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标；

将针对所述目标对象的目标框的中心位置在所述二维参考坐标系中的参考坐标转换为所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述目标对象与摄像头之间的相对方位。

12.根据权利要求9所述的电子设备，其特征在于，所述处理器，用于当所述目标对象移动出所述目标框时，确定针对摄像头的调整参数；其中，所述调整参数用于调整所述摄像头以使得所述目标对象位于所述目标框的中心位置，所述调整参数中至少包括所述摄像头的调整方向以及调整距离；

基于所述调整参数对所述摄像头进行调整。

13.根据权利要求12所述的电子设备，其特征在于，所述处理器，用于将所述图像信息的中心点作为图像信息对应的二维参考坐标系的原点，确定针对所述目标对象在所述二维参考坐标系中的参考坐标；

基于所述目标对象在所述二维参考坐标系中的参考坐标，确定所述目标对象在三维坐标系中的水平偏移角度以及垂直偏移角度；

基于所述水平偏移角度、垂直偏移角度、电子设备所在高度以及角度参数，确定所述摄像头与所述目标对象之间的相对距离，并确定所述目标对象在所述三维坐标系中的参考坐标，基于所述目标对象在三维坐标系中的参考坐标确定所述摄像头与电子设备之间的相对方位。

14.一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。

Images