CN115731264A - 目标物跟踪方法、目标物跟踪系统及控制器 - Google Patents

Abstract

本申请公开了一种目标物跟踪方法、目标物跟踪系统及控制器。该方法包括：获取目标物的目标图像；根据目标图像确定目标物的上表面质心点的像素坐标与上表面整体特征图像；根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和高度确定目标物的上表面质心点的三维物理坐标；根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；根据正视图像跟踪目标物。本申请能根据偏转角度在远距离大倾斜视角下提取目标正视角度下上表面特征，并在精准定位过程中利用提取的特征精准跟踪定位目标物。

Description

目标物跟踪方法、目标物跟踪系统及控制器

技术领域

本申请涉及目标物跟踪技术领域，具体地涉及一种目标物跟踪方法、目标物跟踪系统及控制器。

背景技术

在工程机械领域，通常采用图像采集设备获取被吊载物的图像以确定其位置。图像采集设备在远距离大倾斜视角下拍摄到的为目标物上表面和侧面图像，在正视视角下拍摄到的为目标物上表面图像。因此，两种不同视角下同一物体的图像存在明显差异，提取的图像特征信息也存在明显差异。然而，在自动吊装过程中，目标物的选择往往是在远距离大倾斜视角下进行的，目标物的跟踪定位是在正视视角下进行的，明显的图像特征信息差异容易导致目标物跟踪定位失败，从而无法达到自动化吊装要求。

发明内容

本申请实施例的目的是提供一种目标物跟踪方法、目标物跟踪系统及控制器，用以解决在远距离大倾斜视角下，难以对目标物进行跟踪定位的问题。

为了实现上述目的，本申请第一方面提供一种目标物跟踪方法，应用于工程机械，工程机械包括臂架和图像采集设备，图像采集设备设置于臂架上，方法包括：

从图像采集设备采集的图像中获取目标物的目标图像；

根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像；

根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标；

根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；

根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；

根据正视图像跟踪目标物。

在本申请实施例中，从图像采集设备采集的图像中获取目标物的目标图像包括：

获取初始图像，初始图像为图像采集设备采集的图像；

响应于对目标物的框选输入，从初始图像中确定目标物的目标图像。

在本申请实施例中，根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像包括：

提取目标图像中的多条边缘轮廓线；

基于多条边缘轮廓线提取出多个连通区域；

根据多个连通区域对应的多个质心点的像素坐标，从多个质心点中，确定出目标物的上表面质心点；

根据与上表面质心点对应的连通区域确定目标物的上表面整体特征图像。

在本申请实施例中，目标物的上表面质心点的三维物理坐标满足公式(1)：

其中，x_object为目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为目标物的上表面质心点的三维物理坐标的Z轴坐标，h为图像采集设备光心点到地面的距离，θ为图像采集设备的俯仰角度，β为图像采集设备在X轴方向的半视场角度，O'A为目标物的上表面中心点到初始图像中心点在X轴上像素值之差，O'D为初始图像宽度的一半，O'A'为目标物的上表面中心点到初始图像中心点在Y轴上像素值之差，O'E为初始图像高度的一半，γ为图像采集设备在Y轴方向的半视场角度，H_object为目标物的高度，H_armhead为臂架的臂尖离地高度，H_armcam为臂架的臂尖到图像采集设备光心的距离。

在本申请实施例中，目标物相对臂架的臂尖的重垂线的第一偏转角度和第二偏转角度满足公式(2)：

其中，ω为目标物相对图像采集设备光心重垂线的第一偏转角度，φ为目标物相对图像采集设备光心重垂线的第二偏转角度，x_object为目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为目标物的上表面质心点的三维物理坐标的Z轴坐标。

在本申请实施例中，根据第一偏转角度和第二偏转角度及目标物的上表面整体特征图像确定目标物的正视图像包括：

根据目标物的上表面整体特征图像和第一偏转角度确定第一仿射变换矩阵；

基于第一仿射变换矩阵对目标物的上表面整体特征图像进行变换以得到目标物的初始正视图像；

根据目标物的初始正视图像和第二偏转角度确定第二仿射变换矩阵；

基于第二仿射变换矩阵对初始正视图像进行变换以得到目标物的正视图像。

在本申请实施例中，根据目标物的上表面整体特征图像和第一偏转角度确定第一仿射变换矩阵包括：

获取目标物的上表面整体特征图像的四个顶点的第一初始坐标值；

根据四个顶点的第一初始坐标值和第一偏转角度确定上表面整体特征图像的四个顶点仿射变化后的第一坐标值；

根据四个顶点仿射变化后的第一坐标值确定第一仿射变换矩阵。

在本申请实施例中，根据目标物的初始正视图像和第二偏转角度确定第二仿射变换矩阵包括：

获取目标物的初始正视图像的四个顶点的第二初始坐标值；

根据目标物的初始正视图像的四个顶点的第二初始坐标值和第二偏转角度确定目标物的初始正视图像的四个顶点仿射变化后的第二坐标值；

根据四个顶点仿射变化后的第二坐标值确定第二仿射变换矩阵。

本申请第二方面提供一种控制器，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述的目标物跟踪方法。

本申请第三方面提供一种目标物跟踪系统，包括：

图像采集设备，被配置成获取目标物的图像；以及

上述的控制器。

本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的目标物跟踪方法。

通过上述技术方案，从图像采集设备采集的图像中获取目标物的目标图像；根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像；根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标；根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；根据正视图像跟踪目标物。本申请能根据偏转角度在远距离大倾斜视角下提取目标正视角度下上表面特征，并在精准定位过程中，利用提取的特征精准跟踪定位目标物。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本实施例的一种目标物跟踪方法的应用环境图；

图2示意性示出了根据本申请实施例的一种目标物跟踪方法流程图；

图3示意性示出了根据本申请实施例的一种目标物的上表面整体特征图像提取图；

图4示意性示出了根据本申请实施例的一种图像采集设备倾斜状态下像素坐标到三维物理坐标的转换图；

图5示意性示出了根据本申请实施例的一种图像采集设备倾斜状态下像素坐标到三维物理坐标的转换图在X轴的切面图；

图6示意性示出了根据本申请实施例的一种图像采集设备倾斜状态下像素坐标到三维物理坐标的转换图在Y轴的切面图；

图7示意性示出了根据本申请实施例的一种水平和垂直仿射变换图；

图8示意性示出了根据本申请实施例的一种控制器的结构框图。

附图标记说明

1 图像采集设备 2 控制器

3 云台 41 无线网桥发送器

42 无线网桥接收器 5 触控显示屏

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本实施例的一种目标物跟踪方法的应用环境图。如图1所示，本申请实施例的目标物跟踪方法可以应用于如图1所示的应用环境中。在本申请实施例中，目标物跟踪方法应用于工程机械，该工程机械可以是起重机，包括臂架和目标物跟踪系统。目标物跟踪系统可以包括图像采集设备1和控制器2。其中，图像采集设备1和控制器2通信连接。如图1所示，该工程机械还可以包括云台3、无线网桥和触控显示屏5。其中，无线网桥包括无线网桥发送器41和无线网桥接收器42。图像采集设备1、云台3和无线网桥发送器41均设置于臂架的顶端，无线网桥接收器42设置于臂架的侧面，与无线网桥发送器41端保持垂直对射。控制器2与触控显示屏5设置于工程机械的驾驶室。无线网桥发送器41和无线网桥接收器42可以实现远距离图像无线传输，使臂尖上图像采集设备1的图像信息实时、可靠、稳定地传输给车身的控制器2。

在本申请实施例中，云台3可以在水平面和垂直面上匀速转动，并能根据指定的水平角度和俯仰角度值转动到指定位置。通过控制云台3对图像采集设备1进行水平和垂直方向上的转动，相比固定安装图像采集设备1，视野范围更大，工程机械作业面积更广。云台3的初始状态保持垂直朝下，轴向与工程机械的车身保持一致，即X轴垂直于臂架方向，Y轴平行于臂架方向。在目标物追踪过程中，控制器2可以控制云台3在水平面和垂直面上转动，使图像采集设备1粗略对准目标物体，以使目标物出现在图像采集设备1的视频图像中。在臂架及图像采集设备1转动的过程中，控制器2可以根据图像采集设备1的光心点沿图像采集设备1光轴线到地面的距离实时调整图像采集设备1焦距变化，以时刻保持目标物体在图像中的大小基本一致。操作人员可以通过触控显示屏5在视频图像上以触屏的方式对目标物进行框选，从而获取目标矩阵框，以便后续从矩形框中提取目标物的上表面整体特征图像，并根据目标物的上表面整体特征图像对目标物进行追踪和精准定位，在精准定位过程中，可以根据定位目标物中心点与图像中心像素值偏差等实时解算出目标物中心与吊钩中心在X轴和Y轴上的偏差值，最终实现无人精准自动吊装。

图2示意性示出了根据本申请实施例的一种目标物跟踪方法流程图。如图2所示，本申请实施例提供一种目标物跟踪方法，应用于工程机械，工程机械包括臂架和图像采集设备，图像采集设备设置于臂架上，该方法可以包括下列步骤。

步骤201、从图像采集设备采集的图像中获取目标物的目标图像。

在本申请实施例中，由于在工程机械领域，通常采用图像采集设备获取被吊载物的图像，然后根据被吊载物的图像对被吊载物进行追踪，以确定其位置。因此，在本申请实施例中，可以控制云台在水平面和垂直面上转动，使图像采集设备粗略对准目标物，从而通过图像采集设备采集包含需要追踪的目标物的较大范围的图像，再从图像采集设备采集的图像中获取需要追踪的目标物的目标图像。其中，图像采集设备可以是单目相机，云台与图像采集设备均设置于臂架顶端。

步骤202、根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像。

在本申请实施例中，图像采集设备在远距离大倾斜视角下拍摄到的为目标物上表面和侧面图像，在正视视角下拍摄到的为目标物上表面图像，而实现目标精准跟踪定位需要在正视视角下，两种不同视角下同一物体的图像存在明显差异，提取的图像特征信息也存在明显差异，明显的差异特征容易导致目标跟踪定位失败，无法实时跟踪目标物，从而无法达到自动化吊装要求。因此，本申请实施例首先可以提取目标物的上表面整体特征图像，并将上表面整体特征图像的质心作为目标图像中心点以进行追踪。具体地，可以根据获取的目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像。其中，目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像可以是相辅相成的，也可以是独立获取的。在一个示例中，可以先根据目标图像确定目标物的上表面质心点的像素坐标，再根据目标物的上表面质心点的像素坐标确定目标物的上表面整体特征图像。在另一个示例中，可以先根据目标物的上表面整体特征图像确定目标物的上表面质心点的像素坐标。在又一个示例中，可以根据目标图像分别确定目标物的上表面整体特征图像和目标物的上表面质心点的像素坐标。

步骤203、根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标。

在本申请实施例中，可以将目标物的上表面整体特征图像的质心点作为目标图像中心点以追踪目标物。将目标物的上表面整体特征图像的质心点作为目标图像中心点追踪目标物可以将目标图像中心点坐标转换至相机坐标系下三维物理坐标值，即将目标物的上表面质心点的像素坐标转换为三维物理坐标。具体地，首先可以根据图像采集设备的俯仰角度确定地面区域图像采集设备的视频图像以及图像采集设备的光心点在地面上的投影点，再结合目标物的上表面质心点的像素坐标和目标物的高度可以确定目标物的上表面质心点在相机坐标系下三维物理坐标。

步骤204、根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度。

在本申请实施例中，根据目标物的上表面质心点的三维物理坐标，可以得到目标物相对臂尖投影点在X轴和Y轴上的偏转角度，即第一偏转角度和第二偏转角度，根据第一偏转角度和第二偏转角度可以分别计算得到水平和垂直方向上的仿射变换矩阵，经过仿射变化后，可以得到正视角度下目标物图像，最终实现远距离大倾斜视角下目标正视图像特征提取。以目标物相对臂尖投影点在X轴和Y轴上的偏转角度作为获取正视角度下目标物图像的依据，可以使后续目标图像特征提取和追踪定位精度更高。

步骤205、根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像。

在本申请实施例中，对目标物的上表面整体特征图像先后进行水平和垂直方向上的仿射变换，可以得到目标物的正视图像。需要说明的是，两次仿射变换的顺序可以是先水平方向后垂直方向，也可以是先垂直方向后水平方向，在本申请实施例中，以先水平方向后垂直方向为例进行说明。具体地，首先可以根据目标物相对臂尖投影点在X轴上的偏转角度即第一偏转角度对目标物的上表面整体特征图像进行水平方向上的仿射变换，再根据目标物相对臂尖投影点在Y轴上的偏转角度即第二偏转角度对进行水平仿射变换后的图像进行垂直方向上的仿射变换。

步骤206、根据正视图像跟踪目标物。

在本申请实施例中，在获取到目标物的正视图像之后，可以通过SURF(Speeded UpRobustFeatures,加速稳健特征)算法，提取最终得到的正视角度下目标物的图像特征，即提取大倾斜角度下目标物正视图像特征，从而在精准定位过程中，利用提取的图像特征实时跟踪定位目标物以实现无人精准自动吊装。

通过上述技术方案，从图像采集设备采集的图像中获取目标物的目标图像；根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像；根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标；根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；根据正视图像跟踪目标物。本申请能根据偏转角度在远距离大倾斜视角下框选目标并提取目标正视角度下上表面特征，并在精准定位过程中，利用提取的特征精准跟踪定位目标物。

在本申请实施例中，步骤201、从图像采集设备采集的图像中获取目标物的目标图像可以包括：

获取初始图像，初始图像为图像采集设备采集的图像；

响应于对目标物的框选输入，从初始图像中确定目标物的目标图像。

在本申请实施例中，可以通过控制云台转动以使图像采集设备采集目标物的图像。其中，云台初始状态保持垂直朝下，轴向与车身保持一致,即X轴垂直于臂架方向，Y轴平行于臂架方向。在臂架及图像采集设备转动过程中，可以根据图像采集设备的光心点沿图像采集设备的光轴线到地面的距离实时调整图像采集设备焦距变化，以时刻保持目标物体在图像中的大小基本一致。具体地，控制器可以控制云台在水平面和垂直面上转动，使图像采集设备粗略先对准目标物体，此时，目标物将出现在像采集设备的视频图像中。操作人员在驾驶室内的显示屏上对视频图像上的目标物以触屏的方式进行框选，从而获取目标物的目标图像。

图3示意性示出了根据本申请实施例的一种目标物的上表面整体特征图像提取图。如图3所示，在本申请实施例中，步骤202、根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像可以包括：

提取目标图像中的多条边缘轮廓线；

基于多条整体特征线提取出多个连通区域；

根据多个连通区域对应的多个质心点的像素坐标，从多个质心点中，确定出目标物的上表面质心点；

根据与上表面质心点对应的连通区域确定目标物的上表面整体特征图像。

在本申请实施例中，控制器首先可以对框选出的目标物的目标图像进行灰度化和高斯滤波去噪，以得到平滑后的框选图像，再对平滑后的图像进行OTSU阈值分割和Canny边缘提取计算，可以得到多条边缘轮廓线，基于多条边缘轮廓线可以提取出多个连通区域。分别计算多个连通区域的质心点的像素坐标，从多个质心点中，可以确定出目标物的上表面质心点，根据与上表面质心点对应的连通区域确定目标物的上表面整体特征图像。也就是说，根据多个连通区域对应的多个质心点的像素坐标，可以剔除目标物体侧面轮廓，最终得到目标物的上表面整体特征图像。如图2所示，在一个示例中，目标物上表面轮廓质心点的像素坐标为(x,y)，目标物两个侧面轮廓质心点的像素坐标为(x₁,y₁)，(x₂,y₂)，由于原点位于图像的左上角，故目标物的上表面质心点的像素坐标均大于两个侧面的质心点的像素坐标，满足x>x₁且x>x₂，因此取X轴坐标值最大的为质心点目标物的上表面的质心点，从而得到目标物的上表面图像。

图4示意性示出了根据本申请实施例的一种图像采集设备倾斜状态下像素坐标到三维物理坐标的转换图。如图4所示，在本申请实施例中，目标物的上表面质心点的三维物理坐标满足公式(1)：

其中，x_object为目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为目标物的上表面质心点的三维物理坐标的Z轴坐标，h为图像采集设备光心点到地面的距离，θ为图像采集设备的俯仰角度，β为图像采集设备在X轴方向的半视场角度，O'A为目标物的上表面中心点到初始图像中心点在X轴上像素值之差，O'D为初始目标图像宽度的一半，O'A'为目标物的上表面中心点到初始图像中心点在Y轴上像素值之差，O'E为初始目标图像高度的一半，γ为图像采集设备在Y轴方向的半视场角度，H_object为目标物的高度，H_armhead为臂架的臂尖离地高度，H_armcam为臂架的臂尖到图像采集设备光心的距离。

在本申请实施例中，根据图像采集设备的倾俯仰角度和目标物的上表面质心点的像素值坐标可以计算出以图像采集设备光心为坐标原点的目标物的质心三维物理坐标值，如图3所示，阴影部分为地面区域图像采集设备的视频图像，O为图像采集设备光心点在地面上的投影，O'为倾斜状态下视频图像的中心点，x'和y'为目标物中心点在X和Y轴上的坐标值，h为图像采集设备光心点到地面的距离。

图5示意性示出了根据本申请实施例的一种图像采集设备倾斜状态下像素坐标到三维物理坐标的转换图在X轴的切面图。如图5所示，CD为图像采集设备在地面上X轴方向的视场范围，O'为初始图像中心点，A为目标物中心点，θ为图像采集设备的俯仰角度，β为图像采集设备在X轴方向的半视场角度，O'A为目标物的上表面中心点到初始图像中心点在X轴上像素值之差，O'D为初始目标图像宽度的一半。由图5可知：

从而可以计算出

的角度值为：

最终得到的y'的物理距离，即x_object的值为：

其中，当O'A位于图像上半部分时x_object取正，当O'A位于图像下半部分时x_object取负。

图6示意性示出了根据本申请实施例的一种图像采集设备倾斜状态下像素坐标到三维物理坐标的转换图在Y轴的切面图。如图6所示，O'为初始图像中心点，A'为目标物中心点，O'E为图像采集设备在地面上Y轴方向的半视场范围及初始目标图像高度像素值的一半，γ为相机在Y轴方向的半视场角度，O'A'为目标物中心点到图像中心点在轴Y上像素值之差。由图6可知：

从而可以计算出

的角度值为：

根据图4可以得到：

因此，最终可以得到的x'的物理距离，即y_object的值为：

在本申请实施例中，在目标物具有一定的高度的情况下，可以设高度为H_object，则对应目标点A相对图像采集设备投影点的实际物理距离解算值为：

根据起重机臂尖离地高H_armhead，臂尖到相机光心的距离H_armcam，目标物的自身高度H_object，可以得到目标物到图像采集设备光心的高度h_object。其中，目标物的自身高度H_object为预先设置的预设值。目标物到图像采集设备光心的高度h_object满足如下公式：

h_object＝H_armhead-H_armcam-H_object

由以上公式，可根据目标物质心像素坐标计算出以相机光心为坐标原点的目标物质心三维坐标值(x_object,y_object,h_object)。

如图1所示，在本申请实施例中，目标物相对臂架的臂尖的重垂线的第一偏转角度和第二偏转角度满足公式(2)：

其中，ω为目标物相对图像采集设备光心重垂线的第一偏转角度，φ为目标物相对图像采集设备光心重垂线的第二偏转角度，x_object为目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为目标物的上表面质心点的三维物理坐标的Z轴坐标。

图7示意性示出了根据本申请实施例的一种水平和垂直仿射变换图。如图7所示，在本申请实施例中，根据第一偏转角度和第二偏转角度及目标物的上表面整体特征图像确定目标物的正视图像可以包括：

根据目标物的上表面整体特征图像和第一偏转角度确定第一仿射变换矩阵；

基于第一仿射变换矩阵对目标物的上表面整体特征图像进行变换以得到目标物的初始正视图像；

根据目标物的初始正视图像和第二偏转角度确定第二仿射变换矩阵；

基于第二仿射变换矩阵对初始正视图像进行变换以得到目标物的正视图像。

在本申请实施例中，对提取到的目标物的上表面整体特征图像进行先后水平方向和垂直方向上的仿射变换可以得到目标物的正视图像。需要说明的是，两次仿射变换的顺序可以是先水平方向后垂直方向，也可以是先垂直方向后水平方向，在本申请实施例中，以先水平方向后垂直方向为例进行说明。具体地，首先可以根据目标物相对臂尖投影点在X轴上的偏转角度即第一偏转角度和目标物的上表面整体特征图像确定第一仿射变换矩阵，基于第一仿射变换矩阵对目标物的上表面整体特征图像进行水平仿射变换可以得到水平仿射变换后的图像，即目标物的初始正视图像。再根据目标物的初始正视图像和目标物相对臂尖投影点在Y轴上的偏转角度即第二偏转角度确定第二仿射变换矩阵，基于第二仿射变换矩阵对水平仿射变换后的图像即初始正视图像进行垂直仿射变换可以得到目标物的正视图像。

在本申请实施例中，根据目标物的上表面整体特征图像和第一偏转角度确定第一仿射变换矩阵可以包括：

获取目标物的上表面整体特征图像的四个顶点的第一初始坐标值；

根据四个顶点的第一初始坐标值和第一偏转角度确定上表面整体特征图像的四个顶点仿射变化后的第一坐标值；

根据四个顶点仿射变化后的第一坐标值确定第一仿射变换矩阵。

在本申请实施例中，控制器首先可以获取目标物的上表面整体特征图像的四个顶点的第一初始坐标值(0,0),(W,0),(0,H),(W,H)，根据四个顶点的第一初始坐标值和第一偏转角度即水平方向上的偏转角度ω，可以得到目标物的上表面整体特征图像四个顶点在仿射变化后的坐标值

根据四个对应坐标值，可以得到第一仿射变换矩阵，从而可以得到水平仿射变换后的图像即目标物的初始正视图像。

在本申请实施例中，根据目标物的初始正视图像和第二偏转角度确定第二仿射变换矩阵可以包括：

获取目标物的初始正视图像的四个顶点的第二初始坐标值；

根据目标物的初始正视图像的四个顶点的第二初始坐标值和第二偏转角度确定目标物的初始正视图像的四个顶点仿射变化后的第二坐标值；

根据四个顶点仿射变化后的第二坐标值确定第二仿射变换矩阵。

在本申请实施例中，控制器可以获取目标物的初始正视图像的四个顶点的第一初始坐标值(0,0),(W,W×tanφ),(0,H-W×tanφ),(W,H)，根据四个顶点的第二初始坐标值和第二偏转角度即垂直方向上的偏转角度φ，可以得到目标物的初始正视图像的四个顶点仿射变化后的第二坐标值(0,0),(W,0),(0,H-W×tanφ),(W,H-W×tanφ)，根据四个对应坐标值，可以得到第二仿射变换矩阵，最终得到目标物的正视图像。

图8示意性示出了根据本申请实施例的一种控制器的结构框图。如图8所示，本申请实施例提供一种控制器，可以包括：

存储器810，被配置成存储指令；以及

处理器820，被配置成从存储器810调用指令以及在执行指令时能够实现上述的目标物跟踪方法。

具体地，在本申请实施例中，处理器820可以被配置成：

从图像采集设备采集的图像中获取目标物的目标图像；

根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像；

根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标；

根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；

根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；

根据正视图像跟踪目标物。

进一步地，处理器820还可以被配置成：

获取初始图像，初始图像为图像采集设备采集的图像；

响应于对目标物的框选输入，从初始图像中确定目标物的目标图像。

进一步地，处理器820还可以被配置成：

提取目标图像中的多条边缘轮廓线；

基于多条边缘轮廓线提取出多个连通区域；

根据多个连通区域对应的多个质心点的像素坐标，从多个质心点中，确定出目标物的上表面质心点；

根据与上表面质心点对应的连通区域确定目标物的上表面整体特征图像。

在本申请实施例中，目标物的上表面质心点的三维物理坐标满足公式(1)：

其中，x_object为目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为目标物的上表面质心点的三维物理坐标的Z轴坐标，h为图像采集设备光心点到地面的距离，θ为图像采集设备的俯仰角度，β为图像采集设备在X轴方向的半视场角度，O'A为目标物的上表面中心点到初始图像中心点在X轴上像素值之差，O'D为初始图像宽度的一半，O'A'为目标物的上表面中心点到初始图像中心点在Y轴上像素值之差，O'E为初始图像高度的一半，γ为图像采集设备在Y轴方向的半视场角度，H_object为目标物的高度，H_armhead为臂架的臂尖离地高度，H_armcam为臂架的臂尖到图像采集设备光心的距离。

在本申请实施例中，目标物相对臂架的臂尖的重垂线的第一偏转角度和第二偏转角度满足公式(2)：

其中，ω为目标物相对图像采集设备光心重垂线的第一偏转角度，φ为目标物相对图像采集设备光心重垂线的第二偏转角度，x_object为目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为目标物的上表面质心点的三维物理坐标的Z轴坐标。

进一步地，处理器820还可以被配置成：

根据目标物的上表面整体特征图像和第一偏转角度确定第一仿射变换矩阵；

基于第一仿射变换矩阵对目标物的上表面整体特征图像进行变换以得到目标物的初始正视图像；

根据目标物的初始正视图像和第二偏转角度确定第二仿射变换矩阵；

基于第二仿射变换矩阵对初始正视图像进行变换以得到目标物的正视图像。

进一步地，处理器820还可以被配置成：

获取目标物的上表面整体特征图像的四个顶点的第一初始坐标值；

根据四个顶点的第一初始坐标值和第一偏转角度确定上表面整体特征图像的四个顶点仿射变化后的第一坐标值；

根据四个顶点仿射变化后的第一坐标值确定第一仿射变换矩阵。

进一步地，处理器820还可以被配置成：

获取目标物的初始正视图像的四个顶点的第二初始坐标值；

根据目标物的初始正视图像的四个顶点的第二初始坐标值和第二偏转角度确定目标物的初始正视图像的四个顶点仿射变化后的第二坐标值；

根据四个顶点仿射变化后的第二坐标值确定第二仿射变换矩阵。

通过上述技术方案，从图像采集设备采集的图像中获取目标物的目标图像；根据目标图像确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像；根据图像采集设备的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度确定目标物的上表面质心点的三维物理坐标；根据目标物的上表面质心点的三维物理坐标确定目标物相对图像采集设备光心重垂线的第一偏转角度和第二偏转角度；根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像；根据正视图像跟踪目标物。本申请能根据偏转角度在远距离大倾斜视角下提取目标正视角度下上表面特征，在精准定位过程中，利用提取的特征精准跟踪定位目标物，并根据定位目标物中心点与图像中心像素值偏差等实时解算出目标物中心与吊钩中心在X轴和Y轴上的偏差值，从而实现无人精准自动吊装。

如图1所示，本申请实施例还提供一种目标物跟踪系统，可以包括：

图像采集设备1，被配置成获取目标物的图像；以及

上述的控制器2。

在本申请实施例中，控制器2通过控制云台转动使得图像采集设备1可以获取采集包含目标物的图像。通过无线网桥控制器2可以接收图像采集设备1采集的图像，并从图像采集设备1采集的图像中获取目标物的目标图像。根据目标图像，控制器2确定目标物的上表面质心点的像素坐标与目标物的上表面整体特征图像，根据图像采集设备1的俯仰角度、目标物的上表面质心点的像素坐标和目标物的高度可以确定目标物的上表面质心点的三维物理坐标。在吊载过程中，控制器2根据目标物的上表面质心点的三维物理坐标实时确定目标物相对图像采集设备1光心重垂线的第一偏转角度和第二偏转角度，并根据第一偏转角度和第二偏转角度变换目标物的上表面整体特征图像，得到目标物的正视图像，最后根据正视图像跟踪目标物，以实现无人精准自动吊装。

本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的目标物跟踪方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种目标物跟踪方法，其特征在于，应用于工程机械，所述工程机械包括臂架和图像采集设备，所述图像采集设备设置于所述臂架上，所述方法包括：

从所述图像采集设备采集的图像中获取目标物的目标图像；

根据所述目标图像确定所述目标物的上表面质心点的像素坐标与所述目标物的上表面整体特征图像；

根据所述图像采集设备的俯仰角度、所述目标物的上表面质心点的像素坐标和所述目标物的高度确定所述目标物的上表面质心点的三维物理坐标；

根据所述目标物的上表面质心点的三维物理坐标确定所述目标物相对所述图像采集设备光心重垂线的第一偏转角度和第二偏转角度；

根据所述第一偏转角度和第二偏转角度变换所述目标物的上表面整体特征图像，得到所述目标物的正视图像；

根据所述正视图像跟踪所述目标物。

2.根据权利要求1所述的方法，其特征在于，从所述图像采集设备采集的图像中获取目标物的目标图像包括：

获取初始图像，所述初始图像为所述图像采集设备采集的图像；

响应于对所述目标物的框选输入，从所述初始图像中确定所述目标物的目标图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像确定所述目标物的上表面质心点的像素坐标与所述目标物的上表面整体特征图像包括：

提取所述目标图像中的多条边缘轮廓线；

基于所述多条边缘轮廓线提取出多个连通区域；

根据多个连通区域对应的多个质心点的像素坐标，从所述多个质心点中，确定出所述目标物的上表面质心点；

根据与所述上表面质心点对应的所述连通区域确定所述目标物的上表面整体特征图像。

4.根据权利要求1所述的方法，其特征在于，所述目标物的上表面质心点的三维物理坐标满足公式(1)：

其中，x_object为所述目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为所述目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为所述目标物的上表面质心点的三维物理坐标的Z轴坐标，h为所述图像采集设备光心点到地面的距离，θ为所述图像采集设备的俯仰角度，β为所述图像采集设备在X轴方向的半视场角度，O'A为所述目标物的上表面中心点到初始图像中心点在X轴上像素值之差，O'D为所述初始图像宽度的一半，O'A'为所述目标物的上表面中心点到所述初始图像中心点在Y轴上像素值之差，O'E为所述初始图像高度的一半，γ为所述图像采集设备在Y轴方向的半视场角度，H_object为所述目标物的高度，H_armhead为所述臂架的臂尖离地高度，H_armcam为所述臂架的臂尖到所述图像采集设备光心的距离。

5.根据权利要求1所述的方法，其特征在于，所述目标物相对所述臂架的臂尖的重垂线的第一偏转角度和第二偏转角度满足公式(2)：

其中，ω为所述目标物相对所述图像采集设备光心重垂线的第一偏转角度，φ为所述目标物相对所述图像采集设备光心重垂线的第二偏转角度，x_object为所述目标物的上表面质心点的三维物理坐标的X轴坐标，y_object为所述目标物的上表面质心点的三维物理坐标的Y轴坐标，h_object为所述目标物的上表面质心点的三维物理坐标的Z轴坐标。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一偏转角度和第二偏转角度及所述目标物的上表面整体特征图像确定所述目标物的正视图像包括：

根据所述目标物的上表面整体特征图像和所述第一偏转角度确定第一仿射变换矩阵；

基于所述第一仿射变换矩阵对所述目标物的上表面整体特征图像进行变换以得到所述目标物的初始正视图像；

根据所述目标物的初始正视图像和所述第二偏转角度确定第二仿射变换矩阵；

基于所述第二仿射变换矩阵对所述初始正视图像进行变换以得到所述目标物的正视图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标物的上表面整体特征图像和所述第一偏转角度确定第一仿射变换矩阵包括：

获取所述目标物的上表面整体特征图像的四个顶点的第一初始坐标值；

根据所述四个顶点的第一初始坐标值和所述第一偏转角度确定所述上表面整体特征图像的四个顶点仿射变化后的第一坐标值；

根据所述四个顶点仿射变化后的第一坐标值确定所述第一仿射变换矩阵。

8.根据权利要求6所述的方法，其特征在于，所述根据所述目标物的初始正视图像和所述第二偏转角度确定所述第二仿射变换矩阵包括：

获取所述目标物的初始正视图像的四个顶点的第二初始坐标值；

根据所述目标物的初始正视图像的四个顶点的第二初始坐标值和所述第二偏转角度确定所述目标物的初始正视图像的四个顶点仿射变化后的第二坐标值；

根据所述四个顶点仿射变化后的第二坐标值确定所述第二仿射变换矩阵。

9.一种控制器，其特征在于，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1至8中任一项所述的目标物跟踪方法。

10.一种目标物跟踪系统，其特征在于，包括：

图像采集设备，被配置成获取目标物的图像；以及

根据权利要求9的控制器。

11.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至8中任一项所述的目标物跟踪方法。

Images