CN111288956A

CN111288956A - 一种目标姿态确定方法、装置、设备和存储介质

Info

Publication number: CN111288956A
Application number: CN201811497306.7A
Authority: CN
Inventors: 胡志恒; 宋翔; 杨小平
Original assignee: SF Technology Co Ltd
Current assignee: SF Technology Co Ltd
Priority date: 2018-12-07
Filing date: 2018-12-07
Publication date: 2020-06-16
Anticipated expiration: 2038-12-07
Also published as: CN111288956B

Abstract

本申请公开了一种目标姿态确定方法、装置、设备和存储介质。该方法应用在路面平坦的场景中，包括：获取相机采集的包含目标的待处理图像；将所述待处理图像输入训练好的姿态估计模型，输出所述目标的朝向信息；根据所述目标的朝向信息，确定所述目标的偏航角；根据路面和相机坐标系之间的关系确定所述目标的俯仰角和翻滚角，将所述偏航角、俯仰角和翻滚角确定为所述目标的姿态信息。本技术方案实现过程简单，得到的姿态信息精确度较高。

Description

一种目标姿态确定方法、装置、设备和存储介质

技术领域

本公开一般涉及计算机视觉技术领域，尤其涉及一种目标姿态确定方法、装置、设备和存储介质。

背景技术

基于深度学习的图像识别技术在视频监控领域中应用广泛，利用该技术，突破了以往传统算法的技术瓶颈，达到了较高的准确率，但该技术的实现需要依赖足够多的训练数据。

将该技术应用到姿态估计中时，由于相机拍摄角度和目标相对位置的关系，目标在图像当中呈现的姿态并不能真实反映目标的真实姿态，因此真实姿态不能直接从图像中获取，现有的方案通常有下面两种：

1、在拍摄图片时通过人工实际测量获得；这种方式需要耗费较大的人力资源。

2、使用1:1的模型通过手工调整位置使之贴合图像的形式获得；这种方式需要手工调整位置，不仅过程繁琐复杂，而且确定出的目标姿态的精确度较低。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种过程简单、精确度较高的目标姿态确定方案。

第一方面，本申请实施例提供了一种目标姿态确定方法，所述方法应用在路面平坦的场景中，所述方法包括:

获取相机采集的包含目标的待处理图像；

将所述待处理图像输入训练好的姿态估计模型，输出所述目标的朝向信息；

根据所述目标的朝向信息，确定所述目标的偏航角；

根据路面和相机坐标系之间的关系，确定所述目标的俯仰角和翻滚角；

将所述偏航角、俯仰角和翻滚角确定为所述目标的姿态信息。

可选的，所述朝向信息包括：

所述待处理图像中的第一关键点在地面的第一投影点的第一位置坐标，和第二关键点在地面的第二投影点的第二位置坐标；其中，所述第一关键点和所述第二关键点的连线能够表征所述目标朝向；所述第一位置坐标和所述第二位置坐标位于以所述待处理图像中的指定点为原点的图像坐标系中。

可选的，根据所述目标的朝向信息，确定所述目标的偏航角，包括：

将所述第一位置坐标和所述第二位置坐标分别进行反向透视变换，得到所述第一投影点在所述相机坐标系中的第三位置坐标，和所述第二投影点在所述相机坐标系中的第四位置坐标；

以所述第三位置坐标和所述第四位置坐标的连线作为目标主轴，确定所述目标的偏航角。

可选的，所述方法还包括：

输出所述目标的类别信息和/或所述待处理图像中包含所述目标的目标框的位置信息。

可选的，所述姿态估计模型按照如下方式确定：

获取样本图像；所述样本图像包含样本目标；

对所述样本目标进行标注，得到标注信息；所述标注信息包括：所述样本目标的类别、能够表征所述样本目标朝向的两个关键点在地面的投影点的位置坐标、所述样本图像中包含所述样本目标的目标框的位置信息；

将所述样本图像及所述标注信息输入深度学习网络进行训练，得到所述姿态估计模型。

第二方面，本申请实施例提供了一种目标姿态确定装置，所述装置应用在路面平坦的场景中，所述装置包括：

获取单元，用于获取相机采集的包含目标的待处理图像；

朝向输出单元，用于将所述待处理图像输入训练好的姿态估计模型，输出所述目标的朝向信息；

第一确定单元，用于根据所述目标的朝向信息，确定所述目标的偏航角；

第二确定单元，用于根据路面和相机坐标系之间的关系，确定所述目标的俯仰角和翻滚角；

姿态确定单元，用于将所述偏航角、俯仰角和翻滚角确定为所述目标的姿态信息。

可选的，所述朝向信息包括：

可选的，所述第一确定单元，用于：

可选的，所述装置还包括：模型确定单元，用于：

获取样本图像；所述样本图像包含样本目标；

将所述样本图像及所述标注信息深度学习网络进行训练，得到所述姿态估计模型。

第三方面，本申请实施例提供了一种设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如上所述的目标姿态确定方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如上所述的目标姿态确定方法。

本申请实施例提供的目标姿态确定方法，通过获取相机采集的包含目标的待处理图像，并将待处理图像输入训练好的姿态估计模型，输出目标的朝向信息，进而确定目标的偏航角，同时根据路面和相机坐标系之间关系确定目标的俯仰角和翻滚角，将偏航角、俯仰角和翻滚角确定为目标的姿态信息。本技术方案中，对目标的朝向信息进行回归分析，得到的目标姿态信息精度较高。

在一些实施例中，对姿态估计模型的训练过程进行改进，对样本目标的类别、能够表征样本目标朝向的两个关键点在地面的投影点的位置坐标、样本图像中包含样本目标的目标框的位置信息进行标注，相比其它基于模型或基于实际测量的方法，标注过程简单，省去了繁杂的标注工作。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的一种目标姿态确定的方法的流程示意图；

图2示出了本申请实施例提供的训练姿态估计模型的流程示意图；

图3示出了本申请实施例提供的一种目标姿态确定装置300的示例性结构框图；

图4示出了适于用来实现本申请实施例的计算机设备的计算机系统400的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如背景技术中提到的，目前一般基于实际测量或者模型的方法来实现目标的姿态估计，这两种方式存在过程繁琐复杂、精确度较低等问题。

基于上述缺陷，本申请实施例提供了一种目标姿态确定方法，通过获取相机采集的包含目标的待处理图像，并将待处理图像输入训练好的姿态估计模型，输出目标的朝向信息，进而确定目标的偏航角，同时根据路面和相机坐标系之间关系确定目标的俯仰角和翻滚角，将偏航角、俯仰角和翻滚角确定为目标的姿态信息。本技术方案中，对目标的朝向信息进行回归分析，得到的目标姿态信息精度较高。

本申请实施例提供的目标姿态估计方法的执行主体可以是目标姿态确定装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例的执行主体以计算机设备为例来进行说明。

还需要说明的是，本申请实施例提供的目标姿态确定方法的限定场景为机场等地面平坦的场景，适用对象为飞机、汽车等刚体。

请参考图1，示出了本申请实施例提供的一种目标姿态确定的方法的流程示意图。

该方法包括：

步骤110，获取相机采集的包含目标的待处理图像。

以限定场景为机场为例，当飞机或汽车停靠在机场内时，设置在机场内的相机采集包含飞机或汽车的图像，作为待处理图像。

步骤120，将待处理图像输入训练好的姿态估计模型，输出目标的朝向信息。

本申请实施例中，朝向信息可以包括：待处理图像中的第一关键点在地面的第一投影点的第一位置坐标，和第二关键点在地面的第二投影点的第二位置坐标；其中，第一关键点和第二关键点的连线能够表征目标朝向；第一位置坐标和第二位置坐标位于以待处理图像中的指定点为原点的图像坐标系中。

其中，第一关键点和第二关键点可以但不限于分别为目标头部和尾部，以飞机为例，第一关键点可以为飞机头部，第二关键点可以为飞机尾部。第一关键点和第二关键点的连线方向即为目标朝向。

预先训练的姿态估计模型具有预测目标朝向的能力，本申请实施例中，可以在Faster Rcnn+VGG16网络基础上添加一个输出目标朝向信息的网络分支，构造一个多任务学习网络，从而训练得到姿态估计模型。

可选的，将待处理图像输入到训练好的姿态估计模型中，除了输出目标的朝向信息之外，还可以输出目标类别和/或待处理图像中包含目标的目标框的位置信息，比如目标框的左上角顶点的坐标和右下角顶点的坐标。

当待处理图像中包含多个待估计姿态的目标时，姿态估计模型输出的目标类别和/或待处理图像中包含目标的目标框的位置信息可以进一步使输出的多个目标的朝向信息与相应目标一一对应起来。

步骤130，根据目标的朝向信息，确定目标的偏航角。

具体的，得到目标的朝向信息，即第一投影点的第一位置坐标和第二投影点的第二位置坐标之后，可以将第一位置坐标和第二位置坐标分别进行反向透视变换，得到第一投影点在相机坐标系中的第三位置坐标，和第二投影点在相机坐标系中的第四位置坐标；然后以第三位置坐标和第四位置坐标的连线作为目标主轴，确定目标的偏航角。

步骤140，根据路面和相机坐标系之间的关系，确定目标的俯仰角和翻滚角。

本申请实施例中，飞机或汽车等目标停靠在机场内的平坦路面上，因此其俯仰角和翻滚角是固定不变的，只需要根据平坦路面和相机坐标系之间的关系便能预先确定。其中，相机坐标系是以光轴与成像平面的交点为原点所构成的直角坐标系，俯仰角和翻滚角为平坦路面到相机坐标系之间的旋转角。

步骤150，将偏航角、俯仰角和翻滚角确定为目标的姿态信息。

图2为本申请实施例提供的训练姿态估计模型的流程示意图。如图2所示，该方法包括：

步骤210，获取样本图像，样本图像包含样本目标。

其中，样本图像中可以仅一个样本目标，也可以包含多个样本目标。

步骤220，对样本目标进行标注，得到标注信息。

其中，标注信息可以但不限于包括：样本目标的类别、能够表征样本目标朝向的两个关键点在地面的投影点的位置坐标、样本图像中包含样本目标的目标框的位置信息。

例如，标注信息的格式可以按照如下所示：

(x_min,y_min,x_max,y_max,cls,point1,point2)

其中，(x_min，y_min)，(x_max，y_max)分别为样本目标的目标框的左上角顶点的坐标和右下角顶点的坐标；cls为样本目标的类别，比如飞机或汽车；point1为目标尾部在地面的投影点的位置坐标，point2为目标头部到地面的投影点的位置坐标。

步骤230，将样本图像和标注信息输入深度学习网络进行训练，得到姿态估计模型。

具体的，携带上述标注信息的样本图像作为样本数据集，根据该样本数据集，可以利用Faster Rcnn+VGG16网络基础上添加一个输出目标朝向信息的网络分支，构造一个多任务学习网络，从而训练得到姿态估计模型。

本申请实施例中，对姿态估计模型的训练过程进行改进，对样本目标的类别、能够表征样本目标朝向的两个关键点在地面的投影点的位置坐标、样本图像中包含样本目标的目标框的位置信息进行标注，相比其它基于模型或基于实际测量的方法，标注过程简单，省去了繁杂的标注工作。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

进一步参考图3，其示出了本申请实施例提供的一种目标姿态确定装置300的示例性结构框图。

该目标姿态估计装置包括：

获取单元31，用于获取相机采集的包含目标的待处理图像；

朝向输出单元32，用于将所述待处理图像输入训练好的姿态估计模型，输出所述目标的朝向信息；

第一确定单元33，用于根据所述目标的朝向信息，确定所述目标的偏航角；

第二确定单元34，用于根据路面和相机坐标系之间的关系，确定所述目标的俯仰角和翻滚角；

姿态确定单元35，用于将所述偏航角、俯仰角和翻滚角确定为所述目标的姿态信息。

可选的，所述朝向信息包括：

可选的，所述第一确定单元33，用于：

可选的，所述装置还包括：模型确定单元36，用于：

获取样本图像；所述样本图像包含样本目标；

应当理解，装置300中记载的诸单元或模块与参考图1-图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置300及其中包含的单元，在此不再赘述。装置300可以预先实现在计算机设备中。装置300中的相应单元可以与计算机设备中的单元相互配合以实现本申请实施例的方案。

下面参考图4，其示出了适于用来实现本申请实施例的计算机设备的计算机系统400的结构示意图。

如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考图1-图2描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1-图2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、朝向输出单元、偏航角确定单元以及姿态确定单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，获取单元还可以被描述为“用于获取相机采集的包含目标的待处理图像的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的目标姿态估计方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种目标姿态确定方法，其特征在于，所述方法应用在路面平坦的场景中，所述方法包括：

获取相机采集的包含目标的待处理图像；

根据所述目标的朝向信息，确定所述目标的偏航角；

2.根据权利要求1所述的方法，其特征在于，所述朝向信息包括：

所述待处理图像中的第一关键点在地面的第一投影点的第一位置坐标，第二关键点在地面的第二投影点的第二位置坐标；其中，所述第一关键点和所述第二关键点的连线能够表征所述目标朝向；所述第一位置坐标和所述第二位置坐标位于以所述待处理图像中的指定点为原点的图像坐标系中。

3.根据权利要求2所述的方法，其特征在于，根据所述目标的朝向信息，确定所述目标的偏航角，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述姿态估计模型按照如下方式确定：

获取样本图像；所述样本图像包含样本目标；

6.一种目标姿态确定装置，其特征在于，所述装置应用在路面平坦的场景中，所述装置包括：

获取单元，用于获取相机采集的包含目标的待处理图像；

7.根据权利要求6所述的装置，其特征在于，所述朝向信息包括：

8.根据权利要求7所述的装置，其特征在于，所述第一确定单元，用于：

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：模型确定单元，用于：

获取样本图像；所述样本图像包含样本目标；

10.一种设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-5中任一项所述的方法。