CN114821497A - 目标物位置的确定方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种目标物位置的确定方法、装置、设备及存储介质，用于提高目标物位置检测的准确度。所述目标物位置的确定方法包括：获取目标映射矩阵集，目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；根据目标映射矩阵集生成目标图像；对目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；获取第二相机参数，根据第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

Description

目标物位置的确定方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种目标物位置的确定方法、装置、设备及存储介质。

背景技术

对外界物体进行感知是自动驾驶领域中很重要的能力之一，而清晰地分辨出各类物体和确定其空间位置则是感知任务中至关重要的一环。

现有技术对物体的空间位置感知通常是基于深度学习模型对单个相机拍摄到的图像进行目标检测，这种方式往往会存在视线盲区，遗漏部分区域的目标物，且难以准确地计算目标物与车辆之间的立体空间距离，给车辆行驶带来安全隐患。

发明内容

本发明提供了一种目标物位置的确定方法、装置、设备及存储介质，用于提高目标物位置检测的准确度。

本发明第一方面提供了一种目标物位置的确定方法，包括：

获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；

根据所述目标映射矩阵集生成目标图像；

对所述目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；

获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

可选的，所述获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，包括：

定义第二相机内参和第二相机外参，所述第二相机外参用于指示第二相机至预设参照物的相对位置参数；

获取至少两个第一相机中各第一相机对应的畸变内参和第一相机外参，每个第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数；

根据所述第二相机内参、所述第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，并根据所有像素点映射矩阵生成每个第一相机图像与第二相机图像之间的映射矩阵，得到目标映射矩阵集。

可选的，所述定义第二相机内参和第二相机外参，所述第二相机外参用于指示第二相机至预设参照物的相对位置参数，包括：

设置第二相机内参，所述第二相机内参用于指示第二相机的图像参数；

定义第二相机坐标系和预设参照物坐标系，并根据所述第二相机坐标系和所述预设参照物坐标系，计算第二相机至预设参照物的相对位置参数，得到第二相机外参。

可选的，所述获取至少两个第一相机中各第一相机对应的畸变内参和第一相机外参，每个第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数，包括：

读取至少两个第一相机中每个第一相机对应的畸变内参，并定义每个第一相机对应的第一相机坐标系；

根据每个第一相机对应的第一相机坐标系和所述第二相机坐标系，计算每个第一相机至所述第二相机的相对位置参数，得到每个第一相机对应的第一相机外参。

可选的，所述根据所述第二相机内参、所述第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，包括：

根据所述第二相机内参，将第二相机图像中的每个第二像素点映射至第二相机坐标系，得到每个第二像素点对应的第二相机坐标信息；

根据所述第二相机外参，将每个第二像素点对应的第二相机坐标信息映射至预设参照物坐标系，得到每个第二像素点对应的参照物坐标信息；

根据每个第一相机对应的第一相机外参，将每个第二像素点对应的参照物坐标信息映射至每个第一相机对应的第一相机坐标系，得到每个第二像素点对应的第一相机坐标信息；

根据每个第一相机对应的畸变内参，将每个第二像素点的第一相机坐标信息转换至对应第一相机图像中的第一像素点，得到每个第二像素点的目标坐标信息；

根据每个第二像素点的第二相机坐标信息和目标坐标信息，计算每个第一相机对应的第一相机图像中每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵。

可选的，所述根据所述目标映射矩阵集生成目标图像，包括：

根据所述目标映射矩阵集中的各像素点映射矩阵，将每个第一相机图像中的每个第一像素点映射至第二相机图像中，得到每个第一相机图像对应的初始图像；

对所有初始图像进行拼接，得到目标图像。

可选的，所述获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息，包括：

获取每个目标物的二维检测框信息中的目标物类型信息和检测框坐标信息；

根据所述目标物类型信息确定每个目标物的三维高度信息；

获取第二相机参数，并根据所述检测框坐标信息和所述第二相机参数，计算每个目标物的三维坐标信息；

结合每个目标物的三维高度信息和三维坐标信息，得到每个目标物的三维位置信息。

可选的，所述根据所述目标物类型信息确定每个目标物的三维高度信息，包括：

根据所述目标物类型信息，判断每个目标物是否为可跨越类型目标物；

若目标物为可跨越类型目标物，则将对应的目标物的三维高度信息设置为第一高度值；

若目标物为不可跨越类型目标物，则将对应的目标物的三维高度信息设置为第二高度值，其中，所述第二高度值大于所述第一高度值。

可选的，所述获取第二相机参数，并根据所述检测框坐标信息和所述第二相机参数，计算每个目标物的三维坐标信息，包括：

获取第二相机参数，所述第二相机参数包括第二相机的安装位置信息；

根据所述第二相机的安装位置信息，将每个目标物的二维检测框信息中的检测框坐标信息转换为三维坐标信息，得到每个目标物的三维坐标信息。

本发明第二方面提供了一种目标物位置的确定装置，包括：

获取模块，用于获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；

生成模块，用于根据所述目标映射矩阵集生成目标图像；

检测模块，用于对所述目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；

确定模块，用于获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

可选的，所述获取模块包括：

第一定义单元，用于定义第二相机内参和第二相机外参，所述第二相机外参用于指示第二相机至预设参照物的相对位置参数；

第一获取单元，用于获取至少两个第一相机中各第一相机对应的畸变内参和第一相机外参，每个第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数；

第一确定单元，用于根据所述第二相机内参、所述第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，并根据所有像素点映射矩阵生成每个第一相机图像与第二相机图像之间的映射矩阵，得到目标映射矩阵集。

可选的，所述第一定义单元具体用于：

设置第二相机内参，所述第二相机内参用于指示第二相机的图像参数；

定义第二相机坐标系和预设参照物坐标系，并根据所述第二相机坐标系和所述预设参照物坐标系，计算第二相机至预设参照物的相对位置参数，得到第二相机外参。

可选的，所述第一获取单元具体用于：

读取至少两个第一相机中每个第一相机对应的畸变内参，并定义每个第一相机对应的第一相机坐标系；

根据每个第一相机对应的第一相机坐标系和所述第二相机坐标系，计算每个第一相机至所述第二相机的相对位置参数，得到每个第一相机对应的第一相机外参。

可选的，所述第一确定单元具体用于：

根据所述第二相机内参，将第二相机图像中的每个第二像素点映射至第二相机坐标系，得到每个第二像素点对应的第二相机坐标信息；

根据所述第二相机外参，将每个第二像素点对应的第二相机坐标信息映射至预设参照物坐标系，得到每个第二像素点对应的参照物坐标信息；

根据每个第一相机对应的第一相机外参，将每个第二像素点对应的参照物坐标信息映射至每个第一相机对应的第一相机坐标系，得到每个第二像素点对应的第一相机坐标信息；

根据每个第一相机对应的畸变内参，将每个第二像素点的第一相机坐标信息转换至对应第一相机图像中的第一像素点，得到每个第二像素点的目标坐标信息；

根据每个第二像素点的第二相机坐标信息和目标坐标信息，计算每个第一相机对应的第一相机图像中每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵。

可选的，所述生成模块具体用于：

根据所述目标映射矩阵集中的各像素点映射矩阵，将每个第一相机图像中的每个第一像素点映射至第二相机图像中，得到每个第一相机图像对应的初始图像；

对所有初始图像进行拼接，得到目标图像。

可选的，所述确定模块包括：

第二获取单元，用于获取每个目标物的二维检测框信息中的目标物类型信息和检测框坐标信息；

第二确定单元，用于根据所述目标物类型信息确定每个目标物的三维高度信息；

计算单元，用于获取第二相机参数，并根据所述检测框坐标信息和所述第二相机参数，计算每个目标物的三维坐标信息；

结合单元，用于结合每个目标物的三维高度信息和三维坐标信息，得到每个目标物的三维位置信息。

可选的，所述第二确定单元具体用于：

根据所述目标物类型信息，判断每个目标物是否为可跨越类型目标物；

若目标物为可跨越类型目标物，则将对应的目标物的三维高度信息设置为第一高度值；

若目标物为不可跨越类型目标物，则将对应的目标物的三维高度信息设置为第二高度值，其中，所述第二高度值大于所述第一高度值。

可选的，所述计算单元具体用于：

获取第二相机参数，所述第二相机参数包括第二相机的安装位置信息；

根据所述第二相机的安装位置信息，将每个目标物的二维检测框信息中的检测框坐标信息转换为三维坐标信息，得到每个目标物的三维坐标信息。

本发明第三方面提供了一种目标物位置的确定设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述目标物位置的确定设备执行上述的目标物位置的确定方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的目标物位置的确定方法。

本发明提供的技术方案中，获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；根据所述目标映射矩阵集生成目标图像；对所述目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。本发明实施例中，通过目标映射矩阵集中至少两张第一相机图像分别与第二相机图像之间的映射矩阵，将各第一相机图像转换至第二相机图像，得到目标视角的全景目标图像，再对目标图像进行目标物检测，获得至少一个目标物的二维检测框信息，并根据第二相机参数，计算每个目标物的三维位置信息，本发明可以提高目标物位置检测的准确度。

附图说明

图1为本发明实施例中目标物位置的确定方法的一个实施例示意图；

图2为本发明实施例中目标物位置的确定方法的另一个实施例示意图；

图3为本发明实施例中目标物位置的确定装置的一个实施例示意图；

图4为本发明实施例中目标物位置的确定装置的另一个实施例示意图；

图5为本发明实施例中目标物位置的确定设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种目标物位置的确定方法、装置、设备及存储介质，用于提高目标物位置检测的准确度。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解的是，本发明的执行主体可以为目标物位置的确定装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中目标物位置的确定方法的一个实施例包括：

10、获取目标映射矩阵集，目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；

需要说明的是，存在至少两个第一相机用于采集连续空间环境中不同视角的图像信息，如车站进站口处设置的不同视角监控摄像头、自移动机器人上设置的不同视角图像采集摄像头、自动驾驶车辆上设置的不同视角图像采集相机、同一道路空间上设置的不同视角违章监控摄像头等，此处不做具体限定。每个第一相机对应一张第一相机图像，各第一相机对应的第一相机图像为同一时刻相机采集的图像。

可以理解的是，第二相机图像用于指示目标视角上连续空间环境的虚拟相机图像，如车站进站口的左视相机图像、自移动机器人的后视相机图像、自动驾驶车辆的俯视相机图像、同一道路空间的右视相机图像等，目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，在一种实施方式中，目标映射矩阵集中每个第一相机图像与第二相机图像之间的映射矩阵用于指示第一相机图像与第二相机图像之间的视角转换关系。

在一种实施方式中，各第一相机可以为正常视角相机，也可以为广角相机，如鱼眼相机、广角镜头等，优选的，为了采集更大范围的图像信息，各第一相机为鱼眼相机，各第一相机对应的第一相机图像为鱼眼相机图像。基于上述，由于广角相机采集的图像存在一定程度的畸变，因此，该实施方式中，目标映射矩阵集中每个第一相机图像与第二相机图像之间的映射矩阵还用于指示第一相机图像与第二相机图像之间的去畸变视角转换关系。

20、根据目标映射矩阵集生成目标图像；

在一种实施方式中，目标图像用于指示目标视角上连续空间环境的全景图像，具体的，根据目标映射矩阵集将每个第一相机图像映射至第二相机图像，得到每个第一相机图像对应的初始图像，再对所有初始图像进行拼合，得到目标图像。进一步的，根据两两初始图像中的相同像素点块，对所有初始图像进行拼合，得到目标图像，例如，有4张第一相机图像，各第一相机图像对应的初始图像分别为初始图像A、初始图像B、初始图像C、初始图像D，那么，两两初始图像中的相同像素点块包括：初始图像A和初始图像B中的相同像素点块ab，初始图像A和初始图像C中的相同像素点块ac，初始图像A和初始图像D中的相同像素点块ad，初始图像B和初始图像C中的相同像素点块bc，初始图像B和初始图像D中的相同像素点块bd，初始图像C和初始图像D中的相同像素点块cd。

在一种实施方式中，目标映射矩阵集包括至少两张第一相机图像中每个第一像素点与第二相机图像中的第二像素点之间的像素点映射矩阵，那么，步骤20包括：根据目标映射矩阵集中的各像素点映射矩阵，将每个第一相机图像中的每个第一像素点映射至第二相机图像中，得到每个第一相机图像对应的初始图像；对所有初始图像进行拼接，得到目标图像。其中，目标映射矩阵集中的各像素点映射矩阵用于指示对应像素点在第一相机图像中的坐标信息与该像素点在第二相机图像中的坐标信息之间的映射关系，坐标信息可以是二维坐标信息也可以是三维坐标信息，此处不做具体限定。

30、对目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；

可以理解的是，由于目标图像可以在目标视角上观察连续空间环境的全景信息，因此，通过对目标图像进行目标物检测，能够避免通过单视角图像进行目标检测时存在的视线盲区导致目标物检测不完整的问题，从而提高连续空间环境中目标物检测的准确度。

在一种实施方式中，步骤30包括：通过训练完成的目标物检测模型对目标图像进行目标物检测，得到至少一个目标物的二维检测框信息，目标物检测模型包括特征提取网络、特征增强融合网络、候选框提取网络和候选框筛选网络，其中，特征提取网络、特征增强融合网络、候选框提取网络和候选框筛选网络为卷积神经网络。具体的，通过训练完成的目标物检测模型对目标图像进行特征提取、特征增强融合、候选框提取和候选框筛选处理，得到至少一个目标物的二维检测框信息。本实施方式能够基于深度学习模型准确地识别图像中的目标物，为后续的目标物位置计算提供了数据基础。

作为示例而非限定的是，至少一个目标物的二维检测框信息为目标物的最小外接矩形，包括但不限于目标物在目标图像中的检测框坐标信息、宽度、高度、旋转角度、存在性信息、目标物类型信息等。例如，在自动驾驶场景中，对目标图像进行障碍物检测，得到的至少一个障碍物的二维检测框信息。

40、获取第二相机参数，根据第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

可以理解的是，三维位置信息用于指示目标物三维坐标信息，为相对于预设参照物的相对位置信息，作为示例而非限定的是，在自动驾驶场景中，假设以车身为预设参照物，那么，三维位置信息为相对于车身的三维坐标信息，即以车身为原点的预设参照物坐标系建立的三维坐标中，目标物所处的位置信息。

基于上述，根据第二相机参数和每个目标物的二维检测框信息，计算每个目标物的三维位置信息，其中，每个目标物的三维位置信息可以包括目标物所有顶点的三维位置信息，每个目标物的三维位置信息也可以包括目标物距离预设参照物最近的顶点的三维位置信息，此处不做具体限定。

在一种实施方式中，每个目标物的三维位置信息包括目标物的三维坐标信息和三维高度信息，具体的，步骤40包括：获取每个目标物的二维检测框信息中的目标物类型信息和检测框坐标信息；根据目标物类型信息确定每个目标物的三维高度信息；获取第二相机参数，并根据检测框坐标信息和第二相机参数，计算每个目标物的三维坐标信息；结合每个目标物的三维高度信息和三维坐标信息，得到每个目标物的三维位置信息。本实施方式中，为了提高目标物三维位置确定的效率，可以根据目标物类型信息与三维高度信息的预设关系，直接确定每个目标物的三维高度信息，例如，将非障碍物类型的目标物高度设置为0，将障碍物类型的目标物高度设置为大于0的任意数值，此处不做具体限定。再根据第二相机参数和检测框坐标信息计算每个目标物的三维坐标信息，其中，第二相机参数可以用于指示第二相机相对于第一相机的相对位置信息，也可以用于指示第二相机相对于预设参照物的相对位置信息，如第二相机参数用于指示第二相机相对于车身的相对位置信息。

基于上述，作为示例而非限定的是，为了快速地确定目标物的三维高度，根据目标物类型信息确定每个目标物的三维高度信息，包括：根据目标物类型信息，判断每个目标物是否为可跨越类型目标物；若目标物为可跨越类型目标物，则将对应的目标物的三维高度信息设置为第一高度值；若目标物为不可跨越类型目标物，则将对应的目标物的三维高度信息设置为第二高度值，其中，第二高度值大于第一高度值。例如，在自动驾驶过程中或自移动机器人自移动过程中，如果识别到目标物为塑料袋，塑料袋的目标物类型信息为可跨越类型目标物，那么，将该目标物的三维高度信息设置为第一高度值，如5厘米，如果识别到目标物为人，人的目标物类型信息为不可跨越类型目标物，那么，则将该目标物的三维高度信息设置为大于第一高度值的第二高度值，如1米，具体数值不做限定。本实施方式能够更获得更详细的目标物感知信息，以使得运行主体做出更准确的决策。

基于上述，进一步阐述每个目标物的三维坐标信息的计算过程，获取第二相机参数，并根据检测框坐标信息和第二相机参数，计算每个目标物的三维坐标信息，包括：获取第二相机参数，第二相机参数包括第二相机的安装位置信息；根据第二相机的安装位置信息，将每个目标物的二维检测框信息中的检测框坐标信息转换为三维坐标信息，得到每个目标物的三维坐标信息。本实施方式中，第二相机参数包括第二相机的安装位置信息，用于指示第二相机相对于预设参照物的安装位置信息，其中，预设参照物可以为第一相机，也可以为其它预设参照物，如自动驾驶场景中将车身设置为预设参数物。作为示例而非限定的是，安装位置信息包括但不限于安装高度信息和安装坐标信息。本实施方式能够快速计算目标物的三维坐标信息，从而提高目标物位置确定的效率。

本发明实施例中，通过目标映射矩阵集中至少两张第一相机图像分别与第二相机图像之间的映射矩阵，将各第一相机图像转换至第二相机图像，得到目标视角的全景目标图像，再对目标图像进行目标物检测，获得至少一个目标物的二维检测框信息，并根据第二相机参数，计算每个目标物的三维位置信息，本发明可以提高目标物位置检测的准确度。

请参阅图2，继续阐述上述步骤10的具体实施方式：

101、定义第二相机内参和第二相机外参，第二相机外参用于指示第二相机至预设参照物的相对位置参数；

需要说明的是，为了准确地获得目标物的位置信息，通过定义一个目标视角的第二相机，并设置第二相机的内参和外参，用于后续将第一相机图像映射至第二相机，以获得目标视角的全景图像，并对全景图像进行目标检测，从而获得完整的目标物信息，可以理解的是，第二相机可以真实安装于预设视角的相机，也可以是非真实安装的具有预设视角的虚拟相机，此处不做具体限定。

作为示例而非限定的是，第二相机内参用于指示第二相机图像的参数，如图像的宽、高、焦距等数值，在一种实施方式中，第二相机内参为内参矩阵。第二相机外参用于指示第二相机至预设参照物的相对位置参数，其中，预设参照物可以为任意一个第一相机或其它参照物，例如，第二相机外参可以用于指示第二相机至车身的相对位置参数。相对位置参数为三维空间的真实位置参数，例如，相对位置参数包括第二相机至车身的横轴偏移值和纵轴偏移值。

具体的，步骤101包括：设置第二相机内参，第二相机内参用于指示第二相机的图像参数；定义第二相机坐标系和预设参照物坐标系，并根据第二相机坐标系和预设参照物坐标系，计算第二相机至预设参照物的相对位置参数，得到第二相机外参。本实施方式中，通过定义第二相机坐标系和预设参照物坐标系，计算第二相机至预设参照物的相对位置参数，能够通过统一的原点坐标获得参照标准，使目标物位置确定的准确度提高。

102、获取至少两个第一相机中各第一相机对应的畸变内参和第一相机外参，每个第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数；

作为示例而非限定的是，当第一相机为广角相机时，拍摄到的图像存在一定程度的畸变，因此，获取至少两个第一相机中各第一相机对应的畸变内参，畸变内参用于后续映射矩阵的确定，而至少两个第一相机中各第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数，其中，相对位置参数为三维空间的真实位置参数，如第一相机与第二相机的安装位置距离1米，各第一相机至第二相机的相对位置参数包括各第一相机至第二相机的横轴偏移值和纵轴偏移值，在一种实施方式中，各第一相机对应的第一相机外参为矩阵。

具体的，步骤102包括：读取至少两个第一相机中每个第一相机对应的畸变内参，并定义每个第一相机对应的第一相机坐标系；根据每个第一相机对应的第一相机坐标系和第二相机坐标系，计算每个第一相机至第二相机的相对位置参数，得到每个第一相机对应的第一相机外参。本实施方式中，每个第一相机对应的畸变内参为相机预设的参数，可以通过直接读取得到，不会通过外界环境改变而改变。再通过定义每个第一相机对应的第一相机坐标系计算每个第一相机对应的相对位置参数，得到每个第一相机对应的第一相机外参，能够通过数据标准化提高目标物位置确定的准确度。

103、根据第二相机内参、第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，并根据所有像素点映射矩阵生成每个第一相机图像与第二相机图像之间的映射矩阵，得到目标映射矩阵集；

需要说明的是，由于第二相机内参、第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参确定之后不再发生改变，均为常量，因此，通过这些常量计算得到的像素点映射矩阵和目标映射矩阵集也均为常量，只要第一相机和第二相机的安装位置不发生改变或相机类型不更换，即能通过一次计算获得的目标映射矩阵集存储为常量，每次进行目标物的位置确定时只需直接读取该常量，无需重复计算，使得目标物的位置确定效率极大地提高。

在一种实施方式中，由于已知第二相机内参、第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，因此，可以将第二相机图像映射至第一相机图像，也可以将第一相机图像映射至第二相机图像，以建立第二相机图像中每个像素点与第一相机图像的像素点之间的映射关系，即获得每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，在其中一种实施例中，将第一相机图像映射至第二相机图像的具体实施方式为：根据每个第一相机对应的畸变内参和第一相机内参，将每个第一相机对应的第一相机图像中的每个第一像素点映射至第一相机坐标系，得到每个第一像素点对应的第一相机坐标信息；根据每个第一相机对应的第一相机外参，将每个第一像素点对应的第一相机坐标信息映射至第二相机坐标系，得到每个第一像素点对应的第二相机坐标信息；根据第二相机外参和第二相机内参，将每个第一像素点对应的第二相机坐标系转换至第二相机图像中对应的第二像素点，得到每个第一像素点对应的目标坐标信息；根据每个第一像素点对应的第一相机坐标信息和目标坐标信息，计算每个第一相机对应的第一相机图像中每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵。

进一步的，继续阐述将第二相机图像映射至第一相机图像的具体实施方式，即根据第二相机内参、第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，包括：根据第二相机内参，将第二相机图像中的每个第二像素点映射至第二相机坐标系，得到每个第二像素点对应的第二相机坐标信息；根据第二相机外参，将每个第二像素点对应的第二相机坐标信息映射至预设参照物坐标系，得到每个第二像素点对应的参照物坐标信息；根据每个第一相机对应的第一相机外参，将每个第二像素点对应的参照物坐标信息映射至每个第一相机对应的第一相机坐标系，得到每个第二像素点对应的第一相机坐标信息；根据每个第一相机对应的畸变内参，将每个第二像素点的第一相机坐标信息转换至对应第一相机图像中的第一像素点，得到每个第二像素点的目标坐标信息；根据每个第二像素点的第二相机坐标信息和目标坐标信息，计算每个第一相机对应的第一相机图像中每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵。本实施方式能够省略畸变图像的生成过程，直接计算畸变图像至目标视角的全景图像之间的映射关系，使得目标视角的全景图像生成效率提高，从而提高通过全景图像确定目标物位置的效率和准确率。

本发明实施例中，通过第二相机内参、第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定目标映射矩阵集中至少两张第一相机图像分别与第二相机图像之间的映射矩阵，将各第一相机图像转换至第二相机图像，得到目标视角的全景目标图像，再对目标图像进行目标物检测，获得至少一个目标物的二维检测框信息，并根据第二相机参数，计算每个目标物的三维位置信息，本发明可以提高目标物位置检测的准确度。

上面对本发明实施例中目标物位置的确定方法进行了描述，下面对本发明实施例中目标物位置的确定装置进行描述，请参阅图3，本发明实施例中目标物位置的确定装置一个实施例包括：

获取模块301，用于获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；

生成模块302，用于根据所述目标映射矩阵集生成目标图像；

检测模块303，用于对所述目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；

确定模块304，用于获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

本发明实施例中，通过目标映射矩阵集中至少两张第一相机图像分别与第二相机图像之间的映射矩阵，将各第一相机图像转换至第二相机图像，得到目标视角的全景目标图像，再对目标图像进行目标物检测，获得至少一个目标物的二维检测框信息，并根据第二相机参数，计算每个目标物的三维位置信息，本发明可以提高目标物位置检测的准确度。

请参阅图4，本发明实施例中目标物位置的确定装置的另一个实施例包括：

获取模块301，用于获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；

生成模块302，用于根据所述目标映射矩阵集生成目标图像；

检测模块303，用于对所述目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；

确定模块304，用于获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

可选的，所述获取模块301包括：

第一定义单元3011，用于定义第二相机内参和第二相机外参，所述第二相机外参用于指示第二相机至预设参照物的相对位置参数；

第一获取单元3012，用于获取至少两个第一相机中各第一相机对应的畸变内参和第一相机外参，每个第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数；

第一确定单元3013，用于根据所述第二相机内参、所述第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，并根据所有像素点映射矩阵生成每个第一相机图像与第二相机图像之间的映射矩阵，得到目标映射矩阵集。

可选的，所述第一定义单元3011具体用于：

设置第二相机内参，所述第二相机内参用于指示第二相机的图像参数；

定义第二相机坐标系和预设参照物坐标系，并根据所述第二相机坐标系和所述预设参照物坐标系，计算第二相机至预设参照物的相对位置参数，得到第二相机外参。

可选的，所述第一获取单元3012具体用于：

读取至少两个第一相机中每个第一相机对应的畸变内参，并定义每个第一相机对应的第一相机坐标系；

根据每个第一相机对应的第一相机坐标系和所述第二相机坐标系，计算每个第一相机至所述第二相机的相对位置参数，得到每个第一相机对应的第一相机外参。

可选的，所述第一确定单元3013具体用于：

根据所述第二相机内参，将第二相机图像中的每个第二像素点映射至第二相机坐标系，得到每个第二像素点对应的第二相机坐标信息；

根据所述第二相机外参，将每个第二像素点对应的第二相机坐标信息映射至预设参照物坐标系，得到每个第二像素点对应的参照物坐标信息；

根据每个第一相机对应的第一相机外参，将每个第二像素点对应的参照物坐标信息映射至每个第一相机对应的第一相机坐标系，得到每个第二像素点对应的第一相机坐标信息；

根据每个第一相机对应的畸变内参，将每个第二像素点的第一相机坐标信息转换至对应第一相机图像中的第一像素点，得到每个第二像素点的目标坐标信息；

根据每个第二像素点的第二相机坐标信息和目标坐标信息，计算每个第一相机对应的第一相机图像中每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵。

可选的，所述生成模块302具体用于：

根据所述目标映射矩阵集中的各像素点映射矩阵，将每个第一相机图像中的每个第一像素点映射至第二相机图像中，得到每个第一相机图像对应的初始图像；

对所有初始图像进行拼接，得到目标图像。

可选的，所述确定模块304包括：

第二获取单元3041，用于获取每个目标物的二维检测框信息中的目标物类型信息和检测框坐标信息；

第二确定单元3042，用于根据所述目标物类型信息确定每个目标物的三维高度信息；

计算单元3043，用于获取第二相机参数，并根据所述检测框坐标信息和所述第二相机参数，计算每个目标物的三维坐标信息；

结合单元3044，用于结合每个目标物的三维高度信息和三维坐标信息，得到每个目标物的三维位置信息。

可选的，所述第二确定单元3042具体用于：

根据所述目标物类型信息，判断每个目标物是否为可跨越类型目标物；

若目标物为可跨越类型目标物，则将对应的目标物的三维高度信息设置为第一高度值；

若目标物为不可跨越类型目标物，则将对应的目标物的三维高度信息设置为第二高度值，其中，所述第二高度值大于所述第一高度值。

可选的，所述计算单元3043具体用于：

获取第二相机参数，所述第二相机参数包括第二相机的安装位置信息；

根据所述第二相机的安装位置信息，将每个目标物的二维检测框信息中的检测框坐标信息转换为三维坐标信息，得到每个目标物的三维坐标信息。

通过第二相机内参、第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定目标映射矩阵集中至少两张第一相机图像分别与第二相机图像之间的映射矩阵，将各第一相机图像转换至第二相机图像，得到目标视角的全景目标图像，再对目标图像进行目标物检测，获得至少一个目标物的二维检测框信息，并根据第二相机参数，计算每个目标物的三维位置信息，本发明可以提高目标物位置检测的准确度。

上面图3和图4从模块化功能实体的角度对本发明实施例中的目标物位置的确定装置进行详细描述，下面从硬件处理的角度对本发明实施例中目标物位置的确定设备进行详细描述。

图5是本发明实施例提供的一种目标物位置的确定设备的结构示意图，该目标物位置的确定设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对目标物位置的确定设备500中的一系列计算机程序操作。更进一步地，处理器510可以设置为与存储介质530通信，在目标物位置的确定设备500上执行存储介质530中的一系列计算机程序操作。

目标物位置的确定设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的目标物位置的确定设备结构并不构成对目标物位置的确定设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读计算机程序，计算机可读计算机程序被处理器执行时，使得处理器执行上述各实施例中的所述目标物位置的确定方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行所述目标物位置的确定方法的步骤。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种目标物位置的确定方法，其特征在于，所述目标物位置的确定方法包括：

获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；

根据所述目标映射矩阵集生成目标图像；

对所述目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；

获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

2.根据权利要求1所述的目标物位置的确定方法，其特征在于，所述获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，包括：

定义第二相机内参和第二相机外参，所述第二相机外参用于指示第二相机至预设参照物的相对位置参数；

获取至少两个第一相机中各第一相机对应的畸变内参和第一相机外参，每个第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数；

根据所述第二相机内参、所述第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，并根据所有像素点映射矩阵生成每个第一相机图像与第二相机图像之间的映射矩阵，得到目标映射矩阵集。

3.根据权利要求2所述的目标物位置的确定方法，其特征在于，所述定义第二相机内参和第二相机外参，所述第二相机外参用于指示第二相机至预设参照物的相对位置参数，包括：

设置第二相机内参，所述第二相机内参用于指示第二相机的图像参数；

定义第二相机坐标系和预设参照物坐标系，并根据所述第二相机坐标系和所述预设参照物坐标系，计算第二相机至预设参照物的相对位置参数，得到第二相机外参。

4.根据权利要求3所述的目标物位置的确定方法，其特征在于，所述获取至少两个第一相机中各第一相机对应的畸变内参和第一相机外参，每个第一相机对应的第一相机外参用于指示各第一相机至第二相机的相对位置参数，包括：

读取至少两个第一相机中每个第一相机对应的畸变内参，并定义每个第一相机对应的第一相机坐标系；

根据每个第一相机对应的第一相机坐标系和所述第二相机坐标系，计算每个第一相机至所述第二相机的相对位置参数，得到每个第一相机对应的第一相机外参。

5.根据权利要求2所述的目标物位置的确定方法，其特征在于，所述根据所述第二相机内参、所述第二相机外参，以及每个第一相机对应的畸变内参和第一相机外参，确定每个第一相机对应的第一相机图像中的每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵，包括：

根据所述第二相机内参，将第二相机图像中的每个第二像素点映射至第二相机坐标系，得到每个第二像素点对应的第二相机坐标信息；

根据所述第二相机外参，将每个第二像素点对应的第二相机坐标信息映射至预设参照物坐标系，得到每个第二像素点对应的参照物坐标信息；

根据每个第一相机对应的第一相机外参，将每个第二像素点对应的参照物坐标信息映射至每个第一相机对应的第一相机坐标系，得到每个第二像素点对应的第一相机坐标信息；

根据每个第一相机对应的畸变内参，将每个第二像素点的第一相机坐标信息转换至对应第一相机图像中的第一像素点，得到每个第二像素点的目标坐标信息；

根据每个第二像素点的第二相机坐标信息和目标坐标信息，计算每个第一相机对应的第一相机图像中每个第一像素点与第二相机图像对应的第二像素点之间的像素点映射矩阵。

6.根据权利要求2所述的目标物位置的确定方法，其特征在于，所述根据所述目标映射矩阵集生成目标图像，包括：

根据所述目标映射矩阵集中的各像素点映射矩阵，将每个第一相机图像中的每个第一像素点映射至第二相机图像中，得到每个第一相机图像对应的初始图像；

对所有初始图像进行拼接，得到目标图像。

7.根据权利要求1-6中任一项所述的目标物位置的确定方法，其特征在于，所述获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息，包括：

获取每个目标物的二维检测框信息中的目标物类型信息和检测框坐标信息；

根据所述目标物类型信息确定每个目标物的三维高度信息；

获取第二相机参数，并根据所述检测框坐标信息和所述第二相机参数，计算每个目标物的三维坐标信息；

结合每个目标物的三维高度信息和三维坐标信息，得到每个目标物的三维位置信息。

8.根据权利要求7所述的目标物位置的确定方法，其特征在于，所述根据所述目标物类型信息确定每个目标物的三维高度信息，包括：

根据所述目标物类型信息，判断每个目标物是否为可跨越类型目标物；

若目标物为可跨越类型目标物，则将对应的目标物的三维高度信息设置为第一高度值；

若目标物为不可跨越类型目标物，则将对应的目标物的三维高度信息设置为第二高度值，其中，所述第二高度值大于所述第一高度值。

9.根据权利要求7所述的目标物位置的确定方法，其特征在于，所述获取第二相机参数，并根据所述检测框坐标信息和所述第二相机参数，计算每个目标物的三维坐标信息，包括：

获取第二相机参数，所述第二相机参数包括第二相机的安装位置信息；

根据所述第二相机的安装位置信息，将每个目标物的二维检测框信息中的检测框坐标信息转换为三维坐标信息，得到每个目标物的三维坐标信息。

10.一种目标物位置的确定装置，其特征在于，所述目标物位置的确定装置包括：

获取模块，用于获取目标映射矩阵集，所述目标映射矩阵集包括至少两张第一相机图像分别与第二相机图像之间的映射矩阵，一张第一相机图像对应一个第一相机；

生成模块，用于根据所述目标映射矩阵集生成目标图像；

检测模块，用于对所述目标图像进行目标物检测，得到至少一个目标物的二维检测框信息；

确定模块，用于获取第二相机参数，根据所述第二相机参数和每个目标物的二维检测框信息，确定每个目标物的三维位置信息。

11.一种目标物位置的确定设备，其特征在于，所述目标物位置的确定设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；

所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述目标物位置的确定设备执行如权利要求1-9中任意一项所述的目标物位置的确定方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述目标物位置的确定方法。

Images