CN116030202A

CN116030202A - 一种三维图像重建方法、装置、电子设备及存储介质

Info

Publication number: CN116030202A
Application number: CN202310316213.4A
Authority: CN
Inventors: 陈友明; 陈思竹; 翟强
Original assignee: Sichuan Honghe Communication Group Co ltd
Current assignee: Sichuan Honghe Communication Group Co ltd
Priority date: 2023-03-29
Filing date: 2023-03-29
Publication date: 2023-04-28
Anticipated expiration: 2043-03-29
Also published as: CN116030202B

Abstract

本申请提供一种三维图像重建方法、装置、电子设备及存储介质，涉及图像处理技术领域，包括：获取待标定图像，基于待标定图像，确定标定点以及标定点的像素坐标；在第一区域中获取标定点的世界三维坐标；基于世界三维坐标以及像素坐标，获取单目相机对应的姿态映射关系；基于姿态映射关系，将图像内的点的像素坐标转换为三维坐标，并获取单目相机采集的图像对应的重建三维图像。在单目相机条件下，通过视野范围内静态对象的三维坐标和像素坐标确定二维与三维之间转换的映射关系，并基于该映射关系实现相机的三维图像重建，无需依赖其他高性能硬件设备或多个相机即可获取场景的深度信息成功进行三维重建，大大降低了设备成本。

Description

一种三维图像重建方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，具体而言，涉及一种三维图像重建方法、装置、电子设备及存储介质。

背景技术

三维图像重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机中建立表达客观世界的虚拟现实的关键技术。由于三维图像相较于二维图像具有更多深度信息和图像特征，因此在图像处理的下游的感知任务中，三维图像作为输入图像可以大幅提高输出结果的精准度。

由于单目相机无深度信息，且难以捕捉场景内的有效视差，因此现有的三维图像重建方法主要基于高性能设备或多设备采集场景信息进行三维图像重建。然而，一方面无论是双目视觉相机还是激光雷达，对传感器的要求都较高，这使得场景三维重建的成本大大提高；另一方面，为了进行三维重建对单一场景进行多个相机的大面积部署，也提升了三维重建的硬件设备成本。因此，如何降低三维图像重建的硬件设备成本，成为本领域技术人员当前亟待解决的技术问题。

发明内容

本申请实施例在于提供一种三维图像重建方法、装置、电子设备及存储介质，旨在解决如何降低三维图像重建的硬件设备成本的问题。

本申请实施例第一方面提供一种三维图像重建方法，包括：

获取待标定图像，基于所述待标定图像，确定标定点以及所述标定点的像素坐标，所述待标定图像为单目相机采集的第一区域的二维图像，所述标定点为所述待标定图像中至少一个对应静态对象的点；

在所述第一区域中，获取所述标定点的世界三维坐标；

基于所述世界三维坐标以及所述像素坐标，获取所述单目相机对应的姿态映射关系；

基于所述姿态映射关系，将所述单目相机采集的图像内的点的像素坐标转换为三维坐标；

基于所述三维坐标，获取所述单目相机采集的图像对应的重建三维图像。

在一种可选的实施方式中，在所述第一区域中，获取所述标定点的世界三维坐标，包括：

在所述第一区域中确定世界三维坐标原点，基于所述世界三维坐标原点建立对应于所述第一区域的世界三维坐标系；

在所述世界三维坐标系中，测量所述世界三维坐标原点与所述标定点在所述世界三维坐标系中不同坐标轴方向上的相对距离，作为所述标定点的世界三维坐标。

在一种可选的实施方式中，基于所述待标定图像，确定标定点以及所述标定点的像素坐标，包括：

基于所述待标定图像，确定所述第一区域中均匀分布的目标数量的所述静态对象；

确定所述静态对象在所述待标定图像中对应的区域，作为标定区域图像；

在每个标定区域图像中选取在所述第一区域中可通过测量工具直接确定世界三维坐标的点，作为所述标定点；

基于所述待标定图像建立图像坐标系，获取所述标定点在所述图像坐标系中的坐标，作为所述标定点的像素坐标。

在一种可选的实施方式中，基于所述世界三维坐标以及所述像素坐标，获取所述单目相机对应的姿态映射关系，包括：

将每个标定点的世界三维坐标以及每个标定点的像素坐标作为一组映射代入相机投影公式，构建目标方程组，所述相机投影公式用于通过转换矩阵将所述像素坐标转换为所述三维坐标；

基于所述目标方程组，计算得到所述转换矩阵，将所述转换矩阵作为所述单目相机对应的姿态映射关系。

在一种可选的实施方式中，基于所述姿态映射关系，将所述单目相机采集的图像内的点的像素坐标转换为三维坐标，包括：

获取所述单目相机采集的待重建图像，所述待重建图像为所述单目相机采集的所述第一区域的二维图像；

基于所述待重建图像，获取第二区域的图像，所述第二区域为所述第一区域中的任意区域；

获取所述第二区域的图像内的点的像素坐标；

获取所述单目相机的内参矩阵，计算所述第二区域的图像内的点的像素坐标与所述内参矩阵的逆矩阵以及所述姿态映射关系的逆矩阵的乘积，作为所述三维坐标。

在一种可选的实施方式中，在所述第二区域只包含动态对象的情况下，基于目标检测算法，确定所述动态对象在所述待重建图像中对应的区域，作为所述第二区域的图像。

在一种可选的实施方式中，在获取所述第二区域的图像之后，若所述第二区域图像包含所述标定点，所述方法还包括：

获取所述第二区域的图像内除了所述标定点之外的点的像素坐标；

获取所述单目相机的内参矩阵，计算所述第二区域的图像内除了所述标定点之外的点的像素坐标与所述内参矩阵的逆矩阵以及所述姿态映射关系的逆矩阵的乘积，得到重建三维坐标；

将所述重建三维坐标以及所述标定点的世界三维坐标组合为所述三维坐标。

在一种可选的实施方式中，当所述待标定图像为油气站监控图像时，所述静态对象包括以下至少一项：防撞栏、加油机、立柱。

本申请实施例第二方面提供一种三维图像重建装置，包括：

像素坐标获取模块，用于获取待标定图像，基于所述待标定图像，确定标定点以及所述标定点的像素坐标，所述待标定图像为单目相机采集的第一区域的二维图像，所述标定点为所述待标定图像中至少一个对应静态对象的点；

世界坐标获取模块，用于在所述第一区域中，获取所述标定点的世界三维坐标；

映射计算模块，用于基于所述世界三维坐标以及所述像素坐标，获取所述单目相机对应的姿态映射关系；

转换模块，用于基于所述姿态映射关系，将所述单目相机采集的图像内的点的像素坐标转换为三维坐标；

三维重建模块，用于基于所述三维坐标，获取所述单目相机采集的图像对应的重建三维图像。

在一种可选的实施方式中，所述世界坐标获取模块，包括：

世界坐标系建立子模块，用于在所述第一区域中确定世界三维坐标原点，基于所述世界三维坐标原点建立对应于所述第一区域的世界三维坐标系；

世界坐标获取子模块，用于在所述世界三维坐标系中，测量所述世界三维坐标原点与所述标定点在所述世界三维坐标系中不同坐标轴方向上的相对距离，作为所述标定点的世界三维坐标。

在一种可选的实施方式中，所述像素坐标获取模块，包括：

静态对象确定子模块，用于基于所述待标定图像，确定所述第一区域中均匀分布的目标数量的所述静态对象；

标定区域确定子模块，用于确定所述静态对象在所述待标定图像中对应的区域，作为标定区域图像；

标定点确定子模块，用于在每个标定区域图像中选取在所述第一区域中可通过测量工具直接确定世界三维坐标的点，作为所述标定点；

像素坐标获取子模块，用于基于所述待标定图像建立图像坐标系，获取所述标定点在所述图像坐标系中的坐标，作为所述标定点的像素坐标。

在一种可选的实施方式中，所述映射计算模块，包括：

方程构建子模块，用于将每个标定点的世界三维坐标以及每个标定点的像素坐标作为一组映射代入相机投影公式，构建目标方程组，所述相机投影公式用于通过转换矩阵将所述像素坐标转换为所述三维坐标；

转换矩阵获取子模块，用于基于所述目标方程组，计算得到所述转换矩阵，将所述转换矩阵作为所述单目相机对应的姿态映射关系。

在一种可选的实施方式中，所述转换模块，包括：

待重建图像获取子模块，用于获取所述单目相机采集的待重建图像，所述待重建图像为所述单目相机采集的所述第一区域的二维图像；

第二区域获取子模块，用于基于所述待重建图像，获取第二区域的图像，所述第二区域为所述第一区域中的任意区域；

像素坐标获取子模块，用于获取所述第二区域的图像内的点的像素坐标；

转换子模块，用于获取所述单目相机的内参矩阵，计算所述第二区域的图像内的点的像素坐标与所述内参矩阵的逆矩阵以及所述姿态映射关系的逆矩阵的乘积，作为所述三维坐标。

在一种可选的实施方式中，所述转换模块还包括：

动态第二区域获取子模块，用于在所述第二区域只包含动态对象的情况下，基于目标检测算法，确定所述动态对象在所述待重建图像中对应的区域，作为所述第二区域的图像。

在一种可选的实施方式中，所述转换模块还包括：

其余像素坐标获取子模块，用于获取所述第二区域的图像内除了所述标定点之外的点的像素坐标；

重建转换子模块，用于获取所述单目相机的内参矩阵，计算所述第二区域的图像内除了所述标定点之外的点的像素坐标与所述内参矩阵的逆矩阵以及所述姿态映射关系的逆矩阵的乘积，得到重建三维坐标；

组合子模块，用于将所述重建三维坐标以及所述标定点的世界三维坐标组合为所述三维坐标。

本申请实施例第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面中任一所述的一种三维图像重建方法中的步骤。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面中任一所述的一种三维图像重建方法中的步骤。

有益效果：

本申请实施例提供一种三维图像重建方法、装置、电子设备及存储介质，包括：获取待标定图像，基于所述待标定图像，确定标定点以及所述标定点的像素坐标，所述待标定图像为单目相机采集的第一区域的二维图像，所述标定点为所述待标定图像中至少一个对应静态对象的点；在所述第一区域中，获取所述标定点的世界三维坐标；基于所述世界三维坐标以及所述像素坐标，获取所述单目相机对应的姿态映射关系；基于所述姿态映射关系，将所述单目相机采集的图像内的点的像素坐标转换为三维坐标；基于所述三维坐标，获取所述单目相机采集的图像对应的重建三维图像。

本申请在单目相机的条件下，通过视野范围内静态对象的三维坐标和像素坐标确定二维像素点与三维结构之间转换的映射关系，并基于该映射关系实现相机的三维图像重建，无需依赖其他高性能硬件设备或多个相机即可获取场景的深度信息成功进行三维重建，大大降低了设备成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的一种三维图像重建方法流程图；

图2是本申请一实施例提出的一种标定点的世界三维坐标示例图；

图3是本申请一实施例提出的一种三维图像重建装置示意图；

图4是本申请一实施例提出的一种电子设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，三维图像重建方法主要基于高性能设备或多设备采集场景信息进行三维图像重建。然而，一方面无论是双目视觉相机还是激光雷达，对传感器的要求都较高，这使得场景三维重建的成本大大提高；另一方面，为了进行三维重建对单一场景进行多个相机的大面积部署，也提升了三维重建的硬件设备成本。

有鉴于此，本申请实施例提出一种三维图像重建方法，图1示出了一种三维图像重建方法示意图，如图1所示，包括如下步骤：

S101、获取待标定图像，基于所述待标定图像，确定标定点以及所述标定点的像素坐标。

获取待标定图像，基于所述待标定图像，确定标定点以及所述标定点的像素坐标，所述待标定图像为单目相机采集的第一区域的二维图像，所述标定点为所述待标定图像中至少一个对应静态对象的点。

S102、在所述第一区域中，获取所述标定点的世界三维坐标。

S103、基于所述世界三维坐标以及所述像素坐标，获取所述单目相机对应的姿态映射关系。

S104、基于所述姿态映射关系，将所述单目相机采集的图像内的点的像素坐标转换为三维坐标。

S105、基于所述三维坐标，获取所述单目相机采集的图像对应的重建三维图像。

本申请实施例中，所述待标定图像为单目相机采集的第一区域的二维图像，其中，所述第一区域为在所述单目相机的视野范围内的全部区域，所述第一区域内包括至少一个静态对象，所述静态对象为在所述第一区域内不会发生移动的对象，例如立柱、栏杆等。

其中，所述单目相机只有一个摄像头，将三维空间信息存储为二维图像，相当于单目相机的视野范围内的某个场景在图像上的一个投影。因此，单目相机采集的图像具有尺度等价性，缺少深度信息（单目相机和被测物体之间的距离），对于一个区域，基于单一图像无法计算单目相机和图像内的对象之间的距离，因此通常需要高性能设备（如深度相机）采集具有深度信息的图像，或通过多设备（如双目相机）采集多张图像，并通过计算视差的方式才能判断物体的远近。本申请通过在单目相机视野范围内的真实三维世界获取标定的真实三维坐标，作为单目相机采集的待标定图像中的深度信息，使得通过单目相机采集的二维图像可以完成相机静止状态下的三维场景重建，降低了设备成本。

本申请实施例中，所述标定点为所述待标定图像中至少一个对应静态对象的点，在不同的时间节点下，所述静态对象在所述第一区域中的相对位置不会发生改变，因此，在所述单目相机采集的待标定图像中静态对象对应的区域内的点通常不会发生明显变化，将所述静态对象对应的点作为所述标定点用于获取姿态映射关系，可以有效提升姿态映射关系进行三维重建时的精确度，将基于所述姿态映射关系获取的重建三维图像用于下游任务时会产生积极影响。

本申请实施例中，所述世界三维坐标为由用户定义的三维世界坐标系，用于描述物体和相机在真实世界中的位置，所述像素坐标为在所述待标定图像所在的像素坐标系中所述标定点的二维坐标，用于表征所述标定点在所述待标定图像中的位置。所述世界三维坐标表征了区域内对象在三维世界中的位置以及与其他对象的三维相对关系，因此世界三维坐标可以提升信息深度，例如可以有效表征对象之间的视差关系。由于世界三维坐标为待标定图像视野范围内标定点的真实三维坐标，相较于高性能硬件设备或多个硬件设备可获取深度更大的三维信息，用于相机标定获取对应的姿态映射关系的准确度更高。

本申请实施例中，所述姿态映射关系为像素坐标与三维坐标的转换关系，通过所述姿态映射关系实现三维坐标和二维像素点之间的映射，具体而言，所述姿态映射关系为相机标定的转换矩阵，所述转换矩阵由相机坐标系和世界坐标系决定，其中，相机坐标系为以相机的光心为坐标原点的三维坐标系，其中，所述相机坐标系的坐标轴中，x轴和y轴可以为平行于成像平面（待标定图像）的两条边，z轴可以为相机的光轴；此外，所述相机坐标系的坐标轴中，x轴和y轴还可以为成像平面（待标定图像）中互相垂直的直线，z轴可以为垂直于成像平面的直线。

为了使本领域技术人员更好的理解本申请提出的三维图像重建的方法，接下来将对本申请实施例提出的方案进行详细阐述：

具体实施步骤S101时，首先获取单目相机采集的第一区域的二维图像，作为所述待标定图像。具体而言，将当前单目相机视野范围内的全部场景区域确定为第一区域，所述第一区域中包括至少一个静态对象，由于单目相机的姿态时固定不变的，因此该第一区域对于单目相机是固定的，第一区域中的静态对象相对所述单目相机的位置也不变，这些不变的静态对象在单目相机采集的第一区域图像中的位置也会保持固定，因此将这些在第一区域中以及在第一区域的图像中位置均保持固定的静态对象作为标定对象用于对相机进行标定，将单目相机采集的第一区域的二维图像作为所述待标定图像。

在获取所述待标定图像之后，基于所述待标定图像，确定所述第一区域中均匀分布的目标数量的所述静态对象，其中，静态对象是指在第一区域中位置和形态保持不变的物体，如在油气站场景下，所述静态对象可以为防撞栏、加油机、立柱等物体；所述均匀分布是指静态对象离散的分布于所述第一区域中，例如，将所述第一区域划分为面积相同的多个子区域，保证在每个子区域内均存在静态对象。需要说明的是，由于所述标定点用于获取所述单目相机对应的姿态映射关系，当标定点在所述第一区域中的分布过于集中时，会影响所述姿态映射关系的准确度，因此，为了降低所述姿态映射关系的误差，在选取所述第一区域内静态对象时，保证所选取的静态对象在所述第一区域内是均匀分布的。此外，所述静态对象的目标数量可根据实际情况确定，本申请在此不作限制。

由于所述静态对象通过其世界三维坐标和像素坐标来确定单目相机对应的姿态映射关系，因此为了便于计算，需要将所述静态对象抽象为对象点以确定其坐标。具体而言，首先确定所述静态对象在所述待标定图像中对应的区域，作为标定区域图像，所述标定区域图像为完全包含所述静态对象在所述待标定图像中的最小区域图像；随后，在每个标定区域图像中选取在所述第一区域中可通过测量工具直接确定世界三维坐标的点，作为所述标定点。由于所述标定点除了需要在待标定图像上确定像素坐标，还需要在第一区域的真实三维世界中实地测量其世界三维坐标，因此为了便于世界三维坐标的测量，所述标定点需要选择在所述标定区域图像对应的真实三维世界的区域中可以通过测量工具直接确定其不同维度下的距离的位置点，例如，若静态对象为加油机，可在加油机对应的标定区域对象中，选择加油机体的顶点作为标定点。

在一种可选的实施方式中，基于所述待标定图像建立图像坐标系，用于获取所述标定点在所述图像坐标系中的坐标。具体而言，以所述成像平面（待标定图像）的左上角顶点作为所述图像坐标系的坐标原点，经过所述坐标原点并与所述成像平面的两条边分别平行的轴作为所述图像坐标系的坐标轴，构建所述图像坐标系，所述图像坐标系为与所述相机的成像平面重合的二维坐标系。在构建的所述图像坐标系中，获取所述标定点的像素坐标。

具体实施步骤S102时，首先在所述第一区域中确定世界三维坐标原点P₀=(0，0，0)，需要说明的是，该世界三维坐标原点可根据实际情况自定义设置，例如，可以选择第一区域的中心作为所述世界三维坐标原点，具体的世界三维坐标原点的位置本申请不作限制。基于所述世界三维坐标原点建立对应于所述第一区域的世界三维坐标系，所述世界三维坐标系以地平面作为xP₀y平面，x轴和y轴在xP₀y平面互相垂直，并以垂直于所述xP₀y平面且经过所述世界三维原点P₀的直线作为z轴。

在所述世界三维坐标系中，测量所述世界三维坐标原点P₀与所述标定点i在不同维度上的相对距离，作为所述标定点的世界三维坐标(x_i，y_i，z_i)。例如，在所述第一区域内，使用皮尺测量每个标定点在世界三维坐标系的x轴方向上与世界三维坐标原点之间距离以及在y轴方向上与世界三维坐标原点之间距离，使用移动标尺测量每个标定点在世界三维坐标系的z轴方向上与世界三维坐标原点之间距离，得到每个标定点的世界三维坐标。需要说明的是，本申请实施例中测量标定点的横纵坐标的测量工具为测量范围在0cm~20m的皮尺，测量标定点的竖坐标的测量工具为测量范围在0cm~3m的高度测量仪，测量工具可根据实际情况确定，上述示例只是为了使本领域技术人员更好的理解本方案提供的一种可选方式，具体的测量工具本申请不作限制。

具体实施步骤S103时，通过相机投影公式构建关于标定点的世界三维坐标以及像素坐标之间的方程，求解出所述单目相机对应的姿态映射关系。所述相机投影公式用于通过转换矩阵将所述像素坐标转换为所述三维坐标，其中，所述相机投影公式具体为：

X=KPMY

其中，X为标定点的像素坐标；K为相机的内参矩阵；P为相机投影参数；M为世界三维坐标系向图像坐标系的转换参数矩阵；Y为标定点的世界三维坐标。

具体而言，所述相机的内参矩阵由相机的内部参数（如焦距）决定，对于确定的单目相机来说，其内参矩阵是确定的，可由标定软件提前标定。因此，将每个标定点的世界三维坐标以及每个标定点的像素坐标作为一组映射代入相机投影公式之后，所述相机投影公式中只有相机投影参数P（外参矩阵）以及转换参数矩阵M为未知量，令转换矩阵Q=PM，通过所述转换矩阵表征相机的位姿（即世界三维坐标系到相机坐标系的旋转矩阵和平移向量），所述相机投影公式转换为：

X=KQY

其中，X为标定点的像素坐标；K为相机的内参矩阵；Q为转换矩阵；Y为标定点的世界三维坐标。

将每个标定点的世界三维坐标以及每个标定点的像素坐标作为一组映射代入上述转换后的相机投影公式，构建目标方程组，该目标方程组中只有转换矩阵中的元素是未知量，因此，基于所述目标方程组，计算可以得到所述转换矩阵。在一种可选的实施方式中，基于PnP（Perspective-n-Point）算求解所述目标方程组，所述PnP算法用于在已知目标数量的标定点的世界三维坐标以及这些标定点的像素坐标时，如何估计相机的位姿（即转换矩阵Q）。例如，本申请实施例采用最小二乘算法解决上述PnP算法问题求解目标方程组，具体来说，根据对应标定点的重投影误差构建非线性优化问题，利用李代数（Lie algebra，一种非结合代数）得到误差关于位姿的导数以指导优化方向，不断迭代求得所有对应标定点重投影误差之和最小的位姿，作为所述转换矩阵Q。需要说明的是，上述示例只是为了使本领域技术人员更好的理解本方案提出的一种可选的方式，关于获取转换矩阵的方法还可以采用其他处理PnP的算法，如直接线性变换等方法，具体的根据目标方程组获取所述转换矩阵的方法可根据实际情况确定，本申请在此不作限制。

在基于PnP算法求解目标方程组得到转换矩阵Q之后，将所述转换矩阵作为所述单目相机对应的姿态映射关系。所述姿态映射关系可以将该单目相机采集的二维图像逆变换为对应的三维图像。

在一种可选的实施方式中，所述相机的内参矩阵K，按照如下方式确定：以所述成像平面（待标定图像）的左上角顶点作为所述图像坐标系的坐标原点，经过所述坐标原点并与所述成像平面的两条边分别平行的轴作为所述图像坐标系的坐标轴，构建所述第一区域对应的图像坐标系，所述图像坐标系为与所述相机的成像平面重合的二维坐标系。基于所述图像坐标系的坐标轴方向上的焦距，以及所述成像平面的中心在所述图像坐标系中的坐标，构建所述内参矩阵K，所述内参矩阵K具体为：

其中，K为内参矩阵；f_x为所述图像坐标系的x轴方向上的焦距长度；f_y为所述图像坐标系的y轴方向上的焦距长度；c_x为所述成像平面的中心在所述图像坐标系中的横坐标；c_y为所述成像平面的中心在所述图像坐标系中的纵坐标。

具体实施步骤S104时，将已确定的转换矩阵代入相机投影公式中，并对所述相机投影公式进行逆变换，得到基于像素坐标获取对应三维坐标的逆投影公式。其中，所述逆投影公式具体为：

Y’=Q^-1K^-1X’

其中，X’为点的像素坐标；K为相机的内参矩阵；Q为转换矩阵；Y’为点的世界三维坐标。

在一种可选的实施方式中，获取所述单目相机采集的待重建图像，所述待重建图像为所述单目相机采集的所述第一区域的二维图像，即所述待重建图像与所述待标定图像为同一视野范围内的图像，因此所述待重建图像与所述待标定图像内的静态对象的图像是相同的，上述基于标定点得到的姿态映射关系可以对该待重建图像进行三维重建。

在一种可选的实施方式中，由于需要进行三维重建的对象可能为待重建图像中的部分物体，因此需要从所述待重建对象中获取部分或全部的图像进行针对性三维重建处理。具体而言，基于所述待重建图像，获取第二区域的图像，所述第二区域为所述第一区域中的任意区域，可以为所述第一区域中静态对象所处的区域，例如，若拍摄的图像是加油站的区域场景，可以选取加油机、立柱等所在的区域；也可以为所述第一区域中动态对象所处的区域，例如，若拍摄的图像是加油站的区域场景，可以选取行人、车辆、动物等所在的区域。在获取所述第二区域的图像后，在所述相机的图像坐标系中，获取所述第二区域的图像内的所有点的像素坐标。

随后，获取所述单目相机的内参矩阵K，计算所述第二区域的图像内的点的像素坐标X’与所述内参矩阵的逆矩阵K^-1以及所述姿态映射关系的逆矩阵Q^-1的乘积，作为所述三维坐标Y’。其中，所述内参矩阵的获取方式可参见上述内容，本申请实施例在此不再赘述。

在一种可选的实施方式中，在所述第二区域只包含动态对象的情况下，此时用户需要借助目标检测算法准确获取只包含动态对象在所述待重建图像中对应的区域，将所述待重建图像输入目标检测算法中，输出只包含动态对象的区域图像，将其作为所述第二区域的图像。例如，将所述待重建图像作为输入数据输入YOLOv5检测器中，经YOLOv5检测器的目标检测过程输出动态对象的区域图像，作为所述第二区域的图像。需要说明的是，上述示例只是为了使本领域技术人员更好的理解本申请的方法给出的一种可选的方式，具体的目标检测算法可根据实际情况确定，如YOLOv5、YOLOv7等，本申请对此不作限制。

在一种可选的实施方式中，由于待重建图像和待标定图像中静态对象相同，因此所述第二区域的图像可能为所述静态对象对应的标定区域图像，在所述第二区域的图像为用于标定的标定区域图像时，由于其中的标定点的世界三维坐标已经获取，且所述世界三维坐标为在真实三维世界获取的准确三维坐标，其精确度大于由姿态映射关系转换的三维坐标，因此在对标定区域图像进行三维重建时，只需要对除了标定点之外的其他点进行基于姿态映射关系的三维重建，而标定点可以直接采用其世界三维坐标。

具体而言，首先获取所述第二区域的图像内除了所述标定点之外的点的像素坐标；随后获取所述单目相机的内参矩阵，计算所述第二区域的图像内除了所述标定点之外的点的像素坐标与所述内参矩阵的逆矩阵以及所述姿态映射关系的逆矩阵的乘积，得到重建三维坐标，所述重建三维坐标为非标定点基于姿态映射关系转换得到的三维坐标；最后，将所述重建三维坐标以及所述标定点的世界三维坐标组合为所述三维坐标。

具体实施步骤S105时，在得到第二区域的图像对应的三维坐标之后，将所述第二区域的图像内每个点对应的三维坐标绘制在于世界三维坐标系对应的空间内，形成所述单目相机采集的图像对应的重建三维图像。

在一种可选的实施方式中，在得到所述单目相机采集的图像对应的重建三维图像之后，由于所述重建三维图像相较于待重建的二维图像来说，具有深度信息，能够表征图像中对象的视差关系，因此将重建三维图像应用于下游任务（如员工识别、动作识别、行为检测等感知任务的算法）中时，通过将动态对象（如行人、车辆、动物等）与静态对象（如防撞栏、加油机、立柱等）之间的交互在三维坐标空间完成，将例如坐/靠防撞栏、车辆冲撞加油机等原有二维图像理解任务扩展至三维空间，可大幅提高任务处理的精准度，得到准确率更好的识别结果。

为使本领域技术人员更加清楚地理解本申请，现通过以下实施例对本申请所述的三维图像重建方法进行详细说明。

首先获取油气站的监控单目相机采集的第一区域的二维监控图像，作为所述待标定图像。具体而言，将当前油气站监控相机视野范围内的全部场景区域确定为第一区域，所述第一区域中包括停车位、立柱、加油机、防撞栏等多个静态对象。

在获取所述待标定图像之后，基于所述待标定图像，确定所述第一区域中均匀分布的N个所述静态对象，其中N≥20。选取待标定图像中多个静态对象（停车位、立柱、加油机、防撞栏等），确定所述静态对象在所述待标定图像中对应的区域，作为标定区域图像；随后，在每个标定区域图像中选取在所述第一区域中可通过测量工具直接确定世界三维坐标的点，作为所述标定点。例如，对于加油机的静态对象，可在加油机对应的标定区域对象中，选择加油机体的上方立牌处作为标定点。

同时，以所述待标定图像（监控图像）的左上角顶点作为所述图像坐标系的坐标原点，经过所述坐标原点并与所述成像平面的两条边分别平行的轴作为所述图像坐标系的坐标轴，构建所述图像坐标系，在构建的所述图像坐标系中，获取所述标定点的像素坐标：

其中，X为所有标定点的像素坐标；u_i为标定点i的像素横坐标；v_i为标定点i的像素纵坐标；N为目标数量。

在一种可选的实施方式中，构建世界三维坐标系获取标定点的世界三维坐标。具体而言，在所述第一区域中确定世界三维坐标原点P₀=(0，0，0)，基于所述世界三维坐标原点建立对应于所述第一区域的世界三维坐标系；在所述第一区域内，使用皮尺测量每个标定点在世界三维坐标系的x轴方向上与世界三维坐标原点之间距离以及在y轴方向上与世界三维坐标原点之间距离，使用移动标尺测量每个标定点在世界三维坐标系的z轴方向上与世界三维坐标原点之间距离（即每个标定点到xoy平面的距离），得到每个标定点的世界三维坐标(x_i，y_i，z_i)，示例性地，对于标定点A、B、C、D，经过测量得到其世界三维坐标分别为A(x₀，y₀，z₀) 、B(x₁，y₁，z₁) 、C(x₂，y₂，z₂)、 D(x₃，y₃，z₃)。图2示出了一种标定点的世界三维坐标示例图，如图2所示，w为待标定图像在x轴方向的距离，h为待标定图像在y轴方向的距离，在x轴和y轴构成的平面上用皮尺测量每个标定点与世界三维坐标原点分别在x轴方向和y轴方向上的距离，作为每个标定点的世界三维横坐标和纵坐标，如图2中所示的(x₀，y₀)、(x₁，y₁) 、(x₂，y₂) 、(x₃，y₃) 、(x₄，y₄) 直到(x_j，y_j)；随后用移动标尺在z轴方向测量其竖坐标，得到第一区域内所有标定点的世界三维坐标，如图2中所示的标定点的世界三维坐标(x₀，y₀，z₀)、 (x₁，y₁，z₁) 、(x₂，y₂，z₂)、 (x₃，y₃，z₃)、 (x₄，y₄，z₄)至 (x_j，y_j，z_j)，其中j为标定点编号。

在一种可选的实施方式中，通过相机投影公式构建关于标定点的世界三维坐标以及像素坐标之间的方程。其中，所述相机投影公式具体为：

X=KPMY

令转换矩阵Q=PM，通过所述转换矩阵表征相机的位姿（即世界三维坐标系到相机坐标系的旋转矩阵和平移向量），将所述相机投影公式转换为：

X=KQY

将每个标定点的世界三维坐标以及每个标定点的像素坐标作为一组映射代入上述转换后的相机投影公式，构建目标方程组，采用最小二乘算法求解目标方程组得到转换矩阵Q，将所述转换矩阵Q作为所述单目相机对应的姿态映射关系。

在一种可选的实施方式中，基于所述图像坐标系的坐标轴方向上的焦距长度，以及所述待标定图像所处的相机的成像平面的中心在所述图像坐标系中的坐标，构建所述内参矩阵K。

将已确定的转换矩阵代入相机投影公式中，并对所述相机投影公式进行逆变换，得到基于像素坐标获取对应三维坐标的逆投影公式：

Y’=Q^-1K^-1X’

随后基于逆投影公式分别对监控单目相机的实时视频流中的图像进行三维重建。具体而言，首先将监控单目相机的实时视频流中的图像作为待重建图像，基于所述待重建图像，获取第二区域的图像。其中，对于动态对象的第二区域图像，将所述待重建图像作为输入数据输入YOLOv7检测器中，得到只包含动态对象的第二区域图像；对于静态对象的第二区域图像，直接获取只包含静态对象的第二区域图像。最后计算所述第二区域的图像内的点的像素坐标X’与所述内参矩阵的逆矩阵K^-1以及所述姿态映射关系的逆矩阵Q^-1的乘积，作为所述三维坐标Y’。

在所述第二区域图像为标定区域图像的情况下，获取所述第二区域的图像内除了所述标定点之外的点的像素坐标；随后获取所述单目相机的内参矩阵，计算所述第二区域的图像内除了所述标定点之外的点的像素坐标与所述内参矩阵的逆矩阵以及所述姿态映射关系的逆矩阵的乘积，得到重建三维坐标，所述重建三维坐标为非标定点基于姿态映射关系转换得到的三维坐标；最后，将所述重建三维坐标以及所述标定点的世界三维坐标组合为所述三维坐标。

在得到第二区域的图像对应的所有点的三维坐标之后，将所述第二区域的图像内每个点对应的三维坐标绘制在于世界三维坐标系对应的空间内，形成所述单目相机采集的图像对应的重建三维图像。将动态对象的重建三维图像和静态对象的重建三维图像在同一三维空间中交互，输入行为检测算法中，基于该重建三维图像判断图像中是否存在坐/靠防撞栏、车辆冲撞加油机等危险行为发生。

本申请实施例提供一种三维图像重建方法，包括：获取待标定图像，基于所述待标定图像，确定标定点以及所述标定点的像素坐标，所述待标定图像为单目相机采集的第一区域的二维图像，所述标定点为所述待标定图像中至少一个对应静态对象的点；在所述第一区域中，获取所述标定点的世界三维坐标；基于所述世界三维坐标以及所述像素坐标，获取所述单目相机对应的姿态映射关系；基于所述姿态映射关系，将所述单目相机采集的图像内的点的像素坐标转换为三维坐标；基于所述三维坐标，获取所述单目相机采集的图像对应的重建三维图像。本申请在单目相机的条件下，通过视野范围内静态对象的三维坐标和像素坐标确定二维像素点与三维结构之间转换的映射关系，并基于该映射关系实现相机的三维图像重建，无需依赖其他高性能硬件设备或多个相机即可获取场景的深度信息成功进行三维重建，大大降低了设备成本。

基于同一发明构思，本申请实施例公开一种三维图像重建装置，图3示出了一种三维图像重建装置示意图，如图3所示，包括：

在一种可选的实施方式中，所述世界坐标获取模块，包括：

在一种可选的实施方式中，所述像素坐标获取模块，包括：

在一种可选的实施方式中，所述映射计算模块，包括：

在一种可选的实施方式中，所述转换模块，包括：

在一种可选的实施方式中，所述转换模块还包括：

基于同一发明构思，本申请实施例公开一种电子设备，图4示出了本申请实施例提出的电子设备的示意图，如图4所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，以实现本申请实施例公开的三维图像重建方法中的步骤。

基于同一发明构思，本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请实施例公开的三维图像重建方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种三维图像重建方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种三维图像重建方法，其特征在于，包括：

在所述第一区域中，获取所述标定点的世界三维坐标；

2.根据权利要求1所述的三维图像重建方法，其特征在于，在所述第一区域中，获取所述标定点的世界三维坐标，包括：

3.根据权利要求1所述的三维图像重建方法，其特征在于，基于所述待标定图像，确定标定点以及所述标定点的像素坐标，包括：

4.根据权利要求1所述的三维图像重建方法，其特征在于，基于所述世界三维坐标以及所述像素坐标，获取所述单目相机对应的姿态映射关系，包括：

5.根据权利要求1所述的三维图像重建方法，其特征在于，基于所述姿态映射关系，将所述单目相机采集的图像内的点的像素坐标转换为三维坐标，包括：

获取所述第二区域的图像内的点的像素坐标；

6.根据权利要求5所述的三维图像重建方法，其特征在于，在所述第二区域只包含动态对象的情况下，基于目标检测算法，确定所述动态对象在所述待重建图像中对应的区域，作为所述第二区域的图像。

7.根据权利要求5所述的三维图像重建方法，其特征在于，在获取所述第二区域的图像之后，若所述第二区域的图像包含所述标定点，所述方法还包括：

8.根据权利要求1所述的三维图像重建方法，其特征在于，当所述待标定图像为油气站监控图像时，所述静态对象包括以下至少一项：防撞栏、加油机、立柱。

9.一种三维图像重建装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1-8中任一所述的三维图像重建方法中的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-8中任一所述的三维图像重建方法中的步骤。