CN113724335B - 一种基于单目相机的三维目标定位方法及系统 - Google Patents

Abstract

本发明公开了一种基于单目相机的三维目标定位方法及系统。方法包括S1、对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；S2、通过监控相机所拍摄的实时画面，将监控相机配准到步骤S1中的三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；S3、对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报。本发明无需进行机器学习算法的训练，可以广泛应用于各类作业场景。

Description

一种基于单目相机的三维目标定位方法及系统

技术领域

本发明涉及计算机视觉技术领域，更具体地说，特别涉及一种基于单目相机的三维目标定位方法及系统。

背景技术

随着越来越多的室外工作场景对安全的要求越来越高，对与之相关的目标安全检测技术的要求也随之提升，但是目前的移动目标检测技术大多单纯的依赖于2D的图像检测技术，这样的方法无法精确估计目标物在空间中的三维位置。当前3D相机，如双目相机，虽然获得一定的应用，但是仍然很少应用在监控系统、小型无人机当中，限制了该方法的应用范围，并且想要直接获取高精度的3D信息，对物理设备的成本要求较高，推广难。为此，有必要开发一种基于单目相机的三维目标定位方法，其无需对硬件进行改造，并且可以获得目标物在真实场景下的三维位置，不需要训练数据，受环境，纹理信息干扰较小。

发明内容

本发明的目的在于提供一种基于单目相机的三维目标定位方法及系统，以克服现有技术所存在的缺陷。

为了达到上述目的，本发明采用的技术方案如下：

一种基于单目相机的三维目标定位方法，包括以下步骤：

S1、对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；

S2、通过监控相机所拍摄的实时画面，将监控相机配准到步骤S1中的三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；

S3、对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报。

进一步地，所述步骤S1具体包括以下步骤：

S10、使用相机进行各个角度的图像数据的捕捉，对拍摄获取的视频流进行关键帧的提取，获得关键图像帧K＝{K₁，K₂，K₃，...}；

S11、对每一关键图像帧进行SIFT特征点提取，获得P＝{P₁，F₂，P₃，...}，其中F_i为关键帧K_i所对应的特征点集，对关键图像帧间的特征点进行匹配，根据匹配结果，基于匹配特征点使用SFM方法进行稀疏三维重建和相机位姿的恢复，获取稀疏三维模型和每一图像所对应的相机参数信息；

S12、结合相机参数信息，采用多视角立体方法，进行稠密重建，获得每一个相机视角下的图像的稠密深度图D＝{D₁，D₂，D₃，...}，将多个视角下的稠密深度图进行深度融合，剔除视角间一致性小于设定值的三维点，获得作业场景的稠密三维点云模型p＝{p₁，p₁，p₁，...}，其中p_i∈P为三维点云模型中的任意三维点坐标；

S13、将三维点云模型p＝{p₁，p₁，p₁，...}通过点云语义分割方法分割出场景危险区域的点云数据，并计算包围盒B1，B2，B3...Bi。

进一步地，所述步骤S2具体包括以下步骤：

S20、通过监控相机获取场景的实时画面，在某一时刻t下的拍摄画面为图像J_t，对图像J_t进行特征点的提取，并与重建场时的关键图像帧的特征点集合F＝{F₁，F₂，F₃，...}进行匹配，根据是否找到匹配点，定位一组与当前监控画面J_t对应的具有交叠范围的源图片集并将其中最临近的源图片I的相机位姿作为当前单目监控相机在场景下的位姿；

S21、针对图像J_t和源图像集执行捆绑调整操作，通过最小化重投影误差，优化图像J_t的位置t_i和姿态R_i。

进一步地，所述步骤S3具体包括以下步骤：

S30、根据基于图像的目标检测算法，定位移动目标的2D位置；

S31、将接触点位置的平均深度作为移动目标的重心处的深度，并根据移动目标的先验知识，给出移动目标在作业场景下的三维包围盒A；

S32、计算移动目标的三维包围盒A和场景某一危险区域的包围盒Bi的距离，通过计算两个包围盒的中心坐标的距离D，判断是否有包围盒距离小于规定的阈值L+M，若是则触发警报，其中L为移动目标包围盒的最长边，M为当前待判定的危险区域包围盒Bi的最长边。

进一步地，所述步骤S2中的监控相机为架设再地面的相机或无人机搭载的相机。

进一步地，所述步骤S11中的相机参数信息为相机内参数和外参数，所述相机内参数包括焦距、主点和畸变系数，所述外参数包括相对世界坐标原点的旋转R和平移t。

本发明还提供一种用于实现上述基于单目相机的三维目标定位方法的系统，包括：

三维重建模块，用于对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；

配准模块，用于通过监控相机所拍摄的实时画面，将监控相机配准到三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；

判断模块，用于对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报；

所述三维重建模块、配准模块和判断模块依次连接。

与现有技术相比，本发明的优点在于：本发明无需进行机器学习算法的训练，可以广泛应用于各类作业场景，本发明通过预先对作业场景进行三维重建，在作业之前将监控相机配准到三维场景，通过施工人员、车辆等移动目标与场景的接触位置的检测，获得施工人员、车辆等移动目标的的三维包围盒，可应用于施工人员、车辆与施工场景下危险区域间的距离定位，提升施工的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于单目相机的三维目标定位示意图。

图2是本发明基于单目相机的三维目标定位方法的流程图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施例一

参阅图1和图2所示，本实施例公开了一种基于单目相机的三维目标定位方法，包括以下步骤：

步骤S1、对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型。具体包括：

首先，使用高清相机进行各个角度的图像数据的捕捉，对拍摄获取的视频流进行关键帧的提取，获得关键图像帧K＝{K₁，K₂，K₃，...}。

然后，对每一关键图像帧进行SIFT特征点提取，获得F＝{F₁，F₂，F₃，...}，其中F_i为关键帧K_i所对应的特征点集，对关键图像帧间的特征点进行匹配，根据匹配结果，基于匹配特征点使用SFM(Structure from Motion)方法进行稀疏三维重建和相机位姿的恢复，获取稀疏三维模型和每一图像所对应的相机参数信息，相机参数信息包括内参数(焦距、主点和畸变系数)和外参数(相对世界坐标原点的旋转R和平移t)。在此基础上，对稀疏点云模型，进行捆绑调整(Bundle Adjustment)，优化所有相机的参数和三维点云的位置。

其次，结合相机参数信息，采用多视角立体(Multi-view stereo)方法，进行稠密重建，获得每一个相机视角下的图像的稠密深度图D＝{D₁，D₂，D₃，...}，将多个视角下的稠密深度图进行深度融合，剔除视角间一致性小于设定值的三维点，获得作业场景的稠密三维点云模型P＝{p₁，p₁，p₁，…}，其中p_i∈P为三维点云模型中的任意三维点坐标；本实施例的这一重建过程是在作业开始前进行的，通过对作业场景进行三维重建，将可以获得场景的完整三维模型。

最后，将三维点云模型P＝{p₁，p₁，p₁，...}通过点云语义分割方法分割出场景危险区域的点云数据，并计算包围盒B1，B2，B3...Bi。

步骤S2、在作业即将开始之前，将监控相机放置在场景中，本实施例所假设的监控相机不限于传统意义上的固定的相机，也涵盖了无人机搭载的摄像头等动态监控情况。假设监控相机的内参数已经预先通过拍摄棋盘格的多角度图像的方法标定。通过监控相机捕获的场景画面，将其与三维场景P进行配准。即是通过监控相机所拍摄的实时画面，将监控相机配准到步骤S1中的三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图。具体包括：

首先，通过监控相机获取场景的实时画面，在某一时刻t下的拍摄画面为图像j_t，对图像J_t进行特征点的提取，并与重建场时的关键图像帧的特征点集合F＝{F₁，F₂，F₃，...}进行匹配，根据是否找到匹配点，定位一组与当前监控画面J_t对应的具有交叠范围的源图片集并将其中最临近的源图片l的相机位姿((旋转矩阵R₁，和平移向量t_i))作为当前单目监控相机在场景下的位姿。

然后，针对图像J_t和源图像集执行捆绑调整操作(bundle adiustment)，通过最小化重投影误差，优化图像J_t的位置t_i和姿态R_i。

步骤S3、对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报。具体包括：

首先，根据基于图像的目标检测算法，定位移动目标的2D位置，本实施例提出一种简单的图像目标检测方法：移动目标进入视野时，根据背景图像和当前包含移动目标图像做差，获得2D图像上定位移动的位置，并通过形态学操作过滤可能的噪声。检测移动目标与作业场景的接触点集合M＝{m₁，m₂，m₃，...}，如人员与地面的接触位置。由于M的三维信息在步骤一中已经进行了重建，通过步骤S2中估计出的当前监控画面J_t上，基于以上步骤获得监控相机所观察的场景深度图所对应的相机参数t_i和姿态R_i，可以很容易的将场景点M投影到当前画面，并计算出对应的深度。通过考虑物体间的遮挡，每接触点选择最小的投影深度作为深度值，根据新相机的参数信息，和移动目标接触的环境区域的边缘信息的深度信息。

然后，将接触点位置的平均深度作为移动目标的重心处的深度，并根据移动目标的先验知识，如成年男性人体的身高大约在1.6米-1.8米之间，给出移动目标在作业场景下的三维包围盒A。

最后，计算移动目标的三维包围盒A和场景某一危险区域的包围盒Bi的距离，通过计算两个包围盒的中心坐标的距离D，判断是否有包围盒距离小于规定的阈值L+M，若是则触发警报(即若D＜L+M，则认为目标物体距离危险区域过近，触发警报)，其中L为移动目标包围盒的最长边，M为当前待判定的危险区域包围盒Bi的最长边。

本发明无需进行机器学习算法的训练，可以广泛应用于各类作业场景，本发明通过预先对作业场景进行三维重建，在作业之前将监控相机配准到三维场景，通过施工人员、车辆等移动目标与场景的接触位置的检测，获得施工人员、车辆等移动目标的的三维包围盒，可应用于施工人员、车辆与施工场景下危险区域间的距离定位，提升施工的安全性。

实施例二

本实施例还提供一种用于实现实施例一所述基于单目相机的三维目标定位方法的系统，包括：三维重建模块，用于对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；配准模块，用于通过监控相机所拍摄的实时画面，将监控相机配准到三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；判断模块，用于对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报，所述三维重建模块、配准模块和判断模块依次连接。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (4)

1.一种基于单目相机的三维目标定位方法，其特征在于，包括以下步骤：

S1、对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；

S2、通过监控相机所拍摄的实时画面，将监控相机配准到步骤S1中的三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；

S3、对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报；

所述步骤S1具体包括以下步骤：

S10、使用相机进行各个角度的图像数据的捕捉，对拍摄获取的视频流进行关键帧的提取，获得关键图像帧K＝{K₁，K₂，K₃，...}；

S11、对每一关键图像帧进行SIFT特征点提取，获得F＝{F₁，F₂，F₃，...}，其中F_i为关键帧K_i所对应的特征点集，对关键图像帧间的特征点进行匹配，根据匹配结果，基于匹配特征点使用SFM方法进行稀疏三维重建和相机位姿的恢复，获取稀疏三维模型和每一图像所对应的相机参数信息；

S12、结合相机参数信息，采用多视角立体方法，进行稠密重建，获得每一个相机视角下的图像的稠密深度图D＝{D₁，D₂，D₃，...}，将多个视角下的稠密深度图进行深度融合，剔除视角间一致性小于设定值的三维点，获得作业场景的稠密三维点云模型P＝{p₁，p₁，p₁，…}，其中p_i∈P为三维点云模型中的任意三维点坐标；

S13、将三维点云模型P＝{p₁，p₁，p₁，...}通过点云语义分割方法分割出场景危险区域的点云数据，并计算包围盒B1，B2，B3…Bi；

所述步骤S2具体包括以下步骤：

S20、通过监控相机获取场景的实时画面，在某一时刻t下的拍摄画面为图像J_t，对图像J_t进行特征点的提取，并与重建场时的关键图像帧的特征点集合F＝{F₁，F₂，F₃，...}进行匹配，根据是否找到匹配点，定位一组与当前监控画面J_t对应的具有交叠范围的源图片集并将其中最临近的源图片I的相机位姿作为当前单目监控相机在场景下的位姿；

S21、针对图像J_t和源图像集执行捆绑调整操作，通过最小化重投影误差，优化图像J_t的位置t_i和姿态R_i；

所述步骤S3具体包括以下步骤：

S30、根据基于图像的目标检测算法，定位移动目标的2D位置；

S31、将接触点位置的平均深度作为移动目标的重心处的深度，并根据移动目标的先验知识，给出移动目标在作业场景下的三维包围盒A；

S32、计算移动目标的三维包围盒A和场景某一危险区域的包围盒Bi的距离，通过计算两个包围盒的中心坐标的距离D，判断是否有包围盒距离小于规定的阈值L+M，若是则触发警报，其中L为移动目标包围盒的最长边，M为当前待判定的危险区域包围盒Bi的最长边。

2.根据权利要求1所述的基于单目相机的三维目标定位方法，其特征在于，所述步骤S2中的监控相机为架设再地面的相机或无人机搭载的相机。

3.根据权利要求1所述的基于单目相机的三维目标定位方法，其特征在于，所述步骤S11中的相机参数信息为相机内参数和外参数，所述相机内参数包括焦距、主点和畸变系数，所述外参数包括相对世界坐标原点的旋转R和平移t。

4.一种用于实现权利要求1-3任意一项所述的基于单目相机的三维目标定位方法的系统，其特征在于，包括：

三维重建模块，用于对目标作业场景进行预先重建，以形成目标作业场景的三维点云模型；

配准模块，用于通过监控相机所拍摄的实时画面，将监控相机配准到三维点云模型中以获得监控相机相对于三维点云模型的位置和姿态，将场景的三维点云投影到当前监控相机的图像上，获得单目监控相机所感知的场景深度图；

判断模块，用于对移动目标的2D包围盒进行检测，判断移动目标与场景的接触位置，使用接触位置的深度推断移动目标的3D包围盒，通过移动目标的3D包围盒和场景中危险物体的3D包围盒判断移动目标是否处于安全距离，若大于安全阀值则触发警报；

所述三维重建模块、配准模块和判断模块依次连接。