CN112894832A - 三维建模方法、装置、电子设备和存储介质 - Google Patents

三维建模方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112894832A
CN112894832A CN202010274449.2A CN202010274449A CN112894832A CN 112894832 A CN112894832 A CN 112894832A CN 202010274449 A CN202010274449 A CN 202010274449A CN 112894832 A CN112894832 A CN 112894832A
Authority
CN
China
Prior art keywords
point cloud
cloud data
current
dimensional point
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010274449.2A
Other languages
English (en)
Other versions
CN112894832B (zh
Inventor
赵键
陈刚
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Publication of CN112894832A publication Critical patent/CN112894832A/zh
Application granted granted Critical
Publication of CN112894832B publication Critical patent/CN112894832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

本发明实施例公开了一种三维建模方法、装置、电子设备和存储介质。该方法包括：采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；获取测量装置在当前测量站点的当前定位信息；获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。本发明实施例的技术方案，基于多传感器信息融合技术，解决了基于单一传感器难以在复杂环境下实现精确且完整的三维建模的问题，实现了高效、精确且高鲁棒性的三维建模。

Description

三维建模方法、装置、电子设备和存储介质
技术领域
本申请基于2019年11月19日在国内申请的中国专利201911135067.5要求优先权，其公开内容通过引用合并于此。
本发明实施例涉及三维建模技术领域，尤其涉及一种三维建模方法、装置、电子设备和存储介质。
背景技术
三维建模技术是智能体携带其传感器在运动过程中对自身进行定位，同时以合适的方式描述周围的环境并建立真实世界的三维模型。三维建模技术能够比传统的文字、图像和视频等方式更高效且直观地呈现信息；而且，在建筑工地等复杂环境下，相对于传统的GPS定位，三维建模技术可以在未知复杂环境中更好地实现环境感知、场景建模以及实时导航和定位。
目前，经典的三维建模技术按照传感器可以分为基于激光雷达的三维建模技术、基于深度传感器的三维建模技术和基于视觉传感器的三维建模技术等。其中，激光雷达的优点是数据精度较高且后期处理简单，缺点是因价格昂贵而无法广泛使用、因测量数据稀疏而对环境感知较少以及因测量距离有限而在空旷区域无法使用。深度传感器因能够实时通过红外结构光获得空间结构信息而有利于实时建立稠密的三维地图，但是，因其使用红外结构光而无法在光线充足的室外场景中实现定位建图。视觉传感器因基于图像内容获得空间结构信息而有利于在室内室外实现三维建模，但其三维成像的精度较低且建模能力严重依赖于环境的几何结构和纹理信息。综上可知，基于单一传感器的三维建模技术都存在些许不足，难以在复杂环境下实现精确的三维建模。
发明内容
本发明实施例提供了一种三维建模方法、装置、电子设备和存储介质，以实现复杂环境下的精确的三维建模的效果。
第一方面，本发明实施例提供了一种三维建模方法，可以包括：
采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；
获取测量装置在当前测量站点的当前定位信息，其中，测量装置包括不同类型的第一传感器和第二传感器，第一三维点云数据由第一传感器采集得到，第二三维点云数据由第二传感器采集得到；
获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
本发明实施例的技术方案，通过不同类型的第一传感器和第二传感器，分别采集当前测量站点的第一三维点云数据和第二三维点云数据，并基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；获取测量装置在当前测量站点的当前定位信息，以及与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，由此，根据当前定位信息和相邻定位信息，可对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。上述技术方案，基于多传感器信息融合技术，解决了基于单一传感器难以在复杂环境下实现精确且完整的三维建模的问题，达到了高效、精确且高鲁棒性的三维建模的效果。
可选的，根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据，可以包括：
根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准；
对初始配准结果进行精确配准，得到三维建模数据。
本发明实施例的技术方案，通过根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准，并对初始配准结果进行精确配准，得到三维建模数据，实现了三维点云数据的精确拼接和建模。
可选的，采集当前测量站点的第一三维点云数据，可以包括：
获取第一传感器在当前测量站点采集到的各个旋转角度上的RGB图像和深度图像，并根据第一传感器的内参分别求解各旋转角度上的深度图像在RGB图像对应处的第一三维坐标；
根据各第一三维坐标得到第一三维点云数据，其中，第一三维点云数据的第一坐标系的原点为第一传感器的光心的位置。
可选的，内参为第一传感器在x方向上的焦距fx和y方向上的焦距fy，以及RGB图像的中心像素坐标(cx,cy)，深度图像在(xd,yd)处对应的第一三维坐标为：
Figure BDA0002444268770000031
其中，Depth(xd,yd)为深度图像在(xd,yd)处的像素值。
可选的，采集当前测量站点的第二三维点云数据，可以包括：
获取第二传感器在当前测量站点采集到的各个旋转角度上的第二三维坐标，并根据各第二三维坐标得到第二三维点云数据，其中，第二三维点云数据的第二坐标系的原点为第二传感器的光心的位置。
可选的，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据，可以包括：
根据预先标定的第一传感器和第二传感器间的外参，将第二三维点云数据转换到第一三维点云数据的第一坐标系中，并基于经坐标转换后的第二三维点云数据得到当前测量站点的当前三维点云数据，其中，外参是第二传感器相对于第一传感器的旋转矩阵和平移矢量。
可选的，将第二三维点云数据转换到第一三维点云数据的第一坐标系中，可以包括：
通过以下公式计算得出第二三维点云数据在第一三维点云数据的第一坐标系下的已转换三维坐标P＝(XDepth,YDepth,ZDepth)：P＝R*Q+t，其中，Q＝(XLidar,YLidar,ZLidar)为第二三维点云数据在第二三维点云数据的第二坐标系下的未转换三维坐标，R为旋转矩阵，t为平移矢量。
可选的，基于经坐标转换后的第二三维点云数据得到当前测量站点的当前三维点云数据，可以包括：
将第一三维点云数据以及经坐标转换后的第二三维点云数据进行叠加，得到当前测量站点的当前三维点云数据。
本发明实施例的技术方案，通过将第二三维点云数据转换到第一三维点云数据的第一坐标系中，并将第一三维点云数据以及经坐标转换后的第二三维点云数据进行叠加，由此实现了当前测量站点的当前三维点云数据的测量。
可选的，获取测量装置在当前测量站点的当前定位信息，可以包括：
实时获取测量装置的位移信息和姿态信息，并融合位移信息和姿态信息，得到测量装置的实时位置；
获取测量装置在当前测量站点扫描到的当前平面结构图；根据实时位置和当前平面结构图，得到测量装置在当前测量站点的当前定位信息。
本发明实施例的技术方案，通过实时获取的测量装置的位移信息和姿态信息，能够得到测量装置的实时位置，进而，根据测量装置扫描到的当前平面结构图和测量装置的实时位置，能够得到当前测量站点的精准的当前定位信息，该当前定位信息即为当前测量站点的已校准的位置信息。
可选的，实时获取测量装置的位移信息和姿态信息，可以包括：
实时读取测量装置中车轮里程计的里程信息，根据里程信息计算出测量装置的位移信息；
实时获取测量装置中惯性测量单元的姿态信息。
可选的，融合位移信息和姿态信息，得到测量装置的实时位置，可以包括：
通过姿态信息的预积分得到预定时间内测量装置的移动速度，通过移动速度的二次积分得到预定时间内测量装置的移动距离；
根据移动距离与预定时间内的位移信息，得到测量装置的实时位置。
可选的，根据实时位置和当前平面结构图，得到测量装置在当前测量站点的当前定位信息，可以包括：
获取与当前平面结构图相邻的前一时刻的平面结构图；
将当前平面结构图与相邻的前一时刻的平面结构图进行图像轮廓的匹配，根据匹配结果和测量装置在前一时刻的实时位置，得到测量装置在当前测量站点的当前定位信息。
可选的，根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准，可以包括：
针对当前定位信息(xN-1,yN-1,zN-1)和相邻定位信息(xN,yN,zN)，由以下公式计算出当前测量站点和前一测量站点间的初始变换矩阵T0，
Figure BDA0002444268770000061
Figure BDA0002444268770000062
利用初始变换矩阵T0，对当前三维点云数据和相邻三维点云数据进行初始配准。
可选的，对初始配准结果进行精确配准，得到三维建模数据，可以包括：
根据初始配准后的已配准三维点云数据，生成当前测量站点的当前全景RGB图像和当前全景深度图像，并根据当前全景RGB图像、当前全景深度图像和前一测量站点的相邻全景RGB图像进行特征提取和匹配；
根据特征提取和匹配的结果，得到三维建模数据。
可选的，根据当前全景RGB图像、当前全景深度图像和前一测量站点的相邻全景RGB图像进行特征提取和匹配，可以包括：
根据当前全景RGB图像和前一测量站点的相邻全景RGB图像提取出关键不变特征点，并从当前全景深度图像中提取出与关键不变特征点对应的关键深度特征点；
根据关键深度特征点，得到关键不变特征点的关键三维坐标；
根据关键三维坐标，从已配准三维点云数据和相邻三维点云数据中提取几何特征，并根据提取结果对已配准三维点云数据和相邻三维点云数据的几何特征进行匹配。
可选的，关键不变特征点包括：SIFT、SURF、AKAZE、ORB中的一种或多种。
可选的，根据特征提取和匹配的结果，得到三维建模数据，可以包括：
根据特征提取和匹配的结果，利用迭代最近邻点匹配算法ColorICP对已配准三维点云数据进行拼接，得到三维建模数据。
第二方面，本发明实施例还提供了一种执行上述任意三维建模方法的测量装置，该测量装置可以包括三维建模系统，该三维建模系统可以包括：
融合采集模块，用于采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据，其中，第一三维点云数据和第二三维点云数据由不同类型的传感器采集得到；
导航定位模块，用于获取测量装置在当前测量站点的当前定位信息；
数据配准模块，用于获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
本发明实施例提供的技术方案，通过融合采集模块分别采集当前测量站点的第一三维点云数据和第二三维点云数据，并基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；导航定位模块获取测量装置在当前测量站点的当前定位信息；数据配准模块获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，由此，根据当前定位信息和相邻定位信息，可对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。上述装置，基于多传感器信息融合技术，解决了基于单一传感器难以在复杂环境下实现精确且完整的三维建模的问题，达到了高效、精确且高鲁棒性的三维建模的效果。
第三方面，本发明实施例还提供了一种电子设备，该电子设备可以包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的三维建模方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的三维建模方法。
附图说明
图1是本发明实施例一中的一种三维建模方法的流程图；
图2是本发明实施例一中的一种三维建模方法中测量装置的结构示意图；
图3是本发明实施例二中的一种三维建模方法的流程图；
图4是本发明实施例三中的一种三维建模方法的流程图；
图5是本发明实施例三中的一种三维建模方法的优选实施例图；
图6是本发明实施例四中的一种测量装置中三维建模系统的结构框图；
图7是本发明实施例五中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：对大范围室内建筑工地进行精确三维建模，是测量装置完成实测实量任务的重要前提和基础，该测量装置可以是建筑测量机器人。一般而言，待测量场景多为纹理结构较为简单重复的室内场景(如，毛坯房)，且多为半开放状态(如，门窗未安装)，而基于单一传感器的三维建模技术都存在些许不足，难以在复杂环境下实现精确且完整的三维建模，因此，基于多传感器信息融合的三维建模技术的应用需求受到了越来越多的关注。
多传感器信息融合(Multi-sensor Information Fusion，MSIF)是将不同传感器在相近时间段内获取到的多种信息，基于某种对应准则，利用相关技术实现信息融合，由此消除传感器间的误差并实现融合互补的过程。由此，在将多传感器信息融合技术应用于三维建模领域时，其结合了不同传感器信息的互补性，可以获取较为完整的信息，从而可应用于建筑工地等复杂环境的三维建模，尤其是可应用于纹理结构较为简单重复的室内场景的三维建模，保证了各种环境下的三维模型的准确性和稳定性。
实施例一
图1是本发明实施例一中提供的一种三维建模方法的流程图。本实施例可适用于三维建模的情况，尤其适用于复杂环境的三维建模的情况。该方法可以由本发明实施例提供的三维建模系统来执行，该系统可以由软件和/或硬件的方式实现，该系统可以集成在测量装置上。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据，其中，第一三维点云数据是由测量装置中的第一传感器采集得到的，第二三维点云数据是由测量装置中的第二传感器采集得到的，第一传感器和第二传感器是不同类型的传感器。
其中，待测量场景包括多个测量站点，以测量站点中的当前测量站点为例，当测量装置行驶到当前测量站点时，基于测量装置中的第一传感器可以采集到当前测量站点的第一三维点云数据，且基于测量装置中的第二传感器可以采集到当前测量站点的第二三维点云数据。进一步，可将第一三维点云数据和第二三维点云数据进行数据融合，得到当前测量站点的当前三维点云数据，实现了单测量站点的数据融合采集。
需要说明的是，一方面，第一传感器和第二传感器是不同类型的传感器，比如，它们可以是激光雷达、深度传感器和视觉传感器中的任意两个传感器，也可以是其余的传感器，在此未做具体限定。在第一传感器和第二传感器实现水平方向和垂直方向的多角度旋转后，可以实现当前测量站点的360°全景扫描，根据扫描结果可以分别得到第一三维点云数据和第二三维点云数据。
另一方面，融合第一三维点云数据和第二三维点云数据的方式有多种，可选的，因基于不同的传感器采集得到的第一三维点云数据和第二三维点云数据位于不同的坐标系中，坐标统一是数据融合的一个可选前提。由此，可以先根据预先标定的第一传感器和第二传感器间的外参，将第二三维点云数据转换到第一三维点云数据的第一坐标系中，再基于经坐标转换后的第二三维点云数据得到当前测量站点的当前三维点云数据，比如，可以将第一三维点云数据以及经坐标转换后的第二三维点云数据进行叠加，由此得到当前测量站点的当前三维点云数据。当然，还可以通过其它的方式实现第一三维点云数据和第二三维点云数据的融合，在此不再赘述。
在此基础上，可选的，可以通过公式P＝R*Q+t计算得出第二三维点云数据在第一三维点云数据的第一坐标系下的已转换三维坐标P＝(XDepth,YDepth,ZDepth)，其中，Q＝(XLidar,YLidar,ZLidar)为第二三维点云数据在第二三维点云数据的第二坐标系下的未转换三维坐标，R为第二传感器相对于第一传感器的旋转矩阵，t为第二传感器相对于第一传感器的平移矢量，R和t是预先标定的第一传感器和第二传感器间的外参。
S120、获取测量装置在当前测量站点的当前定位信息。
其中，获取测量装置在当前测量站点的当前定位信息的方式有多种，例如，可以基于某定位模块直接获取当前定位信息；可以根据已获取的与当前测量站点相邻的前一测量站点的相邻定位信息，以及测量装置由前一测量站点行驶到当前测量站点的相对位移变化，确定当前定位信息；还可以根据已获取的起始测量站点(即，测量装置在行驶过程中的起始点)的起始定位信息，以及测量装置由起始测量站点行驶到当前测量站点的相对位移变化，确定当前定位信息；等等，在此未做具体限定。
S130、获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
其中，测量装置通常是由一个测量站点行驶到另一个测量站点，因此，除原始测量站点外，每个测量站点都存在与其相邻的前一测量站点，而前一测量站点的相邻三维点云数据和相邻定位信息的获取方式，可参见当前测量站点的当前三维点云数据和当前定位信息的获取方式，在此不再赘述。进一步，可根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到当前测量站点的三维建模数据。再进一步，根据各测量站点的三维建模数据，可得到待测量场景的三维建模数据。
本发明实施例的技术方案，通过不同类型的第一传感器和第二传感器，分别采集当前测量站点的第一三维点云数据和第二三维点云数据，并基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；获取测量装置在当前测量站点的当前定位信息，以及与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，由此，根据当前定位信息和相邻定位信息，可对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。上述技术方案，基于多传感器信息融合技术，解决了基于单一传感器难以在复杂环境下实现精确且完整的三维建模的问题，达到了高效、精确且高鲁棒性的三维建模的效果。
一种可选的技术方案，可选的，可以通过如下步骤采集当前测量站点的第一三维点云数据：获取第一传感器在当前测量站点采集到的各个旋转角度上的RGB图像和深度图像，并根据第一传感器的内参分别求解各旋转角度上的深度图像在RGB图像对应处的第一三维坐标；根据各第一三维坐标得到第一三维点云数据，其中，第一三维点云数据的第一坐标系的原点为第一传感器的光心的位置。在此基础上，可选的，内参为第一传感器在x方向上的焦距fx和y方向上的焦距fy，以及RGB图像的中心像素坐标(cx,cy)，由此，深度图像在(xd,yd)处对应的第一三维坐标为：
Figure BDA0002444268770000131
其中，Depth(xd,yd)为深度图像在(xd,yd)处的像素值。
一种可选的技术方案，可选的，可以通过如下步骤采集当前测量站点的第二三维点云数据：获取第二传感器在当前测量站点采集到的各个旋转角度上的第二三维坐标，并根据各第二三维坐标得到第二三维点云数据，其中，第二三维点云数据的第二坐标系的原点为第二传感器的光心的位置。
为了更好地理解上述单测量站点的数据融合采集的具体实现过程，如图2所示，以测量装置为建筑测量机器人为例，建筑测量机器人包括双目结构光深度相机(即，双目结构光RGBD相机)、多线扫描激光雷达、双轴云台以及自动导引运输车(Automated GuidedVehicle，AGV)底盘，双目结构光深度相机和多线扫描激光雷达相互配合，可以解决在阳光直射情况下深度相机无法成像以及激光雷达精度分辨率较低的问题。
当建筑测量机器人行驶到当前测量站点时，双轴云台可在垂直方向将深度相机进行垂直预设角度的多次俯仰旋转，且可在水平方向沿着水平预设角度进行旋转，由此完成单测量站点的全景式360°扫描。一种示例性的旋转方案，若深度相机的垂直方向的视场角是40°，且水平方向的视场角是70°，则垂直预设角度可小于40°，水平预设角度可小于70°，由此，在相邻角度下得到的两帧图像存在重叠区域，这有助于后续的图像拼接。以垂直预设角度是30°，水平预设角度是60°为例，可选的，双轴云台在水平方向旋转60°后，在垂直方向进行俯仰旋转(旋转6次，每次旋转30°)，以采集垂直方向180°范围内的多帧RGB图像和深度图像；然后，双轴云台再在水平方向旋转60°后，再在垂直方向进行俯仰旋转(旋转6次，每次旋转30°)，依次类推，直至双轴云台在水平方向旋转6次，此时可构成一个球面，实现了全景式360°的单测量站点的数据采集。当然，双轴云台也可以在水平方向旋转180°，在垂直方向旋转360°，等等，在此未做具体限定。
在获取到深度相机在当前测量站点采集到的各个旋转角度上的RGB图像和深度图像后，可根据深度相机在x方向上的焦距fx和y方向上的焦距fy，以及RGB图像的中心像素坐标(cx,cy)，求解出每帧深度图像中每个像素点在对应角度的RGB图像中对应位置的深度相机三维坐标(即，第一三维坐标)。例如，以某深度图像中某坐标为(xd,yd)的像素点为例，该像素点的像素值为Depth(xd,yd)，该像素值即为该像素点到图像采集器的距离，由此，该深度图像在该像素点处对应的三维点的深度相机三维坐标为：
Figure BDA0002444268770000141
由此，通过求解某深度图像中每个像素点对应的深度相机三维坐标后，即可得到该深度图像对应的第一三维点云数据，或是说，当前测量站点的各深度图像对应的第一三维点云数据，该第一三维点云数据对应的深度相机坐标系(即，第一坐标系)的原点为深度相机的光心的位置。
深度相机在各个旋转角度采集数据的同时，激光雷达也一直进行扫描，由此可获得激光雷达在各个旋转角度扫描得到的各个三维点的激光雷达三维坐标(即，第二三维坐标)，并根据各激光雷达三维坐标得到第二三维点云数据，该第二三维点云数据对应的激光雷达坐标系(即，第二坐标系)的原点为激光雷达的光心的位置。
进一步，利用预先标定的激光雷达与深度相机的外参(即，激光雷达相对于深度相机的光心的旋转矩阵R和平移矢量t)，通过公式P＝R*Q+t将两者采集到的三维点云数据进行融合拼接处理。其中，激光雷达的物理中心为激光雷达对应的激光雷达坐标系的原点，Q＝(XLidar,YLidar,ZLidar)为激光雷达坐标系下的第二三维点云数据中某个三维点的激光雷达三维坐标，其也可称为未转换三维坐标，此时，可通过上述公式将激光雷达坐标系下的每个激光雷达三维坐标Q转换为深度相机坐标系中的P＝(XDepth,YDepth,ZDepth)，P也可称为已转换三维坐标，由此得到经坐标转换后的第二三维点云数据。然后，将经坐标转换后的第二三维点云数据和第一三维点云数据中的相应坐标相加，以此将两个三维点云数据融合为一个当前三维点云数据，最终得到了当前测量站点处的当前三维点云数据以及RGB图像。
实施例二
图3是本发明实施例二中提供的一种三维建模方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据，可包括：根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准；对初始配准结果进行精确配准，得到三维建模数据。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例的方法具体可以包括如下步骤：
S210、采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据，其中，第一三维点云数据是由测量装置中的第一传感器采集得到的，第二三维点云数据是由测量装置中的第二传感器采集得到的，第一传感器和第二传感器是不同类型的传感器。
S220、获取测量装置在当前测量站点的当前定位信息，以及与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息。
S230、根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准。
其中，初始配准的实现方式有多种，比如，针对当前定位信息(xN-1,yN-1,zN-1)和相邻定位信息(xN,yN,zN)，可通过公式
Figure BDA0002444268770000161
计算出当前测量站点和前一测量站点间的初始变换矩阵T0，利用初始变换矩阵T0，对当前三维点云数据和相邻三维点云数据进行初始配准，比如，以相邻三维点云数据为参考，基于相邻三维点云数据和初始变换矩阵T0，对当前三维点云数据进行变换，得到已配准三维点云数据。当然，也可以基于其余方式实现当前三维点云数据和相邻三维点云数据的初始配准，在此不再赘述。
需要说明的是，初始配准设置的原因在于，以第一传感器是深度相机为例，本发明实施例所述的深度相机是在每个测量站点进行拍照，其并非是实时拍照的，由此，若两个测量站点间的间隔较远如间隔几米，则两个测量站点间的图像变化较大，此时很难直接实现两个测量站点间的图像的精确配准。相应的，初始配准可保证两个测量站点间的图像的基本一致性，此后再基于精确配准实现每个像素点的微调，这可提高配准精度。
S240、对初始配准结果进行精确配准，得到三维建模数据。
其中，精确配准的实现方式有多种，比如，可根据初始配准后的已配准三维点云数据，生成当前测量站点的当前全景RGB图像和当前全景深度图像，具体的，可根据已配准三维点云数据、数据采集角度、结构几何尺寸以及手眼标定结果，生成当前全景RGB图像和当前全景深度图像；进而，可根据当前全景RGB图像、当前全景深度图像和前一测量站点的相邻全景RGB图像进行特征提取和匹配；由此，可根据特征提取和匹配的结果，得到三维建模数据，比如，可根据特征提取和匹配的结果，实现已配准三维点云数据和相邻三维点云数据的拼接，得到当前拼接结果；进而，利用迭代最近邻点匹配算法ColorICP，对当前拼接结果和已存拼接结果进行精确拼接，实现多测量站点间各三维点云数据的精确拼接，得到待测量场景的三维建模数据，其中，若当前测量站点是第N个测量站点，该已存拼接结果可以是前N-1个测量站点的三维点云数据的已存储的拼接结果。
需要说明的是，特征提取和匹配的实现方式有多种，比如，可根据当前全景RGB图像和前一测量站点的相邻全景RGB图像提取出关键不变特征点，该关键不变特征点可以是尺度不变特征变换特征点(Scale-invariant feature transform，SIFT)、加速鲁棒特征点(Speeded-Up Robust Features，SURF)、加速KAZE特征点(Accelerated KAZE Features，AKAZE)、ORB(Oriented FAST and Rotated BRIEF)中的一种或多种；RGB图像是二维图像且存在纹理信息，深度图像可以呈现出三维坐标但未存在纹理信息，由此，可在当前全景RGB图像中基于纹理信息提取关键不变特征点，然后将关键不变特征点映射到当前全景深度图像中，即从当前全景深度图像中提取出与关键不变特征点对应的关键深度特征点，此时，可根据关键深度特征点，尤其是根据关键不变特征点以及第一传感器的内参和外参，得到关键不变特征点的关键三维坐标；进而，根据关键三维坐标从已配准三维点云数据和相邻三维点云数据中提取几何特征，该几何特征可以是成对点对的几何特征KPPF及其描述子，并根据提取结果对已配准三维点云数据和相邻三维点云数据的几何特征进行匹配。
本发明实施例的技术方案，通过根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准，并对初始配准结果进行精确配准，得到三维建模数据，实现了三维点云数据的精确拼接和建模。
为了更好地理解上述数据配准的具体实现过程，下面结合具体示例对其进行说明。示例性，这一数据配准过程可以包括两站数据初始配准、两站数据融合特征提取与匹配、以及两站数据精确拼接这3个部分。
具体的，在两站数据初始配准中，根据已获取的当前定位信息可得到当前测量站点的当前三维坐标(xN,yN,zN)，类似的，根据已获取的相邻定位信息可得到相邻测量站点的相邻三维坐标(xN-1,yN-1,zN-1)，由此，根据这两个三维坐标以及公式
Figure BDA0002444268770000181
可得到当前测量站点和相邻测量站点间的初始变换矩阵T0；由此，基于该初始变换矩阵T0可对当前三维点云数据和相邻三维点云数据进行初始配准，得到已配准三维点云数据。
在两站数据融合特征提取与匹配中，根据深度相机采集到的各个旋转角度上的RGB图像和深度图像，按照双轴云台的旋转角度、结构几何尺寸以及手眼标定的结果，可生成当前测量站点的经过校准后的当前全景RGB图像与当前全景深度图像。进一步，基于类似方式生成前一测量站点的相邻全景RGB图像与相邻全景深度图像，并在两幅全景RGB图像中提取关键不变特征点；然后，可从当前全景深度图像中得到同样位置的关键深度特征点，比如，若某个关键不变特征点是当前全景RGB图像的中心点，则当前全景深度图像的中心点是该关键不变特征点对应的关键深度特征点；由此，根据各关键深度特征点、深度相机的内参和外参，可以将各关键不变特征点投影至当前三维点云数据中，得到关键不变特征点的关键三维坐标，由此实现了当前全景RGB图像与当前三维点云数据的融合。进一步，根据上述关键三维坐标，可实现关键不变特征点的成对点对的几何特征(KPPF)及其描述子的提取，该描述子亦可称为特征值，这一特征提取过程是在已配准三维点云数据中提取特征，由此，可根据特征提取结果，实现两个测量站点的三维几何特征的匹配。
在两站数据精确拼接中，根据上述两站数据融合特征提取与匹配的结果，将初始配准的已配准三维点云数据进行进一步的精确拼接，然后，利用ColorICP(结合RGB彩色信息的迭代最近邻点匹配算法)融合精确配准技术完成各个测量站点的三维点云数据的精确拼接。上述技术方案，融合RGB图像与三维点云数据，实现了关键不变特征点的成对点对几何特征的提取与匹配，进而实现了多测量站点间各三维点云数据的精确拼接。
实施例三
图4是本发明实施例三中提供的一种三维建模方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，获取测量装置在当前测量站点的当前定位信息，具体可包括：实时获取测量装置的位移信息和姿态信息，并融合位移信息和姿态信息，得到测量装置的实时位置；获取测量装置在当前测量站点扫描到的当前平面结构图；根据实时位置和当前平面结构图，得到测量装置在当前测量站点的当前定位信息。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图4，本实施例的方法具体可以包括如下步骤：
S310、采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据，其中，第一三维点云数据是由测量装置中的第一传感器采集得到的，第二三维点云数据是由测量装置中的第二传感器采集得到的，第一传感器和第二传感器是不同类型的传感器。
S320、实时获取测量装置的位移信息和姿态信息，并融合位移信息和姿态信息，得到测量装置的实时位置。
其中，位移信息可以通过测量装置中车轮里程计的里程信息计算得到，姿态信息可以从测量装置中的惯性测量单元获取。当然，上述获取方案只是可选方案，其余的可实时获取测量装置的位移信息和姿态信息的技术方案，在此不再赘述。进一步，对位移信息和姿态信息进行融合，这可以消除明显的位移误差和方向误差，由此得到测量装置的实时位置。上述信息融合过程基于紧耦合预积分的融合导航定位算法实现，该紧耦合预积分的融合导航定位算法是通过姿态信息的预积分得到预定时间内测量装置的移动速度，通过移动速度的二次积分得到预定时间内测量装置的移动距离，该预定时间多是某单位时间；对比移动距离与车轮里程计在预定时间内的位移信息，得到测量装置的实时位置。
S330、获取测量装置在当前测量站点扫描到的当前平面结构图，根据实时位置和当前平面结构图，得到测量装置在当前测量站点的当前定位信息。
其中，在对本步骤进行详细阐述前，先说明一下本步骤设置的原因：上述实时位置是实时得到的，如每10ms对应一个实时位置，第20ms的实时位置是在第10ms的实时位置的基础上确定的，这就容易存在累计误差的问题，定位精度有限。为消除这一累计误差，例如，若每10ms可得到一个实时位置，且每1s可得到一个平面结构图，则可根据本步骤对第1s的实时位置进行校准。这样一来，第1.01s的实时位置是根据第1s的实时位置确定的，因第1s的实时位置是已校准的实时位置，这可显著缩小第1.01s的实时位置的误差。另外，虽然本步骤得到的当前定位信息的精度更高，但其因采集频率的限制而很难实时获取，因此，实时位置亦是必不可少的参考因素。
获取测量装置在当前测量站点扫描到的当前平面结构图，该当前平面结构图可以是通过测量装置中的单线激光雷达扫描得到，也可以通过其余传感器扫描得到，在此未做具体限定。进一步，根据测量装置的实时位置和当前平面结构图，能够得到测量装置在当前测量站点的当前定位信息，该实时位置可以是任意时刻的实时位置，也可以是特定时刻的实时位置，在此未做具体限定；该当前定位信息即为当前测量站点的已校准的位置信息。
在此基础上，当前定位信息确定的一种可选方案是，获取与当前平面结构图相邻的前一时刻的平面结构图，比如，若每1s可获得一个平面结构图，当前平面结构图是在第10s获得的，则第9s获得的平面结构图即为相邻的前一时刻的平面结构图；将当前平面结构图与相邻的前一时刻的平面结构图进行图像轮廓的匹配，若匹配成功则可得到两个平面结构图的中心点间的相对位移，由此，根据相对位移和测量装置在前一时刻的实时位置，可得到测量装置在当前测量站点的当前定位信息，如测量装置在前一时刻的实时位置+相对位移＝测量装置在当前时刻的当前定位信息(即，测量装置在当前测量站点的当前定位信息)。
S340、获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
本发明实施例的技术方案，通过实时获取的测量装置的位移信息和姿态信息，能够得到测量装置的实时位置，进而，根据测量装置扫描到的当前平面结构图和测量装置的实时位置，能够得到当前测量站点的精准的当前定位信息，该当前定位信息即为当前测量站点的已校准的位置信息。
为了更好地理解上述当前定位信息的具体获取过程，下面基于建筑测量机器人AGV多传感器融合自动导航定位的示例，对其进行说明。示例性的，建筑测量机器人的AGV底盘中设置有单线激光雷达、车轮里程计及惯性测量单元(Inertial measurement unit，IMU)，由此，依据单线激光雷达可得到当前测量站点的360°二维扫描的当前平面结构图；与此同时，还可实时读取车轮里程计的里程信息和IMU的姿态信息，其中，IMU可测量出AGV的三轴姿态角(或角速率)以及加速度，根据里程信息可计算出AGV的实时位移信息；由此，融合IMU的姿态信息与车轮里程计的位移信息，基于紧耦合预积分的融合导航定位算法，得到AGV的精确的实时位置(x,y,z)，该实时位置可以理解为AGV相对于原始测量站点的偏移量。进一步，获取单线激光雷达在当前测量站点扫描到的当前平面结构图，将单线激光雷达在当前测量站点(当前时刻)扫描到的当前平面结构图与前一时刻扫描到的平面结构图进行精确的图像轮廓的匹配，再结合测量装置在前一时刻的实时位置，从而得到AGV在当前测量站点的当前定位信息，由此实现了基于AGV多传感器融合的自动导航定位。
为了更好地理解上述三维建模的具体实现过程，下面结合具体示例，对本实施例的三维建模方法进行示例性的说明。示例性的，如图5所示，当建筑测量机器人行驶到第N个测量站点时，建筑测量机器人中的三维建模系统基于深度相机和激光雷达采集到的三维点云数据，执行第N次单站数据融合采集，得到第N次单站数据(即，当前三维点云数据)，以及基于激光雷达、车轮里程计和IMU得到AGV自动导航信息(即，当前定位信息)；根据第N次单站数据、第N-1次单站数据(即，相邻三维点云数据)和AGV自动导航信息，执行两站数据初始配准；进一步，根据两站数据初始配准结果(即，已配准三维点云数据)和第N-1次单站数据融合特征提取与匹配，并对特征提取与匹配结果执行两站数据精确拼接；将两站数据的精确拼接结果和前N-1个站点数据的拼接结果相融合，得到N个站点数据的三维建模结果。上述技术方案，基于多传感器信息融合技术，可以在建筑工地等复杂环境下，针对纹理结构较为简单重复的室内场景，实现了高效、精确和高鲁棒性的三维建模。
实施例四
本发明实施例四提供的测量装置用于执行上述任意实施例所提供的三维建模方法，该测量装置与上述各实施例的三维建模方法属于同一个发明构思，在测量装置的实施例中未详尽描述的细节内容，可以参考上述三维建模方法的实施例。具体的，该测量装置可以包括三维建模系统，参见图6，该三维建模系统可以包括：融合采集模块410、导航定位模块420和数据配准模块430。
其中，融合采集模块410，用于采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据，其中，第一三维点云数据和第二三维点云数据由不同类型的传感器采集得到；
导航定位模块420，用于获取测量装置在当前测量站点的当前定位信息；
数据配准模块430，用于获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
可选的，数据配准模块430，具体可以包括：
初始配准单元，用于根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准；
精确配准单元，用于对初始配准结果进行精确配准，得到三维建模数据。
可选的，融合采集模块410，具体可以包括：
第一三维坐标求解单元，用于获取第一传感器在当前测量站点采集到的各个旋转角度上的RGB图像和深度图像，并根据第一传感器的内参分别求解各旋转角度上的深度图像在RGB图像对应处的第一三维坐标；
第一三维点云数据得到单元，用于根据各第一三维坐标得到第一三维点云数据，第一三维点云数据的第一坐标系的原点为第一传感器的光心的位置。
可选的，内参为第一传感器在x方向上的焦距fx和y方向上的焦距fy，以及RGB图像的中心像素坐标(cx,cy)，深度图像在(xd,yd)处对应的第一三维坐标为：
Figure BDA0002444268770000241
其中，Depth(xd,yd)为深度图像在(xd,yd)处的像素值。
可选的，融合采集模块410，具体可以包括：
第二三维点云数据得到单元，用于获取第二传感器在当前测量站点采集到的各个旋转角度上的第二三维坐标，并根据各第二三维坐标得到第二三维点云数据，第二三维点云数据的第二坐标系的原点为第二传感器的光心的位置
可选的，融合采集模块410，具体可以包括：
当前三维点云数据融合单元，用于根据预先标定的第一传感器和第二传感器间的外参，将第二三维点云数据转换到第一三维点云数据的第一坐标系中，并基于经坐标转换后的第二三维点云数据得到当前测量站点的当前三维点云数据，其中，外参是第二传感器相对于第一传感器的旋转矩阵和平移矢量。
可选的，当前三维点云数据融合单元，具体可以包括：
坐标转换子单元，用于通过以下公式计算得出第二三维点云数据在第一三维点云数据的第一坐标系下的已转换三维坐标P＝(XDepth,YDepth,ZDepth)：P＝R*Q+t，其中，Q＝(XLidar,YLidar,ZLidar)为第二三维点云数据在第二三维点云数据的第二坐标系下的未转换三维坐标，R为旋转矩阵，t为平移矢量。
可选的，当前三维点云数据融合单元，具体可以包括：
当前三维点云数据融合子单元，用于将第一三维点云数据以及经坐标转换后的第二三维点云数据进行叠加，得到当前测量站点的当前三维点云数据。
可选的，导航定位模块420，具体可以包括：
实时位置得到单元，用于实时获取测量装置的位移信息和姿态信息，并融合位移信息和姿态信息，得到测量装置的实时位置；
当前定位信息得到单元，用于获取测量装置在当前测量站点扫描到的当前平面结构图，根据实时位置和当前平面结构图，得到测量装置在当前测量站点的当前定位信息。
可选的，实时位置得到单元，具体可以包括：
位移信息读取子单元，用于实时读取测量装置中车轮里程计的里程信息，根据里程信息计算出测量装置的位移信息；
姿态信息获取子单元，用于实时获取测量装置中惯性测量单元的姿态信息。
可选的，实时位置得到单元，具体可以包括：
移动距离得到子单元，用于通过姿态信息的预积分得到预定时间内测量装置的移动速度，通过移动速度的二次积分得到预定时间内测量装置的移动距离；
实时位置得到子单元，用于根据移动距离与预定时间内的位移信息，得到测量装置的实时位置。
可选的，当前定位信息得到单元，具体可以包括：
平面结构图获取子单元，用于获取与当前平面结构图相邻的前一时刻的平面结构图；
当前定位信息得到子单元，用于将当前平面结构图与相邻的前一时刻的平面结构图进行图像轮廓的匹配，根据匹配结果和测量装置在前一时刻的实时位置，得到测量装置在当前测量站点的当前定位信息。
可选的，初始配准单元，具体可用于：
针对当前定位信息(xN-1,yN-1,zN-1)和相邻定位信息(xN,yN,zN)，由以下公式计算出当前测量站点和前一测量站点间的初始变换矩阵T0，
Figure BDA0002444268770000261
Figure BDA0002444268770000262
利用初始变换矩阵T0，对当前三维点云数据和相邻三维点云数据进行初始配准。
可选的，精确配准单元，具体可以包括：
匹配子单元，用于根据初始配准后的已配准三维点云数据，生成当前测量站点的当前全景RGB图像和当前全景深度图像，并根据当前全景RGB图像、当前全景深度图像和前一测量站点的相邻全景RGB图像进行特征提取和匹配；
得到子单元，用于根据特征提取和匹配的结果，得到三维建模数据。
可选的，匹配子单元，具体可以用于：
根据当前全景RGB图像和前一测量站点的相邻全景RGB图像提取出关键不变特征点，并从当前全景深度图像中提取出与关键不变特征点对应的关键深度特征点；
根据关键深度特征点，得到关键不变特征点的关键三维坐标；
根据关键三维坐标，从已配准三维点云数据和相邻三维点云数据中提取几何特征，并根据提取结果对已配准三维点云数据和相邻三维点云数据的几何特征进行匹配。
可选的，关键不变特征点包括：SIFT、SURF、AKAZE、ORB中的一种或多种。
可选的，得到子单元，具体可以用于：
根据特征提取和匹配的结果，利用迭代最近邻点匹配算法ColorICP对已配准三维点云数据进行拼接，得到三维建模数据。
本发明实施例四提供的测量装置中的三维建模系统，通过融合采集模块分别采集当前测量站点的第一三维点云数据和第二三维点云数据，并基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；导航定位模块获取测量装置在当前测量站点的当前定位信息；数据配准模块获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，由此，根据当前定位信息和相邻定位信息，可对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。上述装置，基于多传感器信息融合技术，解决了基于单一传感器难以在复杂环境下实现精确且完整的三维建模的问题，达到了高效、精确且高鲁棒性的三维建模的效果。
本发明实施例所提供的测量装置可执行本发明任意实施例所提供的三维建模方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述测量装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
图7为本发明实施例五提供的一种电子设备的结构示意图，如图7所示，该电子设备包括存储器510、处理器520、输入装置530和输出装置540。电子设备中的处理器520的数量可以是一个或多个，图7中以一个处理器520为例；电子设备中的存储器510、处理器520、输入装置530和输出装置540可以通过总线或其它方式连接，图7中以通过总线550连接为例。
存储器510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维建模方法对应的程序指令/模块(例如，测量装置中三维建模系统的融合采集模块410、导航定位模块420和数据配准模块430)。处理器520通过运行存储在存储器510中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的三维建模方法。
存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种三维建模方法，该方法包括：
采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；
获取测量装置在当前测量站点的当前定位信息，其中，测量装置包括不同类型的第一传感器和第二传感器，第一三维点云数据由第一传感器采集得到，第二三维点云数据由第二传感器采集得到；
获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的三维建模方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (20)

1.一种三维建模方法，其特征在于，包括：
采集当前测量站点的第一三维点云数据和第二三维点云数据，基于所述第一三维点云数据和所述第二三维点云数据融合得到所述当前测量站点的当前三维点云数据；
获取测量装置在所述当前测量站点的当前定位信息，其中，所述测量装置包括不同类型的第一传感器和第二传感器，所述第一三维点云数据由所述第一传感器采集得到，所述第二三维点云数据由所述第二传感器采集得到；
获取与所述当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和所述相邻三维点云数据进行配准，得到三维建模数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和所述相邻三维点云数据进行配准，得到三维建模数据，包括：
根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和所述相邻三维点云数据进行初始配准；
对初始配准结果进行精确配准，得到三维建模数据。
3.根据权利要求1所述的方法，其特征在于，所述采集当前测量站点的第一三维点云数据，包括：
获取所述第一传感器在当前测量站点采集到的各个旋转角度上的RGB图像和深度图像，并根据所述第一传感器的内参分别求解各所述旋转角度上的所述深度图像在所述RGB图像对应处的第一三维坐标；
根据各所述第一三维坐标得到第一三维点云数据，其中，所述第一三维点云数据的第一坐标系的原点为所述第一传感器的光心的位置。
4.根据权利要求3所述的方法，其特征在于，所述内参为所述第一传感器在x方向上的焦距fx和y方向上的焦距fy，以及所述RGB图像的中心像素坐标(cx，cy)，所述深度图像在(xd，yd)处对应的所述第一三维坐标为：
Figure FDA0002444268760000021
其中，Depth(xd，yd)为所述深度图像在(xd，yd)处的像素值。
5.根据权利要求1所述的方法，其特征在于，所述采集当前测量站点的第二三维点云数据，包括：
获取所述第二传感器在当前测量站点采集到的各个旋转角度上的第二三维坐标，并根据各所述第二三维坐标得到第二三维点云数据，其中，所述第二三维点云数据的第二坐标系的原点为所述第二传感器的光心的位置。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一三维点云数据和所述第二三维点云数据融合得到所述当前测量站点的当前三维点云数据，包括：
根据预先标定的所述第一传感器和所述第二传感器间的外参，将所述第二三维点云数据转换到所述第一三维点云数据的第一坐标系中，并基于经坐标转换后的所述第二三维点云数据得到所述当前测量站点的当前三维点云数据，其中，所述外参是所述第二传感器相对于所述第一传感器的旋转矩阵和平移矢量。
7.根据权利要求6所述的方法，其特征在于，所述将所述第二三维点云数据转换到所述第一三维点云数据的第一坐标系中，包括：
通过以下公式计算得出所述第二三维点云数据在所述第一三维点云数据的第一坐标系下的已转换三维坐标P＝(XDepth，YDepth，ZDepth)：
P＝R*Q+t，其中，Q＝(XLidar，YLidar，ZLidar)为所述第二三维点云数据在所述第二三维点云数据的第二坐标系下的未转换三维坐标，R为所述旋转矩阵，t为所述平移矢量。
8.根据权利要求6所述的方法，其特征在于，所述基于经坐标转换后的所述第二三维点云数据得到所述当前测量站点的当前三维点云数据，包括：
将所述第一三维点云数据以及经坐标转换后的所述第二三维点云数据进行叠加，得到所述当前测量站点的当前三维点云数据。
9.根据权利要求1所述的方法，其特征在于，所述获取测量装置在所述当前测量站点的当前定位信息，包括：
实时获取所述测量装置的位移信息和姿态信息，并融合所述位移信息和所述姿态信息，得到所述测量装置的实时位置；
获取所述测量装置在所述当前测量站点扫描到的当前平面结构图；
根据所述实时位置和所述当前平面结构图，得到所述测量装置在所述当前测量站点的当前定位信息。
10.根据权利要求9所述的方法，其特征在于，所述实时获取所述测量装置的位移信息和姿态信息，包括：
实时读取所述测量装置中车轮里程计的里程信息，根据所述里程信息计算出所述测量装置的位移信息；
实时获取所述测量装置中惯性测量单元的姿态信息。
11.根据权利要求9所述的方法，其特征在于，所述融合所述位移信息和所述姿态信息，得到所述测量装置的实时位置，包括：
通过所述姿态信息的预积分得到预定时间内所述测量装置的移动速度，通过所述移动速度的二次积分得到所述预定时间内所述测量装置的移动距离；
根据所述移动距离与所述预定时间内的所述位移信息，得到所述测量装置的实时位置。
12.根据权利要求9所述的方法，其特征在于，所述根据所述实时位置和所述当前平面结构图，得到所述测量装置在所述当前测量站点的当前定位信息，包括：
获取与所述当前平面结构图相邻的前一时刻的平面结构图；
将所述当前平面结构图与所述相邻的前一时刻的平面结构图进行图像轮廓的匹配，根据匹配结果和所述测量装置在所述前一时刻的所述实时位置，得到所述测量装置在所述当前测量站点的当前定位信息。
13.根据权利要求2所述的方法，其特征在于，所述根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和所述相邻三维点云数据进行初始配准，包括：
针对所述当前定位信息(xN，yN，zN)和所述相邻定位信息(xN-1，yN-1，zN-1)，由以下公式计算出所述当前测量站点和所述前一测量站点间的初始变换矩阵T0，
Figure FDA0002444268760000041
利用所述初始变换矩阵T0，对所述当前三维点云数据和所述相邻三维点云数据进行初始配准。
14.根据权利要求2所述的方法，其特征在于，所述对初始配准结果进行精确配准，得到三维建模数据，包括：
根据初始配准后的已配准三维点云数据，生成所述当前测量站点的当前全景RGB图像和当前全景深度图像，并根据所述当前全景RGB图像、所述当前全景深度图像和所述前一测量站点的相邻全景RGB图像进行特征提取和匹配；
根据特征提取和匹配的结果，得到三维建模数据。
15.根据权利要求14所述的方法，其特征在于，所述根据所述当前全景RGB图像、所述当前全景深度图像和所述前一测量站点的相邻全景RGB图像进行特征提取和匹配，包括：
根据所述当前全景RGB图像和所述前一测量站点的相邻全景RGB图像提取出关键不变特征点，并从所述当前全景深度图像中提取出与所述关键不变特征点对应的关键深度特征点；
根据所述关键深度特征点，得到所述关键不变特征点的关键三维坐标；
根据所述关键三维坐标，从所述已配准三维点云数据和所述相邻三维点云数据中提取几何特征，并根据提取结果对所述已配准三维点云数据和所述相邻三维点云数据的所述几何特征进行匹配。
16.根据权利要求15所述的方法，其特征在于，所述关键不变特征点，包括：SIFT、SURF、AKAZE、ORB中的一种或多种。
17.根据权利要求14所述的方法，其特征在于，所述根据特征提取和匹配的结果，得到三维建模数据，包括：
根据特征提取和匹配的结果，利用迭代最近邻点匹配算法ColorICP对所述已配准三维点云数据进行拼接，得到三维建模数据。
18.一种执行权利要求1-17任一项所述的方法的测量装置，所述测量装置包括三维建模系统，其特征在于，所述三维建模系统包括：
融合采集模块，用于采集当前测量站点的第一三维点云数据和第二三维点云数据，基于所述第一三维点云数据和所述第二三维点云数据融合得到所述当前测量站点的当前三维点云数据，其中，所述第一三维点云数据和所述第二三维点云数据由不同类型的传感器采集得到；
导航定位模块，用于获取测量装置在所述当前测量站点的当前定位信息；
数据配准模块，用于获取与所述当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
19.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-17中任一所述的三维建模方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-17中任一所述的三维建模方法。
CN202010274449.2A 2019-11-19 2020-04-09 三维建模方法、装置、电子设备和存储介质 Active CN112894832B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911135067.5A CN110842940A (zh) 2019-11-19 2019-11-19 一种建筑测量机器人多传感器融合三维建模方法及系统
CN2019111350675 2019-11-19

Publications (2)

Publication Number Publication Date
CN112894832A true CN112894832A (zh) 2021-06-04
CN112894832B CN112894832B (zh) 2022-06-03

Family

ID=69602416

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911135067.5A Pending CN110842940A (zh) 2019-11-19 2019-11-19 一种建筑测量机器人多传感器融合三维建模方法及系统
CN202010274449.2A Active CN112894832B (zh) 2019-11-19 2020-04-09 三维建模方法、装置、电子设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911135067.5A Pending CN110842940A (zh) 2019-11-19 2019-11-19 一种建筑测量机器人多传感器融合三维建模方法及系统

Country Status (1)

Country Link
CN (2) CN110842940A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276084A (zh) * 2021-06-10 2021-08-20 广西大学 一种ros智能小车
CN113601333A (zh) * 2021-07-22 2021-11-05 深圳市九丞技术有限公司 智能柔性打磨方法、装置及设备
CN115661220A (zh) * 2022-12-28 2023-01-31 深圳煜炜光学科技有限公司 点云数据配准方法、装置、设备及存储介质
CN116763295A (zh) * 2023-08-11 2023-09-19 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383205B (zh) * 2020-03-11 2023-03-24 西安应用光学研究所 一种基于特征点和三维模型的图像融合定位方法
CN111599023B (zh) * 2020-04-02 2023-06-16 思创数码科技股份有限公司 一种大批量给城市建筑模型贴图方法和装置
CN111664791B (zh) * 2020-04-30 2022-02-15 广东博智林机器人有限公司 测量仪和造楼系统
CN111590573A (zh) * 2020-05-15 2020-08-28 深圳国信泰富科技有限公司 一种机器人三维环境的构建方法及系统
CN111526352B (zh) * 2020-07-02 2020-10-23 北京大成国测科技有限公司 铁路异物防侵三维智能识别机器人设备
CN111862218B (zh) * 2020-07-29 2021-07-27 上海高仙自动化科技发展有限公司 计算机设备定位方法、装置、计算机设备和存储介质
CN112312113B (zh) * 2020-10-29 2022-07-15 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112414408B (zh) * 2020-11-05 2023-03-14 苏州三六零机器人科技有限公司 扫地机导航方法、装置、扫地机和存储介质
CN112529965A (zh) * 2020-12-08 2021-03-19 长沙行深智能科技有限公司 一种激光雷达与单目相机的标定方法及装置
CN112754658B (zh) * 2020-12-31 2023-03-14 华科精准（北京）医疗科技有限公司 一种手术导航系统
CN112950696A (zh) * 2021-02-03 2021-06-11 珠海格力智能装备有限公司 导航地图的生成方法及生成装置、电子设备
CN112558042A (zh) * 2021-02-23 2021-03-26 北京理工大学 一种多线激光雷达支架
CN112873211B (zh) * 2021-02-24 2022-03-11 清华大学 一种机器人人机交互方法
CN113159151B (zh) * 2021-04-12 2022-09-06 中国科学技术大学 面向自动驾驶的多传感器深度融合3d目标检测方法
CN113175925B (zh) * 2021-04-14 2023-03-14 武汉理工大学 定位与导航系统以及方法
CN113341963B (zh) * 2021-05-31 2023-08-22 深圳市威睿晶科电子有限公司 一种基于激光雷达的机器人自动回基站的导航方法及系统
CN113506344A (zh) * 2021-07-07 2021-10-15 西南科技大学 一种核辐射环境机器人高精度三维定位装置及方法
CN113390409A (zh) * 2021-07-09 2021-09-14 广东机电职业技术学院 一种机器人全程自主探索导航实现slam技术的方法
CN113721260B (zh) * 2021-08-26 2023-12-12 南京邮电大学 一种激光雷达、双目相机和惯导的在线联合标定方法
CN114061445A (zh) * 2021-10-20 2022-02-18 成都利君环际智能装备科技有限公司 一种基于多三维扫描设备的车厢尺寸测量系统标定方法
CN114723828B (zh) * 2022-06-07 2022-11-01 杭州灵西机器人智能科技有限公司 一种基于双目视觉的多线激光扫描方法及系统
CN115439555A (zh) * 2022-08-29 2022-12-06 佛山职业技术学院 一种无公共视场多相机外参数标定方法
CN116160458B (zh) * 2023-04-26 2023-07-04 广州里工实业有限公司 一种移动机器人多传感器融合快速定位方法、设备及系统
CN116754039B (zh) * 2023-08-16 2023-10-20 四川吉埃智能科技有限公司 地面坑体土方量检测方法
CN117456108B (zh) * 2023-12-22 2024-02-23 四川省安全科学技术研究院 一种线激光传感器与高清摄像头的三维数据采集方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715469A (zh) * 2013-12-13 2015-06-17 联想(北京)有限公司 一种数据处理方法及电子设备
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN110163968A (zh) * 2019-05-28 2019-08-23 山东大学 Rgbd相机大型三维场景构建方法及系统
US10445599B1 (en) * 2018-06-13 2019-10-15 Luminar Technologies, Inc. Sensor system augmented with thermal sensor object confirmation
CN110412616A (zh) * 2019-08-07 2019-11-05 山东金软科技股份有限公司 一种矿区地下采场验收方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715469A (zh) * 2013-12-13 2015-06-17 联想(北京)有限公司 一种数据处理方法及电子设备
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
US10445599B1 (en) * 2018-06-13 2019-10-15 Luminar Technologies, Inc. Sensor system augmented with thermal sensor object confirmation
CN110163968A (zh) * 2019-05-28 2019-08-23 山东大学 Rgbd相机大型三维场景构建方法及系统
CN110412616A (zh) * 2019-08-07 2019-11-05 山东金软科技股份有限公司 一种矿区地下采场验收方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沃克尔•肯普著；张新国等译.: "《惯性MEMS器件原理与实践》", 31 May 2016 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276084A (zh) * 2021-06-10 2021-08-20 广西大学 一种ros智能小车
CN113601333A (zh) * 2021-07-22 2021-11-05 深圳市九丞技术有限公司 智能柔性打磨方法、装置及设备
CN113601333B (zh) * 2021-07-22 2022-05-27 深圳市九丞技术有限公司 智能柔性打磨方法、装置及设备
CN115661220A (zh) * 2022-12-28 2023-01-31 深圳煜炜光学科技有限公司 点云数据配准方法、装置、设备及存储介质
CN116763295A (zh) * 2023-08-11 2023-09-19 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质
CN116763295B (zh) * 2023-08-11 2024-02-06 北京市农林科学院智能装备技术研究中心 牲畜体尺测量方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN110842940A (zh) 2020-02-28
CN112894832B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
US20230260151A1 (en) Simultaneous Localization and Mapping Method, Device, System and Storage Medium
CN107194962B (zh) 点云与平面图像融合方法及装置
CN107223269B (zh) 三维场景定位方法和装置
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN111473739A (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN110176032B (zh) 一种三维重建方法及装置
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
CN104424630A (zh) 三维重建方法及装置、移动终端
CN103226838A (zh) 地理场景中移动监控目标的实时空间定位方法
WO2021208442A1 (zh) 一种三维场景的重建系统、方法、设备及存储介质
Zhao et al. Reconstruction of textured urban 3D model by fusing ground-based laser range and CCD images
CN112799096B (zh) 基于低成本车载二维激光雷达的地图构建方法
CN101354796B (zh) 基于泰勒级数模型的全向立体视觉三维重建方法
Gong et al. Extrinsic calibration of a 3D LIDAR and a camera using a trihedron
US20230351625A1 (en) A method for measuring the topography of an environment
CN112762945A (zh) 高精度地图全要素采集设备的信息同步方法、系统及装置
CN116109684B (zh) 面向变电场站在线视频监测二三维数据映射方法及装置
CN104596486A (zh) 基于目标旋转对称特征的位姿测量方法
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant