CN116091701A - 三维重建方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种三维重建方法、装置、计算机设备及存储介质，涉及人工智能技术领域。该方法包括：获取第一传感器数据以及第二传感器数据；根据第一传感器数据，获取第一传感器的第一位姿信息；根据第二传感器数据，获取第二传感器的第二位姿信息；根据预设相对位姿关系以及第一位姿信息，确定第二传感器的第三位姿信息；若第二位姿信息与第三位姿信息不匹配，根据第一位姿信息、第一传感器数据、第三位姿信息以及第二传感器数据，生成目标现实环境对应的目标虚拟环境。如此，通过获取不同类型传感器的位姿信息，基于传感器之间已知的相对位姿关系对第二传感器的位姿信息进行校正，进而使得生成的目标虚拟环境更加贴合其对应的目标现实环境。

Description

三维重建方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种三维重建方法、装置、计算机设备及存储介质。

背景技术

基于场景的三维重建方法有助于很多实际应用，比如虚拟现实和增强现实，机器人的定位和路径规划，以及自动引导运输车的室内工作等等，因此受到研究人员越来越多的关注。利用图像深度(RGB color mode-Depth,RGB-D)相机进行三维重建相比于双目相机具有独特的优势，因为RGB-D相机能够提供图像像素坐标对应的深度值，不用花费大量计算资源用于像素视差的计算。传统的基于RGB-D相机的三维重建方法主要是利用特征点进行特征的检测与匹配。利用传统的相机进行相机位姿计算，对现实场景进行三维重建时，在某些场景下很难检测到足够准确的特征匹配关系，使得获取的相机位姿精确度不足，进而导致三维重建结果不够精确。

发明内容

本申请提出了一种三维重建方法、装置、计算机设备及存储介质。

第一方面，本申请实施例提供了一种三维重建方法，所述方法包括：获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同；根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息；根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息；根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息；若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

第二方面，本申请实施例提供了一种三维重建装置，所述装置包括：数据获取模块，用于获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同；第一位姿信息获取模块，用于根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息；第二位姿信息获取模块，用于根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息；位姿信息确认模块，用于根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息；虚拟环境生成模块，用于若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。

本申请提供的方案中，获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的目标现实环境的第二传感器数据，第一传感器与第二传感器的传感器类型不相同；根据第一传感器数据，获取第一传感器在目标现实环境中的第一位姿信息；根据第二传感器数据，获取第二传感器在目标现实环境中的第二位姿信息；根据第一传感器与第二传感器之间的预设相对位姿关系以及第一位姿信息，确定第二传感器在目标现实环境中的第三位姿信息；若第二位姿信息与第三位姿信息不匹配，根据第一位姿信息、第一传感器数据、第三位姿信息以及第二传感器数据，生成目标现实环境对应的目标虚拟环境。如此，通过获取同一现实环境下不同类型的第一传感器和第二传感器的位姿信息，基于传感器之间已知的相对位姿关系能够对第二传感器的位姿信息进行校正，得到更为准确的位姿信息，进而在基于更为准确的位姿信息以及传感器数据生成目标虚拟环境时，可以使得生成的目标虚拟环境更加贴合其对应的目标现实环境，即使得针对目标显示环境的三维重建结果更为准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的应用场景的示意图。

图2示出了本申请一实施例提供的三维重建方法的流程示意图。

图3示出了本申请一实施例提供的目标现实环境的示意图。

图4示出了本申请一实施例提供的红外标记物的示意图。

图5示出了本申请另一实施例提供的红外标记物的示意图。

图6示出了图2中步骤S220在一种实施方式中的子步骤的流程示意图。

图7示出了本申请实施例提供的红外图像的示意图。

图8示出了图2中步骤S250在一种实施方式中的子步骤的流程示意图。

图9示出了本申请另一实施例提供的三维重建方法的流程示意图。

图10示出了本申请又一实施例提供的三维重建方法的流程示意图。

图11示出了本申请一实施例提供的三维重建装置的结构框图。

图12示出了本申请实施例提供的一种计算机设备的结构框图。

图13示出了本申请实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如S110、S120等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。以及，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。

在相关技术中，利用传统的相机进行相机位姿计算，对现实场景进行三维重建时，在某些场景下很难检测到足够准确的特征匹配关系，使得获取的相机位姿精确度不足，进而导致三维重建结果不够精确。

针对上述问题，发明人提出一种三维重建方法、装置、计算机设备及存储介质，通过获取不同类型传感器的位姿信息，基于传感器之间已知的相对位姿关系对第二传感器的位姿信息进行校正，进而使得生成的目标虚拟环境更加贴合其对应的目标现实环境。下面对本申请实施例提供的三维重建方法进行详细描述。

请参照图1，图1示出了本申请实施例提供的应用场景的示意图，该应用场景包括计算机设备10。计算机设备10至少包括第一传感器110、第二传感器120和三维重建装置130，其中：

第一传感器110用于对目标现实环境进行数据采集，得到第一传感器数据。在本申请中，第一传感器110可以是非可见光相机，例如，红外相机，即第一传感器110对目标现实环境进行拍摄，得到拍摄图像。第二传感器120用于对目标现实环境进行数据采集，得到第二传感器数据。在本申请中，第二传感器120至少包括深度相机、双目相机和激光雷达中的一种传感器。

在本实施例中，目标现实环境中设有至少一个标记物和至少一个现实物体，标记物用于发出具有预设图案的非可见光，该标记物的图案信息至少包括形状、尺寸和空间形态中的一种。目标现实环境中的任一现实物体可作为目标物体，用于反射可见光，其可以是任何具有形体的物体。由于第一传感器110为非可见光相机时，仅能获取到标记物发出的非可见光，而无法获取目标物体反射的可见光，而第二传感器120仅能接收目标物体反射的可见光，无法获取标记物发出的非可见光。因此，第一传感器110用于对目标现实环境中的标记物进行数据采集，以得到与标记物有关的第一传感器数据；第二传感器120用于对目标现实环境中的目标物体进行数据采集，以得到与目标物体有关的第二传感器数据。

计算机设备10可以是具有数据处理功能的电子终端，该电子终端包括但不限于混合现实(Mixed Reality，MR)头戴式显示设备、虚拟现实(Virtual reality，VR)头戴式显示设备、智能手机、平板电脑、笔记本电脑以及台式电脑等；当然，该计算机设备10也可以是服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

三维重建装置130可以用于获取第一传感器110采集的第一传感器数据以及第二传感器120采集的第二传感器数据，根据上述数据获取第一传感器110在目标现实环境中的第一位姿信息以及第二传感器120在目标现实环境中的第二位姿信息，并根据第一传感器110与所述第二传感器120之间的预设相对位姿关系，对第二传感器120的位姿信息进行确认，以根据每个传感器的数据和其对应的位姿信息生成目标现实环境对应的目标虚拟环境。

请参照图2，图2示出了本申请一实施例提供的三维重建方法的流程示意图。下面将结合图2对本申请实施例提供的三维重建方法进行详细阐述。该三维重建方法可以包括以下步骤：

步骤S210：获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同。

在本实施例中，目标现实环境即为待进行三维重建的现实环境，在目标现实环境中预先设有至少一个标记物和至少一个现实物体，请参阅图3，图3示出了本申请一实施例提供的目标现实环境的示意图。如图3所示，目标现实环境中包括标记物310和现实物体320，标记物310至少包括第一标记物311、第二标记物312、第三标记物313和第四标记物314。

第一传感器用于对目标现实环境进行数据采集，将目标现实环境中的每个标记物作为目标标记物，得到每个目标标记物的位置信息，以生成对应的第一传感器数据；第二传感器用于对目标现实环境进行数据采集，将目标现实环境中的每个现实物体作为目标物体，得到每个目标物体的位置信息，以生成对应的第二传感器数据。

可选地，标记物用于发出具有预设图案的非可见光，设置标记物发出的非可见光仅能被第一传感器所获取，而目标物体反射的可见光仅能被第二传感器所获取。基于此，本实施例中的第一传感器与第二传感器的传感器类型不相同，第一传感器为用于获取非可见光的非可见光传感器，如红外相机，本实施例对此不作限制。第二传感器为用于获取可见光的可见光传感器，第二传感器至少包括深度相机、双目相机和激光雷达中的一种传感器，即第二传感器可以为深度相机、双目相机或激光雷达中的任一传感器，也可以为深度相机、双目相机和激光雷达的任意组合，在此不做限制。

步骤S220：根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息。

在一些实施方式中，第一传感器为红外相机，第一传感器数据为红外图像，目标现实环境中的标记物为红外标记物。如图4和图5所示，图4示出了本申请一实施例提供的红外标记物的示意图，图5示出了本申请另一实施例提供的红外标记物的示意图。

可选地，每个红外标记物至少包括四个相对位置关系已知的红外标记点，红外标记点至少可以为实心的圆和空心的圆环，红外标记物的各个红外标记点之间距离、形态的不同，使得不同的红外标记物之间的外观属性存在差异。在一些实施方式中，红外标记物可以是一张包含标记物的平面物，例如纸板、塑料板等，也可以是一个设有标记物的标记板或物体表面。红外标记物的具体形态结构不受限制，可以是各种形状的，例如正方形、圆形，也可以是各种形态的，例如平面、多面体等。

具体地，图4所示的红外标记物和图5所示的红外标记物中各个红外标记点之间距离相同，使得两个红外标记物的形状相同，且各个红外标记点之间的相对位置关系已知。基于图4所示的红外标记物在左下方设置的红外标记点为实心的圆，图5所示的红外标记物在左下方设置的红外标记点为空心的圆，使得两个红外标记物的外观属性存在差异。

在一些实施方式中，请参阅图6，步骤S220可以包括以下步骤：

步骤S221：提取所述红外图像中所述红外标记物对应的多个红外特征点。

在本实施例中，请参阅图7，图7示出了本申请实施例提供的红外图像的示意图。红外相机拍摄到的红外图像中至少包括一个红外标记物410，如图7所示，红外相机拍摄到的红外图像中红外标记物410至少包括第一红外标记物411、第二红外标记物412、第三红外标记物413和红外标记物414。从红外相机拍摄到的红外图像中，获取其中任一个红外标记物410对应的多个红外特征点，每个红外标记物410中各红外特征点的相对位置关系已知。

步骤S222：根据所述多个红外特征点，确定所述红外相机在所述目标现实环境中的所述第一位姿信息。

在本实施例中，由于已知各个红外标记点之间的相对位置关系，在红外标记物中选取三个不共线红外标记点作为特征点，且以红外标记点中的任一点作为坐标原点建立世界坐标系，由于已知各个红外标记点之间的相对位置关系，确认选取的红外标记点在世界坐标系下的坐标信息。

设置相机的焦点为相机坐标系的原点，并额外选取红外标记物中的第四个红外标记点作为验证点，由于已知各个红外标记点之间的相对位置关系，利用多点透视成像(Perspective-N-Point，PNP)算法求解出三个红外标记点在相机坐标系下的坐标信息。通过获取到的红外标记点在相机坐标系下的坐标信息以及其对应的在世界坐标系下的坐标信息，通过世界坐标到相机坐标的转化得到红外传感器的位姿信息，包括红外相机在世界坐标系中的位置和朝向，即红外相机的第一位姿信息。

步骤S230：根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息。

在本实施例中，若第二传感器为双目相机，第二传感器数据为双目图像，且双目相机中两个摄像头之间的相对位置关系已知。可通过张正友标定法获取双目相机在目标现实环境中的第二位姿信息：首先可在目标现实环境中建立标定板，通过采集多幅标定板图像对，通过阈值分割找到标定板的内部区域；通过亚像素边缘提取方法得到标定板各个圆点的边缘，通过最小二乘圆拟合获取圆点的圆心坐标，确定圆心坐标与它们在图像中投影之间的对应关系以及标定板与相机之间大致的位置关系，即相机的位姿信息；根据两个相机之间的相对位置关系确定另一个相机的位姿信息，进而得到双目相机在目标现实环境中的第二位姿信息。

在一些实施方式中，若第二传感器为基于结构光的深度相机，则第二传感器包括深度相机和投影仪。投影仪向目标现实环境中投射预设的结构光图案，相机基于采集到的目标现实环境中的结构光图案计算其在目标现实环境中的第二位姿信息，其方式与上述第一传感器的位姿信息的计算方式相似，在此不再赘述。

在一些实施方式中，若第二传感器为激光雷达，激光雷达由两部分组成：激光发射部分和激光接收部分。激光雷达将目标对象作为定位点，向目标对象投射激光，并接收目标对象反射的激光，根据激光雷达发射激光到接收激光之间的时间差，由于每个目标对象在构建的世界坐标系中有唯一的三维坐标与之对应，激光雷达通过时间差确认其与目标对象之间的距离，计算出其位姿信息。

步骤S240：根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息。

在本实施例中，第一位姿信息包括第一传感器在世界坐标系中的第一坐标信息以及第一姿态信息，第一传感器与第二传感器之间的预设相对位姿关系包括第一传感器与第二传感器之间的相对坐标信息以及相对姿态信息。

在获取到预设相对位姿关系、第一坐标信息以及第一姿态信息后，根据第一坐标信息以及第一传感器与第二传感器之间的相对坐标信息，能够确认第二传感器在世界坐标系中的第三坐标信息；根据第一姿态信息以及第一传感器与第二传感器之间的相对姿态信息，能够确认第二传感器在世界坐标系中的第三姿态信息；进一步地，将第二传感器在世界坐标系中的第三坐标信息以及第三姿态信息作为其在目标现实环境中的第三位姿信息。

可选地，在根据第一位姿信息和第一传感器与第二传感器之间的预设相对位姿关系，确认第二传感器在目标现实环境中的第三位姿信息的过程中，将表示第二传感器在其原有世界坐标系中的位姿信息转化为与第一传感器在同一世界坐标系下的位姿信息。

在第二传感器基于获取到的第二传感器数据中的目标物体进行特征点获取以及特征匹配，以确认在目标现实环境中的第二位姿信息时，可能存在由于获取到的目标物体处于低纹理和纹理重复性很强的场景下，未能检测到足够准确的特征匹配关系使得获取到的第二传感器在目标现实环境中的第二位姿信息足够精准。此时，由于第一传感器通过获取到的第一传感器数据中的标记物为规则的预设图案，通过将标记物中包含的标记点作为特征点，进行特征点获取以及特征匹配时，使得获取到的第一传感器在目标现实环境中的第一位姿信息足够精准，进而使得转化得到的第二传感器的第三位姿信息为对第二传感器在世界坐标系中的坐标信息以及姿态信息进行精确调整所得。

在一些实施方式中，第一传感器与第二传感器之间可以为刚性绑定关系，即两者被固定在同一装置上，此时两者的预设相对位姿关系为已知信息。在其他实施方式中，第一传感器与第二传感器也可以为可移动的两个传感器装置，在每次获取传感器数据之前，需要确认第一传感器与第二传感器之间的相对位姿关系，以作为预设相对位姿关系，且在获取两者的传感器数据进行三维重建的过程中，第一传感器与第二传感器之间的相对位姿关系不变。基于此，通过设置标记物和已知结构的目标物体在同一位置，即设置目标物体同时作为能发出非可见光的标记物，第一传感器和第二传感器分别进行特征点获取以及特征匹配，得到在世界坐标系中的坐标信息以及姿态信息，即可确认第一传感器与第二传感器之间的相对位姿关系。

步骤S250：若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

在一些实施方式中，请参阅图8，步骤S250可以包括以下步骤：

步骤S251：根据所述红外图像和所述第一位姿信息，获取所述目标现实环境中的所述红外标记物在世界坐标系中的点云信息，作为第一点云信息。

在本实施例中，根据为红外相机的第一传感器拍摄到的红外图像及其在目标现实环境中的第一位姿信息，确认红外标记物中的多个红外标记点各自的位置信息，并将每个红外标记点对应多个红外拍摄图像中的红外标记点作为相互匹配的标记点对进行一一对应，得到每个红外标记点对应的标记点对。根据各个标记点对中各红外标记点的位置信息，能够确认各个标记点对表征的在世界坐标系中的位置信息，并根据目标现实环境的红外标记物中全部红外标记点的位置信息，得到目标现实环境中的红外标记物在世界坐标系中的点云信息，作为第一点云信息。

步骤S252：根据所述第二传感器数据和所述第三位姿信息，获取所述目标现实环境中的目标物体在所述世界坐标系中的点云信息，作为第二点云信息，所述目标物体为所述第二传感器数据中包含的所述目标现实环境中的物体。

在本实施例中，根据第二传感器获取到的第二传感器数据及其在目标现实环境中的第三位姿信息，确认目标物体中的多个特征点各自的位置信息，并将每个特征点对应的多组第二传感器数据中的特征点作为相互匹配的特征点对进行一一对应，得到每个特征点对应的特征点对。根据各个特征点对中各特征点的位置信息，能够确认各个特征点对表征的在世界坐标系中的位置信息，并根据目标现实环境的目标物体中全部特征点的位置信息，得到目标现实环境中的目标物体在世界坐标系中的点云信息，作为第二点云信息。

步骤S253：通过目标融合算法，对所述第一点云信息和所述第二点云信息进行融合，得到第三点云信息。

在本实施例中，在获取到第一点云信息和第二点云信息后，可以通过特征融合的方式进行图像融合。基于第一传感器对应的第一位姿信息与第二传感器对应的第三位姿信息表示在同一世界坐标系下不同传感器的位置信息和姿态信息，对第一点云信息和第二点云信息进行融合，即将第一点云信息包括的目标现实场景中红外标记物对应的各个红外标记点与第二点云信息包括的目标物体对应的各个特征点映射到同一世界坐标系下进行显示。

步骤S254：基于所述第三点云信息，生成所述目标现实环境对应的所述目标虚拟环境。

在本实施例中，根据获取到的第三点云信息，对第三点云信息中进行预处理，包括去噪、分割、滤波、配准、采样等操作，输出特征明显、数据精简的点云。点云信息网格化，即使用一系列的网格来近似拟合点云，一般使用三角网格和四边形网格，使得三维表示形式上实现了从点云到网格(Mesh)的转化。全景纹理贴图，将第二传感器采集的第二传感器数据中所包含的色彩和纹理信息映射到网格模型上，加以精修美化，以渲染得到目标现实环境对应的所述目标虚拟环境。

在本实施例中，通过在目标现实环境中设置仅能被第一传感器拍摄到的预设标记物，第二传感器仅能获取到目标现实环境中的目标物体，因此不同类型的传感器在同一现实环境下获取到的传感器数据对应的物体不同，得到第一传感器和第二传感器的位姿信息。基于传感器之间已知的相对位姿关系，以及准确的第一位姿信息能够对第二传感器的位姿信息进行校正，得到更为准确的位姿信息，进而能够在根据两个不同类型的传感器数据生成同一世界坐标系下的目标虚拟环境时，基于更为准确的位姿信息以及传感器数据，使得生成的目标虚拟环境更加贴合其对应的目标现实环境，即使得针对目标显示环境的三维重建结果更为准确。

请参阅图9，图9示出了本申请另一实施例提供的三维重建方法的流程示意图。下面将结合图9对本申请实施例提供的三维重建方法进行详细阐述。该三维重建方法可以包括以下步骤：

步骤S501：获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同。

步骤S502：根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息。

步骤S503：根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息。

步骤S504：根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息。

步骤S505：根据所述第二坐标信息以及所述第三坐标信息，确定坐标差异值。

可选地，第一位姿信息包括第一传感器在世界坐标系中的第一坐标信息以及第一姿态信息；第二位姿信息包括第二传感器在世界坐标系中的第二坐标信息以及第二姿态信息；第三位姿信息包括第二传感器在世界坐标系中的第三坐标信息以及第三姿态信息。

在本实施例中，基于第二传感器的第二位姿信息和第三位姿信息，将第二传感器在同一世界坐标系下第二坐标信息和第三坐标信息对应的三维坐标之间的相对位置关系，作为第二传感器的坐标差异值。

步骤S506：根据所述第二姿态信息以及所述第三姿态信息，确定姿态差异值。

在本实施例中，基于第二传感器的第二位姿信息和第三位姿信息，将第二传感器在同一世界坐标系下第二姿态信息和第三姿态信息之间的差值作为第二传感器的姿态差异值。

步骤S507：若所述坐标差异值大于第一坐标阈值，和/或，所述姿态差异值大于第一姿态阈值，确定所述第二位姿信息与所述第三位姿信息不匹配。

在本实施例中，存在三种情况时第二传感器的第二位姿信息与第三位姿信息不匹配。在第二传感器的第二坐标信息和第三坐标信息之间的坐标差异值大于第一坐标阈值，且第二传感器的第二位姿信息和第三位姿信息之间的姿态差值大于第一姿态阈值时；第二传感器坐标差异值大于第一坐标阈值时；第二传感器姿态差值大于第一姿态阈值时。可选地，第一坐标阈值和第一姿态阈值为预先设置的差值，用于表示第二传感器的位姿信息差异在超出预设值内，判定第二传感器的第二位姿信息与第三位姿信息不匹配。

步骤S508：若所述坐标差异值小于或等于第一坐标阈值，且所述姿态差异值小于或等于第一姿态阈值，确定所述第二位姿信息与所述第三位姿信息匹配。

在本实施例中，在第二传感器的第二坐标信息和第三坐标信息之间的坐标差异值小于第一坐标阈值，且第二传感器的第二位姿信息和第三位姿信息之间的姿态差值小于第一姿态阈值时，判定第二传感器的第二位姿信息与第三位姿信息匹配。

步骤S509：若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

在本实施例中，步骤S501至步骤S504、步骤S509的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。

步骤S510：若所述第二位姿信息与所述第三位姿信息匹配，根据所述第一位姿信息、所述第一传感器数据、所述第二位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的所述目标虚拟环境。

在本实施例中，根据第一传感器数据和第一位姿信息，获取目标现实环境中的第一传感器在世界坐标系中的点云信息，作为第一点云信息，并根据第二传感器数据和第二位姿信息，获取目标现实环境中的目标物体在世界坐标系中的点云信息，作为第二点云信息。

进一步地，在获取到第一点云信息和第二点云信息后，可以通过特征融合的方式进行图像融合。基于第一传感器对应的第一位姿信息与第二传感器对应的第二位姿信息表示在同一世界坐标系下不同传感器的位置信息和姿态信息，将第一点云信息包括的目标现实场景中标记物对应的各个标记点与第二点云信息包括的目标物体对应的各个特征点映射到同一世界坐标系下进行显示，得到第三点云信息，进而基于第三点云信息，生成目标现实环境对应的目标虚拟环境。

在本实施例中，通过预先设置第一坐标阈值和第一姿态阈值，基于第一位姿信息、第一传感器与第二传感器之间的预设相对位姿关系得到的第二传感器的第三位姿信息，通过将得到的第三位姿信息与预设阈值进行比较，确认第二传感器的位姿信息差异是否超出预设值内，得到第二位姿信息与第三位姿信息的匹配结果，进而实现对第二传感器实际位姿信息的校正。

请参阅图10，图10示出了本申请又一实施例提供的三维重建方法的流程示意图。下面将结合图10对本申请实施例提供的三维重建方法进行详细阐述。该三维重建方法可以包括以下步骤：

步骤S610：获取目标现实环境的环境参数。

在本实施例中，基于不同传感器在相同目标现实环境进行三维重建，得到对应的目标虚拟环境的过程中，由于传感器的数据采集原理不同，在不同的环境情况下选择与环境更为适配的传感器，对目标现实环境进行数据采集，可以提高位姿估计的准确性，进而基于更准确的位姿信息，生成与目标现实环境更为贴合的目标虚拟环境重建，即提高了针对目现实环境的三维重建的准确性。基于此，可以在不同的环境状态下选择不同的第二传感器，首先，获取目标现实环境的环境参数，该环境参数至少包括环境光强度、环境温度、环境湿度、传感器与目标物体的距离、目标现实环境的区域范围大小中的一种。

步骤S620：从多个预设传感器中获取与环境参数相匹配的至少一个预设传感器，作为所述第二传感器。

在本实施例中，由于可被设置为第二传感器的预设传感器至少包括深度相机、双目相机和激光雷达。可选地，双目相机在与目标物体距离较近时精度较高，但受环境光干扰较小，在室内室外都可使用，但受限于两个摄像头间距，在现实环境过大或者过小时无法进行准确测量；基于结构光的深度相机会随着与目标物体的距离加大而精度降低，且容易收到环境光的干扰，在室外环境光变化较大的情况下精度不高，但其适应于在环境光不强时的场景；激光雷达由于通过发射接收激光的时间差测距，能够不受限于与目标物体的距离。

基于此，在环境光强度较高时选择双目相机或激光雷达，在环境光较弱时选择深度相机或激光雷达；与目标物体的距离较近选择三者皆可，在与目标物体的距离较远时选择激光雷达；在目标现实环境的区域范围大小过小或过大时选择激光雷达。基于上述多个匹配信息确认在不同目标现实环境下所适合的预设传感器，作为第二传感器。

步骤S630：获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同。

步骤S640：根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息。

步骤S650：根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息。

步骤S660：根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息。

步骤S670：若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

在本实施例中，步骤S630至步骤S670的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。

在本实施例中，基于在不同的环境情况下选择对应的传感器能够获取到更为准确的传感器数据，通过获取目标现实环境的环境参数，与预设的传感器进行匹配，确认在不同目标现实环境下能够选择到匹配的预设传感器，作为第二传感器，能够得到更为准确的传感器数据，进而使得最终生成的目标虚拟环境能够更加贴合其对应的目标现实环境。

请参照图11，图11示出了本申请一实施例提供的三维重建装置的结构框图，应用于计算机设备。该三维重建装置700可以包括：数据获取模块710、第一位姿信息获取模块720、第二位姿信息获取模块730、位姿信息确认模块740和虚拟环境生成模块750。

数据获取模块710，用于获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同。

第一位姿信息获取模块720用于根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息。

第二位姿信息获取模块730，用于根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息。

位姿信息确认模块740用于根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息。

虚拟环境生成模块750用于若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

在一些实施方式中，第一传感器为红外相机，所述第一传感器数据为红外图像，所述红外图像中至少包括一个红外标记物，第一位姿信息获取模块720可以包括：特征点提取模块以及第一位姿信息确定模块。其中，特征点提取模块可以用于提取所述红外图像中所述红外标记物对应的多个红外特征点。第一位姿信息确定模块可以用于根据所述多个红外特征点，确定所述红外相机在所述目标现实环境中的所述第一位姿信息。

在该方式下，虚拟环境生成模块750可以具体用于：根据所述红外图像和所述第一位姿信息，获取所述目标现实环境中的所述红外标记物在世界坐标系中的点云信息，作为第一点云信息；根据所述第二传感器数据和所述第三位姿信息，获取所述目标现实环境中的目标物体在所述世界坐标系中的点云信息，作为第二点云信息，所述目标物体为所述第二传感器数据中包含的所述目标现实环境中的物体；通过目标融合算法，对所述第一点云信息和所述第二点云信息进行融合，得到第三点云信息；基于所述第三点云信息，生成所述目标现实环境对应的所述目标虚拟环境。

在一些实施方式中，所述第一位姿信息包括所述第一传感器在世界坐标系中的第一坐标信息以及第一姿态信息，位姿信息确认模块740还可以用于根据所述预设相对位姿关系、所述第一坐标信息以及所述第一姿态信息，获取所述第二传感器在所述世界坐标系中的第三坐标信息以及第三姿态信息，作为所述第二传感器在所述目标现实环境中的第三位姿信息。

在该方式下，所述第二位姿信息包括所述第二传感器在所述世界坐标系中的第二坐标信息以及第二姿态信息，三维重建装置700还包括位姿匹配模块。位姿匹配模块可以具体用于：根据所述第二坐标信息以及所述第三坐标信息，确定坐标差异值；根据所述第二姿态信息以及所述第三姿态信息，确定姿态差异值；若所述坐标差异值大于第一坐标阈值，和/或，所述姿态差异值大于第一姿态阈值，确定所述第二位姿信息与所述第三位姿信息不匹配；若所述坐标差异值小于或等于第一坐标阈值，且所述姿态差异值小于或等于第一姿态阈值，确定所述第二位姿信息与所述第三位姿信息匹配。

在一些实施方式中，位姿信息确认模块740还可以用于若所述第二位姿信息与所述第三位姿信息匹配，根据所述第一位姿信息、所述第一传感器数据、所述第二位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的所述目标虚拟环境。

在一些实施方式中，三维重建装置700还包括传感器匹配模块。传感器匹配模块可以具体用于：获取目标现实环境的环境参数；从多个预设传感器中获取与环境参数相匹配的至少一个预设传感器，作为所述第二传感器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请实施例提供的方案中，获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的目标现实环境的第二传感器数据，第一传感器与第二传感器的传感器类型不相同；根据第一传感器数据，获取第一传感器在目标现实环境中的第一位姿信息；根据第二传感器数据，获取第二传感器在目标现实环境中的第二位姿信息；根据第一传感器与第二传感器之间的预设相对位姿关系以及第一位姿信息，确定第二传感器在目标现实环境中的第三位姿信息；若第二位姿信息与第三位姿信息不匹配，根据第一位姿信息、第一传感器数据、第三位姿信息以及第二传感器数据，生成目标现实环境对应的目标虚拟环境。如此，通过在目标现实环境中设置仅能被第一传感器拍摄到的预设标记物，第二传感器仅能获取到目标现实环境中的目标物体，因此不同类型的传感器在同一现实环境下获取到的传感器数据对应的物体不同，得到第一传感器和第二传感器的位姿信息。基于传感器之间已知的相对位姿关系，以及准确的第一位姿信息能够对第二传感器的位姿信息进行校正，得到更为准确的位姿信息，进而能够在根据两个不同类型的传感器数据生成同一世界坐标系下的目标虚拟环境时，基于更为准确的位姿信息以及传感器数据，使得生成的目标虚拟环境更加贴合其对应的目标现实环境，即使得针对目标显示环境的三维重建结果更为准确。

下面将结合图12对本申请提供的一种计算机设备800进行说明。

参照图12，图12示出了本申请实施例提供的一种计算机设备800的结构框图，本申请实施例提供的上述方法可以由该计算机设备800执行。

本申请实施例中的计算机设备800可以包括一个或多个如下部件：处理器801、存储器802、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器802中并被配置为由一个或多个处理器801执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器801可以包括一个或者多个处理核。处理器801利用各种接口和线路连接整个计算机设备800内的各个部分，通过运行或执行存储在存储器802内的指令、程序、代码集或指令集，以及调用存储在存储器802内的数据，执行计算机设备800的各种功能和处理数据。可选地，处理器801可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器801可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以集成到处理器801中，单独通过一块通信芯片进行实现。

存储器802可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器802可用于存储指令、程序、代码、代码集或指令集。存储器802可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备800在使用中所创建的数据(比如上述的各种对应关系)等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图13，图13示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质900中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。

在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述各方法实施例中的步骤。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种三维重建方法，其特征在于，所述方法包括：

获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同；

根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息；

根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息；

根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息；

若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

2.根据权利要求1所述的方法，其特征在于，所述第一传感器为红外相机，所述第一传感器数据为红外图像，所述红外图像中至少包括一个红外标记物；

所述根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息，包括：

提取所述红外图像中所述红外标记物对应的多个红外特征点；

根据所述多个红外特征点，确定所述红外相机在所述目标现实环境中的所述第一位姿信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境，包括：

根据所述红外图像和所述第一位姿信息，获取所述目标现实环境中的所述红外标记物在世界坐标系中的点云信息，作为第一点云信息；

根据所述第二传感器数据和所述第三位姿信息，获取所述目标现实环境中的目标物体在所述世界坐标系中的点云信息，作为第二点云信息，所述目标物体为所述第二传感器数据中包含的所述目标现实环境中的物体；

通过目标融合算法，对所述第一点云信息和所述第二点云信息进行融合，得到第三点云信息；

基于所述第三点云信息，生成所述目标现实环境对应的所述目标虚拟环境。

4.根据权利要求1所述的方法，其特征在于，所述第一位姿信息包括所述第一传感器在世界坐标系中的第一坐标信息以及第一姿态信息，所述根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息，包括：

根据所述预设相对位姿关系、所述第一坐标信息以及所述第一姿态信息，获取所述第二传感器在所述世界坐标系中的第三坐标信息以及第三姿态信息，作为所述第二传感器在所述目标现实环境中的第三位姿信息。

5.根据权利要求4所述的方法，其特征在于，所述第二位姿信息包括所述第二传感器在所述世界坐标系中的第二坐标信息以及第二姿态信息，在所述确定所述第二传感器在所述目标现实环境中的第三位姿信息之后，所述方法还包括：

根据所述第二坐标信息以及所述第三坐标信息，确定坐标差异值；

根据所述第二姿态信息以及所述第三姿态信息，确定姿态差异值；

若所述坐标差异值大于第一坐标阈值，和/或，所述姿态差异值大于第一姿态阈值，确定所述第二位姿信息与所述第三位姿信息不匹配；

若所述坐标差异值小于或等于第一坐标阈值，且所述姿态差异值小于或等于第一姿态阈值，确定所述第二位姿信息与所述第三位姿信息匹配。

6.根据权利要求1所述的方法，其特征在于，在所述根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息之后，所述方法还包括：

若所述第二位姿信息与所述第三位姿信息匹配，根据所述第一位姿信息、所述第一传感器数据、所述第二位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的所述目标虚拟环境。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述第二传感器至少包括深度相机、双目相机和激光雷达中的一种传感器。

8.根据权利要求1至6任一项所述的方法，其特征在于，在所述获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据之前，所述方法还包括：

获取目标现实环境的环境参数；

从多个预设传感器中获取与环境参数相匹配的至少一个预设传感器，作为所述第二传感器。

9.一种三维重建装置，其特征在于，所述装置包括：

数据获取模块，用于获取第一传感器采集的目标现实环境的第一传感器数据以及第二传感器采集的所述目标现实环境的第二传感器数据，所述第一传感器与所述第二传感器的传感器类型不相同；

第一位姿信息获取模块，用于根据所述第一传感器数据，获取所述第一传感器在所述目标现实环境中的第一位姿信息；

第二位姿信息获取模块，用于根据所述第二传感器数据，获取所述第二传感器在所述目标现实环境中的第二位姿信息；

位姿信息确认模块，用于根据所述第一传感器与所述第二传感器之间的预设相对位姿关系以及所述第一位姿信息，确定所述第二传感器在所述目标现实环境中的第三位姿信息；

虚拟环境生成模块，用于若所述第二位姿信息与所述第三位姿信息不匹配，根据所述第一位姿信息、所述第一传感器数据、所述第三位姿信息以及所述第二传感器数据，生成所述目标现实环境对应的目标虚拟环境。

10.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至8任一项所述的方法。

Images