CN114897992A - 一种三维重建方法和电子设备 - Google Patents

Abstract

本发明公开了一种三维重建方法和电子设备，该方法包括：确定图像获取装置(包括一个机械臂和固定在机械臂末端的一个相机)中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；确定图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；应用接收到的多视角RGB图像集合进行多视角三维重建；其中，各个多视角RGB图像携带多视角标定信息。提高了重建精度和可扩展性，降低了操作难度。

Description

一种三维重建方法和电子设备

技术领域

本发明涉及标定技术领域，尤其涉及一种三维重建方法和电子设备。

背景技术

在高精度三维重建领域，稠密视点的三维重建应用越来越广泛。稠密视点的三维重建，需要使用多个视角(少则几十，多则上百)作为输入，利用相应算法，完成对目标的三维重建。

相关技术中的，传统的稠密视点的三维重建的实现方案有两种：

第一种、使用一台单反相机，由人手持相机，到目标的各个视角位置进行拍摄，然后将拍摄的几十个视角的RGB图像作为输入，使用标准的MVS(Multi-view Stereo，多视点立体匹配)算法完成重建。操作简单、成本低，但是有如下缺陷：1)相机各个视角之间没有固定的标定信息，每次拍摄完都要进行图像对齐，重建效率低，基于自动对齐的算法，精度也难以保证；2)拍摄时间长，而高精度三维重建多是面向人体重建的，如果拍摄时间过长，人物很难保持静止，导致重建失败。

第二种、搭建专业的多视点重建系统(俗称鸟笼系统)，在一个系统中同时部署几十甚至上百个单反相机，可以完成对待重建目标的快速同步拍摄，多视点同步性好、重建速度快、精度高。但是有如下缺陷：1)成本高昂；2)部署难度高；3)可扩展性差。

发明内容

本发明示例性的实施方式中提供一种三维重建方法和电子设备，用以提高重建精度和可扩展性，降低操作难度。

确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；其中，所述图像获取装置包括一个机械臂和固定在机械臂末端的一个相机；

确定所述图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；

控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，所述多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息；

应用接收到的所述多视角RGB图像集合进行多视角三维重建。

根据示例性的实施方式中的第二方面，提供一种电子设备，该电子设备包括处理器、存储器以及至少一个外部通信接口，所述处理器、所述存储器以及所述外部通信接口均通过总线连接；

所述外部通信接口，被配置为接收各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；

所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：

确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；

确定所述图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；

控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，所述多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息；

应用接收到的所述多视角RGB图像集合进行多视角三维重建。

根据示例性的实施方式中的第三方面，提供一种三维重建装置，该装置包括：

第一矩阵确定模块，用于确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；其中，所述图像获取装置包括一个机械臂和固定在机械臂末端的一个相机；

第二矩阵确定模块，用于确定所述图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；

控制模块，用于控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，所述多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息；

三维重建模块，用于应用接收到的所述多视角RGB图像集合进行多视角三维重建。

根据示例性的实施方式中的第四方面，提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面所述的三维重建方法。

本申请实施例具备如下有益效果：

通过确定图像获取装置(包括一个机械臂和固定在机械臂末端的一个相机)中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵，以及，任意两个视角下的相机坐标系之间的组内视角转换矩阵。这样，由于已经完成了组内多视角相机坐标系的标定过程以及机械臂与相机之间的手眼标定过程，因此在增加或者减少视角时，不必重新标定，无需重新更改部署，可扩展性强。另外，控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像(携带多视角标定信息)集合；应用接收到的多视角RGB图像集合进行多视角三维重建。因此，与相关技术相比，无需搭建复杂的系统，在降低操作难度的基础上，组内多视角标定过程以及手眼标定过程结合，提高了重建精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本发明实施例提供的一种现有技术中三维重建的应用场景图；

图2示例性示出了本发明实施例提供的一种鸟笼系统的示意图；

图3示例性示出了本发明实施例提供的一种三维重建方法的流程图；

图4示例性示出了本发明实施例提供的另一种三维重建方法的流程图；

图5示例性示出了本发明实施例提供的一种标定过程中机械臂位置关系的示意图；

图6示例性示出了本发明实施例提供的一种确定基础标定矩阵的方法流程图；

图7示例性示出了本发明实施例提供的一种另一种标定过程中机械臂位置关系的示意图；

图8示例性示出了本发明实施例提供的一种确定手眼标定矩阵的方法流程图；

图9示例性示出了本发明实施例提供的一种确定组内视角转换矩阵的方法流程图；

图10示例性示出了本发明实施例提供的一种确定组间视角转换矩阵的方法流程图；

图11示例性示出了本发明实施例提供的一种标定过程的方法流程图；

图12示例性示出了本发明实施例提供的一种数据采集过程的方法流程图；

图13示例性示出了本发明实施例提供的一种三维重建过程的方法流程图；

图14示例性示出了本发明实施例提供的一种基于机械臂的多视点高精度的三维重建的方法流程图；

图15示例性示出了本发明实施例提供的一种三维重建装置的结构示意图；

图16示例性示出了本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

三维重建技术，按照视点输入的不同，可分为单视点三维重建、稀疏视点三维重建和稠密视点三维重建。单视点三维重建的代表性技术是kinect fusion。稀疏视点的三维重建近年来受到很大关注，代表性的技术有fusion 4D和function 4D。单视点三维重建及稀疏视点的三维重建，都具有部署简单、成本低、重建速度快的特点，但由于视点输入受限，其重建精度也较低。在高精度三维重建领域，稠密视点的三维重建效果较好。稠密视点的三维重建，需要使用多个视角(少则几十，多则上百)作为输入，利用MVS算法，完成对目标的三维重建。

相关技术中，传统的稠密视点的三维重建的实现方案有两种：

第一种、仅使用1台单反相机，由人手持相机，到目标的各个视角位置进行拍摄。然后将拍摄的几十个视角的RGB图像作为输入，使用标准的mvs算法，完成重建。这种方法操作简便、成本低。但有如下缺陷：(1)相机各个视角之间没有固定的标定信息，每次拍摄完成都要进行图像对齐，重建效率低，基于自动对齐的算法，精度也难以保证；(2)拍摄时间长，手持拍摄几十个视角(例如60个)，至少五分钟。现在的高精度三维重建，很多是面向人体重建的，如果拍摄时间过长(超过1分钟)，人物很难保持静止，导致重建失败。参考图1，图1示出了一种现有技术中三维重建的应用场景图，其中，以三个拍摄视角为例，人拿着相机从视角1移动到视角2，再从视角2移动至视角3进行拍摄。

第二种、搭建专业的多视点重建系统(鸟笼系统)，在一个系统中同时部署几十甚至上百个单反相机，可以完成对待重建目标的快速同步拍摄，如下图。这种方法多视点同步性好、重建速度快、精度高。但有如下缺陷：(1)成本高昂，需要同时部署几十个单反相机，加上工装、同步控制系统，成本需要近百万；(2)部署难度高：要实现几十个相机的标定、同步拍摄、传输，需要极复杂的系统；(3)可扩展性差：相机一旦部署完成，无法快速的增加视点，如果要新增加视点，可能整个部署又要重新调整，相机的标定关系也需要重新计算。且由于工装限制，相机的视角无法做到高自由度部署，使得拍摄产生死角。图2示出了一种鸟笼系统的示意图。

为此，本申请实施例提供了一种三维重建方法，该方法中，确定图像获取装置(包括一个机械臂和固定在机械臂末端的一个相机)中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；确定图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；应用接收到的多视角RGB图像集合进行多视角三维重建；其中，各个多视角RGB图像携带多视角标定信息。提高了重建精度和可扩展性，降低了操作难度。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

首先对本申请实施例的标定过程中涉及到的各个标定矩阵进行说明，各个标定矩阵包括基础标定矩阵、手眼标定矩阵、组内视角转换矩阵和组间视角转换矩阵。

(1)机械臂基坐标系标定过程：确定基础标定矩阵的过程，也即，多组图像获取装置之间，多机械臂基坐标系标定，完成机械臂基坐标系对齐。

(2)手眼标定过程：确定手眼标定矩阵的过程，每组图像获取装置中，用来完成相机坐标系和末端工具坐标系的对齐。

(3)组内视角标定过程：确定组内视角转换矩阵的过程，每组图像获取装置中，确定所有视角之间的相机坐标系间的转换矩阵。

(4)组间视角标定过程，确定组间视角转换矩阵的过程，多组图像获取装置中，其中一组中的一个视角和另一组中的另一个视角之间的相机坐标系间的转换矩阵。

需要说明的是，当存在两个及以上的图像获取装置时，标定过程可以包括上述4个标定过程；当存在一个图像获取装置时，无需基础标定过程和组间视角标定过程。在实际的三维重建过程中，如果只应用一个图像获取装置，则对目标对象拍摄得到的RGB图像时的视角可能比较少，三维重建效果较差，通常情况下，为了得到相对多视角的RGB图像，应用至少两个图像获取装置。

参考图3示出的一种三维重建方法的流程图，对本申请实施例提供的技术方案进行说明。

S301、确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；其中，图像获取装置包括一个机械臂和固定在机械臂末端的一个相机。

S302、确定图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵。

S303、控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息。

S304、应用接收到的多视角RGB图像集合进行多视角三维重建。

本申请实施例，通过确定图像获取装置(包括一个机械臂和固定在机械臂末端的一个相机)中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵，以及，任意两个视角下的相机坐标系之间的组内视角转换矩阵。这样，由于已经完成了组内多视角相机坐标系的标定过程以及机械臂与相机之间的手眼标定过程，因此在增加或者减少视角时，不必重新标定，无需重新更改部署，可扩展性强。另外，控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像(携带多视角标定信息)集合；应用接收到的多视角RGB图像集合进行多视角三维重建。因此，与相关技术相比，无需搭建复杂的系统，在降低操作难度的基础上，组内多视角标定过程以及手眼标定过程结合，提高了重建精度。

图3为一个图像获取装置时的标定以及三维重建的过程，接下来以两个以及以上的图像获取装置为例，参考图4，对本申请实施例进行说明。

S401、确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵。

S402、确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵。

S403、确定图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵。

S404、确定任意两个图像获取装置间的任意两个视角下的相机坐标系之间的组间视角转换矩阵。

S405、控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，所述多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息。

S406、应用接收到的多视角RGB图像集合进行多视角三维重建。

涉及到S401，当图像获取装置为两个及以上时，确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵。以两个图像获取装置为例，分别为第一图像获取装置和第二图像获取装置，第一图像获取装置包括第一机械臂和第一相机，第二图像获取装置包括第二机械臂和第二相机。

示例性的，图5示出了一种标定过程中机械臂位置关系的示意图，图6示出了一种确定基础标定矩阵的方法流程图。结合图5和图6，对S401中确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵的过程进行说明。

S601、获取第一图像获取装置的第一机械臂的用户坐标系到第一机械臂的基坐标系的第一标定矩阵，以及，第二图像获取装置的第二机械臂的用户坐标系到第二机械臂的基坐标系的第二标定矩阵。

S602、根据第一标定矩阵和第二标定矩阵确定基础标定矩阵。

具体的，先为所有机械臂建立自己的用户坐标系C_user，建立用户坐标系的方法如下：

使用一个标准的矩形工装，在机械臂末端安装针形工具，以此针形工具，依次走到矩形的一个顶点，并以此作为用户坐标系的原点，然后控制针型工具先沿着矩形的一条边移动，并在这条边上选任意一个点，记录作为x轴上的点。此点与刚才的原点组成用户坐标系x轴。同理，再控制针形工具，沿着矩形的另一条垂直边，任意选定一个点，作为y轴上的点。此点与原点组成用户坐标系的y轴，这样，用户坐标系的原点、x轴、y轴均已建立，再根据笛卡尔右手坐标法则，可以自动确定出用户坐标系的z轴。

因为所有机械臂都使用同一个矩形工装进行用户坐标系的建立，因此所有机械臂的用户坐标系为同一个位置，也即C_user＝C_{user_m}＝C_{user_n}，其中，C_{user_m}为第一机械臂的用户坐标系，C_{user_n}为第二机械臂的用户坐标系。

此时，可以通过第一机械臂的示教器读出第一机械臂的用户坐标系C_{user_m}到第一机械臂的基坐标系C_{base_m}的第一标定矩阵，

可以通过第二机械臂的示教器读出第二机械臂的用户坐标系C_{user_n}到第二机械臂的基坐标系C_{base_n}的第二标定矩阵

由于

因此，根据第一标定矩阵和第二标定矩阵确定基础标定矩阵，得到第一机械臂的基坐标系和第二机械臂的基坐标系之间的基础标定矩阵为

示例性的，图7示出了另一种标定过程中机械臂位置关系的示意图，图8示出了一种确定手眼标定矩阵的方法流程图。结合图7和图8，对S402中确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵的过程进行说明。

S801、控制图像获取装置的机械臂转动，对标定板进行拍摄；其中，标定板相对于机械臂基坐标系不动。

S802、确定第一拍摄位置下标定板在对应的相机坐标系下的第一转换矩阵，以及，机械臂末端工具坐标系在机械臂坐标系下的第二转换矩阵。

S803、确定第二拍摄位置下标定板在对应的相机坐标系的第三转换矩阵，以及，机械臂末端工具坐标系在机械臂基坐标系下的第四转换矩阵。

S804、根据第一转换矩阵、第二转换矩阵、第三转换矩阵和第四转换矩阵确定手眼标定矩阵。

具体的，手眼标定过程，就是完成相机坐标系和机械臂末端工具坐标系的对齐。相机安装在机械臂末端的工具坐标系上，相机工具坐标系保持不动，标定板相对于机械坐标系保持不动，标定的是相机坐标系与机械臂工具坐标系之前的关系。

结合图7，手眼标定的基本流程如下：

放置一个标定板，图像获取装置(机械臂携带相机)对标定板进行拍摄，并记录下第一拍摄位置和第二拍摄位置的两组工具坐标值。

具体求解如下：标定板相对于机械臂基座标系保持不动，他们的转换矩阵可以表示为

此值未知，在机械臂更换拍摄位置时保持不变。标定板在相机视野中的位置，会随着机械臂的运动而改变，标定板在相机坐标系的转换矩阵为

可以通过利用得到的两组工具坐标值进行相机外参标定方法计算获得。相机坐标系相对工具坐标系保持不动，他们的转换关系为

也即，需要求解手眼标定矩阵，此值在机械臂更换拍摄位置时保持不变。工具坐标系会随着机械臂的运动而改变，其在机械臂基坐标系的转换矩阵为

此值可以通过机械臂示教器读出。

示例性的，以上述第一拍摄位置和第二拍摄位置为例，通过相机外参标定法确定第一拍摄位置下标定板在对应的相机坐标系下的第一转换矩阵为

以及，通过机械臂示教器读出机械臂末端工具坐标系在机械臂坐标系下的第二转换矩阵

机械臂携带相机移动，继续对标定板进行拍摄，通过相机外参标定法确定第二拍摄位置下标定板在对应的相机坐标系下的第三转换矩阵为

以及，通过机械臂示教器读出机械臂末端工具坐标系在机械臂坐标系下的第四转换矩阵

针对任意一个机械臂来说，由于

是需要求解的手眼标定矩阵；

为标定板相对于机械臂基坐标系的转换矩阵，在基机械臂更换拍摄位置时保持不变，但是是个未知量，并且在本申请实施例中无需知道其具体数值，利用其保持不变的特性，则可以得出：

第一拍摄位置：

第二拍摄位置：

这样，利用

不变的特性，得出：

利用AX＝XB(A、B和X泛指三个矩阵)方程的求解方式，可以求X，在本申请实施例中，X为

因此，可以使用Tsai两步法进行求解。

上述示例是用两个图像获取装置来举例说明的，在实际的应用过程中，一般使用10个视角，应用最小二乘法对得到的多个手眼标定矩阵进行处理，以提高手眼标定的精度。

示例性的，图9示出了一种确定组内视角转换矩阵的方法流程图。结合图9，对S403中确定图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵的过程进行说明。

S901、获取第一视角下的机械臂末端工具坐标系在机械臂坐标系下的第五转换矩阵。

S902、获取第二视角下的机械臂末端工具坐标系在机械臂坐标系下的第六转换矩阵。

S903、应用图像获取装置的手眼标定矩阵，以及第五转换矩阵和第六转换矩阵，确定第一视角与第二视角下的相机坐标系之间的组内视角转换矩阵。

具体的，在进行稠密视点三维重建时，需要确定所有视点之间的相机坐标系中间的转换矩阵(组内视角转换矩阵)。因此，以任意两个视角下，相机坐标系之间的组内视角转换矩阵的过程进行说明。

通过机械臂示教器读出第一视角(视角i)下的机械臂末端工具坐标系在机械臂坐标系下的第五转换矩阵

通过机械臂示教器读出第二视角(视角j)下的机械臂末端工具坐标系在机械臂坐标系下的第六转换矩阵

因此，在第一视角下，相机坐标系在机械臂基坐标系下的坐标可表示为

在第二视角下，相机坐标系在机械臂基坐标系下的坐标可表示为

而

为确定好的手眼标定矩阵，这样，可以得到第一视角与第二视角下的相机坐标系之间的组内视角转换矩阵

如下：

示例性的，图10示出了一种确定组间视角转换矩阵的方法流程图。结合图10，对S404中确定任意两个图像获取装置间的任意两个视角下的相机坐标系之间的组间视角转换矩阵的过程进行说明。

S1001、获取第一图像获取装置与第二图像获取装置之间的机械臂基坐标系之间的基础标定矩阵；以及，第一图像获取装置的手眼标定矩阵、第二图像获取装置的手眼标定矩阵；

S1002、应用第一图像获取装置与第二图像获取装置之间的机械臂基坐标系之间的基础标定矩阵；以及，第一图像获取装置的手眼标定矩阵、第二图像获取装置的手眼标定矩阵，确定第一图像获取装置的第一视角的相机坐标系到第二图像获取装置的第二视角的相机坐标系之间的组间视角转换矩阵。

具体的，获取第一图像获取装置与第二图像获取装置之间的机械臂基坐标系之间的基础标定矩阵

第一图像获取装置的手眼标定矩阵

第二图像获取装置的手眼标定矩阵

这样可以得到第m组机械臂上的第i视角的相机坐标系到第n组机械臂基坐标系转换矩阵

进一步第m组机械臂上的第i视角的相机坐标系，到第n组机械臂第j视角相机坐标系的转换矩阵：

如上，组内和组件的任意视角的相机坐标系之间的转换矩阵都可以求得，而且组内视角转换矩阵仅与机械臂工具坐标系(跟随视角变化)和手眼标定矩阵(保持不变)有关；组间视角转换矩阵仅与机械臂工具坐标系(跟随视角变化)、手眼标定矩阵(保持不变)和多机械臂基坐标系之间的基础标定矩阵(保持不变)有关。因此，在完成多机械臂基坐标系之间的基础标定和手眼标定后，如需增加拍摄视角，只需增加机械臂工具坐标系的位置(通过机械臂示教器读出)，其视角间的转换矩阵可以计算出来，无需再进行标定，容易扩展。

具体为，若检测到拍摄视角增加或者减少，则根据增加或者减少的拍摄视角对应的工具坐标系的位置，重新确定组内视角转换矩阵和组间视角转换矩阵，以重新对各个图像获取装置进行标定。

涉及到S405，如上，完成各组图像获取装置的标定后，针对每个图像获取装置，控制该图像获取装置中的机械臂运动至各个预设视角对应的位置，对目标对象进行拍摄。通常情况下，一个视角下得到一个RGB图像，这样，多个视角可以得到多个RGB图像，也即，得到RGB图像集合。

下面用一个具体的例子对图像的采集过程进行说明：

应用预先设计的上位机软件，集成在处理器中，完成上位机软件对机械臂、相机的控制以及数据传输，主要包括以下功能：

A、同步控制：通过输入输出模块与多组机械臂进行交互，确保所有机械臂到位后，由软件统一触发所有相机进行拍摄，确保所有机械臂在同一时刻完成对场景的拍摄。

B、机械臂运动控制：控制各组机械臂运动到指定视角位置，并可对各组机械臂的运动速度、加减速度进行调节。

C、增减视角：通过上位机可任意增加或者减少机械臂运动的位置，以增加拍摄视角。可以根据新视角工具坐标、手眼标定矩阵、机械臂的基础标定矩阵，快速计算出新视角的相机坐标系之间的转换矩阵。

D、获取图像数据：接收相机通过以太网、USB(Universal Serial Bus，通用串行总线)、或者无线网络通信技术WIFI传输返回的RGB数据，用于后续的三维重建。

涉及大S406，经过上述步骤，获取了携带了多视角标定信息的多视角RGB图像集合，应用接收到的多视角RGB图像集合应用MVS算法，进行多视角三维重建。

在一个具体的例子中，通过如下方式完成多视角高精度三维重建：

MVS算法中将每张图像分成许多β1×β1像素大小的图像块C(x,y)，每个图像块用一个集合Q(x,y)来记录所有投影到这个图像块的表面切片。基于表面切片的PMVS(PatchMulti-View Stereo，基于表面切片的多视点立体匹配)算法目的就是保证每个图像块C(x,y)上都至少有一个表面切片的投影。

其过程主要分为三个步骤：

(1)初始化特征匹配

PMVS算法中使用DoG算子和Harris角点提取算子来提取图像的特征，之后对特征点进行匹配，通过三角化的方式可以根据匹配点对生成稀疏空间点云。

(2)表面切片的生成

将这些点按照点到对应相机光心的距离从小到大排序，依次尝试生成表面切片直到成功为止，初始化后得到初始表面切片。之后根据这些表面切片重复生成新的表面切片，也即，对每一个表面切片，首先定义其满足一定条件的邻域图像集合，在此集合中尝试生成新的表面切片。

(3)表面切片的过滤

最后是对表面切片进行过滤来剔除错误的表面切片，PMVS算法中使用了三个过滤器，一个是通过可见一致性标准来过滤，剔除掉不满足可视一致性标准的表面切片；另一个过滤器也考虑了可见一致性，对于每个表面切片计算其通过深度测试的可见图像总数，剔除那些总数没有超过一定阈值的表面切片；最后的过滤器过滤掉那些孤立的表面切片。

综上，即可完成对目标的高精度重建。

为了使本申请的技术方案更完善，以两个及以上机械臂为例，结合流程图分别对标定过程、数据采集过程和三维重建过程进行说明。

图11示出了一种标定过程的方法流程图，参考图11，至少包括如下步骤：

S1101、建立用户坐标系。

S1102、机械臂基坐标系标定。

S1103、手眼标定。

S1104、组内视角标定和组间视角标定。

图12示出了一种数据采集过程的方法流程图，参考图12，至少包括如下步骤：

S1201、控制机械臂运动。

S1202、判断机械臂是否已经到位，若是，则执行S1203，否则，返回执行S1201。

S1203、控制相机拍摄。

S1204、采集RGB图像。

S1205、判断是否完成采集，若是，则执行S1206，否则执行S1207后执行S1201。

S1206、获得携带多视角标定信息的多视角RGB图像。

S1207、运动到下一视点。

图13示出了一种三维重建过程的方法流程图，参考图13，至少包括如下步骤：

S1301、初始化特征匹配，获得稀疏点云。

S1302、根据稀疏点云生成稠密点云表面切面。

S1303、剔除错误切片，完成表面稠密重建。

图14示出了一种基于机械臂的多视点高精度的三维重建的方法流程图，参考图14，至少包括如下步骤：

S1401、建立用户坐标系。

S1402、机械臂基坐标系标定。

S1403、手眼标定。

S1404、组内视角标定和组间视角标定。

执行完S1404后继续执行S1410。

S1405、控制机械臂运动。

S1406、判断机械臂是否已经到位，若是，则执行S1407，否则，返回执行S1405。

S1407、控制相机拍摄。

S1408、采集RGB图像。

S1409、判断是否完成采集，若是，则执行S1410，否则执行S1411后执行S1405。

S1410、获得携带多视角标定信息的多视角RGB图像，而后执行S1412。

S1411、运动到下一视点。

S1412、初始化特征匹配，获得稀疏点云。

S1413、根据稀疏点云生成稠密点云表面切面。

S1414、剔除错误切片，完成表面稠密重建。

需要说明的是，上述步骤之间的先后关系和步骤编号大小并无明显关系，参考图14来理解整个标定以及三维重建的过程。

综上，本申请实施例，稠密多视点重建，可应用在虚拟社交应用场景中，主要面向人体进行高精度三维重建。基于人体三维重建的特点，将RGB相机安装在机械臂末端，并完成机械臂和RGB相机的手眼标定。由机械臂携带RGB相机运动到不同的位置，并触发相机进行拍照，将每个视角获得的RGB图像作为输入，进行后续的MVS重建。

另外，可以获取机械臂在每个视点的六个自由度的位姿，因此容易得到每个视点间的机械臂的相对位姿。再通过RGB相机与机械臂的手眼标定，可以获得机械臂末端与相机的相对位姿。通过上述两个相对位姿，即可获得任意视点下，相机间的相对位姿。解决了手持拍摄的缺少标定信息的问题，也解决了鸟笼系统难以进行视点扩展的问题。

由于相机可以由机械臂携带到任意视角，因此仅需几组(一般不超过3组)图像获取装置(机械臂+相机)的组合，即可完成全视角的拍摄，可有效降低成本和部署难度。对于多视点的拍摄效率，由于机械臂的运动速度一般可以到达2000mm/s，这样，根据经验，对于常规的人物重建，两个视角间的距离，一般不会超过300mm。因此，一秒钟单个机械臂可以完成约2～3个视角的拍摄。对于常见的60个视角的拍摄，如果使用3组机械臂进行拍摄，20s以内即可完成所有视角的拍摄。因此，解决了鸟笼系统的高成本、难部署、视角扩展性差的缺点，又可解决手持拍摄的拍摄时间长，重建精度低的问题。

接下来对本申请实施例的整体有益效果进行说明：

第一、易部署。

仅需1台或者几台甚至机械臂，每台机械臂携带一台相机，即可完成部署。其需要的线缆、工装、同步装置，都远低于鸟笼系统。鸟笼系统动辄几十甚至上百台相机，其使用的线缆、工装、同步控制装置，都远高于机械臂系统。

第二、低成本。

单个机械臂+相机的组合，成本将近5万。鸟笼系统所需的60台左右的单反相机(成本百万级)。而机械臂系统，按照使用3组进行计算，成本将近20万。

第三、易扩展。

机械臂具备6自由度，可编程，可以任意增加或者减少视角。且机械臂与相机已经完成了手眼标定，增加或者减少视角，不必重新标定，扩展性更强。

第四、高精度。

传统的手持相机的三维重建，因为缺少图像之间的标定信息，每次重建时，都需要对RGB进行对齐，以估计出多视角之间的变换关系。由于对齐算法缺少可靠的对应点，直接通过RGB的特征点对齐，容易出现对齐错误，导致重建精度较低甚至失败。而本申请实施例，通过机械臂基坐标系标定、手眼标定、组内多视角标定和组间多视角标定，RGB图像之间有了良好的对应关系，重建精度更有保证。

如图15所示，基于相同的发明构思，本发明实施例提供一种三维重建装置，包括第一矩阵确定模块1501、第二矩阵确定模块1502、控制模块1503和三维重建模块1504。

其中，第一矩阵确定模块1501，用于确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；其中，图像获取装置包括一个机械臂和固定在机械臂末端的一个相机；

第二矩阵确定模块1502，用于确定图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；

控制模块1503，用于控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息；

三维重建模块1504，用于应用接收到的多视角RGB图像集合进行多视角三维重建。

在一些示例性的实施方式中，若图像获取装置为两个及以上，则装置还包括：

第三矩阵确定模块，用于确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵；

第四矩阵确定模块，用于确定任意两个图像获取装置间的任意两个视角下的相机坐标系之间的组间视角转换矩阵。

在一些示例性的实施方式中，第三矩阵确定模块具体用于：

获取第一图像获取装置的第一机械臂的用户坐标系到第一机械臂的基坐标系的第一标定矩阵，以及，第二图像获取装置的第二机械臂的用户坐标系到第二机械臂的基坐标系的第二标定矩阵；

根据第一标定矩阵和第二标定矩阵确定基础标定矩阵。

在一些示例性的实施方式中，第一矩阵确定模块1501具体用于：

控制图像获取装置的机械臂转动，对标定板进行拍摄；其中，标定板相对于机械臂基坐标系不动；

确定第一拍摄位置下标定板在对应的相机坐标系下的第一转换矩阵，以及，机械臂末端工具坐标系在机械臂坐标系下的第二转换矩阵；

确定第二拍摄位置下标定板在对应的相机坐标系的第三转换矩阵，以及，机械臂末端工具坐标系在机械臂基坐标系下的第四转换矩阵；

根据第一转换矩阵、第二转换矩阵、第三转换矩阵和第四转换矩阵确定手眼标定矩阵。

在一些示例性的实施方式中，第二矩阵确定模块1502具体用于：

获取第一视角下的机械臂末端工具坐标系在机械臂坐标系下的第五转换矩阵；

获取第二视角下的机械臂末端工具坐标系在机械臂坐标系下的第六转换矩阵；

应用图像获取装置的手眼标定矩阵，以及第五转换矩阵和第六转换矩阵，确定第一视角与第二视角下的相机坐标系之间的组内视角转换矩阵。

在一些示例性的实施方式中，第四矩阵确定模块具体用于：

应用第一图像获取装置与第二图像获取装置之间的机械臂基坐标系之间的基础标定矩阵；以及，第一图像获取装置的手眼标定矩阵、第二图像获取装置的手眼标定矩阵，确定第一图像获取装置的第一视角的相机坐标系到第二图像获取装置的第二视角的相机坐标系之间的组间视角转换矩阵。

在一些示例性的实施方式中，控制模块1503具体用于：

针对每个图像获取装置，控制图像获取装置中的机械臂运动至各个预设视角对应的位置对目标对象进行拍摄，得到多视角RGB图像集合。

在一些示例性的实施方式中，还包括调整模块，用于：

在检测到拍摄视角增加或者减少时，根据增加或者减少的拍摄视角对应的工具坐标系的位置，重新确定组内视角转换矩阵和组间视角转换矩阵，以重新对各个图像获取装置进行标定。

由于该装置即是本发明实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

如图16所示，基于相同的发明构思，本发明实施例提供一种电子设备，该电子设备包括：包括处理器1601、存储器1602以及至少一个外部通信接口1603，处理器1601、存储器1602以及外部通信接口1603均通过总线1604连接；

外部通信接口1603，被配置为接收各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；

存储器1602中存储有计算机程序，处理器1601被配置为基于计算机程序执行以下操作：

确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；

确定图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；

控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，所述多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息；

应用接收到的多视角RGB图像集合进行多视角三维重建。

在一些示例性的实施方式中，若图像获取装置为两个及以上，则处理器1601还被配置为执行：

确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵；

确定任意两个图像获取装置间的任意两个视角下的相机坐标系之间的组间视角转换矩阵。

在一些示例性的实施方式中，处理器1601还被配置为执行：

获取第一图像获取装置的第一机械臂的用户坐标系到第一机械臂的基坐标系的第一标定矩阵，以及，第二图像获取装置的第二机械臂的用户坐标系到第二机械臂的基坐标系的第二标定矩阵；

根据第一标定矩阵和第二标定矩阵确定基础标定矩阵。

在一些示例性的实施方式中，处理器1601还被配置为执行：

控制图像获取装置的机械臂转动，对标定板进行拍摄；其中，标定板相对于机械臂基坐标系不动；

确定第一拍摄位置下标定板在对应的相机坐标系下的第一转换矩阵，以及，机械臂末端工具坐标系在机械臂坐标系下的第二转换矩阵；

确定第二拍摄位置下标定板在对应的相机坐标系的第三转换矩阵，以及，机械臂末端工具坐标系在机械臂基坐标系下的第四转换矩阵；

根据第一转换矩阵、第二转换矩阵、第三转换矩阵和第四转换矩阵确定手眼标定矩阵。

在一些示例性的实施方式中，处理器1601还被配置为执行：

获取第一视角下的相机坐标系在机械臂基坐标系的第一坐标；

应用图像获取装置的手眼标定矩阵和获取到的第二视角下的相机坐标系在基坐标系的第二坐标；

基于第一坐标和第二坐标确定第一视角与第二视角下的相机坐标系之间的组内视角转换矩阵。

在一些示例性的实施方式中，处理器1601还被配置为执行：

应用第一图像获取装置与第二图像获取装置之间的机械臂基坐标系之间的基础标定矩阵；以及，第一图像获取装置的手眼标定矩阵、第二图像获取装置的手眼标定矩阵，确定第一图像获取装置的第一视角的相机坐标系到第二图像获取装置的第二视角的相机坐标系之间的组间视角转换矩阵。

在一些示例性的实施方式中，处理器1601还被配置为执行：

针对每个图像获取装置，控制图像获取装置中的机械臂运动至各个预设视角对应的位置对目标对象进行拍摄，得到多视角RGB图像集合。

在一些示例性的实施方式中，处理器1601还被配置为执行：

若检测到拍摄视角增加或者减少，则根据增加或者减少的拍摄视角对应的工具坐标系的位置，重新确定组内视角转换矩阵和组间视角转换矩阵，以重新对各个图像获取装置进行标定。

本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机程序指令，当指令在计算机上运行时，使得计算机执行上述三维重建方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种三维重建方法，其特征在于，包括：

确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；其中，所述图像获取装置包括一个机械臂和固定在机械臂末端的一个相机；

确定所述图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；

控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，所述多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息；

应用接收到的所述多视角RGB图像集合进行多视角三维重建。

2.根据权利要求1所述的方法，其特征在于，若所述图像获取装置为两个及以上，则所述方法还包括：

确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵；

确定任意两个图像获取装置间的任意两个视角下的相机坐标系之间的组间视角转换矩阵。

3.根据权利要求2所述的方法，其特征在于，所述确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵，包括：

获取第一图像获取装置的第一机械臂的用户坐标系到所述第一机械臂的基坐标系的第一标定矩阵，以及，第二图像获取装置的第二机械臂的用户坐标系到所述第二机械臂的基坐标系的第二标定矩阵；

根据所述第一标定矩阵和所述第二标定矩阵确定所述基础标定矩阵。

4.根据权利要求1或2所述的方法，其特征在于，所述确定所述图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵，包括：

控制所述图像获取装置的机械臂转动，对标定板进行拍摄；其中，所述标定板相对于所述机械臂基坐标系不动；

确定第一拍摄位置下所述标定板在对应的相机坐标系下的第一转换矩阵，以及，所述机械臂末端工具坐标系在所述机械臂坐标系下的第二转换矩阵；

确定第二拍摄位置下所述标定板在所述对应的相机坐标系的第三转换矩阵，以及，所述机械臂末端工具坐标系在所述机械臂基坐标系下的第四转换矩阵；

根据所述第一转换矩阵、所述第二转换矩阵、第三转换矩阵和所述第四转换矩阵确定手眼标定矩阵。

5.根据权利要求1或2所述的方法，其特征在于，所述确定所述图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵，包括：

获取第一视角下的机械臂末端工具坐标系在机械臂坐标系下的第五转换矩阵；

获取第二视角下的机械臂末端工具坐标系在机械臂坐标系下的第六转换矩阵；

应用图像获取装置的手眼标定矩阵，以及第五转换矩阵和第六转换矩阵，确定第一视角与第二视角下的相机坐标系之间的组内视角转换矩阵。

6.根据权利要求2所述的方法，其特征在于，所述确定任意两个图像获取装置间的任意两个视角下的相机坐标系之间的组间视角转换矩阵，包括：

应用第一图像获取装置与第二图像获取装置之间的机械臂基坐标系之间的基础标定矩阵；以及，第一图像获取装置的手眼标定矩阵、第二图像获取装置的手眼标定矩阵，确定所述第一图像获取装置的第一视角的相机坐标系到所述第二图像获取装置的第二视角的相机坐标系之间的组间视角转换矩阵。

7.根据权利要求1所述的方法，其特征在于，所述控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合，包括：

针对每个图像获取装置，控制所述图像获取装置中的机械臂运动至各个预设视角对应的位置对目标对象进行拍摄，得到多视角RGB图像集合。

8.根据权利要求1～3或6～7任一项所述的方法，其特征在于，所述方法还包括：

若检测到拍摄视角增加或者减少，则根据增加或者减少的拍摄视角对应的工具坐标系的位置，重新确定组内视角转换矩阵和组间视角转换矩阵，以重新对各个图像获取装置进行标定。

9.一种电子设备，其特征在于，包括处理器、存储器以及至少一个外部通信接口，所述处理器、所述存储器以及所述外部通信接口均通过总线连接；

所述外部通信接口，被配置为接收各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；

所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：

确定图像获取装置中的机械臂末端工具坐标系与对应的相机坐标系之间的手眼标定矩阵；

确定所述图像获取装置内的任意两个视角下的相机坐标系之间的组内视角转换矩阵；

控制标定好的各个图像获取装置对目标对象拍摄得到多视角RGB图像集合；其中，所述多视角RGB图像集合中的各个多视角RGB图像携带多视角标定信息；

应用接收到的所述多视角RGB图像集合进行多视角三维重建。

10.根据权利要求9所述的电子设备，其特征在于，若所述图像获取装置为两个及以上，则所述处理器还被配置为执行：

确定任意两个图像获取装置的机械臂基坐标系之间的基础标定矩阵；

确定任意两个图像获取装置间的任意两个视角下的相机坐标系之间的组间视角转换矩阵。

Images