CN116977565A - 三维场景重建方法及其装置 - Google Patents

Abstract

本申请公开了一种三维场景重建方法及其装置，属于图像处理技术领域。该方法包括：获取第一摄像头采集的第一场景的N帧第一图像，以及第一传感器输出的第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息；根据采集的N帧第一图像的第二时间戳与第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对；对所述P个图像对中的每个图像对进行像素点对齐；根据每个图像对中第二图像中的第一像素点，对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一场景的三维重建场景。

Description

三维场景重建方法及其装置

技术领域

本申请属于图像处理领域，具体涉及一种三维场景重建方法及其装置。

背景技术

随着三维重建技术的飞速发展，三维重建技术已得到各研究领域的广泛关注和深入研究。动态场景中由于具有非刚体运动，如走动的人等，故如何对存在非刚体运动的动态场景的三维重建是目前研究的热点话题。

目前，在对存在非刚体运动的动态场景进行三维重建时，通常采样人体分割或者运动检测等技术来识别场景中的非刚体区域，或者是采用形变场及其相关约束，构建并求解非线性优化问题来识别场景中的非刚体区域，然后分别进行动态区域和静态区域的重建。

上述对动态场景的三维重建方法中，人体分割技术只能检测人体，无法检测其他运动的物体，运动检测技术虽然可以检测所有的运动物体，但是该检测方式对运动物体的运动方式、运动幅度等均有一定的限制，无法稳定的区分出非刚体运动区域，进而导致动态场景的三维重建精度较低。形变场及其相关约束构建并求解非线性优化问题会占用较长的计算时间，无法满足实时重建的要求。

发明内容

本申请实施例的目的是提供一种三维场景重建方法及其装置，解决了现有技术中对动态场景的三维重建精度低，且无法实时重建的问题。

第一方面，本申请实施例提供了一种三维场景重建方法，该方法包括：

获取第一摄像头采集的第一场景的N帧第一图像，以及第一传感器输出的第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息，其中，第一像素点为在相邻两帧第二图像中亮度值变化大于预设亮度阈值的像素点；N和M均为正整数；

根据采集的N帧第一图像的第二时间戳与第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对；

对P个图像对中的每个图像对进行像素点对齐；

根据每个图像对中第二图像中的第一像素点，对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一场景的三维重建场景。

第二方面，本申请实施例提供了一种三维场景重建系统，该系统包括：

第一摄像头，用于采集不同视角下第一场景的N帧第一图像；

第一传感器，用于获取第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息，其中，第一像素点为在相邻两帧第二图像中亮度值变化大于预设亮度阈值的像素点；N和M均为正整数；

处理器，用于执行第一方面的三维场景重建方法。

第三方面，本申请实施例提供了一种三维场景重建装置，该装置包括：

第一获取模块，用于获取第一摄像头在不同视角下采集的第一场景的N帧第一图像，以及第一传感器输出的第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息，其中，第一像素点为在相邻两帧第二图像中亮度值变化大于预设亮度阈值的像素点；N和M均为正整数；

第一确定模块，用于根据采集的N帧第一图像的第二时间戳与第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对；

像素点对齐模块，用于对P个图像对中的每个图像对进行像素点对齐；

第二确定模块，用于根据每个图像对中第二图像中的第一像素点，对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一场景的三维重建场景。

第四方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第六方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，通过根据获取的第一摄像头采集的第一场景的N帧第一图像的第二时间戳以及获取的第一传感器输出的第一场景的的M帧第二图像的第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对，然后对每个图像对中的第一图像和第二图像进行像素点对齐，针对每个图像对，根据该图像对中第二图像中的第一像素点来对每个图像对中的第一图像的运动区域和静态区域分别进行三维重建，可得到该第一场景的三维重建场景，由于本申请中增加了第一传感器，如此若在相邻两帧第二图像中第一像素点的亮度值大于预设亮度阈值的情况下，输出该第二图像中第一像素点的坐标信息，如此可根据该第二图像中该第一像素点的坐标信息，精确的对第一场景中的运动区域和静态区域分别重建，无需对第一图像进行人体检测、运动检测或形变场及其相关约束计算，提升了第一场景的三维重建效率。且由于第一传感器具有高效率、高速延迟地输出来亮度值变化大于阈值亮度阈值的第一像素点对应的坐标信息的特点，如此可满足对第一场景的三维重建的实时性。

附图说明

图1是本申请的一些实施例提供的三维场景重建系统的结构示意图；

图2是本申请的一些实施例提供的三维场景重建系统的结构示意图；

图3是本申请的一些实施例提供的三维场景重建方法的流程示意图；

图4是本申请的一些实施例提供的无第二摄像头的情况下，三维场景重建方法的流程示意图；

图5是本申请的一些实施例提供的有第二摄像头的情况下，三维场景重建方法的流程示意图；

图6是本申请的一些实施例示出的三维场景重建装置的结构示意图；

图7是本申请的一些实施例示出的电子设备的结构示意图；

图8是本申请的一些实施例示出的电子设备的硬件结构示意图

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

如背景技术部分所述，现有技术中在对第一场景进行三维重建时，重建精度低且时效性低的问题，为了解决上述问题，本申请实施例提供了一种三维场景重建方法及其装置，通过根据获取的第一摄像头采集的第一场景的N帧第一图像的第二时间戳以及获取的第一传感器输出的第一场景的的M帧第二图像的第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对，然后对每个图像对中的第一图像和第二图像进行像素点对齐，针对每个图像对，根据该图像对中第二图像中的第一像素点来对每个图像对中的第一图像的运动区域和静态区域分别进行三维重建，可得到该第一场景的三维重建场景，由于本申请中增加了第一传感器，如此若在相邻两帧第二图像中第一像素点的亮度值大于预设亮度阈值的情况下，输出该第二图像中第一像素点的坐标信息，如此可直接根据该第二图像中该第一像素点的坐标信息，精确的对第一场景中的运动区域和静态区域分别重建，无需对第一图像进行人体检测、运动检测或形变场及其相关约束计算，提升了第一场景的三维重建效率。且由于第一传感器具有高效率、高速延迟地输出来亮度值变化大于阈值亮度阈值的第一像素点对应的坐标信息的特点，如此可满足对第一场景的三维重建的实时性。

本申请实施例的技术方案可以应用于对进行重建的场景中的存在非刚体运动的场景中，例如需重建中的场景中存在人体的走动等。

在介绍本申请的技术方案之前，首先介绍一下本申请的技术方案中的相关名词解释：

第一摄像头可以是拍摄彩色图像的摄像头，例如可以是彩色摄像头，比如RGB相机。

第一传感器，可以是具有高效率、高速延迟地输出来亮度值变化大于阈值亮度阈值的像素点对应的坐标信息的特点的事件视觉传感器，事件视觉传感器又称之为动态视觉传感器(Dynamic Vision Sensor，DVS)，在DVS中，入射光在DVA的光接收电路中的光电二极管会转换成电气信号，电气信号通过放大器，由比较器根据亮度变化进行分离，形成变亮信号和变暗信号，然后通过后段的信号处理，以DVS图像数据的形式输出，即DVS可以检测各像素点的亮度变化，在检测到像素点的亮度变化大于设定的阈值的情况下，第一传感器将其检测为事件，然后输出发生事件的像素点的坐标和时间。此动作各像素点是独立、非同步进行的。

第二摄像头可以是用于拍摄深度图像的摄像头，具体的可以是利用飞行时间法(Time offlight，TOF)的摄像头。

在介绍本申请实施例的三维场景重建方法之前，首先介绍实现本申请实施例的三维场景重建方法的三维场景重建系统，图1是本申请实施例所提供的一种三维场景重建系统的结构示意图，如图1所示，本申请实施例提供的三维场景重建系统100可以包括：第一摄像头110、第一传感器120和处理器130。

第一摄像头110，用于采集不同视角下第一场景的N帧第一图像。这里的第一图像可以是第一摄像头110在不同视角下采集的第一场景的图像，N为正整数。

第一传感器120，用于获取第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息。这里的第二图像可以是第一传感器获取的第一场景的图像。这里的第一像素点可以为在相邻两帧第二图像中相同位置亮度值变化大于第一亮度阈值的像素点，这里的第一亮度阈值可以根据用户需求自行设置，在本申请实施例中不做限定。M为正整数。

上述的第一场景可以是动态场景，也就是说在该场景中具有非刚体运动。

需要说明的是，在输出每帧第二图像中的第一像素点的坐标信息时，针对首帧第二图像，由于其前无第二图像，故可输出该帧第二图像的所有像素点的坐标信息，以用于在后续进行像素点对齐，针对从第二帧第二图像至第M帧第二图像，可输出该帧第二图像中与前一帧第二图像中像素点的亮度大于第一亮度阈值的像素点的坐标信息。

处理器130，用于实现本申请实施例提供的三维场景重建方法。具体的三维场景重建方法在下面实施例中再详细介绍。

本申请的实施例提供的第一场景三维重建系统包括，用于采集不同视角下第一场景的N帧第一图像的第一摄像头，以及用于获取第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息的第一传感器，由于本申请实施例中在现有的三维场景重建系统中增加了第一传感器，如此在相邻两帧第二图像中第一像素点的亮度值大于预设亮度阈值的情况下，可直接输出该第二图像中第一像素点的坐标信息，如此处理器可直接根据该第二图像中该第一像素点的坐标信息，精确的对与该第二图像同帧的第一图像的运动区域进行检测，进而精确的重建出第一场景，且无需进行人体检测、运动检测或形变场及其相关约束计算，节省了第一图像中运动区域的计算时长，提升了第一场景的三维重建效率。且由于第一传感器具有高效率、高速延迟地输出来亮度值变化的像素点对应的坐标信息的特点，如此可满足对第一场景的三维重建的实时性。

在本申请的一些实施例中，如图2所示，上述所涉及的系统还可以包括第二摄像头140，该第二摄像头140用于采集不同视角下第一场景的N帧深度图像。

在本申请的一些实施例中，第二摄像头140可以是深度摄像头，该第二摄像头140和第一摄像头110的采样频率和采样视角均一致。

在本申请的一些实施例中，在系统中不包括第二摄像头的情况下，处理器可直接根据第一摄像头采集的N帧第一图像计算每帧第一图像的深度信息，然后基于该深度信息对第一场景进行重建。在系统中存在第二摄像头的情况下，处理器可直接根据第二摄像头采集的N帧深度图像，得到每帧第一图像的深度信息，然后基于该深度信息对第一场景进行重建。具体的在有第二摄像头的情况下，处理器如何计算每帧第一图像的深度信息，以及在无第二摄像头的情况下，处理器如何计算每帧第一图像的深度信息，在后面的实施例中再详细介绍。

在本申请的实施例中，通过第二摄像头可采集与N帧第一图像同视角下的深度图像，如此可直接根据该深度图像得到每帧第一图像的深度信息，进而精确对第一场景进行三维重建，如此无需根据N帧第一图像计算每帧第一图像的深度信息，节省了计算时长，提升了每帧第一图像的深度信息的确定效率，进而提升了第一场景的三维重建效率。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的三维场景重建方法进行详细地说明。需要说明的是，本申请实施例中与上述实施例中相同的名词，含义相同，在此不再赘述。

图3是本申请实施例所提供的一种三维场景重建方法的流程示意图，

如图3所示，本申请实施例提供的三维场景重建方法可以包括步骤310-步骤340。

步骤310、获取第一摄像头采集的第一场景的N帧第一图像，以及第一传感器第一传感器输出的第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息。

其中，第一摄像头包括彩色摄像头，第一时间戳可以是每帧第二图像的输出时间。

在本申请的一些实施例中，在利用第一摄像头采集第一场景的第一图像，以及第一传感器获取第一场景的第二图像之前，首先需要对第一摄像头和第一传感器进行参数标定，如此获取的第一图像和第二图像才可精确进行后续的三维重建。

在本申请的一些实施例中，为了进一步提升第一场景的三维重建精度，在步骤310之前，上述所涉及的方法还可以包括：

获取第一摄像头在不同视角下采集的标定图像的第五图像，以及第一传感器采集的以预设刷新频率刷新的标定图像的第六图像；

根据第五图像，确定第一摄像头的第一参数；

根据第六图像，确定第一传感器的第二参数；

根据第五图像和第六图像，确定第一摄像头和第一传感器之间的第三参数；

基于第一参数、第二参数和第三参数，确定第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系。

其中，标定图像可以是用于对第一摄像头和第一传感器进行标定的图像，例如可以是棋盘格图像。

第五图像可以为第一摄像头在不同视角下采集的标定图像的图像。第六图像可以是第一传感器采集的以预设刷新频率刷新的标定图像的图像。

在本申请的一些实施例中，由于第一传感器是用于检测相邻两帧图像中的像素点的亮度变化，故可将标定图像以预设刷新频率进行刷新，例如可以是利用闪烁电脑屏幕或闪烁视频，在屏幕上显示以一定刷新频率刷新的标定图像，然后利用第一传感器来采集标定图像的图像。

第一参数可以是第一摄像头的内参，第二参数可以是第一传感器的内参，第三参数可以是第一摄像头和第一传感器之间的外参。在确定第一参数、第二参数和第三参数时，可以是基于张正友标定法进行确定，具体的计算过程为现有技术，在此不再赘述。

在本申请的一些实施例中，可以根据第一参数、第二参数和第三参数，确定第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系，也即确定第一图像中的各像素点与第二图像中的各像素点之间的映射关系。

在本申请的实施例中，通过获取的第一摄像头在不同视角下采集的标定图像的第五图像，可确定第一摄像头的第一参数，通过获取的第一传感器采集的以预设刷新频率刷新的标定图像的第六图像，可确定第一传感器的第二参数，根据第五图像和第六图像，可确定第一摄像头和第一传感器之间的第三参数，如此可对第一摄像头和第一传感器进行标定，以基于标定后的第一摄像头和第一传感器分别采集第一图像和第二图像，进而精确对第一场景进行三维重建。

步骤320、根据采集的N帧第一图像的第二时间戳与第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对。

其中，第二时间戳可以是每帧第一图像的采集时间。

在本申请的一些实施例中，可以根据N帧第一图像和M帧第二图像的时间戳对N帧第一图像和M帧第二图像进行帧同步，即将在同一时间戳下的第一图像和第二图像进行配对，组成一个图像对，进而可得到P个图像对。这里的P≤min(M,N)。

在本申请的一些实施例中，第一摄像头在采集第一图像时，会有一个开始曝光时间和结束曝光时间，第一图像的采集是在开始曝光时间和结束曝光时间之间。故第一子图像的第二时间戳可以包括第一子图像的开始采集时间戳和结束采集时间戳，这里的第一子图像可以是N帧第一图像中的任意一帧图像。

为了精确对N帧第一图像和M帧第二图像进行帧同步，步骤320具体可以包括：

在确定第二子图像的第一时间戳位于开始采集时间戳和结束采集时间戳之间的情况下，确定第二子图像和第一子图像组成一个图像对。

其中，第二子图像可以为M帧第二图像中的任意一个。

在本申请的一些实施例中，在确定第二子图像的第一时间戳位于第一子图像的开始采集时间戳和结束采集时间戳之间的情况下，可确定第一子图像和第二子图像是在同一时间采集的图像，故可将第一子图像和第二子图像进行配对，形成一个图像对。

针对每个第一图像和每个第二图像均采用上述方式来进行帧同步，可得到P个图像对。

需要说明的是，形成的P个图像对可以按照每个图像对中的第一图像的采集时间来进行排序，如此在后续处理时可以按照采集时间对每个图像对进行处理，不会造成混乱，以便于精确对第一场景进行三维重建。

在本申请的实施例中，在确定第二子图像的第一时间戳位于开始采集时间戳和结束采集时间戳之间的情况下，可确定第二子图像和第一子图像组成一个图像对，如此可根据第一子图像和第二子图像的采集时间，精确对第一子图像和第二子图像进行配对，形成图像对。

步骤330、对P个图像对中的每个图像对进行像素点对齐。

在本申请的一些实施例中，针对每个图像对，可以将该图像对中的第一图像和第二图像进行像素点对齐，具体的可以是根据上述得到的第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系进行每个图像对中的第一图像和第二图像之间的像素点对齐。

在本申请的一些实施例中，第一传感器触发一个事件，这样离散且异步的事件难免会带有噪声，故在执行步骤330之前，需要将每个图像对中第二图像中的噪声进行去除，具体的在步骤330之前，上述所涉及的方法还可以包括：

对每个图像对中第二图像进行去噪处理，得到去除噪声后的第二图像；

步骤330具体可以包括：

对P个图像对中的每个图像对中第一图像和去除噪声后的第二图像进行像素点对齐。

在本申请的一些实施例中，第一传感器触发一个事件时所产生的噪声主要来源于数字信号传输时的脉冲噪声以及光电二极管所引起的高斯噪声，具体的主要是包括阈值噪声和背景噪声，可以采用高斯分布对阈值噪声进行建模，并利用离散傅里叶变换方法进行滤波。背景噪声服从泊松分布，故可以采用泊松分布对背景噪声进行建模，然后利用对应的滤波算法对背景噪声进行滤波处理，即可很好的去除每个图像对中第二图像中的噪声。

在本申请的实施例中，通过对每个图像对中第二图像进行去噪处理，得到去除噪声后的第二图像，如此可避免噪声对后续处理的干扰，以得到精确的第一场景的三维重建场景。

步骤340、根据每个图像对中第二图像中的第一像素对，对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一场景的三维重建场景。

在本申请的一些实施例中，针对每个图像对，可根据该图像对中第二图像中的第一像素对，对该图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一场景的三维重建场景。

在本申请的一些实施例中，为了精确得到第一场景的三维重建场景，步骤340具体可以包括：

根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到所述第一目标图像的运动区域；

对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

其中，第一目标图像和第二目标图像可以分别为第一图像对中的第一图像和第二图像，这里的第一图像对可以为P个图像对中的任意一个图像对。

运动区域可以是在第一场景中具有非刚体运动的区域。

在本申请的一些实施例中，可以根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，如此可得到第一目标图像的运动区域。

静态区域可以是第一图像中的除运动区域外的其他区域。在该区域内不存在非刚体运动。

在本申请的一些实施例中，针对每个图像对，可将该图像对中的第一图像的运动区域和静态区域分别进行三维重建，如此可得到该第一场景的三维重建场景。

在本申请的实施例中，通过根据该第二目标图像中第一像素点的坐标信息，可对第一目标图像的运动区域进行检测，得到第一目标图像的运动区域，然后再对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景，如此可精确的对与第二目标图像同帧的第一目标图像的运动区域进行检测，且无需对第一图像进行人体检测、运动检测或形变场及其相关约束计算，节省了第一图像中运动区域的计算时长，进而提升了第一场景的三维重建效率。

在本申请的一些实施例中，为了精确得到第一目标图像的运动区域，根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到所述第一目标图像的运动区域具体可以包括：

在第一图像对为P个图像对中的首个图像对的情况下，根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，确定第一目标图像中的运动区域；

在第一图像对为P个图像对中的非首个图像对的情况下，根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时第一摄像头的第一位姿信息，以及第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系，确定第一目标图像的运动区域。

其中，第三图像可以为第二图像对中的第一图像，该第二图像对为P个图像对中位于第一图像对的前一图像对。例如，若第一图像对为P个图像对中排序第三的图像对，则第二图像对为P个图像对中排序第二的图像对。

第一位姿信息可以是第一摄像头在拍摄第三图像时的位姿信息。

在本申请的一些实施例中，在第一图像对为P个图像对中的首个图像对的情况下，那第一图像对中的第一图像为首帧第一图像，针对首帧第一图像而言，可认为第一摄像头是静止的，如此可将第一目标图像中与第二目标图像中的所有像素点对应的像素点所组成的区域确定为第一目标图像的运动区域。

在第一图像对为P个图像对中的非首个图像对的情况下，即第一图像对中的第一图像非首帧第一图像，则根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时第一摄像头的第一位姿信息，以及第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系，可确定第一目标图像的运动区域。

在本申请的实施例中，在第一图像对为P个图像对中的首个图像对的情况下，根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，确定第一目标图像中的运动区域，在第一图像对为P个图像对中的非首个图像对的情况下，根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时第一摄像头的第一位姿信息，以及第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系，确定第一目标图像的运动区域，如此可根据第一图像对是否为P个图像对中的首个图像对来分别精确确定第一目标图像的运动区域，提升了运动区域确定的精确性。

在本申请的一些实施例中，在第一图像对为P个图像对中的非首个图像对的情况下，所述根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时第一摄像头的第一位姿信息，以及第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系，确定第一目标图像的运动区域，具体可以包括：

根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，确定候选运动区域；

根据第一位姿信息和拍摄第一目标图像时第一摄像头的第二位姿信息，得到第一摄像头在第三图像和第一目标图像之间的位姿变化信息；

根据映射关系，将位姿变化信息转换到第一传感器的坐标系下，得到第一摄像头在第三图像和第一目标图像之间的目标位姿变化信息；

根据候选运动区域和目标位姿变化信息，确定第一目标图像的运动区域。

其中，候选运动区域可以是第一目标图像中与第二目标图像中的第一像素点对应的像素点所组成的区域。

第二位姿信息可以是第一摄像头在拍摄第一目标图像时的位姿信息。

位姿变化信息可以是第一摄像头在拍摄第三图像和第一目标图像时位姿的变化信息。

目标位姿变化信息可以是根据第一摄像头所在坐标系和第一传感器所在坐标系的映射关系，将位姿变化信息从第一摄像头坐标系转换到第一传感器所在坐标系下所得到位姿变化信息。

需要说明的是，在确定位姿变化信息时，可以是根据即时定位与地图构建(simultaneous localization and mapping，SLAM)技术来得到第一摄像头在拍摄第三图像和第一目标图像时位姿的变化信息。

在本申请的一些实施例中，在拍摄各帧第一图像时，第一摄像头也会发生移动，故在确定第一目标图像的运动区域时，需要将由于第一摄像头产生的移动排除掉，故可将候选运动区域减去目标位姿变化信息引起的运动区域的变化，即可得到第一目标图像的运动区域。

在本申请的实施例中，通过根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，可确定候选运动区域，然后根据第一位姿信息和拍摄第一目标图像时第一摄像头的第二位姿信息，得到第一摄像头在第三图像和第一目标图像之间的位姿变化信息，根据映射关系，将位姿变化信息转换到第一传感器的坐标系下，得到第一摄像头在第三图像和第一目标图像之间的目标位姿变化信息，最后根据候选运动区域和目标位姿变化信息，可精确确定第一目标图像的运动区域。

需要说明的是，针对每个图像对，均采用上述方式，可确定出每个图像对中的第一图像的运动区域。

在本申请的一些实施例中，为了进一步提升第一场景的三维重建，对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一场景的三维重建场景具体可以包括：

对第一目标图像的运动区域进行重建，得到重建后的第一目标图像的运动区域；

将第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的第一目标图像的静态区域；

根据重建后的第一目标图像的静态区域和重建后的第一目标图像的运动区域，得到第一目标图像的三维重建图像；

将各图像对中第一图像的三维重建图像进行面绘制，得到第一场景的三维重建场景。

其中，第三图像对可以为P个图像对中位于第一图像对之前的所有图像对。例如，第一图像对为P个图像对中的第3个图像对，则第三图像对为P个图像对中的第1个图像对和第2个图像对。

在本申请的一些实施例中，针对每个图像对，可以将该图像对中的第一图像的运动区域进行重建，得到重建后的第一图像的运动区域，将该图像对中的第一图像的静态区域与之前的图像对中的第一图像的静态区域进行融合，得到重建后的第一图像的静态区域，根据该图像对中的重建后的第一图像的运动区域和静态区域，可得到该图像对中的第一图像的三维重建图像，然后将每个图像对中的第一图像对应的三维重建图像进行面绘制，则可得到第一场景的三维重建场景。

在本申请的一些实施例中，对第一目标图像的运动区域进行重建，得到重建后的第一目标图像的运动区域的过程属于现有技术，在此不再赘述。

将第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的第一目标图像的静态区域的过程属于现有技术，在此不再赘述。

需要说明的是，在将第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理时，可以预先设置第一目标图像和第三图像对中第一图像的权重，根据该权重将第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，具体的融合处理可以为卡尔玛滤波融合处理，还可以是其他的融合处理方法，在此不作限定。

在本申请的一些实施例中，将各图像对中第一图像的三维重建图像进行面绘制属于现有技术，在此不再赘述。

在本申请的实施例中，对第一目标图像的运动区域进行重建，得到重建后的第一目标图像的运动区域，将第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的第一目标图像的静态区域，根据重建后的第一目标图像的静态区域和重建后的第一目标图像的运动区域，得到第一目标图像的三维重建图像，将各图像对中第一图像的三维重建图像进行面绘制，得到第一场景的三维重建场景，如此分别对第一目标图像的运动区域和静态区域进行三维重建，提升了第一目标图像的三维重建图像的精度，进而提升了第一场景的三维重建场景的精度。

在本申请的一些实施例中，在确定第一图像的位姿信息时，需要根据该第一图像的深度信息来确定，具体的可以是在所述根据第一位姿信息和拍摄第一目标图像时第一摄像头的第二位姿信息，得到第一摄像头在第三图像和第一目标图像之间的位姿变化信息之前，上述所涉及的方法还可以包括：

分别对第三图像中的像素点和第一目标图像中的像素点进行计算，分别得到第三图像的第一深度信息和第一目标图像的第二深度信息；

基于第一深度信息，得到第一位姿信息；

基于第二深度信息，得到第二位姿信息。

其中，第一深度信息可以是第三图像的深度信息，第二深度信息可以是第一目标图像的深度信息。

在本申请的一些实施例中，可以分别对第三图像中的像素点和第一目标图像中的像素点进行计算，分别得到第三图像的第一深度信息和第一目标图像的第二深度信息，然后基于第一深度信息，可得到第一位姿信息，基于第二深度信息，可得到第二位姿信息。

在本申请的实施例中，通过分别对第三图像中的像素点和第一目标图像中的像素点进行计算，可分别得到第三图像的第一深度信息和第一目标图像的第二深度信息，如此基于第一深度信息，可得到第一位姿信息，基于第二深度信息，可得到第二位姿信息，进而可基于该第一位姿信息和第二位姿信息精确得到第一目标图像的运动区域，进而精确对第一场景进行三维重建。

在本申请的一些实施例中，在计算深度信息时，可以根据是否具有第二摄像头来进行不同的计算，具体的可以在无第二摄像头的情况下，直接基于第三图像来计算第一深度信息，在有第二摄像头的情况下，可基于第二摄像头采集的深度图像来计算第一深度信息。具体如下：

在无第二摄像头的情况下，对第三图像中的像素点进行计算，得到第三图像的第一深度信息，具体可以包括：

利用多视角立体几何算法对第三图像中的像素点进行计算，得到第三图像的第一深度信息。

在本申请的一些实施例中，在无第二摄像头的情况下，可直接基于多视角立体几何原理的算法对第三图像中的像素点进行计算，例如可以是半全局立体匹配算法，还可以是倾斜窗立体匹配算法，即可得到第三图像的第一深度信息。需要说明的是，多视角立体几何原理的算法对图像中的像素点进行计算，得到该图像的深度信息属于现有技术，在此不再赘述。

需要说明的是，上述仅说明了第三图像的第一深度信息的计算方式，针对任何第一图像的深度信息的计算均可采用上述方式，在此不再赘述。

在本申请的实施例中，通过利用多视角立体几何算法对第三图像中的像素点进行计算，可得到第三图像的第一深度信息，如此可无需利用第二摄像头，节省了硬件成本。

在本申请的一些实施例中，在有第二摄像头的情况下，对第三图像中的像素点进行计算，得到第三图像的第一深度信息，具体可以包括：

获取第二摄像头采集的N帧深度图像；

基于第一深度图像对第三图像的深度信息进行补偿，得到第三图像的第一深度信息。

其中，第一深度图像可以为第二摄像头采集的N帧深度图像中与第三图像匹配的深度图像。在本申请的一些实施例中，第二摄像头和第一摄像头的采集频率和采集角度是一致，故每帧第一图像都有其对应的深度图像，第一深度图像即为与第三图像对应的深度图像。

在本申请的一些实施例中，针对第三图像，其具有深度信息，但是该深度信息不够精确，故可根据第一深度信息对该第三图像的深度信息进行补偿，得到第三图像的第一深度信息。

在本申请的实施例中，在有第二摄像头的情况下，通过获取第二摄像头采集的N帧深度图像，然后基于第一深度图像对第三图像的深度信息进行补偿，可得到第三图像的第一深度信息，如此可基于第二摄像头精确对第三图像的第一深度信息进行计算，无需利用多视角立体几何原理的算法对第三图像进行计算，节省了计算时长，提升了第一深度信息的确定效率。

需要说明的是，在使用第二摄像头之前，也需要对第二摄像头进行标定，具体的可以是将第二摄像头和第一摄像头通过相同视角和相同采集频率分别采集标定图像的K帧深度图像和K帧彩色图像，然后利用张正友算法计算得到第二摄像头的内参和第一摄像头的内参，以及第二摄像头和第一摄像头之间的外参。然后利用标定后的第二摄像头采集N帧深度图像进行后续处理。

在本申请的一些实施例中，在具有第二摄像头的情况下，在对N帧所述第一图像和M帧所述第二图像进行帧同步时，也需要对深度图像进行帧同步，步骤320具体可以包括：

根据第一时间戳、N帧第一图像的第二时间戳和N帧深度图像的第三时间戳，将N帧第一图像、N帧深度图像和M帧第二图像进行帧同步，得到P个图像对。

其中，第三时间戳可以是深度图像的采集时间。

在本申请的一些实施例中，在具有第二摄像头的情况下，还需要根据第一时间戳、N帧第一图像的第二时间戳和N帧深度图像的第三时间戳，将N帧第一图像、N帧深度图像和M帧第二图像进行帧同步，得到P个图像对，如此每个图像对中具有第一图像、第二图像和深度图像，在后续进行三维重建时，可利用深度图像来确定与其同帧的第一图像的深度信息，进而确定采集各帧第一图像时第一摄像头的位姿信息，进而根据各帧第一图像时第一摄像头的位姿信息，来确定第一图像的运动区域。

可以理解的是，在具有第二摄像头的情况下，图像对中的第一图像的深度信息的确定方式与无第二摄像头的情况下不同，其他的各个流程步骤均是相同的。如图4和图5所示，图4是在无第二摄像头的情况下，三维场景重建方法的流程示意图，图5为在有第二摄像头的情况下，三维场景重建方法的流程示意图。

在本申请的实施例中，在存在第二摄像头的情况下，通过根据第一时间戳、N帧第一图像的第二时间戳和N帧深度图像的第三时间戳，将N帧第一图像、N帧深度图像和M帧第二图像进行帧同步，得到P个图像对，如此后续可直接利用深度图像对与该深度图像同帧的第一图像的深度信息进行计算，避免混乱，造成第一场景的三维重建不够精确，同时无需利用多视角立体几何原理的算法对第三图像进行计算，节省了计算时长，提升了第一深度信息的确定效率。

在本申请的一些实施例中，为了进一步提升第一场景的三维重建精度，在得到第一目标图像的三维重建图像之后，上述所涉及的方法还可以包括：

基于第二位姿信息以及第一目标图像的三维重建图像，确定第一目标图像的第三深度信息；

基于第三深度信息，以及第四图像对中第一图像的第四深度信息，确定第四图像对中第一图像的第三位姿信息；

将第三位姿信息更新为第二位姿信息，将第一位姿信息更新为第二位姿信息，返回执行根据第一位姿信息和拍摄第一目标图像时第一摄像头的第二位姿信息，得到第一摄像头在第一目标图像和第四图像之间的位姿变化信息。

其中，第三深度信息可以是基于第一目标图像的第二位姿信息以及第一目标图像的三维重建图像进行计算得到的，具体的计算属于现有技术，在此不再赘述。

第四图像对可以为P个图像对中位于第一图像对的后一图像对，例如第一图像对为P个图像对中的第3个图像对，则第四图像对为P个图像对中的第4个图像对。

第四深度信息可以是第四图像对中的第一图像的深度信息，该深度信息可以基于上述深度信息的确定方式来确定，在此不再赘述。

第三位姿信息可以是第四图像对中的第一图像的位姿信息。

在本申请的一些实施例中，可以根据第二位姿信息以及第一目标图像的三维重建图像，确定第一目标图像的第三深度信息，然后基于第三深度信息，以及第四图像对中第一图像的第四深度信息，确定第四图像对中第一图像的第三位姿信息，也就是说，针对每个图像对而言，在得到某一图像对中的第一图像的三维重建图像后，可根据该图像对中的第一图像的三维重建图像，以及该图像对中的第一图像的位姿信息计算得到该图像对中的第一图像的深度信息，然后基于该深度信息可对该图像对的下一图像对中的第一图像的位姿信息进行估计。

在预估该图像对的下一图像对的第一图像的位姿信息后，可基于该预估的位姿信息确定该图像对的下一图像对的第一图像的运动区域，即将第三位姿信息更新为第二位姿信息，将第一位姿信息更新为第二位姿信息，然后返回执行根据第一位姿信息和拍摄第一目标图像时第一摄像头的第二位姿信息的步骤，进而得到第一摄像头在第一目标图像和第四图像之间的位姿变化信息。也就是说，每个图像对中的第一图像的位姿信息的确定均需要其自身的深度信息，以及通过上一个图像对中的第一图像的三维重建图像得到的深度信息来进行确定。

在本申请的实施例中，通过基于第二位姿信息以及第一目标图像的三维重建图像，确定第一目标图像的第三深度信息，然后基于第三深度信息，以及第四图像对中第一图像的第四深度信息，确定第四图像对中第一图像的第三位姿信息，如此针对每个图像对，在得到某一图像对中的第一图像的三维重建图像后，可根据该图像对中的第一图像的三维重建图像，以及该图像对中的第一图像的位姿信息计算得到该图像对中的第一图像的深度信息，然后基于该深度信息可对该图像对的下一图像对中的第一图像的位姿信息进行估计，如此可得到图像对中的第一图像的精确的位姿信息，进而精确的对第一场景进行三维重建。

为了更好的理解本申请的技术方案，参考图4，图4为在无第二摄像头的情况下三维场景重建方法的流程示意图，具体的可以包括：

步骤401、对第一摄像头和第一传感器进行标定。

该步骤401的实现可参考上述实施例中第一参数、第二参数和第三参数的确定过程，在此不再赘述。

步骤402、获取第一摄像头采集的第一场景的N帧第一图像，以及第一传感器输出的第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息。

步骤403、根据采集N帧第一图像的第二时间戳与第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对。

上述步骤402-步骤403与上述步骤310-步骤320一致，在此不再赘述。

步骤404、每个图像对中的第二图像的预处理。

在步骤404与上述实施例中对第二目标图像进行噪声处理的过程一致，在此不再赘述。

步骤405、对P个图像对中的每个图像对进行像素点对齐。

上述步骤步骤405与上述步骤330一致，在此不再赘述。

步骤406、第一目标图像的深度信息计算。

在步骤406中，可多视角立体几何算法对第一目标图像进行计算，得到第一目标图像的深度信息。

步骤407、获取第一摄像头采集第一目标图像时的位姿信息。

在步骤407中，可根据第一目标图像的深度信息，以及基于第一图像对的前一图像对中的第一图像的三维重建图像得到第一图像对的前一图像对中的第一图像的深度信息，得到第一摄像头在采集第一目标图像时的位姿信息。

步骤408、根据第二目标图像中的第一像素点，以及第一摄像头采集第一目标图像时的位姿信息，对第一目标图像的运动区域进行检测，得到第一目标图像的运动区域。

其中，第一目标图像和第二目标图像分别为第一图像对中的第一图像和第二图像，第一图像对为P个图像对中的任意一个图像对。

需要说明的是，在第一图像对为P个图像对中的非首个图像对的情况下，可根据步骤408，得到第一目标图像的运动区域，在第一图像对为P个图像对中的首个图像对的情况下，可直接根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到第一目标图像的运动区域。具体的确定过程可参考上述实施例，在此不再赘述。

上述步骤406-步骤408即为上述实施例中的步骤340的过程，在此不再赘述。

步骤409、对第一图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一图像对中的第一图像的三维重建图像。

步骤409与上述实施例中第一目标图像的三维重建图像的实现过程一致，在此不再赘述。

需要说明的是，在步骤409中得到第一图像对中的第一图像的三维重建图像后，可基于该三维重建图像对第一摄像头采集第一图像对中的第一图像的下一帧图像时的位姿信息进行估计，具体的位姿估计方式与上述实施例中基于第二位姿信息以及第一目标图像的三维重建图像，确定第一目标图像的第三深度信息；基于第三深度信息，以及第四图像对中第一图像的第四深度信息，确定第四图像对中第一图像的第三位姿信息；将第三位姿信息更新为第二位姿信息，将第一位姿信息更新为第二位姿信息，返回执行根据第一位姿信息和拍摄第一目标图像时第一摄像头的第二位姿信息，得到第一摄像头在第一目标图像和第四图像之间的位姿变化信息的过程一致，在此不再赘述。

步骤410、对每个图像对中的第一图像的三维重建图像进行面绘制，得到第一场景的三维重建场景。

步骤410与上述实施例中对每个图像对中的第一图像的三维重建图像进行面绘制过程一致，在此不再赘述。

步骤409-步骤410即为上述实施例中的步骤350。

参考图5，图5为在有第二摄像头的情况下，三维场景重建方法的流程示意图，具体的可以包括：

步骤501、对第一摄像头、第一传感器和第二摄像头进行标定。

该步骤501与上述实施例中第一摄像头、第一传感器和第二摄像头的标定过程一致，在此不再赘述。

步骤502、获取第一摄像头采集的第一场景的N帧第一图像，以及第一传感器输出的第一场景的M帧第二图像、每帧第二图像对应的第一时间戳以及第一像素点的坐标信息，以及N帧深度图像。

步骤503、根据采集N帧第一图像的第二时间戳、第一时间戳和N帧深度图像的第三时间戳，对N帧第一图像、M帧第二图像和N帧深度图像进行帧同步，得到P个图像对。

该步骤503与上述实施例中，对N帧第一图像、M帧第二图像和N帧深度图像进行帧同步，得到P个图像对的过程一致，在此不再赘述。

步骤504、每个图像对中的第二图像的预处理。

该步骤504与图4中的步骤404一致，在此不再赘述。

步骤505、每个图像对中的深度图像的预处理。

该步骤505与上述实施例中各深度图像的预处理过程一致，在此不再赘述。

步骤506、对P个图像对中的每个图像对进行像素点对齐。

步骤507、第一目标图像的深度信息计算。

在步骤507中，利用第一目标图像同帧的深度图像对第一目标图像进行计算，得到第一目标图像的深度信息。

步骤508、获取第一摄像头采集第一目标图像时的位姿信息。

步骤509、根据第二目标图像中的第一像素点，以及第一摄像头采集第一目标图像时的位姿信息，对第一目标图像的运动区域进行检测，得到第一目标图像的运动区域。

步骤510、对第一图像对中第一图像的运动区域和静态区域分别进行三维重建，得到第一图像对中的第一图像的三维重建图像。

步骤511、对每个图像对中的第一图像的三维重建图像进行面绘制，得到第一场景的三维重建场景。

上述步骤506-步骤511与上述实施例中的步骤405-步骤410一致，在此不再赘述。

从图4和图5中可以看出，图5的实施例在图4的实施例的基础上，增加了深度摄像图的标定和深度图像的采集，以及深度图像与第一图像和第二图像的帧同步，以及深度图像的预处理过程。图5的实施例和图4的实施例在计算第一目标图像的深度信息时不同，其他的过程均相同。

本申请实施例提供的三维场景重建方法，执行主体可以为三维场景重建装置。本申请实施例中以三维场景重建装置执行三维场景重建方法为例，说明本申请实施例提供的三维场景重建装置。

图6是根据一示例性实施例示出的一种三维场景重建装置的结构示意图。该三维场景重建装置可以应用于图1中的三维场景重建系统中的处理器，如图6所示，该三维场景重建装置600可以包括：

第一获取模块610，用于获取第一摄像头在不同视角下采集的第一场景的N帧第一图像，以及第一传感器输出的所述第一场景的M帧第二图像、每帧所述第二图像对应的第一时间戳以及第一像素点的坐标信息，其中，所述第一像素点为在相邻两帧第二图像中亮度值变化大于预设亮度阈值的像素点；N和M均为正整数；

第一确定模块620，用于根据采集的所述N帧第一图像的第二时间戳与所述第一时间戳，对所述N帧第一图像和所述M帧第二图像进行帧同步，得到P个图像对；

像素点对齐模块630，用于对所述P个图像对中的每个图像对进行像素点对齐；

第二确定模块640，用于根据所述每个图像对中第二图像中的第一像素点，对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

在本申请实施例中，通过根据获取的第一摄像头采集的第一场景的N帧第一图像的第二时间戳以及获取的第一传感器输出的第一场景的的M帧第二图像的第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对，然后对每个图像对中的第一图像和第二图像进行像素点对齐，针对每个图像对，根据该图像对中第二图像中的第一像素点来对每个图像对中的第一图像的运动区域和静态区域分别进行三维重建，可得到该第一场景的三维重建场景，由于本申请中增加了第一传感器，如此若在相邻两帧第二图像中第一像素点的亮度值大于预设亮度阈值的情况下，输出该第二图像中第一像素点的坐标信息，如此可根据该第二图像中该第一像素点的坐标信息，精确的对第一场景中的运动区域和静态区域分别进行重建，无需对第一图像进行人体检测、运动检测或形变场及其相关约束计算，提升了第一场景的三维重建效率。且由于第一传感器具有高效率、高速延迟地输出来亮度值变化大于阈值亮度阈值的第一像素点对应的坐标信息的特点，如此可满足对第一场景的三维重建的实时性。

在本申请的一些实施例中，第二确定模块640具体可以包括：

检测单元，用于根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到所述第一目标图像的运动区域，其中，所述第一目标图像和所述第二目标图像分别为第一图像对中的第一图像和第二图像，所述第一图像对为所述P个图像对中的任意一个图像对；

重建单元，用于对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

在本申请的一些实施例中，所述P个图像对按照各个图像对中的第一图像的采集时间进行排序，检测单元具体可以包括：

第一确定子单元，用于在所述第一图像对为所述P个图像对中的首个图像对的情况下，根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，确定所述第一目标图像中的运动区域；

第二确定子单元，用于在所述第一图像对为P个图像对中的非首个图像对的情况下，根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时所述第一摄像头的第一位姿信息，以及所述第一摄像头所在坐标系和所述第一传感器所在坐标系之间的映射关系，确定所述第一目标图像的运动区域，其中，所述第三图像为第二图像对中的第一图像，所述第二图像对为所述P个图像对中位于所述第一图像对的前一图像对。

在本申请的一些实施例中，所述第二确定子单元具体用于：

根据所述第一目标图像中与所述第二目标图像中的第一像素点对应的像素点，确定候选运动区域；

根据所述第一位姿信息和拍摄所述第一目标图像时所述第一摄像头的第二位姿信息，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的位姿变化信息；

根据所述映射关系，将所述位姿变化信息转换到所述第一传感器的坐标系下，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的目标位姿变化信息；

根据所述候选运动区域和所述目标位姿变化信息，确定所述第一目标图像的运动区域。

在本申请的一些实施例中，重建单元具体可以用于：

对所述第一目标图像的运动区域进行重建，得到重建后的所述第一目标图像的运动区域；

将所述第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的所述第一目标图像的静态区域，其中，所述第三图像对为所述P个图像对中位于所述第一图像对之前的所有图像对；

根据重建后的所述第一目标图像的静态区域和重建后的所述第一目标图像的运动区域，得到所述第一目标图像的三维重建图像；

将各图像对中第一图像的三维重建图像进行面绘制，得到所述第一场景的三维重建场景。

本申请实施例中的三维场景重建装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile InternetDevice，MID)、增强现实(augmentedreality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的三维场景重建装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的三维场景重建装置能够实现图1、图4和图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701和存储器702，存储器702上存储有可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述三维场景重建方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，射频单元801，用于获取第一摄像头采集的第一场景的N帧第一图像，以及第一传感器输出的所述第一场景的M帧第二图像、每帧所述第二图像对应的第一时间戳以及第一像素点的坐标信息，其中，所述第一像素点为在相邻两帧第二图像中相同位置亮度值变化大于第一亮度阈值的像素点；N和M均为正整数；

处理器810，用于根据采集的所述N帧第一图像的第二时间戳与所述第一时间戳，对所述N帧第一图像和所述M帧第二图像进行帧同步，得到P个图像对；对所述P个图像对中的每个图像对进行像素点对齐；根据所述每个图像对中第二图像，对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

如此，通过根据获取的第一摄像头采集的第一场景的N帧第一图像的第二时间戳以及获取的第一传感器输出的第一场景的的M帧第二图像的第一时间戳，对N帧第一图像和M帧第二图像进行帧同步，得到P个图像对，然后对每个图像对中的第一图像和第二图像进行像素点对齐，针对每个图像对，根据该图像对中第二图像中的第一像素点来对每个图像对中的第一图像的运动区域和静态区域分别进行三维重建，可得到该第一场景的三维重建场景，由于本申请中增加了第一传感器，如此若在相邻两帧第二图像中第一像素点的亮度值大于预设亮度阈值的情况下，输出该第二图像中第一像素点的坐标信息，如此可根据该第二图像中该第一像素点的坐标信息，精确的对第一场景中的运动区域和静态区域分别进行重建，无需对第一图像进行人体检测、运动检测或形变场及其相关约束计算，提升了第一场景的三维重建效率。且由于第一传感器具有高效率、高速延迟地输出来亮度值变化大于阈值亮度阈值的第一像素点对应的坐标信息的特点，如此可满足对第一场景的三维重建的实时性。

可选地，处理器810，还用于根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到所述第一目标图像的运动区域，其中，所述第一目标图像和所述第二目标图像分别为第一图像对中的第一图像和第二图像，所述第一图像对为所述P个图像对中的任意一个图像对；对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

如此，通过根据该第二目标图像中第一像素点的坐标信息，可对第一目标图像的运动区域进行检测，得到第一目标图像的运动区域，然后再对每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景，如此可精确的对与第二目标图像同帧的第一目标图像的运动区域进行检测，且无需对第一图像进行人体检测、运动检测或形变场及其相关约束计算，节省了第一图像中运动区域的计算时长，进而提升了第一场景的三维重建效率。

可选地，所述P个图像对按照各个图像对中的第一图像的采集时间进行排序，处理器810，还用于在所述第一图像对为所述P个图像对中的首个图像对的情况下，根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，确定所述第一目标图像中的运动区域；在所述第一图像对为所述P个图像对中的非首个图像对的情况下，根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时所述第一摄像头的第一位姿信息，以及所述第一摄像头所在坐标系和所述第一传感器所在坐标系之间的映射关系，确定所述第一目标图像的运动区域，其中，所述第三图像为第二图像对中的第一图像，所述第二图像对为所述P个图像对中位于所述第一图像对的前一图像对。

如此，在第一图像对为P个图像对中的首个图像对的情况下，根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，确定第一目标图像中的运动区域，在第一图像对为P个图像对中的非首个图像对的情况下，根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时第一摄像头的第一位姿信息，以及第一摄像头所在坐标系和第一传感器所在坐标系之间的映射关系，确定第一目标图像的运动区域，如此可根据第一图像对是否为P个图像对中的首个图像对来分别精确确定第一目标图像的运动区域，提升了运动区域确定的精确性。

可选地，处理器810，还用于根据所述第一目标图像中与所述第二目标图像中的第一像素点对应的像素点，确定候选运动区域；根据所述第一位姿信息和拍摄所述第一目标图像时所述第一摄像头的第二位姿信息，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的位姿变化信息；根据所述映射关系，将所述位姿变化信息转换到所述第一传感器的坐标系下，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的目标位姿变化信息；根据所述候选运动区域和所述目标位姿变化信息，确定所述第一目标图像的运动区域。

如此，通过根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，可确定候选运动区域，然后根据第一位姿信息和拍摄第一目标图像时第一摄像头的第二位姿信息，得到第一摄像头在第三图像和第一目标图像之间的位姿变化信息，根据映射关系，将位姿变化信息转换到第一传感器的坐标系下，得到第一摄像头在第三图像和第一目标图像之间的目标位姿变化信息，最后根据候选运动区域和目标位姿变化信息，可精确确定第一目标图像的运动区域。

可选地，处理器810，还用于对所述第一目标图像的运动区域进行重建，得到重建后的所述第一目标图像的运动区域；将所述第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的所述第一目标图像的静态区域，其中，所述第三图像对为所述P个图像对中位于所述第一图像对之前的所有图像对；根据重建后的所述第一目标图像的静态区域和重建后的所述第一目标图像的运动区域，得到所述第一目标图像的三维重建图像；将各图像对中第一图像的三维重建图像进行面绘制，得到所述第一场景的三维重建场景。

如此，对第一目标图像的运动区域进行重建，得到重建后的第一目标图像的运动区域，将第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的第一目标图像的静态区域，根据重建后的第一目标图像的静态区域和重建后的第一目标图像的运动区域，得到第一目标图像的三维重建图像，将各图像对中第一图像的三维重建图像进行面绘制，得到第一场景的三维重建场景，如此分别对第一目标图像的运动区域和静态区域进行三维重建，提升了第一目标图像的三维重建图像的精度，进而提升了第一场景的三维重建场景的精度。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如第一摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。

处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述三维场景重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述三维场景重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述三维场景重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种三维场景重建方法，其特征在于，所述方法包括：

获取第一摄像头采集的第一场景的N帧第一图像，以及第一传感器输出的所述第一场景的M帧第二图像、每帧所述第二图像对应的第一时间戳以及第一像素点的坐标信息，其中，所述第一像素点为在相邻两帧第二图像中相同位置亮度值变化大于第一阈值的像素点；N和M均为正整数；

根据采集的所述N帧第一图像的第二时间戳与所述第一时间戳，对所述N帧第一图像和所述M帧第二图像进行帧同步，得到P个图像对；

对所述P个图像对中的每个图像对进行像素点对齐；

根据所述每个图像对中第二图像中的第一像素点，对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

2.根据权利要求1所述的方法，其特征在于，所述根据所述每个图像对中第二图像中的第一像素点，对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景，包括：

根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到所述第一目标图像的运动区域，其中，所述第一目标图像和所述第二目标图像分别为第一图像对中的第一图像和第二图像，所述第一图像对为所述P个图像对中的任意一个图像对；

对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

3.根据权利要求2所述的方法，其特征在于，所述P个图像对按照各个图像对中的第一图像的采集时间进行排序，所述根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到所述第一目标图像的运动区域，包括：

在所述第一图像对为所述P个图像对中的首个图像对的情况下，根据第一目标图像中与第二目标图像中的第一像素点对应的像素点，确定所述第一目标图像中的运动区域；

在所述第一图像对为所述P个图像对中的非首个图像对的情况下，根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时所述第一摄像头的第一位姿信息，以及所述第一摄像头所在坐标系和所述第一传感器所在坐标系之间的映射关系，确定所述第一目标图像的运动区域，其中，所述第三图像为第二图像对中的第一图像，所述第二图像对为所述P个图像对中位于所述第一图像对的前一图像对。

4.根据权利要求3所述的方法，其特征在于，所述根据第二目标图像的第一像素点的坐标信息和拍摄第三图像时所述第一摄像头的第一位姿信息，以及所述第一摄像头所在坐标系和所述第一传感器所在坐标系之间的映射关系，确定所述第一目标图像的运动区域，包括：

根据所述第一目标图像中与所述第二目标图像中的第一像素点对应的像素点，确定候选运动区域；

根据所述第一位姿信息和拍摄所述第一目标图像时所述第一摄像头的第二位姿信息，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的位姿变化信息；

根据所述映射关系，将所述位姿变化信息转换到所述第一传感器的坐标系下，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的目标位姿变化信息；

根据所述候选运动区域和所述目标位姿变化信息，确定所述第一目标图像的运动区域。

5.根据权利要求4所述的方法，其特征在于，所述对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景，包括：

对所述第一目标图像的运动区域进行重建，得到重建后的所述第一目标图像的运动区域；

将所述第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的所述第一目标图像的静态区域，其中，所述第三图像对为所述P个图像对中位于所述第一图像对之前的所有图像对；

根据重建后的所述第一目标图像的静态区域和重建后的所述第一目标图像的运动区域，得到所述第一目标图像的三维重建图像；

将各图像对中第一图像的三维重建图像进行面绘制，得到所述第一场景的三维重建场景。

6.一种三维场景重建装置，其特征在于，所述装置包括：

第一获取模块，用于获取第一摄像头在不同视角下采集的第一场景的N帧第一图像，以及第一传感器输出的所述第一场景的M帧第二图像、每帧所述第二图像对应的第一时间戳以及第一像素点的坐标信息，其中，所述第一像素点为在相邻两帧第二图像中相同位置亮度值变化大于第一亮度阈值的像素点；N和M均为正整数；

第一确定模块，用于根据采集的所述N帧第一图像的第二时间戳与所述第一时间戳，对所述N帧第一图像和所述M帧第二图像进行帧同步，得到P个图像对；

像素点对齐模块，用于对所述P个图像对中的每个图像对进行像素点对齐；

第二确定模块，用于根据所述每个图像对中第二图像中的第一像素点，对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

7.根据权利要求6所述的装置，其特征在于，所述第二确定模块具体包括：

检测单元，用于根据第二目标图像中的第一像素点，对第一目标图像的运动区域进行检测，得到所述第一目标图像的运动区域，其中，所述第一目标图像和所述第二目标图像分别为第一图像对中的第一图像和第二图像，所述第一图像对为所述P个图像对中的任意一个图像对；

重建单元，用于对所述每个图像对中第一图像的运动区域和静态区域分别进行三维重建，得到所述第一场景的三维重建场景。

8.根据权利要求7所述的装置，其特征在于，所述P个图像对按照各个图像对中的第一图像的采集时间进行排序，所述检测单元包括：

第一确定子单元，用于在所述第一图像对为P个图像对中的首个图像对的情况下，根据所述第一目标图像中与所述第二目标图像中的第一像素点对应的像素点，确定所述第一目标图像中的运动区域；

第二确定子单元，用于在所述第一图像对为所述P个图像对中的非首个图像对的情况下，根据所述第二目标图像的第一像素点的坐标信息和拍摄第三图像时所述第一摄像头的第一位姿信息，以及所述第一摄像头所在坐标系和所述第一传感器所在坐标系之间的映射关系，确定所述第一目标图像的运动区域，其中，所述第三图像为第二图像对中的第一图像，所述第二图像对为所述P个图像对中位于所述第一图像对的前一图像对。

9.根据权利要求8所述的装置，其特征在于，所述第二确定子单元具体用于：

根据所述第一目标图像中与所述第二目标图像中的第一像素点对应的像素点，确定候选运动区域；

根据所述第一位姿信息和拍摄所述第一目标图像时所述第一摄像头的第二位姿信息，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的位姿变化信息；

根据所述映射关系，将所述位姿变化信息转换到所述第一传感器的坐标系下，得到所述第一摄像头在所述第三图像和所述第一目标图像之间的目标位姿变化信息；

根据所述候选运动区域和所述目标位姿变化信息，确定所述第一目标图像的运动区域。

10.根据权利要求9所述的装置，其特征在于，所述重建单元具体用于：

对所述第一目标图像的运动区域进行重建，得到重建后的所述第一目标图像的运动区域；

将所述第一目标图像的静态区域和第三图像对中第一图像的静态区域进行融合处理，得到重建后的所述第一目标图像的静态区域，其中，所述第三图像对为所述P个图像对中位于所述第一图像对之前的所有图像对；

根据重建后的所述第一目标图像的静态区域和重建后的所述第一目标图像的运动区域，得到所述第一目标图像的三维重建图像；

将各图像对中第一图像的三维重建图像进行面绘制，得到所述第一场景的三维重建场景。