CN109961504B - 三维模型重建方法、电子装置及非暂态电脑可读取记录媒体 - Google Patents

Abstract

一种三维模型重建方法，包含：自深度摄像机接收对应于现在时点的目标物件的深度数据；自基于电磁波射线运行的至少一姿态追踪感测器，接收对应于现在时点的深度摄像机的摄像机姿态数据；根据深度数据以及摄像机姿态数据产生对应于现在时点的复数具姿态三维点云；根据对应于现在时点的摄像机姿态数据以及对应于先前时点的先前三维模型，产生对应于现在时点的复数具姿态预估点云；以及基于具姿态三维点云以及具姿态预估点云的误差，根据具姿态三维点云产生目标物件的现在三维模型。本发明可达到快速且精确地进行三维模型重建的目的。以及一种电子装置、一种非暂态电脑可读取记录媒体。

Description

三维模型重建方法、电子装置及非暂态电脑可读取记录媒体

技术领域

本发明涉及三维模型重建技术，且特别涉及一种三维模型重建方法、电子装置及非暂态电脑可读取记录媒体。

背景技术

在现代，电脑视觉技术广泛地应用在许多领域中。举例而言，在虚拟实境(virtualreality)或扩增实境(augmented reality)的领域中，电脑视觉技术可被使用在虚拟实境或扩增实境的系统中，以辨识物件、真实世界的环境及/或场景。

为达到使虚拟和真实物件可以互动，最重要的是将真实感实时且精准地投射入虚拟世界中的技术，称为三维模型重建。然而，使三维重建达到高精确度以及低时间成本的关键，在于摄像机姿态的估测。如果摄像机姿态的估测无法正确地进行，则三维模型重建的效能将会下降。

因此，如何设计一个新的三维模型重建方法、电子装置及非暂态电脑可读取记录媒体，以解决上述的缺失，乃为此一业界亟待解决的问题。

发明内容

本发明的目的在于通过三维模型重建方法、电子装置及非暂态电脑可读取记录媒体，达到快速且精确地进行三维模型的重建。

因此，本发明的一实施方式在于提供一种三维模型重建方法，包含：自深度摄像机接收对应于现在时点的目标物件的深度数据；自基于电磁波射线运行的至少一姿态追踪感测器，接收对应于现在时点的深度摄像机的摄像机姿态数据；根据深度数据以及摄像机姿态数据产生对应于现在时点的复数具姿态(posed)三维点云(point clouds)；根据对应于现在时点的摄像机姿态数据以及对应于先前时点的先前三维模型，产生对应于现在时点的复数具姿态预估点云；以及基于具姿态三维点云以及具姿态预估点云的误差，根据具姿态三维点云产生目标物件的现在三维模型。

于一实施例中，深度摄像机设置于电子装置上，三维模型重建方法还包含：在电子装置绕着目标物件移动时，由深度摄像机取得目标物件的深度数据。

于一实施例中，三维模型重建方法还包含：由至少一电磁波发射器提供复数电磁发数波束；以及由设置于电子装置上的至少一姿态追踪感测器检测电磁波射线，据以取得摄像机姿态数据。

于一实施例中，三维模型重建方法还包含：计算具姿态三维点云以及具姿态预估点云间的重叠区域；比较重叠区域的复数对应特征；以及根据具姿态三维点云以及具姿态预估点云间的复数对应相符点的数目，决定误差。

于一实施例中，特征包含由具姿态三维点云以及具姿态预估点云所形成的复数表面上的颜色、距离以及垂直向量。

于一实施例中，产生具姿态三维点云的步骤还包含：对深度数据进行深度图转换，以产生复数个三维点云；以及将摄像机姿态数据应用于三维点云上，以产生具姿态三维点云。

于一实施例中，三维模型重建方法还包含：当误差小于临界值时，根据具姿态三维点云产生目标物件的现在三维模型；以及当误差不小于临界值时，停止产生目标物件的现在三维模型。

本发明的另一实施方式在于提供一种电子装置，包含：处理电路、深度摄像机、至少一姿态追踪感测器以及存储器。深度摄像机电性耦接于处理电路。姿态追踪感测器电性耦接于处理电路并设置于电子装置上。存储器电性耦接于处理电路，并配置以存储至少一程序，程序配置以被处理电路执行，且程序包含复数指令，以执行三维模型重建方法。三维模型重建方法包含：自深度摄像机接收对应于现在时点的目标物件的深度数据；自基于电磁波射线运行的至少一姿态追踪感测器，接收对应于现在时点的深度摄像机的摄像机姿态数据；根据深度数据以及摄像机姿态数据产生对应于现在时点的复数具姿态三维点云；根据对应于现在时点的摄像机姿态数据以及对应于先前时点的先前三维模型，产生对应于现在时点的复数具姿态预估点云；以及基于具姿态三维点云以及具姿态预估点云的误差，根据具姿态三维点云产生目标物件的现在三维模型。

于一实施例中，三维模型重建方法还包含：计算具姿态三维点云以及具姿态预估点云间的重叠区域；比较重叠区域的复数对应特征；以及根据具姿态三维点云以及具姿态预估点云间的复数对应相符点的数目，决定误差。

本发明的又一实施方式在于提供一种非暂态电脑可读取记录媒体，用以存储包含复数指令的一或多个电脑程序，当执行指令时，将致使处理电路执行三维模型重建方法。三维模型重建方法包含：自深度摄像机接收对应于现在时点的目标物件的深度数据；自基于电磁波射线运行的至少一姿态追踪感测器，接收对应于现在时点的深度摄像机的摄像机姿态数据；根据深度数据以及摄像机姿态数据产生对应于现在时点的复数具姿态三维点云；根据对应于现在时点的摄像机姿态数据以及对应于先前时点的先前三维模型，产生对应于现在时点的复数具姿态预估点云；以及基于具姿态三维点云以及具姿态预估点云的误差，根据具姿态三维点云产生目标物件的现在三维模型。

应用本发明的优点在于通过电子装置以及三维模型重建方法，可利用根据电磁波射线运行的姿态追踪感测器达到快速而精确的姿态估测，以克服移动速度限制的问题，使三维模型重建可因此快速地建出。进一步地，通过具姿态三维点云以及具姿态估测点云之间的比对，可评估三维模型重建的正确与否，提升三维模型重建的精确度。

附图说明

图1为根据本公开内容部分实施例所示出的电子装置的方框示意图；

图2为根据本公开内容部分实施例所示出的三维模型重建方法的流程图；

图3A、图3B为根据本公开内容部分实施例所示出的电子装置于不同时点的操作示意图；以及

图4为根据本公开内容部分实施例所示出对应不同时点的具姿态三维点云以及具姿态预估点云的示意图。

附图标记说明：

100：电子装置 110：处理电路

120：存储器 130：深度摄像机

131：影像数据 133：深度数据

140：姿态追踪感测器 141：摄像机姿态数据

200a、200b：光屋基地台 210a、210b：电磁波发射器

300：目标物件 400A、400B、400C：具姿态

500：三维模型重建方法 三维点云

600：具姿态预估点云 P1：软件程序

PO1、PO2：位置 S1-S8：操作步骤

具体实施方式

以下将以图式及详细叙述清楚说明本公开内容的构思，任何所属技术领域中技术人员在了解本公开内容的实施例后，当可由本公开内容所启示的技术，加以改变及修饰，其并不脱离本公开内容的构思与范围。下述说明中相同元件将以相同的符号标示来进行说明以便于理解。

关于本文中所使用的“电性连接”，可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，而“电性连接”还可指二或多个元件相互操作或动作。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附加图式的方向。因此，使用的方向用语是用来说明并非用来限制本公开。

关于本文中所使用的用词(terms)，除有特别注明外，通常具有每个用词使用在此领域中、在此公开的内容中与特殊内容中的平常意义。某些用以描述本公开的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本公开的描述上额外的引导。

请参照图1。图1为根据本公开内容部分实施例所示出的电子装置100的方框示意图。电子装置100可用以执行三维模型重建(3D model reconstruction)以及环境知觉(environment perception)。

具体来说，在部分实施例中，电子装置100可应用于一虚拟实境(VirtualReality；VR)/混合实境(Mixed Reality；MR)/扩增实境(Augmented Reality；AR)系统当中，以将现实空间当中的一或多个物件整合于虚拟空间或者虚拟物件之中。现实空间当中的物件可先通过三维模型重建被辨识识别，以基于识别结果进行整合。

举例来说，电子装置100可由摄影装置、独立头戴式显示器(head mounteddevice；HMD)或是VIVE头戴式显示器实现。具体来说，独立头戴式显示器可处理包含方位、旋转的位置数据处理、图像处理或其他数据运算等。

如图1所示，电子装置100包含处理电路110、存储器120、深度摄像机(DepthCamera)130以及四个姿态追踪感测器140。一或多个软件程序P1存储于存储器120中并用以被处理电路110执行，以进行三维模型重建。

在结构上，存储器120和深度摄影机130分别电性连接于处理电路110。姿态追踪感测器140设置于电子装置100上并电性连接于处理电路110。

深度摄像机130配置以获取目标物件300的影像数据131以及深度数据133。于一实施例中，深度摄像机130是RGBD摄像机，其中影像数据131包含RGB颜色信息，而深度数据133包含深度信息。

姿态追踪感测器140可设置于电子装置100上，并电性耦接于处理电路110。需注意的是，图1中示出的姿态追踪感测器140的数目仅为一范例。在其他实施例中，姿态追踪感测器140的数目可为一个或多于一个。

于一实施例中，姿态追踪感测器140是根据电磁波射线运行，以接收深度摄像机130的摄像机姿态数据141。

更详细地来说，姿态追踪感测器140可应用于光屋追踪系统(lighthousetracking system)进行光屋追踪，以检测电子装置100的位置及/或运动状态。在部分实施例中，姿态追踪感测器140亦可由RGB摄像机、RGBD摄像机、红外线相机或其他适合的感光元件实现，本公开内容并不以此为限。

在部分实施例中，处理电路110例如可用一或多处理器，例如中央处理器(centralprocessor)及/或微处理器(microprocessor)等处理器实现，但不以此为限。

在部分实施例中，存储器120可包括一或多个存储器装置，其中每一存储器装置或多个存储器装置的集合包括电脑可读取记录媒体。电脑可读取记录媒体可包括只读存储器、快闪存储器、软盘、硬盘、光盘、U盘、磁带、可由网络存取的数据库、或熟悉此技艺者可轻易思及具有相同功能的电脑可读取记录媒体。

为了优选地理解本公开内容，电子装置100的详细操作将搭配图2与图3A、图3B中所示实施例进行说明。图2为根据本公开内容部分实施例所示出的三维模型重建方法500的流程图。图3A、图3B为根据本公开内容部分实施例所示出的电子装置100于不同时点的操作示意图。

值得注意的是，三维模型重建方法500可应用于相同或相似于图1中所示结构的电子装置100。为使叙述简单，以下将根据本公开内容部分实施例，以图1中的实施例为例进行对三维模型重建方法500的说明，然而本公开内容不以图1中的实施例的应用为限。

三维模型重建方法500包含下列操作步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。

于操作步骤S1，自深度摄像机130接收对应于现在时点的目标物件300的深度数据133。

如图3A与图3B所示，在部分实施例中，深度摄像机130绕着目标物件300移动，以从不同视角的相对位置获取深度数据133。

举例而言，在图3A中，于时点T1，电子装置100与深度摄影机130位于位置PO1，深度摄影机130取得对应于时点T1的深度数据133。在图3B中，于时点T2，电子装置100与深度摄影机130位于位置PO2，深度摄影机130取得对应于时点T2的深度数据133。于一实施例中，现在时点为时点T2，而先前邻接时点为时点T1。

于操作步骤S2，自基于电磁波射线运行的姿态追踪感测器140，接收对应于现在时点的深度摄像机130的摄像机姿态数据141。

如图3A与图3B所示，在部分实施例中，光屋追踪系统可包含在现实空间中设置于光屋基地台200a、200b中的电磁波发射器210a、210b。包含有电磁波发射器210a、210b的光屋基地台200a、200b用以与姿态追踪测器140以及处理电路110协作，以定位电子装置100及/或检测旋转，例如电子装置100的倾角(tilt angle)或是旋角(rotating angle)。

更详细的说，电磁波发射器210a、210b配置以提供电磁波射线，而姿态追踪感测器140配置以检测由电磁波发射器210a、210b发出的电磁波射线，来据以得到深度摄影机130的摄像机姿态数据141。换句话说，处理电路110可根据姿态追踪感测器140所检测到的电磁波射线，得到深度摄影机130的摄像机姿态数据141。

于一实施例中，电磁波发射器210a、210b为激光发射器，而姿态追踪感测器140为光感测器。

于操作步骤S3，根据深度数据133以及摄像机姿态数据141产生对应于现在时点的复数具姿态(posed)三维点云(point clouds)。

于一实施例中，通过对深度数据133进行深度图转换，可产生具有深度的三维点云。更进一步地，将摄像机姿态数据应用于三维点云上，可使这些具有深度的点云投射至真实世界坐标系统，以产生具姿态三维点云。

于操作步骤S4，根据对应于现在时点的摄像机姿态数据141以及对应于先前时点的先前三维模型，产生对应于现在时点的复数具姿态预估点云。

于一实施例中，通过在先前三维模型上进行光线投射(Ray Casting)表面扫描，可产生预估点云。进一步地，通过在预估点云上应用摄像机姿态数据141，可产生具姿态预估点云。

于操作步骤S5，产生具姿态三维点云以及具姿态预估点云间的误差。

请参照图4。图4为根据本公开内容部分实施例所示出对应不同时点的具姿态三维点云400A、400B及400C以及具姿态预估点云600的示意图。

于一实施例中，各组具姿态三维点云400A、400B及400C分别形成一个表面。具姿态预估点云600包含多组点云，各对应于一个时间点且亦各形成一个表面。

在各时点上，具姿态三维点云400A、400B及400C分别与基于对应先前时点的三维模型所建立的具姿态预估点云600进行比较。

于一实施例中，具姿态三维点云形成的表面以及具姿态预估点云形成的表面间的重叠区域，将先被计算出。

接着，重叠区域上的复数对应特征将被判断，其中对应特征可包含例如，但不限于由具姿态三维点云以及具姿态预估点云所形成的表面上的颜色、距离以及垂直向量。

进一步地，误差可根据具姿态三维点云以及具姿态预估点云间的对应相符点的数目决定。

于操作步骤S6，判断误差是否小于临界值。更详细的说，在一实施例中，对应相符点与不相符点的数目较被判断，以在对应相符点愈多以及不相符点愈少时，判断误差愈小。

于操作步骤S7，当误差小于临界值时，根据具姿态三维点云产生目标物件300的现在三维模型。

于一实施例中，目标物件300的三维模型的表面，是根据具姿态三维点云的摄像机姿态的旋转矩阵以及平移向量所建立。举例来说，旋转矩阵、平移向量以及光线投射的结果可被用来建立三维模型的表面。

另一方面，当误差不小于临界值时，于操作步骤S8，停止产生目标物件300的现在三维模型。

于现在的实施例中，目标物件300的现在三维模型是对应于时点T2，并在接收到对应于时点T2后的时点T3的新的深度数据133以及新的摄像机姿态数据141时，做为先前三维模型，以执行上述的步骤，在根据时点T3数据产生的具姿态三维点云以及根据时点T2的三维模型产生的具姿态预估点云间的差距小于临界值时，产生对应于时点T3的三维模型。

在部分技术中，是使用叠代最近点算法(iterative closest point；ICP)做为摄像机姿态的预估方式，以降低三维模型重建中的两个点云间的误差。然而，叠代最近点算法最大的缺点在于因为线性估测以及避免遗失追踪造成的较慢移动速度。在混合实境及扩增实境技术中的三维模型重建中，这样的缺点会使得使用者的体验不佳。

本公开内容的电子装置以及三维模型重建方法可利用根据电磁波射线运行的姿态追踪感测器达到快速而精确的姿态估测，以克服移动速度限制的问题。三维模型重建可因此快速地建出。

当在某个时点因为例如，但不限于速度太快，而使得具姿态三维点云以及具姿态估测点云之间的误差不小于临界值，进而造成姿态追踪感测器无法追踪到姿态时，目标物件的三维模型将停止产生。

于一实施例中，三维模型重建停止产生，直到最新的具姿态三维点云以及根据最后成功建立的三维模型所产生的具姿态估测点云之间的误差小于临界值为止。

需注意的是，在部分实施例中，三维模型重建方法500亦可实作为一电脑程序。当电脑程序是被一电脑、一电子装置，或图1中处理电路110所执行，此执行装置执行三维模型重建方法500。电脑程序可被存储于一非暂态电脑可读取记录媒体，例如一只读存储器、一快闪存储器、一软盘、一硬盘、一光盘、一快闪碟、一U盘、一磁带、一可从网络读取的数据库，或任何本公开内容所属技术领域中具通常知识者所能想到具有相同功能的记录媒体。

另外，应了解到，在所提及的三维模型重建方法500的操作，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。

再者，在本公开内容的不同实施例中，三维模型重建方法500中的此些操作亦可适应性地增加、置换、及/或省略。

通过上述不同实施例中的操作，可通过使用光屋追踪系统实现三维模型重建方法，通过根据深度数据产生的摄像机姿态以及根据先前三维模型产生的预估摄像机姿态间的比较，来为了虚拟实境、扩增实境或混合实境的应用建立并输出目标物件的三维模型，而不需要使用叠代最近点程序。

各种功能性元件和方块已于此公开。对于本技术领域具通常知识者而言，功能方块可由电路(不论是专用电路，或是于一或多个处理器及编码指令控制下操作的通用电路)实现，其一般而言包含用以相应于此处描述的功能及操作对电气回路的操作进行控制的晶体管或其他电路元件。如将进一步理解地，一般而言电路元件的具体结构与互连，可由编译器(compiler)，例如暂存器传递语言(register transfer language，RTL)编译器决定。暂存器传递语言编译器对与组合语言代码(assembly language code)相当相似的指令码(script)进行操作，将指令码编译为用于布局或制作最终电路的形式。确实地，暂存器传递语言以其促进电子和数字系统设计过程中的所扮演的角色和用途而为人熟知。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种三维模型重建方法，其特征在于，包含：

自一深度摄像机接收对应于一现在时点的一目标物件的一深度数据；

自基于一电磁波射线运行的至少一姿态追踪感测器，接收对应于该现在时点的该深度摄像机的一摄像机姿态数据；

根据该深度数据以及该摄像机姿态数据产生对应于该现在时点的复数具姿态三维点云；

根据对应于该现在时点的该摄像机姿态数据以及对应于一先前时点的一先前三维模型，产生对应于该现在时点的复数具姿态预估点云,还包括：

通过在该先前三维模型上进行光线投射表面扫描，产生复数预估点云；以及

通过在该复数预估点云上应用该摄像机姿态数据，产生该复数具姿态预估点云；以及

基于该复数具姿态三维点云以及该复数具姿态预估点云的一误差，根据该具姿态三维点云产生该目标物件的一现在三维模型。

2.如权利要求1所述的三维模型重建方法，其特征在于，该深度摄像机设置于一电子装置上，该三维模型重建方法还包含：

在该电子装置绕着该目标物件移动时，由该深度摄像机取得该目标物件的该深度数据。

3.如权利要求2所述的三维模型重建方法，其特征在于，该三维模型重建方法还包含：

由至少一电磁波发射器提供复数电磁波射线；以及

由设置于该电子装置上的至少一姿态追踪感测器检测该复数电磁波射线，据以取得该摄像机姿态数据。

4.如权利要求1所述的三维模型重建方法，其特征在于，该三维模型重建方法还包含：

计算该复数具姿态三维点云以及该复数具姿态预估点云间的一重叠区域；

比较该重叠区域的复数对应特征；以及

根据该复数具姿态三维点云以及该复数具姿态预估点云间的复数对应相符点的一数目，决定该误差。

5.如权利要求4所述的三维模型重建方法，其特征在于，其中该复数对应特征包含由该复数具姿态三维点云以及该复数具姿态预估点云所形成的复数表面上的一颜色、一距离以及一垂直向量。

6.如权利要求1所述的三维模型重建方法，其特征在于，产生该复数具姿态三维点云的步骤还包含：

对该深度数据进行一深度图转换，以产生复数个三维点云；以及

将该摄像机姿态数据应用于该复数个三维点云上，以产生该复数具姿态三维点云。

7.如权利要求1所述的三维模型重建方法，其特征在于，该三维模型重建方法还包含：

当该误差小于一临界值时，根据该复数具姿态三维点云产生该目标物件的该现在三维模型；以及

当该误差不小于该临界值时，停止产生该目标物件的该现在三维模型。

8.一种电子装置，其特征在于，包含：

一处理电路；

一深度摄像机，电性耦接于该处理电路；

至少一姿态追踪感测器，电性耦接于该处理电路并设置于该电子装置上；以及

一存储器，电性耦接于该处理电路，并配置以存储至少一程序，该程序配置以被该处理电路执行，且该程序包含复数指令，以执行一三维模型重建方法，包含：

自该深度摄像机接收对应于一现在时点的一目标物件的一深度数据；

自基于一电磁波射线运行的该姿态追踪感测器，接收对应于该现在时点的该深度摄像机的一摄像机姿态数据；

根据该深度数据以及该摄像机姿态数据产生对应于该现在时点的复数具姿态三维点云；

根据对应于该现在时点的该摄像机姿态数据以及对应于一先前时点的一先前三维模型，产生对应于该现在时点的复数具姿态预估点云,还包括：

通过在该先前三维模型上进行光线投射表面扫描，产生复数预估点云；以及

通过在该复数预估点云上应用该摄像机姿态数据，产生该复数具姿态预估点云；以及

基于该复数具姿态三维点云以及该复数具姿态预估点云的一误差，根据该具姿态三维点云产生该目标物件的一现在三维模型。

9.如权利要求8所述的电子装置，其特征在于，该三维模型重建方法还包含：

计算该复数具姿态三维点云以及该复数具姿态预估点云间的一重叠区域；

比较该重叠区域的复数对应特征；以及

根据该复数具姿态三维点云以及该复数具姿态预估点云间的复数对应相符点的一数目，决定该误差。

10.一种非暂态电脑可读取记录媒体，用以存储包含复数指令的一或多个电脑程序，当执行该复数指令时，将致使一处理电路执行一三维模型重建方法，其特征在于，该三维模型重建方法包含：

自一深度摄像机接收对应于一现在时点的一目标物件的一深度数据；

自基于一电磁波射线运行的至少一姿态追踪感测器，接收对应于该现在时点的该深度摄像机的一摄像机姿态数据；

根据该深度数据以及该摄像机姿态数据产生对应于该现在时点的复数具姿态三维点云；

根据对应于该现在时点的该摄像机姿态数据以及对应于一先前时点的一先前三维模型，产生对应于该现在时点的复数具姿态预估点云,还包括：

通过在该先前三维模型上进行光线投射表面扫描，产生复数预估点云；以及

通过在该复数预估点云上应用该摄像机姿态数据，产生该复数具姿态预估点云；以及

基于该复数具姿态三维点云以及该复数具姿态预估点云的一误差，根据该具姿态三维点云产生该目标物件的一现在三维模型。