CN102364524A - 一种基于变光照多视角间差采样的三维重建方法和装置 - Google Patents

一种基于变光照多视角间差采样的三维重建方法和装置 Download PDF

Info

Publication number
CN102364524A
CN102364524A CN2011103303572A CN201110330357A CN102364524A CN 102364524 A CN102364524 A CN 102364524A CN 2011103303572 A CN2011103303572 A CN 2011103303572A CN 201110330357 A CN201110330357 A CN 201110330357A CN 102364524 A CN102364524 A CN 102364524A
Authority
CN
China
Prior art keywords
moving target
initial
dimensional model
image
image recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103303572A
Other languages
English (en)
Inventor
刘烨斌
付莹
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2011103303572A priority Critical patent/CN102364524A/zh
Publication of CN102364524A publication Critical patent/CN102364524A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提出一种基于变光照多视角间差采样的三维重建方法，包括以下步骤：多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像；根据运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用可视凸壳建立运动目标的初始三维模型；对图像和初始三维模型进行联合运动补偿，得到运动目标的初始三维模型的法向信息；对运动目标的初始三维模型的法向信息和初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。本发明还公开了一种基于变光照多视角间差采样的三维重建装置。本发明利用得到的多光照多时刻的图像信息，实现快速运动目标的高精度的三维重建。

Description

一种基于变光照多视角间差采样的三维重建方法和装置
技术领域
本发明涉及计算机图形学和计算机视觉等技术领域，特别涉及一种基于变光照多视角间差采样的三维重建方法和装置
背景技术
如何从多视角视频序列中获取精确的动态场景的三维模型是当前计算机视觉、计算机图形学等学科领域的热点研究问题。传统的基于图像的多视角立体重建方法虽然能够建立全视角的三维模型，但是在缺少纹理的区域难以建立精确的三维模型；而光度立体方法虽然能建立出较为精细的三维模型，但光度立体方法主要是利用单一视角的多光照图像，通过估计模型表面的法向信息进而估计出深度图来建立单一视角的三维模型，而非是建立全视角的三维模型。这种方法应用在对运动目标的采样上的主要困难是不能直接采集到运动目标的同一时刻的多光照的图像。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。
为达到上述目的，本发明的第一个目的在于提出一种基于变光照多视角间差采样的三维重建方法，该方法联合多视角立体重建方法和光度立体方法的优势，结合不同时刻不同光照条件下视频图像的光流估计和运动补偿，可以实现快速运动目标的高精度的三维重建。
本发明的第二个目的在于提出一种基于变光照多视角间差采样的三维重建装置。
为达到上述目的，本发明的第一方面的实施例提出一种基于变光照多视角间差采样的三维重建方法，包括如下步骤：
对多台影像记录设备进行间差分组，得到多组影像记录设备；
所述多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中，每个影像记录设备采集所述运动目标的一个视角的图像；
对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；
根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；
对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；
对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。
根据本发明实施例的基于变光照多视角间差采样的三维重建方法，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。
本发明第二方面的实施例提出了一种基于变光照多视角间差采样的三维重建装置，包括：多台影像记录设备，对所述多台影像记录设备进行间差分组，得到多组影像记录设备；采样模块，所述采样模块与所述影像记录设备相连，所述采样模块采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中，每个采样模块采集所述运动目标的一个视角的图像；预处理模块，所述预处理模块与所述采样模块相连，用于对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；初始三维模型建立模块，所述初始三维模型建立模块与所述采样模块相连，用于根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；法向信息恢复模块，所述法向信息恢复模块分别于所述预处理模块和所述初始三维模型建立模块相连，用于对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；优化三维模型建立模块，所述优化三维模型建立模块与所述法向信息恢复模块相连，用于对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。
根据本发明实施例的基于变光照多视角间差采样的三维重建装置，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的变光照多视角间差采样的三维重建方法的流程图；
图2为图1中得到初始三维模型法向信息的流程图；
图3为图1中运动目标和影像记录设备的示意图；
图4为图1中采集到的运动目标的图像的示意图；
图5为根据本发明实施例的变光照多视角间差采样的三维重建装置的结构图；
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
下面参考图1至图4描述根据本发明实施例的基于变光照多视角间差采样的三维重建方法。
如图1所示，本发明实施例提供的基于变光照多视角间差采样的三维重建方法包括如下步骤：
S10：影像记录设备分组。
对多台影像记录设备进行间差分组，得到多组影像记录设备。具体而言，将多台影像记录设备按照运动目标为中心呈环形排列进行间差分组。
在本发明的一个实施例中，每组影像记录设备对应的光照条件相同。
在本发明的一个实施例中，如图3所示，图中呈环形排列的不规则多边形301表示影像记录设备，影像记录设备的数量为20台，将影像记录设备分成4组，每组5台。其中，标号为1、5、9、13、17的影像记录设备为一组，标号为2、6、10、14、18的影像记录设备为一组，标号为3、7、11、15、19的影像记录设备为一组，标号为4、8、12、16、20的影像记录设备为一组。
可以理解的是，本实施例中的影像记录设备的数量和排列方式只是为了帮助理解本发明的实施例的一个例子，而不是对本发明实施例的一种限制。
S20：图像采集。
多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，然后得到运动目标的初始图像，其中，每个影像记录设备采集到运动目标的一个视角的图像。
在本发明的一个实施例中，多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，而多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。
在本发明的一个实施例中，如图4所示，O-T表示采集时刻的周期，视角1表示标号为1的影像记录设备采集的运动目标的图像，401表示在某个时刻一组影像记录设备采集到的运动目标的图像。其中，每一组的影像记录设备在同样的光照条件下进行图像采集，即视角为1、5、9、13、17的影像记录设备进行图像采集时光照条件相同，视角为2、6、10、14、18的影像记录设备进行图像采集时光照条件相同，视角为3、7、11、15、19的影像记录设备进行图像采集时光照条件相同，视角为4、8、12、16、20的影像记录设备进行图像采集时光照条件相同。
可以理解的是，本实施例中的采集时刻周期的时间和影像记录设备的采集方式和视角只是为了帮助理解本发明实施例而进行的一个示例，而不能理解为对本发明实施例的限制。
S30：光流估计和运动补偿。
根据步骤S20采集得到的运动目标初始图像中每一个视角的图像，首先对图像进行光流估计和运动补偿，然后得到多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像。
在本发明的一个实施例中，由于每个相机各个采集时刻采集到的图像具有相同的光照信息，可以利用常光照条件的光流估计算法估计出相邻帧之间的光流，根据估计得到的光流差值得到其它组影像记录设备采集时刻的该视角的图像。如图4所示，402表示每一个视角经过运动补偿得到的图像，其中，每个视角图像在各个时刻的光照条件相同，即视角为1、5、9、13、17的图像在各个时刻的光照条件相同，视角为2、6、10、14、18的图像在各个时刻的光照条件相同，视角为3、7、11、15、19的图像在各个时刻的光照条件相同，视角为4、8、12、16、20的图像在各个时刻的光照条件相同。
可以理解的是，本实施例中的经光流估计和运动补偿的图片方法只是为了帮助理解本发明实施例而举出的一个示例，而不是对本发明实施例的一种限制。
S40：建立初始三维模型。
首先根据步骤S20得到的多组影像记录设备在每一时刻采集得到的运动目标的多个视角的图像，提取运动目标的轮廓信息。然后根据所提取的运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳。最后利用可视凸壳建立运动目标的初始三维模型。
在本发明的一个实施例中，利用可视凸壳采用下述方法之一建立运动目标的初始三维模型：多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。
S50：三维模型法向信息恢复。
根据步骤S30得到的各个采集时刻的每个视角的图像和步骤S40得到的运动目标的初始三维模型进行联合运动补偿，得到运动目标的初始三维模型的法向信息。
S501：图像亮度信息投影。
本步骤是将不同光照图像的亮度信息分别投影到运动目标的初始三维模型上。
S502：得到九维谐波空间。
在本发明的一个实施例中，根据运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据的每一种特定光照下的谐波系数优化得到运动目标的初始三维模型的九维谐波空间。
在本发明的一个实施例中，通过低阶的圆谐波来表示光照，采用如下公式得到九维谐波空间：
                           In×m＝Ln×9S9×m
其中，I的每一行表示目标表面在同一光照下的亮度，L的每一行表示每一种特定光照下的谐波系数，S的每一列表示一个特定面片的九维谐波空间。
可以理解的是，得到运动目标的九维谐波空间的方式不限于本实施例的示例。
S503：得到三维模型的法向信息。
利用步骤S502得到的九维谐波空间表示运动目标初始三维模型的法向信息。
S60：建立优化运动模型
对初始三维模型的几何信息和步骤S50得到的初始三维模型的法向信息进行联合优化，建立运动目标的优化三维模型。
根据本发明实施例的基于变光照多视角间差采样的三维重建方法，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。
下面参考图3-图5描述根据本发明实施例的基于变光照多视角间差采样的三维重建装置500。
如图5所示，本发明实施例提供的基于变光照多视角间差采样的三维重建装置500包括多台影像记录设备510、采样模块520、预处理模块530、初始三维模型建立模块540、法向信息恢复模块550和优化三维模型建立模块560。其中，采用模块520和多台影像记录设备510相连，预处理模块530与采样模块520相连，初始三维模型建立模块540与采样模块530相连，法向信息恢复模块550分别于预处理模块530和初始三维模型建立模块540相连，优化三维模型建立模块560与法向信息恢复模块550相连。
首先对多台影像记录设备510进行间差分组，得到多组影像记录设备。具体而言，将多台影像记录设备510按照运动目标为中心呈环形排列进行间差分组。
在本发明的一个实施例中，每组影像记录设备对应的光照条件相同。
在本发明的一个实施例中，如图3所示，图中呈环形排列的不规则多边形301表示影像记录设备，影像记录设备的数量为20台，将影像记录设备分成4组，每组5台。其中，标号为1、5、9、13、17的影像记录设备为一组，标号为2、6、10、14、18的影像记录设备为一组，标号为3、7、11、15、19的影像记录设备为一组，标号为4、8、12、16、20的影像记录设备为一组。
采集模块520用于借助多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，然后得到运动目标的初始图像，其中，每个影像记录设备采集到运动目标的一个视角的图像。
在本发明的一个实施例中，多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，而多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。
在本发明的一个实施例中，如图4所示，O-T表示采集时刻的周期，视角1表示标号为1的影像记录设备采集的运动目标的图像，401表示在某个时刻一组影像记录设备采集到的运动目标的图像。其中，每一组的影像记录设备在同样的光照条件下进行图像采集，即视角为1、5、9、13、17的影像记录设备进行图像采集时光照条件相同，视角为2、6、10、14、18的影像记录设备进行图像采集时光照条件相同，视角为3、7、11、15、19的影像记录设备进行图像采集时光照条件相同，视角为4、8、12、16、20的影像记录设备进行图像采集时光照条件相同。
可以理解的是，本实施例中的采集时刻周期的时间和影像记录设备的采集方式和视角只是为了帮助理解本发明实施例而进行的一个示例，而不能理解为对本发明实施例的限制。
可以理解的是，本实施例中的影像记录设备的数量和排列方式只是为了帮助理解本发明的实施例的一个例子，而不是对本发明实施例的一种限制。
预处理模块530根据采样模块520采集得到的运动目标初始图像中每一个视角的图像，首先对图像进行光流估计和运动补偿，然后得到多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像。
在本发明的一个实施例中，由于每个相机各个采集时刻采集到的图像具有相同的光照信息，可以利用常光照条件的光流估计算法估计出相邻帧之间的光流，根据估计得到的光流差值得到其它组影像记录设备采集时刻的该视角的图像。如图4所示，402表示每一个视角经过运动补偿得到的图像，其中，每个视角图像在各个时刻的光照条件相同，即视角为1、5、9、13、17的图像在各个时刻的光照条件相同，视角为2、6、10、14、18的图像在各个时刻的光照条件相同，视角为3、7、11、15、19的图像在各个时刻的光照条件相同，视角为4、8、12、16、20的图像在各个时刻的光照条件相同。
可以理解的是，本实施例中的经光流估计和运动补偿的图片方法只是为了帮助理解本发明实施例而举出的一个示例，而不是对本发明实施例的一种限制。
初始三维模型建立模块540根据采集模块520得到的多组影像记录设备在每一时刻采集得到的运动目标的多个视角的图像，提取运动目标的轮廓信息。然后根据所提取的运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳。最后利用可视凸壳建立运动目标的初始三维模型。
在本发明的一个实施例中，利用可视凸壳采用下述方法之一建立运动目标的初始三维模型：多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。
法向信息恢复模块550根据预处理模块530得到的各个采集时刻的每个视角的图像和初始三维模型建立模块540得到的运动目标的初始三维模型进行联合运动补偿，得到运动目标的初始三维模型的法向信息。包括：
首先将不同光照图像的亮度信息分别投影到运动目标的初始三维模型上。
然后根据多光照图像和运动目标的初始三维模型得到九维谐波空间。
在本发明的一个实施例中，根据运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据的每一种特定光照下的谐波系数优化得到运动目标的初始三维模型的九维谐波空间。
在本发明的一个实施例中，通过低阶的圆谐波来表示光照，采用如下公式得到九维谐波空间：
                          In×m＝Ln×9S9×m
其中，I的每一行表示目标表面在同一光照下的亮度，L的每一行表示每一种特定光照下的谐波系数，S的每一列表示一个特定面片的九维谐波空间。
可以理解的是，得到运动目标的九维谐波空间的方式不限于本实施例的示例。
最后，根据得到的九维谐波空间表示运动目标初始三维模型的法向信息。
优化三维模型建立模块560用于对初始三维模型的几何信息和模块550得到的初始三维模型的法向信息进行联合优化，建立运动目标的优化三维模型。
根据本发明实施例的基于变光照多视角间差采样的三维重建装置，通过光流估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合变光照条件下的光流估计和运动补偿，实现对快速运动目标的高精度的三维重建。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (12)

1.一种基于变光照多视角间差采样的三维重建方法，其特征在于，包括以下步骤：
对多台影像记录设备进行间差分组，得到多组影像记录设备；
所述多组影像记录设备采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中，每个影像记录设备采集所述运动目标的一个视角的图像；
对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；
根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；
对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；
对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。
2.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于：所述多台影像记录设备以所述运动目标为中心呈环形排列。
3.如权利要求2所述的变光照多视角间差采样的三维重建方法，其特征在于：对所述多台影像记录设备按照光照条件进行间差分组，其中，每组影像记录设备对应的光照条件相同。
4.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于：所述多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，所述多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。
5.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于：利用所述可视凸壳采用下述方法之一建立运动目标的初始三维模型：多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。
6.如权利要求1所述的变光照多视角间差采样的三维重建方法，其特征在于：所述对所述每一个时刻采集到的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，包括如下步骤：
将不同光照图像的亮度信息分别投影到所述运动目标的初始三维模型上；
根据所述运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据所述的每一种特定光照下的谐波系数优化得到九维谐波空间；
利用所述九维谐波空间表示所述运动目标初始三维模型的法向信息。
7.一种基于变光照多视角间差采样的三维重建装置，其特征在于，包括：
多台影像记录设备，对所述多台影像记录设备进行间差分组，得到多组影像记录设备；
采样模块，所述采样模块与所述影像记录设备相连，所述采样模块采集运动目标在各个时刻和光源提供的变光照条件下的多个视角的图像，得到运动目标的初始图像，其中，每个采样模块采集所述运动目标的一个视角的图像；
预处理模块，所述预处理模块与所述采样模块相连，用于对所述运动目标初始图像中每一个视角的图像进行光流估计和运动补偿，得到所述多台影像记录设备中除该视角对应的影像记录设备外的影像记录设备在各个采集时刻该视角的图像；
初始三维模型建立模块，所述初始三维模型建立模块与所述采样模块相连，用于根据所述多组影像记录设备在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的影像记录设备的参数建立可视凸壳，利用所述可视凸壳建立运动目标的初始三维模型；
法向信息恢复模块，所述法向信息恢复模块分别于所述预处理模块和所述初始三维模型建立模块相连，用于对所述各个采集时刻的每个视角的图像和所述运动目标的初始三维模型进行联合运动补偿，得到所述运动目标的初始三维模型的法向信息；
优化三维模型建立模块，所述优化三维模型建立模块与所述法向信息恢复模块相连，用于对所述运动目标的初始三维模型的法向信息和所述初始三维模型的几何信息进行联合优化，建立运动目标的优化三维模型。
8.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于，所述多台影像记录设备以所述运动目标为中心呈环形排列。
9.如权利要求8所述的基于变光照多视角间差采样的重建装置，其特征在于，对所述多台影像记录设备按照光照条件进行间差分组，其中，每组影像记录设备对应的光照条件相同。
10.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于，所述多组影像记录设备中的不同组的影像记录设备在各个时刻和不同的光照条件下采集运动目标的多个视角的图像，所述多组影像记录设备中的同组的影像记录设备在各个时刻和相同的光照条件下采集运动目标的多个视角的图像。
11.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于，
所述初始三维模型建立模块利用所述可视凸壳采用下述方法之一建立运动目标的初始三维模型：多视角体素方法、表面进化方法、深度图融合方法和特征扩展方法。
12.如权利要求7所述的基于变光照多视角间差采样的重建装置，其特征在于，所述法向信息恢复模块包括：
将不同光照图像的亮度信息分别投影到所述运动目标的初始三维模型上；
根据所述运动目标的初始三维模型利用最小二乘的方法优化得到每一种特定光照下的谐波系数，然后根据所述的每一种特定光照下的谐波系数优化得到九维谐波空间；
利用所述九维谐波空间表示所述运动目标初始三维模型的法向信息。
CN2011103303572A 2011-10-26 2011-10-26 一种基于变光照多视角间差采样的三维重建方法和装置 Pending CN102364524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011103303572A CN102364524A (zh) 2011-10-26 2011-10-26 一种基于变光照多视角间差采样的三维重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103303572A CN102364524A (zh) 2011-10-26 2011-10-26 一种基于变光照多视角间差采样的三维重建方法和装置

Publications (1)

Publication Number Publication Date
CN102364524A true CN102364524A (zh) 2012-02-29

Family

ID=45691090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103303572A Pending CN102364524A (zh) 2011-10-26 2011-10-26 一种基于变光照多视角间差采样的三维重建方法和装置

Country Status (1)

Country Link
CN (1) CN102364524A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077552A (zh) * 2012-12-27 2013-05-01 浙江大学 一种基于多视点视频的三维展示方法
CN105787988A (zh) * 2016-03-21 2016-07-20 联想(北京)有限公司 一种信息处理方法、服务器及终端设备
CN105809734A (zh) * 2016-03-10 2016-07-27 杭州师范大学 一种基于多视角交互式的机械模型三维建模方法
CN106105192A (zh) * 2014-01-03 2016-11-09 英特尔公司 通过深度相机的实时3d重建
CN106197320A (zh) * 2015-05-29 2016-12-07 苏州笛卡测试技术有限公司 一种分时复用快速三维扫描及其数据处理方法
CN106296821A (zh) * 2016-08-19 2017-01-04 刘建国 基于无人机的多视角三维重建方法及系统
CN106462988A (zh) * 2014-06-16 2017-02-22 美国西门子医疗解决公司 多视角断层摄影重构
CN107901424A (zh) * 2017-12-15 2018-04-13 北京中睿华信信息技术有限公司 一种图像采集建模系统
CN108053283A (zh) * 2017-12-15 2018-05-18 北京中睿华信信息技术有限公司 一种基于3d建模的服装定制方法
CN108109197A (zh) * 2017-12-15 2018-06-01 北京中睿华信信息技术有限公司 一种图像处理建模方法
CN108765480A (zh) * 2017-04-10 2018-11-06 钰立微电子股份有限公司 深度处理设备
CN112819928A (zh) * 2021-01-27 2021-05-18 成都数字天空科技有限公司 一种模型重建方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113182A (ja) * 2004-10-13 2006-04-27 Masaaki Okamoto 多視点立体表示装置
CN101872491A (zh) * 2010-05-21 2010-10-27 清华大学 基于光度立体的自由视角重光照方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113182A (ja) * 2004-10-13 2006-04-27 Masaaki Okamoto 多視点立体表示装置
CN101872491A (zh) * 2010-05-21 2010-10-27 清华大学 基于光度立体的自由视角重光照方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGLEI WU等: "Fusing Multiview and Photometric Stereo for 3D Reconstruction under Uncalibrated Illumination", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 *
YING FU 等: "Dynamic Shape Capture via Periodical-illumination Optical Flow Estimation and Multi-view Photometric Stereo", 《2011 INTERNATIONAL CONFERENCE ON 3D IMAGING, MODELING, PROCESSING, VISUALIZATION AND TRANSMISSION》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077552B (zh) * 2012-12-27 2016-01-13 浙江大学 一种基于多视点视频的三维展示方法
CN103077552A (zh) * 2012-12-27 2013-05-01 浙江大学 一种基于多视点视频的三维展示方法
US10178366B2 (en) 2014-01-03 2019-01-08 Intel Corporation Real-time 3D reconstruction with a depth camera
CN106105192A (zh) * 2014-01-03 2016-11-09 英特尔公司 通过深度相机的实时3d重建
CN106105192B (zh) * 2014-01-03 2021-05-18 英特尔公司 通过深度相机的实时3d重建
CN106462988B (zh) * 2014-06-16 2019-08-20 美国西门子医疗解决公司 多视角断层摄影重构
US10217250B2 (en) 2014-06-16 2019-02-26 Siemens Medical Solutions Usa, Inc. Multi-view tomographic reconstruction
CN106462988A (zh) * 2014-06-16 2017-02-22 美国西门子医疗解决公司 多视角断层摄影重构
CN106197320A (zh) * 2015-05-29 2016-12-07 苏州笛卡测试技术有限公司 一种分时复用快速三维扫描及其数据处理方法
CN105809734A (zh) * 2016-03-10 2016-07-27 杭州师范大学 一种基于多视角交互式的机械模型三维建模方法
CN105809734B (zh) * 2016-03-10 2018-12-25 杭州师范大学 一种基于多视角交互式的机械模型三维建模方法
CN105787988B (zh) * 2016-03-21 2021-04-13 联想(北京)有限公司 一种信息处理方法、服务器及终端设备
CN105787988A (zh) * 2016-03-21 2016-07-20 联想(北京)有限公司 一种信息处理方法、服务器及终端设备
CN106296821A (zh) * 2016-08-19 2017-01-04 刘建国 基于无人机的多视角三维重建方法及系统
CN108765480A (zh) * 2017-04-10 2018-11-06 钰立微电子股份有限公司 深度处理设备
TWI672675B (zh) * 2017-04-10 2019-09-21 鈺立微電子股份有限公司 深度處理裝置
US10567737B2 (en) 2017-04-10 2020-02-18 Eys3D Microelectronics, Co. Depth information processing device capable of increasing accuracy of depth information in specific regions
CN108765480B (zh) * 2017-04-10 2022-03-15 钰立微电子股份有限公司 深度处理设备
CN108109197A (zh) * 2017-12-15 2018-06-01 北京中睿华信信息技术有限公司 一种图像处理建模方法
CN108109197B (zh) * 2017-12-15 2021-03-02 北京中睿华信信息技术有限公司 一种图像处理建模方法
CN108053283A (zh) * 2017-12-15 2018-05-18 北京中睿华信信息技术有限公司 一种基于3d建模的服装定制方法
CN107901424A (zh) * 2017-12-15 2018-04-13 北京中睿华信信息技术有限公司 一种图像采集建模系统
CN108053283B (zh) * 2017-12-15 2022-01-04 北京中睿华信信息技术有限公司 一种基于3d建模的服装定制方法
CN112819928A (zh) * 2021-01-27 2021-05-18 成都数字天空科技有限公司 一种模型重建方法、装置、电子设备及存储介质
CN112819928B (zh) * 2021-01-27 2022-10-28 成都数字天空科技有限公司 一种模型重建方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN102364524A (zh) 一种基于变光照多视角间差采样的三维重建方法和装置
CN103729883B (zh) 一种三维环境信息采集与重构系统及方法
CN102236912A (zh) 变光照条件下运动目标的三维重建方法及三维重建装置
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
CN102254348B (zh) 一种基于自适应视差估计的虚拟视点绘制方法
CN105023275A (zh) 超分辨率光场采集装置及其的三维重建方法
CN102447925B (zh) 一种虚拟视点图像合成方法及装置
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN103971352A (zh) 一种基于广角镜头的快速图像拼接方法
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
CN105006021A (zh) 一种适用于快速点云三维重建的颜色映射方法及装置
CN106875437A (zh) 一种面向rgbd三维重建的关键帧提取方法
CN103197095A (zh) 分层同步三维粒子图像测速方法与装置
CN103136793A (zh) 一种基于增强现实的实景融合方法及装置
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
CN102496183A (zh) 基于互联网照片集的多视角立体重构方法
CN105096252A (zh) 一种带状全方位街景影像图的制作方法
CN103310420A (zh) 基于纹理与几何相似性的彩色图像空洞修复方法及系统
CN106780297A (zh) 场景和光照变化条件下的图像高精度配准方法
CN103440664A (zh) 一种生成高分辨率深度图的方法、系统及计算设备
CN102270339B (zh) 一种空间各异模糊核三维运动去模糊的方法及系统
CN103413339A (zh) 十亿像素高动态范围图像重建与显示的方法
Anderson et al. Augmenting depth camera output using photometric stereo.
CN112669448A (zh) 基于三维重建技术的虚拟数据集开发方法、系统及存储介质
CN107958489B (zh) 一种曲面重建方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20120229

RJ01 Rejection of invention patent application after publication