CN101794461B - 一种三维建模方法及系统 - Google Patents

一种三维建模方法及系统 Download PDF

Info

Publication number
CN101794461B
CN101794461B CN2010101211389A CN201010121138A CN101794461B CN 101794461 B CN101794461 B CN 101794461B CN 2010101211389 A CN2010101211389 A CN 2010101211389A CN 201010121138 A CN201010121138 A CN 201010121138A CN 101794461 B CN101794461 B CN 101794461B
Authority
CN
China
Prior art keywords
border
subimage
print image
coding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010101211389A
Other languages
English (en)
Other versions
CN101794461A (zh
Inventor
彭翔
郭继平
李阿蒙
刘晓利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Esun Display Co., Ltd.
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN2010101211389A priority Critical patent/CN101794461B/zh
Publication of CN101794461A publication Critical patent/CN101794461A/zh
Application granted granted Critical
Publication of CN101794461B publication Critical patent/CN101794461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明适用于三维建模,提供了一种三维建模方法及系统,所述方法包括以下步骤:生成第一条纹图案和第二条纹图案;循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点;实时采集所述第一条纹图像和第二条纹图像;对所述第一条纹图像和第二条纹图像进行解码,得到所述运动物体的表面的三维深度数据;利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。所述系统包括:图案生成模块、投射模块、采集模块、解码模块以及匹配模块。所述三维建模方法及系统利用两幅条纹图案,可快速、准确地重建出运动物体的三维模型。

Description

一种三维建模方法及系统
技术领域
本发明属于计算机视觉技术,尤其涉及一种三维建模方法及系统。
背景技术
实现对运动物体动态三维建模具有重要意义,例如动态物体三维数字成像和三维视频序列的生成等。目前,对动态三维重建方法已有研究。对运动物体三维重建而言,设计编码方案时应尽量减少所需编码图案数量以满足动态重建的要求。为此,基于单幅编码图的动态三维重建方法被提出,例如彩色结构光编码方案、自适应结构光方法、彩色相移方案等。另外一个途径是设法提高系统投影采集速度,使得在投影多幅编码图的时间间隔内物体近似不动,如在彩色相移技术基础上,通过改进硬件和高速采集实现运动或变形物体三维数据的实时获取方法,但这种技术途径对硬件设备的要求较高。上述方法都有可能实现对运动物体三维几何信息的动态获取,但这些方法都尚未涉及运动物体深度图像的匹配问题,即没有涉及到动态三维建模。基于时-空相关性的黑白条纹边界编码方案实现对运动物体深度数据的动态获取,且通过ICP方法对各时段深度数据进行匹配得到最终三维模型。该方法所需要的四幅编码图在时间和空间上必须是相关的,通过边界追踪解码动态获得运动物体三维数据,具有实现动态三维建模的潜力。但该方法存在以下问题:(1)由于条纹中存在隐边界,使得在边界追踪时容易出错。(2)该方法需要连续三次边界追踪才能解码重建出物体三维信息,这在很大程度上限制了物体运动的速度。(3)只能获得显边界处的深度数据,数据比较稀疏,扫描效率低。(4)由于使用ICP的方法进行深度数据匹配,在单面深度数据稀疏的情况下,存在的错误数据影响匹配精度和效率从而导致三维建模的精度和效率下降。
发明内容
本发明实施例的目的在于提供一种三维建模方法,旨在解决现有三维建模方法准确性差、效率低的问题。
本发明实施例是这样实现的,一种三维建模方法,包括以下步骤:
生成第一条纹图案和第二条纹图案,所述第一条纹图案和第二条纹图案均为彩色条纹图案;
循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点;
实时采集所述第一条纹图像和第二条纹图像,所述第一条纹图像和第二条纹图像均具有多条条纹,相邻条纹相交形成边界,所述第一条纹图像和第二条纹图像组成一个建模图像单元,所述第一条纹图像中的边界与第二条纹图像中相应的边界组成所述建模图像单元的总边界;
将所述第一条纹图像分解成第一子图像、第二子图像以及第三子图像,将所述第二条纹图像分解成第四子图像、第五子图像以及第六子图像,其中所述第一子图像、第三子图像、第四子图像和第六子图像为解码图像且互不相同,各子图像中相邻条纹相交形成子边界,所述标志点成像于所述第二子图像和第五子图像;
提取所述子边界;
利用子边界左、右条纹的颜色分量共同表示该子边界,得到各子边界的编码,利用所述第一子图像和第三子图像中相应子边界的编码共同表示所述第一条纹图像中相应边界的编码,得到所述第一条纹图像的边界的编码,利用所述第四子图像和第六子图像中相应子边界的编码共同表示所述第二条纹图像中相应边界的编码,得到所述第二条纹图像的边界的编码,利用所述第一条纹图像和第二条纹图像中相应边界的编码共同表示所述建模图像单元中相应总边界的编码,得到所述建模图像单元的总边界的编码;
利用所述总边界的编码并结合总边界上各点的图像坐标以及系统参数,计算总边界上各点的三维坐标,得到所述运动物体的表面的三维深度数据;
利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。
本发明实施例的另一目的在于提供一种三维建模系统,所述系统包括:
图案生成模块,用于生成第一条纹图案和第二条纹图案,所述第一条纹图案和第二条纹图案均为彩色条纹图案;
投射模块,用于循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点;
采集模块,用于实时采集所述第一条纹图像和第二条纹图像,所述第一条纹图像和第二条纹图像均具有多条条纹,相邻条纹相交形成边界,所述第一条纹图像和第二条纹图像组成一个建模图像单元,所述第一条纹图像中的边界与第二条纹图像中相应的边界组成所述建模图像单元的总边界;
图像分解单元,用于将所述第一条纹图像分解成第一子图像、第二子图像以及第三子图像,将所述第二条纹图像分解成第四子图像、第五子图像以及第六子图像,其中所述第一子图像、第三子图像、第四子图像和第六子图像为解码图像且互不相同,各子图像中相邻条纹相交形成子边界,所述标志点成像于所述第二子图像和第五子图像;
边界提取单元,用于提取所述子边界;
解码单元,用于利用子边界左、右条纹的颜色分量共同表示该子边界,得到各子边界的编码,利用所述第一子图像和第三子图像中相应子边界的编码共同表示所述第一条纹图像中相应边界的编码,得到所述第一条纹图像的边界的编码,利用所述第四子图像和第六子图像中相应子边界的编码共同表示所述第二条纹图像中相应边界的编码,得到所述第二条纹图像的边界的编码,利用所述第一条纹图像和第二条纹图像中相应边界的编码共同表示所述建模图像单元中相应总边界的编码,得到所述建模图像单元的总边界的编码;
运算单元,用于利用所述总边界的编码并结合总边界上各点的图像坐标以及系统参数,计算总边界上各点的三维坐标,得到所述运动物体的表面的三维深度数据;
匹配模块,用于利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。
本发明实施例所提供的三维建模方法利用两幅条纹图案,快速、准确地重建出运动物体单面三维深度数据。同时,该方法利用条纹图像中的标志点自动进行各视点三维深度数据间的匹配,匹配精度和效率较高,实现对运动物体动态三维建模。与之对应,本发明实施还提供一种三维建模系统,该系统使用灵活、适应性强。
附图说明
图1是本发明实施例提供的三维建模方法的流程总图;
图2是本发明实施例提供的三维建模方法所采用的两幅彩色条纹图案及其三个颜色通道分量示意图;
图3是本发明实施例提供的三维建模方法所采用的圆形标志点的示意图;
图4是本发明实施例提供的三维建模方法的解码过程示例图;
图5是本发明实施例提供的三维建模方法的解码与匹配过程示意图;
图6是本发明实施例提供的三维建模系统的结构原理图;
图7是本发明实施例提供的三维建模系统的其中一种结构示意图;
图8是本发明实施例提供的三维建模系统的另一种结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供的三维建模方法采用两幅条纹图案循环投射至运动物体,对形成于运动物体表面的条纹图像进行解码,得到运动物体表面的三维深度数据,同时利用标志点对各个视点的三维深度数据进行动态匹配,得到运动物体的三维模型。本方法自动进行各视点三维深度数据动态匹配,速度快,不存在隐边界,三维建模精度高。
一种三维建模方法,包括以下步骤:生成第一条纹图案和第二条纹图案;循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点;实时采集所述第一条纹图像和第二条纹图像;对所述第一条纹图像和第二条纹图像进行解码,得到所述运动物体的表面的三维深度数据;利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。
图1示出了本发明实施例提供的三维建模方法的实现流程,详述如下:
在步骤S101中,生成第一条纹图案和第二条纹图案。所述第一条纹图案和第二条纹图案均具有多条条纹,各条纹的宽度相等。本实施例中,所述第一条纹图案和第二条纹图案均为彩色条纹图案(相邻条纹的颜色不同),所述数字投影照明发射器可以是数字液晶装置(LCD投影仪)、数字微透镜装置(DMD投影仪)或硅基片液晶投影装置(LCOS投影仪),可由计算机图像处理系统方便地生成彩色条纹图案并写入数字投影装置。图2是本发明实施例投射的两幅彩色条纹图案及其三个颜色通道分量示意图。所述彩色条纹图案由四种颜色的条纹构成,各条纹的颜色通道分量分别为:{0,0.5,0}、{1,0.5,0}、{1,0.5,1}、{0,0.5,1},所述彩色条纹图案由两幅黑白条纹图案和一幅均匀光图案分别置于三个颜色通道生成。
在步骤S102中,循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点。本实施例中,所述第一条纹图案和第二条纹图案由数字投影照明发射器投射至运动物体,各条纹图案的投射时间相同。所述第一条纹图案和第二条纹图案经运动物体表面调制分别形成第一条纹图像和第二条纹图像。图3是本实施例所使用的圆形标志点的示意图。根据所述运动物体的三维尺寸选择不同尺寸的圆形标志点,所述圆形标志点贴在所述运动物体的表面相对平滑的部位。所述数字投影照明发射器以固定角度投射条纹图案。
在步骤S103中,实时采集所述第一条纹图像和第二条纹图像。本实施例由图像传感接收器实时采集所述第一条纹图像和第二条纹图像,所述第一条纹图像和第二条纹图像亦均具有多条条纹,相邻条纹相交形成边界,所述第一条纹图像和第二条纹图像组成一个建模图像单元,所述第一条纹图像中的边界与第二条纹图像中相应的边界组成所述建模图像单元的总边界。所述图像传感接收器具有两个,这两个图像传感接收器置于所述数字投影照明发射器的同侧或两侧,并相互之间形成一定角度。所述图像传感接收器包括光学成像透镜和光电探测器,所述光学成像透镜为定焦距或变焦距的成像透镜或透镜组,二元光学成像系统,衍射原件成像系统,显微成像系统;所述光电探测器件为电荷耦合器件、液晶器件、空间光调制器,CMOS器件或数码相机。
在步骤S104中,对所述第一条纹图像和第二条纹图像进行解码,得到所述运动物体的表面的三维深度数据。该步骤具体为:由图像处理器将所述第一条纹图像分解成第一子图像、第二子图像以及第三子图像,将所述第二条纹图像分解成第四子图像、第五子图像以及第六子图像,其中所述第一子图像、第三子图像、第四子图像和第六子图像为解码图像且互不相同,所述解码图像为黑白条纹图像,各子图像中相邻条纹相交形成子边界,所述标志点成像于所述第二子图像和第五子图像,所述第二子图像和第五子图像为均匀光图像;提取所述子边界;利用子边界左、右条纹的颜色分量共同表示该子边界,得到各子边界的编码,利用所述第一子图像和第三子图像中相应子边界的编码共同表示所述第一条纹图像中相应边界的编码,得到所述第一条纹图像的边界的编码,利用所述第四子图像和第六子图像中相应子边界的编码共同表示所述第二条纹图像中相应边界的编码,得到所述第二条纹图像的边界的编码,利用所述第一条纹图像和第二条纹图像中相应边界的编码共同表示所述建模图像单元中相应总边界的编码,得到所述建模图像单元的总边界的编码;利用所述总边界的编码并结合总边界上各点的图像坐标以及系统参数,计算总边界上各点的三维坐标。
本实施例中所述图像处理器为数字信号处理器与可编程专用集成电路的组合,也可以由通用图像处理卡和计算机构成。
本实施例中所述解码图像为黑白条纹图像,所述建模图像单元具有四幅黑白条纹图像;所述第二子图像和第五子图像为均匀光图像,所述建模图像单元具有两幅均匀光图像。所述四幅黑白条纹图像的边界在时间维上共同组成编码,用于三维深度数据重建,两幅均匀光图像用于采集标志点,进行三维深度数据的匹配,最终实现三维数字建模。
本实施例中所述子边界的提取过程用下列算法实现:
If I(i,j)<βandI(i,j+1)>β,(i,j)为黑到白边界位置;
If I(i,j)>βandI(i,j+1)<β,(i,j)为白到黑边界位置;
其中,I(i,j)为图像坐标为(i,j)的强度,β为一强度阈值,可根据实际采集图像的亮暗程度选择合适的β值。
下面举例说明本实施例中的边界解码过程,如图4所示,提取上述条纹中用于编码的R颜色分量和B颜色分量:{0,0}、{1,0}、{1,1}、{0,1}。利用所述第一子图像中第二条边界(即条纹2与条纹3相交形成的边界)的编码{1,0}和第三子图像中相应子边界的编码{0,1}共同表示所述第一条纹图像中相应边界的编码,得到所述第一条纹图像中第二条边界的编码1001。利用所述第四子图像中第二条边界(即条纹2与条纹3相交形成的边界)的编码{1,1}和第六子图像中相应子边界的编码{0,1}共同表示所述第一条纹图像中相应边界的编码,得到所述第二条纹图像中第二条边界的编码1101。利用所述第一条纹图像中第二条边界的编码1001和第二条纹图像中相应边界的编码1101共同表示所述建模图像单元中相应总边界的编码,得到所述建模图像单元中第二条总边界的编码10011101。
利用所述总边界的编码10011101并结合总边界上各点的图像坐标以及系统参数,计算总边界上各点的三维坐标。本实施例采用三角测量原理进行总边界上各点的三维坐标的计算。
在步骤S105中,利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。该步骤具体为:实时提取各视点标志点的图像坐标,利用所述标志点的图像坐标以及各视点的系统参数,获取各视点标志点的三维坐标;利用相邻视点共有标志点的三维坐标,依次确定出相邻视点坐标系间的转换关系,将各视点的三维深度数据匹配至同一坐标系,建立所述运动物体的三维模型。
本实施例中,先提取各视点成像于所述第二子图像或第五子图像的标志点(即成像于均匀光图像)的边缘并确定其中心,得到各视点各标志点的图像坐标;然后通过极线约束,查找出两个图像传感接收器所采集图像中的圆形标志点对应点对,获取两个图像传感接收器中同一标志点的图像坐标。利用相邻视点图像传感接收器的系统参数以及相邻视点各标志点的图像坐标,计算出相邻视点各标志点的三维坐标,查找相邻视点共有标志点,所述共有标志点的个数为三个以上。
利用相邻视点三个共有标志点的三维坐标,获取相邻视点间的坐标变换关系,对坐标变换关系的计算过程说明如下:
一个视点的坐标系与另一个视点的坐标系的变换关系可用旋转矩阵R和平移矩阵T表示。如视点1中任一标志点的三维坐标(X1,YX,Z1)与视点2中任一标志点的三维坐标(X2,Y2,Z2)之间的变换关系可用下式表示:
X 1 Y 1 Z 1 = R X 2 Y 2 Z 2 + T
其中,R为3×3矩阵,T为3×1矩阵。
利用上式可列出3个方程,再利用相邻视点的三个共有标志点,可得到九个方程,此九个方程组成方程组计算出R和T,获取相邻视点坐标系间的变换关系。利用坐标系间的变换关系,将各个视点得到的三维深度数据转换到同一个坐标系下即完成匹配,从而实现动态三维建模。上述匹配运算采用点模式匹配算法。
图5是本发明实施例提供的三维建模方法的解码和匹配过程示意图。数字投影照明发射器向运动物体循环投射第一条纹图案和第二条纹图案,图像传感接收器采集各个视点被运动物体表面调制的条纹图像并传送至图像处理器。图像处理器对各个视点的条纹图像进行解码,重建出各个视点的三维深度数据,同时计算出各个视点采集的标志点三维坐标,并由此获取各个视点间坐标变换关系,将不同视点的三维深度数据匹配到同一坐标系下,得到运动物体的整体三维模型。
本领域的普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件完成,该程序可以存储于一计算机可读取存储介质中,如ROM/RAM、磁盘、光盘等。
本发明实施例还提供一种三维建模系统,所述三维建模系统包括:图案生成模块,用于生成第一条纹图案和第二条纹图案;投射模块,用于循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点;采集模块,用于实时采集所述第一条纹图像和第二条纹图像;解码模块,用于对所述第一条纹图像和第二条纹图像进行解码,得到所述运动物体的表面的三维深度数据;匹配模块,用于利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。
图6示出了本发明实施例提供的三维建模系统的结构原理,为了便于描述,仅示出了与本发明实施例相关的部分。
所述图案生成模块61生成第一条纹图案和第二条纹图案,其中,所述第一条纹图案和第二条纹图案均由四种颜色的条纹排列组合而成,各条纹的宽度相等。
所述投射模块62循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点。
所述采集模块63实时采集所述第一条纹图像和第二条纹图像。
所述解码模块64对所述第一条纹图像和第二条纹图像进行解码,得到所述运动物体的表面的三维深度数据。所述解码模块64包括图像分解单元641、边界提取单元642、解码单元643以及运算单元644。所述图像分解单元641将所述第一条纹图像分解成第一子图像、第二子图像以及第三子图像,将所述第二条纹图像分解成第四子图像、第五子图像以及第六子图像,其中所述第一子图像、第三子图像、第四子图像和第六子图像为解码图像且互不相同,各子图像中相邻条纹相交形成子边界,所述标志点成像于所述第二子图像和第五子图像。所述边界提取单元642提取所述子边界。所述解码单元643利用子边界左、右条纹的颜色分量共同表示该子边界,得到各子边界的编码,利用所述第一子图像和第三子图像中相应子边界的编码共同表示所述第一条纹图像中相应边界的编码,得到所述第一条纹图像的边界的编码,利用所述第四子图像和第六子图像中相应子边界的编码共同表示所述第二条纹图像中相应边界的编码,得到所述第二条纹图像的边界的编码,利用所述第一条纹图像和第二条纹图像中相应边界的编码共同表示所述建模图像单元中相应总边界的编码,得到所述建模图像单元的总边界的编码。所述运算单元644利用所述总边界的编码并结合总边界上各点的图像坐标以及系统参数,计算总边界上各点的三维坐标。
所述匹配模块65利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。所述匹配模块包括坐标提取单元651和坐标系转换单元652。所述坐标提取单元651实时提取各视点标志点的图像坐标,利用所述标志点的图像坐标以及各视点的系统参数,获取各视点标志点的三维坐标;所述坐标系转换单元652利用相邻视点共有标志点的三维坐标,依次确定出相邻视点坐标系间的转换关系,将各视点的三维深度数据匹配至同一坐标系,建立所述运动物体的三维模型。
上述各个模块(单元)的工作原理如上文所述,此处不再加以赘述。
上述三维建模系统的各个单元(模块)可以为软件单元、硬件单元或者软硬件结合的单元,软件单元部分可以存储于一计算机可读取存储介质中,如ROM/RAM、磁盘、光盘等。
本发明实施例中,所述图案生成模块、解码模块和匹配模块集成于图像处理器,所述采集模块内置于图像传感接收器,所述投射模块内置于数字投影照明发射器。本三维建模系统具有两个图像传感接收器,此两个图形传感接收器位于数字投影照明发射器的同一侧,其中一个图像传感接收器与数字投影照明发射器构成三角测量系统,用于计算运动物体各视点三维深度数据;两个图像传感接收器构成双目立体视觉系统,利用采集的标志点图像进行三维深度数据间的匹配。所述图像传感接收器还可分置于所述数字投影照明发射器的两侧,并由此构成双目立体视觉系统,获取三维深度数据,同时利用采集的标志点图像进行三维深度数据匹配。
如图6所示,两个图像传感接收器位于数字投影照明发射器的同一侧,其中数字投影照明发射器102的出瞳P与图像传感接收器103的入瞳C2以及视场中心O位于同一平面内,并构成一个三角形,投影光轴PO与成像光轴C2O的夹角为β,以PC2连线为基线,形成三角测量系统。图像传感接收器103的入瞳C2和图像传感接收器104的入瞳C1以及视场中心O在一个平面内,成像光轴C1O与成像光轴C2O的夹角为α,二者构成双目立体视觉系统。数字投影照明发射器102循环向运动物体109表面投射彩色条纹编码图案,图像传感接收器103和图像传感接收器104实时采集各个视点图像并传送至图像处理器,利用数字投影照明发射器102与图像传感接收器103构成的三角测量系统对编码图像进行解码,获取各视点三维深度数据;同时,利用图像传感接收器103和图像传感接收器104构成的双目立体视觉系统提取各视点图像中的圆形标志点,并获取各视点间的坐标变换关系,将各视点三维深度数据匹配到同一坐标系,即得到运动物体的三维模型。
如图7所示,图像传感接收器103和图像传感接收器104分置于数字投影照明发射器102的两侧,图像传感接收器103的光轴C2O与图像传感接收器104的光轴C1O构成一定的夹角α,构成双目立体视觉系统。数字投影照明发射器101向运动物体109表面循环投射两幅彩色编码条纹图,图像传感接收器103和图像传感接收器104实时采集各视点图像并传送至图像处理器101,分别对图像传感接收器103和图像传感接收器104采集到的图像进行数字解码,重建出各视点运动物体的三维深度数据,同时获取各视点圆形标志点的三维坐标,并由此获取各视点间的坐标变换关系,对不同视点三维深度数据进行动态匹配,最终得到运动物体的三维模型。
本实施例中数字投影照明发射器102所需要的彩色条纹图案由图像处理器101的计算机或数字信号处理器产生,将彩色条纹图案投射至运动物体表面,受运动物体表面调制形成的条纹图像由图像传感接收器103和图像传感接收器104接收,并传送到图像处理器101,通过数字解码,计算出运动物体三维深度数据,同时利用标志点将各个视点三维深度数据匹配至同一坐标系,动态重建出整个运动物体的三维模型。调节杆108用来调节图像传感接收器103和图像传感接收器104与数字投影照明发射器102的相对位置和角度。
综上所述,本发明实施例是一种基于彩色条纹边界编码的动态三维建模方法。该方法利用两幅彩色条纹编码图案,快速、准确地重建出运动物体单面三维深度数据;同时,利用经运动物体表面调制形成的条纹图像中的标志点,进行各视点三维深度数据间的匹配,匹配精度和效率较高,实现对运动物体动态三维建模。与此对应,本发明实施例还提供一种三维建模系统,该系统使用灵活、适应性强。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种三维建模方法,其特征在于,所述方法包括以下步骤:
生成第一条纹图案和第二条纹图案,所述第一条纹图案和第二条纹图案均为彩色条纹图案;
循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点;
实时采集所述第一条纹图像和第二条纹图像,所述第一条纹图像和第二条纹图像均具有多条条纹,相邻条纹相交形成边界,所述第一条纹图像和第二条纹图像组成一个建模图像单元,所述第一条纹图像中的边界与第二条纹图像中相应的边界组成所述建模图像单元的总边界;
将所述第一条纹图像分解成第一子图像、第二子图像以及第三子图像,将所述第二条纹图像分解成第四子图像、第五子图像以及第六子图像,其中所述第一子图像、第三子图像、第四子图像和第六子图像为解码图像且互不相同,各子图像中相邻条纹相交形成子边界,所述标志点成像于所述第二子图像和第五子图像;
提取所述子边界;
利用子边界左、右条纹的颜色分量共同表示该子边界,得到各子边界的编码,利用所述第一子图像和第三子图像中相应子边界的编码共同表示所述第一条纹图像中相应边界的编码,得到所述第一条纹图像的边界的编码,利用所述第四子图像和第六子图像中相应子边界的编码共同表示所述第二条纹图像中相应边界的编码,得到所述第二条纹图像的边界的编码,利用所述第一条纹图像和第二条纹图像中相应边界的编码共同表示所述建模图像单元中相应总边界的编码,得到所述建模图像单元的总边界的编码;
利用所述总边界的编码并结合总边界上各点的图像坐标以及系统参数,计算总边界上各点的三维坐标,得到所述运动物体的表面的三维深度数据;
利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。
2.如权利要求1所述的三维建模方法,其特征在于,所述利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型的步骤具体为:
实时提取各视点标志点的图像坐标,利用所述标志点的图像坐标以及各视点的系统参数,获取各视点标志点的三维坐标;
利用相邻视点共有标志点的三维坐标,依次确定出相邻视点坐标系间的转换关系,将各视点的三维深度数据匹配至同一坐标系,建立所述运动物体的三维模型。
3.如权利要求2所述的三维建模方法,其特征在于,所述提取各视点标志点的图像坐标的步骤具体为:
提取各视点成像于所述第二子图像或第五子图像的标志点的边缘并确定其中心,得到各视点各标志点的图像坐标。
4.如权利要求1所述的三维建模方法,其特征在于,所述第一条纹图案和第二条纹图案均由四种颜色的条纹排列组合而成,各条纹的宽度相等。
5.一种三维建模系统,其特征在于,所述系统包括:
图案生成模块,用于生成第一条纹图案和第二条纹图案,所述第一条纹图案和第二条纹图案均为彩色条纹图案;
投射模块,用于循环投射所述第一条纹图案和第二条纹图案至运动物体,分别形成第一条纹图像和第二条纹图像,所述运动物体的表面设有多个标志点;
采集模块,用于实时采集所述第一条纹图像和第二条纹图像,所述第一条纹图像和第二条纹图像均具有多条条纹,相邻条纹相交形成边界,所述第一条纹图像和第二条纹图像组成一个建模图像单元,所述第一条纹图像中的边界与第二条纹图像中相应的边界组成所述建模图像单元的总边界;
图像分解单元,用于将所述第一条纹图像分解成第一子图像、第二子图像以及第三子图像,将所述第二条纹图像分解成第四子图像、第五子图像以及第六子图像,其中所述第一子图像、第三子图像、第四子图像和第六子图像为解码图像且互不相同,各子图像中相邻条纹相交形成子边界,所述标志点成像于所述第二子图像和第五子图像;
边界提取单元,用于提取所述子边界;
解码单元,用于利用子边界左、右条纹的颜色分量共同表示该子边界,得到各子边界的编码,利用所述第一子图像和第三子图像中相应子边界的编码共同表示所述第一条纹图像中相应边界的编码,得到所述第一条纹图像的边界的编码,利用所述第四子图像和第六子图像中相应子边界的编码共同表示所述第二条纹图像中相应边界的编码,得到所述第二条纹图像的边界的编码,利用所述第一条纹图像和第二条纹图像中相应边界的编码共同表示所述建模图像单元中相应总边界的编码,得到所述建模图像单元的总边界的编码;
运算单元,用于利用所述总边界的编码并结合总边界上各点的图像坐标以及系统参数,计算总边界上各点的三维坐标,得到所述运动物体的表面的三维深度数据;
匹配模块,用于利用所述标志点对各个视点的三维深度数据进行动态匹配,建立所述运动物体的三维模型。
6.如权利要求5所述的三维建模系统,其特征在于,所述匹配模块包括:
坐标提取单元,用于实时提取各视点标志点的图像坐标,利用所述标志点的图像坐标以及各视点的系统参数,获取各视点标志点的三维坐标;
坐标系转换单元,用于利用相邻视点共有标志点的三维坐标,依次确定出相邻视点坐标系间的转换关系,将各视点的三维深度数据匹配至同一坐标系,建立所述运动物体的三维模型。
7.如权利要求5所述的三维建模系统,其特征在于,所述图案生成模块、解码模块和匹配模块集成于图像处理器,所述采集模块内置于图像传感接收器,所述投射模块内置于数字投影照明发射器。
CN2010101211389A 2010-03-09 2010-03-09 一种三维建模方法及系统 Active CN101794461B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101211389A CN101794461B (zh) 2010-03-09 2010-03-09 一种三维建模方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101211389A CN101794461B (zh) 2010-03-09 2010-03-09 一种三维建模方法及系统

Publications (2)

Publication Number Publication Date
CN101794461A CN101794461A (zh) 2010-08-04
CN101794461B true CN101794461B (zh) 2011-12-14

Family

ID=42587132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101211389A Active CN101794461B (zh) 2010-03-09 2010-03-09 一种三维建模方法及系统

Country Status (1)

Country Link
CN (1) CN101794461B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112011102991B4 (de) * 2010-09-08 2016-09-22 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur 3D-Vermessung durch Erfassung eines vorbestimmten Musters
US10552551B2 (en) 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
US9451810B2 (en) 2011-11-18 2016-09-27 Nike, Inc. Automated identification of shoe parts
US8849620B2 (en) 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
CN104751414B (zh) * 2013-12-25 2018-02-27 联想(北京)有限公司 一种数据处理方法和电子设备
US9799117B2 (en) 2013-09-30 2017-10-24 Lenovo (Beijing) Co., Ltd. Method for processing data and apparatus thereof
CN106251376B (zh) * 2016-08-12 2019-08-06 南京航空航天大学 一种面向彩色结构光编码与边缘提取方法
CN106802138B (zh) 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN108345463B (zh) * 2018-01-30 2021-06-25 深圳市易尚展示股份有限公司 基于机器人的三维测量方法、装置、机器人和存储介质
CN109544686B (zh) * 2018-10-25 2023-05-23 苏州佳世达电通有限公司 一种三维影像建模及真实影像显示的方法及系统
TWI704907B (zh) * 2018-11-29 2020-09-21 財團法人金屬工業研究發展中心 牙體建模裝置以及牙體建模方法
US11625454B2 (en) * 2019-12-09 2023-04-11 Shenzhen University Method and device for 3D shape matching based on local reference frame

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286241A (zh) * 2008-04-17 2008-10-15 西北工业大学 基于立体像对的一种三维建筑物快速建模方法
CN101364310A (zh) * 2007-08-07 2009-02-11 北京灵图软件技术有限公司 一种三维模型图形的生成方法和装置
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999015945A2 (en) * 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
US7023432B2 (en) * 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364310A (zh) * 2007-08-07 2009-02-11 北京灵图软件技术有限公司 一种三维模型图形的生成方法和装置
CN101286241A (zh) * 2008-04-17 2008-10-15 西北工业大学 基于立体像对的一种三维建筑物快速建模方法
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置

Also Published As

Publication number Publication date
CN101794461A (zh) 2010-08-04

Similar Documents

Publication Publication Date Title
CN101794461B (zh) 一种三维建模方法及系统
Liu et al. 3D imaging, analysis and applications
CN104197861B (zh) 基于结构光灰度向量的三维数字成像方法
Fanello et al. Hyperdepth: Learning depth from structured light without matching
US20190156557A1 (en) 3d geometric modeling and 3d video content creation
CN103400366B (zh) 基于条纹结构光的动态场景深度获取方法
CN100520285C (zh) 投射多频光栅的物体表面三维轮廓的视觉测量方法
US8908016B2 (en) Method and system for providing three-dimensional and range inter-planar estimation
CN101813461B (zh) 基于复合彩色条纹投影的绝对相位测量方法
CN201043890Y (zh) 单孔径多重成像的光学成像测距装置
CN100573040C (zh) 物体表面三维轮廓结构光测量系统的标定方法
CN105120257A (zh) 一种基于结构光编码的垂直深度感知装置
CN109903377B (zh) 一种无需相位展开的三维人脸建模方法及系统
CN201218726Y (zh) 基于彩色结构光的文物三维重建装置
CN105844633B (zh) 基于De序列和相位编码的单帧结构光深度获取方法
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
WO2015074078A1 (en) Estimating depth from projected texture using camera arrays
CN100538264C (zh) 单孔径多重成像的光学成像测距装置
CN105890546A (zh) 基于正交格雷码和线移相结合的结构光三维测量方法
CN103414861A (zh) 一种投影仪画面自适应几何矫正的方法
CN104408772A (zh) 一种基于网格投影的自由曲面三维重建方法
CN103299343A (zh) 距离图像像素匹配方法
CN102903101B (zh) 使用多台相机进行水面数据采集与重建的方法
WO2017214735A1 (en) Systems and methods for obtaining a structured light reconstruction of a 3d surface
CN100449258C (zh) 基于二维彩色光编码的实时三维视觉系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHENZHEN ESUN DISPLAY CO., LTD.

Free format text: FORMER OWNER: SHENZHEN UNIVERSITY

Effective date: 20121212

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 518000 SHENZHEN, GUANGDONG PROVINCE TO: 518048 SHENZHEN, GUANGDONG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20121212

Address after: 518048, B301, three floor, No. 4001, Fu Qiang Road, Futian District, Guangdong, Shenzhen, Shenzhen, China, AB

Patentee after: Shenzhen Esun Display Co., Ltd.

Address before: 518000 No. 2336 Nanhai Road, Shenzhen, Guangdong, Nanshan District

Patentee before: Shenzhen University

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 518133 23rd floor, Yishang science and technology creative building, Jiaan South Road, Haiwang community Central District, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN ESUN DISPLAY Co.,Ltd.

Address before: 518048 B301, 3rd floor, block AB, 4001 Fuqiang Road, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN ESUN DISPLAY Co.,Ltd.