CN107346425B - 一种三维纹理照相系统、标定方法及成像方法 - Google Patents

一种三维纹理照相系统、标定方法及成像方法 Download PDF

Info

Publication number
CN107346425B
CN107346425B CN201710538892.4A CN201710538892A CN107346425B CN 107346425 B CN107346425 B CN 107346425B CN 201710538892 A CN201710538892 A CN 201710538892A CN 107346425 B CN107346425 B CN 107346425B
Authority
CN
China
Prior art keywords
dimensional
camera
dimensional texture
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710538892.4A
Other languages
English (en)
Other versions
CN107346425A (zh
Inventor
薛俊鹏
王齐明
季玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201710538892.4A priority Critical patent/CN107346425B/zh
Publication of CN107346425A publication Critical patent/CN107346425A/zh
Application granted granted Critical
Publication of CN107346425B publication Critical patent/CN107346425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及三维人脸识别领域中的三维纹理信息测量技术，特别涉及一种三维纹理照相系统、标定方法及成像方法。本发明首次提出非耦合三维纹理信息获取的概念，发明中利用多测量单元从不同视角获得纹理图像，由测量的完整三维人脸面形三角片法线决定不同角度拍摄二维纹理信息对三维纹理信息构建的权重，可一次性实现三维全脸面形数据和无耦合或低耦合真实空间意义上的三维彩色纹理获取。为三维人脸识别技术提供可靠的人脸拍照方法。

Description

一种三维纹理照相系统、标定方法及成像方法
技术领域
本发明涉及三维人脸识别及三维测量领域，特别涉及一种三维纹理照相系统、标定方法及成像方法。
背景技术
近年来，由于空天安全、国土安全、社会安全、信息安全和移动支付等的需要，世界上各个国家都对安防领域加大了投入，而快速、精确、自然的身份识别正是安防领域面临的一个核心和迫切需要解决的问题。虽然基于二维图像的人脸识别已取得很大进展，并可在约束环境下获得很好的识别性能，但仍受诸如光照、姿态、表情等变化的影响较大。与二维人脸识别相比，三维人脸识别不仅使用了人脸曲面的三维面形信息，还使用了三维纹理信息，这可以避免姿态，光照和表情等的影响，因此三维人脸识别技术成为生物特征识别领域新开拓的重要方向，受到很多学者的研究和关注[Abate A.F.,et al.,2D and 3D facerecognition:A survey.Pattern Recognition Letters,2007.28(14):1885-1906.]。
进行三维人脸识别的研究和应用，必须解决人脸三维纹理和三维面形数据的拍照问题。以往三维人脸识别数据的建库，都是为了获得人脸三维面形信息及二维彩色纹理信息，而没有解决真正三维纹理的事情。这造成了不同姿态下二维纹理信息投影高度耦合的特性，最终影响三维建库和二维识别的识别准确度。
针对上述面临的人脸三维面形信息获取和三维彩色纹理拍照的需求，本发明采用特殊设计的结构光三维传感技术。光学三维传感因其具有高速、高精度和非接触的优点一直是研究的热点，在医疗整形美容、三维打印、影视娱乐等领域都有着广泛的应用。研究比较成熟的有傅里叶变换轮廓术、调制度轮廓术、相位测量轮廓术等等，其实现单次三维面形数据测量的拍照时间从几秒到几十秒不等。随着对高精度实时三维测量技术的需求，如何实现利用最快的速度完成三维数据采集是一个挑战。在实时测量算法中，美国普渡大学Song Zhang[Song Zhang,Peisen Huang.High-Resolution,Real-time 3D ShapeAcquisition.In Computer Vision and Pattern Recognition Workshop,2004.CVPRW'04.Conference on,2004:28-28.]采用双频相移和彩色编码结构光条纹投影测量方法对人脸进行了三维面形测量，其人脸三维面形测量速度达到120HZ面形测量，但是测量速度依靠TI高速投影套装和高速相机拍摄。美国University of Kentucky的Daniel.L.Lau[K.Liu,Y.Wang,D.L.Lau,Q.Hao and L.G.Hassebrook.Dual-frequency pattern scheme forhigh-speed3D shape measurement[J],Optics Express,18,5229-5244,2010.]研究组利用双频条纹投影实现高速三维形貌测量，但同样存在所用硬件设备昂贵的问题。Mikael
Figure BDA0001341365630000021
and Per Synnergren等人[
Figure BDA0001341365630000022
Mikael,Synnergren Per.Measurement ofShape by Using Projected Random Patterns and Temporal Digital SpecklePhotography.Appl Opt,1999,38(10):1990-1997.]使用散斑测量的方式进行三维测量，但仍然属于平面相关的概念。市场上已有三维产品如微软的Kinect和英特尔的Realsense能够实现深度数据的实时获取，但是又不能保证其精度，且获得是二维纹理信息。上述无论是发表的科研成果还是产品都无法实现三维纹理信息的同步拍照，极大的限制了三维人脸识别不受位姿限制的优点。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种采用多角度拍摄被测物体二维图像，通过计算每个被测物体面形点的纹理信息在不同角度成像像素值对三维纹理的贡献权重，从而获取低耦合被测物体三维纹理图像的照相系统
为了实现上述发明目的，本发明提供了以下技术方案：
一种三维纹理照相系统，包括，
至少三个摄像单元，所述至少三个摄像单元在一同心圆弧上均匀间隔设置；所述摄像单元包括结构光投影装置及两个照相装置，所述两个照相装置分散设置在结构光投影装置的不同侧。
控制器，控制各个摄像单元拍摄，并根据三个摄像单元拍摄的图片计算得出被摄物体的三维面形数据和真三维纹理彩色图像。
优选的，所述两个照相装置不等距的设置在所述结构光投影装置两侧。
优选的，相邻两个摄像单元与圆心组成的角度小于60度。
本发明提供一种应用如上所述的三维纹理照相系统进行标定的方法，包括如下步骤：
(1-1)将平面相位靶标放置在各个摄像单元所处圆弧的圆心处，依次控制各个摄像单元拍摄平面相位靶标至少6个姿态图像。
(1-2)提取相位特征点，由平面标定法标定系统以及系统中各个摄像单元的内参数和外参数。
(1-3)将“T”形靶标放置在各个摄像单元所处圆弧的圆心处，控制各个摄像单元同时从不同角度对其进行拍照。
(1-4)提取特征点，由“T”形靶标标定算法求得系统中各个摄像单元的位姿参数。
(1-5)将上述系统的内参数、外参数以及系统中各个摄像单元的位姿参数储存。
优选的，所述内参数为各个照相装置宽度方向上焦距fu、高度方向上的焦距fv、照相装置主点坐标(u0,v0)；外参数为旋转矩阵R，以及，平移向量T。
本发明提供一种应用如上所述的三维纹理照相系统进行三维成像的方法，包括如下步骤：
(2-1)进行编码条纹投影，控制各个拍摄单元依次对被测物体进行拍摄；每个拍摄单元需进行K组拍摄，每组拍摄包含M幅图像，且每组M幅图像拍摄时，采用相同的投影图像条纹频率；M、K为3以上自然数。
(2-2)将每个拍摄单元拍摄的图像分组计算截断相位Φ(u,v)，计算公式为，
Figure BDA0001341365630000041
其中，Im(u,v)表示同组中第m幅图像(u,v)坐标处的像素值。
(2-3)对步骤(2-2)中计算出的K组截断相位，采用时间相位展开算法计算出各个测量单元中两个摄像装置的展开相位Ψ1和Ψ2。
(2-4)，根据展开的相位信息，求解被测物体同名点在同一摄像单元中两个相机所拍摄图像的坐标pl(u,v)和pr(u,v),将其代入R-T共线方程，由最小二乘法求解同名点的三维世界坐标值P(X,Y,Z)，所述R-T共线方程为：
Figure BDA0001341365630000042
(2-5)控制各个测量单元拍摄一轮彩色图像用于三维纹理重建。
(2-6)根据计算机视觉三维点云融合技术拼接完成被测物体表面的整体三维数据并完成数据点云精简和三角剖分，同时标记每个重建三维点对应的二维纹理像素值。
(2-7)计算重建整体被测面形三角面片的法线
Figure BDA0001341365630000051
根据不同摄像单元拍摄的不同二维纹理像素点计算该点像素值对三维纹理信息贡献权值λ；权值由被测物体表面实际坐标与成像坐标的连线
Figure BDA0001341365630000052
和相机光轴反方向
Figure BDA0001341365630000053
分别与法线
Figure BDA0001341365630000054
之间的夹角α和β计算，计算公式为：
Figure BDA0001341365630000055
(2-8)根据各个摄像单元拍摄的二维纹理像素，结合对应的该点三维纹理信息贡献权值λ，融合计算被测物体三维纹理像素值
Figure BDA0001341365630000056
其中，I为三维纹理像素值，Ii为该点对应的第i个测量单元拍摄二维纹理图像像素点的像素值；N表示该点出现在不同图像中的数量。
(2-9)对红绿蓝三个通道分别采用上述公式计算，并赋值给三维纹理图像的RGB值。完成不同姿态下三维数据和三维纹理的融合和重建。
优选的，不同组拍摄采用不同的正弦条纹投影；所述正弦条纹投影的条纹数量由公式
Figure BDA0001341365630000057
计算；
其中，Ip为投影相位条纹图像，a＝0.5，b＝0.5，f为投影图像条纹频率，x为投影图像在列方向坐标，
Figure BDA0001341365630000058
称为相位，m＝0,1…M-1。
优选的，每组拍摄包含的图像数量M称为投影条纹相移步数，其取值为3至10。
优选的，所述第一组图像拍摄时采用的投影图像条纹频率f1的取值为1；第二组图像拍摄采用的图像条纹频率f2范围为3以上，且12以下的自然数。
优选的，当存在第三组以上的拍摄时，第H组图像拍摄采用的图像条纹频率fH＝f(H-1)×f2；H为3以上自然数。
本发明得到国家高技术研究发展计划(863计划)(课题编号：2015AA016404)的资助。
与现有技术相比，本发明的有益效果：本发明提供的一种三维纹理照相系统、标定方法及成像方法，首次提出非耦合及低耦合三维纹理信息获取的概念，利用多测量单元从不同视角获得纹理图像，由测量的完整三维人脸面形三角片法线决定不同角度拍摄二维纹理信息对三维纹理信息构建的权值，可一次性实现三维全脸面形数据和无耦合真实空间意义上的三维彩色纹理获取。为三维人脸识别技术提供可靠的人脸拍照方法。
利用本发明提出的3D相机有以下优点：
1、本发明所提3D相机通过对人脸拍照，一次性实现三维全脸面形数据和三维纹理的获取。
2、本发明所提3D相机，拍摄速度快、拍摄的三维人脸数据完整、彩色纹理清晰真实。
3、本发明首次实现了真正空间意义上的人脸三维纹理信息的拍照。
附图说明：
图1为本发明提供三维照相系统的标定阶段流程图。
图2为本发明提供三维照相系统成像计算流程图。
图3为本发明提供三维照相系统中单个拍摄单元结构图。
图4为本发明提供三维照相机的系统结构图。
图5为本发明中使用的平面标定板示例。
图6为本发明中使用的“T”形标定板示例。
图7为本发明中三维纹理信息投影模型。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1：如图3、图4所示，本实施例提供一种三维纹理照相系统，包括，三个摄像单元2和与摄像单元连接的控制器1；所述至少三个摄像单元2在一同心圆弧上均匀间隔设置；所述摄像单元2包括结构光投影装置22及两个照相装置21，所述两个照相装置21分散设置在结构光投影装置22的不同侧，且与结构光投影装置22不等距设置；应注意的是，相邻两个摄像单元2与圆心组成的角度小于60度，如可以是15度或30度。控制器1，控制各个摄像单元2拍摄，并根据三个摄像单元2拍摄的图片计算得出被摄物体的三维面形数据和真三维纹理彩色图像。本实施例中照相装置采用IDS的UI-3360CP-C-GL CMOS型摄像机，其分辨率为2048×1088pixels，镜头焦距为12mm。结构光投影装置采用分辨率为1280×800pixels的TI数字投影光机；结构光投影装置22为数字投影编码图案装置或者光刻编码图案投影装置，同时其光源为红外光源和/或可见光光源。
具体的，采用如图1所示的步骤对三维纹理照相系统进行标定。
S101：将平面相位靶标放置在各个摄像单元所处圆弧的圆心处，依次控制各个摄像单元拍摄平面相位靶标至少6个姿态图像；即，将平面相位靶标对准目标标定摄像单元，所谓对准就是平面靶标中心垂线与投影装置光轴大体为同一直线；然后控制目标标定摄像单元拍摄至少6幅不同姿态的靶标图像；再将平面相位靶标对准下一个目标摄像单元，由下一个摄像单元拍摄至少6幅图像，平面相位靶标如图5所示；相位标靶上特征点的个数为120；具体的，对每个摄像单位均使用张正友的传统平面相机标定法，将平面标靶在当前测量单元前摆放不同姿态并完成拍照；本实施例中每个测量单元对均需9个姿态的相位标靶标定板进行拍照完成标定。
S102：提取相位特征点，由平面标定法标定系统以及系统中各个摄像单元的内参数和外参数；提取所拍摄标靶相位图像的标记点坐标p(u,v)，结合已知的120个特征点物理坐标P(X,Y,Z)，利用如下公式即可完成相机内参数标定，
Figure BDA0001341365630000081
标定的内参数有图像宽度方向上焦距fu、高度方向上的焦距fv、照相装置主点坐标(u0,v0)，λ为任意常数。R和T分别是世界坐标系转换到摄像机坐标系的旋转矩阵和平移向量，它们共同组成摄像机的外部参数。(tx,ty,tz)为T的分量。R为3×3的正交矩阵，用(r1,…,r9)表示矩阵R的元素。
S103：将“T”形靶标放置在各个摄像单元所处圆弧的圆心处，控制各个摄像单元同时从不同角度对其进行拍照；之所以采用与步骤101不同的方式进行拍摄是因为，“T”型靶标与平面靶标不同，它的标记点为加工难度大的球形回光反射标记点，不同摄像单元均可清晰成像；具体的，“T”形靶标如图6所示，由“T”形靶标标定算法求得系统中各个摄像单元的位姿参数；在靶标上布设球形回光反射标记点，该球形标记点有利于180°范围内的中心质点准确定位。照相系统的多个(大于3个)测量单元从不同方向同时对“T”形靶标拍摄图像。
S104：提取特征点，利用椭圆提取算法对不同角度拍摄靶标图像的标记点进行提取。根据“T”形标靶位姿标定原理解算出不同视角下测量单元相对世界坐标系统的关系，包括旋转矩阵R和平移矢量T。N个不同测量单元的旋转矩阵记作R1,R2…RN，平移矢量为T1,T2…TN。应注意的是，步骤S101、S102的测量平面相位靶标的步骤，和步骤S101、S102的测量“T”形靶标的步骤不需要限定先后顺序，即，既可以先测定平面靶标，也可以先测定“T”形靶标。
S105：将上述系统的内参数、外参数以及系统中各个摄像单元的位姿参数储存。对同一个三维照相系统的以上标定步骤仅需一次，此后的三维拍照阶段无需重复设置。
具体的，控制器应用如图2所示步骤进行三维成像：
S201：进行编码条纹投影，控制各个拍摄单元依次对被测物体进行拍摄；每个拍摄单元需进行K组拍摄，每组拍摄包含M幅图像，且每组M幅图像拍摄时，采用相同的投影图像条纹频率；每组拍摄包含的图像数量M称为投影条纹相移步数，其优选取值为3至10；K的取值优选为3以上自然数；如本实施例中，可设置M＝3，K＝3，则每个拍摄单元需进行3组拍摄，每组拍摄包含3幅图像，每组3幅图像拍摄时，采用相同的投影图像条纹频率；将第一组图像拍摄时的投影图像条纹频率称为投影图像条纹频率的初值，该初值通常取1，而在后续组别拍摄时，所述正弦条纹投影的条纹数量由公式
Figure BDA0001341365630000091
计算；其中，Ip为投影相位条纹图像，a＝0.5，b＝0.5，f为投影图像条纹频率，x为投影图像在列方向坐标，
Figure BDA0001341365630000092
称为相位，m＝0,1…M-1,本实施例中，M＝3时，
Figure BDA0001341365630000093
和
Figure BDA0001341365630000094
我们将第一组投影图像条纹频率称为f1，与此同时，将第二组投影图像条纹频率称为f2、将第二组投影图像条纹频率称为f3，由于f1的取值只能是1，也就是第一组拍摄时，其投影图像只能是1根条纹的图像；而f2可以是任意数，当存在第三组以上的拍摄图像时，f3＝f2×f2；同时，理所当然的，如果存在第四组、第五投影图像，则第四组的投影图像条纹数为f4＝f3×f2，f5＝f4*f2，即第H组图像的条纹数fH＝f(H-1)×f2；理论上f2可以是1以上任意自然数，但是考虑到通常M取值为3，因此，当f2取值较小时，如果取f2＝1,三组均为1、1、1则无意义；而如果f2＝2或3则第3组的频率f3＝4或9；从而导致第三组投影图像的条纹数过小，造成相位信息分辨率过低，最终计算所得三维面形重建精度太低，因此，优选方案中，f2的取值应该取5以上自然数，也就是最后一组投影条纹数太少了，影响测量的精度；理所当然的，也应该限制第三组投影图案条纹不能过大，比如投影仪分辨率为800×600，在列方向上有800个点，如果第2组频率f2＝100，则第三组f3＝10000，也就是说用800个点去表示10000个条纹同样失去相位信息。理论上，至少4个像素才能表征一根条纹的正弦信号，则800个点对应最多是200个条纹，也就是如果第二组用f2＝15，第三组为f3＝256都已经超过了最高条纹数。故一般第二组f2都控制在12以下；常用的三组投影条纹组合比如可以是1、9、81组合，1、8、64组合或者1、10、100组合。
S202：将每个拍摄单元拍摄的图像分组计算截断相位Φ(u,v)，计算公式为，
Figure BDA0001341365630000101
其中，Im(u,v)表示同组中第m幅图像(u,v)坐标处的像素值。
S203：对每个摄像单元来说，步骤S202中会计算出的3组截断相位，结合该3组截断相位Φ1，Φ2，Φ3，采用时间相位展开算法计算出各个测量单元中两个摄像装置的展开相位Ψ1和Ψ2。
S204：根据展开的相位信息，求解被测物体同名点在同一摄像单元中两个相机所拍摄图像的坐标pl(u,v)和pr(u,v),将其代入R-T共线方程，由最小二乘法求解同名点的三维世界坐标值P(X,Y,Z)，所述R-T共线方程为：
Figure BDA0001341365630000111
S205：控制各个拍摄单元拍摄一轮彩色图像用于三维纹理重建。
S206：根据计算机视觉三维点云融合法拼接完成被测物体表面的整体三维数据并完成数据点云精简和三角剖分，同时标记每个重建三维点对应的二维纹理像素值；为了获得单层被测物体表面三维点云数据，避免三维点云的重复覆盖导致下一步三角剖分的失败，通过计算机视觉中点云精简算法实现完整被测物体表面三维点云数据的重构，同时获得三维点对应多姿态下二维纹理图像的像素坐标。
S207：计算重建整体被测面形三角面片的法线；根据不同摄像单元拍摄的不同二维纹理像素点计算该点像素对三维纹理信息贡献权值λ。
如图7所示，以2个相机二维纹理图像到三维纹理重建的过程为例说明，对于物体上一点P在两个相机上成像坐标点为p1和p2。假设P点物体表面法线方向
Figure BDA0001341365630000112
为Pp1，与相机1所对应光轴方向Z相反；传统模式下，P点三维坐标对应彩色纹理坐标值是通过对p1和p2像素值求平均值获得。很明显，通过这种方式建立的三维模型及纹理数据在相机1对应角度上投影二维图像时其纹理像素值与直接在相机1的位置所拍摄像素值不同，包含了相机2的纹理耦合。故进行三维人脸识别时，传统方法所建立的三维人脸模型及三维纹理信息在不同角度投影二维纹理图像进行生物特征比对时，与对应实际当前角度所成图像不同。受多角度三维模型及纹理重建时像素值耦合有关；而理论上，最完美的三维纹理重建方式是采用单点像素对空间每个物面法线投影像素点信息组成。由于实际应用中考虑成本及工程问题，通常使用3个以上测量单元组成，本发明在此基础上，通过利用表面法线方向作为同名点不同图像成像纹理坐标计算的加权值，解决了普通相机面阵成像在三维人脸识别多姿态投影时产生的模型投影纹理之间同态纠缠问题。首先对人脸三维面形点云进行三角剖分，然后解算所有三角面片的法线；由被测物体实际坐标与成像坐标的连线
Figure BDA0001341365630000121
和相机光轴反方向
Figure BDA0001341365630000122
分别与法线
Figure BDA0001341365630000123
之间的夹角α和β计算，计算公式为：
Figure BDA0001341365630000124
S208：根据各个摄像单元拍摄的二维纹理像素，结合对应的该点三维纹理信息贡献权值λ，融合计算被测物体三维纹理像素值
Figure BDA0001341365630000125
其中，I为三维纹理像素值，Ii为该点对应的第i个测量单元拍摄二维纹理图像像素点的像素值；N表示该点出现在不同图像中的数量。
S209：分别对红绿蓝三个通道分别采用上述公式计算，并赋值给三维纹理图像的RGB值。完成不同姿态下真三维数据和三维纹理的融合和重建。
应注意的是，上文提到的技术方案在有无数个测量单元时，可以实现彻底的无耦合三维纹理信息获取，而基于成本考虑使用如本实施例所述的3个测量单元时，确切是说，是实现了低耦合的三维纹理信息获取。

Claims (10)

1.一种三维纹理照相系统，其特征在于，包括，
至少三个摄像单元，所述至少三个摄像单元在一同心圆弧上均匀间隔设置；所述摄像单元包括结构光投影装置及两个照相装置，所述两个照相装置分散设置在结构光投影装置的不同侧；
控制器，控制各个摄像单元拍摄，并根据三个摄像单元拍摄的图片计算得出被摄物体的三维面形数据和三维纹理彩色图像；其中，三维纹理像素值I的计算：
控制各个测量单元拍摄一轮彩色图像用于三维纹理重建；
根据计算机视觉三维点云融合法拼接完成被测物体表面的整体三维数据并完成数据点云精简和三角剖分，同时标记每个重建三维点对应的二维纹理像素值；
计算重建整体被测面形三角面片的法线
Figure FDA0002551115710000011
根据不同摄像单元拍摄的不同二维纹理像素点计算该点像素值对三维纹理信息贡献权值λ；
权值由被测物体表面实际坐标与成像坐标的连线
Figure FDA0002551115710000012
和相机光轴反方向
Figure FDA0002551115710000013
分别与法线
Figure FDA0002551115710000014
之间的夹角α和β计算，计算公式为：
Figure FDA0002551115710000015
根据各个摄像单元拍摄的二维纹理像素，结合对应的该点三维纹理信息贡献权值λ，融合计算被测物体三维纹理像素值
Figure FDA0002551115710000016
其中，I为三维纹理像素值，Ii为该点对应的第i个测量单元拍摄二维纹理图像像素点的像素值；N表示该点出现在不同图像中的数量。
2.如权利要求1所述的系统，其特征在于，所述两个照相装置不等距的设置在所述结构光投影装置两侧。
3.如权利要求1所述的系统，其特征在于，相邻两个摄像单元与圆心组成的角度小于60度。
4.一种应用如权利要求1至3任一项所述的三维纹理照相系统进行标定的方法，其特征在于，包括如下步骤：
(1-1)将平面相位靶标在各个摄像单元所处圆弧的圆心处，依次控制各个摄像单元拍摄平面相位靶标至少6个姿态图像；
(1-2)提取相位特征点，由平面标定法标定各个摄像单元的内参数和外参数；
(1-3)将“T”形靶标放置在各个摄像单元所处圆弧的圆心处，控制各个摄像单元从不同角度同时对其进行拍照；
(1-4)提取特征点，由“T”形靶标标定算法求得系统中各个摄像单元的位姿参数；
(1-5)将上述系统的内参数、外参数以及系统中各个摄像单元的位姿参数储存。
5.如权利要求4所述的方法，其特征在于，
所述内参数为各个照相装置宽度方向上焦距fu、高度方向上的焦距fv、照相装置主点坐标(u0,v0)；外参数为旋转矩阵R，以及，平移向量T。
6.一种应用如权利要求1至3任一项所述的三维纹理照相系统进行三维成像的方法，其特征在于，
(2-1)进行编码条纹投影，控制各个拍摄单元依次对被测物体进行拍摄；每个拍摄单元需进行K组拍摄，每组拍摄包含M幅图像，且每组M幅图像拍摄时，采用相同的投影图像条纹频率；M、K为3以上自然数；
(2-2)将每个拍摄单元拍摄的图像分组计算截断相位Φ(u,v)，计算公式为，
Figure FDA0002551115710000031
其中，Im(u,v)表示同组中第m幅图像(u,v)坐标处的像素值；
(2-3)对步骤(2-2)中计算出的K组截断相位，采用时间相位展开算法计算出各个测量单元中两个摄像装置的展开相位Ψ1和Ψ2；
(2-4)，根据展开的相位信息，求解被测物体同名点在同一摄像单元中两个相机所拍摄图像的坐标pl(u,v)和pr(u,v),将其代入R-T共线方程，由最小二乘法求解同名点的三维世界坐标值P(X,Y,Z)，所述R-T共线方程为：
Figure FDA0002551115710000032
其中，标定的内参数有图像宽度方向上焦距fu、高度方向上的焦距fv、照相装置主点坐标(u0,v0)；R和T分别是世界坐标系转换到摄像机坐标系的旋转矩阵和平移向量，(tx,ty,tz)为T的分量，R为3×3的正交矩阵，用(r1,…,r9)表示矩阵R的元素；
(2-5)进行所述的三维纹理像素值I的计算；
(2-6)对红绿蓝三个通道分别采用上述公式计算，并赋值给三维纹理图像的RGB值；完成不同姿态下三维数据和三维纹理的融合和重建。
7.如权利要求6所述的方法，其特征在于，不同组拍摄采用不同的正弦条纹投影；所述正弦条纹投影的条纹数量由公式
Figure FDA0002551115710000041
计算；
其中，Ip为投影相位条纹图像，a＝0.5，b＝0.5，f为投影图像条纹频率，x为投影图像在列方向坐标，
Figure FDA0002551115710000042
称为相位，m＝0,1…M-1。
8.如权利要求7所述的方法，其特征在于，每组拍摄包含的图像数量称为投影条纹相移步数M，其取值为3至10。
9.如权利要求8所述的方法，其特征在于，第一组图像拍摄时采用的投影图像条纹频率f1的取值为1；第二组图像拍摄采用的图像条纹频率f2范围为3以上，且12以下的自然数。
10.如权利要求9所述的方法，其特征在于，当存在第三组以上的拍摄时，第H组图像拍摄采用的图像条纹频率fH＝f(H-1)×f2；H为3以上自然数。
CN201710538892.4A 2017-07-04 2017-07-04 一种三维纹理照相系统、标定方法及成像方法 Active CN107346425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710538892.4A CN107346425B (zh) 2017-07-04 2017-07-04 一种三维纹理照相系统、标定方法及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710538892.4A CN107346425B (zh) 2017-07-04 2017-07-04 一种三维纹理照相系统、标定方法及成像方法

Publications (2)

Publication Number Publication Date
CN107346425A CN107346425A (zh) 2017-11-14
CN107346425B true CN107346425B (zh) 2020-09-29

Family

ID=60257674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710538892.4A Active CN107346425B (zh) 2017-07-04 2017-07-04 一种三维纹理照相系统、标定方法及成像方法

Country Status (1)

Country Link
CN (1) CN107346425B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945267B (zh) * 2017-12-13 2021-02-26 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN108182727B (zh) * 2018-01-12 2021-08-17 武汉科技大学 基于多视点几何一致性的相位展开方法
CN109360245B (zh) * 2018-10-26 2021-07-06 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
CN109540039B (zh) * 2018-12-28 2019-12-03 四川大学 一种基于循环互补格雷码的三维面形测量方法
CN109903376B (zh) * 2019-02-28 2022-08-09 四川川大智胜软件股份有限公司 一种人脸几何信息辅助的三维人脸建模方法及系统
CN111222407B (zh) * 2019-11-18 2022-07-01 太原科技大学 一种采用均匀切片和拐点特征提取的腭皱识别方法
CN111721236B (zh) * 2020-05-24 2022-10-25 奥比中光科技集团股份有限公司 一种三维测量系统、方法及计算机设备
CN112598719B (zh) * 2020-12-09 2024-04-09 上海芯翌智能科技有限公司 深度成像系统及其标定方法、深度成像方法、存储介质
CN113643436B (zh) * 2021-08-24 2024-04-05 凌云光技术股份有限公司 一种深度数据拼接融合方法及装置
CN114998407B (zh) * 2022-08-01 2022-11-08 湖南华城检测技术有限公司 基于傅里叶变换的数字图像三维纹理重建方法
CN115578500B (zh) * 2022-10-17 2023-04-28 广州唯墨间科技有限公司 一种基于三维摄影测量建模的混合式照明方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149836B (zh) * 2007-11-05 2010-05-19 中山大学 一种三维重构的双摄像机标定方法
EP2806404B1 (en) * 2013-05-23 2018-10-10 AIM Sport AG Image conversion for signage
US9986154B2 (en) * 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
CN104634323B (zh) * 2015-02-15 2016-10-12 四川川大智胜软件股份有限公司 一种多级摄像三维照相系统及方法
CN106500626A (zh) * 2015-09-08 2017-03-15 东南大学 一种手机立体成像方法及三维成像手机

Also Published As

Publication number Publication date
CN107346425A (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
CN107346425B (zh) 一种三维纹理照相系统、标定方法及成像方法
US11003897B2 (en) Three-dimensional real face modeling method and three-dimensional real face camera system
CN111750806B (zh) 一种多视角三维测量系统及方法
US10690492B2 (en) Structural light parameter calibration device and method based on front-coating plane mirror
WO2017008226A1 (zh) 一种三维人脸重建方法及系统
WO2016037486A1 (zh) 人体三维成像方法及系统
CN102445165B (zh) 基于单幅彩色编码光栅的立体视觉测量方法
CN106500596B (zh) 结构光全景测量系统的测量方法
CN109272570A (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
EP2870428A1 (en) 3-d scanning and positioning system
CN105403173B (zh) 一种光场偏折术测量系统标定镜及其应用方法
CN107995434A (zh) 图像获取方法、电子装置和计算机可读存储介质
CN109668509A (zh) 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法
CN104596444B (zh) 一种基于编码图案投影的三维照相系统及方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及系统
CN108627121B (zh) 一种镜面面形检测装置及其检测方法
CN109727277B (zh) 多目立体视觉的体表摆位跟踪方法
CN106447733A (zh) 颈椎活动度及活动轴线位置的确定方法、系统及装置
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
JP2017098859A (ja) 画像のキャリブレーション装置及びキャリブレーション方法
Li et al. A virtual binocular line-structured light measurement method based on a plane mirror
Zhou et al. Three-dimensional shape measurement using color random binary encoding pattern projection
Li et al. Accurate and efficient 3D reconstruction system for the human body with color texture based on DIC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant