CN104574350A - 三维数据撷取方法及其系统 - Google Patents

三维数据撷取方法及其系统 Download PDF

Info

Publication number
CN104574350A
CN104574350A CN201310750111.XA CN201310750111A CN104574350A CN 104574350 A CN104574350 A CN 104574350A CN 201310750111 A CN201310750111 A CN 201310750111A CN 104574350 A CN104574350 A CN 104574350A
Authority
CN
China
Prior art keywords
subject image
image
feature point
region
dimensional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310750111.XA
Other languages
English (en)
Other versions
CN104574350B (zh
Inventor
林宗翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN104574350A publication Critical patent/CN104574350A/zh
Application granted granted Critical
Publication of CN104574350B publication Critical patent/CN104574350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2522Projection by scanning of the object the position of the object changing and being recorded
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Abstract

一种三维数据撷取方法及撷取系统,适于撷取受测物体的三维数据,包括下列步骤。首先,将激光投射于受测物体的表面上的多个区域,以在每一所述区域分别产生多个特征点。接着,针对每一所述区域,同步自第一方向以及第二方向撷取受测物体与所述特征点,以产生对应于第一方向的第一物体图像以及对应于第二方向的第二物体图像,再将第一物体图像以及第二物体图像进行处理,以取得第一物体图像以及第二物体图像中所述特征点的二维坐标。之后,根据每一所述区域所对应的第一物体图像以及第二物体图像中所述特征点的二维坐标,获得受测物体的三维数据。

Description

三维数据撷取方法及其系统
技术领域
本发明是有关于一种数据撷取方法及其系统,且特别是有关于一种三维数据撷取方法及其系统。
背景技术
在计算机图学(computer graphics)的领域中,针对物体外观轮廓的几何量测技术在现今的应用上,举凡工业设计、逆向工程、医学图像处理、刑事鉴定、数字文物典藏、文物遗迹考古等均有三维取像与数据分析的需求。此外,近来由于三维扫描仪与三维打印机引发的制造革命,更显示三维几何数据撷取的重要性。
传统激光式的三维扫描仪设计大多包含可承载物体的旋转机构(rotatingmechanism)或移动机构(moving mechanism)等传动元件(transmissioncomponent),其利用位置的改变以撷取更大范围的物体的三维数据。此类的设计往往需要更高的制造成本以及额外的校正程序。另一方面,以投射结构光(structured light)等无需传动元件的测量法仅能达到固定的分辨率,无法针对局部或特定区域的特征进行更高分辨率的三维数据撷取。因此,如何以低成本的元件以及可调制的分辨率快速精确地撷取物体的三维数据已成为亟欲解决的问题之一。
发明内容
本发明提供一种三维数据撷取方法及其装置,其利用可调制的分辨率以快速精确地撷取一受测物体的三维数据。
本发明提出一种三维数据撷取方法,包括下列步骤。首先,将激光投射于受测物体的表面上的多个区域,以在每一所述区域分别产生多个特征点。接着,针对每一所述区域,同步自第一方向以及第二方向撷取受测物体与所述特征点,以产生对应于第一方向的第一物体图像以及对应于第二方向的第二物体图像,再将第一物体图像以及第二物体图像进行处理,以取得第一物体图像以及第二物体图像中所述特征点的二维坐标。之后,根据每一所述区域所对应的第一物体图像以及第二物体图像中所述特征点的二维坐标,获得受测物体的三维数据。
在本发明的一实施例中,在针对每一所述区域,将第一物体图像以及第二物体图像进行处理,以取得第一物体图像以及第二物体图像中所述特征点的二维坐标之前,上述三维数据撷取方法还包括下列步骤。自第一方向以及第二方向撷取校正物的图像,以产生对应于第一方向的第一校正图像以及对应于第二方向的第二校正图像。接着,将第一校正图像以及第二校正图像进行处理,以产生对应于第一校正图像的第一内部参数、第一外部参数、第一镜头变形参数以及对应于第二校正图像的第二内部参数、第二外部参数、第二镜头变形参数,其中第一外部参数与第二外部参数同时对应于一坐标系统。
在本发明的一实施例中,上述针对每一所述区域,将第一物体图像以及第二物体图像进行处理,以取得第一物体图像以及第二物体图像中所述特征点的二维坐标的步骤包括:针对每一所述区域,根据第一镜头变形参数以及第二镜头变形参数,分别将第一物体图像以及第二物体图像进行反扭曲运算,以产生第一修正物体图像以及第二修正物体图像;针对每一所述区域,取得多个第一特征点以及多个第二特征点的二维坐标,其中所述第一特征点为第一修正物体图像中的所述特征点,所述第二特征点为第二修正物体图像中的所述特征点;针对每一所述区域,根据每一所述第一特征点以及每一所述第一特征点所对应的第一极线,自第二修正物体图像中取得每一所述第一特征点的对应点的二维坐标,以及根据每一所述第二特征点以及每一所述第二特征点所对应的第二极线,自第一修正物体图像中取得每一所述第二特征点的对应点的二维坐标。
在本发明的一实施例中,上述根据每一所述区域所对应的第一物体图像以及第二物体图像中所述特征点的二维坐标,获得受测物体的三维数据的步骤包括:根据第一投影矩阵、第二投影矩阵、每一所述区域所对应的所述第一特征点的二维坐标、每一所述区域所对应的所述第一特征点的所述对应点的二维坐标、每一所述区域所对应的所述第二特征点的二维坐标、每一所述区域所对应的所述第二特征点的所述对应点的二维坐标,获得受测物体的三维数据,其中第一投影矩阵为第一内部参数与第一外部参数所组合而成的矩阵,第二投影矩阵为第二内部参数与第二外部参数所组合而成的矩阵。
在本发明的一实施例中,在根据每一所述区域所对应的第一物体图像以及第二物体图像中所述特征点的二维坐标,获得受测物体的三维数据之后,上述三维数据撷取方法还包括下列步骤:根据受测物体的三维数据,产生多个三角网格,据以建构受测物体的三维模型。
本发明提出一种三维数据撷取方法,包括投光装置、第一图像撷取装置、第二图像撷取装置以及图像处理装置。投光装置用以投射激光于受测物体的表面上的多个区域,以在每一所述区域分别产生多个特征点。针对每一所述区域,第一图像撷取装置以及第二图像撷取装置用以同步自第一方向以及第二方向撷取受测物体与所述特征点,以产生对应于第一方向的第一物体图像以及对应于第二方向的第二物体图像。针对每一所述区域,图像处理装置用以将第一物体图像以及第二物体图像进行处理,以取得第一物体图像以及第二物体图像中所述特征点的二维坐标,又根据每一所述区域所对应的第一物体图像以及第二物体图像中所述特征点的二维坐标,获得受测物体的三维数据。
在本发明的一实施例中,第一图像撷取装置以及第二图像撷取装置还撷取校正物的图像,以产生对应于第一方向的第一校正图像以及第二方向的第二校正图像。图像处理装置将第一校正图像以及第二校正图像进行处理,以产生对应于第一校正图像的第一内部参数、第一外部参数、第一镜头变形参数以及对应于第二内部参数、第二外部参数、第二镜头变形参数,其中第一外部参数与第二外部参数同时对应于一坐标系统。
在本发明的一实施例中,针对每一所述区域,图像处理装置根据第一镜头变形参数以及第二镜头变形参数,分别将第一物体图像以及第二物体图像进行反扭曲运算,以产生第一修正物体图像以及第二修正物体图像。针对每一所述区域,图像处理装置又取得多个第一特征点以及多个第二特征点的二维坐标,其中所述第一特征点为第一修正物体图像中的所述特征点,所述第二特征点为第二修正物体图像中的所述特征点。针对每一所述区域,图像处理装置再根据每一所述第一特征点以及每一所述第一特征点所对应的第一极线,自第二修正物体图像中取得每一所述第一特征点的对应点的二维坐标,以及根据每一所述第二特征点以及每一所述第二特征点所对应的第二极线,自第一修正物体图像中取得每一所述第二特征点的对应点的二维坐标。
在本发明的一实施例中,图像处理装置根据第一投影矩阵、第二投影矩阵、每一所述区域所对应的所述第一特征点的二维坐标、每一所述区域所对应的所述第一特征点的所述对应点的二维坐标、每一所述区域所对应的所述第二特征点的二维坐标、每一所述区域所对应的所述第二特征点的所述对应点的二维坐标,获得受测物体的三维数据,其中第一投影矩阵为第一内部参数与第一外部参数所组合而成的矩阵,第二投影矩阵为第二内部参数与第二外部参数所组合而成的矩阵。
在本发明的一实施例中,图像处理装置还根据受测物体的三维数据,产生多个三角网格,据以建构受测物体的三维模型。
基于上述,本发明的三维数据撷取方法及其装置可通过投光装置将激光投射于受测物体的多个区域,以在受测物体上产生多个特征点,同时通过两个图像撷取装置自不同方向同步撷取受测物体以及特征点的多组图像,并且通过图像处理装置来计算特征点在多组图像中的二维坐标,据以获得受测物体的三维数据。此外,本发明可依受测物体的轮廓复杂度来调整投光装置的移动速度、转动姿态以及反复扫描的次数,以调整水平方向以及垂直方向的扫描分辨率。此三维数据撷取方法及其装置不仅可在低成本的考虑下达到可调制分辨率的功效,还可实时对图像进行处理,以增强本发明在实际应用中的适用性。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1为根据本发明的一实施例所绘示的三维数据撷取系统的示意图。
图2为根据本发明的一实施例所绘示的三维数据撷取方法的流程图。
图3为根据本发明的一实施例所绘示的图像校正方法的流程图。
图4为根据本发明的一实施例所绘示的三维数据撷取方法的流程图。
图5A与图5B分别为同步所撷取的第一修正物体图像以及第二修正物体图像的局部放大示意图。
[标号说明]
100:三维数据撷取系统            110:投光装置
120A、120B:第一图像撷取装置、第二图像撷取装置
130:图像处理装置                A:受测物体
M:区域
S201~S207、S401~S415:三维数据撷取的流程
S301~S305:图像校正方法的流程
l'i:极线
xi、x'k:第一特征点、第一特征点xi的对应点
x'k、x'k+1:第二特征点
具体实施方式
图1为根据本发明的一实施例所绘示的三维数据撷取系统的示意图,但此仅是为了方便说明,并不用以限制本发明。首先图1先介绍三维数据撷取系统的所有构件以及配置关系,详细功能将配合图2一并揭露。
请参照图1,三维数据撷取系统100包括投光装置110、第一图像撷取装置120A、第二图像撷取装置120B以及图像处理装置130。在本范例实施例中,三维数据撷取系统100可针对受测物体A进行扫描,以获得受测物体A的三维数据。
在本实施例中,投光装置110为线光源(linear light source),其用以投射激光于受测物体A。当投光装置110投射例如是红色激光于受测物体A时,受测物体A的表面会产生直线状或曲线状的红色狭缝区域。此外,投光装置110可由使用者任意操作或是以运动机构(motion mechanism)带动,使得激光可投射于受测物体A的表面的任意位置。
在本实施例中,第一图像撷取装置120A以及第二图像撷取装置120B可以是采用电荷耦合元件(charge coupled device,CCD)镜头的照相机,并且两者皆有固定焦距,但本发明不限于此。在本实施例中,第一图像撷取装置120A以及第二图像撷取装置120B可以锁在一个固定的支架上,使得两者之间的相对位置固定。换句话说,第一图像撷取装置120A以及第二图像撷取装置120B的视角方向具有固定的夹角,在此将第一图像撷取装置120A以及第二图像撷取装置120B的视角方向分别定义为“第一方向”以及“第二方向”。第一图像撷取装置120A以及第二图像撷取装置120B用以同步且连续撷取受测物体A的图像。
在本实施例中,图像处理装置130可以为个人计算机、笔记本型计算机、智能型手机、平板计算机,本发明不以此为限。图像处理装置130包括存储器以及处理器。存储器用以储存第一图像撷取装置120A以及第二图像撷取装置120B所撷取的图像,而处理器用于处理存储器中所储存的图像。此外,图像处理装置130可利用有线传输或是无线传输的方式取得第一图像撷取装置120A以及第二图像撷取装置120B所撷取的图像。
图2为根据本发明的一实施例所绘示的三维数据撷取方法的流程图,而图2的三维数据撷取方法可以图1的三维数据撷取系统100的各元件实现。
请同时参照图1以及图2,首先,投光装置110投射激光于受测物体A的表面上的多个区域,以在每一所述区域分别产生多个特征点(步骤S201)。在本实施例中,受测物体A为表面具有不规则轮廓的人形石膏像,而所述区域即为投光装置110投射激光于受测物体A时,受测物体A的表面上所产生的直线状或曲线状的狭缝区域。以图1为例,当投光装置110投射红色激光于受测物体A时,受测物体A的表面上会产生红色的区域M。由于受测物体A的表面具有不规则轮廓,区域M上会形成多个亮点(未绘示),或多段曲线亮带,而所述亮点或亮带即为特征点。由于投光装置110可由使用者任意操作或是以运动机构带动,当投光装置110将激光投射于受测物体A的表面上的另一区域时,另一区域上亦会形成多个特征点。为了撷取受测物体A的完整三维数据,投光装置110将对受测物体A的表面上的所有区域投射激光,以产生多条曲线以及特征点。然而,为了方便说明,本实施例仅将针对区域M进行论述。
接着,针对每一区域,第一图像撷取装置120A以及第二图像撷取装置120B分别同步自第一方向以及第二方向撷取受测物体A与所述特征点,以分别产生第一物体图像以及第二物体图像(步骤S203)。举例而言,当受测物体A的表面上产生区域M时,第一图像撷取装置120A以及第二图像撷取装置120B即会同步自第一方向以及第二方向撷取受测物体A、区域M以及区域M上的特征点,而第一图像撷取装置120A以及第二图像撷取装置120B可产生出一组图像,即为第一物体图像以及第二物体图像。当受测物体A的表面产生另一区域时,第一图像撷取装置120A以及第二图像撷取装置120B亦会同步自第一方向以及第二方向撷取受测物体A、另一区域以及另一区域上的特征点,而产生另一组第一物体图像以及第二物体图像。以此类推,当投光装置110在步骤S201中投射激光于受测物体A的表面上的其它多个区域时,第一图像撷取装置120A以及第二图像撷取装置120B将会产生多组第一物体图像以及第二物体图像。
接着,针对每一所述区域,图像处理装置130将第一物体图像以及第二物体图像进行处理,以取得第一物体图像以及第二物体图像中所述特征点的二维坐标(步骤S205)。也就是说,图像处理装置130利用有线传输或是无线传输的方式取得每一区域的一组第一物体图像以及第二物体图像后,图像处理装置130会先将第一图像撷取装置120A以及第二图像撷取装置120B所造成的图像变形对各组第一物体图像以及第二物体图像进行校正。在校正的程序当中,第一图像撷取装置120A以及第二图像撷取装置120B将会产生多个校正参数。由于所述特征点为受测物体A的表面轮廓所形成的亮点,图像处理装置130可利用例如是亮度值来侦测各组第一物体图像以及第二物体图像中的特征点,以取得所有特征点的二维坐标。
之后,图像处理装置130将根据每一区域所对应的第一物体图像以及第二物体图像中各个特征点的二维坐标,获得受测物体A的三维数据(步骤S207)。在本实施例中,图像处理装置130可根据第一图像撷取装置120A以及第二图像撷取装置120B所产生的校正参数以及每一区域所对应的第一物体图像以及第二物体图像中各个特征点的二维坐标,以奇异值分解(singularvalue decomposition,SVD)的方式取得受测物体A的三维数据。
关于步骤S205中的校正参数与所有特征点的二维坐标的计算方式,以及步骤S207中利用所有特征点的二维坐标取得受测物体A的三维数据的计算方式,将在以下段落中做更进一步的说明。
图3为根据本发明的一实施例所绘示的图像校正方法的流程图。
请同时参照图1以及图3,首先,第一图像撷取装置120A以及第二图像撷取装置120B分别自第一方向以及第二方向撷取校正物的图像,以分别产生第一校正图像以及第二校正图像(步骤S301)。详言之,在本实施例中,三维数据撷取系统100将利用校正物来针对第一图像撷取装置120A以及第二图像撷取装置120B进行校正参数计算程序。在本实施例中,校正物为具有参考图案的平板,而此参考图案可以例如是棋盘格。第一图像撷取装置120A以及第二图像撷取装置120B撷取校正物的图像后,则会分别产生第一校正图像以及第二校正图像。
接着,图像处理装置130将对第一校正图像以及第二校正图像进行处理,以产生对应于第一校正图像的第一内部参数、第一外部参数、第一镜头变形参数以及对应于第二校正图像的第二内部参数、第二外部参数、第二镜头变形参数,其中第一外部参数与第二外部参数同时对应于一坐标系统(步骤S303)。此步骤的主要目的是取得第一图像撷取装置120A以及第二图像撷取装置120B对所撷取的图像产生变形的参数。在此,第一内部参数与第一外部参数可组合而成第一投影矩阵,而第二内部参数与第二外部参数可组合而成第二投影矩阵。
详言之,在此的第一镜头变形参数以及第二镜头变形参数则分别为第一图像撷取装置120A以及第二图像撷取装置120B中的镜头扭曲变形系数(distortion coefficients),其通常是由多项式表示,用于描述镜头所导致的桶状(barrel)或针状(pincushion)变形。另一方面,内部参数(intrinsic parameters)可用来描述相机坐标(camera coordinates)与图像坐标(image coordinates)之间的转换关系,也就是利用针孔(pinhole)成像原理将相机坐标投影到成像平面(projective plane),通常以3×3的矩阵表示。第一图像撷取装置120A以及第二图像撷取装置120B的外部参数(extrinsic parameters)则是用来描述三维世界坐标(world coordinate)与三维相机坐标之间的转换关系,其可以一个旋转与平移的3×4复合矩阵表示。第一投影矩阵与第二投影矩阵可分别以方程式(1.1)与方程式(1.2)表示:
P = [ p 1 T ; p 2 T ; p 3 T ]    方程式(1.1)
P ′ = [ p 1 ′ T ; p 2 ′ T ; p 3 ′ T ]    方程式(1.2)
接着,图像处理装置130针对每一所述区域,根据第一镜头变形参数以及第二镜头变形参数,分别将第一物体图像以及第二物体图像进行反扭曲运算(undistortion),以产生第一修正物体图像以及第二修正物体图像(步骤S305)。也就是说,图像处理装置130在利用第一镜头变形参数以及第二镜头变形参数分别将第一物体图像以及第二物体图像进行反扭曲运算后,所产生的第一修正物体图像以及第二修正物体图像可将图像修正回近似针孔投影的数学模型。
图4为根据本发明的一实施例所绘示的三维数据撷取方法的流程图。
请同时参照图1以及图4,投光装置110投射激光于受测物体A的表面上的多个区域,以在每一所述区域分别产生多个特征点(步骤S401),并且第一图像撷取装置120A以及第二图像撷取装置120B将分别同步且连续自第一方向以及第二方向撷取受测物体A与特征点,以产生多组第一物体图像以及第二物体图像(步骤S403)。也就是说,当投光装置110所投射的激光扫过受测物体A的表面的同时,第一图像撷取装置120A以及第二图像撷取装置120B将分别同步且连续撷取受测物体A与特征点。在此,所述区域的位置可任由使用者决定,并且投光装置110的移动速度以及转动姿态将影响第一物体图像以及第二物体图像的数量。举例来说,以第一图像撷取装置120A以及第二图像撷取装置120B固定的图像撷取频率而言,当投光装置110的移动速度越快,则第一图像撷取装置120A以及第二图像撷取装置120B在水平方向所撷取的第一物体图像以及第二物体图像的数量越少;当投光装置110的转动姿态越少,第一图像撷取装置120A以及第二图像撷取装置120B在垂直方向所撷取的第一物体图像以及第二物体图像的数量同样地越少。
接着,图像处理装置130将针对每一区域,根据第一镜头变形参数以及第二镜头变形参数,分别将第一物体图像以及第二物体图像进行反扭曲运算,以产生第一修正物体图像以及第二修正物体图像(步骤S405),使得第一物体图像以及第二物体图像可被修正为接近针孔投影状态。步骤S405请参照图3的相关说明,于此不再赘述。
之后,图像处理装置130自每一区域所对应的一组第一物体图像以及第二物体图像分别取得多个第一特征点以及多个第二特征点的二维坐标(步骤S407),其中第一特征点为第一修正物体图像中的特征点,第二特征点为第二修正物体图像中的特征点。以下仅针对单一组第一修正物体图像以及第二修正物体图像来进行说明。
图5A与图5B分别为同步所撷取的第一修正物体图像以及第二修正物体图像的局部放大图。图像处理装置130将采用一门坎值于第一修正物体图像以及第二修正物体图像中过滤每一条水平线上的最亮点。此最亮点的坐标在y方向(垂直方向)的数值为整数,在x方向(水平方向)的数值为浮点数。而图像处理装置130可参考例如是所有像素的亮度值的高斯分布(Gaussiandistribution),以在x方向逼近出最亮点的所在的子像素(sub-pixel)的坐标。图5A的空心圆圈点即为自第一修正物体图像所过滤出的亮点,也就是前述的第一特征点;图5B的空心圆圈点即为自第二修正物体图像所过滤出的亮点,也就是前述的第二特征点。
请再参照图4,在步骤S407之后,图像处理单元130将针对每一区域,根据第一特征点以及第一特征点所对应的第一极线,自第二修正物体图像中取得第一特征点的对应点的二维坐标,或是根据第二特征点以及第二特征点所对应的第二极线,自第一修正物体图像中取得第二特征点的对应点的二维坐标(步骤S409)。在此,将第一特征点以及第一特征点的对应点或是第二特征点以及第二特征点的对应点称为“对应组”。
详言之,根据计算机视觉理论,若三维空间内的某个空间点可同时被两个不同位置的相机所拍摄,则两部相机的中心、两部相机分别所拍摄到的一组对应点,以及前述的三维空间点可在空间上以极线几何(epipolar geometry)来描述,也就是存在一个基础矩阵(fundamental matrix)的转换关系。应用此概念,当受测物体A的表面上存在一个特征点X,而若特征点X同时被第一图像撷取装置120A以及第二图像撷取装置120B所撷取,并且经由图像处理装置130进行校正后,产生例如是图5A的第一修正物体图像以及图5B的第二修正物体图像。若特征点X投影于第一修正物体图像中形成第一特征点xi,则第一特征点xi与第一图像撷取装置120A的中心点的连线再与第二图像撷取装置120B的中心点所连成的平面,将会与第二修正物体图像产生交集(intersection)。
假设图5A中的第一特征点xi可以通过基础矩阵在图5B中形成一条极线l'i,此极线l'i即为前述的第一极线。极线l'i以及第二特征点x'k与第二特征点x'k+1的连线可以交集出一个点x'i,在此的点x'i即为第一特征点xi的对应点。换言之,第一特征点xi以及点x'i即为前述所定义的“对应组”。值得注意的是,第二特征点x'k以及第二特征点x'k+1需与极线l'i足够接近(例如距离小于1.414个像素),点x'i才将被视为有效的对应点。另一方面,由图5B上的第二特征点亦可在图5A中通过第二极线(未绘示)找到第二特征点的对应点。
图像处理装置130在同一组第一修正物体图像以及第二修正物体图像收集到所有对应组的二维坐标后,将对其它组的第一修正物体图像以及第二修正物体图像进行相同的步骤。接着,图像处理装置130根据第一投影矩阵、第二投影矩阵、每一所述区域所对应的所有对应组的二维坐标,获得受测物体A的三维数据(步骤S411)。以受测物体A的表面上的特征点X为例,若特征点X投影于第一修正物体图像中形成第一特征点x,在理想状态下将会满足方程式(2.1):
x×[PX]=0                     方程式(2.1)
同理,对于第一特征点x于第二修正物体图像中的对应点x',在理想状态下将会满足方程式(2.2):
x′×[P′X]=0                 方程式(2.2)
其中P与P'分别为方程式(1.1)的第一投影矩阵以及方程式(1.2)的第二投影矩阵,而第一特征点x以及第一特征点x的对应点x'可以表示为方程式(3.1)与方程式(3.2)的形式:
x=[x y 1]T                     方程式(3.1)
x'=[x' y' 1]T                  方程式(3.2)
因此,由于图像处理单元130已在先前的步骤中取得第一投影矩阵P、第二投影矩阵P'以及对应组x与x',并且可整理为方程式(4):
xp 3 T - p 1 T yp 3 T - p 2 T x ′ p ′ 3 T - p ′ 1 T y ′ p ′ 3 T - p ′ 1 T X = 0 0 0 0    方程式(4)
因此图像处理单元130可通过奇异值分解获得特征点X的三维数据。
值得注意的是,由于激光在受测物体A的表面产生多个特征点,接着通过上述演算方式将所述特征点的三维数据计算出来,使用者或是运动机构还可以通过反复挥动激光以在x方向产生更多的特征点,进而提升x方向的扫描分辨率(scan resolution);亦可以通过些微倾斜的激光线以在y方向产生更多的特征点,进而提升y方向的扫描分辨率。因此,使用者或是运动机构可根据受测物体的轮廓复杂程度而调整投光装置110的扫描分辨率。例如,受测物体A的外观包含了具有复杂外观的脸部以及简单几何外观基座,若投光装置110以较高的分辨率扫描基座,则会产生过多不必要的特征点,若以较低的分辨率扫描脸部外观,则可能因取样不足而无法表现出脸部的外观。
据此,在步骤S411之后,使用者或是运动机构可判断是否决定结束撷取受测物体A的三维数据(步骤S413)。举例而言,使用者可根据图像处理装置130已取得的受测物体A的三维数据的个数来判断是否足够建构受测物体A的三维模型。当使用者认为受测物体A的三维数据不足,三维数据撷取系统100将回到步骤S401,以重新对受测物体A进行更多的三维数据撷取。
当使用者认为受测物体的三维数据已足够,三维数据撷取系统100将停止对受测物体A进行三维数据撷取。此时,图像处理装置130将根据受测物体A的三维数据,产生多个三角网格(triangular mesh),据以建构受测物体A的三维模型(步骤S415)。由于现今计算机图学的领域中已存在多种三角网格化(triangulation)的演算方法,于此不再赘述。
综上所述,本发明的三维数据撷取方法及其装置可通过投光装置将激光投射于受测物体的多个区域,以在受测物体上产生多个特征点,同时通过两个图像撷取装置自不同方向同步撷取受测物体以及特征点的多组图像,并且通过图像处理装置来计算特征点在多组图像中的二维坐标,据以获得受测物体的三维数据。此外,本发明可依受测物体的轮廓复杂度来调整投光装置的移动速度、转动姿态以及反复扫描的次数,以调整水平方向以及垂直方向的扫描分辨率。此三维数据撷取方法及其装置不仅可在低成本的考虑下达到可调制分辨率的功效,更可实时对图像进行处理,以增强本发明在实际应用中的适用性。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (10)

1.一种三维数据撷取方法,其特征在于,用于撷取受测物体的三维数据,该三维数据撷取方法包括:
投射激光于该受测物体的表面上的多个区域,以在每一所述区域分别产生多个特征点;
针对每一所述区域,同步自第一方向以及第二方向撷取该受测物体与所述特征点,以产生对应于该第一方向的第一物体图像以及对应于该第二方向的第二物体图像;
针对每一所述区域,将该第一物体图像以及该第二物体图像进行处理,以取得该第一物体图像以及该第二物体图像中所述特征点的二维坐标;以及
根据每一所述区域所对应的该第一物体图像以及该第二物体图像中所述特征点的二维坐标,获得该受测物体的三维数据。
2.根据权利要求1所述的三维数据撷取方法,其特征在于,在针对每一所述区域,将该第一物体图像以及该第二物体图像进行处理,以取得该第一物体图像以及该第二物体图像中所述特征点的二维坐标的步骤之前,该三维数据撷取方法还包括:
自该第一方向以及该第二方向撷取校正物的图像,以产生对应于该第一方向的第一校正图像以及对应于该第二方向的第二校正图像;以及
将该第一校正图像以及该第二校正图像进行处理,以产生对应于该第一校正图像的第一内部参数、第一外部参数、第一镜头变形参数以及对应于该第二校正图像的第二内部参数、第二外部参数、第二镜头变形参数,其中该第一外部参数与该第二外部参数同时对应于坐标系统。
3.根据权利要求2所述的三维数据撷取方法,其特征在于,针对每一所述区域,将该第一物体图像以及该第二物体图像进行处理,以取得该第一物体图像以及该第二物体图像中所述特征点的二维坐标的步骤包括:
针对每一所述区域,根据该第一镜头变形参数以及该第二镜头变形参数,分别将该第一物体图像以及该第二物体图像进行反扭曲运算,以产生第一修正物体图像以及第二修正物体图像;
针对每一所述区域,取得多个第一特征点以及多个第二特征点的二维坐标,其中所述第一特征点为该第一修正物体图像中的所述特征点,所述第二特征点为该第二修正物体图像中的所述特征点;以及
针对每一所述区域,根据每一所述第一特征点以及每一所述第一特征点所对应的第一极线,自该第二修正物体图像中取得每一所述第一特征点的对应点的二维坐标,以及根据每一所述第二特征点以及每一所述第二特征点所对应的第二极线,自该第一修正物体图像中取得每一所述第二特征点的对应点的二维坐标。
4.根据权利要求3所述的三维数据撷取方法,其特征在于,根据每一所述区域所对应的该第一物体图像以及该第二物体图像中所述特征点的二维坐标,获得该受测物体的三维数据的步骤包括:
根据该第一投影矩阵、该第二投影矩阵、每一所述区域所对应的所述第一特征点的二维坐标、每一所述区域所对应的所述第一特征点的所述对应点的二维坐标、每一所述区域所对应的所述第二特征点的二维坐标、每一所述区域所对应的所述第二特征点的所述对应点的二维坐标,获得该受测物体的三维数据,其中该第一投影矩阵为该第一内部参数与该第一外部参数所组合而成的矩阵,该第二投影矩阵为该第二内部参数与该第二外部参数所组合而成的矩阵。
5.根据权利要求1所述的三维数据撷取方法,其特征在于,在根据每一所述区域所对应的该第一物体图像以及该第二物体图像中所述特征点的二维坐标,获得该受测物体的三维数据的步骤之后,该三维数据撷取方法还包括:
根据该受测物体的三维数据,产生多个三角网格,据以建构该受测物体的三维模型。
6.一种三维数据撷取系统,其特征在于,用于撷取受测物体的三维数据,该三维数据撷取系统包括:
投光装置,投射激光于该受测物体的表面上的多个区域,以在每一所述区域分别产生多个特征点;
第一图像撷取装置以及第二图像撷取装置,针对每一所述区域,同步自第一方向以及第二方向撷取该受测物体与所述特征点,以产生对应于该第一方向的第一物体图像以及对应于该第二方向的第二物体图像;
图像处理装置,针对每一所述区域,将该第一物体图像以及该第二物体图像进行处理,以取得该第一物体图像以及该第二物体图像中所述特征点的二维坐标,又根据每一所述区域所对应的该第一物体图像以及该第二物体图像中所述特征点的二维坐标,获得该受测物体的三维数据。
7.根据权利要求6所述的三维数据撷取系统,其特征在于,该第一图像撷取装置以及该第二图像撷取装置还撷取校正物的图像,以产生对应于该第一方向的第一校正图像以及对应于该第二方向的第二校正图像,并且该图像处理装置将该第一校正图像以及该第二校正图像进行处理,以产生对应于该第一校正图像的第一内部参数、第一外部参数、第一镜头变形参数以及对应于该第二校正图像的第二内部参数、第二外部参数、第二镜头变形参数,其中该第一外部参数与该第二外部参数同时对应于坐标系统。
8.根据权利要求7所述的三维数据撷取系统,其特征在于,
该图像处理装置针对每一所述区域,根据该第一镜头变形参数以及该第二镜头变形参数,分别将该第一物体图像以及该第二物体图像进行反扭曲运算,以产生第一修正物体图像以及第二修正物体图像,
该图像处理装置又针对每一所述区域,取得多个第一特征点以及多个第二特征点的二维坐标,其中所述第一特征点为该第一修正物体图像中的所述特征点,所述第二特征点为该第二修正物体图像中的所述特征点,以及
该图像处理装置再针对每一所述区域,根据每一所述第一特征点以及每一所述第一特征点所对应的第一极线,自该第二修正物体图像中取得每一所述第一特征点的对应点的二维坐标,以及根据每一所述第二特征点以及每一所述第二特征点所对应的第二极线,自该第一修正物体图像中取得每一所述第二特征点的对应点的二维坐标。
9.根据权利要求8所述的三维数据撷取系统,其特征在于,该图像处理装置根据该第一投影矩阵、该第二投影矩阵、每一所述区域所对应的所述第一特征点的二维坐标、每一所述区域所对应的所述第一特征点的所述对应点的二维坐标、每一所述区域所对应的所述第二特征点的二维坐标、每一所述区域所对应的所述第二特征点的所述对应点的二维坐标,获得该受测物体的三维数据,其中该第一投影矩阵为该第一内部参数与该第一外部参数所组合而成的矩阵,该第二投影矩阵为该第二内部参数与该第二外部参数所组合而成的矩阵。
10.根据权利要求6所述的三维数据撷取系统,其特征在于,该图像处理装置还根据该受测物体的三维数据,产生多个三角网格,据以建构该受测物体的三维模型。
CN201310750111.XA 2013-10-21 2013-12-31 三维数据撷取方法及其系统 Active CN104574350B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102137943 2013-10-21
TW102137943A TWI486551B (zh) 2013-10-21 2013-10-21 三維資料擷取方法及其系統

Publications (2)

Publication Number Publication Date
CN104574350A true CN104574350A (zh) 2015-04-29
CN104574350B CN104574350B (zh) 2018-09-14

Family

ID=52825835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310750111.XA Active CN104574350B (zh) 2013-10-21 2013-12-31 三维数据撷取方法及其系统

Country Status (3)

Country Link
US (1) US9886759B2 (zh)
CN (1) CN104574350B (zh)
TW (1) TWI486551B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651826A (zh) * 2015-10-30 2017-05-10 财团法人工业技术研究院 物体的扫描方法
CN107610179A (zh) * 2017-09-04 2018-01-19 苏州佳世达电通有限公司 一种影像撷取装置的校正方法
CN107920191A (zh) * 2017-11-24 2018-04-17 广州腾德同普光电科技有限公司 物证痕迹获取设备
CN108692661A (zh) * 2018-05-08 2018-10-23 深圳大学 基于惯性测量单元的便携式三维测量系统及其测量方法
CN109982055A (zh) * 2017-12-27 2019-07-05 欧姆龙株式会社 图像处理系统、控制装置、图像处理方法及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105466397B (zh) * 2015-12-22 2018-09-25 广东工业大学 多尺度双轴旋转激光影像三维重构系统及其方法
CN105979117B (zh) * 2016-04-28 2018-11-27 大连成者科技有限公司 基于激光线的弯曲书页图像展平方法
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
TWI616715B (zh) * 2016-06-24 2018-03-01 聚晶半導體股份有限公司 多鏡頭模組的調校方法及其系統
US10884127B2 (en) * 2016-08-02 2021-01-05 Samsung Electronics Co., Ltd. System and method for stereo triangulation
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
EP3392834B1 (en) 2017-04-17 2019-12-25 HTC Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
US10706530B2 (en) 2017-09-11 2020-07-07 International Business Machines Corporation Object detection
EP3486606A1 (de) * 2017-11-20 2019-05-22 Leica Geosystems AG Stereokamera und stereophotogrammetrisches verfahren
JP2021515250A (ja) * 2018-04-30 2021-06-17 パス ロボティクス,インコーポレイテッド 反射反証レーザースキャナ
CN109141387A (zh) * 2018-09-04 2019-01-04 信利光电股份有限公司 一种3d绘测装置
TWI712002B (zh) * 2018-11-27 2020-12-01 國立交通大學 三維人臉重建方法
US10964015B2 (en) 2019-01-15 2021-03-30 International Business Machines Corporation Product defect detection
JP7121936B2 (ja) * 2019-02-28 2022-08-19 日本電気株式会社 カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975324A (zh) * 2006-12-20 2007-06-06 北京航空航天大学 一种双传感器激光视觉三维测量系统校准方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266146A (ja) 1992-03-19 1993-10-15 Matsushita Electric Ind Co Ltd 物体形状の表現装置
US6028672A (en) 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US6208347B1 (en) * 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
KR100233621B1 (ko) 1997-10-24 1999-12-01 조성욱 광학창을 이용한 비접촉식 3차원 미소형상 측정방법
US6366357B1 (en) * 1998-03-05 2002-04-02 General Scanning, Inc. Method and system for high speed measuring of microscopic targets
CA2267519A1 (en) * 1999-04-13 2000-10-13 Inspeck Inc. Optical full human body 3d digitizer
US6415051B1 (en) * 1999-06-24 2002-07-02 Geometrix, Inc. Generating 3-D models using a manually operated structured light source
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US6556706B1 (en) 2000-01-28 2003-04-29 Z. Jason Geng Three-dimensional surface profile imaging method and apparatus using single spectral light condition
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
US20050068523A1 (en) * 2003-08-11 2005-03-31 Multi-Dimension Technology, Llc Calibration block and method for 3D scanner
EP1664919A2 (en) * 2003-09-08 2006-06-07 Laser Projection Technologies, Inc. 3d projection with image recording
US8050491B2 (en) * 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
JP4447970B2 (ja) 2004-06-14 2010-04-07 キヤノン株式会社 物体情報生成装置および撮像装置
US7375826B1 (en) * 2004-09-23 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) High speed three-dimensional laser scanner with real time processing
US8243123B1 (en) * 2005-02-02 2012-08-14 Geshwind David M Three-dimensional camera adjunct
US20070065002A1 (en) * 2005-02-18 2007-03-22 Laurence Marzell Adaptive 3D image modelling system and apparatus and method therefor
EP2278271B1 (en) * 2005-03-11 2012-05-23 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US20090167843A1 (en) * 2006-06-08 2009-07-02 Izzat Hekmat Izzat Two pass approach to three dimensional Reconstruction
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
EP2217877A1 (en) 2007-11-23 2010-08-18 Numeq Inc. Three-dimensional surface measuring scanner
CA2731680C (en) * 2008-08-06 2016-12-13 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
US8760510B2 (en) * 2008-11-26 2014-06-24 Robert T. Aloe Apparatus and methods for three-dimensional imaging using a static light screen
CN101572787B (zh) 2009-01-04 2010-08-04 四川川大智胜软件股份有限公司 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法
US8823775B2 (en) * 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
WO2011127375A1 (en) * 2010-04-09 2011-10-13 Pochiraju Kishore V Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning
WO2011156810A2 (en) * 2010-06-11 2011-12-15 The Florida International University Board Of Trustees Second generation hand-held optical imager
TWI463244B (zh) * 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
TW201312080A (zh) 2011-09-09 2013-03-16 Jung-Tang Huang 非接觸式測量實物長度的方法
US9155675B2 (en) * 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
US20130215132A1 (en) * 2012-02-22 2013-08-22 Ming Fong System for reproducing virtual objects
US9196089B2 (en) * 2012-05-17 2015-11-24 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being
DE112013004489T5 (de) * 2012-09-14 2015-05-28 Faro Technologies, Inc. Laserscanner mit Dynamischer Einstellung der Winkel-Abtastgeschwindigkeit
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975324A (zh) * 2006-12-20 2007-06-06 北京航空航天大学 一种双传感器激光视觉三维测量系统校准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATTHEW J. LEOTTA 等: "3D Slit Scanning with Planar Constraints", 《COMPUTER GRAPHICS FORUM》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651826A (zh) * 2015-10-30 2017-05-10 财团法人工业技术研究院 物体的扫描方法
CN107610179A (zh) * 2017-09-04 2018-01-19 苏州佳世达电通有限公司 一种影像撷取装置的校正方法
CN107610179B (zh) * 2017-09-04 2021-01-05 苏州佳世达电通有限公司 一种影像撷取装置的校正方法
CN107920191A (zh) * 2017-11-24 2018-04-17 广州腾德同普光电科技有限公司 物证痕迹获取设备
CN107920191B (zh) * 2017-11-24 2019-08-23 广东腾德同普科技股份有限公司 物证痕迹获取设备
CN109982055A (zh) * 2017-12-27 2019-07-05 欧姆龙株式会社 图像处理系统、控制装置、图像处理方法及存储介质
CN108692661A (zh) * 2018-05-08 2018-10-23 深圳大学 基于惯性测量单元的便携式三维测量系统及其测量方法

Also Published As

Publication number Publication date
US20150109418A1 (en) 2015-04-23
TWI486551B (zh) 2015-06-01
CN104574350B (zh) 2018-09-14
TW201516375A (zh) 2015-05-01
US9886759B2 (en) 2018-02-06

Similar Documents

Publication Publication Date Title
CN104574350A (zh) 三维数据撷取方法及其系统
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
CN111095923B (zh) 校准装置、校准系统和校准方法
CN106796661B (zh) 投影光图案的系统、方法和计算机程序产品
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN102129680B (zh) 实时几何形状感知投影和快速重校准
CN104335005B (zh) 3d扫描以及定位系统
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
US20150302648A1 (en) Systems and methods for mapping an environment using structured light
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
US11398085B2 (en) Systems, methods, and media for directly recovering planar surfaces in a scene using structured light
CN104168467A (zh) 运用时间序列结构光技术实现投影显示几何校正的方法
CN104976968A (zh) 一种基于led标签跟踪的三维几何测量方法及系统
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建系统
CN110942506A (zh) 一种物体表面纹理重建方法、终端设备及系统
US20220358679A1 (en) Parameter Calibration Method and Apparatus
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
CN108062790B (zh) 应用于物体三维重建的三维坐标系建立方法
CN108895979A (zh) 线段编码的结构光深度获取方法
CN102314682B (zh) 一种标定摄像头的方法、装置和系统
Gomes et al. Exploring RGB-D cameras for 3D reconstruction of cultural heritage: A new approach applied to Brazilian baroque sculptures
Hongsheng et al. Three-dimensional reconstruction of complex spatial surface based on line structured light
CN107449403B (zh) 一种时-空四维联合成像模型及应用

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant