CN102760234B

CN102760234B - 深度图像采集装置、系统及其方法

Info

Publication number: CN102760234B
Application number: CN201210104784.3A
Authority: CN
Inventors: 陈加珍; 罗文秀; 刘通发; 黎育腾; 曲昌盛; 钟双兆
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2011-04-14
Filing date: 2012-04-06
Publication date: 2014-08-20
Anticipated expiration: 2032-04-06
Also published as: US9030529B2; CN102760234A; US20120262553A1

Abstract

一种深度图像采集装置，包括至少一投光装置与至少一图像传感装置。其中投光装置用以投射投影图案到被测物上。图像传感装置则用以传感真实图像。另外，投光装置也可以作为虚拟图像传感装置。深度图像采集装置可以利用两真实图像与虚拟图像的三组双图像匹配比对，以产生像差图像，并且依据像差图像，产生深度图像。另外，深度图像采集装置也可以只利用两真实图像之间或者真实-虚拟的比对，来产生深度图像，而不需要验证程序。

Description

深度图像采集装置、系统及其方法

技术领域

本发明是有关于一种深度图像采集装置、系统及其方法。

背景技术

传统图像传感器发展相当成熟，但仅能取得二维图像信息，因此如何有效、即时且稳定的取得其第三维(即深度)的信息一直是技术发展上的课题。由于深度图像提供更完整的空间图像信息，因此可以用来设计作为3D游戏、互动浏览装置操作介面。其次，在安全图像监控、机器人视觉及医疗图像应用上也有相当的发展潜力。2010年底，微软正式发表新世代体感游戏装置Kinect，采用人体动作为游戏的互动媒介，其中就是以深度传感器为主要核心元件，预料未来一年内，手势与人体互动介面相关技术与应用将掀起一波热潮。

过去被动式图像比对方法，虽然也能够计算深度图像，但因为过于仰赖图像本身的特征信息，因此非常容易受到图像色彩、亮度变化的影响，如果图像特征不明显(例如，同一色系的区块或白色的墙面)，或者环境亮度发生变化(例如，过暗或过亮)，往往造成比对结果不佳，稳定性因此大打折扣。另外一深度传感技术是所谓的TOF(Time of Flight)技术，但目前解析度(160x120～320x240)不足，反应速率受到限制。

有文献公开图像匹配(image matching)的方法。其公开了利用立体视觉(stereo vision)所取得的双图像(dual-image)来直接进行平方差和SSD(sum-of-square-differences)的比对运算，并用GPU加速。此外，另有采用主动式光源，投射色码(color code)制造图像特征，然后以金字塔演算法(pyramidalgorithm)进行比对加速运算。

再者，有文献公开了一种采用投射一组多张结构光源(graycode pattern)，并利用两台相机采集一序列立体双图像组(stereo image pairs)来解码其空间位置。

此外，文献提出投射主斑点图纹，再建立多个不同距离下取得的参考图像，将量测图像与参考图案进行图像相关性计算，得出被测物的距离。其采取一投光装置组与一取像装组。

另有文献公开了只建立1张参考图像，将所取得被测物图像与该参考图像进行相关性计算，依对应相关性最高区域的位置偏移量而得到深度值。

一文献公开了一个获取三维场景图像的系统和方法。该系统包括一个投影装置投射区域性独特图案(locally unique pattem)到一个场景，多个传感器由两个或更多的观测点取得场景的图像。进行图像的相应像素匹配计算，建立出深度图。

一文献公开了一产生深度信息的装置，其包括一台投影机及左右两台摄影机。投影机投射出预定的结构光图案至被测物，左右摄影机各取得一结构光图像，经由结构光解码计算决定两图像与投出图案三者对应点而得深度信息。当结构光图案无法应用在图像时由左右图像进行立体匹配(stereo matching)，计算出深度信息。

发明内容

依据一实施范例，提出一种深度图像采集装置，包括至少一投光装置、第一与一第二图像传感装置以及图像处理单元。该投光装置用以投射投影图案到被测物上，其中投光装置做为虚拟图像传感装置，以该投影图案的本源图像做为虚拟图像。第一与第二图像传感装置分别传感投影到被测物上的投影图案，以产生第一真实图像与第二真实图像。该图像处理单元耦接至该投光装置以及该第一与第二图像传感装置。该图像处理单元将该第一真实图像的像素与第二真实图像的像素进行匹配比对，以获得第一匹配图像；将第一真实图像的像素与该虚拟图像的像素进行匹配比对，以获得第二匹配图像。利用该第一与第二匹配图像进行匹配验证，输出一验证后的匹配图像，其中该验证后的匹配图像的像素为该第一与第二匹配图像的像素的其中之一。依据第一真实图像的各像素与该验证后的匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生深度图像。

该投光装置更包括：光源，用以发出投光光束；以及投影图案产生元件，配置于该光源的光路上，由该光源照射而产生该投影图案。

该投光装置更包括：透镜组，配置于该投影图案产生元件的光路上，将该光源通过该投影图案产生元件产生的该投影图案，投影到该被测物上。

该透镜组更包含一片或以上的透镜。

该投影图案产生元件为衍射光学元件。

该衍射光学元件包括计算机生成的全息图或光栅与相位式衍射元件。

该投影图案产生元件为光罩。

该光罩为铬金属薄膜的石英玻璃片、网点印刷板与金属板的其中之一。

该光源为红外线激光、发光二极管、紫外光与可见光的其中之一。

更包括第一与第二光学滤镜，分别配置在该第一与该第二图像传感装置前。

该投影图案为预先设计或随机产生。

该投影图案为随机分布的散乱光点图案。

更包括控制器，耦接到该投光装置、该第一与该第二图像传感装置，以脉波驱动方式来驱动该光源。

依据另一实施范例，提出一种深度图像的采集装置，包括第一与第二投光装置、图像传感装置以及图像处理单元。该第一与第二投光装置分别用以投射投影图案到被测物上，其中第一与第二投光装置做为第一与第二虚拟图像传感装置，以投影图案的本源图像做为第一与第二虚拟图像传感装置所成像的第一与第二虚拟图像。该图像传感装置传感投影到该被测物上的投影图案，以产生真实图像。该图像处理单元耦接至该第一与第二投光装置以及该图像传感装置。该图像处理单元将该真实图像的像素与第一虚拟图像的像素进行匹配比对，以获得一第一匹配图像；将该真实图像的像素与第二虚拟图像的像素进行匹配比对，以获得第二匹配图像。利用该第一与第二匹配图像进行匹配验证，输出一验证后的匹配图像，其中该验证后的匹配图像的像素为该第一与第二匹配图像的像素的其中之一。依据该真实图像的各像素与该验证后的匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生深度图像。

该第一与该第二投光装置分别更包括：光源，用以发出投光光束；以及投影图案产生元件，配置于该光源的光路上，由该光源照射而产生该投影图案。

该第一与该第二投光装置分别更包括：透镜组，配置于该投影图案产生元件的光路上，将该光源通过该投影图案产生元件产生的该投影图案，投影到该被测物上。

该透镜组包含一片或以上的透镜。

该投影图案产生元件为衍射光学元件。

该投影图案产生元件为光罩。

配置在该图像传感装置前。

该投影图案为预先设计或随机产生。

该投影图案为随机分布的散乱光点图案。

该第一与该第二投光装置的各该光源以时间分割或频谱分割的方式来控制。

依据另一实施范例，提出一种深度图像采集方法，对被测物采集深度图像，用于具有投光装置、第一与第二图像传感装置的深度图像采集装置。根据此方法，投光装置将投影图案投影到被测物，第一与第二图像传感装置传感投影到被测物上的投影图案，以产生第一真实图像与第二真实图像。该投光装置做为虚拟图像传感装置，将投影图案的本源图像转换为虚拟图像。接着，将该第一真实图像的像素与该第二真实图像的像素进行匹配比对，以获得第一匹配图像；将该第一真实图像的像素与该虚拟图像的像素进行匹配比对，以获得一第二匹配图像。利用该第一与第二匹配像素进行匹配验证，输出一验证后的匹配图像，其中该验证后的匹配图像的像素为该第一与第二匹配图像的像素的其中之一。依据该第一真实图像的各像素与该验证后的匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生深度图像。

更包括：将该第一真实图像与该第二真实图像分别进行反扭曲修正；将该反扭曲修正的该第一真实图像与该第二真实图像分别进行图像重整；以及将该图像重整后的该第一真实图像与该第二真实图像进行匹配比对，以获得该第二匹配结果。

更包括：将该第一真实图像进行高通滤波处理，并将该本源图像进行低通滤波，以产生该虚拟图像；将该高通滤波处理后的该第一真实图像进行反扭曲修正；将该反扭曲修正后的该第一真实图像以及该虚拟图像分别进行图像重整；以及将该图像重整后的该第一真实图像与该虚拟图像进行匹配比对，以获得该第一匹配结果。

输出各该匹配图像更包括：判断该第一与该第二匹配图像的像素是否均为适当匹配；若该第一与该第二匹配图像的像素只有其中之一为适当匹配，输出适当匹配的该第一或该第二匹配图像的像素的匹配结果，若该第一与该第二匹配图像的像素均非适当匹配，输出无适当匹配的匹配结果；若该第一或该第二匹配图像的像素均为适当匹配，则验证该第一与该第二匹配图像的像素是否符合一致；若该第一与该第二匹配图像的像素为一致，则输出该第一与该第二匹配图像的像素任一个的匹配结果，若不一致，则输出无适当匹配的匹配结果。

判断该第一与该第二匹配图像的像素是否均为适当匹配是利用第一与该第二匹配图像的像素的匹配成本函数。

验证该第一与该第二匹配图像的像素是否符合一致是依据相机成像原则。

当该第一与该第二匹配图像的像素为一致时更包括：在该虚拟图像上取得与该第一匹配图像的像素相匹配的一第三匹配图像；判断该第三匹配图像的像素是否为适当匹配；当该第三匹配图像的像素不是适当匹配，则输出该第一或该第二匹配图像的像素任一个的匹配结果；当该第三匹配图像的像素为适当匹配，则在该第二真实图像上取得与该第二匹配图像的像素相匹配的一第四匹配图像的像素；判断该第四匹配图像的像素是否为适当匹配，并且输出该第一或该第二匹配图像的像素任一个的匹配结果，其中该第四匹配图像的像素为适当匹配时的匹配结果精度大于该第四匹配图像的像素不是适当匹配时的匹配结果精度。

该像差图像是利用三角测距法产生。

依据另一实施范例，提出一种深度图像采集方法，对被测物采集深度图像，用于具有第一与第二投光装置以及图像传感装置的深度图像采集装置。依据此方法，该第一与第二投光装置将投影图案投影到被测物，该图像传感装置传感投影到被测物上的投影图案，以产生真实图像，其中该第一与第二投光装置做为第一与第二虚拟图像传感装置，将投影图案的本源图像转换为第一与第二虚拟图像。将该真实图像的像素与该第一虚拟图像的像素进行匹配比对，以获得第一匹配图像；将该真实图像的像素与该第二虚拟图像的像素进行匹配比对，以获得一第二匹配图像。利用该第一与第二匹配图像进行匹配验证，输出一验证后的匹配图像，其中该验证后的匹配图像的像素为该第一与第二匹配图像像素的其中之一。依据该真实图像的各像素与该验证后的匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生深度图像。

更包括：将该真实图像进行高通滤波处理，并将该本源图像进行低通滤波，以产生该第一与该第二虚拟图像；将该高通滤波处理后的该真实图像进行反扭曲修正；将该反扭曲修正后的该真实图像以及该第一与该第二虚拟图像分别进行图像重整；以及将该图像重整后的该真实图像与该第一、该第二虚拟图像进行匹配比对，以分别获得该第一匹配图像与该第二匹配图像。

输出各该匹配图像更包括：判断该第一与该第二匹配图像的像素是否均为适当匹配；若该第一与该第二匹配图像的像素只有其中的一为适当匹配，输出适当匹配的该第一或该第二匹配图像的像素的匹配结果，若该第一与该第二匹配图像的像素均非适当匹配，输出无适当匹配的匹配结果；若该第一或该第二匹配图像的像素均为适当匹配，则验证该第一与该第二匹配图像的像素是否符合一致；若该第一与该第二匹配图像的像素为一致，则输出该第一与该第二匹配图像的像素的任一个的匹配结果，若不一致，则输出无适当匹配的匹配结果。

该像差图像是利用三角测距法产生。

依据另一实施范例，提出一种深度图像采集装置，包括投光装置、图像传感装置与图像处理单元。投光装置用以投射投影图案到被测物上，其中该投光装置做为虚拟图像传感装置，以该投影图案的本源图像做为虚拟图像。图像传感装置传感投影到该被测物上的该投影图案，以产生真实图像。图像处理单元耦接至该投光装置以及该图像传感装置。该图像处理单元将该真实图像的各像素与该虚拟图像的各像素进行匹配比对，以获得一匹配图像。依据该真实图像的各该像素与该匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的一深度值，产生一深度图像。

该投光装置更包括：光源，用以发出投光光束；以及投影图案产生元件，配置于该光源的光路上，由该光源照射而产生该投影图案；

该透镜组包含一片或以上的透镜

该投影图案产生元件为衍射光学元件。

该投影图案产生元件为光罩。

更包括一光学滤镜，配置在该图像传感装置前。

该投影图案为预先设计或随机产生。

该投影图案为随机分布的散乱光点图案。

更包括控制器，耦接到该投光装置与该图像传感装置，以脉波驱动方式来驱动该光源。

依据另一实施范例，提出一种深度图像采集装置，包括至少一投光装置、第一与第二图像传感装置以及图像处理单元。投光装置用以投射一投影图案到一被测物上。第一与第二图像传感装置分别传感投影到该被测物上的该投影图案，以产生一第一真实图像与一第二真实图像。图像处理单元耦接至该投光装置以及该第一与该第二图像传感装置。该图像处理单元将该第一真实图像的各像素与该第二真实图像的各像素分别进行匹配比对，以获得一匹配图像。依据该第一真实图像各该像素与该匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的一深度值，产生一深度图像。

该透镜组包含一片或以上的透镜。

该投影图案产生元件为衍射光学元件。

该投影图案产生元件为光罩。

更包括光学滤镜，配置在该图像传感装置前。

该投影图案为预先设计或随机产生。

该投影图案为随机分布的散乱光点图案。

更包括控制器，耦接到该投光装置以及该第一与该第二图像传感装置，以脉波驱动方式来驱动该光源。

依据另一实施范例，提出一种深度图像采集系统，用以取得被测物的深度图像。深度图像采集系统包括多数个深度图像采集装置，其中各所述深度图像采集装置可以使用上述各种深度图像采集装置。

各所述深度图像采集装置分别以不同波长光源来进行取像。

各所述深度图像采集装置是以时间分割来进行取像。

为更明显易懂，下文特举实施范例，并配合附图做详细说明如下。

附图说明

图1是本实施范例的深度图像采集装置的架构示意图。

图2A是大面积分布光点模块构成的投光装置的示意图。

图2B是大面积分布光点模块构成的投光装置的示意图。

图2C是一种随机图像投光装置的示意图。

图3是另一个实施范例的深度图像采集装置的架构示意图。

图4是另一个实施范例的深度图像采集装置的架构示意图。

图5是图3中控制器的非同步脉波驱动方式的波形示意图。

图6A是另一实施范例的采用多组深度图像传感装置的深度图像采集系统。

图6B是对应图6A架构的控制信号时序示意图。

图7是投光装置当做虚拟相机时的本源图像与虚拟图像之间的关系示意图。

图8与图9A至9E为本实施范例所列举出的各种虚拟三相机系统的例子。

图10是两真实相机与一虚拟相机所构成虚拟三机系统的量测流程。

图11是两个真实相机的图像比对流程示意图。

图12是真实图像与虚拟图像的比对流程示意图。

图13是虚拟三相机系统中使用三个双相机组合的比对与验证流程。

图14是两虚拟相机与一真实相机所构成虚拟三相机系统的量测流程。

图15是虚拟三相机系统中使用两个双相机组的比对与验证流程。

附图标记说明

100、400、500：深度图像采集装置

110、110A、110B、110C、410、510、512：投光装置

120、130、420、430、520：图像传感装置

140、150、440、450、540：光学滤光镜

160、460、560：被测物

170、470、570：图像处理单元

210、302：光源

220：衍射光学元件

222：光罩

230：透镜、透镜组

240、340：投影面

304：毛玻璃

310：半反射镜

320：同轴取像校正装置

480：控制单元

P：投光装置

C1、C2：真实相机

VC、VC1、VC2：虚拟相机

具体实施方式

本实施范例提出一深度图像采集装置及其方法，以光源(例如主动式光源)将投影图案投射在被测物件上，再利用图像比对技术计算其深度图像信息。主动式投光装置是由光源及一组经过设计的投影图案产生元件，即衍射光学元件或光罩并搭配透镜组所组成，可产生分布不规则的亮点图像，构成一随机分布的图案。控制入射光束大小并可改变亮点图像的解析度。深度图像的计算原则上是以图像比对技术为基础，除了由至少两组同步图像传感装置同时取得投射图案的图像，本实施范例更进一步将投光装置当成虚拟图像传感装置使用，计算每组图像传感装置与投光装置间的空间对应关系，因此得以补偿图像遮蔽的问题并提升其精确度。

图1是本实施范例的深度图像采集装置的架构示意图。本实施范例的深度图像采集装置包括至少一投光装置110、至少两台图像传感装置120、130以及一图像处理单元170。投光装置110例如是光学投影装置、数位投影装置等，主要是将随机分布的散乱光点的投影图案投射在被测物160上。此随机分布的散乱光点图案可以是预先设计，或者是自动、随机产生。图像传感装置120、130主要是采集将投影图案投影在被测物后的图像，以取得图像信息。图像传感装置120、130例如可以是一般的摄影机或相机等各种可以用来采集图像信息的装置。

此外，在各图像传感装置120、130前更可以配设光学滤光镜140、150，其可以过滤掉不需要波长的光线后，再进入图像传感装置120及130，以有效避免环境光源及被测物本身颜色的影响。

此外，本实施范例中，上述的投光装置110更当做一虚拟图像传感装置来使用(后文会详加说明)。图像传感装置120及130取得的图像以及投光装置110当做虚拟图像传感装置产生的成像则一并传送至图像处理单元170，将上述各个图像进行图像比对后，以获得被测物160的深度图像图。

例如，图像处理单元170将图像传感装置120传感到的第一真实图像的各像素与图像传感装置130传感到的第二真实图像的各像素进行匹配比对，以获得一第一匹配图像；将第一真实图像的各像素与虚拟图像的各像素进行匹配比对，以获得一第二匹配图像。利用第一与第二匹配图像进行一匹配验证，输出一验证后的匹配图像。依据该第一真实图像各像素与该验证后的匹配图像的各像素值，产生一像差图像，并且依据该像差图像，便可以计算出对应的深度值，产生深度图像。

另外，在本实施范例中，投光装置110例如可以采用大面积分布光点模块。投光装置110基本上可以包括光源、投影图案产生元件与透镜组等。光源用以发出投光光束。投影图案产生元件可配置于光源的光路上，由光源照射而产生投影图案。透镜组配置于投影图案产生元件的光路上，将光源通过投影图案产生元件产生的投影图案，投影到被测物160上。接着说明几种投光装置的实施范例。

图2A是大面积分布光点模块构成的投光装置的示意图。如图2A所示，投光装置110A包括光源210、透镜组230、衍射光学元件220(即上述投影图案产生元件)，其中透镜组230为选择性构件。光源210发出光后，投射到衍射光学元件(diffractive optical elements，DOE)220，经衍射光学元件220产生如光点分布一般的衍射图案，再投射到投影面240(即相当于图1的被测物160)上。此外，衍射图案也可以再经由透镜组230，将投射面积扩大后，再投射到投影面240。此外，此透镜组可以包含一片或一片以上的透镜。

上述光源210可采用具有特定频谱的光源，例如激光二极管(laser diode，LD)、发光二极管(LED)、其他频谱的紫外线或者可见光等。光源210可以调变出光口径，亦即控制发出的光束投射到衍射光学元件220上的范围。衍射光学元件220可以是计算机生成的全息图(computer generated hologram，CGH)、光栅(grating)或相位式衍射元件(phase DOE)等，其能将光源210的光波前调制产生成另一衍射图案，如光点分布。之后，在另一实施范例中，可再利用透镜组230将衍射图案的光点的发散角增大，且由于是非成像设计，得以使光点至任一位置的平面分布面积扩大。

此外，参考图1，在图像传感装置120、130前更可以搭配与光源210对应的特定频谱的光学滤波装置140、150等。目前以红外激光二极管光源效果良好，例如波长780nm的红外线激光二极管(IR laser diode)。此时在图像传感装置120、130前，使用对应该波段的光学滤波装置140、150，例如红外线狭窄带通滤光镜。此红外线狭窄带通滤光镜的主波长在780nm，带宽为20nm，只让投射在被测物该波段的光经散射返回，由光学滤波装置140、150过滤掉其余波长的光线后，再进入图像传感装置120及130，以有效避免环境光源及被测物本身颜色的影响。

上述的大面积分布光点模块乃结合透镜将衍射光学元件(DOE)产生的光点分布再扩大，亦即增加其发散角。藉此，衍射光学元件的制作尺寸得以避免高成本的纳米光刻工艺(nanolithography)，以一般集成电路工艺(VLSI)即可。此外，此模块可利用光源210的激光光径调变光点大小。若要使穿过衍射光学元件220投射出来的光点变小，增加激光的光径即可，如此一来光点的解析度提高，进而提升系统精确度。

图2B是大面积分布光点模块构成的投光装置的另一种实施方式的示意图，在此具有与图2A类似或相同的功能的元件赋予相同的标号。大面积分布光点模块另一实施方式为结合透镜组将穿透光罩(mask)的光源光线分布做投射放大。

如图2B所示，投光装置110B包括光源210、透镜组230、光罩222(即上述投影图案产生元件)，其中透镜组230为选择性构件。光源210发出光后，投射到光罩222，经光罩222后产生如光点分布一般的图案，再投射到投影面240(即相当于图1的被测物160)上。此外，光点分布也可以再经由透镜组230，将投射面积扩大后，再投射到投影面240。此外，此透镜组230可以包含一片或一片以上的透镜。使用透镜组230可以将穿透光罩222的光投射放大，使其于特定空间中形成大面积光点分布。

上述光源可为激光二极管(LD)、发光二极管(LED)等。光罩可为一般铬金属薄膜的石英玻璃片、网点印刷板或金属板等。光罩222的制作可以一般集成电路工艺中的光罩工艺即可。投影图案中所设计的光点分布区域即为光罩222上的透光区。

此实施方式除了在元件的制作上更节省时间及成本之外，更使得大数量光点分布如VGA、XGA解析度的图像得以产生，进而提升系统精确度。

此外，在本实施范例中，图像传感装置也可选择对应光源波段有较佳反应曲线的传感器。例如光源采用780nm的激光二极管时，图像传感装置可采“PointGrey camera Firefly MV FFMV-03M2M(商品名)”，其近红外的反应佳，但这只是一个元件可以采用的范例，非一定得使用此列举的商品来做为必要的实施元件。

图2C是一种随机图像投光装置的示意图。图2A与图2B的投光装置所投影出来的图案基本上是预先设计好的，如可以依据需求来制作光罩的图案或者衍射光学元件上的图案。但是，图案也是有可能是随机产生的，图2C所示即为这样的一个范例。例如，投光装置110C内具有光源302和毛玻璃304。光源302发出的光经由毛玻璃304而产生随机图像图案，之后再将此图像图案投影到投影面340(即相当于图1的被测物160)上。

另外，因为投影的图像是随机产生的，所以无法预先得知投射出去的图像图案。因此，再运用此投光装置时，可以先在投影光路上配设半反射镜310，而被半反射镜310反射的光路上再配设一取像装置320。取像装置320例如是一个同轴取像校正装置。透过此同轴取像校正装置便可以测量并校正投光装置110C所投影出的图像图案。待取得并校正完投光装置110C所投影出的投影图案，便可以将投光装置110C配设到深度图像采集装置。

图3是另一个实施范例的深度图像采集装置的架构示意图。如图3所示，深度图像采集装置400包括至少一投光装置410、至少两台图像传感装置420、430、控制单元480以及图像处理单元470。图像传感装置420、430用来采集被投射到被测物460上的图像信息，其可为一般的摄影机等或任何可以采集图像资料的元件。控制单元480耦接到投光装置410以及图像传感装置420、430(可以使用有线、无线等任何方式，只要确定控制信号与资料可以传递即可)，用以控制投光装置410内的光源(未绘出，可参考图2A至2C)与图像传感装置420、430。

投光装置410例如可以是上述图2A至2C的任何一种形式，如将预先设计的随机分布的散乱光点图案投射在被测物460上。图像传感装置420、430取得投射在被测物460上的图像。图像处理单元470耦接到图像传感装置420、430，可接收来自图像传感装置420、430的图像资料，再进行图像比对，以获得被测物460的深度图像。

此外，在各图像传感装置420、430前更可以配设光学滤光镜440、450，其可以过滤掉不需要波长的光线后，再进入图像传感装置420及430，以有效避免环境光源及被测物本身颜色的影响。

关于上述光源的控制，控制单元480可以采用脉波驱动方式以控制投光装置410的特定频谱光源的点亮与关闭(ON/OFF)，并可选择控制或不控制图像传感装置420、430的同步取像。

当选择控制同步取像，由控制单元480发出同步信号，控制图像传感装置420、430取像时，同步驱动投光装置410的光源点亮。当图像传感装置420、430取像完毕，将投光装置410的光源关闭。

此外，当选择不控制同步取像时，可直接周期性脉波驱动方式以控制投光装置410的光源的ON/OFF。在此可调整投光装置410的光源ON/OFF频率与工作周期(duty cycle，点亮所占时间比例)以及光通量(即光源发光强度)。一般而言，相较于取像，光源可以采取较高频率，以维持较稳定的图像亮度控制。

本实施范例所提到的光源控制可以节省电源，可以提高光源单一脉波强度而对环境光及其他杂光干扰更有抵抗力，也可降低对人眼的伤害。

图4是另一个实施范例的深度图像采集装置的架构示意图。如图4所示，深度图像采集装置500包括两个投光装置510、512以及一图像传感装置520。

如前述的数个范例，投光装置510、512也可以是上述图2A至2C的任何一种形式，将投影图案投射在被测物560上。图像传感装置520取得投射在被测物560上的图像。图像处理单元570耦接到图像传感装置520，可接收来自图像传感装置520图像资料，再进行图像比对，以获得被测物560的深度图像。

与图1的架构类似，本实施范例是使用两个投光装置510、512，相对应的也就有两个虚拟图像传感装置。同样地，图像传感装置520取得的图像以及投光装置510、512当做虚拟图像传感装置产生的成像则一并传送至图像处理单元570，将上述各个图像进行图像比对后，以获得被测物560的深度图像图。

此图像处理单元570将真实图像(例如图像传感装置520取得的图像)的各像素与第一虚拟图像(例如来自投光装置510的本源图像)进行匹配比对，以获得一第一匹配图像。将真实图像的各像素与第二虚拟图像(例如来自投光装置512的本源图像)进行匹配比对，以获得一第二匹配图像。利用第一与第二匹配图像进行匹配验证，输出一验证后的匹配图像。其中此验证后的匹配图像的像素为第一与第二匹配图像像素之一。接着依据第一真实图像各像素与验证后的匹配图像的各像素值，产生一像差图像，并且依据像差图像，计算出对应的深度值，产生深度图像。

此外，在图像传感装置520前更可以配设光学滤光镜540，其可以过滤掉不需要波长的光线后，再进入图像传感装置520，以有效避免环境光源及被测物本身颜色的影响。在投光装置510、512所投出的色光不同时(即频谱不同时)，滤光镜540的频带可以设计成包含两种不同色光的频带，使两种不同频谱的图像都可以通过滤光镜540。

此外，图像传感装置520可以接收迭合两个色光的图像，而在后端的图像处理单元570可以再将迭合的图像分离，分别处理。

此外，本实施范例可采用非同步脉波驱动方式，其可以是周期性方波控制信号，如图5所示，其中周期T，工作周期Tp以及驱动电压Vp可视实际应用场合而调整。脉波驱动也可以是其他周期性波型信号控制，只要能达到周期控制光源ON/OFF。而控制同步取像时，则以同步信号触发每次取像与光源打亮(ON)同步。

图6A是另一实施范例的深度图像采集系统，图6B是对应图6A架构的控制信号时序示意图。如图6A所示，根据此实施范例，在应用上时，使用了三组深度图像采集装置1-3来对同一被测物进行深度图像的量测。深度图像采集装置1-3可以使用图1、3或4所示的深度图像采集装置。

如图6B所示，在控制各组深度图像采集装置时，可以利用上述的脉波驱动方式，但是将各组的光源打开时段错开。从图6B可以看出，各组深度图像采集装置1-3(图6B所示的范例是三组，但不以此为限)的光源的工作周期的光源打亮(ON)期间是彼此错开的。亦即，三组深度图像采集装置1-3的各个控制脉冲信号具有相同周期但相位不同。此时，各组深度图像采集装置1-3的图像传感装置是与对应的投光装置的光源开关同步；亦即深度图像采集装置1的光源打开期间，深度图像采集装置1的图像传感装置进行取像，而深度图像采集装置2-3的图像传感装置则不动作。藉此，各组深度图像采集装置1-3便可以采取相同周期而彼此互不干扰，使得多组深度图像采集装置1-3可对同一场景或被测物同时运作。

另外，各组深度图像采集装置1-3的控制脉冲信号也可以采用不同周期的信号，但是要注意各组的光源打亮(ON)期间必须彼此错开。

此外，在图1、3或4的架构中，改变图像传感装置间的距离，可以获得不同深度精度。在较近距离的应用场合，可以将图像传感装置之间距设定较小，而在较远距离的应用时，图像传感装置间距则要设定大一点，以便得到较佳的距离精度。在实际应用上，参考设定是取像工作距离为1.5m～5m，两台图像传感装置之间距设定在18cm，例如使用640x480像素的相机，深度图像采集装置可以达到3～5cm的深度解析度。若取像工作距离降至0.5m～1.5m，且使用同样图像传感装置，则间距可调至6cm左右，此时便可达到1～2cm的深度解析度。

关于应用本实施范例的的详细图像比对方式，会在后文做更详细的说明。

接着说明本实施范例的图像比对处理流程。在说明处理流程之前，先解释将光学投影装置当做虚拟图像传感装置的方式与原理。

图7是投光装置当做虚拟图像传感装置时的本源图像与虚拟图像之间的关系示意图。在此例中，虚拟图像传感装置为一虚拟相机。如图7所示，本实施范例所称的虚拟相机(非实际存在的相机，或将不是相机的装置当做相机使用)即是投光装置。如前所述，投光装置是将散乱光点图案投射在被测物上，而此被投影出去的散乱光点图案便是本源图像(inherent image)。一般而言，此本源图像可以是例如以扇形发散方式投射出去而到达被测物上。

在进行测量时，投光装置有两个主要用途：一是当做光源，让实际存在真实的相机(如上述的图1的图像传感装置120、130等)能够采集图像；二是制造亮暗或色彩变化，让真实相机所取得的图像含有丰富的特征或变化，方便后续的图像分析处理。亮暗或色彩的变化可以用一张本源图像来描述。上述本源图像不是图像传感装置取得的资料，而是一种二维的资料描述方式。在实施上，可以设计各种的投光装置，将光源投射到空间中，让光线在空间中依本源图像描述的方式，产生各种亮暗或色彩的变化。

假如投光装置是一般的数位投影机，本源图像就是被投射的那张数位图像。假如投光装置是自行设计的光学系统，本源图像可以直接从设计资料推算出来，或者设计一套校正方法，把本源图像估算出来。

在此，本实施范例是以针孔模型(pin-hole model)来描述虚拟相机，故本源图像也就必须是符合针孔模型的理想图像。此外，当投光装置有缺陷时，也可以设计一套反扭曲图像修正(anti-distortion correction)方法，得到符合针孔模型的本源图像。

如图7所示，以针孔模型描述投光装置时，可以想象此投光装置相当于一台虚拟的相机(虚拟的图像传感装置，以下均以虚拟相机称的)。虚拟相机的光轴AX与投影中心C，与投光装置的光轴与投影中心完全一致，故虚拟相机所成像的虚拟图像V(i，j)的位置和图像大小与投光装置的本源图像H(i，j)完全一致或成比例。如上所述，虚拟相机所取得的数位图像可以有以下数式(1)来描述：

V(i，j)＝aH(i，j)R(i，j)0≤i＜M 0≤j＜N (1)

上述各参数与函数的定义如下所述：

V(i，j)：虚拟相机的虚拟图像的第j列第i行的像素值。

M，N：图像解析度

a：比例值，为虚拟图像和本源图像之间的比例值。

H(i，j)：本源图像第j列第i行的像素值。

R(i，j)：从投影中心C穿过本源图像第j列第i行的像素H(i，j)的一条直线，所碰触到拍摄场景的一点，此点的反光系数(reflectance)。这个数值与光源的性质、反射角度以及物体材质有关。

上述像素值V(i，j)可以是RGB彩色或者亮度值，而使用其他系统的彩色或者亮度值也是可行的，并没有特别的限制。在实际的应用中，相对于反光系数R(i，j)而言，本源图像H(i，j)是比较高频的信号。因此，如果只看局部的区域的图像，反光系数R(i，j)近似于常数值，即如下列述式(2)所表示。(m，n)表示以第j列第i行的像素(i，j)为中心的周围的邻近区域neighborhood的范围，而α为一比例值。

(m，n)∈neighborhood of(i，j) (2)

所以当只对图像的局部区域做比对操作时，可以直接使用投光装置的本源图像，不必真的使用虚拟图像。例如虚拟相机与真实相机做图像比对时，可以使用本源图像H(i，j)，与真实相机取得的数位图像F(i，j)做比对。

此外，假设函数D(v1，v2)计算v1和v2的差距值，函数N(i，j，F(i，j))定义为将图像F的第(i，j)个像素正规化(normalize)，使像素的数值介于0和1之间。则虚拟图像V的像素(i，j)与真实图像F的像素(m，n)的局部比对运算可定义如下列数式(3)的匹配成本函数MatchingCost(i，j，m，n，V，F)，其中邻近区域neighborhood的形状与大小则可依实际状况来定义。

MatchingCo st (i, j, m, n, V, F) = \underset{(s, t) &Element; neighborho od}{Σ} D (N (i + s, j + t, V (i + s, j + t)), N (m + s, n + t, F (m + s, n + t)))

= \underset{(s, t) &Element; neighborho od}{Σ} D (N (i + s, j + t, H (i + s, j + t)), N (m + s, n + t, F (m + s, n + t)))

(3)

根据本实施范例，通过导入虚拟相机的概念，使得投光装置增加了第三个功能，即让投光装置具有本源图像，可与真实相机的图像进行比对、分析。因此，使用一个相机和一个投光装置即可构成一个双相机系统，进行图像比对(image matching)和三角测距。

基于上述虚拟相机的概念，在如图1、3或4的深度图像采集装置中，一投光装置与两个图像传感装置(或者两个投光装置与一图像传感装置)便可以转化成三个图像传感装置，即一虚拟相机加上两个真实相机(或者两个虚拟相机与一真实相机)的系统。下面便接着详细解说此架构下的虚拟三相机系统。

图8与图9A至9E为本实施范例所列举出的各种虚拟三相机系统的例子。图8所示为图1所说明的一投光装置P和两个相机C1、C2所构成的架构，图9A则是依据本实施范例的概念，将投光装置转换为虚拟相机的架构示意图。

原本投光装置的目的只是制造光源以及亮暗或色彩变化。但是如图9所示，当以虚拟相机来描述投光装置的时候，这个系统就变成一个虚拟的三相机系统，亦即一个虚拟相机VC加上两个真实相机C1、C2。虚拟三相机系统比原先主动投光的双相机系统至少多了以下所述的效果。

首先，虚拟三相机系统可以验证图像比对结果，排除错误。一虚二实相机所构成系统中的相机两两配对，可以得到三组双相机系统。三个系统各自进行图像比对，得到三组结果，这三组结果互相之间必须符合相机成像原理。举例言的，假如相机一的像素(i1，j1)与相机二的像素(i2，j2)匹配，相机一的像素(i1，j1)与相机三的像素(i3，j3)匹配，则(i2，j2)与(i3，j3)必须符合三相机系统的成像关系式(例如，经由相机校正与系统校正得到)。同时，相机二与相机三之间进行图像比对时，相机二的像素(i2，j2)必须与相机三的像素(i3，j3)匹配，相机三的像素(i3，j3)也必须与相机二的像素(i2，j2)匹配。

其次，增加量测结果的完整性。进行三角测距时，常因遮蔽(occlusion)的问题导致某些区域无法量测到资料，本实施范例的虚拟三相机系统可以减少这个问题。虚拟三相机系统的两两配对，可以得到三组双相机系统，当其中一组因遮蔽问题无法量测时，可由其余两组双相机系统补足量测资料。只有三组双相机系统同时发生遮蔽问题时，才无法量测到资料。

图9B是虚拟三相机系统的另一种配置方式，其中两个真实相机C1、C2之间有水平像差，而真实相机C1与虚拟相机VC之间有垂直像差。这种配置方式主要是为了减少遮蔽问题。图9C则是虚拟三相机系统的另一种折衷配置方式。例如虚拟相机VC(投光装置)大致上是位在两真实相机C1、C2连线的上方位置，当然下方位置也是可行的。

此外，上述说明的深度图像采集装置的架构是以一投光装置与两台图像传感装置(例如，相机)所构成，但是也可以使用两台投光装置搭配一台图像传感装置(例如，相机)。此实施范例的架构便可等效于两台虚拟相机与一台真实相机所构成的虚拟三相机系统。

图9D与图9E是出两个配置的架构范例，而其他的配置位置也是可行的。图9D所示的架构是虚拟相机VC1、VC2与真实相机C1是大致上配置在一直线上，此架构与图9A类似。图9E的架构则类似于图9B，其中真实相机C1分别与虚拟相机VC2之间有水平像差，而真实相机C1与虚拟相机VC1之间有垂直像差。图9E的架构同时具有水平和垂直像差，可以减少遮蔽问题。

此范例的三相机系统只能配对出两组双相机系统，此乃因为两个虚拟相机之间无法做图像比对。此架构有个好处，就是只须使用一个相机。除了没有第三组双相机系统进行额外的比对外，此架构也同样具有「验证图像比对结果」与「增加量测结果的完整性」两个特点。

在配置成图9D或9E的架构时，投光装置的控制可以使用时间分割(timedivision)或频谱分割方式(spectrum division)来区别两个投光装置的信号。时间分割是让两个投光装置在不同时间点亮，相机则分别在相对应的时间取相。频谱分割是让两个投光装置的光源具有不同波长的光源。此时，两个投光装置同时点亮，但是相机则能分辨不同的波长。例如，两个投光装置的光源分别投出绿光与红光，使用RGB彩色相机则能同时取到图像，并且分离出两种光源所产生的图像。

接着，说明本实施范例在应用此虚拟三相机的深度图像采集装置时进行图像比对的资料处理流程。虚拟三相机架构中至少有一个是虚拟相机。此外，为了描述方便，在此将上述深度图像采集装置中的图像传感装置均以“相机”为例子来说明，并称的为真实相机。图像比对处理可以分别由两个真实像机所取得的真实图像直接进行比对运算，或通过一个投影装置(虚拟相机)与一个真实相机图像进行比对。接着一一来说明。

图10是两个真实相机与一虚拟像机所构成虚拟三相机系统的量测流程。此架构可以是图9A至9C的一种情形。在本实施范例中，两真实相机分别与虚拟像机组成「实-实」、「实-虚」以及「实-虚」三组双相机组合(stereo pair)。

参照图10，首先在步骤S300，深度图像采集系统分别取得第一真实图像、第二真实图像以及虚拟图像。第一真实图像与第二真实图像例如由图像处理单元取得两个图像传感装置所取得的图像，而虚拟图像则使用投光装置的投影图像。

接着，在步骤S302、S306、S312等，例如深度图像采集系统的图像处理单元将第二真实图像与虚拟图像进行比对，将第二真实图像与第一真实图像进行比对以及将第一真实图像与虚拟图像进行比对。进行比对时，例如以第一真实图像为基准，先择一像素，然后在第二真实图像和虚拟图像上，以区块比对的方式，找对可以与该像素匹配的像素。之后，在步骤S304、S308、S314分别将此比对结果记录下来。关于真实图像与真实图像之间(即两真实相机构成的双相机)的比对基本流程可以参考图11，真实图像与虚拟图像之间(即真实相机与虚拟相机构成的双相机)的比对基本流程可以参考图12。

接着，在步骤S320，系统进行三组双相机系统的匹配比对，以产生匹配像素。详细的处理流程可以参考图13的说明。

在步骤S330，以第一真实图像为主，记录每一个像素的匹配结果，以二维图像格式来描述匹配结果，这张图像称为像差(disparity)图像。在步骤S340，可以使用习知的图像处理技术(例如：平滑化、杂讯消除等)，对像差图像进行后处理。同时也可以依据相机的几何配置，对像差图像进行分析处理，例如：当两部相机是以水平位移方式配置时，沿着一图像的任意一条水平线从左到右的每一个像素，我们可以要求它们的匹配点，也是从左到右顺序排列。之后，在步骤S350，根据像差图像和相机系统的校正结果，便可以计算出每一个像素的深度。在步骤S360，当整个测量区域的像素深度都计算出来后，便可以具此取得图像的深度图像。

此外，在图10所示的基准图像(第一个图像)是真实图像，但这并不是必要的。依据实际需要，也可以使用虚拟图像当做基准图像。接下来详细说明图10各个流程。

图11是两个真实相机的图像比对流程示意图，其主要处理流程包括镜头扭曲补正、图像转正与图像比对等步骤。首先在步骤S200、S200’各真实相机1、2(例如图1或4所示的图像传感装置)分别取得真实图像(real image)。

接着，在步骤S202A、S202A’将经过反扭曲修正(anti-distortion correction)，将相机的各种图像扭曲效应消除，让图像成为符合针孔模型(pin-hole model)的理想图像。接着，在步骤S202B、S202B’将两张真实图像再分别经过图像重整(image rectification)，让两张真实图像变成只有水平像差或只有垂直像差(因为位置摆放的关系而造成的)。例如，原本两台相机在设置时，会有前后位置的差异，或者镜头角度仰角的差异等等。透过图像重整，可以将真实图像转换成相机是摆放同一取像平面，只剩下水平或垂直位置有差异。藉此，除了减少因视角产生的图像变形，更可以让图像比对更容易在软体或硬体上实施。上述反扭曲修正与图像重整可以整合成一个单一的复合式图像转换(compositetransformation)步骤S202、S202’。

接着，在步骤S204进行图像比对。两张真实图像经过重整之后，可以在两张真实图像上沿着同一条水平线或垂直线进行比对，计算每一个像素的像素差值(disparity)。计算时，比对匹配函数(matching function)可以依据系统和量测物的特性进行设计，例如可以采用区块比对(block matching)的方式。也就是说，在两个比对位置上设定一区域的范围，统计在此区域范围内两个真实图像的像素值的像差值。区块的大小和形状、像素差值的运算式，都可依据实际需求指定和设计。像素差值总和称为匹配成本(matching cost)，匹配成本的值愈小表示两者愈相似、愈匹配。在此步骤S204，可以使用双重确认(double check)方式来增加比对的正确性。举例言的，以第一真实图像的像素(i1，j 1)为主，在第二真实图像中找到像素(i2，j2)与第一真实图像的像素(i1，j 1)最匹配；反过来，当以第二真实图像的像素(i2，j2)为主，在第一真实图像中找到的最匹配的像素必须是(i1，j1)。

接着，在步骤S206，以第一真实图像(或者第二真实图像)为基准，记录每一个像素的比对结果(match records)。此比对结果可以包含最佳匹配位置以及匹配成本等的信息。这些比对结果可供后续产生深度图像的处理使用。

图12是真实图像与虚拟图像的比对流程示意图。例如，将图1或4的其中一个图像传感装置(真实相机)所得的真实图像以及将投光装置做为虚拟相机所得到的虚拟图像进行比对。根据上述的说明，在做局部比对时，可以直接使用投光装置的本源图像来产生虚拟图像。

在步骤S302，取得投光装置的本源图像。接着，在步骤S304、S306对该本源图像进行低通滤波，以移除高频信号，产生虚拟图像。本源图像通常是一种理想图像，且常由数学方式直接产生或者推算出来。因此，相较于一般的真实图像，本源图像会呈现较为锐利的样子，这部分主要是来自高频信号。因此，可以利用低通滤波器，将高频信号过滤，使本源图像模糊化，藉此可以比较相似于真实图像，如此可以得到较佳的比对结果。本源图像通过低通滤波处理后，可称的为虚拟图像。之后，可以使用虚拟图像与真实图像进行图像比对。

此外，在步骤S312，真实相机取得真实图像。之后在步骤S314，将该真实图像进行高通滤波处理(例如使用高通滤波器)，移除低频信号。本实施范利的深度图像采集装置是将投光装置(亦即虚拟相机)的本源图像投射到空间中，再照射到被测物上，然后成像在真实相机内成为所谓的真实图像。从频谱来看，场景内被测物对真实图像的贡献大部份属于低频部份。故，将低频信号滤除便可以减少物体对真实图像的影响，保留较多的本源图像成分。

透过对本源图像的低通滤波处理以及对真实图像的高通滤波处理，真实图像与虚拟图像会变得比较接近，而比对效果也可以提高。因此，本源图像的低通滤波器与真实图像的高通滤波器需要互相匹配，使得经过处理的两组图像具有相似的频谱特征，以得到最佳的图像比对结果。

接着，在步骤S316A，通过高通滤波处理的真实图像需要再经过反扭曲修正，将真实相机的各种图像扭曲效应消除，让图像成为符合针孔模型的理想图像。反的，虚拟相机一般不需要这个步骤，因为在产生或计算出本源图像时，就已经考虑扭曲效应。本源图像本身已经是符合针孔模型的理想图像。

接着，在步骤S316B、S308，上述两个图像均再经过图像重整，让两张图像变成只有水平像差或只有垂直像差。同图11的说明，上述S316A、S316B的反扭曲修正与图像重整可以整合成一个单一的复合式图像转换步骤S316。

接着，在步骤S330与S340则进行与图11相同的图像比对以及比对结果的记录，所不同的是图像比对的对象是真实图像与虚拟图像。详细可参考图11的步骤S204、S206的说明。

另外，本源图像的低通滤波处理是一次性的操作，可以事先处理。为了简化实施流程，也可以考虑将真实图像的高通滤波器移除。在此，本实施范例也提出一个求得匹配高通滤波器(high-pass filter)与低通滤波器(low-pass filter)的方法：(1)首先，将本源图像投射到一个材质单一且均匀的平面上(例如，白色墙壁)，再用真实相机取像，然后计算此图像频谱；(2)计算本源图像的频谱；(3)将真实图像频谱与本源图像频谱各别做二值化处理；(4)取二值化后两频谱的交集；(五)两个二值化频谱各别扣除交集部份，然后再反相，即可得到各别所需的高通或低通滤波器。

图13是虚拟三相机系统中使用三组双相机组的比对与验证流程。假设三个相机所取得的图像分别为图像image 1、图像image 2、和图像image 3，并且以图像image 1为主。在步骤S402，取得图像image 1上的第一像素(i1，j1)。

在步骤S404，在图像image 2中寻找与第一像素(i1，j1)的最佳第一匹配像素(i2，j2)，称的为匹配A。此外，在步骤S406，在图像image 3上的寻找与第一像素(i1，j1)的最佳第二匹配像素(i3，j3)，称的为匹配B。

接着，在步骤S410判断上述找到的匹配像素，即匹配A与匹配B是否匹配适当。在判断时，例如使用上述说明的匹配成本函数以及像素差值等的整体分析结果，判断匹配A与匹配B是否为适当的匹配结果。

若步骤S410的判断结果是两个匹配A、B均是适当的，则在步骤S430可以使用三相机系统的校正参数，来验证匹配A和匹配B是否符合相机成像原则。亦即若是符合成像原则，则匹配A和匹配B基本上应该是一致的。故在步骤S432，判断匹配A和匹配B是否一致。若一致，则对此结果再进一步的进行比对验证。在步骤S500，系统进一步地在图像image 3上找与图像image2的第一像素(i1，j1)匹配的第三匹配像素(ia，ja)，即匹配C。接着判断此第三匹配像素(ia，ja)是否为匹配适当的画素(步骤S502)，若不是，则依然输出精度等级L2的匹配A或B的比对结果(步骤S504)。

如果在步骤S502，系统判断匹配C(匹配像素(ia，ja))是适当的，则进一步地执行步骤S510。在步骤S510，在图像image 2上找与第二匹配像素(i3，j3)匹配的第四匹配像素(ib，jb)，即匹配D。接着判断此第四匹配像素(ib，jb)是否为匹配适当的画素(步骤S512)。如果判断为适当，则输出匹配A或B。此时的匹配A或B因位经过进一步的匹配比对与验证，所以精度等级可以进一步地达到3级(L3)，亦即此时的匹配结果是属于正确指数最高的比对结果。

另外，即使步骤S512判断为不适当，仍然可以输出精度等级L2的匹配A或B的比对结果(步骤S510)。此时的匹配结果是属于正确指数中等(L2)的比对结果。正确指数的高低可以帮助后续资料的分析处理。

此外，若在步骤S432，判断匹配A和匹配B为不一致，则输出无适当匹配的结果(步骤S436)。

另外，若在步骤S410的判断结果只是其中一个匹配是适当的话，则进行S412、S414、S416、S418的处理。亦即，如果只有匹配A是适当的匹配结果，则输出匹配A(步骤S412、S414)。假如只有匹配B是适当的匹配结果，则输出匹配B(步骤S416、S418)。以上两种匹配结果是属于正确指数较低的比对结果，可将此比对结果定义为精度等级L1(accuracy level L1)。此乃因为无第三个图像来做进一步的验证。这种状况通常是因为某一组双相机发生遮蔽(occlusion)，但还是可以从另一组得到匹配结果。

假如两个匹配A、B都不是适当的匹配结果，则输出无适当匹配(no validmatch)，即步骤S420。

正确指数的高低可以帮助后续资料的分析处理，因此正确指数越高，即精度等级越高是越好的，后续所得到的深度图像也就越正确。透过上述三组双相机的比对方式，可以获得L1～L3各种不同等级的比对结果。

一般在比对时，可以进行到匹配A、B即可。如果可验在进行匹配C、D的补充验证，则精确度可以更加地提高。

图14是由一台真实相机与两个虚拟相机所构成虚拟三相机系统的量测流程(如图9D或9E的架构)，即深度图像采集系统主要是由一图像传感装置(真实相机)与两个投光装置(虚拟相机)构成。在此实施范例中，只能构成两个双相机组合，这是因为两个虚拟相机之间无法进行图像比对。图9D或9E的架构中，真实相机分别与两台虚拟像机组成两个「实-虚」双相机组合。

参照图14，首先在步骤S602，深度图像采集系统分别取得真实图像、第一虚拟图像以及第二虚拟图像。

接着，在步骤S610、系统将真实图像与第二虚拟图像进行比对，而在步骤S620，将真实图像与第一虚拟图像进行比对。进行比对时，例如以真实图像为基准，先择一像素，然后在第一与第二虚拟图像上，以区块比对的方式，找出可以与该像素匹配的像素。之后，在步骤S612、S622分别将此比对结果记录下来。关于真实图像与虚拟图像之间(即真实相机与虚拟相机构成的双相机)的比对基本流程可以参考图12。

接着，在步骤S630，系统进行两组双相机系统的匹配比对，以产生匹配像素。详细的处理流程可以参考图15的说明。

在步骤S640，以真实图像为主，记录每一个像素的匹配结果，成为像差图像。步骤S650与图10步骤S340相同，对像差图像进行后处理。之后，在步骤S660，根据像差图像和相机系统的校正结果，便可以计算出每一个像素的深度。在步骤S670，当整个测量区域的像素深度都计算出来后，便可以具此取得图像的深度图像。

图15是虚拟三相机系统中使用两个双相机组合的比对与验证流程。图15与图13的差异在于省去第三组双相机的比对程序。因此，与图13执行相同或类似的程序者，给予相同的标号。当在步骤S432，系统判断匹配A与B一致时，于步骤S434，便输出精度等级L2的匹配A或B，做为比对结果。

正确指数的高低可以帮助后续资料的分析处理，因此正确指数越高，即精度等级越高是越好的，后续所得到的深度图像也就越精密。透过上述两组双相机的比对方式，可以获得L1～L2各种不同等级的比对结果。

此外，除了上述虚拟三相机的架构外，本案尚有其他的变化应用例。例如，深度图像采集装置可使用一个投光装置以及一个图像传感装置。此时，投光装置投射投影图案到被测物上。此投光装置仍然做为一虚拟图像传感装置，以投影图案的本源图像做为虚拟图像。图像传感装置可以传感投影到该被测物上的投影图案，以产生真实图像。在此架构下，利用虚拟图像以及真实图像来做匹配，找到匹配的像素，进而产生深度图像。在此架构下，可以不需要进行上述所提到的验证程序，图像比对则可以使用图12的流程来进行。

另外，深度图像采集装置可使用一个投光装置以及两个图像传感装置。此时，投光装置仅单纯做投射投影图案到被测物上。两个图像传感装置可以传感投影到该被测物上的投影图案，分别产生真实图像。在此架构下，利用两个真实图像来做匹配，找到匹配的像素，进而产生深度图像。在此架构下，也可以不需要进行上述所提到的验证程序，图像比对则可以使用图11的流程来进行。

综上所述，本申请采取两台以上图像传感装置，不需建立参考图像组比对，直接由图像传感装置取得的图像进行区块比对，并参考了投影装置(虚拟相机)与真实相机的比对信息以获得深度信息。透过真实相机与虚拟相机的虚拟三相机架构，可以提高深度测量的精确度。此外，借由此配置，可以克服三角测距时可能造成的遮蔽问题。

另外，本申请尚可使用一虚拟图像与一真实图像之间的匹配比对，或者两真实图像之间的匹配比对，因此没有相互验证的程序，虽然结果的正确性与完整度可能因此变差，却可减少硬体设计成本与计算时间。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围以权利要求书为准。

Claims

1.一种深度图像采集装置，包括：

至少一投光装置，用以投射投影图案到被测物上，其中该投光装置做为虚拟图像传感装置，以该投影图案的本源图像做为虚拟图像；

第一与第二图像传感装置，分别传感投影到该被测物上的该投影图案，以产生第一真实图像与第二真实图像；以及

图像处理单元，耦接至该投光装置以及该第一与该第二图像传感装置，

其中该图像处理单元将该第一真实图像的各像素与该第二真实图像的各像素分别进行匹配比对，以获得一第一匹配图像，

将该第一真实图像的各该像素与该虚拟图像的各像素分别进行匹配比对，以获得一第二匹配图像；

利用该第一与该第二匹配图像进行匹配验证，输出一验证后的匹配图像，其中该验证后的匹配图像的像素为该第一与该第二匹配图像的像素的其中之一；以及

依据该第一真实图像的各该像素与该验证后的匹配图像的各该像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生一深度图像。

2.如权利要求1所述的深度图像采集装置，其特征在于，该投光装置更包括：

光源，用以发出投光光束；以及

投影图案产生元件，配置于该光源的光路上，由该光源照射而产生该投影图案。

3.如权利要求2所述的深度图像采集装置，其特征在于，该投光装置更包括：

透镜组，配置于该投影图案产生元件的光路上，将该光源通过该投影图案产生元件产生的该投影图案，投影到该被测物上。

4.如权利要求3所述的深度图像采集装置，其特征在于，该透镜组更包含一片或以上的透镜。

5.如权利要求2所述的深度图像采集装置，其特征在于，该投影图案产生元件为衍射光学元件。

6.如权利要求5所述的深度图像采集装置，其特征在于，该衍射光学元件包括计算机生成的全息图或光栅与相位式衍射元件。

7.如权利要求2所述的深度图像采集装置，其特征在于，该投影图案产生元件为光罩。

8.如权利要求7所述的深度图像采集装置，其特征在于，该光罩为铬金属薄膜的石英玻璃片、网点印刷板与金属板的其中之一。

9.如权利要求2所述的深度图像采集装置，其特征在于，该光源为红外线激光、发光二极管、紫外光与可见光的其中之一。

10.如权利要求1所述的深度图像采集装置，其特征在于，更包括第一与第二光学滤镜，分别配置在该第一与该第二图像传感装置前。

11.如权利要求1所述的深度图像采集装置，其特征在于，该投影图案为预先设计或随机产生。

12.如权利要求1所述的深度图像采集装置，其特征在于，该投影图案为随机分布的散乱光点图案。

13.如权利要求2所述的深度图像采集装置，其特征在于，更包括控制器，耦接到该投光装置、该第一与该第二图像传感装置，以脉波驱动方式来驱动该光源。

14.一种深度图像的采集装置，包括：

第一与第二投光装置，分别用以投射投影图案到被测物上，其中该第一与该第二投光装置做为第一与第二虚拟图像传感装置，以该投影图案的本源图像做为该第一与该第二虚拟图像传感装置所成像的第一与第二虚拟图像；

图像传感装置，传感投影到该被测物上的该投影图案，以产生一真实图像；以及

图像处理单元，耦接至该第一与该第二投光装置以及该图像传感装置，

其中该图像处理单元将该真实图像的各像素与该第一虚拟图像的各像素进行匹配比对，以获得第一匹配图像，

将该真实图像的各该像素与该第二虚拟图像的各像素进行匹配比对，以获得第二匹配图像；

依据该真实图像的各该像素与该验证后的匹配图像的各该像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生一深度图像。

15.如权利要求14所述的深度图像采集装置，其特征在于，该第一与该第二投光装置分别更包括：

光源，用以发出投光光束；以及

16.如权利要求15所述的深度图像采集装置，其特征在于，该第一与该第二投光装置分别更包括：

17.如权利要求16所述的深度图像采集装置，其特征在于，该透镜组包含一片或以上的透镜。

18.如权利要求15所述的深度图像采集装置，其特征在于，该投影图案产生元件为衍射光学元件。

19.如权利要求18所述的深度图像采集装置，其特征在于，该衍射光学元件包括计算机生成的全息图或光栅与相位式衍射元件。

20.如权利要求15所述的深度图像采集装置，其特征在于，该投影图案产生元件为光罩。

21.如权利要求20所述的深度图像采集装置，其特征在于，该光罩为铬金属薄膜的石英玻璃片、网点印刷板与金属板的其中之一。

22.如权利要求15所述的深度图像采集装置，其特征在于，该光源为红外线激光、发光二极管、紫外光与可见光的其中之一。

23.如权利要求14所述的深度图像采集装置，其特征在于，更包括光学滤镜，配置在该图像传感装置前。

24.如权利要求14所述的深度图像采集装置，其特征在于，该投影图案为预先设计或随机产生。

25.如权利要求14所述的深度图像采集装置，其特征在于，该投影图案为随机分布的散乱光点图案。

26.如权利要求15所述的深度图像采集装置，其特征在于，该第一与该第二投光装置的各该光源以时间分割或频谱分割的方式来控制。

27.一种深度图像采集方法，对被测物采集一深度图像，用于具有投光装置、第一与第二图像传感装置的深度图像采集装置，该深度图像采集方法包括：

该投光装置将投影图案投影到该被测物，该第一与该第二图像传感装置传感投影到该被测物上的该投影图案，以产生第一真实图像与第二真实图像，其中该投光装置做为虚拟图像传感装置，将该投影图案的本源图像转换为虚拟图像；

将该第一真实图像的各像素与该第二真实图像的各像素进行匹配比对，以获得一第一匹配图像；

将该第一真实图像的各该像素与该虚拟图像的各像素进行匹配比对，以获得一第二匹配图像；

28.如权利要求27所述的深度图像采集方法，其特征在于，更包括：

将该第一真实图像与该第二真实图像分别进行反扭曲修正；

将该反扭曲修正的该第一真实图像与该第二真实图像分别进行图像重整；以及

将该图像重整后的该第一真实图像与该第二真实图像进行匹配比对，以获得该第二匹配结果。

29.如权利要求27所述的深度图像采集方法，其特征在于，更包括：

将该第一真实图像进行高通滤波处理，并将该本源图像进行低通滤波，以产生该虚拟图像；

将该高通滤波处理后的该第一真实图像进行反扭曲修正；

将该反扭曲修正后的该第一真实图像以及该虚拟图像分别进行图像重整；以及

将该图像重整后的该第一真实图像与该虚拟图像进行匹配比对，以获得该第一匹配结果。

30.如权利要求27所述的深度图像采集方法，其特征在于，输出各该匹配图像更包括：

判断该第一与该第二匹配图像的各该像素是否均为适当匹配；

若该第一与该第二匹配图像的各该像素只有其中之一为适当匹配，输出适当匹配的该第一或该第二匹配图像的各该像素的匹配结果，若该第一与该第二匹配图像的各该像素均非适当匹配，输出无适当匹配的匹配结果；

若该第一或该第二匹配图像的各该像素均为适当匹配，则验证该第一与该第二匹配图像的各该像素是否符合一致；

若该第一与该第二匹配图像的各该像素为一致，则输出该第一与该第二匹配图像的各该像素任一个的匹配结果，若不一致，则输出无适当匹配的匹配结果。

31.如权利要求30所述的深度图像采集方法，其特征在于，判断该第一与该第二匹配图像的各该像素是否均为适当匹配是利用该第一与该第二匹配图像的各该像素的匹配成本函数。

32.如权利要求31所述的深度图像采集方法，其特征在于，验证该第一与该第二匹配图像的各该像素是否符合一致是依据相机成像原则。

33.如权利要求30所述的深度图像采集方法，其特征在于，当该第一与该第二匹配图像的像素为一致时更包括：

在该虚拟图像上取得与该第一匹配图像相匹配的第三匹配图像；

判断该第三匹配图像的各像素是否为适当匹配；

当该第三匹配图像的各该像素不是适当匹配，则输出该第一或该第二匹配图像的各该像素任一个的匹配结果；

当该第三匹配图像的各该像素为适当匹配，则在该第二真实图像上取得与该第二匹配图像的各该像素相匹配的第四匹配图像；

判断该第四匹配图像的各像素是否为适当匹配，并且输出该第一或该第二匹配图像的各该像素任一个的匹配结果，其中该第四匹配图像的各该像素为适当匹配时的匹配结果精度大于该第四匹配图像的各该像素不是适当匹配时的匹配结果精度。

34.如权利要求30所述的深度图像采集方法，其特征在于，该像差图像是利用三角测距法产生。

35.一种深度图像采集方法，对被测物采集一深度图像，用于具有第一与第二投光装置以及图像传感装置的深度图像采集装置，该深度图像采集方法包括：

该第一与该第二投光装置将投影图案投影到该被测物，该图像传感装置传感投影到该被测物上的该投影图案，以产生一真实图像，其中该第一与该第二投光装置做为第一与第二虚拟图像传感装置，将该投影图案的本源图像转换为第一与第二虚拟图像；

将该真实图像的各像素与该第一虚拟图像的各像素进行匹配比对，以获得一第一匹配图像，

将该真实图像的各该像素与该第二虚拟图像的各像素进行匹配比对，以获得一第二匹配图像；

利用该第一与该第二匹配图像的像素进行匹配验证，输出一验证后的匹配图像，其中该验证后的匹配图像的各像素为该第一与该第二匹配图像的各该像素的其中之一；以及

36.如权利要求35所述的深度图像采集方法，其特征在于，更包括：

将该真实图像进行高通滤波处理，并将该本源图像进行低通滤波，以产生该第一与该第二虚拟图像；

将该高通滤波处理后的该真实图像进行反扭曲修正；

将该反扭曲修正后的该真实图像以及该第一与该第二虚拟图像分别进行图像重整；以及

将该图像重整后的该真实图像与该第一、该第二虚拟图像进行匹配比对，以分别获得该第一匹配图像与该第二匹配图像。

37.如权利要求35所述的深度图像采集方法，其特征在于，输出各该匹配像素更包括：

判断该第一与该第二匹配图像的像素是否均为适当匹配；

若该第一与该第二匹配图像的各该像素只有其中的一者为适当匹配，输出适当匹配的该第一或该第二匹配图像的各该像素的匹配结果，若该第一与该第二匹配图像的各该像素均非适当匹配，输出无适当匹配的匹配结果；

若该第一与该第二匹配图像的各该像素为一致，则输出该第一与该第二匹配图像的各该像素的任一个的匹配结果，若不一致，则输出无适当匹配的匹配结果。

38.如权利要求37所述的深度图像采集方法，其特征在于，判断该第一与该第二匹配图像的各该像素是否均为适当匹配是利用该第一与该第二匹配图像的各该像素的匹配成本函数。

39.如权利要求38所述的深度图像采集方法，其特征在于，验证该第一与该第二匹配图像的各该像素是否符合一致是依据相机成像原则。

40.如权利要求35所述的深度图像采集方法，其特征在于，该像差图像是利用三角测距法产生。

41.一种深度图像采集装置，包括：

投光装置，用以投射投影图案到被测物上，其中该投光装置做一虚拟图像传感装置，以该投影图案的本源图像做为虚拟图像；

图像传感装置，传感投影到该被测物上的该投影图案，以产生真实图像；以及

图像处理单元，耦接至该投光装置以及该图像传感装置，

其中该图像处理单元将该真实图像的各像素与该虚拟图像的各像素进行匹配比对，以获得一匹配图像；以及

依据该真实图像的各该像素与该匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生一深度图像。

42.如权利要求41所述的深度图像采集装置，其特征在于，该投光装置更包括：

光源，用以发出投光光束；以及

43.如权利要求42所述的深度图像采集装置，其特征在于，该投光装置更包括：

44.如权利要求43所述的深度图像采集装置，其特征在于，该透镜组包含一片或以上的透镜。

45.如权利要求42所述的深度图像采集装置，其特征在于，该投影图案产生元件为衍射光学元件。

46.如权利要求45所述的深度图像采集装置，其特征在于，该衍射光学元件包括计算机生成的全息图或光栅与相位式衍射元件。

47.如权利要求42所述的深度图像采集装置，其特征在于，该投影图案产生元件为光罩。

48.如权利要求47所述的深度图像采集装置，其特征在于，该光罩为铬金属薄膜的石英玻璃片、网点印刷板与金属板的其中之一。

49.如权利要求42所述的深度图像采集装置，其特征在于，该光源为红外线激光、发光二极管、紫外光与可见光的其中之一。

50.如权利要求41所述的深度图像采集装置，其特征在于，更包括光学滤镜，配置在该图像传感装置前。

51.如权利要求41所述的深度图像采集装置，其特征在于，该投影图案为预先设计或随机产生。

52.如权利要求41所述的深度图像采集装置，其特征在于，该投影图案为随机分布的散乱光点图案。

53.如权利要求42所述的深度图像采集装置，其特征在于，更包括控制器，耦接到该投光装置与该图像传感装置，以脉波驱动方式来驱动该光源。

54.一种深度图像采集装置，包括：

至少一投光装置，用以投射投影图案到被测物上；

其中该图像处理单元将该第一真实图像的各像素与该第二真实图像的各像素分别进行匹配比对，以获得一匹配图像；以及

依据该第一真实图像的各该像素与该匹配图像的各像素，产生一像差图像，并且依据该像差图像，计算出对应的深度值，产生一深度图像。

55.如权利要求54所述的深度图像采集装置，其特征在于，该投光装置更包括：

光源，用以发出投光光束；以及

56.如权利要求55所述的深度图像采集装置，其特征在于，该投光装置更包括：

57.如权利要求56所述的深度图像采集装置，其特征在于，该透镜组包含一片或以上的透镜。

58.如权利要求55所述的深度图像采集装置，其特征在于，该投影图案产生元件为衍射光学元件。

59.如权利要求58所述的深度图像采集装置，其特征在于，该衍射光学元件包括计算机生成的全息图或光栅与相位式衍射元件。

60.如权利要求55所述的深度图像采集装置，其特征在于，该投影图案产生元件为光罩。

61.如权利要求60所述的深度图像采集装置，其特征在于，该光罩为铬金属薄膜的石英玻璃片、网点印刷板与金属板的其中之一。

62.如权利要求55所述的深度图像采集装置，其特征在于，该光源为红外线激光、发光二极管、紫外光与可见光的其中之一。

63.如权利要求54所述的深度图像采集装置，其特征在于，更包括光学滤镜，配置在该图像传感装置前。

64.如权利要求54所述的深度图像采集装，其特征在于，该投影图案为预先设计或随机产生。

65.如权利要求54所述的深度图像采集装置，其特征在于，该投影图案为随机分布的散乱光点图案。

66.如权利要求55所述的深度图像采集装置，其特征在于，更包括控制器，耦接到该投光装置以及该第一与该第二图像传感装置，以脉波驱动方式来驱动该光源。

67.一种深度图像采集系统，用以取得被测物的深度图像，该深度图像采集系统包括多数个深度图像采集装置，其中各所述深度图像采集装置如权利要求1至第26以及第41至66的任一所述的深度图像采集装置。

68.如权利要求67所述的一种深度图像采集系统，其特征在于，各所述深度图像采集装置分别以不同波长光源来进行取像。

69.如权利要求67所述的一种深度图像采集系统，其特征在于，各所述深度图像采集装置是以时间分割来进行取像。