CN103903222B - 三维感测方法与三维感测装置 - Google Patents

三维感测方法与三维感测装置 Download PDF

Info

Publication number
CN103903222B
CN103903222B CN201310056466.9A CN201310056466A CN103903222B CN 103903222 B CN103903222 B CN 103903222B CN 201310056466 A CN201310056466 A CN 201310056466A CN 103903222 B CN103903222 B CN 103903222B
Authority
CN
China
Prior art keywords
image
interest
scaling
region
resolution ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310056466.9A
Other languages
English (en)
Other versions
CN103903222A (zh
Inventor
罗文秀
陈加珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN103903222A publication Critical patent/CN103903222A/zh
Application granted granted Critical
Publication of CN103903222B publication Critical patent/CN103903222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种三维感测方法与装置。该三维感测方法包括下列步骤：先对第一与第二待处理图像进行分辨率缩放，以产生缩放后的第一图像与第二图像；接着，对缩放后的第一与第二图像进行全景三维测量，以获得全景深度图像；并且，分析此全景深度图像以分别设定第一兴趣区域与第二兴趣区域；再依据第一与第二兴趣区域分别获取第一兴趣区域图像与第二兴趣区域图像，据以进行局部三维测量后产生局部深度图像。

Description

三维感测方法与三维感测装置
技术领域
本发明是有关于一种可动态调整图像感测区域与分辨率的三维感测方法及其三维感测装置。
背景技术
现有图像传感器发展相当成熟，但仅能取得二维图像信息，因此如何有效、高速且高分辨率的取得其第三维(即深度)的信息一直是技术发展上的课题。由于深度图像提供更完整的空间图像信息，因此可以用来设计作为3D(three dimensional)互动游戏、互动浏览装置操作接口。其次，在安全图像监控、机器人视觉及医疗图像应用上也有相当的发展潜力。2010年底，微软正式发表新世代体感游戏设备Kinect，采用人体动作为游戏的互动媒介，其中就是以深度传感器为主要核心元件。以目前发展来说，手势与人体互动界面相关技术与应用已掀起一波热潮。
随着制造技术的进步，极高分辨率的图像捕获设备例如相机、摄影机等已经很容易取得。但是受限于图像的传输速率与图像处理速度，想要以高分辨率图像捕获设备，进行实时高分辨率3D测量，还是非常困难。更详细地说，深度测量的精确度是由测量范围与图像捕获设备的图像分辨率两项因素所决定。因此，测量范围愈小，精确度愈高，但是测量范围过小，会造成使用上的限制。另一方面，图像分辨率愈高，精确度虽然愈高，但是数据量却大幅增加，易造成图像处理资源过高、反应速率大幅降低与传输延迟等问题。因此，在运算资源有限的情况下，如何兼顾测量精确度与运算处理速度，并且可动态调整图像感测区域与分辨率，是实时高分辨率3D测量的一重要课题。
发明内容
本发明提供一种三维感测方法及其三维感测装置，在兼顾测量精确度与运算处理速度的前提下，达成可动态调整测量范围的高分辨率三维测量。
本发明提出一种三维感测方法，适于对第一待处理图像与第二待处理图像进行深度图像运算，其中第一与第二待处理图像的分辨率为M×N。三维感测方法包括下列步骤。先对第一与第二待处理图像进行分辨率缩放(Resolution scaling)，以产生缩放后的第一图像与第二图像。其中，缩放后的第一与第二图像的分辨率为m×n，其中m＜M、n＜N，且M、N、m、n都为正整数。接着，对缩放后的第一与第二图像进行全景三维测量，以获得全景深度图像。并且，分析此全景深度图像以分别设定产生第一与第二待处理图像的图像捕获设备的第一兴趣区域(Region ofinterest)与第二兴趣区域。再依据第一与第二兴趣区域分别获取第一兴趣区域图像与第二兴趣区域图像，据以进行局部三维测量后产生局部深度图像。
本发明另提出一种三维感测装置，其包括投光装置、图像捕获设备以及图像处理单元。其中，投光装置用以投射投影图案到被测物上，其中投光装置作为虚拟图像捕获设备，以投影图案的本源图像(inherent image)作为虚拟的第一待处理图像。图像捕获设备用以感测投影到被测物上的投影图案，以产生真实的第二待处理图像，其中第一与第二待处理图像的分辨率为M×N。图像处理单元耦接投光装置与图像捕获设备。图像处理单元对第一与第二待处理图像进行分辨率缩放以产生缩放后的第一图像与第二图像。缩放后的第一与第二图像的分辨率为m×n，其中m＜M、n＜N，且M、N、m、n都为正整数。图像处理单元对缩放后的第一与第二图像进行全景三维测量，以获得全景深度图像。图像处理单元分析全景深度图像以分别设定投光装置的第一兴趣区域与图像捕获设备的第二兴趣区域。最后，图像处理单元对第一兴趣区域图像与第二兴趣区域图像进行局部三维测量，以产生局部深度图像。
本发明又提出一种三维感测装置，其包括投光装置、第一与第二图像捕获设备以及图像处理单元。其中，投光装置用以投射投影图案到被测物上。第一与第二图像捕获设备分别感测投射到被测物上的投影图案，以产生第一待处理图像与第二待处理图像，其中第一与第二待处理图像的分辨率为M×N。图像处理单元耦接至投光装置、第一与第二图像捕获设备。图像处理单元对第一与第二待处理图像进行分辨率缩放以产生缩放后的第一图像与第二图像。缩放后的第一与第二图像的分辨率为m×n，其中m＜M、n＜N，且M、N、m、n都为正整数。图像处理单元对缩放后的第一与第二图像进行全景三维测量，以获得全景深度图像。图像处理单元并分析全景深度图像以分别设定第一与第二图像捕获设备中的第一兴趣区域与第二兴趣区域。最后，图像处理单元对第一兴趣区域图像与第二兴趣区域图像进行局部三维测量，以产生局部深度图像。
基于上述，本发明提出一种三维感测方法及其三维感测装置，利用分辨率缩放与兴趣区域的设定方法，达成高速、高分辨率并且可动态调整测量范围的数字变焦三维感测方法与装置。
为让本发明的上述特征和优点能更明显易懂，下文特举实施范例，并配合所附附图作详细说明如下。
附图说明
图1是根据本发明一范例实施例所绘示的三维感测装置的架构示意图。
图2是根据本发明一范例实施例所绘示的分辨率缩放与兴趣区域的示意图。
图3是根据本发明另一范例实施例所绘示的三维感测装置的架构示意图。
图4绘示为投光装置当作虚拟图像捕获设备时的本源图像与虚拟图像之间的关系示意图。
图5是根据本发明一范例实施例所绘示的三维感测方法的流程图。
图6是根据本发明一范例实施例所绘示的决定兴趣区域的示意图。
图7绘示为现有一种机械式三维感测装置的架构示意图。
图8(a)与图8(b)是根据本发明一范例实施例所绘示的可数字变焦的图像捕获设备的实施概念示意图。
图9是现有一种双相机三维感测方法的流程图。
图10是根据本发明另一范例实施例所绘示的三维感测方法的流程图。
图11是根据本发明另一范例实施例所绘示的设定兴趣区域的示意图。
图12是根据本发明另一范例实施例所绘示的依据像差设定兴趣区域的示意图。
【主要元件符号说明】
100、300：三维感测装置；
110、310：投光装置；
120、130、320：图像捕获设备；
140、330：图像处理单元；
610：图像；
620：全景深度图像；
622：关注区域；
630、Roi1、Roi2、Roi1’、Roi2’、1101：兴趣区域；
700：机械式三维感测装置；
710：可变焦深度摄影机；
720、730：旋转轴；
801：最大视野；
803、805：有效视野；
A：待处理图像原点；
B：兴趣区域原点；
C：投影中心；
D1：最大测量范围；
D2：低分辨率测量范围；
D3：高分辨率测量范围线；
AX：光轴；
λ：像差值；
Img1、Img1’：第一图像；
(τx，τy)：位移量；
V(i，j)：虚拟图像；
H(i，j)：本源图像；
S510～S550：一范例实施例的三维感测方法的各步骤；
S910～S940：现有一种三维感测方法的各步骤；
S1001～S1017：另一范例实施例的三维感测方法的各步骤。
具体实施方式
本发明通过结合分辨率缩放(Resolution scaling)与兴趣区域(Region ofinterest)设定方法，提供一种可动态调整取像范围的三维感测方法及其装置，因此能够在维持高速运算下，在大范围内区域(global area)进行低分辨率深度测量或是在特定小范围区域(local area)进行高分辨率深度测量。同时通过本发明所提出的校正、测量方法，利用坐标转换和双图像捕获设备，达成类似数字变焦深度摄影机的三维测量功能。为了使本发明的内容更为明了，以下列举实施例作为本发明确实能够据以实施的范例。所提出的实施例仅作为解说之用，并非用来限定本发明的保护范围。
图1是根据本发明一范例实施例所绘示的三维感测装置的架构示意图。请参照图1，本范例实施例的三维感测装置100包括一投光装置110、至少两台图像捕获设备120、130以及一图像处理单元140。投光装置110例如是光学投影装置、数字投影装置等，主要是将随机分布的散乱光点的投影图案投射至被测物(在本范例实施例中未绘示)上。此随机分布的散乱光点图案可以是预先设计，或者是自动、随机产生。图像捕获设备120、130用以撷取将投影图案投影在被测物后的图像，以分别取得第一待处理图像与第二待处理图像。图像捕获设备120、130例如是摄影机、单眼相机、数字相机等各种可以用来撷取图像数据的电子装置。
图像处理单元140为中央处理器、可编程微处理器、数字信号处理器、可编程控制器、特定应用集成电路、可编程逻辑元件或任何类似元件。图像处理单元140为耦接投光装置110、图像捕获设备120、130，以接受及处理由图像捕获设备120、130所撷取的图像。
图2是根据本发明一范例实施例所绘示的分辨率缩放与兴趣区域的示意图。请参照图1与图2，在此假设图像捕获设备120、130所撷取的待处理图像的最大图像分辨率为M×N。则利用分辨率缩放功能可将待处理图像的分辨率缩小成m×n，其中m＜M、n＜N，且M、N、m、n都为正整数。在分辨率缩放处理中虽然分辨率降低，但因为可视范围不变所以可进行大范围深度测量。另一方面，在设定兴趣区域处理中，图像分辨率不变，但图像输出尺寸(dimension)由M×N变成m×n。在兴趣区域处理中虽然可视范围缩小，但因为图像分辨率不变所以可进行高分辨率深度测量。
三维感测装置100在进行测量时，例如都以m×n的图像分辨率进行深度测量，因此图像捕获设备120、130传送到图像处理单元140的图像数据都维持m×n的图像分辨率。如此一来，图像处理单元140在传输或处理图像数据时，由于图像数据的大小都维持在指定的范围内，使得三维感测装置100在进行深度测量时可以进行高速运算处理。
上述图1所示的三维感测装置100为使用两台图像捕获设备进行深度测量。然而，在另一范例实施例中，双图像捕获设备的其中之一可以是虚拟相机，即，符合针孔模型(Pin-hole model)的投光装置。
图3是根据本发明另一范例实施例所绘示的三维感测装置的架构示意图。请参照图3，本范例实施例的三维感测装置300包括一投光装置310、一图像捕获设备320以及一图像处理单元330。在本范例实施例中，投光装置310被当作一虚拟图像捕获设备(或称为虚拟相机)来使用，其所产生的本源图像(inherent image)作为虚拟的第一待处理图像与图像捕获设备320所取得的第二待处理图像一并传送至图像处理单元330，以进行分析进而获得全景深度图像或局部深度图像。
在进行测量时，投光装置310有两个主要用途：一是当作光源，让实际存在的真实相机(例如图像捕获设备320)能够撷取图像；二是制造亮暗或色彩变化，让真实相机所取得的图像含有丰富的特征或变化，方便后续的图像分析处理。
更详细地说，图4绘示为投光装置当作虚拟图像捕获设备时的本源图像与虚拟图像之间的关系示意图。如图4所示，以针孔模型描述投光装置时，在此可以想象此投光装置相当于一台虚拟相机。虚拟相机的光轴AX及投影中心C，与投光装置的光轴及投影中心完全一致，故虚拟相机所成像的虚拟图像V(i，j)的位置和图像大小与投光装置的本源图像H(i，j)完全一致或成比例。也就是说，本源图像即是投光装置所投射的图像，虚拟相机所取得的图像即是这个图像的数字化版本(在此称为数字化本源图像)。在本范例实施例中，同样可将数字化本源图像的分辨率设定为最大分辨率M×N，以作为第一待处理图像。如此一来，同样可以对虚拟相机所获得的数字化本源图像进行分辨率缩放和设定兴趣区域的操作。
图5是根据本发明一范例实施例所绘示的三维感测方法的流程图。本实施例的方法适用于图1的三维感测装置100或图3的三维感测装置300。为方便后续说明，以下搭配三维感测装置300来说明本实施例三维感测方法的详细步骤：
如步骤S510所述，图像处理单元330对第一待处理图像与第二待处理图像进行分辨率缩放处理，以产生缩放后的第一图像与第二图像。其中，第一待处理图像与第二待处理图像分别是由投光装置310以及图像捕获设备320所获取。第一待处理图像与第二待处理图像的分辨率为M×N；缩放后的第一图像与第二图像的分辨率为m×n，其中m＜M、n＜N。换句话说，缩放后的第一与第二图像的分辨率低于第一与第二待处理图像的分辨率。
在步骤S520中，图像处理单元330对缩放后的第一与第二图像进行全景三维测量，以获得全景深度图像。也就是说一开始测量时，使用分辨率缩放的功能来降低图像的分辨率，然后才据以测量深度图。虽然测量的精确度降低，但是测量范围不变，且可提升测量速度。
接着，在步骤S530中，图像处理单元330分析全景深度图像以分别设定产生第一待处理图像与第二待处理图像的图像捕获设备的第一兴趣区域与第二兴趣区域。详细地说，图像处理单元330分析全景深度图像来设定投光装置310的第一兴趣区域，并且设定图像捕获设备320的第一兴趣区域。
图6是根据本发明一范例实施例所绘示的决定兴趣区域的示意图。请参照图6，图像610例如是第一待处理图像，图像分辨率为M×N，经由分辨率缩放以及全景三维测量后得到全景深度图像620。图像处理单元330分析并侦测全景深度图像620中具有特定形状或指定特征的区域，以作为关注区域(Interested area)622。再将关注区域622的图像分辨率恢复到M×N，据以设定兴趣区域630。其中，兴趣区域630的尺寸例如是m×n，兴趣区域630必须涵盖关注区域的图像。至于如何依据第一兴趣区域来设定第二兴趣区域的方法则容后详述。
接着在步骤S540中，投光装置310依据第一兴趣区域的位置获取第一兴趣区域图像，图像捕获设备320依据第二兴趣区域的位置获取第二兴趣区域图像。图像处理单元330利用第一与第二兴趣区域图像进行局部三维测量，以获得局部深度图像。在此步骤中，由于仅针对属于兴趣区域部分的图像区块进行测量，因此可以得到高精确度的测量效果。
在步骤S550中，则可依实际应用需求进行后续的资料分析处理。若需要再进行下一轮的测量、分析，则重新回到步骤S510。
因此，结合分辨率缩放与兴趣区域的设定方法，可以用较高的测量速度进行运算，并且快速地在大范围的图像区域内找到关键位置而进行高精确度深度测量。以下则举实施例说明本发明的三维感测装置100、300如何达成数字变焦的功能。
图7绘示为现有一种机械式三维感测装置的架构示意图。请参照图7，机械式三维感测装置700是由一个可变焦的深度摄影机710与两个旋转轴720、730所组成。可变焦深度摄影机710通过改变镜头焦距以及配合两个方向的旋转轴，可以改变测量范围。举例来说，虚线D1所示为深度摄影机710的最大测量范围；虚线D2所示为深度摄影机710使用一种短焦距进行大范围测量的低分辨率测量范围；实线D3所示为深度摄影机710使用一种长焦距进行小范围测量的高分辨率测量范围。
使用如图7所示的机械式三维感测装置价格昂贵且笨重。因此，本发明利用高分辨率的图像捕获设备，使用分辨率缩放以及设定兴趣区域的方法，可以建构一种电子电路版本的三维测量系统，可用来取代机械式三维感测装置。
图8(a)与图8(b)是根据本发明一范例实施例所绘示的可数字变焦的图像捕获设备的实施概念示意图。首先，可以使用分辨率缩放的方法，让图像捕获设备的最大视野801成像在不同分辨率的图像上，最大视野801的分辨率例如是M×N。举例来说，图8(a)的第一图像Img1的图像分辨率例如是a×b；图8(b)的第一图像Img1’的图像分辨率例如是c×d。其中a＞c，b＞d，a、b、c、d都为正整数。接着，分别在图8(a)的第一图像Img1与图8(b)的第一图像Img1’中选取相同尺寸的兴趣区域Roi1、Roi1’，兴趣区域Roi1、Roi1’的尺寸例如是m×n。如图8(a)与图8(b)所示，相对于兴趣区域Roi1、Roi1’的有效视野803、805会随着分辨率缩放的比例关系而有所不同。
以图8(a)为例，图8(a)的第一图像Img1例如是由图1的图像捕获设备120(或图3的投光装置310)所获取；图8(a)的第二图像Img2例如是由图1的图像捕获设备130(或图3的图像捕获设备320)所获取。以图1的三维感测装置100为例实行数字变焦深度测量时，让图像捕获设备120、130的兴趣区域尺寸维持不变。并且让图像捕获设备120的兴趣区域保持在正中间位置，图像捕获设备130的兴趣区域则偏离正中间一段距离，即像差值(Disparity)，以便撷取的第一图像Img1和第二图像Img2能得到最多的对应点。像差值λ与待测物的深度值有关，可以从全景测量或先前测量结果，配合图像捕获设备120、130的校正参数估计出来。
依据上述，图8(a)实现一种高倍率数字变焦深度测量的实施概念；图8(b)实现一种低倍率数字变焦深度测量的实施概念。使用两个图像捕获设备的兴趣区域内的图像进行三维测量，通过变化不同的分辨率缩放比例，即可达成数字变焦深度测量的功能。如本范例实施例通过改变第一个图像捕获设备的兴趣区域的位置，并同时改变第二个图像捕获设备的兴趣区域的对应位置，等同于图7所示使用两个旋转轴720、730来改变测量位置的功效。
以下则详细说明经分辨率缩放或设定兴趣区域后的第一、第二图像(分辨率为m×n)与第一、第二待处理图像(分辨率为M×N)之间的坐标转换关系。假设(x，y)是第一、第二待处理图像上任一点的坐标，经过分辨率缩放之后，在缩放后的第一、第二图像上的对应坐标是(x’，y’)，两者间的关系如下：
x＝αx′
y＝βy′ (1)
其中，α是分辨率缩放的水平缩放倍率、β是分辨率缩放的垂直缩放倍率，α＝M/m，β＝N/n。其中当该水平缩放倍率相同于该垂直缩放倍率时，α＝β，其中当该水平缩放倍率不同于该垂直缩放倍率时，α≠β。
另一方面，假设(x，y)是第一、第二待处理图像上任一点的坐标，设定兴趣区域之后，在第一、第二图像上的对应坐标是(x”，y”)，两者间的关系如下：
x＝x″+τx
(2)
y＝y″+τy
其中，(τx，τy)是兴趣区域原点B与待处理图像原点A之间的位移量(如图2所示)。
图9是现有一种双相机三维感测方法的流程图。运用图9的三维感测方法的双相机的图像分辨率与视野大小都维持不变。首先第一、第二待处理图像经过反扭曲修正(anti-distortion correction)，将相机的各种图像扭曲效应消除，成为符合针孔模式的理想图像(步骤S910)。在本范例实施例中，假设(x，y)是原始图像上任一点的坐标，进行反扭曲修正后，新的坐标成为(x’，y’)，两者间的关系如下：
x′＝Φx(x，y) (3)
y′＝Φy(x，y)
其中Φx，Φy是反扭曲修正函数。本领域技术人员可以采用任何的相机镜头反扭曲修正函数来进行反扭曲补偿。
进行扭曲补偿校正后，第一、第二图像再个别进行图像转正(Imagerectification)，让两张图像上的对应点落在同一个水平线上(步骤S920)。图像转正例如是以两个3×3的矩阵H1、H2转换来达成，其中H1是第一个相机的转正矩阵(Rectificationmatrix)，H2是第二个相机的转正矩阵。反扭曲修正和图像转正都是单纯的图像坐标转换，因此两者可以整合成一个复合转换函式。在本范例实施例中，假设(x1，y1)、(x2，y2)分别是第一和第二待处理图像上任一点的坐标，经过反扭曲修正和图像转正后，新的坐标分别成为(x’1，y’1)、(x’2，y’2)，两者间的关系如下：
x′1＝Ψ1 x(x1，y1)y′1＝Ψ1 y(x1，y1) (4)
x′2＝Ψ2 x(x2，y2)y′2＝Ψ2 y(x2，y2)
其中Ψ1，Ψ2分别是第一和第二待处理图像的复合转换函式。两张图像经过转正后，即可进行立体图像比对(Stereo matching)，以找出在两张图像上的对应点(步骤S930)。找到两张图像上的对应点后，使用两个相机的三维参数，可以计算出三维坐标点的位置(步骤S940)。两个相机的三维参数例如可以用两个3×4的矩阵P1、P2来表示，其中P1是第一个相机的投影矩阵(Projection matrix)，P2是第二个相机的投影矩阵。将第一图像的任一点(x1，y1)，和它在第二图像的对应点(x2，y2)，分别代入投影矩阵P1、P2中，即可算出此点的三维坐标。以第一图像为基准，只要每个像素点都找出在第二图像中的对应点，就可计算出每个像素点的深度值，从而产生一张深度图像。
图10是根据本发明另一范例实施例所绘示的三维感测方法的流程图。与图9不同的是，运用图10的三维感测方法的双相机的图像分辨率与视野大小都可以改变。其中在此所指的双相机例如是图1所示的图像捕获设备120、130；或者是图3所示的投光装置310(作为虚拟相机)及图像捕获设备320。双相机的设定端视实际应用需求而定，在此不限制。
在进行实际的深度测量时，双相机必须先经过校正，以取得三维测量所需的相机三维参数。在进行校正时，先分别将两个相机的分辨率设定成最大分辨率M×N，在此分辨率下利用现有的相机校正方法，产生反扭曲修正(anti-distortion correction)、图像转正(Image rectification)、以及相机三维参数。使用双相机所能设定的最大分辨率M×N进行校正，可以获得最大的校正精确度。并且，在分辨率缩放或设定兴趣区域后所取得的m×n图像，其图像坐标可以由前述范例实施例所述的图像坐标转换方法，转换回对应至M×N图像的坐标。据此，双相机仅须以最大分辨率M×N校正一次，之后，就可使用此校正参数进行后续的图像转换与三维坐标计算。
请参照图10，在本范例实施例中，是以设定兴趣区域的操作来进行三维感测，因此先依据第一待处理图像来设定第一相机的兴趣区域(步骤S1001)。如图6所示，先分析低分辨率全景测量的景深图来选取关注区域，再依据关注区域来设定第一相机的兴趣区域。
图11是根据本发明另一范例实施例所绘示的设定兴趣区域的示意图。在本范例实施例中，假设在第一待处理图像中的兴趣区域的原点是(x1，y1)，图像尺寸是m×n。经过第一相机的反扭曲修正和图像转正的复合转换函式Ψ1之后，(x1，y1)的新坐标变为(x’1，y’1)。假设经过第二个相机的反扭曲修正和图像转正的复合转换函式Ψ2之后，(x’1，y’1)的图像映射点是(x’2，y’2)。因为第一、第二相机都经过图像转正，所以两个相机的图像映射点位于同一水平线。(x’1，y’1)与(x’2，y’2)的关系如下所示：
x′2＝x′1+λ (5)
y′2＝y′1
其中，λ是像差值，与(x1，y1)的深度值有关，是个未知量，可以从先前低分辨率全景测量的测量结果，得到大约的估计值。图12是根据本发明另一范例实施例所绘示的依据像差设定兴趣区域的示意图。如图12所示，一个待测物因其深度值的不同，在第一、第二图像上会呈现不同程度的位移量，即像差值(disparity)。若像差值λ估计不当，会使得第二相机的兴趣区域无法完整涵盖待测物，使得测量结果不完整。需注意的是，像差值λ的估计不需要很精确，只要让第二相机的兴趣区域涵盖整个待测物即可。再请参照图11，得到了适当的(x’2，y’2)数值后，经过第二相机的逆向复合转换(Ψ2)-1，可以得到其在第二待处理图像上的坐标位置(x2，y2)，如下所示：
x2＝(Ψ2)-1 x(x′2，y′2) (6)
y2＝(Ψ2)-1 y(x′2，y′2)
接着便可将坐标(x2，y2)设定为第二相机的兴趣区域原点，其中兴趣区域的图像尺寸同样是m×n(步骤S1003)。
回到图10，在第一、第二相机都设定好兴趣区域之后，每次测量时只需要取出图像尺寸为m×n的兴趣区域图像(步骤S1005)。将这些图像利用式(2)来进行图像坐标转换之后(步骤S1007)，即可使用分辨率为M×N的第一、第二待处理图像的校正参数，来进行反扭曲修正和图像转正的复合图像转换，以产生新的图像尺寸为m×n的图像(步骤S1009、S1011)。针对两张图像尺寸为m×n的新图像，使用立体图像比对(Stereo matching)找到对应点(步骤S1013)。再将两张图像上的对应点利用式(2)进行坐标转换(步骤S1015)，就可以使用分辨率为M×N的待处理图像的校正参数来计算三维坐标(步骤S1017)，最后产生图像尺寸为m×n的局部深度图。本范例实施例的步骤S1009、S1011、S1013、S1017分别与图9的实施例的步骤S910、S920、S930、S940相同或类似，故在此不赘述其实施细节。
为了说明方便，前文中在分辨率缩放和兴趣区域所设定的图像尺寸都是m×n。实际上，两者的图像尺寸可为不同。同时在实际测量时，m与n的数值也不须要固定不变，可以根据实际应用需求来选取适当的数值。
图10所描述的三维感测方法，也可以适用于分辨率缩放和兴趣区域同时运用的范例实施例。例如，以α的缩放倍率对分辨率为M×N的图像进行分辨率缩放，新的图像分辨率成为M’×N’。然后再设定兴趣区域，(τx，τy)例如是兴趣区域原点与分辨率为M’×N’图像原点之间的位移量，其中兴趣区域尺寸为m×n。假设(x，y)是分辨率为M×N图像上任一点的坐标，在分辨率缩放和兴趣区域的设定操作之后，(x，y)在尺寸为m×n图像上的对应坐标是(x’，y’)，两者间的关系如下：
x＝α(x′+τx) (7)
y＝α(y′+τy)
只要使用式(7)进行坐标转换，同样可以使用如图10所述的方法流程进行三维感测。
综上所述，本发明的三维感测方法及其三维感测装置，通过使用分辨率缩放(Resolution scaling)与兴趣区域(Region of interest)的设定操作方法，达成可动态调整取像范围与分辨率的深度图像运算机制。因此，本发明能够在维持高速运算下，在大范围区域内进行深度图像运算或是在特定小范围区域进行高分辨率测量。同时，通过本发明的校正、测量方法，利用坐标转换和标准的双相机测量机制，可达成类似数字变焦深度摄影机的三维测量功能。
虽然本发明已以实施范例揭露如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作部分的更改与修饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (19)

1.一种三维感测方法，其特征在于，适于对一第一待处理图像与一第二待处理图像进行深度图像运算，其中该第一与该第二待处理图像的分辨率为M×N，该三维感测方法包括：
对该第一与该第二待处理图像进行一分辨率缩放，以产生缩放后的一第一图像与一第二图像，其中，缩放后的该第一与该第二图像的分辨率为m×n，其中m<M、n<N，且M、N、m、n都为正整数；
对缩放后的该第一与该第二图像进行全景三维测量，以获得一全景深度图像；
分析该全景深度图像以分别设定产生该第一与该第二待处理图像的图像捕获设备的一第一兴趣区域与一第二兴趣区域；以及
依据该分辨率缩放的比例关系，恢复该全景深度图像的该第一兴趣区域与该第二兴趣区域的图像分辨率，以获取一第一与一第二兴趣区域图像并进行局部三维测量，以产生一局部深度图像。
2.根据权利要求1所述的三维感测方法，其中分析该全景深度图像以分别设定产生该第一与该第二待处理图像的图像捕获设备的该第一与该第二兴趣区域的步骤包括：
分析并侦测缩放后的该第一图像中具有一特定形状或一指定特征的区域，以作为一关注区域；以及
依据该关注区域分别设定对应的该第一与该第二兴趣区域，其中该第一与该第二兴趣区域涵盖该关注区域。
3.根据权利要求2所述的三维感测方法，其中依据该关注区域分别设定对应的该第一与该第二兴趣区域的步骤包括：
依据该第一兴趣区域与一像差值来对应设定该第二兴趣区域。
4.根据权利要求1所述的三维感测方法，其中在进行局部三维测量的步骤之前还包括：
先分别对该第一兴趣区域图像与该第二兴趣区域图像进行一坐标转换；以及
对进行该坐标转换后的该第一与该第二兴趣区域图像进行一反扭曲修正及一图像转正后，产生一第一修正后图像与一第二修正后图像，据以对该第一与该第二修正后图像进行局部三维测量。
5.根据权利要求4所述的三维感测方法，其中该坐标转换是指依据该分辨率缩放的比例关系进行一坐标点的缩放。
6.根据权利要求5所述的三维感测方法，其中该第一或该第二兴趣区域图像中的坐标为(x’,y’)，该坐标转换如下：
x＝αx’，α＝M/m；
y＝βy’，β＝N/n；
其中，(x,y)是对应至该第一或该第二待处理图像的坐标，α是该分辨率缩放的一水平缩放倍率，β是该分辨率缩放的一垂直缩放倍率。
7.根据权利要求6所述的三维感测方法，其中当该水平缩放倍率相同于该垂直缩放倍率时，α＝β，其中当该水平缩放倍率不同于该垂直缩放倍率时，α≠β。
8.根据权利要求4所述的三维感测方法，其中该第一或该第二兴趣区域图像的坐标为(x”,y”)，该坐标转换如下：
x＝x”+τx，
y＝y”+τy，
其中，(x,y)是对应至该第一或该第二待处理图像的坐标，(τx,τy)是该第一或该第二兴趣区域图像的坐标原点与该第一或该第二待处理图像的坐标原点之间的位移量。
9.一种三维感测装置，其特征在于，包括：
一投光装置，用以投射一投影图案到一被测物上，其中该投光装置作为一虚拟图像捕获设备，以该投影图案的一本源图像作为虚拟的一第一待处理图像；
一图像捕获设备，感测投影到该被测物上的该投影图案，以产生真实的一第二待处理图像，其中该第一与该第二待处理图像的分辨率为M×N；以及
一图像处理单元，耦接该投光装置与该图像捕获设备，该图像处理单元对该第一与该第二待处理图像进行一分辨率缩放以产生缩放后的一第一图像与一第二图像，其中，缩放后的该第一与该第二图像的分辨率为m×n，其中m<M、n<N，且M、N、m、n都为正整数，
其中，该图像处理单元对缩放后的该第一与该第二图像进行全景三维测量，以获得一全景深度图像，并分析该全景深度图像以分别设定该投光装置的一第一兴趣区域与该图像捕获设备的一第二兴趣区域，该图像处理单元依据该分辨率缩放的比例关系，恢复该全景深度图像的该第一兴趣区域与该第二兴趣区域的图像分辨率，以获取一第一与一第二兴趣区域图像并对该第一兴趣区域图像与该第二兴趣区域图像进行局部三维测量，以产生一局部深度图像。
10.根据权利要求9所述的三维感测装置，其中：
该图像处理单元侦测缩放后的该第一图像中具有一特定形状或一指定特征的区域，决定缩放后的该第一图像中的一关注区域，并且依据该关注区域分别设定该投光装置的该第一兴趣区域与该图像捕获设备的该第二兴趣区域。
11.根据权利要求10所述的三维感测装置，其中：
该图像处理单元还依据该第一兴趣区域与一像差值来对应设定该第二兴趣区域。
12.根据权利要求9所述的三维感测装置，其中该投光装置依据该第一兴趣区域取得该第一兴趣区域图像，该图像捕获设备依据该第二兴趣区域取得该第二兴趣区域图像：
该图像处理单元转换该第一兴趣区域图像与该第二兴趣区域图像的坐标，并且对坐标转换后的该第一与该第二兴趣区域图像进行一反扭曲修正以及一图像转正，以产生一第一修正后图像与一第二修正后图像。
13.根据权利要求12所述的三维感测装置，其中：
该图像处理单元依据该分辨率缩放的比例关系进行一坐标点的缩放。
14.根据权利要求13所述的三维感测装置，其中该第一或该第二兴趣区域图像中的坐标为(x’,y’)，该坐标转换如下：
x＝αx’，α＝M/m；
y＝βy’，β＝N/n；
其中，(x,y)是对应至该第一或该第二待处理图像的坐标，α是该分辨率缩放的一水平缩放倍率，β是该分辨率缩放的一垂直缩放倍率。
15.根据权利要求13所述的三维感测装置，其中该第一或该第二兴趣区域图像的坐标为(x”,y”)，该坐标转换如下：
x＝x”+τx，
y＝y”+τy，
其中，(x,y)是对应至该第一或该第二待处理图像的坐标，(τx,τy)是该第一或该第二兴趣区域图像的坐标原点与该第一或该第二待处理图像的坐标原点之间的位移量。
16.根据权利要求12所述的三维感测装置，其中：
该图像处理单元还将该反扭曲修正与该图像转正整合为一复合图像转换，将该第一与该第二兴趣区域图像进行该复合图像转换后，以产生该第一修正后图像与该第二修正后图像。
17.根据权利要求9所述的三维感测装置，其中该投光装置所投射的该投影图案为预先设计或随机产生。
18.根据权利要求9所述的三维感测装置，其中该投光装置所投射的该投影图案为随机分布的散乱光点图案。
19.一种三维感测装置，其特征在于，包括：
一投光装置，用以投射一投影图案到一被测物上；
一第一与一第二图像捕获设备，分别感测投射到该被测物上的该投影图案，以产生一第一待处理图像与一第二待处理图像，其中该第一与该第二待处理图像的分辨率为M×N；以及
一图像处理单元，耦接该投光装置与该第一与该第二图像捕获设备，该图像处理单元对该第一与该第二待处理图像进行一分辨率缩放以产生缩放后的一第一图像与一第二图像，其中，缩放后的该第一与该第二图像的分辨率为m×n，其中m<M、n<N，且M、N、m、n都为正整数，
其中，该图像处理单元对缩放后的该第一与该第二图像进行全景三维测量，以获得一全景深度图像，并分析该全景深度图像以分别设定该第一与该第二图像捕获设备中的一第一兴趣区域与一第二兴趣区域，以及该图像处理单元依据该分辨率缩放的比例关系，恢复该全景深度图像的该第一兴趣区域与该第二兴趣区域的图像分辨率，以获取一第一与一第二兴趣区域图像并对该第一兴趣区域图像与该第二兴趣区域图像进行局部三维测量，以产生一局部深度图像。
CN201310056466.9A 2012-12-26 2013-02-22 三维感测方法与三维感测装置 Active CN103903222B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW101150246 2012-12-26
TW101150246A TWI591584B (zh) 2012-12-26 2012-12-26 三維感測方法與三維感測裝置

Publications (2)

Publication Number Publication Date
CN103903222A CN103903222A (zh) 2014-07-02
CN103903222B true CN103903222B (zh) 2017-06-27

Family

ID=50974737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310056466.9A Active CN103903222B (zh) 2012-12-26 2013-02-22 三维感测方法与三维感测装置

Country Status (3)

Country Link
US (1) US9230330B2 (zh)
CN (1) CN103903222B (zh)
TW (1) TWI591584B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023179B1 (ko) * 2013-02-21 2019-09-20 삼성전자주식회사 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치
TWI498526B (zh) * 2013-06-05 2015-09-01 Nat Univ Chung Cheng Environment depth measurement method and its image acquisition device
CN105631891B (zh) * 2016-02-22 2018-12-11 清华大学 人脸采集系统和人脸采集方法
CN105741308A (zh) * 2016-03-07 2016-07-06 英华达（上海）科技有限公司 一种多维视觉图像的获取方法及系统
CN107303204B (zh) * 2016-04-21 2019-12-27 北京大学口腔医学院 一种手持式口腔三维扫描装置及控制方法
CN109923585B (zh) * 2016-10-26 2021-06-08 华为技术有限公司 使用立体图像进行深度检测的方法和装置
US10841561B2 (en) * 2017-03-24 2020-11-17 Test Research, Inc. Apparatus and method for three-dimensional inspection
JP7005175B2 (ja) * 2017-05-30 2022-01-21 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
TWI649723B (zh) * 2017-12-05 2019-02-01 大陸商光寶電子〈廣州〉有限公司 深度成像裝置及其驅動方法
US10229714B1 (en) * 2018-01-29 2019-03-12 Kt Corporation Apparatus and user device for providing time slice video
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
TW202025083A (zh) * 2018-12-19 2020-07-01 財團法人工業技術研究院 動態調整深度解析度的裝置及其方法
US11039173B2 (en) * 2019-04-22 2021-06-15 Arlo Technologies, Inc. Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method
CN113573038B (zh) * 2020-04-29 2024-08-23 思特威(上海)电子科技股份有限公司 双目系统及深度图获取方法
CN112819874B (zh) * 2021-01-07 2024-05-28 北京百度网讯科技有限公司 深度信息处理方法、装置、设备、存储介质以及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1864633A (zh) * 2005-05-19 2006-11-22 西门子公司 扩大对象区域的立体图像的显示范围的方法
TW201230773A (en) * 2010-09-27 2012-07-16 Apple Inc Image capture using three-dimensional reconstruction
CN102724399A (zh) * 2011-03-25 2012-10-10 索尼公司 基于场景深度图的缩放、孔径和快门速度的自动设定

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6995762B1 (en) * 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
TW200720809A (en) 2005-11-24 2007-06-01 Ind Tech Res Inst Focalizable three-dimension picture-taking apparatus
DE102006002602A1 (de) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kalibrierungsverfahren und Kalibrierungssystem
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
KR101327791B1 (ko) 2007-09-11 2013-11-20 삼성전자주식회사 영상 매칭 장치 및 방법
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
TWI362628B (en) 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
US9336624B2 (en) 2008-10-07 2016-05-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for rendering 3D distance fields
US8199248B2 (en) 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
KR101613133B1 (ko) 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
TWI393980B (zh) 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US8239179B2 (en) 2009-12-14 2012-08-07 Harris Corporation Geospatial modeling system using single optical images and associated methods
TWI402479B (zh) 2009-12-15 2013-07-21 Ind Tech Res Inst 深度感測方法及應用其之系統
CN102005039B (zh) 2010-08-24 2012-05-23 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
TWI463244B (zh) 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
TWI464692B (zh) * 2012-07-03 2014-12-11 Wistron Corp 操作物辨識方法、操作物深度資訊建立方法及電子裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1864633A (zh) * 2005-05-19 2006-11-22 西门子公司 扩大对象区域的立体图像的显示范围的方法
TW201230773A (en) * 2010-09-27 2012-07-16 Apple Inc Image capture using three-dimensional reconstruction
CN102724399A (zh) * 2011-03-25 2012-10-10 索尼公司 基于场景深度图的缩放、孔径和快门速度的自动设定

Also Published As

Publication number Publication date
US9230330B2 (en) 2016-01-05
TW201426638A (zh) 2014-07-01
TWI591584B (zh) 2017-07-11
CN103903222A (zh) 2014-07-02
US20140177942A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
CN103903222B (zh) 三维感测方法与三维感测装置
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
TW201724026A (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
CN106254854B (zh) 三维图像的获得方法、装置及系统
CN110827392B (zh) 单目图像三维重建方法、系统及装置
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
US8179448B2 (en) Auto depth field capturing system and method thereof
SG189284A1 (en) Rapid 3d modeling
JP2011232330A (ja) 撮像装置、長さ測定方法、及びプログラム
WO2017156905A1 (zh) 一种将二维图像转化为多视点图像的显示方法及系统
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
WO2020221443A1 (en) Scale-aware monocular localization and mapping
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN112634379B (zh) 一种基于混合视域光场的三维定位测量方法
CN111047678B (zh) 一种三维人脸采集装置和方法
CN105739106A (zh) 一种体感多视点大尺寸光场真三维显示装置及方法
CN111833392A (zh) 标记点多角度扫描方法、系统及装置
Deng et al. Registration of multiple rgbd cameras via local rigid transformations
KR101841750B1 (ko) 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법
CN112150609A (zh) 一种基于室内实时稠密三维重建技术的vr系统
JPH1097642A (ja) 画像処理方法及び装置及び記憶媒体
KR20030054360A (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
CN110312123B (zh) 利用彩色图像和深度图像的集成成像显示内容生成方法
CN109089100B (zh) 一种双目立体视频的合成方法
JP5300645B2 (ja) 三次元温度分布表示装置、テクスチャ作成装置および三次元温度分布表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant