CN103900532A - 深度影像捕获设备、其校正方法与量测方法 - Google Patents

深度影像捕获设备、其校正方法与量测方法 Download PDF

Info

Publication number
CN103900532A
CN103900532A CN201310078197.6A CN201310078197A CN103900532A CN 103900532 A CN103900532 A CN 103900532A CN 201310078197 A CN201310078197 A CN 201310078197A CN 103900532 A CN103900532 A CN 103900532A
Authority
CN
China
Prior art keywords
image
sensor apparatus
image sensor
focal length
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310078197.6A
Other languages
English (en)
Other versions
CN103900532B (zh
Inventor
刘通发
罗文秀
陈加珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN103900532A publication Critical patent/CN103900532A/zh
Application granted granted Critical
Publication of CN103900532B publication Critical patent/CN103900532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种深度影像捕获设备、其校正方法与量测方法。深度影像捕获设备包括至少一投光装置、至少一影像感测装置、机构装置以及处理单元。投光装置投射出投影图案至被测物上。影像感测装置被控制以调整其焦距与聚焦位置，并分别感测真实影像。机构装置调整影像感测装置的位置和/或汇聚角。处理单元依据一基准焦距及其对应多个预设节点距离时的多笔影像设定参数组，以分别校正至少一影像感测装置以获得于基准焦距时的立体量测参数组，并据以计算出被测物的深度分布图或深度信息。

Description

深度影像捕获设备、其校正方法与量测方法
技术领域
本发明是有关于一种深度影像撷取技术，且特别是有关于一种变焦式的深度影像捕获设备、其校正方法及量测方法。
背景技术
现今的影像感测技术越发成熟，许多影像传感器除了能够取得二维影像以外，如何有效、实时且稳定的取得待测物的第三维(即深度)信息，便是目前深度影像感测技术在发展上的课题。深度影像感测技术由于可以估计影像捕获设备与待测物之间的距离，而能提供较为完整的三维空间讯息，因此可设计作为互动浏览装置操作接口、体感游戏之用，且也逐渐应用在安全影像监控、机器人视觉及医疗影像领域上。微软公司所发表的体感游戏设备Kinect是采用深度影像感测技术作为主要核心元件，使人体动作得以作为游戏的操控媒介，因而造成销售热潮，使得许多厂商更为重视深度影像感测技术及其应用。
目前采用深度影像感测技术的影像捕获设备(如，深度摄影机)通常都是采用定焦镜头来实现，因为定焦式深度摄影机中的相关影像撷取参数可在事前轻易地校准妥当，但也使得定焦式深度摄影机在进行拍摄时的视角范围(也称为感测范围)与影像分辨率也都是固定的。因此，若是待测物的外型太大而超过视角范围时，就需靠人力来调整定焦式深度摄影机的位置；若是待测物的尺寸太小而使得撷取的影像过于模糊时(也就是，影像分辨率过小)，也就无法透过所撷取的影像来进行深度感测。然而，若是采用变焦镜头来实现深度摄影机时，如何设定及调整变焦镜头的焦距，使深度摄影机能够针对特定待测距离或基准焦距进行校准，便是深度影像感测技术欲待解决的问题。
发明内容
本发明实施例提供一种深度影像捕获设备，其利用变焦式影像感测装置以及投光装置来进行主动式投光的深度影像量测，并利用机构装置来动态调整影像感测装置之间的距离和/或汇聚角度，藉以自动调整变焦式影像感测装置的位置和/或汇聚角度，使得本发明的深度影像捕获设备能够自动调整其影像撷取范围，并可调节被撷取影像的分辨率。
本发明实施例亦提出一种深度影像捕获设备校正及量测方法，其简化了对于变焦式影像感测装置所需进行的繁杂的校正、量测程序，从而简化深度影像捕获设备在设计及操作时的难度。
本发明实施例提出一种深度影像捕获设备，其包括至少一投光装置、第一与第二影像感测装置、机构装置以及处理单元。该投光装置投射出投影图案至被测物上。该第一与第二影像感测装置接收焦距调整信号以调整其焦距，并分别感测投影到被测物上的投影图案，以产生第一真实影像与第二真实影像。该机构装置耦接所述第一与所述第二影像感测装置，其接收镜头调整信号以调整第一与第二影像感测装置的位置和/或汇聚角。该处理单元耦接所述投光装置、第一与第二影像感测装置以及所述机构装置。该处理单元提供焦距调整信号以及镜头调整信号以调整该第一与第二影像感测装置的焦距、位置和/或汇聚角，且该处理单元对该第一与第二真实影像进行深度运算以产生深度信息。其中，该处理单元依据每个影像感测装置所对应的基准焦距对应多个预设节点距离时的多笔影像设定参数组，以校正获得该第一与第二影像于基准焦距时的立体量测参数组并据而进行深度运算。
本发明实施例另外提出一种深度影像捕获设备，其包括至少一投光装置、至少一影像感测装置、机构装置以及处理单元。该至少一投光装置投射出投影图案至被测物上。该至少一投光装置作为虚拟影像感测装置，且以投影图案的本源影像作为虚拟影像。该至少一影像感测装置接收焦距调整信号以调整其焦距，并感测投影到被测物上的投影图案，以产生至少一真实影像。该机构装置耦接该至少一影像感测装置，其接收镜头调整信号以调整该至少一影像感测装置的位置和/或汇聚角。该处理单元耦接所述投光装置、所述至少一影像感测装置以及所述机构装置。该处理单元提供焦距调整信号以及镜头调整信号以调整该至少一影像感测装置的焦距、位置和/或汇聚角，且所述处理单元对该至少一真实影像以及所述虚拟影像进行深度运算以产生深度信息。所述处理单元依据每个影像感测装置所对应的基准焦距对应多个预设节点距离时的多笔影像设定参数组，以校正获得所述至少一影像感测装置于基准焦距时的立体量测参数组，并据而进行深度运算。
本发明实施例提出一种深度影像捕获设备的校正方法。所述深度影像捕获设备包括至少一投光装置、至少一影像感测装置以及机构装置。该投光装置投射出投影图案至被测物上。该至少一影像感测装置感测所述投影到被测物上的投影图案，以产生至少一真实影像。该机构装置调整所述至少一影像感测装置的位置和/或汇聚角。所述深度影像捕获设备对所述至少一真实影像进行深度运算而产生深度信息。所述校正方法包括下列步骤：设定多个节点距离，以作为对应的多个节点的位置；设定对应每个节点的影像设定参数组；将所述至少一影像感测装置设定至各自的基准焦距，依据所述每个节点的影像设定参数组，设定所述至少一影像感测装置的状态；以及，针对每个节点个别进行校正，取得每个节点各自的立体(3D)量测参数组，用以进行立体量测计算。
本发明实施例提出一种深度影像捕获设备的量测方法。所述深度影像捕获设备包括至少一投光装置、至少一影像感测装置以及机构装置。该投光装置投射出投影图案至被测物上。所述至少一影像感测装置感测所述投影到被测物上的投影图案，以产生至少一真实影像。该机构装置调整所述至少一影像感测装置的位置和/或汇聚角。所述深度影像捕获设备对所述至少一真实影像进行深度运算而产生深度信息。所述量测方法包括下列步骤：接收指定焦距以及指定量测距离，其中该至少一影像感测装置分别设定有一基准焦距、多个节点的位置的多个节点距离以及对应各个节点的影像设定参数组以及立体量测参数组。依据所述指定量测距离与其对应的所述节点距离进行比对，以计算所述影像感测装置于指定焦距时的影像设定参数组与立体量测参数组。依据所述指定焦距的影像设定参数组以设定所述影像感测装置，其中所述影像感测装置分别感测投影到被测物上的投影图案，以产生至少一真实影像。依照所述指定焦距及所述基准焦距以计算影像转换关系式。以及，依据所述影像转换关系式转换所述真实影像，并依据所述指定焦距的所述立体量测参数组进行运算，以产生所述深度信息。
基于上述，本发明实施例所述的深度影像捕获设备可利用变焦式影像感测装置以及投光装置来进行主动式投光的深度影像量测，并利用机构装置来动态调整影像感测装置之间的距离和/或汇聚角度，藉以自动调整变焦式影像感测装置的位置和/或汇聚角度，使得本发明的深度影像捕获设备能够自动调整其影像撷取范围，并可调节被撷取影像的分辨率。本发明实施例亦提出一种深度影像捕获设备校正及量测方法，其针对每个影像感测装置，在预设的基准焦距以及与此基准焦距有关的预设节点距离之下进行校正，从而决定变焦式影像感测装置的影像设定参数组以及立体量测参数组，并将其作为后续深度影像感测时的参考，从而简化了对于变焦式影像感设装置的繁杂校正、量测程序，藉以简化深度影像捕获设备在设计及操作时的难度。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是根据本发明一实施例说明深度影像捕获设备的示意图。
图2A及图2B为图1的投光装置的功能方块图。
图3至图7为图1中机构装置的结构示意图。
图8是调整第一与第二影像感测装置之间的基线距离以调整深度影像捕获设备的量测位置的示意图。
图9是调整第一与第二影像感测装置的汇聚角以调整深度影像捕获设备的量测位置的示意图。
图10是调整第一与第二影像感测装置之间的基线距离及汇聚角以调整深度影像捕获设备的量测位置的示意图。
图11是根据本发明一实施例说明深度影像捕获设备的校正方法流程图。
图12是根据本发明一实施例说明深度影像捕获设备的量测方法流程图。
【主要元件符号说明】
100：深度影像捕获设备
110：投光装置
115：投影图案
120、130：影像感测装置
121、122、131、132、185、340、550：虚线箭头
140：机构装置
150：处理单元
152：镜头控制单元
154：投光取像单元
156：深度影像处理单元
160：被测物
170、171：真实影像
180：转动装置
190：基线距离控制模块
191：汇聚角控制模块
192：变焦控制模块
193：投光控制模块
194：取像控制模块
195：影像处理模块
196：深度运算模块
210：光源
220：投影图案产生元件
230：投光镜头
310、312：第一与第二承载件
320、322：第一及第二螺杆
330、332：马达
440：螺杆
442、444：第一区域及第二区域
510、512：第一与第二转动组件
520、710、712：转动轴
720：非圆截面长槽容置空间
730：松配传动件
BL1～BLN：基线距离
N1～NN：量测节点
A1～AN：汇聚角
S1～SN：预设节点距离
S1100～S1130：深度影像捕获设备的校正方法的步骤
S1200～S1250：深度影像捕获设备的量测方法的步骤
具体实施方式
现将详细参考本发明的示范性实施例，在附图中说明所述示范性实施例的实例。另外，凡可能之处，在图式及实施方式中使用相同标号的元件/构件/符号代表相同或类似部分。
本发明实施例所述的深度影像捕获设备可以在不需要改变硬件架构下，能够使此变焦式深度影像捕获设备得以进行较大视野范围的深度影像量测，也可针对部分区域的待测物进行高分辨率的细节量测；而在进行细节量测时，可以自由指定量测位置(standoff)的远近，并可维持所撷取到的影像的精确度，藉以提高一般采用定焦式深度影像量测技术在细节量测时的精确度。
藉此，本发明实施例透过变焦式影像感测装置来实现此深度影像捕获设备，便可在短焦距(也称为，焦长)时量测较大范围的视角范围，而在细节量测时，便利用长焦距来获得高分辨率的影像来进行深度量测。此深度影像捕获设备也可动态地调整两个影像感测装置之间或是影像感测装置与投光装置之间的基线距离和/或汇聚角度，藉以改变影像感测装置镜头光轴的汇聚点距离与镜头对焦距离，从而调整待测物距的远近。汇聚角是指影像感测装置的光轴与基线之间的夹角，基线是通过影像感测装置的位置的假想线，此基线的方向一般与投光装置的投光光轴相互垂直。下述实施例中所指的「汇聚角」皆与此处的定义相同。以下列举可实现本发明实施例的精神作为做左证，应用本发明实施例者应可依照下述实现方式而引申出相关作法，而不受限于下述揭露。
图1是根据本发明一实施例说明深度影像捕获设备100的示意图。如图1所示，深度影像捕获设备100主要包括至少一台投光装置110、至少一台影像感测装置(如，第一影像感测装置120及第二影像感测装置130)、机构装置140以及处理单元150。投光装置110例如是光学投影装置、数字投影装置...等，其可投射出投影图案115至被测物160上。本实施例是以单台投光装置110作为举例，然而应用本实施例者亦可利用多台投光装置来实现主动式投光的深度影像感测，本发明并不仅受限于此实施例。
于本实施例中，影像感测装置120、130可以是变焦式摄影机或是相机，其接收由处理单元150所提供的焦距调整信号以调整其焦距，并分别感测投影到被测物160上的投影图案115，以产生第一真实影像170与第二真实影像171。详言之，第一与第二影像感测装置120、130可以分别包括变焦镜头以及影像传感器。变焦镜头可接收处理单元150提供的变焦调整信号以调整其焦距。影像传感器则是透过变焦镜头以感测投影到被测物160上的投影图案。此外，本发明并不限制影像感测装置120、130皆具备相同焦距区间以及汇聚角转动区间，应用本实施例者也可依据其需求而选择具备不同焦距区间以及汇聚角转动区间的影像感测装置120、130来实现本发明。
当投光装置110的光源是属于特定波长(例如，红外光、紫外光、特定的可见光)光源时，第一与第二影像感测装置120、130可以还分别包括光学滤光镜。此光学滤光镜设置于影像感测装置120、130中各自变焦镜头的光路上。此光学滤光镜用以匹配所述的特定波长，以使具备上述特定波长的光束可以通过而被镜头及影像传感器所感测，并滤除其他非该特定波长的光束。当多个投光装置具有不同特定波长，则所述影像传感器的光学滤光镜亦可匹配所述不同的特定波长，让彼此之间有所区隔。
基于深度影像感测技术，处理单元150通常需要两台影像感测装置来感测待测物160的深度，然而，由于本发明实施例采用主动式投光进行深度感测，且投光装置110也可以作为虚拟影像感测装置，也就是，投光装置110可以将投射出去的投影图案115的本源影像进行记录并作为虚拟影像，且将此虚拟影像传送到处理单元150中。处理单元150便可透过单台影像感测装置所撷取的真实影像，配合上述虚拟影像感测装置所提供的虚拟影像，从而进行深度影像感测。因此，本发明实施例可以利用单台影像感测装置配合单台投光装置进行深度量测，也可利用两台以上的影像感测装置，并依据投光设备所投射的投影图案，藉以进行深度量测。
继续参照图1，机构装置140主要以机械方式耦接第一与第二感测装置120～130，机构装置140接收处理单元150提供的镜头调整信号，藉以透过其内的马达或相关传动組件来调整第一与第二影像感测装置120、130的相对位置(如虚线箭头121、131所示)，和/或调整第一与第二影像感测装置120、130中镜头指向待测物的汇聚角(convergence angle)(如虚线箭头122、132所示)。机构装置140可以仅调整第一与第二影像感测装置120、130的相对位置而不调整其汇聚角以节省转动机构的成本，也可以仅调整第一与第二影像感测装置120、130的汇聚角而不调整其相对位置(基线位置)藉以缩小深度影像捕获设备100的整体占据体积，当然也可以同时调整上述两者参数。机构装置140内部的细节构造则于下述揭示。
处理单元150耦接至少一投光装置110、至少一影像感测装置(第一与第二影像感测装置120、130)以及机构装置140。处理单元150会依据下述的校正方法以及量测方法来提供焦距调整信号以及镜头调整信号，藉以分别调整第一与第二影像感测装置120、130的焦距、位置及汇聚角。并且，处理单元150控制第一与第二影像感测装置120、130以同时获取实际影像，例如第一真实影像170及第二真实影像171，处理单元150并对第一与第二真实影像170、171进行深度运算以产生深度信息。若投光装置110可作为虚拟影像感测装置时，处理单元150便可对第一与第二真实影像170、171、对应投影图案115的虚拟影像进行深度运算。
深度信息可以是具有深度信息的深度影像、数值化的三维影像坐标或是影像的深度分布图，应用本实施例者可依照其需求来调整深度信息的输出格式以供后续的影像处理或是技术应用来使用。此外，处理单元150会藉由下述的校正方法，对于每个影像感测装置(例如，影像感测装置120、130)分别设定一个预设的基准焦距，并藉由此基准焦距在对应多个预设节点距离时建立多笔影像感测设定参数组，并透过这些影像设定参数组以校正第一与第二影像感测装置120、130并获得立体量测参数组，于指定焦距及指定量测距离下，可计算出相对应的影像设定参数组以设定影像感测装置的量测状态，从而进行深度影像量测。
于图1中，深度影像捕获设备100可以还包括设置于下方底座处的转动装置180，其受控于处理单元150以转动整台深度影像捕获设备100以调整其视角方向(虚线箭头185)。转动装置180可将深度影像捕获设备100进行水平转动或是前后俯仰，或是两轴兼具，以使深度影像捕获设备100能够自动调整其视角范围。
以下分别就各个元件及校正方法与量测方法的致动方式进行详细说明。
以下透过图2A及图2B说明投光装置110，图2A及图2B为图1的投光装置110的功能方块图。请参照图2A，投光装置110包括光源210以及投影图案产生元件220。光源210用以发出投光光束，本实施例的光源210可以是雷射二极管(Laser diode；LD)光源、红外(IR)光源、紫外光源、可见光源或是发光二极管(LED)光源。投影图案产生元件220则配置于光源210所发出的投光光束经过的路径(称为，光路)上。投影图案产生元件220经由光源210的投光光束照射而产生投影图案。投影图案产生元件220可以是已预设形状的绕射光学元件，例如是计算机全像片、光栅与相位式绕射元件的其中之一。投影图案产生元件220也可以是以毛玻璃形成的元件，投光装置110可将光源210打在毛玻璃上来形成随机分布图纹。投影图案可以是预先设计出的图样、随机产生的图纹，或是随机分布的散乱光点图案。
请参照图2B，投光装置110除了包括光源210以及投影图案产生元件220以外，还可以包括投光镜头230。投光镜头230配置于投影图案产生元件220之后的光路上，其将光源210通过投影图案产生元件220所产生的投影图案投影至被测物160。本发明实施例的投光镜头230可以是变焦镜头或是定焦镜头。若以定焦镜头来实现投光镜头230时，投光装置110可以利用固定角度或是固定的视角范围来投射投影图案，此时的投影图案中可能需要利用较为细密的光点，以使深度影像捕获设备100在细节量测时仍可获得较佳效果。本发明实施例也可以将投光镜头230以变焦镜头实现，处理单元150便可提供焦距调整信号以同步且动态地调整投光镜头230以及影像感测装置(第一及第二影像感测装置120～130)的焦距，从而利用主动式投光获得更为准确的深度信息。投光装置110以及上述虚拟影像感测装置的设置及致动方式可额外参考相关前案，例如台湾专利名称为“深度影像捕获设备、系统及其方法”、专利申请号为TW 100148939的技术文件。
图3至图7为图1中机构装置140的结构示意图。本发明实施例的机构装置140可以利用许多机构元件来实现第一与第二影像感测装置120、130之间的基线位置以及汇聚角的调整，藉以调整第一与第二影像感测装置120、130的镜头的汇聚距离(又称为，量测位置)。如图3所示，机构装置140包括第一与第二承载件310、312以及移位件(如，第一及第二螺杆320、322)。第一与第二承载件310、312分别承载第一与第二影像感测装置120、130，并分别与第一及第二螺杆320、322相连结。移位件连接至第一与第二承载件310、312以调整第一与第二影像感测装置120、130之间的基线(baseline)距离。详言之，第一及第二螺杆320、322分别依据两侧的马达元件330、332的转动方向而带动第一与第二承载件310、312，使其分别沿第一及第二螺杆320、322进行左右移动(如虚线箭头340)，藉此调整第一与第二影像感测装置120、130之间的基线位置。于图4中，图4除了包括第一与第二承载件310、312以外，其移位件包括螺杆440，其分别包括具备第一方向以及第二方向的螺纹的第一区域442及第二区域444。螺杆440的第一区域442及第二区域444分别连接第一与第二承载件310、312。藉此，在螺杆440受马达330转动而旋转时，将会使第一与第二承载件310、312沿螺杆440同时进行靠近或远离的相对移动(虚线箭头340)。图8是调整第一与第二影像感测装置120、130之间的基线距离以调整深度影像捕获设备的量测位置的示意图。因此，深度影像捕获设备100在采用图3、4的机构装置140后，便可如图8所示地调整第一与第二影像感测装置120、130之间的基线距离(如图8中的BL1～BLN)，在第一与第二影像感测装置120、130的汇聚角A1皆为固定数值的情况下，机构装置140便可接收处理单元提供的镜头调整信号以调整深度影像捕获设备100所欲量测的量测位置(如图8中的多个量测节点N1～NN)。
图3与图4的机构装置140皆用以调整第一与第二影像感测装置120、130之间的基线位置，而图5、图6则用以调整第一与第二影像感测装置120、130之间的汇聚角度。于图5中，机构装置140除了第一与第二承载件310、312以外，还包括第一与第二转动組件510、512，其可藉由马达330、332的转动而对第一与第二影像感测装置120、130进行旋转，藉以分别调整第一与第二影像感测装置120、130的汇聚角(虚线箭头550)。上述第一与第二转动組件可以例如是蜗杆与蜗轮組件或是其他转动传动組件。于图6中，第一与第二转动組件510、512的转动轴520为相同，分别具备第一方向以及第二方向的螺纹，使得带动影像感测装置转动方向相反。因此第一与第二转动元件510、512可以透过单边马达330的转动而同时调整第一与第二影像感测装置120、130的汇聚角。图9是调整第一与第二影像感测装置120、130的汇聚角以调整深度影像捕获设备100的量测位置的示意图。因此，深度影像捕获设备100在采用图5、6的机构装置140后，便可如图9所示地调整第一与第二影像感测装置120、130的汇聚角A1～AN，在第一与第二影像感测装置120、130之间的基线距离BL1为固定数值的情况下，机构装置140可接收处理单元提供的镜头调整信号以调整深度影像捕获设备100所欲量测的量测位置(如图9中的量测节点N1～NN)。
于图7中，机构装置140包括第一与第二承载件310、312、具备第一区域442及第二区域444的螺杆440、第一与第二转动組件510、512以及马达330。图7的螺杆440的结构与致动方式与图4相似，皆可同时调整第一与第二影像感测装置120、130之间的基线距离，在此不予赘述。特别提出的是，第一转动組件510的转动轴710包括开口面向第二转动組件512的转动轴712的非圆截面长槽容置空间720。第二转动組件512的转动轴712则包括对应于非圆截面长槽容置空间720而突出的松配传动件730，以使第一转动組件510的转动轴710在透过马达带动而转动时，将会连带地带动第二转动組件512的转动轴412，以同时调整第一与第二影像感测装置120、130的汇聚角(虚线箭头550)。图10是调整第一与第二影像感测装置120、130之间的基线距离及汇聚角以调整深度影像捕获设备100的量测位置的示意图。因此，深度影像捕获设备100在采用图7的机构装置140后，图1的处理单元150便可动态调整第一与第二影像感测装置120、130之间的基线距离BL1～BLN及汇聚角A1～AN以调整及量测节点N1～NN。
请回到图1，基于上述揭示的深度影像捕获设备100，处理单元150内部应需具备众多功能以自动更正深度影像捕获设备100中各个元件的诸多参数。例如，图1中的处理单元150包括镜头控制单元152、投光取像单元154以及深度影像处理单元156。镜头控制单元152包括基线距离控制模块190、汇聚角控制模块191、变焦控制模块192，投光取像单元154可包括投光控制模块193、取像控制模块194，而深度影像处理单元156则可包括影像处理模块195、深度运算模块196，但并不仅限于此。
基线距离控制模块190、汇聚角控制模块191以及变焦控制模块192分别用以控制及调整第一与第二影像感测装置120、130之间的基线距离、汇聚角调整以及焦距调整。投光控制模块193用以控制投光装置110的相应动作，取像控制模块194则是用以控制影像感测装置120、130取像的相关参数调整以及进行取像时间同步。影像处理模块195以及深度运算模块196则是用来进行影像处理以获得被测物160的深度信息。上述镜头控制单元152、投光取像单元154、深度影像处理单元156以及其中的模块190～196可以利用硬件芯片、韧体芯片以及软件驱动程序配合具备运算功能的处理单元150来加以实现。
由于采用变焦式影像感测装置120、130来实现深度影像捕获设备100需要考虑的变量又多又繁杂，尤其是在系统设计、系统校正与实际的量测操作上都很繁杂困难。因此，本发明实施例提出符合上述深度影像捕获设备100的硬件架构的校正、量测方法，其针对每个影像感测装置(例如，图1的影像感测装置120、130)分别以预设的单个基准焦距为基准，配合与此基准焦距所对应的多个预设节点距离，将镜头焦长、镜头聚焦位置、与双相机的相对位置/汇聚角...等变化量，以一套简洁的方法整合起来，从而可大幅简化深度影像捕获设备100的设计与操作。
一般而言，采用变焦影像感测装置的深度影像捕获设备在进行实际量测时，必须先要进行一系列的设定操作，然后才能开始进行量测。首先，调整两个变焦影像感测装置相对的位置与汇聚角，使得量测距离符合使用者指定的量测范围。然后，调整两个变焦影像感测装置的焦距以改变相机的视野大小，使得量测的精细度达到使用者的要求。最后，将两个相机镜头的聚焦位置调整至所需的量测距离上，以得到最佳的量测效果。
这上述设定操作主要是对两个变焦影像感测装置分别调整四种参数：相机位置、相机角度、镜头焦长、聚焦位置，统称为影像设定参数组。在以往的校正方法上，这些参数的变化都会影响深度影像捕获设备100的其他参数，因此必须将这些影响都纳入考虑，才能进行精确的量测。以往的量测方法在实现时必须统合复杂的参数运算与系统校正才能进行深度量测与运算。每个影像设定参数组可获得一对应的立体量测参数组，用于3D坐标计算，并于下述揭示。
藉此，本发明实施例在校正及量测方法上预先对每个变焦影像感测装置分别选定好各自的基准焦距，然后选择预设的多个预设节点距离，以作为参考基准。以记录在上述基准焦距以及每个预设物距(预设节点距离)的情形下的一组影像设定参数组作为参考，并利用这些影像设定参数组进行深度影像捕获设备100的校正及量测。如此一来，深度影像捕获设备100便不需在进行校正或量测时一再地重复调校影像感测装置120、130之间的基线距离、汇聚角以及焦距等参数，而是直接利用预设的基准焦距以及预设节点距离来取得参考数据。深度影像捕获设备100在进行校正时，将影像装置设定至各自的基准焦距，依据每个节点的影像设定参数组，设定所有相机的状态。每个节点个别进行校正，取得每个节点各自的立体量测参数组，用以进行立体影像或深度量测计算。换句话说，在进行量测时，使用者指定一个量测距离，同时依据所需的量测分辨率，指定影像感测装置的量测焦距。比较使用者指定的量测距离与所有节点的距离，可以对节点的影像设定参数组与立体量测参数组进行查表或是内插运算，从而得出适用于影像感测装置120、130，且位于所需量测距离上，新的影像设定参数组与立体量测参数组。使用影像坐标转换，将在量测焦距所得的影像坐标，转换至相对于基准焦距时的等效坐标。如此便可使用以基准焦距校正所得的立体量测参数组，进行深度量测计算。
在此说明相机焦距与变焦影像感测装置的视角范围之间的关系。改变变焦影像感测装置的焦距，也就是改变了变焦影像感测装置的视野大小，从数学上来说也就是改变了影像坐标，所以焦距的变化相当于影像坐标的转换。假设选定的变焦影像感测装置的基准焦距为f0，点(X0，Y0)是任一实际影像在影像转换前任意一点的影像坐标，而当变焦影像感测装置的焦距变换到指定焦距fi时，任一实际影像的点(X0，Y0)则会变换为位在另一影像坐标上的点(Xi，Yi)，也就是，点(Xi，Yi)为影像转换后对应点(X0，Y0)的影像坐标。点(X0，Y0)与点(Xi，Yi)之间的影像转换关系式，可如方程式(1)所示：
Xo = F x ( Xi , Yi ; fi , f 0 ) Yo = F y ( Xi , Yi ; fi , f 0 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ( 1 )
假设影像感测装置的变焦镜头是完美的，变焦时不会造成影像偏移及扭曲时，则其影像转换关系式可定义如方程式(2)：
X 0 = αi ( Xi - Cx ) + Cx Y 0 = αi ( Xi - Cy ) + Cy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ( 2 )
其中(Cx，Cy)是影像感测装置的影像中心，此数值可以从习知的影像感测装置的校正方法中求得。αi是影像缩小放大的比率因子，也称作缩放常数，其可以从焦距变化的比率计算出来，也可以从实际影像中估算出来。假设变焦镜头不是完美的，会造成影像偏移、扭曲，则我们可以依据实际的情况，设计方程式(1)所示的关系式。因此此处说明的是，当相机从基准焦距f0变换到任一焦距fi时，本发明实施例能够设计出一个正确或近似的转换式，将任一影像位置的点(Xi，Yi)转换回基准焦距f0时相对的影像位置(X0，Y0)，并且每个影像感测装置分别具有自身的转换关系式。
因此，在校正变焦式深度影像捕获设备100时，我们可以将影像感测装置固定在特定一个被选定的基准焦距f0上，藉以校正出深度摄影机在对准每个预设节点距离时的参数。因此，当深度影像捕获设备100需要以指定焦距fi进行量测时，便可利用以上述方法产生影像坐标的转换方程式，藉以将所需的影像位置转换到相对于指定焦距f0的影像坐标，再结合深度影像捕获设备100的校正参数，即可量测深度信息。
如图1所示，两个影像感测装置120、130相对的基线位置与汇聚角决定了量测距离。并且，在实际的量测应用中，使用者通常是直接指定所需的量测位置，而不是间接地指定两个影像感测装置120、130相对应的基线位置与汇聚角度。因此，本发明实施例在设计深度影像捕获设备100的校正、量测方法时，就以量测距离为基准，让影像设定参数组与3D量测参数组等设定、校正、量测用参数都直接关联到这个参数上。
图11是根据本发明一实施例说明深度影像捕获设备100的校正方法流程图。请同时参考图1、图10以及图11，于步骤S1110中，处理单元150分别设定第一与第二影像感测装置120、130的焦距为各自对应的基准焦距f0。处理单元150可以分别依据影像感测装置120、130的焦距范围、厂商预设设定...等条件来选择不同的焦距，以分别作为影像感测装置120、130的基准焦距。也就是说，影像感测装置120、130可以选定不同长度的焦距以分别作为这两个影像感测装置120、130的基准焦距。例如，当其中一个影像感测装置是投光装置所实现的虚拟影像感测装置时，其变焦范围可能与实际的影像感测装置不同，甚至虚拟影像感测装置的镜头是采用定焦镜头来实现。
此处对每个影像感测装置仅选择单一个基准焦距的理由是，若是对每个影像感测装置选择多个基准焦距的话，则会使上述对于基准焦距的影像转换关系式更为复杂。为使本发明实施例的校正方法更为简易，此处对每个影像感测装置仅选择单一个基准焦距。于其他实施例中，两个影像感测装置120、130也可以分别选定多個焦距，作为其个别基准焦距组。
于步骤S1110中，处理单元150将会预先设定好多个节点距离S1～SN，以作为图10中所对应的多个节点N1～NN的位置，并设定对应每个节点N1～NN的影像设定参数组。预设节点距离S1～SN可参考图10，图10中的量测节点N1～NN分别对应每个预设节点距离S1～SN。上述基准焦距以及预设节点距离的设定可由实验来获得较佳的参考数据，可以依据实际情况作出选择，或是依照应用本实施例者的需求决定，本发明并不受限于此。例如，处理单元可以利用各个影像感测装置120、130的变焦范围的中间值作为影像感测装置120、130的基准焦距f0。
处理单元150在已经将影像感测装置120、130设定为基准焦距f0的情况下，以量测物距S1～SN为基准，藉由已选定的预设节点(也就是，N个节点N1～NN)，记录每一个节点的数据。这些数据例如是预设节点距离Si、和预设节点距离Si相对应的第一与第二影像感测装置120、130之间的基线距离(BLi)、汇聚角(Ai)以及聚焦位置Ci，以作为此校正方法产生的参考数据，此参考数据在进行后续量测时亦需用到。本发明实施例所述的影像设定参数组或是后续揭示的立体量测参数组便包括上述的基线距离BLi、汇聚角Ai和/或聚焦位置Ci。影像设定参数组或是后续揭示的立体量测参数组还可以包含相应的立体参数。
于步骤S1120中，处理单元150便将影像感测装置120、130分别设定至各自的基准焦距，并依据每个节点N1～NN的影像设定参数组，设定各个影像感测装置120、130的状态。以及，于步骤S1130中，在对深度影像捕获设备100进行校正时，处理单元150针对每个节点个别进行校正，取得每个节点各自的立体(3D)量测参数组，这些立体量测参数组便是用来进行立体量测计算之用。
深度影像捕获设备100的校正方法并不被限定，本领域技术人员可以使用相关校正技术而取得上述立体量测参数组。在此校正方法中，本发明实施例并不要求精确的机构定位，只要在每个节点N1～NN使用上述步骤S1120中所记录的影像设定参数组，设定深度影像捕获设备100的状态，并且具备够高的重现性，就可得到精确的深度影像量测结果。
图12是根据本发明一实施例说明深度影像捕获设备100的量测方法流程图。在经由图11的校正方法后，本发明实施例便可透过上述的量测距离、影像设定参数组以及立体量测参数组来协助量测方法，使其能够迅速地获得想要的影像感测装置120、130设定参数以及立体影像转换关系参数。于步骤S1200中，处理单元150从外界接收或是由使用者指定量测焦距f以及指定量测距离S。基于指定焦距f与基准焦长f0的比率，将会决定视角范围的量测面积的比率。指定量测距离S则是直觉地指定量测距离的远近。于本实施例中，由于深度量测的分辨率将会跟指定焦距f有直接关系，因此处理单元150也可透过外界接收的分辨率参数配合查表等做法，以将上述分辨率参数转换为对应的指定焦距f。
于步骤1210中，处理单元150依照指定焦距f及基准焦距f0以计算影像转换关系式，相关揭示已于上述说明，在此不再赘述。于步骤S1220中，处理单元150透过指定量测距离S与预设节点距离S1～SN进行比对，以计算第一与第二影像感测装置120、130于指定量测距离S时的影像设定参数组与立体量测参数组。详言之，步骤S1222判断指定量测距离S是否与预设节点距离S1～SN其中之一相同。若指定量测距离S与其中一个预设节点距离Si相同的话(1≤i≤N)，则进入步骤S1224，取得预设节点距离Si(对应量测节点Ni)的影像设定参数组与立体量测参数组。换句话说，步骤S1222～S1224是利用量测距离S从多笔节点的比较中进行查表，藉以获得影像感测装置120、130相应的设定数据(影像设定参数组)与量测数据(立体量测参数组)。
若是指定量测距离S没有与预设节点距离S1～SN其中之I相同的话，处理单元150则从预设节点距离S1～SN中找到接近于(或称为，包夹住)指定量测距离S的连续两个节点(例如是，指定量测距离S位于节点N1、N2之间)(步骤S1226)。于步骤S1228中，处理单元150将预设节点距离S1、S2所对应的影像设定参数组与3D量测参数组取出，并使用内插法来计算对应于量测距离S时的影像设定参数组与3D量测参数组，藉以设定影像感测装置120、130的状态，使得量测距离符合指定的量测距离S，并使用新得到的立体量测参数组进行立体影像或深度量测计算。
于步骤S1230中，处理单元150依据指定量测距离S时的影像设定参数组来设定第一与第二影像感测装置120、130，其中第一与第二影像感测装置120、130便会依照处理单元150的控制而分别感测投影到被测物160上的投影图案，以产生第一与第二真实影像170、171。
于步骤S1240中，用户利用深度影像捕获设备100实际进行立体影像的深度量测，产生相关影像数据。实际的量测方法，在本流程中并不受限制，只要最终产生可据以计算三维(3D)坐标的影像数据即可。例如，两个相机各取一张影像，将两张影像重整(rectify)，然后再找出两张影像的对应点。依据影像对应点的影像坐标即可计算其相对应的3D坐标。下一步，于立体量测时得到的影像数据，利用影像转换关系式进行坐标转换，便可将此影像的坐标转换至以基准焦距f0为准的影像坐标。然后再利用立体参数，计算3D坐标，藉以产生深度图。深度图只是立体数据的一种描述方式，我们也可以采用其他的描述方式，例如输出立体三角网格。
于步骤S1250中，处理单元150利用第一与第二真实影像170、171，并使用对应于量测距离S时的立体量测参数组，以进行立体计算及量测，从而使深度影像捕获设备100产生深度信息。在本实施例中，第二影像感测装置130也可以是一个虚拟影像感测装置(例如投光装置)，产生一个虚拟影像。
综上所述，本发明实施例所述的深度影像捕获设备可利用变焦式影像感测装置以及投光装置来进行主动式投光的深度影像量测，并利用机构装置来动态调整影像感测装置之间的距离和/或汇聚角度，藉以自动调整变焦式影像感测装置的位置和/或汇聚角度，使得本发明的深度影像捕获设备能够自动调整其影像撷取范围，并可调节被撷取影像的分辨率。并且，本发明实施例亦提出一种深度影像捕获设备校正及量测方法，其利用预设的基准焦距以及预设节点距离来决定变焦式影像感测装置的影像设定参数组以及立体量测参数组，并将其作为后续深度影像感测时的参考，从而简化了对于变焦式影像感测装置的繁杂校正、量测程序，藉以简化深度影像捕获设备在设计及操作时的难度。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所述的权利要求所界定者为准。

Claims (35)

1.一种深度影像捕获设备，包括：
至少一投光装置，投射出投影图案至被测物上；
第一与第二影像感测装置，接收焦距调整信号以调整其焦距，并分别感测投影到该被测物上的该投影图案，以产生第一真实影像与第二真实影像；
机构装置，耦接该第一与该第二影像感测装置，接收镜头调整信号以调整该第一与该第二影像感测装置的位置和/或汇聚角；
处理单元，耦接该至少一投光装置、该第一与该第二影像感测装置以及该机构装置，提供该焦距调整信号以及该镜头调整信号以调整该第一与该第二影像感测装置的焦距、位置和/或汇聚角，且该处理单元对该第一与该第二真实影像进行深度运算以产生深度信息，
其中，该处理单元依据每个影像感测装置所对应的一基准焦距对应多个预设节点距离时的多笔影像设定参数组，以校正获得该第一与该第二影像感测装置于基准焦距时的立体量测参数组，并据而进行深度运算。
2.如权利要求1所述的深度影像捕获设备，其中该处理单元分别设定该第一与该第二影像感测装置的焦距为所对应的该基准焦距，
设定多个节点距离，以作为对应的多个节点的位置，
设定对应各该节点的影像设定参数组，
进行校正时，该处理单元将该第一与该第二影像感测装置设定至各自的基准焦距，依据各该节点的影像设定参数组，设定该第一与该第二影像感测装置的状态，针对各该节点分别进行校正，取得各该节点各自的该些立体量测参数组，其中该些立体量测参数组用以进行立体量测计算。
3.如权利要求2所述的深度影像捕获设备，其中该些影像设定参数组或该些立体量测参数组包括该第一与该第二影像感测装置之间的基线距离、汇聚角和/或聚焦位置。
4.如权利要求2所述的深度影像捕获设备，其中该处理单元分别依据该第一与该第二影像感测装置选择不同的焦距作为各该基准焦距。
5.如权利要求2所述的深度影像捕获设备，其中该处理单元选择位在该第一与该第二影像感测装置的变焦范围中的焦距作为各该基准焦距。
6.如权利要求1所述的深度影像捕获设备，其中该处理单元接收一指定焦距以及一指定量测距离，
依据该指定量测距离与其对应的该些节点距离进行比对，以计算该第一与该第二影像感测装置于该指定焦距时的该影像设定参数组与该立体量测参数组，
依据该指定焦距的该影像设定参数组以设定该第一与该第二影像感测装置，其中该第一与该第二影像感测装置分别感测投影到该被测物上的该投影图案，以产生该第一与该第二真实影像，
该处理单元依照该指定焦距以及该基准焦距以计算影像转换关系式，以及，
依据该影像转换关系式转换该第一与该第二真实影像并依据该指定焦距的该立体量测参数组进行运算，以产生该深度信息。
7.如权利要求1所述的深度影像捕获设备，其中该深度信息是深度影像、三维影像坐标或是深度影像分布图。
8.如权利要求1所述的深度影像捕获设备，其中该至少一投光装置作为一虚拟影像感测装置，且以该投影图案的本源影像作为虚拟影像，其中该处理单元对该第一与该第二真实影像及该虚拟影像进行深度运算以产生该深度信息。
9.如权利要求1所述的深度影像捕获设备，其中该至少一投光装置包括：
光源，用以发出投光光束；以及
投影图案产生元件，配置于该光源的光路上，经由该光源照射而产生该投影图案。
10.如权利要求9所述的深度影像捕获设备，其中该光源是雷射光源、红外光源、紫外光源、可见光源或是发光二极管光源。
11.如权利要求9所述的深度影像捕获设备，其中该投影图案产生元件为绕射光学元件或毛玻璃元件。
12.如权利要求9所述的深度影像捕获设备，其中该至少一投光装置还包括：
投光镜头，配置于该投影图案产生元件的光路上，将该光源通过该投影图案产生元件所产生的该投影图案投影至该被测物。
13.如权利要求12所述的深度影像捕获设备，其中该投光镜头是变焦镜头或定焦镜头。
14.如权利要求13所述的深度影像捕获设备，其中该投光镜头是该变焦镜头时，该处理单元提供该焦距调整信号以同步调整该投光镜头以及该第一与该第二影像感测装置的焦距。
15.如权利要求1所述的深度影像捕获设备，其中该投影图案是预先设计或随机产生的图纹，或是随机分布的散乱光点图案。
16.如权利要求1所述的深度影像捕获设备，其中该第一与第二影像感测装置分别包括：
变焦镜头，接收该变焦调整信号以调整其焦距；以及
影像传感器，透过该变焦镜头以感测投影到该被测物上的该投影图案。
17.如权利要求16所述的深度影像捕获设备，其中当该至少一投光装置的光源是特定波长的光源时，该第一与第二影像感测装置还分别包括：
光学滤光镜，设置于该变焦镜头的光路上，该光学滤光镜匹配该特定波长，以使具备该特定波长的光束通过而滤除其他光束。
18.如权利要求1所述的深度影像捕获设备，其中该机构装置包括：
第一与第二承载件，分别承载该第一与该第二影像感测装置；
第一与第二转动组件，分别调整该第一与该第二影像感测装置的汇聚角；以及
位移件，连接至该第一与该第二承载件以调整该第一与该第二影像感测装置之间的基线距离。
19.如权利要求18所述的深度影像捕获设备，其中该位移件包括：
螺杆，其分别包括具备第一方向以及第二方向的螺纹的第一区域及第二区域，该第一区域及该第二区域分别连接该第一与该第二承载件，以在该螺杆转动时使该第一与该第二承载件沿该螺杆进行相对移动。
20.如权利要求18所述的深度影像捕获设备，其中该第一转动组件的转动轴包括开口面向该第二转动组件的转动轴的非圆截面长槽容置空间，且该第二转动组件的转动轴包括对应于该非圆截面长槽容置空间而突出的松配传动件，以使该第一转动组件的转动轴在转动时带动该第二转动组件的转动轴，以同时调整该第一与该第二影像感测装置的汇聚角。
21.如权利要求18所述的深度影像捕获设备，其中该位移件包括：
第一及第二螺杆，分别连接该第一与该第二承载件，以使该第一与该第二承载件分别沿该第一及该第二螺杆进行移动。
22.一种深度影像捕获设备，包括：
至少一投光装置，投射出投影图案至被测物上，其中该至少一投光装置作为一虚拟影像感测装置，且以该投影图案的本源影像作为虚拟影像；
至少一影像感测装置，接收焦距调整信号以调整其焦距，并感测投影到该被测物上的该投影图案，以产生至少一真实影像；
机构装置，耦接该至少一影像感测装置，接收镜头调整信号以调整该至少一影像感测装置的位置和/或汇聚角；
处理单元，耦接该至少一投光装置、该至少一影像感测装置以及该机构装置，提供该焦距调整信号以及该镜头调整信号以调整该至少一影像感测装置的焦距、位置和/或汇聚角，且该处理单元对该至少一真实影像以及该虚拟影像进行深度运算以产生深度信息，
其中，该处理单元依据每个影像感测装置所对应的一基准焦距对应多个预设节点距离时的多笔影像设定参数组，以校正获得该至少一影像感测装置于基准焦距时的立体量测参数组，并据而进行深度运算。
23.如权利要求22所述的深度影像捕获设备，其中该处理单元分别设定该至少一影像感测装置的焦距为所对应的该基准焦距，
设定多个节点距离，以作为对应的多个节点的位置，
设定对应各该节点的影像设定参数组，
进行校正时，该处理单元将该至少一影像感测装置设定至各自的基准焦距，依据各该节点的影像设定参数组，设定该至少一影像感测装置的状态，针对各该节点分别进行校正，取得各该节点各自的立体量测参数组，其中该些立体量测参数组用以进行立体量测计算。
24.如权利要求23所述的深度影像捕获设备，其中该影像设定参数组或该立体量测参数组包括该至少一影像感测装置与该至少一投光装置之间的基线距离、汇聚角和/或聚焦位置。
25.如权利要求23所述的深度影像捕获设备，其中该处理单元分别依据该至少一影像感测装置选择不同的焦距作为各该基准焦距。
26.如权利要求23所述的深度影像捕获设备，其中该处理单元选择位在该第一与该第二影像感测装置的变焦范围中的焦距作为各该基准焦距。
27.如权利要求22所述的深度影像捕获设备，其中该处理单元接收指定焦距以及指定量测距离，
依据该指定量测距离与所对应的该些预设节点距离进行比对，以计算该至少一影像感测装置于该指定焦距时的该影像设定参数组与该立体量测参数，
依据该指定焦距时的影像设定参数组设定该至少一影像感测装置，其中该至少一影像感测装置分别感测投影到该被测物上的该投影图案，以产生该至少一真实影像，
该处理单元利用依照该指定焦距及该基准焦距以计算影像转换关系式，以及，
依据该影像转换关系式转换该至少一真实影像以及该虚拟影像并依据该指定焦距的该立体量测参数进行运算，以产生该深度信息。
28.一种深度影像捕获设备的校正方法，该深度影像捕获设备包括至少一投光装置、至少一影像感测装置以及机构装置，该至少一投光装置投射出投影图案至被测物上，该至少一影像感测装置感测投影到该被测物上的该投影图案，以产生至少一真实影像，机构装置调整该至少一影像感测装置的位置和/或汇聚角，该深度影像捕获设备对该至少一真实影像进行深度运算而产生深度信息，该校正方法包括：
分别设定该至少一影像感测装置为一基准焦距；
设定多个节点距离，以作为对应的多个节点的位置；
设定对应各该节点的影像设定参数组；
将该至少一影像感测装置设定至各自的基准焦距；
依据各该节点的影像设定参数组，设定该第一与该第二影像感测装置的状态；以及
针对各该节点分别进行校正，取得各该节点各自的立体量测参数组，其中该立体量测参数组用以进行立体量测计算。
29.如权利要求28所述的校正方法，其中该影像设定参数组或该立体量测参数组包括该至少一影像感测装置之间的基线距离、汇聚角和/或聚焦位置。
30.如权利要求28所述的校正方法，其中各该基准焦距依据该至少一影像感测装置的变焦范围设定而不同。
31.如权利要求28所述的校正方法，其中各该基准焦距是选择位在依据该至少一影像感测装置的变焦范围中的焦距。
32.如权利要求28所述的校正方法，进行立体量测计算包括下列步骤：
接收指定焦距以及指定量测距离；
依据该指定量测距离与其对应的该些预设节点距离进行比对，以计算该至少一影像感测装置于该指定焦距时的该影像设定参数组与该立体量测参数组；
依据该指定焦距时的影像设定参数组设定该至少一影像感测装置的状态，其中该至少一影像感测装置分别感测投影到该被测物上的该投影图案，以产生该至少一真实影像；
依照该指定焦距以及该基准焦距以计算影像转换关系式；
依据该影像转换关系式转换该至少一真实影像并依据该立体量测参数组进行运算，以产生该深度信息。
33.一种深度影像捕获设备的量测方法，该深度影像捕获设备包括至少一投光装置、至少一影像感测装置以及机构装置，该至少一投光装置投射出投影图案至被测物上，该至少一影像感测装置感测投影到该被测物上的该投影图案，以产生至少一真实影像，机构装置调整该至少一影像感测装置的位置和/或汇聚角，该深度影像捕获设备对该至少一真实影像进行深度运算而产生深度信息，该量测方法包括：
接收指定焦距以及指定量测距离，其中该至少一影像感测装置分别设定有一基准焦距、多个节点的位置的多个节点距离以及对应各该节点的影像设定参数组以及立体量测参数组；
依据该指定量测距离与其对应的该些节点距离进行比对，以计算该至少一影像感测装置于该指定焦距时的该影像设定参数组与该立体量测参数组；
依据该指定焦距的该影像设定参数组以设定该至少一影像感测装置的状态，其中该至少一影像感测装置分别感测投影到该被测物上的该投影图案，以产生该至少一真实影像；
依照该指定焦距及该至少一基准焦距以计算影像转换关系式；以及
依据该影像转换关系式转换该至少一真实影像并依据该指定焦距的该立体量测参数组进行运算，以产生该深度信息。
34.如权利要求33所述的量测方法，其中该影像转换关系式为：
X 0 = F x ( Xi , Yi ; fi , f 0 ) Y 0 = F y ( Xi , Yi ; fi , f 0 ) ;
其中，该基准焦距为f0，该指定焦距为fi，点(X0，Y0)为该至少一真实影像在影像转换前任意一点的影像坐标，点(Xi，Yi)为该至少一真实影像在影像转换后对应点(X0，Y0)的影像坐标。
35.如权利要求33所述的量测方法，当至少一影像感测装置不会造成影像偏移及扭曲时，该影像转换关系式为：
X 0 = αi ( Xi - Cx ) + Cx Y 0 = αi ( Xi - Cy ) + Cy ;
其中，点(X0，Y0)为该至少一真实影像在影像转换前任意一点的影像坐标，点(Xi，Yi)为该至少一真实影像在影像转换后对应点(X0，Y0)的影像坐标，αi为缩放常数，且(Cx，Cy)是该至少一影像感测装置的影像中心。
CN201310078197.6A 2012-12-27 2013-03-12 深度影像捕获设备、其校正方法与量测方法 Active CN103900532B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW101150634A TWI503618B (zh) 2012-12-27 2012-12-27 深度影像擷取裝置、其校正方法與量測方法
TW101150634 2012-12-27

Publications (2)

Publication Number Publication Date
CN103900532A true CN103900532A (zh) 2014-07-02
CN103900532B CN103900532B (zh) 2016-05-25

Family

ID=50992001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310078197.6A Active CN103900532B (zh) 2012-12-27 2013-03-12 深度影像捕获设备、其校正方法与量测方法

Country Status (3)

Country Link
US (1) US9319660B2 (zh)
CN (1) CN103900532B (zh)
TW (1) TWI503618B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575438A (zh) * 2014-08-29 2017-04-19 X开发有限责任公司 立体和结构光处理的组合
CN106980143A (zh) * 2016-01-19 2017-07-25 台达电子工业股份有限公司 感测装置安装辅助装置及其辅助调整感测范围的方法
CN107133925A (zh) * 2017-04-12 2017-09-05 新疆林业科学院现代林业研究所 一种自动提取控制点的光谱影像校正方法
CN108510538A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
TWI640744B (zh) * 2017-10-25 2018-11-11 合盈光電科技股份有限公司 Depth sensing photography system
CN110166687A (zh) * 2018-02-12 2019-08-23 阿诺德和里克特电影技术公司 对焦设置显示单元、系统及方法
WO2020019682A1 (zh) * 2018-07-25 2020-01-30 Oppo广东移动通信有限公司 激光投射模组、深度获取装置和电子设备
WO2021088539A1 (zh) * 2019-11-08 2021-05-14 彭波 一种移轴立体摄像机

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8372002B2 (en) * 2006-07-27 2013-02-12 Olympus Corporation Endoscope apparatus
WO2015008874A1 (ko) * 2013-07-15 2015-01-22 엘지전자 주식회사 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법
TWI577172B (zh) * 2014-09-10 2017-04-01 鈺立微電子股份有限公司 影像校正系統和立體照相機的校正方法
CN106471803A (zh) * 2014-12-04 2017-03-01 深圳市大疆创新科技有限公司 成像系统及方法
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US20160349918A1 (en) * 2015-05-29 2016-12-01 Intel Corporation Calibration for touch detection on projected display surfaces
US10742961B2 (en) 2015-09-02 2020-08-11 Industrial Technology Research Institute Depth sensing apparatus with self-calibration and self-calibration method thereof
CN106488204B (zh) * 2015-09-02 2018-06-15 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
US20170127049A1 (en) * 2015-10-30 2017-05-04 Industrial Technology Research Institute Object scanning method
US9978147B2 (en) * 2015-12-23 2018-05-22 Intel Corporation System and method for calibration of a depth camera system
TWI621554B (zh) * 2015-12-28 2018-04-21 國防大學 基線可調式立體視覺裝置
TWI573985B (zh) * 2016-01-19 2017-03-11 台達電子工業股份有限公司 感測裝置安裝輔助裝置及其輔助調整感測範圍之方法
WO2017130639A1 (ja) * 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
TWI616102B (zh) * 2016-06-24 2018-02-21 和碩聯合科技股份有限公司 視訊影像生成系統及其視訊影像生成之方法
TWI612795B (zh) 2016-09-13 2018-01-21 財團法人工業技術研究院 場景掃描方法及系統
TWI603135B (zh) * 2016-10-13 2017-10-21 財團法人工業技術研究院 三維顯示模組
CN106802138B (zh) * 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
TWI636427B (zh) * 2017-05-31 2018-09-21 鈺立微電子股份有限公司 對應影像擷取裝置的深度圖品質的驗證方法及其驗證系統
US10701253B2 (en) * 2017-10-20 2020-06-30 Lucasfilm Entertainment Company Ltd. Camera systems for motion capture
TWI622960B (zh) * 2017-11-10 2018-05-01 財團法人工業技術研究院 深度影像擷取裝置的校正方法
JPWO2019111473A1 (ja) * 2017-12-06 2020-12-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および医療用観察システム
CN110062152B (zh) * 2018-01-18 2021-04-06 钰立微电子股份有限公司 校正相机的系统
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
WO2020068407A1 (en) * 2018-09-27 2020-04-02 Snap Inc. Separable distortion disparity determination
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
CN112198669B (zh) * 2019-07-08 2022-07-26 三赢科技（深圳）有限公司 结构光投射模组、深度相机和电子装置
CN111161358B (zh) * 2019-12-31 2022-10-21 华中科技大学鄂州工业技术研究院 一种用于结构光深度测量的相机标定方法和装置
CN113100754B (zh) * 2020-01-21 2023-02-03 天目爱视（北京）科技有限公司 一种3d信息采集测量设备
CN111814659B (zh) * 2020-07-07 2024-03-29 杭州海康威视数字技术股份有限公司 一种活体检测方法、和系统
CN114076934A (zh) * 2020-08-12 2022-02-22 三赢科技（深圳）有限公司 校准设备及深度相机的校准方法
CN114322821A (zh) * 2020-09-29 2022-04-12 沈阳华慧高新技术有限公司 一种三维扫描装置及其标定方法和测量方法
US20230112666A1 (en) * 2021-10-12 2023-04-13 Zebra Technologies Corporation System and Method for Detecting Calibration of a 3D Sensor
CN115965912A (zh) * 2022-12-28 2023-04-14 众芯汉创（北京）科技有限公司 一种基于图像识别的配网设备状态监测系统和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04108288A (ja) * 1990-08-29 1992-04-09 Hitachi Ltd 立体映像装置
WO2002073980A1 (en) * 2001-03-14 2002-09-19 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
CN101581997A (zh) * 2008-05-12 2009-11-18 财团法人工业技术研究院 多点触控位置追踪装置及互动系统与互动影像处理方法
KR20100080704A (ko) * 2009-01-02 2010-07-12 삼성전자주식회사 영상 데이터 획득 방법 및 장치
JP4764959B1 (ja) * 2010-03-25 2011-09-07 富士フイルム株式会社 撮影装置及びその制御方法
US20120249748A1 (en) * 2011-03-31 2012-10-04 Hidetoshi Nagano Stereoscopic image pickup apparatus and stereoscopic image pickup method
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8430980D0 (en) * 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
AU617431B2 (en) 1988-03-07 1991-11-28 Sharp Kabushiki Kaisha Interlocked zooming apparatus
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
EP0425985B1 (en) * 1989-10-25 1997-06-11 Hitachi, Ltd. Stereoscopic imaging system
JP3054002B2 (ja) * 1993-09-01 2000-06-19 キヤノン株式会社 複眼撮像装置
US6177952B1 (en) * 1993-09-17 2001-01-23 Olympic Optical Co., Ltd. Imaging apparatus, image display apparatus and image recording and/or reproducing apparatus
US5978015A (en) * 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
US6414709B1 (en) * 1994-11-03 2002-07-02 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
US5949477A (en) * 1995-04-06 1999-09-07 Hoglin; Irving M. Three dimensional stereoscopic television system
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US7068416B2 (en) 2004-04-12 2006-06-27 Angstrom Inc. Three-dimensional imaging device
DE102005034597A1 (de) 2005-07-25 2007-02-08 Robert Bosch Gmbh Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
TW200720809A (en) 2005-11-24 2007-06-01 Ind Tech Res Inst Focalizable three-dimension picture-taking apparatus
US8279267B2 (en) * 2009-03-09 2012-10-02 Mediatek Inc. Apparatus and method for capturing images of a scene
TWI402479B (zh) 2009-12-15 2013-07-21 Ind Tech Res Inst 深度感測方法及應用其之系統
KR101377325B1 (ko) 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
US20110304706A1 (en) 2010-06-09 2011-12-15 Border John N Video camera providing videos with perceived depth
TWI458339B (zh) * 2011-02-22 2014-10-21 Sanjet Technology Corp ３ｄ影像感測器校正方法
JP2012177747A (ja) * 2011-02-25 2012-09-13 Sony Corp 立体画像撮像装置
TWI463244B (zh) 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
TWI514325B (zh) * 2011-06-09 2015-12-21 Univ Nat Taiwan 三維影像對的深度修正系統及其方法
CN102708570B (zh) * 2012-05-17 2015-06-17 北京数码视讯科技股份有限公司 获取深度图的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04108288A (ja) * 1990-08-29 1992-04-09 Hitachi Ltd 立体映像装置
WO2002073980A1 (en) * 2001-03-14 2002-09-19 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
CN101581997A (zh) * 2008-05-12 2009-11-18 财团法人工业技术研究院 多点触控位置追踪装置及互动系统与互动影像处理方法
KR20100080704A (ko) * 2009-01-02 2010-07-12 삼성전자주식회사 영상 데이터 획득 방법 및 장치
JP4764959B1 (ja) * 2010-03-25 2011-09-07 富士フイルム株式会社 撮影装置及びその制御方法
US20120249748A1 (en) * 2011-03-31 2012-10-04 Hidetoshi Nagano Stereoscopic image pickup apparatus and stereoscopic image pickup method
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575438A (zh) * 2014-08-29 2017-04-19 X开发有限责任公司 立体和结构光处理的组合
CN106980143A (zh) * 2016-01-19 2017-07-25 台达电子工业股份有限公司 感测装置安装辅助装置及其辅助调整感测范围的方法
CN106980143B (zh) * 2016-01-19 2018-11-20 台达电子工业股份有限公司 感测装置安装辅助装置及其辅助调整感测范围的方法
CN107133925A (zh) * 2017-04-12 2017-09-05 新疆林业科学院现代林业研究所 一种自动提取控制点的光谱影像校正方法
CN107133925B (zh) * 2017-04-12 2020-09-08 新疆林业科学院现代林业研究所 一种自动提取控制点的光谱影像校正方法
TWI640744B (zh) * 2017-10-25 2018-11-11 合盈光電科技股份有限公司 Depth sensing photography system
CN110166687A (zh) * 2018-02-12 2019-08-23 阿诺德和里克特电影技术公司 对焦设置显示单元、系统及方法
CN108510538A (zh) * 2018-03-30 2018-09-07 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
WO2020019682A1 (zh) * 2018-07-25 2020-01-30 Oppo广东移动通信有限公司 激光投射模组、深度获取装置和电子设备
WO2021088539A1 (zh) * 2019-11-08 2021-05-14 彭波 一种移轴立体摄像机

Also Published As

Publication number Publication date
CN103900532B (zh) 2016-05-25
US9319660B2 (en) 2016-04-19
TW201426161A (zh) 2014-07-01
US20140184751A1 (en) 2014-07-03
TWI503618B (zh) 2015-10-11

Similar Documents

Publication Publication Date Title
CN103900532A (zh) 深度影像捕获设备、其校正方法与量测方法
US11439483B2 (en) Intraoral scanner that compensates for non-fixed magnification
EP3538295B1 (en) Localising sensor data collected during additive manufacturing
CN109937101B (zh) 定位在增材制造期间收集的传感器数据
US11885883B2 (en) LIDAR optics alignment system
CN108171758B (zh) 基于最小光程原理和透明玻璃标定板的多相机标定方法
CN103439088B (zh) 用凸透镜产生平行光的方法与装置
WO2010010707A1 (ja) 撮像装置及び半導体回路素子
JP2008002995A (ja) 三次元形状測定装置
US10951809B2 (en) Adaptive camera control and calibration for dynamic focus
CN113175899B (zh) 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN107031035A (zh) 立体物件成型系统及其校正方法
CN102645160B (zh) 图像测量设备
CN111811431A (zh) 一种三维扫描仪、三维扫描系统及方法
TWI489164B (zh) 一種立體調焦法及其系統
CN116182786B (zh) 单目视觉测距方法、相机及介质
CN102494640B (zh) 红外产品装表精度检测仪
KR102080506B1 (ko) 광학 3d 스캐너
JP3324367B2 (ja) ３次元入力カメラ
CN105866589B (zh) 一种透射式单元探测器成像及电性参数测试系统
Lijuan et al. Calibration technology on binocular CCD ranging system based on improving Tsai two-step method
JP2001074412A (ja) レンズ位置の補正方法及び３次元入力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant