CN106488204B - 具备自身校准的深度摄影装置以及自身校准方法 - Google Patents

具备自身校准的深度摄影装置以及自身校准方法 Download PDF

Info

Publication number
CN106488204B
CN106488204B CN201510946892.9A CN201510946892A CN106488204B CN 106488204 B CN106488204 B CN 106488204B CN 201510946892 A CN201510946892 A CN 201510946892A CN 106488204 B CN106488204 B CN 106488204B
Authority
CN
China
Prior art keywords
image
mould plate
template
regulation mould
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510946892.9A
Other languages
English (en)
Other versions
CN106488204A (zh
Inventor
汪德美
施仁忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to TW105100480A priority Critical patent/TWI574546B/zh
Priority to US15/255,164 priority patent/US10742961B2/en
Publication of CN106488204A publication Critical patent/CN106488204A/zh
Application granted granted Critical
Publication of CN106488204B publication Critical patent/CN106488204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明公开了一种具备自身校准的深度摄影装置以及相关的自身校准方法。深度摄影装置包括投影装置、取像装置以及校准模块。投影装置基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面。取像装置截取包括校准模板与深度计算模板的影像。校准模块耦接取像模块，依据影像的校准模板、预设校准模板以及对应于预设校准模板的预设对照表，调整深度摄影装置的多个装置参数以校准深度计算误差。

Description

具备自身校准的深度摄影装置以及自身校准方法
技术领域
本发明是关于一种具备自身校准的深度摄影装置以及相关的自身校准方法。
背景技术
随着科技的进步，现今的深度摄影装置已经能取得并储存三维影像信息。搭配不同的后端演算功能，三维影像信息可进一步地运用于立体建模、动作辨识等用途。
以立体视觉为基础的深度摄影装置，需要准确的装置信息来计算深度信息。因此，在正式开始使用前，深度摄影装置都需要进行校准以取得准确的装置信息。举例而言，现有的校准方式是藉由外部的校准机构来协助取得装置信息。另一方面，深度摄影装置还可以利用不同的视角拍摄的影像，分析其中的特征点信息，然后取得装置信息。
一般而言，透过特定的校准机构来进行校准的效果是较佳的，但非专业人士不易取得前述校准机构，也没有受过相关的操作训练。因此，一旦深度摄影装置受到温度变化、外力撞击、震动等影响造成深度信息的失真，通常必须送回生产厂商进行校准，在使用上是相当不便的。因此，如何有效且较佳地对深度摄影装置进行校准，仍是本领域人员努力的目标之一。
发明内容
本发明提供一种具备自身校准的深度摄影装置以及自身校准方法，能够实时地进行校准并且取得深度摄影装置当前的装置信息，藉以精准地撷取深度信息。
本发明的一实施例提出一种具备自身校准的深度摄影装置，包括投影装置、取像装置以及校准模块。投影装置基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面，其中校准模板合并于深度计算模板。取像装置截取包括校准模板与深度计算模板的影像。校准模块耦接取像模块，依据影像的校准模板、预设校准模板以及对应于预设校准模板的预设对照表，调整深度摄影装置的多个装置参数以校准深度计算误差。
于本发明一实施例中，校准模块更包括分离模块、适配模块、梯形修正模块、比较模块以及优化模块。分离模块耦接取像装置，从影像中分离出包括校准模板的第一过渡影像。适配模块耦接分离模块，定位第一过渡影像的校准模板的多个模板特征以产生第二过渡影像。梯形修正模块耦接适配模块，修正第二过渡影像的梯形失真以产生第三过渡影像。比较模块耦接梯形校准模块，比较预设对照表的多个预设参数以及第三过渡影像的模板特征之间的多个几何关系，藉以取得至少部分的模板特征的多个实际位置以及多个偏移量。优化模块耦接比较模块，依据实际位置、偏移量以及预设对照表的预设参数，执行优化算法以调整深度摄影装置的装置参数。
于本发明一实施例中，分离模块依据影像的每一像素点以及邻近于每一像素点的多个邻近像素点，判断每一像素点的连结性性质。分离模块排除影像中具有弱连结性的像素点，并且对具有强连结性的像素点执行侵蚀算法以分离出具有校准模板的第一过渡影像。
于本发明一实施例中，适配模块对第一过渡影像执行霍夫转换(HoughTransform)以定位校准模板的模板特征。
于本发明一实施例中，适配模块比对预设校准模板与第一过渡影像以定位校准模板的模板特征。
于本发明一实施例中，适配模块比对预设对照表与第一过渡影像以定位校准模板的模板特征。
于本发明一实施例中，比较模块对第三过渡影像执行霍夫转换(HoughTransform)以定位修正后的模板特征。比较模块计算模板特征在第三过渡影像的实际位置以及模板特征之间的几何关系，并且比较实际位置、几何关系以及预设对照表的预设参数以取得模板特征的偏移量。
于本发明一实施例中，预设对照表的预设参数包括多个先前校准模板的多个先前模板特征在多张先前影像中的多个先前位置以及先前模板特征之间的多个先前几何关系。先前校准模板分别为深度摄影装置在不同的多个已知偏斜角度以及多个已知距离下，基于预设校准模板而投影至基准面。
于本发明一实施例中，优化模块执行莱文贝格-马夸特(Levenberg-Marquardt)优化算法以取得深度摄影装置的多个校准装置参数。优化模块以校准装置参数作为深度摄影装置的装置参数，藉以校准深度计算误差。
本发明的另一实施例提出一种自身校准方法，适用于深度摄影装置。自身校准方法包括下列步骤。基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面，其中校准模板合并于深度计算模板。截取包括校准模板与深度计算模板的影像。依据影像的校准模板、预设校准模板以及对应于预设校准模板的预设对照表，调整深度摄影装置的多个装置参数以校准深度计算误差。
基于上述，本发明实施例所提供的具备自身校准的深度摄影装置以及相关的自身校准方法，首先于基准面投射校准模板与深度计算模板，撷取校准模板与深度计算模板的影像，然后藉由校准模板以及已知的预设校准模板、预设对照表，进一步地调整深度摄影装置的装置参数以校准深度计算误差。如此一来，深度摄影装置得以实时且较有效率地进行自身校准，从而维持深度信息在计算上的准确度。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1为依据本发明一实施例所绘示的深度摄影装置的示意图。
图2为依据本发明一实施例所绘示的自身校准方法的流程图。
图3A至图3G分别为依据本发明一实施例所绘示的预设深度计算模板与预设校准模板的示意图。
图4为依据本发明一实施例所绘示的校准模块的示意图。
图5为依据本发明一实施例所绘示的依据校准模板、预设校准模板以及对应于预设校准模板的预设对照表而调整装置参数的流程图。
【符号说明】
100：深度摄影装置
120：投影装置
140：取像装置
160：校准模块
161：分离模块
162：适配模块
163：梯形修正模块
164：比较模块
165：优化模块
CP：预设校准模板
DP：预设深度计算模板
SP：模板特征的实际位置
DV：模板特征的偏移量
L：直线
Cr：交点
IL：辨识标记
Im：影像
Im1：第一过渡影像
Im2：第二过渡影像
Im3：第三过渡影像
S220、S240、S260：自身校准方法的步骤
S261、S262、S263、S264、S265：依据校准模板、预设校准模板以及对应于预设校准模板的预设对照表而调整装置参数的步骤
具体实施方式
本发明实施例提供一种具备自身校准的深度摄影装置以及自身校准方法。深度摄影装置依据预设校准模板与预设深度计算模板，同时于基准面上投影校准模板与深度计算模板，然后撷取校准模板与深度计算模板的影像。藉由图像处理与分析，深度摄影装置判断校准模板与预设校准模板的差异，藉以校准深度摄影装置的多个装置参数。装置参数例如包括取像装置的内部参数与外部参数。内部参数例如是光轴中心位置(Optical Center)、焦距(Focal Length)等参数。外部参数则用于描述取像装置与投影装置之间的平移、旋转关系。
图1为依据本发明一实施例所绘示的深度摄影装置的示意图。参照图1，深度摄影装置100包括投影装置120、取像装置140以及校准模块160。于本实施例中，投影装置120可以依据预设校准模板与预设深度计算模板而投影校准模板与深度计算模板。投影装置120例如是雷射光源搭配衍射光学元件(Diffractive Optical Element，DOE)的组合、发光二极管(Light Emitting Diode，LED)光源搭配光源屏蔽的组合或者是可以投射光点的投影机(Projector)或微型投影机(Pico Projector)。
对应于投影装置120的设计，取像装置140例如是红外光(Infrared，IR)取像装置、红外光(IR)取像装置与红蓝绿(RGB)取像装置的组合或其它可取像的取像装置。于本实施例中，取像装置140用于取得包括校准模板与深度计算模板的影像Im。
校准模块160耦接至取像装置140，并且由取像装置140接收包括校准模板与深度计算模板的影像Im。基于预设校准模板、对应于预设校准模板的预设对照表以及影像Im中的校准模板，校准模块160调整深度摄影装置100的装置参数以校准深度计算误差。于本实施例中，校准模块160还可以是由处理器(未绘示)所执行软件程序。前述处理器例如是微控制器(micro-controller)、嵌入式控制器(embedded controller)、中央处理器(centralprocessing unit，CPU)、场效可程序逻辑门阵列(Field programmable gate array，FPGA)、特殊应用集成电路(Application-specific integrated circuit，ASIC)或类似的元件。前述处理器还可基于影像Im中的深度计算模板来进行深度计算。值得注意的是，于其它实施例中，校准模块160还例如是以特定的电路结构而实现。
图2为依据本发明一实施例所绘示的自身校准方法的流程图。本实施例的自身校准方法适用于图1所示的深度摄影装置100。参照图1与图2，投影装置120基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面，其中校准模板合并于深度计算模板(步骤S220)。
更具体而言，如同前述，投影装置120可以由不同的元件或元件组合来实现，例如是雷射光源与衍射光学元件的组合。当投影装置120包括雷射光源以及衍射光学元件时，衍射光学元件是对应于预设深度计算模板与预设校准模板而设计。藉此，当雷射光源所发射的雷射光经过衍射光学元件而投影至平坦且非镜面的基准面时，便会于基准面上形成深度计算模板与校准模板。
类似地，于另一实施例中，当投影装置120包括发光二极管光源与光源屏蔽时，光源屏蔽对应于预设深度计算模板与预设校准模板而设计，而发光二极管光源所发射的光束经过光源屏蔽而投影至平坦且非镜面的基准面时，便会于基准面上形成深度计算模板与校准模板。于本发明又一实施例中，当投影装置120为可投射光点的投影机或微型投影机时，藉由对投影光束的控制，深度摄影装置100可以依据预设深度计算模板与预设校准模板而于基准面上形成深度计算模板与校准模板。
图3A至图3G分别为依据本发明一实施例所绘示的预设深度计算模板与预设校准模板的示意图。如图3A至图3F所示，预设深度计算模板DP例如是包括多个点状区域。预设校准模板CP则包括多个预设模板特征，而前述预设模板特征包括多条直线L(即线状区域)以及直线L间的多个交点Cr。预设校准模板CP可以为不同的设计，例如是图3A与图3D所示的田字形式的预设校准模板CP、图3B与图3E所示的方格形式的预设校准模板CP或图3C与图3F所示的双箭号交叉形式的预设校准模板CP。另一方面，当预设深度计算模板DP以及预设校准模板CP以模板中心为基准而重叠合并时，预设校准模板CP的涵盖范围可以是大于预设深度计算模板DP的涵盖范围(如图3A至图3C)，又或者预设校准模板CP的涵盖范围可以是小于预设深度计算模板DP的涵盖范围(图3D至图3F)。
于本发明的一实施例中，预设校准模板CP隐藏于预设深度计算模板DP之中。如图3G所示，预设校准模板CP由部分点状区域所组成而隐藏于预设深度计算模板DP之中。预设校准模板CP之中还包括多个辨识标记IL，分别坐落于预设深度计算模板DP上的不同方位，并且辨识标记IL则作为从预设深度计算模板DP中辨识预设校准模板CP的主要依据。具体而言，前述图3D至图3G的预设校准模板CP例如是以此形式呈现于预设深度计算模板DP之中。
重新参照图1、图2、图3A至图3G，对于投影装置120依据预设深度计算模板DP以及预设校准模板CP而投影在基准面上的校准模板与深度计算模板，取像装置140进一步截取包括校准模板与深度计算模板的影像Im(步骤S240)，而后传输至校准模块160。校准模块160则依据影像Im的校准模板、预设校准模板CP以及对应于预设校准模板CP的预设对照表，调整深度摄影装置100的多个装置参数以校准深度计算误差(步骤S260)。
一般而言，当投影装置120依据预设深度计算模板DP以及预设校准模板CP而于基准面投影深度计算模板以及校准模板时，深度计算模板以及校准模板会随深度摄影装置100的倾斜、深度摄影装置100与基准面间的距离、投影装置120的偏差等因素而不同于预设深度计算模板DP以及预设校准模板CP。因此，在正式使用前，可利用深度摄影装置100在不同的多个已知偏斜角度以及多个已知距离下，基于预设校准模板CP而投影多个先前校准模板至基准面。此时，多个先前校准模板的多个先前模板特征在多张先前影像中的多个先前位置以及先前模板特征之间的多个先前几何关系，可以作为预设参数而建立一个预设对照表于深度摄影装置100中。先前模板特征的先前位置例如是先前模板特征在先前影像上所对应的像素点。先前几何关系则包括先前模板特征在先前影像中的间隔像素点数等，但不以此为限。
图4为依据本发明一实施例所绘示的校准模块的示意图。
图5为依据本发明一实施例所绘示的依据校准模板、预设校准模板以及对应于预设校准模板的预设对照表而调整装置参数的流程图。参照图4与图5，校准模块160更包括分离模块161、适配模块162、梯形修正模块163、比较模块164以及优化模块165。分离模块161耦接取像装置140。当校准模块160由取像装置140接收包括校准模板与深度计算模板的影像Im后，分离模块161从影像Im中分离出包括校准模板的第一过渡影像Im1(步骤S261)。
详细而言，分离模块161依据影像Im的每一像素点以及邻近于每一像素点的多个邻近像素点，判断每一像素点的连结性性质。举例而言，分离模块161例如是选择以每一像素点的邻近像素点的个数作为阀值。当一个像素点的邻近像素点的个数不超过阀值时，分离模块161将前述像素点视为具有弱连结性的像素点。相对的，当一个像素点的邻近像素点的个数超过阀值时，分离模块161将前述像素点视为具有强连结性的像素点。接着，分离模块161排除影像Im中具有弱连结性的像素点，并且对具有强连结性的像素点执行侵蚀算法，藉以进一步细线化具有强连结性的像素点群，从而分离出具有校准模板的第一过渡影像Im1。
一般而言，影像Im中的校准模板是投影装置120基于预设校准模板CP所投射的校准模板，故而校准模板对应于预设校准模板CP的多个预设模板特征而同样具有多个模板特征。由于影像Im中的校准模板具有相互关联的模板特征，故通常是对应至具有强连结性的像素点群。因此，分离模块161可以藉由保留具有强连结性的像素点群而从影像Im中分离出具有校准模板的第一过渡影像Im1。
参照图4与图5，分离模块161分离出具有校准模板的第一过渡影像Im1后，耦接至分离模块161的适配模块162更接收第一过渡影像Im1，并且定位第一过渡影像Im1的校准模板的多个模板特征以产生第二过渡影像Im2(步骤S262)。详细而言，由于分离模块161所分离出的第一过渡影像Im1可能还包括非校准模板的像素点群，因而适配模块162更进一步地定位第一过渡影像Im1的校准模板的多个模板特征而产生第二过渡影像Im2。
于本实施例中，适配模块162例如是直接地比对第一过渡影像Im1与预设校准模板CP以定位第一过渡影像Im1的校准模板的模板特征，但本发明不限于此。具体而言，于另一实施例中，适配模块162例如是比对预设对照表与第一过渡影像Im1以定位校准模板的模板特征。换言之，即是利用预设对照表内的预设参数来定位第一过渡影像Im1的校准模板的模板特征。于又一实施例中，当投影装置120使用雷射光源时，适配模块162则例如是利用第一过渡影像Im1在影像中心的零级光点(Zero order)作为基准，对第一过渡影像Im1执行转换以定位第一过渡影像Im1的校准模板的模板特征。更详细而言，由于第一过渡影像Im1的模板特征包括了多条直线，故利用例如霍夫转换(Hough Transform)以准确地定位第一过渡影像Im1的校准模板的模板特征。
参照图4与图5，梯形修正模块163耦接于适配模块162，并且于接收第二过渡影像Im2后，修正第二过渡影像Im2的梯形失真以产生第三过渡影像Im3(步骤S263)。具体而言，在自身校准的流程中，梯形失真可能是肇因于深度摄影装置100的倾斜配置而使得取像轴与基准面不为直角。此时，梯形修正模块163可以依据第二过渡影像Im2的影像边缘或者是第二过渡影像Im2的多个图形特征来判断第二过渡影像Im2是否具有梯形失真，并且对应地修正第二过渡影像Im2的梯形失真来产生第三过渡影像Im3。
参照图4与图5，比较模块164耦接梯形校准模块163，并且于接收第三过渡影像Im3后，比较预设对照表的多个预设参数以及第三过渡影像Im3的模板特征之间的多个几何关系，藉以取得至少部分的模板特征的实际位置SP以及偏移量DV(步骤S264)。于本实施例中，比较模块164计算模板特征在第三过渡影像Im3的实际位置SP以及模板特征之间的几何关系。类似于先前影像中的先前模板特征以及先前几何关系，模板特征在第三过渡影像Im3的实际位置SP例如是模板特征在第三过渡影像Im3上所对应的像素点，而模板特征间在第三过渡影像Im3中的几何关系则包括多个模板特征在第三过渡影像Im3中的间隔像素点数等，但不以此为限。
更进一步而言，比较模块164比较前述的实际位置SP、模板特征之间的几何关系以及预设对照表的预设参数以取得模板特征的偏移量DV。由于预设对照表的预设参数对应了先前校准模板的多个先前模板特征在先前影像中的先前位置以及多个先前模板特征之间的先前几何关系，因而可用于确认模板特征在第三过渡影像Im3的实际位置SP是否与相对应的先前影像的先前模板特征的先前位置有所偏差，进而计算第三过渡影像Im3的模板特征的偏移DV量。
参照图4与图5，优化模块165耦接比较模块164，并且于接收至少部分的模板特征的实际位置SP以及偏移量DV后，依据实际位置SP、偏移量DV以及预设对照表的预设参数，执行优化算法以调整深度摄影装置100的装置参数(步骤S265)。于本实施例中，优化模块165例如是执行莱文贝格-马夸特(Levenberg-Marquardt)优化算法以取得深度摄影装置100的多个校准装置参数。更详细而言，优化模块165基于模板特征的实际位置SP、模板特征的偏移量DV、第三过渡影像Im3的影像分辨率(影像宽度与影像长度)等数据以及优化算法执行次数、停止阀值等设定，而最终可以取得如深度摄影装置100的实际偏移角度、实际倾斜角度、实际焦距位置、实际主点位置等校准装置参数。优化模块165以前述校准装置参数作为深度摄影装置100的装置参数，使得深度摄影装置100可以在后续的深度计算程序中校准深度计算误差并正确地计算深度信息。
值得注意的是，优化模块165还可以是执行高斯牛顿法(Gauss-Newton method)、QR分解法(QR Decomposition)、奇异值分解(Singular Value Decomposition)等优化算法，而不限于莱文贝格-马夸特优化算法。
综上所述，本发明实施例所提供之具备自身校准的深度摄影装置以及相关的自身校准方法，首先于基准面投射校准模板与深度计算模板，撷取校准模板与深度计算模板的影像，然后藉由校准模板以及已知的预设校准模板、预设对照表，进一步地调整深度摄影装置的装置参数以校准深度计算误差。如此一来，深度摄影装置得以实时且较有效率地进行自身校准，从而维持深度信息在计算上的准确度。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求保护范围为准。

Claims (18)

1.一种具备自身校准的深度摄影装置，其特征在于包括：
投影装置，基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面，其中所述校准模板合并于所述深度计算模板；
取像装置，截取包括所述校准模板与所述深度计算模板的影像；以及
校准模块，耦接所述取像装置，依据所述影像的所述校准模板、所述预设校准模板以及对应于所述预设校准模板的预设对照表，调整所述深度摄影装置的多个装置参数以校准深度计算误差，
所述校准模块更包括：
分离模块，耦接所述取像装置，从所述影像中分离出包括所述校准模板的第一过渡影像，其中，所述第一过渡影像具有强连结性像素点。
2.如权利要求1所述的深度摄影装置，其特征在于所述校准模块更包括：
适配模块，耦接所述分离模块，定位所述第一过渡影像的所述校准模板的多个模板特征以产生第二过渡影像；
梯形修正模块，耦接所述适配模块，修正所述第二过渡影像的梯形失真以产生第三过渡影像；
比较模块，耦接所述梯形修正模块，比较所述预设对照表的多个预设参数以及所述第三过渡影像的所述多个模板特征之间的多个几何关系，藉以取得至少部分的所述多个模板特征的多个偏移量；以及
优化模块，耦接所述比较模块，依据所述多个偏移量以及所述预设对照表的所述多个预设参数，执行优化算法以调整所述深度摄影装置的所述多个装置参数。
3.如权利要求2所述的深度摄影装置，其特征在于所述分离模块依据所述影像的每一像素点以及邻近于每一所述像素点的多个邻近像素点，判断每一所述像素点的一连结性性质，所述分离模块排除所述影像中具有弱连结性的所述像素点，并且对具有强连结性的所述像素点执行侵蚀算法以分离出具有所述校准模板的所述第一过渡影像。
4.如权利要求2所述的深度摄影装置，其特征在于所述适配模块对所述第一过渡影像执行转换以定位所述校准模板的所述多个模板特征。
5.如权利要求2所述的深度摄影装置，其特征在于所述适配模块比对所述预设校准模板与所述第一过渡影像以定位所述校准模板的所述多个模板特征。
6.如权利要求2所述的深度摄影装置，其特征在于所述适配模块比对所述预设对照表与所述第一过渡影像以定位所述校准模板的所述多个模板特征。
7.如权利要求2所述的深度摄影装置，其特征在于所述比较模块对所述第三过渡影像执行转换以定位修正后的所述多个模板特征，所述比较模块计算所述多个模板特征在所述第三过渡影像的多个实际位置以及所述多个模板特征之间的所述多个几何关系，并且比较所述多个实际位置、所述多个几何关系以及所述预设对照表的所述多个预设参数以取得所述多个模板特征的所述多个偏移量。
8.如权利要求2所述的深度摄影装置，其特征在于所述预设对照表的所述多个预设参数包括多个先前校准模板的多个先前模板特征在多张先前影像中的多个先前位置以及所述多个先前模板特征之间的多个先前几何关系，并且所述多个先前校准模板分别为所述深度摄影装置在不同的多个已知偏斜角度以及多个已知距离下，基于所述预设校准模板而投影至所述基准面。
9.如权利要求2所述的深度摄影装置，其特征在于所述优化模块执行优化算法以取得所述深度摄影装置的多个校准装置参数，并且所述优化模块以所述多个校准装置参数作为所述深度摄影装置的所述多个装置参数，藉以校准所述深度计算误差。
10.一种自身校准方法，适用于深度摄影装置，其特征在于所述自身校准方法包括：
基于预设校准模板与预设深度计算模板，投射校准模板与一深度计算模板至基准面，其中所述校准模板合并于所述深度计算模板；
截取包括所述校准模板与所述深度计算模板的影像；以及
依据所述影像的所述校准模板、所述预设校准模板以及对应于所述预设校准模板的预设对照表，调整所述深度摄影装置的多个装置参数以校准深度计算误差，
其中调整所述深度摄影装置的所述多个装置参数以校准所述深度计算误差的步骤，更包括：
从所述影像中分离出包括所述校准模板的第一过渡影像，其中，所述第一过渡影像具有强连结性像素点。
11.如权利要求10所述的自身校准方法，其特征在于调整所述深度摄影装置的所述多个装置参数以校准所述深度计算误差的步骤，更包括：
定位所述第一过渡影像的所述校准模板的多个模板特征以产生第二过渡影像；
修正所述第二过渡影像的梯形失真以产生第三过渡影像；
比较所述预设对照表的多个预设参数以及所述第三过渡影像的所述多个模板特征之间的多个几何关系，藉以取得至少部分的所述多个模板特征的多个偏移量；以及
依据所述多个偏移量以及所述预设对照表的所述多个预设参数，执行优化算法以调整所述深度摄影装置的所述多个装置参数。
12.如权利要求11所述的自身校准方法，其特征在于从所述影像中分离出所述第一过渡影像的步骤，更包括：
依据所述影像的每一像素点以及邻近于每一所述像素点的多个邻近像素点，判断每一所述像素点的连结性性质；
排除所述影像中具有弱连结性的多个像素点；以及
对具有强连结性的所述多个像素点执行侵蚀算法以分离出具有所述校准模板的所述第一过渡影像。
13.如权利要求11所述的自身校准方法，其特征在于定位所述第一过渡影像的所述多个模板特征以产生所述第二过渡影像的步骤，更包括：
对所述第一过渡影像执行转换以定位所述校准模板的所述多个模板特征。
14.如权利要求11所述的自身校准方法，其特征在于定位所述第一过渡影像的所述多个模板特征以产生所述第二过渡影像的步骤，更包括：
比对所述预设校准模板与所述第一过渡影像以定位所述校准模板的所述多个模板特征。
15.如权利要求11所述的自身校准方法，其特征在于定位所述第一过渡影像的所述多个模板特征以产生所述第二过渡影像的步骤，更包括：
比对所述预设对照表与所述第一过渡影像以定位所述校准模板的所述多个模板特征。
16.如权利要求11所述的自身校准方法，其特征在于取得至少部分的所述多个模板特征的所述多个偏移量的步骤，更包括：
对所述第三过渡影像执行转换以定位修正后的所述多个模板特征；
计算所述多个模板特征在所述第三过渡影像的多个实际位置以及所述多个模板特征之间的所述多个几何关系；以及
比较所述多个实际位置、所述多个几何关系以及所述预设对照表的所述多个预设参数以取得所述多个模板特征的所述多个偏移量。
17.如权利要求11所述的自身校准方法，其特征在于所述预设对照表的所述多个预设参数包括多个先前校准模板的多个先前模板特征在多张先前影像中的多个先前位置以及所述多个先前模板特征之间的多个先前几何关系，并且所述多个先前校准模板分别为所述深度摄影装置在不同的多个已知偏斜角度以及多个已知距离下，基于所述预设校准模板而投影至所述基准面。
18.如权利要求11所述的自身校准方法，其特征在于执行所述优化算法以调整所述深度摄影装置的所述多个装置参数的步骤，更包括；
执行优化算法以取得所述深度摄影装置的多个校准装置参数；以及
以所述多个校准装置参数作为所述深度摄影装置的所述多个装置参数，藉以校准所述深度计算误差。
CN201510946892.9A 2015-09-02 2015-12-17 具备自身校准的深度摄影装置以及自身校准方法 Active CN106488204B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105100480A TWI574546B (zh) 2015-09-02 2016-01-08 具備自身校正的深度攝影裝置以及自身校正方法
US15/255,164 US10742961B2 (en) 2015-09-02 2016-09-02 Depth sensing apparatus with self-calibration and self-calibration method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562213127P 2015-09-02 2015-09-02
US62/213,127 2015-09-02

Publications (2)

Publication Number Publication Date
CN106488204A CN106488204A (zh) 2017-03-08
CN106488204B true CN106488204B (zh) 2018-06-15

Family

ID=58238134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510946892.9A Active CN106488204B (zh) 2015-09-02 2015-12-17 具备自身校准的深度摄影装置以及自身校准方法

Country Status (2)

Country Link
CN (1) CN106488204B (zh)
TW (1) TWI574546B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI636427B (zh) * 2017-05-31 2018-09-21 鈺立微電子股份有限公司 對應影像擷取裝置的深度圖品質的驗證方法及其驗證系統
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
CN111596302A (zh) * 2020-05-21 2020-08-28 深圳市灵明光子科技有限公司 一种基于SiPM信号时序点的测距方法及装置
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
CN103500471A (zh) * 2013-09-27 2014-01-08 深圳市中视典数字科技有限公司 实现高分辨率增强现实系统的方法
CN103817699A (zh) * 2013-09-25 2014-05-28 浙江树人大学 一种快速的工业机器人手眼协调方法
CN104331896A (zh) * 2014-11-21 2015-02-04 天津工业大学 一种基于深度信息的系统标定方法
CN104574388A (zh) * 2014-12-29 2015-04-29 东莞市神州视觉科技有限公司 一种相机标定系统及其3d标定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0326374D0 (en) * 2003-11-12 2003-12-17 British Telecomm Object detection in images
SG120966A1 (en) * 2003-12-08 2006-04-26 Nanyang Polytechnic Method and system for automatic vision inspection and classification of microarray slides
JP2005210418A (ja) * 2004-01-22 2005-08-04 Sanyo Electric Co Ltd 画像処理装置、画像処理方法、画像処理プログラム
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
WO2014053158A1 (en) * 2012-10-01 2014-04-10 Telefonaktiebolaget L M Ericsson (Publ) 3d camera calibration
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
TWI503618B (zh) * 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
CN103745452B (zh) * 2013-11-26 2014-11-26 理光软件研究所（北京）有限公司 相机外参评估方法、装置、相机外参标定方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
CN103817699A (zh) * 2013-09-25 2014-05-28 浙江树人大学 一种快速的工业机器人手眼协调方法
CN103500471A (zh) * 2013-09-27 2014-01-08 深圳市中视典数字科技有限公司 实现高分辨率增强现实系统的方法
CN104331896A (zh) * 2014-11-21 2015-02-04 天津工业大学 一种基于深度信息的系统标定方法
CN104574388A (zh) * 2014-12-29 2015-04-29 东莞市神州视觉科技有限公司 一种相机标定系统及其3d标定方法

Also Published As

Publication number Publication date
CN106488204A (zh) 2017-03-08
TW201711456A (zh) 2017-03-16
TWI574546B (zh) 2017-03-11

Similar Documents

Publication Publication Date Title
US20220272313A1 (en) Methods for automatic registration of 3d image data
EP3392831A1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
JP5923422B2 (ja) カメラのキャリブレーション方法及び装置
US20150304617A1 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
CN107238996B (zh) 投影系统以及投影画面的校正方法
CN106488204B (zh) 具备自身校准的深度摄影装置以及自身校准方法
KR102149276B1 (ko) 영상 정합 방법
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
EP3547260B1 (en) System and method for automatic calibration of image devices
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
US20200193568A1 (en) Multi-projection system, image projection method and projector
WO2014108976A1 (ja) 物体検出装置
WO2013145880A1 (ja) カメラキャリブレーション装置
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
EP3606061B1 (en) Projection device, projection system and an image calibration method
US11284052B2 (en) Method for automatically restoring a calibrated state of a projection system
KR101245529B1 (ko) 카메라 캘리브레이션 방법
WO2018167918A1 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
US20190108617A1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
US20170064288A1 (en) Depth sensing apparatus with self-calibration and self-calibration method thereof
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
JP6262610B2 (ja) 情報登録装置及び情報継続登録装置並びに方法及びプログラム
JP2008021210A (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
KR101703715B1 (ko) 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant