CN109906471B - 实时三维相机校准 - Google Patents

实时三维相机校准 Download PDF

Info

Publication number
CN109906471B
CN109906471B CN201680090204.6A CN201680090204A CN109906471B CN 109906471 B CN109906471 B CN 109906471B CN 201680090204 A CN201680090204 A CN 201680090204A CN 109906471 B CN109906471 B CN 109906471B
Authority
CN
China
Prior art keywords
coordinates
image
processor
camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680090204.6A
Other languages
English (en)
Other versions
CN109906471A (zh
Inventor
姜勇
马彩虹
徐晓睿
马哈穆德·侯赛因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109906471A publication Critical patent/CN109906471A/zh
Application granted granted Critical
Publication of CN109906471B publication Critical patent/CN109906471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

在一个示例中，一种用于实时三维(3D)校准的系统包括处理器，该处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。处理器基于图案确定标记拐角在世界坐标系统中的3D坐标。3D坐标对应于2D坐标。处理器基于2D坐标和3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。处理器基于基线深度值生成拟合模型。

Description

实时三维相机校准
背景技术
实时三维(3D)相机校准在3D相机不能够确定3D相机的视野中的主体的真实世界3D坐标时是有用的。校准可包括识别3D相机的坐标系统校准中的误差，并且重定向3D图像以使其自己的坐标感知与真实世界3D坐标对准。
当3D相机变得没有校准时，3D相机确定真实世界空间中的3D坐标的能力可削弱。更具体而言，判断距离的能力可变得不可靠。如果3D相机被震动，例如当将3D相机置于其箱盒中、掉在地板上、经历透镜元件的热膨胀或收缩等等时，3D相机的空间感可这样变得失真。
不能确定相机图像主体的实际3D坐标会影响3D相机创建优质3D图片的能力。3D相机可能无法产生准确表示真实世界坐标的图像，因为3D相机将图像的像素放置在错误的深度。此外，将像素放置在错误的深度可使得图像看起来模糊、失焦并且导致错误的测量。此外，在不能够可靠判断距离的情况下，3D相机不能够将其透镜聚焦在主体上以便恰当地拍摄图片。这也影响拍摄的图片的质量，因为图像中的主体可能看起来是失焦的。
附图说明
通过参考附图可更好地理解接下来的详细描述，附图包含公开的主题的许多特征的具体示例。
图1是示出当3D相机运行一段时间时3D相机的校准变得失真的曲线图；
图2A-2D包括可用于实时3D校准的示例图案的示图，以及被表示为利用3D相机的红-绿-蓝(RGB)传感器、红外(IR)传感器和深度传感器捕捉的相应图像；
图3是示出来自原始图案的标记点和红外(IR)图像之间的对应关系的示图；并且
图4图示了实时3D校准的过程；
图5是用于测试实时三维(3D)校准的准确性的相交平面的示图；
图6是表示在根据本文描述的一些技术的实时3D校准之前和之后，参考图5描述的测试的结果的曲线图；并且
图7是示出存储用于实时3D校准的代码的计算机可读介质的框图。
在一些情况下，相同的数字在本公开和附图各处始终用于提及相似的组件和特征。100系列的数字指代最初出现于图1中的特征；200系列的数字指代最初出现于图2中的特征；等等依此类推。
具体实施方式
除了由于像震动之类的事件而变得未校准之外，3D相机也可由于3D相机本身生成的热量而变得未校准。然而，如下所述，在一些实施例中，仅利用一帧的信息，可动态地校准3D相机。
图1是示出在3D相机的重复操作期间当3D相机运行一段时间时3D相机的校准变得失真的曲线图100。在图1中，X轴102表示运行时间，Y轴104表示处于已知的z值(即，以毫米为单位的深度z)的示例点(x,y,z)的感知到的z坐标。重复操作涉及启动(或再启动)3D相机一段时间(例如，97秒)，将3D相机设置到休眠一段时间(例如，300秒)，并且重复4个周期。如图所示，由越来越温暖的3D相机确定的z坐标值随着运行时间而变化，表明3D相机的校准的准确度随着3D相机被加电的时间而削弱。
如前所述，保持3D相机校准对于拍摄和创建表示真实世界中的被拍摄物体的外观的清晰聚焦的3D图像是有用的。此外，校准可被认为是重复的3D相机本身上的维护，因为对3D相机的校准容易受到其对周围环境的发热影响的影响。
在一些实施例中，被感知到处于坐标点(x,y,z)的物体的3D坐标(由于错误的z值)被转化成相机坐标系统的3D坐标从而使得物体的位置的实际z值可被确定。这样，可以确定3D相机对3D真实世界坐标空间的感知中的误差量。知道相机未校准时的误差量使得可以校正这个感知，从而校准3D相机。3D真实世界坐标空间是从特定视角按坐标在空间上组织的真实世界环境。
如果给定的点集合的相对位置是已知的，并且3D相机的内部参考是已知的，则可以确定平面的所有点的深度值。这些确定的深度值可被用作基线来构建拟合模型，该拟合模型将未校准3D相机感知到的原始的错误坐标映射到经校正的坐标。该拟合模型可将原始深度映射到经校正的深度。在此方面，在一些实施例中，利用线性方程、多元方程、更高阶的方程或(一个或多个)其他复杂的拟合方法或数学方法，可采用该拟合模型。
通过将标记点定位在3D相机的深度视野中，可以创建并更新确定该映射的拟合模型。标记点是一种指定的几何图形，其被放置在坐标系统内，以使得该图形可用于校准3D相机。如果在平面上有多于四个标记点，并且如果每个标记点之间的相对位置是已知的，则可基于函数1根据一些实施例构建实时3D相机校准模型。
函数1
函数1描述了当标记点在图像、3D真实世界和3D相机坐标系统中时它的变换关系。也就是说，在一些实施例中，[R|T]是将点(x,y,z)的坐标转化到相对于相机固定的另一坐标系统的参数矩阵。然而，3D相机坐标系统是基于图像坐标系统和3D真实世界坐标系统来构造的。
图像坐标系统是占据照片中图像的空间的二维(2D)坐标系统。2D坐标(u,v)表示标记点在2D图像中的位置。
3D坐标(Xw,Yw,Zw)表示标记点在真实世界坐标系统中的位置。变量A引用内部参数的3D相机参数矩阵。矩阵[R│T]是外部参数的3D相机参数矩阵，其可基于函数2将标记点的位置从世界坐标系统变换到其在相机坐标系统中的位置。
函数2
在函数2中，(Xc,Yc,Zc)是标记点在相机坐标系统中的3D位置。在一些实施例中，正是这个3D坐标被校正。实际上，每个像素点在深度图像中的实际深度值被确定。这意味着2D深度图像中的每个像素维持原始2D坐标(u,v)，但被指派新的深度值。深度值也可被称为像素值，并且被称为相机坐标系统中的z值。一旦像素的深度值被改变，其在相机坐标系统中的相应位置也相应地被改变。这样，在相机坐标系统中确定x、y和z值被改变。
图2A是根据一些示例的用于实时校准3D相机的标记点202的示图200A。如前所述，标记点根据一些实施例可以是任何几何图形。在图2A所示的实施例中，实心无穷符号是指定的标记点202。
图2B是以红外吸收液体打印在表面204上的标记点的图案的红-绿-蓝(RGB)图像捕捉200B。在一些实施例中，没有红外(IR)传感器可能看不到示例打印图案。
图2C是以红外吸收液体打印在表面204上的标记点202的图案的IR传感器图像捕捉200C。IR传感器图像捕捉200C匹配图2A中的标记点202的图案。标记点202的拐角206是预定义的点，也用在校准中，如下所述。
图2D是以红外墨水打印在表面204上的深度传感器图像捕捉200D。IR墨水在图像捕捉200D中没有显示。更确切地说，深度传感器示出每个点在表面204上的距离。深度传感器图像捕捉200D的相对较亮的区域指示出更接近相机的点。
一旦用IR墨水记录了图案，就可使用3D相机本身来执行校准。为了执行校准，3D相机确定标记点202的拐角206在图像和世界坐标系统中的坐标。拐角206是标记点上的指定点，并且可基于标记点采取的几何形态来定义。在各种实施例中可使用各种形态，例如三角形的拐角，两条线的交点，几何图形的最尖锐拐角，几何图形的对称中心，圆的中心等等，和/或其他形态。找到标记点202的拐角206取决于拐角的预定特性。
在此示例中，如图2C中所示的标记点的拐角206是标记点的最尖锐点，具有最小角度，并且是标记点202的对称中心。基于这些技巧，可成功检测拐角206。
在一些实施例中，图案的标记点202的拐角206是利用例如图2C中所示的IR图像来识别的。由于3D相机用IR获取每个像素的深度信息，所以IR传感器图像捕捉200C中的每个像素与RGB图像捕捉200B中的像素以及与深度传感器捕捉200D中的像素具有一对一关系。于是，在一些实施例中，可以确定IR传感器图像捕捉200C而不是深度传感器图像捕捉200D中的拐角的2D坐标(u,v)。
图3是示出来自图2A中所示的原始图案200A和图2C中所示的IR传感器图像捕捉200C的标记点之间的对应关系的示图。图案200A示出标记点302A，以及其相应的拐角306A。类似地，IR传感器图像捕捉200C包括标记点302C，以及相应的拐角306C。通过使拐角306A与拐角306C相关，从图案200A和IR传感器图像捕捉200C确定拐角306C之间的距离。如图3中所示，拐角306A和拐角306C之间的五条线表示这个相关。基于图案200A和由图像捕捉200C表示的真实平面之间的打印标度上的差异，在世界坐标系统中确定拐角306的3D坐标(Xw,Yw,Zw)。
然后可确定变换[R│T]，其可用于获取标记点在相机坐标系统中的位置。可从3D相机的内部参数确定矩阵A，因此，随后可利用函数1确定变换[R│T]。此外，可利用函数2来确定标记点在相机坐标系统中的位置。
然后可确定拟合模型来校正由未校准3D相机提供的深度值。函数1中的变量s是正规化因子。如果s是已知的，则可以确定相机坐标系统中与标记点共享同一平面的所有3D点。然而，s是未知的。从而，利用函数3，可以确定相机坐标系统中与3D相机的光学中心(0,0,0)和相应2D坐标是(u,v)的3D点共享同一条线的3D点(Xtemp,Ytemp,Ztemp)。
函数3
在函数3中，(u,v)坐标表示一点在2D图像上的2D值，并且(Xtemp,Ytemp,Ztemp)坐标表示在相机坐标系统中的位置。虽然坐标(Xtemp,Ytemp,Ztemp)可不等于点(u,v)在相机坐标系统中的坐标(Xc,Yc,Zc)，但3D相机的光学中心(0,0,0)、坐标(Xtemp,Ytemp,Ztemp)和坐标(Xc,Yc,Zc)共享同一条线。连接3D相机的光学中心和坐标(Xtemp,Ytemp,Ztemp)产生一直线，在本文中称为线A。随后可以确定线A和由标记拐角(mark corner)确定的平面亦即标记平面的交点。这个交点是2D点(u,v)在3D相机坐标系统中的位置。于是，可以确定标记平面上的所有3D点(Xc,Yc,Zc)。因为值Zc是深度基线，所以可生成将原始深度值映射到基线值的拟合模型。
另外，利用拟合模型和函数4，物体在3D相机的视野中的3D坐标可通过更新该物体的每个点的深度值来加以更新。在相机坐标系统中，深度值等于Zc值。由于光学中心、原始点和经校正的点在一条直线上，所以函数4随后可用于确定新的3D坐标。
函数4
在函数4中，坐标(Xo,Yo,Zo)表示由未校准相机确定的原始真实世界坐标。坐标(Xupdated,Yupdated,Zupdated)表示经更新的真实世界坐标。在物体的所有点上使用此方法，可以得到经校正的3D模型。只要标记拐角在3D相机的视野中，该校准方法就可运行并且3D点就可被实时更新。
图4是实时3D校准的过程流程图400。在一些实施例中，流程图400表示一种方法。流程400开始于方框402，在这里执行对一个或多个标记拐角的检测。在标记拐角检测402中，构建将标记拐角从图像坐标系统中的2D点映射到世界坐标系统中的3D点的对应关系。在示例实现方式中，可在IR图像中识别标记点的2D坐标，并且可基于标记拐角在原始图案中的像素坐标和打印机标度来确定3D坐标。
在方框404，确定3D相机参数矩阵[R|T]。如前所述，参数矩阵[R|T]可将点从真实世界坐标系统变换到相机坐标系统。
在方框406，可获取深度值的基线。在一些示例中，这可包括确定一些固有(proper)点在标记平面上的经校正的相机坐标系统位置。这些3D点的Z值是基线。
在方框408，构建拟合模型。在一个实施例中，拟合模型是通过将原始深度值映射到基线来构建的。
在方框410，更新3D坐标。这可包括更新3D点以构造物体的新3D模型。方框408中构建的拟合模型是全局优化的。因此，其适合于校正大范围的深度值。于是，可基于拟合模型来更新甚至不在标记平面上的点的深度值。利用拟合模型，也可校正3D位置。
图5是用于测试实时3D校准的准确性的相交平面的示图。在示例实现方式中，由平面2和3的相交产生并且位于平面1和4之间的从点502-1到点502-2的线被利用诸如游标卡尺之类的非常准确的测量设备来测量。根据一些示例，在实时校准之前和之后由3D相机确定的距离被比较。
图6是表示在根据一些实施例的实时3D校准之前和之后，参考图5描述的测试的结果的曲线图。在曲线图600中，Y轴602表示由3D相机提供的测量结果和相应的游标卡尺测量(以毫米[mm]为单位)之间的差异。X轴604表示用于执行测试的图像的序号。在图6中以实线示出的标注为606的原始误差图线表示根据一些示例的实时3D校准之前的3D相机中的误差的大小。在图6中以虚线示出的经校正的误差图线608表示根据一些示例的实时3D校准之后的来自3D相机的误差的大小。在曲线图600内示出的表格为测试中使用的所有图像提供了原始的和经校正的误差的最大、最小和平均大小。校准前的原始误差的大小和校准后的经校正的误差的大小之间的差异显示了对每个图像的改善。
在一些实施例中，可利用打印在平坦表面上的柔性图案来执行校准。这样，该柔性图案可由任何用户生成，包括利用打印设备生成。另外，在一些实施例中，可见图案可用于校准。于是，在这种实施例中，可以用红外反射墨水来打印该图案，红外反射墨水在典型照明条件中是不可见的。
在一些示例中，当3D相机被关闭时，校准不丢失。更确切地说，每当3D相机被重启时，就可获得由实时3D校准提供的准确性。一旦相机开启并且标记图案在相机视野中，就可实时地更新物体的经校正的3D坐标。另外，一些示例可执行在长时间测量工作中获得准确3D坐标的动态校准工作。随着时间流逝，来自相机的未校正深度值与准确深度值之间的差异可变得更大。在一些实施例中，拟合模型可被调整，其可基于单帧的信息将未校正深度值映射到计算出的基线。这样，动态校准可在长时间测量工作期间表现良好，并且物体的新3D模型可在每个帧中被更新。
图7是示出存储用于实时3D校准的代码的(一个或多个)计算机可读介质的框图。计算机可读介质700可被处理器702通过计算机总线704访问。处理器702可以是任何计算机处理器、图形处理器或其组合。计算机可读介质700可包括被配置为指挥处理器702执行本文描述的方法和实施例的代码。在一些实施例中，计算机可读介质700可以是非暂态计算机可读介质。在一些示例中，计算机可读介质700可以是存储介质。然而，在任何情况下，计算机可读介质都不包括暂态介质，例如载波、信号等等。
图7的框图并不打算表明计算机可读介质700要包括图7中所示的所有组件。另外，取决于具体实现方式的细节，计算机可读介质700可包括图7中没有示出的任何数目的额外组件。
本文论述的各种软件组件可被存储在一个或多个计算机可读介质700上，如图7中所示。例如，实时3D校准器706可通过将标记拐角从图像坐标系统中的2D点映射到世界坐标系统中的3D点来执行标记拐角检测。在示例实现方式中，可在IR图像中识别标记点的3D坐标，并且可基于标记拐角在原始图案中的像素坐标和打印机大标度来确定3D坐标。此外，实时3D校准器706确定3D相机参数矩阵[R|T]，其可将点从真实世界坐标系统变换到相机坐标系统。另外，实时3D校准器706获取深度值的基线。在一些示例中，这包括确定一些固有点在标记平面上的经校正的相机坐标系统位置。这些3D点的Z值是基线。另外，实时3D校准器706构建拟合模型。在一个示例中，拟合模型是通过将原始深度值映射到基线来构建的。另外，实时校准器706更新3D坐标。这意味着更新3D点以构造物体的新3D模型。构建的拟合模型是全局优化的，这意味着其适合于校正大范围的深度值。于是，可基于拟合模型来更新甚至不在标记平面上的点的深度值。利用拟合模型，也可校正3D位置。
图7的框图并不打算表明计算机可读介质700要包括图7中所示的所有组件。另外，取决于具体实现方式的细节，计算机可读介质700可包括图7中没有示出的任何数目的额外组件。
本说明书中提及公开的主题的“一示例”、“一些示例”、“一个实施例”、“一些实施例”、“一实施例”等等的意思是联系该实施例或示例描述的特定特征、结构或特性被包括在公开的主题的至少一个实施例或示例中。从而，短语“在一个实施例中”或“一个示例”可出现在整个说明书的各种地方，但该短语可不一定指的是同一实施例。
在前面的描述中，描述了公开的主题的各种方面。为了说明，阐述了具体数字、系统和配置以便提供对该主题的透彻理解。然而，受益于本公开的本领域技术人员很清楚，没有这些具体细节也可实现该主题。在其他场合中，公知的特征、组件或模块被省略、简化、组合或分割以免模糊公开的主题。
公开的主题的各种实施例可以用硬件、固件、软件或者其组合来实现，并且可通过参考或结合程序代码来描述，程序代码例如是指令、函数、过程、数据结构、逻辑、应用程序、设计表示或格式，用于设计的仿真、模拟和制造，该设计在被机器访问时致使机器执行任务、定义抽象数据类型或低级别硬件情境或者产生结果。
程序代码可利用硬件描述语言或另一种功能描述语言来表示硬件，这种语言本质上提供了关于设计的硬件被预期如何表现的模型。程序代码可以是汇编或机器语言或硬件定义语言，或者可被编译或解释的数据。此外，以某种方式将软件提及为采取动作或引起结果，是本领域中常见的。这种表述只是陈述处理系统执行使得处理器执行动作或产生结果的程序代码的简略方式。
程序代码可被存储在例如易失性和/或非易失性存储器中，例如存储设备和/或关联的机器可读或机器可访问介质，包括固态存储器、硬盘驱动器、软盘、光存储装置、磁带、闪存、记忆棒、数字视频盘、数字多功能盘(digital versatile disc，DVD)等等，以及更特殊的介质，例如机器可访问生物状态保留存储装置。机器可读介质可包括用于以机器可读的形式存储、发送或接收信息的任何有形机制，例如天线、光纤、通信接口，等等。程序代码可被以分组、串行数据、并行数据等等的形式来传输，并且可被以压缩的或加密的格式来使用。
程序代码可被实现于在可编程机器上执行的程序中，可编程机器例如是移动或固定计算机、个人数字助理、机顶盒、蜂窝电话和寻呼器以及其他电子设备，其中每一者包括处理器、处理器可读的易失性和/或非易失性存储器、至少一个输入设备和/或一个或多个输出设备。程序代码可被应用到利用输入设备输入的数据以执行描述的实施例和生成输出信息。输出信息可被应用到一个或多个输出设备。本领域普通技术人员可明白，公开的主题的实施例可利用各种计算机系统配置来实现，包括多处理器或多核处理器系统、图形处理单元、袖珍计算机、大型计算机以及可被嵌入到几乎任何设备中的普及的或微型的计算机或处理器。公开的主题的实施例也可实现在分布式计算环境中，其中任务可被通过通信网络链接的远程处理设备执行。
虽然操作可被描述为顺序的过程，但操作中的一些实际上可被并行执行、同时执行和/或在分布式环境中执行，以及利用存储在本地和/或远程供单处理器或多处理器机器访问的程序代码执行。此外，在一些实施例中，操作的顺序可被重排列，而不脱离公开的主题的精神。程序代码可被嵌入式控制器使用或者结合嵌入式控制器使用。
虽然已参考说明性实施例描述了公开的主题，但此描述并不打算被从限制意义上来解释。公开的主题所属领域的技术人员明显可见的对说明性实施例的各种修改以及主题的其他实施例被视为落在公开的主题的范围内。
示例
示例1是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。
示例2是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述物体的图像由3D相机捕捉。
示例3是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述物体的图像由3D相机捕捉。在一示例中，参数矩阵可用于将所述世界坐标系统中的坐标变换到所述3D相机的坐标系统中的坐标。
示例4是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述拟合模型可用于将所述原始深度值映射到所述基线深度值。
示例5是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器生成所述指定图案的图像。
示例6是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。
示例7是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。
示例8是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器捕捉所述指定图案的图像的红外图像。
示例9是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器捕捉所述指定图案的图像的红外图像。在一示例中，所述处理器确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
示例10是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器利用所述拟合模型为物体更新多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器识别相机坐标系统内具有所述3D相机的光学中心的线。
示例11是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器利用所述拟合模型为物体更新多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器可以是图形处理器。
示例12是一种用于实时三维(3D)校准的系统，包括处理器，所述处理器在指定图案的图像的图像坐标系统中的二维(2D)坐标处检测标记拐角。所述处理器基于所述图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。所述处理器利用所述拟合模型为物体更新多个3D相机坐标。在一示例中，所述处理器利用所述拟合模型为物体更新多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述标记拐角包括以下各项的至少一者：三角形的拐角，两条线的交点，几何图形的最尖锐拐角，以及几何图形的对称中心。
示例13是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标确定参数矩阵。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。
示例14是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。
示例15是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标确定参数矩阵。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法还包括捕捉所述指定图案的图像的深度图像。
示例16是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标确定参数矩阵。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法还包括捕捉所述指定图案的图像的红外图像。
示例17是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标确定参数矩阵。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法还包括捕捉所述指定图案的图像的红外图像。在一示例中，所述方法还包括确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
示例18是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标确定参数矩阵。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括识别相机坐标系统内具有所述3D相机的光学中心的线。
示例19是一种包括指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述指令还使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。
示例20是一种包括指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述指令还使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述指令使得所述处理器生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。此外，所述指令使得所述处理器捕捉所述指定图案的图像的红外图像。
示例22是一种包括指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述指令还使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述指令使得所述处理器捕捉所述指定图案的图像的深度图像。
示例23是一种包括指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述指令还使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述指令使得所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述指令使得所述处理器确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。所述标记拐角是通过识别所述指定图案的具有比所述图案的其余角度小的角度的标记点来检测的。
示例24是一种用于实时3D校准的系统。所述系统包括用于在指定图案的图像的图像坐标系统中的相应2D坐标处检测多个标记拐角的装置。所述系统还包括用于基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标的装置。所述3D坐标对应于所述2D坐标。所述系统还包括用于基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值的装置。另外，所述系统包括用于基于所述基线深度值生成拟合模型的装置。此外，所述系统包括用于利用所述拟合模型为物体更新3D相机坐标的装置。所述物体的图像由3D相机捕捉。
示例25是一种用于实时3D校准的系统。所述系统包括用于在指定图案的图像的图像坐标系统中的相应2D坐标处检测多个标记拐角的装置。所述系统还包括用于基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标的装置。所述3D坐标对应于所述2D坐标。所述系统还包括用于基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值的装置。另外，所述系统包括用于基于所述基线深度值生成拟合模型的装置。此外，所述系统包括用于利用所述拟合模型为物体更新3D相机坐标的装置。所述物体的图像由3D相机捕捉。在一示例中，所述标记拐角包括以下各项中的至少一者：三角形的拐角，两条线的交点，几何图形的最尖锐拐角，以及几何图形的对称中心。
示例26是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型为物体更新3D相机坐标。
示例27是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。
示例28是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标确定参数矩阵。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器基于所述2D坐标和所述3D坐标确定参数矩阵。在一示例中，参数矩阵可用于将所述世界坐标系统中的坐标变换到所述3D相机的坐标系统中的坐标。
示例29是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述拟合模型可用于将所述原始深度值映射到所述基线深度值。
示例30是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。
示例31是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。
示例32是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。
示例33是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器捕捉所述指定图案的图像的红外图像。
示例34是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器捕捉所述指定图案的图像的红外图像。在一示例中，所述处理器确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
示例35是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器识别相机坐标系统内具有所述3D相机的光学中心的线。
示例36是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器包括图形处理器。
示例37是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述标记拐角包括以下各项中的至少一者：三角形的拐角，两条线的交点，几何图形的最尖锐拐角，以及几何图形的对称中心。
示例38是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。此外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。
示例39是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。此外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。
示例40是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标确定参数矩阵。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。此外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括捕捉所述指定图案的图像的深度图像。
示例41是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。此外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法包括捕捉所述指定图案的图像的红外图像。
示例42是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。此外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法包括捕捉所述指定图案的图像的红外图像。在一示例中，所述方法包括确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
示例43是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。此外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括识别相机坐标系统内具有所述3D相机的光学中心的线。
示例44是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。另外，所述指令使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型更新物体的多个3D相机坐标。
示例45是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。另外，所述指令使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型为物体更新3D相机坐标。在一示例中，所述物体的图像由3D相机捕捉。
示例46是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。另外，所述指令使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述指令使得所述处理器生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。所述指令使得所述处理器捕捉所述指定图案的图像的红外图像。
示例47是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。另外，所述指令使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述指令使得所述处理器捕捉所述指定图案的图像的深度图像。
示例48是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述指令还使得所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。另外，所述指令使得所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。此外，所述指令使得所述处理器基于所述基线深度值生成拟合模型。另外，所述指令使得所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述指令使得所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述指令使得所述处理器确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。所述标记拐角是通过识别所述指定图案的具有比所述图案的其余角度小的角度的标记点来检测的。
示例49是一种用于实时3D校准的系统。所述系统包括用于在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角的装置。所述系统还包括用于基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标的装置。所述3D坐标对应于所述2D坐标。所述系统还包括用于基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值的装置。另外，所述系统包括用于基于所述基线深度值生成拟合模型的装置。另外，所述系统包括用于利用所述拟合模型更新物体的多个3D相机坐标的装置。所述物体的图像由3D相机捕捉。
示例50是一种用于实时3D校准的系统。所述系统包括用于在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角的装置。所述系统还包括用于基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标的装置。所述3D坐标对应于所述2D坐标。所述系统还包括用于基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值的装置。另外，所述系统包括用于基于所述基线深度值生成拟合模型的装置。另外，所述系统包括用于利用所述拟合模型更新物体的多个3D相机坐标的装置。所述物体的图像由3D相机捕捉。所述标记拐角包括以下各项中的至少一者：三角形的拐角，两条线的交点，几何图形的最尖锐拐角，以及几何图形的对称中心。
示例51是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述系统包括用于利用所述拟合模型更新物体的多个3D相机坐标的装置。所述物体的图像由3D相机捕捉。
示例52是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。
示例53是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。此外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器基于所述2D坐标和所述3D坐标确定参数矩阵。所述参数矩阵可用于将所述世界坐标系统中的坐标变换到所述3D相机的坐标系统中的坐标。
示例54是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。所述拟合模型可用于将所述原始深度值映射到所述基线深度值。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。
示例55是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。此外，所述处理器生成所述指定图案的图像。
示例56是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标确定参数矩阵。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。
示例57是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。
示例58是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器捕捉所述指定图案的图像的红外图像。
示例59是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器捕捉所述指定图案的图像的红外图像。在一示例中，所述处理器确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
示例60是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器识别相机坐标系统内具有所述3D相机的光学中心的线。
示例61是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器包括图形处理器。
示例62是一种用于实时3D校准的系统。所述系统包括处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器还基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述标记拐角包括以下各项中的至少一者：三角形的拐角，两条线的交点，几何图形的最尖锐拐角，以及几何图形的对称中心。
示例63是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标确定参数矩阵。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。
示例64是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。
示例65是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法还包括捕捉所述指定图案的图像的深度图像。
示例66是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法还包括捕捉所述指定图案的图像的红外图像。
示例67是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。在一示例中，所述方法还包括捕捉所述指定图案的图像的红外图像。在一示例中，所述方法包括确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
示例68是一种用于实时3D校准的方法。所述方法包括在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述方法还包括基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述方法还包括基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。另外，所述方法包括基于所述基线深度值生成拟合模型。另外，所述方法包括利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述方法包括识别相机坐标系统内具有所述3D相机的光学中心的线。
示例69是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。
示例70是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型为物体更新3D相机坐标。在一示例中，所述物体的图像由3D相机捕捉。
示例71是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。在一示例中，所述处理器基于所述2D坐标和所述3D坐标确定参数矩阵。在一示例中，所述参数矩阵可用于将所述世界坐标系统中的坐标变换到所述3D相机的坐标系统中的坐标。
示例72是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述拟合模型可用于将所述原始深度值映射到所述基线深度值。
示例73是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。
示例74是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述指定图案的图像是利用红外吸收液体生成的。
示例75是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。
示例76是一种用于实时三维3D校准的系统，具有一处理器来在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器捕捉所述指定图案的图像的红外图像。
示例77是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。
示例78是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型为物体更新3D相机坐标。所述物体的图像由3D相机捕捉。
示例79是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器生成所述指定图案的图像。所述指定图案的图像是利用红外吸收液体生成的。所述处理器捕捉所述指定图案的图像的红外图像。
示例80是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。
示例81是一种具有指令的用于实时3D校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角。所述处理器基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标。所述3D坐标对应于所述2D坐标。所述处理器基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值。所述处理器基于所述基线深度值生成拟合模型。另外，所述处理器利用所述拟合模型更新物体的多个3D相机坐标。所述物体的图像由3D相机捕捉。在一示例中，所述处理器捕捉所述指定图案的图像的深度图像。在一示例中，所述处理器确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。所述标记拐角是通过识别所述指定图案的具有比所述图案的其余角度小的角度的标记点来检测的。
示例82是一种用于实时3D校准的系统。所述系统包括用于在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角的装置。所述系统还包括用于基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标的装置。所述3D坐标对应于所述2D坐标。所述系统还包括用于基于所述2D坐标和所述3D坐标确定参数矩阵的装置。所述系统还包括用于基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值的装置。另外，所述系统包括用于基于所述基线深度值生成拟合模型的装置。另外，所述系统包括用于利用所述拟合模型更新物体的多个3D相机坐标的装置。所述物体的图像由3D相机捕捉。
示例83是一种用于实时3D校准的系统。所述系统包括用于在指定图案的图像的图像坐标系统中的相应2D坐标处检测标记拐角的装置。所述系统还包括用于基于所述指定图案确定所述标记拐角在世界坐标系统中的3D坐标的装置。所述3D坐标对应于所述2D坐标。所述系统还包括用于基于所述2D坐标和所述3D坐标确定参数矩阵的装置。所述系统还包括用于基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的基线深度值的装置。另外，所述系统包括用于基于所述基线深度值生成拟合模型的装置。另外，所述系统包括用于利用所述拟合模型为物体更新3D相机坐标的装置。所述物体的图像由3D相机捕捉。所述标记拐角包括以下各项中的至少一者：三角形的拐角，两条线的交点，几何图形的最尖锐拐角，以及几何图形的对称中心。

Claims (25)

1.一种用于实时三维(3D)校准的系统，包括：
处理器，用于：
在指定图案的图像的图像坐标系统中的相应多个二维(2D)坐标处检测多个标记拐角；
基于所述指定图案确定所述标记拐角在世界坐标系统中的多个3D坐标，其中所述3D坐标对应于所述2D坐标；
基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的多个基线深度值；
基于所述基线深度值生成拟合模型；并且
通过利用所述拟合模型更新多个3D相机坐标来构造物体的3D模型，所述多个3D相机坐标包括未在所述标记平面上捕获的一个或多个点的深度值。
2.如权利要求1所述的系统，其中，所述物体的图像由3D相机捕捉。
3.如权利要求2所述的系统，其中，所述处理器还用于基于所述2D坐标和所述3D坐标确定参数矩阵，其中所述参数矩阵可用于将所述世界坐标系统中的坐标变换到所述3D相机的坐标系统中的坐标。
4.如权利要求1所述的系统，其中，所述拟合模型可用于将所述原始深度值映射到所述基线深度值。
5.如权利要求1所述的系统，其中，所述处理器还用于生成所述指定图案的图像。
6.如权利要求5所述的系统，其中，所述指定图案的图像是利用红外吸收液体生成的。
7.如权利要求5或6所述的系统，其中，所述处理器还用于捕捉所述指定图案的图像的深度图像。
8.如权利要求7所述的系统，其中，所述处理器还用于捕捉所述指定图案的图像的红外图像。
9.如权利要求8所述的系统，其中，所述处理器还用于确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
10.如权利要求2所述的系统，其中，所述处理器还用于识别所述相机坐标系统内包括所述3D相机的光学中心的线。
11.如权利要求1或2所述的系统，其中，所述处理器包括图形处理器。
12.如权利要求1或2所述的系统，其中，所述标记拐角包括以下各项中的至少一者：
三角形的拐角；
两条线的交点；
几何图形的最尖锐拐角；以及
几何图形的对称中心。
13.一种用于实时三维(3D)校准的方法，包括：
在指定图案的图像的图像坐标系统中的相应多个二维(2D)坐标处检测多个标记拐角；
基于所述指定图案确定所述标记拐角在世界坐标系统中的多个3D坐标，其中所述3D坐标对应于所述2D坐标；
基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的多个基线深度值；
基于所述基线深度值生成拟合模型；并且
通过利用所述拟合模型更新多个3D相机坐标来构造物体的3D模型，其中所述多个3D相机坐标包括未在所述标记平面上捕获的一个或多个点的深度值，并且所述物体的图像由3D相机捕捉。
14.如权利要求13所述的方法，包括生成所述指定图案的图像，其中所述指定图案的图像是利用红外吸收液体生成的。
15.如权利要求13或14所述的方法，包括捕捉所述指定图案的图像的深度图像。
16.如权利要求15所述的方法，包括捕捉所述指定图案的图像的红外图像。
17.如权利要求16所述的方法，包括确定所述红外图像中表示检测到的标记拐角的像素与所述深度图像的对应像素之间的关系。
18.如权利要求13所述的方法，包括识别所述相机坐标系统内包括所述3D相机的光学中心的线。
19.一种包括多个指令的用于实时三维(3D)校准的有形非暂态计算机可读介质，所述指令响应于在处理器上被执行而使得所述处理器：
在指定图案的图像的图像坐标系统中的相应多个二维(2D)坐标处检测多个标记拐角；
基于所述指定图案确定所述标记拐角在世界坐标系统中的多个3D坐标，其中所述3D坐标对应于所述2D坐标；
基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的多个基线深度值；
基于所述基线深度值生成拟合模型；并且
通过利用所述拟合模型更新多个3D相机坐标来构造物体的3D模型，其中所述多个3D相机坐标包括未在所述标记平面上捕获的一个或多个点的深度值，并且所述物体的图像由3D相机捕捉。
20.如权利要求19所述的有形非暂态计算机可读介质，其中，所述标记拐角包括以下各项中的至少一者：
三角形的拐角；
两条线的交点；
几何图形的最尖锐拐角；以及
几何图形的对称中心。
21.如权利要求19或20所述的有形非暂态计算机可读介质，其中，所述指令使得所述处理器生成所述指定图案的图像，所述指定图案的图像是利用红外吸收液体生成的，并且其中所述指令使得所述处理器捕捉所述指定图案的图像的红外图像。
22.如权利要求19所述的有形非暂态计算机可读介质，其中，所述指令使得所述处理器基于所述2D坐标和所述3D坐标确定参数矩阵，其中所述参数矩阵可用于将所述世界坐标系统中的坐标变换到所述3D相机的坐标系统中的坐标。
23.如权利要求21所述的有形非暂态计算机可读介质，其中，所述指令使得所述处理器确定所述红外图像中表示检测到的标记拐角的像素与深度图像的对应像素之间的关系，其中所述标记拐角是通过识别所述指定图案的具有比所述图案的其余角度小的角度的标记点来检测的。
24.一种用于实时三维(3D)校准的系统，包括：
用于在指定图案的图像的图像坐标系统中的相应多个二维(2D)坐标处检测多个标记拐角的装置；
用于基于所述指定图案确定所述标记拐角在世界坐标系统中的多个3D坐标的装置，其中所述3D坐标对应于所述2D坐标；
用于基于所述2D坐标和所述3D坐标为标记平面上的固有点确定与原始深度值相对应的多个基线深度值的装置；
用于基于所述基线深度值生成拟合模型的装置；以及
用于通过利用所述拟合模型更新多个3D相机坐标来构造物体的3D模型的装置，其中所述多个3D相机坐标包括未在所述标记平面上捕获的一个或多个点的深度值，并且所述物体的图像由3D相机捕捉。
25.如权利要求24所述的系统，包括用于基于所述2D坐标和所述3D坐标确定参数矩阵的装置，其中所述参数矩阵可用于将所述世界坐标系统中的坐标变换到所述3D相机的坐标系统中的坐标。
CN201680090204.6A 2016-11-03 2016-11-03 实时三维相机校准 Active CN109906471B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/104407 WO2018081967A1 (en) 2016-11-03 2016-11-03 Real-time three-dimensional camera calibration

Publications (2)

Publication Number Publication Date
CN109906471A CN109906471A (zh) 2019-06-18
CN109906471B true CN109906471B (zh) 2023-08-22

Family

ID=62075418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090204.6A Active CN109906471B (zh) 2016-11-03 2016-11-03 实时三维相机校准

Country Status (4)

Country Link
US (1) US11210811B2 (zh)
CN (1) CN109906471B (zh)
DE (1) DE112016007408T5 (zh)
WO (1) WO2018081967A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922836B2 (en) * 2016-11-15 2021-02-16 Carl Zeiss Industrielle Messtechnik Gmbh Method and system for determining a 3D position of an object in space
EP3430595B1 (en) * 2017-05-23 2020-10-28 Brainlab AG Determining the relative position between a point cloud generating camera and another camera
US10432913B2 (en) 2017-05-31 2019-10-01 Proximie, Inc. Systems and methods for determining three dimensional measurements in telemedicine application
CN109472827A (zh) * 2018-10-26 2019-03-15 珠海格力电器股份有限公司 一种相机位姿的估计方法、装置、存储介质及机器人
US10565737B1 (en) * 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063718A (zh) * 2010-12-24 2011-05-18 江南大学 一种点激光测量系统的现场标定和精密测量方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120121128A1 (en) * 2009-04-20 2012-05-17 Bent 360: Medialab Inc. Object tracking system
JP5393318B2 (ja) * 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
US20140192187A1 (en) * 2013-01-08 2014-07-10 Faro Technologies, Inc. Non-contact measurement device
CN103337066B (zh) * 2013-05-27 2016-05-18 清华大学 3d获取系统的校准方法
IL233114A (en) * 2014-06-12 2016-09-29 Brightway Vision Ltd A method and system for pattern recognition, classification and tracking
WO2016018392A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
CN104376558B (zh) * 2014-11-13 2017-02-08 浙江大学 一种基于长方体的Kinect深度相机的内参标定方法
CN104729429B (zh) * 2015-03-05 2017-06-30 深圳大学 一种远心成像的三维形貌测量系统标定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063718A (zh) * 2010-12-24 2011-05-18 江南大学 一种点激光测量系统的现场标定和精密测量方法

Also Published As

Publication number Publication date
WO2018081967A1 (en) 2018-05-11
DE112016007408T5 (de) 2019-07-18
CN109906471A (zh) 2019-06-18
US11210811B2 (en) 2021-12-28
US20190236806A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN109906471B (zh) 实时三维相机校准
US11070793B2 (en) Machine vision system calibration
JP2612097B2 (ja) ３次元空間内の物体の位置及び向きを自動的に決定する方法及びシステム
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
JP6079333B2 (ja) 校正装置、方法及びプログラム
CN111127422A (zh) 图像标注方法、装置、系统及主机
US20140300736A1 (en) Multi-sensor camera recalibration
CN108038886B (zh) 双目摄像系统标定方法、装置及其汽车
WO2019029991A1 (en) SYSTEM AND METHOD FOR RE-CALIBRATING A PROJECTOR SYSTEM
US10552984B2 (en) Capture device calibration methods and systems
CN114714356A (zh) 基于双目视觉的工业机器人手眼标定误差精确检测方法
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
Hata et al. Cs231a course notes 1: Camera models
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
KR20220035250A (ko) 공동 환경 재구성 및 카메라 교정
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质
CN109389645B (zh) 相机自校准方法、系统、相机、机器人及云端服务器
Oniga et al. Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results.
CN112648936A (zh) 基于差分投影的立体视觉检测方法及检测装置
Pai et al. High-fidelity camera-based method for noncontact vibration testing of structures
JP5464671B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant