CN113034612B - 一种标定装置、方法及深度相机 - Google Patents

一种标定装置、方法及深度相机 Download PDF

Info

Publication number
CN113034612B
CN113034612B CN202110319900.2A CN202110319900A CN113034612B CN 113034612 B CN113034612 B CN 113034612B CN 202110319900 A CN202110319900 A CN 202110319900A CN 113034612 B CN113034612 B CN 113034612B
Authority
CN
China
Prior art keywords
calibration
camera
image
parameters
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110319900.2A
Other languages
English (en)
Other versions
CN113034612A (zh
Inventor
兰富洋
王兆民
杨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202110319900.2A priority Critical patent/CN113034612B/zh
Publication of CN113034612A publication Critical patent/CN113034612A/zh
Application granted granted Critical
Publication of CN113034612B publication Critical patent/CN113034612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50—Manufacturing or production processes characterised by the final manufactured product

Abstract

本申请适用于机器视觉领域，提供了一种标定装置、方法及深度相机，所述装置包括：标定板、移动部件、固定支架、投影部件、相机及处理器，其中：标定板设置有特征点以及定位信息；投影部件用于将图案化光束投射在标定板上；移动部件用于改变标定板的位置；相机，与投影部件固定于固定支架上，用于采集经标定板反射的图案化光束并生成标定图像；处理器，与移动部件以及相机电连接，用于接收来自相机采集的标定图像，还用于控制移动部件移动，以及基于标定图像确定相机的内参数以及相机与投影部件的外参数。本申请通过控制移动部件获取标定板在不同位置上的标定图像，简化了标定材料的获取，从而简化了相机相关参数的标定过程。

Description

一种标定装置、方法及深度相机
技术领域
本申请属于计算机视觉领域，尤其涉及一种标定装置、方法及深度相机。
背景技术
单目结构光相机、TOF相机等一系列深度相机均由一个投影部件和一个相机组成，为了实现准确的深度测量，通常需要严格约束投影部件和相机的相对姿态，使相机光轴与二者构成的基线相互垂直。但是在实际装配过程中不可避免存在误差，若直接按照理想姿态下的深度计算方法计算深度，将导致深度相机测量精度降低。因此需要对深度相机进行标定，以获取准确的投影部件与相机间的姿态，即相机与投影部件的外参数，后利用外参数实现高精度的深度测量。
然而在现有标定技术中，需要先标定相机内参数，再对相机与投影部件的外参数进行标定，其标定过程复杂；且利用的投影散斑点计算投影部件与相机间姿态的方法容易受到噪声的影响，会造成深度相机的标定精度低等问题。
发明内容
本申请实施例提供了一种标定装置、方法及深度相机，该方法可以通过相机对标定板拍摄得到的第一标定图像，来确定该相机的内参数；控制投影部件对该标定板进行图案化光束的投射，再通过相机对标定板拍摄得到的第二标定图像，来确定该相机与该投影部件的外参数，相对于现有技术对相机相关参数的标定过程，该方法通过控制移动部件，在不同位置上的标定板上获取第一标定图像以及包含投影部件投射在该标定板上的图案化光束的第二标定图像，简化了标定材料的获取，又因第一标定图像以及第二标定图像均是通过相机拍摄在目标固定位置上的标定板得到的，在计算相机的内参数以及外参数时，内参数以及外参数的计算过程通过共享同一个位姿参数，该位姿参数为标定板在目标固定位置时与所述相机之间的位姿参数，使得外参数的计算过程中可以不考虑标定板的影响，导致计算效率提高，从而简化了相机相关参数的标定过程，解决了现有技术中对单目结构光相机以及投影部件的相关参数进行标定时标定过程复杂的问题。
第一方面，本申请实施例提供了一种相机的标定装置，包括：标定板、移动部件、固定支架、投影部件、相机及处理器，其中：所述标定板上设置有特征点以及定位信息；所述投影部件用于投射图案化光束至所述标定板；所述标定板固定于所述移动部件上，所述移动部件用于改变所述标定板的位置；所述相机，与所述投影部件固定于所述固定支架上，用于采集经标定板反射的图案化光束并生成标定图像；所述处理器，与所述移动部件以及所述相机电连接，用于接收来自所述相机采集标定图像，所述处理器还用于控制所述移动部件移动，以及基于所述标定图像确定所述相机的内参数以及所述相机与投影部件的外参数；其中，所述标定图像包括第一标定图像和第二标定图像，所述第一标定图像是在投影部件处于关闭状态时所述相机采集到的标定图像；所述第二标定图像是在投影部件处于开启状态时所述相机采集到的标定图像。
第二方面，本申请实施例提供了一种相机的标定方法，应用于上述第一方面所述的标定装置，包括：通过所述移动部件控制所述标定板移动至预设多个不同的固定位置；在所述标定板处于任一固定位置时，控制所述相机在所述投影部件处于关闭的工作状态时拍摄所述标定板，得到所述任一固定位置对应的第一标定图像；开启所述投影部件，在所述投影部件处于开启的工作状态时拍摄所述标定板，得到所述任一固定位置对应的第二标定图像；根据各个所述固定位置对应的所述第一标定图像，计算所述相机的内参数，以及所述标定板处于各个所述固定位置时与所述相机的位姿参数；根据各个所述固定位置对应的所述第二标定图像以及所述位姿参数，计算所述相机关于所述投影部件的外参数。
第三方面，本申请实施例一种深度相机，应用上述标定方法，包括：投影模块，用于投影图案化光束至目标区域；采集模块，用于接收经目标区域反射回的图案化光束并生成目标图像；处理模块，用于根据预设的采集模块的参数校正所述目标图像；存储模块，用于存储预设的采集模块的参数，所述参数包括内参数和外参数，可预先根据上述的标定方法计算得到。
第四方面，本申请实施例提供了一种终端装置，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面中任一项所述的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面中任一项所述的方法。
第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端装置上运行时，使得终端装置执行上述第二方面中任一项所述的方法。
可以理解的是，上述第一方面以及上述第三方面至第六方面的有益效果可以参见上述第二方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
本申请第二方面提供的标定方法，相对于现有技术，该方法可以通过相机对标定板进行拍摄得到的第一标定图像，来确定该相机的内参数；控制投影部件对该标定板进行图案化光束的投射，再通过相机对标定板拍摄得到的第二标定图像，来确定该相机与该投影部件的外参数；该方法通过控制移动部件，在不同位置上的标定板上获取第一标定图像以及包含投影部件投射在该标定板上的图案化光束的第二标定图像，简化了标定材料的获取，又因第一标定图像以及第二标定图像均是通过相机拍摄在目标固定位置上的标定板得到的，在计算相机的内参数以及外参数时，内参数以及外参数的计算过程通过共享同一个位姿参数，该位姿参数为标定板在目标固定位置时与所述相机之间的位姿参数，使得外参数的计算过程中可以不考虑标定板的影响，从而提高了计算效率提高，并且简化了相机相关参数的标定过程，解决了现有技术中对深度相机中投影部件和相机相关参数进行标定时，标定过程复杂且标定精度低的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的标定装置的结构示意图；
图2是本申请一实施例提供的处理器的结构示意图；
图3是本申请第一实施例提供的标定方法的实现流程图；
图4是本申请第二实施例提供的标定方法的实现流程图；
图5是本申请一实施例的投影部件的空间示意图；
图6是本申请第三实施例提供的标定方法的实现流程图；
图7是本申请一实施例提供的标定板示意图；
图8是本申请第四实施例提供的标定方法的实现流程图；
图9是本申请第六实施例提供的标定方法的实现流程图；
图10是本申请一实施例提供的深度相机的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一
图1示出了本申请一实施例提供的标定装置10的结构示意图，该标定装置10用于标定相机00，该标定装置10包括标定板11、移动部件12、固定支架13、投影部件14及处理器15，该标定板11固定于该移动部件12上，该移动部件12用于改变该标定板11的位置；该相机00以及该投影部件14固定于该固定支架13上，使得该相机00的拍摄画面包含该标定板11；该处理器15与该移动部件12以及该相机00电连接，用于接收来自该相机00采集的第一标定图像以及第二标定图像，该处理器15还用于控制该移动部件12移动，以及基于第一标定图像和第二标定图像确定该相机00的内参数以及该相机00与投影部件14的外参数；其中，该第一标定图像是在投影部件14处于关闭状态时该相机00采集到的标定图像；该第二标定图像是在投影部件14处于开启状态时该相机00采集到的标定图像。
在一个实施例中，如图1所示，该移动部件12可以包括转台121以及滑轨122；该标定板11固定于该转台121的上端面上，以控制该标定板11在上端面所在平面上旋转至预设角度，设置该标定板11的正面朝向；该转台121的下端面与该滑轨122相连接，以使该转台121沿该滑轨122的移动方向移动，以控制该标定板11与该固定支架13上的该相机00之间的相对位置。应理解，基于该标定板11与该相机00之间的相对位置可以计算得到该相机00与该标定板11之间的位姿参数，以便于后续根据该位姿参数计算该相机00的内参数以及该相机00与该投影部件14的外参数。通过该转台121与该滑轨122，可以使得该标定板11移动至预设固定位置上，以便于后续获取该标定板11在该预设固定位置上时该相机00采集的第一标定图像以及第二标定图像。
在一个实施例中，投影部件14可包含发光件以及图案化元件，在开启发光件后，光线会通过上述的图案化元件产生图案化光束，并照射在标定板11上，示例性地，该图案化光束可以为图1所示的该标定板11上的条纹图案。需要说明的是，图案化元件可为衍射光学元件或衍射光学元件和透镜的组合，此处不作限制。
需要说明的是，投影部件14投射的图案化光束用于确定该投影部件14与该相机00之间的相对位置，也即用于后续该处理器15确定该相机00关于该投影部件14的外参数。进一步地，图1中该投影部件14与该相机00可共同组成一个单目结构光系统，该单目结构光系统可设置在该固定支架13上（也即图示投影部件14以及相机00的所在位置），此处不作限制。
在一个实施例中，标定板11可设置有特征点以及定位信息，该特征点可以为图1所示的该标定板11上的黑色实心点；该定位信息可以为图1所示的该标定板11上中心部分的四个空心圆所构成的定位图案，该定位图案内其中一个空心圆内有黑色实心点，该定位信息可用于表征该标定板的方向性特征，即在标定图像内获取得到的该标定板的任一部分，都可以在快速定位到该标定板的相对具体位置上；该投影部件14用于将结图案化光束投射在该标定板11上；标定板11上可设有空白区域，可便于后续在处理图像中仅针对空白区域进行计算，以减少计算量。
图2示出了本申请一实施例提供的处理器15的结构示意图，参见图2，该处理器15包括：计算单元151与控制单元152，该计算单元151与该移动部件12以及该相机00电连接；该控制单元152与该移动部件12、该投影部件14以及该相机00电连接，其中：该控制单元152用于控制该移动部件12改变该标定板11的位置、开启以及关闭该投影部件14，以及控制该相机00获取该第一标定图像和该第二标定图像；该计算单元151用于接收该相机00发送的该第一标定图像、该第二标定图像，以及接收该移动部件12反馈的该标定板11的位置信息，并基于该第一标定图像、该第二标定图像以及该标定板11的位置信息计算该相机00的内参数以及该相机00与投影部件14的外参数。通过控制单元152与计算单元151的配合工作，得到该标定板11在多个不同的固定位置时，该相机00分别采集的多个第一标定图像以及多个第二标定图像，以便于后续计算该相机00的内参数以及该相机00与投影部件14的外参数。
实施例二
本申请还提供一种标定方法，在本实施例中，上述标定方法的流程的执行主体为标定装置。该标定装置10包含标定板11、移动部件12、固定支架13、投影部件14及处理器15，各部件之间的相互连接关系可以参见上一实施例的相关描述，该标定装置10能够执行本申请提供的标定方法。
图3示出了本申请第一实施例提供的标定方法的实现流程图，应用于图1所示的标定装置10，详述如下:
S301：通过所述移动部件控制所述标定板移动至预设多个不同的固定位置。
在本实施例中，该标定装置可以通过控制移动部件，从而调整该标定板与该相机之间的位姿关系，该位姿关系包括距离以及旋转角；该移动部件既可以控制该标定板与该相机之间的距离，也可以控制该标定板的旋转向量，该旋转角指的是该标定板上的旋转向量与该相机的旋转向量之间的差值，也即该标定板基于该旋转角进行旋转后，旋转向量与该相机相同，也即该标定板上设置有特征点的那一面所面朝的方向与该相机的光轴平行，该相机的旋转向量是该相机设置在该固定支架上时预设的。一般地，通过控制该标定板的旋转向量，可以确保该标定板上设置有特征点的那一面所面朝的方向与该相机的光轴之间的夹角处于[0°，90°)的范围内，以使后续该相机能够通过拍摄将该标定板上设置有特征点的那一面的图像信息记录在第一标定图像以及第二标定图像中。
应理解，上述预设的多个不同的固定位置，在各个不同的固定位置上时，该标定板与该相机的距离以及旋转角均不相同，优选地，上述预设的多个不同的固定位置的数量可以为三个，也即后续获取标定板在三种不同的姿态下的标定图像，亦可以为四个甚至更多，此处不作限制，
S302：在所述标定板处于任一固定位置时，控制所述相机在所述投影部件处于关闭的工作状态时拍摄所述标定板，得到所述任一固定位置对应的第一标定图像。
在一个实施例中，该第一标定图像指的是该相机在该投影部件处于关闭的工作状态时拍摄该标定板得到的图像，该投影部件是用于将图案化光束投射在该标定板上，也即该第一标定图像中不包含该图案化光束。
应理解，上述S302的操作具体可以通过处理器来完成。一般地，在该标定板每处于一个固定位置时，该相机拍摄一帧第一标定图像。
S303：开启所述投影部件，在所述投影部件处于开启的工作状态时拍摄所述标定板，得到所述任一固定位置对应的第二标定图像。
在一个实施例中，该第二标定图像指的是该相机在该投影部件处于开启的工作状态时拍摄该标定板得到的图像，因为该投影部件用于将图案化光束通过结构光光束投射在该标定板上，所以上述第二标定图像中包含有该投影部件投射在该标定板上的图案化光束。
应理解，上述S303的操作具体可以通过上述处理器来完成。一般地，在该标定板每处于一个固定位置时，该相机拍摄一帧第二标定图像。
S304：根据各个所述固定位置对应的所述第一标定图像，计算所述相机的内参数，以及所述标定板处于各个所述固定位置时与所述相机的位姿参数。
在一个实施例中，以一个固定位置为例，该固定位置是预先设置的，根据该固定位置可以确定此时该标定板与该相机之间的位姿关系（也即上述位姿参数），也可以确定该标定板上各个像素在世界坐标系上的世界坐标，以便于计算该相机的内参数；一般地，该世界坐标系是基于该标定板建立的，该像素的世界坐标也可用于表征该像素在标定板上的相对位置，该内参数用于表征该相机的成像误差，该内参数一般指的是由该相机的焦距构成的内参矩阵。而上述通过该移动部件控制该标定板移动至预设多个不同的固定位置，是为了后续获取该标定板在不同的固定位置时的第一标定图像以及第二标定图像，以得到该标定板在不同的固定位置时的该相机的内参数，并将该标定板在各个不同的固定位置时计算得到的该相机的内参数进行求平均值的操作，进而将该平均值识别为该相机的内参数，也即通过获取多个样本来减少计算误差，从而更加精准地确定该相机的内参数。
在一个实施例中，该标定板上设置有多个特征点，以一个特征点为例进行说明。上述确定内参数以及位姿参数的方式具体可以为：根据该特征点在该标定板上的相对位置，确定该特征点在世界坐标系上的世界坐标，示例性地，该世界坐标系的z轴垂直于该标定板，x轴、y轴分别与该标定板的长边以及宽边平行，一般地，该世界坐标系的原点可设置在该标定板的左上角，以标定板的尺寸作为基准，确定该世界坐标系的坐标尺寸，也即确定该世界坐标系上的单位坐标对应的尺寸；基于该第一标定图像确定各个特征点像素坐标；根据各个特征点的世界坐标与像素坐标之间的差异，得到该世界坐标系与该第一标定图像对应的像素坐标系之间的转换关系。
在一个实施例中，根据该标定板所在的固定位置与该相机的相对位置关系，确定上述此时该标定板与该相机之间的位姿关系（也即上述位姿参数），该位姿参数一般包括平移矩阵以及旋转矩阵，该位姿参数代表着该标定板基于该旋转矩阵旋转以及基于该平移矩阵平移后会与该相机完全重合，也即该位姿参数用于表征上述世界坐标系与该相机对应的相机坐标系之间的转换关系。应理解，该标定板所在位置以及该相机的位置时预先设置好的，是已知的，因此该位姿关系也是已知的。上述计算所述相机的内参数，具体可以根据上述世界坐标系与该第一标定图像对应的像素坐标系之间的转换关系以及上述位姿参数进行计算，也即该内参数用于表征该相机对应的相机坐标系与该第一标定图像对应的像素坐标系之间的转换关系。
在一个实施例中，在上述过程中，已知各个特征点的世界坐标以及世界坐标与相机坐标的转换关系，也即可以通过该转换关系计算各个特征点的相机坐标；根据该第一标定图像，可以确定各个特征点的像素坐标，该像素坐标指的是该特征点在该第一标定图像中的位置；根据上述特征点的相机坐标以及像素坐标，即可计算该相机的内参数，该内参数用于确定该相机的相机坐标系与该第一标定图像的像素坐标系之间的转换关系。
S305：根据各个所述固定位置对应的所述第二标定图像以及所述位姿参数，计算所述相机关于所述投影部件的外参数。
在本实施例中，上述相机关于该投影部件的外参数，指的是该投影部件在该相机的相机坐标系上的具体相机坐标，用于表征该投影部件相对于该相机的相对位置。该第二标定图像内包含了该投影部件投射在该标定板上的图案化光束；在该标定板处于不同的固定位置上时采集到的多个第二标定图像中，通过计算每个第二标定图像中在该标定板表面上的图案化光束的位置，从而确定该投影部件的位置，其原理为，该图案化光束是从该投影部件以直线的形式投射至不同固定位置的该标定板上，从而根据该图案化光束在各个第二标定图像内的所在点，在空间上构成一条包含该图案化光束所有所在点的直线，也即该投影部件将该图案化光束投射至该标定板上的投影射线。
在一种可能的实现方式中，上述根据各个所述固定位置对应的所述第二标定图像以及所述位姿参数，计算所述相机关于所述投影部件的外参数，具体可以为：以一个第二标定图像为例进行说明，根据该第二标定图像内该图案化光束的像素坐标，以及在S304中计算得到的位姿参数，可以计算得到该图案化光束的中心相机坐标（也即该图案化光束的中心在该相机的相机坐标系上的相机坐标）；根据多个第二标定图像内的图案化光束的中心相机坐标，确定第一空间直线，该空间直线上必定存在该投影部件；进一步地，该投影部件可以与该相机一同预先设置在上述固定支架上，也即可以确定该投影部件与该相机所在的支架空间直线，该支架空间直线用于表征该固定支架上预设的固定装置位置；上述两条空间直线所相交的点，即为该投影部件的所在点，将该投影部件所在点的相机坐标，识别为上述相机关于该投影部件的外参数。
应理解，该固定支架上预设的固定装置位置可以不是一条空间直线，而是预设的空间上的点的集合（仍是已知的），但其与上述第一空间直线的结合，依然足以作为确定该投影部件的依据，以确定该投影部件的所在点。该投影部件可以与该相机组成一单目结构光系统，也即该相机关于该投影部件的外参数，为该单目结构光系统的内参数。
应理解，该投影部件可以投射多束图案化光束，以按上述步骤得到不同束图案化光束对应的多条空间直线，而这些空间直线之间的交点，即为该投影部件的所在点，这种方法以增加样本的数量进而提高精准度。若上述多条空间直线中两两之间的交点不为同一个点，则可能存在计算误差，以上述多条空间直线中两两之间的所有交点在相机坐标系上的质心识别为上述投影部件的所在点。
在一个实施例中，该标定方法可以通过相机对标定板进行拍摄得到的第一标定图像，来确定该相机的内参数；控制投影部件对该标定板进行图案化光束的投射，再通过相机对标定板拍摄得到的第二标定图像，来确定该相机与该投影部件的外参数；该方法通过控制移动部件，在不同位置上的标定板上获取第一标定图像以及包含投影部件投射在该标定板上的图案化光束的第二标定图像，简化了标定材料的获取，又因第一标定图像以及第二标定图像均是通过相机拍摄在目标固定位置上的标定板得到的，在计算相机的内参数以及外参数时，内参数以及外参数的计算过程通过共享同一个位姿参数，该位姿参数为标定板在目标固定位置时与所述相机之间的位姿参数，使得外参数的计算过程中可以不考虑标定板的影响，从而提高了计算效率提高，并且简化了相机相关参数的标定过程，解决了现有技术中对深度相机中的投影部件的相关参数进行标定时，标定过程复杂的问题。
应理解，一般的单目结构光系统内要求该投影部件以及该相机之间的连线与该相机的光轴互相垂直，但实际上不可避免存在误差，因此本实施例的方法可以减少该单目结构光系统本身的误差，以提高通过该单目结构光系统进行测量的值的精度。
图4示出了本申请第二实施例提供的标定方法的实现流程图。参见图4，相对于图3所述实施例，本实施例提供的标定方法S305包括S401~S404，具体详述如下：
在本实施例中，所述投影部件开启时在所述标定板的空白区域内上会投射图案化光束，至少包括第一图案化光束和第二图案化光束，其中，第一图案化光束和第二图案化光束分别为至少两束图案化光束的集合。进一步地，所述根据各个所述固定位置对应的所述第二标定图像以及所述位姿参数，计算所述相机关于所述投影部件的外参数，包括：
S401：在所述第二标定图像内提取第一图案化光束对应的区域图像，并确定所述区域图像的中心像素坐标。
在本实施例中，上述在所述第二标定图像内提取第一图案化光束对应的区域图像，并确定所述区域图像的中心像素坐标，具体可以为：在该第二标定图像中以从左到右、从上到下的顺序，以预设尺寸的框架，遍历该第二标定图像的空白区域内的各个像素，得到包含第一图案化光束对应的所有像素的第一框架，具体地，可以以该预设尺寸的框架内的像素特征是否与该第一图案化光束像素特征相同为基准，进而判断该像素是否为该第一图案化光束的像素；将该第一框架识别为该第一图案化光束对应的区域图像，并确定该区域图像的中心像素坐标。
应理解，若投影部件投影的第一图案化光束为散斑，则第一图案化光束为至少两束图案化光束集合，即在第二标定图像中第一图案化光束对应的区域图像中包括多个散斑，多个散斑形成集合以便于计算区域图像的中心像素坐标，进而减少了使用单个散斑计算受到的噪声影响，提高了标定精度。
应理解，第一图案化光束或第二图案化光束还可以为单束图案化光束；该标定板上的空白区域可以是多个的，区域大小不作限定，该标定板上的空白区域内不包含上述特征点或定位信息；中心像素坐标可通过插值法获取，此处不作限制。
S402：根据所述中心像素坐标、所述相机的内参数以及所述相机与所述标定板的位姿参数，计算所述区域图像的中心相机坐标。
在本实施例中，所述相机与所述标定板的位姿参数是根据与所述第二标定图像处于同一个固定位置时拍摄得到的所述第一标定图像确定的，具体可参照上述S304中的相关描述。
在一种可能的实现方式中，以在任一第二标定图像中任一图案化光束对应的区域图像为例进行说明，根据所述中心像素坐标、所述相机的内参数以及所述相机与所述标定板的位姿参数，计算所述区域图像的中心相机坐标，具体地，计算该中心相机坐标公式如下：
Figure SMS_1
，/>
Figure SMS_2
其中， K为上述相机的内参数；
Figure SMS_5
为该标定板与该相机之间的旋转矩阵；/>
Figure SMS_8
该标定板与该相机之间的平移矩阵；（u，v）为上述中心像素坐标，（/>
Figure SMS_11
，/>
Figure SMS_4
，/>
Figure SMS_6
）为该区域图像的中心相机坐标；（/>
Figure SMS_9
，/>
Figure SMS_12
，/>
Figure SMS_3
）为上述中心世界坐标，可以根据该区域图像的中心在该标定板上的位置进行确定，具体地，可以根据该中心与该标定板上的定位信息之间的相对位置进行确定。应理解，/>
Figure SMS_7
以及/>
Figure SMS_10
是与同一个固定位置的标定板相关联的参数，若该固定位置不同，则这两个参数也不相同。应理解，该中心在该标定板上，也即该中心世界坐标中的/>
Figure SMS_13
的值为零。
S403：根据所述第一图案化光束对应在不同第二标定图像中的中心相机坐标，拟合得到第一图案化光束对应的空间直线。
在本实施例中，上述基于第一图案化光束对应在不同第二标定图像中的中心相机坐标，拟合得到第一图案化光束对应的空间直线，可参照现有技术中任意在三维空间上根据多个点进行拟合得到空间直线的方法，在此不再赘述。
需要说明的是，上述拟合得到第一图案化光束对应的空间直线，具体为拟合第一图案化光束在不同第二标定图像中的同名区域图像的中心相机坐标，上述第一图案化光束的同名区域图像表征为上述第二标定图像内的第一图案化光束在不同的第二标定图像具有相同特征的区域图像。
在一种可能的实现方式中，上述基于第一图案化光束对应在不同第二标定图像中的中心相机坐标，拟合得到第一图案化光束对应的空间直线，具体可以为：通过最小二乘法拟合该第一图案化光束的同名区域图像对应的多个中心相机坐标，得到该空间直线，具体地，设该空间直线的方程矩阵为
Figure SMS_14
，根据多个中心相机坐标，计算该空间直线的方程系数，计算公式如下：
Figure SMS_15
，
其中，
Figure SMS_16
为该空间直线的方程系数，/>
Figure SMS_17
为该第i个中心相机坐标，n为上述第一图案化光束的同名区域图像对应的所有中心相机坐标的数目。
应理解，该空间直线应经过不同第二标定图像的同名区域图像对应的中心；若存在不同第二标定图像的同名区域图像的中心不在同一条空间直线上，则说明有误差产生，则以与各个中心相机坐标对应的点之间的方差最小的空间直线作为上述第一图案化光束的同名区域图像对应的空间直线。
S404：根据所述第一图案化光束对应的空间直线与所述第二图案化光束对应的空间直线的交点，确定所述交点对应的相机坐标，并将所述相机坐标识别为所述相机关于所述投影部件的外参数。
在本实施例中，在上述S403的步骤中，不同第二标定图像的第一图案化光束对应一条空间直线，不同第二标定图像的第二图案化光束对应另一条空间直线，参照S305的相关描述，各条空间直线为该投影部件投射的多束图案化光束，上述两条空间直线的交点即为该投影部件所在的点，该交点在该相机的相机坐标系下的相机坐标即为该相机关于该投影部件的外参数。在本实施例中，根据不同第二标定图像的第一图案化光束以及第二图案化光束的同名区域图像对应的空间直线的交点，确定所述交点对应的相机坐标，并将所述相机坐标识别为所述相机关于所述投影部件的外参数，具体可参照现有技术中在三维空间内求两条空间直线的交点的算法。
应理解，上述可以根据多束图案化光束的同名区域图像对应的多条空间直线，确定该投影部件所在的点；上述多条空间直线两两之间的交点应为同一个点，若上述多条空间直线中两两之间的交点不为同一个点，则可能存在计算误差，则以上述多条空间直线中两两之间的所有交点在相机坐标系上的质心识别为上述投影部件的所在点。
图5示出了本申请一实施例的投影部件的空间示意图，示例性地，该标定板在两个不同的固定位置上，接收该投影部件投射至少两束图案化光束；通过上述S403的步骤，确定了图案化光束对应的空间直线方程，并通过上述S404，确定了多束图案化光束的交点，也即该投影部件在该相机的相机坐标系上的坐标。
在本实施例中，通过提取在S304中计算得到的，与该第一标定图像在同一个固定位置对应的旋转矩阵以及平移矩阵，也即直接提取本实施例具体计算过程的中间项，以简化该相机关于该投影部件的外参数的计算过程，达到提高效率的目的。
图6示出了本申请第三实施例提供的标定方法的实现流程图，相对于图4所述实施例，本实施例提供的标定方法S401包括S601~S604，具体详述如下：
进一步地，在不同的第二标定图像内获取同一空白区域中同名区域图像，并确定所述同名区域图像的中心像素坐标，包括：
S601：基于所述第二标定图像内所有特征点的像素坐标，在所述所有特征点中选取边缘特征点。
在本实施例中，示例性地，该标定板上的特征点是均匀分布在该标定板上除了空白区域之外的其他区域内的，具体可参见图7。上述基于所述第二标定图像内所有特征点的像素坐标，在所述所有特征点中选取边缘特征点，具体可以为：根据该标定板上各个特征点的像素坐标（也即分布位置），在所有特征点中选取边缘特征点，具体地，将不连续分布的特征点识别为上述边缘特征点。示例性地，参见图7，图7中虚线框经过的点即为上述边缘特征点。
S602：基于各个所述第二标定图像中的所有所述边缘特征点，分别确定各个所述第二标定图像的空白区域。
在本实施例中，参见图7，通过该第一标定图像中的该标定板上的边缘特征点，可以确定图7所示的标定板上包含至少4个空白区域（也即图7所示的虚线框内的区域），该空白区域是由各个边缘特征点包围而成的。
S603：在任一第二标定图像的空白区域中，选取预设尺寸的方框，以框取第一图案化光束的区域图像，并匹配其他第二标定图像以获取所述第一图案化光束的同名区域图像。
在本实施例中，所述同名区域图像用于表征所述第一图案化光束在不同的第二标定图像中具有相同特征的图案化光束。
在一种可能实现的方式中，上述在任一第二标定图像的空白区域中，选取预设尺寸的方框，以框取第一图案化光束对应的区域图像，具体可以为：在该第二标定图像中以从左到右、从上到下的顺序，以预设尺寸的框架（如图7中的正方形框架），遍历该第二标定图像的空白区域内的各个像素，得到包含该第一图案化光束对应的所有像素的第一框架。上述匹配其他第二标定图像以获取所述第一图案化光束的同名区域图像，具体可以为：以任一其他第二标定图像为例进行说明，以从左到右，从上到下的顺序，以上述预设尺寸的框架，遍历该其他第二标定图像的空白区域内各个像素，提取与第一图案化光束在该标定板上的相对位置（可根据与该标定板上的定位信息之间的相对位置进行确定）相同或相近的图案化光束，即为该第一图案化光束的同名区域图像。
在一个实施例中，通过各个第二标定图像的边缘特征点来确定各个第二标定图像中的空白区域，只在其他第二标定图像的空白区域内进行匹配以获取该第一图案化光束的同名区域图像；在匹配过程中可利用标定板中的定位信息，在其他第二标定图像中快速定位同名区域图像所在的空白区域，可以提高效率。需要说明的是，标定板亦可以不设计空白区域，可直接利用标定板特征点间的空白的区域，基于该空白的区域选取符合尺寸的区域图像进行匹配。
进一步地，本实施例提供的标定方法S603包括S6031，具体详述如下：
在任一第二标定图像的空白区域中，选取预设尺寸的区域图像，并匹配其他第二标定图像以获取同名区域图像，包括：
S6031：在所述其他第二标定图像的空白区域对应的候选区域中，提取与所述任一第二标定图像对应第一图案化光束的区域图像相似度高于或等于预设阈值的候选区域，识别为所述第一图案化光束的同名区域图像。
需要说明的是，候选区域为其他第二标定图像的空白区域的任意区域图像。
在一个实施例中，以任一其他第二标定图像为例，在其他第二标定图像的空白区域内获取各个图案化光束对应的候选区域，将每个候选区域与上述第一图案化光束进行匹配，具体地，计算每个候选区域与上述第一图案化光束的相似度，若该相似度高于预设阈值，则将该相似度高于预设阈值的候选区域识别为在该第一图案化光束在该其他第二标定图像内的同名区域图像。
应理解，为了提高精准度，可以计算上述全部候选区域与上述任一第二标定图像内第一图案化光束对应的区域图像的相似度，选取该相似度最高的候选区域，识别为在该其他第二标定图像内的该区域图像的同名区域图像。
应理解，上述计算每个候选区域与上述任一第二标定图像内的第一图案化光束对应的区域图像的相似度，具体可参照特征匹配算法、全局匹配算法、半全局匹配算法(Semi-Global Matching)或者基于深度学习（Deep Learning）的匹配方法等方法，在此不作限定。本实施例中所使用的是特征匹配算法，基于该候选区域内各个像素的像素值，以及该任一第二标定图像对应的第一图案化光束对应的区域图像内各个像素的像素值，进行特征匹配，从而计算上述两者的相似度，此处不作限制。
在本实施例中，基于相似度，在该其他第二标定图像内的所有候选区域中，匹配与上述第二标定图像内的第一图案化光束对应的区域图像的同名区域图像以便于后续计算该相机关于该投影部件的外参数，该方法具有对图像噪声不敏感的有点，可以提高该外参数的标定精度。
图8示出了本申请第四实施例提供的标定方法的实现流程图。参见图8，相对于图3所述实施例，本实施例提供的标定方法S304包括S801~S805，具体详述如下：
进一步地，所述根据多个所述第一标定图像，计算所述相机的内参数以及所述标定板处于所述目标固定位置时与所述相机的位姿参数，包括：
S801：标记所述第一标定图像中位于所述标定板上预先设置的至少一个特征点，确定各个所述特征点在所述第一标定图像中的像素坐标。
在一个实施例中，该目标固定位置为上述预设多个固定位置的其中一个固定位置。上述标记所述第一标定图像中位于所述标定板上预先设置的至少一个特征点，确定各个所述特征点在所述第一标定图像中的像素坐标，具体可以为：在该第一标定图像中，识别出该标定板的所在区域，在该标定板的所在区域内识别出所有特征点（至少一个），参照图7，示例性地，该特征点为该标定板上预先设置的黑点；确定各个特征点在该第一标定图像中的像素坐标，该像素坐标为在该第一标定图像中的像素坐标系上的坐标，该像素坐标系为二维坐标系，一般地，以该第一标定图像的中心作为该像素坐标系的原点。
S802：根据所述标定板的尺寸以及各个所述特征点在所述标定板的位置，确定各个所述特征点对应的世界坐标。
在一个实施例中，该世界坐标系的z轴垂直于该标定板，x轴、y轴分别与该标定板的长边以及宽边平行，一般地，该世界坐标系的原点可设置在该标定板的左上角。
在一种可能实现的方式中，上述根据所述标定板的尺寸以及各个所述特征点在所述标定板的位置，确定各个所述特征点对应的世界坐标，具体可以为：以该标定板的尺寸作为基准，确定该世界坐标系的坐标尺寸，也即确定该世界坐标系上的单位坐标对应的尺寸；以一个特征点为例进行说明，根据该特征点在该标定板内的位置，确定该特征点对应的世界坐标。应理解，因为该特征点是预先设置在该标定板上的，也即该世界坐标系确定的同时，该特征点的世界坐标也确定了。
S803：根据所述目标固定位置以及各个所述特征点的世界坐标，计算所述相机与所述标定板对应的位姿参数。
在一个实施例中，上述世界坐标系的z轴垂直于该标定板，也即该世界坐标系是根据该标定板所在的固定位置确定的，也即上述位姿参数指的是在该标定板位于该第一标定图像对应的固定位置时，该相机与该标定板之间的位姿参数，该位姿参数包括旋转矩阵以及平移矩阵，具体可参照上述S304的相关描述，在此不再赘述。
在一种可能实现的方式中，根据所述目标固定位置以及各个所述特征点的世界坐标，计算相机与标定板的位姿参数具体可以为，根据该目标固定位置确定该标定板与该相机之间的相对位置，结合该特征点在该标定板上的相对位置，进一步确定该特征点与该相机之间的相对位置；根据该特征点与该相机之间的相对位置，可以确定该特征点在该相机对应的相机坐标系上的相机坐标（
Figure SMS_18
，/>
Figure SMS_19
，/>
Figure SMS_20
），而该特征点的世界坐标为（/>
Figure SMS_21
，/>
Figure SMS_22
，/>
Figure SMS_23
），两者之间的关系如下：
Figure SMS_24
，其中，/>
Figure SMS_25
为该相机与该标定板之间的旋转矩阵；/>
Figure SMS_26
该相机与该标定板之间的平移矩阵；根据多个特征点的世界坐标以及相机坐标，可以列出多条上述方程式，求解得到上述旋转矩阵/>
Figure SMS_27
以及上述平移矩阵/>
Figure SMS_28
。
应理解，上述旋转矩阵以及平移矩阵的物理意义为，该标定板对应的世界坐标系在基于旋转矩阵进行旋转后，以及基于平移矩阵进行平移后，与该相机对应的相机坐标系重合。
S804：根据所述位姿参数以及各个所述特征点的像素坐标和世界坐标，计算基于第一标定图像对应的相机特征参量。
在一个实施例中，上述根据所述位姿参数以及各个所述特征点的像素坐标和世界坐标，计算基于第一标定图像对应的相机特征参量，具体可参照以下公式：
Figure SMS_29
，
其中
Figure SMS_30
为相机深度，也即上述特征点在该相机坐标系上z轴的坐标；K为相机特征参量；旋转矩阵/>
Figure SMS_31
以及平移矩阵/>
Figure SMS_32
为在该标定板位于该第一标定图像对应的该目标固定位置时该相机相对于该标定板的位姿参数，（/>
Figure SMS_33
，/>
Figure SMS_34
，/>
Figure SMS_35
）为上述特征点的世界坐标。
应理解，不同的固定位置，上述旋转矩阵
Figure SMS_36
以及平移矩阵/>
Figure SMS_37
的值亦不相同。
S805：将多个所述第一标定图像对应的相机特征参量的平均值，作为所述相机的内参数。
在一个实施例中，基于多取样以平衡误差的思想，将多个第一标定图像对应的特征参量进行计算平均值的操作，并将得到的平均值识别为该相机的内参数。
在一个实施例中，通过将多个第一标定图像对应的相机特征参量进行计算平均值的操作，并将得到的平均值识别为该相机的内参数，可以减少误差，提高该内参数的标定精度。
图9示出了本申请第六实施例提供的标定方法的实现流程图。参见图9，本实施例提供的标定方法S803包括S901~S904，具体详述如下：
在一个实施例中，所述位姿参数包括旋转矩阵以及平移矩阵。
进一步地，所述根据所述目标固定位置以及各个所述特征点的世界坐标，计算所述第一标定图像对应的位姿参数，包括：
在S901中，根据所述目标固定位置，确定所述标定板的旋转欧拉角。
在本实施例中，该目标固定位置可以根据该移动部件的工作参数进行确定，该移动部件的工作参数用于表征该标定板的面向方向以及该标定板与该相机之间的距离。上述根据所述目标固定位置，确定所述标定板的旋转欧拉角，具体可以为：根据该相机的位置以及姿态（预先设置好的），确定该相机对应的相机坐标系；根据该标定板所在的该目标固定位置以及该标定板的面向方向，确定该标定板对应的世界坐标系；将该世界坐标系在该相机坐标系上的旋转向量识别为上述标定板的旋转欧拉角，具体地，该世界坐标系沿着该相机坐标系上各个坐标轴进行旋转，使该世界坐标系与该相机坐标系平行，上述旋转具体为沿着z轴旋转α，沿着y轴旋转β，沿着x轴旋转γ，则得到该标定板的旋转欧拉角（α，β，γ）。
在S902中，根据所述旋转欧拉角计算所述旋转矩阵。
在一个实施例中，上述根据所述旋转欧拉角计算所述旋转矩阵，具体可参照以下公式：
Figure SMS_38
，/>
Figure SMS_41
Figure SMS_43
Figure SMS_46
Figure SMS_40
，/>
Figure SMS_44
Figure SMS_47
Figure SMS_48
，/>
Figure SMS_39
Figure SMS_42
Figure SMS_45
；
其中，
Figure SMS_49
为该旋转矩阵。
在S903中，根据所述目标固定位置、所述相机的位置以及所述旋转矩阵，确定所述平移矩阵。
在一个实施例中，上述根据所述目标固定位置以及所述相机的位置，确定所述平移矩阵，具体可以为：根据该目标固定位置，确定该标定板对应的世界坐标系的原心（一般为该标定板的左上角）；根据该相机的位置，确定该相机对应的相机坐标系的原心；在该相机对应的相机坐标系上，假设将该标定板对应的世界坐标系的原心通过旋转矩阵旋转后，进行平移，使其与该相机对应的相机坐标系的原心重合，将上述平移时的运动向量识别为上述平移矩阵；具体地，该标定板的中心沿着x轴平移t1，沿着y轴平移t2，沿着x轴平移t3，与该相机的中心重合，则该平移矩阵
Figure SMS_50
。
在S904中，基于所述旋转矩阵以及所述平移矩阵得到所述位姿参数。
在一个实施例中，将该旋转矩阵以及该平移矩阵的组合识别为该相机与该标定板的位姿参数。
在一个实施例中，通过该目标固定位置与该相机的位置之间的差异，确定该位姿参数，以便于后续确定该相机的内参数。
对应于上文实施例所述的方法，图10示出了本申请一实施例提供的深度相机的结构示意图，深度相机应用上述标定方法，其包括投影模块、采集模块、处理模块及存储模块，其中：投影模块，用于投影图案化光束至目标区域；采集模块，用于接收经目标区域反射回的图案化光束并生成目标图像；处理模块，用于根据预设的采集模块的参数校正所述目标图像；存储模块，用于存储预设的采集模块的参数，所述参数包括内参数和外参数（也即上述实施例中的所述相机的内参数以及所述相机关于所述投影部件的外参数），可预先根据上述标定方法计算得到。
需要说明的是，上述装置之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
该实施例的标定装置包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
该标定装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图1仅仅是标定装置的举例，并不构成对标定装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出装置、网络接入装置等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述标定装置的内部存储单元，例如标定装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述标定装置的外部存储装置，例如所述标定装置上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器还可以既包括所述标定装置的内部存储单元也包括外部存储装置。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在标定装置的处理器上运行时，使得标定装置执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端装置的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端装置和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种标定装置，其特征在于，包括：标定板、移动部件、固定支架、投影部件、相机及处理器，其中：
所述标定板，设置有特征点以及定位信息；
所述投影部件，用于投射图案化光束至所述标定板；
所述标定板，固定于所述移动部件上；
所述移动部件，用于改变所述标定板的位置；
所述相机，与所述投影部件固定于所述固定支架上，用于采集经标定板反射的图案化光束并生成标定图像；
所述处理器，与所述移动部件以及所述相机电连接，用于接收来自所述相机采集的标定图像，所述处理器还用于控制所述移动部件移动，以及基于标定图像确定所述相机的内参数以及所述相机与投影部件的外参数；
其中，所述标定图像包括第一标定图像和第二标定图像，所述第一标定图像是在投影部件处于关闭状态时所述相机采集到的标定图像；所述第二标定图像是在投影部件处于开启状态时所述相机采集到的标定图像；
所述投影部件开启时在所述标定板的空白区域内上会投射图案化光束，至少包括第一图案化光束和第二图案化光束；
基于标定图像确定所述相机与投影部件的外参数的步骤包括：
在所述第二标定图像内提取第一图案化光束对应的区域图像，并确定所述区域图像的中心像素坐标；
根据所述中心像素坐标、所述相机的内参数以及所述相机与所述标定板的位姿参数，计算所述区域图像的中心相机坐标；所述相机与所述标定板的位姿参数是根据与所述第二标定图像处于同一个固定位置时拍摄得到的所述第一标定图像确定的；
根据所述第一图案化光束对应在不同第二标定图像中的中心相机坐标，拟合得到第一图案化光束对应的空间直线；
根据所述第一图案化光束对应的空间直线与所述第二图案化光束对应的空间直线之间的交点，确定所述交点对应的相机坐标，并将所述相机坐标识别为所述相机关于所述投影部件的外参数；
所述标定板上包括多个特征点；
基于标定图像确定所述相机的内参数的步骤包括：
计算所述多个特征点在所述第一标定图像中各自对应的像素坐标；
根据所述多个特征点各自对应的相机坐标和所述像素坐标，计算所述相机的内参数，其中，所述内参数用于确定所述相机的相机坐标系与所述第一标定图像的像素坐标系之间的转换关系。
2.如权利要求1所述的标定装置，其特征在于，所述移动部件包括：转台以及滑轨，其中：
所述标定板固定于所述转台的上端面上，以控制所述标定板在所述上端面所在平面上旋转至预设角度，设置所述标定板的正面朝向；
所述转台的下端面与所述滑轨相连接，以使所述转台沿所述滑轨的移动方向移动，以控制所述标定板与所述固定支架上的所述相机之间的相对位置。
3.如权利要求1或2所述的标定装置，其特征在于，所述处理器包括：计算单元与控制单元，所述计算单元与所述相机电连接；所述控制单元与所述移动部件、所述投影部件以及所述相机电连接，其中：
所述控制单元用于控制所述移动部件改变所述标定板的位置、开启以及关闭所述投影部件，以及控制所述相机获取所述第一标定图像和所述第二标定图像；
所述计算单元用于接收所述相机发送的所述第一标定图像、所述第二标定图像，以及接收所述标定板的位置信息，并基于所述第一标定图像、所述第二标定图像以及所述标定板的位置信息计算所述相机的内参数以及所述相机与投影部件的外参数。
4.一种标定方法，应用于权利要求1所述的标定装置，其特征在于，包括：
通过所述移动部件控制所述标定板移动至预设多个不同的固定位置；
在所述标定板处于任一固定位置时，控制所述相机在所述投影部件处于关闭的工作状态时拍摄所述标定板，得到所述任一固定位置对应的第一标定图像；
开启所述投影部件，在所述投影部件处于开启的工作状态时拍摄所述标定板，得到所述任一固定位置对应的第二标定图像；
根据各个所述固定位置对应的所述第一标定图像，计算所述相机的内参数，以及所述标定板处于各个所述固定位置时与所述相机的位姿参数；
根据各个所述固定位置对应的所述第二标定图像以及所述位姿参数，计算所述相机关于所述投影部件的外参数；
所述投影部件开启时在所述标定板的空白区域内上会投射图案化光束，至少包括第一图案化光束和第二图案化光束；
根据各个所述固定位置对应的所述第二标定图像以及所述位姿参数，计算所述相机关于所述投影部件的外参数，包括：
在所述第二标定图像内提取第一图案化光束对应的区域图像，并确定所述区域图像的中心像素坐标；
根据所述中心像素坐标、所述相机的内参数以及所述相机与所述标定板的位姿参数，计算所述区域图像的中心相机坐标；所述相机与所述标定板的位姿参数是根据与所述第二标定图像处于同一个固定位置时拍摄得到的所述第一标定图像确定的；
根据所述第一图案化光束对应在不同第二标定图像中的中心相机坐标，拟合得到第一图案化光束对应的空间直线；
根据所述第一图案化光束对应的空间直线与所述第二图案化光束对应的空间直线之间的交点，确定所述交点对应的相机坐标，并将所述相机坐标识别为所述相机关于所述投影部件的外参数；
所述标定板上包括多个特征点；
根据各个所述固定位置对应的所述第一标定图像，计算所述相机的内参数的步骤包括：
计算所述多个特征点在所述第一标定图像中各自对应的像素坐标；
根据所述多个特征点各自对应的相机坐标和所述像素坐标，计算所述相机的内参数，其中，所述内参数用于确定所述相机的相机坐标系与所述第一标定图像的像素坐标系之间的转换关系。
5.如权利要求4所述的标定方法，其特征在于，所述在所述第二标定图像内提取第一图案化光束对应的区域图像，包括：
基于所述第二标定图像内所有特征点的像素坐标，在所述所有特征点中选取边缘特征点；
基于各个所述第二标定图像中的所有所述边缘特征点，分别确定各个所述第二标定图像的空白区域；
在任一第二标定图像的空白区域中，选取预设尺寸的方框，以框取第一图案化光束的区域图像，并匹配其他第二标定图像以获取所述第一图案化光束的同名区域图像；所述同名区域图像用于表征所述第一图案化光束在不同的第二标定图像中具有相同特征的图案化光束。
6.如权利要求5所述的标定方法，其特征在于，所述匹配其他第二标定图像以获取所述第一图案化光束的同名区域图像，包括：
在所述其他第二标定图像的空白区域内各个图案化光束对应的候选区域中，提取与所述任一第二标定图像对应的第一图案化光束的区域图像的相似度高于预设阈值的候选区域，识别为所述第一图案化光束的同名区域图像。
7.如权利要求4所述的标定方法，其特征在于，所述根据多个所述第一标定图像，计算所述相机的内参数以及所述标定板处于各个所述固定位置时与所述相机的位姿参数，包括：
标记所述第一标定图像中位于所述标定板上预先设置的至少一个特征点，确定各个所述特征点在所述第一标定图像中的像素坐标；
根据所述标定板的尺寸以及各个所述特征点在所述标定板的位置，确定各个所述特征点对应的世界坐标；
根据目标固定位置以及各个所述特征点的世界坐标，计算所述相机与所述标定板对应的位姿参数，其中，所述目标固定位置为所述预设多个不同的固定位置中的其中一个；
根据所述位姿参数以及各个所述特征点的像素坐标和世界坐标，计算所述第一标定图像对应的特征参量；
将多个所述第一标定图像对应的特征参量的平均值，作为所述相机的内参数。
8.如权利要求7所述的标定方法，其特征在于，所述位姿参数包括旋转矩阵以及平移矩阵；所述根据目标固定位置以及各个所述特征点的世界坐标，计算所述第一标定图像对应的位姿参数，包括：
根据所述目标固定位置以及所述相机的位置，确定所述标定板的旋转欧拉角；
根据所述旋转欧拉角计算所述旋转矩阵；
根据所述目标固定位置、所述相机的位置以及所述旋转矩阵，确定所述平移矩阵；
基于所述旋转矩阵以及所述平移矩阵得到所述位姿参数。
9.一种深度相机，应用权利要求4-8任一项所述的标定方法，其特征在于，包括：
投影模块，用于投影图案化光束至目标区域；
采集模块，用于接收经目标区域反射回的图案化光束并生成目标图像；
处理模块，用于根据预设的采集模块的参数校正所述目标图像；
存储模块，用于存储预设的采集模块的参数，所述参数包括内参数和外参数，所述内参数和所述外参数根据权利要求4-8任一项所述的标定方法计算得到。
CN202110319900.2A 2021-03-25 2021-03-25 一种标定装置、方法及深度相机 Active CN113034612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110319900.2A CN113034612B (zh) 2021-03-25 2021-03-25 一种标定装置、方法及深度相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110319900.2A CN113034612B (zh) 2021-03-25 2021-03-25 一种标定装置、方法及深度相机

Publications (2)

Publication Number Publication Date
CN113034612A CN113034612A (zh) 2021-06-25
CN113034612B true CN113034612B (zh) 2023-07-04

Family

ID=76473658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110319900.2A Active CN113034612B (zh) 2021-03-25 2021-03-25 一种标定装置、方法及深度相机

Country Status (1)

Country Link
CN (1) CN113034612B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808214A (zh) * 2021-08-24 2021-12-17 东莞固高自动化技术有限公司 相机标定设备、相机生产系统、相机及其标定方法
CN114152190B (zh) * 2021-11-15 2023-10-24 苏州铸正机器人有限公司 一种工业相机精度和工作空间测试平台
CN114427833B (zh) * 2021-12-17 2024-02-06 哈尔滨理工大学 基于结构光测量航空叶片在机检测装置及点云获取方法
CN114255287B (zh) * 2022-03-01 2022-07-26 杭州灵西机器人智能科技有限公司 一种小景深相机的单目标定方法、系统、装置和介质
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993266A (zh) * 2017-12-05 2018-05-04 西北工业大学 光场相机内参数标定装置及方法
CN108269287A (zh) * 2017-09-19 2018-07-10 杭州先临三维科技股份有限公司 三维扫描仪的标定装置、方法、存储介质以及处理器
CN109754436A (zh) * 2019-01-07 2019-05-14 北京工业大学 一种基于镜头分区域畸变函数模型的相机标定方法
CN110298888A (zh) * 2019-06-12 2019-10-01 上海智能制造功能平台有限公司 基于单轴高精度位移平台的相机标定方法
CN110310338A (zh) * 2019-06-24 2019-10-08 西北工业大学 一种基于多中心投影模型的光场相机标定方法
JP2020026339A (ja) * 2018-08-10 2020-02-20 株式会社豊田中央研究所 計測用カメラのキャリブレーション装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269287A (zh) * 2017-09-19 2018-07-10 杭州先临三维科技股份有限公司 三维扫描仪的标定装置、方法、存储介质以及处理器
CN107993266A (zh) * 2017-12-05 2018-05-04 西北工业大学 光场相机内参数标定装置及方法
JP2020026339A (ja) * 2018-08-10 2020-02-20 株式会社豊田中央研究所 計測用カメラのキャリブレーション装置
CN109754436A (zh) * 2019-01-07 2019-05-14 北京工业大学 一种基于镜头分区域畸变函数模型的相机标定方法
CN110298888A (zh) * 2019-06-12 2019-10-01 上海智能制造功能平台有限公司 基于单轴高精度位移平台的相机标定方法
CN110310338A (zh) * 2019-06-24 2019-10-08 西北工业大学 一种基于多中心投影模型的光场相机标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种优化的自适应摄像机标定算法;姚文韬等;《控制工程》;20171120;第110-114页 *
摄像机标定算法研究;谢莉等;《科技视界》;20110905(第04期);第22-24页 *

Also Published As

Publication number Publication date
CN113034612A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113034612B (zh) 一种标定装置、方法及深度相机
US11544874B2 (en) System and method for calibration of machine vision cameras along at least three discrete planes
US10269141B1 (en) Multistage camera calibration
US10547833B2 (en) Camera calibration system, target, and process
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
JP2003130621A (ja) ３次元形状計測方法およびその装置
US10552984B2 (en) Capture device calibration methods and systems
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
US11504855B2 (en) System, method and marker for the determination of the position of a movable object in space
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
WO2022222291A1 (zh) 光轴检测系统的光轴标定方法、装置、终端、系统和介质
US20240087167A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
CN113781576A (zh) 多自由度位姿实时调整的双目视觉检测系统、方法、装置
JP2019056606A (ja) ステレオカメラ
EP3988895A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
CN113405532B (zh) 基于视觉系统结构参数的前方交会测量方法及系统
WO2021049490A1 (ja) イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム
US11143499B2 (en) Three-dimensional information generating device and method capable of self-calibration
Bender et al. A Hand-held Laser Scanner based on Multi-camera Stereo-matching
CN109756660B (zh) 电子设备和移动平台
Chen et al. Robust homography for real-time image un-distortion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant