CN114066992B

CN114066992B - 一种相机标定方法、系统、装置以及存储介质

Info

Publication number: CN114066992B
Application number: CN202111190451.2A
Authority: CN
Inventors: 陈家茹; 肖兵; 徐跃明
Original assignee: Zhuhai Shixi Technology Co Ltd
Current assignee: Zhuhai Shixi Technology Co Ltd
Priority date: 2021-10-13
Filing date: 2021-10-13
Publication date: 2022-09-16
Anticipated expiration: 2041-10-13
Also published as: CN114066992A

Abstract

本申请公开了一种相机标定方法、系统、装置以及存储介质，用于对深度相机进行标定，使得相机的标定过程更简单便捷。本申请方法包括：确定安装参数，并根据所述安装参数调节深度相机的安装位置；控制所述深度相机以所述安装位置对标定参照物进行拍摄，获得深度图像；根据所述标定参照物的高度以及所述标定参照物在所述深度图像中的位置生成高度标记；根据所述安装参数以及所述高度标记建立标定数据。

Description

一种相机标定方法、系统、装置以及存储介质

技术领域

本申请涉及视觉检测技术领域，尤其涉及一种相机标定方法、系统、装置以及存储介质。

背景技术

深度相机是近年兴起的新技术，相比较传统的相机，深度相机在功能上添加了一个深度测量，从而更方便准确的感知周围的环境及变化。目前实现深度相机主要有双目相机，结构光相机，以及TOF(飞行时间，Time of flight,TOF)相机。

例如，TOF测距法是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。TOF(飞行时间，Time of flight,TOF)相机通过发射特定波段的光，再利用传感器接收被测空间中物体的反射光束并测量光束在空间中的飞行时间来计算距离，从而获取被测空间的深度图像。TOF深度相机可同时获得灰度图像和深度图像，广泛应用在3D深度视觉相关的手势识别、人脸识别、3D建模、体感游戏、机器视觉、辅助对焦、安防、自动驾驶等技术领域。

在使用深度相机进行高度识别前，需要对其进行高度和角度的标定。现有技术提供的方法中，例如在用于测量目标的高度的标定中，一般是首先根据相机成像原理建立目标实际高度与相机内外参的数学模型，再通过相机标定得到相机内参，从而能够在实际的高度识别时，再根据相机内外参和数学模型进行求解，但是这样的标定过程过于繁琐，现实中的场景千变万化，通过现有的标定方法难以实现对各类应用场景下使用相机的高效标定。

发明内容

为了解决上述技术问题，本申请提供了一种相机标定方法、系统、装置以及存储介质。

本申请第一方面提供了一种相机标定方法，其特征在于，所述方法包括：

确定安装参数，并根据所述安装参数调节深度相机的安装位置；

控制所述深度相机以所述安装位置对标定参照物进行拍摄，获得深度图像；

根据所述标定参照物的高度以及所述标定参照物在所述深度图像中的位置生成高度标记；

根据所述安装参数以及所述高度标记建立标定数据。

可选的，所述安装参数包括所述深度相机的安装角度以及所述深度相机的安装高度。

可选的，所述标定参照物为竖直的参照面，所述安装参数包括所述深度相机与所述参照面的夹角，以及所述深度相机与所述参照面的水平距离，所述根据所述安装参数以及所述高度标记建立标定数据包括：

确定所述深度相机的限制高度，并根据所述限制高度以及所述深度相机与所述参照面的水平距离计算出实际使用高度；

将所述实际使用高度以及所述深度相机与所述参照面的夹角，与所述高度标记建立标定数据。

可选的，所述并根据所述限制高度以及所述深度相机与所述参照面的水平距离计算出实际使用高度包括：

通过如下公式计算出实际使用高度：

D＝H-H_A；

其中D表示所述深度相机与所述参照面的水平距离，所述H表示所述深度相机的实际使用高度，所述H_A表示所述深度相机的限制高度。

可选的，所述控制所述深度相机以所述安装位置对标定参照物进行拍摄包括：

控制所述深度相机以不同的安装参数对应的安装位置对相同高度的标定参照物进行拍摄；

所述根据所述安装参数以及所述高度标记建立标定数据包括：

根据不同的安装参数以及对应的高度标记建立标定参照表。

控制所述深度相机以相同的安装位置对不同高度的标定参照物进行拍摄；

根据所述安装参数以及拍摄不同高度的标定参照物所生成的高度标记建立标定参照表。

可选的，所述标定数据中包含有所述深度图像的有效区域，所述有效区域为在所述深度图像中划分的图像区域，所述有效区域通过如下方式进行划分：

将所述深度图像转换为灰度图像；

对所述灰度图像进行预处理；

在预处理后的灰度图像划分有效区域。

可选的，若所述深度图像的位深度不是8位，则在所述深度图像转换为灰度图像之前，所述方法还包括：

将所述深度图像的位深度转换为8位。

可选的，所述预处理包括中值滤波或者形态学滤波。

可选的，所述在预处理后的灰度图像划分有效区域包括：

在预处理后的灰度图像上水平划分有效区域。

可选的，在所述在预处理后的灰度图像上水平划分有效区域之后，所述方法还包括：

获得深度数据，并直接保存所述深度数据或者通过查找表保存所述深度数据。

本申请第二方面提供了一种相机标定系统，所述系统包括：

确定单元，用于确定安装参数，并根据所述安装参数调节深度相机的安装位置；

控制单元，用于控制所述深度相机以所述安装位置对标定参照物进行拍摄，获得深度图像；

生成单元，用于根据所述标定参照物的高度以及所述标定参照物在所述深度图像中的位置生成高度标记；

建立单元，用于根据所述安装参数以及所述高度标记建立标定数据。

本申请第三方面提供了一种相机标定装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的相机标定方法中，首先确定相机的安装参数，从而调节相机的安装位置，以该安装位置为机位对标定参照物进行拍摄，根据标定参照物的高度以及标定参照物在拍摄获得的深度图像中的位置生成高度标记，从而结合安装参数以及高度标记建立标定数据，完成相机的标定，得到的标定数据可以为相机的实际使用提供支持，标定时直接对标定参照物进行拍摄从而获得高度标记，该方法在实际中非常方便快捷，使得相机的标定变得简单且容易实现，而针对不同的使用场景进行标定时，也可以直接在该使用场景下对目标进行拍摄以实现标定，本申请提供的方法极大程度提高了相机标定的适用性和标定效率，为深度相机的实际应用提供了极大的支持。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请中提供的相机标定方法的一个实施例流程示意图；

图2为本申请中高度标记的一个实施例示意图；

图3为本申请中高度标记的另一个实施例示意图；

图4为本申请中提供的相机标定方法的另一个实施例流程示意图；

图5为本申请中标定过程和实际使用过程的一个实施例示意图；

图6为本申请中提供的相机标定方法的另一个实施例流程示意图；

图7为本申请中划分有效区域的一个实施例示意图；

图8为本申请中提供的相机标定系统的一个实施例结构示意图；

图9为本申请中提供的相机标定装置的一个实施例结构示意图。

具体实施方式

本申请提供了一种相机标定方法，用于对深度相机进行标定，使得相机的标定过程更简单便捷。

请参阅图1，图1为本申请提供的相机标定方法一个实施例流程示意图，该相机标定方法包括：

101、确定安装参数，并根据安装参数调节深度相机的安装位置；

在使用深度进行拍摄前，以特定的安装参数对深度相机进行安装，安装参数例如可以是深度相机与水平面的夹角、深度相机的竖直高度以及深度相机与标定参照物的水平距离等。

102、控制深度相机以安装位置对标定参照物进行拍摄，获得深度图像；

控制深度相机以该安装位置对标定参照物进行拍摄，获得深度图像，具体的，针对现实中不同的需求，可以逐渐改变安装参数，例如改变相机的竖直高度来对标定参照物进行拍摄，从而获得不同的竖直高度下所拍摄的深度图像，还可以是逐渐改变标定参照物的高度，从而获得在同一安装参数下，所拍摄的不同高度的标定参照物的深度图像。改变标定参照物的高度例如可以是逐渐增加或者逐渐减小。

103、根据标定参照物的高度以及标定参照物在深度图像中的位置生成高度标记；

记录下标定参照物的高度，同时在深度图像中标记下标定参照物在深度图像中的位置，例如标定参照物上末端的位置，从而得到针对该高度在该深度图像中的高度标记。请参阅图2，图2中深度图像包含有一个高度标记。例如当针对不同安装参数或者不同高度标定参照物进行拍摄所获得的深度图像，可获得多个层级的高度标记。高度标记可以是用于标记高度的水平线，请参阅图3，图3中的深度图像包含了多个高度标记，例如高度标记1、高度标记2、高度标记n、高度标记n+1以及高度标记n+2。进一步，多个高度标记的分布既可以由下至上间隔由疏到密，也可以由下至上间隔由密到疏，也可顶部底部两头疏中间密，也可顶部底部两头密中间疏，具体根据实际需要而定。

104、根据安装参数以及高度标记建立标定数据。

根据安装参数和高度标记建立标定数据，从而记录安装参数和高度标记的映射关系，例如当获得多个层级的高度标记时，通过标定参照表进行记录。从而在实际的使用时，可以实际的需求来查询标定参照表获得对应的高度标记，以实现高度的识别。

在实际应用中，标定参照物可以有多种类型，例如可以是地面或者桌面，但是由于在进行深度相机的标定时，地面经常会出现凹凸不平的情况，这会严重影响标定数据的精确性，而桌面由于覆盖范围较小，用于标定比较困难，本申请提供了一个实施例，以竖直的参照面作为标定参照物进行标定，参照面例如可以是墙面、一些大型的平整的面或者其它，下面将以竖直的墙面为参照面进行举例说明，在实际中，墙面较为平整，并且在实际中较易实现，且墙面具有很好的反射效果，例如现实中的白墙，这可以为提高标定数据的精确性带来极大的效果。

请参阅图4，图4为本申请中提供的相机标定方法的一个实施例流程示意图，该实施例包括：

401、确定安装参数，并根据安装参数调节深度相机的安装位置；

402、控制深度相机以安装位置对标定参照物进行拍摄，获得深度图像；

403、根据标定参照物的高度以及标定参照物在深度图像中的位置生成高度标记；

本实施例中步骤401至步骤403与前述实施例中步骤101至步骤103类似，此处不再赘述。

404、确定深度相机的限制高度，并根据限制高度以及深度相机与参照面的水平距离计算出实际使用高度；

请参阅图5，图5中展示了通过墙面作为标定参照物的标定过程和深度相机的实际使用过程，在实际使用深度相机进行高度识别时，一般将深度相机竖直安装在一些地点，例如安装在墙上或者安装在某些物体上，为方便阐述，本实施例以安装在地面上进行举例说明，当深度相机安装在地面上，并且对地面上的目标进行拍摄，那么安装时就需要确定深度相机的安装参数，其中包括深度相机与地面的夹角，以及深度相机与地面的高度(实际使用高度)，当以墙面作为标定参照物时，墙面就相当于实际使用时的地面，那么，深度相机与墙面的夹角就相当于实际使用时，深度相机与地面的夹角，深度相机与墙面的水平距离就相当于实际使用时相机的竖直高度，但是相机一般设置有限制高度，那么结合深度相机的限制高度就可以计算出相机的实际使用高度，例如，通过如下公式计算实际使用高度：

D＝H-H_A；

其中D表示深度相机与墙面的水平距离，H表示深度相机的实际使用高度，H_A表示深度相机的限制高度。

405、将实际使用高度以及深度相机与参照面的夹角，与高度标记建立标定数据。

记录实际使用高度以及深度相机与墙面的夹角，并与对应的高度标记建立映射关系，即可得到标定数据。

本实施例中，以竖直的墙面作为标定参照物进行标定，墙面较为平整，并且在实际中较易实现，且墙面具有很好的反射效果，为提高标定数据的精确性带来了极大的效果。并且结合通过将深度相机与墙面的水平距离与深度相机的实际使用高度进行转换，能够为深度相机的实际使用提供很好的支持。

在实际的高度识别过程中，可能会受到各种不同高度的非目标物体的干扰，而影响深度相机的识别，为了减轻深度相机的识别负荷，减少其它物体的干扰，可以在进行识别之前进行物体的高度限制，而进行高度限制可以通过预先划分深度图像的有效区域进行限制，有效区域是指在深度图像中划分的图像区域，如果目标位于该有效区域内，则可以对该目标进行高度识别，如果不在该区域内，则不进行识别，可以很好的减少深度相机的识别负荷，减少干扰。本实施例提供了一种有效区域的划分方式。

请参阅图6，图6为本申请中提供的相机标定方法的一个实施例流程示意图，该实施例包括：

601、确定安装参数，并根据安装参数调节深度相机的安装位置；

602、控制深度相机以安装位置对标定参照物进行拍摄，获得深度图像；

本实施例中步骤601至步骤602与前述实施例中步骤101至102类似，此处不再赘述。

603、将深度图像转换为灰度图像；

采集原始的深度图像，并转换为灰度图像，以灰度图的形式进行查看，具体的为了，方便查看，可以首先确定深度图像的位深度，位深度是指在记录数字图像的颜色时，计算机实际上是用每个像素需要的位深度来表示的。计算机之所以能够显示颜色，是采用了一种称作“位”(bit)的记数单位来记录所表示颜色的数据。当这些数据按照一定的编排方式被记录在计算机中，就构成了一个数字图像的计算机文件。“位”(bit)是计算机存储器里的最小单元，它用来记录每一个像素颜色的值。图像的色彩越丰富，“位”就越多。每一个像素在计算机中所使用的这种位数就是“位深度”。如果深度图像的位深度不是8位，例如是10位、12位或者16位等，那么先将该深度图像的位深度转换为8位，再将8位的深度图像转换为灰度图像。

604、对灰度图像进行预处理；

对转换后的的灰度图像进行预处理，以抑制噪声和消除空洞，预处理例如可以是中值滤波或者形态学滤波等，形态学滤波例如可以是膨胀和/或腐蚀。例如先膨胀和再腐蚀处理或者先腐蚀再膨胀。

605、在预处理后的灰度图像划分有效区域；

请参阅图7，图7中水平划分线的上方为有效区域，在预处理后的灰度图像上划分有效区域，划分有效区域可以是水平划分有效区域，图中黑色区域与灰色区域的分割线即为水平划分线，其目的在于采取上方有大面积噪声且不平整的区域。

在划分有效区域后得到深度数据，将深度数据进行保存，以供实际的高度限制时使用，保存可以是直接保存，如果直接保存，那么在使用时预先加载进内存，使用过程中通过把目标顶部区域的深度值与基准深度数据中对应位置数值进行比对，从而得出目标高度与对应的高度比较结果。还可以是将处理后的深度数据保存为查找表。使用时通过把目标顶部区域的深度值与查找表中对应位置数值进行比对，从而得出目标高度与对应的高度比较结果。

606、根据标定参照物的高度以及标定参照物在深度图像中的位置生成高度标记；

607、根据安装参数以及高度标记建立标定数据。

本实施例中步骤606至步骤607与前述实施例中步骤103至104类似，此处不再赘述。

上述实施例对本申请中提供的相机标定方法进行了详细阐述，下面将对本申请中提供的相机标定系统、装置以及存储介质进行阐述。

请参阅图7，图7为本申请中提供的相机标定系统的一个实施例结构示意图，该实施例包括：

确定单元801，用于确定安装参数，并根据安装参数调节深度相机的安装位置；

控制单元802，用于控制深度相机以安装位置对标定参照物进行拍摄，获得深度图像；

生成单元803，用于根据标定参照物的高度以及标定参照物在深度图像中的位置生成高度标记；

建立单元804，用于根据安装参数以及高度标记建立标定数据。

可选的，标定参照物为竖直的参照面，安装参数包括深度相机与参照面的夹角，以及深度相机与参照面的水平距离，建立单元804具体用于：

确定深度相机的限制高度，并根据限制高度以及深度相机与参照面的水平距离计算出实际使用高度；

将实际使用高度以及深度相机与参照面的夹角，与高度标记建立标定数据。

可选的，建立单元804具体用于：

通过如下公式计算出实际使用高度：

D＝H-H_A；

其中D表示深度相机与参照面的水平距离，H表示深度相机的实际使用高度，H_A表示深度相机的限制高度。

可选的，控制单元802具体用于：

控制深度相机以不同的安装参数对应的安装位置对相同高度的标定参照物进行拍摄；

建立单元804具体用于：

根据不同的安装参数以及对应的高度标记建立标定参照表。

可选的，控制单元802具体用于：

控制深度相机以相同的安装位置对不同高度的标定参照物进行拍摄；

建立单元804具体用于：

根据安装参数以及拍摄不同高度的标定参照物所生成的高度标记建立标定参照表。

本申请还提供了一种相机标定装置，包括：

处理器901、存储器902、输入输出单元903、总线904；

处理器901与存储器902、输入输出单元903以及总线904相连；

存储器902保存有程序，处理器901调用程序以执行如上任一相机标定方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一相机标定方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种相机标定方法，其特征在于，所述方法包括：

所述安装参数包括所述深度相机的安装角度以及所述深度相机的实际使用高度，所述标定参照物为竖直的参照面，所述安装参数包括所述深度相机与所述参照面的夹角，以及所述深度相机与所述参照面的水平距离，确定所述深度相机的限制高度，并根据所述限制高度以及所述深度相机与所述参照面的水平距离计算出实际使用高度；

2.根据权利要求1中所述的相机标定方法，其特征在于，所述根据所述限制高度以及所述深度相机与所述参照面的水平距离计算出实际使用高度包括：

通过如下公式计算出实际使用高度：

D＝H-H_A；

3.根据权利要求1中所述的相机标定方法，其特征在于，所述控制所述深度相机以所述安装位置对标定参照物进行拍摄包括：

所述将所述实际使用高度以及所述深度相机与所述参照面的夹角，与所述高度标记建立标定数据包括：

根据不同的安装参数以及对应的高度标记建立标定参照表，所述安装参数包括所述深度相机的安装角度以及所述深度相机的实际使用高度。

4.根据权利要求1中所述的相机标定方法，其特征在于，所述控制所述深度相机以所述安装位置对标定参照物进行拍摄包括：

根据所述安装参数以及拍摄不同高度的标定参照物所生成的高度标记建立标定参照表，所述安装参数包括所述深度相机的安装角度以及所述深度相机的实际使用高度。

5.根据权利要求1中所述的相机标定方法，其特征在于，所述标定数据中包含有所述深度图像的有效区域，所述有效区域为在所述深度图像中划分的图像区域，所述有效区域通过如下方式进行划分：

将所述深度图像转换为灰度图像；

对所述灰度图像进行预处理；

在预处理后的灰度图像划分有效区域。

6.根据权利要求5中所述的相机标定方法，其特征在于，若所述深度图像的位深度不是8位，则在所述深度图像转换为灰度图像之前，所述方法还包括：

将所述深度图像的位深度转换为8位。

7.根据权利要求5中所述的相机标定方法，其特征在于，所述预处理包括中值滤波或者形态学滤波。

8.根据权利要求5中所述的相机标定方法，其特征在于，所述在预处理后的灰度图像划分有效区域包括：

在预处理后的灰度图像上水平划分有效区域。

9.根据权利要求5中所述的相机标定方法，其特征在于，在所述在预处理后的灰度图像划分有效区域之后，所述方法还包括：

10.一种相机标定系统，其特征在于，所述系统包括：

建立单元，所述安装参数包括所述深度相机的安装角度以及所述深度相机的实际使用高度，所述标定参照物为竖直的参照面，所述安装参数包括所述深度相机与所述参照面的夹角，以及所述深度相机与所述参照面的水平距离，所述建立单元，用于：

确定所述深度相机的限制高度，并根据所述限制高度以及所述深度相机与所述参照面的水平距离计算出实际使用高度，

11.一种相机标定装置，其特征在于，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至9任一项所述方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至9中任一项所述方法。