CN109255819B - 基于平面镜的Kinect标定方法及装置 - Google Patents

Abstract

本发明公开了一种基于平面镜的Kinect标定方法及装置，其中，方法包括：安装Kinect相机，并与显示器的相对位置固定，并在预设位置放置镜面，以使Kinect相机通过镜面采集显示器的图像，并且将镜面替换为预设替代物，且用Kinect相机拍摄，以根据深度图像的深度信息确定镜面平面三维点云数据；将预设替代物更换为镜面，并用Kinect相机通过镜面拍摄显示器的图像，由彩色图像划分显示器和显示器角点的像素位置，并结合深度图像确定显示器三维点云和显示器角的在镜面内虚像空间位置；通过镜面位置和显示器虚像平面及镜面中角点位置得到当前显示器平面和角点的空间位置。该方法无需借助其他设备辅助，算法简单，易于实施。

Description

基于平面镜的Kinect标定方法及装置

技术领域

本发明涉及相机标定技术领域，特别涉及一种基于平面镜的Kinect标定方法及装置。

背景技术

Kinect相机是微软公司在2010年末正式公布的XBOX360体感周边外设，利用即时动态追踪、影像识别、麦克风输入、语音识别等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体动作来控制游戏。Kinect由一颗彩色相机以及一个红外投影机和红外相机组成，其中色彩相机获取场景彩色图像，红外投影机主动投射近红外光谱，红外相机分析红外光谱从而创建场景内的深度图像。2014年微软发布了第二代Kinect V2，在硬件上有了很大提升，而且深度测距由Light Coding变为Time of Flight(ToF)，因此KinectV2的深度图像在分辨率和精度上都有非常大的提升。KinectV2不仅作为自然用户界面交互的接口，同时可以作为深度扫描设备对场景和物体进行实时三维重建任务。

在使用Kinect相机前需要对相机进行标定，而标定分为内参标定和外参标定。相机内参在出厂时已经事先标定过并将标定结果写入设备固件中，主要包括彩色相机内参、红外相机内参以及彩色相机与红外相机的配准参数。Kinect相机外参指的是相机与显示器的相对位置。根据微软的安装建议，Kinect相机一般放置于显示器的上方或下方。Kinect相机与显示器大致处于同一平面，且都面向使用者。Kinect相机可以有一定倾角但无法获得显示器的图像，因此采用传统方法无法标定显示器平面。

另外，传统标定方法只能标定视场内的物体，或者使用额外的辅助Kinect相机进行标定。将辅助Kinect放置于可以获取显示器的位置，然后将参考物放置于两个Kinect共同视场范围内，分别标定参考物位置，从而得到两个Kinect相对位置。此时使用辅助Kinect标定显示器位置，根据两个Kinect相对位置即可求得实际Kinect与显示器相对位置。传统方法需要额外设备，操作复杂。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于平面镜的Kinect标定方法，该方法有效解决了Kinect与不在其视场内的显示器的外参数标定难题，且无需借助其他设备辅助，算法简单，易于实施。

本发明的另一个目的在于提出一种基于平面镜的Kinect标定方法。

为达到上述目的，本发明一方面实施例提出了一种基于平面镜的Kinect标定方法，包括以下步骤：安装Kinect相机，以使所述Kinect相机与显示器的相对位置固定，并在预设位置放置镜面，以使所述Kinect相机通过所述镜面采集所述显示器的图像，并且将所述镜面替换为预设替代物，且用所述Kinect相机拍摄，以根据深度图像的深度信息确定镜面平面三维点云数据；将所述预设替代物更换为所述镜面，并用所述Kinect相机通过所述镜面拍摄所述显示器的图像，由彩色图像划分显示器和显示器角点的像素位置，并结合所述深度图像确定显示器三维点云和显示器角的在镜面内虚像空间位置；通过镜面位置和显示器虚像平面及镜面中角点位置得到当前显示器平面和角点的空间位置。

本发明实施例的基于平面镜的Kinect标定方法，结合Kinect的彩色和深度图像计算平面镜平面和显示器平面虚像位置，最终计算显示器平面实际位置，完成标定相机外参任务，从而有效解决了Kinect与不在其视场内的显示器的外参数标定难题，且无需借助其他设备辅助，算法简单，易于实施。

另外，根据本发明上述实施例的基于平面镜的Kinect标定方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述三维点云数据通过最小二乘拟合方法获取镜面平面位置，并且通过最小二乘拟合方法获取所述显示器在镜面内虚像的平面位置。

进一步地，在本发明的一个实施例中，所述通过最小二乘拟合方法获取镜面平面位置，进一步包括：设置空间平面方程，并获取矩阵；采用矩阵奇异值分解求得最小二乘解，得到拟合平面参数，以得到整体最小二乘估值。

进一步地，在本发明的一个实施例中，所述整体最小二乘估值为：

其中，V₁₂∈R^3×1，V₂₂∈R。

进一步地，在本发明的一个实施例中，所述预设替代物为不透光的亚克力板。

为达到上述目的，本发明另一方面实施例提出了一种基于平面镜的Kinect标定装置，包括：安装模块，用于安装Kinect相机，以使所述Kinect相机与显示器的相对位置固定，并在预设位置放置镜面，以使所述Kinect相机通过所述镜面采集所述显示器的图像，并且将所述镜面替换为预设替代物，且用所述Kinect相机拍摄，以根据深度图像的深度信息确定镜面平面三维点云数据；更换模块，用于将所述预设替代物更换为所述镜面，并用所述Kinect相机通过所述镜面拍摄所述显示器的图像，由彩色图像划分显示器和显示器角点的像素位置，并结合所述深度图像确定显示器三维点云和显示器角的在镜面内虚像空间位置；求取模块，用于通过镜面位置和显示器虚像平面及镜面中角点位置得到当前显示器平面和角点的空间位置。

本发明实施例的基于平面镜的Kinect标定装置，结合Kinect的彩色和深度图像计算平面镜平面和显示器平面虚像位置，最终计算显示器平面实际位置，完成标定相机外参任务，从而有效解决了Kinect与不在其视场内的显示器的外参数标定难题，且无需借助其他设备辅助，算法简单，易于实施。

另外，根据本发明上述实施例的基于平面镜的Kinect标定装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述三维点云数据通过最小二乘拟合方法获取镜面平面位置，并且通过最小二乘拟合方法获取所述显示器在镜面内虚像的平面位置。

进一步地，在本发明的一个实施例中，还包括：获取模块，用于设置空间平面方程，并获取矩阵，并采用矩阵奇异值分解求得最小二乘解，得到拟合平面参数，以得到整体最小二乘估值。

进一步地，在本发明的一个实施例中，所述整体最小二乘估值为：

其中，V₁₂∈R^3×1，V₂₂∈R。

进一步地，在本发明的一个实施例中，所述预设替代物为不透光的亚克力板。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于平面镜的Kinect标定方法的流程图；

图2为根据本发明一个实施例的Kinect V2精度误差分布图；

图3为根据本发明一个实施例的系统示意图；

图4为根据本发明一个实施例的基于平面镜的Kinect标定装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于平面镜的Kinect标定方法及装置，首先将参照附图描述根据本发明实施例提出的基于平面镜的Kinect标定方法。

图1是本发明一个实施例的基于平面镜的Kinect标定方法的流程图。

如图1所示，该基于平面镜的Kinect标定方法包括以下步骤：

在步骤S101中，安装Kinect相机，以使Kinect相机与显示器的相对位置固定，并在预设位置放置镜面，以使Kinect相机通过镜面采集显示器的图像，并且将镜面替换为预设替代物，且用Kinect相机拍摄，以根据深度图像的深度信息确定镜面平面三维点云数据。

在本发明一个实施例中，预设替代物可以为不透光的亚克力板。

可以理解的是，安装固定好Kinect，保证Kinect与显示器的相对位置不变，在适当位置放置镜面，使Kinect可以通过镜面采集显示器图像，将镜面替换为不透光的亚克力板或其他材料代替镜面平面，并保证与平面镜位置相同。用Kinect相机拍摄，由彩色图像划分替代物的像素位置，结合深度图像确定镜面平面三维点集。

具体而言，按照微软推荐安装方式，将Kinect放置于显示器上方15厘米范围内，确保Kinect位于距离地面0.6米到1.8米之间的位置。然后将平面镜放置合适的位置，使Kinect通过镜面可以获取到显示器的图像信息。根据图2所示的Kinect精度分布图，为了确保标定精度，平面镜最好放置于距显示器1.5米的位置附近，这样镜面内的显示器虚像与Kinect相机的距离为3米左右，使得深度图像的误差小于4毫米。

保证位置不变，将平面镜替换为不具有反射能力的亚克力板。根据Kinect采集到的场景深度图像信息，可以获得场景的点云数据。在场景内无其他干扰物的情况下，可以根据不同的z值，将代替平面镜的亚克力板的点云从背景中分割出来。由于同一目标的深度数据大致相同，因此，可以设定阈值ξ₁，ξ₂，使得满足ξ₁<z<ξ₂点为棋盘格区域的点，构成点云数据Q。

进一步地，在本发明一个实施例中，通过最小二乘拟合方法获取镜面平面位置。

可以理解的是，三维点云可以通过最小二乘拟合方法获取镜面平面位置。

进一步地，在本发明一个实施例中，通过最小二乘拟合方法获取镜面平面位置，进一步包括：设置空间平面方程，并获取矩阵；采用矩阵奇异值分解求得最小二乘解，得到拟合平面参数，以得到整体最小二乘估值。

其中，在本发明一个实施例中，整体最小二乘估值为：

其中，V₁₂∈R^3×1，V₂₂∈R。

具体而言，如图3所示，根据采集到的点云数据使用最小二乘法拟合镜面平面，具体方法如下。设空间平面方程为：

z＝ax+by+c (1)

其中，a、b、c为待估参数。采集到的点云坐标为{(x_i,y_i,z_i),i＝1,2,…,n}。考虑到数据在x、y、z各个轴上均存在误差，则有：

其中v_x，v_y，v_z表示各个轴上的误差。

将上式整理成矩阵形式有：

(A+E_A)x＝L+E_L (3)

式中：

然后采用矩阵奇异值分解求得最小二乘解，得到拟合平面参数。

则整体最小二乘估值为：

其表示在整体误差最小的条件下拟合的点云平面π₂。

在步骤S102中，将预设替代物更换为镜面，并用Kinect相机通过镜面拍摄显示器的图像，由彩色图像划分显示器和显示器角点的像素位置，并结合深度图像确定显示器三维点云和显示器角的在镜面内虚像空间位置。

在本发明一个实施例中，通过最小二乘拟合方法获取显示器在镜面内虚像的平面位置。

可以理解的是，本发明实施例将替代物更换为镜面，用Kinect通过镜面拍摄显示器图像，由彩色图像划分显示器和显示器四个角的像素位置，结合深度图像确定显示器平面三维点集和显示器四个角的在镜面内虚像空间位置。三维点云通过最小二乘拟合方法获取显示器在镜面内虚像的平面位置。

具体而言，本发明实施例将亚克力板替换为平面镜，并根据Kinect采集到的平面镜中显示器虚像的彩色图像和深度图像分割出显示器点云。首先将彩色图像灰度化，然后经边缘提取操作后采用Hough变换检测矩形显示器所在区域以及显示器四个角点。Hough变换是利用图像全局特征将边缘像素连接组成区域封闭边界的一种方法。在xy平面下的任何直线都可以用极坐标方程描述：

ρ＝xcosθ+ysinθ (8)

图像中每个像素点映射到Hough空间中的一组累加器C(ρ,θ)，其表示图像空间中满足式8的像素数。通过一个阈值ξ_C，将满足条件C(ρ,θ)>ξ_C的峰值点H_m＝(ρ_m,θ_m)作为矩形定点的候选点。

根据矩阵的性质，即矩形由两组平行且相等的直线组成，两组平行线相互垂直。

每组直线对应的点对H_i和H_j应满足以下条件：

其中，ξ_θ是角度阈值，用以判断峰值点对是否平行，ξ_L是归一化阈值，用以判断对应于峰值点对H_i和H_j对应的对边长度是否相等。

对于得到的n对点对表示为P_n(α_n,β_n)，其中：

比较所有点对，若存在P_i和P_j满足：

Δα＝||α_i-α_j|-90°|<ξ_α (11)

其中，ξ_α是角度阈值，式11表示两组对边夹角为90°。

此时可以在彩色图像中提取显示器虚像所在区域以及显示器四个角点位置，映射到深度图像后得到显示器虚像点云，由最小二乘法拟合显示器虚像平面π₃。同时求得显示器虚像的角点坐标为p1'，p'₂，p'₃，p'₄。

在步骤S103中，通过镜面位置和显示器虚像平面及镜面中角点位置得到当前显示器平面和角点的空间位置。

可以理解的是，本发明实施例通过上文求得的镜面位置和显示器平面及四角虚像位置，求出实际显示器平面和四个角点的空间位置。

具体而言，根据镜面反射原理，平面镜内的显示器虚像与显示器关于镜面对称。对于对称的点对p₁和p′₁，有线段p₁p′₁与平面π₂垂直，线段中点q位于平面π₂内。三维空间中平面还可以表示为：

ax+by+cz+d＝0 (12)

其中，ψ(a,b,c)表示平面法向量方向。因此，点q可以表示为点p′₁沿平面法向量移动一定距离t，即:

q＝p₁'+tψ (13)

点q位于平面内，因此满足式12，由此可以得到t。而点p₁由点p₁'沿平面法向量方向移动2t得到，即：

p₁＝p₁'+2tψ (13)

显示器平面π₁可以通过同样的方法求得。

进一步地，所求的显示器角点可能不在显示器平面上，可以通过式13求得角点在显示器平面上的投影点代替，至此可以得到显示器与Kinect相机的相对位姿，完成标定。

综上，本发明实施例利用Kinect V2采用ToF深度测量技术的特点，将视场外物体位置的标定任务转换成视场内镜面位置和镜面内物体的虚像位置的标定任务。根据光的反射原理，实物与其虚像关于镜面对称，由此可以标定出视场外显示器的位置。

根据本发明实施例提出的基于平面镜的Kinect标定方法，结合Kinect的彩色和深度图像计算平面镜平面和显示器平面虚像位置，最终计算显示器平面实际位置，完成标定相机外参任务，从而有效解决了Kinect与不在其视场内的显示器的外参数标定难题，且无需借助其他设备辅助，算法简单，易于实施。

其次参照附图描述根据本发明实施例提出的基于平面镜的Kinect标定装置。

图4是本发明一个实施例的基于平面镜的Kinect标定装置的结构示意图。

如图4所示，该基于平面镜的Kinect标定装置10包括：安装模块100、更换模块200和求取模块300。

其中，安装模块100用于安装Kinect相机，以使Kinect相机与显示器的相对位置固定，并在预设位置放置镜面，以使Kinect相机通过镜面采集显示器的图像，并且将镜面替换为预设替代物，且用Kinect相机拍摄，以根据深度图像的深度信息确定镜面平面三维点云数据。更换模块200用于将预设替代物更换为镜面，并用Kinect相机通过镜面拍摄显示器的图像，由彩色图像提取显示器和显示器角点的像素位置，并结合深度图像确定显示器三维点云和显示器角的在镜面内虚像空间位置。求取模块300用于通过镜面位置和显示器虚像平面及镜面中角点位置得到当前显示器平面和角点的空间位置。本发明实施例的装置10有效解决了Kinect与不在其视场内的显示器的外参数标定难题，且无需借助其他设备辅助，算法简单，易于实施。

进一步地，在本发明的一个实施例中，三维点云数据通过最小二乘拟合方法获取镜面平面位置，并且通过最小二乘拟合方法获取显示器在镜面内虚像的平面位置。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：获取模块。其中，获取模块用于设置空间平面方程，并获取矩阵，并采用矩阵奇异值分解求得最小二乘解，得到拟合平面参数，以得到整体最小二乘估值。

进一步地，在本发明的一个实施例中，整体最小二乘估值为：

其中，V₁₂∈R^3×1，V₂₂∈R。

进一步地，在本发明的一个实施例中，预设替代物为不透光的亚克力板。

需要说明的是，前述对基于平面镜的Kinect标定方法实施例的解释说明也适用于该实施例的基于平面镜的Kinect标定装置，此处不再赘述。

根据本发明实施例提出的基于平面镜的Kinect标定装置，结合Kinect的彩色和深度图像计算平面镜平面和显示器平面虚像位置，最终计算显示器平面实际位置，完成标定相机外参任务，从而有效解决了Kinect与不在其视场内的显示器的外参数标定难题，且无需借助其他设备辅助，算法简单，易于实施。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于平面镜的Kinect标定方法，其特征在于，包括以下步骤：

安装Kinect相机，以使所述Kinect相机与显示器的相对位置固定，并在预设位置放置镜面，以使所述Kinect相机通过所述镜面采集所述显示器的图像，并且将所述镜面替换为预设替代物，且用所述Kinect相机拍摄，以根据深度图像的深度信息确定镜面平面三维点云数据；

将所述预设替代物更换为所述镜面，并用所述Kinect相机通过所述镜面拍摄所述显示器的图像，由彩色图像划分显示器和显示器角点的像素位置，并结合所述深度图像确定显示器三维点云和显示器角点在镜面内虚像空间位置；以及

通过镜面位置和显示器虚像平面及镜面中角点位置得到当前显示器平面和角点的空间位置。

2.根据权利要求1所述的基于平面镜的Kinect标定方法，其特征在于，所述三维点云数据通过最小二乘拟合方法获取镜面平面位置，并且通过最小二乘拟合方法获取所述显示器在镜面内虚像的平面位置。

3.根据权利要求2所述的基于平面镜的Kinect标定方法，其特征在于，所述通过最小二乘拟合方法获取镜面平面位置，进一步包括：

设置空间平面方程，并获取矩阵；

采用矩阵奇异值分解求得最小二乘解，得到拟合平面参数，以得到整体最小二乘估值。

4.根据权利要求3所述的基于平面镜的Kinect标定方法，其特征在于，所述整体最小二乘估值为：

其中，V₁₂∈R^3×1，V₂₂∈R。

5.根据权利要求1-4任一项所述的基于平面镜的Kinect标定方法，其特征在于，所述预设替代物为不透光的亚克力板。

6.一种基于平面镜的Kinect标定装置，其特征在于，包括：

安装模块，用于安装Kinect相机，以使所述Kinect相机与显示器的相对位置固定，并在预设位置放置镜面，以使所述Kinect相机通过所述镜面采集所述显示器的图像，并且将所述镜面替换为预设替代物，且用所述Kinect相机拍摄，以根据深度图像的深度信息确定镜面平面三维点云数据；

更换模块，用于将所述预设替代物更换为所述镜面，并用所述Kinect相机通过所述镜面拍摄所述显示器的图像，由彩色图像划分显示器和显示器角点的像素位置，并结合所述深度图像确定显示器三维点云和显示器角点在镜面内虚像空间位置；以及

求取模块，用于通过镜面位置和显示器虚像平面及镜面中角点位置得到当前显示器平面和角点的空间位置。

7.根据权利要求6所述的基于平面镜的Kinect标定装置，其特征在于，所述三维点云数据通过最小二乘拟合方法获取镜面平面位置，并且通过最小二乘拟合方法获取所述显示器在镜面内虚像的平面位置。

8.根据权利要求7所述的基于平面镜的Kinect标定装置，其特征在于，还包括：

获取模块，用于设置空间平面方程，并获取矩阵，并采用矩阵奇异值分解求得最小二乘解，得到拟合平面参数，以得到整体最小二乘估值。

9.根据权利要求8所述的基于平面镜的Kinect标定装置，其特征在于，所述整体最小二乘估值为：

其中，V₁₂∈R^3×1，V₂₂∈R。

10.根据权利要求6-9任一项所述的基于平面镜的Kinect标定装置，其特征在于，所述预设替代物为不透光的亚克力板。

Images