CN110208780A - 一种基于体感摄像头测量距离的方法及装置、存储介质 - Google Patents

Abstract

本发明是一种基于体感摄像头测量距离的方法及装置、存储介质，方法包括:使用体感摄像头获取彩色流和深度流，然后使用OpenGL绘制彩色和深度的合成图像，拖动鼠标获取图像中任意两点的相机坐标，根据相机内参，将两点坐标从相机坐标系转到世界坐标系，从而求出两点实际距离。本发明能够实时、精确地计算出深度传感器有效工作范围内任意两点的空间距离，操作简单、方便。

Description

一种基于体感摄像头测量距离的方法及装置、存储介质

技术领域

本发明属于体感技术应用领域，涉及图像处理与计算机视觉领域，尤其涉及一种基于体感摄像头测量距离的方法、一种基于体感摄像头测量距离的装置以及一种设备。

背景技术

体感技术作为现发展阶段中尤为突出的一个行业，也是未来重要的发展方向。随着机器视觉中智能监控在实际领域中的应用与发展，利用摄像头进行人物检测与追踪技术已取得了非常大的发展，但在利用摄像头进行测距方面尚有待更多的研究。而在日常生活中，测量距离有非常广阔的使用场景，如测量书本的长和宽、测量桌椅的高度、测量个人的身高等等。传统测量方式可以使用卷尺、直尺等工具，但是卷尺等工具目前很难做到人手一个，而且费时费力。本发明中利用摄像头进行测量距离的方法，十分省力、快捷，且不受地形环境的限制，对于凹凸不平等不规则区域测量其直线距离，相对其他测量方式具有巨大优势。

现有技术有利用Kinect摄像头的高精度室内人物测距方法或者快速身高和体重测量方法，要不用途固定、要不应用场景不够广泛，容易受其他因素干扰。

因此，有必要提供一种用途广泛、操作简单的基于体感摄像头测量的方法。

发明内容

本发明的目的是为了提供一种高精度测量距离的方法及装置、设备。

本发明的第一方面，提供一种基于体感摄像头测量距离的方法，包括以下步骤:

步骤1，固定位置，将所述体感摄像头固定，使之保持相对静止状态，建立所述体感摄像头与服务器的数据交互连接；

步骤2，绘制图像，调用所述体感摄像头的SDK，获取体感摄像头的内参fx、fy、cx、cy，获取体感摄像头的彩色流和深度流，调用OpenGL库函数，以实时显示彩色和深度的合成图像，其中fx、fy分别表示所述体感摄像机在x、y方向的焦距，cx、cy分别表示摄像头光轴在图像中的x、y方向的偏移量；

步骤3，获取数据，在彩色和深度的合成图像中，选取待测量的距离的起始点和终点、绘制连接所述起始点和所述终点的直线；

步骤4，计算距离，根据所述体感摄像头的内参，将所述起始点坐标和所述终点坐标及其两点的深度值从相机坐标系转到世界坐标系，从而求出两点实际距离。

进一步地，所述步骤1包括：将所述体感摄像头绑定在三脚架上以固定位置，将所述体感摄像头的镜头对准将要测量的物体，调整所述体感摄像头和要测量的物体之间的距离。

进一步地，所述步骤2包括：体感摄像头启动后，将数据通过USB3.0数据接口传输至PC机，调用体感摄像头统一编程接口SDK，实时获取彩色流和深度流，调用OpenGL库函数，绘制彩色和深度的合成图像，选择所述合成图像中任意一点，会显示该点在相机坐标系中的位置，X表示横坐标，Y表示纵坐标，Z表示该点深度值。

进一步地，所述步骤3中获取数据包括：使用鼠标在图像中左击要测量物体的某一点作为起始点，长按鼠标左键并拖动鼠标，图像中会以起点绘制一条直线至鼠标光标位置，直至鼠标拖动至待测物体的另一侧边缘，松开鼠标左键，此时图像中直线的终点为鼠标左键松开的光标位置。

进一步地，步骤4所述计算距离包括：通过获得的相机坐标系中的两个点位置，将其转换成世界坐标系。假定测试深度图中的两点坐标分别为A(x0,y0,z0)和B(x1,y1,z1),通过公式x＝fx*xc/zc+cx和y＝fy*yc/zc+cy，可以推导出xc和yc，xc＝(x-cx)*zc/fx，yc＝(y-cy)*zc/fy，此时可以计算出深度图中A点的世界坐标A'(x0',y0',z0)和B'(x1',y1',z1)，则空间上AB两点的距离为：LA'B'＝sqrt((x1'-x0')2+(y1'-y0')2+(z1-z0)2)，即

进一步地，重复步骤3和步骤4即可再次测量距离。

进一步地，所述数据交互包括有线或无线的方式。

本发明的第二方面，提供一种基于体感摄像头测量距离的装置，包括：

固定模块，用于将所述体感摄像头固定，使之保持相对静止状态；

通信模块，用于建立所述体感摄像头与服务器的数据交互连接；

图像绘制模块，用于调用所述体感摄像头的SDK，获取体感摄像头的内参fx、fy、cx、cy，获取体感摄像头的彩色流和深度流，调用OpenGL库函数，以实时显示彩色和深度的合成图像，其中fx、fy分别表示所述体感摄像机在x、y方向的焦距，cx、cy分别表示摄像头光轴在图像中的x、y方向的偏移量；

数据获取模块，用于在彩色和深度的合成图像中，选取待测量的距离的起始点和终点、绘制连接所述起始点和所述终点的直线；

计算模块，用于根据所述体感摄像头的内参，将所述起始点坐标和所述终点坐标及其两点的深度值从相机坐标系转到世界坐标系，从而求出两点实际距离。

进一步地，所述固定模块包括三脚架、对准子模块和调整子模块；其中，

所述三脚架，用于绑定所述体感摄像头；

所述对准子模块，用于将所述体感摄像头的镜头对准将要测量的物体；

所述调整子模块，用于调整所述体感摄像头和要测量的物体之间的距离。

本发明的第三方面，提供一种计算机可读存储介质，其中所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行本发明所提出的基于体感摄像头测量距离的方法。

本发明与现有技术相比其显著优点在于：

一是本发明集成了体感设备技术，深度转换算法，测量精度高；

二是本发明操作十分便利，测量距离结果可以实时显示，便于重复测量，操作简单，省时省力；

三是本发明受地形以及环境等外在元素的影响与限制较小。

附图说明

图1为本发明第一实施例的一种基于体感摄像头测量距离的方法流程示意图；

图2为本发明第二实施例的一种基于体感摄像头测量距离的方法的实际效果图，左上角的’L＝xxx’是两点的实际距离值，点化虚线所示部分是指在图像中待测量的区域，直线右侧的’X＝xx’、’Y＝xx’、’Z＝xx’是相机坐标系中的x、y值和该点的深度值，左下角相机的’xa:xx’、’ya:xx’、’za:xx’和’xb:xx’、’yb:xx’、’zb:xx’是起始点和终点在世界坐标系中的位置信息；

图3为本发明第三实施例的一种基于体感摄像头测量距离的装置的结构示意图。

具体实施方式

下面将结合附图和实施例对本发明的具体实施方式作进一步的详细说明。

本发明的具体实施方式中的全部代号名称的定义说明如下：

OpenGL(英语：Open Graphics Library，译名：开放图形库或者“开放式图形库”),是指一种用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(API)。这个接口由近350个不同的函数调用组成，用来从简单的图形比特绘制复杂的三维景象。而另一种程序接口系统是仅用于Microsoft Windows上的Direct3D。OpenGL常用于CAD、虚拟实境、科学可视化程序和电子游戏开发。OpenGL的高效实现(利用了图形加速硬件)存在于Windows，部分UNIX平台和Mac OS。

世界坐标系，定义为:带有小圆的圆心为原点ow,xw轴水平向右,yw轴向下，zw由右手法则确定，v′n为实时图中对应的统计特征向量，此系统的绝对坐标系也称为世界坐标系。在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。设一个基准坐标系Xw—Yw—Zw称为世界坐标系,(xw,yw,zw)为空间点P在世界坐标系下的坐标，(u,v)为P点在图像直角坐标系下的坐标。

相机坐标系，是以光轴与图像平面的交点为图像坐标系的原点所构成的直角坐标系。相机坐标系(观察坐标系)相机坐标系的原点为相机的光心，x轴与y轴与图像的X、Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。

结合图1和图2，本发明提出的一种基于体感摄像头测量距离的方法，包括如下具体步骤：

步骤1，固定位置，将体感摄像头固定，使之保持相对静止状态，建立体感摄像头和服务器的数据交互；

步骤2，绘制图像，调用体感摄像头的SDK，获取体感摄像头的内参fx、fy、cx、cy，获取体感摄像头的彩色流和深度流，调用OpenGL库函数，以每秒15帧的速率实时绘制彩色和深度的合成图像，其中fx、fy分别表示所述体感摄像机在x、y方向的焦距，cx、cy分别表示摄像头光轴在图像中的x、y方向的偏移量；

步骤3，获取数据，在彩色和深度的合成图像中，选取要测量的两点，确定测量起始点和终点；

步骤4，计算距离，根据相机内参，将起始点坐标和终点坐标从相机坐标系转到世界坐标系，从而求出两点实际距离。

本发明提出的一种基于体感摄像头测量距离的方法，将更为具体的实施方案公开如下：

步骤1，固定位置。比如将摄像头绑定在三脚架上，以免摄像头产生晃动，将镜头对准将要测量的物体，摄像头和将要测量的物体距离大约在0.5米和3米之间，可以通过有线或者无线的数据传输方式，建立摄像头和服务器之间的数据交互，例如通过usb数据线连接摄像头和PC机。

步骤2，绘制图像。体感摄像头启动后，将数据通过USB3.0数据接口传输至PC机，调用体感摄像头统一编程接口SDK，以每秒15帧的速率实时获取彩色流和深度流，调用OpenGL库函数，显示彩色和深度的合成图像，图像以640x480的分辨率显示，鼠标点击图像中任意一点，会在该光标右侧区域显示该点在相机坐标系中的位置，X表示横坐标，Y表示纵坐标，Z表示深度值。并通过调用体感摄像头SDK去获取相机光轴在图像中的偏移量cx和cy以及相机焦距fx、fy。

步骤3，获取数据。在图像中，选定待测物体的测量起始点和终点。例如使用鼠标在图像中左击将要测量物体的边缘作为起始点，长按鼠标左键并拖动鼠标，图像中会以起点绘制一条直线至鼠标光标位置，直至鼠标拖动至待测物体的另一侧边缘，松开鼠标左键，此时图像中直线的终点为鼠标左键松开的光标位置。

步骤4，计算距离。通过获得的相机坐标系中的两个点位置，将其转换成世界坐标系。假定测试深度图中的两点坐标分别为A(x0,y0,z0)和B(x1,y1,z1),通过公式x＝fx*xc/zc+cx和y＝fy*yc/zc+cy，可以推导出xc和yc，xc＝(x-cx)*zc/fx，yc＝(y-cy)*zc/fy，此时可以计算出深度图中A点的世界坐标A'(x0',y0',z0)和B'(x1',y1',z1)，则空间上AB两点的距离为：LA'B'＝sqrt((x1'-x0')2+(y1'-y0')2+(z1-z0)2)，即计算后的世界坐标A'和B'，分别显示在左下角(xa,ya,za)和(xb,yb,zb)，求出的距离L在左上角显示。点击鼠标右键清空以上操作结果，如果想要重新测量，重复步骤3和步骤4。其中A(x0,y0,z0)和B(x1,y1,z1)表示在相机坐标系中的两点位置，x、y、z分别表示该点在相机坐标系中的x轴坐标、y轴坐标和深度值；fx、fy、cx、cy是相机内参，其中fx、fy分别表示相机在x、y方向的焦距，cx、cy分别表示相机光轴在图像中的x、y方向的偏移量；xc、yc是分别是由相机坐标系转换成的世界坐标系中的x轴坐标、y轴坐标；A'(x0',y0',z0)和B'(x1',y1',z1)是世界坐标系中的两点，x0'、x1'是x轴坐标，y0'、y1'是y轴坐标，z0、z1是z轴坐标；LA'B'是世界坐标系中A'(x0',y0',z0)和B'(x1',y1',z1)两点的距离。

如图3所示，本发明的第二方面，还提出一种基于体感摄像头测量距离的装置100，该装置100可以适用于前文记载的基于体感摄像头测量距离的方法，具体可以参考前文相关记载，在此不作赘述。该装置100包括:

固定模块110，用于将所述体感摄像头固定，使之保持相对静止状态；

通信模块120，用于建立所述体感摄像头与服务器的数据交互连接；

图像绘制模块130，用于调用所述体感摄像头的SDK，获取体感摄像头的内参fx、fy、cx、cy，获取体感摄像头的彩色流和深度流，调用OpenGL库函数，以实时显示彩色和深度的合成图像，其中fx、fy分别表示所述体感摄像机在x、y方向的焦距，cx、cy分别表示摄像头光轴在图像中的x、y方向的偏移量；

数据获取模块140，用于在彩色和深度的合成图像中，选取待测量的距离的起始点和终点、绘制连接所述起始点和所述终点的直线；

计算模块150，用于根据所述体感摄像头的内参，将所述起始点坐标和所述终点坐标及其两点的深度值从相机坐标系转到世界坐标系，从而求出两点实际距离。

进一步地，如图3所示，所述固定模块110包括三脚架111、对准子模块112和调整子模块113；其中，

所述三脚架111，用于绑定所述体感摄像头；

所述对准子模块112，用于将所述体感摄像头的镜头对准将要测量的物体；

所述调整子模块113，用于调整所述体感摄像头和要测量的物体之间的距离。

进一步地，所述图像绘制模块130，具体用于：

在体感摄像头启动后，将数据通过USB3.0数据接口传输至PC机，调用体感摄像头统一编程接口SDK，实时获取彩色流和深度流，调用OpenGL库函数，绘制彩色和深度的合成图像，选择所述合成图像中任意一点，会显示该点在相机坐标系中的位置，X表示横坐标，Y表示纵坐标，Z表示该点深度值。

进一步地，所述数据获取模块140，具体用于：

使用鼠标在图像中左击要测量物体的某一点作为起始点，长按鼠标左键并拖动鼠标，图像中会以起点绘制一条直线至鼠标光标位置，直至鼠标拖动至待测物体的另一侧边缘，松开鼠标左键，此时图像中直线的终点为鼠标左键松开的光标位置。

进一步地，所述计算模块150，具体用于：

通过获得的相机坐标系中的两个点位置，将其转换成世界坐标系。假定测试深度图中的两点坐标分别为A(x0,y0,z0)和B(x1,y1,z1),通过公式x＝fx*xc/zc+cx和y＝fy*yc/zc+cy，可以推导出xc和yc，xc＝(x-cx)*zc/fx，yc＝(y-cy)*zc/fy，此时可以计算出深度图中A点的世界坐标A'(x0',y0',z0)和B'(x1',y1',z1)，则空间上AB两点的距离为：LA'B'＝sqrt((x1'-x0')2+(y1'-y0')2+(z1-z0)2)，即

本发明的第三方面，还提出一种计算机可读存储介质，其中所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行本发明所提出的基于体感摄像头测量距离的方法。

其中，计算机可读介质可以是本发明/实用新型的装置、设备、系统中所包含的，也可以是单独存在。

其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。

其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。

本发明的具体实施方式中未涉及的说明属于本领域公知的技术，可参考公知技术加以实施。

本发明经反复试验验证，取得了满意的试用效果。

以上具体实施方式及实施例是对本发明提出的一种基于体感摄像头测量距离的方法技术思想的具体支持，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在本技术方案基础上所做的任何等同变化或等效的改动，均仍属于本发明技术方案保护的范围。

Claims (10)

1.一种基于体感摄像头测量距离的方法，其特征在于,包括以下步骤:

步骤1，固定位置，将所述体感摄像头固定，使之保持相对静止状态，建立所述体感摄像头与服务器的数据交互连接；

步骤2，绘制图像，调用所述体感摄像头的SDK，获取体感摄像头的内参fx、fy、cx、cy，获取体感摄像头的彩色流和深度流，调用OpenGL库函数，以实时显示彩色和深度的合成图像，其中fx、fy分别表示所述体感摄像机在x、y方向的焦距，cx、cy分别表示摄像头光轴在图像中的x、y方向的偏移量；

步骤3，获取数据，在彩色和深度的合成图像中，选取待测量的距离的起始点和终点、绘制连接所述起始点和所述终点的直线；

步骤4，计算距离，根据所述体感摄像头的内参，将所述起始点坐标和所述终点坐标及其两点的深度值从相机坐标系转到世界坐标系，从而求出两点实际距离。

2.根据权利要求1所述的一种基于体感摄像头测量距离的方法，其特征在于，所述步骤1包括：将所述体感摄像头绑定在三脚架上以固定位置，将所述体感摄像头的镜头对准将要测量的物体，调整所述体感摄像头和要测量的物体之间的距离。

3.根据权利要求1所述的一种基于体感摄像头测量距离的方法，其特征在于，所述步骤2包括：体感摄像头启动后，将数据通过USB3.0数据接口传输至PC机，调用体感摄像头统一编程接口SDK，实时获取彩色流和深度流，调用OpenGL库函数，绘制彩色和深度的合成图像，选择所述合成图像中任意一点，会显示该点在相机坐标系中的位置，X表示横坐标，Y表示纵坐标，Z表示该点深度值。

4.根据权利要求1所述的一种基于体感摄像头测量距离的方法，其特征在于，所述步骤3中获取数据包括：使用鼠标在图像中左击要测量物体的某一点作为起始点，长按鼠标左键并拖动鼠标，图像中会以起点绘制一条直线至鼠标光标位置，直至鼠标拖动至待测物体的另一侧边缘，松开鼠标左键，此时图像中直线的终点为鼠标左键松开的光标位置。

5.根据权利要求1所述的一种基于体感摄像头测量距离的方法，其特征在于，步骤4所述计算距离包括：通过获得的相机坐标系中的两个点位置，将其转换成世界坐标系。假定测试深度图中的两点坐标分别为A(x0,y0,z0)和B(x1,y1,z1),通过公式x＝fx*xc/zc+cx和y＝fy*yc/zc+cy，可以推导出xc和yc，xc＝(x-cx)*zc/fx，yc＝(y-cy)*zc/fy，此时可以计算出深度图中A点的世界坐标A'(x0',y0',z0)和B'(x1',y1',z1)，则空间上AB两点的距离为：LA'B'＝sqrt((x1'-x0')2+(y1'-y0')2+(z1-z0)2)，即

6.根据权利要求4所述的一种基于体感摄像头测量距离的方法，其特征在于，重复步骤3和步骤4即可再次测量距离。

7.根据权利要求1所述的一种基于体感摄像头测量距离的方法，其特征在于，所述数据交互包括有线或无线的方式。

8.一种基于体感摄像头测量距离的装置，其特征在于,包括:

固定模块，用于将所述体感摄像头固定，使之保持相对静止状态；

通信模块，用于建立所述体感摄像头与服务器的数据交互连接；

图像绘制模块，用于调用所述体感摄像头的SDK，获取体感摄像头的内参fx、fy、cx、cy，获取体感摄像头的彩色流和深度流，调用OpenGL库函数，以实时显示彩色和深度的合成图像，其中fx、fy分别表示所述体感摄像机在x、y方向的焦距，cx、cy分别表示摄像头光轴在图像中的x、y方向的偏移量；

数据获取模块，用于在彩色和深度的合成图像中，选取待测量的距离的起始点和终点、绘制连接所述起始点和所述终点的直线；

计算模块，用于根据所述体感摄像头的内参，将所述起始点坐标和所述终点坐标及其两点的深度值从相机坐标系转到世界坐标系，从而求出两点实际距离。

9.根据权利要求8所述的一种基于体感摄像头测量距离的装置，其特征在于，所述固定模块包括三脚架、对准子模块和调整子模块；其中，

所述三脚架，用于绑定所述体感摄像头；

所述对准子模块，用于将所述体感摄像头的镜头对准将要测量的物体；

所述调整子模块，用于调整所述体感摄像头和要测量的物体之间的距离。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1至7任一项所述的方法。