CN111084603A - 一种基于深度相机的瞳距测量方法及系统 - Google Patents

Abstract

本发明提供了一种基于深度相机的瞳距测量方法及系统，包括：A、通过深度相机的摄像头采集用户面部信息；B、将所述用户面部信息进行预处理；C、根据预处理之后的用户面部信息，使用人脸特征点检测算法识别用户的人脸特征点；D、根据所述人脸特征点中的双眼特征点获取双眼瞳孔的各自的第一位置信息；并测量用户与摄像头之间的距离；E、当判断所述用户与摄像头之间的距离大于指定阈值时，根据所述用户与摄像头之间的距离，以及所述双眼瞳孔的各自的第一位置信息，得到双眼瞳孔的第一瞳距数据；并将所述第一瞳距数据作为瞳距测量结果。由上，本申请有利于实现便捷有效的对瞳距进行测量。

Description

一种基于深度相机的瞳距测量方法及系统

技术领域

本发明涉及信息处理领域，尤其涉及一种基于深度信息的瞳距测 量方法及系统。

背景技术

在配制眼镜过程中，为了能使眼镜达到更好的使用效果，往往需 要测量病人的瞳孔间距，否则，就会导致眼镜佩戴的不适，包括视线 扭曲，产生眩晕感等，极大的影响眼镜的视力纠正效果。

在瞳孔间距测量中，最常见的就是使用尺子对瞳孔间距进行人工 测量。在这种操作中，需要病人视线在长时间内保持稳定，并且会因 为测量人员的误操作以及抖动产生极大的测量误差。所以这种使用尺 子进行测量的传统方法，并不能满足较高标准的配镜需求。

在更具有实力的眼镜佩戴机构(例如大型医院的眼科，或者大型 的眼镜公司)，往往会配备专业的视力检测仪器。使用这种仪器，可 以在一定的时间内测量到病人的精准瞳距。但这种过程需要耗费一定 的时间，难以应对较大客流量的需求，而且测量人员需要经过一定的 培训才能使用这种专业设备。更重要的是，这种专业检测设备往往造 价昂贵，极大的提高了开设这种高级眼镜佩戴门店的成本。

因此，目前亟需一种基于深度相机的瞳距测量方法及系统，以 实现简单便捷地对瞳距进行测量，且造价低廉，实用性高。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于深度相机的瞳距 测量方法及系统，以实现简单便捷地对瞳距进行测量，且造价低 廉，实用性高。

本申请提供一种基于深度相机的瞳距测量方法，包括：

A、通过深度相机的摄像头采集用户面部信息；

B、将所述用户面部信息进行预处理；

C、根据预处理之后的用户面部信息，使用人脸特征点检测算法 识别用户的人脸特征点；

D、根据所述人脸特征点中的双眼特征点获取双眼瞳孔的各自的 第一位置信息；并测量用户与摄像头之间的距离；

E、当判断所述用户与摄像头之间的距离大于指定阈值时，根据 所述用户与摄像头之间的距离，以及所述双眼瞳孔的各自的第一位置 信息，得到双眼瞳孔的第一瞳距数据；并将所述第一瞳距数据作为瞳 距测量结果。

由上，本申请有利于实现便捷有效的对瞳距进行测量，且造价 低廉，实用性高。

优选地，所述步骤E，还包括：

F、当判断所述用户与摄像头之间的距离小于指定阈值时，以瞳 孔的各自的第一位置为中心，以二倍的眼长为边长，取正方形区域， 以所述正方形区域作为眼睛的ROI区域，分割为子图片；

G、对所述子图片中的瞳孔进行识别，获取眼睛的中心位置，得 到瞳孔在子图片中的位置；将瞳孔在子图片中的位置换算为瞳孔在原 始图片中的位置，进而得到了双眼瞳孔的各自的第二位置信息；

H、根据用户与摄像头之间的距离，以及所述双眼瞳孔的各自的 第二位置信息，得到双眼瞳孔的第二瞳距数据；并将所述第二瞳距数 据作为瞳距测量结果。

由上，当用户足够靠近摄像头时(大约30cm)，开启精细测量模 式，进一步对字图片中的瞳孔位置进行识别，并测量更高精度的双眼 瞳孔间距。

优选地，所述用户面部信息，包括：用户面部RGB彩色信息视 频流以及深度图像数据视频流。

优选地，所述步骤B，包括：

截取所述RGB彩色信息视频流以及所述深度图像数据视频流， 得到RGB图像以及深度图；并将RGB图像的信息配准至所述深度图 的信息中，得到带有RGB信息的脸部深度图信息。

由上，有利于更好地据此获取人脸特征点。

优选地，所述步骤C，包括：

根据所述带有RGB信息的脸部深度图信息识别获取相应的人脸 特征点。

由上，有利于更加精确的获取人脸特征点。

优选地，所述步骤D，包括：

将所述人脸特征点中的均匀分散在眼睛的四周的双眼部分的双 眼特征点取均值，以获取双眼瞳孔的粗略位置。

由上，有利于获取双眼瞳孔的粗略位置。

基于上述的瞳距测量方法，本申请还提供一种基于深度相机的瞳 距测量系统，包括：

采集模块，用于通过深度相机的摄像头采集用户面部信息；

处理模块，用于将所述用户面部信息进行预处理；

特征点获取模块，用于根据预处理之后的用户面部信息，使用人 脸特征点检测算法识别用户的人脸特征点；

第一瞳孔位置获取模块，根据所述人脸特征点中的双眼特征点获 取双眼瞳孔的各自的第一位置信息；

距离获取模块，用于测量用户与摄像头之间的距离；

判断模块，用于判断所述用户与摄像头之间的距离；

第一瞳距获取模块，当所述判断模块判断所述用户与摄像头之间 的距离大于指定阈值时，根据所述用户与摄像头之间的距离，以及所 述双眼瞳孔的各自的第一位置信息，得到双眼瞳孔的第一瞳距数据； 并将所述第一瞳距数据作为瞳距测量结果。

由上，可以实现简单便捷地对瞳距进行测量，且造价低廉，实 用性高。上述的指定阈值可以是30cm。

优选地，所述系统，还包括第二瞳孔位置获取模块，用于：

当所述判断模块判断所述用户与摄像头之间的距离小于指定阈 值时，以瞳孔的第一位置信息为中心，以二倍的眼长为边长，取正方 形区域，以所述正方形区域作为眼睛的ROI区域，分割为子图片；

对所述子图片中的瞳孔进行识别，获取眼睛的中心位置，得到瞳 孔在子图片中的位置；将瞳孔在子图片中的位置换算为瞳孔在原始图 片中的位置，进而得到了双眼瞳孔的各自的第二位置信息。

由上，当用户足够靠近摄像头时(大约30cm)，开启精细测量模 式，进一步对字图片中的瞳孔位置进行识别，并测量更高精度的双眼 瞳孔间距。

优选地，所述系统，还包括第二瞳距获取模块，用于

根据用户与摄像头之间的距离，以及所述双眼瞳孔的各自的第二 位置信息，得到双眼瞳孔的第二瞳距数据；并将所述第二瞳距数据作 为瞳距测量结果。

优选地，所述用户面部信息，包括：用户面部RGB彩色信息视 频流以及深度图像数据视频流；

优选地，所述处理模块，具体用于：

截取一帧的所述RGB彩色信息视频流以及所述深度图像数据视 频流，得到此帧的RGB图像以及深度图；并将RGB图像的信息配准 至所述深度图的信息中，得到带有RGB信息的脸部深度图信息。

由上，有利于更好地据此获取人脸特征点。

所述第一瞳孔位置获取模块，具体用于：

将所述人脸特征点中的均匀分散在眼睛的四周的双眼部分的双 眼特征点取均值，以获取双眼瞳孔的第一位置信息。

综上所述，本申请有利于实现便捷有效的对瞳距进行测量，且 造价低廉，实用性高。

附图说明

图1为本发明提供的基于深度相机的瞳距测量方法的流程示意 图；

图2为本发明提供的基于深度相机的瞳距测量系统的结构示意 图。

具体实施方式

下面参照各附图对本发明的基于深度相机的瞳距测量方法进行 详细说明。

实施例一

如图1示出了该基于深度相机的瞳距测量方法的流程示意图，包 括：

S101，通过深度相机的摄像头采集用户面部信息，包括：RGB 彩色信息视频流以及所述深度图视频流。

S102，截取一帧的所述RGB视频流以及所述深度图视频流，得 到此帧的RGB图像以及深度图；并将RGB图像的信息配准至所述深 度图的信息中，得到带有RGB信息的脸部深度图信息。

S103，根据带有RGB信息的脸部深度图信息，使用人脸特征点 检测算法识别用户的人脸特征点。

S104，根据所述人脸特征点中的双眼特征点获取双眼瞳孔的各自 的第一位置。具体地，将所述人脸特征点中的均匀分散在眼睛的四周 的双眼部分的双眼特征点取均值，以获取双眼瞳孔的各自的第一位置 信息。

S105，判断所述用户与摄像头之间的距离是否大于指定阈值。其 中，所述阈值可以设置为30cm，或者其他的数值。当判断为是时，执 行步骤S106。当判断为否时，执行步骤S107。

S106，根据所述用户与摄像头之间的距离，以及所述双眼瞳孔的 各自的第一位置信息(第一位置信息可以是相对双眼瞳孔的坐标及相 对于摄像头的角度信息)，得到双眼瞳孔的第一瞳距数据；并将所述 第一瞳距数据作为瞳距测量结果。

S107,以瞳孔的各自的第一位置为中心，以二倍的眼长为边长， 取正方形区域，以所述正方形区域作为眼睛的ROI区域，分割为子图 片。

S108，对所述子图片中的瞳孔进行识别，获取眼睛的中心位置， 得到瞳孔在子图片中的位置；将瞳孔在子图片中的位置换算为瞳孔在 原始图片中的位置，进而得到了双眼瞳孔的各自的第二位置信息。

其中，对所述子图片中的瞳孔进行识别的方法为：

将所述子图片中的瞳孔作sobel算子提取边缘值处理，采用Hough 变化求取瞳孔中心位置。根据圆的数学表达式为：(x-a)²+(y-b) ²＝r²，可以了解，确定圆心坐标(a,b)及圆的半径r后，可以求得圆 周上所有点(x,y)的坐标。反过来，获得了圆周上一点(x,y)，可以求出过这点的所有圆的方程，并用(a,b,r)表示。找到对应图片上 点(x,y)最多的圆的方程(a,b,r)，即可求出图片上瞳孔所在圆形的 圆心坐标。具体实现方式包括：建立一个三维数组(A，B，R)用以 统计每个圆方程所对应的图片上的点(x,y)的个数。其中A，B分别 取图片的高度和宽度，R取A/2和B/2的较小值。遍历图像(x,y)， 将每个点(x,y)，可能所在圆的方程(a,b,r)存入数组(A，B，R) 中。找出数组(A，B，R)中的最大值(a,b,r)即为瞳孔所对应的圆 方程，(a,b)坐标即为瞳孔中心所对应的坐标位置。

S109，根据用户与摄像头之间的距离，以及所述双眼瞳孔的各自 的第二位置信息(第二位置信息可以是相对双眼瞳孔的坐标及相对于 摄像头的角度信息)，得到双眼瞳孔的第二瞳距数据；并将所述第二 瞳距数据作为瞳距测量结果。

实施例二

基于实施例一中提供的瞳距测量方法，如图2所示，本申请还提 供一种瞳距测量系统，包括：

采集模块201，用于通过深度相机采集用户面部信息；包括：RGB 彩色信息视频流以及所述深度图视频流。

处理模块202，用于将所述用户面部信息进行预处理；具体用于 截取一帧的所述RGB视频流以及所述深度图视频流，得到此帧的 RGB图像以及深度图；并将RGB图像的信息配准至所述深度图的信 息中，得到带有RGB信息的脸部深度图信息。

特征点获取模块203，用于根据预处理之后的用户面部信息，使 用人脸特征点检测算法识别用户的人脸特征点；

第一瞳孔位置获取模块204，根据所述人脸特征点中的双眼特征 点获取双眼瞳孔的各自的第一位置信息；具体用于：将所述人脸特征 点中的均匀分散在眼睛的四周的双眼部分的双眼特征点取均值，以获 取双眼瞳孔的第一位置信息。

距离获取模块205，用于测量用户与摄像头之间的距离；

判断模块206，用于判断所述用户与摄像头之间的距离；

第一瞳距获取模块207，当所述判断模块判断所述用户与摄像头 之间的距离大于指定阈值时，根据所述用户与摄像头之间的距离，以 及所述双眼瞳孔的各自的第一位置信息，得到双眼瞳孔的第一瞳距数 据；并将所述第一瞳距数据作为瞳距测量结果。

第二瞳孔位置获取模块208，用于当所述判断模块判断所述用户 与摄像头之间的距离小于指定阈值时，以瞳孔的第一位置信息为中 心，以二倍的眼长为边长，取正方形区域，以所述正方形区域作为眼 睛的ROI区域，分割为子图片；对所述子图片中的瞳孔进行识别，获 取眼睛的中心位置，得到瞳孔在子图片中的位置；将瞳孔在子图片中 的位置换算为瞳孔在原始图片中的位置，进而得到了双眼瞳孔的各自 的第二位置信息。

其中，对所述子图片中的瞳孔进行识别的方法为：

将所述子图片中的瞳孔作sobel算子提取边缘值处理，采用Hough 变化求取瞳孔中心位置。根据圆的数学表达式为：(x-a)²+(y-b) ²＝r²，可以了解，确定圆心坐标(a,b)及圆的半径r后，可以求得圆 周上所有点(x,y)的坐标。反过来，获得了圆周上一点(x,y)，可以求出过这点的所有圆的方程，并用(a,b,r)表示。找到对应图片上 点(x,y)最多的圆的方程(a,b,r)，即可求出图片上瞳孔所在圆形的 圆心坐标。具体实现方式包括：建立一个三维数组(A，B，R)用以 统计每个圆方程所对应的图片上的点(x,y)的个数。其中A，B分别 取图片的高度和宽度，R取A/2和B/2的较小值。遍历图像(x,y)， 将每个点(x,y)，可能所在圆的方程(a,b,r)存入数组(A，B，R) 中。找出数组(A，B，R)中的最大值(a,b,r)即为瞳孔所对应的圆 方程，(a,b)坐标即为瞳孔中心所对应的坐标位置。

第二瞳距获取模块209，用于根据用户与摄像头之间的距离，以 及所述双眼瞳孔的各自的第二位置信息，得到双眼瞳孔的第二瞳距数 据；并将所述第二瞳距数据作为瞳距测量结果。

综上所述，本申请有利于实现便捷有效的对瞳距进行测量，且 造价低廉，实用性高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明， 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于深度相机的瞳距测量方法，其特征在于，包括：

A、通过深度相机的摄像头采集用户面部信息；

B、将所述用户面部信息进行预处理；

C、根据预处理之后的用户面部信息，使用人脸特征点检测算法识别用户的人脸特征点；

D、根据所述人脸特征点中的双眼特征点获取双眼瞳孔的各自的第一位置信息；并测量用户与摄像头之间的距离；

E、当判断所述用户与摄像头之间的距离大于指定阈值时，根据所述用户与摄像头之间的距离，以及所述双眼瞳孔的各自的第一位置信息，得到双眼瞳孔的第一瞳距数据；并将所述第一瞳距数据作为瞳距测量结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤E，还包括：

F、当判断所述用户与摄像头之间的距离小于指定阈值时，以瞳孔的各自的第一位置为中心，以二倍的眼长为边长，取正方形区域，以所述正方形区域作为眼睛的ROI区域，分割为子图片；

G、对所述子图片中的瞳孔进行识别，获取眼睛的中心位置，得到瞳孔在子图片中的位置；将瞳孔在子图片中的位置换算为瞳孔在原始图片中的位置，进而得到了双眼瞳孔的各自的第二位置信息；

H、根据用户与摄像头之间的距离，以及所述双眼瞳孔的各自的第二位置信息，得到双眼瞳孔的第二瞳距数据；并将所述第二瞳距数据作为瞳距测量结果。

3.根据权利要求1所述的方法，其特征在于，所述用户面部信息，包括：用户面部RGB彩色信息视频流以及深度图像数据视频流。

4.根据权利要求3所述的方法，其特征在于，所述步骤B，包括：

截取所述RGB彩色信息视频流以及所述深度图像数据视频流，得到RGB图像以及深度图；并将RGB图像的信息配准至所述深度图的信息中，得到带有RGB信息的脸部深度图信息。

5.根据权利要求4所述的方法，其特征在于，所述步骤C，包括：

根据所述带有RGB信息的脸部深度图信息识别获取相应的人脸特征点。

6.根据权利要求1所述的方法，其特征在于，所述步骤D，包括：

将所述人脸特征点中的均匀分散在眼睛的四周的双眼部分的双眼特征点取均值，以获取双眼瞳孔的各自的第一位置信息。

7.一种基于深度相机的瞳距测量系统，其特征在于，包括：

采集模块，用于通过深度相机的摄像头采集用户面部信息；

处理模块，用于将所述用户面部信息进行预处理；

特征点获取模块，用于根据预处理之后的用户面部信息，使用人脸特征点检测算法识别用户的人脸特征点；

第一瞳孔位置获取模块，根据所述人脸特征点中的双眼特征点获取双眼瞳孔的各自的第一位置信息；

距离获取模块，用于测量用户与摄像头之间的距离；

判断模块，用于判断所述用户与摄像头之间的距离；

第一瞳距获取模块，当所述判断模块判断所述用户与摄像头之间的距离大于指定阈值时，根据所述用户与摄像头之间的距离，以及所述双眼瞳孔的各自的第一位置信息，得到双眼瞳孔的第一瞳距数据；并将所述第一瞳距数据作为瞳距测量结果。

8.根据权利要求7所述的系统，其特征在于，还包括第二瞳孔位置获取模块，用于：

当所述判断模块判断所述用户与摄像头之间的距离小于指定阈值时，以瞳孔的第一位置信息为中心，以二倍的眼长为边长，取正方形区域，以所述正方形区域作为眼睛的ROI区域，分割为子图片；

对所述子图片中的瞳孔进行识别，获取眼睛的中心位置，得到瞳孔在子图片中的位置；将瞳孔在子图片中的位置换算为瞳孔在原始图片中的位置，进而得到了双眼瞳孔的各自的第二位置信息。

9.根据权利要求8所述的系统，其特征在于，还包括第二瞳距获取模块，用于：

根据用户与摄像头之间的距离，以及所述双眼瞳孔的各自的第二位置信息，得到双眼瞳孔的第二瞳距数据；并将所述第二瞳距数据作为瞳距测量结果。

10.根据权利要求9所述的系统，其特征在于，所述用户面部信息，包括：用户面部RGB彩色信息视频流以及深度图像数据视频流。

11.根据权利要求10所述的系统，其特征在于，所述处理模块，具体用于：

截取一帧的所述RGB彩色信息视频流以及所述深度图像数据视频流，得到此帧的RGB图像以及深度图；并将RGB图像的信息配准至所述深度图的信息中，得到带有RGB信息的脸部深度图信息。

12.根据权利要求7所述的系统，其特征在于，所述第一瞳孔位置获取模块，具体用于：

将所述人脸特征点中的均匀分散在眼睛的四周的双眼部分的双眼特征点取均值，以获取双眼瞳孔的第一位置信息。

Images