CN109429060B - 瞳孔距离测量方法、可穿戴眼部设备及存储介质 - Google Patents

瞳孔距离测量方法、可穿戴眼部设备及存储介质 Download PDF

Info

Publication number
CN109429060B
CN109429060B CN201710551489.5A CN201710551489A CN109429060B CN 109429060 B CN109429060 B CN 109429060B CN 201710551489 A CN201710551489 A CN 201710551489A CN 109429060 B CN109429060 B CN 109429060B
Authority
CN
China
Prior art keywords
image
pupil
eye
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710551489.5A
Other languages
English (en)
Other versions
CN109429060A (zh
Inventor
张�浩
陈丽莉
楚明磊
孙建康
闫桂新
郭子强
王亚坤
田文红
马占山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710551489.5A priority Critical patent/CN109429060B/zh
Priority to JP2018557090A priority patent/JP2020526735A/ja
Priority to US16/096,428 priority patent/US11534063B2/en
Priority to EP18788993.6A priority patent/EP3651457B1/en
Priority to PCT/CN2018/074980 priority patent/WO2019007050A1/zh
Publication of CN109429060A publication Critical patent/CN109429060A/zh
Application granted granted Critical
Publication of CN109429060B publication Critical patent/CN109429060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种瞳孔距离测量方法、可穿戴眼部设备及计算机可读存储介质。所述方法包括：拍摄至少一眼部图像；从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离。

Description

瞳孔距离测量方法、可穿戴眼部设备及存储介质
技术领域
本公开的实施例涉及一种瞳孔距离测量方法、可穿戴眼部设备及存储介质。
背景技术
随着虚拟现实(VR)技术的不断发展，人们对VR设备的要求越来越高。例如，要求VR设备具备更高的刷新率，以减小拖影；要求屏幕拥有更高的分辨率，以减小视觉的颗粒感等。此外，人们对VR设备的反畸变反色散的要求也越来越高，如果反畸变反色散运算不考虑人眼瞳孔的差异性，会导致同一个VR设备被不同的瞳距的人使用时，具有不同的观看效果。
发明内容
本公开的至少一个实施例提供一种瞳孔距离测量方法，包括：拍摄至少一眼部图像；从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离。
例如，所述拍摄至少一眼部图像，包括：拍摄包含所述双眼瞳孔的眼部图像。所述提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：确定在所述眼部图像中的所述双眼瞳孔的瞳孔图像位置。以及所述基于所述一或两个瞳孔图像位置，确定瞳孔之间的实际距离，包括：依据所述双眼瞳孔的瞳孔图像位置，确定在所述眼部图像上的所述双眼瞳孔的图像距离；以及根据所述双眼瞳孔的图像距离，确定所述双眼瞳孔的实际距离。
例如，所述根据所述双眼瞳孔的图像距离，确定所述双眼瞳孔的所述实际距离，包括：测量双眼与摄像头之间的垂直实际距离；确定所述摄像头的拍摄张角；读取所述双眼瞳孔的图像距离；读取所述眼部图像的高度；依据所述双眼瞳孔的图像距离、所述拍摄张角、所述双眼与摄像头之间的垂直实际距离以及所述眼部图像的高度，确定所述双眼瞳孔之间的所述实际距离。
例如，所述拍摄至少一眼部图像，包括：采用第一摄像头和第二摄像头分别拍摄包含左眼的左眼图像和包含右眼的右眼图像。所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置。以及所述基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，包括：确定所述第一摄像头在所述左眼图像中的图像位置和所述第二摄像头在所述右眼图像中的图像位置；在所述左眼图像中，确定所述左眼瞳孔的瞳孔图像位置到所述第一摄像头的图像位置之间的第一水平图像距离；依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离；在所述右眼图像中，确定所述右眼瞳孔的瞳孔图像位置到所述第二摄像头的图像位置之间的第二水平图像距离；依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离；以及依据所述第一水平实际距离和所述第二水平实际距离，确定所述双眼瞳孔的实际距离。
例如，依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离，包括：测量所述第一摄像头和第二摄像头与双眼之间的垂直实际距离；确定所述第一摄像头的第一拍摄张角；读取所述左眼图像的高度；依据所述垂直实际距离、所述第一拍摄张角、所述第一水平图像距离以及所述左眼图像的高度，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离。依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离，包括：确定所述第二摄像头的第二拍摄张角；读取所述右眼图像的高度；依据所述垂直实际距离、所述第二拍摄张角、所述第二水平图像距离以及所述右眼图像的高度，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离。
例如，所述确定所述双眼瞳孔之间的实际距离，还包括：获取所述第一和第二摄像头之间的实际距离；计算所述第一水平实际距离和所述第二水平实际距离两者的距离之和；确定所述双眼瞳孔之间的实际距离为所述第一和第二摄像头之间的实际距离减去所述距离之和。
例如，所述拍摄至少一眼部图像，包括：拍摄包含所述单眼瞳孔以及设的标志点的眼部图像。所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置；以及从所述眼部图像中提取所述标志点的标记位置。以及所述基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，包括，依据所述单眼瞳孔的瞳孔图像位置和所述标记位置确定所述单眼瞳孔和所述标志点的水平图像距离；以及依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离。
例如，所述依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离，包括：测量双眼与摄像头之间的垂直实际距离；确定所述摄像头的拍摄张角；读取所述单眼瞳孔和所述标志点的水平图像距离；读取所述眼部图像的高度；依据所述双眼与摄像头之间的垂直实际距离、拍摄张角、所述单眼瞳孔和所述标志点的水平图像距离以及所述眼部图像的高度，确定所述双目瞳孔之间的实际距离。
例如，所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：从所述至少一眼部图像中提取单眼或双眼所在图像区域；对所述图像区域进行滤波和灰度化，得到灰度图；将所述灰度图转化为二值图；查找二值图中的的单眼瞳孔区域的边界或双眼瞳孔区域的边界；将所述单眼瞳孔区域的边界或双眼瞳孔区域的边界进行椭圆拟合得到一或两个椭圆图形；以及将各椭圆图形的中心作为相应瞳孔的图像位置。
例如，所述眼部图像的高度为摄像头采集的图像的纵向的像素大小。
本公开的至少一个实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现以下操作：从至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离。
本公开的至少一个实施例提供一种可穿戴眼部设备，包括：处理器以及存储器；所述存储器存储指令，所述指令被所述处理器执行时实现以下操作：从至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离。
例如，所述可穿戴眼部设备还包括第一摄像头，其中，该第一摄像头被配置为；拍摄包含所述双眼瞳孔的眼部图像。以及所述存储器存储的指令被所述处理器执行时实现以下操作：确定在所述眼部图像中的所述双眼瞳孔的瞳孔图像位置；依据所述双眼瞳孔的瞳孔图像位置，确定在所述眼部图像上的所述双眼瞳孔的图像距离；根据所述双眼瞳孔的图像距离，确定所述双眼瞳孔的所述实际距离。
例如，所述可穿戴眼部设备还包括第一摄像头和第二摄像头；所述第一摄像头和第二摄像头被配置为分别拍摄包含左眼的左眼图像和包含右眼的右眼图像；以及所述存储器存储的指令被所述处理器执行时实现以下操作：确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置；确定所述第一摄像头在所述左眼图像中的图像位置和所述第二摄像头在所述右眼图像中的图像位置；在所述左眼图像中，确定所述左眼瞳孔的瞳孔图像位置到所述第一摄像头的图像位置之间的第一水平图像距离；依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离；在所述右眼图像中，确定所述右眼瞳孔的瞳孔图像位置到所述第二摄像头的图像位置之间的第二水平图像距离；依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离；依据所述第一水平实际距离和所述第二水平实际距离，确定所述双眼瞳孔的实际距离。
例如，所述可穿戴眼部设备还包括第一摄像头，其中，所述第一摄像头被配置为拍摄包含所述单眼瞳孔以及设定的标志点的眼部图像。以及所述存储器存储的指令被所述处理器执行时实现以下操作：提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置；从所述眼部图像中提取所述标志点的标记位置；依据所述单眼瞳孔的瞳孔图像位置和所述标记位置确定所述单眼瞳孔和所述标志点的水平图像距离；以及依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离。
例如，所述标志点设置于可穿戴眼部设备的壳体上。
例如，所述可穿戴眼部设备还包括红外光源，其中，所述红外光源为所述可穿戴眼部设备拍摄眼部图像提供光源。
本公开的实施例通过图像处理的方式测量出双目瞳孔的实际距离，根据得到的双目瞳孔的实际距离可以进一步用于眼球追踪和视线计算等其他与视觉相关的领域，并可以进一步提高可穿戴眼部设备(例如VR设备)佩戴者的体验效果。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开实施例提供的一种瞳孔距离测量方法的流程图；
图2A为本公开实施例提供的另一种瞳孔距离测量方法流程图；
图2B为本公开实施例提供的瞳孔距离测量装置的示意图；
图2C为本公开实施例的摄像头拍摄的双眼图像示意图；
图2D为本公开实施例提供的相似图形示意图；
图3A为本公开实施例提供的又另一种瞳孔距离测量方法流程图；
图3B为本公开实施例提供的瞳孔距离测量装置又一示意图；
图3C-1为本公开实施例提供的拍摄的左眼图像示意图；
图3C-2为本公开实施例提供的拍摄的右眼图像的示意图；
图3D为本公开实施例提供的相似图形示意图；
图3E为本公开实施例提供的双眼所在平面上双眼和摄像头的位置示意图；
图4A为本公开实施例提供的又另一种瞳孔距离测量方法流程图；
图4B为本公开实施例提供的瞳孔距离测量装置的又一示意图；
图4C为本公开实施例提供的标志点的位置示意图；
图4D为本公开实施例提供的双眼与标志点的相对位置关系图；
图4E为本公开实施例提供的摄像头拍摄的单眼瞳孔和标志点的图像；
图4F为本公开实施例提供的相似图形的示意图；
图5为本公开实施例提供的一种提取瞳孔位置的流程图；
图6为本公开实施例提供的一种可穿戴眼部设备组成框图。
具体实施方式
下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。所给出的示例仅旨在有利于理解本公开实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本公开的实施例的范围的限制。
除非另外特别定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。此外，在本公开各个实施例中，相同或类似的参考标号表示相同或类似的构件。
下面结合附图介绍本公开的瞳孔距离测量方法、计算机可读存储介质以及可穿戴眼部设备。在本公开的实施例中，在不引起歧义的情况下，可以采用瞳孔来代表眼睛。例如，可以采用瞳孔的位置来代表眼睛的位置，双眼瞳孔的距离代表双眼的距离等。
如图1所示，本公开的至少一个实施例提供一种瞳孔距离测量方法100。该瞳孔距离测量方法100可以包括：步骤101，拍摄至少一眼部图像；步骤111，从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及步骤121，基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离。
在一些实施例中，步骤101包括拍摄包含一个眼睛的图像，而在另一些实施例中，步骤101包括拍摄同时包含两个眼睛的一幅图像或者拍摄各自包含一个眼睛的两幅图像。
在一些实施例中，步骤111可以从图像中提取双眼瞳孔的图像距离；在另一些实施例中，步骤111可以从图像中提取一个眼睛的瞳孔与某个设定的标志点之间的距离，或从图像中提取一个眼睛的瞳孔与摄像设备在图像上的位置点之间的距离。
在一些实施例中，步骤121基于步骤111得到的双眼瞳孔的图像距离，再结合图形之间的比例关系推导出双眼瞳孔之间的实际距离。在另一些实施例中，步骤121基于步骤111得到的单眼瞳孔与标志点之间的图像距离，再结合图形之间的比例关系推导出双眼瞳孔之间的实际距离。在另一些实施例中，步骤121还可以基于步骤111的图像距离，基于图形之间的比例关系推导出眼睛与相应的摄像设备之间的实际距离，再结合左眼与摄影设备之间的实际距离和右眼与另一摄影设备之间的实际距离，得到双眼瞳孔的实际距离。
在一些实施例中，为了基于与瞳孔相关的图像距离得到瞳孔之间的实际距离，本公开实施例还构造了一个位于摄影设备的焦平面上的虚拟成像平面，其中在有些实施例中该虚拟成像平面与实际成像平面可能重合。如果虚拟成像平面与实际成像平面不重合时，在虚拟成像平面上所形成的图像与实际成像平面上所拍摄的图像之间也满足一定的比例关系，例如，等比例放大或者缩小。基于虚拟成像平面与双眼所在平面上的相似图形的比例关系，可以推导出所拍摄图像上与瞳孔相关的图像距离与瞳孔的实际距离之间的计算关系式。以下实施例以图像距离即在实际成像平面上所拍摄的图像上的相关距离为例进行说明。
在一些实施例中，步骤121可以采用图5所示的方法从拍摄的眼部图像(即位于实际成像平面上的图像)上提取瞳孔在图像上的位置。依据瞳孔在所拍摄图像上的位置，可以进一步获得所拍摄图像上与瞳孔相关的距离。例如，根据所拍摄图像上提取的瞳孔位置，确定双眼瞳孔在所拍摄图像上的距离。例如，根据所拍摄图像上提取的瞳孔位置以及摄像头的相应位置，确定第一水平图像距离或者第二水平图像距离。例如，根据所拍摄图像上提取的瞳孔位置和标志点的位置，确定水平图像距离。
在一些实施例中，当使用者开始使用VR设备等可穿戴设备时，使用者会在起始界面上，做一些操作进入主界面。例如，点选某个菜单等，或者只有到某个开启阶段时，才能进入主界面。此时，即可激活本公开的瞳孔距离测量方法，进行瞳孔之间实际距离的测量。
如图2A所示，提供另一种瞳孔距离测量方法200。该瞳孔测量方法200所基于的图像可以为采用一个摄像头采集的双眼图像。具体可以包括：步骤201，拍摄包含所述双眼瞳孔的眼部图像；步骤211，确定在所述眼部图像中的所述双眼瞳孔的瞳孔图像位置；步骤221，依据所述双眼瞳孔的瞳孔图像位置，确定在所述眼部图像上的所述双眼瞳孔的图像距离；以及步骤231，根据所述双眼瞳孔的图像距离，确定所述双眼瞳孔的所述实际距离。
在一些实施例中，步骤201可以采用一个红外摄像头拍摄使用者的双眼，同时，可以采用多个红外LED灯为红外摄像头提供光源。摄像头采集图像时，需要确保能够采集到使用者的两个眼睛，即，确保摄像头能够正常工作，LED灯正常打开。当然，本公开实施例也可以采用其他类型的摄像头和其他类型的光源进行拍摄，本公开在此不作限定。
参考图2B,在一些实施例中，瞳孔距离测量方法可以应用在VR设备中，相应的红外LED灯4用红外光线照亮VR设备内部，LED灯4设置在VR设备使用的透镜3周围，也可以分布在VR设备的内壳体5上。LED灯4的个数以照亮VR设备内部，能够拍摄到清晰的眼部图像的照片为准。摄像头2设置在VR设备的上部中间位置。VR设备还可以包括接口1，该接口1可以连接红外摄像头2与数据处理设备。例如，接口1可以为USB接口(与外部计算机相连接)，MIPI接口(与移动终端相连接)、WIFI接口或者蓝牙接口等。
假设摄像头实际拍摄到的图像的像素大小为“Image_W*Image_H”。如图2C所示，通过分析拍摄得到的图像(即图2C的图像)得到左眼瞳孔在图像上的位置为Image_el、右眼瞳孔在图像上的位置为Image_er，拍摄图像上左眼瞳孔和右眼瞳孔两点的间距(即双眼瞳距在图像上的距离)为Image_ed。
基于双眼瞳孔在拍摄图像上的双眼瞳孔的图像距离Image_ed得到双眼瞳孔的实际距离，需要进一步参考图2D示出的相关位置点以及构造的相关平面。图2D示出了两个平面，分别是虚拟成像平面O’(即焦平面)以及双眼所在的平面O。假设摄像头20的焦距为f，摄像头20的拍摄张角(field of view，FOV)的角度为2*θ。在虚拟成像平面O’中示出了双眼瞳孔的位置el0和er0。在双眼瞳孔所在的实际平面O上示出了左右眼的实际位置el和er，在图2D中用眼睛的位置表示眼睛瞳孔的位置。H表示双眼所在平面的高度，具体可以由摄像头的拍摄张角计算得到；h表示焦平面的高度，具体也可以根据摄像头的拍摄张角计算得到。pd(即双眼瞳孔的实际距离)表示图2D的左眼瞳孔el与右眼瞳孔er在平面O上的瞳孔间的实际距离；pd’(即双眼瞳孔在焦平面O’上的距离)表示在成像面O’上的双眼瞳孔er0(相应于O平面的er点)和el0(相应于O平面的el点)二者之间的距离。
由图2D的透视关系可得：
tan(θ)＝(h/2)/f；
tan(θ)＝(H/2)/d；
Image_ed/pd’＝Image_H/h；
pd/pd’＝H/h。
由以上关系式即可得到使用者的双眼瞳孔的实际距离pd＝2*d*tan(θ)*Image_ed/Image_H。
在一些实施例中，图2A的步骤221中根据所述双眼瞳孔的图像距离Image_ed，确定所述双眼瞳孔的实际距离pd，可以包括：测量双眼与摄像头之间的垂直实际距离d(例如，图2D所示的双眼所在的平面O与摄像头20之间的垂直距离)；确定所述摄像头的拍摄张角θ(例如，图2D所示的摄像头20的拍摄张角)；读取所述双眼瞳孔的图像距离Image_ed(例如，图2C所示的拍摄图像上的左眼瞳孔与右眼瞳孔之间的图像距离)；读取所述眼部图像的高度Image_H(例如，图2C中的拍摄图像的纵向像素)；依据所述双眼瞳孔的图像距离Image_ed、拍摄张角θ、双眼与摄像头之间的垂直实际距离d以及所述眼部图像的高度Image_H，确定所述双眼瞳孔之间的实际距离pd(即图2D中的er与el之间的距离)。
本公开的实施例采用一个红外摄像头拍摄使用者的双目，并通过图像处理的方式，测试出双目瞳孔在图像上的距离，继而计算出瞳孔的实际距离。采用本公开的实施例检测到瞳孔距离后，也可以用于眼球追踪和视线计算等其他与眼睛相关的领域。
如图3A所示，该图提供一种瞳孔距离测量方法300。瞳孔距离测量方法300可以包括：步骤301，采用第一摄像头和第二摄像头分别拍摄包含左眼的左眼图像和包含右眼的右眼图像；步骤311，确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置；步骤321，确定所述第一摄像头在所述左眼图像中的图像位置和所述第二摄像头在所述右眼图像中的图像位置；步骤331，在所述左眼图像中，确定所述左眼瞳孔的瞳孔图像位置到所述第一摄像头的图像位置之间的第一水平图像距离；步骤341，依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离Sep_l；步骤351，在所述右眼图像中，确定所述右眼瞳孔的瞳孔图像位置到所述第二摄像头的图像位置之间的第二水平图像距离；步骤361，依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离；步骤371，依据所述第一水平实际距离和所述第二水平实际距离，确定所述双眼瞳孔的实际距离。
在一些实施例中，步骤301可以采用图3B所示的装置拍摄图像。具体的可以利用两个红外摄像头11(即第一摄像头和第二摄像头，分别位于左眼上方和右眼上方)测试瞳孔之间的距离，两个红外摄像头11之间的位置已知，且每个红外摄像头11各自能够拍摄到使用者的一个眼睛。同时，还包括多个红外LED灯14，所述LED灯14为两个红外摄像头提供光源。如图3B所示，两摄像头11分别在透镜13的上方，并且两摄像头11在同一水平线上。当然，本公开实施例也可以采用其他类型的摄像头和其他类型的光源进行拍摄，本公开在此不作限定。
例如，图3B的透镜13可以为VR设备使用的透镜，红外LED灯14用红外光线照亮VR设备内部。LED灯14通常在VR的透镜13周围，也可以分布在VR设备的内壳体15上。LED灯14的个数以照亮VR设备内部，能够拍摄到眼部图像的照片为准。
图3B中的一个摄像头12拍摄到的图像可以如图3C-1和图3C-2所示。
图3C-1和图3C-2展示的左眼和右眼的拍摄图像的像素大小为Image_W*Image_H，图像中心为P_ImageC(即摄像头12在实际成像平面上所拍摄图像上的对应位置)。拍摄图像上的单目瞳孔中心在该拍摄图像上的位置为点Peye，点Peye的横向延长线与点P_ImageC的纵向延长线交与点P_c。点Peye与点P_c之间的距离为第一水平图像距离Image_ed_l或第二水平图像距离Image_ed_r。
为了根据第一水平图像距离和第二水平图像距离计算双眼瞳孔的实际距离，需要进一步参考图3D示出的相关位置点以及构造的相关平面。
图3D示出了两个平面，分别是虚拟成像平面O’(即焦平面)以及双眼所在的平面O。图3D中点P_eye_o和点P_c_o分别为拍摄图像上的点Peye以及点P_c在双眼所在平面O上相对应的位置点。图3D中的点P_eye_o和P_c_o在虚拟成像平面O’上分别对应于点Peye’和点P_c’。假设焦平面为实际的成像平面，则拍摄图像上的第一水平图像距离或者第二水平图像距离可以表示为Image_ed.x’＝P_c’.x-Peye’.x，其中参数x可以为l(left)或r(right)，分别表示左眼对应的第一水平图像距离(例如，Image_ed.l’＝P_c’.l-Peye’.l)和右眼对应的第二水平图像距离(例如，Image_ed.r’＝P_c’.r-Peye’.r)。由于实际中，点Peye’可能在点P_c’的左边，也可能在点P_c’的右边，所以第一水平图像距离Image_ed.l’或者第二水平图像距离Image_ed.r’可能为正，也可能为负。
假设图3D中的第一摄像头和第二摄像头30的焦距为f，拍摄角度FOV为2*θ。虚拟成像面O’的高度为h，人眼到摄像头的垂直实际距离为d，P_eye_o为人眼在面O上的位置、P_c_o为点P_c’在面O上的投影。点P_eye_o与点P_c_o之间的距离为第一水平实际距离或者第二水平实际距离Sep_x(其中，参数x可以为l或r，分别表示左眼对应的第一水平实际距离Sep_l和右眼对应的第二水平实际距离Sep_r)。
由图3D所示的透视关系可得：
tan(θ)＝(h/2)/f
tan(θ)＝(H/2)/d
Image_ed/Image_ed’＝Image_H/h；
Sep_X/Image_ed’＝H/h
由以上关系即可得到使用者的第一或者第二水平实际距离的计算公式为：Sep_x＝2*d*tan(θ)*Image_ed/Image_H。
基于第一摄像头拍摄得到的左眼图像可以得到瞳孔到摄像头在所述图像上的图像中心的横向距离Image_ed_l，带入到上式可得第一水平实际距离Sep_l＝2*d*tan(θ)*Image_ed_l/Image_H。
同理，对于第二摄像头，可得到第二水平实际距离Sep_r＝2*d*tan(θ)*Image_ed_r/Image_H。
采用上述方法得到第一水平实际距离和第二水平实际距离后，可以进一步参考如图3E计算得到双目瞳孔的实际距离。图3E所示，如果已知两个摄像头12(第一摄像头和第二摄像头)在VR设备的距离为Sep，用图像处理的方式(例如，可以参考图5)，通过第一摄像头12拍摄使用者左眼图像，并通过计算得到拍摄图像上左眼瞳孔到第一摄像头相应点的水平距离Sep_l；使用同样的方法可以计算得到拍摄图像上第二摄像头12所对应的点到右眼瞳孔中心的距离为Sep_r。则使用者双眼瞳孔的实际距离为pd＝Sep-Sep_l-Sep_r。
在一些实施例中，步骤341中确定第一水平实际距离可以包括：测量所述第一摄像头和第二摄像头与双眼之间的垂直实际距离d(例如，图3D所示的双眼所在的平面O与摄像头30之间的垂直距离)；确定所述第一摄像头的第一拍摄张角θ(例如，图3D所示的摄像头30的拍摄张角)；读取所述左眼图像的高度(例如，图3C-1中图像的纵向拍摄像素)；依据所述垂直实际距离d、所述第一拍摄张角θ、所述第一水平图像距离Image_ed_l(例如，图3C-1所示的左眼瞳孔与第一摄像头12在图像上的投影点P_ImageC之间的距离)以及所述左眼图像的高度，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离Sep_l(参考图3E)。步骤361确定第二水平实际距离的步骤可以包括：确定所述第二摄像头的第二拍摄张角θ；读取所述右眼图像的高度(例如，图3C-2中图像的纵向拍摄像素)；依据所述垂直实际距离d、所述第二拍摄张角θ、所述第二水平图像距离Image_ed_r(例如，图3C-2所示的右眼瞳孔与第二摄像头12在图像上的投影点P_ImageC之间的距离)以及所述右眼图像的高度，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离Sep_r(参考图3E)。
参考图3E，在一些实施例中，步骤371确定所述双眼瞳孔之间的实际距离，还可以包括：获取所述第一和第二摄像头之间的实际距离Sep；计算所述第一水平实际距离Sep_l和所述第二水平实际距离Sep_r两者的距离之和；确定所述双眼瞳孔之间的实际距离为所述第一和第二摄像头之间的实际距离减去所述距离之和。在VR设备上，第一和第二两个摄像头间的距离Sep是已知的，所以使用者的瞳孔间距为：pd＝Sep–(Sep_l+Sep_r)。
综上所述，已知两个摄像头在VR设备的距离为Sep，利用图像处理的方式，通过第一摄像头camera_l拍摄使用者左眼图像，并通过计算得到左眼瞳孔到左摄像头的水平距离Sep_l；使用同样的方法可以计算得到第二摄像头camera_r到右眼瞳孔中心的距离Sep_r。则使用者最终的瞳距pd＝Sep-Sep_l-Sep_r,如图3E所示。
采用两个位置已知的红外摄像头分别拍摄单眼图像，每个摄像头能够拍摄到使用者的一个眼睛，同时还采用多个红外LED灯为红外摄像头提供光源。例如，提供了一种利用VR设备内两个红外摄像头分别拍摄使用者的一个眼睛，并通过图像处理的方式，测量出拍摄图像上单个瞳孔到与之对应的摄像头光心在图像上相应点的距离，继而，计算出瞳孔的实际距离。本公开实施例所用的摄像头，在检测到瞳孔距离后，也可以用于眼球追踪和视线计算等其他与眼睛相关的工作领域。
如图4A所示，该图提供一种瞳孔距离测量方法400。瞳孔距离测量方法400包括：步骤401，拍摄包含所述单眼瞳孔以及预设的标志点的眼部图像。步骤411，提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置；从所述眼部图像中提取所述标志点的标记位置。步骤421，依据所述单眼瞳孔的瞳孔图像位置和所述标记位置确定所述单眼瞳孔和所述标志点的水平图像距离；以及步骤431，依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离。
如图4B所示，在一些实施例中，瞳孔测距方法400可应用于VR设备中。VR设备配置有单个红外摄像头22及红外LED灯24。在使用VR设备时，LED等24的红外光源照亮人眼，红外摄像头22拍摄到使用者的单眼和VR壳体25上的标示点26，通过图像处理的方法获得使用者的瞳孔和标示点26，并依据图像上瞳孔到标示点的横向距离，估算出双眼瞳孔的实际距离。例如，标志点26可以设置在VR设备的壳体25上。当然，本公开实施例也可以采用其他类型的摄像头和其他类型的光源进行拍摄，本公开在此不作限定。
例如，VR设备使用透镜23，红外LED灯24用红外光线照亮VR设备内部。LED灯24通常在透镜23周围，也可以分布在VR设备的内壳体25上。LED灯24的个数以照亮VR设备内部，能够拍摄到眼部图像的照片为准，一般采用8个LED灯等。
如图4C和图4D所示，标示点26位于VR设备观看窗口27的上方，具体位于VR壳体25左右方向的正中间。使用者正常使用VR设备时，标示点26可设置于使用者双目间距的中心位置。例如，标示点26可以为类似红外LED灯24等红外摄像头能够识别出的物点。VR设备的观看窗口27是指使用者能够通过该窗口透过透镜23观看VR设备显示的内容。
采用摄像头拍摄的图像如图4E所示，该拍摄图像上包括单个眼睛位置点Peye以及标志点Pmark。
假设摄像头拍摄的图像(图4E所示)的像素大小为Image_W*Image_H，单目瞳孔中心在图像上的上的位置为Peye、标示点在图像上的点为Pmark。图像上点Peye的横向延长线与点Pmark的纵向延长线交与点Pcross。点Peye与点Pcross之间的距离为水平图像距离Image_ed。
为了推导出点Peye与点Pcross之间的水平图像距离与瞳孔之间的实际距离之间的计算关系式，需要进一步参考图4F示出的相关位置点和构造的相关平面。
如图4F示出两个平面，分别是位于焦平面的虚拟成像平面O’以及双眼瞳孔所在的平面O。拍摄图像上的点Peye、点Pmark以及点Pcross在虚拟成像平面O’上分别对应于点Peye’、点Pmark’以及点Pcross’。在虚拟成像平面O’中示出了单眼瞳孔的位置Peye’和标志点的位置Pmark’。人眼到摄像头的距离为d。Peye_o为人眼在面O上的位置、Pcross_o为Pcross’在面O上的投影。相应的Peye_o，Pcross_o之间的距离为双目瞳孔的实际距离的一半。摄像头40的焦距为f，拍摄角度为θ。H表示双眼所在平面的高度，具体可以由摄像头的拍摄张角计算得到；h表示焦平面的高度，具体与可以根据摄像头的拍摄张角计算得到。
由图4E的透视关系可得：
tan(θ)＝(h/2)/f
tan(θ)＝(H/2)/d
Image_ed/pd’＝Image_H/h；
pd/pd’＝H/h
由以上关系即可得到pd’＝2*d*tan(θ)*Image_ed/Image_H。使用者的双目瞳孔的距离pd＝2*pd’。
在一些实施例中，步骤421可以包括：测量双眼与摄像头之间的垂直实际距离d(例如，图4F所示的双眼所在的平面O与摄像头40之间的垂直距离)；确定所述摄像头的拍摄张角θ(例如，图4F所示的摄像头40的拍摄张角)；读取拍摄图像上所述单眼瞳孔和所述标志点的水平图像距离Image_ed(例如，图4E所示的图像上的单眼瞳孔到标志点之间的距离)；读取所述拍摄图像的眼部图像的高度(例如，图4E所示的图像的纵向像素数)；依据所述双眼与摄像头之间的垂直实际距离d、拍摄张角θ、所述单眼瞳孔和所述标志点的水平图像距离Image_ed以及所述眼部图像的高度Image_H，确定所述双目瞳孔之间的实际距离(即pd)。
如图5所示，上述三个实施例中的从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置的步骤，具体可以包括：步骤501，从各眼部图像中提取单眼或双眼所在图像区域；步骤511，对所述图像区域进行滤波和灰度化，得到灰度图，将所述灰度图转化为二值图；步骤521，查找二值图中的的单眼瞳孔区域的边界或双眼瞳孔区域的边界；步骤531，将所述单眼瞳孔区域的边界或双眼瞳孔区域的边界进行椭圆拟合得到一或两个椭圆图形；以及步骤541，将各椭圆图形的中心作为相应瞳孔的图像位置。当然，也可以使用其他方法得到瞳孔的图像位置，本公开在此不作限定。
上述实施例中所述眼部图像的高度可以为摄像头所拍摄的图像的纵向的像素大小。
在一些实施例中，提取上述标识点的图像可以包括如下步骤：获得摄像头采集的图像后，即可进行标示点提取。标示点提取包括以下几步：(1)标示点区域提取(例如，从整副图像中提取出标示点所在的大概区域)。因使用者佩戴上VR设备后，标示点在图像中的位置大致是确定的，因此，可以选取一个较大的图像区域作为标示点所在区域的备选区域。(2)图像滤波：对提取出来的图像做滤波，如高斯滤波等。(3)灰度化：对滤波后的图像进行灰度化，由RGB图转化层灰度图。(4)阈值处理：将灰度图转化成二值图；因为标示点本身就是红外LED灯，所以，在红外摄像头拍摄的图像上，标示点为一白色的斑点，可以设置一个较大的阈值，如，阈值＝240，进行图像的二值化。(5)标示点区域检查：利用形态学的方法，找到标示点区域的边界。(6)标示点椭圆拟合：利用标示点区域的边界进行椭圆拟合，得到椭圆。(7)标示点中心输出：标示点位置即为椭圆的中心。
本公开实施例提供了一种能够利用单个红外摄像头估算瞳距的方法，具体采用一个红外摄像头多个LED灯。单个摄像头能够拍摄到使用者的单眼和VR壳体上的标示点，多个红外LED灯为红外摄像头提供光源。利用VR设备内的红外摄像头拍摄使用者的单眼和VR壳体上的标示点，并通过图像处理的方式，测试单眼瞳孔到标示点的横向距离，继而，计算出双眼瞳孔之间的实际距离。本公开所用的摄像头，在检测到瞳孔距离后，也可以用于眼球追踪和视线计算等其他与眼睛相关的工作。
本公开的至少一个实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现以下操作：从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离。
如图6所示，该图为本公开提供的可穿戴眼部设备600的组成框图。可穿戴眼部设备600可以包括：处理器602以及存储器603。所述存储器603存储指令，所述指令被所述处理器602执行时实现以下操作：从至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离。
在一些实施例中，可穿戴眼部设备600还可以包括：至少一个摄像头601。例如，至少一个摄像头601被配置为拍摄所述至少一眼部图像。
在一些实施例中，可穿戴眼部设备600还可以包括：至少一个红外光源604，红外光源604可以被配置为所述至少一个摄像头601提供拍摄光源。
在一些实施例中，可穿戴眼部设备600可以具有VR眼镜的基本部件。例如，VR眼镜的基本部件具体可以包括透镜、壳体等。
在一些实施例中，至少一个摄像头601包括第一摄像头，其中，该第一摄像头被配置为；拍摄包含所述双眼瞳孔的眼部图像。所述存储器存储的指令被所述处理器执行时实现以下操作：确定在所述眼部图像中的所述双眼瞳孔的瞳孔图像位置；依据所述双眼瞳孔的瞳孔图像位置，确定在所述眼部图像上的所述双眼瞳孔的图像距离；根据所述双眼瞳孔的图像距离，确定所述双眼瞳孔的所述实际距离。
在一些实施例中，至少一个摄像头601还可以包括第一摄像头和第二摄像头；其中，所述第一摄像头和第二摄像头被配置为分别拍摄包含左眼的左眼图像和包含右眼的右眼图像；所述存储器603存储的指令被所述处理器602执行时实现以下操作：确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置；确定所述第一摄像头在所述左眼图像中的图像位置和所述第二摄像头在所述右眼图像中的图像位置；在所述左眼图像中，确定所述左眼瞳孔的瞳孔图像位置到所述第一摄像头的图像位置之间的第一水平图像距离；依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离；在所述右眼图像中，确定所述右眼瞳孔的瞳孔图像位置到所述第二摄像头的图像位置之间的第二水平图像距离；依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离；依据所述第一水平实际距离和所述第二水平实际距离，确定所述双眼瞳孔的实际距离。
在一些实施例中，摄像头601还可以包括第一摄像头，其中，所述第一摄像头被配置为拍摄包含所述单眼瞳孔以及设定的标志点的眼部图像。所述存储器603存储的指令被所述处理器602执行时实现以下操作：提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置；从所述眼部图像中提取所述标志点的标记位置；依据所述单眼瞳孔的瞳孔图像位置和所述标记位置确定所述单眼瞳孔和所述标志点的水平图像距离；依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离。例如，所述标志点设置于可穿戴眼部设备的壳体上。
在一些实施例中，所述存储器603以及处理器602可以位于同一台PC机等处理设备上。
参照图1-5，对可穿戴眼部设备600的相似的描述在此不再赘述。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种瞳孔距离测量方法，包括：
拍摄至少一眼部图像；
从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及
基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离
其中，所述拍摄至少一眼部图像，包括：采用第一摄像头和第二摄像头分别拍摄包含左眼的左眼图像和包含右眼的右眼图像；
所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置；以及
所述基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，包括：
确定所述第一摄像头在所述左眼图像中的图像位置和所述第二摄像头在所述右眼图像中的图像位置；
在所述左眼图像中，确定所述左眼瞳孔的瞳孔图像位置到所述第一摄像头的图像位置之间的第一水平图像距离；
依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离；
在所述右眼图像中，确定所述右眼瞳孔的瞳孔图像位置到所述第二摄像头的图像位置之间的第二水平图像距离；
依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离；以及
依据所述第一水平实际距离和所述第二水平实际距离，确定所述双眼瞳孔的实际距离。
2.如权利要求1所述的瞳孔距离测量方法，其中，
所述依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离，包括：
测量所述第一摄像头和第二摄像头与双眼之间的垂直实际距离；确定所述第一摄像头的第一拍摄张角；读取所述左眼图像的高度；以及
依据所述垂直实际距离、所述第一拍摄张角、所述第一水平图像距离以及所述左眼图像的高度，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离；以及
所述依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离，包括：
确定所述第二摄像头的第二拍摄张角；
读取所述右眼图像的高度；以及
依据所述垂直实际距离、所述第二拍摄张角、所述第二水平图像距离以及所述右眼图像的高度，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离。
3.如权利要求1所述的瞳孔距离测量方法，其中，
所述确定所述双眼瞳孔之间的实际距离，还包括：
获取所述第一摄像头和第二摄像头之间的实际距离；
计算所述第一水平实际距离和所述第二水平实际距离两者的距离之和；
确定所述双眼瞳孔之间的实际距离为所述第一和第二摄像头之间的实际距离减去所述距离之和。
4.如权利要求1-3任一项所述的瞳孔距离测量方法，其中，所述确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置，包括：
从所述左眼图像中提取左眼所在图像区域和从所述右眼图像提取右眼所在图像区域；
对所述左眼所在图像区域和所述右眼所在图像区域进行滤波和灰度化，得到灰度图；
将所述灰度图转化为二值图；
查找二值图中的单眼瞳孔区域的边界；
将所述单眼瞳孔区域的边界进行椭圆拟合得到椭圆图形；以及
将所述椭圆图形的中心作为相应瞳孔的图像位置。
5.如权利要求2所述的瞳孔距离测量方法，其中，所述眼部图像的高度为摄像头采集的图像的纵向的像素大小。
6.一种瞳孔距离测量方法，包括：
拍摄至少一眼部图像；
从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及
基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离
其中，所述拍摄至少一眼部图像，包括：拍摄包含所述单眼瞳孔以及设定的标志点的眼部图像；
所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：
提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置；以及
从所述眼部图像中提取所述标志点的标记位置；以及
所述基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，包括，
依据所述单眼瞳孔的瞳孔图像位置和所述标记位置确定所述单眼瞳孔和所述标志点的水平图像距离；以及
依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离。
7.如权利要求6所述的瞳孔距离测量方法，其中，所述依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离，包括：
测量双眼与摄像头之间的垂直实际距离；
确定所述摄像头的拍摄张角；
读取所述单眼瞳孔和所述标志点的水平图像距离；
读取所述眼部图像的高度；
依据所述双眼与摄像头之间的垂直实际距离、拍摄张角、所述单眼瞳孔和所述标志点的水平图像距离以及所述眼部图像的高度，确定所述双眼瞳孔之间的实际距离。
8.如权利要求6或7所述的瞳孔距离测量方法，其中，所述提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置，包括：
从所述眼部图像中提取单眼所在图像区域；
对所述图像区域进行滤波和灰度化，得到灰度图；
将所述灰度图转化为二值图；
查找二值图中的单眼瞳孔区域的边界；
将所述单眼瞳孔区域的边界进行椭圆拟合得到一个椭圆图形；以及
将所述椭圆图形的中心作为相应瞳孔的图像位置。
9.如权利要求7所述的瞳孔距离测量方法，其中，所述眼部图像的高度为摄像头采集的图像的纵向的像素大小。
10.一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现以下操作：
从至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及
基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离
其中，拍摄至少一眼部图像，包括：采用第一摄像头和第二摄像头分别拍摄包含左眼的左眼图像和包含右眼的右眼图像；
所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置；以及
所述基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，包括：
确定所述第一摄像头在所述左眼图像中的图像位置和所述第二摄像头在所述右眼图像中的图像位置；
在所述左眼图像中，确定所述左眼瞳孔的瞳孔图像位置到所述第一摄像头的图像位置之间的第一水平图像距离；
依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离；
在所述右眼图像中，确定所述右眼瞳孔的瞳孔图像位置到所述第二摄像头的图像位置之间的第二水平图像距离；
依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离；以及
依据所述第一水平实际距离和所述第二水平实际距离，确定所述双眼瞳孔的实际距离。
11.一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现以下操作：
从至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及
基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，
其中，拍摄至少一眼部图像，包括：拍摄包含所述单眼瞳孔以及设定的标志点的眼部图像；
所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：
提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置；以及
从所述眼部图像中提取所述标志点的标记位置；以及
所述基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，包括，
依据所述单眼瞳孔的瞳孔图像位置和所述标记位置确定所述单眼瞳孔和所述标志点的水平图像距离；以及
依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离。
12.一种可穿戴眼部设备，包括：处理器以及存储器；其中，
所述存储器存储指令，所述指令被所述处理器执行时实现以下操作：
从至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及
基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离
所述可穿戴眼部设备还包括第一摄像头和第二摄像头；所述第一摄像头和第二摄像头被配置为分别拍摄包含左眼的左眼图像和包含右眼的右眼图像；以及
所述基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，包括：
确定所述左眼图像中的左眼瞳孔的瞳孔图像位置和所述右眼图像中的右眼瞳孔的瞳孔图像位置；
确定所述第一摄像头在所述左眼图像中的图像位置和所述第二摄像头在所述右眼图像中的图像位置；
在所述左眼图像中，确定所述左眼瞳孔的瞳孔图像位置到所述第一摄像头的图像位置之间的第一水平图像距离；
依据所述第一水平图像距离，确定所述左眼瞳孔与所述第一摄像头之间的第一水平实际距离；
在所述右眼图像中，确定所述右眼瞳孔的瞳孔图像位置到所述第二摄像头的图像位置之间的第二水平图像距离；
依据所述第二水平图像距离，确定所述右眼瞳孔与所述第二摄像头之间的第二水平实际距离；以及
依据所述第一水平实际距离和所述第二水平实际距离，确定所述双眼瞳孔的实际距离。
13.如权利要求12所述的可穿戴眼部设备，还包括红外光源，其中，所述红外光源为所述可穿戴眼部设备拍摄眼部图像提供光源。
14.一种可穿戴眼部设备，包括：处理器以及存储器；其中，
所述存储器存储指令，所述指令被所述处理器执行时实现以下操作：
从至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置；以及
基于所述一或两个瞳孔图像位置，确定所述双眼瞳孔之间的实际距离，
所述可穿戴眼部设备还包括第一摄像头；
所述第一摄像头被配置为拍摄包含所述单眼瞳孔以及设定的标志点的眼部图像；以及
所述从所述至少一眼部图像中，提取单眼瞳孔或双眼瞳孔在所述至少一眼部图像中对应的一或两个瞳孔图像位置，包括：
提取所述眼部图像中所述单眼瞳孔的瞳孔图像位置；
从所述眼部图像中提取所述标志点的标记位置；
依据所述单眼瞳孔的瞳孔图像位置和所述标记位置确定所述单眼瞳孔和所述标志点的水平图像距离；以及
依据所述单眼瞳孔和所述标志点的水平图像距离，确定所述双眼瞳孔之间的实际距离。
15.如权利要求14所述的可穿戴眼部设备，其中，所述标志点设置于可穿戴眼部设备的壳体上。
16.如权利要求14所述的可穿戴眼部设备，还包括红外光源，其中，所述红外光源为所述可穿戴眼部设备拍摄眼部图像提供光源。
CN201710551489.5A 2017-07-07 2017-07-07 瞳孔距离测量方法、可穿戴眼部设备及存储介质 Active CN109429060B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710551489.5A CN109429060B (zh) 2017-07-07 2017-07-07 瞳孔距离测量方法、可穿戴眼部设备及存储介质
JP2018557090A JP2020526735A (ja) 2017-07-07 2018-02-01 瞳孔距離測定方法、装着型眼用機器及び記憶媒体
US16/096,428 US11534063B2 (en) 2017-07-07 2018-02-01 Interpupillary distance measuring method, wearable ophthalmic device and storage medium
EP18788993.6A EP3651457B1 (en) 2017-07-07 2018-02-01 Pupillary distance measurement method, wearable eye equipment and storage medium
PCT/CN2018/074980 WO2019007050A1 (zh) 2017-07-07 2018-02-01 瞳孔距离测量方法、可穿戴眼部设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710551489.5A CN109429060B (zh) 2017-07-07 2017-07-07 瞳孔距离测量方法、可穿戴眼部设备及存储介质

Publications (2)

Publication Number Publication Date
CN109429060A CN109429060A (zh) 2019-03-05
CN109429060B true CN109429060B (zh) 2020-07-28

Family

ID=64949675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710551489.5A Active CN109429060B (zh) 2017-07-07 2017-07-07 瞳孔距离测量方法、可穿戴眼部设备及存储介质

Country Status (5)

Country Link
US (1) US11534063B2 (zh)
EP (1) EP3651457B1 (zh)
JP (1) JP2020526735A (zh)
CN (1) CN109429060B (zh)
WO (1) WO2019007050A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109674443B (zh) * 2017-10-19 2022-04-26 华为终端有限公司 一种瞳距测量方法及终端
JP7180209B2 (ja) * 2018-08-30 2022-11-30 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム
CN111486798B (zh) * 2020-04-20 2022-08-26 苏州智感电子科技有限公司 图像测距方法、图像测距系统及终端设备
CN111854620B (zh) * 2020-07-16 2022-12-06 科大讯飞股份有限公司 基于单目相机的实际瞳距测定方法、装置以及设备
CN112987853B (zh) * 2021-02-05 2021-12-10 读书郎教育科技有限公司 一种基于视觉算法的早教平板
US11663739B2 (en) * 2021-03-11 2023-05-30 Microsoft Technology Licensing, Llc Fiducial marker based field calibration of a device
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
GB2611579A (en) * 2021-10-11 2023-04-12 Fuel 3D Tech Limited Methods and systems for interpupillary distance measurement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN106019588A (zh) * 2016-06-23 2016-10-12 深圳市虚拟现实科技有限公司 一种可以自动测量瞳距的近眼显示装置及方法
CN106325510A (zh) * 2016-08-19 2017-01-11 联想(北京)有限公司 信息处理方法及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53106070A (en) 1977-02-28 1978-09-14 Tokyo Kouon Denpa Kk Measuring apparatus for dimension
JP3921968B2 (ja) 2001-07-12 2007-05-30 株式会社豊田自動織機 位置検出方法及び位置検出装置
JP2005103039A (ja) * 2003-09-30 2005-04-21 Pentax Corp 瞳孔距離測定方法および測定器
US7682026B2 (en) * 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
JP2012239566A (ja) 2011-05-18 2012-12-10 Nikon Corp 眼鏡用測定装置及び三次元測定装置
KR101883200B1 (ko) 2011-12-16 2018-08-01 에스케이플래닛 주식회사 입체영상 깊이감 측정 장치 및 방법
JP6128977B2 (ja) 2013-06-14 2017-05-17 中村留精密工業株式会社 板材の周縁加工装置並びに加工精度の計測及び補正方法
KR101821284B1 (ko) * 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和系统
US20160019720A1 (en) * 2014-07-15 2016-01-21 Ion Virtual Technology Corporation Method for Viewing Two-Dimensional Content for Virtual Reality Applications
US9719871B2 (en) * 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
WO2017070703A1 (en) * 2015-10-23 2017-04-27 Gobiquity, Inc. Photorefraction method and product
CN106686365A (zh) 2016-12-16 2017-05-17 歌尔科技有限公司 用于头戴显示设备的镜头调节方法、装置及头戴显示设备
CN106803950A (zh) * 2017-03-02 2017-06-06 深圳晨芯时代科技有限公司 一种vr一体机及其图像调整方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN106019588A (zh) * 2016-06-23 2016-10-12 深圳市虚拟现实科技有限公司 一种可以自动测量瞳距的近眼显示装置及方法
CN106325510A (zh) * 2016-08-19 2017-01-11 联想(北京)有限公司 信息处理方法及电子设备

Also Published As

Publication number Publication date
EP3651457A1 (en) 2020-05-13
US20210228075A1 (en) 2021-07-29
EP3651457A4 (en) 2021-03-24
WO2019007050A1 (zh) 2019-01-10
EP3651457B1 (en) 2023-08-30
WO2019007050A8 (zh) 2019-03-07
CN109429060A (zh) 2019-03-05
US11534063B2 (en) 2022-12-27
JP2020526735A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
CN109429060B (zh) 瞳孔距离测量方法、可穿戴眼部设备及存储介质
US11129530B2 (en) Eye tracking using eyeball center position
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
CN107273846B (zh) 一种人体体型参数确定方法及装置
KR102093953B1 (ko) 피검자의 비전 파라미터들을 결정하는 것을 돕는 방법
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US20150304625A1 (en) Image processing device, method, and recording medium
US20140009570A1 (en) Systems and methods for capture and display of flex-focus panoramas
US11707191B2 (en) Calibration and image procession methods and systems for obtaining accurate pupillary distance measurements
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN105180802B (zh) 一种物体尺寸信息识别方法和装置
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
KR20120002723A (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
US11200713B2 (en) Systems and methods for enhancing vision
CN113658243A (zh) 眼底三维模型建立方法、眼底照相机、装置和存储介质
TWI704473B (zh) 視線向量偵測方向與裝置
US20160110886A1 (en) Information processing apparatus and clothes proposing method
US20230244307A1 (en) Visual assistance
Krasil’nikov et al. Determining the depth coordinate from a 2D image
JP2023063760A (ja) 識別装置
CN117710445A (zh) 一种应用于ar设备的目标定位方法、装置及电子设备
CN116560089A (zh) 一种视觉辅助方法及ar眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant