CN110287796A - 一种基于手机与外部设备的屈光筛查方法 - Google Patents

一种基于手机与外部设备的屈光筛查方法 Download PDF

Info

Publication number
CN110287796A
CN110287796A CN201910441379.2A CN201910441379A CN110287796A CN 110287796 A CN110287796 A CN 110287796A CN 201910441379 A CN201910441379 A CN 201910441379A CN 110287796 A CN110287796 A CN 110287796A
Authority
CN
China
Prior art keywords
target object
face
mobile phone
eyes
dioptric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910441379.2A
Other languages
English (en)
Other versions
CN110287796B (zh
Inventor
谭国凯
李斌
刘昱
陈治霖
李森
李自羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Enos Technology Co Ltd
Original Assignee
Beijing Enos Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Enos Technology Co Ltd filed Critical Beijing Enos Technology Co Ltd
Priority to CN201910441379.2A priority Critical patent/CN110287796B/zh
Publication of CN110287796A publication Critical patent/CN110287796A/zh
Application granted granted Critical
Publication of CN110287796B publication Critical patent/CN110287796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Telephone Function (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种基于手机与外部设备的屈光筛查方法,该基于手机与外部设备的屈光筛查方法通过手机对目标对象的脸部进行检测,以此提取关于该目标对象的脸部的特征信息,再基于该特征信息,确定外部设备投射平行光束后,获取该平行光束进入该目标对象的眼睛折射所成的光斑图像,最后基于深度学习模式,对该光斑图像进行匹配处理,以此确定该目标对象的眼睛的屈光信息。

Description

一种基于手机与外部设备的屈光筛查方法
技术领域
本发明涉及视力检测的技术领域,特别涉及一种基于手机与外部设备的屈光筛查方法。
背景技术
视力是用于表征眼睛健康程度的一项重要指标。人们在工作和生活中需要注意用眼健康才能维持良好的视力状态。但是,随着人们的工作和生活越来越依赖电子产品,并且人们不能时刻保持良好的用眼习惯,这使得人们的视力状态发生严重的下降。此外,随着电子产品的普及和用眼卫生知识不被广泛传播和重视,视力问题呈现低龄化的发展趋势。在众多视力问题中,近视和散光是较为常见的视力问题,其中,近视可分为假性近视和真性近视,假性近视是指眼睛因用眼过度和疲劳等原因而发生暂时性的近视情况,假性近视具有可恢复性,只要眼睛能够获得充足的休息和放松就能够完全恢复正常状态,而真性近视则是由于眼睛的晶状体发生不可逆的变化而导致,真性近视是无法自然消失恢复的,其只能通过佩戴眼睛等外界手段进行弥补。因此,视力问题已经成为一个严重的和普遍的健康问题。
为了能够准确地获得眼睛视力的相关数值,需要借助相关的视力验光仪对眼睛进行测量。虽然,视力验光仪具有良好的和精确的视力测量性能,但是视力验光仪的体积笨重以及价格高昂,其通常只配置与医院或者眼镜店等相关机构中。人们只能前往这些机构进行相应的视力测试才能够获知自身的视力情况,这对于有频繁视力测试需求的人们而言是极不方便的,并且视力验光仪的操作流程较为复杂和耗时较长,需要专门的操作人员才能操作该视力验光仪,这都不利于缩短视力检测的时间和提高视力检测效率。可见,现有的视力检测模式并不能使人们能够随时随地和快速地进行视力状态的检测获取,这不便于提高视力检测的便捷性和准确性。
发明内容
针对现有技术存在的缺陷,本发明提供一种基于手机与外部设备的屈光筛查方法,该基于手机与外部设备的屈光筛查方法通过手机对目标对象的脸部进行检测,以此提取关于该目标对象的脸部的特征信息,再基于该特征信息,确定外部设备投射平行光束后,获取该平行光束进入该目标对象的眼睛折射所成的光斑图像,最后基于深度学习模式,对该光斑图像进行匹配处理,以此确定该目标对象的眼睛的屈光信息。该基于手机与外部设备的屈光筛查方法借助手机拍摄平行光束进入眼睛后由于眼睛折射作用而产生的光斑图像,该光斑图像的光强分布和光斑形状都与眼睛自身的折射成像功能密切相关,这样通过对该光斑图像进行深度学习模式的分析处理,就能够快速地和准确地确定该眼睛自身的折射成像,从而最终确定关于眼睛的屈光信息等视力状态。由于该屈光筛查方法只是通过手机进行图像的拍摄与计算分析处理,这能够便于人们随时随地进行眼睛的视力检测操作,这相比于以往只能通过验光仪才能进行视力检测操作而言,该屈光筛查方法具有更高的便捷性,并且该屈光筛查方法还通过深度学习模式进行相关的分析计算处理,其能够有效地提高眼睛屈光值的计算快速性和计算结果的准确性,这都满足对视力检测快速、高效和准确的要求。
本发明提供一种基于手机与外部设备的屈光筛查方法,其特征在于,所述基于手机与外部设备的屈光筛查方法包括如下步骤:
步骤(1),通过手机对目标对象的脸部进行检测,以此提取关于所述目标对象的脸部的特征信息;
步骤(2),基于所述特征信息,确定外部设备投射平行光束后,获取所述平行光束进入所述目标对象的眼睛折射所成的光斑图像;
步骤(3),基于深度学习模式,对所述光斑图像进行匹配处理,以此确定所述目标对象的眼睛的屈光信息;
进一步,在所述步骤(1)中,通过手机对目标对象的脸部进行检测具体包括,
步骤(A101),通过手机获取关于所述目标对象的脸部图像,并对所述脸部图像进行脸部区域划分处理;
步骤(A102),基于所述脸部区域划分处理的结果,确定所述目标对象的脸部是否符合预设脸部状态条件;
步骤(A103),若所述目标对象的脸部符合第一预设脸部状态条件,则指示所述手机通过第一预设检测平台对所述目标对象的脸部进行检测,若所述目标对象的脸部符合第二预设脸部状态条件,则指示所述手机通过第二预设检测平台对所述目标对象的脸部进行检测;
进一步,在所述步骤(A101)中,通过手机获取关于所述目标对象的脸部图像,并对所述脸部图像进行脸部区域划分处理具体包括,
步骤(A1011),通过所述手机的第一摄像模块和第二摄像模块分别获取关于所述目标对象的第一脸部图像和第二脸部图像,其中,所述第一摄像模块和所述第二摄像模块分别位于所述手机的不同位置;
步骤(A1012),确定所述第一脸部图像和所述第二脸部图像的视差信息,并根据所述视差信息执行所述脸部区域划分处理,其中,所述脸部区域划分处理是根据所述目标对象的脸部轮廓深度、将所述目标对象的脸部划分成若干不同脸部子区域;
进一步,在所述步骤(A102)中,基于所述脸部区域划分处理的结果,确定所述目标对象的脸部是否符合预设脸部状态条件具体包括,
步骤(A1021),确定所述目标对象的脸部对应的所述若干不同脸部子区域各自的轮廓深度分布信息;
步骤(A1022),若所述若干不同脸部子区域各自的轮廓深度分布信息匹配于第一轮廓分布趋势,则确定所述目标对象的脸部符合第一预设脸部状态条件,若所述若干不同脸部子区域各自的轮廓深度分布信息匹配于第二轮廓分布趋势,则确定所述目标对象的脸部符合第二预设脸部状态条件,其中,所述第一轮廓分布趋势相比于所述第二轮廓分布趋势具有较高的梯度分布值;
或者,
在所述步骤(A103)中,所述第一预设检测平台包括mtcnn检测平台或者ncnn检测平台,所述第二预设检测平台包括opencv检测平台或者openmp检测平台;
进一步,在所述步骤(1)中,提取关于所述目标对象的脸部的特征信息具体包括,
步骤(B101),基于opencv检测平台结合ncnn检测平台的神经网络模式或者基于openmp检测平台的加速撷取模式,对所述目标对象的脸部的检测结果进行人脸特征点的确定,其中,所述人脸特征点至少包括眼睛、鼻子或者嘴角;
步骤(B102),构建关于所述人脸特征点形成几何形状,并根据所述几何形状,确定所述目标对象的眼睛于所述几何形状中的拟合位置信息,以此作为所述关于目标对象的脸部的特征信息;
进一步,在所述步骤(2)中,基于所述特征信息,确定外部设备投射平行光束后,获取所述平行光束进入所述目标对象的眼睛折射所成的光斑图像具体包括,
步骤(201),基于所述特征信息,确定所述外部设备投射所述平行光束对应的投射模式;
步骤(202),指示所述外部设备根据所确定的投射模式,向所述目标对象的眼睛投射所述平行光束;
步骤(203),基于所述特征信息,对所述目标对象的眼睛进行监控,并根据所述监控的结果,获取一个或者多个所述平行光束进入所述目标对象的眼睛折射所成的光斑图像;
进一步,在所述步骤(201)中,基于所述特征信息,确定所述外部设备投射所述平行光束对应的投射模式具体包括,
基于所述特征信息中关于所述目标对象的眼眶区域面积和/或瞳孔区域面积,调整所述平行光束对应的光束直径和/或光束强度,以此形成若干不同的平行光束投射模式;
或者,
在所述步骤(202)中,指示所述外部设备根据所确定的投射模式,向所述目标对象的眼睛投射所述平行光束具体包括,
步骤(2021),根据所述投射模式,确定其投射平行光束对应的光束直径和/或光束强度,以此生成相应的平行光束;
步骤(2022),根据所述特征信息中关于所述目标对象的眼睛的拟合位置信息,调整所述平行光束的投射方向,以使所述平行光束能够以预设的重合面积投射至所述目标对象的眼眶区域或者瞳孔区域;
进一步,在所述步骤(203)中,基于所述特征信息,对所述目标对象的眼睛进行监控,并根据所述监控的结果,获取一个或者多个所述平行光束进入所述目标对象的眼睛折射所成的光斑图像具体包括,
步骤(2031),基于所述特征信息中关于所述目标对象的眼睛的拟合位置信息的,确定对所述目标对象的眼睛进行监控的监控空间区域;
步骤(2032),根据预设时间间隔,指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作,以此获取一个或者多个关于所述目标对象的眼睛图像;
步骤(2033),对所述一个或者多个眼睛图像进行预设图像处理,对应地得到一个或者多个所述平行光束进入所述目标对象的眼睛折射所成的光斑图像;
进一步,在所述步骤(2032)中,指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作具体包括,
步骤(A20321),确定所述手机与所述监控空间区域之间的相对空间位置;
步骤(A20322),根据所述相对空间位置,指示所述手机的陀螺仪模块进行适应性的角度调整,以使所述手机的摄像模块对准于所述监控空间区域;
步骤(A20323),当所述手机的摄像模块对准于所述监控空间区域时,指示所述摄像模块执行所述图像拍摄操作;
或者,
在所述步骤(2032)中,指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作具体包括,
步骤(B20321),确定所述监控空间区域当前对应的环境亮度值,并将所述环境亮度值与预设环境亮度范围进行对比处理;
步骤(B20322),若所述环境亮度值处于所述预设环境亮度范围中,则指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作,否则,指示所述手机暂停执行所述图像拍摄操作;
进一步,在所述步骤(3)中,基于深度学习模式,对所述光斑图像进行匹配处理,以此确定所述目标对象的眼睛的屈光信息具体包括,
步骤(301),基于所述深度学习模型,获取所述光斑图像中对应的光斑形状和/或光斑光强分布;
步骤(302),基于所述深度学习模型,确定所述光斑图像对应光斑状态信息与不同眼睛屈光信息之间的关联性分布情况;
步骤(303),基于所述关联性分布情况,将所述光斑形状和/或所述光斑光强分布与不同眼睛屈光信息进行对照匹配处理,以此确定所述目标对象的眼睛的屈光信息。
相比于现有技术,该基于手机与外部设备的屈光筛查方法通过手机对目标对象的脸部进行检测,以此提取关于该目标对象的脸部的特征信息,再基于该特征信息,确定外部设备投射平行光束后,获取该平行光束进入该目标对象的眼睛折射所成的光斑图像,最后基于深度学习模式,对该光斑图像进行匹配处理,以此确定该目标对象的眼睛的屈光信息。该基于手机与外部设备的屈光筛查方法借助手机拍摄平行光束进入眼睛后由于眼睛折射作用而产生的光斑图像,该光斑图像的光强分布和光斑形状都与眼睛自身的折射成像功能密切相关,这样通过对该光斑图像进行深度学习模式的分析处理,就能够快速地和准确地确定该眼睛自身的折射成像,从而最终确定关于眼睛的屈光信息等视力状态。由于该屈光筛查方法只是通过手机进行图像的拍摄与计算分析处理,这能够便于人们随时随地进行眼睛的视力检测操作,这相比于以往只能通过验光仪才能进行视力检测操作而言,该屈光筛查方法具有更高的便捷性,并且该屈光筛查方法还通过深度学习模式进行相关的分析计算处理,其能够有效地提高眼睛屈光值的计算快速性和计算结果的准确性,这都满足对视力检测快速、高效和准确的要求。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于手机与外部设备的屈光筛查方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,为本发明实施例提供的一种基于手机与外部设备的屈光筛查方法的流程示意图。该基于手机与外部设备的屈光筛查方法包括如下步骤:
步骤(1),通过手机对目标对象的脸部进行检测,以此提取关于该目标对象的脸部的特征信息。
优选地,在该步骤(1)中,通过手机对目标对象的脸部进行检测具体包括,
步骤(A101),通过手机获取关于该目标对象的脸部图像,并对该脸部图像进行脸部区域划分处理;
步骤(A102),基于该脸部区域划分处理的结果,确定该目标对象的脸部是否符合预设脸部状态条件;
步骤(A103),若该目标对象的脸部符合第一预设脸部状态条件,则指示该手机通过第一预设检测平台对该目标对象的脸部进行检测,若该目标对象的脸部符合第二预设脸部状态条件,则指示该手机通过第二预设检测平台对该目标对象的脸部进行检测。
优选地,在该步骤(A101)中,通过手机获取关于该目标对象的脸部图像,并对该脸部图像进行脸部区域划分处理具体包括,
步骤(A1011),通过该手机的第一摄像模块和第二摄像模块分别获取关于该目标对象的第一脸部图像和第二脸部图像,其中,该第一摄像模块和该第二摄像模块分别位于该手机的不同位置;
步骤(A1012),确定该第一脸部图像和该第二脸部图像的视差信息,并根据该视差信息执行该脸部区域划分处理,其中,该脸部区域划分处理是根据该目标对象的脸部轮廓深度、将该目标对象的脸部划分成若干不同脸部子区域。
优选地,在该步骤(A102)中,基于该脸部区域划分处理的结果,确定该目标对象的脸部是否符合预设脸部状态条件具体包括,
步骤(A1021),确定该目标对象的脸部对应的该若干不同脸部子区域各自的轮廓深度分布信息;
步骤(A1022),若该若干不同脸部子区域各自的轮廓深度分布信息匹配于第一轮廓分布趋势,则确定该目标对象的脸部符合第一预设脸部状态条件,若该若干不同脸部子区域各自的轮廓深度分布信息匹配于第二轮廓分布趋势,则确定该目标对象的脸部符合第二预设脸部状态条件,其中,该第一轮廓分布趋势相比于该第二轮廓分布趋势具有较高的梯度分布值。
优选地,在该步骤(A103)中,该第一预设检测平台包括mtcnn检测平台或者ncnn检测平台,该第二预设检测平台包括opencv检测平台或者openmp检测平台。
优选地,在该步骤(1)中,提取关于该目标对象的脸部的特征信息具体包括,
步骤(B101),基于opencv检测平台结合ncnn检测平台的神经网络模式或者基于openmp检测平台的加速撷取模式,对该目标对象的脸部的检测结果进行人脸特征点的确定,其中,该人脸特征点至少包括眼睛、鼻子或者嘴角;
步骤(B102),构建关于该人脸特征点形成几何形状,并根据该几何形状,确定该目标对象的眼睛于该几何形状中的拟合位置信息,以此作为该关于目标对象的脸部的特征信息。
步骤(2),基于该特征信息,确定外部设备投射平行光束后,获取该平行光束进入该目标对象的眼睛折射所成的光斑图像。
优选地,在该步骤(2)中,基于该特征信息,确定外部设备投射平行光束后,获取该平行光束进入该目标对象的眼睛折射所成的光斑图像具体包括,
步骤(201),基于该特征信息,确定该外部设备投射该平行光束对应的投射模式;
步骤(202),指示该外部设备根据所确定的投射模式,向该目标对象的眼睛投射该平行光束;
步骤(203),基于该特征信息,对该目标对象的眼睛进行监控,并根据该监控的结果,获取一个或者多个该平行光束进入该目标对象的眼睛折射所成的光斑图像。
优选地,在该步骤(201)中,基于该特征信息,确定该外部设备投射该平行光束对应的投射模式具体包括,
基于该特征信息中关于该目标对象的眼眶区域面积和/或瞳孔区域面积,调整该平行光束对应的光束直径和/或光束强度,以此形成若干不同的平行光束投射模式。
优选地,在该步骤(202)中,指示该外部设备根据所确定的投射模式,向该目标对象的眼睛投射该平行光束具体包括,
步骤(2021),根据该投射模式,确定其投射平行光束对应的光束直径和/或光束强度,以此生成相应的平行光束;
步骤(2022),根据该特征信息中关于该目标对象的眼睛的拟合位置信息,调整该平行光束的投射方向,以使该平行光束能够以预设的重合面积投射至该目标对象的眼眶区域或者瞳孔区域。
优选地,在该步骤(203)中,基于该特征信息,对该目标对象的眼睛进行监控,并根据该监控的结果,获取一个或者多个该平行光束进入该目标对象的眼睛折射所成的光斑图像具体包括,
步骤(2031),基于该特征信息中关于该目标对象的眼睛的拟合位置信息的,确定对该目标对象的眼睛进行监控的监控空间区域;
步骤(2032),根据预设时间间隔,指示该手机对进入该监控空间区域的该目标对象的眼睛执行图像拍摄操作,以此获取一个或者多个关于该目标对象的眼睛图像;
步骤(2033),对该一个或者多个眼睛图像进行预设图像处理,对应地得到一个或者多个该平行光束进入该目标对象的眼睛折射所成的光斑图像。
优选地,在该步骤(2032)中,指示该手机对进入该监控空间区域的该目标对象的眼睛执行图像拍摄操作具体包括,
步骤(A20321),确定该手机与该监控空间区域之间的相对空间位置;
步骤(A20322),根据该相对空间位置,指示该手机的陀螺仪模块进行适应性的角度调整,以使该手机的摄像模块对准于该监控空间区域;
步骤(A20323),当该手机的摄像模块对准于该监控空间区域时,指示该摄像模块执行该图像拍摄操作。
优选地,在该步骤(2032)中,指示该手机对进入该监控空间区域的该目标对象的眼睛执行图像拍摄操作具体包括,
步骤(B20321),确定该监控空间区域当前对应的环境亮度值,并将该环境亮度值与预设环境亮度范围进行对比处理;
步骤(B20322),若该环境亮度值处于该预设环境亮度范围中,则指示该手机对进入该监控空间区域的该目标对象的眼睛执行图像拍摄操作,否则,指示该手机暂停执行该图像拍摄操作。
步骤(3),基于深度学习模式,对该光斑图像进行匹配处理,以此确定该目标对象的眼睛的屈光信息。
优选地,在该步骤(3)中,基于深度学习模式,对该光斑图像进行匹配处理,以此确定该目标对象的眼睛的屈光信息具体包括,
步骤(301),基于该深度学习模型,获取该光斑图像中对应的光斑形状和/或光斑光强分布;
步骤(302),基于该深度学习模型,确定该光斑图像对应光斑状态信息与不同眼睛屈光信息之间的关联性分布情况;
步骤(303),基于该关联性分布情况,将该光斑形状和/或该光斑光强分布与不同眼睛屈光信息进行对照匹配处理,以此确定该目标对象的眼睛的屈光信息。
从上述实施例可以看出,该基于手机与外部设备的屈光筛查方法通过手机对目标对象的脸部进行检测,以此提取关于该目标对象的脸部的特征信息,再基于该特征信息,确定外部设备投射平行光束后,获取该平行光束进入该目标对象的眼睛折射所成的光斑图像,最后基于深度学习模式,对该光斑图像进行匹配处理,以此确定该目标对象的眼睛的屈光信息。该基于手机与外部设备的屈光筛查方法借助手机拍摄平行光束进入眼睛后由于眼睛折射作用而产生的光斑图像,该光斑图像的光强分布和光斑形状都与眼睛自身的折射成像功能密切相关,这样通过对该光斑图像进行深度学习模式的分析处理,就能够快速地和准确地确定该眼睛自身的折射成像,从而最终确定关于眼睛的屈光信息等视力状态。由于该屈光筛查方法只是通过手机进行图像的拍摄与计算分析处理,这能够便于人们随时随地进行眼睛的视力检测操作,这相比于以往只能通过验光仪才能进行视力检测操作而言,该屈光筛查方法具有更高的便捷性,并且该屈光筛查方法还通过深度学习模式进行相关的分析计算处理,其能够有效地提高眼睛屈光值的计算快速性和计算结果的准确性,这都满足对视力检测快速、高效和准确的要求。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于手机与外部设备的屈光筛查方法,其特征在于,所述基于手机与外部设备的屈光筛查方法包括如下步骤:
步骤(1),通过手机对目标对象的脸部进行检测,以此提取关于所述目标对象的脸部的特征信息;
步骤(2),基于所述特征信息,确定外部设备投射平行光束后,获取所述平行光束进入所述目标对象的眼睛折射所成的光斑图像;
步骤(3),基于深度学习模式,对所述光斑图像进行匹配处理,以此确定所述目标对象的眼睛的屈光信息。
2.如权利要求1所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(1)中,通过手机对目标对象的脸部进行检测具体包括,
步骤(A101),通过手机获取关于所述目标对象的脸部图像,并对所述脸部图像进行脸部区域划分处理;
步骤(A102),基于所述脸部区域划分处理的结果,确定所述目标对象的脸部是否符合预设脸部状态条件;
步骤(A103),若所述目标对象的脸部符合第一预设脸部状态条件,则指示所述手机通过第一预设检测平台对所述目标对象的脸部进行检测,若所述目标对象的脸部符合第二预设脸部状态条件,则指示所述手机通过第二预设检测平台对所述目标对象的脸部进行检测。
3.如权利要求2所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(A101)中,通过手机获取关于所述目标对象的脸部图像,并对所述脸部图像进行脸部区域划分处理具体包括,
步骤(A1011),通过所述手机的第一摄像模块和第二摄像模块分别获取关于所述目标对象的第一脸部图像和第二脸部图像,其中,所述第一摄像模块和所述第二摄像模块分别位于所述手机的不同位置;
步骤(A1012),确定所述第一脸部图像和所述第二脸部图像的视差信息,并根据所述视差信息执行所述脸部区域划分处理,其中,所述脸部区域划分处理是根据所述目标对象的脸部轮廓深度、将所述目标对象的脸部划分成若干不同脸部子区域。
4.如权利要求2所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(A102)中,基于所述脸部区域划分处理的结果,确定所述目标对象的脸部是否符合预设脸部状态条件具体包括,
步骤(A1021),确定所述目标对象的脸部对应的所述若干不同脸部子区域各自的轮廓深度分布信息;
步骤(A1022),若所述若干不同脸部子区域各自的轮廓深度分布信息匹配于第一轮廓分布趋势,则确定所述目标对象的脸部符合第一预设脸部状态条件,若所述若干不同脸部子区域各自的轮廓深度分布信息匹配于第二轮廓分布趋势,则确定所述目标对象的脸部符合第二预设脸部状态条件,其中,所述第一轮廓分布趋势相比于所述第二轮廓分布趋势具有较高的梯度分布值;
或者,
在所述步骤(A103)中,所述第一预设检测平台包括mtcnn检测平台或者ncnn检测平台,所述第二预设检测平台包括opencv检测平台或者openmp检测平台。
5.如权利要求1所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(1)中,提取关于所述目标对象的脸部的特征信息具体包括,
步骤(B101),基于opencv检测平台结合ncnn检测平台的神经网络模式或者基于openmp检测平台的加速撷取模式,对所述目标对象的脸部的检测结果进行人脸特征点的确定,其中,所述人脸特征点至少包括眼睛、鼻子或者嘴角;
步骤(B102),构建关于所述人脸特征点形成几何形状,并根据所述几何形状,确定所述目标对象的眼睛于所述几何形状中的拟合位置信息,以此作为所述关于目标对象的脸部的特征信息。
6.如权利要求1所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(2)中,基于所述特征信息,确定外部设备投射平行光束后,获取所述平行光束进入所述目标对象的眼睛折射所成的光斑图像具体包括,
步骤(201),基于所述特征信息,确定所述外部设备投射所述平行光束对应的投射模式;
步骤(202),指示所述外部设备根据所确定的投射模式,向所述目标对象的眼睛投射所述平行光束;
步骤(203),基于所述特征信息,对所述目标对象的眼睛进行监控,并根据所述监控的结果,获取一个或者多个所述平行光束进入所述目标对象的眼睛折射所成的光斑图像。
7.如权利要求6所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(201)中,基于所述特征信息,确定所述外部设备投射所述平行光束对应的投射模式具体包括,
基于所述特征信息中关于所述目标对象的眼眶区域面积和/或瞳孔区域面积,调整所述平行光束对应的光束直径和/或光束强度,以此形成若干不同的平行光束投射模式;
或者,
在所述步骤(202)中,指示所述外部设备根据所确定的投射模式,向所述目标对象的眼睛投射所述平行光束具体包括,
步骤(2021),根据所述投射模式,确定其投射平行光束对应的光束直径和/或光束强度,以此生成相应的平行光束;
步骤(2022),根据所述特征信息中关于所述目标对象的眼睛的拟合位置信息,调整所述平行光束的投射方向,以使所述平行光束能够以预设的重合面积投射至所述目标对象的眼眶区域或者瞳孔区域。
8.如权利要求6所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(203)中,基于所述特征信息,对所述目标对象的眼睛进行监控,并根据所述监控的结果,获取一个或者多个所述平行光束进入所述目标对象的眼睛折射所成的光斑图像具体包括,
步骤(2031),基于所述特征信息中关于所述目标对象的眼睛的拟合位置信息的,确定对所述目标对象的眼睛进行监控的监控空间区域;
步骤(2032),根据预设时间间隔,指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作,以此获取一个或者多个关于所述目标对象的眼睛图像;
步骤(2033),对所述一个或者多个眼睛图像进行预设图像处理,对应地得到一个或者多个所述平行光束进入所述目标对象的眼睛折射所成的光斑图像。
9.如权利要求8所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(2032)中,指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作具体包括,
步骤(A20321),确定所述手机与所述监控空间区域之间的相对空间位置;
步骤(A20322),根据所述相对空间位置,指示所述手机的陀螺仪模块进行适应性的角度调整,以使所述手机的摄像模块对准于所述监控空间区域;
步骤(A20323),当所述手机的摄像模块对准于所述监控空间区域时,指示所述摄像模块执行所述图像拍摄操作;
或者,
在所述步骤(2032)中,指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作具体包括,
步骤(B20321),确定所述监控空间区域当前对应的环境亮度值,并将所述环境亮度值与预设环境亮度范围进行对比处理;
步骤(B20322),若所述环境亮度值处于所述预设环境亮度范围中,则指示所述手机对进入所述监控空间区域的所述目标对象的眼睛执行图像拍摄操作,否则,指示所述手机暂停执行所述图像拍摄操作。
10.如权利要求1所述的基于手机与外部设备的屈光筛查方法,其特征在于:
在所述步骤(3)中,基于深度学习模式,对所述光斑图像进行匹配处理,以此确定所述目标对象的眼睛的屈光信息具体包括,
步骤(301),基于所述深度学习模型,获取所述光斑图像中对应的光斑形状和/或光斑光强分布;
步骤(302),基于所述深度学习模型,确定所述光斑图像对应光斑状态信息与不同眼睛屈光信息之间的关联性分布情况;
步骤(303),基于所述关联性分布情况,将所述光斑形状和/或所述光斑光强分布与不同眼睛屈光信息进行对照匹配处理,以此确定所述目标对象的眼睛的屈光信息。
CN201910441379.2A 2019-05-24 2019-05-24 一种基于手机与外部设备的屈光筛查方法 Active CN110287796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910441379.2A CN110287796B (zh) 2019-05-24 2019-05-24 一种基于手机与外部设备的屈光筛查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910441379.2A CN110287796B (zh) 2019-05-24 2019-05-24 一种基于手机与外部设备的屈光筛查方法

Publications (2)

Publication Number Publication Date
CN110287796A true CN110287796A (zh) 2019-09-27
CN110287796B CN110287796B (zh) 2020-06-12

Family

ID=68002672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910441379.2A Active CN110287796B (zh) 2019-05-24 2019-05-24 一种基于手机与外部设备的屈光筛查方法

Country Status (1)

Country Link
CN (1) CN110287796B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备
CN104068827A (zh) * 2014-06-25 2014-10-01 深圳市斯尔顿科技有限公司 一种自助式眼睛综合检测方法及检测设备
CN104537372A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种具备区域感知特性的人脸图像蒙板自动生成方法
US20150313462A1 (en) * 2014-05-04 2015-11-05 Alexander Reis Method and System of using Photorefractive effects to examine eyes using a portable device
US20160128567A1 (en) * 2013-03-12 2016-05-12 Opternative, Inc. Computerized pupillary distance measurement system and method
CN106950716A (zh) * 2017-05-17 2017-07-14 珠海随变科技有限公司 一种通过手机拍照进行眼镜片度数测量的方法及系统
CN107184178A (zh) * 2017-06-26 2017-09-22 廖亮举 一种智能便携式手持视力筛查仪及验光方法
CN107890336A (zh) * 2017-12-05 2018-04-10 中南大学 基于智能手持设备的屈光度检测系统
CN108371538A (zh) * 2018-02-06 2018-08-07 腾阅健康科技(深圳)有限公司 一种人眼视觉监测系统及方法
CN108549886A (zh) * 2018-06-29 2018-09-18 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN108852280A (zh) * 2018-07-16 2018-11-23 南京泰立瑞信息科技有限公司 一种视力筛查的图像采集与分析方法、系统及设备
CN109189216A (zh) * 2018-08-16 2019-01-11 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和系统
CN109480764A (zh) * 2018-09-27 2019-03-19 深圳市莫廷影像技术有限公司 手持验光仪及验光方法
US20190125179A1 (en) * 2017-10-31 2019-05-02 EyeQue Inc. Smart Phone Based Virtual Visual Charts for Measuring Visual Acuity
CN109725721A (zh) * 2018-12-29 2019-05-07 上海易维视科技股份有限公司 用于裸眼3d显示系统的人眼定位方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备
US20160128567A1 (en) * 2013-03-12 2016-05-12 Opternative, Inc. Computerized pupillary distance measurement system and method
US20150313462A1 (en) * 2014-05-04 2015-11-05 Alexander Reis Method and System of using Photorefractive effects to examine eyes using a portable device
CN104068827A (zh) * 2014-06-25 2014-10-01 深圳市斯尔顿科技有限公司 一种自助式眼睛综合检测方法及检测设备
CN104537372A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种具备区域感知特性的人脸图像蒙板自动生成方法
CN106950716A (zh) * 2017-05-17 2017-07-14 珠海随变科技有限公司 一种通过手机拍照进行眼镜片度数测量的方法及系统
CN107184178A (zh) * 2017-06-26 2017-09-22 廖亮举 一种智能便携式手持视力筛查仪及验光方法
US20190125179A1 (en) * 2017-10-31 2019-05-02 EyeQue Inc. Smart Phone Based Virtual Visual Charts for Measuring Visual Acuity
CN107890336A (zh) * 2017-12-05 2018-04-10 中南大学 基于智能手持设备的屈光度检测系统
CN108371538A (zh) * 2018-02-06 2018-08-07 腾阅健康科技(深圳)有限公司 一种人眼视觉监测系统及方法
CN108549886A (zh) * 2018-06-29 2018-09-18 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN108852280A (zh) * 2018-07-16 2018-11-23 南京泰立瑞信息科技有限公司 一种视力筛查的图像采集与分析方法、系统及设备
CN109189216A (zh) * 2018-08-16 2019-01-11 北京七鑫易维信息技术有限公司 一种视线检测的方法、装置和系统
CN109480764A (zh) * 2018-09-27 2019-03-19 深圳市莫廷影像技术有限公司 手持验光仪及验光方法
CN109725721A (zh) * 2018-12-29 2019-05-07 上海易维视科技股份有限公司 用于裸眼3d显示系统的人眼定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DR ANDREW BASTAWROUS等: "Validation of Near Eye Tool for Refractive Assessment (NETRA) – Pilot Study", 《JOURNAL OF MOBILE TECHNOLOGY IN MEDICINE》 *

Also Published As

Publication number Publication date
CN110287796B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
US9149179B2 (en) System and method for identifying eye conditions
CN103431840B (zh) 眼睛光学参数检测系统及方法
CN102149325B (zh) 视线方向判定装置及视线方向判定方法
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
US10002293B2 (en) Image collection with increased accuracy
JP3273614B2 (ja) 眼科用測定検査装置
CN103604412B (zh) 定位方法及定位装置
JPH0782539B2 (ja) 瞳孔画像撮影装置
CN104068827A (zh) 一种自助式眼睛综合检测方法及检测设备
CN104661580A (zh) 斜视检测
CN109008937A (zh) 屈光度检测方法和设备
JP4766919B2 (ja) 眼科測定方法および眼科測定装置
CN203970352U (zh) 一种自助式眼睛综合检测设备
JP4895874B2 (ja) 目状態判別装置、目状態判別方法及び目状態判別プログラム
CN110287797A (zh) 一种基于手机的屈光筛选方法
CN105391998A (zh) 微光夜视仪分辨率自动检测方法和装置
CN112752003A (zh) 一种补光方法、装置、补光设备和监控设备
CN110287796A (zh) 一种基于手机与外部设备的屈光筛查方法
CN116453198A (zh) 一种基于头部姿态差异的视线校准方法和装置
CN208319187U (zh) 一种眼科用电脑视野计
JPH07229714A (ja) 車両用視線方向計測装置
KR102473744B1 (ko) 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법
JP4260715B2 (ja) 視線測定方法および視線測定装置
CN109674442A (zh) 一种含内置光源的自助视力筛查系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant