CN111612780B - 人眼视力识别方法、装置及计算机存储介质 - Google Patents

人眼视力识别方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN111612780B
CN111612780B CN202010462142.5A CN202010462142A CN111612780B CN 111612780 B CN111612780 B CN 111612780B CN 202010462142 A CN202010462142 A CN 202010462142A CN 111612780 B CN111612780 B CN 111612780B
Authority
CN
China
Prior art keywords
user
vision
eyes
information
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010462142.5A
Other languages
English (en)
Other versions
CN111612780A (zh
Inventor
刘绍辉
张旭
蔡聪辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202010462142.5A priority Critical patent/CN111612780B/zh
Publication of CN111612780A publication Critical patent/CN111612780A/zh
Application granted granted Critical
Publication of CN111612780B publication Critical patent/CN111612780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开是关于一种人眼视力识别方法、装置及计算机存储介质,涉及终端设备的深度学习技术。本公开提供的一种人眼视力识别方法,应用于终端设备中,包括:获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;将眼部图像输入至预设的深度学习模型,得到并显示眼部图像中用户双眼对应的视力信息,其中,深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息。本公开技术方案省去了专业验光人员进行人工验光的过程,节约了用户的时间及经济成本,且该功能可以快捷准确地识别出用户的视力信息,提高了用户体验。

Description

人眼视力识别方法、装置及计算机存储介质
技术领域
本公开涉及终端设备的深度学习技术,尤其涉及一种人眼视力识别方法、装置及计算机存储介质。
背景技术
目前,我国眼镜生产企业超过4000家,有一定规模的验光配镜店超过2万家,并已形成广东东莞、福建厦门、浙江温州、江苏丹阳、上海、北京等主要生产基地。眼镜的材质、品种、款式日益多元化,能够生产纯钛、钛合金、记忆金属等眼镜架、角膜接触镜、CR-39光学树脂镜片、镀膜镜片、渐进多焦点镜片、非球面镜片等高技术含量的新型眼镜产品,并出现江苏“万新”、浙江“海豚”等知名品牌。据保守估计,中国约有3亿人配戴眼镜(矫正屈光镜),按每3年更新一副眼镜来计算,每年的市场需求量就达1亿副眼镜,如果加上太阳镜,市场需求量就更为可观。除了实用功能,眼镜还被赋予装饰功能,眼镜消费的个性化、时尚化、品牌化、高档化的趋势日益显著,这进一步催生了中国眼镜市场的商机。
传统眼镜行业配镜大致流程包括:验光和测量眼睛参数。其中,验光部分包括测裸眼视力、测原眼镜度数和戴原眼镜的矫正视力、电脑验光、检影验光、综合验光仪验光等。电脑验光是通过验光设备对近视患者眼睛屈光状态做初步的估计。主要检测项目包括:眼位检查、裂隙灯、眼底镜检查,主视眼检查等。通过综合验光仪检查出的光度能使双眼更加协调、平衡、舒适。主要检查项目包括:红绿测试、交叉圆柱镜检查、双眼平衡。测量眼睛参数包括瞳距测量。由于每个人的瞳距是不一样的,就算同一个人左右眼的瞳距都不一定相等,只有镜片的光学中心与眼睛的瞳距相匹配,戴镜者才会视物清晰、持久、舒适。
发明内容
为克服相关技术中存在的问题,本公开提供一种人眼视力识别方法、装置及计算机存储介质。
根据本公开实施例的第一方面,提供一种人眼视力识别方法,应用于终端设备中,包括:
获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示所述视力信息,所述视力信息至少包括双眼的视力度数。
其中,上述人眼视力识别方法中,所述视力信息,还包括如下任一项或多项:
左/右眼散光度数、左/右眼散光度数方向、瞳距。
其中,上述人眼视力识别方法,还包括:
确定与所述视力信息匹配的一种或多种眼镜;
显示所述眼镜的图像信息和/或数据信息。
其中,上述人眼视力识别方法,还包括:
接收模拟戴镜的用户操作,根据所述用户操作获取用户试戴的眼镜的图像信息;
根据所述图像信息,合成用户佩戴所述眼镜的模拟图像;
显示所述模拟图像。
其中,上述人眼视力识别方法,还包括:
确定与所述视力信息匹配的一种或多种眼镜后,获取所述眼镜中每副眼镜的购买信息;
显示所述购买信息;
所述购买信息至少包括如下任一种信息:
购买价格、购买链接地址、用于购买眼镜的第三方应用。
根据本公开实施例的第二方面,提供一种人眼视力识别装置,包括:
第一获取模块,用于获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
识别模块,用于将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示模块,显示所述视力信息,所述视力信息至少包括双眼的视力度数。
其中,其中,上述人眼视力识别装置中,所述视力信息,还包括如下任一项或多项:
左/右眼散光度数、左/右眼散光度数方向、瞳距。
其中,其中,上述人眼视力识别装置,还包括:
确定模块,用于确定与所述视力信息匹配的一种或多种眼镜;
所述显示模块,用于显示所述眼镜的图像信息和/或数据信息。
其中,其中,上述人眼视力识别装置,还包括:
第二获取模块,用于接收模拟戴镜的用户操作,根据所述用户操作获取用户试戴的眼镜的图像信息;
合成模块,用于根据所述图像信息,合成用户佩戴所述眼镜的模拟图像;
所述显示模块,用于显示所述模拟图像。
其中,其中,上述人眼视力识别装置,还包括:
第三获取模块,用于确定与所述视力信息匹配的一种或多种眼镜后,获取所述眼镜中每副眼镜的购买信息;
所述显示模块,用于显示所述购买信息,所述购买信息至少包括如下任一种信息:
购买价格、购买链接地址、用于购买眼镜的第三方应用。
根据本公开实施例的第三方面,提供一种人眼视力识别装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示所述视力信息,所述视力信息至少包括双眼的视力度数。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行一种人眼视力识别方法,所述方法包括:
获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示所述视力信息,所述视力信息至少包括双眼的视力度数。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开的技术方案在终端设备上提供了基于眼部图像智能识别出用户视力的功能。与传统验光方式相比,本公开的技术方案省去了专业验光人员进行人工验光的过程,节约了用户的时间及经济成本,且该功能可以快捷准确地识别出用户的视力信息,提高了用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种人眼视力识别方法的流程图。
图2是根据一示例性实施例示出的一种人眼视力识别方法的流程图。
图3是根据一示例性实施例示出的一种人眼视力识别装置的框图。
图4是根据一示例性实施例示出的一种人眼视力识别装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
深度学习是近十年来人工智能领域取得的重要突破。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域的应用取得了巨大成功。尤其近年,深度学习在计算机视觉领域有了重大突破。随着深度学习技术的突破和广泛使用,越来越多的传统行业问题可以使用图像识别和深度学习的技术解决。因此,本公开申请人提出,可以利用深度学习技术预设近视识别模型,从而为用户提供自动识别近视的方案。
基于上述思想,本文公开一种人眼视力识别方法、装置及计算机存储介质。
图1是根据一示例性实施例示出的一种人眼视力识别方法的流程图。该方法可应用于终端设备中,包括如下操作:
在步骤S101中,获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
在步骤S102中,将眼部图像输入至预设的深度学习模型,通过深度学习模型得到眼部图像中用户双眼对应的视力信息,其中,深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
在步骤S103中,显示视力信息,视力信息至少包括双眼的视力度数。
上述步骤S101中,获取待视力识别的用户的多张眼部图像的途径可以包括多种。例如,终端设备可以接收用户使用终端设备自带的摄像头实时拍摄的多张人脸图像或视频。此时,终端设备可以从实时拍摄的多张人脸图像中,提取出符合要求(即每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同)的多张图像做为待视力识别的用户的多张眼部图像。或者终端设备从用户实时拍摄的视频中截取多张人物图像,再从多张人物图像中,提取出多张符合要求的图像做为待视力识别的用户的多张眼部图像。又如,终端设备可以接收用户提交的存储在终端设备指定位置的多张图像或视频。从用户提交的多张图像或视频中,提取出符合要求的图像做为待视力识别的用户的多张眼部图像。
其中,每张眼部图像至少包含有用户双眼的图像区域指,每张眼部图像中可清晰且完整地显示出用户的左眼和右眼。不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同指,在多张眼部图像中,均以用户双眼为中心,拍摄方向(例如正面角度、斜侧角度、侧面角度、反侧角度或背面角度)和拍摄距离(相机与被拍摄的用户双眼的距离)中至少有一个参数不相同。
步骤S102中,涉及的深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息,是预设的。该深度学习模型的生成包括了数据收集和模型训练这两个阶段。在数据收集阶段,收集现有人群中每个人不同维度的眼部图像及每个人对应的视力信息。其中,每个人不同维度的眼部图像包括不同拍摄方向和/或拍摄距离的人物双眼,即包含每个人的眼部的所有特征的图像。视力信息可以包括多种视力相关参数。例如,左/右眼视力度数,左/右眼散光度数,左/右眼散光度数方向,看清物体的清晰度,瞳距等等。之后进入模型训练阶段,此阶段先通过上述收集的眼部图像及视力信息构建深度学习模型,并通过对构建的深度学习模型进行深度学习算法训练,得到通过不同拍摄方向和/或拍摄距离的眼部图像计算视力参数的深度学习模型。其中,不同的拍摄方向可展现被摄对象(即用户双眼)不同的侧面形象,而不同的拍摄距离中被摄对象(即用户双眼)在画面中占据的区域大小不相同,即可展现被摄对象在各种拍摄距离下的所有的细节。因此,基于不同拍摄方向和/或拍摄距离的眼部图像及对应的视力信息,所训练生成的深度学习模型,可基于待视力识别的用户的多张眼部图像准确快速地分析出该用户的视力信息。
从上述实施例可以看出,本公开技术方案利用终端设备上提供了基于眼部图像智能识别出用户视力的功能。与传统验光方式相比,本实施例省去了专业验光人员进行人工验光的过程,节约了用户的时间。且本实施例技术方案仅利用终端设备本身的硬件,结合深度学习算法即可实现智能识别出用户视力的功能,与传统验光中所使用的各种专用仪器相比,极大地节约的验光的经济成本。且其中采用的深度学习算法可以快捷准确地识别出用户的视力信息,提高了用户体验。
本实施例还提供一种人眼视力识别方法,其中,视力信息,还包括如下任一项或多项:
左/右眼散光度数、左/右眼散光度数方向、瞳距。
在传统的验光过程中,可知人眼的视力信息中除了最基本的视力度数以外,还可能有其他信息。因此,本实施例技术方案利用深度学习模型识别出用户的双眼视力度数以外,还可以基于用户的多张眼部图像识别;
其中,视力信息中除了包含用户双眼的视力度数以外,还可以包含用户双眼的散光参数。散光参数包括左/右眼的散光度数和左/右眼的散光方向。
另外,瞳距为用户两个瞳孔的距离,一般验光过程中可能省略,采用常用瞳距值即可。而在后续配镜过程中,瞳距会对所佩戴的眼镜的舒适度产生直接影响,因此,本实施例中所识别出的视力信息可以包括瞳距信息。
可见,本实施例在识别出用户双眼的视力度数以外,还可以识别出用户的左/右眼散光度数、左/右眼散光度数方向以及瞳距中的一项或多项信息。这样,所识别出的用户视力信息更加详细准确,为用户后续的配镜需求提供了良好的基础,加强了用户对视力识别功能的体验感。
本实施例还提供一种人眼视力识别方法,该方法还包括:
确定与视力信息匹配的一种或多种眼镜;
显示眼镜的图像信息和/或数据信息。
本实施例中,与视力信息匹配的一种或多种眼镜指,各项参数均与视力信息相匹配的眼镜。
例如,深度学习模型输出的视力信息中包含有视力度数时,眼镜的左/右眼镜片的近视度数需要与视力信息中用户双眼的视力度数相匹配。也就是说,按照配镜经验,眼镜的左、右眼镜片的近视度数分别略小于或等于视力信息中左、右眼的视力度数即可。
深度学习模型输出的视力信息中包含有左/右眼散光度数时,眼镜的左/右眼镜片的散光度数需要与视力信息中用户双眼的散光度数相匹配。也就是说,按照配镜经验,眼镜的左、右眼镜片的散光度数分别略小于或等于视力信息中左、右眼的散光度数即可。
深度学习模型输出的视力信息中包含有左/右眼散光方向时,眼镜的左/右眼镜片的散光方向需要与视力信息中用户双眼的散光方向相匹配。也就是说,按照配镜经验,眼镜的左、右眼镜片的散光方向分别与视力信息中左、右眼的散光方向一致即可。
深度学习模型输出的视力信息中包含有瞳距时,安装在眼镜架上的镜片光学中心距需要与视力信息中瞳距相匹配。也就是说,按照配镜经验,镜片安装至眼镜架上后,左、右眼镜片的光学中心的距离与视力信息中左、右眼之间的瞳距离的相同即可。
眼镜的图像信息指可展示出眼镜外观的一张或多张图像。例如,可以包括镜片的独立图片、镜架的独立图片,以及安装镜片后的镜架图片等。由于眼镜的图像信息可展示出各种眼镜的外观,因此,可帮助用户从视觉效果上选择符合自身要求的眼镜。
眼镜的数据信息包括眼镜各种参数。例如,可以包括左/右眼镜片的近视度数、左/右眼镜片的散光度数,左/右眼镜片的散光方向,安装在眼镜架上的镜片光学中心距,眼镜架的整体长度,单个眼镜片的宽度及高度、眼镜架的鼻撑宽度、眼镜架的镜腿长度等。
本实施例,为用户显示了与用户视力相匹配的一种或多种眼镜,即为用户提供了多种配镜选择,省去了用户外出配镜的流程,节约了用户的时间成本。且本实施例是在智能识别出用户视力的基础上,扩展了配镜功能,提高了用户体验。
本实施例还提供一种人眼视力识别方法,该方法还包括:
接收模拟戴镜的用户操作,根据用户操作获取用户试戴的眼镜的图像信息;
根据图像信息,合成用户佩戴眼镜的模拟图像;
显示模拟图像。
其中,用户可以通过对所显示的多种眼镜中任一副眼镜发起的点选操作,触发模拟戴镜的用户操作。此时,用户点选的眼镜,即为用户所要试戴的眼镜。
按照前文所描述的,为用户显示与视力信息匹配的一种或多种眼镜时,包括显示眼镜的图像信息,因此,确定用户所要试戴的眼镜,即可获取到用户试戴的眼镜的图像信息。
根据用户试戴的眼镜的图像信息,合成用户佩戴眼镜的模拟图像时,可以将用户试戴的眼镜的图像信息与已获取的用户的多张眼部图像中的一张图像进行合成。合成过程中,可以从眼镜的图像信息中扣取出眼镜架的整体,将扣取出眼镜架叠加至眼部图像中对应的位置,这样,通过合成的模拟图像即可展示出用户眼部佩戴该眼镜的效果。
可见,本实施例增加了模拟用户试戴眼镜的功能,从而帮助用户从视觉感受上选择符合用户喜好的眼镜,达到了与线下选择眼镜相同的效果。加强了用户对智能识别用户视力的功能的体验感。
本实施例还提供一种人眼视力识别方法,该方法还包括:
确定与视力信息匹配的一种或多种眼镜后,获取眼镜中每副眼镜的购买信息;
显示购买信息;
购买信息至少包括如下任一种信息:
购买价格、购买链接地址、用于购买眼镜的第三方应用。
其中,购买价格可以包括单独购买镜片或镜架的价格。或者包括购买整副眼镜(包括镜片和镜架)的价格。
购买链接地址包括单独购买镜片或镜架的链接地址。或者包括购买整副眼镜的链接地址。本文中的购买链接地址可以通过各种浏览器打开。
用于购买眼镜的第三方应用可以包括可购买眼镜的第三方平台、数据库、网站等。本文中的第三方应用可以通过接口实现切换。即用户通过点选用于购买眼镜的第三方应用,即可从终端设备的当前界面切换至该第三方应用的界面。
本实施例增加了用户购买眼镜的功能,为用户提供了购买眼镜的途径。这样,用户选择合适眼镜后,通过终端设备即可一键下单,通过后端仓库和工厂完成眼镜的生产,加工,个性化定制等,最后完成配送。加强了用户对智能识别用户视力的功能的体验感。
图2是根据一示例性实施例示出的一种人眼视力识别方法的流程图。该方法可应用于终端设备中,该方法实现人眼视力识别的过程如图2所示,包括如下操作:
步骤S201,构建用于人眼视力识别的深度学习模型。
该步骤中,构建深度学习模型的过程至少包括数据收集和模型训练阶段。
其中,收集的数据包括,现有人群中每个人不同维度的眼部图像及对应的视力信息。不同维度的眼部图像包括不同拍摄方向和/或拍摄距离的人物双眼。视力信息可以包括多种视力相关参数。例如,左/右眼视力度数,左/右眼散光度数,左/右眼散光度数方向,看清物体的清晰度,瞳距等等。
通过上述收集的眼部图像及视力信息构建深度学习模型,并通过对构建的深度学习模型进行深度学习算法训练,得到通过不同拍摄方向和/或拍摄距离的眼部图像计算视力参数的深度学习模型。
步骤S202,获取待识别的用户在不戴眼镜情况下,多张眼部图像,每张眼部图像中用户双眼的拍摄方向和/或拍摄角度不相同。
该步骤的操作,可以利用安装在终端设备上的视力识别的应用功能(可简称为视力识别APP)实现。视力识别APP获取待识别的用户的眼部图像的方式可以有多种。例如,开启视力识别APP时,该视力识别APP可以提示用户使用终端设备的摄像头,实时拍摄多张用户不佩戴眼镜时的眼部图像。其中,每次拍摄时,视力识别APP要求用户当前拍摄的图像中眼部的拍摄距离和/或角度,与上一次拍摄的图像中眼部的拍摄方向和/或拍摄距离不同。这样,可以保证获取的多张眼部图像中,每张眼部图像中人眼的拍摄方向和/或拍摄距离不相同。又如,视力识别APP可以提示用户提交多张用户不佩戴眼镜时的眼部图像,视力识别APP判断用户提交的多张眼部图像是否符合视力识别APP要求。其中,视力识别APP要求用户提交的每张眼部图像均需要包含人物双眼,且不同眼部图像中人物双眼的拍摄方向和/或拍摄距离不相同。
步骤S203,将获取的多张眼部图像均输入步骤S201构建的深度学习模型,得到深度学习模型输出的眼部图像中用户双眼对应的视力信息。
其中,步骤S201构建的深度学习模型,可用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息。因此,深度学习基于待视力识别的用户的多张眼部图像,可以计算出这多张眼部图像所表征的用户双眼的视力信息。
本实施例中,视力信息可以包括用户左/右眼的视力度数、左/右眼散光度数、左/右眼散光度数方向、瞳距等。
步骤S204,显示深度学习模型输出的视力信息。
步骤S205,显示与视力信息相匹配的多种眼镜的图片和参数。
本实施例中,眼镜的图片可以包括,镜片的独立图片、镜架的独立图片,以及安装镜片后的镜架图片等。眼镜的图片主要用于展示各种眼镜的外观,这样,可以为帮助用户从视觉效果上选择符合自身要求的眼镜。
眼镜的参数可以包括,左/右眼镜片的近视度数、左/右眼镜片的散光度数,左/右眼镜片的散光方向,安装在眼镜架上的镜片光学中心距等。
其中,与视力信息相匹配的眼镜指,各项参数均与视力信息相匹配的眼镜。
例如,左/右眼镜片的近视度数需要与视力信息中用户双眼的视力度数相匹配。也就是说,按照配镜经验,眼镜的左、右眼镜片的近视度数分别略小于或等于视力信息中左、右眼的视力度数即可。
左/右眼镜片的散光度数需要与视力信息中用户双眼的散光度数相匹配。也就是说,按照配镜经验,眼镜的左、右眼镜片的散光度数分别略小于或等于视力信息中左、右眼的散光度数即可。
左/右眼镜片的散光方向需要与视力信息中用户双眼的散光方向相匹配。也就是说,按照配镜经验,眼镜的左、右眼镜片的散光方向分别与视力信息中左、右眼的散光方向一致即可。
安装在眼镜架上的镜片光学中心距需要与视力信息中瞳距相匹配。也就是说,按照配镜经验,镜片安装至眼镜架上后,左、右眼镜片的光学中心的距离与视力信息中左、右眼之间的瞳距离的相同即可。
步骤S206,用户从多种眼镜中选择任一眼镜进行模拟试戴时,基于该眼镜的图片以及用户的眼部图像,合成用户佩戴该眼镜的模拟图像,显示合成后的模拟图像。
步骤S207,显示与视力信息相匹配的多种眼镜中每一副眼镜的购买信息,包括购买信息。
其中,购买信息中可以包括购买价格,购买地址的链接,可用于购买眼镜的第三方平台等。另外,还可以包括交付方式。例如,包括线上支付、到货支付、快递送货、自取等。
从上述描述可知,本实施例技术方案利用常用的终端设备,如手机、掌上电脑等,提供视力识别功能,该功能仅需要用户提供眼部图像即可完成验光、配镜操作。与传统配镜方式相比,省去了人工验光、人工配镜的繁琐流程。大大减少了用户的时间成本及经济成本,提高了用户体验。
图3根据一示例性实施例示出的一种人眼视力识别装置的框图。如图3所示,该装置至少包括第一获取模块31、识别模块32和显示模块33。
第一获取模块31,被配置为,获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
识别模块32,被配置为,将眼部图像输入至预设的深度学习模型,通过深度学习模型得到眼部图像中用户双眼对应的视力信息,其中,深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示模块33,被配置为,显示视力信息,视力信息至少包括双眼的视力度数。
本实施例还提供一种人眼视力识别装置,该装置中,视力信息,还包括如下任一项或多项:
左/右眼散光度数、左/右眼散光度数方向、瞳距。
本实施例还提供一种人眼视力识别装置,该装置还包括:
确定模块,被配置为,确定与视力信息匹配的一种或多种眼镜;
显示模块,被配置为,显示眼镜的图像信息和/或数据信息。
本实施例还提供一种人眼视力识别装置,该装置还包括:
第二获取模块,被配置为,接收模拟戴镜的用户操作,根据用户操作获取用户试戴的眼镜的图像信息;
合成模块,被配置为,根据图像信息,合成用户佩戴眼镜的模拟图像;
显示模块,被配置为,显示模拟图像。
本实施例还提供一种人眼视力识别装置,该装置还包括:
第三获取模块,被配置为,确定与视力信息匹配的一种或多种眼镜后,获取眼镜中每副眼镜的购买信息;
显示模块,被配置为,显示购买信息,购买信息至少包括如下任一种信息:
购买价格、购买链接地址、用于购买眼镜的第三方应用。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种人眼视力识别装置400的框图。例如,装置400可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图4,装置400可以包括以下一个或多个组件:处理组件402,存储器404,电源组件406,多媒体组件408,音频组件410,输入/输出(I/O)的接口412,传感器组件414,以及通信组件416。
处理组件402通常控制装置400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统,一个或多个电源,及其他与为装置400生成、管理和分配电源相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(MIC),当装置400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器,用于为装置400提供各个方面的状态评估。例如,传感器组件414可以检测到设备400的打开/关闭状态,组件的相对定位,例如所述组件为装置400的显示器和小键盘,传感器组件414还可以检测装置400或装置400一个组件的位置改变,用户与装置400接触的存在或不存在,装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件416还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由装置400的处理器420执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种人眼视力识别方法,包括:
获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
将眼部图像输入至预设的深度学习模型,通过深度学习模型得到眼部图像中用户双眼对应的视力信息,其中,深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示视力信息,视力信息至少包括双眼的视力度数。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种人眼视力识别方法,应用于终端设备中,其特征在于,包括:
获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示所述视力信息,所述视力信息至少包括双眼的视力度数。
2.根据权利要求1所述的方法,其特征在于,所述视力信息,还包括如下任一项或多项:
左/右眼散光度数、左/右眼散光度数方向、瞳距。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
确定与所述视力信息匹配的一种或多种眼镜;
显示所述眼镜的图像信息和/或数据信息。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
接收模拟戴镜的用户操作,根据所述用户操作获取用户试戴的眼镜的图像信息;
根据所述图像信息,合成用户佩戴所述眼镜的模拟图像;
显示所述模拟图像。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
确定与所述视力信息匹配的一种或多种眼镜后,获取所述眼镜中每副眼镜的购买信息;
显示所述购买信息;
所述购买信息至少包括如下任一种信息:
购买价格、购买链接地址、用于购买眼镜的第三方应用。
6.一种人眼视力识别装置,其特征在于,包括:
第一获取模块,用于获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
识别模块,用于将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示模块,显示所述视力信息,所述视力信息至少包括双眼的视力度数。
7.根据权利要求6所述的装置,其特征在于,所述视力信息,还包括如下任一项或多项:
左/右眼散光度数、左/右眼散光度数方向、瞳距。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
确定模块,用于确定与所述视力信息匹配的一种或多种眼镜;
所述显示模块,用于显示所述眼镜的图像信息和/或数据信息。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于接收模拟戴镜的用户操作,根据所述用户操作获取用户试戴的眼镜的图像信息;
合成模块,用于根据所述图像信息,合成用户佩戴所述眼镜的模拟图像;
所述显示模块,用于显示所述模拟图像。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于确定与所述视力信息匹配的一种或多种眼镜后,获取所述眼镜中每副眼镜的购买信息;
所述显示模块,用于显示所述购买信息,所述购买信息至少包括如下任一种信息:
购买价格、购买链接地址、用于购买眼镜的第三方应用。
11.一种人眼视力识别装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示所述视力信息,所述视力信息至少包括双眼的视力度数。
12.一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行一种人眼视力识别方法,所述方法包括:
获取待视力识别的用户的多张眼部图像,其中,每张眼部图像至少包含有用户双眼的图像区域,且不同的眼部图像中用户双眼的拍摄方向和/或拍摄距离不相同;
将所述眼部图像输入至预设的深度学习模型,通过所述深度学习模型得到所述眼部图像中用户双眼对应的视力信息,其中,所述深度学习模型用于识别不同拍摄方向和/或拍摄距离的人眼对应的视力信息;
显示所述视力信息,所述视力信息至少包括双眼的视力度数。
CN202010462142.5A 2020-05-27 2020-05-27 人眼视力识别方法、装置及计算机存储介质 Active CN111612780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010462142.5A CN111612780B (zh) 2020-05-27 2020-05-27 人眼视力识别方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010462142.5A CN111612780B (zh) 2020-05-27 2020-05-27 人眼视力识别方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111612780A CN111612780A (zh) 2020-09-01
CN111612780B true CN111612780B (zh) 2023-05-16

Family

ID=72205728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010462142.5A Active CN111612780B (zh) 2020-05-27 2020-05-27 人眼视力识别方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111612780B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721365A (zh) * 2021-07-22 2021-11-30 歌尔光学科技有限公司 可穿戴设备的屈光调整方法、可穿戴设备及介质
CN116091750A (zh) * 2022-12-05 2023-05-09 北京字跳网络技术有限公司 眼镜度数识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN110279391A (zh) * 2019-05-30 2019-09-27 廖亮举 便携红外相机视力检测算法
CN110575134A (zh) * 2019-07-25 2019-12-17 北京爱诺斯科技有限公司 一种基于偏心摄影的近视度数的计算方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN110279391A (zh) * 2019-05-30 2019-09-27 廖亮举 便携红外相机视力检测算法
CN110575134A (zh) * 2019-07-25 2019-12-17 北京爱诺斯科技有限公司 一种基于偏心摄影的近视度数的计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王娟 ; 刘嘉润 ; 李瑞瑞 ; .基于深度学习的红外相机视力检测算法.电子测量与仪器学报.2019,(11),全文. *

Also Published As

Publication number Publication date
CN111612780A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
JP3250184B2 (ja) 眼鏡装用シミュレーションシステム
US10108262B2 (en) User physical attribute based device and content management system
US10284817B2 (en) Device for and method of corneal imaging
Kinateder et al. Using an augmented reality device as a distance-based vision aid—promise and limitations
CN107174195B (zh) 基于vr技术的视力表投影方法及vr眼镜视力表投影仪
CN107533375B (zh) 场景图像分析模块
CN104090371B (zh) 一种3d眼镜及3d显示系统
US20220253137A1 (en) User physical attribute based device and content management system
CN111612780B (zh) 人眼视力识别方法、装置及计算机存储介质
CN105354792B (zh) 一种虚拟眼镜试戴方法及移动终端
CN109820524A (zh) 基于fpga的自闭症眼动特征采集与分类可穿戴系统
CN104167196B (zh) 一种背光亮度的调节方法、装置及电子设备
WO2018191784A1 (en) Eyeglasses ordering system and digital interface therefor
WO2020232855A1 (zh) 基于微表情调节屏幕显示的方法及装置
CN112084398A (zh) 配饰推荐方法、配饰的虚拟试戴方法、装置及电子设备
CN111344222A (zh) 执行眼睛检查测试的方法
CN112702533B (zh) 视线修正方法及视线修正装置
CN111445413A (zh) 图像处理方法、装置、电子设备及存储介质
KR20170031722A (ko) 웨어러블 디바이스를 이용한 정보처리 방법
CN113491502A (zh) 一种眼球追踪校准检验方法、装置、设备及存储介质
KR20190048144A (ko) 발표 및 면접 훈련을 위한 증강현실 시스템
CN105266756A (zh) 瞳距测量方法、装置及终端
KR20210000044A (ko) 증강현실 기반 가상 피팅 시스템 및 방법
KR102174053B1 (ko) 스마트 거울을 이용한 안경 피팅 시스템의 운영방법
CN111373409B (zh) 获取颜值变化的方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant