CN103500331A - 提醒方法及装置 - Google Patents

提醒方法及装置 Download PDF

Info

Publication number
CN103500331A
CN103500331A CN201310390569.9A CN201310390569A CN103500331A CN 103500331 A CN103500331 A CN 103500331A CN 201310390569 A CN201310390569 A CN 201310390569A CN 103500331 A CN103500331 A CN 103500331A
Authority
CN
China
Prior art keywords
user
eyes
image
reminded
monitoring parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310390569.9A
Other languages
English (en)
Other versions
CN103500331B (zh
Inventor
杜琳
张宏江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201310390569.9A priority Critical patent/CN103500331B/zh
Priority to US14/783,495 priority patent/US10395510B2/en
Priority to PCT/CN2013/088549 priority patent/WO2015027598A1/zh
Publication of CN103500331A publication Critical patent/CN103500331A/zh
Application granted granted Critical
Publication of CN103500331B publication Critical patent/CN103500331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种提醒方法及装置,涉及智能提醒技术领域。所述方法包括步骤:检测用户视线对焦点位置;根据所述对焦点位置以及用户状态对用户进行提醒。本发明实施例的方法及装置能够精确地检测用户视线对焦点位置,根据该对焦点位置对用户进行准确提醒,其适用范围更广。此外,根据用户状态、用户资料等选择监控参数并设置提醒阈值,能够更有针对性地对用户进行合适的提醒。

Description

提醒方法及装置
技术领域
本发明涉及智能提醒技术领域,尤其涉及一种提醒方法及装置。
背景技术
据研究,除了年龄以及遗传方面的原因外,不健康甚至不正确的用眼方式是人们视力衰退的主要原因。例如,长时间、近距离用眼等等。除了视力衰退外,在某些场景下,不正确的用眼方式可能会造成及严重的后果。例如,在驾驶状态时,若驾驶员长时间注意力不集中注视方向不正确,可能会造成交通事故,对人身安全造成极大的威胁。
为了保护视力、督促正确用眼,存在使用红外测距方式来测量眼睛与用户前方物体之间的距离,进而在距离不当时进行提醒的方法。此方法在一定的应用场合下可以对用户进行很好的提示作用,例如,在阅读、写字等场景。但是,由于该方法所测量的是人眼与前方对象之间的距离,而该对象并非是用户所真正注视的地方,因此,该方法的适用范围有限,在特定的场景下可能会发出错误的提醒。
发明内容
本发明要解决的技术问题是:提供一种提醒方法和装置,能够更准确的进行提醒且适用范围广。
为实现上述目的,第一方面,本发明实施例提供了一种提醒方法,所述方法包括步骤:
检测用户视线对焦点位置;
根据所述对焦点位置以及用户状态对用户进行提醒。
结合第一方面,在第一种可能的实施方式中,所述检测用户视线对焦点位置进一步包括:
采集用户眼睛眼底呈现的图像;
进行用户眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像;
根据采集到所述最清晰图像时眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数,计算得到所述对焦点位置。
结合第一方面的第一种可能的实施方式,在第二种可能的实施方式中,所述眼睛的光学参数包括眼睛的光轴方向。
结合第一方面的第一种可能的实施方式,在第三种可能的实施方式中,所述进行用户眼睛与采集位置之间光路的成像参数的调节包括:
对眼睛与采集位置之间的光路上光学器件的焦距和/或在光路中的位置进行调节。
结合第一方面的第一种可能的实施方式,在第四种可能的实施方式中,所述进行用户眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像包括:
分别对应眼睛光轴方向不同时瞳孔的位置,将眼底呈现的图像传递到采集位置。
结合第一方面的第一种可能的实施方式,在第五种可能的实施方式中,所述方法还包括:
向眼底投射光斑图案。
结合第一方面或第一方面的上述任一种可能的实施方式,在第六种可能的实施方式中,所述方法还包括步骤:
检测用户状态。
结合第一方面的第六种可能的实施方式,在第七种可能的实施方式中,在所述根据所述对焦点位置以及用户状态对用户进行提醒的步骤中:
根据所述对焦点位置获取监控参数;
根据所述监控参数对用户进行提醒。
结合第一方面的第七种可能的实施方式,在第八种可能的实施方式中,在所述根据所述监控参数对用户进行提醒的步骤中:
在所述监控参数超出预设范围时,对用户进行提醒。
结合第一方面的第七种可能的实施方式,在第九种可能的实施方式中,在所述根据所述监控参数对用户进行提醒的步骤中:
在所述监控参数超出预设范围的时间超过预设时间时,对用户进行提醒。
结合第一方面的第七至第九种可能的实施方式中的任一种,在第十种可能的实施方式中,所述监控参数包括以下一种或多种:所述对焦点位置到眼睛的距离、用户当前视线与特定方向之间的角度、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度、以及所述对焦点位置的变化频率。
结合第一方面的第七至第九种可能的实施方式中的任一种,在第十一种可能的实施方式中,所述监控参数包括用户当前视线与特定方向之间的角度,所述特定方向为用户的移动方向。
结合第一方面的第八或第九种可能的实施方式,在第十二种可能的实施方式中,所述方法还包括步骤:
根据所述用户状态设置所述预设范围。
结合第一方面的第九种可能的实施方式,在第十三种可能的实施方式中,所述方法还包括步骤:
根据所述用户状态设置所述预设时间。
结合第一方面的第八或第九种可能的实施方式,在第十四种可能的实施方式中,所述方法还包括步骤:
获取用户资料;
根据所述用户资料设置所述预设范围。
结合第一方面的第九种可能的实施方式,在第十五种可能的实施方式中,所述方法还包括步骤:
获取用户资料;
根据所述用户资料设置所述预设时间。
结合第一方面的第六至第十五种可能的实施方式中的任一种,在第十六种可能的实施方式中,所述用户状态包括用户运动状态。
结合第一方面的第十四或第十五种可能的实施方式,在第十七种可能的实施方式中,所述用户资料包括:用户的视力情况、年龄、性别以及职业中的一种或多种。
第二方面,本发明实施例提供了一种提醒装置,所述装置包括:
检测模块,用于检测用户视线对焦点位置;
提醒模块,用于根据所述对焦点位置以及用户状态对用户进行提醒。
结合第二方面,在第一种可能的实施方式中,所述检测模块进一步包括:
图像采集设备,用于采集用户眼睛眼底呈现的图像;
可调成像设备,用于进行用户眼睛与所述图像采集设备之间光路的成像参数的调节直至所述图像采集设备采集到最清晰的图像;
图像处理设备,用于根据采集到所述最清晰图像时眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数,计算得到所述对焦点位置。
结合第二方面的第一种可能的实施方式,在第二种可能的实施方式中,所述可调成像设备包括:
可调透镜单元,位于用户眼睛与所述图像采集设备之间的光路上,自身焦距可调和/或在光路中的位置可调。
结合第二方面的第一种可能的实施方式,在第三种可能的实施方式中,所述可调成像设备包括:
曲面分光单元,用于分别对应眼睛光轴方向不同时瞳孔的位置,将眼底呈现的图像传递到采集位置。
结合第二方面的第一种可能的实施方式,在第四种可能的实施方式中,所述检测模块还包括:
投射设备,用于向用户眼底投射光斑图案。
结合第二方面或第二方面的上述任一种可能的实施方式,在第五种可能的实施方式中,,所述检测模块还用于检测用户状态。
结合第二方面的第五种可能的实施方式,在第六种可能的实施方式中,所述提醒模块进一步包括:
监控参数获取单元,用于根据所述对焦点位置获取监控参数;
提醒单元,用于根据所述监控参数对用户进行提醒。
结合第二方面的第六种可能的实施方式,在第七种可能的实施方式中,所述提醒单元在所述监控参数超出预设范围时,对用户进行提醒。
结合第二方面的第六种可能的实施方式,在第八种可能的实施方式中,所述提醒单元在所述监控参数超出预设范围的时间超过预设时间时,对用户进行提醒。
结合第二方面的第七或第八种可能的实施方式,在第九种可能的实施方式中,所述装置还包括:
设置模块,用于根据所述用户状态设置所述预设范围。
结合第二方面的第八种可能的实施方式,在第十种可能的实施方式中,所述装置还包括:
设置模块,用于根据所述用户状态设置所述预设时间。
结合第二方面的第七或第八种可能的实施方式,在第十一种可能的实施方式中,所述装置还包括:
资料获取模块,用于获取用户资料;
设置模块,用于根据所述用户资料设置所述预设范围。
结合第二方面的第八种可能的实施方式,在第十二种可能的实施方式中,所述装置还包括:
资料获取模块,用于获取用户资料;
设置模块,用于根据所述用户资料设置所述预设时间。
结合第二方面,在第十三种可能的实施方式中,所述装置为眼镜。
本发明实施例的方法及装置能够精确地检测用户视线对焦点位置,根据该对焦点位置对用户进行准确提醒,其适用范围更广。此外,根据用户状态、用户资料等选择监控参数并设置提醒阈值,能够更有针对性地对用户进行合适的提醒。
附图说明
图1为本发明实施例的提醒方法的流程图;
图2(a)为一个光斑图案的示例图;
图2(b)为依照本发明实施例的方法在有图2(a)所示的光斑图案投射时采集到的用户眼底的图像;
图3为本发明实施例的提醒装置的结构示意图;
图4(a)为本发明实施例的提醒装置的眼睛对焦点检测系统的一种结构框图;
图4(b)为本发明实施例的提醒装置的眼睛对焦点检测系统的另一种结构框图;
图4(c)为本发明实施例的提醒装置的眼睛对焦点检测系统眼睛成像的光路示意图;
图4(d)为本发明实施例的提醒装置的眼睛对焦点检测系统根据系统已知成像参数和眼睛的光学参数得到眼睛对焦点到眼睛的距离的示意图;
图5为本发明实施例的提醒装置的眼睛对焦点数检测系统应用在眼镜上的示意图;
图6为本发明实施例的提醒装置的眼睛对焦点检测系统应用在眼镜上的示意图;
图7为本发明实施例的提醒装置的另一种结构示意图;
图8为本发明实施例的装置在驾驶状态时的使用示意图;
图9为本发明实施例的装置在阅读状态时的使用示意图;
图10为本发明实施例的提醒装置的再一种结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明,但不用来限制本发明的范围。
人眼在观看目标对象时,将对象清晰地在视网膜上成像的过程可称为眼睛的对焦,相应地,在视网膜上成像最清晰的点即为人眼在观看该目标对象时视线的对焦点。
如图1所示,本发明实施例提供了一种提醒方法,该方法包括步骤:
S110.检测用户视线对焦点位置;
S120.根据所述对焦点位置以及用户状态对用户进行提醒。
本发明实施例的方法通过对用户视线对焦点位置的检测,能够基于人眼注视的对象来更准确进行提醒,适用范围更广。
在本发明实施例的方法中,对于用户视线对焦点位置的检测方式可以为多种,例如:
a)采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器(如红外测距)得到眼睛注视场景的深度,得到眼睛视线的对焦点位置。
b)分别检测两眼的光轴方向,再得到两眼光轴方向的交点,进而得到眼睛视线的对焦点位置。
c)根据采集到眼睛的成像面呈现的最清晰图像时图像采集位置与眼睛之间光路的光学参数,得到所述眼睛视线对焦点位置。具言之,步骤S110可进一步包括:
S111.采集用户眼睛眼底呈现的图像;
S112.进行用户眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像;
S113.对所述采集到的图像进行处理,根据采集到所述最清晰图像时用户眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数,计算得到所述对焦点位置,所述眼睛的光学参数包括眼睛的光轴方向。
上述方法通过对眼睛眼底的图像进行分析处理,得到采集到最清晰图像时眼睛的光学参数,从而计算得到眼睛当前的对焦点位置,为进一步基于该精确的对焦点的位置对用户进行提醒提供基础。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像,其可以为眼底自身的图像,或者可以为投射到眼底的其它物体的图像。
在步骤S112中,可通过对眼睛与采集位置之间的光路上的光学器件的焦距和/或在光路中的位置进行调节,可在该光学器件在某一个位置或状态时获得眼底最清晰的图像。该调解可为连续实时的。
在本发明实施例的方法的一种可能的实施方式中,该光学器件可为焦距可调透镜,用于通过调整该光学器件自身的折射率和/或形状完成其焦距的调整。具体为:1)通过调节焦距可调透镜的至少一面的曲率来调节焦距,例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率;2)通过改变焦距可调透镜的折射率来调节焦距,例如焦距可调透镜中填充有特定液晶介质,通过调节液晶介质对应电极的电压来调整液晶介质的排列方式,从而改变焦距可调透镜的折射率。
在本发明实施例的方法的另一种可能的实施方式中,该光学器件可为:透镜组,用于通过调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。
除了上述两种通过光学器件自身的特性来改变系统的光路参数以外,还可以通过调节光学器件在光路上的位置来改变系统的光路参数。
此外,在本发明实施例的方法中,步骤S113进一步包括:
S1131.对在步骤S111中采集到的图像进行分析,找到最清晰的图像;
S1132.根据所述最清晰的图像、以及得到所述最清晰图像时已知的成像参数计算眼睛的光学参数。
在步骤S112中的调整使得能够采集到最清晰的图像,但是需要通过步骤S113来找到该最清晰的图像,根据所述最清晰的图像以及已知的光路参数就可以通过计算得到眼睛的光学参数。
在本发明实施例的方法中,步骤S113中还可包括:
S1133.向眼底投射光斑。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可包括特征丰富的图案。图案的特征丰富可以便于检测,提高检测精度。如图2(a)所示为一个光斑图案200的示例图,该图案可以由光斑图案生成器形成,例如毛玻璃;图2(b)所示为在有光斑图案200投射时采集到的眼底的图像。
为了不影响眼睛的正常观看,优选的,所述光斑为眼睛不可见的红外光斑。此时,为了减小其它光谱的干扰:可进行滤除投射的光斑中除了眼睛不可见光透射滤镜之外的光的步骤。
相应地,本发明实施的方法还可包括步骤:
S1134.根据步骤S1131分析得到的结果,控制投射光斑亮度。该分析结果例如步骤S111采集到的图像的特性,包括图像特征的反差以及纹理特征等。
需要说明的是,控制投射光斑亮度的一种特殊的情况为开始或停止投射,例如用户持续注视一点时可以周期性停止投射;用户眼底足够明亮时可以停止投射,利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
此外,还可以根据环境光来控制投射光斑亮度。
优选地,在本发明实施例的方法中,步骤S113还包括:
S1135.进行眼底图像的校准,获得至少一个与眼底呈现的图像对应的基准图像。具言之,将采集到的图像与所述基准图像进行对比计算,获得所述最清晰的图像。这里,所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式的方法中,通过现有的图像处理算法计算当前获得的图像与基准图像的差异,例如使用经典的相位差值自动对焦算法。
在步骤S1132中所得到的眼睛的光学参数可包括根据采集到所述最清晰图像时眼睛的特征得到的眼睛光轴方向。这里眼睛的特征可以是从所述最清晰图像上获取的,或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。具言之,可根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时,光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域,其中:
当光斑图案的面积小于等于眼底可视区域时,可以利用经典特征点匹配算法(例如尺度不变特征转换(Scale Invariant FeatureTransform,SIFT)算法)通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
当光斑图案的面积大于等于眼底可视区域时,可以通过得到的图像上的光斑图案相对于原光斑图案(通过图像校准模块获得)的位置来确定眼睛光轴方向确定用户视线方向。
在本发明实施例的方法的另一种可能的实施方式中,还可根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的,也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术,此处不再赘述。
此外,在本发明实施例的方法中,还可包括对眼睛光轴方向的校准步骤,以便更精确的进行上述眼睛光轴方向的确定。
在本实施方式的方法中,所述已知的成像参数包括固定的成像参数和实时成像参数,其中实时成像参数为获取最清晰图像时所述光学器件的参数信息,该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后,就可以计算得到眼睛对焦点到眼睛的距离(具体过程将结合装置部分详述)。
在本发明实施例的方法中,在步骤S110中检测到用户对焦点位置后,步骤S120进一步包括:
S121.根据所述对焦点位置获取监控参数。
根据用户的不同状态,所述监控参数可包括以下一种或多种:所述对焦点位置到眼睛的距离、用户当前视线与特定方向之间的角度、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度、以及所述对焦点位置的变化频率。
S122.根据所述监控参数对用户进行提醒,提醒方式可例如:发出声音、振动、或通过发光源的颜色改变、发光源闪烁等。
具言之,可在所述监控参数超出预设范围时,即刻对用户进行提醒。例如,所述对焦点位置到眼睛的距离超出预设的距离范围、用户当前视线与特定方向(例如,用户的移动方向)之间的角度超出预设范围、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度超出预设范围、以及所述对焦点位置的变化频率超出预设范围等。
还可在所述监控参数超出预设范围的时间超过预设时间时,对用户进行提醒。也即,当上述一种或多种超出预设范围的情况出现时,不即刻提醒,而是在一定的合理的时间范围后提醒,以进一步提高提醒的准确度。
在本发明实施例的方法中,可根据用户状态选择一个或多个监控参数,并设置该预设范围和预设时间。具言之,根据用户状态能够判断用户用眼场景,进而设置合适的预设范围和预设时间。例如,通过用户状态分析用户处于阅读状态,则可选取所述对焦点位置到眼睛的距离超出预设的距离范围(以监控用户是否距离目标阅读物过近)、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度超出预设范围(以监控用户姿势是否过于倾斜)、以及所述对焦点位置的变化频率超出预设范围(以监控用户是否处于过于颠簸不适合阅读的情况)等。
该用户状态可包括用户的运动状态、健康状态、以及先前的用眼历史(例如,表示已经处于阅读状态或驾驶状态的时间,根据该时间自适应调整后续提醒的预设范围和预设时间)等。
在监控参数的选择、预设范围和预设时间的设置的过程中,还可综合考虑用户资料,该用户资料可包括用户资料包括用户的视力情况、年龄、性别以及职业等与用眼相关的信息中的一种或多种。这些资料可以通过用户或其他人手动输入或通过自动获取。综合考虑用户资料可以更有针对性的对不同用户设置不同的预设范围和预设时间。相应地,本发明实施例的方法还包括步骤:
获取用户资料;
根据所述用户资料设置所述预设范围和/或所述预设时间。
综上所述,本发明实施例的方法能够精确地检测用户视线对焦点位置,根据该焦点位置对用户进行准确提醒,其适用范围更广。此外,根据用户状态、用户资料等选择监控参数并设置提醒阈值,能够更有针对性地对用户进行合适的提醒。
如图3所示,本发明实施例还提供了一种提醒装置300。该装置300包括:
检测模块310,用于检测用户视线对焦点位置;
提醒模块320,用于根据所述对焦点位置以及用户状态对用户进行提醒。
本发明实施例的装置通过对用户视线对焦点位置的检测,能够基于人眼注视的对象来更准确进行提醒,适用范围更广。
在本发明实施例的装置中,检测模块310对于用户视线对焦点位置的检测方式可以为多种,例如:
a)采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器(如红外测距)得到眼睛注视场景的深度,得到眼睛视线的对焦点位置。
b)分别检测两眼的光轴方向,再得到两眼光轴方向的交点,进而得到眼睛视线的对焦点位置,该技术也为已有技术,此处不再赘述。
c)根据采集到眼睛的成像面呈现的最清晰图像时图像采集设备与眼睛之间光路的光学参数,得到所述眼睛视线的对焦点位置。在本实施方式的装置中,所述检测模块310可以为图4(a)-图4(d)、图5、图6所示的对焦点检测系统中的一种。
如图4(a)所示,所述对焦点检测系统400包括:
图像采集设备410,用于采集眼睛眼底呈现的图像;
可调成像设备420,用于进行眼睛与所述图像采集设备410之间光路成像参数的调节以使得所述图像采集设备410得到最清晰的图像;
图像处理设备430,用于对所述图像采集设备410得到的图像进行处理,根据得到所述最清晰图像时所述图像采集设备410与眼睛之间光路的成像参数以及眼睛的光学参数,计算得到眼睛的对焦点位置。
该系统400通过对眼睛眼底的图像进行分析处理,得到所述图像采集设备获得最清晰图像时眼睛的光学参数,就可以计算得到眼睛当前的对焦点位置,为进一步基于该精确的对焦点的位置对用户进行提醒提供基础。
如图4(b)所示,在一种可能的实施方式中,所述图像采集设备410为微型摄像头,在本发明实施例的另一种可能的实施方式中,所述图像采集设备410还可以直接使用感光成像器件,如CCD或CMOS等器件。
如图4(b)所示,在一种可能的实施方式中,所述可调成像设备420包括:可调透镜单元421,位于眼睛与所述图像采集设备410之间的光路上,自身焦距可调和/或在光路中的位置可调。通过该可调透镜单元421,使得从眼睛到所述图像采集设备410之间的系统等效焦距可调,通过可调透镜单元421的调节,使得所述图像采集设备410在可调透镜单元421的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中,所述可调透镜单元421在检测过程中连续实时的调节。
在一种可能的实施方式中,所述可调透镜单元421为:焦距可调透镜,用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为:1)通过调节焦距可调透镜的至少一面的曲率来调节焦距,例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率;2)通过改变焦距可调透镜的折射率来调节焦距,例如焦距可调透镜中填充有特定液晶介质,通过调节液晶介质对应电极的电压来调整液晶介质的排列方式,从而改变焦距可调透镜的折射率。
在另一种可能的实施方式中,所述可调透镜单元421包括:透镜组,用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。
除了上述两种通过调节可调透镜单元421自身的特性来改变系统的光路参数以外,还可以通过调节所述可调透镜单元421在光路上的位置来改变系统的光路参数。
此外,为了不影响用户对观察对象的观看体验,并且为了使得系统可以便携应用在穿戴式设备上,所述可调成像设备420还包括:分光装置422,用于形成眼睛和观察对象之间、以及眼睛和图像采集设备410之间的光传递路径。这样可以对光路进行折叠,减小系统的体积,同时尽可能不影响用户的其它体验。
所述分光装置422可包括:第一分光单元,位于眼睛和观察对象之间,用于透射观察对象到眼睛的光,传递眼睛到图像采集设备的光。所述第一分光单元可以为分光镜、分光光波导(包括光纤)或其它适合的分光设备。
此外,图像处理设备430可包括光路校准单元,用于对系统的光路进行校准,例如进行光路光轴的对齐校准等,以保证测量的精度。
图像分析单元431,用于对所述图像采集设备得到的图像进行分析,找到最清晰的图像;
参数计算单元432,用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。
在本实施方式中,通过可调成像设备420使得所述图像采集设备410可以得到最清晰的图像,但是需要通过所述图像分析单元431来找到该最清晰的图像,此时根据所述最清晰的图像以及系统已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。
在一种可能的实施方式中,所述系统400还包括:投射设备440,用于向眼底投射光斑。可以通过微型投影仪来视线该投射设备440的功能。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可包括特征丰富的图案。图案的特征丰富可以便于检测,提高检测精度。光斑图案以及有光斑时采集到的眼底的图像分别如图2(a)、图2(b)所示。
为了不影响眼睛的正常观看,优选的,所述光斑为眼睛不可见的红外光斑。此时,为了减小其它光谱的干扰:
所述投射设备440的出射面可以设置有眼睛不可见光透射滤镜。
所述图像采集设备410的入射面设置有眼睛不可见光透射滤镜。
优选地,在一种可能的实施方式中,所述图像处理设备430还包括:
投射控制单元434,用于根据图像分析模块431得到的结果,控制所述投射设备440的投射光斑亮度。
例如所述投射控制单元434可以根据图像采集设备410得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
需要说明的是,控制所述投射设备440的投射光斑亮度的一种特殊的情况为打开或关闭投射设备440,例如用户持续注视一点时可以周期性关闭所述投射设备440;用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
此外,所述投射控制单元434还可以根据环境光来控制投射装置的投射光斑亮度。
优选地,在一种可能的实施方式中,所述图像处理设备430还包括:图像校准单元433,用于进行眼底图像的校准,获得至少一个与眼底呈现的图像对应的基准图像。
所述图像分析单元431将图像采集设备430得到的图像与所述基准图像进行对比计算,获得所述最清晰的图像。这里,所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中,通过现有的图像处理算法计算当前获得的图像与基准图像的差异,例如使用经典的相位差值自动对焦算法。
优选地,在一种可能的实施方式中,所述参数计算单元432包括:
眼睛光轴方向确定子单元4321,用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。眼睛的特征可以是从所述最清晰图像上获取的,或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。
在一种可能的实施方式中,所述眼睛光轴方向确定子单元4321包括:第一确定部分,用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比,通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时,光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域,其中:
当光斑图案的面积小于等于眼底可视区域时,可以利用经典特征点匹配算法(例如尺度不变特征转换(Scale Invariant FeatureTransform,SIFT)算法)通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
当光斑图案的面积大于等于眼底可视区域时,可以通过得到的图像上的光斑图案相对于原光斑图案(通过图像校准模块获得)的位置来确定眼睛光轴方向确定用户视线方向。
在另一种可能的实施方式中,所述眼睛光轴方向确定部分4321包括:第二确定部分,用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的,也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术,此处不再赘述。
在一种可能的实施方式中,所述图像处理设备430还包括:眼睛光轴方向校准单元435,用于进行眼睛光轴方向的校准,以便更精确的进行上述眼睛光轴方向的确定。
在本实施方式中,所述系统已知的成像参数包括固定的成像参数和实时成像参数,其中实时成像参数为获取最清晰图像时所述可调透镜单元的参数信息,该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后,就可以计算得到眼睛对焦点到眼睛的距离,具体为:
图4(c)所示为眼睛成像示意图,结合经典光学理论中的透镜成像公式,由图4(c)可以得到公式(1):
1 d o + 1 d e = 1 f e - - - ( 1 )
其中do和de分别为眼睛当前观察对象4010和视网膜上的实像4020到眼睛等效透镜4030的距离,fe为眼睛等效透镜4030的等效焦距,X为眼睛的光轴方向(即视线的光轴)。
图4(d)所示为根据系统已知光学参数和眼睛的光学参数得到眼睛对焦点到眼睛的距离的示意图,4(d)中光斑4040通过可调透镜单元421会成一个虚像(未示出),假设该虚像距离可调透镜单元421距离为x,结合公式(1)可以得到如下方程组:
1 d p - 1 x = 1 f p 1 d i + x + 1 d e = 1 f e - - - ( 2 )
其中dp为光斑4040到可调透镜单元421的光学等效距离,di为可调透镜单元421到眼睛等效透镜4030的光学等效距离,fp为可调透镜单元421的焦距值,di为所述眼睛等效透镜4030到可调透镜单元421的距离。
由(1)和(2)可以得出当前观察对象4010(眼睛对焦点)到眼睛等效透镜4030的距离do如公式(3)所示:
d o = d i + d p · f p f p - d p - - - ( 3 )
根据上述计算得到的观察对象4010到眼睛的距离,又由于之前的记载可以得到眼睛光轴方向,则可以轻易得到眼睛的对焦点位置。
如图5所示为一种可能的实施方式的眼睛对焦点检测系统500应用在眼镜A(这里的眼镜A可以为本发明实施例的提醒装置)上的实施例,其包括图4(b)所示实施方式的记载的内容,具体为:由图5可以看出,在本实施方式中,在眼镜A右侧(不局限于此)集成了本实施方式的系统500,其包括:
微型摄像头510,其作用与图4(b)实施方式中记载的图像采集设备相同,为了不影响用户正常观看对象的视线,其被设置于眼睛B右外侧;
第一分光镜520,其作用与图4(b)实施方式中记载的第一分光单元相同,以一定倾角设置于眼睛B注视方向和摄像头510入射方向的交点处,透射观察对象进入眼睛B的光以及反射眼睛到摄像头510的光;
焦距可调透镜530,其作用与图4(b)实施方式中记载的焦距可调透镜相同,位于所述第一分光镜520和摄像头510之间,实时进行焦距值的调整,使得在某个焦距值时,所述摄像头510能够拍到眼底最清晰的图像。
在本实施方式中,所述图像处理单元在图5中未表示出,其功能与图4(b)所示的图像处理单元相同。
由于一般情况下,眼底的亮度不够,因此,最好对眼底进行照明,在本实施方式中,通过一个发光源540来对眼底进行照明。为了不影响用户的体验,这里优选的发光源540为眼睛不可见光,优选对眼睛B影响不大并且摄像头510又比较敏感的近红外光发光源。
在本实施方式中,所述发光源540位于右侧的眼镜架外侧,因此需要通过一个第二分光镜550与所述第一分光镜520一起完成所述发光源540发出的光到眼底的传递。本实施方式中,所述第二分光镜550又位于摄像头510的入射面之前,因此其还需要透射眼底到第二分光镜550的光。
可以看出,在本实施方式中,为了提高用户体验和提高摄像头510的采集清晰度,所述第一分光镜520优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜520朝向眼睛B的一侧设置红外反射膜实现上述特性。
由图5可以看出,由于在本实施方式中,所述眼睛对焦点检测系统500位于眼镜500的镜片远离眼睛B的一侧,因此进行眼睛光学参数进行计算时,可以将镜片也看成是眼镜的一部分,此时不需要知道镜片的光学特性。
在本发明实施例的其它实施方式中,所述眼睛对焦点检测系统500可能位于眼镜A的镜片靠近眼睛B的一侧,此时,需要预先得到镜片的光学特性参数,并在计算对焦点距离时,考虑镜片的影响因素。
发光源发出的光通过第二分光镜550的反射、焦距可调透镜530的投射、以及第一分光镜520的反射后再透过眼镜A的镜片进入用户眼睛,并最终到达眼底的视网膜上;摄像头510经过所述第一分光镜520、焦距可调透镜530以及第二分光镜550构成的光路透过眼睛B的瞳孔拍摄到眼底的图像。
如图6所示为另一种实施方式眼睛对焦点检测系统600的结构示意图。由图6可以看出,本实施方式与图5所示的实施方式相似,包括微型摄像头610、第二分光镜620、焦距可调透镜630,不同之处在于,在本实施方式中的投射装置640为投射光斑图案的投射装置640,并且通过一个曲面分光镜650作为曲面分光单元取代了图5实施方式中的第一分光镜。
这里采用了曲面分光镜650分别对应眼睛光轴方向不同时瞳孔的位置,将眼底呈现的图像传递到图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像,但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像,其它部分会失焦而无法清晰成像,因而不会对眼底部分的成像构成严重干扰,眼底部分的特征仍然可以检测出来。因此,与图5所示的实施方式相比,本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像,使得本实施方式的眼睛对焦点检测系统适用范围更广,检测精度更高。
如图7所示,本发明实施例的提醒装置300中,所述提醒模块320进一步包括:
监控参数获取单元321,用于根据所述对焦点位置获取监控参数。
根据用户的不同状态,所述监控参数可包括以下一种或多种:所述对焦点位置到眼睛的距离、用户当前视线与特定方向之间的角度、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度、以及所述对焦点位置的变化频率。
提醒单元322,用于根据所述监控参数对用户进行提醒,提醒方式可例如:发出声音、振动、或通过发光源的颜色改变、发光源闪烁等。
具言之,可在所述监控参数超出预设范围时,即刻对用户进行提醒。例如,所述对焦点位置到眼睛的距离超出预设的距离范围、用户当前视线与特定方向(例如,用户的移动方向)之间的角度超出预设范围、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度超出预设范围、以及所述对焦点位置的变化频率超出预设范围等。
还可在所述监控参数超出预设范围的时间超过预设时间时,对用户进行提醒。也即,当上述超出预设范围的情况出现时,不即刻提醒,而是在一定的合理的时间范围后提醒,以进一步提高提醒的准确度。
提醒单元322可包括对应上述功能的提醒设备以及计时设备在此不做赘述。
此外,本发明实施例的装置300还可包括设置模块330,用户设置该预设范围和预设时间。该设置模块330可根据用户状态选择一个或多个监控参数,并设置该预设范围和预设时间。具言之,根据用户状态能够判断用户用眼场景,进而设置合适的预设范围和预设时间。例如,通过用户状态分析用户处于阅读状态,则可选取所述对焦点位置到眼睛的距离超出预设的距离范围(以监控用户是否距离目标阅读物过近)、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度超出预设范围(以监控用户姿势是否过于倾斜)、以及所述对焦点位置的变化频率超出预设范围(以监控用户是否处于过于颠簸不适合阅读的情况)等。
该用户状态可包括用户的运动状态、健康状态、以及先前的用眼历史(例如,表示已经处于阅读状态的时间,根据该时间自适应调整之后提醒的预设范围和预设时间)等。用户状态可由检测模块310完成检测,根据所检测的用户状态的不同,检测模块310可进一步由不同的部分组成,例如,对于运动状态来说,检测模块310可进一步包括GPS定位设备以及头部传感器,以根据定位信息和/或头部传感信息检测所述用户运动状态。
在监控参数的选择、预设范围和预设时间的设置的过程中,设置模块330还可综合考虑用户资料,该用户资料可包括用户资料包括用户的视力情况、年龄、性别以及职业等与用眼相关的信息中的一种或多种。这些资料可以通过用户或其他人手动输入或通过自动获取。综合考虑用户资料可以更有针对性的对不同用户设置不同的预设范围和预设时间。相应地,本发明实施例的装置300还包括步骤:资料获取模块340,用于获取用户资料。
下面通过具体实例来进一步说明本发明实施例的方法及装置。
以图8所示的驾驶场景为例。驾驶员佩戴依照本发明实施例一种可能的实现方式的提醒装置(眼镜A),其上装配有图6所述的对焦点检测系统600,在本实例的提醒装置中,设置有计时设备,该计时设备可分别记录与用户状态相关的各种时间周期。
在此场景下,使用该提醒装置对用户进行提醒的过程如下:
检测用户状态。根据GPS定位信息,确定用户处于移动状态,设置适于安全驾驶的预设范围:1)与前方目标对象的安全距离阈值S1;2)用户视线与前进方向的夹角的安全范围R1以及第一时间阈值T1(例如,10s);以及3)重置1)和2)所设阈值和范围的第二时间阈值T2(例如,1小时)。根据对焦点位置检测确定对焦点C与用户眼睛之间的距离小于距离阈值S1时,为不影响驾驶,以震动的方式提醒用户。当用户与视线与前进方向的夹角超出安全范围R1且持续超过第二时间阈值T1时,同样提醒用户。
当用户驾驶时间累积超过1小时后,该提醒装置自动重置1)、2)所设的阈值和范围,为保证驾驶安全,可将S1、R1以及T2相应的减小和缩短。
需要说明的是,若根据GPS定位信息确定用户处于静止状态(例如,红灯等待)时,可停止提醒装置的提醒功能,并在重新启动后重启提醒功能。
以图9所示的阅读场景为例。用户佩戴依照本发明实施例一种可能的实现方式的提醒装置(眼镜A),其上装配有图5所述的对焦点检测系统500,在本实例的提醒装置中,设置有计时设备,该计时设备可分别记录与用户状态相关的各种时间周期。
在此场景下,使用该提醒装置对用户进行提醒的过程如下:
设置适于保护视力的预设范围:1)与前方目标对象的安全距离阈值S2;2)用户当前视线与观看对象上经过所述对焦点D的法线的之间的夹角β的范围R2以及第三时间阈值T3(例如,1分钟);3)所述对焦点位置的变化频率F1和第四时间阈值T4(例如,5分钟);以及4)重置上述阈值和范围的第五时间阈值T5(例如,1小时)。
根据对焦点位置检测确定对焦点D与用户眼睛之间的距离小于S2时,以语音的方式提醒用户。当夹角β超出范围R2且持续超过T3时,提醒用户。当对焦点位置的变化频率超过F1且持续时间超过T4时,此时用户可能处于快速移动状态,提醒用户停止阅读。
当用户阅读时间累积超过T5后,该提醒装置自动重置上述各阈值和范围,并作出适当的减小或缩短。
图10为本发明实施例提供的一种提醒装置1000的结构示意图,本发明具体实施例并不对提醒装置1000的具体实现做限定。如图9所示,该提醒装置1000可以包括:
处理器(processor)1100、通信接口(Communications Interface)1200、存储器(memory)1300、以及通信总线1400。其中:
处理器1100、通信接口1200、以及存储器1300通过通信总线1400完成相互间的通信。
通信接口1200,用于与比如客户端等的网元通信。
处理器1100,用于执行程序1320,具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地,程序1320可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1100可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1300,用于存放程序1320。存储器1300可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序1320具体可以包括:
图像分析模块,用于对所述图像采集装置得到的图像进行分析,找到最清晰的图像;
参数计算模块,用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。
程序1320中各单元的具体实现可以参见图2、图7所示实施例中的相应单元,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本发明的实施例还提供了一种可穿戴式光学设备,所述可穿戴式光学设备可以为图5或图6示出的框架眼镜、或者还可以为隐形眼睛,该可穿戴式光学设备包括上面各实施例记载的提醒装置。
在本发明实施例的其它可能的实施方式中,所述眼睛光学参数检测系统还可能应用于其它与眼睛相关的设备上,例如望远镜等非穿戴式光学设备;或者,本发明的光学参数检测系统还可以应用于除了眼睛之外的其他成像接收装置,如相机等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (32)

1.一种提醒方法,其特征在于,所述方法包括步骤:
检测用户视线对焦点位置;
根据所述对焦点位置以及用户状态对用户进行提醒。
2.根据权利要求1所述的方法,其特征在于,所述检测用户视线对焦点位置进一步包括:
采集用户眼睛眼底呈现的图像;
进行用户眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像;
根据采集到所述最清晰图像时眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数,计算得到所述对焦点位置。
3.根据权利要求2所述的方法,其特征在于,所述眼睛的光学参数包括眼睛的光轴方向。
4.根据权利要求2所述的方法,其特征在于,所述进行用户眼睛与采集位置之间光路的成像参数的调节包括:
对眼睛与采集位置之间的光路上光学器件的焦距和/或在光路中的位置进行调节。
5.根据权利要求2所述的方法,其特征在于,所述进行用户眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像包括:
分别对应眼睛光轴方向不同时瞳孔的位置,将眼底呈现的图像传递到采集位置。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
向眼底投射光斑图案。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括步骤:
检测用户状态。
8.根据权利要求7所述的方法,其特征在于,在所述根据所述对焦点位置以及用户状态对用户进行提醒的步骤中:
根据所述对焦点位置获取监控参数;
根据所述监控参数对用户进行提醒。
9.根据权利要求8所述的方法,其特征在于,在所述根据所述监控参数对用户进行提醒的步骤中:
在所述监控参数超出预设范围时,对用户进行提醒。
10.根据权利要求8所述的方法,其特征在于,在所述根据所述监控参数对用户进行提醒的步骤中:
在所述监控参数超出预设范围的时间超过预设时间时,对用户进行提醒。
11.根据权利要求8至10中任一项所述的方法,其特征在于,所述监控参数包括以下一种或多种:所述对焦点位置到眼睛的距离、用户当前视线与特定方向之间的角度、用户当前视线与观看对象上经过所述对焦点的法线的之间的角度、以及所述对焦点位置的变化频率。
12.权利要求8至10中任一项所述的方法,其特征在于,所述监控参数包括用户当前视线与特定方向之间的角度,所述特定方向为用户的移动方向。
13.根据权利要求9或10所述的方法,其特征在于,所述方法还包括步骤:
根据所述用户状态设置所述预设范围。
14.根据权利要求10所述的方法,其特征在于,所述方法还包括步骤:
根据所述用户状态设置所述预设时间。
15.根据权利要求9或10所述的方法,其特征在于,所述方法还包括步骤:
获取用户资料;
根据所述用户资料设置所述预设范围。
16.根据权利要求10所述的方法,其特征在于,所述方法还包括步骤:
获取用户资料;
根据所述用户资料设置所述预设时间。
17.根据权利要求7至16中任一项所述的方法,其特征在于,所述用户状态包括用户运动状态。
18.根据权利要求15或16所述的方法,其特征在于,所述用户资料包括:用户的视力情况、年龄、性别以及职业中的一种或多种。
19.一种提醒装置,其特征在于,所述装置包括:
检测模块,用于检测用户视线对焦点位置;
提醒模块,用于根据所述对焦点位置以及用户状态对用户进行提醒。
20.根据权利要求19所述的装置,其特征在于,所述检测模块进一步包括:
图像采集设备,用于采集用户眼睛眼底呈现的图像;
可调成像设备,用于进行用户眼睛与所述图像采集设备之间光路的成像参数的调节直至所述图像采集设备采集到最清晰的图像;
图像处理设备,用于根据采集到所述最清晰图像时眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数,计算得到所述对焦点位置。
21.根据权利要求20所述的装置,其特征在于,所述可调成像设备包括:
可调透镜单元,位于用户眼睛与所述图像采集设备之间的光路上,自身焦距可调和/或在光路中的位置可调。
22.根据权利要求20所述的装置,其特征在于,所述可调成像设备包括:
曲面分光单元,用于分别对应眼睛光轴方向不同时瞳孔的位置,将眼底呈现的图像传递到采集位置。
23.根据权利要求20所述的装置,其特征在于,所述检测模块还包括:
投射设备,用于向用户眼底投射光斑图案。
24.根据权利要求19至23中任一项所述的装置,其特征在于,所述检测模块还用于检测用户状态。
25.根据权利要求24所述的装置,其特征在于,所述提醒模块进一步包括:
监控参数获取单元,用于根据所述对焦点位置获取监控参数;
提醒单元,用于根据所述监控参数对用户进行提醒。
26.根据权利要求25所述的装置,其特征在于,所述提醒单元在所述监控参数超出预设范围时,对用户进行提醒。
27.根据权利要求25所述的装置,其特征在于,所述提醒单元在所述监控参数超出预设范围的时间超过预设时间时,对用户进行提醒。
28.根据权利要求26或27所述的装置,其特征在于,所述装置还包括:
设置模块,用于根据所述用户状态设置所述预设范围。
29.根据权利要求27所述的装置,其特征在于,所述装置还包括:
设置模块,用于根据所述用户状态设置所述预设时间。
30.根据权利要求26或27所述的装置,其特征在于,所述装置还包括:
资料获取模块,用于获取用户资料;
设置模块,用于根据所述用户资料设置所述预设范围。
31.根据权利要求27所述的装置,其特征在于,所述装置还包括:
资料获取模块,用于获取用户资料;
设置模块,用于根据所述用户资料设置所述预设时间。
32.根据权利要求19所述的装置,其特征在于,所述装置为眼镜。
CN201310390569.9A 2013-08-30 2013-08-30 提醒方法及装置 Active CN103500331B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310390569.9A CN103500331B (zh) 2013-08-30 2013-08-30 提醒方法及装置
US14/783,495 US10395510B2 (en) 2013-08-30 2013-12-04 Reminding method and reminding device
PCT/CN2013/088549 WO2015027598A1 (zh) 2013-08-30 2013-12-04 提醒方法及提醒装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310390569.9A CN103500331B (zh) 2013-08-30 2013-08-30 提醒方法及装置

Publications (2)

Publication Number Publication Date
CN103500331A true CN103500331A (zh) 2014-01-08
CN103500331B CN103500331B (zh) 2017-11-10

Family

ID=49865536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310390569.9A Active CN103500331B (zh) 2013-08-30 2013-08-30 提醒方法及装置

Country Status (3)

Country Link
US (1) US10395510B2 (zh)
CN (1) CN103500331B (zh)
WO (1) WO2015027598A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528577A (zh) * 2015-12-04 2016-04-27 深圳大学 基于智能眼镜的识别方法
CN105607252A (zh) * 2015-09-23 2016-05-25 宇龙计算机通信科技(深圳)有限公司 智能眼镜的控制方法及控制装置
CN105787435A (zh) * 2016-02-03 2016-07-20 北京天诚盛业科技有限公司 一种用于虹膜采集的指示方法和装置
CN106098020A (zh) * 2016-07-21 2016-11-09 广东欧珀移动通信有限公司 控制方法及控制装置
CN106339082A (zh) * 2016-08-16 2017-01-18 惠州Tcl移动通信有限公司 一种基于教学用头戴式设备的提示方法及系统
CN108874122A (zh) * 2018-04-28 2018-11-23 深圳市赛亿科技开发有限公司 智能眼镜及其控制方法、计算机可读存储介质
CN109326085A (zh) * 2018-11-08 2019-02-12 上海掌门科技有限公司 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备
CN109933687A (zh) * 2019-03-13 2019-06-25 联想(北京)有限公司 信息处理方法、装置及电子设备
CN110069127A (zh) * 2014-03-17 2019-07-30 谷歌有限责任公司 基于用户的关注来调整信息深度
CN110717349A (zh) * 2018-07-11 2020-01-21 深圳纬目信息技术有限公司 一种桌垫和状态监测方法
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测
CN111986443A (zh) * 2020-08-31 2020-11-24 上海博泰悦臻网络技术服务有限公司 一种疲劳驾驶的监测装置及方法
CN113034069A (zh) * 2019-12-25 2021-06-25 菜鸟智能物流控股有限公司 一种物流对象的处理方法及物流管理设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016036390A (ja) * 2014-08-05 2016-03-22 富士通株式会社 情報処理装置、焦点検出方法、および焦点検出プログラム
JP2016163150A (ja) * 2015-02-27 2016-09-05 株式会社リコー 通信端末、面談システム、通信方法及びプログラム
CN105763779B (zh) * 2016-03-31 2020-02-21 联想(北京)有限公司 一种电子设备及提示方法
KR20190040962A (ko) * 2016-07-05 2019-04-19 예청 우 라이브 이미지 캡처 중 스푸핑 공격 검출
CN107016835A (zh) * 2017-05-11 2017-08-04 紫勋智能科技(北京)有限公司 视力防护装置
US10380882B1 (en) * 2018-06-28 2019-08-13 International Business Machines Corporation Reconfigurable hardware platform for processing of classifier outputs
JP6992693B2 (ja) * 2018-07-23 2022-01-13 トヨタ自動車株式会社 乗員状態認識装置
JP7424099B2 (ja) 2019-03-06 2024-01-30 株式会社リコー 光学装置、網膜投影表示装置、頭部装着型表示装置、及び検眼装置
CN113867121B (zh) * 2020-06-30 2023-07-11 上海市眼病防治中心 一种基于3010法则进行近距离用眼干预的方法及设备
CN113239754A (zh) * 2021-04-23 2021-08-10 泰山学院 一种应用于车联网的危险驾驶行为检测定位方法及系统
CN114209990A (zh) * 2021-12-24 2022-03-22 艾视雅健康科技(苏州)有限公司 一种实时分析医疗装置的入眼有效功的方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271233A (zh) * 1999-04-16 2000-10-25 松下电器产业株式会社 摄像机控制装置和方法
US20060082726A1 (en) * 2004-09-27 2006-04-20 Kowa Company Ltd. Ophthalmic photography apparatus
US7298414B2 (en) * 2003-01-29 2007-11-20 Hewlett-Packard Development Company, L.P. Digital camera autofocus using eye focus measurement
CN101192270A (zh) * 2007-11-08 2008-06-04 北京中星微电子有限公司 一种实现视力保护的显示器、装置及方法
CN101662696A (zh) * 2008-08-28 2010-03-03 联想(北京)有限公司 调节摄像系统的方法和设备
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN102937745A (zh) * 2012-11-13 2013-02-20 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
CN103190883A (zh) * 2012-12-20 2013-07-10 乾行讯科(北京)科技有限公司 一种头戴式显示装置和图像调节方法

Family Cites Families (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4264154A (en) 1979-06-05 1981-04-28 Polaroid Corporation Apparatus for automatically controlling transmission of light through a lens system
US4572616A (en) 1982-08-10 1986-02-25 Syracuse University Adaptive liquid crystal lens
US4973149A (en) 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
JP2676870B2 (ja) 1989-01-17 1997-11-17 キヤノン株式会社 注視点検出手段を有した光学装置
JP2920940B2 (ja) 1989-06-20 1999-07-19 キヤノン株式会社 視線検出手段を有した機器
US5182585A (en) 1991-09-26 1993-01-26 The Arizona Carbon Foil Company, Inc. Eyeglasses with controllable refracting power
US5731046A (en) 1994-01-18 1998-03-24 Qqc, Inc. Fabrication of diamond and diamond-like carbon coatings
JPH08564A (ja) * 1994-06-17 1996-01-09 Nikon Corp 眼科装置
US6072443A (en) 1996-03-29 2000-06-06 Texas Instruments Incorporated Adaptive ocular projection display
JPH09289973A (ja) 1996-04-26 1997-11-11 Canon Inc 眼底カメラ
JPH1070742A (ja) 1996-08-29 1998-03-10 Olympus Optical Co Ltd 二眼式映像表示装置
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
DE19704197A1 (de) 1997-02-05 1998-08-06 Zeiss Carl Jena Gmbh Anordnung zur subjektivem Refraktionsbestimmung und/oder zur Bestimmung anderer Sehfunktionen
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP3383228B2 (ja) 1998-11-09 2003-03-04 シャープ株式会社 ヘッドマウントディスプレイ装置
US6318857B1 (en) 1998-12-09 2001-11-20 Asahi Kogaku Kogyo Kabushiki Kaisha Variable power spectacles
US6619799B1 (en) 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
AU2002227935A1 (en) 2000-11-22 2002-06-03 Carl Zeiss Jena Gmbh Optical stimulation of the human eye
US6478425B2 (en) 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US7352913B2 (en) 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
US7001020B2 (en) 2001-08-02 2006-02-21 Daphne Instruments, Inc. Complete autorefractor system in an ultra-compact package
JP4224260B2 (ja) 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
US20080106633A1 (en) 2002-03-13 2008-05-08 Blum Ronald D Electro-optic lens with integrated components for varying refractive properties
EP1485749A4 (en) 2002-03-13 2006-02-08 E Vision Llc ELECTRO-OPTICAL LENS WITH INTEGRATED COMPONENTS
CN100553601C (zh) 2002-07-22 2009-10-28 林超群 动态式透镜视力训练装置
IL151592A (en) 2002-09-04 2008-06-05 Josef Bekerman Variable optical power spectacles for eyesight rehabilitation and methods for lens optical power control
WO2004066900A1 (ja) * 2003-01-16 2004-08-12 Hidenori Horie 視力改善装置
JP3844076B2 (ja) 2003-03-07 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US20050003043A1 (en) 2003-07-03 2005-01-06 Vincent Sewalt Composition and method for reducing caking and proteinaceous products
JP4085034B2 (ja) 2003-07-17 2008-04-30 信越化学工業株式会社 化合物、高分子化合物、レジスト材料及びパターン形成方法
JP2005092175A (ja) 2003-08-08 2005-04-07 Olympus Corp 光学特性可変光学素子
JP2005058399A (ja) 2003-08-11 2005-03-10 Nikon Corp ディスプレイ装置
JP4401727B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
US7702225B2 (en) 2004-01-02 2010-04-20 Vision Instruments Pty Ltd Devices to facilitate alignment and focusing of a fundus camera
JP2005208092A (ja) 2004-01-20 2005-08-04 Seiko Epson Corp プロジェクタ及びそれにおけるズーム調整方法
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
US7535649B2 (en) 2004-03-09 2009-05-19 Tang Yin S Motionless lens systems and methods
AU2005267561A1 (en) 2004-03-31 2006-02-02 The Regents Of The University Of California Fluidic adaptive lens
US20060016459A1 (en) 2004-05-12 2006-01-26 Mcfarlane Graham High rate etching using high pressure F2 plasma with argon dilution
US7461938B2 (en) 2004-06-30 2008-12-09 Ophthonix, Inc. Apparatus and method for determining sphere and cylinder components of subjective refraction using objective wavefront measurement
SG155167A1 (en) 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
JP2008518740A (ja) 2004-11-08 2008-06-05 オプトビュー,インコーポレーテッド 総合的眼診断用光学装置および方法
US7334892B2 (en) 2004-12-03 2008-02-26 Searete Llc Method and system for vision enhancement
US7344244B2 (en) 2004-12-03 2008-03-18 Searete, Llc Adjustable lens system with neural-based control
US7486988B2 (en) 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
US8104892B2 (en) 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
CN101073010A (zh) * 2004-12-06 2007-11-14 比奥根艾迪克Ma公司 环糊精的检测和定量
US8885139B2 (en) 2005-01-21 2014-11-11 Johnson & Johnson Vision Care Adaptive electro-active lens with variable focal length
CN100595620C (zh) 2005-01-21 2010-03-24 庄臣及庄臣视力保护公司 具有可变焦距的自适应电激活透镜
JP4744973B2 (ja) 2005-08-05 2011-08-10 株式会社トプコン 眼底カメラ
JP4719553B2 (ja) 2005-11-04 2011-07-06 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
CN2868183Y (zh) 2006-01-19 2007-02-14 杨宏军 智能视力保护器
WO2007113975A1 (ja) 2006-03-31 2007-10-11 National University Corporation Shizuoka University 視点検出装置
US7764433B2 (en) 2006-05-18 2010-07-27 The Regents Of The University Of California Method and system for correcting optical aberrations, including widefield imaging applications
JP4822331B2 (ja) 2006-06-22 2011-11-24 株式会社トプコン 眼科装置
CN100485448C (zh) 2006-06-29 2009-05-06 贾怀昌 自由曲面全反射式的目视光学棱镜
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
CN201005945Y (zh) 2007-01-15 2008-01-16 陈清祥 可调整滤光片的视线导正辅助器
CA2694908A1 (en) 2007-08-02 2009-04-02 Ocular Optics, Inc. Multi-focal intraocular lens system and methods
CN101116609B (zh) 2007-08-30 2010-06-16 中国科学技术大学 扫描式自动变焦虹膜图像采集系统及采集方法
CN101149254B (zh) 2007-11-12 2012-06-27 北京航空航天大学 高精度视觉检测系统
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
WO2009101236A1 (en) 2008-02-13 2009-08-20 Nokia Corporation Display device and a method for illuminating a light modulator array of a display device
WO2009117506A2 (en) 2008-03-18 2009-09-24 Pixeloptics, Inc. Advanced electro-active optic device
JP5227639B2 (ja) * 2008-04-04 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
US20090279046A1 (en) 2008-05-12 2009-11-12 Dreher Andreas W Adjustable eye glasses with a magnetic attachment
JP4518193B2 (ja) 2008-06-10 2010-08-04 ソニー株式会社 光学装置および虚像表示装置
CN101430429A (zh) 2008-06-17 2009-05-13 沈嘉琦 一种近视矫正眼镜
JP5310266B2 (ja) 2009-05-29 2013-10-09 セイコーエプソン株式会社 プロジェクターおよびその制御方法
TW201011350A (en) 2008-09-04 2010-03-16 E Pin Optical Industry Co Ltd Liquid crystal zoom lens
US8896632B2 (en) 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
TWI367748B (en) 2008-09-30 2012-07-11 Univ Ishou Apparatus for sight healthcare
US8884735B2 (en) 2008-11-17 2014-11-11 Roger Li-Chung Vision protection method and system thereof
CN201360319Y (zh) 2008-12-17 2009-12-09 胡超 眼镜式多功能立体图像装置
CN201352278Y (zh) 2008-12-23 2009-11-25 黄玲 一种自动变焦眼镜
CN102292017B (zh) 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
CN201464738U (zh) 2009-04-13 2010-05-12 段亚东 多功能保健眼镜
US8100532B2 (en) 2009-07-09 2012-01-24 Nike, Inc. Eye and body movement tracking for testing and/or training
JP2011043876A (ja) 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
JP5388765B2 (ja) 2009-09-01 2014-01-15 キヤノン株式会社 眼底カメラ
JP5371638B2 (ja) 2009-09-01 2013-12-18 キヤノン株式会社 眼科撮影装置及びその方法
CN101782685A (zh) 2009-09-04 2010-07-21 上海交通大学 实时多角度立体视觉系统
JP2011071898A (ja) 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法
CN102576154A (zh) 2009-10-30 2012-07-11 惠普发展公司,有限责任合伙企业 立体显示系统
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120212499A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20120206485A1 (en) 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN201637953U (zh) 2010-03-19 2010-11-17 熊火胜 智能变焦镜片
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
CN101819334B (zh) 2010-04-01 2013-04-17 夏翔 多功能电子眼镜
CN101819331B (zh) 2010-04-27 2012-03-07 中国计量学院 一种遥控变焦眼镜装置
CN201754203U (zh) 2010-05-06 2011-03-02 徐晗 动态视角液晶眼镜
CN102939557B (zh) 2010-05-29 2014-07-30 蒋文宇 用于制造和使用具有通过凝视距离和低功率视线跟踪驱动的自适应透镜的眼镜的系统、方法和设备
JP5685013B2 (ja) 2010-06-30 2015-03-18 キヤノン株式会社 光断層撮像装置及びその制御方法、プログラム
CN101917638B (zh) 2010-07-07 2012-10-31 深圳超多维光电子有限公司 立体显示装置、移动终端及立体显示跟踪方法
KR20120005328A (ko) 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
US8324957B2 (en) 2010-07-16 2012-12-04 Linear Technology Corporation Capacitively coupled switched current source
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
WO2012057434A1 (en) 2010-10-29 2012-05-03 Lg Electronics Inc. Stereoscopic image processing system and device and glasses
US20120113235A1 (en) * 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8628193B2 (en) 2010-11-20 2014-01-14 Yibin TIAN Automatic accommodative spectacles using a scene analyzer and focusing elements
CN102487393B (zh) 2010-12-01 2015-09-23 深圳市同洲软件有限公司 数字电视接收终端与移动终端交互方法、装置和系统
KR101959579B1 (ko) 2010-12-01 2019-03-18 아드렌스 비콘 인코포레이티드 유체 충진 렌즈 기법을 사용한 가변 쌍안경
US9161681B2 (en) 2010-12-06 2015-10-20 Lensvector, Inc. Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods
CN102008288B (zh) 2010-12-17 2012-02-01 中国科学院光电技术研究所 一种线扫描共焦检眼镜的系统和方法
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
CN103596522A (zh) 2011-03-08 2014-02-19 E-视觉智能光学公司 先进的电活性光学装置
JP2012199621A (ja) 2011-03-18 2012-10-18 Jvc Kenwood Corp 複眼撮像装置
WO2012132289A1 (ja) 2011-03-25 2012-10-04 パナソニック株式会社 表示装置
AU2012243431A1 (en) * 2011-04-11 2013-11-07 Bob And Ahmed Enterprises Pty Ltd. An adjustable food covering support device
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
JP2012247449A (ja) 2011-05-25 2012-12-13 Canon Inc 投射型映像表示装置
US20120307208A1 (en) 2011-06-01 2012-12-06 Rogue Technologies, Inc. Apparatus and method for eye tracking
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US20130241927A1 (en) 2011-07-03 2013-09-19 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
CN202267785U (zh) 2011-08-30 2012-06-06 福州瑞芯微电子有限公司 一种自动跟踪人眼位置的裸眼三维显示结构
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
JP5879826B2 (ja) 2011-08-31 2016-03-08 株式会社ニデック 眼底撮影装置
US20130072828A1 (en) 2011-09-15 2013-03-21 Jason Sweis Shutter glasses
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130107066A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
WO2013074851A1 (en) 2011-11-18 2013-05-23 Optovue, Inc. Fundus camera
US9442517B2 (en) 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
CN102572483B (zh) 2011-12-02 2014-08-13 深圳超多维光电子有限公司 跟踪式裸眼立体显示控制方法、装置及显示设备、系统
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
CN202383380U (zh) 2011-12-31 2012-08-15 张欣 多功能眼镜
CN103197757A (zh) 2012-01-09 2013-07-10 癸水动力(北京)网络科技有限公司 一种沉浸式虚拟现实系统及其实现方法
US8384999B1 (en) 2012-01-09 2013-02-26 Cerr Limited Optical modules
KR101911439B1 (ko) 2012-01-30 2019-01-07 삼성전자주식회사 초점길이 가변형 마이크로 렌즈와 이를 포함하는 마이크로 렌즈 어레이 및 이를 포함하는 3d 디스플레이와 그 동작 방법
WO2013117999A1 (en) * 2012-02-06 2013-08-15 Sony Ericsson Mobile Communications Ab Gaze tracking with projector
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
TWI474072B (zh) 2012-06-14 2015-02-21 Largan Precision Co Ltd 光學影像鏡片系統組
US9430055B2 (en) 2012-06-15 2016-08-30 Microsoft Technology Licensing, Llc Depth of field control for see-thru display
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
CN103065605B (zh) 2012-12-10 2015-12-09 惠州Tcl移动通信有限公司 一种根据视力状况调节显示效果的方法和系统
US20140160157A1 (en) 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
CN103150013A (zh) 2012-12-20 2013-06-12 天津三星光电子有限公司 一种移动终端
CN102981270A (zh) 2012-12-25 2013-03-20 中国科学院长春光学精密机械与物理研究所 一种无遮拦自适应变焦距光学系统及其标定方法
CN103054695A (zh) 2013-01-09 2013-04-24 中山市目明视光视力科技有限公司 调整眼内光学焦点位置的镜片组合方法
US9507147B2 (en) 2013-02-14 2016-11-29 Blackberry Limited Wearable display system with detached projector
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US20140232746A1 (en) 2013-02-21 2014-08-21 Hyundai Motor Company Three dimensional augmented reality display apparatus and method using eye tracking
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
WO2014160342A1 (en) 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US20140282224A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
CN103280175A (zh) 2013-06-17 2013-09-04 苏州旭宇升电子有限公司 一种投影装置
JP5967597B2 (ja) 2013-06-19 2016-08-10 パナソニックIpマネジメント株式会社 画像表示装置および画像表示方法
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
WO2015006334A1 (en) 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
CN103297735A (zh) 2013-07-16 2013-09-11 苏州旭宇升电子有限公司 一种投影装置
US9619939B2 (en) 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
WO2015094191A1 (en) 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US10261579B2 (en) 2014-09-01 2019-04-16 Samsung Electronics Co., Ltd. Head-mounted display apparatus
US10330958B2 (en) 2015-04-10 2019-06-25 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
JP6548821B2 (ja) 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271233A (zh) * 1999-04-16 2000-10-25 松下电器产业株式会社 摄像机控制装置和方法
US7298414B2 (en) * 2003-01-29 2007-11-20 Hewlett-Packard Development Company, L.P. Digital camera autofocus using eye focus measurement
US20060082726A1 (en) * 2004-09-27 2006-04-20 Kowa Company Ltd. Ophthalmic photography apparatus
CN101192270A (zh) * 2007-11-08 2008-06-04 北京中星微电子有限公司 一种实现视力保护的显示器、装置及方法
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN101662696A (zh) * 2008-08-28 2010-03-03 联想(北京)有限公司 调节摄像系统的方法和设备
CN102937745A (zh) * 2012-11-13 2013-02-20 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
CN103190883A (zh) * 2012-12-20 2013-07-10 乾行讯科(北京)科技有限公司 一种头戴式显示装置和图像调节方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069127A (zh) * 2014-03-17 2019-07-30 谷歌有限责任公司 基于用户的关注来调整信息深度
CN110069127B (zh) * 2014-03-17 2022-07-12 谷歌有限责任公司 基于用户的关注来调整信息深度
CN105607252A (zh) * 2015-09-23 2016-05-25 宇龙计算机通信科技(深圳)有限公司 智能眼镜的控制方法及控制装置
CN105528577A (zh) * 2015-12-04 2016-04-27 深圳大学 基于智能眼镜的识别方法
CN105787435A (zh) * 2016-02-03 2016-07-20 北京天诚盛业科技有限公司 一种用于虹膜采集的指示方法和装置
CN106098020A (zh) * 2016-07-21 2016-11-09 广东欧珀移动通信有限公司 控制方法及控制装置
CN106339082A (zh) * 2016-08-16 2017-01-18 惠州Tcl移动通信有限公司 一种基于教学用头戴式设备的提示方法及系统
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测
US11977675B2 (en) 2018-01-29 2024-05-07 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
CN108874122A (zh) * 2018-04-28 2018-11-23 深圳市赛亿科技开发有限公司 智能眼镜及其控制方法、计算机可读存储介质
CN110717349A (zh) * 2018-07-11 2020-01-21 深圳纬目信息技术有限公司 一种桌垫和状态监测方法
CN109326085A (zh) * 2018-11-08 2019-02-12 上海掌门科技有限公司 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备
CN109326085B (zh) * 2018-11-08 2020-07-31 上海掌门科技有限公司 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备
CN109933687A (zh) * 2019-03-13 2019-06-25 联想(北京)有限公司 信息处理方法、装置及电子设备
CN109933687B (zh) * 2019-03-13 2022-05-31 联想(北京)有限公司 信息处理方法、装置及电子设备
CN113034069A (zh) * 2019-12-25 2021-06-25 菜鸟智能物流控股有限公司 一种物流对象的处理方法及物流管理设备
CN111986443A (zh) * 2020-08-31 2020-11-24 上海博泰悦臻网络技术服务有限公司 一种疲劳驾驶的监测装置及方法

Also Published As

Publication number Publication date
WO2015027598A1 (zh) 2015-03-05
CN103500331B (zh) 2017-11-10
US10395510B2 (en) 2019-08-27
US20160180692A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
CN103500331A (zh) 提醒方法及装置
CN103431840B (zh) 眼睛光学参数检测系统及方法
CN103424891B (zh) 成像装置及方法
CN103605208A (zh) 内容投射系统及方法
US10002293B2 (en) Image collection with increased accuracy
CN103439801B (zh) 视力保护成像装置及方法
CN103499885B (zh) 成像装置和方法
CN103475893B (zh) 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103530623A (zh) 信息观察方法及信息观察装置
CN103604412B (zh) 定位方法及定位装置
CN103557859B (zh) 图像采集定位方法及图像采集定位系统
CN103499886B (zh) 成像装置和方法
CN103630116B (zh) 图像采集定位方法及图像采集定位装置
CN103558909A (zh) 交互投射显示方法及交互投射显示系统
CN103595912B (zh) 局部缩放的成像方法和装置
KR102290238B1 (ko) 누진 눈 렌즈에 대한 적어도 하나의 광학 설계 파라미터를 결정하기 위한 방법
KR101300671B1 (ko) 안경 렌즈 제작을 위해 필요한 파라미터 측정 방법 및 이를 구현하기 위한 측정 장치
US20110128495A1 (en) Apparatus for determining the orientation of ophthalmic lenses belonging to a frame
CN103605199A (zh) 成像装置及方法
CN103761652A (zh) 防伪方法及防伪装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant