CN106455973B - 与用户眼睛接触放置的检测装置 - Google Patents

与用户眼睛接触放置的检测装置 Download PDF

Info

Publication number
CN106455973B
CN106455973B CN201580031417.7A CN201580031417A CN106455973B CN 106455973 B CN106455973 B CN 106455973B CN 201580031417 A CN201580031417 A CN 201580031417A CN 106455973 B CN106455973 B CN 106455973B
Authority
CN
China
Prior art keywords
user
tears
light
eyelid
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580031417.7A
Other languages
English (en)
Other versions
CN106455973A (zh
Inventor
岩琦正则
早川健
吉村司
矢岛正一
山口直人
丹下明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106455973A publication Critical patent/CN106455973A/zh
Application granted granted Critical
Publication of CN106455973B publication Critical patent/CN106455973B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6821Eye
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14507Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue specially adapted for measuring characteristics of body fluids other than blood
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H23/00Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms
    • A61H23/02Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms with electric or magnetic drive
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0613Apparatus adapted for a specific treatment
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/04Contact lenses for the eyes
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081Ophthalmic lenses with variable focal length
    • G02C7/083Electrooptic lenses
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

一种与用户眼睛接触放置的装置。所述装置包括:用于测量至少一种特性的至少一个检测器;以及用于基于至少一种特性确定用户的眼睛是否闭合的信号处理器。

Description

与用户眼睛接触放置的检测装置
技术领域
本发明涉及一种检测装置、检测方法和程序。特别地,本发明涉及一种能利用更简单的构造检测用户眼睑的开合的检测装置、检测方法和程序。
<相关申请的交叉引用>
本申请要求以2014年6月18日提出申请的日本在先专利申请JP2014-125160为优先权,其全部内容已通过引用结合于本文中。
背景技术
现有技术中,存在用户可佩戴的显示装置,例如头戴式显示器或隐形眼镜型显示装置。在这种显示装置中,如果检测到用户眼睑的开合等等,并确定用户是否处于清醒状态或睡眠状态,则可以执行更合适的驱动控制。
例如,作为用于检测眼睑的开合的技术,提出了如下技术:与佩戴在眼睑底侧的视频显示单元相分离地,在眼睑表面上提供检测单元,该检测单元基于因眼睑的移动而产生的微弱电信号检测眼睑的开合(例如,参考专利文献1)。在该技术中,根据在眼睑张开状态下由肌肉产生的电信号、与在眼睑闭合状态下由肌肉产生的电信号之间的差异,来检测用户眼睑的开合。
例如,还提出了如下技术:通过提供用于向用户的眼睛照射红外光的光源和用于检测从眼睛反射的红外光的光接收单元,来检测眼睑的开合(例如,参考专利文献2)。在该技术中,利用了如下事实:当用户的眼睑张开时,由于红外光被具有光滑表面的眼球反射,因此,获得了强反射光;但是,当眼睑闭合时,由于绝大部分红外光被眼睑的皮肤所吸收,因此反射光变弱。
例如,还存在如下技术:通过提供用于捕捉用户眼睛的摄像机、并分析由所述摄像机捕获的眼睛图像,来检测眼睑的开合(例如,参考专利文献3)。在该技术中,当眼睑张开时,获得眼球的眼白、虹膜和瞳孔之间的对比度差异,当眼睑闭合时,眼睑的皮肤部分几乎没有对比度,该技术采用这一事实来确定用户眼睑的开合。
引用列表
专利文献
[专利文献1]:日本未审专利申请公开No.2007-127716
[专利文献2]:日本未审专利申请公开No.11-249064
[专利文献3]:日本未审专利申请公开No.2003-076353
发明内容
技术问题
但是,在上述技术中,难以使用简单的构造来检测眼睑的开合。
例如,在通过使用由肌肉产生的微弱电信号检测眼睑开合的技术中,由于检测单元必须与视频显示单元分离地佩戴在眼睑表面,因此可用性不佳。由肌肉产生的电信号很微弱,因此难以以高精度检测眼睑的开合。
即使在提供用于照射红外光的光源和用于检测被反射的红外光的光接收元件的技术中,也需要与显示装置分离开的外部检测装置,因此可用性不佳。类似的,即使在分析由摄像机捕获的眼睛图像的技术中,需要外部装置,例如摄像机。
特别是,由于隐形眼镜型显示装置被佩戴在用户的眼球上并以无线方式使用,因此在检测眼睑的开合时使用外部装置会导致用户携带或佩戴额外的设备,这是一种负担。因此,需要使用更简单的构造来检测眼睑的开合。
令人期望的是,使用更简单的构造来检测用户眼睑的开合。
解决问题的技术方案
一些实施方式涉及一种用于与用户的眼睛接触放置的装置。所述装置包括用于测量至少一种特性的至少一个检测器和用于基于所述至少一种特性确定所述用户的眼睛是否闭合的信号处理器。
另一些实施方式涉及一种用于与用户的眼睛接触放置的装置。所述装置包括用于检测所述装置的外部温度和/或所述用户的眼睛的温度的温度检测器。
发明的有益效果
根据本发明的各实施方式,可以使用更简单的构造检测用户眼睑的开合。
要注意的是,此处所述的这些效果并非限制性的,而可以是本公开文本中所述的任意效果。
附图说明
图1是示出显示装置的外观的构造示例的示意图。
图2是示出显示装置的构造示例的示意图。
图3是示出显示区域的构造示例的示意图。
图4是示出显示区域的另一构造示例的示意图。
图5是示出显示区域的另一构造示例的示意图。
图6是示出显示装置的功能性构造示例的示意图。
图7是示出心跳脉搏的示意图。
图8是示出脉冲速率与睡眠状态之间的关系的示意图。
图9是示出眼睑的开合与检测到的压力之间的关系的示意图。
图10是示出姿势检测的示意图。
图11是示出体温、外部温度和睡眠之间的关系的示意图。
图12是示出眨眼与睡眠之间的关系的示意图。
图13是示出眼泪检测单元的放置位置的示意图。
图14是示出眼泪成分与时间变化的示意图。
图15是示出累积的眼泪成分与时间转变的示意图。
图16是示出显示驱动处理的流程图。
图17是示出与清醒状态模式相关的显示控制处理的流程图。
图18是示出与睡眠状态模式相关的显示控制处理的流程图。
图19是示出显示装置的另一构造示例的示意图。
图20是示出显示装置的另一功能性构造示例的示意图。
图21是示出显示装置的另一构造示例的示意图。
图22是示出显示装置的另一构造示例的示意图。
图23是示出显示装置的另一构造示例的示意图。
具体实施方式
下文将参照附图对应用本发明的多个实施方式进行描述。
[第一实施方式]
(隐形眼镜型显示装置的构造示例)
本发明涉及一种隐形眼镜型显示装置。
由于隐形眼镜型显示装置被佩戴在用户的眼球上并以无线方式使用,因此当使用该显示装置的功能时,用户能在仍佩戴该显示装置的情况下执行各种操作,例如自由行走。但是,如果使用摄像机或检测装置这样的外部设备,与显示屏幕中的信息相关地执行指针、指示器等等的选择动作操作,则用户眼睑开合的确定、用户是否醒着的确定等等会对用户造成负担或形成限制。
因此,在本发明中,通过在显示图像的显示元件附近提供光接收元件,可以在不需要除该显示装置以外的外部装置的情况下,实现用于执行指针、指示器等等的操作的用户界面。
在隐形眼镜型显示装置中,通过光接收元件检测由显示元件发出的、并在眼球表面上反射的光。在该情况下,在眼球表面的眼白或虹膜处检测到反射光。相反,在瞳孔中,由于光透射进入眼球中,因此几乎没有反射光。因此,反射光较弱的部位被检测为瞳孔,并根据检测到的瞳孔的运动来检测视线。
因此,由于可以确定眼球的朝向,因此可以在不需要外部装置的情况下,提供用于执行指针、指示器等等的操作的用户界面,并可以利用简单的构造提高显示装置的可用性。
在本发明中,通过在显示装置内部提供光接收元件、压力传感器、温度传感器等等,可以基于这些元件和传感器的输出确定(检测)用户眼睑的开合。
例如,通过检测来自外部的光是否被光接收元件接收,或通过检测从显示装置向外部发出的光是否在用户眼睑的底侧上被反射,可以在不需要除该显示装置以外的外部装置的情况下确定眼睑的开合。此外,例如,也可以通过检测由用户的眼睑等等施加在显示装置上的压力,在不需要除该显示装置以外的外部装置的情况下确定眼睑的开合。
在本发明中,可以在不提供除该显示装置以外的外部装置的情况下,使用更简单的构造以高精度检测用户眼睑的开合。因此,可以提高显示装置的可用性。
下面,将对应用本发明的隐形眼镜型显示装置的具体实施方式进行描述。
如图1所示,隐形眼镜型显示装置被佩戴在用户的眼球上。
在图1中,隐形眼镜型显示装置11被佩戴在用户的眼球EY11的表面上。隐形眼镜型显示装置11是以能够佩戴至用户的眼球EY11上、以及从用户的眼球EY11取下的形状形成的,即所谓的隐形眼镜。
举例来说,显示装置11按图2所示构造。
也就是说,显示装置11包括显示区域21、供电天线22、信号天线23、电力生成单元24、姿势检测单元25、眼泪检测单元26-1、眼泪检测单元26-2、眼泪检测单元26-3、信号处理单元27和显示元件驱动单元28。
要注意的是,图2为当在图1中从左向右观看时显示装置11的示意图,也就是说,是当从正前方观看佩戴显示装置11的用户时的示意图,并且所述显示装置11在图2中为圆形。
显示区域21包括显示元件和光接收元件。所述显示元件由多个显示像素形成,所述显示像素显示呈现给用户的信息(比如图像或文字);所述光接收元件用于检测视线,所述光接收元件与所述显示元件相邻设置,并接收在用户的眼球表面上反射的光。此外,显示区域21包括用于检测用户眼睑的开合的发光元件和光接收元件。
供电天线22被设置为环绕显示区域21,并接收由外部提供的磁场或电场引起的感生电力。信号天线23向外部发送从信号处理单元27提供的信息(例如基于用户的视线执行用户界面操作的结果),接收从外部向信号天线23发送的信息(例如将要在显示像素上显示的信息),并将接收的信息提供给信号处理单元27。
电力生成单元24通过对供电天线22因外部电场引起的电磁感应而产生的感生电流进行整流,获得并积累电力,并向显示装置11的各个部分提供电力。要注意的是,当电力生成单元24自身利用预定方法产生电力时,或当电力生成单元24包括可充电电池时,显示装置11可以没有供电天线22。
姿势检测单元25由电子陀螺仪、加速度计等形成,检测佩戴显示装置11的用户的姿势和移动,并将检测结果提供给信号处理单元27。例如,姿势检测单元25检测用户的头部移动和用户的姿势。
眼泪检测单元26-1至眼泪检测单元26-3对用户分泌的眼泪进行采样,测量眼泪分泌量以及对获得的眼泪进行成分分析。要注意的是,下文中,当不需要特别区分眼泪检测单元26-1至眼泪检测单元26-3时,它们被简称为眼泪检测单元26。
信号处理单元27控制整个显示装置11。例如,信号处理单元27基于从显示区域21中用于检测视线的光接收元件提供的信号,检测在显示装置11的每个区域中设置的光接收元件所接收的光量之间的差异,由此来检测用户的视线。例如,信号处理单元27基于从显示区域21中用于检测眼睑开合的光接收元件提供的信号,检测用户眼睑的开合。
信号处理单元27基于从姿势检测单元25提供的检测结果、视线检测结果和由信号天线23接收的信息等,控制显示元件驱动单元28,并使显示区域21显示图像等。
具体而言,例如,当显示装置11相对于用户的眼球旋转时,可以在姿势检测单元25中检测旋转方向和旋转量。因此,信号处理单元27控制显示元件驱动单元28,并使显示区域21上正显示的图像在与显示装置11的旋转方向相反的方向上相对于眼球旋转所述显示装置11的旋转量,所述旋转量是从姿势检测单元25提供的。因此,即使显示装置11在用户的眼球上旋转,但由此引起的图像旋转会被校正,从而可以以易于观看的方式向用户提供所述图像。
显示元件驱动单元28根据信号处理单元27的控制来驱动显示区域21的显示元件,并使其显示图像,并根据信号处理单元27的控制使显示元件驱动单元21的发光元件发光。
要注意的是,下文中,从显示区域21的光接收元件输出的、并且与光接收元件所接收的光量相对应的信号,被称为接收光信号。
举例来说,显示装置11的显示区域21按图3所示构造。要注意的是,图3显示了当在图1中从深度方向观看显示装置11时的显示装置11的部分横截面。
图3中,在显示装置11的显示区域21中提供显示图像等信息的显示像素51-1至显示像素51-5、以及用于检测视线的光接收元件52-1至光接收元件52-5,所述光接收元件接收从用户的眼球表面反射的光。
在显示区域21中提供用于检测眼睑开合的发光元件53-1和发光元件53-2、以及用于检测眼睑开合的光接收元件54-1和光接收元件54-2。发光元件53-1和发光元件53-2向外部发射光,光接收元件54-1和光接收元件54-2接收从外部入射的光。
由显示像素51-1至显示像素51-5所形成的单个显示装置为显示元件55。
要注意的是,下文中,当不需要特别区分显示像素51-1至显示像素51-5时,它们被简称为显示像素51。下文中,当不需要特别区分光接收元件52-1至光接收元件52-5时,它们被简称为光接收元件52。
此外,下文中,当不需要特别区分发光元件53-1和发光元件53-2时,它们被简称为发光元件53,当不需要特别区分光接收元件54-1和光接收元件54-2时,它们被简称为光接收元件54。
显示元件55可构造为液晶显示元件、有机电致发光(OLED(有机发光二极管))显示元件等。在图3的示例中,在显示装置11的图中右侧的垂直方向上(也就是用户眼球侧)交替排列显示像素51和光接收元件52,而发光元件53和光接收元件54设置在这些元件之间。
因此,举例来说,在图2中,在显示区域21中,在垂直方向和水平方向上交替排列设置显示像素51和光接收元件52,而发光元件53和光接收元件54设置在该区域的一些部分中。
在显示装置11的显示像素51和光接收元件52的图中左侧(即在显示装置的外侧),提供润滑层56。举例来说,润滑层56由透明合成树脂等形成,并且当用户将显示装置11佩戴在眼睛上时,因润滑层56的存在,用户的眼睑能顺滑地运动。
要注意的是,在图3中,描述了其中显示像素51和光接收元件52紧密接触发光元件53和光接收元件54的示例;但是,这些元件不一定要紧密接触,可以在显示像素51和光接收元件52或类似元件之间提供间隙。在图3中,为一个显示像素51提供一个光接收元件52;但是,可以为多个显示像素51提供一个光接收元件52。
在此,将对用户视线的检测以及用户眼睑开合的检测进行描述。
首先,将对用户视线的检测进行描述。
例如,从显示像素51向图3的右侧(即眼球侧)输出光。在显示像素51所输出的光中,入射在不透明部分(例如图1所示的眼球EY11的眼白和虹膜)上的光被吸收,并被眼球EY11的表面反射。
因此,在显示区域21中与眼白、虹膜等相对的区域中,从显示像素51输出的一部分光被眼球EY11的表面反射,并被光接收元件52接收(检测)。
相反,由于眼球EY11的瞳孔部分是透明的,因此在从显示像素51输出的光中,入射在瞳孔上的光基本上不会被瞳孔反射,而是到达眼球EY11中的视网膜,并被视网膜吸收。因此,在显示区域21中与瞳孔相对的区域中,接收元件52基本上不会检测到从显示像素51输出的光。
以这种方式,通过检测由每个光接收元件52检测到的来自显示像素51的光量之间的差异,可以确定眼球EY11的方向,所述方向表示眼球EY11(瞳孔)的朝向,也就是确定用户的视线方向。特别是,如果能够在每一时刻确定用户的视线方向,就能检测眼球的移动(即视线的移动),并可以根据视线的移动估计用户的精神状态和情绪。
下面,将对用户眼睑开合的检测进行描述。
发光元件53朝向图3的左侧(朝向外侧)输出光。
此时,举例来说,如果用户处于眼睑闭合的状态,则从发光元件53输出的、并且被用户眼睑的底侧反射的光会入射到位于发光元件53附近的光接收元件54上,并被光接收元件54接收。
然而,如果用户处于眼睑张开的状态,则当从发光元件53输出光时,从发光元件53输出的光原样行进到外部。因此,在此状态下,从发光元件53输出的光不会入射到光接收元件54上。也就是说,在光接收元件54中,没有检测到来自发光元件53的光。
以这种方式,通过在每一时刻检测由光接收元件54接收的来自发光元件53的光量的变化(差异),可以确定(检测)用户的眼睑是否张开或闭合。在确定用户是处于清醒状态或睡眠状态时、以及在对显示装置11进行驱动控制时,可以使用以此方式获得的眼睑开合的确定结果。
在检测用户眼睑的开合时,如果使发光元件53发出具有特定发光图案的光,也就是说,如果叠加了具有特定波形的信号,则可以很容易地将来自外部的光与来自发光元件53的光区分开。
要注意的是,用于检测从发光元件53输出的、并且被用户的眼睑底侧反射的光的光接收元件54,可被放置在与发光元件53相距大约若干个像素的位置,即相距大约若干个显示像素51的距离的位置。光接收元件54可以被设置为邻近发光元件53;但是,当发光元件53和光接收元件54之间的距离过于接近时,可能出现从发光元件53输出的光入射到光接收元件54上的情况。因此,光接收元件54最好被放置在与发光元件53相距一个或多个像素的位置。
在此,用于眼睑开合检测的发光元件53和光接收元件54是与用于视线检测的显示像素51和光接收元件52分开提供的;但是,显示像素51和光接收元件52的一部分也可以用于检测眼睑开合。在该情况下,也用于眼睑开合检测的显示像素51构造为朝着外部和眼球侧都发射光。也用于眼睑开合检测的光接收元件52构造为接收从外部入射的光、而且还接收从眼球侧入射的光。
作为用于检测眼睑开合的元件,可以仅提供光接收元件54,而不需要提供发光元件53。在该情况下,基于由接收来自外部的光的光接收元件54获得的接收光信号来确定眼睑的开合。
换言之,当用户的眼睑张开时,大量光从外部入射到光接收元件54上;但是,当用户的眼睑闭合时,基本上没有光从外部入射到光接收元件54上。因此,即使不特别提供发光元件53,也可以基于从光接收元件54输出的接收光信号确定用户眼睑的开合。
要注意的是,可以仅基于从光接收元件54输出的接收光信号来确定用户眼睑的开合,也可以基于其他传感器或类似装置的输出来确定用户眼睑的开合。
在图3中,描述了其中在显示区域21中以彼此紧密接触的方式设置显示像素51和光接收元件52的示例;但是,也可以在显示区域21中提供透射来自外部的环境光的透射区域。
在该情况下,举例来说,显示区域21按图4所示构造。要注意的是,举例来说,图4中的垂直方向和水平方向对应于图2中的垂直方向和水平方向。图4中,利用一个正方形区域来分别表示显示像素51、光接收元件52、发光元件53、光接收元件54或透射区域。
具体而言,黑色正方形用于表示一个显示像素51的区域,以斜线形成阴影的正方形表示一个光接收元件52的区域。以垂直线形成阴影的正方形用于表示一个发光元件53,以水平线形成阴影的正方形用于表示一个光接收元件54,白色正方形用于表示透射区域。
在此,所述透射区域是透射性(透明度)大于显示像素51、光接收元件52、发光元件53和光接收元件54的区域。
在本示例中,在显示区域21中离散地放置成对的发光元件53和光接收元件54,并在总体上提供比较多的透射区域。
通过在每个显示像素51的周围提供透射来自外部的光(环境光)的透射区域,即使在佩戴显示装置11时,用户仍能看到周围环境。
构造不限于图4所示的示例,举例来说,显示像素51、光接收元件52等可按图5所示放置。
同样,在图5中,黑色正方形用于表示一个显示像素51的区域,以斜线形成阴影的正方形用于表示一个光接收元件52的区域。以垂直线形成阴影的正方形用于表示一个发光元件53,以水平线形成阴影的正方形用于表示一个光接收元件54,白色正方形用于表示透射区域。
在图5的示例中,在显示区域21中提供的光接收元件52的数量少于在显示区域21中提供的显示像素51的数量,且与此数量相对应地提供更多的透射区域。因此,在该示例中,可以增加通过显示区域21透射的来自显示装置11外部的光(环境光)的光量,并且与图4所示的示例相比,用户能以更明亮的方式观看周围环境。
(显示装置的功能性构造示例)
下面,将对上文所述的显示装置11的功能性构造示例进行描述。
举例来说,显示装置11的功能性构造按图6所示构造。要注意的是,图6中,对应于图2或3的示例中的部分的参考标记相同,其描述被适当省略。
图6所示的显示装置11包括显示区域21、供电天线22、信号天线23、电力生成单元24、姿势检测单元25、眼泪检测单元26、信号处理单元27、显示元件驱动单元28、压力检测单元81、温度检测单元82和记录单元83。
在显示区域21中设置显示像素51、光接收元件52、发光元件53和光接收元件54。信号处理单元27包括开合确定单元91、使用状态确定单元92和驱动控制单元93。
压力检测单元81由压力传感器或类似装置形成,用于检测施加在显示装置11上的压力,并输出检测结果。例如,压力检测单元81的输出被用于确定眼睑的开合等等。
温度检测单元82由多个温度传感器形成,用于测量用户的眼球表面温度、用户的眼睑温度或外部温度,并输出测量结果。温度检测单元82的输出被用于确定用户的体温或用户的使用状态、确定眼睑的开合等。
在此,用户的使用状态是指用户清醒的状态或用户睡眠的状态。因此,在确定使用状态时,用户的状态被确定为处于清醒状态或睡眠状态。
例如,记录单元83由非易失性存储器形成,并且记录单元83记录从信号处理单元27提供的数据,将记录的数据提供给信号处理单元27,等等。
在显示装置11中,光接收元件52、光接收元件54、压力检测单元81、姿势检测单元25、眼泪检测单元26和温度检测单元82的输出被提供给信号处理单元27。在显示装置11中,记录单元83、信号天线23、供电天线22和电力生成单元24也连接至信号处理单元27。
信号处理单元27的开合确定单元91利用光接收元件54的输出、压力检测单元81的输出、或温度检测单元82的输出之中的至少一种输出,来确定用户眼睑的开合。使用状态确定单元92利用光接收元件52、光接收元件54、压力检测单元81、姿势检测单元25、眼泪检测单元26或温度检测单元82中的至少一个单元的输出,来确定用户的使用状态。
驱动控制单元93控制显示装置11的各个部分的驱动,例如显示元件驱动单元28、信号天线23和电力生成单元24。
[用于视线检测的光接收元件]
下面将对显示装置11的各个部分进行更详细的描述。
首先,对用于视线检测的光接收元件52进行描述。
除了上文所述的用户视线方向的检测之外,从光接收元件52输出的接收光信号还可被用于用户活体信息的检测,更具体而言,脉搏信息的检测。
例如,在显示装置11中,显示像素51输出具有预定波长的光,并且光接收元件52接收所述光在眼球表面上反射而产生的反射光。信号处理单元27基于从光接收元件52提供的接收光信号的值,检测佩戴显示装置11的用户的心跳脉搏。
例如,如图7所示,心跳脉搏周期性地发生,一次脉搏的时间比一个周期短,并且在所述脉搏的时刻产生血液流动。要注意的是,在图7中,横轴表示时间,纵轴表示接收光信号的值,即血液流动量。
图7中,血液流动量发生急剧变化的部分为脉搏部分,可以理解为周期性地发生脉搏。
由于当在脉搏时血液流动较大的时刻,毛细血管中流动的血液量会增大,因此可以根据血液流动的有无来检测脉搏。眼球中存在毛细血管,因此也存在与心跳脉搏相匹配的血液流动。
氧基血红素与脱氧基血红素是血液中的成分。氧基血红素与脱氧基血红素的光吸收谱特性不同,在波长小于805nm的一侧,脱氧基血红素的吸收系数较高,而在波长大于805nm的一侧,氧基血红素的吸收系数较高。
因此,信号处理单元27控制显示元件驱动单元28,使得从显示像素51依序(交替地)输出具有波长小于805nm的预定波长的光和具有波长大于805nm的预定波长的光。信号处理单元27使光接收元件52接收从显示像素51输出的、并且被眼球表面反射的光。在此,波长小于805nm的光可以是可见光。
要注意的是,可以从交替不同的相接近的显示像素51同时输出具有波长小于805nm的预定波长的光和具有波长大于805nm的预定波长的光。在该情况下,信号处理单元27使与显示像素51相邻的光接收元件52接收从显示像素51输出的、并且被眼球表面反射的光。此时,例如,需要适当地确定用于输出具有交替不同光波长的光的显示像素51的布置、或者光接收元件52的布置,从而使得用于接收从显示像素51输出的具有预定波长的光的光接收元件52无法接收到从显示像素51输出的具有不同于所述预定波长的另一波长的光。
信号处理单元27通过获得在输出短波长光时获得的接收光信号的值与在输出长波长光时获得的接收光信号的值之间的差异,确定血液中含有的氧基血红素与脱氧基血红素哪种成分更多。此外,基于根据接收光信号之间的差异以及预定时段内每个时刻的接收光信号的值的变化而获得的特定结果,也就是基于由光接收元件52接收的反射光的强度随时间的波动,信号处理单元27检测血液流动(血液流动量的变化),并根据血液流动的检测结果来获得脉搏。
血液中的血色素对预定波段内的光有很强的吸收谱,并且当血液被具有预定波段的光照射时,被血液(血管)反射的光根据血色素的量而变化,即根据血管的容量波动而变化。因此,可以根据对眼球表面(毛细血管)进行照射的光的反射光强度来检测血液流动量。
信号处理单元27在必要时向记录单元83提供以此方式获得的表示脉搏的脉搏信息、以及表示血液流动量的血液流动信息,并使记录单元83记录所述脉搏信息和血液流动信息。
信号处理单元27根据所述脉搏信息和血液流动信息,对一分钟时期内的用户脉搏速率进行计数,将每个时刻的脉搏速率提供给记录单元83,并使记录单元83以一天为周期记录脉搏速率。
使用状态确定单元92基于脉搏速率、脉搏信息、血液流动信息等,确定用户的使用状态。
通常,相比睡眠状态,人在清醒状态下(也就是说,当人处于活跃状态时)的脉搏速率较高。因此,如图8所示,举例来说,使用状态确定单元92基于根据光接收元件52所提供的接收光信号而获得的脉搏速率,确定用户是否处于清醒状态或睡眠状态。
在图8中,横轴表示时间,纵轴表示每个时刻的脉搏速率。在该示例中,曲线C11表示在测量用户脉搏速率的每一时刻的脉搏速率。在由曲线C11表示的示例中,通常,可以理解为:在从0:00到6:00的时间段内,即人睡眠时,以及接近24:00时,脉搏速率比其他时间低。
例如,在当前时间的每分钟脉搏速率为60至80范围内的值时,也就是在图8中的脉搏速率范围RG11内的值时,使用状态确定单元92确定用户当前处于睡眠状态。然而,当脉搏速率为范围RG11以外的值时,使用状态确定单元92确定用户当前处于清醒状态。
要注意的是,可以基于用户的实际脉搏速率,确定用于确定使用状态的所述范围RG11。
例如,当用户首次佩戴显示装置11或类似装置时,可以通过促使用户输入用户从此刻起将进入睡眠状态的事实、并且测量在用户实际处于睡眠状态期间的脉搏速率,根据测量结果确定范围RG11。举例来说,使记录单元83记录所述范围RG11。
在此,例如,可以通过由显示装置11在显示区域21上显示引导、并且由用户在实际睡眠之前根据该引导利用显示装置11的语音识别单元(未显示)输入语音或类似操作,输入用户想要进入睡眠状态。
除了声音特征识别功能以外,还可以通过用户以任意模式眨眼、用户执行倾斜头部的动作或执行左右摇头的动作、或者通过用户点头或通过振动,来输入用户将进入睡眠状态的事实。
此外,可以以固定周期(例如约一周)获取睡眠期间用户的实际脉搏速率,并根据在该周期内测量的脉搏速率来确定范围RG11。可以通过管理和分析云服务器上的测量到的脉搏速率数据,确定默认范围,并可以通过更新所述范围,即使没有引导也能够以直接方式更新该范围。此外,还可以每天更新所述脉搏速率数据的默认范围,并对其进行校正并记录在记录单元83中。
此处解释了基于脉搏速率确定用户的使用状态;但是,也可以基于根据从光接收元件52提供的接收光信号获得的血液流动信息(即血液流动量),来确定使用状态。
[用于眼睑开合检测的光接收元件]
下面,将对用于眼睑开合检测的光接收元件进行描述。
如上所述,光接收元件54接收从发光元件53输出的、并且被用户的眼睑底侧反射的光,并根据接收的光量向信号处理单元27输出接收光信号。因此,开合确定单元91可以基于从光接收元件54提供的接收光信号的接收光量,确定用户眼睑的开合。如果使用所述开合确定结果,还可以确定用户眼睑闭合的时间(下文中称为眼睑闭合时间)。
要注意的是,由于当用户的眼睑张开时,来自外部的光也被光接收元件54接收,因此理想的是使发光元件53输出具有特定波段的光,并利用光接收元件54检测该波段的接收光量,以便区分来自外部的光和来自发光元件53的光。
当使发光元件53以特定发光图案发光以区分来自外部的光和来自发光元件53的光时,如上所述,可以根据从光接收元件54输出的接收光信号的幅值是否与所述发光图案对应地变化,发现是否检测到来自发光元件53的光。
例如,如果使发光元件53以特定发光图案闪光,可以根据当发光元件53不发光时的接收光信号的值与当发光元件53发光时的接收光信号的值之间的差异,获得从发光元件53接收的光量。因此,可以更精确地确定用户眼睑的开合。
当用户的眼睑闭合时,即使使用从光接收元件54输出的接收光信号,也可以按照与光接收元件52的相关情形相同的方式检测用户的脉搏信息和血液流动量。在该情形下,从发光元件53输出的光被用户的眼睑底侧反射,并被光接收元件54接收。在用户的眼睑底侧的毛细血管中流动的血液流动量受到检测。
因此,使用状态确定单元92可以基于根据从光接收元件54输出的接收光信号而获得的血液流动信息和脉搏信息,来确定用户的使用状态。
[压力检测单元]
压力检测单元81检测施加在显示装置11上的压力,并向信号处理单元27输出检测结果。
因此,例如,当用户佩戴显示装置11且用户的眼睑闭合时,通过从压力检测单元81输出的信号表示的压力变得相对较大。相反,当用户佩戴显示装置11且用户的眼睑张开时,从压力检测单元81输出的压力与眼睑闭合时相比变小。
因此,当用户整天佩戴显示装置11时,举例来说,获得图9所示的测量结果,所述测量结果是每个时刻的施加于显示装置11的压力的测量结果。
要注意的是,在图9中,横轴表示时间,纵轴表示由压力检测单元81在每个时刻检测到的施加于显示装置11的压力。在该示例中,多边形曲线(polygonal curve)C21表示与用户相关的在每个时刻检测到的施加于显示装置11上的压力。
在由多边形曲线C21表示的示例中,通常,可以理解为,在从0:00到6:00的时段内(即人睡眠的时间),以及接近24:00时,在显示装置11上持续施加高达一定程度的压力。这是因为当用户睡眠时眼睑是闭合的,并且眼睑在显示装置11上施加基本上固定的压力。
相反,当用户处于活跃状态时,即在从6:00到21:00的时段内,由于在用户佩戴显示装置11的状态下眼睑是张开的,因此压力检测单元81在大多数时间检测到的压力较低。但是,由于即使在用户处于活跃状态时也会眨眼,因此即使在该时段内,也存在由压力检测单元81检测到的压力仅在短时间内增大的时候。
信号处理单元27从压力检测单元81接收所提供的压力检测(测量)结果。信号处理单元27将表示所施加压力的信息提供给记录单元83并使记录单元83记录该信息,基于表示所施加压力的所述信息确定眼睑的开合,等等。
例如,信号处理单元27的开合确定单元91基于从压力检测单元81提供的信号所表示的压力计算在相对较短时间内的压力平均值,例如通过多次相接近的测量而获得的压力平均值,并将所获得的平均值设置为当前时刻的施加于显示装置11的压力。当计算出的压力大于或等于预定阈值时,开合确定单元91确定用户的眼睑是闭合的。
要注意的是,按照在上文所述的确定使用状态时使用的脉搏速率范围RG11的相同方式,也可以基于根据引导测量的压力,来计算当利用眼睑造成的压力确定眼睑开合时使用的阈值。
由于在用户眼睑底侧存在血管,所述血管与用作压力检测单元81的压力传感器接触,因此如果用户的眼睑处于闭合状态,则可以基于通过从压力检测单元81输出的信号表示的压力,来获得用户的脉搏信息。例如,基于由压力检测单元81测量的压力,计算当开合确定单元91确定眼睑闭合时的脉搏信息。
使用状态确定单元92基于通过在压力检测单元81中的压力测量而获得的脉搏信息,确定使用状态。具体而言,例如,按照与图8所示的示例相同的方式,使用状态确定单元92通过将在用户的眼睑处于闭合状态下获得的脉搏信息所表示的脉搏速率(心跳次数)与预先确定的范围进行比较,确定用户是否处于清醒状态或睡眠状态。
[姿势检测单元]
姿势检测单元25构造为包括单个或多个电子陀螺仪和加速度计。
例如,当使用单个电子陀螺仪作为构成姿势检测单元25的传感器时,检测所述电子陀螺仪的倾斜度,即显示装置11的倾斜度。而与此不同,例如,当使用多个电子陀螺仪作为构成姿势检测单元25的传感器时,检测以各个电子陀螺仪的不同布置位置作为参考平面时的倾斜度。在构成姿势检测单元25的加速度计中,检测应用于姿势检测单元25(显示装置11)上的加速度。
由用作姿势检测单元25的每个传感器获得的信息被从姿势检测单元25提供至信号处理单元27,并用于姿势确定,所述姿势确定是确定佩戴显示装置11的用户的姿势。
要注意的是,为了根据姿势检测单元25的输出更精确地测量用户姿势,需要获得构成姿势检测单元25的每个传感器的参考平面和地面(水平面)之间的更精确的关系。
因此,当用户首次佩戴显示装置11时,进行姿势信息的校准,所述姿势信息表示参考平面与地面之间的关系。
在该情况下,例如,当信号处理单元27检测到从温度检测单元82提供的用户眼球侧温度与显示装置11的外部温度之间的差异大于或等于预定值时,可以执行校准。
例如,在校准姿势信息期间,信号处理单元27使显示区域21显示引导(图像),促使用户以站立姿势盯住用户前方的某个点。因此,用户根据该引导,采取站立姿势,然后,举例来说,利用显示装置11的语音识别单元(未显示)以语音方式或类似方式输入该用户正处于站立姿势的事实。
当用户采取站立姿势时,信号处理单元27基于从姿势检测单元25提供的每个传感器的输出,获知构成姿势检测单元25的每个传感器的参考平面与地面之间的关系,将表示每个参考平面与上下左右之间的位置关系的信息提供给记录单元83,并使记录单元83记录该信息。当基于姿势检测单元25的输出确定姿势时,信号处理单元27适当地使用记录单元83中所记录的表示参考平面位置关系的信息。因此,能够以更高的精度确定用户的姿势。
要注意的是,在校正期间,除了使用语音识别功能的方式外,用户也可以利用任意方式输入用户正采取站立姿势的事实。例如,用户可以通过以任意模式眨眼、作出倾斜头部的动作或左右摇头的动作、或者通过点头以及利用振动,来进行输入。
通过利用由细微视觉固定引起的眼球运动(微眼跳(microsaccade)),可以提高姿势信息的精度以及显示元件55的呈现位置精度。例如,假设所述由细微视觉固定引起的眼球运动是具有角速度的运动,其中以眼球中心为参考点,如果多次检测由细微视觉固定引起的眼球运动并忽略所检测到的眼球运动的角速度分量的变化,则可以根据从构造姿势检测单元25的每个传感器获得的参考平面的倾斜度和加速度,提高姿势信息的测量精度。
已知的是,光变化越大,哺乳动物视网膜的感光细胞的光接收特性的响应度越大。因此,通过使细微视觉固定时输入的光随机变化,并使输入光不断变化且到达视觉皮层,人类可以感知肉眼可识别的图像。
当隐形眼镜型显示装置11被佩戴在眼球上且显示图像时,由于隐形眼镜型显示装置11和眼球同时移动,因此可能无法利用由细微视觉固定引起的随机输入的优点。例如,存在以下情况:根据显示元件55的像素数量、帧频率的分辨率以及显示图像的特性,执行与普通观看方式不同的识别,例如以模糊方式识别图像。
因此,当满足对应这种状态的条件时,在隐形眼镜型显示装置11上显示的整个图像或部分图像被移位ω(omega)度和n个像素等等,系数ω和n可随机设定,由此,可以在减少细微视觉固定或停止细微视觉固定的情况下进行校正。利用隐形眼镜型显示装置11的位置和加速度计,获取细微视觉固定的模式,以固定周期对其进行模式分析,并实时反馈至下一预测值。
信号处理单元27基于从姿势检测单元25的每个传感器提供的信号,确定用户姿势。
具体而言,例如,当用户佩戴显示装置11并采取站立姿势时,构成姿势检测单元25的电子陀螺仪使用如下平面作为参考平面(下文称为垂直参考平面):所述平面垂直于地面,并且所述平面的法线是从用户来看的前后方向。垂直参考平面中用户前侧的平面被假定为正前方。
例如,当构成姿势检测单元25的另一个电子陀螺仪垂直于所述垂直参考平面时,即,当用户佩戴显示装置11且采取站立姿势时,所述另一个电子陀螺仪使用平行于地面的平面作为参考平面(下文称为水平参考平面)。
在该情况下,例如,当姿势检测单元25检测到接近垂直的值作为垂直参考平面相对于地面的角度时,信号处理单元27确定用户姿势很可能为反重力姿势,例如站姿或坐姿。
举例来说,当姿势检测单元25检测到接近水平的值作为垂直参考平面相对于地面的角度时,信号处理单元27确定用户姿势很可能为休息姿势,比如仰卧姿势、半俯卧姿势或俯卧姿势。
具体而言,当垂直参考平面的正前方为顶平面时,即朝上时,信号处理单元27确定用户姿势很可能为仰卧姿势,而当垂直参考平面的正前方为底平面(朝下)时,信号处理单元27确定用户姿势很可能为俯卧姿势。
当姿势确定单元25检测到接近垂直的值作为水平参考平面相对于地面的角度时,信号处理单元27确定用户姿势很可能为俯卧姿势。
使用状态确定单元92基于信号处理单元27的姿势确定结果,确定用户使用状态。
例如,当用户整天佩戴显示装置11时,获得图10所示的测量结果,所述测量结果是姿势检测单元25在每个时刻检测的每个参考平面相对于地面的角度检测结果。
要注意的是,在图10中,横轴表示时间,纵轴表示姿势检测单元25在每个时刻检测的垂直参考平面或水平参考平面相对于地面的角度。具体而言,图中左侧的纵轴表示垂直参考平面和地面之间的角度,图中右侧的纵轴表示水平参考平面和地面之间的角度。
图10中,多边形曲线C31表示每个时刻的垂直参考平面相对于地面的角度,多边形曲线C32表示每个时刻水平参考平面相对于地面的角度。
通常,多边形曲线C31所表示的垂直参考平面的角度在从0:00到6:00的时段内(即人处于睡眠期间的时间)以及接近24:00时大约为0度,这可以理解为用户在这些时间内处于平躺姿势。此时,多边形曲线C32所表示的水平参考平面的角度以不规则的方式剧烈变化,这可以理解为用户在睡觉时翻身。
而与之不同,由于在用户处于活跃状态时(即从6:00到22:00的时段内),用户一般处于站姿或坐姿,因此垂直参考平面的角度约为90度,而水平参考平面的角度约为0度。
在信号处理单元27中,利用每个时刻的垂直参考平面的角度和水平参考平面的角度来确定用户姿势。
使用状态确定单元92基于信号处理单元27所执行的姿势确定结果,确定使用状态。具体而言,例如,当身体在一段固定时间或更长时间内处于平躺的姿势(例如仰卧姿势,半俯卧姿势或俯卧姿势),且姿势检测单元25在一段固定时间或更长时间内未检测到动作(移动)时,使用状态确定单元92确定为睡眠状态。
要注意的是,使用状态确定单元92可基于由姿势检测单元25执行的姿势和移动检测结果来确定使用状态,而不是使用姿势确定结果。
[温度检测单元]
下面,将对温度检测单元82进行描述。
温度检测单元82构造为包括温度传感器和隔温材料,多个温度传感器被设置在显示装置11的表面(外侧表面)和底侧(眼球侧表面)上,所述隔温材料被设置在每个温度传感器与显示装置11之间的结合面上。
在构成温度检测单元82且设置于显示装置11的表面上的温度传感器中,测量(检测)显示装置11的外侧表面的温度(即外部温度或眼睑温度)。例如,在用户眼睑闭合的状态下,通过设置于表面上的温度传感器测量用户眼睑的温度,而在用户眼睑张开的状态下,通过设置于表面上的温度传感器测量外部温度。
要注意的是,下文中,通过设置于显示装置11的表面上的温度传感器测量的温度将被简称为外部温度。
构成温度检测单元82且设置于显示装置11的底侧面上的温度传感器测量显示装置11中的用户眼球侧表面的温度,即眼球表面温度。
通过温度检测单元82测量的所述外部温度和所述眼球表面温度被提供给信号处理单元27并用于预测用户体温等等。从信号处理单元27向记录单元83适当地提供外部温度和眼球表面温度的测量结果,并记录在记录单元83中。
要注意的是,为了精确地预测用户体温等等,需要预先预测由于取决于用户的个体差异而产生的信息,例如在用户眼睑闭合的状态下的外部温度信息以及眼球表面温度的上升,温度随后稳定的时间等。
因此,举例来说,当用户首次佩戴显示装置11或类似装置时,当检测到显示装置11的表面和底侧面之间的温度差(即外部温度和眼球表面温度之间的差异)时,信号处理单元27使显示区域21显示引导(图像),促使用户闭合眼睑。因此,用户根据引导闭合眼睑,然后例如利用显示装置11的语音识别单元(未显示)以语音方式或类似方式输入眼睑已闭合的事实。
当用户处于眼睑闭合状态时,信号处理单元27基于从温度检测单元82输出的表面和底侧面温度(即外部温度和眼球表面温度)测量外部温度和眼球表面的上升、温度稳定所花的时间等,将所述测量结果提供给记录单元83,并使记录单元83记录所述测量结果。
要注意的是,在所述温度上升、稳定时间等等的测量期间,除利用语音识别功能的方式之外,用户也可以利用任意方式输入眼睑已闭合的事实。例如,用户可以通过以任意模式眨眼、作出倾斜头部的动作或左右摇头的动作、或点头以及利用振动,来进行所述输入。
以此方式获得的温度上升、稳定时间等的测量结果被信号处理单元27适当地用于预测用户体温等等。
例如当用户闭合了眼睑、且显示装置11的表面和底侧面的温度上升已稳定后,信号处理单元27将所述表面的温度和所述底侧面的温度(即此时的眼睑温度和眼球表面温度)设置为用户的参考体温。
信号处理单元27将在用户张开眼睑时通过显示装置11的表面上的温度传感器测量的温度设置为外部温度,并根据通过显示装置11的底侧面上的温度传感器测量的温度与参考体温之间的差异来预测用户体温。
要注意的是,当测量外部温度和眼睑温度等等时,信号处理单元27使用平滑后的温度(例如在一段固定时段内的平均温度值)作为通过设置在显示装置11的表面上的温度传感器测量的温度。因此,去除了当用户眨眼时发生的温度上升等等的噪声因素,从而可以提高外部温度的测量精度等等。
已知当身体需要睡眠时会出现身体表面的体温上升的现象。因此,当呈现光或视频等等时,可以利用通过测量获得的体温上升,来确定该呈现是否有促进睡眠的效果。
当用户开合眼睑时,通过设置于显示装置11表面且用作温度检测单元82的温度传感器测量到的温度发生变化。因此,开合确定单元91基于外部温度(眼睑温度),也就是基于通过设置于显示装置11的表面上的温度传感器测量到的温度变化(温度上升)),来确定用户眼睑的开合。例如,当外部温度从预定参考温度上升时,确定眼睑为闭合的,而当外部温度回到预定参考温度时,确定眼睑为张开的。
由于根据温度检测单元82的输出来获得所述用户体温和所述外部温度,因此使用状态确定单元92基于这些温度来确定用户的使用状态。
例如,当用户整天佩戴显示装置11时,举例来说,获得图11所示的测量结果,所述测量结果是在每个时刻的外部温度和用户体温的测量结果。
要注意的是,在图11中,横轴表示时间,纵轴表示每个时刻的外部温度或用户体温。具体而言,图中左侧的纵轴表示体温,图中右侧的纵轴表示外部温度。
在图11中,多边形曲线C41表示基于温度检测单元82的输出而预测的每个时刻的用户体温。多边形曲线C42表示通过温度检测单元82测量的每个时刻的外部温度。
在本示例中,通常,在从0:00到6:00的时段内(即人睡眠期间的时间)以及接近24:00时,用户的体温和外部温度大致为固定温度。具体而言,当用户处于睡眠状态时,由于用户的眼睑是闭合的,因此通过温度检测单元82测量的外部温度就是用户的眼睑温度,所述眼睑温度是与用户体温接近的温度。
因此,当用户处于睡眠状态时,外部温度和体温之间的差异相对较小,且该差异基本固定。
相反,在用户处于活跃状态的时段内,即从6:00到21:00的时段内,由于在用户佩戴显示装置11的状态下眼睑是张开的,因此呈现出用户体温和外部温度之间的差异在绝大多数时间内都很大的状态。
因此,例如,当外部温度和体温之间的差异大于或等于预定阈值时,使用状态确定单元92确定用户处于清醒状态。
要注意的是,例如,按照与上文所述的在确定使用状态时使用的脉搏速率范围RG11相同的方式,也可以基于根据引导而测得的外部温度、参考体温等,计算在利用外部温度和体温确定使用状态时使用的阈值。
如图11所示,当用户眼睑处于闭合状态时,外部温度(即眼睑温度)被保持在基本固定的温度。因此,当固定时间内的外部温度变化量小于或等于预定阈值时,开合确定单元91可确定用户的眼睑为闭合的。
在开合确定单元91中,由于眼睑的开合确定是基于用户体温、外部温度等执行的,因此可以根据开合确定结果获得眼睑闭合时间和眨眼次数。
例如,使用状态确定单元92可基于一分钟内的用户眨眼次数,确定使用状态。
举例来说,当用户整天佩戴显示装置11时,例如获得图12所示的测量结果,所述测量结果是每个时刻的用户眨眼次数的测量结果。
要注意的是,在图12中,横轴表示时间,纵轴表示每个时刻的一分钟内的用户眨眼次数。
在图12中,多边形曲线C51表示基于利用外部温度和用户体温确定眼睑开合的确定结果而获得的每个时刻的用户眨眼次数。在本示例中,通常,在从0:00到6:00的时段内(即人睡眠时)以及接近24:00时,用户眨眼次数为0。
相反,在用户处于活跃状态的时段内,即从6:00到21:00的时段内,由于在用户佩戴显示装置11的状态下眨眼,因此用户眨眼次数约为15-30的固定次数。
因此,举例来说,当眨眼次数在预定范围内时,使用状态确定单元92确定用户处于清醒状态。要注意的是,举例来说,按照与上文所述的在确定使用状态时使用的脉搏速率范围RG11相同的方式,也可以基于根据引导预先测得的眨眼次数,计算在利用眨眼次数确定使用状态时使用的范围。
在此,已描述了基于外部温度确定眼睑开合、以及利用所述确定结果获得眨眼次数。但是,除了基于利用温度检测单元82的输出确定眼睑开合得到的确定结果来获得眨眼次数外,还可以基于通过压力检测单元81测量的压力、从光接收元件54输出的接收光信号等确定眼睑开合,并基于该眼睑开合的确定结果获得眨眼次数。
[眼泪检测单元]
下面将对眼泪检测单元26进行描述。
如图13所示,例如,当用户佩戴显示装置11时,眼泪检测单元26被放置在用户的泪腺T11、泪点TP11和泪点TP12附近。
要注意的是,图13显示了从正前方观看佩戴了显示装置11的用户的情形,且图中右侧为用户面部中央,图中左侧为用户面部外侧。
在该示例中,眼泪检测单元26-1位于图中的左上部分的显示装置11的眼球侧表面,即面部外侧的上部。泪腺T11在眼泪检测单元26-1附近。眼泪检测单元26-2和眼泪检测单元26-3分别位于图中的右上和右下部分的显示装置11的眼球侧表面,即面部中央的上部和下部。
从用户的上眼睑外侧的泪腺T11中分泌出用户的眼泪,并从靠近鼻子的泪点TP11和泪点TP12流出眼泪。眼泪检测单元26-1在分泌眼泪后直接检测到眼泪,而眼泪检测单元26-2和眼泪检测单元26-3检测在用户眼球上流过的眼泪。
通过以此方式在最靠近泪腺T11的部位提供眼泪检测单元26-1,减少了除眼泪以外的干扰物质的影响,从而可以检测更多的眼泪,并可以更准确地执行眼泪分泌量的测量以及眼泪的成分分析。
可以基于由眼泪检测单元26-2和眼泪检测单元26-3检测到的眼泪分泌量、与由眼泪检测单元26-1检测到的眼泪分泌量之间的差异,准确地获得用户瞳孔部位的眼球表面中央的干燥程度。要注意的是,眼泪检测单元26-2和眼泪检测单元26-3可以不是必需提供的。
在使用隐形眼镜型显示装置11时,为了通过减少对用户眼球的摩擦而不损伤眼球,需要在眼球和显示装置11之间形成泪膜。
例如,由于已知当用户的眼睑长时间闭合时(例如睡觉时)眼泪分泌量减少,因此在眼睑长时间闭合的情况下使用显示装置11时,需要关注眼泪分泌量的减少。
因此,当根据由眼泪检测单元26检测到的眼泪分泌量获得眼球的干燥度,并根据所述眼球的干燥度检测出用户的眼球干燥时,信号处理单元27通过控制显示像素51的驱动并改变从显示像素51输出的光的波长和光量,向用户的眼睛施加适当的刺激。因此,促使该用户的眼泪的产生,从而可以防止眼睛干燥。
要注意的是,为了促使眼泪的产生而对用户施加的刺激不限于利用光线来进行刺激,还可以利用振动产生单元(未显示)的振动来对眼睛进行刺激,从而促使眼泪的产生。
通过每一个眼泪检测单元26检测用户分泌的眼泪量和眼泪成分。举例来说,眼泪检测单元26包括利用微型泵通过位于眼泪检测单元26中的微细孔(microscopic holes)从用户眼球表面将眼泪采样至分析室的机制,并且在所述分析室中,包括对所采样的用户眼泪中所含的成分进行分析的功能模块。此外,眼泪检测单元26包括排出已经过成分分析等等的采样眼泪的机制。
但是,众所周知的是,人在清醒状态时比人在睡眠状态时分泌的眼泪更多。因此,可以基于由眼泪检测单元26检测出的眼泪分泌量确定用户的使用状态。
使用状态确定单元92通过比较从眼泪检测单元26提供的用户眼泪分泌量和预先确定的阈值,确定用户的使用状态。具体而言,例如,当眼泪分泌量大于或等于阈值时,确定处于清醒状态。
要注意的是,例如,用于与眼泪分泌量进行比较的所述阈值是根据预先为每个用户测量的睡眠状态时的眼泪分泌量和清醒状态时的眼泪分泌量获得的。
在眼泪检测单元26中进行眼泪成分分析时,不仅可以获得在所采样的眼泪中包含的每种成分的浓度(量),还可以获得每种成分的初始参考浓度、最大浓度、减半浓度、最大浓度达到时间、半浓度达到时间等。
要注意的是,可以根据成分分类(例如蛋白质,激素等)、分子量、定量精度、时间分辨率、显示装置11中可能包含的衍生物对于人体的安全性、分析所需的热量、安装至显示装置11的简易性等方面,确定用于眼泪成分分析方法的合适成分分析方法。
具体而言,例如,在显示装置11中可实现的多种方法例如可实现为:使用酶衍生物(enzymatic derivation)的方法和电化学法或荧光法(例如由双歧杆菌引起的Ph变化),玻璃电极法(半导体),电泳法,等电聚焦法(isoelectric focusing method),免疫电泳法(immunoelectrophoresis method),酶联免疫吸附法(Enzyme-Linked ImmunoSorbentAssay,ELISA),合成基底法,淀粉分解法(amyloclastic method),散射浊度法(scatteredturbidimetric method)(例如散射比浊法,nephelometry),荧光酶免疫吸附测定法(fluorometric enzyme immunosorbent assay method,FEIA)、酶免疫吸附测定法(enzymeimmunosorbent assay method,EIA)、RIA法、高效液相色谱法;利用各种伏安法的-pH电极测量电位差的方法(电位测定法),例如循环和线性扫描(cyclic and linear sweeping);进行铁、锰等的ppt(nM)级别测量的化学发光法;电子捕获负离子化学电离质谱法(electron capture negative ion chemical ionization mass spectrometry method);以及利用皮质醇传感器芯片的方法,其中皮质醇抗体在交叉指形电极上被固化。
在此,图14显示了由眼泪检测单元26采样的眼泪中所包含的预定成分A与所述成分A的时间转变之间的关系示例。要注意的是,图14中,横轴表示时间,纵轴表示检测到的预定成分A的浓度。
在本示例中,曲线C61表示在每个时刻检测到的成分A的浓度。
从曲线C61可以看出,在开始检测后,成分A的浓度直接大致成为初始参考浓度ID11;但是,所述浓度随时间增大,并达到最大浓度MD11。在成分A的浓度达到最大浓度MD11后,成分A的浓度随时间减小,达到半浓度HD11,随后进一步减小并再次达到初始参考浓度ID11。
在此,从开始检测成分A的浓度直到浓度达到最大浓度MD11的时间被设置为最大浓度达到时间MDT11,而从开始检测成分A的浓度直到达到半浓度HD11的时间被设置为半浓度达到时间HDT11(半寿命)。
当眼泪检测单元26执行眼泪分泌量测量和眼泪成分分析时,眼泪检测单元26将获得的眼泪分泌量和成分分析结果提供给信号处理单元27。信号处理单元27将眼泪分泌量和成分分析结果提供给记录单元83,并在必要时使记录单元83记录所述眼泪分泌量和成分分析结果。
此时,根据眼泪检测单元26的测量时间间隔和连续测量次数,在记录单元83中累积眼泪分泌量和成分分析结果。具体而言,记录单元83中累积的成分分析结果数据是代表累积的眼泪成分与时间转变之间的关系的数据。
换言之,例如,如图15所示,当获得了在预定时间Delta T内获取的预定成分A的积分值时,获得每个时刻的成分A的浓度的积分值。要注意的是,在图15中,横轴表示时间,纵轴表示在预定时间Delta T内获取的成分A的浓度的积分值。
在本示例中,曲线C71表示在一天中的每个时刻,在预定时间Delta T内获取的成分A的浓度的积分值,这可以理解为成分A的浓度的积分值随时间变化。在信号处理单元27中,计算以此方式随时间Delta T增加的单位时间浓度,以作为成分A的浓度增加速率。
要注意的是,在此,描述了其中获得在预定时间Delta T内获取的成分A的浓度的积分值的示例;但是,也可以获得在预定时间Delta T内获取的成分A的浓度的最大值。
信号处理单元27可以基于眼泪成分分析结果,确定用户的活体状态。这是由于,在用户分泌的眼泪中所含的每种成分的含量连同活体状态(例如用户情绪)的变化一起随时间变化。
在确定用户的活体状态时,不仅可以使用眼泪中所含的每种成分的浓度,还可以使用最大浓度、最大浓度达到时间、浓度增加速率等。
因此,具有主要用于护眼的状态的眼泪、刺激眼泪和情绪眼泪,这三种眼泪被定义为根据用户的活体状态而变化的眼泪状态。
首先,对于具有护眼状态的眼泪,用户处于普通状态,并且当情绪上未发生任何特别大的起伏时分泌眼泪。也就是说,这种眼泪用于随着眨眼而在眼球上形成泪膜并保护眼睛。
刺激眼泪是当用户处于短期疼痛状态时分泌的眼泪,例如当异物进入眼睛时,或受到诸如洋葱的烯丙基化硫之类的刺激时分泌的眼泪,也就是用于防止反射性刺激的眼泪。
情绪眼泪是在展现情绪时(例如快乐时或悲伤时)分泌的眼泪。这种情绪眼泪的示例包括持续眼泪或压力眼泪。
持续眼泪是在用户持续感到疼痛的状态下分泌的眼泪。因此,例如,当用户感到短期疼痛的状态持续了较长时间时,用户分泌的眼泪从刺激眼泪变为持续眼泪。
压力眼泪是因精神压力引起并在用户持续产生深度忧郁或焦虑的状态下分泌的眼泪。
信号处理单元27基于从眼泪检测单元26提供的眼泪分析结果或在记录单元83中记录的眼泪分析结果,确定用户分泌的眼泪是否为具有护眼状态的眼泪、刺激眼泪或情绪眼泪。
例如,刺激眼泪含有大量球蛋白、白蛋白、乳铁蛋白、P物质等成分。
因此,例如,作为眼泪成分分析的结果,当从用户的眼泪中检测到乳铁蛋白、且乳铁蛋白在短时间内上升时,信号处理单元27确定用户分泌的眼泪为刺激眼泪。也就是说,用户的活体状态被确定为处于存在短期疼痛的状态。
作为情绪眼泪的示例,持续眼泪含有大量乳铁蛋白和P物质等成分。
因此,举例来说,作为眼泪成分分析的结果,当从用户的眼泪中检测到乳铁蛋白\且乳铁蛋白上升的时段保持了较长时间时,信号处理单元27确定该眼泪为情绪眼泪中的持续眼泪。要注意的是,例如,当在固定时段或更长时间内持续检测到刺激眼泪时,可确定检测到持续眼泪。
此外,作为情绪眼泪的示例,压力眼泪含有大量淀粉酶、促肾上腺皮质激素、促肾上腺皮质激素释放激素等成分。
信号处理单元27通过将例如利用成分分析从眼泪中检测出来的每种成分的浓度与预先获得的阈值进行比较,确定当前时间的从用户采样到的眼泪状态,并对直到此时为止的眼泪状态进行考虑,从而根据确定结果确定用户的活体状态。
要注意的是,在此,描述了其中基于眼泪的成分分析结果确定用户的活体状态的示例;但除此以外,还可以包括诸如图像、视频、文本和上下文之类的呈现信息,诸如语音、文本和上下文之类的由用户输入的输入信息,从除眼睛以外的用户其他部位获得的诸如汗液之类的物质的成分分析结果。
例如,当在显示元件55上显示图像时,信号处理单元27通过利用正在显示的图像作为呈现信息,对所述图像执行场景识别,并基于场景识别结果和眼泪成分分析结果确定用户的活体状态。
例如,当用户输入文本等信息时,信号处理单元27通过利用输入的文本信息作为输入信息,从所述文本信息中提取指示用户的情绪等等的文字,并基于提取结果和眼泪成分分析结果确定用户的活体状态。
例如,当从以无线方式或其他方式连接的辅助传感器或其他装置向显示装置11提供从用户的特定部位获得的汗液等物质的成分分析结果时,信号处理单元27基于所提供的物质成分分析结果和眼泪成分分析结果确定用户的活体状态。
要注意的是,用于检测汗液等物质的特定部位例如可设置为如下部位:手掌、拇指根部、腋下和颈部,并可利用设置于一个或多个所述部位处的汗液传感器进行汗液成分分析检测。例如,以无线方式从汗液传感器等装置发送汗液等等的成分分析结果,并被信号天线23接收,进而提供给信号处理单元27。在此,描述其中执行汗液成分分析的示例;但是除此以外,任意物质都可以是成分分析目标,例如用户口腔内的唾液、从尿道导管获得的尿、和其他排泄物。
信号处理单元27不限于使用输入信息和汗液等的成分分析结果中的一种,也可以利用所述信息中的一些以及眼泪成分分析结果来确定用户的活体状态。由此,可以通过除了眼泪成分分析结果之外还额外利用其他辅助信息,以更高的精度确定用户的活体状态。
如果可以确定用户情绪等活体状态,则可以根据所述活体状态执行处理。
例如,当作为用户的活体状态,确定了用户的情绪状态时,可以使显示区域21显示与所确定的情绪匹配的图像。具体而言,例如,当用户在睡觉时(即处于睡眠状态)做不愉快的梦时,身体会出现反应,例如流汗、脉搏变快、身体紧张。
因此,当根据用户活体相关信息(例如用户的情绪状态和脉搏信息)确定用户正在做不愉快的梦时,信号处理单元27使显示区域21显示用于安抚情绪并缓解该不愉快的梦的视频。
要注意的是,例如,如果通过对从用户采样到的眼泪进行成分分析,检测到对在压力眼泪状态下产生的成分进行抑制的成分,则可以确定由显示装置11呈现给用户的内容是否有抑制用户压力的效果。
例如,按照同样的方式,如果通过眼泪的成分分析检测到产生愉快的成分或对产生愉快的成分进行抑制的成分,则可以确定由显示装置11呈现给用户的内容是否有效。
按上文所述的方式,除了确定用户的眼睑开合和用户的使用状态外,显示装置11还可检测活体信息,例如脉搏信息、情绪信息和体温。
因此,显示装置11利用确定结果和检测结果实现各种功能,从而可以提高显示装置11的可用性。
例如,当用户处于睡眠状态且用户的眼睑闭合时,信号处理单元27能通过与预先设定的唤醒时间相对应地使显示像素51发射光、用光直接照射用户的视网膜、显示视频等等,促使用户醒来。也就是说,可以实现闹钟功能。此时,当发射强光时,由于刺激强烈且对人体的负担很大,因此利用适当的光发射量和光发射节奏使用户清醒,以使得用户清醒。
例如,当确定处于睡眠状态且满足预先设定的条件时,信号处理单元27可通过显示准备好的信息而在睡眠期间向视网膜呈现信息,并且促进诸如学习之类的信息。也就是说,可以实现睡眠学习功能。可以利用类似的方法呈现缓解医疗症状的信息。
当确定处于睡眠状态且满足预先设定的条件时,信号处理单元27在显示区域21上显示直接或间接与用户想要做的梦有关的预先准备的视频或信息。因此,在用户睡觉时向视网膜呈现所述信息或视频,从而可以促进用户做想要做的梦的能力。也就是说,可以进行梦境引导。
按照与调整隐形眼镜屈光度的相同方式,当用户佩戴显示装置11时,在清醒状态下,在显示装置11和眼球之间利用用户分泌的眼泪形成眼泪薄层,从而保护眼球。但是,也存在睡眠(例如就寝)时眼泪分泌减少的情况。
因此,当显示装置11被持续佩戴在用户眼球上时,通过眼泪在眼球和显示装置11之间形成的保护层减少,因此眼球可能会受损伤。因此,当通过眼泪形成的保护层减少时,信号处理单元27通过周期性地改变从显示装置11的显示像素51输出的光的波长或光量,对眼睛施加一定程度的、不会带来不适的刺激,促进眼泪的产生,从而可以确保提供通过眼泪形成的保护层。可以采取如下构造:在显示装置11中提供振动产生单元,利用一定程度的、不会带来不适的振动对眼球或眼睑施加刺激,从而促进眼泪的产生。
[显示驱动处理的描述]
下面将对显示装置11的具体操作示例进行描述。
下文将参照图16的流程对显示装置11所执行的显示驱动处理进行描述。
当检测到显示装置11被佩戴在用户眼球上时,在显示装置11中开始显示驱动处理。例如,当压力检测单元81检测到相对较大的压力时,或当温度检测单元82检测到用户眼球表面温度和外部温度之间的差异等于或大于预定值时,检测为显示装置被佩戴在用户眼球上。
在步骤S11中,驱动控制单元93开启电源。也就是说,驱动控制单元93控制电力生成单元24,使得电力生成单元24向显示装置11的各个部分供电。因此,例如,从向显示装置11的一部分供电的状态开始,直到成为向显示装置11的所有部件供电的状态。
在步骤S12中,信号处理单元27执行显示位置校准。
例如,信号处理单元27的驱动控制单元93向显示元件驱动单元28提供用于校准的定位图像,使显示像素51发光,并使显示区域21显示多个定位图像。用户注意到定位图像,并根据音频、或在显示区域21上显示的引导,以适当方式进行选择操作,例如闭合眼睑。
驱动控制单元93控制显示元件驱动单元28使显示像素51发光。也就是说,使显示像素51输出用于视线检测的光。因此,从光接收元件52向信号处理单元27提供与从显示像素51输出的、并且被用户眼球表面反射的光的接收光量相对应的接收光信号。
信号处理单元27基于从光接收元件52提供的接收光信号来检测用户的视线位置,并利用在所述视线位置和所述定位图像之间存在的偏移量,来校正显示区域21中的图像的显示位置。
在步骤S13中,信号处理单元27执行发光强度校准。
例如,信号处理单元27中的驱动控制单元93控制显示元件驱动单元28使显示像素51发光。因此,从光接收元件52向信号处理单元27提供与从显示像素51输出的、并且被用户眼球表面反射的光的接收光量相对应的接收光信号。
信号处理单元27基于从光接收元件52提供的接收光信号,调节显示像素51的发光强度,从而使显示像素51所输出的光的强度为不会过度刺激用户眼睛的适当强度。信号处理单元27以同样方式调节发光元件53的发光强度。必要时,信号处理单元27利用光接收元件52和光接收元件54执行光的检测位置校准等等。
在步骤S14中,驱动控制单元93执行显示处理。例如,驱动控制单元93控制显示元件驱动单元28使显示像素51发光,使得显示像素51显示预定图像或信息。相应地,例如,在显示区域21上显示用户界面等等。
当执行显示处理时,压力检测单元81、姿势检测单元25、眼泪检测单元26和温度检测单元82开始检测压力、姿势、眼泪和外部温度、眼球表面温度等等。发光元件53也发光,光接收元件54也开始检测来自发光元件53的光。
在步骤S15中,信号处理单元27获取从各个传感器输出的传感器信号。也就是说,信号处理单元27获取来自于压力检测单元81、姿势检测单元25、眼泪检测单元26、温度检测单元82、光接收元件52和光接收元件54的输出。
在步骤S16中,信号处理单元27基于在步骤S15的处理中获取的各种传感器信号,执行传感器信号确定处理。
具体而言,例如,信号处理单元27基于姿势检测单元25所输出的信号来检测用户姿势,基于压力检测单元81的输出来获取用户的脉搏信息,等等。
在步骤S17中,开合确定单元91基于来自光接收元件54的接收光信号、压力检测单元81所提供的表示压力的信号、温度检测单元82所提供的外部温度等等中的至少一个,确定用户眼睑的开合。
在步骤S18中,使用状态确定单元92基于用户的脉搏信息、姿势、眼泪分泌量等,确定用户的使用状态。也就是说,确定用户是否处于睡眠状态或清醒状态。
在步骤S19中,信号处理单元27执行设定条件确定。
例如,当满足特定条件时(例如用户处于特定情绪状态),当预先设定了执行与所述条件对应的处理时,信号处理单元27确定是否满足由用户设定的所述条件。
在步骤S20中,信号处理单元27根据眼睑开合确定结果、使用状态确定结果以及设定条件确定结果,执行根据所述确定结果的处理。当执行了根据每一确定结果执行处理后,处理返回至步骤S15,并再次执行上文所述的处理。
如上所述,显示装置11根据眼睑开合确定结果和使用状态确定结果,执行各种处理。以这种方式,通过基于所获得的与佩戴显示装置11的用户相关的信息来执行处理,可以在不需要用户进行操作的情况下执行适当的处理。
[与清醒状态模式相关的显示控制处理的描述]
但是,显示装置11具有当用户处于清醒状态时执行显示区域21的显示控制等等的清醒状态模式,以及当用户处于睡眠状态时执行显示区域21的显示控制等等的睡眠状态模式。也就是说,在操作显示装置11正在工作的状态中,当用户处于清醒状态时,转变为清醒状态模式,而当用户处于睡眠状态时,转变为睡眠状态模式,并在每一模式下执行显示控制等等。
下文将对显示装置11分别在清醒状态模式的情况下和在睡眠状态模式的情况下执行的与图16中的步骤S15至步骤S20的处理相对应的处理进行描述。
首先,将参照图17的流程描述在清醒状态模式的情况下执行的显示控制处理。将要参照图17描述的在清醒状态模式下的显示控制处理更详细地描述了在清醒状态模式的情况下执行的图16中的步骤S15至步骤S20的处理。
在步骤S51中,信号处理单元27获取传感器信号。也就是说,信号处理单元27获取来自光接收元件52的接收光信号,来自光接收元件54的接收光信号,来自压力检测单元81的表示压力的信号,来自姿势检测单元25的表示姿势和移动的信号,来自眼泪检测单元26的眼泪分泌量和成分分析结果,以及来自温度检测单元82的表示外部温度和眼球表面温度的信号。
在步骤S52中,信号处理单元27执行姿势确定处理。
例如,信号处理单元27基于姿势检测单元25所提供的垂直参考平面和水平参考平面相对于地面的角度等等,确定用户处于何种姿势,例如站姿、坐姿、仰卧姿势、半俯卧姿势或俯卧姿势。
在步骤S53中,信号处理单元27执行体温确定处理。
例如,信号处理单元27根据温度检测单元82所提供的眼球表面温度与参考体温之间的差异,计算用户的体温。
在步骤S54中,信号处理单元27执行眼泪分泌量确定处理。具体而言,信号处理单元27将眼泪检测单元26所提供的眼泪分泌量测量结果设置为用户在当前时刻的眼泪分泌量。
信号处理单元27基于眼泪分析单元26所提供的眼泪分泌量和分析结果来确定用户的眼泪状态,也就是活体状态,例如用户的情绪等等。
在步骤S55中,信号处理单元27检测脉搏速率。
例如,信号处理单元27基于光接收元件52所提供的接收光信号,确定脉搏信息和血液流动信息,并根据所获得的脉搏信息和血液流动信息计算用户的脉搏速率。
要注意的是,当用户眼睑处于闭合状态时,信号处理单元27可按照与光接收元件52的情况相同的方式,基于光接收元件54所提供的接收光信号计算用户的脉搏速率。当用户眼睑处于闭合状态时,信号处理单元27可基于压力检测单元81所提供的、表示施加在显示装置11上的压力的信号获得脉搏信息,并根据所述脉搏信息计算脉搏速率。
可以以任意顺序执行上述步骤S52至S55的处理,也可以根据需要执行所述处理中的一部分。也可以并行地执行步骤S52至步骤S55的部分或全部处理。
在步骤S56中,开合确定单元91确定用户眼睑的开合。
例如,开合确定单元91使发光元件53发光,并基于光接收元件54所提供的接收光信号确定用户的眼睑是否张开。例如,当光接收元件54接收到从发光元件54输出的用于检测眼睑开合的光时,当来自光接收元件54的接收光信号所表示的接收光量大于或等于预定阈值时,确定用户的眼睑是闭合的。
例如,开合确定单元91基于从压力检测单元81提供的、表示施加在显示装置11上的压力的信号,确定用户眼睑的开合。具体而言,例如,当压力检测单元81检测到的压力大于或等于阈值时,确定用户的眼睑是闭合的。
例如,开合确定单元91基于从用户获取的活体信息确定用户眼睑的开合,例如由温度检测单元82检测到的外部温度的上升方式。具体而言,例如,当外部温度从作为基准的预定温度上升时,确定眼睑是闭合的。当外部温度在固定时间内的变化量小于或等于预定阈值时,可确定用户眼睑是闭合的。
要注意的是,可以利用基于接收光信号的确定、基于压力的确定、或基于外部温度的确定之中的一种,来确定眼睑的开合,并且可以通过使用各确定结果的多数判定法(majority decision)或类似方法执行多个确定处理来进行最终的确定。例如,当执行多数判定法时,当基于接收光信号的确定结果、基于压力的确定结果和基于外部温度的确定结果之中的两个或多个是表示用户眼睑闭合的确定结果时,确定用户的眼睑闭合作为最终确定结果。
在步骤S57中,信号处理单元27执行眼睑闭合时间确定处理。也就是说,信号处理单元27基于用户眼睑开合确定的最接近结果(proximal results),计算表示用户眼睑持续闭合的时间的眼睑闭合时间。
信号处理单元27还基于用户眼睑开合确定的最接近结果,计算用户眨眼次数。
在步骤S58中,使用状态确定单元92执行使用状态确定处理。
例如,使用状态确定单元92基于步骤S55中所获得的脉搏速率,确定用户是否处于清醒状态或睡眠状态。
例如,使用状态确定单元92基于在步骤S52的处理中获得的姿势确定结果,确定用户的使用状态。具体而言,例如,当用户的姿势为身体在固定时段或更长时间内平躺的姿势,且姿势检测单元25未检测到动作时,确定处于睡眠状态。
例如,使用状态确定单元92基于在步骤S53的处理中所得的用户体温与外部温度之间的差异确定使用状态。在该情况下,例如,当体温和外部温度之间的差异大于或等于阈值时,确定用户处于清醒状态。
例如,使用状态确定单元92基于在步骤S57的处理中计算的用户眨眼次数,确定使用状态。具体而言,例如,当眨眼次数在预先确定的预定范围内时,确定用户处于清醒状态。
例如,使用状态确定单元92通过将在步骤S54的处理中获得的眼泪分泌量与一阈值进行比较,来确定使用状态。具体而言,例如,当眼泪分泌量大于或等于所述阈值时,确定处于清醒状态。
要注意的是,可以基于与用户(的活体)相关的信息来确定使用状态,例如脉搏速率、姿势确定结果、体温和外部温度之间的差异、眨眼次数、和眼泪分泌量中的至少一种信息,并且可以通过使用各确定结果的多数判定法或类似方法执行多个确定处理来执行最终的确定。例如,当通过多数决定法进行最终的确定时,当获得表示清醒状态的预定数量或多个确定结果时,确定清醒状态作为最终确定结果。
可以基于一个或多个使用状态确定结果和眼睑开合确定结果来确定最终的使用状态。
具体而言,例如,当通过眼睑开合确定过程确定眼睑是张开的时,假设用户处于清醒状态。即使当确定用户眼睑是闭合的时候,当根据一个或多个使用状态确定结果获得了表示用户处于清醒状态的确定结果时,最终的使用状态确定结果也假定为处于清醒状态。
在步骤S59中,信号处理单元27确定步骤S58中的使用状态确定结果是否为清醒状态。
在步骤S59中,当确定处于清醒状态时,在步骤S60中,信号处理单元27使当前的显示状态持续。
也就是说,当用户处于清醒状态时,由于设定了清醒状态模式并执行显示控制,因此信号处理单元27如本文所述地使显示区域21显示图像等等。
在步骤S61中,作为眼睑开合确定结果,信号处理单元27确定用户眼睑是否是张开的。
在步骤S61中,当确定眼睑是张开的时候,在步骤S62中,信号处理单元27确定是否应用设定条件。
例如,作为用户预先指定的设定条件,假设:其中用户眼睑是张开的、并且正在以增强显示(AR)模式在处于特定姿势的显示区域21上执行显示处理的条件被定义为设定条件。
在该情况下,信号处理单元27基于步骤S52的姿势确定结果、步骤S61的确定结果以及当前正执行的显示处理,确定是否满足设定条件。当确定满足设定条件时,在步骤S62中,信号处理单元27确定应用所述设定条件。
在步骤S62中,当确定不应用设定条件时,处理返回步骤S51,且再次执行上述处理。
相反,在步骤S62中,当确定应用设定条件时,信号处理单元27在步骤S63中执行与设定条件相对应的显示控制。
例如,当应用了其中用户眼睑是张开的、且正在以AR模式在处于特定姿势的显示区域21上执行显示处理的条件时,假设指定执行引导功能。在该情况下,信号处理单元27中的驱动控制单元93使显示元件驱动单元28进行驱动,使显示像素51显示引导等等,并执行引导功能。
此外,例如,还可以执行各种处理作为预先与每个设定条件相关地设定的操作,例如信息呈现处理或执行AR模式。在该情况下,由于用户的眼睑是张开的,因此所述预先设定的操作可以是适于在用户眼睑张开时执行的操作。
在步骤S63中,在执行对应于设定条件的显示控制后,处理返回到步骤S51,并再次执行上述处理。
在步骤S59中,当确定使用状态不是清醒状态时,也就是说,确定处于睡眠状态时,在步骤S64中,驱动控制单元93控制显示元件驱动单元28使显示区域21停止显示图像。驱动控制单元93在必要时控制电力生成单元24,将电力提供给显示装置11的特定模块,例如提供给显示元件驱动单元28等,并设置为睡眠状态。
在将显示装置11设置为睡眠状态后,处理返回到步骤S51,并再次执行上述处理。要注意的是,更具体而言,当确定处于睡眠状态时,显示控制处理从清醒状态模式转变为睡眠状态模式,并执行下文参照图18描述的与睡眠状态模式相关的显示控制处理。
在步骤S61中,当确定眼睑未张开时,在步骤S65中,信号处理单元27确定是否应用设定条件。
在步骤S65中,当确定不应用设定条件时,处理返回到步骤S51,并再次执行上述处理。
然而,在步骤S65中,当确定应用设定条件时,在步骤S66中,信号处理单元27执行对应于设定条件的显示控制。
例如,执行再现运动图像的视频模式操作、再现冥想音乐的冥想模式操作、执行游戏功能的游戏模式操作等等,作为预先与设定条件相关地设定的模式。要注意的是,例如,通过利用信号天线23将命令传输至外部扬声器,执行音频再现。
在步骤S66中,在执行了对应于设定条件的显示控制后,处理返回到步骤S51,并再次执行上述处理。
按照上文所述的方式,显示装置11利用与用户相关的各项活体信息(例如用户的眼睑温度(外部温度)、来自于用户眼睑的反射光或从外部接收的光量、以及施加在显示装置11上的压力)中的至少一项确定用户眼睑的开合。因此,可以利用更简单的构造以很高的精度检测用户眼睑的开合,即,除显示装置11以外没有特别需要的外部装置。
显示装置11利用活体信息(生物相关信息)确定用户的使用状态,例如用户的脉搏速率、姿势、体温、眨眼次数、眼泪分泌量中的一项或多项信息。因此,可以利用更简单的构造以很高的精度确定用户的使用状态。具体而言,如果通过组合一项或多项活体信息以及眼睑开合确定结果来确定使用状态,则可以进一步提高使用状态的确定精度。
例如,在显示装置11中,即使当用户处于清醒状态并眨眼,或在处于站姿或坐姿时临时闭合眼睑时,也不会错误地将用户确定为处于睡眠状态。例如,在显示装置11中,即使用户在清醒状态下长时间闭合眼睑,仍会继续呈现信息等等,而不会错误地将用户确定为处于睡眠状态。
在显示装置11中,由于可以以很高的精度区分用户在清醒状态下处于卧姿的状态、在睡眠状态下用户的眼睑闭合的状态等状态,因此可以自动或半自动地呈现适合用户状态的信息,并可以提高可用性。
[与睡眠状态模式有关的显示控制处理的描述]
下面,将描述在睡眠状态模式的情况下显示装置11所执行的与图16中的步骤S15至步骤S20对应的处理。
也就是说,下文将参照图18的流程对睡眠状态模式下执行的显示控制处理进行描述。将要参照图18描述的睡眠状态模式下的显示控制处理更详细地描述了在睡眠状态模式的情况下执行的图16中的步骤S15至步骤S20的处理。
要注意的是,由于步骤S91至步骤S98的处理与图17的步骤S51至步骤S58的处理相同,因此省略了其描述。
在步骤S99中,信号处理单元27确定步骤S98中的使用状态确定结果是否为清醒状态。要注意的是,更具体而言,图17的步骤S51至步骤S59的处理和图19的步骤S91至步骤S99的处理是相同的处理,是在清醒状态和睡眠状态下共同执行的处理。
在步骤S99中,当确定处于清醒状态时,在步骤S100中,信号处理单元27使当前的显示状态持续,且处理返回到步骤S91。然后,再次执行上述处理。
换言之,当在步骤S99中确定为清醒状态时,从睡眠状态转变为清醒状态。更具体而言,当转变为清醒状态时,即当执行步骤S100的处理时,执行图17中所述的步骤S61至步骤S63的处理和步骤S65及步骤S66的处理。
相反,在步骤S99中,当确定不是清醒状态时,也就是确定为睡眠状态时,设置睡眠状态模式,处理进行到步骤S101,驱动控制单元93控制显示元件驱动单元28以使显示区域21停止显示图像。驱动控制单元93根据需要控制电力生成单元24,将电力提供给显示装置11的特定模块,例如提供给显示元件驱动单元28等,并设置睡眠模式。
在步骤S102中,信号处理单元27确定是否应用设定条件。
在步骤S102中,当确定不应用设定条件时,处理返回到步骤S91,且再次执行上述处理。
然而,在步骤S102中,当确定应用设定条件时,在步骤S103中,信号处理单元27执行对应于设定条件的显示控制。
例如,在设定条件为用户处于睡眠状态且眼泪状态为压力眼泪的情况下,假设用户指定再现具有放松效果的视频。
在该情况下,由于用户处于睡眠状态,且眼泪状态为压力眼泪,因此当在步骤S102的处理中确定应用设定条件时,信号处理单元27的驱动控制单元93驱动显示元件驱动单元28以使显示像素51显示视频。
此外,作为预先与每个设定条件相关地设定的操作,例如,当处于睡眠状态时,由于不需要显示信息,因此在大部分时间停止显示;但是,也可以根据预先设定的唤醒时间,通过逐渐提升显示的亮度级别,发出有助于舒适地唤醒用户的警报。
例如,当由于在睡眠期间眼泪分泌减少而需要眼泪分泌时,可以执行诸如促使分泌的刺激操作、促使做梦的引导视频呈现、促进学习效果的视频呈现等操作,来作为预先设定操作。
在步骤S103中,在执行了对应于设定条件的显示控制后,处理返回到步骤S91,并再次执行上述处理。要注意的是,更具体而言,在参照图17所描述的显示控制处理中,当在步骤S59中确定为睡眠状态时,转变为睡眠状态模式,并且在步骤S64的处理之后,执行图18的步骤S102和步骤S103的处理。
按照上文所述的方式,显示装置11利用与用户相关的各项活体信息(例如用户眼睑温度(外部温度)、来自于用户眼睑的反射光或从外部接收的光量、以及施加在显示装置11上的压力)中的至少一项,确定用户眼睑的开合。
因此,即使同样在睡眠状态模式,也可以利用更简单的构造以很高的精度检测用户眼睑的开合。由于显示装置11利用一项或多项活体信息确定用户的使用状态,因此可以用更简单的构造以很高的精度确定使用状态。
[第二实施方式]
(隐形眼镜型显示装置的构造示例)
要注意的是,上文的描述涉及显示区域21内部,并且描述了:在显示装置11内部的眼球侧提供用于检测眼睑开合的发光元件53和光接收元件54;但是,只要可以确定眼睑开合,可以在任意位置提供发光元件53和光接收元件54。
例如,可以在显示区域21外部提供发光元件53和光接收元件54,也可以设置在显示装置11内部的靠外侧位置。
在该情况下,举例来说,显示装置按图19所示构造。要注意的是,在图19中,与图2或3的示例相对应的部分被分配相同的参考标记,且适当省略其描述。
图19所示的隐形眼镜型显示装置141包括显示区域21、供电天线22、信号天线23、电力生成单元24、姿势检测单元25、眼泪检测单元26-1至眼泪检测单元26-3、信号处理单元27、显示元件驱动单元28、发光元件53和光接收元件54。
显示装置141呈椭圆形;显示区域21与显示元件驱动单元28之间的位置关系及其操作与图2的情形相同。但是,虽然显示像素51和光接收元件52位于显示装置141的显示区域21内,但发光元件53和光接收元件54不在显示区域21内。
在显示装置141中,发光元件53和光接收元件54位于图中的左下侧部分,也就是位于显示装置141的外周附近的部分。在该情况下,发光元件53向图中的正前侧(即向外部)输出用于检测眼睑开合的光。因此,当用户的眼睑闭合时,由于从发光元件53输出的光被眼睑底侧反射并入射在光接收元件54上,因此光接收元件54接收入射在其上的光,对所述光进行光电转换,并将作为结果获得的接收光信号提供给信号处理单元27。
[显示装置的功能性构造示例]
举例来说,假设显示装置141的功能性构造示例是图20中所示的构造。要注意的是,在图20中,与图6的示例相对应的部分被分配相同的参考标记,且适当省略其描述。
图20所示的显示装置141的构造与显示装置11的构造的区别在于:发光元件53和光接收元件54不设置在显示区域21中,并且发光元件53和光接收元件54位于显示区域21外部。其他构造与显示装置11相同。
因此,在显示装置141中,发光元件53的驱动直接受信号处理单元27的驱动控制单元93的控制,且来自光接收元件54的接收光信号被直接提供给信号处理单元27。
[第二实施方式的变型例1]
[隐形眼镜型显示装置的构造示例]
此外,已经描述了发光元件53和光接收元件54位于显示装置141中的显示区域21的外部的示例;但是,如图21所示,例如,只提供了光接收元件54,而不提供发光元件53。要注意的是,在图21中,与图19的示例相对应的部分被分配相同的参考标记,且其描述被适当省略。
在图21所示的显示装置141中,用于检测眼睑开合的光接收元件54位于图中的左下侧部分;但是,没有用于检测眼睑开合的发光元件53。因此,在该示例中,光接收元件54接收从外部入射的光,且在开合确定单元91中,基于光接收元件54从外部接收的光量确定眼睑的开合。
[第二实施方式的变型例2]
[隐形眼镜型显示装置的构造示例]
当在显示装置中不提供用于检测眼睑开合的发光元件、且仅提供用于检测眼睑开合的光接收元件时,举例来说,显示装置可按图22所示构造。要注意的是,在图22中,与图19的示例相对应的部分被分配相同的参考标记,且其描述被适当省略。
图22所示的隐形眼镜型显示装置181包括显示区域21、供电天线22、信号天线23、电力生成单元24、姿势检测单元25、眼泪检测单元26-1、眼泪检测单元26-2、眼泪检测单元26-3、信号处理单元27、显示元件驱动单元28、光接收元件191-1和光接收元件191-2。
在显示装置181中,光接收元件191-1和光接收元件191-2分别位于显示装置181的图中的中上侧部分和中下侧部分。光接收元件191-1和光接收元件191-2都位于显示装置181的外周附近部分和外部。
光接收元件191-1和光接收元件191-2接收从外部入射的光,并将与接收光量相对应的接收光信号提供给信号处理单元27。因此,在信号处理单元27的开合确定单元91中,基于光接收元件191-1或光接收元件191-2从外部接收的光量确定眼睑的开合。
要注意的是,在此已对提供两个光接收元件191-1和191-2的示例进行了描述;但是,也可以提供三个或更多个光接收元件用于检测眼睑开合。
[第二实施方式的变型例3]
[隐形眼镜型显示装置的构造示例]
如上所述,可以在显示装置中提供振动单元,所述振动单元用于对用户的眼球施加刺激并促使产生眼泪。在该情况下,举例来说,显示装置按图23所示构造。要注意的是,在图23中,与图22的示例相对应的部分被分配相同的参考标记,且其描述被适当省略。
通过给图22所示的显示装置181进一步提供振动单元231,形成图23所示的隐形眼镜型显示装置181。
例如,振动单元231由小发动机、压电元件等形成,根据驱动控制单元93的控制通过振动对用户眼球施加适当的刺激,并促使用户产生(分泌)眼泪。例如,如上所述,当检测到用户眼球干燥时,驱动控制单元93驱动振动单元231。
要注意的是,在上文的描述中,描述了在显示装置11或类似装置中提供压力检测单元81、姿势检测单元25、眼泪检测单元26和温度检测单元82;但是,不是必需全部提供压力检测单元81和温度检测单元82等,而可以只提供必要的部件。可以采用的构造是,在显示装置11或类似装置中不提供显示区域21,也就是没有显示功能的构造。
在上文的描述中,所描述的示例为,在显示装置11或类似装置的每个实施方式中描述的显示装置被佩戴在人身上;但是,只要活体具有眼睑和眼球,该显示装置也可以用于任何种类的活体上,而非仅限于人。
顺带一提的是,上文所述的一系列处理可以利用硬件来执行,也可以用软件来执行。例如,当利用软件执行该系列处理时,形成软件的程序被安装在显示装置11或类似装置中。
例如,在显示装置11中,信号处理单元27将记录单元83中记录的程序加载到存储器(未显示)中,并执行所述程序,从而执行上文所述的一系列处理。
可以通过有线或无线传输介质提供由显示装置11或类似装置执行的程序,例如局域网、互联网或数字卫星广播。
要注意的是,由显示装置11执行的程序可以是按照本说明书所述的顺序以时间串行的方式执行各个处理的程序。该程序也可以是并行地或在必要时(例如当调用该处理时)执行各个处理的程序。
本发明的各个实施方式不限于上文所述的实施方式,而是可以在不脱离本发明的主要概念的范围内,可以进行各种变形。
例如,在本发明中,可以采用云计算构造,其中,一种功能通过网络被多个装置分布、共享和处理。
除了利用一个装置执行在上述流程图中所述的每个步骤之外,还可以在多个装置上分布和执行所述步骤。
此外,当一个步骤中包含多个处理时,除了在一个装置上执行所述处理外,还可以在多个装置上分布和执行所述一个步骤中包含的多个处理。
本文所述的效果仅仅是示意性的,而非限制,也可以存在其他效果。
本发明采用以下构造。
(1)一种与用户眼睛接触放置的装置,所述装置包括:
至少一个检测器,所述至少一个检测器用于测量至少一种特性;以及
信号处理器,所述信号处理器用于基于所述至少一种特性确定所述用户的眼睛是否是闭合的。
(2)根据(1)所述的装置,进一步包括:
显示器,所述显示器用于向所述用户的眼睛显示信息。
(3)根据(2)所述的装置,其中所述显示器位于所述装置的中央部分。
(4)根据(3)所述的装置,其中所述至少一个检测器和所述信号处理器位于所述装置的外周部分。
(5)根据任一前述构造的装置,其中所述装置为隐形眼镜型装置。
(6)根据任一前述构造的装置,其中信号处理器还用于确定所述用户是否处于睡眠。
(7)根据任一前述构造的装置,其中所述至少一个检测器包括用于检测接收光量的光检测器。
(8)根据(7)所述的装置,其中所述光检测器用于检测从所述装置的外部接收的光量。
(9)根据(7)所述的装置,其中所述光检测器用于检测从所述装置的发光元件接收的光量。
(10)根据任一前述构造的装置,其中:
所述至少一个检测器包括用于检测所述装置的外部温度的温度检测器;以及
所述信号处理器基于由所述温度检测器检测到的温度,确定所述用户的眼睛是否是闭合的。
(11)根据(10)所述的装置,其中所述信号处理器基于由所述温度检测器检测到的温度变化,确定所述用户的眼睛是否是闭合的。
(12)根据任一前述构造的装置,其中:
所述温度检测器还用于检测所述用户的眼睛的温度;以及
所述信号处理器基于由所述温度检测器检测到的所述装置的外部温度、以及由所述温度检测器检测到的所述用户的眼睛的温度,确定所述用户的眼睛是否是闭合的。
(13)根据任一前述构造的装置,其中:
所述至少一个检测器包括压力检测器,所述压力检测器用于检测施加在所述装置上的压力;以及
所述信号处理器基于由所述压力检测器检测到的压力,确定所述用户的眼睛是否是闭合的。
(14)根据任一前述构造的装置,其中所述信号处理器还用于确定所述用户的眨眼次数。
(15)根据任一前述构造的装置,进一步包括用光照射所述用户的眼睑的发光器,其中所述至少一个检测器包括用于检测来自所述发光器的、被所述眼睑反射的光量的光检测器。
(16)根据(15)所述的装置,其中所述信号处理器还用于基于所述由所述光检测器检测到的光量,确定所述用户的脉搏信息和/或血液流动信息。
(17)根据(16)所述的装置,其中所述信号处理器还用于基于所述用户的脉搏信息和/或血液流动信息,确定所述用户是否在睡觉。
(18)根据任一前述构造的装置,进一步包括刺激器,所述刺激器用于利用光和/或振动刺激所述用户以形成眼泪。
(19)根据任一前述构造的装置,其中:
所述至少一个检测器包括眼泪检测器,所述眼泪检测器用于检测眼泪量和/或眼泪中的特定成分的量。
所述信号处理器进一步用于基于由所述眼泪检测器检测到的所述眼泪量和/或所述眼泪中的特定成分的量,确定所述用户的状态。
(20)根据(19)所述的装置,其中所述眼泪检测器被放置在所述装置上,以使得当所述用户佩戴所述装置时,所述眼泪检测器相对于所述装置的其他组件更靠近所述用户的泪腺。
(21)根据任一前述构造的装置,其中:
所述至少一个检测器包括姿势检测器,所述姿势检测器用于检测所述用户的头部的姿势和/或移动;
所述信号处理器还用于基于由所述姿势检测器检测到的所述用户的头部的姿势和/或移动,来确定所述用户的状态。
(22)根据(21)所述的装置,其中所述姿势检测器包括陀螺仪和/或加速度计。
(23)一种与用户的眼睛接触放置的装置,所述装置包括:
温度检测器,所述温度检测器用于检测所述装置的外部温度和/或所述用户的眼睛的温度。
(24)一种能佩戴在眼球上的检测装置,包括眼睑开合检测单元,所述眼睑开合检测单元在所述检测装置佩戴在眼球上的状态下,基于从所述检测装置外部入射的光量、施加在所述检测装置上的压力、和从佩戴所述检测装置的活体获得的活体信息之中的至少一种,检测活体的眼睑开合。
(25)根据(24)所述的检测装置,进一步包括根据眼睑开合的检测结果控制图像的显示的显示控制单元。
(26)根据(24)或(25)所述的检测装置,进一步包括接收从外部射入的光的光接收元件,其中眼睑开合检测单元基于光接收元件接收的光量检测眼睑的开合。
(27)根据(24)或(25)所述的检测装置,进一步包括向外部输出光的发光元件,以及接收从发光元件输出的、被眼睑反射的光的光接收元件,其中眼睑开合检测单元基于光接收元件接收的光量检测眼睑的开合。
(28)根据(24)或(25)所述的检测装置,进一步包括检测施加在检测装置上的压力的压力检测单元,其中眼睑开合检测单元基于压力检测单元检测的压力检测眼睑的开合。
(29)根据(24)或(25)所述的检测装置,进一步包括检测所述检测装置外部温度作为活体信息的温度检测单元,其中眼睑开合检测单元基于温度检测单元检测的温度来检测眼睑的开合。
(30)根据(29)所述的检测装置,其中所述眼睑开合检测单元基于检测装置外部温度的变化检测眼睑的开合。
(31)根据(29)或(30)所述的检测装置,其中温度检测单元进一步检测所述检测装置的眼球侧温度,且其中所述检测装置进一步包括基于所述外部温度和所述检测装置的眼球侧温度确定所述活体是否处于睡眠状态的使用状态确定单元。
(32)根据(24)至(29)之中的任一项所述的检测装置,进一步包括基于活体相关信息确定活体是否处于睡眠状态的使用状态确定单元
(33)根据(32)所述的检测装置,进一步包括基于眼睑开合检测结果计算眨眼次数的计算单元,其中所述使用状态确定单元基于眨眼次数确定活体是否处于睡眠状态。
(34)根据(32)所述的检测装置,进一步包括基于照射眼睑且被眼睑反射的接收光量或者基于施加在所述检测装置上的压力计算活体的脉搏信息或血液流动信息的计算单元,其中所述使用状态确定单元基于脉搏信息或血液流动信息确定所述活体是否处于睡眠状态。
(35)根据(32)所述的检测装置,进一步包括用于检测所述活体的姿势的姿势检测单元,其中所述使用状态确定单元基于所述姿势检测的结果,确定所述活体是否处于睡眠状态。
(36)根据(32)所述的检测装置,进一步包括用于检测所述活体的眼泪分泌量的眼泪检测单元,其中所述使用状态确定单元基于所述眼泪分泌量确定所述活体是否处于睡眠状态。
(37)根据(26)所述的检测装置,其中在所述检测装置被佩戴在眼球上的状态下,所述眼泪检测单元被设置于所述活体的泪腺附近。
(38)根据(32)至(37)之中的任一项所述的检测装置,其中所述使用状态确定单元基于活体相关信息和眼睑开合检测结果,确定所述活体是否处于睡眠状态。
(39)根据(24)至(38)之中的任一项所述的检测装置,进一步包括利用光或振动刺激眼球并促使活体产生眼泪的刺激单元。
(40)根据(24)至(39)之中的任一项所述的检测装置,进一步包括对活体分泌的眼泪进行成分分析的眼泪成分分析单元,以及至少利用所述眼泪成分分析结果确定活体状态的活体状态确定单元。
(41)根据(24)至(40)之中的任一项所述的检测装置,其中所述检测装置为隐形眼镜型装置。
(42)一种能佩戴在眼球上的检测装置的检测方法,所述方法包括以下步骤:在所述检测装置佩戴在眼球上的状态下,基于从所述检测装置外部入射的光量、施加在所述检测装置上的压力、和从佩戴所述检测装置的活体获得的活体信息之中的至少一种,检测活体的眼睑开合。
(43)一种程序,用于使计算机控制能佩戴在眼球上的检测装置执行处理,所述处理包括以下步骤:在所述检测装置佩戴在眼球上的状态下,基于从所述检测装置外部入射的光量、施加在所述检测装置上的压力、和从佩戴所述检测装置的活体获得的活体信息之中的至少一种,检测活体的眼睑开合。
本领域技术人员应当理解的是,在权利要求或其等同物的范围内,可以根据设计需要和其他因素进行各种变形,组合,子组合和修改。
[参考标记列表]
11 显示装置
21 显示区域
25 姿势检测单元
26-1至26-3,26 眼泪检测单元
27 信号处理单元
51-1至51-5,51 显示像素
52-1至52-5,52 光接收元件
53-1至53-2,53 发光元件
54-1至54-2,54 光接收元件
81 压力检测单元
82 温度检测单元
91 开合确定单元
92 使用状态确定单元
93 驱动控制单元
231 振动单元

Claims (22)

1.一种与用户的眼睛接触放置的装置,所述装置包括:
至少一个检测器,所述至少一个检测器用于测量至少一种特性;以及
信号处理器,所述信号处理器用于基于所述至少一种特性确定所述用户的眼睛是否是闭合的,
其中:
所述至少一个检测器包括用于检测所述装置的外部温度的温度检测器;以及
所述信号处理器基于由所述温度检测器检测到的温度,确定所述用户的眼睛是否是闭合的。
2.根据权利要求1所述的装置,进一步包括:
显示器,所述显示器用于向所述用户的眼睛显示信息。
3.根据权利要求2所述的装置,其中所述显示器位于所述装置的中央部分。
4.根据权利要求3所述的装置,其中所述至少一个检测器和所述信号处理器位于所述装置的外周部分。
5.根据权利要求1所述的装置,其中所述装置为隐形眼镜型装置。
6.根据权利要求1所述的装置,其中所述信号处理器还用于确定所述用户是否处于睡眠。
7.根据权利要求1所述的装置,其中所述至少一个检测器包括用于检测接收光量的光检测器。
8.根据权利要求7所述的装置,其中所述光检测器用于检测从所述装置的外部接收的光量。
9.根据权利要求7所述的装置,其中所述光检测器用于检测从所述装置的发光元件接收的光量。
10.根据权利要求7所述的装置,其中所述信号处理器基于所述接收光量来确定所述用户的眼睛是否闭合。
11.根据权利要求1所述的装置,其中所述信号处理器基于由所述温度检测器检测到的温度变化,确定所述用户的眼睛是否是闭合的。
12.根据权利要求1所述的装置,其中:
所述温度检测器还用于检测所述用户的眼睛的温度;以及
所述信号处理器基于由所述温度检测器检测到的所述装置的外部温度、以及由所述温度检测器检测到的所述用户的眼睛的温度,确定所述用户的眼睛是否是闭合的。
13.根据权利要求1所述的装置,其中:
所述至少一个检测器包括压力检测器,所述压力检测器用于检测施加在所述装置上的压力;以及
所述信号处理器基于由所述压力检测器检测到的压力,确定所述用户的眼睛是否是闭合的。
14.根据权利要求1所述的装置,其中所述信号处理器还用于确定所述用户的眨眼次数。
15.根据权利要求1所述的装置,进一步包括用光照射所述用户的眼睑的发光器,其中所述至少一个检测器包括用于检测来自所述发光器的、并且被所述眼睑反射的光量的光检测器。
16.根据权利要求15所述的装置,其中所述信号处理器还用于基于所述由所述光检测器检测到的光量,确定所述用户的脉搏信息和/或血液流动信息。
17.根据权利要求16所述的装置,其中所述信号处理器还用于基于所述用户的脉搏信息和/或血液流动信息,确定所述用户是否处于睡眠。
18.根据权利要求1所述的装置,进一步包括刺激器,所述刺激器用于利用光和/或振动刺激所述用户以形成眼泪。
19.根据权利要求1所述的装置,其中:
所述至少一个检测器包括眼泪检测器,所述眼泪检测器用于检测眼泪量和/或眼泪中的特定成分的量,
所述信号处理器进一步用于基于由所述眼泪检测器检测到的所述眼泪量和/或所述眼泪中的特定成分的量,确定所述用户的状态。
20.根据权利要求19所述的装置,其中所述眼泪检测器被放置在所述装置上,以使得当所述用户佩戴所述装置时,所述眼泪检测器相对于所述装置的其他组件更靠近所述用户的泪腺。
21.根据权利要求1所述的装置,其中:
所述至少一个检测器包括姿势检测器,所述姿势检测器用于检测所述用户的头部的姿势和/或移动;
所述信号处理器还用于基于由所述姿势检测器检测到的所述用户的头部的姿势和/或移动,来确定所述用户的状态。
22.根据权利要求21所述的装置,其中所述姿势检测器包括陀螺仪和/或加速度计。
CN201580031417.7A 2014-06-18 2015-06-08 与用户眼睛接触放置的检测装置 Expired - Fee Related CN106455973B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-125160 2014-06-18
JP2014125160A JP2016002353A (ja) 2014-06-18 2014-06-18 検出装置および方法、並びにプログラム
PCT/JP2015/002858 WO2015194120A1 (en) 2014-06-18 2015-06-08 A detection device for placement in contact with the eye of a user

Publications (2)

Publication Number Publication Date
CN106455973A CN106455973A (zh) 2017-02-22
CN106455973B true CN106455973B (zh) 2019-06-14

Family

ID=53484110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580031417.7A Expired - Fee Related CN106455973B (zh) 2014-06-18 2015-06-08 与用户眼睛接触放置的检测装置

Country Status (6)

Country Link
US (1) US11395629B2 (zh)
EP (1) EP3157409B1 (zh)
JP (1) JP2016002353A (zh)
KR (1) KR102375562B1 (zh)
CN (1) CN106455973B (zh)
WO (1) WO2015194120A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2969255T3 (es) 2015-09-23 2024-05-17 Ohio State Innovation Foundation Lente de contacto que comprende una lenticular en una porción superior de la lente de contacto
US10191302B2 (en) 2015-09-23 2019-01-29 Ohio State Innovation Foundation Contact lens comprising lenticular-like curve
US10281743B2 (en) 2015-10-01 2019-05-07 Verily Life Sciences Llc Eye convergence detection with contact lenses
US10222632B2 (en) 2015-10-01 2019-03-05 Verily Life Sciences Llc Lens-to-lens communication for contact lenses
US10394057B2 (en) * 2016-02-08 2019-08-27 Verily Life Sciences Llc Eyes closed interface
JP6322659B2 (ja) * 2016-02-17 2018-05-09 株式会社コーエーテクモゲームス 情報処理プログラム及び情報処理装置
CN106419831A (zh) * 2016-07-22 2017-02-22 广州市眼视光健康产业投资管理有限公司 身体健康监测的眼镜
WO2018078420A1 (en) * 2016-10-27 2018-05-03 Eyethink Sàrl Contact lens for determining the eye temperature
JP6174232B1 (ja) * 2016-11-25 2017-08-02 株式会社ユニバーサルビュー ピンホールコンタクトレンズ及びスマートコンタクトシステム
US20180239422A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Tracking eye movements with a smart device
US20180267338A1 (en) * 2017-03-14 2018-09-20 Johnson & Johnson Vision Care, Inc. Temperature-sensing ophthalmic device
TWI662316B (zh) * 2017-07-24 2019-06-11 麥塔優光學股份有限公司 智慧型隱形眼鏡及其透光本體
US11331019B2 (en) 2017-08-07 2022-05-17 The Research Foundation For The State University Of New York Nanoparticle sensor having a nanofibrous membrane scaffold
US11320673B2 (en) 2017-09-01 2022-05-03 Ohio State Innovation Foundation Soft contact lens comprising a lenticular in a superior portion of the contact lens with enhanced tear exchange
CN107874901A (zh) * 2017-10-26 2018-04-06 杨铭轲 角膜接触镜和眼内照明系统
CN108108022B (zh) * 2018-01-02 2021-05-18 联想(北京)有限公司 一种控制方法及辅助成像装置
US11147737B2 (en) 2018-02-26 2021-10-19 Olympic Ophthalmics, Inc. Handheld device with motorized member for treatment of disorders
US10852545B2 (en) 2018-09-07 2020-12-01 Xcelsis Corporation Head mounted viewer for AR and VR scenes
US11029319B2 (en) * 2018-10-11 2021-06-08 National Cheng Kung University Biosensor and application of the same
JP6754412B2 (ja) * 2018-11-07 2020-09-09 スカパーJsat株式会社 体験記録システム及び体験記録方法
TWI686175B (zh) * 2018-12-11 2020-03-01 財團法人國家實驗研究院 吞嚥安全監測方法及其裝置
JPWO2021192673A1 (zh) * 2020-03-27 2021-09-30
SE2251233A1 (en) * 2022-10-24 2024-04-25 Tobii Ab Eye tracking

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682210A (en) * 1995-12-08 1997-10-28 Weirich; John Eye contact lens video display system

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8909491D0 (en) 1989-04-26 1989-06-14 Glynn Christopher J Device for real-time monitoring of human or animal bodily functions
WO1993018428A2 (en) * 1992-03-13 1993-09-16 Kopin Corporation Head-mounted display system
US5813982A (en) * 1994-02-22 1998-09-29 Baratta; Francis I. Noncontacting portable infrared intra-ocular pressure sensor
US6544193B2 (en) * 1996-09-04 2003-04-08 Marcio Marc Abreu Noninvasive measurement of chemical substances
US6120460A (en) 1996-09-04 2000-09-19 Abreu; Marcio Marc Method and apparatus for signal acquisition, processing and transmission for evaluation of bodily functions
JPH11249064A (ja) 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
US6885818B2 (en) * 2001-07-30 2005-04-26 Hewlett-Packard Development Company, L.P. System and method for controlling electronic devices
JP2003076353A (ja) 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
JP4063112B2 (ja) 2002-03-20 2008-03-19 アイシン精機株式会社 エンジン駆動式空調装置
US8328420B2 (en) * 2003-04-22 2012-12-11 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
US7226426B2 (en) * 2002-07-25 2007-06-05 Thomson Paul E Apparatus and method for the detection and quantification of joint and tissue inflammation
CN103622725B (zh) * 2005-04-15 2018-02-02 塞基森斯公司 用于检测组织特性具有传感器的外科器械,和使用所述器械的系统
JP2007127716A (ja) 2005-11-01 2007-05-24 Pioneer Electronic Corp 表示装置、表示方法、表示プログラムおよびコンピュータに読み取り可能な記録媒体
US8684946B1 (en) * 2005-12-19 2014-04-01 The Uab Research Foundation Method and apparatus for determining the sensitivity of cone photoreceptors and uses thereof
US7712901B2 (en) * 2006-12-08 2010-05-11 Predictek, Inc. Method and apparatus for diagnosing conditions of the eye with infrared light
US8608310B2 (en) 2007-11-07 2013-12-17 University Of Washington Through Its Center For Commercialization Wireless powered contact lens with biosensor
US9314168B2 (en) * 2008-09-30 2016-04-19 Nellcor Puritan Bennett Ireland Detecting sleep events using localized blood pressure changes
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128521B2 (en) * 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
EP3213713B1 (en) * 2011-08-31 2023-03-01 Johnson & Johnson Vision Care, Inc. Processor controlled intraocular lens system
US8892181B2 (en) * 2011-10-21 2014-11-18 Mindchild Medical, Inc. Non-invasive fetal monitoring
FR2985163B1 (fr) 2011-12-29 2014-01-24 Idmed Procede et dispositif de surveillance de la pupille
US9656080B2 (en) * 2012-04-18 2017-05-23 Hung Wei Chiu Sympathetic ganglion stimulation method for treatment of hyperhidrosis, raynauds phenomenon, cerebral ischemia, asthma and hypertension
KR101371685B1 (ko) * 2012-10-30 2014-03-10 김선호 치료용 콘택트렌즈
CA2894583A1 (en) * 2012-12-14 2014-06-19 Koninklijke Philips N.V. Patient monitoring for sub-acute patients based on activity state and posture
US9671619B2 (en) * 2013-02-28 2017-06-06 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with eye gaze sensor
CN108744272A (zh) * 2013-04-19 2018-11-06 奥库利维公司 鼻刺激装置和方法
US10092449B2 (en) * 2013-04-30 2018-10-09 Tear Film Innovations, Inc. Systems and methods for the treatment of eye conditions
US20140343371A1 (en) * 2013-05-14 2014-11-20 Ii Thomas Skerik Sowers Wearable sensor device for health monitoring and methods of use

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682210A (en) * 1995-12-08 1997-10-28 Weirich; John Eye contact lens video display system

Also Published As

Publication number Publication date
WO2015194120A1 (en) 2015-12-23
KR102375562B1 (ko) 2022-03-17
US11395629B2 (en) 2022-07-26
KR20170016359A (ko) 2017-02-13
CN106455973A (zh) 2017-02-22
EP3157409A1 (en) 2017-04-26
JP2016002353A (ja) 2016-01-12
US20170119311A1 (en) 2017-05-04
EP3157409B1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
CN106455973B (zh) 与用户眼睛接触放置的检测装置
US10231614B2 (en) Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
CN104603673B (zh) 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
Einhäuser et al. Human eye-head co-ordination in natural exploration
KR102376854B1 (ko) 검출 장치 및 방법
CN107088071B (zh) 生物体信息检测装置
CN109997174B (zh) 可穿戴光谱检查系统
JP6865384B2 (ja) 生体情報検出装置
CN107490878A (zh) 具有医疗监测的电子式眼科镜片
CN107007255A (zh) 具有睡眠监测的电子式眼科镜片
JP7097012B2 (ja) 感性推定装置、感性推定システム、感性推定方法およびプログラム
WO2017013051A1 (en) Head-mountable computing device, method and computer program product
CN110292515A (zh) 一种视功能训练的方法及系统
JP7386438B2 (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
CN113693552A (zh) 视觉疲劳监测方法、装置、电子设备及可读存储介质
John et al. An evaluation of pupillary light response models for 2D screens and VR HMDs
US10909164B2 (en) Method for updating an index of a person
Welch Physiological signals of autistic children can be useful
JP2018005512A (ja) プログラム、電子機器、情報処理装置及びシステム
US20180184899A1 (en) System and method for detection and monitoring of a physical condition of a user
CN113558581A (zh) 光环境中被照平面照度检测装置及其在入睡检判系统中的用法
JP2024016142A (ja) コンピュータにおける情報処理方法および生体計測システム
CN109620265A (zh) 识别方法及相关装置
WO2024007364A1 (zh) 基于可穿戴设备的光环境及姿态检测方法、装置、系统
CN110251799A (zh) 神经反馈治疗仪

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190614