JP2016002353A - 検出装置および方法、並びにプログラム - Google Patents

検出装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2016002353A
JP2016002353A JP2014125160A JP2014125160A JP2016002353A JP 2016002353 A JP2016002353 A JP 2016002353A JP 2014125160 A JP2014125160 A JP 2014125160A JP 2014125160 A JP2014125160 A JP 2014125160A JP 2016002353 A JP2016002353 A JP 2016002353A
Authority
JP
Japan
Prior art keywords
user
detection
light
detection device
closing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014125160A
Other languages
English (en)
Inventor
正則 岩崎
Masanori Iwasaki
正則 岩崎
健 早川
Takeshi Hayakawa
健 早川
吉村 司
Tsukasa Yoshimura
司 吉村
矢島 正一
Shoichi Yajima
正一 矢島
直人 山口
Naoto Yamaguchi
直人 山口
丹下 明
Akira Tange
明 丹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014125160A priority Critical patent/JP2016002353A/ja
Priority to CN201580031417.7A priority patent/CN106455973B/zh
Priority to KR1020167034293A priority patent/KR102375562B1/ko
Priority to PCT/JP2015/002858 priority patent/WO2015194120A1/en
Priority to US15/317,456 priority patent/US11395629B2/en
Priority to EP15731129.1A priority patent/EP3157409B1/en
Publication of JP2016002353A publication Critical patent/JP2016002353A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6821Eye
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14507Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue specially adapted for measuring characteristics of body fluids other than blood
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H23/00Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms
    • A61H23/02Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms with electric or magnetic drive
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0613Apparatus adapted for a specific treatment
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/04Contact lenses for the eyes
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081Ophthalmic lenses with variable focal length
    • G02C7/083Electrooptic lenses
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)

Abstract

【課題】より簡単な構成でユーザの瞼の開閉を検出することができるようにする。【解決手段】表示装置11は、ユーザの眼球に装着されて使用される。発光素子53は外界側に向けて光を出力し、受光素子54は発光素子53から出力され、ユーザの瞼の裏側で反射された光を受光する。圧力検出部81は、表示装置11に加えられた圧力を検出する。温度検出部82は、表示装置11の外界側の温度を検出する。開閉判定部91は、受光素子54により受光された光の量、圧力検出部81により検出された圧力、または温度検出部82により検出された温度のうちの少なくとも何れかに基づいて、ユーザの瞼の開閉を検出する。本技術は、コンタクトレンズ型の表示装置11に適用することができる。【選択図】図6

Description

本技術は検出装置および方法、並びにプログラムに関し、特に、より簡単な構成でユーザの瞼の開閉を検出することができるようにした検出装置および方法、並びにプログラムに関する。
従来、ヘッドマウントディスプレイやコンタクトレンズ型の表示装置など、ユーザに装着可能な表示装置が知られている。このような表示装置では、ユーザの瞼の開閉を検出するなどし、ユーザが覚醒状態であるか、または睡眠状態であるかを特定すれば、より適切な駆動制御を行うことができる。
例えば、瞼の開閉を検出する技術として、瞼の裏面に装着される映像表示部とは別に、瞼の表面に検知部を設け、検知部において瞼の動きにより生じる微弱な電気信号に基づいて瞼の開閉を検出する技術が提案されている(例えば、特許文献1参照)。この技術では、瞼を開いた状態で筋肉から生じる電気信号と、瞼を閉じた状態で筋肉から生じる電気信号との差異からユーザの瞼の開閉が検出される。
また、例えばユーザの眼部に赤外光を照射する光源と、その赤外光の眼部からの反射光を検出する受光部とを設けて、瞼の開閉を検出する技術も提案されている(例えば、特許文献2参照)。この技術では、ユーザの瞼が開いているときには、表面が滑らかな眼球で赤外光が反射するので強い反射光が得られるが、瞼が閉じられているときには瞼の皮膚で赤外光のほとんどが吸収されてしまうので、弱い反射光となることが利用される。
さらに、例えばユーザの眼部を撮影するカメラを設け、カメラにより撮影された眼部の画像を解析することで瞼の開閉を検出する技術もある(例えば、特許文献3参照)。この技術では、瞼が開かれているときには、眼球の白目と黒目と瞳孔のコントラスト差が得られ、瞼が閉じられているときには、瞼の皮膚部分にコントラストが少ないことが利用されて瞼の開閉が判別される。
特開2007−127716号公報 特開平11−249064号公報 特開2003−076353号公報
しかしながら、上述した技術では簡単な構成で瞼の開閉を検出することは困難であった。
例えば筋肉から生じる微弱な電気信号を利用して瞼の開閉を検出する技術では、映像表示部とは別に瞼の表面に検知部を装着しなければならないため、使い勝手が悪くなってしまう。また、筋肉で生じる電気信号は微弱であり、高精度に瞼の開閉を検出することは困難であった。
さらに赤外光を照射する光源と、その赤外光の反射光を検出する受光部とを設ける技術においても表示装置とは別の外部検出装置が必要となり、使い勝手が悪くなってしまう。同様に、カメラにより撮影された眼部の画像を解析する技術においても、カメラなどの外部装置が必要となる。
特にコンタクトレンズ型の表示装置はユーザの眼球に装着され、ワイヤレスで使用されるので、瞼の開閉検出に外部装置を用いることはユーザに余分な機器を持ち歩かせたり、装着させたりすることになり負担となってしまう。そのため、より簡単な構成で瞼の開閉を検出する技術が必要とされている。
本技術は、このような状況に鑑みてなされたものであり、より簡単な構成でユーザの瞼の開閉を検出することができるようにするものである。
本技術の一側面の検出装置は、眼球に装着可能な検出装置であって、前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出する瞼開閉検出部を備える。
検出装置には、前記瞼の開閉の検出結果に応じて画像の表示を制御する表示制御部をさらに設けることができる。
検出装置には、前記外界から入射した光を受光する受光素子をさらに設け、前記瞼開閉検出部には、前記受光素子により受光された光の受光量に基づいて前記瞼の開閉を検出させることができる。
検出装置には、前記外界側に向けて光を出力する発光素子と、前記発光素子から出力され、前記瞼において反射された光を受光する受光素子とをさらに設け、前記瞼開閉検出部には、前記受光素子により受光された光の受光量に基づいて前記瞼の開閉を検出させることができる。
検出装置には、前記検出装置に加えられる圧力を検出する圧力検出部をさらに設け、前記瞼開閉検出部には、前記圧力検出部により検出された圧力に基づいて前記瞼の開閉を検出させることができる。
検出装置には、前記検出装置の前記外界側の温度を、前記生体情報として検出する温度検出部をさらに設け、前記瞼開閉検出部には、前記温度検出部により検出された温度に基づいて前記瞼の開閉を検出させることができる。
前記瞼開閉検出部には、前記検出装置の前記外界側の温度の変化に基づいて、前記瞼の開閉を検出させることができる。
前記温度検出部には、前記検出装置の前記眼球側の温度をさらに検出させ、前記検出装置の前記外界側の温度および前記眼球側の温度に基づいて、前記生体が睡眠状態であるか否かを判定する使用状況判定部をさらに設けることができる。
検出装置には、前記生体に関する情報に基づいて、前記生体が睡眠状態であるか否かを判定する使用状況判定部をさらに設けることができる。
検出装置には、前記瞼の開閉の検出結果に基づいて瞬きの回数を算出する算出部をさらに設け、前記使用状況判定部には、前記瞬きの回数に基づいて前記生体が睡眠状態であるか否かを判定させることができる。
検出装置には、前記瞼に照射され、前記瞼で反射された光の受光量、または前記検出装置に加えられた圧力に基づいて、前記生体の拍動情報または血流情報を算出する算出部をさらに設け、前記使用状況判定部には、前記拍動情報または前記血流情報に基づいて前記生体が睡眠状態であるか否かを判定させることができる。
検出装置には、前記生体の姿勢を検出する姿勢検出部をさらに設け、前記使用状況判定部には、前記姿勢の検出結果に基づいて前記生体が睡眠状態であるか否かを判定させることができる。
検出装置には、前記生体からの涙の分泌量を検出する涙検出部をさらに設け、前記使用状況判定部には、前記涙の分泌量に基づいて前記生体が睡眠状態であるか否かを判定させることができる。
前記涙検出部を、前記検出装置が前記眼球に装着された状態において、前記生体の涙腺近傍に位置するように設けることができる。
前記使用状況判定部には、前記生体に関する情報と、前記瞼の開閉の検出結果とに基づいて前記生体が睡眠状態であるか否かを判定させることができる。
検出装置には、光または振動により前記眼球を刺激し、前記生体に涙の発生を促す刺激部をさらに設けることができる。
検出装置には、前記生体から分泌された涙の成分分析を行う涙成分分析部と、少なくとも前記涙の成分分析の結果を用いて、前記生体の状態を特定する生体状態判定部とをさらに設けることができる。
前記検出装置を、コンタクトレンズ型の装置とすることができる。
本技術の一側面の検出方法またはプログラムは、眼球に装着可能な検出装置の検出方法またはプログラムであって、前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出するステップを含む。
本技術の一側面においては、眼球に装着可能な検出装置において、前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉が検出される。
本技術の一側面によれば、より簡単な構成でユーザの瞼の開閉を検出することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
表示装置の外観の構成例を示す図である。 表示装置の構成例を示す図である。 表示領域の構成例を示す図である。 表示領域の他の構成例を示す図である。 表示領域の他の構成例を示す図である。 表示装置の機能の構成例を示す図である。 心拍の拍動を示す図である。 脈拍数と睡眠状態の関係を示す図である。 瞼の開閉と検出される圧力の関係を示す図である。 姿勢の検出について説明する図である。 体温および外気温と、睡眠の関係を説明する図である。 瞬きと睡眠の関係を説明する図である。 涙検出部の配置位置について説明する図である。 涙の成分と時間推移について説明する図である。 累積した涙の成分と時間推移について説明する図である。 表示駆動処理を説明するフローチャートである。 覚醒状態モードにおける表示制御処理を説明するフローチャートである。 睡眠状態モードにおける表示制御処理を説明するフローチャートである。 表示装置の他の構成例を示す図である。 表示装置の他の機能の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈コンタクトレンズ型の表示装置の構成例〉
本技術は、コンタクトレンズ型の表示装置に関するものである。
コンタクトレンズ型の表示装置はユーザの眼球に装着されてワイヤレスで使用されるため、表示装置としての機能で使用する際には、ユーザは表示装置を装着したまま自由に歩き回るなどの動作が可能である。しかし、表示される画面内の情報に対するカーソルやポインタなどの選択移動操作や、ユーザの瞼の開閉の判定、ユーザが覚醒しているか否かの判定などを、カメラや検出装置等の外部機器にて行うことは、使用者に負担を与えたり制約を与えたりすることになる。
そこで、本技術では、画像を表示する表示素子近傍に受光素子を設けることで、表示装置以外に外部の装置を必要とせずにカーソルやポインタなどの操作を行うためのユーザインターフェースを実現することができるようにした。
コンタクトレンズ型の表示装置では、表示素子が発する光の眼球表面における反射光が受光素子で検出される。この場合、眼球表面の白目や虹彩では反射光が検出される。これに対して瞳孔部では眼球内に光が透過するため反射光が少ない。そこで、反射光の弱い部分が瞳孔として検知され、検知された瞳孔の動きから視線が検出される。
これにより、眼球の向いている方位を特定することが可能となるので、外部装置を用いずにカーソルやポインタなどの操作を行うためのユーザインターフェースを提供することが可能となり、簡単な構成で表示装置の操作性を向上させることができる。
また、本技術では、表示装置内部に受光素子や圧力センサ、温度センサなどを設けることで、これらの素子やセンサの出力に基づいてユーザの瞼の開閉を判定(検出)することができるようにした。
例えば受光素子により外界からの光が受光されているかを検出したり、表示装置から外界側に向けて射出した光がユーザの瞼の裏側で反射して受光素子で受光されたかを検出することにより、表示装置以外に外部の装置を必要とせずに瞼の開閉を判定することができる。さらに、例えばユーザの瞼等により表示装置に加えられる圧力を検出することでも、表示装置以外に外部の装置を必要とせずにユーザの瞼の開閉を検出することができる。
このように本技術では、表示装置以外に外部の装置を設けることなく、より簡単な構成で高精度にユーザの瞼の開閉を検出することができる。その結果、表示装置の使い勝手を向上させることができる。
次に、本技術を適用したコンタクトレンズ型の表示装置の具体的な実施の形態について説明する。
コンタクトレンズ型の表示装置は、図1に示すようにユーザの眼球に装着される。
図1では、ユーザの眼球EY11の表面にコンタクトレンズ型の表示装置11が装着されている。表示装置11は、いわゆるコンタクトレンズのように、ユーザの眼球EY11に装着したり、離脱したりすることが可能な形状となっている。
このような表示装置11は、例えば図2に示すように構成される。
すなわち、表示装置11は表示領域21、給電アンテナ22、信号アンテナ23、発電部24、姿勢検出部25、涙検出部26−1、涙検出部26−2、涙検出部26−3、信号処理部27、および表示素子駆動部28を有している。
なお、図2は表示装置11を図1中、左から右方向に見た図、つまり表示装置11を装着したユーザを正面から見た図であり、図2では表示装置11は円形状となっている。
表示領域21は、ユーザに対して提示する画像や文字等の情報を表示する複数の表示画素からなる表示素子と、表示画素に隣接して配置され、ユーザの眼球表面で反射した光を受光する視線検出用の受光素子とを有している。さらに、表示領域21はユーザの瞼の開閉を検出するための発光素子と受光素子も有している。
給電アンテナ22は、表示領域21を囲むように設けられており、外部から供給される磁界または電界による誘導起電力を受ける。信号アンテナ23は、ユーザの視線に基づいてユーザインターフェース操作を行なった結果などの信号処理部27から供給された情報を外部に送信したり、表示画素に表示する情報などの外部から送信されてきた情報を受信して信号処理部27に供給したりする。
発電部24は、外部からの磁界等による電磁誘導によって給電アンテナ22で生じた誘導電流を整流することで電力を得て蓄電し、表示装置11の各部に電力を供給する。なお、発電部24が所定方法により自ら発電を行なう場合や、充電池を有している場合には、表示装置11に給電アンテナ22を設けなくてもよい。
姿勢検出部25は、電子ジャイロセンサや加速度センサなどからなり、表示装置11が装着されたユーザの姿勢や動きを検出し、その検出結果を信号処理部27に供給する。例えば姿勢検出部25により、ユーザの頭部の動きやユーザの姿勢が検出される。
涙検出部26−1乃至涙検出部26−3は、ユーザから分泌される涙を採取し、得られた涙の分泌量の計測や涙の成分分析を行う。なお、以下、涙検出部26−1乃至涙検出部26−3を特に区別する必要のない場合、単に涙検出部26とも称する。
信号処理部27は、表示装置11全体を制御する。例えば信号処理部27は、表示領域21の視線検出用の受光素子から供給された信号に基づいて、表示装置11の各領域に配置された受光素子における光の受光量の違い(差)を検出することで、ユーザの視線を検出する。また、例えば信号処理部27は、表示領域21の瞼開閉検出用の受光素子から供給された信号に基づいて、ユーザの瞼の開閉を検出する。
さらに、信号処理部27は、姿勢検出部25から供給された検出結果や、視線の検出結果、信号アンテナ23により受信された情報などに基づいて表示素子駆動部28を制御し、表示領域21に画像等を表示させる。
具体的には、例えば表示装置11がユーザの眼球に対して回転した場合、姿勢検出部25ではその回転方向と回転量を検出することができる。そこで、信号処理部27は表示素子駆動部28を制御して、姿勢検出部25から供給された眼球に対する表示装置11の回転方向とは逆方向に表示装置11の回転量だけ、表示領域21に表示されている画像を回転させる。これにより、表示装置11がユーザの眼球上で回転してしまうことがあっても、その結果生じる画像の回転を補正し、ユーザに対して画像を見やすく提示することができる。
表示素子駆動部28は、信号処理部27の制御にしたがって表示領域21の表示素子を駆動させ、画像を表示させたり、信号処理部27の制御にしたがって表示領域21の発光素子を発光させたりする。
なお、以下、表示領域21の受光素子から出力される、受光素子の受光量に応じた信号を受光信号と称することとする。
また、表示装置11の表示領域21は、例えば図3に示すように構成される。なお、図3は、図1中、奥行き方向に表示装置11を見たときの表示装置11の断面の一部を示している。
図3では表示装置11の表示領域21には、画像等の情報を表示する表示画素51−1乃至表示画素51−5と、ユーザの眼球表面から入射する反射光を受光する、視線検出用の受光素子52−1乃至受光素子52−5とが設けられている。
さらに、表示領域21には、外界側に向けて光を射出する瞼開閉検出用の発光素子53−1および発光素子53−2と、外界側から入射してくる光を受光する瞼開閉検出用の受光素子54−1および受光素子54−2も設けられている。
そして、表示画素51−1乃至表示画素51−5からなる1つの表示デバイスが表示素子55とされる。
なお、以下、表示画素51−1乃至表示画素51−5を特に区別する必要のない場合、単に表示画素51とも称する。また、以下、受光素子52−1乃至受光素子52−5を特に区別する必要のない場合、単に受光素子52とも称する。
さらに、以下、発光素子53−1および発光素子53−2を特に区別する必要のない場合、単に発光素子53とも称し、受光素子54−1および受光素子54−2を特に区別する必要のない場合、単に受光素子54とも称する。
表示素子55は、例えば液晶表示素子や有機エレクトロルミネッセンス(OLED(Organic Light Emitting Diode))表示素子などから構成される。図3の例では、表示装置11の図中、右側、つまりユーザの眼球側に縦方向に表示画素51と受光素子52とが交互に並べられ、それらの素子の間に発光素子53と受光素子54が部分的に配置されている。
したがって、例えば図2では、基本的には表示領域21内の図2中、縦方向および横方向に表示画素51と受光素子52とが交互に並べられて配置され、一部の領域に発光素子53と受光素子54が配置されている。
また、表示装置11における表示画素51や受光素子52の図中、左側、つまり表示装置11の外界側には潤滑層56が設けられている。潤滑層56は例えば透明な合成樹脂などからなり、この潤滑層56によって、ユーザが表示装置11を眼に装着したときに、ユーザの瞼が円滑に移動できるようになされている。
なお、図3では、表示画素51と受光素子52、および発光素子53と受光素子54が密着している例について説明したが、これらの素子は必ずしも密着している必要はなく、表示画素51と受光素子52の間等に隙間が設けられていてもよい。また、図3では、1つの表示画素51に対して1つの受光素子52が設けられているが、複数の表示画素51に対して1つの受光素子52が設けられるようにしてもよい。
ここで、ユーザの視線の検出と、ユーザの瞼の開閉の検出について説明する。
まず、ユーザの視線の検出について説明する。
例えば、表示画素51からは、図3中、右側、つまり眼球側に向けて光が出力される。そして表示画素51から出力された光のうち、図1に示した眼球EY11における白目や虹彩などの不透明な部分に入射した光は、眼球EY11の表面で吸収および反射される。
したがって、表示領域21における、白目や虹彩などと対向している領域では、表示画素51から出力された光の一部は、眼球EY11表面で反射されて受光素子52により受光(検出)される。
これに対して、眼球EY11における瞳孔部分は透明であるので、表示画素51から出力された光のうち、瞳孔に入射した光は瞳孔において殆ど反射されず、眼球EY11内の網膜へと到達し、網膜で吸収される。したがって、表示領域21における瞳孔と対向している領域では、受光素子52において表示画素51から出力された光は殆ど検出されない。
このように、各受光素子52により受光された表示画素51からの光の量の違い(差)を検出することによって、眼球EY11(瞳孔)が向いている方向を示す眼球EY11の方位、つまりユーザの視線の方向を特定することができる。特に各時刻におけるユーザの視線の方向を特定することができれば、眼球の動き、つまり視線の動きを検出することができ、その視線の動きからユーザの心理状況や感情を推定することもできる。
続いて、ユーザの瞼の開閉について説明する。
発光素子53は図3中、左側、つまり外界側に向けて光を出力する。
このとき、例えばユーザが瞼を閉じている状態であれば、発光素子53から出力された光はユーザの瞼の裏側で反射され、その反射光は発光素子53近傍に位置する受光素子54へと入射し、受光素子54により受光される。
一方、発光素子53から光が出力されたとき、ユーザが瞼を開けている状態であれば、発光素子53から出力された光は、そのまま外界へと進む。そのため、この状態では発光素子53から出力された光は受光素子54へは入射しない。つまり、受光素子54では、発光素子53からの光が検出されない。
このように、各時刻において受光素子54により受光された発光素子53からの光の量の変化(差)を検出することによって、ユーザが瞼を開けているかまたは閉じているかを判定(検出)することができる。このようにして得られる瞼の開閉の判定結果は、ユーザが覚醒状態であるか、または睡眠状態であるかの判定や、表示装置11の駆動制御に利用することができる。
さらに、ユーザの瞼の開閉を検出する際に、発光素子53を特定の発光パターンで発光させる、つまり特定波形の信号を重畳させるようにすれば、外界からの光と、発光素子53からの光とを容易に分離させることができる。
なお、発光素子53から出力され、ユーザの瞼の裏側で反射された光を検出する受光素子54の配置位置は、発光素子53から数画素程度、つまり表示画素51数個分の距離程度に近接した位置であればよい。また、発光素子53に隣接して受光素子54が設けられるようにしてもよいが、発光素子53と受光素子54の距離が近すぎると、発光素子53から出力された光が直接、受光素子54に入射してしまうこともある。そのため、受光素子54は発光素子53から1画素以上離れた位置に配置されることが望ましい。
さらに、ここでは視線検出に用いられる表示画素51および受光素子52とは別に、瞼開閉検出用に発光素子53および受光素子54が設けられているが、表示画素51および受光素子52のうちの一部が瞼開閉検出用としても用いられるようにしてもよい。そのような場合、瞼開閉検出用としても用いられる表示画素51は、外界側および眼球側の両方に向けて光を射出するように構成される。また、瞼開閉検出用としても用いられる受光素子52は、眼球側から入射してくる光だけでなく、外界側から入射してくる光も受光するように構成される。
さらに、瞼開閉検出用の素子として発光素子53が設けられず、受光素子54のみが設けられるようにしてもよい。そのような場合、受光素子54が外界からの光を受光することで得られる受光信号に基づいて瞼の開閉判定が行われる。
すなわち、ユーザが瞼を開けている場合、多くの光が外界から受光素子54に入射するが、ユーザが瞼を閉じている場合には、外界から受光素子54には殆ど光が入射しない。そのため、特に発光素子53を設けていなくても受光素子54から出力される受光信号に基づいて、ユーザの瞼の開閉を判定することが可能である。
なお、ユーザの瞼の開閉判定は、受光素子54から出力される受光信号のみに基づいて行うようにしてもよいし、他のセンサ等の出力に基づいて行われるようにしてもよい。
また、図3では表示領域21内に表示画素51と受光素子52とが密着して設けられている例について説明したが、表示領域21に外部からの環境光を透過させる透過領域が設けられるようにしてもよい。
そのような場合、表示領域21は、例えば図4に示すように構成される。なお、図4における縦方向および横方向は、例えば図2における縦方向および横方向に対応する。また、図4において、1つの四角形の領域は表示画素51、受光素子52、発光素子53、受光素子54、または透過領域を表している。
具体的には、黒い四角形は1つの表示画素51の領域を表しており、斜線のハッチが施された四角形は1つの受光素子52の領域を表している。また、縦線のハッチが施された四角形は1つの発光素子53を表しており、横線のハッチが施された四角形は1つの受光素子54を表しており、白い四角形は透過領域を表している。
ここで、透過領域は表示画素51や受光素子52、発光素子53、受光素子54よりも光の透過率(透明度)の高い領域である。
この例では、表示領域21内に離散的に発光素子53と受光素子54のペアが配置されており、また全体的に比較的多くの透過領域が設けられている。
このように各表示画素51周辺に外界からの光(環境光)を透過する透過領域を設けることで、ユーザが表示装置11を装着した際にも周囲を見ることが可能となる。
さらに、図4に示した例に限らず、例えば図5に示すように表示画素51や受光素子52等が配置されるようにしてもよい。
図5の例においても、黒い四角形は1つの表示画素51の領域を表しており、斜線のハッチが施された四角形は1つの受光素子52の領域を表している。また、縦線のハッチが施された四角形は1つの発光素子53を表しており、横線のハッチが施された四角形は1つの受光素子54を表しており、白い四角形は透過領域を表している。
図5の例では、表示領域21に設けられた受光素子52の数は、表示領域21に設けられた表示画素51の数よりも少なくなっており、その分だけ多くの透過領域が設けられている。したがって、この例では表示装置11外部から表示領域21を透過する光(環境光)をより多くすることができ、図4に示した例と比べて、ユーザがより明るく周囲を見ることができる。
〈表示装置の機能の構成例〉
次に、以上において説明した表示装置11の機能の構成例について説明する。
表示装置11の機能的な構成は、例えば図6に示す構成とされる。なお、図6において、図2または図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図6に示す表示装置11は、表示領域21、給電アンテナ22、信号アンテナ23、発電部24、姿勢検出部25、涙検出部26、信号処理部27、表示素子駆動部28、圧力検出部81、温度検出部82、および記録部83を有している。
また、表示領域21には、表示画素51、受光素子52、発光素子53、および受光素子54が設けられている。さらに信号処理部27は開閉判定部91、使用状況判定部92、および駆動制御部93を有している。
圧力検出部81は圧力センサなどからなり、表示装置11に対して加えられた圧力を検出し、その検出結果を出力する。圧力検出部81からの出力は、例えば瞼開閉判定等に用いられる。
温度検出部82は、複数の温度センサからなり、ユーザの眼球面の温度や、ユーザの瞼の温度または外気温を測定し、その測定結果を出力する。温度検出部82の出力は、例えばユーザの体温や、ユーザの使用状況の判定、瞼の開閉判定などに用いられる。
ここで、ユーザの使用状況とは、ユーザが覚醒している状態であるか、またはユーザが睡眠している状態であるかの何れかの状態をいう。したがって、使用状況判定では、ユーザの状態が覚醒状態、または睡眠状態の何れの状態であるかが判定される。
記録部83は、例えば不揮発性のメモリなどからなり、信号処理部27から供給されたデータを記録したり、記録しているデータを信号処理部27に供給したりする。
また、表示装置11では、受光素子52、受光素子54、圧力検出部81、姿勢検出部25、涙検出部26、および温度検出部82の出力が、信号処理部27に供給されるようになされている。さらに、表示装置11では、記録部83、信号アンテナ23、給電アンテナ22、および発電部24も信号処理部27と接続されている。
信号処理部27の開閉判定部91は、受光素子54の出力、圧力検出部81の出力、または温度検出部82の出力の少なくとも何れかを用いて、ユーザの瞼の開閉判定を行う。また、使用状況判定部92は、受光素子52、受光素子54、圧力検出部81、姿勢検出部25、涙検出部26、または温度検出部82の出力の少なくとも何れかを用いて、ユーザの使用状況を判定する。
駆動制御部93は、表示素子駆動部28や信号アンテナ23、発電部24などの表示装置11の各部の駆動を制御する。
〈視線検出用の受光素子について〉
続いて、表示装置11の各部について、より詳細に説明する。
まず、視線検出用の受光素子52について説明する。
受光素子52から出力される受光信号は、上述したユーザの視線方向の検出だけでなく、ユーザの生体情報、より具体的には拍動情報の検出にも利用することができる。
例えば表示装置11では、表示画素51が所定波長の光を出力し、その光の眼球表面における反射により生じた反射光を受光素子52が受光する。そして、信号処理部27は、受光素子52から供給された受光信号の値に基づいて、表示装置11を装着しているユーザの心拍の拍動を検出する。
例えば、心拍の拍動は図7に示すように周期的に生じ、拍動の時間は周期に対して短く、拍動のタイミングで血流が生じている。なお、図7において、横軸は時間を示しており、縦軸は受光信号の値、つまり血流の量を示している。
図7では、血流量が急峻に変化している部分が拍動の部分であり、拍動が周期的に生じていることが分かる。
拍動で血流が多いタイミングでは、毛細血管を流れる血液が多くなるため、血流の有無から拍動を検出することが可能となる。眼球には毛細血管が通っており、心拍の拍動に合わせて血流がある。
血液中の成分であるオキシヘモグロビンとデオキシヘモグロビンでは光吸収の分光特性が異なり、805nmよりも短波長側ではデオキシヘモグロビンの方が高い吸光係数となり、805nmよりも長波長側ではオキシヘモグロビンの方が高い吸光係数となる。
そこで、信号処理部27は表示素子駆動部28を制御して、表示画素51から805nmよりも波長の短い所定波長の光と、805nmよりも波長の長い所定波長の光とを順番(交互)に出力させる。また、信号処理部27は表示画素51から出力され、眼球表面で反射した光を受光素子52に受光させる。ここで、805nmよりも波長の短い光は、可視光とされてもよい。
なお、近接する互いに異なる表示画素51から、それぞれ805nmよりも波長の短い所定波長の光と、805nmよりも波長の長い所定波長の光とを同時に出力させるようにしてもよい。そのような場合、信号処理部27は、それらの表示画素51から出力され、眼球表面で反射した光を、それらの表示画素51に隣接する受光素子52のそれぞれに受光させる。このとき、例えば表示画素51から出力された、所定波長の光を受光する受光素子52が、他の表示画素51から出力された、上記の所定波長とは異なる他の波長の光を受光しないように、互いに異なる波長の光を出力する表示画素51同士の配置位置や、受光素子52の配置位置を適切に定める必要がある。
信号処理部27は、短い波長の光を出力したときに得られた受光信号の値と、長い波長の光を出力したときに得られた受光信号の値との差分を求めることで、血液中にオキシヘモグロビンとデオキシヘモグロビンのどちらの成分が多く含まれているかを特定する。さらに、信号処理部27は、受光信号の差分から得られた特定結果と、所定期間における各時刻の受光信号の値の変化、つまり受光素子52で受光される反射光の強度の時間変動とに基づいて血流(血流量の変化)を検出し、血流の検出結果から拍動を求める。
血液中のヘモグロビンは、特定波長帯の光に強い吸収スペクトルを有しており、その特定波長帯の光を照射したときの血液(血管)での反射光は、血管の容量変動によって変化するヘモグロビンの量に応じて変化する。そのため、眼球(毛細血管)表面に照射した光の反射光の強度から血流量を検出することができる。
信号処理部27は、このようにして得られた拍動を示す拍動情報や、血流量示す血流情報を、必要に応じて記録部83に供給し、記録させる。
また、信号処理部27は1日のサイクルで、拍動情報や血流情報から、ユーザの1分間の脈拍数をカウントし、各時刻における脈拍数を記録部83に供給して記録させる。
さらに、使用状況判定部92は脈拍数や拍動情報、血流情報に基づいてユーザの使用状況判定を行う。
通常、人は睡眠状態のときよりも覚醒状態のとき、つまり活動しているときの方が脈拍数が多い。そこで、使用状況判定部92は例えば図8に示すように、受光素子52から供給された受光信号から得られた脈拍数に基づいて、ユーザが覚醒状態であるか、睡眠状態であるかの判定を行う。
図8において、横軸は時刻(時間)を示しており、縦軸は各時刻における脈拍数を示している。この例では、曲線C11は、ユーザについて測定される各時刻の脈拍数を示している。曲線C11により示される例では、通常、人が寝ている時刻である0時から6時の間や、24時付近において、他の時刻よりも脈拍数が低くなっていることが分かる。
使用状況判定部92は、例えば現在時刻の1分間の脈拍数が60から80の間の範囲、つまり図8における脈拍数の値域RG11内の値である場合、現時点でユーザは睡眠状態であると判定する。一方、ユーザの脈拍数が値域RG11外の値である場合、使用状況判定部92は、現時点でユーザは覚醒状態であると判定する。
なお、使用状況の判定に用いられる値域RG11は、ユーザの実際の脈拍数に基づいて定められるようにすることができる。
例えば、ユーザが初めて表示装置11を装着したときなどに、ユーザに対して、これから睡眠状態となることを入力するように促し、ユーザが実際に睡眠状態となっているときの脈拍数を測定し、その測定結果から値域RG11が定められるようにすればよい。このような値域RG11は、例えば記録部83等に記録される。
ここで、ユーザが睡眠状態となる旨の意思表示の入力は、例えば表示装置11が表示領域21にガイダンスを表示させ、ユーザがそのガイダンスに従って実際に寝る前に、表示装置11の図示せぬ音声認識部を利用して音声入力等により行われるようにしてもよい。
また、音性認識機能以外にも、ユーザが任意のパターンで瞬きをしたり、ユーザが頭部を傾ける動作や左右に振る動作を行ったり、頭部を叩いて振動を利用したりしてユーザが睡眠状態となる旨を入力するようにしてもよい。
さらに、ユーザの実際の睡眠時における脈拍数を一週間程度など、一定期間取得するようにし、その間に計測された脈拍数から値域RG11が定められるようにしてもよい。また、計測された脈拍数のデータをクラウドサーバにて管理および解析することでデフォルトの値域を定め、その値域をアップデートすることでガイダンスがなくても直ちに使用することができるようにしてもよい。その他、デフォルトの値域を毎日更新される脈拍数のデータで補正し、記録部83に記録しておくようにしてもよい。
また、ここでは脈拍数に基づいてユーザの使用状況を判定すると説明したが、受光素子52から供給された受光信号から得られた血流情報、つまり血流量に基づいて、使用状況を判定するようにしてもよい。
〈瞼開閉検出用の受光素子について〉
次に、瞼開閉検出用の受光素子54について説明する。
上述したように受光素子54は、発光素子53から出力され、ユーザの瞼の裏側で反射された光を受光し、その受光量に応じた受光信号を信号処理部27に出力する。したがって、開閉判定部91は、受光素子54から供給された受光信号の受光量に基づいて、ユーザの瞼の開閉判定を行うことができる。また、開閉判定の結果を用いれば、ユーザが瞼を閉じている時間(以下、閉瞼時間とも称する)も判定することができる。
なお、ユーザが瞼を開けているときには、外界からの光も受光素子54で受光されるため、外界からの光と発光素子53からの光とを区別するために特定の波長帯域の光を発光素子53から出力させ、その波長帯域の光の受光量を受光素子54で検出することが望ましい。
また、上述したように外界からの光と発光素子53からの光とを区別するために、発光素子53を特定の発光パターンで発光させる場合には、受光素子54から出力された受光信号の振幅が発光パターンに応じて変化しているか否かによって、発光素子53からの光が検知されているかを知ることができる。
例えば特定の発光パターンとして発光素子53を点滅させれば、受光信号における発光素子53の消灯時の値と点灯時の値との差から、発光素子53からの光の受光量を得ることができる。これにより、より高精度にユーザの瞼の開閉判定を行うことができる。
また、ユーザが瞼を閉じた状態である場合、受光素子54から出力される受光信号を利用しても受光素子52における場合と同様に、ユーザの拍動情報や血流量を検出することができる。この場合、発光素子53から出力された光がユーザの瞼の裏側で反射され、受光素子54で受光される。そして、ユーザの瞼の裏側にある毛細血管を流れる血流量が検出されることになる。
したがって、使用状況判定部92は、受光素子54から出力された受光信号によって得られた血流情報や拍動情報に基づいて、ユーザの使用状況を判定することもできる。
〈圧力検出部について〉
圧力検出部81は、表示装置11に対して加えられた圧力を検出し、その検出結果を信号処理部27に出力する。
したがって、例えばユーザが表示装置11を装着したまま瞼を閉じているときには、圧力検出部81から出力される信号により示される圧力は比較的大きくなる。これに対して、ユーザが表示装置11を装着している状態で瞼を開いているときには、圧力検出部81から出力される圧力は、瞼を閉じているときよりも小さくなる。
そのため、ユーザが表示装置11を1日中装着している場合、各時刻における表示装置11への圧力の測定結果として、例えば図9に示す測定結果が得られる。
なお、図9において横軸は時刻(時間)を示しており、縦軸は各時刻において圧力検出部81により検出される表示装置11への圧力を示している。この例では、折れ線C21は、ユーザについて測定される、各時刻において表示装置11に加えられた圧力を示している。
折れ線C21により示される例では、通常、人が寝ている時刻である0時から6時の間や、24時付近において、ある程度高い圧力が継続して表示装置11に加えられていることが分かる。これは、ユーザが寝ているときには瞼が閉じられており、瞼によって表示装置11にほぼ一定の圧力が加えられるからである。
これに対して、ユーザが活動している時間帯、すなわち6時から21時の間ではユーザが表示装置11を装着した状態で瞼を開いているので、殆どの時刻において圧力検出部81により検出される圧力は低くなる。但し、ユーザが活動している間でも瞬きが行われるので、これらの時間帯においても短時間だけ圧力検出部81により検出される圧力が高くなる時刻が存在する。
圧力検出部81から圧力の検出(測定)結果の供給を受ける信号処理部27は、供給された圧力を示す情報を記録部83に供給して記録させたり、供給された圧力を示す情報に基づいて瞼の開閉判定を行ったりする。
例えば信号処理部27の開閉判定部91は、圧力検出部81から供給された信号により示される圧力に基づいて、直近数回の測定により得られた圧力の平均値など、比較的短い時間の圧力の平均値を算出し、得られた平均値を現時刻における表示装置11への圧力とする。そして開閉判定部91は、算出された圧力が所定の閾値以上である場合、ユーザは瞼を閉じていると判定する。
なお、瞼による圧力を利用した瞼開閉判定に利用される閾値も、上述した使用状況判定に用いる脈拍数の値域RG11と同様に、ガイダンスに従って測定した圧力に基づいて算出されるようにすればよい。
また、圧力検出部81としての圧力センサに接するユーザの瞼の裏側には血管があるため、ユーザが瞼を閉じている状態であれば、圧力検出部81から出力される信号により示される圧力に基づいて、ユーザの拍動情報を得ることができる。例えば、拍動情報の算出は、開閉判定部91により瞼が閉じられていると判定されたときに、圧力検出部81によって測定された圧力に基づいて行われる。
使用状況判定部92は、圧力検出部81での圧力測定により得られる拍動情報に基づいて使用状況判定を行うことができる。具体的には、例えば使用状況判定部92は、図8の例における場合と同様に、ユーザが瞼を閉じている状態で得られた拍動情報により示される脈拍数(拍動数)と、予め定められている値域とを比較することで、ユーザが覚醒状態であるか、または睡眠状態であるかを判定する。
〈姿勢検出部について〉
姿勢検出部25は、単数または複数の電子ジャイロおよび加速度センサから構成される。
例えば、姿勢検出部25を構成するセンサとして単数の電子ジャイロが利用される場合には、電子ジャイロの傾き、つまり表示装置11の傾きが検出される。これに対して、例えば姿勢検出部25を構成するセンサとして複数の電子ジャイロが利用される場合には、各電子ジャイロの異なる配置位置を基準面とする傾きが検出される。また、姿勢検出部25を構成する加速度センサでは、姿勢検出部25(表示装置11)に加えられる加速度が検出される。
姿勢検出部25としての各センサで得られた情報は、姿勢検出部25から信号処理部27に供給され、表示装置11を装着しているユーザの姿勢を特定する姿勢判定に利用される。
なお、姿勢検出部25の出力から、ユーザの姿勢をより正確に測定するには、姿勢検出部25を構成する各センサの基準面と地面(地平面)とのより正確な関係を求めておく必要がある。
そこで、ユーザが表示装置11を初めて装着したときなどに、基準面と地面の関係を示す姿勢情報のキャリブレーションを行うようにしてもよい。
そのような場合、例えば信号処理部27が温度検出部82から供給された、表示装置11におけるユーザの眼球側の温度と、外界側の温度との差が所定の値以上であることを検出したときにキャリブレーションが行われるようにすればよい。
姿勢情報のキャリブレーション時には、例えば信号処理部27は、ユーザが立位の姿勢で正面の1点を見つめるように促すガイダンス(画像)を表示領域21に表示させる。すると、ユーザは、ガイダンスに従って立位の姿勢をとり、その後、例えば表示装置11の図示せぬ音声認識部を利用して音声等により立位の姿勢となったことを入力する。
信号処理部27は、ユーザが立位の姿勢となると、姿勢検出部25から供給される各センサの出力に基づいて、姿勢検出部25を構成する各センサの基準面と、地面との関係を学習し、各基準面の正面と上下左右の位置関係を示す情報を記録部83に供給し、記録させる。そして、信号処理部27は、姿勢検出部25からの出力に基づいて姿勢判定をするときには、適宜、記録部83に記録されている基準面の位置関係を示す情報を利用する。これにより、より高精度にユーザの姿勢を特定することができる。
なお、キャリブレーション時における、ユーザによる立位の姿勢となった旨の入力は、音声認識機能を利用する方法の他、どのような方法で行われてもよい。例えば、ユーザが任意のパターンで瞬きをしたり、ユーザが頭部を傾ける動作や左右に振る動作を行ったり、頭部を叩いて振動を利用したりして入力を行うようにしてもよい。
また、固視微動(マイクロサッケード)による眼球運動を利用して姿勢情報の精度と表示素子55の描画位置精度を向上させるようにしてもよい。例えば固視微動による眼球運動が、眼球中心を基準点とした角速度の運動であるとして、姿勢検出部25を構成する各センサから得られる基準面の傾きと加速度から、固視微動の眼球運動を複数回検出し、検出された眼球運動のデータの角速度成分のばらつきを無視するようにすれば、姿勢情報の測定精度を向上させることができる。
また、哺乳類の網膜の視細胞の受光特性として、光の変化が大きい時ほど反応することが知られている。そのため、固視微動にて入力する光をランダムに変化させることで、常に入力する光を変化させて視覚野に到達させることで裸眼で認識できる画像を人は獲得できる。
眼球にコンタクトレンズ型の表示装置11を装着して画像を表示すると、コンタクトレンズ型の表示装置11と眼球が同時に動くため、 固視微動によるランダム入力のメリットが享受できなくなる。例えば表示素子55の画素数やフレーム周波数の分解能と表示される画像の特性によっては、画像がぼやけて認識されるなど、通常の見え方とは異なる認識がされることがある。
そこで、そのような状態に陥る条件になった時、コンタクトレンズ型の表示装置11に表示される画像の全体もしくは一部の画像をω度にn画素ずらすなど、ω,n係数をランダムに設定することで、固視微動が減少、または固視微動がなくなる場合の補正をすることができるようになる。また、固視微動のパターンは、コンタクトレンズ型の表示装置11の位置や加速度センサで取得して一定時間のパターン解析を行い、次の予測値をリアルタイムでフィードバックしてもよい。
信号処理部27は、このような姿勢検出部25の各センサから供給される信号に基づいて、ユーザの姿勢判定を行う。
具体的には、例えば姿勢検出部25を構成する電子ジャイロが、ユーザが表示装置11を装着して立位の姿勢をとったときに、地面に対して垂直であり、かつユーザから見て前後方向を法線の方向とする面を基準面(以下、上下基準面とも称する)として有するとする。また、上下基準面のユーザ前方側にある面が基準面の正面であるとする。
さらに、例えば姿勢検出部25を構成する他の電子ジャイロが上下基準面に対して垂直、つまりユーザが表示装置11を装着して立位の姿勢をとったときに地面に対して水平である面を基準面(以下、左右基準面とも称する)として有しているとする。
このような場合、例えば地面に対する上下基準面のなす角度として垂直に近い値が姿勢検出部25により検出されたとき、信号処理部27は、ユーザの姿勢が立位や座位などの抗重力姿勢である可能性が高いと判定する。
また、例えば地面に対する上下基準面のなす角度として水平に近い値が姿勢検出部25により検出されたとき、信号処理部27は、ユーザの姿勢が仰臥位、側臥位、腹臥位などの体を横にして休める姿勢である可能性が高いと判定する。
特に、信号処理部27は上下基準面の正面が上面であるとき、つまり上方を向いているときには、ユーザの姿勢が仰臥位である可能性が高いと判定し、上下基準面の正面が下面(下向き)であるときには、ユーザの姿勢が腹臥位である可能性が高いと判定する。
また、信号処理部27は、地面に対する左右基準面のなす角度として垂直に近い値が姿勢検出部25により検出されたとき、ユーザの姿勢が腹臥位の可能性があると判定する。
さらに、使用状況判定部92は、信号処理部27による姿勢判定の結果に基づいて、ユーザの使用状況を判定する。
例えば、ユーザが表示装置11を1日中装着している場合、各時刻における姿勢検出部25による各基準面の地面に対する角度の検出結果として、図10に示す結果が得られる。
なお、図10において横軸は時刻(時間)を示しており、縦軸は各時刻において姿勢検出部25により検出される、地面に対する上下基準面または左右基準面の角度を示している。特に、図中、左側の縦軸は、上下基準面と地面とのなす角度を示しており、図中、右側の縦軸は、左右基準面と地面とのなす角度を示している。
また、図10では折れ線C31は各時刻における地面に対する上下基準面の角度を示しており、折れ線C32は各時刻における地面に対する左右基準面の角度を示している。
折れ線C31に示される上下基準面の角度は、通常、人が寝ている時刻である0時から6時の間や24時付近において、ほぼ0度となっており、これらの時刻ではユーザが横たわった姿勢となっていることが分かる。また、これらの時刻では、折れ線C32に示される左右基準面の角度は不規則に大きく変化しており、ユーザが寝返りを打っていることが分かる。
これに対して、ユーザが活動している時間帯、すなわち朝6時から夜22時の間ではユーザは立位や座位の姿勢でいることが多いため、上下基準面の角度は90度前後となっており、左右基準面は0度前後となっている。
信号処理部27では、各時刻における上下基準面の角度と左右基準面の角度などを用いて、ユーザの姿勢判定を行う。
また、使用状況判定部92は、信号処理部27による姿勢判定の結果に基づいて、使用状況の判定を行う。具体的には、例えば使用状況判定部92は、一定時間以上、仰臥位、側臥位、腹臥位などの体を横にしている姿勢であり、かつ一定時間以上、姿勢検出部25により動作(動き)が検出されなかった場合に、睡眠状態であると判定する。
なお、使用状況判定部92が姿勢判定の結果を用いずに、姿勢検出部25による姿勢や動きの検出結果に基づいて使用状況を判定してもよい。
〈温度検出部について〉
続いて、温度検出部82について説明する。
温度検出部82は、表示装置11の表面(外界側の面)と裏面(眼球側の面)に複数配置された温度センサ、および各温度センサと表示装置11の接合面に設けられた温度伝達阻害素材から構成されている。
温度検出部82を構成する、表示装置11の表面に設けられた温度センサでは、表示装置11の外界側の面の温度、つまり外気温または瞼の温度が測定(検出)される。例えば、ユーザが瞼を閉じている状態では、表面に設けられた温度センサによりユーザの瞼の温度が測定され、ユーザが瞼を開けている状態では、表面に設けられた温度センサにより外気温が測定されることになる。
なお、以下、表示装置11の表面に設けられた温度センサにより測定される温度を単に外気温とも称することとする。
また、温度検出部82を構成する、表示装置11の裏面に設けられた温度センサは、表示装置11におけるユーザの眼球側の面の温度、つまりユーザの眼球面の温度を測定する。
温度検出部82により測定された外気温と眼球面の温度は、信号処理部27に供給され、ユーザの体温の予測などに利用される。また、外気温および眼球面の温度の測定結果は、適宜、信号処理部27から記録部83に供給され、記録される。
なお、ユーザの正確な体温の予測等のためには、ユーザにより個人差が生じる情報、例えばユーザが瞼を閉じている状態における、外気温と眼球面の温度の上昇や、それらの温度がどの程度の時間で収束するかなどの情報を予め測定しておく必要がある。
そこで、例えばユーザが表示装置11を初めて装着した場合などに、表示装置11の表面と裏面の温度差、つまり外気温と眼球面の温度の差が検出されたとき、信号処理部27は、ユーザに対して瞼を閉じるように促すガイダンス(画像)を表示領域21に表示させる。すると、ユーザは、ガイダンスに従って瞼を閉じ、その後、例えば表示装置11の図示せぬ音声認識部を利用して音声等により瞼を閉じたことを入力する。
信号処理部27は、ユーザが瞼を閉じた状態となると、温度検出部82から出力された表面と裏面の温度、つまり外気温と眼球面の温度に基づいて、それらの外気温と眼球面の温度の上昇や、それらの温度の収束時間等を計測して記録部83に供給し、記録させる。
なお、温度の上昇や収束時間等の計測時における、ユーザによる瞼を閉じた旨の入力は、音声認識機能を利用する方法の他、どのような方法で行われてもよい。例えば、ユーザが任意のパターンで瞬きをしたり、ユーザが頭部を傾ける動作や左右に振る動作を行ったり、頭部を叩いて振動を利用したりして入力を行うようにしてもよい。
このようにして得られた温度の上昇や収束時間等の計測結果は、信号処理部27によってユーザの体温の予測時などに適宜、利用される。
例えば信号処理部27は、ユーザが瞼を閉じて表示装置11の表面と裏面の温度の上昇が収束したとき、表面の温度と裏面の温度、つまりそのときの瞼の温度と眼球面の温度をユーザの基準体温とする。
また、信号処理部27は、ユーザが瞼を開けたときの表示装置11の表面にある温度センサで測定された温度を外気温とするとともに、表示装置11の裏面にある温度センサで測定された温度と基準体温との差分からユーザの体温を予測する。
なお、信号処理部27は外気温や瞼の温度を測定する場合など、表示装置11の表面に配置された温度センサにより測定される温度として、一定時間経過したときの温度の平均値など、平滑化された温度を利用する。これにより、ユーザが瞬きをしたときに発生する温度上昇等のノイズ要因を除去し、外気温等の測定精度を向上させることができる。
また、体が睡眠を必要とする場合には体の表面の体温が上がる現象がおこることが知られている。そこで、予測により得られた体温の上昇を利用して、光や映像などを提示したときに、その提示が睡眠を促す効果を有しているか否かを判定するなどしてもよい。
さらに、ユーザが瞼を開閉させると、表示装置11の表面に設けられた温度検出部82としての温度センサにより測定される温度が変化する。そこで、開閉判定部91は、外気温(瞼の温度)、つまり表示装置11の表面に設けられた温度センサにより測定された温度の変化(温度上昇)に基づいて、ユーザの瞼の開閉判定を行う。例えば、外気温が基準となる所定の温度から上昇した場合には、瞼が閉じられていると判定され、外気温が基準となる所定の温度に戻った場合には、瞼が開かれていると判定される。
また、温度検出部82の出力から、ユーザの体温と外気温が得られるので、使用状況判定部92は、それらの温度に基づいてユーザの使用状況を判定する。
例えば、ユーザが表示装置11を1日中装着している場合、各時刻における外気温とユーザの体温の測定結果として、例えば図11に示す測定結果が得られる。
なお、図11において横軸は時刻(時間)を示しており、縦軸は各時刻における外気温またはユーザの体温を示している。特に、図中、左側の縦軸は体温を示しており、図中、右側の縦軸は外気温を示している。
図11では、折れ線C41は、温度検出部82からの出力に基づいて予測された、各時刻におけるユーザの体温を示している。また、折れ線C42は温度検出部82により測定された、各時刻における外気温を示している。
この例では、通常、人が寝ている時刻である0時から6時の間や、24時付近において、ユーザの体温や外気温はほぼ一定の温度となっている。特に、ユーザが睡眠状態である場合、ユーザは瞼を閉じているので温度検出部82により測定される外気温は、ユーザの瞼の温度となり、この瞼の温度はユーザの体温に近い温度となる。
そのため、ユーザが睡眠状態である場合には、外気温と体温との差は比較的小さく、しかもその差はほぼ一定となっている。
これに対して、ユーザが活動している時間帯、すなわち6時から21時の間ではユーザが表示装置11を装着した状態で瞼を開いているので、殆どの時刻においてユーザの体温と外気温との差は大きい状態となっている。
そこで、例えば使用状況判定部92は、外気温と体温との差が所定の閾値以上である場合、ユーザが覚醒状態であると判定する。
なお、外気温と体温との差を利用した使用状況判定に用いる閾値も、例えば上述した使用状況判定に用いる脈拍数の値域RG11と同様に、ガイダンスに従って測定した外気温や基準体温等に基づいて算出されるようにすればよい。
また、図11から分かるように、ユーザが瞼を閉じている状態では、外気温、つまり瞼の温度がほぼ一定の温度に保たれる。そこで、例えば一定時間における外気温の変化量が所定の閾値以下である場合、開閉判定部91が、ユーザは瞼を閉じていると判定するようにしてもよい。
さらに、開閉判定部91では、ユーザの体温や外気温などに基づいて瞼の開閉判定が行われるので、その開閉結果から閉瞼時間や瞬きの回数を求めることができる。
そこで、使用状況判定部92は、例えば1分間におけるユーザの瞬きの回数に基づいて、使用状況判定を行うようにしてもよい。
例えばユーザが表示装置11を1日中装着している場合、各時刻におけるユーザの瞬きの回数の測定結果として、例えば図12に示す測定結果が得られる。
なお、図12において横軸は時刻(時間)を示しており、縦軸は各時刻におけるユーザの1分間の瞬きの回数を示している。
図12では、折れ線C51は、外気温とユーザの体温とを利用した瞼開閉判定の結果に基づいて求められた、各時刻におけるユーザの瞬きの回数を示している。この例では、通常、人が寝ている時刻である0時から6時の間や、24時付近において、ユーザの瞬きの回数は0となっている。
これに対して、ユーザが活動している時間帯、すなわち6時から21時の間ではユーザが表示装置11を装着した状態で瞬きを行うので、ユーザの瞬きの回数は15から30程度の一定の回数となっている。
そこで、例えば使用状況判定部92は、瞬きの回数が予め定めた所定の値域内にある場合、ユーザが覚醒状態であると判定する。なお、瞬きの回数を利用した使用状況判定に用いる値域も、例えば上述した使用状況判定に用いる脈拍数の値域RG11と同様に、ガイダンスに従って予め測定した瞬きの回数に基づいて算出されるようにすればよい。
また、ここでは、外気温に基づいて瞼開閉判定を行い、その判定結果を利用して瞬きの回数を求めると説明した。しかし、瞬きの回数は、温度検出部82の出力を利用した瞼開閉判定の結果に基づいて求めるほか、圧力検出部81により測定された圧力や、受光素子54から出力される受光信号などに基づいて行われた瞼開閉判定の結果に基づいて求められるようにしてもよい。
〈涙検出部について〉
さらに、涙検出部26について説明する。
涙検出部26は例えば図13に示すように、ユーザが表示装置11を装着したときに、ユーザの涙腺T11の近傍や、涙点TP11および涙点TP12の近傍に位置するように配置される。
なお、図13は表示装置11を装着したユーザを正面から見たときの図を示しており、図中、右側がユーザの顔の中央側であり、図中、左側がユーザの顔の外側である。
この例では、表示装置11の眼球側の面の図中、左上、すなわち顔外側の上部に涙検出部26−1が設けられている。この涙検出部26−1の近傍には涙腺T11がある。また、表示装置11の眼球側の面の図中、右上と右下、すなわち顔中央側の上部と下部に、それぞれ涙検出部26−2および涙検出部26−3が設けられている。
ユーザの涙は、ユーザの上瞼外側にある涙腺T11から分泌され、鼻に近い涙点TP11および涙点TP12から排出される。涙検出部26−1は分泌された直後の涙を検出し、涙検出部26−2および涙検出部26−3は、ユーザの眼球上を経由した涙を検出する。
このように涙腺T11に最も近い部分に涙検出部26−1を設けることで、涙以外の外乱物質の影響を軽減するとともに、より多くの涙を検出することができ、涙の分泌量の計測や涙の成分分析をより正確に行うことができる。
また、涙検出部26−2および涙検出部26−3で検出された涙の分泌量と、涙検出部26−1で検出された涙の分泌量との差異に基づいて、ユーザの瞳孔部分表面の眼球中央の乾き具合を精度よく求めることができる。なお、涙検出部26−2および涙検出部26−3は、必ずしも設けられていなくてもよい。
コンタクトレンズ型の表示装置11の利用時には、ユーザの眼球との摩擦が減ることによって眼球を傷付けないために、表示装置11と眼球の間に涙の膜が必要となる。
例えば睡眠などで長時間、ユーザが瞼を閉じていると、涙の分泌量が減少することが知られていることから、長時間に渡り瞼を閉じて表示装置11を使用する際には涙分泌量の減少に注意が必要である。
そこで、信号処理部27は、涙検出部26で検出された涙の分泌量から得られた眼球の乾き具合によって、ユーザの眼球の乾きが検出された場合には、表示画素51の駆動を制御し、表示画素51から出力する光の波長や光量を変化させることで、適度にユーザの眼に刺激を与える。これにより、ユーザに対して涙の発生が促され、眼の乾きを防止することができる。
なお、涙の発生を促すためにユーザに対して与える刺激は光による刺激に限らず、図示せぬ振動発生部による振動によって眼に刺激を与え、涙の発生を促すようにしてもよい。
また、各涙検出部26では、ユーザから分泌された涙の量および涙の成分が検出される。例えば涙検出部26は、涙検出部26に設けられた微細孔を介して、ユーザの眼球表面からマイクロポンプにより涙を分析室へと採取する機構と、分析室において、採取されたユーザの涙に含まれる成分を分析する機能ブロックとを有している。さらに、涙検出部26は、採取されたり、成分分析したりした涙を排出する機構も有している。
ところで、一般的に人が睡眠状態であるときよりも覚醒状態であるときの方が、より多くの涙が分泌されることが知られている。そのため、涙検出部26により検出されたユーザの涙の分泌量に基づいて、ユーザの使用状況を判定することができる。
使用状況判定部92は、涙検出部26から供給されたユーザの涙の分泌量と、予め定めた閾値とを比較してユーザの使用状況を判定する。具体的には、例えば涙の分泌量が閾値以上である場合、覚醒状態であると判定される。
なお、涙の分泌量と比較される閾値は、例えばユーザごとに予め測定された睡眠状態のときの涙の分泌量と、覚醒状態のときの涙の分泌量とから求められる。
さらに、涙検出部26における涙の成分分析では、採取された涙に含まれている各成分の濃度(量)だけでなく、各成分の初期基準濃度や、最大濃度、半減濃度、最大濃度到達時間、半減濃度到達時間なども求めることが可能である。
なお、涙の成分分析方法は、タンパク質やホルモンなどの成分の分類、分子量、量的精度、時間分解能、表示装置11に封入できる誘導体の人体への安全性、分析で必要な熱量、表示装置11への実装の容易性などから、適切な成分分析手法を定めればよい。
具体的には、例えばビフィズス菌によるPh変異や、ガラス電極法(半導体)、電気泳動法、等電点電気泳動法、免疫電気泳動、ELISA(Enzyme-Linked ImmunoSorbent Assay)、合成基質法 、アミロクラスチック法 、ネフェロメトリーなどの散乱比濁法、FEIA(蛍光酵素免疫測定法)、EIA(酵素免疫測定法)、RIA法、高性能液体クロマトグラフィーなどの酵素的誘導体化と電気化学または蛍光検出を用いる方法、サイクリック,リニアスイープなど各種ボルタンメトリー(voltammetry)-pH電極などで電位差を測定する方法(potentiometry)、鉄,マンガン等のppt(nM)レベル計測を行う化学発光法(chemiluminescence)、電子捕獲負イオン化学イオン化質量分析方法、くし型電極にコルチゾール抗体が固定化されたコルチゾールセンサチップを利用する方法など、表示装置11に実装できる方式のものを複数実装すればよい。
ここで、図14に涙検出部26により採取された涙に含まれる所定の成分Aと、その成分Aの時間推移の関係の例を示す。なお、図14において横軸は時間を示しており、縦軸は検出された所定の成分Aの濃度を示している。
この例では、曲線C61は各時刻において検出された成分Aの濃度を示している。
曲線C61から分かるように、成分Aの濃度は検出開始直後は、ほぼ初期基準濃度ID11であったが時間とともに増加し、最大濃度MD11となる。そして、成分Aの濃度が最大濃度MD11となった後、成分Aの濃度は時間とともに減少して半減濃度HD11となり、その後、さらに減少して再び初期基準濃度ID11となる。
ここで、成分Aの濃度の検出を開始してから、最大濃度MD11に到達するまでの時間が最大濃度到達時間MDT11とされ、成分Aの濃度の検出を開始してから、半減濃度HD11に到達するまでの時間が半減濃度到達時間HDT11(半減期)とされる。
涙検出部26は、以上のようにして涙の分泌量の測定や涙の成分分析を行うと、得られた涙の分泌量や成分分析の結果を信号処理部27に供給する。そして信号処理部27は、必要に応じて、これらの涙の分泌量や成分分析の結果を記録部83に供給し、記録させる。
このとき、涙の分泌量や成分分析の結果は計測時間の間隔と涙検出部26の連続計測回数に準じて記録部83に蓄積される。特に、記録部83に蓄積された成分分析の結果のデータは、累積した涙の成分と時間推移の関係を表すデータとなる。
すなわち、所定の時間ΔTの間に取得された所定の成分Aの濃度の積分値を求めると、例えば図15に示すように、各時刻における成分Aの濃度の積分値が得られる。なお、図15において横軸は時刻(時間)を示しており、縦軸は時間ΔTの間に取得された成分Aの濃度の積分値を示している。
この例では、曲線C71が、1日の各時刻における時間ΔTの間に取得された成分Aの濃度の積分値を示しており、時間とともに成分Aの濃度の積分値が変化していることが分かる。信号処理部27では、このように時間ΔTに対して増加する単位時間濃度が、成分Aの濃度増加率として算出される。
なお、ここでは時間ΔTの間に取得された成分Aの濃度の積分値を求める例について説明したが、時間ΔTの間に取得された成分Aの濃度の最大値を求めてもよい。
また、信号処理部27は涙の成分分析の結果に基づいて、ユーザの生体状態を特定することができる。これは、ユーザの感情等の生体状態の変化に伴って、ユーザから分泌される涙に含まれる各成分の含有量が時間とともに変化するからである。
ユーザの生体状態の特定にあたっては、涙に含まれる各成分の濃度に限らず、最大濃度や、最大濃度到達時間、濃度増加率などを用いることができる。
ここで、ユーザの生体状態により変化する涙の状態として、主に眼を保護する状態の涙、刺激性の涙、およびエモーションティアの3つの涙を定めるとする。
まず、眼を保護する状態の涙はユーザが通常状態であり、特に大きな感情の起伏のないときに分泌される涙であるとする。つまり、まばたきとともに涙の膜を眼球に張り、眼を保護するための涙である。
また、刺激性の涙は、目に異物が入ったり、玉ねぎの硫化アリルなどの刺激を受けたりしたときなど、ユーザに短期的な痛みのある状態で分泌される涙、つまり反射刺激に対する防衛のための涙である。
エモーションティアとは、嬉しいときや悲しいときなど、感情の発露とともに分泌される涙である。このようなエモーションティアには、例えば連続性の涙やストレス性の涙などが含まれる。
連続性の涙は、ユーザに疼痛が連続して発生している状態で分泌される涙である。したがって、例えばユーザに短期的な痛みがある状態が長期間続くと、ユーザから分泌される涙は、刺激性の涙から連続性の涙へと変化する。
ストレス性の涙は、ユーザが、深い悲しみや心配が連続して発生している状態であるときに分泌される、ストレスに起因する涙である。
信号処理部27は、涙検出部26から供給された涙の分析結果や、記録部83に記録されている涙の分析結果に基づいて、ユーザから分泌されている涙が、眼を保護する状態の涙、刺激性の涙、およびエモーションティアのうちの何れであるかを判定する。
例えば刺激性の涙には、成分としてグロブリン、アルブミン、ラクトフェリン、P物質などが多く含まれることが知られている。
したがって、例えば信号処理部27は、涙の成分分析の結果、ユーザの涙からラクトフェリンが検出され、かつラクトフェリンが短期的に増加している場合、ユーザから分泌されている涙は、刺激性の涙であると判定する。つまり、ユーザの生体状態として、短期的な痛みのある状態であると判定される。
また、エモーションティアの一例である連続性の涙には、成分としてラクトフェリン、P物質などが多く含まれていることが知られている。
したがって、例えば信号処理部27は涙の成分分析の結果、ユーザの涙からラクトフェリンが検出され、かつラクトフェリンが増加している状態が長期的に維持されている場合、ユーザから分泌されている涙は、エモーションティアのうちの連続性の涙であると判定する。なお、例えば刺激性の涙が一定期間以上検出され続けた場合に、連続性の涙が検出されたと判定されてもよい。
さらに、エモーションティアの一例であるストレス性の涙には、アミラーゼ、副腎皮質刺激ホルモン、副腎皮質刺激ホルモン放出ホルモンなどが多く含まれていることが知られている。
信号処理部27は、例えば成分分析によって涙から検出された各成分の濃度と、予め求められている閾値とを比較したり、これまでの涙の状態を考慮したりして、現時点においてユーザから採取された涙の状態を特定し、その特定結果からユーザの感情等の生体状態を判定する。
なお、ここでは涙の成分分析の結果のみに基づいて、ユーザの生体状態を判定する例について説明したが、その他、画像や音声、テキスト、コンテキストなどの提示情報、音声やテキスト、コンテキストなどのユーザ等により入力された入力情報、目以外のユーザの他部位から得られた汗等の物質の成分分析結果も用いるようにしてもよい。
例えば表示素子55に画像が表示されている場合、信号処理部27は表示されている画像を提示情報として、その画像に対するシーン認識を行い、シーン認識の結果と、涙の成分分析の結果とに基づいて、ユーザの生体状態を判定する。
また、例えばユーザによりテキスト情報等の入力が行われた場合、信号処理部27は入力されたテキスト情報を入力情報として、テキスト情報からユーザの感情等を示す文字を抽出し、その抽出結果と涙の成分分析の結果に基づいて、ユーザの生体状態を判定する。
さらに、例えば表示装置11に無線等で接続された補助的なセンサ等から、ユーザの特定部位から得られた汗等の物質の成分分析結果が供給された場合、信号処理部27は、供給された物質の成分分析の結果と涙の成分分析の結果に基づいて、ユーザの生体状態を判定する。
なお、汗等の検出が行われる特定部位は、例えば手のひらや親指の付け根、脇の下、首などの部分とされ、それらの1または複数の部位に設けられた汗センサなどで汗の検出や成分分析が行われる。そして、例えば汗等の成分分析の結果が、汗センサなどのデバイスから無線により送信されて信号アンテナ23により受信され、信号処理部27へと供給される。ここでは汗の成分分析を行う例について説明するが、その他、ユーザの口腔内のつばや、尿道カテーテルから得られる尿、他の老廃物など、どのような物質が成分分析対象とされてもよい。
また、信号処理部27では、提示情報、入力情報、および汗等の成分分析の結果のうちの1つに限らず、これらの情報のうちのいくつかと、涙の成分分析の結果とが用いられて、ユーザの生体状態が判定されてもよい。このように、涙の成分分析の結果以外にも補助的に他の情報を用いることで、より高精度にユーザの生体状態を特定することが可能となる。
以上のようにして、ユーザの感情等の生体状態を特定することができれば、生体状態に応じた処理を実行することができる。
例えば、ユーザの生体状態として、ユーザの感情の状態が特定された場合、特定された感情に合わせた画像を表示領域21に表示させることができる。具体的には、例えばユーザが睡眠中、つまり睡眠状態であるときに不快な夢を見た場合、人体には発汗や脈拍の上昇や体の緊張(こわばり)などの反応が見られる。
そこで、信号処理部27は、ユーザの感情の状態や拍動情報など、ユーザの生体に関する情報から、ユーザが不快な夢を見ていると判定したときには、表示領域21に気持ちを落ち着かせるのに役立つ映像を表示させ、不快な夢を和らげる。
なお、例えばストレス性の涙の状態で発生する成分を抑制する成分を、ユーザから採取した涙の成分分析により検出すれば、表示装置11がユーザに対して提示したコンテンツが、ユーザにとってストレス抑制の効果があったかを判定することができる。
また、例えば快楽を発生させる成分や、快楽を発生させる成分を抑制する成分を涙の成分分析により検出すれば、同様に表示装置11がユーザに対して提示したコンテンツの効果があったかを判定することができるようになる。
以上のようにして、表示装置11は、ユーザの瞼の開閉や使用状態を判定するほか、拍動情報や感情の状態、体温などの生体情報を検出することができる。
したがって、表示装置11は、それらの判定結果や検出結果を利用して、各種の機能を実現し、表示装置11の使い勝手を向上させることができる。
例えばユーザが睡眠状態であり、ユーザが瞼を閉じている場合において、信号処理部27は、事前に設定した起床時間に合せて表示画素51を発光させ、ユーザの網膜に光を直接照射したり、映像を表示させたりすることで、ユーザに覚醒を促すことができる。つまり、目覚まし機能を実現することができる。このとき、強力な光を発すると刺激が強く人体への負担が大きくなるため、覚醒に導く適切な発光光量と発光リズムでユーザの覚醒が促される。
また、例えば睡眠状態であると判定され、事前に設定した条件に一致した場合、信号処理部27は、用意した情報を表示することで睡眠中の網膜に情報を提示し、学習など情報の記憶を促すことができる。つまり、睡眠学習機能を実現することができる。また同様の方法により、医療の治療において症状を緩和させる情報を提示することもできる。
さらに、睡眠状態であると判定され、事前に設定した条件に一致した場合に、信号処理部27は、事前に用意した、ユーザが見たい夢に対して直接的または間接的に関係する映像や情報を表示領域21に表示する。これにより、ユーザの睡眠中の網膜に情報や映像を提示して、ユーザが所望する夢を見ることができるように促すことができる。つまり夢誘導を行うことができる。
さらに、視度調整のコンタクトレンズにおける場合と同様に、ユーザが表示装置11を装着しているとき、覚醒状態では、ユーザから分泌される涙により表示装置11と眼球の間には涙の薄い層が形成され、眼球が保護される。しかし、就寝などの睡眠時は涙の分泌が減少することがある。
そのため、ユーザが表示装置11を眼球に装着し続ける場合には、眼球と表示装置11の間の涙による保護層が減少し、眼球を傷つけてしまう可能性がある。そこで、信号処理部27は、涙による保護層が減少した場合には、定期的に表示装置11の表示画素51から出力する光の波長または光量を変化させて、不快を与えない程度に眼に刺激を与え、涙の発生を促し、涙による保護層が供給されるようにすることができる。また、表示装置11に振動発生部を設け、振動により眼球または瞼に不快を与えない程度の刺激を与え、涙の発生を促すようにしてもよい。
〈表示駆動処理の説明〉
次に、表示装置11の具体的な動作の例について説明する。
以下、図16のフローチャートを参照して、表示装置11により行われる表示駆動処理について説明する。
この表示駆動処理は、表示装置11において、ユーザが表示装置11を眼球に装着したことが検出されたときに開始される。例えば、圧力検出部81により比較的大きな圧力が検出された場合や、温度検出部82によりユーザの眼球面の温度と外気温との差が所定値以上であると検出された場合に、表示装置11がユーザの眼球に装着されたと検出される。
ステップS11において、駆動制御部93は電源をオンする。すなわち、駆動制御部93は発電部24を制御し、表示装置11の各部に電力を供給させる。これにより、例えば表示装置11の一部に電力が供給されている状態から、表示装置11全体に電力が供給されている状態となる。
ステップS12において、信号処理部27は表示位置のキャリブレーションを行う。
例えば信号処理部27の駆動制御部93は、キャリブレーション用の位置決め画像を表示素子駆動部28に供給して表示画素51を発光させ、表示領域21にいくつかの位置決め画像を表示させる。ユーザは、音声や表示領域21に表示されるガイダンス等に従って、位置決め画像を注視し、適宜、瞼を閉じるなどの選択動作を行う。
また、駆動制御部93は、表示素子駆動部28を制御して表示画素51を発光させる。つまり、視線検出用の光を表示画素51から出力させる。すると、受光素子52から信号処理部27には、表示画素51から出力され、ユーザの眼球表面で反射された光の受光量に応じた受光信号が供給される。
信号処理部27は、受光素子52から供給された受光信号に基づいてユーザの視線位置を検出し、その視線位置と位置決め画像とのずれの分だけ、表示領域21における画像の表示位置を補正する。
ステップS13において、信号処理部27は、発光強度のキャリブレーションを行う。
例えば信号処理部27の駆動制御部93は、表示素子駆動部28を制御して表示画素51を発光させる。すると、受光素子52から信号処理部27には、表示画素51から出力され、ユーザの眼球表面で反射された光の受光量に応じた受光信号が供給される。
信号処理部27は、受光素子52から供給された受光信号に基づいて、表示画素51から出力される光の強度が、ユーザの眼を刺激しすぎない適切な強度となるように表示画素51の発光強度を調整する。また、信号処理部27は、同様にして発光素子53の発光強度も調整する。さらに、信号処理部27は、必要に応じて受光素子52や受光素子54による光の検出位置等のキャリブレーションも行う。
ステップS14において、駆動制御部93は表示処理を行う。例えば、駆動制御部93は表示素子駆動部28を制御して表示画素51を発光させ、表示画素51に所定の画像や情報を表示させる。これにより、例えば表示領域21にはユーザインタフェースなどが表示される。
また、表示処理が行われると圧力検出部81、姿勢検出部25、涙検出部26、および温度検出部82は、圧力や姿勢、涙、外気温や眼球面の温度などの検出を開始する。さらに、発光素子53も発光し、受光素子54も発光素子53からの光の検出を開始する。
ステップS15において、信号処理部27は、各センサから出力されるセンサ信号を取得する。すなわち、信号処理部27は、圧力検出部81、姿勢検出部25、涙検出部26、温度検出部82、受光素子52、および受光素子54からの出力を取得する。
ステップS16において、信号処理部27は、ステップS15の処理で取得した各種のセンサ信号に基づいてセンサ信号判定処理を行う。
具体的には、例えば信号処理部27は、姿勢検出部25から出力された信号に基づいてユーザの姿勢を検出したり、圧力検出部81からの出力に基づいてユーザの拍動情報を求めたりする。
ステップS17において、開閉判定部91は、受光素子54からの受光信号、圧力検出部81から供給される圧力を示す信号、または温度検出部82から供給される外気温などの少なくとも何れかに基づいて、ユーザの瞼の開閉を判定する。
ステップS18において、使用状況判定部92は、ユーザの拍動情報や姿勢、涙の分泌量等に基づいて、ユーザの使用状況を判定する。すなわち、ユーザが睡眠状態であるか、または覚醒状態であるかが判定される。
ステップS19において、信号処理部27は設定条件判定を行う。
例えばユーザが特定の感情の状態であるときなど、特定の条件が満たされるときに、その条件に応じた処理が実行されるように予め設定されている場合、信号処理部27は、ユーザにより設定された条件が満たされているか否かを判定する。
ステップS20において、信号処理部27は、瞼開閉判定の結果、使用状況判定の結果、および設定条件判定の結果に基づいて、それらの判定結果に応じた処理を行う。各判定結果に応じた処理が行われると、その後、処理はステップS15に戻り、上述した処理が繰り返し行われる。
以上のようにして表示装置11は、瞼の開閉判定や使用状況判定の結果に応じて、各種の処理を行う。このように表示装置11を装着しているユーザについて得られる情報に基づいて処理を行うことにより、ユーザによる操作を必要とせずに、適切な処理を行うことができるようになる。
〈覚醒状態モードにおける表示制御処理の説明〉
ところで、表示装置11では、ユーザが覚醒状態であるときに表示領域21への表示制御等が行われる覚醒状態モードと、ユーザが睡眠状態であるときに表示領域21への表示制御等が行われる睡眠状態モードとがある。すなわち、表示装置11が動作している状態において、ユーザが覚醒状態であるとされたときには覚醒状態モードへと遷移し、ユーザが睡眠状態であるとされたときには睡眠状態モードへと遷移して、各モードで表示制御等が行われる。
以下、図16のステップS15乃至ステップS20の処理に対応し、覚醒状態モードにおける場合と、睡眠状態モードである場合とに、それぞれ表示装置11により行われる処理について説明する。
まず、図17のフローチャートを参照して、覚醒状態モードである場合に行われる表示制御処理について説明する。図17を参照して説明する覚醒状態モードにおける表示制御処理は、覚醒状態モードである場合に行われる、図16のステップS15乃至ステップS20の処理をより詳細に説明するものである。
ステップS51において、信号処理部27はセンサ信号を取得する。すなわち、信号処理部27は受光素子52からの受光信号、受光素子54からの受光信号、圧力検出部81からの圧力を示す信号、姿勢検出部25からの姿勢や動きを示す信号、涙検出部26からの涙の分泌量や成分分析結果、および温度検出部82からの外気温と眼球面の温度を示す信号を取得する。
ステップS52において、信号処理部27は姿勢判定処理を行う。
例えば信号処理部27は、姿勢検出部25から供給された上下基準面や左右基準面の地面に対する角度等に基づいて、ユーザが立位や座位、仰臥位、側臥位、腹臥位など、どのような姿勢となっているかを判定する。
ステップS53において、信号処理部27は体温判定処理を行う。
例えば信号処理部27は、温度検出部82から供給された眼球面の温度と、基準体温との差分からユーザの体温を算出する。
ステップS54において、信号処理部27は涙分泌量判定処理を行う。具体的には、信号処理部27は涙検出部26から供給された涙の分泌量の計測結果を、現時刻におけるユーザの涙の分泌量とする。
また、信号処理部27は、涙検出部26から供給された涙の分泌量や分析結果に基づいて、ユーザの涙の状態、つまりユーザの感情等の生体状態も判定する。
ステップS55において、信号処理部27は脈拍数を検出する。
例えば信号処理部27は、受光素子52から供給された受光信号に基づいて拍動情報や血流情報を求め、得られた拍動情報や血流情報からユーザの脈拍数を算出する。
なお、信号処理部27が、ユーザが瞼を閉じている状態において受光素子54から供給された受光信号に基づいて、受光素子52における場合と同様にしてユーザの脈拍数を算出してもよい。また、信号処理部27が、ユーザが瞼を閉じている状態において圧力検出部81から供給された、表示装置11に加えられた圧力を示す信号に基づいて拍動情報を求め、その拍動情報から脈拍数を算出してもよい。
さらに、以上において説明したステップS52乃至ステップS55の処理は、どのような順番で行われるようにしてもよいし、必要に応じて一部の処理のみが行われるようにしてもよい。さらに、これらのステップS52乃至ステップS55の処理の一部または全部が並列に行われるようにしてもよい。
ステップS56において、開閉判定部91はユーザの瞼の開閉判定を行う。
例えば開閉判定部91は、発光素子53を発光させ、受光素子54から供給された受光信号に基づいて、ユーザが瞼を開けているかまたは閉じているかを判定する。例えば受光素子54が発光素子53から出力された瞼開閉検出用の光を受光する場合、受光素子54からの受光信号により示される受光量が所定の閾値以上であるとき、ユーザが瞼を閉じていると判定される。
また、例えば開閉判定部91は、圧力検出部81から供給された、表示装置11に加えられた圧力を示す信号に基づいてユーザの瞼の開閉判定を行う。具体的には、例えば圧力検出部81で検出された圧力が閾値以上である場合、ユーザが瞼を閉じていると判定される。
さらに、例えば開閉判定部91は、ユーザから得られる生体情報、例えば温度検出部82により検出された外気温の上昇具合に基づいてユーザの瞼の開閉判定を行う。具体的には、例えば外気温が基準となる所定の温度から上昇した場合、瞼が閉じられていると判定される。また、一定時間における外気温の変化量が所定の閾値以下である場合、ユーザが瞼を閉じていると判定されてもよい。
なお、瞼の開閉判定は、受光信号に基づく判定、圧力に基づく判定、または外気温に基づく判定の何れか1つが行われるようにしてもよいし、複数の判定処理が行われ、それらの判定結果の多数決等により最終的な判定が行われてもよい。例えば多数決が行われる場には、受光信号に基づく判定結果、圧力に基づく判定結果、および外気温に基づく判定結果のうちの2以上の判定結果が、ユーザが瞼を閉じているとの判定結果であるときに、最終的な判定結果としてユーザが瞼を閉じているとされる。
ステップS57において、信号処理部27は閉瞼時間判定処理を行う。すなわち、信号処理部27は、直近のユーザの瞼の開閉判定の結果に基づいて、継続してユーザが瞼を閉じている時間を示す閉瞼時間を算出する。
また、信号処理部27は、直近のユーザの瞼の開閉判定の結果に基づいて、ユーザの瞬きの回数も算出する。
ステップS58において、使用状況判定部92は使用状況判定処理を行う。
例えば使用状況判定部92は、ステップS55の処理で得られた脈拍数に基づいて、ユーザが覚醒状態であるか、または睡眠状態であるかを判定する。
また、例えば使用状況判定部92は、ステップS52の処理で得られた姿勢判定の結果に基づいて、ユーザの使用状況を判定する。具体的には、例えばユーザの姿勢が一定時間以上、体を横にしている姿勢であり、かつ一定時間以上、姿勢検出部25により動作が検出されなかった場合、睡眠状態であると判定される。
さらに、例えば使用状況判定部92はステップS53の処理で得られたユーザの体温と、外気温との差に基づいて使用状況を判定する。この場合、例えば体温と外気温の差が閾値以上である場合、ユーザが覚醒状態であると判定される。
また、例えば使用状況判定部92は、ステップS57の処理で算出されたユーザの瞬きの回数に基づいて使用状況を判定する。具体的には、例えば瞬きの回数が予め定めた所定の値域内にある場合、ユーザが覚醒状態であると判定される。
さらに、例えば使用状況判定部92は、ステップS54の処理で得られた涙の分泌量と閾値とを比較することで、使用状況を判定する。具体的には、例えば涙の分泌量が閾値以上である場合、覚醒状態であると判定される。
なお、使用状況判定は脈拍数、姿勢判定の結果、体温と外気温の差、瞬きの回数、または涙の分泌量などのユーザ(生体)に関する情報の何れか1つに基づいて行われるようにしてもよいし、複数の判定処理が行われ、それらの判定結果の多数決等により最終的な判定が行われてもよい。例えば多数決により最終的な判定が行われる場合、所定数以上、覚醒状態であるとの判定結果が得られた場合に、最終的な判定結果として覚醒状態であるとの判定がなされる。
さらに、1または複数の使用状況判定の結果と、瞼開閉判定の結果とに基づいて、最終的な使用状況が判定されるようにしてもよい。
具体的には、例えば瞼開閉判定により瞼が開かれていると判定された場合には、ユーザは覚醒状態であるとされる。また、ユーザの瞼が閉じられていると判定された場合でも、1または複数の使用状況判定の結果によりユーザが覚醒状態であるとの判定結果が得られた場合には、最終的な使用状況判定の結果も、覚醒状態であるとの判定結果とされる。
ステップS59において、信号処理部27は、ステップS58における使用状況判定の結果が覚醒状態であるか否かを判定する。
ステップS59において、覚醒状態であると判定された場合、ステップS60において信号処理部27は現時点における表示状態を継続させる。
すなわち、ユーザが覚醒状態である場合、覚醒状態モードとされて表示制御が行われるので、信号処理部27はこれまで通り画像等を表示領域21に表示させる。
ステップS61において、信号処理部27は瞼の開閉判定の結果、ユーザの瞼が開いているか否かを判定する。
ステップS61において瞼が開いていると判定された場合、ステップS62において、信号処理部27は設定条件を適用するか否かを判定する。
例えば、ユーザにより予め指定された設定条件として、ユーザが瞼を開いており、特定の姿勢で、かつ表示領域21にAR(Augmented Reality)モード(拡張現実)で表示処理が行われているという条件が設定条件として定められていたとする。そして、そのような設定条件が満たされるときには、案内機能が実行されると指定されていたとする。
このような場合、信号処理部27はステップS52の姿勢判定処理の結果、ステップS61の判定結果、および現在行われている表示処理に基づいて、設定条件が満たされているか否かを判定する。そして、信号処理部27は、設定条件が満たされていると判定された場合、ステップS62において設定条件を適用すると判定する。
ステップS62において、設定条件を適用しないと判定された場合、処理はステップS51に戻り、上述した処理が繰り返し行われる。
これに対して、ステップS62において、設定条件を適用すると判定された場合、ステップS63において、信号処理部27は設定条件に応じた表示制御を行う。
例えばユーザが瞼を開いており、特定の姿勢で、かつ表示領域21にARモードで表示処理が行われているという設定条件が適用される場合、案内機能の実行が指定されていたとする。そのような場合、信号処理部27の駆動制御部93は、表示素子駆動部28を駆動させ、表示画素51に案内等を表示させ、案内機能を実行する。
また、その他、各設定条件に対して事前に設定されている動作として、例えば情報提示処理やARモードの実行など各種の処理が行われるようにしてもよい。この場合、ユーザの瞼が開いている状態であるので、事前に設定されている動作は、ユーザが瞼を開けているときに行うのに適した動作とされればよい。
ステップS63において設定条件に応じて表示制御が行われると、その後、処理はステップS51に戻り、上述した処理が繰り返し行われる。
また、ステップS59において使用状況が覚醒状態ではない、つまり睡眠状態であると判定された場合、ステップS64において、駆動制御部93は表示素子駆動部28を制御して、表示領域21への画像の表示を停止させる。また、駆動制御部93は、必要に応じて発電部24を制御し、表示装置11の特定のブロック、例えば表示素子駆動部28への電力供給を停止させる等し、スリープ状態とさせる。
表示装置11がスリープ状態とされると、その後、処理はステップS51に戻り、上述した処理が繰り返し行われる。なお、より詳細には、睡眠状態であると判定された場合、表示制御処理は、覚醒状態モードから睡眠状態モードへと遷移し、図18を参照して後述する睡眠状態モードにおける表示制御処理が実行されることになる。
また、ステップS61において、瞼が開いていないと判定された場合、ステップS65において、信号処理部27は設定条件を適用するか否かを判定する。
ステップS65において、設定条件を適用しないと判定された場合、処理はステップS51に戻り、上述した処理が繰り返し行われる。
一方、ステップS65において、設定条件を適用すると判定された場合、ステップS66において、信号処理部27は設定条件に応じた表示制御を行う。
例えば設定条件に対して事前に設定されている動作として、動画像を再生するビデオモードの動作や、瞑想のための音楽を再生する瞑想モードの動作、ゲーム機能を実行するゲームモードの動作などが行われる。なお、音声の再生は、例えば信号アンテナ23により外部のスピーカにコマンドを送信することにより行われる。
ステップS66において設定条件に応じて表示制御が行われると、その後、処理はステップS51に戻り、上述した処理が繰り返し行われる。
以上のようにして、表示装置11は、ユーザの瞼の温度(外気温)などのユーザに関する生体情報、ユーザの瞼からの反射光や外界からの光の受光量、または表装置11へ加えられた圧力の少なくとも何れかを用いて、ユーザの瞼の開閉判定を行う。これにより、より簡単な構成で、すなわち特に表示装置11以外の外部装置を必要とすることなく、高精度にユーザの瞼の開閉を検出することができる。
また、表示装置11は、ユーザの脈拍数や姿勢、体温、瞬きの回数、涙の分泌量などの1または複数の生体情報(生体に関する情報)を利用してユーザの使用状況を判定する。これにより、より簡単な構成で高精度に使用状況を特定することができる。特に、1または複数の生体情報と瞼開閉判定の結果とを組み合わせて使用状況を判定すれば、使用状況の判定精度をさらに向上させることができる。
例えば表示装置11では、ユーザが覚醒状態で、かつ立位や座位の姿勢であるときに瞬きをしたり、一時的に瞼を閉じたりしているときでも睡眠状態であると誤判定されてしまうこともない。また例えば表示装置11では、ユーザが覚醒状態で長時間、瞼を閉じていても睡眠状態と誤判定されることはなく、継続して情報提示等が行われる。
さらに表示装置11では、ユーザが覚醒状態で臥位の姿勢をとっている状態と、ユーザが睡眠状態で瞼を閉じている状態などを高精度に判別することができるので、ユーザの状態に適した情報を自動的にまたは半自動的に提示することができ、使い勝手を向上させることができる。
〈睡眠状態モードにおける表示制御処理の説明〉
次に、図16のステップS15乃至ステップS20の処理に対応し、睡眠状態モードにおける場合に表示装置11により行われる処理について説明する。
すなわち、以下、図18のフローチャートを参照して、睡眠状態モードにおける表示制御処理について説明する。図18を参照して説明する睡眠状態モードにおける表示制御処理は、睡眠状態モードである場合に行われる、図16のステップS15乃至ステップS20の処理をより詳細に説明するものである。
なお、ステップS91乃至ステップS98の処理は、図17のステップS51乃至ステップS58の処理と同様であるので、その説明は省略する。
ステップS99において、信号処理部27は、ステップS98における使用状況判定の結果が覚醒状態であるか否かを判定する。なお、より詳細には、図17のステップS51乃至ステップS59の処理と、図18のステップS91乃至ステップS99の処理とは同一の処理であり、覚醒状態モードと睡眠状態モードとで共通して行われる。
ステップS99において、覚醒状態であると判定された場合、ステップS100において信号処理部27は現時点における表示状態を継続させ、処理はステップS91へと戻る。そして、その後、上述した処理が繰り返し行われる。
すなわち、ステップS99において覚醒状態であると判定されると、睡眠状態モードから覚醒状態モードへと遷移する。そして、より詳細には、覚醒状態モードへと遷移すると、つまりステップS100の処理が行われると、その後、図17で説明したステップS61乃至ステップS63の処理や、ステップS65、ステップS66の処理が行われることになる。
これに対して、ステップS99において覚醒状態ではない、つまり睡眠状態であると判定された場合には、睡眠状態モードとされてステップS101に進み、駆動制御部93は表示素子駆動部28を制御して、表示領域21への画像の表示を停止させる。また、駆動制御部93は、必要に応じて発電部24を制御し、表示装置11の特定のブロック、例えば表示素子駆動部28への電力供給を停止させる等し、スリープ状態とさせる。
ステップS102において、信号処理部27は設定条件を適用するか否かを判定する。
ステップS102において、設定条件を適用しないと判定された場合、処理はステップS91に戻り、上述した処理が繰り返し行われる。
一方、ステップS102において、設定条件を適用すると判定された場合、ステップS103において、信号処理部27は設定条件に応じた表示制御を行う。
例えばユーザが睡眠状態であり、涙の状態がストレス性の涙であるという設定条件のときに、リラックス効果のある映像の再生がユーザにより指定されていたとする。
そのような場合、ユーザが睡眠状態であり、涙の状態がストレス性の涙であるため、ステップS102の処理で設定条件を適用すると判定された場合には、信号処理部27の駆動制御部93は、表示素子駆動部28を駆動させ、表示画素51に映像を表示させる。
その他、各設定条件に対して事前に設定されている動作として、例えば睡眠状態であるとき、通常時は情報の提示は必要ないため表示を停止するが、事前に設定した起床時間に合わせて徐々に表示の輝度レベル上げて快適な目覚めを促すアラームを行う動作が行われてもよい。
また、例えば睡眠時は涙の分泌が減少することから涙の分泌が必要な状態になった場合に分泌を促す刺激動作や、夢を促す誘導映像の提示、学習効果を促進する映像の提示などの動作が事前設定動作として実行されてもよい。
ステップS103において設定条件に応じて表示制御が行われると、その後、処理はステップS91に戻り、上述した処理が繰り返し行われる。なお、より詳細には、図17を参照して説明した表示制御処理において、ステップS59で睡眠状態であると判定されると、睡眠状態モードへと遷移し、ステップS64の処理の後、図18のステップS102およびステップS103の処理が行われることになる。
以上のようにして、表示装置11は、ユーザの瞼の温度(外気温)などのユーザに関する生体情報、ユーザの瞼からの反射光や外界からの光の受光量、または表装置11へ加えられた圧力の少なくとも何れかを用いて、ユーザの瞼の開閉判定を行う。
これにより、睡眠状態モードにおける場合においても、より簡単な構成で高精度にユーザの瞼の開閉を検出することができる。また、表示装置11は、1または複数の生体情報を利用してユーザの使用状況を判定するので、より簡単な構成で高精度に使用状況を特定することができる。
〈第2の実施の形態〉
〈コンタクトレンズ型の表示装置の構成例〉
なお、以上においては表示領域21内であり、かつ表示装置11内部の眼球側に瞼開閉検出用の発光素子53と受光素子54が設けられると説明したが、これらの発光素子53と受光素子54は、瞼の開閉判定を行うことができれば、どの位置に設けられてもよい。
例えば、発光素子53と受光素子54は、表示領域21外部であり、かつ表示装置11内部の外界側の位置に設けられるようにしてもよい。
そのような場合、表示装置は、例えば図19に示すように構成される。なお、図19において、図2または図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図19に示すコンタクトレンズ型の表示装置141は、表示領域21、給電アンテナ22、信号アンテナ23、発電部24、姿勢検出部25、涙検出部26−1乃至涙検出部26−3、信号処理部27、表示素子駆動部28、発光素子53、および受光素子54を有している。
表示装置141は、楕円形状となっているが表示領域21乃至表示素子駆動部28の位置関係や動作は、図2における場合と同様となっている。但し、表示装置141の表示領域21には表示画素51と受光素子52は設けられているが、発光素子53と受光素子54は設けられていない。
表示装置141では、発光素子53および受光素子54が、図中、左下の部分、つまり表示装置141の外周近傍の部分に設けられている。この場合、発光素子53は図中、手前側、つまり外界側に向けて瞼開閉検出用の光を出力する。すると、ユーザが瞼を閉じている場合には、発光素子53から出力された光は瞼の裏側で反射されて受光素子54に入射するので、受光素子54は入射してきた光を受光して光電変換し、その結果得られた受光信号を信号処理部27に供給する。
〈表示装置の機能の構成例〉
また、表示装置141の機能的な構成は、例えば図20に示す構成とされる。なお、図20において、図6における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図20に示す表示装置141の構成は、表示領域21に発光素子53および受光素子54が設けられておらず、これらの発光素子53および受光素子54が表示領域21外に設けられている点で表示装置11の構成と異なり、その他の構成は表示装置11と同じ構成となっている。
したがって、表示装置141では、信号処理部27の駆動制御部93により直接、発光素子53の駆動が制御され、受光素子54からの受光信号は、直接、信号処理部27へと供給される。
〈第2の実施の形態の変形例1〉
〈コンタクトレンズ型の表示装置の構成例〉
さらに、表示装置141には、表示領域21の外部に発光素子53および受光素子54が設けられると説明したが、例えば図21に示すように発光素子53が設けられず、受光素子54のみが設けられるようにしてもよい。なお、図21において、図19における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図21に示す表示装置141では、図中、左下の部分に瞼開閉検出用の受光素子54が設けられているが、瞼開閉検出用の発光素子53は設けられていない。したがって、この例では、受光素子54が外界から入射した光を受光し、開閉判定部91では、受光素子54が受光した外界からの光の受光量に基づいて、瞼開閉判定を行う。
〈第2の実施の形態の変形例2〉
〈コンタクトレンズ型の表示装置の構成例〉
さらに、表示装置に瞼開閉検出用の発光素子が設けられず、瞼開閉検出用の受光素子のみが設けられる場合、表示装置は例えば図22に示すように構成されるようにしてもよい。なお、図22において、図19における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図22に示すコンタクトレンズ型の表示装置181は、表示領域21、給電アンテナ22、信号アンテナ23、発電部24、姿勢検出部25、涙検出部26−1乃至涙検出部26−3、信号処理部27、表示素子駆動部28、受光素子191−1、および受光素子191−2を有している。
表示装置181では、表示装置181の図中、中央上側の部分および中央下側の部分に、それぞれ受光素子191−1および受光素子191−2が設けられている。また、受光素子191−1および受光素子191−2は、それぞれ表示装置181の外周近傍の部分で、かつ外界側の部分に設けられている。
これらの受光素子191−1および受光素子191−2は、外界から入射した光を受光し、その光の受光量に応じた受光信号を信号処理部27に供給する。したがって、信号処理部27の開閉判定部91では、受光素子191−1または受光素子191−2が受光した外界からの光の受光量に基づいて瞼開閉判定を行う。
なお、ここでは2つの受光素子191−1および受光素子191−2が設けられている例について説明したが、瞼開閉検出用の受光素子が3以上設けられていてもよい。
〈第2の実施の形態の変形例3〉
〈コンタクトレンズ型の表示装置の構成例〉
さらに、上述したように表示装置にユーザの眼球に刺激を与え、涙の発生を促す振動部が設けられるようにしてもよい。そのような場合、表示装置は、例えば図23に示すように構成される。なお、図23において、図22における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図23に示すコンタクトレンズ型の表示装置181は、図22に示した表示装置181にさらに振動部231が設けられた構成とされている。
振動部231は、例えば小型なモータや圧電素子などからなり、駆動制御部93の制御に従って振動することで、ユーザの眼球に適度な刺激を与え、ユーザに涙の発生(分泌)を促す。例えば駆動制御部93は、上述したようにユーザの眼球の乾きが検出された場合に振動部231を駆動させる。
なお、以上においては、表示装置11等に圧力検出部81、姿勢検出部25、涙検出部26、および温度検出部82が設けられていると説明したが、これらの圧力検出部81や温度検出部82が必ずしも全て設けられている必要はなく、必要なものだけ設けられていればよい。また、表示装置11等に表示領域21が設けられていない構成、つまり表示機能を有していない構成とされてもよい。
さらに、以上においては表示装置11等の各実施の形態で説明した表示装置が人間に装着される場合を例として説明したが、瞼と眼球を有する生体であれば、人間に限らずどのような生体に対して表示装置が使用されるようにしてもよい。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、例えば表示装置11等にインストールされる。
例えば表示装置11では、信号処理部27が記録部83に記録されているプログラムを図示せぬメモリにロードして実行することにより、上述した一連の処理が行われる。
表示装置11等が実行するプログラムは、例えばローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
なお、表示装置11等が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
(1)
眼球に装着可能な検出装置であって、
前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出する瞼開閉検出部を備える検出装置。
(2)
前記瞼の開閉の検出結果に応じて画像の表示を制御する表示制御部をさらに備える
(1)に記載の検出装置。
(3)
前記外界から入射した光を受光する受光素子をさらに備え、
前記瞼開閉検出部は、前記受光素子により受光された光の受光量に基づいて前記瞼の開閉を検出する
(1)または(2)に記載の検出装置。
(4)
前記外界側に向けて光を出力する発光素子と、
前記発光素子から出力され、前記瞼において反射された光を受光する受光素子と
をさらに備え、
前記瞼開閉検出部は、前記受光素子により受光された光の受光量に基づいて前記瞼の開閉を検出する
(1)または(2)に記載の検出装置。
(5)
前記検出装置に加えられる圧力を検出する圧力検出部をさらに備え、
前記瞼開閉検出部は、前記圧力検出部により検出された圧力に基づいて前記瞼の開閉を検出する
(1)または(2)に記載の検出装置。
(6)
前記検出装置の前記外界側の温度を、前記生体情報として検出する温度検出部をさらに備え、
前記瞼開閉検出部は、前記温度検出部により検出された温度に基づいて前記瞼の開閉を検出する
(1)または(2)に記載の検出装置。
(7)
前記瞼開閉検出部は、前記検出装置の前記外界側の温度の変化に基づいて、前記瞼の開閉を検出する
(6)に記載の検出装置。
(8)
前記温度検出部は、前記検出装置の前記眼球側の温度をさらに検出し、
前記検出装置の前記外界側の温度および前記眼球側の温度に基づいて、前記生体が睡眠状態であるか否かを判定する使用状況判定部をさらに備える
(6)または(7)に記載の検出装置。
(9)
前記生体に関する情報に基づいて、前記生体が睡眠状態であるか否かを判定する使用状況判定部をさらに備える
(1)乃至(6)の何れか一項に記載の検出装置。
(10)
前記瞼の開閉の検出結果に基づいて瞬きの回数を算出する算出部をさらに備え、
前記使用状況判定部は、前記瞬きの回数に基づいて前記生体が睡眠状態であるか否かを判定する
(9)に記載の検出装置。
(11)
前記瞼に照射され、前記瞼で反射された光の受光量、または前記検出装置に加えられた圧力に基づいて、前記生体の拍動情報または血流情報を算出する算出部をさらに備え、
前記使用状況判定部は、前記拍動情報または前記血流情報に基づいて前記生体が睡眠状態であるか否かを判定する
(9)に記載の検出装置。
(12)
前記生体の姿勢を検出する姿勢検出部をさらに備え、
前記使用状況判定部は、前記姿勢の検出結果に基づいて前記生体が睡眠状態であるか否かを判定する
(9)に記載の検出装置。
(13)
前記生体からの涙の分泌量を検出する涙検出部をさらに備え、
前記使用状況判定部は、前記涙の分泌量に基づいて前記生体が睡眠状態であるか否かを判定する
(9)に記載の検出装置。
(14)
前記涙検出部は、前記検出装置が前記眼球に装着された状態において、前記生体の涙腺近傍に位置するように設けられている
(13)に記載の検出装置。
(15)
前記使用状況判定部は、前記生体に関する情報と、前記瞼の開閉の検出結果とに基づいて前記生体が睡眠状態であるか否かを判定する
(9)乃至(14)の何れか一項に記載の検出装置。
(16)
光または振動により前記眼球を刺激し、前記生体に涙の発生を促す刺激部をさらに備える
(1)乃至(15)の何れか一項に記載の検出装置。
(17)
前記生体から分泌された涙の成分分析を行う涙成分分析部と、
少なくとも前記涙の成分分析の結果を用いて、前記生体の状態を特定する生体状態判定部と
をさらに備える(1)乃至(16)の何れか一項に記載の検出装置。
(18)
前記検出装置は、コンタクトレンズ型の装置である
(1)乃至(17)の何れか一項に記載の検出装置。
(19)
眼球に装着可能な検出装置の検出方法であって、
前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出する
ステップを含む検出方法。
(20)
眼球に装着可能な検出装置を制御するコンピュータに、
前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出する
ステップを含む処理を実行させるプログラム。
11 表示装置, 21 表示領域, 25 姿勢検出部, 26−1乃至26−3,26 涙検出部, 27 信号処理部, 51−1乃至51−5,51 表示画素, 52−1乃至52−5,52 受光素子, 53−1,53−2,53 発光素子, 54−1,54−2,54 受光素子, 81 圧力検出部, 82 温度検出部, 91 開閉判定部, 92 使用状況判定部, 93 駆動制御部, 231 振動部

Claims (20)

  1. 眼球に装着可能な検出装置であって、
    前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出する瞼開閉検出部を備える検出装置。
  2. 前記瞼の開閉の検出結果に応じて画像の表示を制御する表示制御部をさらに備える
    請求項1に記載の検出装置。
  3. 前記外界から入射した光を受光する受光素子をさらに備え、
    前記瞼開閉検出部は、前記受光素子により受光された光の受光量に基づいて前記瞼の開閉を検出する
    請求項1に記載の検出装置。
  4. 前記外界側に向けて光を出力する発光素子と、
    前記発光素子から出力され、前記瞼において反射された光を受光する受光素子と
    をさらに備え、
    前記瞼開閉検出部は、前記受光素子により受光された光の受光量に基づいて前記瞼の開閉を検出する
    請求項1に記載の検出装置。
  5. 前記検出装置に加えられる圧力を検出する圧力検出部をさらに備え、
    前記瞼開閉検出部は、前記圧力検出部により検出された圧力に基づいて前記瞼の開閉を検出する
    請求項1に記載の検出装置。
  6. 前記検出装置の前記外界側の温度を、前記生体情報として検出する温度検出部をさらに備え、
    前記瞼開閉検出部は、前記温度検出部により検出された温度に基づいて前記瞼の開閉を検出する
    請求項1に記載の検出装置。
  7. 前記瞼開閉検出部は、前記検出装置の前記外界側の温度の変化に基づいて、前記瞼の開閉を検出する
    請求項6に記載の検出装置。
  8. 前記温度検出部は、前記検出装置の前記眼球側の温度をさらに検出し、
    前記検出装置の前記外界側の温度および前記眼球側の温度に基づいて、前記生体が睡眠状態であるか否かを判定する使用状況判定部をさらに備える
    請求項6に記載の検出装置。
  9. 前記生体に関する情報に基づいて、前記生体が睡眠状態であるか否かを判定する使用状況判定部をさらに備える
    請求項1に記載の検出装置。
  10. 前記瞼の開閉の検出結果に基づいて瞬きの回数を算出する算出部をさらに備え、
    前記使用状況判定部は、前記瞬きの回数に基づいて前記生体が睡眠状態であるか否かを判定する
    請求項9に記載の検出装置。
  11. 前記瞼に照射され、前記瞼で反射された光の受光量、または前記検出装置に加えられた圧力に基づいて、前記生体の拍動情報または血流情報を算出する算出部をさらに備え、
    前記使用状況判定部は、前記拍動情報または前記血流情報に基づいて前記生体が睡眠状態であるか否かを判定する
    請求項9に記載の検出装置。
  12. 前記生体の姿勢を検出する姿勢検出部をさらに備え、
    前記使用状況判定部は、前記姿勢の検出結果に基づいて前記生体が睡眠状態であるか否かを判定する
    請求項9に記載の検出装置。
  13. 前記生体からの涙の分泌量を検出する涙検出部をさらに備え、
    前記使用状況判定部は、前記涙の分泌量に基づいて前記生体が睡眠状態であるか否かを判定する
    請求項9に記載の検出装置。
  14. 前記涙検出部は、前記検出装置が前記眼球に装着された状態において、前記生体の涙腺近傍に位置するように設けられている
    請求項13に記載の検出装置。
  15. 前記使用状況判定部は、前記生体に関する情報と、前記瞼の開閉の検出結果とに基づいて前記生体が睡眠状態であるか否かを判定する
    請求項9に記載の検出装置。
  16. 光または振動により前記眼球を刺激し、前記生体に涙の発生を促す刺激部をさらに備える
    請求項1に記載の検出装置。
  17. 前記生体から分泌された涙の成分分析を行う涙成分分析部と、
    少なくとも前記涙の成分分析の結果を用いて、前記生体の状態を特定する生体状態判定部と
    をさらに備える請求項1に記載の検出装置。
  18. 前記検出装置は、コンタクトレンズ型の装置である
    請求項1に記載の検出装置。
  19. 眼球に装着可能な検出装置の検出方法であって、
    前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出する
    ステップを含む検出方法。
  20. 眼球に装着可能な検出装置を制御するコンピュータに、
    前記眼球に装着された状態で、前記検出装置の外界側から入射してくる光の量、前記検出装置に加えられる圧力、または前記検出装置を装着する生体から得られた生体情報のうちの少なくとも何れかに基づいて、前記生体の瞼の開閉を検出する
    ステップを含む処理を実行させるプログラム。
JP2014125160A 2014-06-18 2014-06-18 検出装置および方法、並びにプログラム Pending JP2016002353A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2014125160A JP2016002353A (ja) 2014-06-18 2014-06-18 検出装置および方法、並びにプログラム
CN201580031417.7A CN106455973B (zh) 2014-06-18 2015-06-08 与用户眼睛接触放置的检测装置
KR1020167034293A KR102375562B1 (ko) 2014-06-18 2015-06-08 유저의 눈과 접촉하여 배치하기 위한 검출 디바이스
PCT/JP2015/002858 WO2015194120A1 (en) 2014-06-18 2015-06-08 A detection device for placement in contact with the eye of a user
US15/317,456 US11395629B2 (en) 2014-06-18 2015-06-08 Detection device for placement in contact with the eye of a user
EP15731129.1A EP3157409B1 (en) 2014-06-18 2015-06-08 A detection device for placement in contact with the eye of a user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014125160A JP2016002353A (ja) 2014-06-18 2014-06-18 検出装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2016002353A true JP2016002353A (ja) 2016-01-12

Family

ID=53484110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014125160A Pending JP2016002353A (ja) 2014-06-18 2014-06-18 検出装置および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US11395629B2 (ja)
EP (1) EP3157409B1 (ja)
JP (1) JP2016002353A (ja)
KR (1) KR102375562B1 (ja)
CN (1) CN106455973B (ja)
WO (1) WO2015194120A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6174232B1 (ja) * 2016-11-25 2017-08-02 株式会社ユニバーサルビュー ピンホールコンタクトレンズ及びスマートコンタクトシステム
JP2017144038A (ja) * 2016-02-17 2017-08-24 株式会社コーエーテクモゲームス 情報処理プログラム及び情報処理装置
JP2020077189A (ja) * 2018-11-07 2020-05-21 スカパーJsat株式会社 体験記録システム及び体験記録方法
WO2021192673A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 表示装置及び表示方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10191302B2 (en) 2015-09-23 2019-01-29 Ohio State Innovation Foundation Contact lens comprising lenticular-like curve
IL303151A (en) 2015-09-23 2023-07-01 Ohio State Innovation Foundation A contact lens that includes a lenticular in the upper part of the contact lens
US10222632B2 (en) 2015-10-01 2019-03-05 Verily Life Sciences Llc Lens-to-lens communication for contact lenses
US10281743B2 (en) 2015-10-01 2019-05-07 Verily Life Sciences Llc Eye convergence detection with contact lenses
US10394057B2 (en) * 2016-02-08 2019-08-27 Verily Life Sciences Llc Eyes closed interface
CN106419831A (zh) * 2016-07-22 2017-02-22 广州市眼视光健康产业投资管理有限公司 身体健康监测的眼镜
WO2018078420A1 (en) * 2016-10-27 2018-05-03 Eyethink Sàrl Contact lens for determining the eye temperature
US20180239422A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Tracking eye movements with a smart device
US20180267338A1 (en) * 2017-03-14 2018-09-20 Johnson & Johnson Vision Care, Inc. Temperature-sensing ophthalmic device
TWI662316B (zh) * 2017-07-24 2019-06-11 麥塔優光學股份有限公司 智慧型隱形眼鏡及其透光本體
US11331019B2 (en) 2017-08-07 2022-05-17 The Research Foundation For The State University Of New York Nanoparticle sensor having a nanofibrous membrane scaffold
US11320673B2 (en) 2017-09-01 2022-05-03 Ohio State Innovation Foundation Soft contact lens comprising a lenticular in a superior portion of the contact lens with enhanced tear exchange
CN107874901A (zh) * 2017-10-26 2018-04-06 杨铭轲 角膜接触镜和眼内照明系统
CN108108022B (zh) * 2018-01-02 2021-05-18 联想(北京)有限公司 一种控制方法及辅助成像装置
US11318066B2 (en) 2018-02-26 2022-05-03 Olympic Ophthalmics, Inc. Handheld device with vibrational cantilever member for treatment of disorders
US10852545B2 (en) 2018-09-07 2020-12-01 Xcelsis Corporation Head mounted viewer for AR and VR scenes
US11029319B2 (en) * 2018-10-11 2021-06-08 National Cheng Kung University Biosensor and application of the same
TWI686175B (zh) * 2018-12-11 2020-03-01 財團法人國家實驗研究院 吞嚥安全監測方法及其裝置
SE2251233A1 (en) * 2022-10-24 2024-04-25 Tobii Ab Eye tracking

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8909491D0 (en) 1989-04-26 1989-06-14 Glynn Christopher J Device for real-time monitoring of human or animal bodily functions
DK0725939T3 (da) * 1992-03-13 1999-11-15 Kopin Corp Skærmsystem til anbringelse på hovedet
US5813982A (en) * 1994-02-22 1998-09-29 Baratta; Francis I. Noncontacting portable infrared intra-ocular pressure sensor
US5682210A (en) * 1995-12-08 1997-10-28 Weirich; John Eye contact lens video display system
US6544193B2 (en) * 1996-09-04 2003-04-08 Marcio Marc Abreu Noninvasive measurement of chemical substances
US6120460A (en) 1996-09-04 2000-09-19 Abreu; Marcio Marc Method and apparatus for signal acquisition, processing and transmission for evaluation of bodily functions
JPH11249064A (ja) 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
US6885818B2 (en) * 2001-07-30 2005-04-26 Hewlett-Packard Development Company, L.P. System and method for controlling electronic devices
JP2003076353A (ja) 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
KR100561153B1 (ko) 2002-03-20 2006-03-15 아이신세이끼가부시끼가이샤 엔진 구동식 공조 장치
US8328420B2 (en) * 2003-04-22 2012-12-11 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
US7226426B2 (en) * 2002-07-25 2007-06-05 Thomson Paul E Apparatus and method for the detection and quantification of joint and tissue inflammation
EP1868485B1 (en) * 2005-04-15 2016-06-08 Surgisense Corporation Surgical instruments with sensors for detecting tissue properties, and systems using such instruments
JP2007127716A (ja) 2005-11-01 2007-05-24 Pioneer Electronic Corp 表示装置、表示方法、表示プログラムおよびコンピュータに読み取り可能な記録媒体
US8684946B1 (en) * 2005-12-19 2014-04-01 The Uab Research Foundation Method and apparatus for determining the sensitivity of cone photoreceptors and uses thereof
US7712901B2 (en) * 2006-12-08 2010-05-11 Predictek, Inc. Method and apparatus for diagnosing conditions of the eye with infrared light
US8608310B2 (en) 2007-11-07 2013-12-17 University Of Washington Through Its Center For Commercialization Wireless powered contact lens with biosensor
US9314168B2 (en) * 2008-09-30 2016-04-19 Nellcor Puritan Bennett Ireland Detecting sleep events using localized blood pressure changes
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128521B2 (en) * 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
KR101942705B1 (ko) * 2011-08-31 2019-01-29 존슨 앤드 존슨 비젼 케어, 인코포레이티드 프로세서 제어형 안내 렌즈 시스템
WO2013059275A1 (en) * 2011-10-21 2013-04-25 Mindchild Medical Inc. Non-invasive fetal monitoring
FR2985163B1 (fr) 2011-12-29 2014-01-24 Idmed Procede et dispositif de surveillance de la pupille
US9656080B2 (en) * 2012-04-18 2017-05-23 Hung Wei Chiu Sympathetic ganglion stimulation method for treatment of hyperhidrosis, raynauds phenomenon, cerebral ischemia, asthma and hypertension
KR101371685B1 (ko) * 2012-10-30 2014-03-10 김선호 치료용 콘택트렌즈
RU2689845C2 (ru) * 2012-12-14 2019-05-29 Конинклейке Филипс Н.В. Мониторинг пациентов для пациентов в подостром состоянии на основании состояния активности и положения тела
US9671619B2 (en) 2013-02-28 2017-06-06 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with eye gaze sensor
CN105307718B (zh) * 2013-04-19 2018-05-11 奥库利维公司 鼻刺激装置和方法
EP2991729B8 (en) * 2013-04-30 2018-09-05 Tear Film Innovations, Inc. Systems for the treatment of eye conditions
US20140343371A1 (en) * 2013-05-14 2014-11-20 Ii Thomas Skerik Sowers Wearable sensor device for health monitoring and methods of use

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144038A (ja) * 2016-02-17 2017-08-24 株式会社コーエーテクモゲームス 情報処理プログラム及び情報処理装置
JP6174232B1 (ja) * 2016-11-25 2017-08-02 株式会社ユニバーサルビュー ピンホールコンタクトレンズ及びスマートコンタクトシステム
JP6239174B1 (ja) * 2016-11-25 2017-11-29 株式会社ユニバーサルビュー ピンホールコンタクトレンズ及びスマートコンタクトシステム
WO2018096979A1 (ja) * 2016-11-25 2018-05-31 株式会社ユニバーサルビュー ピンホールコンタクトレンズ及びスマートコンタクトシステム
JP2018092115A (ja) * 2016-11-25 2018-06-14 株式会社ユニバーサルビュー ピンホールコンタクトレンズ及びスマートコンタクトシステム
JP2018092111A (ja) * 2016-11-25 2018-06-14 株式会社ユニバーサルビュー ピンホールコンタクトレンズ及びスマートコンタクトシステム
JP2020077189A (ja) * 2018-11-07 2020-05-21 スカパーJsat株式会社 体験記録システム及び体験記録方法
WO2021192673A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 表示装置及び表示方法

Also Published As

Publication number Publication date
KR20170016359A (ko) 2017-02-13
CN106455973A (zh) 2017-02-22
EP3157409B1 (en) 2020-08-05
EP3157409A1 (en) 2017-04-26
US20170119311A1 (en) 2017-05-04
CN106455973B (zh) 2019-06-14
US11395629B2 (en) 2022-07-26
WO2015194120A1 (en) 2015-12-23
KR102375562B1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
KR102375562B1 (ko) 유저의 눈과 접촉하여 배치하기 위한 검출 디바이스
US20230297163A1 (en) Monitoring a user of a head-wearable electronic device
US10524667B2 (en) Respiration-based estimation of an aerobic activity parameter
US10136856B2 (en) Wearable respiration measurements system
US10799122B2 (en) Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses
KR102627452B1 (ko) 다중 모드 눈 추적
US20240032788A1 (en) Monitoring neurological functional status
US10791938B2 (en) Smartglasses for detecting congestive heart failure
KR102376854B1 (ko) 검출 장치 및 방법
RU2644265C2 (ru) Устройство отображения изображения и устройство для ввода информации
US20200085311A1 (en) Detecting a transient ischemic attack using photoplethysmogram signals
US20210259557A1 (en) Doorway system that utilizes wearable-based health state verifications
JP2017219847A (ja) 医学的監視機能を備えた電子眼用レンズ
KR20180058870A (ko) 뇌 건강의 다중 모드 생리학적 평가를 위한 폼 팩터
TW201733519A (zh) 具有睡眠監測之電子眼用鏡片
TW201810104A (zh) 用於無線生物醫學裝置充電之方法及設備
US11707595B2 (en) Controlling light exposure for circadian phase management
US20230210442A1 (en) Systems and methods to measure ocular parameters and determine neurologic health status
US10070787B2 (en) System and method for detection and monitoring of a physical condition of a user
US10909164B2 (en) Method for updating an index of a person
CN110297720B (zh) 通知装置、通知方法及存储通知程序的介质
WO2024007364A1 (zh) 基于可穿戴设备的光环境及姿态检测方法、装置、系统
US20200060809A1 (en) Systems and methods for vibration detection and communication
US20210369161A1 (en) System and method for detection and continuous monitoring of neurological condition of a user
CN115867188A (zh) 压力确定和管理技术