JP2023138124A - 傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム - Google Patents

傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム Download PDF

Info

Publication number
JP2023138124A
JP2023138124A JP2022044644A JP2022044644A JP2023138124A JP 2023138124 A JP2023138124 A JP 2023138124A JP 2022044644 A JP2022044644 A JP 2022044644A JP 2022044644 A JP2022044644 A JP 2022044644A JP 2023138124 A JP2023138124 A JP 2023138124A
Authority
JP
Japan
Prior art keywords
light
detection device
line
light emitting
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022044644A
Other languages
English (en)
Inventor
俊 三宮
Takashi Sannomiya
沙織 吉田
Saori Yoshida
直人 軸谷
Naoto Jikutani
淳一 小西
Junichi Konishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2022044644A priority Critical patent/JP2023138124A/ja
Priority to PCT/IB2023/052375 priority patent/WO2023175467A2/en
Publication of JP2023138124A publication Critical patent/JP2023138124A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00Measuring inclination, e.g. by clinometers, by levels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/02Structural details or components not essential to laser action
    • H01S5/022Mountings; Housings
    • H01S5/0225Out-coupling of light
    • H01S5/02255Out-coupling of light using beam deflecting elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/02Structural details or components not essential to laser action
    • H01S5/022Mountings; Housings
    • H01S5/0225Out-coupling of light
    • H01S5/02257Out-coupling of light using windows, e.g. specially adapted for back-reflecting light to a detector inside the housing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/02Structural details or components not essential to laser action
    • H01S5/022Mountings; Housings
    • H01S5/023Mount members, e.g. sub-mount members
    • H01S5/02325Mechanically integrated components on mount members or optical micro-benches
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/06Arrangements for controlling the laser output parameters, e.g. by operating on the active medium
    • H01S5/068Stabilisation of laser output parameters
    • H01S5/0683Stabilisation of laser output parameters by monitoring the optical output parameters
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/10Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • H01S5/183Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
    • H01S5/18305Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL] with emission through the substrate, i.e. bottom emission
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/40Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42Arrays of surface emitting lasers
    • H01S5/423Arrays of surface emitting lasers having a vertical cavity

Abstract

【課題】小型化可能な傾き検出装置を提供すること。【解決手段】本発明の一態様に係る傾き検出装置は、第1面と第2面とを含む支持体と、前記第1面に設けられた光源と、前記光源からの光を導光する導光部材と、前記導光部材により導光された光を前記第2面側に出射させる光出射部と、前記第2面に設けられ、前記光出射部から出射された光の前記立体物による反射光の受光信号を出力する第1受光部と、前記第1受光部からの受光信号に基づき、前記立体物の傾き情報を出力する出力部と、を有する。【選択図】図3

Description

本発明は、傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システムに関する。
従来から、人間の眼球等の立体物の傾き検出装置が知られている。このような傾き検出装置は、視線検出装置や、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置等において使用される。
また、光反射率が異なるパターンで構成される読取対象を光走査し、その反射光を受光して光電変換した信号から情報を読み取る光学情報読取装置が開示されている(例えば、特許文献1参照)。この光学情報読取装置では、発光部と該発光部からの光を偏向する可動走査ミラーとを備えた基板部と、発光部からの光を走査ミラーへ誘導する反射面を有する反射部と、発光部から放射され、走査ミラーへ誘導される光を平行光にするコリメータ部と、をウエハ状に形成し、これらを積層して接合している。
しかしながら、特許文献1の構成では、装置を小型化する点において改善の余地がある。
本発明は、小型化可能な傾き検出装置を提供することを目的とする。
本発明の一態様に係る傾き検出装置は、第1面と第2面とを含む支持体と、前記第1面に設けられた光源と、前記光源からの光を導光する導光部材と、前記導光部材により導光された光を前記第2面側に出射させる光出射部と、前記第2面に設けられ、前記光出射部から出射された光の前記立体物による反射光の受光信号を出力する第1受光部と、前記第1受光部からの受光信号に基づき、前記立体物の傾き情報を出力する出力部と、を有する。
本発明によれば、小型化可能な傾き検出装置を提供できる。
実施形態に係る視線検出装置の全体構成例の図である。 実施形態に係る光学ユニットの下面図である。 図2のIII-III切断線における断面図である。 実施形態に係る光学ユニットの上面図である。 実施形態に係る光学ユニットにおける第1基板の上面図である。 実施形態に係る処理部のハードウェア構成例のブロック図である。 実施形態に係る処理部の機能構成例のブロック図である。 第1実施形態に係る光源の構成例の図である。 図8のIX-IX切断線における断面図である。 第2実施形態に係る光源の構成例の図である。 図10のXI-XI切断線における断面図である。 第3実施形態に係る視線検出装置の構成例の図である。 第4実施形態に係る網膜投影型表示装置の構成例の図である。
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を適宜省略する。また、以下に示す実施形態は、本発明の技術思想を具体化するための傾き検出装置を例示するものであって、本発明を以下に示す実施形態に限定するものではない。以下に記載されている構成部品の形状、その相対的配置、パラメータの値等は特定的な記載がない限り、本発明の範囲をそれのみに限定する趣旨ではなく、例示することを意図したものである。また図面が示す部材の大きさや位置関係等は、説明を明確にするため、誇張している場合がある。
近年、サイバー空間と実空間を融合したサービスへの注目が集まっている。網膜投影型表示装置等の眼鏡型映像表示装置は、その中核を担う装置として技術開発および製品化が進められている。
眼鏡型映像表示装置は、没入型とシースルー型に大別される。没入型の眼鏡型映像表示装置においては視線検出装置の組み込みが標準となってきている。一方、シースルー型の眼鏡型映像表示装置では、筐体の小型化や、軽量化、眼鏡と遜色のない外観を実現するために、各種センサやカメラの搭載は最小限に止められる。視線検出のみを行う装置には上市されているものはあるが、視線検出装置が搭載された表示装置は上市されていない。
眼鏡型映像表示装置における画像処理は、現状、外付けの端末により行われる場合が多い。シースルー型の眼鏡型映像表示装置は、拡張現実(AR:Augmented Reality)分野において今後市場拡大が期待されている。小型化および軽量化に加えて、人の認知行動を妨げず、自然に視覚情報へアクセスできることが、シースルー型の眼鏡型映像表示装置に求められている。また、視野角拡大や、画像鮮明度の向上、ヒューマンマシンインターフェースの高性能化および多様化が、シースルー型の眼鏡型映像表示装置に求められている。
眼鏡型映像表示装置において使用される非画像方式で小型の視線検出装置として、MEMS(Micro Electro Mechanical Systems)ミラーを用いて眼球上でレーザ光を走査させ、眼球からの反射光の受光信号に基づき眼球の傾きを検出する技術が知られている。非画像方式とは、画像を用いない方式をいう。また、非画像方式で可動部をもたず、複数の光源からの光の眼球による反射光を受光し、眼球の回旋角度を推定する視線検出技術が知られている。
しかしながら、眼鏡型映像表示装置は、一般的な眼鏡と同等の大きさの収容部材に、複数のセンサや、その駆動回路、信号検出回路、フィードバック回路、演算回路、バッテリー等を収容することが求められる。視線検出装置においても、光源、可動ミラー、光検出部等の構成部、並びにこれら構成部を駆動および制御する電気回路、視線情報を取得する電気回路等を収容部材に収容することが求められる。これら各構成部を収容部材内に収容するためには、各構成部の小型化および高精度な実装技術が求められる。
本実施形態では、小型化可能な視線検出装置等の傾き検出装置を提供する。また、本実施形態では、高精度な実装が可能な傾き検出装置を提供する。さらに、本実施形態では、例えば、シースルー型の眼鏡型映像表示装置に搭載が期待され、非画像方式の視線検出装置を提供する。
以下、傾き検出装置の一例として、眼鏡型支持体に実装され、眼鏡型支持体を装着する人間の眼球の傾き角度を視線方向として検出する視線検出装置を説明する。人間の眼球は、立体物の一例である。視線検出装置は、人間が視線を向けた方向に傾く眼球の傾き情報を、人間の視線方向を示す情報(視線方向情報)として検出する。眼球の傾き情報は、直接傾き角度を示す情報の他、眼球の傾き角度以外の傾き角度に関する情報を含む。
以下の説明では、人間の右目の眼球を例示するが、左目の眼球であっても同様である。また2つの視線検出装置を両目の眼球にそれぞれ適用することもできる。なお、立体物は、眼球に限定はされず、曲率を有する三次元物体であれば、本実施形態を適用可能である。
[実施形態]
<視線検出装置10の構成例>
図1は、視線検出装置10の全体構成の一例を示す図である。視線検出装置10は、光学ユニット50と、反射集束部材60と、眼鏡型支持体70と、処理部100と、を有する。眼鏡型支持体70は、レンズ71と、眼鏡フレーム72と、蔓部73と、継手74と、を含む。眼鏡フレーム72はレンズ71を支持する。継手74は、眼鏡フレーム72と蔓部73とを傾斜可能に接続する。蔓部73は、光学ユニット50を内部に収容することにより保持する。眼鏡型支持体70は、光学ユニット50に含まれる第1支持体を保持する保持部材の一例である。
眼鏡型支持体70は、人間の頭部に装着可能である。眼鏡型支持体70が装着されると、光学ユニット50は、装着した人間の眼球30に近接した位置(眼前)に配置される。光学ユニット50は、光源、光出射部13、第1受光部14等を含むユニットである。光学ユニット50は、処理部100からの駆動信号Drに応じて光源が射出するレーザ光L0を、光出射部13を通して反射集束部材60に向けて照射する。
反射集束部材60は、眼鏡型支持体70に設けられる。反射集束部材60は、光出射部13からのレーザ光L0を眼球30に向けて反射するとともに集束させる。反射集束部材60は、一例として凹面ミラーである。反射集束部材60は、眼鏡型支持体70が人の顔に装着された場合に、装着した人の鼻近傍に配置されるように、眼鏡フレーム72に設けられる。反射集束部材60による集束光L1は、眼球30の瞳孔31近傍に入射する。
集束光L1の眼球30への入射角度は、正視時における眼球30の瞳孔31の中心に所定角度で入射するように調整されている。眼球30における瞳孔31の表面(角膜32の表面)は、水分を含む透明体であり、一般に約2~4[%]の反射率を有する。眼球30の瞳孔31近傍に入射した集束光L1は、眼球30の瞳孔31の表面において反射される。瞳孔31による反射光L2は、光学ユニット50の第1受光部14に入射する。第2受光部12は、反射光L2の受光信号Sを処理部100に出力する。
処理部100は、この受光信号Sに基づいて眼球30の回旋角度を推定する。処理部100は、この回旋角度に対応する眼球30の視線情報Eを出力する。また処理部100は、光学ユニット50からの光量監視信号Mに基づいて駆動信号Drを出力することにより、光源が射出するレーザ光L0の光量を制御する。
図2から図4は、視線検出装置10が有する光学ユニット50の構成を例示する図である。図2は光学ユニット50の下面図である。図2は、図1において、眼球30がある方向から光学ユニット50を視た図である。図3は図2のIII-III切断線における断面図である。図4は光学ユニット50の上面図である。図5は光学ユニット50において第2基板2を取り除いた状態での第1基板1の上面図である。
図3に示すように、光学ユニット50は、第1基板1と、第2基板2と、スペーサ部材3と、光源11と、導光部材20と、光出射部13と、第1受光部14と、を有する。導光部材20は、第1プリズム21と、第2プリズム22と、第1貫通孔23と、を含む。
第1基板1は、第1面1aと、第2面1bと、を含む支持体の一例である。第1基板1は、光源11および第1受光部14を実装可能な実装基板である。第2面1bは、第1基板1における第1面1aとは反対の面である。第1基板1の第1面1aには、光源11と、第2受光部12と、アンプ15と、が実装されている。第1基板1の第2面1bには、第1受光部14と、コネクタ16と、が実装されている。コネクタ16は、フレキシブル基板17と接続している。光出射部13は、第1基板1を貫通する貫通孔である。
第2基板2は、少なくとも導光部材20を支持する第2支持体の一例である。第2基板2は、第1基板1に向き合い、第1基板1の法線方向から視て第1基板1と重なるように設けられている。なお、第1基板1の法線方向から視ることを以下では平面視という。スペーサ部材3は、第1基板1と第2基板2との間に設けられる。第2基板2は、スペーサ部材3を介して接着部材等により第1基板1に固定される。
第2基板2における第1基板1に向き合う面とは反対の面には、第1プリズム21と、第2プリズム22と、ビームスプリッタ24と、が実装されている。また第2基板2には、第1貫通孔23と、第2貫通孔25と、第3貫通孔26と、が形成されている。第1貫通孔23は、平面視において光出射部13の貫通孔と重なっている。第2貫通孔25は、平面視において光源11を内側に含んでいる。第3貫通孔26は、平面視において第2受光部12を内側に含んでいる。
光源11はレーザ光L0を発する。第1プリズム21は光源11からのレーザ光L0をビームスプリッタ24に向けて反射する。ビームスプリッタ24は、第1プリズム21からのレーザ光L0のうちの一部を第2受光部12に向けて反射し、残りを透過する。第2プリズム22は、ビームスプリッタ24を透過したレーザ光L0を第1貫通孔23に向けて反射する。第2プリズム22により反射されたレーザ光L0は、第1貫通孔23および光出射部13を通過した後、反射集束部材60に向けて照射される。
第1受光部14は、眼球30により反射された反射光L2の受光信号Sを出力する。アンプ15は、受光信号Sを電気的に増幅する。コネクタ16は、アンプ15により増幅された受光信号Sを入力する。光学ユニット50は、コネクタ16を介して入力された受光信号Sを、フレキシブル基板17を通して処理部100に出力する。
光源11は、VCSEL(垂直共振器面発光レーザ;Vertical Cavity Surface Emitting LASER)素子が二次元配列されたVCSELアレイである。光源11は、1個のVCSELアレイごとに個別に駆動できる。本明細書では、個別駆動されるVCSELアレイの最小単位を発光部と呼ぶ。各発光部は、指向性と有限の広がり角を有するレーザ光を発する。VCSELアレイは発光部の一例である。
光源11により発光されるレーザ光の波長は、視線を検出される「人」の視認が阻害されないように、非可視光である近赤外光の波長であることが好ましい。但し、これに限定されず、光源11により発光されるレーザ光の波長は、可視光であってもよい。
光源11は、VCSELアレイに限定されず、LD(半導体レーザ;Laser Diode)やLED(発光ダイオード;Light Emitting Diode)、LD以外のレーザ光源等であってもよい。VCSELアレイは2次元面内での集積化が容易であるため、ウェアラブル装置への小型実装できるという点において好ましい。
導光部材20は、光源11からのレーザ光L0を導光する。導光部材20は、光源11からの光を導光できればいかなる構成であってもよい。例えば、導光部材20は、レンズ、回折格子、光ファイバ等の少なくとも1つを含んでもよい。
光出射部13は、導光部材20により導光されたレーザ光L0を第1面1a側から第2面1b側に出射させる。光出射部13は、導光部材20により導光された光を出射できればいかなる構成であってもよい。例えば、光出射部13は、第1基板1を貫通する切り欠きやスリット等を含んでもよい。また導光部材20に含まれるレンズ、回折格子、光ファイバ、光透過部材、減光フィルタ等において光が出射される部分を光出射部13としてもよい。光出射部13の形状は、円形状の他、楕円形状、矩形状、多角形状等であってもよい。
ビームスプリッタ24は、光源11からのレーザ光L0を2以上の光に分割する光分割部材の一例である。ビームスプリッタ24は、キューブ型に限らず、プレート型等であってもよい。
第2受光部12は、ビームスプリッタ24により分割されたレーザ光L0の反射光および透過光のうち、第2受光部12が受光した光の光量に対応する光量監視信号Mを出力する。第2受光部12には、フォトダイオード等の受光素子や、CCD、CMOS等の撮像素子等を使用できる。第2受光部12は、第1基板1の第1面1aに配置される。第2受光部12は、光量監視信号Mを処理部100に出力する。
第1受光部14は、第2面1bに設けられる。第1受光部14は、光出射部13から出射されたレーザ光L0の眼球30による反射光L2を受光し、受光信号Sを出力する。本実施形態では、第1受光部14は、受光した光の光強度を示す信号と、第1受光部14へ入射する反射光L2の位置を示す信号の両方を出力可能なPSD(光位置検出器;Position Sensitive Detector)である。但し、第1受光部14は、受光した光の光強度を示す信号を出力する単画素のPD(Photo Detector)であってもよいし、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子であってもよい。PSDは、眼球30による反射光L2を高感度に検出し、反射光L2の入射位置と、光源11における発光部の位置と、に基づき視線方向を精度よく検出できる点において好適である。
反射集束部材60および第1受光部14の配置は、図1および図3に示したものに限らない。反射集束部材60および第1受光部14の配置は、光源11の複数の発光部により発光されるレーザ光L0のうち1つだけが眼球30の傾きに応じて最終的に第1受光部14に入射する配置であればよい。眼球30と第1受光部14との間に、偏向光学素子等が設けられていてもよい。
処理部100は、第1受光部14からの受光信号Sに基づき、眼球30の視線情報を出力する出力部の一例である。処理部100は、駆動信号Drを出力することにより、光源11の各発光部を順次発光させることができる。処理部100は、第1受光部14から入力した受光信号Sに基づき、視線方向を推定する処理を実行する。処理部100の配置位置は特に限定されないが、例えば蔓部73等である。
第1受光部14に入射する反射光L2が光源11に含まれるどの発光部から発光されたレーザ光L0に由来するものであるかは、視線方向によって異なる。このため、処理部100は、第1受光部14の受光信号Sを光源11における発光部の位置に基づき、視線方向を推定する。処理部100は、光源11における発光部の位置と、第1受光部14に入射する反射光L2の位置と、所定の眼球モデルと、を用いて視線方向を推定できる。処理部100は、推定した視線方向に基づく視線情報Eを出力する。
光源11は、複数の発光部を有することに加え、高速時間変調が可能である。視線検出装置10は、例えば、直交性を有する符号化パターンに従って、光源11により発光されるレーザ光L0を時間変調する。視線検出装置10は、第1受光部14の受光信号Sから、第1受光部14に入射する反射光L2に適合した符号化パターンを有する成分を抽出する。これにより、視線検出装置10は、変調を伴わない外部環境からの光の影響を除去して出力信号のSN比を向上させることができる。視線検出装置10は、明るい環境下において視線方向を検出しやすくなるとともに、眼球30に照射される集束光L1の光量を低減可能にする。集束光L1の光量を低減すると、眼球30への安全性が向上する。
視線検出装置10は、光源11に含まれる各発光部を順次発光させる。順次発光は、各発光部を並行して発光させる場合と比較して、眼球30に照射される集束光L1の光強度を低減できる点において有利である。複数の発光部の全てを並行して発光させる場合には、発光部の個数分の光源変調部等の光源駆動部を用意する必要がある。視線検出装置10は、一つずつ発光させるために、発光部の個数分の光源変調部等の光源駆動部を用意する必要が無い。このため、視線検出装置10は、光源駆動部を小型および軽量に実装できる。
なお、本実施形態では、光学ユニット50および処理部100を蔓部73に収容する例を示すが、これに限定されるものではなく、ヘッドマウントディスプレイやヘッドギア型の保持構造体等を用いてもよい。
<処理部100のハードウェア構成例>
図6は、処理部100のハードウェア構成の一例を説明するブロック図である。処理部100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、SSD(Solid State Drive)104と、を有する。また処理部100は、光源駆動回路105と、A/D(Analog/Digital)変換回路106と、入出力I/F(Interface)107とを有する。これらは、システムバス108を介して相互に通信可能に接続している。
CPU101は、ROM102やSSD104等の記憶装置からプログラムやデータをRAM103上に読み出す。CPU101は、読み出したプログラムを実行することにより、処理部100全体の制御や後述する機能を実現する。なお、CPU101の有する機能の少なくとも一部は、ASIC(application specific integrated circuit)やFPGA(Field-Programmable Gate Array)等の電子回路により実現されてもよい。
ROM102は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ(記憶装置)である。ROM102は、処理部100の起動時に実行されるBIOS(Basic Input/Output System)、OS設定およびネットワーク設定等のプログラム、並びにデータを格納している。RAM103は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。
SSD104は、処理部100による処理を実行するプログラムや各種データが記憶された不揮発性メモリである。なお、SSDはHDD(Hard Disk Drive)であってもよい。
光源駆動回路105は、光源11に電気的に接続し、駆動信号Drに従って光源11に駆動電圧を出力する電気回路である。光源駆動回路105は、光源11の備える複数の発光部を順次発光させる。
駆動電圧には矩形波、正弦波、または所定の波形形状の電圧波形を使用でき、光源駆動回路105は、これらの電圧波形の周期(周波数)を変化させて、駆動電圧の周期を変調できる。
A/D変換回路106は、第1受光部14および第2受光部12それぞれに電気的に接続する。A/D変換回路106は、第1受光部14が出力するアナログ電圧信号である受光信号SをA/D変換したデジタル電圧データを出力する。またA/D変換回路106は、第2受光部12が出力するアナログ電圧信号である光量監視信号MをA/D変換したデジタル電圧データを出力する。
入出力I/F107は、PC(Personal Computer)や映像機器等の外部機器と接続するインターフェースである。
<処理部100の機能構成例>
図7は、処理部100の機能構成の一例を説明するブロック図である。図7に示すように、処理部100は、発光駆動部110と、信号入力部111と、演算部120と、視線情報出力部130と、を有する。
発光駆動部110は、光源11に駆動信号Drを出力することにより、光源11が備える複数の発光部にレーザ光L0を射出させる。また発光駆動部110は、信号入力部111からの光量監視信号Mに基づき、光源11が射出するレーザ光L0の光量を制御する。発光駆動部110の機能は、光源駆動回路105等により実現される。
信号入力部111は、第1受光部14から入力した受光信号SをA/D変換したデジタル電圧信号を、演算部120の備える眼球回旋角度推定部121に出力する。また信号入力部111は、第2受光部12から入力した光量監視信号MをA/D変換したデジタル電圧信号を発光駆動部110に出力する。信号入力部111の機能は、A/D変換回路106等により実現される。
演算部120は、眼球回旋角度推定部121と、視線情報取得部122と、を有する。信号入力部111により入力した受光信号Sに基づき、眼球30の瞳孔位置を取得する演算処理を実行する。演算部120の機能は、CPU101がROM102に記憶されたプログラムを実行すること等により実現される。
眼球回旋角度推定部121は、信号入力部111からの受光信号Sに基づき、眼球30の回旋角度を推定する。眼球回旋角度推定部121は、推定した回旋角度データを視線情報取得部122に出力する。視線情報取得部122は、眼球回旋角度推定部121による眼球30の回旋角度情報に基づき、瞳孔31の位置情報を取得する処理を実行する。また視線情報取得部122は、瞳孔31の位置から視線情報Eを取得する処理を実行する。視線情報取得部122は、視線情報出力部130を介して視線情報Eを外部装置等に向けて出力する。視線情報出力部130は、入出力I/F107等により実現される。
視線検出装置10では、光源11から眼球30へ照射される集束光L1が眼球30に入射する入射角度と、眼球30の回旋角度の算出式と、が予め定められている。眼球30の回旋角度の算出式は、1次関数または2次関数を含む。但し、集束光L1の入射角度と、第1受光部14の受光面上での位置と、に基づき回旋角度を定めることができれば式の形式は特に限定されない。本実施形態では、簡単な近似式として2次関数による算出式が採用されている。
集束光L1が眼球30に入射する角度の決定には、眼球30の表面形状モデルを利用できる。例えば、一般的な眼球の表面形状モデルとして古くから知られている略式模型眼(例えば、「眼の光学的機構」、精密機械27-11、1961参照)等を利用できる。
一方、眼球30への集束光L1の入射角度は、第1受光部14への反射光L2の入射位置が受光面の中心になるように、光線追跡計算等により予め決定される。また、第1受光部14の受光面への反射光L2の入射位置は、眼球30への集束光L1の入射角度、眼球30における集束光L1の反射位置、および眼球30の接面の傾きに基づき、理論解析により決定される。理論解析の解から、多項式近似により眼球30の回旋角度を推定する逆演算式(近似式)が決定される。
眼球30への集束光L1の入射角度と、眼球30の回旋角度と、を推定する逆演算式は、処理部100のROM102やSSD104等のメモリに記憶される。この逆演算式は、発光駆動部110による発光部の変更や、演算部120による視線情報Eの取得処理において参照される。
[第1実施形態]
<光源11の構成例>
図8および図9を参照して光源11の構成について説明する。図8は、第1実施形態に係る光源11の構成を例示する図である。図9は、図8のIX-IX切断線における断面図である。
図8に示すように、光源11は、それぞれが発光部40を有する11ch~19chの9個のVCSELアレイ80を有する。VCSELアレイ80が有する発光部40は、個片化された発光部に対応する。個片化とは、完全に切断されている状態を意味する。複数の発光部40同士の間には、空気層81が設けられている。空気層81は、発光部40を含むVCSELアレイ80同士の間において空気が存在する層である。
本実施形態では、光源11は、複数の発光部40を1チップ内に含むVCSELアレイではなく、発光部40ごとの個別チップであるVCSELアレイ80がウエハ面内に製作されたものである。VCSELアレイ80は、パターニングされた粘着部材を用いて選択的にピックアップされ、ドナー基板上に転写される。このような光源11の製作工程は、マイクロトランスファー工程である。
光源11に複数のVCSELアレイ80を用いる場合には、VCSELアレイ80同士の間隔を適正化することにより、光学部材数を削減する効果が得られる。一方、非周期構造のVCSELアレイ80を比較的疎な間隔により配置する構成を半導体製造工程により製造することは好ましくない。ウエハ当たりのVCSELアレイ80の取出数が少なく、量産効果が得られないためである。
マイクロトランスファー工程によって複数のVCSELアレイ80が製作されることにより、光源11は、複数のVCSELアレイ80を無駄なく配置可能になる。省スペースおよび小型化のためには、光源11におけるVCSELアレイ80は、フリップチップ実装に対応した電極構成を有することが好ましい。図8では、一方の電極を共通化してGNDに接続した構成を例示している。
図9に示すように、VCSELアレイ80は、発光部40と、電極41と、導電性部材42と、第1半導体基板43と、第2半導体基板44と、を有する。電極41は、アノード端子41pと、カソード端子41nと、を含む。導電性部材42は、導電性部材42pと、導電性部材42nと、を含む。導電性部材42pは、発光部40とアノード端子41pとを接続する。導電性部材42nは、発光部40とカソード端子41nとを接続する。
VCSELアレイ80は、多層膜をメサ加工した形状を有する。隣接する発光部40におけるメサ構造が金属等の導電性部材42によって被覆されることにより、VCSELアレイ80は、図9では例えばn型電極として利用できる。導電性部材42がバンプとして溶融圧縮されることにより、電極41と発光部40とが導通し、VCSELアレイ80への電流注入が可能になる。
VCSELアレイ80の数が多い場合には、配線の交差が生じるため、スルーホールを有する多層基板を用いて共通電極を異なる層に設けることが好ましい。すなわち、カソード端子41nおよびアノード端子41pは、両面基板または多層基板の異なる層に電気的に接続していることが好ましい。
<視線検出装置10の作用効果>
視線検出装置10の作用効果について説明する。例えば、特許文献1は、平坦基板上に、複数の反射面や端面発光型のレーザダイオード、モニタ用フォトダイオード、コリメータレンズが積層配置された光走査モジュールを開示している。この光走査モジュールは、走査ミラーを周回するようにレーザ光線を配光する。この光走査モジュールは、走査ミラーへレーザ光線を照射し、透明ガラスカバーを透過させる。
しかしながら、特許文献1の構成では、所望の出射角が得られるように走査ミラーを3次元的に配置する必要がある。また、可動空間を確保するために空隙領域を設ける必要がある。さらに、端面発光型のレーザダイオードを用いるため、サブマウントによる高さ調整が必要である。コリメータレンズとのアライメントも容易ではない。端面発光型のレーザダイオードは光線の断面プロファイルが歪むため、ビーム成型のための光学部品が必要となる。これらのことから、特許文献1に記載の構成を用いると、視線検出装置10が大型化する場合がある。
本実施形態に係る視線検出装置10(傾き検出装置)は、第1基板1(第1支持体)と、光源11と、導光部材20と、光出射部13と、第1受光部14と、処理部100(出力部)と、を有する。光源11は、第1基板1の第1面1aに設けられる。第1受光部14は、第1基板1の第2面1bに設けられる。この構成により、第1基板1において、第1受光部14が設けられた面とは反対の面に光源11や、光源11を駆動させる電子回路、第1受光部14からの信号を処理する電子回路等を配置できる。この結果、小型化可能な視線検出装置10を提供できる。
また、視線検出装置10は、可動部を全く含まない構成が可能であるため、可動域となる空間を確保しなくてもよい。また、視線検出装置10は、可動機構を駆動制御するための駆動回路や電源も不要である。これらによっても視線検出装置10を小型化できる。
第1受光部14は、大きな受光面積であることが好ましい。この理由について説明する。レーザ光L0は眼球30に照射される。その反射光L2が第1受光部14の受光面に入射する。反射光L2は、眼球30の傾きに応じた第1受光部14の受光面上の位置に入射する。また反射光L2は、眼球30の表面形状に応じて広がりをもって第1受光部14の受光面に入射する。これらのため、第1受光部14の受光面は、受光面積を大きくすると、反射光L2の位置検出や反射光L2の光量確保のために有利となる。以上より、第1受光部14の受光面が大きな受光面積であることが好ましい。
また、本実施形態では、第1基板1は、光源11および第1受光部14を実装可能な実装基板である。この構成により、電気接続が必要な光源11および第1受光部14を第1基板1に集約して実装できるため、光学ユニット50の取り扱いが容易になる。
なお、本実施形態では、光学ユニット50が第1基板1と第2基板2とを有する構成を示したが、光学ユニット50は第2基板2を必ずしも有さなくてもよい。光学ユニット50が第2基板2を有さない場合には、導光部材20やビームスプリッタ24は、第1基板1上に設置される。
また、本実施形態では、光源11は、複数の発光部40を有する。複数の発光部40それぞれの発光を切り替え、レーザ光L0の眼球30への入射角度を切り替えることにより、眼球30の動きに追尾したトラッキングが可能になる。
また、本実施形態では、複数の発光部40同士の間には、空気層81が設けられている。この構成により、複数の発光部40同士の配置を適正化できるため、第1受光部14への反射光L2の入射位置を制御したり、反射光L2のレーザビーム形状を制御したりするための光学素子が不要となる。この結果、光学部品数を究極的に削減できる。また、電子部品の実装精度、または電子部品の実装装置を用いた実装精度、によって光学部品を実装できる。これらの結果、光学部品数が少なく、実装が容易である視線検出装置10を提供できる。
適正な偏光方位角にそろった直線偏光を出射する複数の発光部40を有する光源11を用いるとさらに好ましい。眼球30に入射するレーザ光の偏光を一意に決定できるため、特殊な偏光部材を備えることなしに、眼球30内部に侵入する光の光量を低減できるためである。
また、本実施形態では、ビームスプリッタ24(光分割部材)と、第2受光部12と、を有する。第2受光部12は、第1基板1の第1面1aに配置される。この構成により、導光部材20およびビームスプリッタ24等の電気接続が不要な構成部を第2基板2に集約できるため、光学ユニット50の取り扱いが容易になる。
また、本実施形態では、発光部40は、カソード端子41nと、アノード端子41pと、を含む。カソード端子41nおよびアノード端子41pは、両面基板または多層基板の異なる層に電気的に接続してもよい。この構成により、光源11の配線スペースを減らし、隙間領域を有効に活用でき、視線検出装置10を小型化できる。
また、本実施形態では、少なくとも導光部材20を支持する第2基板2と、第1基板1と第2基板2との間に設けられるスペーサ部材3と、を有する。導光部材20およびビームスプリッタ24は、光の入出射面が平坦な光学素子であるため、高い実装精度は要求されず、スペーサ部材3を用いた第1基板1と第2基板2の積層により、実装精度的には十分である。これより光学部品数が少なく、実装が容易である視線検出装置を提供できる。
[第2実施形態]
第2実施形態に係る視線検出装置の光源について説明する。なお、同一構成部には同一の符号を付し、重複する説明を適宜省略する。この点は、以降に示す実施形態においても同様である。
<光源11aの構成例>
図10および図11を参照して、第2実施形態に係る視線検出装置10aが有する光源11aの構成を説明する。図10は、第2実施形態に係る光源11aの構成を例示する図である。図11は、図10のX-X切断線における断面図である。
図10に示すように、光源11aは、複数のVCSELアレイ80と、複数の第2受光部12aと、を有する。複数のVCSELアレイ80は、それぞれ単一の発光部40を有する。複数の第2受光部12aは、複数のVCSELアレイ80のそれぞれと隣接する位置に設けられる。複数の第2受光部12aは、複数のVCSELアレイ80と対をなす。第2受光部12aは、例えばフォトダイオードであるが、光強度に応じた電気信号を出力できるものであれば、これに限定されない。
第2受光部12aは、複数の発光部40同士の間に配置されている。VCSELアレイ80の配列は疎であるため、VCSELアレイ80と同じ個数分の第2受光部12aをVCSELアレイ80の隣に配置可能となる。視線検出装置10は、各VCSELアレイ80から出力されるレーザ光L0の光量を、第2受光部12aにより個別に検出できる。
VCSELアレイ80から射出されたレーザ光L0を第2受光部12aにより検出するためには、レーザ光L0の一部を第2受光部12aが位置する方向に偏向させる必要がある。
本実施形態では、図11に示すように、視線検出装置10aは、第1プリズム21とVCSELアレイ80との間に偏光異方性部材114を有する。偏光異方性部材114は、複数の発光部それぞれからの光を偏向させる偏向部材の一例である。偏光異方性部材114は、複数のVCSELアレイ80それぞれからのレーザ光L0が、対をなす第2受光部12aに入射するように偏向させる。
偏光異方性部材114は、直交する2つの偏光成分、もしくは右回り偏光と左回り偏光成分のうち、一方を透過し、他方を第2受光部12aに入射させるように回折により偏向させる。VCSELアレイ80からのレーザ光L0の偏光異方性部材114による1次回折光L3は、第2受光部12aに入射する。
偏光異方性部材114は、例えば液晶分子を配向した後、ポリマー化することにより、液晶の配向パターンに依存した偏光異方性を発現させることができる。ここでは光量検出ができればよいため、必ずしも高効率に回折させなくてもよい。
光源11aを有する視線検出装置は、視線検出装置10におけるレーザ光L0の光量検出を可能にするとともに、視線検出装置10におけるビームスプリッタ24、第2受光部12および第3貫通孔26が不要とする。これにより視線検出装置をさらに小型化できる。
上記以外の効果は、第1実施形態と同様である。
[第3実施形態]
図12は、第3実施形態に係る視線検出装置10bの構成を例示する図である。視線検出装置10bは、眼鏡型支持体70に保持される反射集束部材60と、反射集束部材60からの光を受光する第3受光部91と、有する。
光源11は、第1発光部としての発光部40と、第2発光部としての発光部45と、を含む。第1受光部14は、発光部40により発せられたレーザ光L0が反射集束部材60により反射集束された集束光L1の眼球30による反射光L2の受光信号Sを出力する。第3受光部91は、発光部45により発せられたレーザ光L4が反射集束部材60により反射集束された集束光L5の受光信号Tを出力する。
第1受光部14による受光信号Sの出力と、第3受光部91による受光信号Tの出力は、1つの受光部で行われても良い。このとき、受光信号Tと受光信号Sは、時系列パターンが異なるため、それぞれのパターンを内積演算することにより区別できる。
処理部100aは、第1受光部14からの受光信号Sおよび第3受光部91からの受光信号Tに基づき、反射集束部材60の位置および角度が補償された視線情報Eを出力する。例えば、処理部100aは、ROM102やSSD104等のメモリに記憶された逆演算式を、受光信号Tに基づいて補正することにより、反射集束部材60の位置および角度が補償された視線情報Eを出力する。逆演算式は、眼球30への集束光L1の入射角度と眼球30の回旋角度とを推定するものである。
例えば、反射集束部材60は、装着者が眼鏡型支持体70を装着した際等に、その位置や角度がずれる場合がある。反射集束部材60の位置または角度のずれにより、視線検出装置は装着者の視線方向を正しく検出できない場合がある。本実施形態では、眼球30を経由していない集束光L5の第3受光部91による受光信号Tを用いる。このため、反射集束部材60の位置または角度のずれを検出し、その視線情報Eへの影響を補償することが可能になる。この結果、本実施形態では、視線検出のロバスト性に優れた視線検出装置10bを提供できる。
上記以外の効果は、第1実施形態と同様である。
[第4実施形態]
図13は、第4実施形態に係る網膜投影型表示装置200の構成の一例を説明する図である。網膜投影型表示装置200は、RGB(Red、Green、Blue)レーザ光源61と、走査ミラー62と、平面ミラー63と、ハーフミラー64と、画像生成部65と、視線検出装置10と、を有する。網膜投影型表示装置200は、網膜投影型表示装置200を装着した人間の網膜に画像を投影して表示する。網膜投影型表示装置200は、ヘッドマウントディスプレイの一例である。
RGBレーザ光源61は、RGB3色のレーザ光を時間的に変調して出力する。走査ミラー62は、RGBレーザ光源61からの光を二次元的に走査する。走査ミラー62は、MEMSミラー等である。但し、これに限定されるものではなく、ポリゴンミラー、ガルバノミラー等、光を走査する反射部を有するものであればよい。小型化および軽量化の点ではMEMSミラーが有利となる。なお、MEMSミラーの駆動方式は、静電式、圧電式、電磁式等の何れであってもよい。
平面ミラー63は、ハーフミラー64に向けて走査ミラー62による走査光を反射する。ハーフミラー64は、入射する光の一部を透過し、一部を眼球30に向けて反射する。ハーフミラー64は、凹型の曲面形状を有する。ハーフミラー64は、反射した光を眼球30の瞳孔31の近傍に集束させ、網膜33の位置で結像させる。これにより、走査光で形成される画像を網膜33に投影する。図中破線で示されている光61aは、網膜33上に画像を形成する光を表している。なお、ハーフミラー64は、必ずしも反射光と透過光の光量が1対1にならなくてもよい。
視線検出装置10は、眼球30の傾き、つまり視線方向のフィードバック信号Fdを画像生成部65に送信する。
画像生成部65は、走査ミラー62の振れ角制御機能と、RGBレーザ光源61の発光制御機能とを有している。また、画像生成部65は、視線検出装置10から視線方向のフィードバック信号Fdを受信する。視線検出装置10により取得された視線情報Eに応じて制御信号Ctを出力することにより、走査ミラー62の振れ角と、RGBレーザ光源61の発光を制御し、画像の投影角度、または画像内容を書き換える。これにより、視線方向の変化に追従(アイトラッキング)した画像を網膜33上に形成できる。
なお、本実施形態では、網膜投影型表示装置200をウェアラブル端末であるヘッドマウントディスプレイとした一例を示したが、これに限定されない。例えば網膜投影型表示装置200は、人間の頭部に直接装着させるだけでなく、固定部等の部材を介して間接的に人の頭部に装着させるもの(頭部装着型表示装置)であってもよい。また、左右眼用に一対の網膜投影型表示装置200を設けた両眼式の網膜投影型表示装置としてもよい。
また、本実施形態では、網膜投影型表示装置200が視線検出装置10を備える構成を例示したが、網膜投影型表示装置200は視線検出装置10aまたは視線検出装置10cを備えてもよい。
[その他の好適な実施形態]
以上、本発明の実施形態の例について記述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば上述した実施形態では、眼球30の傾きを検出する装置を光学装置の一例として示したが、これに限定されるものではない。例えばロボットハンド等に光学装置を実装し、対象物の一例としてのロボットハンドの傾きを検出してもよい。
また本実施形態は、眼球の傾きや瞳孔位置(角膜)の検出する機能を有する検眼装置にも適用できる。検眼装置とは、視力検査、眼屈折力検査、眼圧検査、眼軸長検査など種々の検査を行う事が出来る装置を指す。検眼装置は、眼球に非接触で検査可能な装置であって、被験者の顔を支持する支持部と、検眼窓と、検眼に際し被検者の眼球の向き(視線の向き)を一定にする表示を行う表示部と、制御部と、測定部とを有している。測定部の測定精度を上げるために眼球(視線)を動かさず一点を見つめることが求められ、被検者は支持部に顔を固定し、検眼窓から表示部に表示される表示物を凝視する。このとき、眼球の傾き位置を検出する際に、本実施形態の眼球の傾き位置検知装置が利用可能である。眼球の傾き位置検知装置は測定の妨げにならないよう、測定部の側方に配置される。眼球の傾き位置検知装置で得られた眼球の傾き位置(視線)情報は、制御部にフィードバック可能で、眼球の傾き位置情報に応じた測定を行える。
また、視線検出装置10は、眼球30の傾きや瞳孔位置(角膜)、または視線方向に関する情報に基づき、ユーザの状態を推定するユーザ状態推定装置に適用することもできる。ユーザはユーザ状態推定装置の使用者を意味する。
ユーザの状態には、ユーザの疲労度およびユーザの注意度の少なくとも1つが含まれる。ユーザの疲労度は、例えばユーザの精神的な疲労の大きさを表す指標である。ユーザの注意度は、ユーザの注意力の高さを表す指標である。
例えば、ユーザの疲労度を推定するユーザ状態推定装置は、視線検出装置10と、該視線検出装置10により検出されるユーザの視線方向情報に基づき疲労度を推定する疲労度推定部と、を有する。疲労度推定部は、状態推定部の一例である。
疲労度推定部におけるユーザの精神的疲労度の推定方法としては、例えば、非特許文献(Tseng, V.WS., Valliappan, N., Ramachandran, V. et al. Digital biomarker of mental fatigue. npj Digit. Med. 4, 47 (2021))に記載されている方法が挙げられる。この方法によると、モニタに表示されるオブジェクトの軌跡を目で追いかけるタスクを数分行い、その時の視線の動きを測定することにより、精神的疲労度を推定できる。視線検出装置10によれば、対象物に照射される光の光量の増加を抑えながら、対象物による反射光を高感度に検出できる。このため、視線検出装置10を有する疲労度推定装置は、安全かつ高精度にユーザの精神的疲労度を推定できる。また、疲労度推定装置は、推定された精神的疲労度に基づき、ユーザに例えば休憩を促す情報を通知する通知手段を有してもよい。
ユーザの注意度を推定するユーザ状態推定装置は、視線検出装置10と、該視線検出装置10により検出される視線方向情報に基づきユーザの注意度を推定する注意度推定部と、を有する。注意度推定部は、状態推定部の一例である。
注意度推定部におけるユーザの注意度の推定方法としては、例えば、マイクロサッカードと呼ばれる眼球30の微振動を検出し、その発生頻度に基づいてユーザの注度を推定する方法が挙げられる。非特許文献(Pastukhov A, Braun J. Rare but precious: microsaccades are highly informative about attentional allocation. Vision Res. 2010 Jun 11;50(12):1173-84.)によれば、マイクロサッカードは、固視微動(人がある対象物を注視しているときに生じる、振幅±3.0[°]程度の眼球30の微振動)の中でも比較的振幅が大きく、かつ高速な運動であり、人の注意力と相関があることが知られている。視線検出装置10は、眼球30の傾きを高速かつ高精度に測定できるため、従来の視線検出装置に比べ、マイクロサッカードを高精度に検出できる。
従って、ユーザの注意度を推定するユーザ状態推定装置は、対象物に照射される光の光量増加を抑えながら、対象物による反射光を高感度に検出できるため、安全かつ高精度にユーザの注意度を推定できる。
また、視線検出装置10を有するユーザ状態推定装置は、運転支援システムにも適用できる。この運転システムは、視線検出装置10を有するユーザ状態推定装置と、該ユーザ状態推定装置により推定された注意度に基づいて移動体の動作を制御する動作制御部と、を有する。例えば、ユーザ状態推定装置により推定されたユーザの注意度が所定の基準よりも下回る場合、動作制御部は、手動運転モードから自動運転モードに切り替えるように移動体、例えば車両の動作モードを制御する。視線検出装置10によって、対象物に照射される光の光量増加を抑えながら、対象物による反射光を高感度に検出できるため、運転支援システムは安全かつ高精度に運転支援を行うことができる。
また、これらの実施形態は、視線検出装置10により検出された眼球30の傾きや瞳孔位置(角膜)、または視線方向に関する一つの情報を、2つ以上の画像生成部、およびユーザの状態を推定する状態推定部のそれぞれが利用する構成であってもよい。この構成により、ユーザの眼球30に照射される光の光量増加を抑えながら、眼球30による反射光を高感度で検出でき、かつ視線検出装置10を小型化できる。
例えば、視線検出装置10により検出された眼球30の傾きや瞳孔位置(角膜)、または視線方向情報は、網膜投影型表示装置の画像生成部に対するフィードバック信号として利用されつつ、疲労度推定装置の疲労度推定部による疲労度推定のために利用されてもよい。このとき、機能構成部としての画像生成部および疲労度推定部は、同一の情報処理装置に設けられてもよいし、別々の情報処理装置に設けられてもよい。
本明細書において用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
また本明細書において説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
1 第1基板(第1支持体)
1a 第1面
1b 第2面
2 第2基板(第2支持体)
3 スペーサ部材
10、10a、10b 視線検出装置(傾き検出装置の一例)
11、11a 光源
12、12a 第2受光部
13 光出射部
14 第1受光部
15 アンプ
16 コネクタ
17 フレキシブル基板
20 導光部材
21 第1プリズム
22 第2プリズム
23 第1貫通孔
24 ビームスプリッタ
25 第2貫通孔
26 第3貫通孔
30 眼球(立体物の一例)
31 瞳孔
32 角膜
33 網膜
40、45 発光部
41 電極
41p アノード端子
41n カソード端子
42、42p、42n 導電性部材
43 第1半導体基板
44 第2半導体基板
50 光学ユニット
60 反射集束部材
61 RGBレーザ光源
62 走査ミラー
63 平面ミラー
64 ハーフミラー
65 画像生成部
70 眼鏡型支持体
71 レンズ
72 眼鏡フレーム
73 蔓部
74 継手
80 VCSELアレイ
81 空気層
91 第3受光部
100、100a 処理部
101 CPU
102 ROM
103 RAM
104 SSD
105 光源駆動回路
106 A/D変換回路
107 入出力I/F
108 システムバス
110 発光駆動部
111 信号入力部
114 偏光異方性部材
120 演算部
121 眼球回旋角度推定部
122 視線情報取得部
130 視線情報出力部
200 網膜投影型表示装置
Ct 制御信号
Dr 駆動信号
E 視線情報
Fd フィードバック信号
S 受光信号
M 光量監視信号
L0、L4 レーザ光
L1、L5 集束光
L2 反射光
L3 1次回折光
特許4914616号公報

Claims (17)

  1. 立体物の傾きを検出する、傾き検出装置であって、
    第1面と第2面とを含む第1支持体と、
    前記第1面に設けられた光源と、
    前記光源からの光を導光する導光部材と、
    前記導光部材により導光された光を前記第1面側から前記第2面側に出射させる光出射部と、
    前記第2面に設けられ、前記光出射部から出射された光の前記立体物による反射光を受光し、受光信号を出力する第1受光部と、
    前記第1受光部からの受光信号に基づき、前記立体物の傾き情報を出力する出力部と、を有する、傾き検出装置。
  2. 前記第1支持体は、前記光源および前記第1受光部を実装可能な実装基板である、請求項1に記載の傾き検出装置。
  3. 前記光源は、複数の発光部を有する、請求項1または請求項2に記載の傾き検出装置。
  4. 前記光源は、それぞれが個片化された複数の発光部を有し、
    前記複数の発光部同士の間には、空気層が設けられている、請求項1から請求項3のいずれか1項に記載の傾き検出装置。
  5. 前記光源からの光を2以上の光に分割する光分割部材と、
    前記光分割部材により分割された2以上の光のうち、少なくとも1つの光を受光し、前記受光した光の光量に対応する信号を出力する第2受光部と、を有し、
    前記第2受光部は、前記第1支持体の前記第1面に配置される、請求項1から請求項4のいずれか1項に記載の傾き検出装置。
  6. 前記光源は、それぞれが個片化された複数の発光部と、
    前記複数の発光部それぞれからの光を偏向させる偏向部材と、
    それぞれが個片化された複数の前記第2受光部と、有し、
    複数の前記第2受光部は、前記複数の発光部と対をなし、前記複数の発光部同士の間に配置され、
    前記偏向部材は、前記複数の発光部それぞれからの光が、対をなす前記第2受光部に入射するように偏向させる、請求項5に記載の傾き検出装置。
  7. 前記発光部は、カソード端子と、アノード端子と、を含み、
    前記カソード端子および前記アノード端子は、両面基板または多層基板の異なる層に電気的に接続している、請求項6に記載の傾き検出装置。
  8. 少なくとも前記導光部材を支持する第2支持体と、
    前記第1支持体と前記第2支持体との間に設けられるスペーサ部材と、を有する請求項1から請求項7のいずれか1項に記載の傾き検出装置。
  9. 前記第1支持体を保持する保持部材と、
    前記保持部材に設けられ、前記光出射部からの光を前記立体物に向けて反射するとともに集束させる反射集束部材と、
    前記反射集束部材からの光を受光する第3受光部と、有し、
    前記光源は、第1発光部と、第2発光部と、を含み、
    前記第1受光部は、前記第1発光部により発せられた光が前記反射集束部材により反射集束された光の前記立体物による反射光の受光信号を出力し、
    前記第3受光部は、前記第2発光部により発せられた光が前記反射集束部材により反射集束された光の受光信号を出力し、
    前記出力部は、前記第1受光部および前記第3受光部からの各受光信号に基づき、前記反射集束部材の位置および角度が補償された前記立体物の傾き情報を出力する、請求項1から請求項8のいずれか1項に記載の傾き検出装置。
  10. 人の視線検出装置であって、
    請求項1から請求項9の何れか1項に記載の傾き検出装置を有し、
    前記立体物は、眼球であり、
    前記立体物の傾き情報は、前記人の視線方向に関する視線情報を含む、視線検出装置。
  11. 請求項10に記載の視線検出装置を有する、ヘッドマウントディスプレイ。
  12. 請求項10載の視線検出装置を有する、網膜投影型表示装置。
  13. 請求項10に記載の視線検出装置を有する、検眼装置。
  14. 請求項10に記載の視線検出装置を有し、
    前記視線検出装置により検出された前記視線情報に基づき、ユーザの状態を推定する推定部と、を有する、ユーザ状態推定装置。
  15. 前記推定部は、前記ユーザの眼球の微振動の発生頻度に基づいて、前記ユーザの状態を推定する、請求項14に記載のユーザ状態推定装置。
  16. 前記ユーザの状態は、前記ユーザの疲労度および前記ユーザの注意度の少なくとも1つを含む、請求項14または15に記載のユーザ状態推定装置。
  17. 請求項14から請求項16のいずれか1項に記載のユーザ状態推定装置と、
    前記ユーザ状態推定装置により推定された前記ユーザの状態に基づき、前記ユーザが運転する移動体の動作を制御する制御部と、を有する、運転支援システム。
JP2022044644A 2022-03-18 2022-03-18 傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム Pending JP2023138124A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022044644A JP2023138124A (ja) 2022-03-18 2022-03-18 傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム
PCT/IB2023/052375 WO2023175467A2 (en) 2022-03-18 2023-03-13 Inclination detector, line-of-sight detector, head-mounted display, retinal projection display, eye test device, user state estimation device, and driving support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022044644A JP2023138124A (ja) 2022-03-18 2022-03-18 傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム

Publications (1)

Publication Number Publication Date
JP2023138124A true JP2023138124A (ja) 2023-09-29

Family

ID=85792474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022044644A Pending JP2023138124A (ja) 2022-03-18 2022-03-18 傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム

Country Status (2)

Country Link
JP (1) JP2023138124A (ja)
WO (1) WO2023175467A2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007085682A1 (en) * 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
JP4914616B2 (ja) 2006-02-03 2012-04-11 株式会社オプトエレクトロニクス 光学的情報読取装置用光走査モジュール及びその走査ミラー作成方法
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9900579B2 (en) * 2015-12-26 2018-02-20 Intel Corporation Depth-sensing camera device having a shared emitter and imager lens and associated systems and methods
JP2019086529A (ja) 2017-11-01 2019-06-06 株式会社ニコン 顕微鏡、照明装置、及び観察方法
CN111665622B (zh) * 2019-03-06 2022-07-08 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置

Also Published As

Publication number Publication date
WO2023175467A3 (en) 2023-11-16
WO2023175467A2 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
CN111665622B (zh) 光学装置、视网膜投影显示装置、头部安装型显示装置
US20220061660A1 (en) Method for Determining at Least One Parameter of Two Eyes by Setting Data Rates and Optical Measuring Device
US9033502B2 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
CN112558751B (zh) 一种智能眼镜基于mems和光波导镜片的视线追踪方法
JP7388507B2 (ja) 瞳孔又は角膜の位置検知装置用面発光レーザ、光源装置及び眼球の傾き位置検出装置
JP7464166B2 (ja) 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置
JP2019211705A (ja) 光学装置、映像表示装置、及び検眼装置
CN111856749A (zh) 显示装置及方法
JP2023138124A (ja) 傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム
CN216485801U (zh) 一种光学成像系统、图像显示装置及增强现实显示设备
RU2700373C1 (ru) Система слежения за поворотом глаза
JP7163230B2 (ja) 視線検出装置、視線検出方法、及び表示装置
JP7419900B2 (ja) 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
CN114252998B (zh) 近眼显示装置
US20240111160A1 (en) Retinal projection display device, head-mounted display device, and optometric device
CN117546073A (zh) 用于眼动追踪的光学系统
US11796829B1 (en) In-field illuminator for eye depth sensing
JP2021148883A (ja) 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
JP2023514474A (ja) 明瞳孔アイトラッキングシステム
WO2023119040A1 (en) Inclination detector, line-of-sight detection device, retinal projection display device, head-mounted display device, optometric device, virtual-reality display apparatus, user-condition estimation apparatus, driver-assistance system, method of detecting degree of inclination of three-dimensional object, and method of detecting line-of-sight
JP2021148884A (ja) 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置