JP2015095161A - 視線方向検知装置 - Google Patents

視線方向検知装置 Download PDF

Info

Publication number
JP2015095161A
JP2015095161A JP2013235104A JP2013235104A JP2015095161A JP 2015095161 A JP2015095161 A JP 2015095161A JP 2013235104 A JP2013235104 A JP 2013235104A JP 2013235104 A JP2013235104 A JP 2013235104A JP 2015095161 A JP2015095161 A JP 2015095161A
Authority
JP
Japan
Prior art keywords
image
subject
imaging
line
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013235104A
Other languages
English (en)
Other versions
JP6176070B2 (ja
Inventor
黒川 和雅
Kazumasa Kurokawa
和雅 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013235104A priority Critical patent/JP6176070B2/ja
Priority to PCT/JP2014/005488 priority patent/WO2015072100A1/ja
Priority to US15/035,251 priority patent/US10146058B2/en
Publication of JP2015095161A publication Critical patent/JP2015095161A/ja
Application granted granted Critical
Publication of JP6176070B2 publication Critical patent/JP6176070B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】被検者に映像を提示するヘッドアップディスプレイと連動して検査対象範囲を絞り込んだうえで、被験者の視線方向を検出する。
【解決手段】視線検知部12は、ヘッドアップディスプレイ20の位置調節部24から、被検者に対して表示する映像の投影位置を調節した結果を表す調節位置情報を取得する。視線検知部12は、取得された調節位置情報に基づいて、被検者の瞳の位置を推定する。視線検知部12は、推定した被検者の瞳の位置に合わせて、カメラ30の撮像範囲の位置を移動する。そして、視線検知部12は、撮像範囲を調節したカメラ30によって撮像された画像に写る瞳の状態に基づいて、被検者の視線方向を算出する。
【選択図】図1

Description

本発明は、ヘッドアップディスプレイ装置と連動して被検者の視線方向を検知する技術に関する。
近年、携帯端末や車載機器等、機械と人とのインターフェイス(HMI)として、画面上に配置されたタッチパネルを触る入力方法が広く普及している。このようなタッチパネルによる入力方法は、旧来のスイッチ等を操作する入力方法と比較して操作感が改善されている。しかしながら、タッチパネルによる入力方法は、手を動かして操作する点で旧来のスイッチと変わりなく、操作にかかる身体的な負担を低減するには至っていない。また、車両の運転等で使用者の手がふさがっている状況では、操作が困難になるという短所がある。このような問題を解決するものとして、使用者の視線方向を検知し、検知した視線方向に基づいて選択対象物を特定することで、情報の入力を行う視線入力の技術が提案されている(例えば、特許文献1参照)。また、この種の視線入力の技術を、車両の運転者の前方へ情報提示を行うヘッドアップディスプレイの映像と連動するポインティングデバイスに適用する技術が提案されている(例えば、特許文献2参照)。
特開2000−89905号公報 特開2005−75081号公報
視線方向を検知する方法としては、被検者の瞳に赤外光を照射した状態で被検者の瞳をカメラで撮像し、撮像画像に写る瞳による赤外光の反射像の状態に基づき、視線方向を推定する方法が知られている。この方法では、画像処理によって被検者の瞳の状態を解析することで視線方向を検知するため、高解像度の撮像画像が必要となる。
ところが、例えば車両の運転者を対象に視線方向を検知する場合、運転者の体格や姿勢によって瞳の位置が不特定であるから、運転者の瞳をカメラで確実に捉えるために広範囲を撮像する必要がある。そのため、高解像度で広範囲を撮像できる高性能なカメラが必要となる。また、高解像度で撮像された広範囲の画像を高速に画像処理するためには、相応の高い演算処理能力が要求される。
本発明は上記問題を改善するためになされたものであり、被検者に映像を提示するヘッドアップディスプレイと連動して検査対象範囲を絞り込んで、被験者の視線方向を検出する技術を提供することを目的とする。
請求項1に記載の視線方向検知装置は、ヘッドアップディスプレイ装置と通信可能に接続されるものであって、撮像手段、取得手段、推定手段、設定手段、及び、算出手段を備える。撮像手段は、被検者を前方から撮像した被検者画像を取得する。取得手段は、ヘッドアップディスプレイ装置に備えられた、映像の投影位置を被検者に合わせて調節する調節手段について、投影位置の調節結果を表す調節位置情報を取得する。このヘッドアップディスプレイは、被検者の前方に配置されたスクリーンに映像を投影し、被検者に対して映像を表示する表示装置である。推定手段は、取得手段により取得された調節位置情報に基づいて、被検者の瞳の位置を推定する。設定手段は、推定手段により推定された瞳の位置を基準に、撮像手段により撮像される被検者画像の検査対象範囲を設定する。算出手段は、設定手段により設定された検査対象範囲に対応する被検者画像に写る瞳の状態に基づいて、被検者の視線方向を算出する。
本発明によれば、ヘッドアップディスプレイ装置における映像の投影位置の調節結果と連動することによって、検査対象範囲を絞り込んで視線方向の検出を行うことができる。つまり、ヘッドアップディスプレイ装置において、被検者から見やすいように映像の投影位置が好適に調節されることで、映像の投影位置と被検者の瞳の位置とが、特定の位置関係になっていると推定される。そこで、本発明では、ヘッドアップディスプレイ装置における映像の投影位置の調節結果を利用して、被検者の瞳の位置を推定することができる。そして、推定された瞳の位置を基準に検査対象範囲を絞り込んだうえで、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、カメラの撮像範囲を縮減したり、被検者画像を画像処理する負担を軽減したりできる。
一方、請求項4に記載の視線方向検知装置は、ヘッドアップディスプレイ装置と通信可能に接続されるものであって、撮像手段及び算出手段を備える。撮像手段は、ヘッドアップディスプレイ装置に備えられた映像生成手段と一体に取付けられる。これにより、撮像手段は、映像生成手段により生成された映像がスクリーンに投影される経路を介して、被検者を前方から撮像した被検者画像を取得する。さらに、この撮像手段は、映像生成手段を動かして映像の投影位置を被検者に合わせて調節する調節手段によって、映像生成手段と共に動かされることで撮像範囲の位置が変わるようになっている。算出手段は、調節手段によって映像の投影位置が調節されたことに伴い、撮像手段の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出する。
本発明では、ヘッドアップディスプレイ装置において、被検者から見やすいように映像の投影位置が好適に調節されることで、それと連動して撮像手段の撮像範囲の位置が被検者の瞳の位置に的確に合わせられる。そして、撮像範囲の位置が被検者の瞳の位置に合った状態で取得された被験者画像に基づいて、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、カメラの撮像範囲を縮減したり、被検者画像を画像処理する負担を軽減したりできる。
車載表示システム(第1実施形態)の構成を表すブロック図。 視線検知処理(第1実施形態)の手順を表すフローチャート。 検査対象画像を切り出す事例を表す説明図。 車載表示システム(第2実施形態)の構成を表すブロック図。 カメラの配置例を表す説明図。 視線検知処理(第2実施形態)の手順を表すフローチャート。
以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
〈第1実施形態〉
《車載表示システムの構成の説明》
本発明が適用された車載表示システムは、ヘッドアップディスプレイによって車両の運転者の前方に映像を投影すると共に、ヘッドアップディスプレイの映像と連動する視線入力インタフェースによって情報を入力可能な車載機器である。図1に例示されるとおり、第1実施形態の車載表示システムは、視線映像演算装置10と、視線映像演算装置10に接続されたヘッドアップディスプレイ(HUD)20、カメラ30、及びカメラ駆動部32等を備える。
ヘッドアップディスプレイ20は、例えば、車両の運転席前方のダッシュボードに設置され、運転者前方に設けられたウインドシールド又はコンバイナからなるスクリーンSに映像を投影する。投影された映像は、スクリーンSで反射されて運転者Dに視認される。運転者Dに視認された映像は、スクリーンSよりも前方の運転視界内に存在する虚像Vとして認識される。ヘッドアップディスプレイ20は、表示部22と位置調節部24とを主に備える。
表示部22は、視線映像演算装置10から出力された映像信号に基づいて映像を出力する液晶パネルや、出力された映像をスクリーンSに投影する反射鏡等からなる光学系で構成される。位置調節部24は、表示部22の映像表示面や光学系の位置や角度を動かして映像の投影方向を変えることで、スクリーンSに投影される映像の位置を調節するアクチュエータである。
運転者Dの体格や姿勢に応じて瞳の位置が異なると、ヘッドアップディスプレイ20によって投影された映像が見える位置も変わって見える。そのため、運転者Dの瞳の位置に対して虚像Vが適切な位置で見えるように、位置調節部24によって映像の投影位置を補正できるようになっている。位置調節部24は、例えば、車両の電動シートと連動して、運転者Dのために予め登録されている設定値に合わせて自動的に映像の表示位置を調節するものが考えられる。あるいは、運転者Dによる操作に基づいて映像の表示位置を調節するものであってもよい。
視線映像演算装置10は、主にマイクロコンピュータからなり、視線検知部12、演算部14、及び映像信号出力部16を備える。視線検知部12は、カメラ30により撮像された画像を画像処理することにより、被検者である運転者Dの視線方向を特定する。その際、視線検知部12は、位置調節部24から取得した調節位置情報に基づいて運転者Dの瞳の位置を推定する。そして、推定した瞳の位置に応じてカメラ30の撮像範囲を調節した上で、視線方向を特定するための画像処理を行う。この一連の処理の詳細な説明については後述する。
演算部14は、視線映像演算装置10に接続された車載機器(図示なし)から入力された画像を映像信号出力部16に出力し、映像信号として出力させる。この車載機器は、ヘッドアップディスプレイ20に表示させるための画像を描画するアプリケーションを実行するものである。また、演算部14は、視線検知部12から出力される運転者Dの視線方向に基づき、運転者Dが注視している画像の位置を特定する。そして、特定した画像の位置に対応した情報を前述の車載機器に出力する。映像信号出力部16は、演算部14から入力された画像を映像信号としてヘッドアップディスプレイ20に出力する。
カメラ30は、例えば、車両の運転席前方のダッシュボードに配置され、運転席に着座する運転者Dの顔面の辺りを撮像する。このカメラ30は、被検者である運転者Dの体格や姿勢に応じて瞳の位置が異なることを想定して、撮像範囲の位置を変更できるように位置や向きが可動となっている。カメラ駆動部32は、視線検知部12からの制御に応じてカメラ30の位置や向きを動かすことで、カメラ30の撮像範囲の位置を変更するアクチュエータである。これにより、運転者Dの瞳の位置に合わせてカメラ30の撮像範囲の位置を変えることで、運転者Dの瞳を確実に撮像範囲に捉えることができるようになっている。
《視線検知処理(第1実施形態)の説明》
視線検知部12が実行する視線検知処理(第1実施形態)の手順について、図2のフローチャートを参照しながら説明する。
S100では、ヘッドアップディスプレイ20の位置調節部24によって表示部22の映像の投影位置が調節される。S102では、視線検知部12は、位置調節部24による映像の投影位置の調節結果を表す調節位置情報を取得する。この調節位置情報には、例えば、映像を投影する位置や角度の補正値を表す情報等が含まれる。そして、S104では、視線検知部12は、S102で取得した位置調節情報に基づいて被検者(運転者D)の瞳の位置を算出する。
次のS106では、視線検知部12は、S104で算出した被検者の瞳の位置に基づいてカメラ30を移動させ、カメラ30の撮像範囲を被検者の瞳の位置に合わせる。具体的には、被検者の瞳の位置とカメラ30の向きや位置との関係が予め定義されたパラメータに基づいてカメラ駆動部32を作動させ、被検者の瞳がカメラ30の撮像範囲に入るようにカメラ30の向きや位置を調節する。そして、S108では、視線検知部12は、撮像範囲が調節されたカメラ30によって撮像された被検者の画像に基づいて、被検者の視線方向を算出する。ここでは、被検者の画像を所定のアルゴリズムを用いて画像処理することにより、この画像に写る瞳の状態を解析して視線方向を算出する。
《第1実施形態の変形例》
第1実施形態の視線検知処理では、算出した被験者の瞳の位置に応じてカメラ30を動かすことで、カメラ30の撮像範囲の位置を調節する事例について説明した。これとは別に、算出した被験者の瞳の位置に基づいて、カメラ30によって撮像された被験者の画像の中から、被検者の瞳の位置に該当する一部領域を切り出し、切り出した領域の画像から被検者の視線方向を算出する構成であってもよい。この場合、カメラ30は一定方向に固定されたままで撮像を行う。また、カメラ駆動部32は車載表示システムの構成から省かれる。
具体的には、視線検知部12は、上述の視線検知処理(図2参照)のS106に代えて、S107の処理を実行する。このS107では、視線検知部12は、カメラ30によって撮像された被験者の画像から、S104で特定した被験者の瞳の位置に該当する所定のサイズの領域を切り出す。
例えば、算出された被検者の瞳の位置と、カメラ30の撮像画像に写る瞳の位置との対応関係が予め定義されたパラメータに基づいて、切り出し領域の位置を特定する。切り出し領域の大きさは、例えば、カメラ30の位置と車両の運転席に着座した状態の被検者の顔面との推定距離に基づき、被検者の両目とその周辺領域が含まれる程度の大きさとする。そして、図3に例示されるように、カメラ30による撮像画像全体から、切り出し領域に該当する一部画像を検査対象画像として切り出す。
そして、S108では、視線検知部12は、S107で切り出した検査対象画像を所定のアルゴリズムによって画像処理することで、この画像に写る瞳の状態に基づいて視線方向を算出する。
《効果》
第1実施形態の車載表示システムによれば、次の効果を奏する。
ヘッドアップディスプレイ20の位置調節部24による映像の投影位置の調節結果と連動して検査対象範囲を絞り込んだうえで、視線方向の検出を行うことができる。第1実施形態では、ヘッドアップディスプレイ20において、被検者から見やすいように映像の投影位置が好適に調節されることで、その調節結果を利用して被検者の瞳の位置を推定することができる。そして、推定された瞳の位置に合わせて、カメラ30を動かして撮像範囲を移動したり、撮像画像の一部領域を切り抜いたりして、検査対象範囲を絞り込むことができる。このようにすることで、被検者を撮像するカメラの撮像範囲を縮減したり、被検者の画像を画像処理する負担を軽減できる。
〈第2実施形態〉
《車載表示システムの構成の説明》
図4に例示されるとおり、第2実施形態の車載表示システムは、視線映像演算装置10と、視線映像演算装置10に接続されるヘッドアップディスプレイ装置(HUD)20及びカメラ31等を備える。第2実施形態では、被検者である運転者Dを撮像するカメラ31が、ヘッドアップディスプレイ20の構成である表示部22と一体に取付けられている点で、上述の第1実施形態と相違する。なお、図4において、第1実施形態と共通する構成には同じ符号を付け、ここでは重複する説明を省略する。
カメラ31は、ヘッドアップディスプレイ20の表示部22により出力された映像がスクリーンSに投影される経路を介して、被検者である運転者Dの瞳付近の画像を撮像するように取付けられている。これにより、表示部22から投影された映像は、車両のスクリーンSで反射して運転者Dに視認される一方、運転者Dの瞳付近の像がスクリーンSで反射してカメラ31によって撮像されるようになっている。
また、カメラ31は、位置調節部24によって表示部22の映像の投影方向が調節されるときに可動する部位に取付けられるものとする。これにより、表示部22の映像の投影位置とカメラ31の撮像範囲の位置とが、位置調節部24によって一緒に移動するようになっている。つまり、表示部22から投影される映像が運転者Dから見て適切な位置に表示されるように映像の投影位置が調節されたときに、運転者Dの瞳がカメラ31の撮像範囲に入る方向にカメラ31が向けられる。
カメラ31を表示部22に配置した構造の複数の具体例について、図5(a),(b),(c)に基づいて説明する。なお、表示部22には、光の透過率を変化させて画像パターンを形成する液晶パネル26(例えば、TFT−LCD)と、液晶パネル26の背面側から光を照射して画像パターンを映像として表示するための光源であるバックライト28とが備えられているものとする。
図5(a)の事例では、カメラ31が、液晶パネル26の表示面側に配置されている。この場合、カメラ31の撮像範囲の中心方向と、液晶パネル26及びバックライト28による映像の投影方向とが平行になっている。ただし、カメラ31は、液晶パネル26による表示を妨げないように、液晶パネル26の縁端部分に配置される。
図5(b)の事例では、カメラ31が、液晶パネル26の背面側に配置されている。この場合、カメラ31の撮像範囲の中心方向と、液晶パネル26及びバックライト28による映像の投影方向とが平行になっている。また、液晶パネル26の背面側にカメラ31が配置されることで、液晶パネル26の表示が妨げられないため、液晶パネル26の中央に合わせてカメラ31を配置できる。カメラ31は、液晶パネル26が稼働して光を透過する状態のときに、液晶パネル26を透過して被検者を撮像できるようになっている。
図5(c)の事例では、液晶パネル26及びバックライト28により映像が投影される経路上に、ハーフミラー29が配置されている。カメラ31は、映像の投影方向から到来する光がハーフミラー29によって反射される位置に配置されている。この場合、液晶パネル26及びバックライト28において表示された映像は、ハーフミラー29を透過してスクリーンSに投影される。一方、被検者の像は、スクリーンSにおいて反射されて表示部22に入射し、更にハーフミラー29において反射されて、カメラ31に撮像される。
《視線検知処理(第2実施形態)の説明》
視線検知部12が実行する視線検知処理(第2実施形態)の手順について、図6のフローチャートを参照しながら説明する。
S200では、ヘッドアップディスプレイ20の位置調節部24によって表示部22の映像の投影位置が調節される。このとき、表示部22による映像の投影位置が調節されると共に、カメラ31の撮像範囲の位置も一緒に調節される。そして、S202では、視線検知部12は、撮像範囲が調節された状態のカメラ31によって撮像された被検者の画像に基づいて、被検者の視線方向を算出する。ここでは、被検者の画像を所定のアルゴリズムを用いて画像処理することにより、この画像に写る瞳の状態を解析して視線方向を算出する。
《効果》
第2実施形態の車載表示システムによれば、次の効果を奏する。
ヘッドアップディスプレイ20において、被検者から見やすいように映像の投影位置が好適に調節されることで、それと連動して表示部22と一体に配置されたカメラ31の撮像範囲の位置が、被検者の瞳の位置に的確に合わせられる。そして、撮像範囲の位置が被検者の瞳の位置に合った状態で取得された画像に基づいて、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、被検者の撮像に用いるカメラの撮像範囲を縮減したり、被検者の画像を画像処理する負担を軽減できる。
10…視線映像演算装置、12…視線検知部、14…演算部、16…映像信号出力部、20…ヘッドアップディスプレイ(HUD)、22…表示部、24…位置調節部、26…液晶パネル、28…バックライト、29…ハーフミラー、30,31…カメラ、32…カメラ駆動部、D…運転者(被検者)、S…スクリーン、V…虚像。

Claims (7)

  1. 被検者の前方に配置されたスクリーン(S)に映像を投影し、前記映像を前記被検者に対して表示するヘッドアップディスプレイ装置(20)と通信可能に接続された視線方向検知装置において、
    前記被検者を前方から撮像した被検者画像を取得する撮像手段(30)と、
    前記ヘッドアップディスプレイ装置に備えられた、映像の投影位置を前記被検者に合わせて調節する調節手段(24)について、投影位置の調節結果を表す調節位置情報を取得する取得手段(12,S102)と、
    前記取得手段により取得された調節位置情報に基づいて、前記被検者の瞳の位置を推定する推定手段(12,S104)と、
    前記推定手段により推定された瞳の位置を基準に、前記撮像手段により撮像される被検者画像の検査対象範囲を設定する設定手段(12)と、
    前記設定手段により設定された検査対象範囲に対応する被検者画像に写る瞳の状態に基づいて、前記被検者の視線方向を算出する算出手段(12,S108)と、
    を備えることを特徴とする視線方向検知装置。
  2. 請求項1に記載の視線方向検知装置において、
    前記撮像手段の向きを動かして撮像範囲の位置を変える駆動手段(32)を備え、
    前記設定手段は(S106)、前記検査対象範囲として、前記推定手段により推定された瞳の位置が前記撮像手段の撮像範囲に入るように、前記駆動手段を用いて撮像範囲の位置を調節し、
    前記算出手段は、前記設定手段により前記撮像手段の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出すること、
    を特徴とする視線方向検知装置。
  3. 請求項1に記載の視線方向検知装置において、
    前記設定手段は(S107)、前記検査対象範囲として、被検者画像の中から前記推定手段により推定された瞳の位置に対応する一部領域の画像を切り出し、
    前記算出手段は、前記設定手段により切り出された画像に写る瞳の状態に基づいて、視線方向を算出すること、
    を特徴とする視線方向検知装置。
  4. 被検者の前方に配置されたスクリーン(S)に映像を投影し、前記映像を前記被検者に対して表示するヘッドアップディスプレイ装置(20)と通信可能に接続された視線方向検知装置において、
    前記被検者を前方から撮像した被検者画像を取得する撮像手段(31)であって、前記ヘッドアップディスプレイ装置に備えられた映像生成手段(22)と一体に取付けられ、前記映像生成手段により生成された映像が前記スクリーンに投影される経路を介して、前記被検者を撮像する位置に配置され、かつ、前記映像生成手段を動かして映像の投影位置を前記被検者に合わせて調節する調節手段(24)によって、前記映像生成手段と共に動かされることで撮像範囲の位置が変更される撮像手段と、
    前記調節手段によって映像の投影位置が調節されたことに伴い、前記撮像手段の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出する算出手段(12,S202)と、
    を備えることを特徴とする視線方向検知装置。
  5. 請求項4に記載の視線方向検知装置において、
    前記撮像手段は、前記映像生成手段において画像パターンが形成される画像形成部(26)における表示面側に配置されていること、
    を特徴とする視線方向検知装置。
  6. 請求項4に記載の視線方向検知装置において、
    前記撮像手段は、前記映像生成手段において画像パターンが形成される画像形成部(26)における表示面の反対側に配置されていること、
    を特徴とする視線方向検知装置。
  7. 請求項4に記載の視線方向検知装置において、
    前記撮像手段は、前記映像生成手段から前記スクリーンに映像が投影される経路に介在するハーフミラー(29)によって反射される被検者の像を撮像する位置に取付けられていること、
    を特徴とする視線方向検知装置。
JP2013235104A 2013-11-13 2013-11-13 視線方向検知装置 Expired - Fee Related JP6176070B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013235104A JP6176070B2 (ja) 2013-11-13 2013-11-13 視線方向検知装置
PCT/JP2014/005488 WO2015072100A1 (ja) 2013-11-13 2014-10-30 視線方向検知装置
US15/035,251 US10146058B2 (en) 2013-11-13 2014-10-30 Visual line direction sensing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013235104A JP6176070B2 (ja) 2013-11-13 2013-11-13 視線方向検知装置

Publications (2)

Publication Number Publication Date
JP2015095161A true JP2015095161A (ja) 2015-05-18
JP6176070B2 JP6176070B2 (ja) 2017-08-09

Family

ID=53057053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013235104A Expired - Fee Related JP6176070B2 (ja) 2013-11-13 2013-11-13 視線方向検知装置

Country Status (3)

Country Link
US (1) US10146058B2 (ja)
JP (1) JP6176070B2 (ja)
WO (1) WO2015072100A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021182123A (ja) * 2020-05-20 2021-11-25 京セラ株式会社 画像表示モジュール

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615759B (zh) * 2015-06-10 2020-09-01 索尼互动娱乐股份有限公司 头戴式显示器、显示控制方法以及程序
CN109839742A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于视线追踪的增强现实装置
EP3940627A4 (en) * 2019-03-14 2022-03-23 NEC Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND RECORDING MEDIA
CN109889807A (zh) * 2019-03-14 2019-06-14 百度在线网络技术(北京)有限公司 车载投射调节方法、装置、设备和存储介质
JP7337023B2 (ja) * 2020-04-30 2023-09-01 京セラ株式会社 画像表示システム
JP7498053B2 (ja) * 2020-07-28 2024-06-11 京セラ株式会社 カメラシステムおよび運転支援システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS646131U (ja) * 1987-06-29 1989-01-13
JP2005323905A (ja) * 2004-05-17 2005-11-24 Nippon Hoso Kyokai <Nhk> 眼球運動測定装置、及び眼球運動測定プログラム
JP2007253821A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 乗員撮像装置
JP2009276849A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp 運転者撮像装置および運転者撮像方法
JP2010125910A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp ヘッドアップディスプレイ装置
JP2012056359A (ja) * 2010-09-06 2012-03-22 Denso Corp 車載機器制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06194564A (ja) 1992-12-25 1994-07-15 Canon Inc 視線制御機器
JP2000089905A (ja) 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
JP2005075081A (ja) 2003-08-29 2005-03-24 Denso Corp 車両の表示方法及び表示装置
JP2008155720A (ja) 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP2009163084A (ja) * 2008-01-09 2009-07-23 Toshiba Corp 表示装置及び移動体
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS646131U (ja) * 1987-06-29 1989-01-13
JP2005323905A (ja) * 2004-05-17 2005-11-24 Nippon Hoso Kyokai <Nhk> 眼球運動測定装置、及び眼球運動測定プログラム
JP2007253821A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 乗員撮像装置
JP2009276849A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp 運転者撮像装置および運転者撮像方法
JP2010125910A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp ヘッドアップディスプレイ装置
JP2012056359A (ja) * 2010-09-06 2012-03-22 Denso Corp 車載機器制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021182123A (ja) * 2020-05-20 2021-11-25 京セラ株式会社 画像表示モジュール
WO2021235255A1 (ja) * 2020-05-20 2021-11-25 京セラ株式会社 画像表示モジュール
JP7461215B2 (ja) 2020-05-20 2024-04-03 京セラ株式会社 画像表示モジュール

Also Published As

Publication number Publication date
WO2015072100A1 (ja) 2015-05-21
JP6176070B2 (ja) 2017-08-09
US20160291330A1 (en) 2016-10-06
US10146058B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
JP6176070B2 (ja) 視線方向検知装置
JP6214752B2 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
JP6364627B2 (ja) 視線方向検出装置および視線方向検出方法
US8441435B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP5874920B2 (ja) 車両周囲確認用モニター装置
KR101071777B1 (ko) 차재 기기의 조작장치
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
EP2441635A1 (en) Vehicle User Interface System
WO2013179427A1 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP5173395B2 (ja) 視機能検査装置
WO2018047400A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JPWO2014073645A1 (ja) 生体情報計測装置及びそれを用いた入力装置
WO2015046466A1 (ja) 眼鏡装用パラメータ測定装置、および眼鏡装用パラメータ測定用プログラム
JP2016024751A (ja) 画像表示装置
JP2009262666A (ja) 車両用ヘッドアップディスプレイ装置の調整方法
JP2017171146A (ja) ヘッドアップディスプレイ装置
JP6500570B2 (ja) 画像表示装置および画像表示方法
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
JP2018043724A (ja) 輝度制御装置、輝度制御システム及び輝度制御方法
JP6813437B2 (ja) 表示システム
JP2001061785A (ja) 視線検出方法及びその装置
JP6488546B2 (ja) 眼鏡装用画像解析装置、眼鏡装用画像解析方法、及び眼鏡装用画像解析プログラム
JP6379502B2 (ja) 眼鏡装用画像解析装置、眼鏡装用画像解析方法、及び眼鏡装用画像解析プログラム
JP2017165291A (ja) ヘッドアップディスプレイ装置
JP2017005341A (ja) 表示制御装置、表示システム、および、表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170626

R151 Written notification of patent or utility model registration

Ref document number: 6176070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees