JP2019000136A - 視線計測装置及びプログラム - Google Patents

視線計測装置及びプログラム Download PDF

Info

Publication number
JP2019000136A
JP2019000136A JP2017114763A JP2017114763A JP2019000136A JP 2019000136 A JP2019000136 A JP 2019000136A JP 2017114763 A JP2017114763 A JP 2017114763A JP 2017114763 A JP2017114763 A JP 2017114763A JP 2019000136 A JP2019000136 A JP 2019000136A
Authority
JP
Japan
Prior art keywords
face
dimensional
center
eyeball
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017114763A
Other languages
English (en)
Other versions
JP6800091B2 (ja
Inventor
小島　真一
Shinichi Kojima
真一 小島
晋 大須賀
Susumu Osuga
晋 大須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Central R&D Labs Inc filed Critical Aisin Seiki Co Ltd
Priority to JP2017114763A priority Critical patent/JP6800091B2/ja
Priority to EP18176601.5A priority patent/EP3413234B1/en
Priority to US16/002,455 priority patent/US10783663B2/en
Priority to CN201810579930.5A priority patent/CN109008944B/zh
Publication of JP2019000136A publication Critical patent/JP2019000136A/ja
Application granted granted Critical
Publication of JP6800091B2 publication Critical patent/JP6800091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる装置およびプログラムを提供する。
【解決手段】角膜反射法視線検出部２８によって、顔画像の時系列から、カメラ座標系における３次元の視線ベクトルの時系列を計算する。顔位置姿勢推定部２４によって、顔の３次元の位置姿勢の時系列を推定する。眼球中心座標変換部３２によって、３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列を計算する。固定パラメータ計算部３３によって、３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する。眼球中心方式視線検出部３６によって、固定パラメータ計算部３３によって計算された眼球中心の３次元位置を用いて、カメラ座標系において、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する。
【選択図】図１

Description

本発明は、視線計測装置及びプログラムに係り、特に、顔を撮像した画像から、視線ベクトルを計測する視線計測装置及びプログラムに関する。
従来より、所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得し、前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、ある時刻において、一の眼球及び他の一の眼球それぞれの光軸と視軸との間のずれ候補の初期値を設定し、他の時刻において、前記一の眼球及び前記他の一の眼球について、当該他の時刻において算出した光軸及び前記ある時刻において設定した前記ずれ候補を用いて、新たなずれ候補を算出し、算出したずれ候補から一の眼球及び他の一の眼球それぞれの光軸と視軸との間の最適なずれを決定し、前記光軸と前記視軸との間のずれに基づき、被験者の前記画面上での注視点を算出する視線計測装置が知られている（特許文献１）。
また、個人キャリブレーションにおいて１点を注視する、視線計測法が知られている（非特許文献１）。
特許第５１６３９８２号公報
大野健彦, "1点キャリブレーションによる視線計測とその応用"、社団法人情報処理学会研究報告、２００６−ＨＩ−１１７（１０）、２００６年１月
上記特許文献１に記載の技術では、2台のカメラと2個の光源が必要なため、装置が大がかりになる。
また、上記非特許文献１に記載の技術では、キャリブレーションのために、ユーザに座標が既知の点を見てもらう必要がある。
本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる視線計測装置及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る視線計測装置は、被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段と、前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段と、前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段と、前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段と、を含んで構成されている。
また、本発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段、前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段、前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段、及び前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段として機能させるためのプログラムである。
本発明によれば、前記被観察者の目に対して光照射手段から光を照射しているときに、撮像手段によって、前記顔を表す顔画像の時系列を撮像する。第１視線ベクトル計算手段によって、顔画像の時系列から、顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する。
顔位置姿勢推定手段によって、前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する。眼球中心位置計算手段によって、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列を計算する。
そして、固定パラメータ計算手段によって、前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する。
また、撮像手段によって、前記顔を表す顔画像を撮像する。顔位置姿勢推定手段によって、前記顔画像と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢を推定する。
そして、第２視線ベクトル計算手段によって、前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から前記瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する。
このように、角膜反射像を用いて計算された視線ベクトルから、３次元顔形状モデルの座標系における眼球中心の３次元位置を固定パラメータとして計算し、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算することにより、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる。
以上説明したように、本発明の視線計測装置及びプログラムによれば、角膜反射像を用いて計算された視線ベクトルから、３次元顔形状モデルの座標系における眼球中心の３次元位置を固定パラメータとして計算し、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算することにより、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる、という効果が得られる。
本発明の第１の実施の形態に係る視線計測装置の構成を示すブロック図である。 各座標系の関係を示す図である。 本発明の第１の実施の形態に係る視線計測装置の角膜反射法視線検出部の構成を示すブロック図である。 角膜反射法を用いた視線検出方法を説明するための図である。 見かけの瞳孔中心の３次元位置を計算する方法を説明するための図である。 本発明の第１の実施の形態に係る視線計測装置における眼球中心計算処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る視線計測装置における角膜反射法を用いた視線検出を行う処理の流れを示すフローチャートである。 本発明の第１の実施の形態に係る視線推定装置における視線計測処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る視線計測装置の構成を示すブロック図である。 （Ａ）瞳孔中心と眼球中心とを用いた視線計測方法を説明するための図、及び（Ｂ）瞳孔中心と角膜反射像とを用いた視線計測方法を説明するための図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、視線ベクトルを推定する視線計測装置に本発明を適用した場合を例に説明する。
＜本発明の実施の形態の概要＞
本発明の実施の形態では、単眼カメラ方式のドライバーモニターで視線検出を実現する。ここで、３次元眼球モデルを用いた代表的な視線検出に関する従来技術は以下のものがある。
（方式１）目じりと目頭から推測した眼球中心と瞳孔中心を使って視線を計算する（図１０（Ａ））。
（方式２）角膜反射像から計算した角膜曲率中心と瞳孔中心を使って視線を計算する（図１０（Ｂ））。
（方式３）上記の（方式１）と（方式２）とを切り替えて視線を計算する。
上記の（方式１）では、ロバストだが眼球中心推定法に問題があり視線精度が低い。
上記の（方式２）では、視線精度は高いが、角膜反射像が得られる場面に限られるため、計測できる範囲が狭くロバスト性が低い。
上記の（方式３）では、（方式２）を使う場面では視線精度が上がるが、（方式１）を使う場面では視線精度は変わらない。
そこで、本発明の実施の形態では、上記の（方式２）で計算した視線を用いて、顔形状モデルの座標系における眼球中心パラメータを固定パラメータとして求め、上記の（方式１）で、顔形状モデルの座標系における眼球中心パラメータを用いて、視線精度を向上させる。これにより、眼球中心位置精度が向上するので、上記の（方式３）における、（方式１）を使う場面でも視線精度が向上する。また、上記の（方式２）でキャリブレーション不要な方式が提案されているが複数カメラと複数光源が必要となる一方、本発明の実施の形態では、1つのカメラと1つの光源でキャリブレーションを不要にできる。
＜第１の実施の形態＞
＜視線計測装置の構成＞
図１に示すように、第１の実施の形態に係る視線計測装置１０は、対象とする被験者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、被験者の目に対して光を照射する照射部１３と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。
画像撮像部１２は、１つのカメラであり、照射部１３は、例えば、１つの近赤外ＬＥＤである。本実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置されている場合を例に説明する。なお、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置する方法としては、例えば、ハーフミラーを用いる方法などが考えられる。
コンピュータ１４は、ＣＰＵ、後述する眼球中心計算処理ルーチン及び視線計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、３次元の顔形状モデルを記憶している顔形状モデル記憶部２２と、画像入力部２０の出力である顔画像から、顔の３次元の位置姿勢を推定する顔位置姿勢推定部２４と、画像入力部２０の出力である顔画像の時系列から、角膜反射法（図１０（Ｂ）参照）を用いて、カメラ座標系における視線ベクトルの時系列を計算する角膜反射法視線検出部２８と、角膜反射法視線検出部２８によって計算された視線ベクトルの時系列に基づいて、カメラ座標系における眼球中心座標の時系列を計算するカメラ座標系眼球中心座標計算部３０と、カメラ座標系における眼球中心座標の時系列と、顔の３次元の位置姿勢の時系列とに基づいて、顔形状モデル座標系における眼球中心座標の時系列に変換する眼球中心座標変換部３２と、顔形状モデル座標系における眼球中心座標の時系列に基づいて、顔形状モデル座標系における眼球中心座標を固定パラメータとして計算する固定パラメータ計算部３３と、固定パラメータ計算部３３によって得られた顔形状モデル座標系における眼球中心座標を記憶する固定パラメータ記憶部３４と、画像入力部２０の出力である顔画像と、固定パラメータ記憶部３４に記憶されている顔形状モデル座標系における眼球中心座標とに基づいて、瞳孔中心と眼球中心とを用いて、カメラ座標系における視線ベクトルを計算する眼球中心方式視線検出部３６とを備えている。なお、角膜反射法視線検出部２８が、第１視線ベクトル計算手段の一例であり、眼球中心方式視線検出部３６が、第２視線ベクトル計算手段の一例である。カメラ座標系眼球中心座標計算部３０、及び眼球中心座標変換部３２が、眼球中心位置計算手段の一例である。
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
顔形状モデル記憶部２２には、予め求められた３次元の顔形状モデルに関する情報（例えば、各顔特徴点の３次元座標）が記憶されている。
顔位置姿勢推定部２４は、顔画像から、３次元の顔形状モデルの各顔特徴点に対応する特徴点を抽出する。
例えば、予め求められた全ての顔特徴点のそれぞれに対応する、顔画像上の特徴点の位置を、画像パターンを用いて求める。
顔位置姿勢推定部２４は、抽出された顔特徴点に対応する特徴点に基づいて、以下に説明するように、顔の３次元の位置姿勢として、カメラ座標系（図２参照）での顔の回転(ψc, θc, φc)と顔形状モデルの原点位置(Xc, Yc, Zc)とを推定する。
まず、顔形状モデル座標系（図２参照）での(Xmi, Ymi, Zmi)とカメラ座標系での同じ点(Xci, Yci, Zci)の関係は以下の（１）式で表わされる。
画像の透視投影の式から、ピクセル単位で表わされる焦点距離をfとして、以下の（２）式が得られる。
(xi, yi)=(f Xci/Zci, f Yci/Zci) ・・・（２）
また、求めたい位置姿勢の変数は(ψc, θc, φc)と(Xc, Yc, Zc)であり、顔形状モデル座標系（図２参照）での(Xmi, Ymi, Zmi)は固定値である。従って、最初の(ψc, θc, φc)と(Xc, Yc, Zc)として適切な初期値を使い、以降は前回フレームでの推定値を使うことにすれば、(xi, yi)は(ψc, θc, φc)と(Xc, Yc, Zc)を使って数値計算可能である。
従って、２乗誤差値e=Σi=0〜N-1((xi-xoi)2+ ((yi -yoi)2)が計算可能になり、eを最小化する非線形最適化問題として、今回フレームにおける(ψc, θc, φc)と(Xc, Yc, Zc)を求め、カメラ座標系での顔の回転(ψc, θc, φc)及び顔形状モデルの原点位置(Xc, Yc, Zc)の推定結果とする。
なお、非線形最適化の具体的な手法は、拡張カルマンフィルタ、最急降下法、Ｎｅｗｔｏｎ法、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法、Levenberg-Marquardt法などが適用可能である。
また、３次元の顔形状モデルの原点位置は、計算上は任意に設定可能だが、合理的な設計指針として人体の左右首振り・上下首振り動作時の回転中心に近い場所を、原点位置として使うことが好ましい。
この場合には、顔形状モデルのデータ収集時に各人の首振り回転中心の眼からの上下距離(y)・奥行き距離(z)を測定しておき、それらの平均値として設定する。左右方向(x)は3次元の顔形状モデルの左右対称面上に載るようにすればよい。
顔位置姿勢推定部２４は、推定されたカメラ座標系での顔の回転(ψc, θc, φc)を、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒとし、顔形状モデル原点位置(Xc, Yc, Zc)を、カメラ座標系を顔形状モデルの座標系へ変換するための並進成分ｔとする。
角膜反射法視線検出部２８は、図３に示すように、眼球モデル記憶部４０と、角膜反射像位置推定部４２と、角膜曲率中心計算部４４と、視線ベクトル計算部４６とを備えている。
眼球モデル記憶部４０には、顔形状モデル座標系における仮の眼球中心座標Ｅ´と、角膜曲率に応じた球体及び眼球を表す球体の位置関係及びサイズと、瞳孔中心座標と角膜曲率中心座標との距離ｓ、角膜曲率中心座標と眼球中心座標との距離ｔ、角膜反射像中心座標と角膜曲率中心座標との距離ｒとが記憶されている（図４参照）。
角膜反射像位置推定部４２は、顔画像から、顔画像上の角膜反射像中心の２次元座標を計算し、顔画像上の角膜反射像中心の２次元座標と、顔形状モデル座標系における仮の眼球中心座標Ｅ´とから、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐを推定する。
角膜曲率中心計算部４４は、３次元ベクトルｐと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒとを用いて、以下の式に従って、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａを推定する。
視線ベクトル計算部４６は、顔画像から、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標を計算し、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標と、３次元ベクトルａと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと用いて、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂを求める。ここで、図５に示すように、見かけの瞳孔中心Ｂの候補は２か所存在するため、Zがカメラ側になる方(=小さい方)を、見かけの瞳孔中心Ｂとして選べばよい。
そして、視線ベクトル計算部４６は、３次元ベクトルｂと、３次元ベクトルｐとを用いて、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕを計算する。視線ベクトル計算部４６は、３次元ベクトルｐと、３次元ベクトルｂとを用いて、以下の式に従って、３次元ベクトルｐと、３次元ベクトルｂとの角度εを計算する。
視線ベクトル計算部４６は、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕ（＝||ｂ−ｐ||）とを用いて、以下の式に従って、３次元ベクトルｐと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θを計算する。
視線ベクトル計算部４６は、３次元ベクトルｐと３次元ベクトルｂとの角度εの計算結果と、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θの計算結果とを用いて、以下の式に従って、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと、真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψを計算する。以下の式で、ｒは角膜曲率半径、ｓはＡＢ’間の距離、ｎ1は、空気の屈折率、ｎ2は角膜の内側にある水晶体の屈折率である。
視線ベクトル計算部４６は、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψとの和により、視線ベクトルの角度（＝θ＋ψ）を計算する。
視線ベクトル計算部４６は、視線ベクトルの角度（＝θ＋ψ）と、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐと、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂとに基づいて、視線ベクトルｄを求める。ただし、-(θ＋ψ)でも式が成立するため、視線ベクトルｄのｙ成分が３次元ベクトルｐのｙ成分よりも大きくなる方を選ぶか、ｒｄがＢに近い方を選べばよい。
カメラ座標系眼球中心座標計算部３０は、視線ベクトルｄと、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａと、角膜曲率中心Ａと眼球中心Ｅとの距離ｔとに基づいて、以下の式に従って、カメラ座標系における眼球中心座標ｅを計算する。
眼球中心座標変換部３２は、カメラ座標系における眼球中心座標ｅと、カメラ座標系を顔形状モデルの座標系に変換するための回転成分Ｒ及び並進成分ｔとに基づいて、顔形状モデル座標系における眼球中心座標ｅ´に変換する。
固定パラメータ計算部３３は、顔画像の時系列に対して眼球中心座標変換部３２によって得られた顔形状モデル座標系における眼球中心座標ｅ´の時系列に基づいて、顔形状モデル座標系における眼球中心座標ｅ´を固定パラメータとして計算し、固定パラメータ記憶部３４に格納する。
例えば、顔形状モデル座標系における眼球中心座標ｅ´の時系列の平均を計算して、固定パラメータとする。あるいは、顔形状モデル座標系における眼球中心座標ｅ´の時系列に基づいて、眼球中心座標ｅ´の分散を最小化する最適化問題を解くことにより、顔形状モデル座標系における眼球中心座標ｅ´を固定パラメータとして計算してもよい。
眼球中心方式視線検出部３６は、顔画像から、パターンマッチングにより、目の瞳孔を表わす領域を抽出し、抽出された瞳孔を表わす領域の中心を、顔画像上の目の瞳孔中心の２次元座標として検出する。
眼球中心方式視線検出部３６は、固定パラメータ記憶部３４に記憶されている顔形状モデル座標系における眼球中心座標と、カメラ座標系を顔形状モデルの座標系に変換するための回転成分Ｒ及び並進成分ｔとに基づいて、カメラ座標系における眼球中心の３次元位置に変換する。
具体的には、顔位置姿勢推定部２４によって推定された、カメラ座標系を顔形状モデルの座標系に変換するための回転成分Ｒ及び並進成分ｔを用いて、顔形状モデル座標系の目の眼球中心座標を、カメラ座標系での目の眼球中心座標に変換する。
また、顔画像上の目の瞳孔中心の２次元座標と、カメラの焦点距離パラメータとに基づいて、カメラ座標系での目の瞳孔中心の３次元位置を推定する。
眼球中心方式視線検出部３６は、カメラ座標系における眼球中心の３次元位置から、カメラ座標系での目の瞳孔中心の３次元位置へ向かう視線ベクトルを計算して、出力部１６により出力する。
＜視線計測装置の動作＞
次に、視線計測装置１０の動作について説明する。まず、照射部１３により近赤外の光を被験者の目に照射しているときに、画像撮像部１２で被験者の顔画像を連続的に撮像する。
そして、コンピュータ１４において、図６に示す眼球中心計算処理ルーチンを実行する。まず、ステップＳ１００において、画像撮像部１２で撮像された顔画像を取得する。
そして、ステップＳ１０２において、顔画像から顔上の特徴点を抽出し、カメラ座標系における顔の３次元の位置姿勢として、カメラ座標系（図２参照）での顔の回転(ψc, θc, φc)と顔形状モデル原点位置(Xc, Yc, Zc)とを推定し、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔとする。
そして、ステップＳ１０６では、上記ステップＳ１００で取得した顔画像から、角膜反射法を用いて、カメラ座標系における視線ベクトルｄを計算する。
ステップＳ１０８では、視線ベクトルｄと、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａと、角膜曲率中心Ａと眼球中心Ｅとの距離ｔとに基づいて、カメラ座標系における眼球中心座標ｅを計算する。
ステップＳ１１０では、カメラ座標系における眼球中心座標ｅと、上記ステップＳ１０２で推定された、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔとに基づいて、顔形状モデル座標系における眼球中心座標ｅ´に変換する。
ステップＳ１１１では、所定数のフレーム画像について上記ステップＳ１００〜Ｓ１１０の処理を繰り返し実行したか否かを判定する。所定数のフレーム画像について上記ステップＳ１００〜Ｓ１１０の処理を繰り返し実行していない場合には、上記ステップＳ１００へ戻る。一方、所定数のフレーム画像について上記ステップＳ１００〜Ｓ１１０の処理を繰り返し実行した場合には、ステップＳ１１２へ移行する。
ステップＳ１１２では、上記ステップＳ１１０で繰り返し得られた顔形状モデル座標系における眼球中心座標ｅ´に基づいて、顔形状モデル座標系における眼球中心座標ｅ´を固定パラメータとして計算して固定パラメータ記憶部３４に格納し、眼球中心計算処理ルーチンを終了する。また、照射部１３による光の照射も停止させる。
上記ステップＳ１０６は、図７に示す処理ルーチンによって実現される。
まず、ステップＳ１２０において、顔画像から、顔画像上の角膜反射像中心の２次元座標を計算し、顔画像上の角膜反射像中心の２次元座標と、顔形状モデル座標系における仮の眼球中心座標Ｅ´とから、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐを推定する。
ステップＳ１２２では、上記ステップＳ１２０で推定された３次元ベクトルｐと、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒとを用いて、カメラ位置Ｃから角膜曲率中心Ａへ向かう３次元ベクトルａを推定する。
ステップＳ１２４では、顔画像から、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標を計算する。そして、ステップＳ１２６では、顔画像上の瞳孔中心（見かけの瞳孔中心）Ｂの２次元座標と、上記ステップＳ１２２で推定された３次元ベクトルａと、角膜反射像中心Ｐと眼球中心Ｅとの距離ｒと用いて、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂを求める。
そして、ステップＳ１２８では、上記ステップＳ１２４で求めた３次元ベクトルｂと、上記ステップＳ１２０で推定された３次元ベクトルｐとを用いて、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕを計算する。また、３次元ベクトルｐと、３次元ベクトルｂとを用いて、３次元ベクトルｐと、３次元ベクトルｂとの角度εを計算する。また、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒと、角膜反射像中心Ｐと見かけの瞳孔中心Ｂとの距離ｕ（＝｜ｂ−ｐ｜）とを用いて、３次元ベクトルｐと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θを計算する。また、３次元ベクトルｐと３次元ベクトルｂとの角度εの計算結果と、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θの計算結果とを用いて、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと、真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψを計算する。
そして、上記で計算された、３次元ベクトルｐと見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルとの角度θと、見かけの瞳孔中心Ｂから角膜曲率中心Ａへ向かう３次元ベクトルと真の瞳孔中心Ｂ´から眼球中心Ｅへ向かう３次元ベクトルとの角度ψとの和により、視線ベクトルの角度を計算する。
そして、ステップＳ１３０では、上記ステップＳ１２８で計算された、視線ベクトルの角度と、カメラ位置Ｃから角膜反射像中心Ｐへ向かう３次元ベクトルｐと、カメラ位置Ｃから見かけの瞳孔中心Ｂへ向かう３次元ベクトルｂとに基づいて、視線ベクトルｄを求め、当該処理ルーチンを終了する。
そして、画像撮像部１２で被験者の顔画像を連続的に撮像しているときに、撮像された顔画像毎に、コンピュータ１４において、図８に示す視線計測処理ルーチンを実行する。まず、ステップＳ１４０において、画像撮像部１２で撮像された顔画像を取得する。
ステップＳ１４２では、顔画像から顔上の特徴点を抽出し、カメラ座標系における顔の３次元の位置姿勢として、カメラ座標系（図２参照）での顔の回転(ψc, θc, φc)と顔形状モデル原点位置(Xc, Yc, Zc)とを推定し、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔとする。
ステップＳ１４４では、上記ステップＳ１４２で推定された、カメラ座標系を顔形状モデルの座標系へ変換するための回転成分Ｒ及び並進成分ｔを用いて、固定パラメータ記憶部３４に記憶されている顔形状モデル座標系の目の眼球中心座標を、カメラ座標系での目の眼球中心座標に変換する。
また、ステップＳ１４６では、上記ステップＳ１４０で得られた顔画像から、パターンマッチングにより、目の瞳孔を表わす領域を抽出し、抽出された瞳孔を表わす領域の中心を、顔画像上の目の瞳孔中心の２次元座標として検出する。そして、顔画像上の目の瞳孔中心の２次元座標と、カメラの焦点距離パラメータとに基づいて、カメラ座標系での目の瞳孔中心の３次元位置を推定する。
ステップＳ１４８では、上記ステップＳ１４４で得られた、カメラ座標系での目の眼球中心の３次元位置と、上記ステップＳ１４６で得られた、カメラ座標系での目の瞳孔中心の３次元位置とに基づいて、カメラ座標系における眼球中心の３次元位置から、カメラ座標系での目の瞳孔中心の３次元位置へ向かう視線ベクトルを計算して、出力部１６により出力し、視線計測処理ルーチンを終了する。
以上説明したように、第１の実施の形態に係る視線計測装置によれば、角膜反射像を用いて計算された視線ベクトルから、３次元顔形状モデルの座標系における眼球中心の３次元位置を固定パラメータとして計算し、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算することにより、簡易な構成で、キャリブレーションを行うことなく、精度よく視線計測を行うことができる。
また、眼球中心は顔モデル座標系において時間的に変化しないため、固定パラメータとして記憶しておくことにより、視線検出で通常行われるキャリブレーションを行うことなしに精度の高い視線計測を実現する。また、キャリブレーションが不要なため、ユーザの使い勝手がよくなる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第２の実施の形態では、固定パラメータとして、顔形状モデル座標系における眼球中心座標だけでなく、顔形状モデルの構造パラメータを推定している点が、第１の実施の形態と異なっている。
＜第２の実施の形態の概要＞
第２の実施の形態では、顔形状モデル座標系における眼球中心座標eが不動点（座標値が変化しない）になることを利用して、顔形状モデルの構造パラメータ（真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒ）を推定する。
＜視線計測装置の構成＞
第２の実施の形態に係る視線計測装置２１０のコンピュータ２１４は、画像入力部２０と、顔形状モデル記憶部２２と、顔位置姿勢推定部２４と、角膜反射法視線検出部２８と、カメラ座標系眼球中心座標計算部３０と、眼球中心座標変換部３２と、固定パラメータ計算部３３と、眼球構造パラメータ計算部２３２と、固定パラメータ記憶部３４と、眼球中心方式視線検出部３６とを備えている。
眼球構造パラメータ計算部２３２は、顔画像の時系列に対して眼球中心座標変換部３２により得られた、顔形状モデル座標系の目の眼球中心座標の時系列に基づいて、以下の式に示す目的関数を最適化するように、顔形状モデルの構造パラメータ（真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒ）を計算する。

ただし、
また、Ｅは、平均を表す。
具体的には、上記の目的関数をｓ、ｔ、ｒで偏微分して０になるパラメータを求めればよい。
固定パラメータ記憶部３４は、眼球中心座標変換部３２によって得られた顔形状モデル座標系における眼球中心座標を、固定パラメータとして記憶すると共に、眼球構造パラメータ計算部２３２によって計算された、真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒを、固定パラメータとして記憶する。
固定パラメータ記憶部３４に、真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒが記憶された後、再度、角膜反射法視線検出部２８は、角膜反射法を用いて、カメラ座標系における視線ベクトルを計算し、カメラ座標系眼球中心座標計算部３０は、カメラ座標系における眼球中心座標ｅを計算する。このとき、角膜曲率中心計算部４４、視線ベクトル計算部４６、カメラ座標系眼球中心座標計算部３０では、眼球構造パラメータ計算部２３２によって計算された、真の瞳孔中心Ｂ´と角膜曲率中心Ａとの距離ｓ、角膜曲率中心Ａと眼球中心Ｅとの距離ｔ、角膜反射像中心Ｐと角膜曲率中心Ａとの距離ｒが用いられる。
なお、第２の実施の形態に係る視線計測装置の他の構成及び作用について、第１の実施の形態と同様であるため、説明を省略する。
このように、眼球中心は顔モデル座標系において時間的に変化しないため、同じく時間変化しない眼球構造パラメータと画像観測量を使って眼球中心を求める式を立てて、眼球中心が時間変動しないことを表現する評価関数を用いることで、眼球構造パラメータを求めることができる。
なお、上記の実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置されている場合を例に説明したが、これに限定されるものではない。画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸となるように配置されていない場合には、画像撮像部１２の撮像方向と照射部１３の照射方向との違いに応じた近似計算を行うようにすればよい。
１０、２１０ 視線計測装置
１２ 画像撮像部
１３ 照射部
１４、２１４ コンピュータ
１６ 出力部
２０ 画像入力部
２２ 顔形状モデル記憶部
２４ 顔位置姿勢推定部
２８ 角膜反射法視線検出部
３０ カメラ座標系眼球中心座標計算部
３２ 眼球中心座標変換部
３３ 固定パラメータ計算部
３４ 固定パラメータ記憶部
３６ 眼球中心方式視線検出部
４０ 眼球モデル記憶部
４２ 角膜反射像位置推定部
４４ 角膜曲率中心計算部
４６ 視線ベクトル計算部
２３２ 眼球構造パラメータ計算部

Claims (6)

  1. 被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段と、
    前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段と、
    前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段と、
    前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段と、
    前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段と、
    を含む視線計測装置。
  2. 前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置が変化しないことを利用して、眼球構造パラメータを固定パラメータとして計算する眼球構造パラメータ計算手段を更に含む請求項１記載の視線計測装置。
  3. 前記第１視線ベクトル計算手段は、
    前記顔の目の角膜反射像と、前記３次元眼球モデルとに基づいて、前記角膜反射像の３次元位置を推定する角膜反射像位置推定手段と、
    前記角膜反射像の３次元位置に基づいて、角膜曲率中心の３次元位置を計算する角膜曲率中心計算手段と、を含み、
    前記角膜反射像の３次元位置と、前記角膜曲率中心の３次元位置とに基づいて、前記カメラ座標系における３次元の視線ベクトルを計算する請求項１又は２記載の視線計測装置。
  4. 前記眼球中心位置計算手段は、
    前記第１視線ベクトル計算手段によって計算された前記視線ベクトルに基づいて、カメラ座標系における前記眼球中心の３次元位置を計算するカメラ座標系眼球中心座標計算手段と、
    前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢に基づいて、前記カメラ座標系における前記眼球中心の３次元位置を、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置に変換する顔座標系眼球中心座標変換手段と、を含む請求項１〜請求項３の何れか１項記載の視線計測装置。
  5. 前記第２視線ベクトル計算手段は、前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記撮像手段に関するパラメータとに基づいて、前記瞳孔中心位置の３次元位置を計算し、
    前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢に基づいて、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置を、前記カメラ座標系における前記眼球中心の３次元位置に変換し、
    前記カメラ座標系において、前記眼球中心の３次元位置から前記瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する請求項１〜請求項４の何れか１項記載の視線計測装置。
  6. コンピュータを、
    被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における３次元の視線ベクトルの時系列を計算する第１視線ベクトル計算手段、
    前記顔画像の時系列と、予め定められた３次元顔形状モデルとに基づいて、前記顔の３次元の位置姿勢の時系列を推定する顔位置姿勢推定手段、
    前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢の時系列と、前記第１視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記３次元顔形状モデルの座標系における眼球中心の３次元位置の時系列を計算する眼球中心位置計算手段、
    前記眼球中心位置計算手段によって計算された前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置の時系列に基づいて、前記３次元顔形状モデルの座標系における前記眼球中心の３次元位置を、固定パラメータとして計算する固定パラメータ計算手段、及び
    前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の３次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の３次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の視線ベクトルを計算する第２視線ベクトル計算手段
    として機能させるためのプログラム。
JP2017114763A 2017-06-09 2017-06-09 視線計測装置及びプログラム Active JP6800091B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017114763A JP6800091B2 (ja) 2017-06-09 2017-06-09 視線計測装置及びプログラム
EP18176601.5A EP3413234B1 (en) 2017-06-09 2018-06-07 Gaze-tracking device, gaze-tracking method, program, and computer-readable medium
US16/002,455 US10783663B2 (en) 2017-06-09 2018-06-07 Gaze-tracking device, computable readable medium, and method
CN201810579930.5A CN109008944B (zh) 2017-06-09 2018-06-07 视线计测装置、rom及视线计测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017114763A JP6800091B2 (ja) 2017-06-09 2017-06-09 視線計測装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2019000136A true JP2019000136A (ja) 2019-01-10
JP6800091B2 JP6800091B2 (ja) 2020-12-16

Family

ID=62567486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017114763A Active JP6800091B2 (ja) 2017-06-09 2017-06-09 視線計測装置及びプログラム

Country Status (4)

Country Link
US (1) US10783663B2 (ja)
EP (1) EP3413234B1 (ja)
JP (1) JP6800091B2 (ja)
CN (1) CN109008944B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061373A (zh) * 2019-12-18 2020-04-24 京东方科技集团股份有限公司 一种眼球追踪校准方法、装置及可佩戴式设备
JP2020162759A (ja) * 2019-03-28 2020-10-08 株式会社豊田中央研究所 視線計測装置
CN113992907A (zh) * 2021-10-29 2022-01-28 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质
WO2023139975A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840697B2 (ja) * 2018-03-23 2021-03-10 株式会社豊田中央研究所 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
CN109002796B (zh) * 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
US11170521B1 (en) * 2018-09-27 2021-11-09 Apple Inc. Position estimation based on eye gaze
SE1851597A1 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
CN112528713A (zh) * 2019-09-19 2021-03-19 北京七鑫易维信息技术有限公司 一种注视点估计方法、系统、处理器及设备
CN112288855A (zh) * 2020-10-29 2021-01-29 张也弛 一种操作者眼睛注视模型的建立方法及装置
CN112308932B (zh) * 2020-11-04 2023-12-08 中国科学院上海微系统与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN113723293B (zh) * 2021-08-30 2024-01-05 中国科学院上海微系统与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质
CN114067420B (zh) * 2022-01-07 2023-02-03 深圳佑驾创新科技有限公司 一种基于单目摄像头的视线测量方法及装置
CN115147462B (zh) * 2022-07-08 2023-07-21 浙江大学 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
JP2004254960A (ja) * 2003-02-26 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2013190942A (ja) * 2012-03-13 2013-09-26 Nippon Hoso Kyokai <Nhk> 視線誤差補正装置、そのプログラム及びその方法
JP2013252301A (ja) * 2012-06-07 2013-12-19 Toyota Central R&D Labs Inc 眼球中心推定装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004448A (ja) 2005-06-23 2007-01-11 Honda Motor Co Ltd 視線検出装置
JP2008136789A (ja) * 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
US8259169B2 (en) * 2008-02-28 2012-09-04 Panasonic Corporation Eye-gaze detecting device and eye-gaze detecting method
JP5163982B2 (ja) 2008-06-16 2013-03-13 国立大学法人神戸大学 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ
CN102149325B (zh) * 2008-09-26 2013-01-02 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
JP2010151951A (ja) 2008-12-24 2010-07-08 Mitsubishi Electric Engineering Co Ltd 特定方向画像表示システム
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102830793B (zh) * 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
US10878237B2 (en) * 2016-06-29 2020-12-29 Seeing Machines Limited Systems and methods for performing eye gaze tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
JP2004254960A (ja) * 2003-02-26 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2013190942A (ja) * 2012-03-13 2013-09-26 Nippon Hoso Kyokai <Nhk> 視線誤差補正装置、そのプログラム及びその方法
JP2013252301A (ja) * 2012-06-07 2013-12-19 Toyota Central R&D Labs Inc 眼球中心推定装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI SUN, ET AL.: "Real-Time Gaze Estimation with Online Calibration", IEEE MULTIMEDIA, vol. Vol. 21, Issue 4, JPN6020040803, 2014, pages 28 - 37, ISSN: 0004373494 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162759A (ja) * 2019-03-28 2020-10-08 株式会社豊田中央研究所 視線計測装置
JP7283841B2 (ja) 2019-03-28 2023-05-30 株式会社豊田中央研究所 視線計測装置
CN111061373A (zh) * 2019-12-18 2020-04-24 京东方科技集团股份有限公司 一种眼球追踪校准方法、装置及可佩戴式设备
CN111061373B (zh) * 2019-12-18 2024-04-16 京东方科技集团股份有限公司 一种眼球追踪校准方法、装置及可佩戴式设备
CN113992907A (zh) * 2021-10-29 2022-01-28 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质
CN113992907B (zh) * 2021-10-29 2023-11-07 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质
WO2023139975A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法

Also Published As

Publication number Publication date
EP3413234B1 (en) 2023-11-08
US10783663B2 (en) 2020-09-22
JP6800091B2 (ja) 2020-12-16
CN109008944A (zh) 2018-12-18
US20180357790A1 (en) 2018-12-13
EP3413234A1 (en) 2018-12-12
CN109008944B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
JP6800091B2 (ja) 視線計測装置及びプログラム
JP5812599B2 (ja) 情報処理方法及びその装置
JP6525635B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107357429B (zh) 用于确定视线的方法、设备和计算机可读存储介质
JP5158842B2 (ja) 眼球運動計測方法および眼球運動計測装置
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
JPWO2018030515A1 (ja) 視線検出装置
JP2013252301A (ja) 眼球中心推定装置及びプログラム
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
JP2014052758A (ja) 視線計測方法
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
JP7255436B2 (ja) 眼球構造推定装置
JP7283841B2 (ja) 視線計測装置
JP6785723B2 (ja) 視線計測装置
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP2013120083A (ja) 環境認識装置
JP6906943B2 (ja) 車載器
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
WO2016159255A1 (ja) 口領域検出装置及び口領域検出方法
JP4568024B2 (ja) 眼球運動測定装置、及び眼球運動測定プログラム
CN114189623B (zh) 基于光场的屈光图形生成方法、装置、设备及存储介质
JP2018149234A (ja) 注視点推定システム、注視点推定方法及び注視点推定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201124

R150 Certificate of patent or registration of utility model

Ref document number: 6800091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250