JP2015528359A - 三次元物体上の注視点決定方法及び装置 - Google Patents

三次元物体上の注視点決定方法及び装置 Download PDF

Info

Publication number
JP2015528359A
JP2015528359A JP2015531598A JP2015531598A JP2015528359A JP 2015528359 A JP2015528359 A JP 2015528359A JP 2015531598 A JP2015531598 A JP 2015531598A JP 2015531598 A JP2015531598 A JP 2015531598A JP 2015528359 A JP2015528359 A JP 2015528359A
Authority
JP
Japan
Prior art keywords
scene
gaze
dimensional
camera
end point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015531598A
Other languages
English (en)
Other versions
JP6808320B2 (ja
Inventor
ホフマン，ジャン
センゲラウブ，トム
ウィリアムズ，デニス
Original Assignee
ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング
ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング, ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング filed Critical ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング
Publication of JP2015528359A publication Critical patent/JP2015528359A/ja
Application granted granted Critical
Publication of JP6808320B2 publication Critical patent/JP6808320B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

被検者の注視端点を決定するシステムは、被験者の単眼又は両眼の注視方向を決定するよう構成されたアイトラッキングユニットと、参照座標系に対してアイトラッカーの場所と方位から成る位置を決定するよう構成されたヘッドトラッキングユニットと、参照座標系のシーンの物体の三次元構造及び位置を利用してシーンの三次元構造表示を提供する三次元構造表示ユニットとを備え、注視方向、アイトラッカー位置及び三次元構造表示に基づき、シーンの三次元構造表示の物体の注視端点を算出又は物体自身を決定する。

Description

本発明は、注視端点の決定方法及び装置に関し、特に空間内の三次元物体上における被験者の注視端点の決定に関する。
（移動時と想定される）人間が注視する点又は物体、より詳細には物体面の特定部を見つけ出すという課題の解決策が存在する。以下に説明する解決策は、いくつかに分類可能である。
最初に、人間の注視方向（瞳孔/ＣＲの組み合わせ、角膜中心及び瞳孔/角膜輪郭などによる表現）が検出される。
注視方向の決定に、アイトラッカーを使用することができる。注視方向を算出するため、アイトラッカーは、瞳孔、角膜輪郭、強膜血管、眼球、又は光源反射（角膜反射）など、眼の特徴を観察する。
この注視方向は、頭部装着シーンカメラ又は任意の場所に固定されたシーンカメラに取り込まれたシーンの画像にマッピングされる。頭部装着シーンカメラは頭部に固定されるので、対応するキャリブレーションが実行されると、上記マッピングを実行することができる。キャリブレーションを実行するには、ユーザは、頭部装着カメラによって取り込まれたシーン画像に示された、いくつかの点を注視しなければならない。検出された各注視方向の利用により、キャリブレーションが実行可能となり、シーン画像内の対応点に注視方向をマッピングする変換が実行される。このような手法では、注視方向を頭部装着シーンカメラの画像にマッピングできれば、任意の種類のアイトラッカーを使用することができる。
上記手法により、頭部装着シーンカメラで撮影されたシーン画像の注視点を決定することができる。
頭部装着シーンカメラで取り込まれ、被験者の移動により変化するシーン画像の注視点を、移動することなく「実世界の」物体又はその画像に対応する（静止）参照画像の点へとマッピングすることが次の工程となる。このような参照画像は、一般的に頭部装着シーンカメラで撮影されたシーン画像とは異なるカメラ位置で撮影される。これは、シーンカメラがユーザの頭部と共に移動するためである。
頭部が動く場合、その移動後でも頭部装着シーンカメラで撮影された特定シーン画像について、注視方向の検出に基づき、移動しない参照画像内の注視点を決定する周知の方法がある。
注視される点を決定する有力な手法としては、アイトラッカーについて定められた仮想シーン面と注視方向とを交差させることが考えられる。ＷＯ２０１０／０８３８５３Ａ１は、この目的のため、例えば本棚への取付けなど、特定の場所に固定された作動時のＩＲマーカの使用が開示されている。これらのマーカの所在は、二つのラインセンサの最大強度を検出することにより二つの直交角度を検出する二つの直交ＩＲライン検出器を使用して、頭部装着カメラにより得られる「参照」画像として機能する「試験シーン」について最初に検出される。ＩＲソースの検出角は、参照画像の場所に対応する。マーカの角度は、異なる場所から頭部装着カメラで撮影される、後に検出されたシーンについて検出される。これにより、後のシーン画像におけるＩＲソースの場所が検出される。頭部装着カメラが異なる場所にあるときには、後で撮影される画像（シーン画像）で検出されるＩＲソースの場所を、試験画像（参照画像）のＩＲ光源の場所に変換するマッピングとして「透視投影」が決定される。この変換により、シーン画像について後で決定される注視点もまた、試験画像の対応（実際の）注視点に変換することができる。
実際の「シーン画像」から経時不変の安定参照画像への注視点のマッピングは、この注視点がアイトラッカー（ＥＴ）の代わりに、シーン安定マーカについてマッピングされる面を定めることで可能となる。このように、参照画像面が経時的に安定し、他の参加者の注視もこの面にマッピングが可能なため、従来は固定位置に配置されたアイトラッカーによってのみ可能だったことが、経時的にも参加者についても、注視点情報を集計することが可能となった。
この目的のため、ＷＯ２０１０／０８３８５３Ａ１に開示された従来技術は、最大出射角を検出する直交ＩＲライン検出器によってその場所が検出可能である人工マーカとしてＩＲソースを使用している。
シーン画像から参照画像への注視点の変換を決定するマーカとしてＩＲソースを使用することは複雑かつ不便である。
参照により本願に組み込まれる、欧州特許出願ＥＰ１１１５８９２２．２「Method and Apparatus for Gaze Point Mapping」（出願人：SensoMotoric Instruments Gesellschaft fur innovative Sensorik mbH）では、異なる手法が開示されている。この手法では、被験者のシーン画像の注視点を、参照画像の注視点にマッピングする装置が設けられており、前記シーン画像と前記参照画像は、異なる位置からカメラで撮影されている。
前記装置は、
前記参照画像における複数の特徴とそれらの位置とを識別するため、前記参照画像の特徴検出アルゴリズムを実行するモジュールと、
前記シーン画像の前記複数の特徴と、それらの位置とを再識別するため、前記シーン画像の前記特徴検出アルゴリズムを実行するモジュールと、
前記参照画像と前記シーン画像において検出された前記複数の特徴の場所に基づき、前記シーン画像と前記参照画像間の点の位置を変換する、点変換マッピングを決定するモジュールと、
前記点変換マッピングを使用して、前記シーン画像で決定された注視点を前記参照画像の対応点にマッピングするモジュールと、を備える。
これにより、任意の人工ＩＲソースやＩＲ検出器を不要とする、注視点マッピングを実行することができる。この注視点マッピングは、可視周波数レンジで作動する通常のＣＣＤカメラにより撮影される自然シーンの通常かつ無補正の画像で作動可能である。この手法の詳細な説明については、欧州特許出願ＥＰ１１１５８９２２．２に示されている。
このような手法でも、移動する被験者の注視を、予め定められた特定の静止面へとマッピングすることができるだけで、三次元空間における任意の物体の注視端点の決定はできない。
従って本発明の目的は、三次元空間の任意の三次元物体の注視端点を決定できる方法を提供することにある。
一実施例において、被験者の単眼又は両眼の注視方向を決定するよう構成されたアイトラッキングユニットと、参照座標系についてヘッド及び/又はアイトラッキングユニットの場所と方位からなる位置を決定するよう構成されたヘッドトラッキングユニットと、参照座標系の座標により、三次元位置及び/又はその三次元構造を通して実世界のシーンの物体を表示することで、実世界のシーンと、シーンに含まれる物体を表示して、シーンの三次元構造の表示を提供する、三次元シーン構造表示ユニットと、注視方向、アイトラッカー位置及び三次元シーン構造表示に基づき、注視端点を算出し、及び/又は、注視方向、アイトラッカー位置及び三次元シーン構造表示に基づき、被験者が注視する三次元シーンの物体を決定する、算出ユニットと、を備える、被験者の注視端点を決定するシステムが提供される。
アイトラッカー及びヘッドトラッカーという三次元表示を用いることで、二次元面の注視点だけでなく、被験者が注視する物体及び/又は三次元の注視端点を決定することができる。
一実施例においてシステムは、シーンの三次元構造表示の物体上の注視端点を算出するモジュールを備え、三次元構造シーン表示の物体と、注視方向との交点に基づき、前記注視端点を算出する。
注視方向と三次元表示との交差において、注視が三次元構造に「ヒット」又は交差し、従って実際の注視端点が得られる場所を幾何学的に算出する手法が提供される。これにより、シーンにおける三次元物体の実際の注視端点を決定することができる。
一実施例においてこのシステムは、被験者の両眼の注視方向の交点に基づき、注視端点を算出するモジュール及び/又は、算出された注視端点及び、実世界シーンの物体の三次元位置及び/又は三次元構造に基づき、被験者が注視している物体を決定するモジュールを備える。
両眼転導を利用して被験者の両眼の注視方向の交点を算出することで、注視端点を決定することができる。この注視端点は、ユーザが注視する物体の決定に利用される。
一実施例において、被検者が注視している物体は、三次元位置及び/又は構造が、算出された注視端点に最も近い物体を被検者が注視している物体として選択することで決定される。
一実施例において、前記被験者の前記単眼又は両眼の注視方向を決定するよう構成されている前記アイトラッキングユニットは、前記単眼又は両眼の前記注視方向の確率分布を決定するよう構成され、注視されている物体を決定する前記算出ユニットは、一つ以上の物体について、注視端点の確率分布に基づき、注視されている前記物体の確率を決定する。
このようにして、被験者が特定の物体を注視している確率を示す確率分布を決定できる。
一実施例においてこのシステムは、任意の視点からのシーンの一つ以上の画像を取得するよう構成されたシーンカメラと、シーンカメラにより撮影されるシーン画像の画像面へと三次元注視端点をマッピングするモジュールとを更に備える。
このように、三次元構造の三次元注視端点が決定されるだけでなく、シーンカメラで撮影された任意のシーン画像の対応場所も決定できる。これにより、任意の視座から、すなわち任意の場所からカメラで撮影されたシーン画像の注視点を決定することができる。
一実施例において、特定位置の決定又は物体トラッキング機構によってシーンカメラの位置が把握されるか決定され、三次元注視端点を前記シーンカメラの画像に投影することでマッピングが実行される。
このように、三次元注視端点から、任意の場所のカメラで撮影されたシーン画像の対応点が得られる。
一実施例においてシステムは、三次元構造表示に基づき、任意の視点から見られるシーン画像を生成するモジュールと、前記シーン画像生成モジュールにより生成された画像の画像面へと三次元注視端点をマッピングするモジュールとを備え、三次元注視端点を前記シーン画像生成モジュールによって生成された前記シーン画像の画像面へと投影することで、マッピングが実行される。
このように任意のシーン画像は、シーンカメラを使用して画像を撮影することで生成されるのではなく、三次元構造の表示に基づき生成することができる。このシーン画像において、注視端点をシーン画像に投影させることで、又は、例えば、シーン画像において注視された三次元構造物体として決定された物体を強調表示することで、注視端点又は注視される物体を示唆又は可視化することができる。
一実施例において、前記アイトラッカーは、頭部装着アイトラッカーであり、及び/又は、前記シーンカメラは、頭部装着シーンカメラである。
頭部装着アイトラッカー及び頭部装着シーンカメラは、このような装置の便利な実践である。更に、アイトラッカーが頭部に装着される場合、ヘッドトラッカーもまた自動的にアイトラッカーの位置/方位を提供する。シーンカメラの場合も同様である。ヘッドトラッカーにより決定された頭部の位置（場所と方位）により、アイトラッカーの座標系において頭部装着アイトラッカーにより決定された注視方向に基づき、ヘッドトラッカーの参照座標系の対応注視方向を決定することができる。ヘッドトラッカーにより決定された頭部の場所と方位を利用して、アイトラッカーの座標系からヘッドトラッカーの座標系へと注視方向を変換する簡単な変換によって上記を実行することができる。ヘッドトラッカーにより提供される位置により、所定の構成を通してアイトラッカーの位置も自動的に提供される。この構成において、アイトラッカーは、例えば、装着フレームを介して頭部に固定され、頭部との間に空間が形成される。
一実施例において前記三次元シーン構造表示ユニットは、実世界のシーンの三次元構造表示を得るため、参照座標系のシーンの物体の三次元構造及び位置又はそれらの幾何学的表面構造を決定するよう構成された三次元シーン構造検出器を備える。
このように構造検出器により、三次元構造又は少なくともこれに関連する可視部を、シーンから直接取得することができる。
一実施例において前記三次元構造検出器は、場合によりカメラと組合わされるレーザスキャナー、光源出射構造化ライトを有する光学スキャナー、ステレオカメラシステム、超音波検出器、三次元物体検出の任意の実装機構のうち一つを備える。
これらは三次元構造検出器の便利な実施例である。
実施例においてシステムは、複数の異なるシーンカメラで撮影された一つ以上のシーン画像及び/又は異なる視点から撮影されたシーン画像にマッピングされる三次元注視端点と、複数の異なる被験者について、同じシーン画像にマッピングされる三次元注視端点と、異なる被験者について、同じシーン画像にマッピングされるか、経時的に集計される三次元注視端点のうち、一つ以上を備える。
これにより、異なるユーザ及び/又は異なる場所の異なるシーンカメラにおいて注視端点をマッピングすることで、手法の自由度という利点が得られる。異なる被験者についても、注視端点の記録及び一つ以上と想定される異なるシーン画像へのマッピングが経時的に実行可能であるため、所望の形式で注視データの表示が得られる。
一実施例において対応するビューの頻度又は異なる被験者で識別されている、累積されたビューの時間と共に三次元注視端点を視覚化することで、経時的にマッピングされた三次元注視端点がシーン画像で可視化される。
これにより、計測された注視端点及びそれらがマッピングされたシーンの場所を可視化することができる。
一実施例において前記可視化は、ヒートマップと、フォーカスマップと、注視の重心と、ビューの時間の自動形状化のうち一つ以上を使用する。
これらは、可視化の実施に最適なものである。
一実施例において前記三次元構造検出器は、前記三次元シーンが静止していなくても、前記アイトラッカー及び前記ヘッドトラッカーを使用して、リアルタイムの注視点検出を可能とする前記三次元構造を繰り返し決定し、又は前記三次元シーン構造検出器は、前記三次元構造を最初に決定し、物体トラッカーは、シーン内の一つ以上の物体の動きをトラッキングすることで、トラッキングされた物体と経時的にトラッキングされた注視方向を利用して、経時的に注視点決定を可能とする。
このように、非静止シーンについてもオンライン計測を実施することができる。
一実施例において、前記三次元構造検出器は、一つ以上のシーンカメラと、前記一つ以上のカメラの画像に基づき、前記三次元構造を算出する演算装置とを備える。
このように、三次元構造検出器は、シーンカメラと演算装置を除く特定のハードウェアがなくても実施可能である。実施例にかかるシーンカメラは、後に注視端点がマッピングされるシーン画像の撮影に使用されるシーンカメラと同じものでもよい。
一実施例において前記演算装置は、前記三次元構造及び/又はシーンカメラの位置を算出する視覚ＳＬＡＭ（視覚同期ローカライゼーション及びマッピング）アルゴリズムを使用する。
シーンカメラ及び演算装置により、三次元構造検出器が適切に実施される。
一実施例においてシステムは、参照モデルの統計データを可視化することで、一人以上の人間からの注視データを表示する表示装置を有し、前記可視化は、物体面への投影に基づく可視化と、三次元構造のフライスルー視覚化に基づく可視化とを含む。
上記手法は、計測された注視端点の可視化実施に最適である。
一実施例において、一台以上のシーンカメラの画像を、一つ又は複数のシーン画像として使用されるパノラマ又は多重視点画像など一つ以上のより大きな画像と組み合わせ、及び/又は前記三次元構造表示装置は、参照座標系のシーンの物体の三次元構造及び位置を利用して、事前に決定されたシーンの三次元構造表示を提供する。
これらは、計測された注視端点の可視化の実施に最適な手法である。
構造決定装置の代わりに三次元構造表示装置を使用することで、事前に定められた三次元データを使用することができる。
図１Ａ及び１Ｂは、本発明の実施例にかかる物体の表示を概略的に示す。 図２Ａ及び２Ｂは、本発明の実施例にかかる注視端点決定システムを概略的に示す。 図３は、本発明の他の実施例にかかる注視端点決定システムを概略的に示す。
本発明の実施例について以下に説明する。
一実施例において、注視端点の決定について定められ、そして、一実施例では、平面ではなく、三次元空間の一般物体に対する注視端点のマッピングについて定められている。更に、一実施例では、被験者が三次元空間のどの物体を注視しているかを決定することができる。
一実施例において、上記目的のため、三次元構造検出器、被験者の頭部とその方位をトラッキングする物体トラッカー（「ヘッドトラッカー」）及びアイトラッカーが使用される。ヘッドトラッカーによる頭部の動き及びアイトラッカーによる被験者の眼の注視方向をトラッキングすることで、三次元空間での被験者の注視方向が得られる。この注視方向は投影され、又は三次元構造検出器から得られ、被験者によって視認される「世界」の三次元モデルと交差させることができる。被験者の注視が方向付けられ、三次元構造の「物体にヒット」する点が決定される。このように「注視端点」そして被験者が注視する物体についても決定することができる。
更に別の実施例によれば、注視端点は、両眼転導に基づき決定される。この実施例において、アイトラッカーは、被験者の両眼の注視方向を検出する。被験者が特定の物体を見ているときは、両眼の注視方向は平行ではなく、同じ物体に向けられている。すなわちこれらの方向は、被験者による注視点で交差していることを意味する。アイトラッカーにより両眼の注視方向が得られる場合、このように取得した三次元空間での注視方向の交点の算出により、実質的に三次元空間における注視点が供給される。
被験者の両眼において決定された二つの注視方向が、空間の特定点で実際に交差しない場合も起こりうる。これは、実際に交差していない、すなわち二つの注視方向が実際に収束せず、空間の同じ点で交差していないか、計測エラーにより、交点ができないことが理由とされうる。ただし両者の場合、例えば、二つの注視方向間の距離ベクトルの途中にある点、すなわち二つの注視方向の最も近くにある三次元空間の点を選択することで、交点に基づく注視端点を決定することができる。
このように決定された注視端点と三次元空間の物体の表示を使用することで、被験者がどの物体を注視しているかを決定できる。この表示は、例えば、構造発生装置により得られる、本実施例からなる十分な三次元構造表示となりうる。物体の三次元構造表示により、その物体の構造が定義される（例えば境界）。注視端点が正しく決定され、エラーがない場合、この点は、三次元構造の物体面に存在し、被験者が注視する点として決定される。注視端点が決定されると、三次元構造の表示から、注視端点を有する物体、ユーザが注視する物体の決定と続く。
注視端点が物体に存在しない場合もある。これには、両眼転導で決定された注視端点が全く正確ではなく、このように決定された注視端点は、物体が存在しない空き空間に存在する可能性があるなど、様々な理由がある。一実施例によれば、上記のような状況でも、例えば注視端点に最も近い物体を、注視されている物体として決定することができる。この物体を、被験者が注視していると決定された物体として選択することができる。
被験者が注視している物体を決定するその他の手法において、二つの注視ベクトルと物体自体が交差しているかチェックされる。この場合、二つの注視ベクトルと交差する物体は、ユーザが注視している物体と決定される。
一実施例において、両眼の注視方向を、「組み合わされた」注視方向の決定に使用することができる。例えば両眼の注視方向の交点としての両眼転導に基づき、注視端点を最初に算出することで、上記が可能となる。このように得られた注視端点を、両眼の注視方向、すなわち「組み合わされた注視方向」に基づく注視方向の決定に使用することができる。被験者の両眼の間から、交点に基づき決定された注視端点を通過するベクトルを注視方向として選択することで、一実施例において上記を実行することができる。注視される物体を決定するため、このようにして組み合わされた注視方向を、三次元構造の物体との交点の算出に使用することができる。
一実施例によれば、被験者の単眼又は両眼の注視方向を決定するよう構成されたアイトラッキングユニットは、単眼又は両眼の注視方向の確率分布を決定するような仕組みになっている。この確率分布は、決定された注視方向がどの程度正確かを示すものである。例えば、アイトラッカーの精度又は「誤差分布」（周知又は推定）に基づき、これを求めることができる。上記精度は、計測値（例えば注視方向）に対して確率分布の形で正確さの度合を付与し、異なる値について、計測値が正しい確率を示唆する。このような確率分布を使用することで、計測された注視方向に三次元空間の点が存在する確率を示すことができる。
一実施例における確率分布は、複数の物体について、それぞれ注視される確率の決定に使用される。計測された注視方向の確率分布は、異なる注視端点の確率分布に対応している。上記確率分布は、計測された注視方向の誤差分布を反映させることができる。例えば、特定の注視方向が計測される場合、誤差分布は、特定の計測誤差（誤差分布又は「確率分布」として示されている）により、注視方向がそれぞれ異なる確率を示している。このように異なる注視方向において、注視端点が異なる結果となるため、異なる注視端点と、対応する確率に基づき、注視されている対応物体の個々の確率を得ることができる。このことは、物体の全表面にわたり、その表面に属する各点の注視確率を積分することによって行われる。このように、注視方向確率分布に基づき注視端点確率分布が得られ、三次元空間の様々な物体について、それぞれ注視される確率を示す確率分布の決定に利用される。この実施例では、「注視される物体を決定する算出装置」により、「注視されている物体を決定」する際、注視される物体の確率が実質的に決められている。すなわち本実施例は、注視されている物体を決定する算出装置の具体例である。
一実施例において、注視方向の確率分布は、被験者の両眼について定められた注視方向に対しても使用可能である。この実施例において、上記二つの注視方向は、それぞれ特定の注視方向の正しさの確率を反映する、独自の確率分布を有している。これに基づき、三次元空間の各点について、二つの注視方向の交点としての注視端点である確率を算出することができる。すなわちこれにより、三次元空間の点を示す確率分布が、注視端点である確率を示唆する結果となる。一実施例にかかる確率分布は、注視されている特定物体の確率を決めるために利用される。これは、注視端点の確率分布から直接得られる。
一実施例において、前述のように、注視方向の確率分布は、注視方向の計測の「精度」又は「誤差」を反映する。これは、誤差分布の計測により決定するか、推定するだけでもよい。更なる実施例において、確率分布に反映された特定の誤差により注視方向が決定されるだけでなく、三次元空間内の物体の位置も決定される。三次元空間の各物体について、一実施例では、物体の位置についての確率分布により反映されている精度は不確実性を有する。この確率分布は、注視方向の確率分布又は注視端点の確率分布と組み合わせることができ、両者の不確実性が反映された、注視された特定物体について組み合わされた確率が得られる。
更なる実施例において、物体の形状、場所及び方位を完全に三次元で表示する必要はないが、各物体を、三次元空間の物体の場所を示す、空間内の一つの代表点によって示すことができる。例えば、三次元物体の重心を代表点としてよい。あるいは、ユーザが定義又は選択した点で、三次元空間の物体の位置を示すものであれば、任意の点を選択することができる。このように、複数の物体の位置を三次元空間で表示することができる。両眼転導により決定された注視端点に基づき、注視端点に最も近い物体を表す点が決定される。このように、被験者によるこの物体の注視を決定することができる。
物体は、単一の点で表示されなくてもよく、中心としての代表点を有する平面領域又は球のような三次元形状など、二次元又は三次元で拡張性を有する特定の代表的な三次元表示とすることができる。物体を表現するために使用可能なシーン物体に基づき、任意の空間テッセレーションを使用することができる。
これについて図１Ａ及び図１Ｂを参照して説明する。図１Ａは、三次元の実世界シーンを示す。このシーンには、実世界の物体として、机及び天井から吊るされたランプが含まれている。図１Ｂは、これらの物体を三次元で表現している。ランプは、三次元空間において中心Ｃ及び半径Ｒを有する球体として表現されている。机は、角部Ｘ１，Ｘ２、Ｘ３及びＸ４を有する矩形として表示されている。Ｘ１からＸ４及びＣの座標は、三次元座標を決める特定の計測によって定めることができる。半径Ｒは、「本物のランプ」の形状を想起させるように選択してよい。
この結果、三次元空間で表示された三次元の場所に存在する二つの物体を図１Ｂに示す。この図には、被験者Ｓの頭部も示されている。三次元空間での頭部の位置と方位は、特定の物体トラッカー（図示せず）で決めることができ、注視方向は、頭部装着アイトラッカー（図示せず）などの特定のアイトラッカーで取得される。アイトラッカーで取得された注視方向と、ヘッドトラッカー（独自の座標系）からの位置と方位とを使用して、三次元空間での注視方向Ｌ１、Ｌ２を決定することができる。これについては、後でより詳細に説明する。
そして注視方向交点Ｇが、両眼転導に基づき注視点として決定される。図１Ａが示すように、物体を表すランプや机の上に、この点は存在しない。注視点Ｇから机及びランプまでの距離が決定される。机Ｄ１までの距離は、ランプまでの距離よりも近いので、システムは、被験者が机を注視していると結論付けることができる。
このようにシステムは、三次元空間においてユーザが注視している物体を決定することができる。
他の実施例において、物体の三次元表現では、三次元の物体表面をメッシュで表現するなど、より高い細分性による高精度な表現が使用される。原理上、システムを同様に操作することができる。注視点が更に高精度で決定され、三次元で表現された物体の表面上又は近くに存在する場合、このシステムは被験者が注視している物体を決定するだけでなく、ユーザが注視する物体の位置も決定することができる。
他の実施例について、より詳細に説明する。この実施例では、物体は三次元構造として表現され、被験者が注視している物体は、両眼転導に基づくというよりは、三次元物体表示と注視方向の交点に基づき決定される。
すなわちこの手法では、「実世界」の物体を示す三次元構造として決定され、交差された注視方向に基づき、三次元物体上での注視端点を決定することができる。一実施例において、このように決定された注視端点は、シーンの任意の画像において、対応位置へマッピングすることができる。更に、このように、注視される物体を識別する課題が、物体/物体の一部の名前付けに帰着する。これは、この手法において、注視方向とユーザが注視している物体とが交差しているため、その注視物体が直接提供されるからである。
一実施例において、三次元物体に注視をマッピングするシステムの作動を以下に説明する。
三次元シーン構造を計測する検出器（三次元検出器）は、シーン内の全ての物体又は関係する全ての物体（例：選択された物体又は最小サイズより大きな物体）の表面構造、位置及び方位などの決定に使用され、参照モデル（三次元構造又は「実世界」の「三次元構造のモデル」）が得られる。この参照モデルは、ユーザが注視している「世界」を表し、例えばメッシュなど、「世界」の物体の表示から構成されている。
これは、例えば「参照座標系」として表示される。参照座標系は、被験者の頭部と共に動く、頭部に装着されたアイトラッカーの座標系とは異なり、経時的に不変かつ静止している。
単眼の位置（複数の眼についても同様）は、三次元検出器に関して、また単眼位置を三次元検出器の位置及び/又はヘッドトラッカーの位置と関連付けるヘッドトラッカー（従って参照座標系の位置も提供される）を利用することで検出されたシーン物体に拡張させることで、任意の時間に計測可能である。ヘッドトラッカーにより、場所だけではなく頭部又は頭部装着アイトラッカーの方位を取得することが望ましい。また、ヘッドトラッカー座標系は、三次元構造検出器の参照座標系として、経時的に不変であることが望ましい。一実施例において、両者の座標系は同一であり、別の実施例では、ヘッドトラッカー座標系を、三次元構造検出器へと、あるいはその逆に変換し、この変換が経時的に不変であることが望ましい。
三次元検出器とヘッドトラッカーとを、注視方向を計測するアイトラッカーと組み合わせることで、三次元構造の物体表面との注視交点を算出することができる。頭部装着アイトラッカーは、ヘッド/アイトラッカーの座標系での注視方向を出力する。頭部位置とその方位はヘッドトラッカーから把握されるので、頭部に装着されたアイトラッカーの既知の構成により、アイトラッカーの場所と方位も既知となる。ヘッドトラッカーからの情報を使用して、アイトラッカー座標系を参照座標系へと単に変換することで、アイトラッカー座標系のアイトラッカーにより決定される注視方向に基づき、参照座標系（三次元構造が表現された系）の注視方向を取得することができる。ヘッドトラッカーにより計測された頭部の場所及び方位の計測に続き、上記変換が実行される。
三次元構造の物体上の三次元注視端点を検出するため、この注視方向を、シーンの三次元構造表示と交差させることができる。従って、物体自身のパラメータと共に、シーンの三次元物体上における人（被験者）の単眼の注視端点を計測する計測装置が提供されている。
これは、注視点を決定するための非常に新規な手法である。各画像について手動で物体を指定する必要があるため、シーンの画像上の注視点を把握することとは大きく異なる。
上記手法は、三次元構造検出器で検出された三次元構造上の三次元注視端点を検出することで、現実のシーン面の注視点を決定する従来の手法に拡大適用される。シーン面を用いる従来の手法は、二次元空間においてのみ実施されるため、現実のシーンで通常多く見られる平面から離れた物体の点により引き起こされた視差を有する点は、適用外である。従って、この手法により、上記視差の問題が克服される。
三次元物体上の注視端点が決定されると、この注視端点は、カメラによって任意の位置から撮影されたシーンの任意の画像へとマッピングされる。このため、カメラのパラメータと、シーンに関連する位置とが必要となる。これらは構成/キャリブレーションの定義により把握できる。シーン構造で得られた画像から両者を算出、もしくは計測できる。
更に別の実施例によれば、シーン画像はシーンカメラによって撮影されず、例えば（任意の）シーン画像の画像面へと構造を投影するなど、三次元構造の表現に基づき生成される。この任意のシーン画像において、注視されている物体と決定された三次元構造の物体を強調表示することができる。あるいは、三次元構造からシーン画像に投影することで被験者の注視端点を可視化することができる。
一実施例によれば、ユーザは物体、より詳細には、三次元構造の物体部分に手動で名前を付けることができる。このように、物体に名前の「タグ」付けが可能であり、名前の付けられた物体に対して注視が「ヒット」すると、対応する物体の名前に戻る。物体は時間が経過しても同じであると仮定すると、これを一度実行する必要があり、任意の物体の注視について、参加者全員について、またシーンを観察した任意の参加者についていつでも決定することができる。これは、物体の真の三次元モデルは、ユーザによって撮影しうる全てのシーンに対応できるからである。
手動でのタグやラベルのない無名の物体については、実施例のシステムによりデフォールトの名前を付けることができる。
一実施例にかかる静止シーンについて、参照モデルをオフラインで作成することができる。図２にこの概略を示す。図２の上部が示すように、実際の注視計測（ステップａに示す）の前に、三次元構造検出器を使って三次元モデル/参照モデルが「オフライン」で作成される。三次元構造検出器は以後不要となる。ＥＴ（アイトラッカー）及びＨＴ(ヘッドトラッカー)を組み合わせることで、ステップａ）で決定された三次元構造上の三次元注視端点を十分決定することができる。これは、三次元構造の注視端点の決定を示す図２に示されたステップｂ）の上部に示されている。
シーンカメラによって撮影されたシーン画像への注視端点のマッピングを実行することができる。このため、カメラの位置とパラメータを使用した、三次元構造の二次元シーン画像へのマッピングを実行する任意の三次元投影方法を使用することができる。このように、注視が三次元構造にヒットする場所を、シーンカメラで撮影されたシーン画像の対応場所へとマッピングすることができる。図２は、三次元構造のシーン画像へのマッピング工程（例えば、三次元投影によって実行される）を説明するステップｂ）を示し、その下部に、マッピング工程の概略が示されている。
上記手法は静止シーンについて機能する。動画シーンのコンテンツに関連する場合、一実施例では、ＥＴとＨＴに並行して三次元構造検出器が機能する。この概略を図３に示す。この図では、三次元構造がＥＴによる注視の決定、ＨＴの頭部位置の決定、注視端点のシーン画像へのマッピングと並行して三次元構造が決定される様子が示されている。
一実施例において、シーンの動的変化を別の機構によって検討することができる。この実施例では、三次元構造が最初に一度だけ決定される。ただし三次元空間のシーンの関連する物体の位置や方位については、一台以上の物体トラッカーによって経時的に検出やトラッキングしてよい。注視方向もまた経時的にトラッキングされる。このように得られたトラッキングデータに基づき、注視方向と移動物体との交点を経時的に決定し、動的注視端点を決定する、オフライン工程を実行することができる。
以下に説明する実施例では、構成要素について、より詳細に記載されている。
本実施例の構成要素は、注視トラッカー、ヘッドトラッカー及び三次元構造検出器である。注視トラッキングは、従来の任意のアイトラッカーにより実現可能である。キャリブレーションが必要な場合、アイトラッカーを周知の空間面にキャリブレーションすることで、その面上の注視点から注視方向を算出することができる。
ヘッドトラッカーとして、以下の装置を使用することができる。
‐ 磁気ヘッドトラッカー、又は
‐ 光学ヘッドトラッカー、
‐ 三次元構造検出器（又はシーン内の物体）についてＥＴ（又は単眼自体）の位置及び方位を計測することができる任意の種類の装置
一実施例において、シーンカメラの位置及び方位を算出するため、検出された物体と組み合わせ、シーンカメラが使用される。このカメラは、後に注視端点がマッピングされるシーン画像の撮影に使用されるシーンカメラと同じものでもよい。カメラ位置を決定するため、視覚ＳＬＡＭ手法を使用することができる。視覚ＳＬＡＭ手法については、「Real-Time Simultaneous Localisation and Mapping with a Single Camera」 Andrew J. Davison、ICCV2003又は「Live Dense Reconstruction with a Single Moving Camera」Richard A. Newcombe、Andrew J. Davison、CVPR2010に記載されている。
別の実施例によれば、例えばカメラの内部センサ（ＧＰＳセンサ）によりカメラの位置だけを計測することができる。あるいは、その他の方法で（例えば慣性計測装置や物体トラッカー）決定することもできる。
一実施例において、シーンカメラに関連するＥＴ位置は、カメラ位置（両方とも同じフレームに装着）から把握される。
三次元構造を決定するため、例えば以下に示す計測装置など、いくつかの装置/手法を使用することができる。
‐ 三次元スキャナー（レーザスキャナー、構造化ライトスキャナーなど）
‐ ステレオカメラシステム
‐ 単眼カメラシステム（視覚ＳＬＡＭ）
‐ 手動計測
手動計測について、例えば建物の平面図は、施工計画により事前に把握されているか、特定の「手動計測」によって平面が把握されている。実際の構造を決定することなく、事前に計測され、格納された三次元構造データを「取得」又は「読み込む」装置に、三次元構造検出器を組み入れることができる。
三次元構造検出器の代わりに、三次元構造と、シーンの三次元構造を表示する参照座標系のシーン内の物体の位置を使用する、三次元構造表示ユニットを使用してもよい。三次元構造の計測を事前に実行しておくことができ、この構造表示ユニットは、三次元構造を表示するため、事前計測データを使用する。
一実施例において、関連シーン部分の動画を取り込み、視覚ＳＬＡＭ手法を使ってシーン構造を算出するため、静止シーン向けカメラ（例：シーンカメラ）が使用される。この手法により、シーンの画像を撮影するカメラ位置を画像自身から算出することができる。
動画シーンについて、オンラインで構造を計測することができる。これは、動的変化を考慮するため、三次元構造が繰り返し決定されることを意味する。
そうでなければ、オフライン（初期）三次元検出と興味の物体（物体トラッカーの補助として）のトラッキングとの組み合わせを使用することができる。スーパーマーケットの棚のように経時的に不変の静止シーンについては、この構造を一度事前に計測することができる。
上記の手法は、以下に示すように、既存の手法に比べていくつかの利点がある。
・シーン全体において物体は一意的であり、拡大解釈すれば、物体に対する注視端点も同様となる。ユーザの位置及びシーンカメラで撮影されたシーン画像に関係なく、物体/物体の部分の分類が定義される場合、この物体/物体の部分毎に自動的に注視が分類される。
・注視端点は、シーンカメラ画像から分離される。物体の画像ではなく、注視が物体にマッピングされる。シーンカメラを有するＥＴについて、参照モデル物体からシーンカメラ画像の画像面へと注視を再マッピングすることができる。このことは、注視点がシーン画像から逸脱した場合でも適用される。
・注視端点は幾何学的に正しく算出されるため、無視差ではないアイトラッカーが使用されている場合でも、注視マッピングで視差のエラーは発生しない。
・両眼転導を利用して複数の物体が注視経路と交差するように、複数の関連物体が整列されている背景のシーンにおいても、実際にどの物体が注視されているかを識別することが可能である。注視方向が，別の物体の前方に位置する物体と交差し、両眼転導による二つの注視点の交点が後方の物体に存在する場合、実際の注視点は、後方の物体であると仮定できる。
・注視データを新たに可視化することができる。
・ 時間及び/又は参加者について集計
・ 物体表面（例：ヒートマップ）
・ 空間での注視射線、空間での物体、マッピングされた注視データにより加工された物体（ヒートマップ、フォーカスマップなど）の三次元視覚化
・ シーン画像に投影された物体の自動輪郭、重心など
・ 物体の周囲をフライスルーするような動的な視覚化
・ 任意のシーン画像/シーン動画の注視データの集計（参加者のシーンカメラからの動画は特例）
構成要素と共に実施例について以下に説明する。
まずシステムは、頭部の座標フレームについて人間の注視方向を提供するアイトラッカーを有する。頭部に関する座標系に変換可能であれば、注視方向を間接的に定義することができる。
更にシステムは、頭部又はアイトラッカーの座標系の位置及びシーン座標系に関する方位を検出するヘッドトラッカーを有する。これはセンサを使って実施できる。これらのセンサがシーンに対する固有位置を検出し、センサを頭部に装着する必要がある場合も想定される。ただし、任意のヘッドトラッキング装置を使用することができる。
更にシステムは、物体の三次元表面構造を計測する三次元構造検出器を有する。この構造は、場所、方位及び表面部（点、パッチ、平面又は三次元構造の説明に使用される同様の特徴）近接部から構成される。この検出器は、物体の外観も計測可能である。
このシステムもまた、シーンの参照画像を作成するシーンカメラ（位置と方位が明らかになるような位置検出装置との組み合わせを想定）を任意に有する。
上記構成要素を使用して、三次元構造の注視点を決定することができる。更にシーン画像とシーンカメラの位置を利用して、三次元注視点をシーン画像にマッピングすることができる。
例えば三次元注視点をシーン画像に三次元投影することで、シーン画像を撮影するカメラの位置がわかっている場合、任意のシーン画像について上記マッピングを実行することができる。
更に別の一実施例によれば、任意のシーン画像における注視点の位置は、わずかに異なる方法で決定できる。最初のシーン画像での注視点がすでに決定されていると仮定すると、異なる位置から撮影された第二のシーンについて、欧州特許出願１１１５８９２２．２に記載されているように、注視点マッピング手順を使用することができる。
三次元構造検出器、ヘッドトラッカー及び位置検出器は、画像から必要な情報を抽出する適正な方法と組合わされたカメラによってすべて実施される点に注意すべきである。この実施例において、アイトラッカーを、シーンカメラと、三次元構造、カメラ位置及びヘッド位置などデータ抽出方法を実行する装置（適切にプログラムされたコンピュータ）と組み合わせることが必要である。
一実施例において、頭部装着アイトラッカーの代わりに、リモートアイトラッカーを使用することができる。このリモートアイトラッカーが固定位置に配され、固定された座標系を有する場合、その座標系は、参照座標系又は少なくとも三次元構造検出器の参照座標系と周知の空間関係を有するものとして使用することができる。リモートアイトラッカーが自身の経時的に不変な座標系において注視方向を直接取得できる場合、「分離」ヘッドトラッカーは不要であり、アイトラッカーによって実行される眼の位置と方位との決定により、アイトラッカーは同時にヘッドトラッキングユニットを実行することになる。
一実施例において、シーンカメラはアイトラッカーに対して移動可能である。その位置は、物体トラッカーによって決定することができ、位置とは関係なく、上述の通り、注視点をシーン画像へと投影することができる。

Claims (15)

  1. 被験者の注視端点を決定するシステムにおいて、
    被験者の単眼又は両眼の注視方向を決定するよう構成されたアイトラッキングユニットと、
    参照座標系についてヘッド及び/又はアイトラッキングユニットの場所と方位から成る位置を決定するよう構成された物体トラッキングユニットと、
    参照座標系の座標により、三次元位置及び/又はその三次元構造を通して実世界のシーンの物体を表示することで、実世界のシーンと、シーンに含まれる物体を表示して、シーンの三次元構造の表示を提供する、三次元シーン構造表示ユニットと、
    注視方向、アイトラッカー位置及び三次元シーン構造表示に基づき、注視端点を算出し、及び/又は、注視方向、アイトラッカー位置及び三次元シーン構造表示に基づき、被験者が注視する三次元シーンの物体を決定する、算出ユニットと、を備えることを特徴とするシステム。
  2. シーンの三次元構造表示の物体上の注視端点を算出するモジュールを備え、三次元構造シーン表示の物体と、注視方向との交点に基づき、前記注視端点を算出することを特徴とする、請求項１に記載のシステム。
  3. 被験者の両眼の注視方向の交点に基づき、注視端点を算出するモジュール及び/又は 算出された注視端点及び、実世界シーンの物体の三次元位置及び/又は三次元構造に基づき、被験者が注視している物体を決定するモジュールを備える、請求項１又は２に記載のシステム。
  4. 被検者が注視している前記物体は、三次元位置及び/又は構造が、算出された注視端点に最も近い物体を被検者が注視している物体として選択することで決定される、請求項３に記載のシステム。
  5. 前記被験者の前記単眼又は両眼の注視方向を決定するよう構成されている前記アイトラッキングユニットは、前記単眼又は両眼の前記注視方向の確率分布を決定するよう構成され、
    注視されている物体を決定する前記算出ユニットは、一つ以上の物体について、前記単眼又は両眼の前記注視方向の前記確率分布に基づき、注視されている前記物体の確率を決定することを特徴とする、請求項１〜４のいずれか一項に記載のシステム。
  6. 任意の視点からのシーンの一つ以上の画像を取得するよう構成されたシーンカメラと、
    シーンカメラにより撮影されるシーン画像の画像面へと三次元注視端点をマッピングするモジュールとを更に備え、特定位置の決定又は物体トラッキング機構によってシーンカメラの位置が把握されるか決定され、三次元注視端点を前記シーンカメラの画像に投影することでマッピングが実行されることを特徴とする、請求項１〜５のいずれか一項に記載のシステム。
  7. 三次元構造表示に基づき、任意の視点から見られるシーン画像を生成するモジュールと、
    前記シーン画像生成モジュールにより生成された画像の画像面へと三次元注視端点をマッピングするモジュールとを更に備え、三次元注視端点を前記シーン画像生成モジュールによって生成された前記シーン画像の画像面へと投影することで、マッピングが実行されることを特徴とする、請求項１〜５のいずれか一項に記載のシステム。
  8. 前記アイトラッカーは、頭部装着アイトラッカーであり、及び/又は前記シーンカメラは、頭部装着シーンカメラであることを特徴とする、請求項１〜７のいずれか一項に記載のシステム。
  9. 前記三次元シーン構造表示ユニットは、シーンの三次元構造表示を得るため、参照座標系のシーンの物体の三次元構造及び位置又はそれらの幾何学的表面構造を決定するよう構成された三次元構造検出器を備え、
    前記三次元構造検出器は、
    カメラと組合されるレーザスキャナーと、
    光源出射構造化ライトを有する光学スキャナーと、
    ステレオカメラシステムと、
    超音波検出器と、
    三次元物体の検出に使用される任意の機構実装と、のいずれか一つを任意に備えることを特徴とする、請求項１〜８のいずれか一項に記載のシステム。
  10. 複数の異なるシーンカメラに撮影された一つ以上のシーン画像及び/又は異なる視点から撮影されたシーン画像にマッピングされる三次元注視端点、
    複数の異なる被験者について、同じシーン画像にマッピングされる三次元注視端点、
    同じシーン画像にマッピングされるか、経時的に集計される三次元注視端点のうち、一つ以上を備えることを特徴とする、請求項１〜９のいずれか一項に記載のシステム。
  11. 対応するビューの頻度又は異なる被験者で識別されている、累積されたビューの時間と共に三次元注視端点を視覚化することで、経時的にマッピングされた三次元注視端点が可視化されることを特徴とする、請求項１０に記載のシステム。
  12. 前記可視化は、
    ヒートマップと、
    フォーカスマップと、
    注視の重心と、
    ビューの時間の自動形状化と、の一つ以上を使用することを特徴とする、請求項１０又は１１に記載のシステム。
  13. 前記三次元シーン構造検出器は、前記三次元シーンが静止していなくても、前記アイトラッカー及び前記ヘッドトラッカーを使用して、リアルタイムの注視点検出を可能とする前記三次元構造を繰り返し決定し、又は前記三次元シーン構造検出器は、前記三次元構造を一回決定し、物体トラッカーは、シーン内の一つ以上の物体の動きをトラッキングすることで、トラッキングされた物体と経時的にトラッキングされた注視方向を利用して、経時的に注視点決定を可能とすることを特徴とする、請求項１〜１２のいずれか一項に記載のシステム。
  14. 前記三次元構造検出器は、一つ以上のシーンカメラと、前記一つ以上のカメラの画像に基づき、前記三次元構造を算出する演算装置とを備え、及び/又は
    前記演算装置は、望ましくは、前記三次元構造及び/又はシーンカメラの位置を算出する視覚ＳＬＡＭ（視覚同期ローカライゼーション及びマッピング）アルゴリズムを使用する、請求項１〜１３のいずれか一項に記載のシステム。
  15. 一台以上のシーンカメラの画像を、一つ又は複数のシーン画像として使用されるパノラマ又は多重視点画像など一つ以上のより大きな画像と組み合わせ、及び/又は前記三次元構造表示ユニットは、参照座標系のシーンの物体の三次元構造及び位置を利用して、事前に決定されたシーンの三次元構造表示を提供することを特徴とする、請求項１〜１４のいずれか一項に記載のシステム。
JP2015531598A 2012-09-17 2013-09-17 三次元物体上の注視点を決定するシステム Active JP6808320B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12184725.5A EP2709060B1 (en) 2012-09-17 2012-09-17 Method and an apparatus for determining a gaze point on a three-dimensional object
EP12184725.5 2012-09-17
PCT/EP2013/069236 WO2014041188A1 (en) 2012-09-17 2013-09-17 Method and an apparatus for determining a gaze point on a three-dimensional object

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019071195A Division JP6690041B2 (ja) 2012-09-17 2019-04-03 三次元物体上の注視点決定方法及び装置

Publications (2)

Publication Number Publication Date
JP2015528359A true JP2015528359A (ja) 2015-09-28
JP6808320B2 JP6808320B2 (ja) 2021-01-06

Family

ID=47010238

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015531598A Active JP6808320B2 (ja) 2012-09-17 2013-09-17 三次元物体上の注視点を決定するシステム
JP2019071195A Active JP6690041B2 (ja) 2012-09-17 2019-04-03 三次元物体上の注視点決定方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019071195A Active JP6690041B2 (ja) 2012-09-17 2019-04-03 三次元物体上の注視点決定方法及び装置

Country Status (6)

Country Link
US (4) US10223808B2 (ja)
EP (1) EP2709060B1 (ja)
JP (2) JP6808320B2 (ja)
CN (1) CN104685541B (ja)
IN (1) IN2015DN01984A (ja)
WO (1) WO2014041188A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
WO2017126195A1 (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2023054661A1 (ja) * 2021-10-01 2023-04-06 株式会社日立製作所 注視位置分析システム及び注視位置分析方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811731B2 (en) * 2013-10-04 2017-11-07 Qualcomm Incorporated Dynamic extension of map data for object detection and tracking
WO2015117904A1 (de) * 2014-02-04 2015-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hough-prozessor
US20180133593A1 (en) * 2014-08-07 2018-05-17 Fove, Inc. Algorithm for identifying three-dimensional point-of-gaze
US10228766B2 (en) * 2014-09-12 2019-03-12 Microsoft Technology Licensing, Llc Enhanced Display Rotation
JP6547268B2 (ja) * 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
CN107249433B (zh) * 2015-03-01 2019-12-20 诺瓦赛特有限公司 用于测量眼能动性的系统和方法
WO2016151581A1 (en) * 2015-03-23 2016-09-29 Controlrad Systems Inc. Eye tracking system
WO2016179825A1 (zh) 2015-05-14 2016-11-17 中国科学院深圳先进技术研究院 基于三维场景的导航方法
GB2539009A (en) * 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
TWI589150B (zh) * 2016-03-04 2017-06-21 液態三維系統有限公司 ３ｄ自動對焦顯示方法及其系統
US11579686B2 (en) * 2016-03-07 2023-02-14 Apple Inc. Method and device for carrying out eye gaze mapping
US10063560B2 (en) * 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
US10765314B2 (en) 2016-05-29 2020-09-08 Novasight Ltd. Display system and method
WO2017216273A1 (en) * 2016-06-16 2017-12-21 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and system for providing eye tracking based information about a user behavior, client device, server and computer program product
CN110381810B (zh) 2016-09-23 2020-11-10 诺瓦赛特有限公司 筛查装置和方法
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN108338798B (zh) * 2017-01-25 2020-11-06 北京数字新思科技有限公司 一种注意力测量方法和系统
CN106840167B (zh) * 2017-02-23 2019-12-20 周良辰 基于街景地图的目标物地理位置的二维量测算方法
JP6893607B2 (ja) 2017-04-21 2021-06-23 達闥机器人有限公司 ロボット制御方法、ロボット装置及びロボット機器
CN108965687B (zh) * 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN107369205B (zh) * 2017-07-04 2020-10-16 东南大学 一种移动终端城市二三维联动显示方法
CN107392853B (zh) * 2017-07-13 2020-05-26 河北中科恒运软件科技股份有限公司 双摄像头视频融合畸变校正与视点微调整方法及系统
US10853965B2 (en) * 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
CN107504917B (zh) * 2017-08-17 2020-02-21 深圳市异方科技有限公司 一种三维尺寸测量方法及装置
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
WO2019097639A1 (ja) * 2017-11-16 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
EP3752957A4 (en) 2018-02-15 2021-11-17 DMAI, Inc. SYSTEM AND PROCEDURE FOR SPEECH UNDERSTANDING VIA INTEGRATED AUDIO AND VIDEO-BASED VOICE RECOGNITION
WO2019161241A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for identifying a point of interest based on intersecting visual trajectories
WO2019161229A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for reconstructing unoccupied 3d space
WO2019161200A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree
CN110320997B (zh) * 2018-03-30 2022-05-17 托比股份公司 用于确定注视关注目标的对物体映射的多线迹注视
TWI719343B (zh) * 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
US11170212B2 (en) * 2018-09-28 2021-11-09 Apple Inc. Sensor fusion eye tracking
CN109491508B (zh) * 2018-11-27 2022-08-26 北京七鑫易维信息技术有限公司 一种确定注视对象的方法和装置
SE543121C2 (en) 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction
SE543144C2 (en) * 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
US11181978B2 (en) 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
PL3839411T3 (pl) * 2019-12-17 2023-12-27 John Cockerill Defense SA Inteligentny układ sterowania funkcjami wieży pojazdu bojowego
CN112509007A (zh) * 2020-12-14 2021-03-16 科大讯飞股份有限公司 真实注视点定位方法以及头戴式视线跟踪系统
WO2023189218A1 (ja) * 2022-04-01 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法、記録媒体
SE2250674A1 (en) 2022-06-03 2023-12-04 Tobii Ab Method of estimating a three-dimensional position of an object

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326071A (ja) * 1997-03-27 1998-12-08 Nippon Telegr & Teleph Corp <Ntt> 注視点高解像度化による計算機ホログラム表示方法並びに装置並びにこの方法を記録した記録媒体
JP2005071041A (ja) * 2003-08-22 2005-03-17 Nissan Motor Co Ltd 運転者視対象検出装置及び運転者視対象検出システム
JP2006119297A (ja) * 2004-10-20 2006-05-11 Olympus Corp 情報端末装置
JP2007286995A (ja) * 2006-04-19 2007-11-01 Hitachi Ltd 注目度計測装置及び注目度計測システム
JP2007289659A (ja) * 2006-03-27 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
JP2007319187A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 動作補助装置及びその制御方法
WO2011003303A1 (en) * 2009-07-10 2011-01-13 Peking University Image manipulation based on tracked eye movement
JP2012029940A (ja) * 2010-07-30 2012-02-16 Hiroshima City Univ 視線計測方法及び視線計測装置
US20120051597A1 (en) * 2009-03-03 2012-03-01 The Ohio State University Gaze tracking measurement and training system and method
JP2012050837A (ja) * 2004-04-01 2012-03-15 William C Torch 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2012128661A (ja) * 2010-12-15 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2012515579A (ja) * 2009-01-26 2012-07-12 トビー・テクノロジー・アーベー 光学的参照の支援による注視点検出
JP2012170546A (ja) * 2011-02-18 2012-09-10 Nippon Hoso Kyokai <Nhk> 視線位置推定システム及び視線位置推定プログラム
JP2013008365A (ja) * 2011-06-23 2013-01-10 Ailive Inc 運動感知型機器を用いる遠隔制御

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0862096A3 (en) * 1996-12-06 1999-05-19 Nippon Telegraph And Telephone Corporation Method and system for producing computer generated holograms realizing real time holographic video production and display
JP2002525425A (ja) 1998-09-14 2002-08-13 キューリック アンド ソファ インベストメンツ インコーポレイテッド ワイヤボンティング合金複合物
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
EP2242419B1 (en) * 2008-02-14 2016-01-13 Nokia Technologies Oy Device and method for determining gaze direction
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN101419672B (zh) * 2008-12-03 2010-09-08 中国科学院计算技术研究所 一种同步采集人脸图像和注视视角的装置及方法
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9116926B2 (en) * 2012-12-20 2015-08-25 Google Inc. Sharing photos

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326071A (ja) * 1997-03-27 1998-12-08 Nippon Telegr & Teleph Corp <Ntt> 注視点高解像度化による計算機ホログラム表示方法並びに装置並びにこの方法を記録した記録媒体
JP2005071041A (ja) * 2003-08-22 2005-03-17 Nissan Motor Co Ltd 運転者視対象検出装置及び運転者視対象検出システム
JP2012050837A (ja) * 2004-04-01 2012-03-15 William C Torch 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2006119297A (ja) * 2004-10-20 2006-05-11 Olympus Corp 情報端末装置
JP2007289659A (ja) * 2006-03-27 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
JP2007286995A (ja) * 2006-04-19 2007-11-01 Hitachi Ltd 注目度計測装置及び注目度計測システム
JP2007319187A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 動作補助装置及びその制御方法
JP2012515579A (ja) * 2009-01-26 2012-07-12 トビー・テクノロジー・アーベー 光学的参照の支援による注視点検出
US20120051597A1 (en) * 2009-03-03 2012-03-01 The Ohio State University Gaze tracking measurement and training system and method
WO2011003303A1 (en) * 2009-07-10 2011-01-13 Peking University Image manipulation based on tracked eye movement
JP2012029940A (ja) * 2010-07-30 2012-02-16 Hiroshima City Univ 視線計測方法及び視線計測装置
JP2012128661A (ja) * 2010-12-15 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2012170546A (ja) * 2011-02-18 2012-09-10 Nippon Hoso Kyokai <Nhk> 視線位置推定システム及び視線位置推定プログラム
JP2013008365A (ja) * 2011-06-23 2013-01-10 Ailive Inc 運動感知型機器を用いる遠隔制御

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREW T.DUCHOWSKI, ET AL.: ""Aggregate Gaze Visualization with Real-time Heatmaps"", ETRA 2012, SANTA BARBARA, CA PROCEEDINGS, JPN7017001416, 28 March 2012 (2012-03-28), pages 13 - 20, XP058752917, ISSN: 0003764887, DOI: 10.1145/2168556.2168558 *
LI SUN, ET AL.: ""EYEWATCHME-3D Hand and Object Tracking for Inside Out Activity Analysis"", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, JPN7017001415, 20 June 2009 (2009-06-20), pages 9 - 16, ISSN: 0004088235 *
SUSAN M.MUNN, ET AL.: ""3D point-of-regard, position and head orientation from a portable monocular video-based eye tracke", ETRA'08 PROCEEDINGS OF THE 2008 SYMPOSIUM ON EYE TRACKING RESEARCH AND APPLICATIONS, JPN7017001417, 26 March 2008 (2008-03-26), pages 181 - 188, XP058753542, ISSN: 0003764888, DOI: 10.1145/1344471.1344517 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
WO2017126195A1 (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10684682B2 (en) 2016-01-18 2020-06-16 Sony Corporation Information processing device and information processing method
WO2023054661A1 (ja) * 2021-10-01 2023-04-06 株式会社日立製作所 注視位置分析システム及び注視位置分析方法

Also Published As

Publication number Publication date
WO2014041188A1 (en) 2014-03-20
EP2709060A1 (en) 2014-03-19
US11676302B2 (en) 2023-06-13
US20150243036A1 (en) 2015-08-27
JP6690041B2 (ja) 2020-04-28
JP2019141620A (ja) 2019-08-29
US20190272650A1 (en) 2019-09-05
JP6808320B2 (ja) 2021-01-06
IN2015DN01984A (ja) 2015-08-14
US20230206494A1 (en) 2023-06-29
US20200334858A1 (en) 2020-10-22
US10699439B2 (en) 2020-06-30
US10223808B2 (en) 2019-03-05
US11948332B2 (en) 2024-04-02
EP2709060B1 (en) 2020-02-26
CN104685541A (zh) 2015-06-03
CN104685541B (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
JP6690041B2 (ja) 三次元物体上の注視点決定方法及び装置
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
US10448003B2 (en) System and method for triangulation-based depth and surface visualization
JP5467303B1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
US9292089B1 (en) Gestural object selection
US20180046874A1 (en) System and method for marker based tracking
JP2020034919A (ja) 構造化光を用いた視線追跡
JP6839656B2 (ja) 視標追跡システム
US8885177B2 (en) Medical wide field of view optical tracking system
EP3076892A1 (en) A medical optical tracking system
JP2014509535A (ja) 注視点マッピング方法および装置
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
JP2005256232A (ja) ３ｄデータ表示方法、装置、およびプログラム
Hua et al. A testbed for precise registration, natural occlusion and interaction in an augmented environment using a head-mounted projective display (HMPD)
JP2017153827A (ja) 合成画像提示システム
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
Liu et al. A portable projection mapping device for medical augmented reality in single-stage cranioplasty
TWI823740B (zh) 主動式互動導覽系統以及主動式互動導覽方法
JP2019066196A (ja) 傾き測定装置及び傾き測定方法
EP4322114A1 (en) Projective bisector mirror
US20240115325A1 (en) Camera tracking system for computer assisted surgery navigation
Combier et al. Towards an Augmented Reality Head Mounted Display System Providing Stereoscopic Wide Field of View for Indoor and Outdoor Environments with Interaction through the Gaze Direction
JP2024035533A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170724

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20171004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171005

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190403

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190403

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20190415

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190516

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190520

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190802

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20190813

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190827

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20190909

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200413

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20200909

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200916

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201012

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201109

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201209

R150 Certificate of patent or registration of utility model

Ref document number: 6808320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250