JP2005065716A

JP2005065716A - Gazing point detecting device and gazing point detecting method

Info

Publication number: JP2005065716A
Application number: JP2003208327A
Authority: JP
Inventors: Hiroyuki Shiomi; 弘幸塩見; Mitsuto Nagaya; 充人長屋
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-08-22
Filing date: 2003-08-22
Publication date: 2005-03-17
Anticipated expiration: 2023-08-22
Also published as: JP4406230B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a gazing point detecting device with which the work of an operator can be reduced when the absolute coordinates of the gazing point of visual observation of a landscape which changes continuously with the passage of time is detected, and the gazing point detecting method. <P>SOLUTION: The gazing point detecting device includes a point of intersection calculating means 71 to calculate the point of intersection of a straight line which connects the coordinates of a projective fixation position obtained by projecting a position of a visual point on a spherical screen disposed at the center and the coordinates of the gazing position and various flat surfaces, an orthographic projection value calculating means 72 to calculate in the various flat surfaces the value obtained by orthographically projecting a vector in a direction of the point of intersection calculated by the above point of intersection calculating means 71 from the visual point position on a vector in a direction of a line of sight incidence from the position of the visual point, a within effective field of view judging means 74 to judge whether or not the point of intersection where the orthographic projection value calculated by the orthographic projection value calculating means 72 becomes minimum is the point of intersection within the effective field of view, and a within a model range judging means 75a which is the means to judge whether or not it is the point of intersection to watch the inside of the range of an article. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、注視点検出方法とこれに使用する検出装置に関するものであり、特に、経時的に変化する景観を目視する場合に人間が注視する注視点を検出する方法と装置に関するものである。
【０００２】
【従来の技術】
従来、人間がどのように注視するかを知る方法として静止画像を被験者に注視させ２次元の注視データを得ることが行われている。
【０００３】
また、一方で、経時的に変化する景観をどのように注視するかを知る方法としては、注視した対象を知るうえで基準となる静止画像が消滅してしまうため、まず、被験者に眼球方向検出装置を着けさせて、ある経時的に変化する景観を写した映像を所定時間注視させ、経時的に変化する景観を写した映像に注視点データが入力されたビデオ映像を生成し、さらに、前記経時的に変化する景観を写した映像に注視点データが入力されたビデオ映像を再生するとともに、前記生成したビデオ映像における１フレームごとの映像に対応した画像をコンピュータのモニタ上に生成し、注視点検出装置の操作者が、各フレーム毎に注視点データが入力されたビデオ映像より注視点を認識し、コンピュータのモニタ上に表示されたフレームに対応した画像上に注視点の入力を行うとともに、注視した部材の平面の入力を行い、前記注視点の入力および注視した部材の平面の入力において入力されたデータを元に３次元の注視点データを算出し、基準となる３次元の座標系においてどのように注視するかを知ろうとすることが行われている。（例えば特許文献１参照）
【０００４】
【特許文献１】
特開平７−２０４１６３号
【０００５】
【特許文献２】
特開平１−２０５２７７号
また、基準となる３次元の座標系において、３次元モデルの範囲内における交点を算出する方法としては、上記特許文献２に示す如く、視点位置とスクリーン上の１つの画素位置とを結ぶ直線と３次元モデルの平面との交点を検出し、検出された交点が３次元モデルの範囲内における交点であるか否かを判定することにより算出することが行われている。
【０００６】
【発明が解決しようとする課題】
しかし、上記特許文献１に提案開示されている従来の方法において、３次元の注視点データを算出するためには、注視点検出装置の操作者が、前記生成した注視点データが入力されたビデオ映像より注視点を認識し、さらに、コンピュータのモニタ上の表示されたフレームに対応した画像上に注視点の入力を行うとともに、注視した部材の平面の入力を、ビデオ映像における１フレーム毎に繰り返し行わなければならない。また、３次元の注視点データを検出するには、注視点検出装置の操作者が、前記生成した注視点データが入力されたビデオ映像より注視点を認識し、さらに、コンピュータのモニタ上に表示されたフレームに対応した画像上に注視点の入力を行うとともに、注視した部材の平面の入力を、ビデオ映像における１フレーム毎に繰り返し行わなければならないため、膨大な時間を必要としていた。
【０００７】
また、上記特許文献２に提案開示されている従来の方法においては、後方に存在する３次元モデルの平面との交点も有効な交点として検出するため、特に経時的に変化する景観をどのように注視するかを知ろうとする場合、実際に注視することが不可能な３次元モデルの平面との交点を注視点として検出してしまうことが起きる。
【０００８】
そこで、本発明は、経時的に連続して変化する景観を目視した際の注視点の絶対座標を検出する際の時間を短縮するとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることができる注視点検出装置及び注視点検出方法を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明は、上記問題点を解決するために創作されたものであって、第１には、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段と、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段と、正射影値算出手段により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段と、有効視界内判定手段により注視可能な交点であると判定された交点の中で、正射影値判定手段により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段とを有することを特徴とする。
【００１０】
この第１の構成の注視点検出装置においては、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段と、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段と、正射影値算出手段により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段と、有効視界内判定手段により注視可能な交点であると判定された交点の中で、正射影値判定手段により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段とを有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、後方に存在する３次元モデルの平面との交点のように、実際に注視することが不可能な３次元モデルの平面との交点を注視点として検出してしまうことなく、注視可能な交点を注視点とすることが可能となる。さらに、正射影値算出手段において、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出することにより、有効視界内判定手段と、モデル範囲内判定手段における判定基準となる視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出することが可能となり、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【００１１】
また、第２には、上記第１の構成において、交点算出手段が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段と、円座標変換手段により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段と、平面座標変換手段により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段と、球面座標変換手段により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段とを有することを特徴とする。
【００１２】
この第２の構成の注視点検出装置においては、交点算出手段が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段と、円座標変換手段により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段と、平面座標変換手段により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段と、球面座標変換手段により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段とを有するため、眼球方向検出装置により眼球方向データを取得する際に用いられる光学レンズによる眼球方向データの曲率を描くゆがみとのずれをなくすことが可能となる。
【００１３】
また、第３には、上記第１又は第２の構成において、モデル範囲内判定手段が、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、昇順並べ替え手段において昇順に並び替えられた正射影値の順に、判定手段において判定を行うようになされていることを特徴とする。
【００１４】
この第３の構成の注視点検出装置においては、モデル範囲内判定手段が、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、昇順並べ替え手段において昇順に並び替えられた正射影値の順に、判定手段において判定を行うようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【００１５】
また、第４には、上記第１又は第２の構成において、モデル範囲内判定手段が、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段と、正射影値算出手段において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、最小正射影値判定手段により判定された最小正射影値において判定手段が物体の範囲内に存在する交点であるか否かを判定するようになされていることを特徴とする。
【００１６】
この第４の構成の注視点検出装置においては、モデル範囲内判定手段が、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段と、正射影値算出手段において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、最小正射影値判定手段により判定された最小正射影値において判定手段が物体の範囲内に存在する交点であるか否かを判定するようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【００１７】
また、第５には、上記第１又は第２又は第３又は第４のいずれかの構成において、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段を有することを特徴とする。
【００１８】
この第５の構成の注視点検出装置においては、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段を有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換する際に、注視点として検出しようとする範囲を容易に変更することが可能となる。
【００１９】
また、第６には、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも１つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うことを特徴とする注視点検出方法。
【００２０】
この第６の構成の注視点検出方法においては、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも１つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際に時間を要することになる所定の物体の範囲内にある交点であるか否かの判定を行う前に、算出した交点が注視可能な交点であるか否かの判定を行うとともに、交点に注視点としての有効性があるか否かの判定を行うことにより、所定の物体の範囲内にある交点であるか否かの判定を行う交点を減少させ、さらに、注視点としての有効性がある交点の中で、注視点となる可能性が高い交点である正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内にある交点であるか否かを判定することで、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【００２１】
【発明の実施の形態】
次に、本発明の実施例を図面を利用して説明する。
【００２２】
本発明に基づく第１実施例の注視点検出装置Ｗ１の構成は、図１に示すように、入力部１０と、出力部２０と、モニタ３０と、ＣＰＵ４０と、記憶媒体５０ａとを有している。
【００２３】
上記入力部１０は、必要なデータを入力する部材である。
【００２４】
上記出力部２０は、算出されたデータを出力する部材である。
【００２５】
上記モニタ３０は、必要なデータを入力する際の入力要求を表示するとともに、算出されたデータを表示する部材である。
【００２６】
上記ＣＰＵ４０は、後述する注視点を算出するための演算を行うためのものである。
【００２７】
上記記憶媒体５０ａは、図１に示すように、座標を変換する手段である座標変換手段６０と、注視点を検出する手段である注視点検出手段７０ａとを有している。
【００２８】
上記座標変換手段６０は、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段６１と、前記円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段６３と、前記平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段６５と、前記球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段６７と、前記絶対座標変換手段６７が、球面座標におけるデータを絶対座標におけるデータに変換する際に用いる座標変換行列を算出する手段である座標変換行列算出手段６９とを有している。
【００２９】
上記注視点検出手段７０ａは、経時的に変化する景観を注視した際に得られた注視点のデータを元に、視点位置を中心に設けられた球面スクリーンに投影し、得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段７１と、視点位置から前記交点算出手段７１が算出した交点方向へのベクトルを、視点位置から視線入射方向へのベクトルに正射影した値を各種平面において算出する手段である正射影値算出手段７２と、前記交点算出手段７１が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段７３と、前記正射影値算出手段７２により算出された正射影値の値が正の値を示すか否かを判定することにより、前記交点算出手段７１が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、有効な視界内における交点であるか否かを判定する手段である有効視界内判定手段７４と、物体の範囲内を注視した交点であるか否かを判定する手段であるモデル範囲内判定手段７５ａとを有している。
【００３０】
また、上記モデル範囲内判定手段７５ａは、前記正射影値算出手段７２において算出された視点位置から前記交点算出手段７１が算出した交点方向へのベクトルを、視点位置から視線入射方向へのベクトルに正射影した値を基準に正射影値、平面番号、前記交点のＸ、Ｙ、Ｚ座標を小さい順に並べ替える手段である昇順並べ替え手段７６と、前記交点算出手段７１が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段７９を有しており、前記昇順並べ替え手段７６において昇順に並べ替えられた正射影値の順に、前記判定手段７９において判定を行うようになされている。
【００３１】
次に、注視点検出装置Ｗ１の動作を図２から図２２を用いて説明する。
【００３２】
まず、作業の選択（Ｓ１１０）を行う。つまり、上記モニタ３０上に表示されたメッセージに従い注視点の検出を行う際の注視対象となる物体をどの物体にするかの選択を行うか、あるいは、注視点検出装置Ｗ１を用いた注視点の検出作業を終了するかの選択を行う。
【００３３】
次に、終了か（Ｓ１１１）の判定が行われる。すなわち、上記作業の選択（Ｓ１１０）において、注視点検出装置Ｗ１を用いた注視点の検出作業の終了が選択されたか、そうでないかの判定が行われる。
【００３４】
上記作業の選択（Ｓ１１０）において、注視点検出装置Ｗ１を用いた注視点の検出作業の終了が選択された場合、注視点検出装置Ｗ１を用いた注視点の検出作業が終了される。
【００３５】
一方、上記作業の選択（Ｓ１１０）において、注視点検出装置Ｗ１を用いた注視点の検出作業の終了が選択されなかった場合、座標データの読み込み（Ｓ１１２）が行われる。つまり、注視対象となる物体の範囲を設定するために、絶対座標における物体の主要な各点の３次元データの読み込みが行われる。具体的には、図５において、Ｐで示した橋梁の主要な構造物の節点の絶対座標における３次元データの読み込みが行われる。なお、図５においてＰで示した節点は、単なる例示であり、実際にはもっと多くの点の座標が読み込まれる。また、上記絶対座標は、便宜上図５に示すように、橋梁中央の下方の位置を原点として定めてある。
【００３６】
次に、座標データの最大値及び最小値の算出（Ｓ１１３）が行われる。すなわち、上記座標データの読み込み（Ｓ１１２）において読み込まれた絶対座標における物体の３次元データを元に、注視対象となる物体の最大値及び最小値の算出が行われる。
【００３７】
次に、平面の方程式に関するデータの読み込み（Ｓ１１４）が行われる。つまり、予め注視対象となる物体の面に対し仮想的な平面を設け、該仮想的な平面の方程式を算出し、該仮想的な平面の方程式に関するデータを上記記憶媒体５０ａに記憶させておいた平面の方程式に関するデータの読み込みが行われる。具体的には、まず、平面の総数に関するデータが読み込まれ、次に、図６に示すように、主塔の平面である平面Ｆ１、Ｆ２、ケーブルの平面である平面Ｆ３、Ｆ４、路面の平面であるＦ５、Ｆ６のそれぞれの平面に対し平面番号が付けられ、それぞれの平面の方程式に関するデータの読み込みが行われる。
【００３８】
次に、被験者に関するデータの読み込み（Ｓ１１５）が行われる。すなわち、注視点検出装置Ｗ１において、各被験者の注視点データを管理するため、各被験者ごとに得られた注視点データの数の読み込みが行われる。
【００３９】
次に、諸条件の設定（Ｓ１１６）を行う。すなわち、まず、上記モニタ３０上に上記作業の選択（Ｓ１１０）に戻るか、そうでないかの選択を行うようメッセージが表示されるため、上記作業の選択（Ｓ１１０）に戻るか、そうでないかの選択をし、次に、上記モニタ３０上に注視点の検出に必要なデータである０地点におけるフレームナンバー、検出開始時の先頭フレームナンバー、被験者番号、内訳項目番号、ファイル名、注視点の検出範囲のＸ，Ｙ，Ｚ座標における最大値及び最小値の入力を行う入力画面が表示されるため、上記入力部１０により、注視点の検出に必要なデータである０地点におけるフレームナンバー、検出開始時の先頭フレームナンバー、被験者番号、内訳項目番号、ファイル名、注視点の検出範囲のＸ，Ｙ，Ｚ座標における最大値及び最小値の入力を行う。ここで、上記フレームナンバーとは、眼球方向検出装置により検出された眼球方向データのデータ番号のことである。また、上記０地点におけるフレームナンバーは、検出した注視点データに互換性を持たせるために便宜上設けた走行位置における任意の点である。さらに、上記検出開始時の先頭フレームナンバーは、注視点検出を開始する際の眼球方向データのデータ番号のことであり、上記被験者番号は、各被験者に対し番号を付けたものである。また、上記内訳項目番号は、上記被験者番号の被験者における注視点データが膨大になったときに分割保存し、管理できるように設けたものであり、上記ファイル名は、上記眼球方向検出装置により検出された眼球方向データのファイル名のことである。さらに、上記注視点の検出範囲のＸ，Ｙ，Ｚ座標における最大値及び最小値は、後述の検出範囲において、注視点の有効性を判定（Ｓ１２８）において、交点が注視点として検出する範囲に存在するか否かを判定する際のＸ，Ｙ，Ｚ座標の範囲における最大値及び最小値のことである。ここで、上記注視点の検出範囲のＸ，Ｙ，Ｚ座標における最大値及び最小値の入力が行われない場合、上記座標データの最大値及び最小値の算出（Ｓ１１３）において算出された注視対象となる物体の最大値及び最小値の値が、上記注視点の検出範囲のＸ，Ｙ，Ｚ座標における最大値及び最小値の値として用いられることとなる。なお、上記諸条件の設定（Ｓ１１６）では、上記被験者に関するデータの読み込み（Ｓ１１５）において読み込まれた被験者番号、内訳項目番号と同一の被験者番号、内訳項目番号が入力された場合、入力されないよう処理が行われる。
【００４０】
次に、作業の選択に戻るか（Ｓ１１７）の判定が行われる。つまり、上記諸条件の設定（Ｓ１１６）において、上記作業の選択（Ｓ１１０）に戻る選択が行われたか、そうでない選択が行われたかの判定が行われる。
【００４１】
上記諸条件の設定（Ｓ１１６）において、上記作業の選択（Ｓ１１０）に戻る選択が行われた場合、上記作業の選択（Ｓ１１０）に戻る処理が行われる。
【００４２】
一方、上記諸条件の設定（Ｓ１１６）において、上記作業の選択（Ｓ１１０）に戻る選択が行われなかった場合、データの終端まで達したか（Ｓ１１８）の判定が行われる。つまり、後述の注視点データの読み込み（Ｓ１２１）の注視点データの読み込みにおいて、データの終端まで達したという条件を満たすまで、データの終端まで達したか（Ｓ１１８）からｅｎｄｌｏｏｐ（Ｓ１３７）までの処理が繰り返される。
【００４３】
上記データの終端まで達したか（Ｓ１１８）の判定において、データが、データの終端まで達した場合、注視点データの保存（Ｓ１３８）が行われる。すなわち、上記注視点データの保存（Ｓ１３８）において記憶されていたデータが上記注視点検出装置Ｗ１における記憶媒体５０ａに記憶されることとなる。
【００４４】
次に、被験者に関するデータの書き換え（Ｓ１３９）が行われる。すなわち、注視点検出装置Ｗ１において、各被験者の注視点データを管理するため、得られた注視点データの数の書き換えが行われる。
【００４５】
一方、上記データの終端まで達したか（Ｓ１１８）の判定において、データが、データの終端まで達していない場合、視点位置及び視線入射方向の設定（Ｓ１１９）が行われる。つまり、絶対座標における視点位置のＸ、Ｙ、Ｚ座標及び視線入射方向のＸ、Ｙ、Ｚ座標の設定が行われる。ここで、上記視線入射方向は、運転者の基本姿勢において視線が向いている方向のことであり、具体的には、進行方向に対し１００ｍ先を基本姿勢において見ているものとして設定が行われる。なお、上記進行方法とは、図５、図６、図１１、図１２においてＸ軸の方向である。また、本実施例においては、Ｘ軸方向を進行方向としているが、Ｙ軸方向、Ｚ軸方向であっても良く、されに、進行方向は、軸方向に直線的に設定されなくてはならないものではなく曲線を描いていても良い。
【００４６】
次に、座標変換行列の算出（Ｓ１２０）が行われる。すなわち、上記座標変換行列算出手段６９により、後述する球面座標から絶対座標への変換（Ｓ１２６）において、球面座標から絶対座標へ変換する際に用いる座標変換行列の算出が行われる。
【００４７】
次に、注視点データの読み込み（Ｓ１２１）が行われる。すなわち、上記眼球方向検出装置により検出された眼球方向データの読み込みが行われる。つまり、具体的には、横方向の眼球回転角度、縦方向の眼球回転角度、横方向の瞳孔径、縦方向の瞳孔径、眼球の移動速度、注視時間、瞬きの有無等のデータが読み込まれる。
【００４８】
次に、瞬きしたか（Ｓ１２２）の判定が行われる。すなわち、上記注視点データの読み込み（Ｓ１２１）において読み込まれた瞬きの有無のデータが瞬きしたことを表すデータであるか否かの判定が行われる。
【００４９】
上記瞬きしたか（Ｓ１２２）の判定において、瞬きの有無のデータが、瞬きしていたことを示す場合、次に、データの終端まで達したか（Ｓ１１８）の判定が行われる。
【００５０】
上記瞬きしたか（Ｓ１２２）の判定において、瞬きの有無のデータが、瞬きしていないことを示す場合、次に、眼球方向データから円座標への変換（Ｓ１２３）が行われる。つまり、人間の視野角度が６０度であるため、上記座標変換手段６０における円座標変換手段６１により、上記注視点データの読み込み（Ｓ１２１）において読み込まれた眼球方向データが図８に示すように視野角度の範囲Ｆが６０度の範囲で表された円座標におけるデータに変換される。具体的には、図７に示すように、視線入射方向Ｅに対し、横方向の眼球回転角度αが５度、縦方向の眼球回転角度βが７度として上記眼球方向検出装置により検出され、再生したビデオ映像が表示されるスクリーンＳにおいて、点Ｖを注視しているとすると、まず、スクリーンＳ上において、横方向の座標が８．７４、縦方向の座標が１２．２７と算出される。次に、スクリーンＳ上の点が、スクリーンＳの大きさと円座標の大きさから比を用い、図８に示すような円座標の点Ｑに変換され、横方向の座標が４．５４度、縦方向の座標が６．３８度として算出される。なお、図７におけるスクリーンの縦方向の大きさＭと、スクリーンの横方向の大きさＮは、被験者の眼球の位置Ｏからスクリーンまでの距離Ｌの長さにおいて、視野角度６０度となるよう設定されている。
【００５１】
次に、円座標から平面座標への変換（Ｓ１２４）が行われる。つまり、後述の平面座標から球面座標への変換（Ｓ１２５）において、球面座標に変換する際に、容易に変換できるように円座標から平面座標への変換が行われる。前記円座標から平面座標への変換は、まず、上記円座標におけるデータへと変換されたデータと上記円座標の原点との間の距離が算出され、次に、上記円座標におけるデータへと変換されたデータと上記円座標の原点との間の正接を上記円座標のデータへと変換されたデータにおいて、横方向と縦方向の座標のうち大となる方の座標を基準とした算出が行われる。さらに、上記眼球方向データから円座標への変換（Ｓ１２３）において、円座標におけるデータへと変換されたデータを上記座標変換手段６０における平面座標変換手段６３により、図９に示すように、Ｘ軸、Ｙ軸方向共に角度の座標で表された平面座標におけるデータへと変換が行われる。
【００５２】
具体的には、まず、図８における原点Ｇから上記円座標の点Ｑまでの距離が、横方向の座標４．５４度と、縦方向の座標６．３８度より、７．８３と算出され、次に、上記円座標のデータへと変換されたデータにおいて、横方向と縦方向の座標のうち大となる方の座標が、縦方向と検出され、さらに、前記縦方向の座標を基準に上記円座標におけるデータへと変換されたデータと上記円座標の原点との間の正接が、０．７１２と算出され、算出した前記距離に前記正接と補正係数を掛け、横方向の座標が、２．８９度に変換され、縦方向の座標が、上記円座標の点Ｑまでの距離である７．８３に補正係数を掛け４．０６度に変換され、図９に示す点Ｒとなる。
【００５３】
ここで、前記において、横方向の座標が、２．８９度、縦方向の座標が４．０６度として算出されたことについて説明すると、後述の平面座標から球面座標への変換（Ｓ１２５）において、球面へ変換された際、横方向の座標と、縦方向の座標の大きい方の座標における大きい方の座標は、図１０における球上の点Ｂから座標までの距離Ｔで表された円Ｃ上に存在することになるため、前記円座標から平面座標への変換（Ｓ１２４）において算出された大きい方の座標である縦方向の座標は、円座標と平面座標との比である補正係数を掛けることにより算出が行われている。
【００５４】
また、横方向の座標と縦方向の座標のうち小さい方の座標は、図８における原点Ｇから上記円座標の点Ｑまでの角度と、図１０における球上の点Ｂから座標までの角度が一致するよう前記正接と補正係数を掛けることにより算出が行われている。
【００５５】
次に、平面座標から球面座標への変換（Ｓ１２５）が行われる。つまり、上記円座標から平面座標への変換（Ｓ１２４）において、平面座標におけるデータへと変換されたデータが、上記座標変換手段６０における球面座標変換手段６５により、球面座標におけるデータへと変換される。具体的には、図１０の点Ａに示すように、Ｘ軸方向の座標が−０．９９、Ｙ軸方向の座標が−０．０５、Ｚ軸方向の座標が−０．０７となる座標へと変換される。ここで、上記球面座標への変換の仕方について説明すると、円座標から平面座標への変換（Ｓ１２４）において、変換された横方向の座標と、縦方向の座標を角度とし、三角関数を用いて算出し、さらに、球の半径を掛け変換が行われている。なお、前記平面座標から球面座標への変換（Ｓ１２５）において、球面座標への変換が行われる際、後述の平面と直線の交点を算出（Ｓ１２７）において直線の方程式を算出する際、容易に行えるよう負の数を掛け変換が行われている。また、前記平面座標から球面座標への変換（Ｓ１２５）において、球面座標への変換が行われる際の球の半径は１として行われている。
【００５６】
次に、球面座標から絶対座標への変換（Ｓ１２６）が行われる。つまり、上記平面座標から球面座標への変換（Ｓ１２５）において、球面座標におけるデータへと変換されたデータが、上記座標変換手段６０における絶対座標変換手段６７により、絶対座標におけるデータへと変換される。ここで、前記絶対座標への変換は、上記座標変換行列の算出（Ｓ１２０）において算出された座標変換行列を用いてが行われる。
【００５７】
次に、平面と直線の交点を算出（Ｓ１２７）が行われる。つまり、上記注視点検出手段７０ａにおける交点算出手段７１により、上記球面座標から絶対座標への変換（Ｓ１２６）において、絶対座標におけるデータへと変換されたデータと視点位置との２点を結ぶ直線と、物体に仮想的に設けた各種平面との交点の算出が行われる。具体的には、図１１に示すように、図６における主塔の平面Ｆ１との交点はＰ１として算出され、図６における主塔の平面Ｆ２との交点はＰ２として算出され、図６におけるケーブルの平面Ｆ３との交点はＰ３として算出され、図６におけるケーブルの平面Ｆ４との交点はＰ４として算出され、図６における路面の平面Ｆ５との交点はＰ５として算出され、図６における主塔の平面Ｆ６との交点はＰ６として算出される。ここで、上記平面と直線の交点を算出（Ｓ１２７）において、算出された各種平面との交点は仮に算出された注視点の候補ということになる。なお、前記平面と直線の交点を算出（Ｓ１２７）において、絶対座標におけるデータへと変換されたデータと視点位置との２点を結ぶ直線と、物体に仮想的に設けた平面が、平行となり交点を算出できない場合、該平面に対し注視点としての有効性がないことを示すフラグの設定が行われる。
【００５８】
次に、検出範囲において、注視点の有効性の判定（Ｓ１２８）が行われる。すなわち、上記検出範囲内判定手段７３により、上記平面と直線の交点を算出（Ｓ１２７）において算出された各種平面との交点が、上記諸条件の設定（Ｓ１１６）において設定された注視点の検出範囲のＸ，Ｙ，Ｚ座標における最大値及び最小値の範囲内に入っているか否かの判定が行われ、有効性のない交点は、有効性がないことを示すフラグの設定が行われる。つまり、具体的には、図１１に示すように視点位置ＰＶが橋梁中央付近に存在し、上記球面座標から絶対座標への変換（Ｓ１２６）において算出された絶対座標におけるデータと、視点位置ＰＶとを結ぶ直線が、視線入射方向に対しやや右側を通る直線であった場合について説明すると、図１１における交点Ｐ１、Ｐ３、Ｐ５、Ｐ６の様に、上記諸条件の設定（Ｓ１１６）において設定された注視点の検出範囲のＸ，Ｙ，Ｚ座標における最大値及び最小値の範囲を超えてしまっている交点は、注視点としての有効性がないと判定される。
【００５９】
次に、注視位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値の算出（Ｓ１２９）が行われる。すなわち、上記正射影値算出手段７２により、視点位置から上記平面と直線の交点を算出（Ｓ１２７）において算出された各種平面における交点方向へのベクトルを視点位置から上記視点位置及び視線入射方向の設定（Ｓ１１９）において設定した視線入射方向へのベクトルに正射影した値の算出が行われる。ここで、上記検出範囲において、注視点の有効性の判定（Ｓ１２８）において、注視点としての有効性がないとして判定された交点は、視点位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値が０として設定されることとなる。具体的には、注視点としての有効性がないとして判定された図１１における交点Ｐ３、Ｐ４、Ｐ５は、正射影値が０として設定されることとなる。
【００６０】
次に、有効視界内において、注視点の有効性を判定（Ｓ１３０）が行われる。つまり、上記有効視界内判定手段７４により、上記視点位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値の算出（Ｓ１２９）において算出及び設定された正射影値が、正の値であるか否かの判定が行われ、有効性のない交点は、有効性がないことを示すフラグの設定が行われる。つまり、具体的には、図１１に示すように視点位置ＰＶが橋梁中央付近に存在し、上記球面座標から絶対座標への変換（Ｓ１２６）において算出された絶対座標におけるデータと、視点位置ＰＶとを結ぶ直線が、視線入射方向に対しやや右側を通る直線であった場合について説明すると、図１１における交点Ｐ１、Ｐ６の様に、視線入射方向に対して視点位置ＰＶより後方にある交点は、上記眼球方向検出装置において検出された眼球方向データは実験の性質上走行方向に対して視点位置より後ろ側に存在する物体を注視することは不可能であるため、走行方向に対して視点位置より後ろ側に存在する注視点は、注視点としての有効性がないと判定される。
【００６１】
次に、平面番号、交点のＸ，Ｙ，Ｚ座標を正射影値の値を基準にして昇順に並び替える（Ｓ１３１）が行われる。つまり、上記モデル範囲内判定手段７５ａにおける昇順並べ替え手段７６により、上記視点位置から交点方向へのベクトルを視点位置から視線入射方向へのベクトルに正射影した値の算出（Ｓ１２９）において算出及び設定された正射影値を基準として、上記平面の方程式に関するデータの読み込み（Ｓ１１４）における読み込みの際に、各種平面に付けられた平面番号と、上記平面と直線の交点を算出（Ｓ１２７）において算出された交点のＸ，Ｙ，Ｚ座標を値の小さい順に並べ替えが行われるとともに、判定対象番号における平面番号の設定が行われる。なお、上記判定対象番号とは後述の判定対象番号＝１，平面の総数（Ｓ１３２）からｅｎｄｌｏｏｐ（Ｓ１３７）において判定を行う順番を示す番号のことである。
【００６２】
次に、判定対象番号＝１，平面の総数（Ｓ１３２）が行われる。つまり、後述のＳ１３３からＳ１３５までの処理が、上記平面番号、交点のＸ，Ｙ，Ｚ座標を正射影値の値を基準にして昇順に並び替える（Ｓ１３１）において設定された判定対象番号の１番目から平面の総数番目まで繰り返される。
【００６３】
次に、注視点としての有効性があるか（Ｓ１３３）の判定が行われる。つまり、上記判定対象番号＝１，平面の総数（Ｓ１３２）において設定された判定対象番号における平面番号の交点が、上記検出範囲において、注視点の有効性の判定（Ｓ１２８）および上記有効視界内において、注視点の有効性を判定（Ｓ１３０）において設定されたフラグに、交点としての有効性を有しているか否かの判定が行われる。
【００６４】
上記注視点としての有効性があるか（Ｓ１３３）の判定において、上記判定対象番号＝１，平面の総数（Ｓ１３２）において設定された判定対象番号における平面番号の交点に、注視点としての有効性がない場合、ｅｎｄｌｏｏｐ（Ｓ１３７）が行われ、上記判定対象番号＝１，平面の総数（Ｓ１３２）における判定対象番号が、平面の総数番目に達するまで上記判定対象番号＝１，平面の総数（Ｓ１３２）に処理が戻されることとなる。
【００６５】
一方、上記注視点としての有効性があるか（Ｓ１３３）の判定において、上記判定対象番号＝１，平面の総数（Ｓ１３２）において設定された判定対象番号における平面番号の交点に、注視点としての有効性がある場合、モデルの範囲内において注視点の有効性を判定（Ｓ１３４）が行われる。つまり、上記モデル範囲内判定手段７５ａにおける判定手段７９により、上記判定対象番号＝１，平面の総数（Ｓ１３２）において設定された判定対象番号における平面番号の交点について有効性の判定が行われる。つまり、具体的には、図１２における主塔の平面との交点Ｐ２が、上記判定対象番号＝１，平面の総数（Ｓ１３２）において設定された判定対象番号における平面番号の交点であった場合、図１３に示すように、主塔左側の範囲Ｔ１０と、主塔右側の範囲Ｔ２０と、主塔上部の範囲Ｔ１４、Ｔ１６と、主塔中部の範囲Ｔ１２、Ｔ１８のそれぞれの範囲について交点に注視点としての有効性があるか否かの判定が行われる。ここで、上記主塔左側の範囲Ｔ１０において行われる交点に注視点としての有効性があるか否かの判定について図１４から図１７の図面を用いて説明すると、まず、図１４に示すように、主塔左側の範囲Ｔ１０の左側の境界線Ｌ１０より右側にある範囲Ｅ１０の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図１５に示すように、主塔左側の範囲Ｔ１０の右側の境界線Ｌ１１より左側にある範囲Ｅ１１の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図１６に示すように、主塔左側の範囲Ｔ１０の上側の境界線Ｌ１２より左下側にある範囲Ｅ１２の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図１７に示すように、主塔左側の範囲Ｔ１０の下側の境界線Ｌ１３より上側にある範囲Ｅ１３の範囲内に、上記交点が存在するか否かの判定が行われる。そして、上記主塔左側の範囲Ｔ１０における交点に注視点としての有効性が有るか否かの判定において、上記交点が範囲内に存在しないと判定された場合、上記主塔左側の範囲Ｔ１０における交点に注視点としての有効性が有るか否かの判定同様、主塔右側の範囲Ｔ２０、主塔上部の範囲Ｔ１４、Ｔ１６、主塔中部の範囲Ｔ１２、Ｔ１８といった順に交点に注視点としての有効性が有るか否かの判定が行われる。そして、上記主塔左側の範囲Ｔ１０、主塔右側の範囲Ｔ２０、主塔上部の範囲Ｔ１４、Ｔ１６、主塔中部の範囲Ｔ１２、Ｔ１８における交点に注視点としての有効性が有るか否かの判定において、いずれかの範囲に上記交点が存在する場合、主塔の平面との交点に注視点が存在することとなる。一方、上記交点が上記主塔左側の範囲Ｔ１０、主塔右側の範囲Ｔ２０、主塔上部の範囲Ｔ１４、Ｔ１６、主塔中部の範囲Ｔ１２、Ｔ１８のいずれの範囲にも存在しない場合、主塔の平面との交点に、注視点としての有効性がないとして判定される。つまり、具体的に、交点に注視点としての有効性が有ると判定される場合について説明すると、図１２のように、上記主塔右側の範囲に交点が算出されている場合、上記主塔左側の範囲Ｔ１０、主塔右側の範囲Ｔ２０の順に判定が行われ、上記主塔右側の範囲Ｔ２０において、交点に注視点としての有効性が有るか否かの判定において、上記交点が範囲内に存在すると判定され、図１２における主塔の平面との交点Ｐ２に注視点が存在することとなる。なお、上記モデルの範囲内において注視点の有効性を判定（Ｓ１３４）においては、処理速度などを考慮し、主塔左側の範囲Ｔ１０、主塔右側の範囲Ｔ２０、主塔上部の範囲Ｔ１４、Ｔ１６、主塔中部の範囲Ｔ１２、Ｔ１８といった順に交点に注視点としての有効性が有るか否かの判定を行い、さらに、主塔左側の境界線Ｌ１０より右側にある範囲Ｅ１０の範囲内、右側の境界線Ｌ１１より左側にある範囲Ｅ１１の範囲内、上側の境界線Ｌ１２より左下側にある範囲Ｅ１２の範囲内、下側の境界線Ｌ１３より上側にある範囲Ｅ１３の範囲内の順に上記交点が存在するか否かの判定が行われているが、上記判定の順序は、他の順であっても良い。
【００６６】
次に、有効性のある注視点が検出されたか（Ｓ１３５）の判定が行われる。すなわち、上記モデルの範囲内において注視点の有効性を判定（Ｓ１３４）において、有効性のある注視点が検出されたかの判定が行われる。
【００６７】
上記有効性のある注視点が検出されたか（Ｓ１３５）の判定において、有効性のある注視点が検出されなかった場合、ｅｎｄｌｏｏｐ（Ｓ１３７）が行われ、上記判定対象番号＝１，平面の総数（Ｓ１３２）における判定対象番号が、平面の総数番目に達するまで上記判定対象番号＝１，平面の総数（Ｓ１３２）に処理が戻されることとなる。
【００６８】
一方、上記有効性のある注視点が検出されたか（Ｓ１３５）の判定において、有効性のある注視点が検出された場合、注視点データの記憶（Ｓ１３６）が行われる。つまり、算出された注視点データのＸ座標、Ｙ座標、Ｚ座標、視点位置のＸ座標、Ｙ座標、Ｚ座標、注視点の平面に関するデータが記憶されることとなる。
【００６９】
そして、上記注視点データの記憶（Ｓ１３６）が行われた場合、或いは、上記ｅｎｄｌｏｏｐ（Ｓ１３７）において、上記判定対象番号＝１，平面の総数（Ｓ１３２）における判定対象番号が、平面の総数番目に達した場合、データの終端まで達したか（Ｓ１１８）の判定が行われることとなる。
【００７０】
ここで、図１２に示すように交点Ｐ１、Ｐ３、Ｐ５、Ｐ６に注視点としての有効性がなく、さらに、図１２における主塔の平面との交点Ｐ２に注視点としての有効性がなかった場合について説明すると、まず、上記各種平面における交点の中で、注視点として可能性があるケーブルの平面との交点Ｐ４に関して上記判定対象番号＝１，平面の総数（Ｓ１３２）および上記注視点としての有効性があるか（Ｓ１３３）が行われることとなる。そして、上記モデルの範囲内において注視点の有効性を判定（Ｓ１３４）においては、図１８に示すように、ケーブル範囲Ｃ１０と、ケーブル範囲Ｃ２０と、ケーブル範囲Ｃ３０と、ケーブル範囲Ｃ４０のそれぞれの範囲について交点に注視点としての有効性が有るか否かの判定が行われる。ここで、上記ケーブル範囲Ｃ１０において行われる交点に注視点としての有効性が有るか否かの判定について図１９から図２２の図面を用いて説明すると、まず、図１９に示すように、ケーブル範囲Ｃ１０の右側の境界線Ｌ２０より左側にある範囲Ｅ２０の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図２０に示すように、ケーブル範囲Ｃ１０の右下側の境界線Ｌ２１より左上側にある範囲Ｅ２１の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図２１に示すように、ケーブル範囲Ｃ１０の下側の境界線Ｌ２２より上側にある範囲Ｅ２２の範囲内に、上記交点が存在するか否かの判定が行われ、次に、図２２に示すように、ケーブル範囲Ｃ１０の左上側の境界線Ｌ２３より右下側にある範囲Ｅ２３の範囲内に、上記交点が存在するか否かの判定が行われる。そして、上記ケーブル範囲Ｃ１０における交点に注視点としての有効性が有るか否かの判定において、上記交点が範囲内に存在しないと判定された場合、上記ケーブル範囲Ｃ１０における交点に注視点としての有効性が有るか否かの判定同様、ケーブル範囲Ｃ２０、ケーブル範囲Ｃ３０、ケーブル範囲Ｃ４０といった順に交点に注視点としての有効性が有るか否かの判定が行われる。そして、上記ケーブル範囲Ｃ１０、ケーブル範囲Ｃ２０、ケーブル範囲Ｃ３０、ケーブル範囲Ｃ４０における交点に注視点としての有効性が有るか否かの判定において、いずれかの範囲に上記交点が存在する場合、ケーブルの平面との交点に注視点が存在することとなる。一方、上記交点が上記ケーブル範囲Ｃ１０、ケーブル範囲Ｃ２０、ケーブル範囲Ｃ３０、ケーブル範囲Ｃ４０のいずれの範囲にも存在しない場合、ケーブルの平面との交点は、注視点としての有効性がないとして判定される。なお、モデルの範囲内において注視点の有効性を判定（Ｓ１３４）においては、処理速度などを考慮し、ケーブル範囲Ｃ１０、ケーブル範囲Ｃ２０、ケーブル範囲Ｃ３０、ケーブル範囲Ｃ４０といった順に注視点の有効性の判定を行い、さらに、ケーブル範囲Ｃ１０の注視点の有効性の判定においては、右側の境界線Ｌ２０より左側にある範囲Ｅ２０の範囲内、右下側の境界線Ｌ２１より左上側にある範囲Ｅ２１の範囲内、下側の境界線Ｌ２２より上側にある範囲Ｅ２２の範囲内、左上側の境界線Ｌ２３より右下側にある範囲Ｅ２３の範囲内の順に上記交点が存在するか否かの判定が行われているが、上記判定の順序は、他の順であっても良い。
【００７１】
なお、上記第１実施例においては、注視対象となる物体を橋梁部材として説明したが、注視対象となる物体は他のどのような物体であっても良い。
本発明に基づく第２実施例の注視点検出装置Ｗ２の構成は、図２３に示すように、入力部１０と、出力部２０と、モニタ３０と、ＣＰＵ４０と、記憶媒体５０ｂとを有している。
【００７２】
上記入力部１０、上記出力部２０、上記モニタ３０、上記ＣＰＵ４０は、上記第１実施例と同一であるため、説明を省略する。
【００７３】
上記記憶媒体５０ｂは、図２３に示すように、座標を変換する手段である座標変換手段６０と、注視点を検出する手段である注視点検出手段７０ｂとを有している。
【００７４】
上記座標変換手段６０の構成は、上記第１実施例の構成と同一であるため、説明を省略する。
【００７５】
上記注視点検出手段７０ｂは、経時的に変化する景観を注視した際に得られた注視点のデータを元に、視点位置を中心に設けられた球面スクリーンに投影し、得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段７１と、視点位置から前記交点算出手段７１が算出した交点方向へのベクトルを、視点位置から視線入射方向へのベクトルに正射影した値を各種平面において算出する手段である正射影値算出手段７２と、前記交点算出手段７１が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段７３と、前記正射影値算出手段７２により算出された正射影値の値が正の値を示すか否かを判定することにより、前記交点算出手段７１が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、有効な視界内における交点であるか否かを判定する手段である有効視界内判定手段７４と、物体の範囲内を注視した交点であるか否かを判定する手段であるモデル範囲内判定手段７５ｂとを有している。
【００７６】
また、上記モデル範囲内判定手段７５ｂは、後述の最小正射影値判定手段７８において初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段７７と、前記正射影値算出手段７２において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段７８と、前記交点算出手段７１が算出した投影注視位置の座標と視点位置の座標とを結ぶ直線と予め所定の物体に仮想的に設けた各種平面との交点が、物体の範囲内に存在する交点で有るか否かを判定する手段である判定手段７９を有しており、前記最小正射影値判定手段７８により設定された最小正射影値において前記判定手段７９が物体の範囲内に存在する交点であるか否かを判定するようになされている。
【００７７】
次に、注視点検出装置Ｗ２の動作を図２４から図２６を用いて説明する。
【００７８】
第２実施例における作業の選択（Ｓ２１０）から有効視界内において、注視点の有効性を判定（Ｓ２３０）までの動作については、上記第１実施例における作業の選択（Ｓ１１０）から有効視界内において、注視点の有効性を判定（Ｓ１３０）までの動作と同一であるため、説明は省略する。
【００７９】
また、第２実施例における注視点データの保存（Ｓ２３７）から被験者に関するデータの書き換え（Ｓ２３８）の動作においても上記第１実施例における注視点データの保存（Ｓ１３８）から被験者に関するデータの書き換え（Ｓ１３９）の動作と同一であるため、説明は省略する。
【００８０】
上記作業の選択（Ｓ２１０）から有効視界内において、注視点の有効性を判定（Ｓ２３０）までの動作に続き、初期最小正射影値の算出（Ｓ２３１）が行われる。つまり、上記初期最小正射影値設定手段７７により、注視点としての有効性のある交点における正射影値を初期最小正射影値として設定することが行われる。なお、この初期最小正射影値の算出（Ｓ２３１）の処理においては、各種平面との交点に注視点としての有効性がある交点が存在しない場合、すなわち、各種平面との交点が、検出範囲において、注視点の有効性を判定（Ｓ２２８）において交点が検出範囲を超え正射影値が０となり、さらに、有効視界内において、注視点の有効性を判定（Ｓ２３０）において、有効視界内において交点に注視点としての有効性がなく正射影値が負の値を示し、各種平面との交点に注視点としての有効性がある交点が存在しない場合、初期最小正射影値は０として設定されることとなる。
【００８１】
次に、初期最小正射影値が正の値か（Ｓ２３２）の判定が行われる。つまり、上記初期最小正射影値の算出（Ｓ２３１）において算出された初期最小正射影値の値が、正の値であるか否かの判定が行われる。
【００８２】
上記初期最小正射影値が正の値か（Ｓ２３２）の判定において、初期最小正射影値の値が、正の値でない場合、データの終端まで達したか（Ｓ２１８）の判定が行われることとなる。
【００８３】
一方、上記初期最小正射影値が正の値か（Ｓ２３２）の判定において、初期最小正射影値の値が、正の値である場合、正射影値の最小値の検出および、正射影値が最小となる平面の検出（Ｓ２３３）が行われる。つまり、上記最小正射影値判定手段７８により、正射影値の中から正射影値の値が最小となる正射影値で、かつ、注視点としての有効性のある交点を最小正射影値とする判定が行われるとともに、最小正射影値として判定された正射影値における平面の検出が行われる。なお、この正射影値の最小値の検出および、正射影値が最小となる平面の検出（Ｓ２３３）において、正射影値の中から正射影値の値が最小となる正射影値で、かつ、注視点としての有効性のある交点を最小正射影値として判定する際の、初期の判定基準となる最小正射影値は、上記初期最小正射影値の算出（Ｓ２３１）において算出された初期最小正射影値の値を用いて判定が行われる。
【００８４】
次に、モデルの範囲内において注視点の有効性を判定（Ｓ２３４）が行われる。この第２実施例におけるモデルの範囲内において注視点の有効性を判定（Ｓ２３４）の動作は、上記第１実施例におけるモデルの範囲内において注視点の有効性を判定（Ｓ１３４）と同じ動作であるため説明を省略する。
【００８５】
次に、有効性のある注視点が検出されたか（Ｓ２３５）の判定が行われる。すなわち、上記モデルの範囲内において注視点の有効性を判定（Ｓ２３４）において有効性のある注視点が検出されたか否かの判定が行われる。
【００８６】
上記有効性のある注視点が検出されたか（Ｓ２３５）の判定において、有効性のある注視点が検出されなかった場合、上記初期最小正射影値の算出（Ｓ２３１）に動作が移され、新たに交点に注視点としての有効性があり、かつ、正射影値の値が最小となる交点において、モデルの範囲内における注視点の有効性の判定が行われることとなる。
【００８７】
一方、上記有効性のある注視点が検出されたか（Ｓ２３５）の判定において、有効性のある注視点が検出された場合、注視点データの記憶（Ｓ２３６）が行われる。つまり、算出された注視点データのＸ座標、Ｙ座標、Ｚ座標、視点位置のＸ座標、Ｙ座標、Ｚ座標、注視点の平面に関するデータが記憶されることとなる。
【００８８】
次に、データの終端まで達したか（Ｓ２１８）の判定に動作が移され、次の視点位置における注視点の検出が行われることとなる。
【００８９】
なお、第１実施例および第２実施例における上記注視点検出装置Ｗ１、Ｗ２においては、正射影値算出手段７２により、視点位置から各種平面における交点への方向性を、視点位置を基点とする視線入射方向を基準として算出するとともに、視点位置から各種平面における交点への大きさを、視点位置を基点とする視線入射方向を基準として算出しているが、視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさが算出できる方法であれば、他のどのような方法であっても良い。また、第１実施例および第２実施例における上記注視点検出装置Ｗ１、Ｗ２においては、正射影値算出手段７２により、視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出しているが、視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさが算出できる方法であれば別々に算出しても良い。
【００９０】
以上のように、上記注視点検出装置Ｗ１、Ｗ２によれば、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段７１と、視点位置から交点算出手段７１により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段７２と、正射影値算出手段７２により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段７１により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段７４と、有効視界内判定手段７４により注視可能な交点であると判定された交点の中で、正射影値判定手段７２により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段７５ａ、７５ｂとを有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、後方に存在する３次元モデルの平面との交点のように、実際に注視することが不可能な３次元モデルの平面との交点を注視点として検出してしまうことなく、注視可能な交点を注視点とすることが可能となる。さらに、正射影値算出手段７２において、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出することにより、有効視界内判定手段７４と、モデル範囲内判定手段７５ａ、７５ｂにおける判定基準となる視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出することが可能となり、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【００９１】
また、上記注視点検出装置Ｗ１、Ｗ２によれば、交点算出手段７１が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段６１と、円座標変換手段６１により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段６３と、平面座標変換手段６３により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段６５と、球面座標変換手段６５により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段６７とを有するため、眼球方向検出装置により眼球方向データを取得する際に用いられる光学レンズによる眼球方向データの曲率を描くゆがみとのずれをなくすことが可能となる。
【００９２】
また、上記注視点検出装置Ｗ１によれば、モデル範囲内判定手段７５ａが、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段７６と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段７９とを有しており、昇順並べ替え手段７６において昇順に並び替えられた正射影値の順に、判定手段７９において判定を行うようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【００９３】
また、上記注視点検出装置Ｗ２によれば、モデル範囲内判定手段７５ｂが、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段７７と、正射影値算出手段７２において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段７８と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段７９とを有しており、最小正射影値判定手段７８により判定された最小正射影値において判定手段７９が物体の範囲内に存在する交点であるか否かを判定するようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【００９４】
また、上記注視点検出装置Ｗ１、Ｗ２によれば、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段７３を有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換する際に、注視点として検出しようとする範囲を容易に変更することが可能となる。
【００９５】
また、上記注視点検出装置Ｗ１、Ｗ２を用いた注視点検出方法によれば、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも１つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際に時間を要することになる所定の物体の範囲内にある交点であるか否かの判定を行う前に、算出した交点が注視可能な交点であるか否かの判定を行うとともに、交点に注視点としての有効性があるか否かの判定を行うことにより、所定の物体の範囲内にある交点であるか否かの判定を行う交点を減少させ、さらに、注視点としての有効性がある交点の中で、注視点となる可能性が高い交点である正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内にある交点であるか否かを判定することで、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【００９６】
【発明の効果】
本発明に基づく請求項１に記載の注視点検出装置によれば、経時的に変化する景観を注視する際の注視点を算出する注視点検出装置であって、経時的に変化する景観を注視した際に得られた注視点のデータを元に、スクリーンに投影して得られた投影注視位置の座標と、視点位置の座標とを結ぶ直線と、予め所定の物体に仮想的に設けた各種平面との交点を算出する手段である交点算出手段と、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出する手段である正射影値算出手段と、正射影値算出手段により算出された正射影値の値が正の値を示すか否かを判定することにより交点算出手段により算出された交点が注視可能な交点であるか否かを判定する手段である有効視界内判定手段と、有効視界内判定手段により注視可能な交点であると判定された交点の中で、正射影値判定手段により算出された正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定する手段であるモデル範囲内判定手段とを有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、後方に存在する３次元モデルの平面との交点のように、実際に注視することが不可能な３次元モデルの平面との交点を注視点として検出してしまうことなく、注視可能な交点を注視点とすることが可能となる。さらに、正射影値算出手段において、視点位置から交点算出手段により算出された各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出することにより、有効視界内判定手段と、モデル範囲内判定手段における判定基準となる視点位置から各種平面における交点への方向性と、視点位置から各種平面における交点への大きさを同時に算出することが可能となり、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【００９７】
また、特に、請求項２に記載の注視点検出装置によれば、交点算出手段が、眼球方向検出装置により得られた眼球方向のデータを円座標におけるデータに変換する手段である円座標変換手段と、円座標変換手段により変換した円座標におけるデータを平面座標におけるデータに変換する手段である平面座標変換手段と、平面座標変換手段により変換した平面座標におけるデータを球面座標におけるデータに変換する手段である球面座標変換手段と、球面座標変換手段により変換した球面座標におけるデータを絶対座標におけるデータに変換する手段である絶対座標変換手段とを有するため、眼球方向検出装置により眼球方向データを取得する際に用いられる光学レンズによる眼球方向データの曲率を描くゆがみとのずれをなくすことが可能となる。
【００９８】
また、特に、請求項３に記載の注視点検出装置によれば、モデル範囲内判定手段が、正射影値を基準に小さい順に並べ替える手段である昇順並べ替え手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、昇順並べ替え手段において昇順に並び替えられた正射影値の順に、判定手段において判定を行うようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【００９９】
また、特に、請求項４に記載の注視点検出装置によれば、モデル範囲内判定手段が、初期の判定基準となる最小正射影値を注視点としての有効性のある交点における正射影値を初期最小正射影値として設定する手段である初期最小正射影値設定手段と、正射影値算出手段において算出された正射影値の中から正射影値の値が最小となる正射影値で、かつ、交点に注視点としての有効性のある正射影値を最小正射影値として判定する手段である最小正射影値判定手段と、各種平面との交点が、物体の範囲内に存在する交点であるか否かを判定する手段である判定手段とを有しており、最小正射影値判定手段により判定された最小正射影値において判定手段が物体の範囲内に存在する交点であるか否かを判定するようになされているため、注視点となる可能性の高い正射影値が小さくなる交点から順にモデルの範囲内における判定を行うことが可能となる。
【０１００】
また、特に、請求項５に記載の注視点検出装置によれば、注視点検出装置が、各種平面における交点において、注視点として検出しようとする範囲内に存在するか否かを判定する手段である検出範囲内判定手段を有するため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換する際に、注視点として検出しようとする範囲を容易に変更することが可能となる。
【０１０１】
また、特に、請求項６に記載の注視点検出方法によれば、経時的に変化する景観を注視する際の注視点を検出する方法であって、任意の各種部材に対し仮想平面を設け、経時的に変化する景観を注視した際に得られた注視点のデータを元にスクリーンに投影して得られた投影注視位置の座標と視点位置の座標とを結ぶ直線と、該各種部材に設けた全ての仮想平面との間の交点を算出し、視点位置から算出した各種平面との交点方向へのベクトルを、視点位置から任意に設定した視線入射方向へのベクトルに正射影した値を算出し、正射影した値が正の値を示すか否かを判定することにより、算出した交点が注視可能な交点であるか否かを判定するとともに、交点に注視点としての有効性があるか否かを判定し、注視点としての有効性がある交点の中で、正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内に有る交点であるか否かを判定し、所定の物体の範囲内における交点として検出された場合、交点を注視点とし、所定の物体の範囲内における交点として検出されなかった場合、注視点としての有効性がない交点とし、所定の物体の範囲内に有る交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、全ての仮想平面との交点において注視点としての有効性がなくなった場合、前記所定の物体の範囲内にある交点であるか否かの判定を終了し、所定の物体の範囲内にある交点であるか否かの判定を行い、注視点としての有効性がない交点とした場合に、少なくとも１つの仮想平面における交点に、注視点としての有効性がある場合、再度前記所定の物体の範囲内にある交点であるか否かの判定を行うため、眼球運動検出装置により得られた経時的に変化する景観を注視した際の眼球運動に関する２次元の注視点データを、絶対座標における３次元の注視点データへ自動的に変換することが可能になるとともに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮し、さらに、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の操作者の作業を軽減させることが可能となる。また、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際に時間を要することになる所定の物体の範囲内にある交点であるか否かの判定を行う前に、算出した交点が注視可能な交点であるか否かの判定を行うとともに、交点に注視点としての有効性があるか否かの判定を行うことにより、所定の物体の範囲内にある交点であるか否かの判定を行う交点を減少させ、さらに、注視点としての有効性がある交点の中で、注視点となる可能性が高い交点である正射影値が最も小さい正射影値となる交点において、所定の物体の範囲内にある交点であるか否かを判定することで、経時的に連続して変化する景観を注視した際の注視点の絶対座標を検出する際の時間を短縮することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施例に基づく注視点検出装置の構成を示すブロック図である。
【図２】本発明の第１実施例に基づく注視点検出装置の動作を説明する説明図である。
【図３】本発明の第１実施例に基づく注視点検出装置の動作を説明する説明図である。
【図４】本発明の第１実施例に基づく注視点検出装置の動作を説明する説明図である。
【図５】橋梁構造の座標の入力に使用する各点を示す説明図である。
【図６】使用される平面を示す説明図である。
【図７】再生したビデオ映像を注視した例を示す説明図である。
【図８】円座標への変換を示す説明図である。
【図９】平面座標への変換を示す説明図である。
【図１０】球面座標への変換を示す説明図である。
【図１１】各平面との交点を示す説明図である。
【図１２】各平面との交点を示す説明図である。
【図１３】主塔の詳細な範囲を示す説明図である。
【図１４】主塔の詳細な範囲の判定の例を示す説明図である。
【図１５】主塔の詳細な範囲の判定の例を示す説明図である。
【図１６】主塔の詳細な範囲の判定の例を示す説明図である。
【図１７】主塔の詳細な範囲の判定の例を示す説明図である。
【図１８】ケーブルの詳細な範囲を示す説明図である。
【図１９】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図２０】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図２１】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図２２】ケーブルの詳細な範囲の判定の例を示す説明図である。
【図２３】本発明の第２実施例に基づく注視点検出装置の構成を示すブロック図である。
【図２４】本発明の第２実施例に基づく注視点検出装置の動作を説明する説明図である。
【図２５】本発明の第２実施例に基づく注視点検出装置の動作を説明する説明図である。
【図２６】本発明の第２実施例に基づく注視点検出装置の動作を説明する説明図である。
【符号の説明】
Ｗ１、Ｗ２注視点検出装置
６１円座標変換手段
６３平面座標変換手段
６５球面座標変換手段
６７絶対座標変換手段
７１交点算出手段
７２正射影値算出手段
７３検出範囲内判定手段
７４有効視界内判定手段
７５ａ、７５ｂモデル範囲内判定手段
７６昇順並べ替え手段
７７初期最小正射影値設定手段
７８最小正射影値判定手段
７９判定手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a gaze point detection method and a detection device used therefor, and more particularly, to a method and apparatus for detecting a gaze point that a human gazes when viewing a landscape that changes over time.
[0002]
[Prior art]
Conventionally, as a method for knowing how a human gazes, a subject is gazed at a still image to obtain two-dimensional gaze data.
[0003]
On the other hand, as a method of knowing how to gaze at the landscape that changes over time, the reference still image disappears in order to know the gaze target. Wearing a device, gazing at a video of a landscape that changes over time for a predetermined time, generating a video video in which gazing point data is input to a video of a landscape that changes over time, and A video image in which gazing point data is input to an image of a landscape that changes over time is played back, and an image corresponding to the image of each frame in the generated video image is generated on a computer monitor. Image corresponding to the frame displayed on the computer monitor by the operator of the viewpoint detection device recognizing the gazing point from the video image in which the gazing point data is input for each frame. To input a gaze point, to input a plane of the gaze member, to calculate three-dimensional gaze point data based on the data input in the input of the gaze point and the plane of the gaze member, An attempt is made to know how to gaze in a reference three-dimensional coordinate system. (For example, see Patent Document 1)
[0004]
[Patent Document 1]
JP 7-204163 A
[0005]
[Patent Document 2]
JP-A-1-205277
Further, as a method of calculating the intersection point within the range of the three-dimensional model in the reference three-dimensional coordinate system, as shown in Patent Document 2, a straight line connecting the viewpoint position and one pixel position on the screen is used. Calculation is performed by detecting an intersection with the plane of the three-dimensional model and determining whether or not the detected intersection is an intersection within the range of the three-dimensional model.
[0006]
[Problems to be solved by the invention]
However, in the conventional method proposed and disclosed in Patent Document 1, in order to calculate three-dimensional gazing point data, an operator of the gazing point detection device inputs a video in which the generated gazing point data is input. Recognize the gazing point from the video, and input the gazing point on the image corresponding to the frame displayed on the computer monitor, and repeat the input of the plane of the gazed member for each frame in the video image. It must be made. In order to detect three-dimensional gazing point data, the operator of the gazing point detection device recognizes the gazing point from the video image to which the generated gazing point data is input, and further displays it on a computer monitor. In addition to inputting a gazing point on the image corresponding to the frame that has been made, and inputting the plane of the gazed member repeatedly for each frame in the video image, enormous time is required.
[0007]
Moreover, in the conventional method proposed and disclosed in Patent Document 2, an intersection with the plane of the three-dimensional model existing behind is also detected as an effective intersection. When trying to know whether to gaze, an intersection with the plane of the three-dimensional model that cannot actually be gazed may be detected as a gaze point.
[0008]
Therefore, the present invention reduces the time when detecting the absolute coordinates of the gazing point when viewing a landscape that changes continuously over time, and at the time of watching a landscape that changes continuously over time. An object of the present invention is to provide a gazing point detection device and a gazing point detection method capable of reducing an operator's work when detecting absolute coordinates of a gazing point.
[0009]
[Means for Solving the Problems]
The present invention was created to solve the above-described problems. First, the gaze point detection apparatus calculates a gaze point when gazes at a landscape that changes over time. A line connecting the coordinates of the projected gaze position obtained by projecting on the screen and the coordinates of the viewpoint position based on the gaze point data obtained when gazeing at the changing landscape, and a predetermined object Vectors from the viewpoint position to the intersection direction between the intersection calculation means, which is a means for calculating intersections with various planes virtually provided on the plane, and the various planes calculated by the intersection calculation means from the viewpoint position were arbitrarily set. It is determined whether or not the orthographic value calculation means, which is a means for calculating a value orthogonally projected to the vector in the line-of-sight incidence direction, and whether the orthographic value calculated by the orthographic value calculation means indicates a positive value. The intersection calculated by the intersection calculation means Calculated by the orthographic value determination means among the effective in-field determination means that is a means for determining whether or not the intersection is gazeable and the intersection determined to be a gaze point by the effective in-field determination means. And a model in-range determination unit which is a unit for determining whether or not the intersection at which the orthographic projection value is the smallest orthographic value is within the range of a predetermined object.
[0010]
The gaze point detection device having the first configuration is a gaze point detection device that calculates a gaze point when gazes at a landscape that changes over time, and is obtained when gazes at a landscape that changes over time. Based on the data of the gazing point, the intersection of the projected gaze position coordinate obtained by projecting on the screen and the line of the gazing point position and various planes virtually provided in advance on a predetermined object A value obtained by orthogonally projecting a vector from the viewpoint position to the intersection direction between the intersection point calculation means and the various planes calculated by the intersection point calculation means from the viewpoint position to a vector in the direction of the line-of-sight incidence arbitrarily set from the viewpoint position is calculated. An orthogonal projection value calculation means that is a calculation means, and an intersection calculated by the intersection calculation means by determining whether or not the value of the orthogonal projection value calculated by the orthogonal projection value calculation means is a gaze. Whether it is a possible intersection Among the intersections that are determined to be gazeable by the effective visual field determination unit and the effective visual field determination unit that is a determination unit, the orthogonal projection value that is calculated by the orthogonal projection value determination unit is the smallest Since it has a model in-range determination means that is a means for determining whether or not the intersection is within the range of the predetermined object at the intersection that becomes the value, the landscape that changes with time obtained by the eye movement detection device It is possible to automatically convert 2D gazing point data related to eye movements when gazing at the eye to 3D gazing point data in absolute coordinates, and to watch the landscape changing continuously over time. This reduces the time required to detect the absolute coordinates of the gazing point, and further reduces the operator's work when detecting the absolute coordinates of the gazing point when gazing at a landscape that changes continuously over time. Can The ability. In addition, an intersection that can be watched without detecting an intersection with the plane of the three-dimensional model that cannot actually be observed, such as an intersection with the plane of the three-dimensional model that exists behind. Can be used as a point of interest. Further, the orthogonal projection value calculation means calculates a value obtained by orthogonally projecting the vector from the viewpoint position to the intersection direction with the various planes calculated by the intersection calculation means to the vector in the direction of the line-of-sight incidence set arbitrarily from the viewpoint position. By simultaneously calculating the directionality from the viewpoint position serving as the determination reference in the effective visual field determination means and the model range determination means to the intersection point in various planes, and the size from the viewpoint position to the intersection point in various planes. This makes it possible to reduce the time required to detect the absolute coordinates of the point of gaze when gazes at a landscape that changes continuously over time.
[0011]
Also, secondly, in the first configuration, the intersection point calculating means is a means for converting the eyeball direction data obtained by the eyeball direction detecting device into data in circular coordinates; Planar coordinate conversion means which is means for converting the data in the circular coordinates converted by the conversion means into data in the plane coordinates, and spherical coordinates which are means for converting the data in the plane coordinates converted by the plane coordinate conversion means into data in the spherical coordinates It has a conversion means and an absolute coordinate conversion means which is a means for converting the data in the spherical coordinates converted by the spherical coordinate conversion means into the data in the absolute coordinates.
[0012]
In the gazing point detection device having the second configuration, the intersection calculation unit includes a circular coordinate conversion unit that is a unit that converts the data of the eyeball direction obtained by the eyeball direction detection device into data in a circular coordinate, and a circular coordinate conversion. Plane coordinate conversion means for converting the data in the circular coordinates converted by the means into data in the plane coordinates, and spherical coordinate conversion as the means for converting the data in the plane coordinates converted by the plane coordinate conversion means into data in the spherical coordinates And an absolute coordinate conversion means for converting the data in the spherical coordinates converted by the spherical coordinate conversion means into the data in the absolute coordinates, so that the optical used for acquiring the eyeball direction data by the eyeball direction detection device It is possible to eliminate the deviation from the distortion that draws the curvature of the eyeball direction data by the lens.
[0013]
Thirdly, in the first or second configuration, the model range determination unit includes an ascending order rearrangement unit that is a unit that rearranges the orthographic projection values in ascending order, and intersections between various planes. Determination means that is a means for determining whether or not the intersection exists within the range of the object, and the determination means performs the determination in the order of the orthogonal projection values rearranged in ascending order by the ascending order rearranging means. It is made to do.
[0014]
In the gazing point detection device having the third configuration, the model range determination unit includes an ascending order rearrangement unit that rearranges in ascending order on the basis of the orthogonal projection value, and an intersection of various planes within the range of the object. And determining means for determining whether or not the intersection is present, and the determining means performs the determination in the order of the orthogonal projection values rearranged in ascending order by the ascending order rearranging means. Therefore, it is possible to make a determination within the model range in order from the intersection where the orthographic projection value that is likely to be a gazing point is small.
[0015]
Fourthly, in the first or second configuration, the in-model range determination unit initially sets an orthogonal projection value at an effective intersection using the minimum orthogonal projection value as an initial determination criterion as a gazing point. An initial minimum orthographic value setting means that is a means for setting as the minimum orthographic value, and an orthographic value that minimizes the orthographic value from among the orthographic values calculated by the orthographic value calculating means, and Is the intersection of the minimum orthographic value determination means, which is a means for determining the orthographic projection value that is effective as the gazing point at the intersection point, as the minimum orthogonal projection value, and the various planes within the range of the object? Determination means that is a means for determining whether or not the determination means is an intersection existing within the range of the object at the minimum orthographic value determined by the minimum orthogonal projection value determination means It is made to do
[0016]
In the gazing point detection device having the fourth configuration, the model in-range determination unit uses the minimum orthogonal projection value as an initial determination criterion as the initial minimum orthogonal projection value at the intersection point having the validity as the gazing point. The initial minimum orthographic value setting means, which is a means for setting as the orthographic value, and the orthographic value that minimizes the orthographic value among the orthographic values calculated by the orthographic value calculating means, and the point of interest at the intersection Judge whether or not the intersection of the minimum orthographic value determination means, which is a means for determining the effective orthographic value as the minimum orthogonal projection value, and the various planes is an intersection existing within the range of the object And determining means that determines whether the determining means is an intersection existing within the range of the object at the minimum orthographic value determined by the minimum orthographic value determining means. Can be a point of sight It is possible to perform determination in the range of models from a high positive projection value decreases intersection in order.
[0017]
Fifth, in any of the first, second, third, or fourth configurations, the gazing point detection device exists within a range to be detected as a gazing point at intersections in various planes. It is characterized by having in-detection range determination means which is means for determining whether or not.
[0018]
In the fifth aspect of the gaze point detection device, the in-detection range determination is a means for determining whether or not the gaze point detection device exists within the range to be detected as the gaze point at intersections on various planes. Since it has means, the two-dimensional gazing point data relating to the eye movement when gazing at the landscape changing with time obtained by the eye movement detecting device is automatically converted into three-dimensional gazing point data in absolute coordinates. In this case, it is possible to easily change the range to be detected as the gazing point.
[0019]
The sixth is a method for detecting a gazing point when gazing at a landscape that changes over time. When a virtual plane is provided for any of various members and a gazing at a landscape that changes over time, Intersections between the straight line connecting the coordinates of the projected gaze position obtained by projecting on the screen based on the obtained gaze point data and the coordinates of the viewpoint position, and all virtual planes provided on the various members Calculate the value obtained by orthogonally projecting the vector in the direction of the intersection with the various planes calculated from the viewpoint position to the vector in the direction of incidence of the line of sight arbitrarily set from the viewpoint position, and the value obtained by orthogonal projection is positive. By determining whether or not the calculated intersection is a gazeable intersection, and whether or not the intersection is effective as a gazing point. Orthographic projection with the smallest orthographic value among the intersections It is determined whether or not the intersection is within the range of the predetermined object, and if it is detected as an intersection within the range of the predetermined object, the intersection is set as a gazing point and within the range of the predetermined object When it is not detected as an intersection, it is determined as an intersection that is not effective as a gazing point, it is determined whether it is an intersection within the range of a predetermined object, and an intersection that is not effective as a gazing point In addition, when the validity as the gazing point is lost at the intersections with all the virtual planes, the determination as to whether or not the intersection is within the range of the predetermined object is terminated, and the range is within the range of the predetermined object. When it is determined whether or not the intersection is an intersection that is not effective as a gazing point, if the intersection in at least one virtual plane is effective as a gazing point, the predetermined object is again In-range Gazing point detection method characterized in that it is determined whether or not.
[0020]
The gazing point detection method of the sixth configuration is a method of detecting a gazing point when gazing at a landscape that changes over time, and is provided with virtual planes for arbitrary various members and changes over time. A straight line connecting the coordinates of the projected gaze position and the coordinates of the viewpoint position obtained by projecting on the screen based on the gaze point data obtained when gazeing at the landscape, and all virtual planes provided on the various members The point of intersection with the various planes calculated from the viewpoint position is orthogonally projected to the vector in the direction of the line-of-sight incident direction arbitrarily set from the viewpoint position, and is orthogonally projected. By determining whether or not the value indicates a positive value, it is determined whether or not the calculated intersection is a gazeable intersection, and whether or not the intersection is effective as a gazing point. Among the intersections that are effective as gazing points, At the intersection where the projection value is the smallest orthographic value, it is determined whether or not the intersection is within the range of the predetermined object, and if it is detected as an intersection within the range of the predetermined object, the intersection is taken as the gazing point. If it is not detected as an intersection within the range of the predetermined object, it is determined that the intersection is ineffective within the range of the predetermined object, and whether or not the intersection is within the range of the predetermined object. In the case of an intersection having no validity, if the validity as a gazing point is lost at the intersection with all virtual planes, the determination of whether or not the intersection is within the range of the predetermined object ends. When it is determined whether or not the intersection is within the range of a predetermined object, and the intersection is not effective as a gazing point, at least one intersection in the virtual plane is effective as a gazing point If again said In order to determine whether or not the intersection is within the range of a fixed object, two-dimensional gazing point data relating to eye movement when gazing at a landscape that changes with time obtained by the eye movement detection device, It is possible to automatically convert to 3D gazing point data in absolute coordinates and reduce the time to detect the absolute coordinates of the gazing point when gazing at a landscape that changes continuously over time. Furthermore, it is possible to reduce the operator's work when detecting the absolute coordinates of the gazing point when gazing at a landscape that changes continuously over time. Also, it is determined whether or not the intersection is within a range of a predetermined object that will take time when detecting the absolute coordinates of the point of gaze when gazing at a landscape that changes continuously over time. Before determining whether the calculated intersection is a gazeable intersection and determining whether the intersection is effective as a gazing point, it is within the range of the predetermined object Decrease the number of intersections that determine whether or not they are intersections, and among the intersections that are effective as gazing points, the orthogonal projection value that has the smallest intersection point that is likely to be a gazing point The time when detecting the absolute coordinates of the gazing point when gazing at the landscape that changes continuously over time by determining whether or not the intersection is within the range of the predetermined object Can be shortened.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0022]
As shown in FIG. 1, the gazing point detection device W1 of the first embodiment based on the present invention has an input unit 10, an output unit 20, a monitor 30, a CPU 40, and a storage medium 50a. Yes.
[0023]
The input unit 10 is a member for inputting necessary data.
[0024]
The output unit 20 is a member that outputs the calculated data.
[0025]
The monitor 30 is a member that displays an input request when inputting necessary data and also displays calculated data.
[0026]
The CPU 40 is for performing a calculation for calculating a gaze point described later.
[0027]
As shown in FIG. 1, the storage medium 50a includes coordinate conversion means 60 that is means for converting coordinates, and gazing point detection means 70a that is means for detecting a gazing point.
[0028]
The coordinate conversion means 60 converts the data in the eyeball direction obtained by the eyeball direction detection device into data in circular coordinates, and converts the data in the circular coordinates into data in the plane coordinates. Plane coordinate conversion means 63 as means, spherical coordinate conversion means 65 as means for converting the data in the plane coordinates into data in spherical coordinates, and means for converting the data in spherical coordinates into data in absolute coordinates The coordinate conversion unit 67 and the absolute coordinate conversion unit 67 include a coordinate conversion matrix calculation unit 69 that is a unit that calculates a coordinate conversion matrix used when converting data in spherical coordinates into data in absolute coordinates. .
[0029]
The gaze point detection means 70a projects the projected gaze position obtained by projecting on the spherical screen provided around the viewpoint position based on the gaze point data obtained when the landscape changing with time is gazeed. The intersection calculation means 71 is a means for calculating the intersection of a straight line connecting the coordinates of the first position and the coordinates of the viewpoint position and various planes virtually provided in advance on a predetermined object, and the intersection point calculation means 71 calculates from the viewpoint position. An orthogonal projection value calculation means 72 that is a means for calculating, on various planes, a value obtained by orthogonally projecting the vector in the intersection direction into a vector in the direction of the line of sight from the viewpoint position, and the projected gaze position calculated by the intersection calculation means 71 Is a means for determining whether or not an intersection of a straight line connecting the coordinates of the point and the coordinate of the viewpoint position and various planes virtually provided in advance on a predetermined object is within a range to be detected as a gazing point. Detection range The coordinates of the projected gaze position calculated by the intersection calculation means 71 by determining whether or not the value of the orthogonal projection value calculated by the internal determination means 73 and the orthogonal projection value calculation means 72 is a positive value. The effective in-field determination means 74, which is a means for determining whether or not the intersection of the straight line connecting the coordinates of the viewpoint position and various planes virtually provided on a predetermined object is an intersection in the effective view. And an in-model range determination means 75a that is a means for determining whether or not the intersection is a gaze within the range of the object.
[0030]
Further, the model range determination means 75a changes the vector from the viewpoint position calculated by the orthogonal projection value calculation means 72 to the intersection direction calculated by the intersection point calculation means 71 from the viewpoint position to the line-of-sight incidence direction. Ascending order rearranging means 76 which is means for rearranging the orthogonal projection value, plane number, and X, Y, and Z coordinates of the intersection point in ascending order based on the orthogonal projection value, and the projected gaze position calculated by the intersection point calculation means 71 Determination means 79 is a means for determining whether or not an intersection of a straight line connecting the coordinates and the coordinates of the viewpoint position and various planes virtually provided on a predetermined object is an intersection existing within the range of the object. The determination means 79 performs determination in the order of the orthogonal projection values rearranged in ascending order by the ascending order rearranging means 76.
[0031]
Next, the operation of the gazing point detection device W1 will be described with reference to FIGS.
[0032]
First, an operation is selected (S110). In other words, according to the message displayed on the monitor 30, the selection of which object is to be the object of gaze when detecting the gaze point is performed, or the gaze point using the gaze point detection device W1 is selected. Select whether to end the detection work.
[0033]
Next, it is determined whether the process is finished (S111). That is, in the selection of work (S110), it is determined whether or not the end of the gaze point detection work using the gaze point detection device W1 is selected.
[0034]
In the selection of the work (S110), when the end of the gaze point detection work using the gaze point detection device W1 is selected, the gaze point detection work using the gaze point detection device W1 is finished.
[0035]
On the other hand, in the selection of the work (S110), if the end of the gaze point detection work using the gaze point detection device W1 is not selected, the coordinate data is read (S112). That is, in order to set the range of the object to be watched, the three-dimensional data of each main point of the object in absolute coordinates is read. Specifically, in FIG. 5, three-dimensional data in the absolute coordinates of the nodes of the main structure of the bridge indicated by P is read. Note that the node indicated by P in FIG. 5 is merely an example, and the coordinates of more points are actually read. In addition, as shown in FIG. 5, for the sake of convenience, the absolute coordinates are determined with the position below the center of the bridge as the origin.
[0036]
Next, the maximum value and the minimum value of the coordinate data are calculated (S113). That is, based on the three-dimensional data of the object at the absolute coordinates read in the reading of the coordinate data (S112), the maximum value and the minimum value of the object to be watched are calculated.
[0037]
Next, reading of data relating to a plane equation is performed (S114). In other words, a virtual plane is provided in advance on the surface of the object to be watched, the equation of the virtual plane is calculated, and data related to the equation of the virtual plane is stored in the storage medium 50a. Data about the plane equation is read. Specifically, first, data relating to the total number of planes is read, and then, as shown in FIG. 6, planes F1 and F2 which are planes of main towers, planes F3 and F4 which are planes of cables, and planes of road surfaces A plane number is assigned to each plane of F5 and F6, and data relating to the equation of each plane is read.
[0038]
Next, data relating to the subject is read (S115). That is, in order to manage the gaze point data of each subject in the gaze point detection device W1, the number of gaze point data obtained for each subject is read.
[0039]
Next, various conditions are set (S116). That is, first, since a message is displayed on the monitor 30 to return to the selection of work (S110) or not, whether to return to the selection of work (S110) or not. Next, the frame number at the zero point, which is the data necessary for detecting the gazing point on the monitor 30, the first frame number at the start of detection, the subject number, the breakdown item number, the file name, and the detection of the gazing point are selected. Since the input screen for inputting the maximum value and the minimum value in the X, Y, and Z coordinates of the range is displayed, the input unit 10 uses the frame number at the zero point, which is data necessary for detecting the gazing point, and detection start. Enter the maximum and minimum values in the X, Y and Z coordinates of the first frame number, subject number, breakdown item number, file name, and gaze point detection range. Here, the frame number is a data number of eyeball direction data detected by the eyeball direction detecting device. The frame number at the 0 point is an arbitrary point at the traveling position provided for the sake of convenience in order to make the detected gaze point data compatible. Furthermore, the first frame number at the start of detection is a data number of eyeball direction data when gazing point detection is started, and the subject number is a number assigned to each subject. The breakdown item number is provided so that it can be divided and stored and managed when the gaze point data of the subject with the subject number becomes enormous, and the file name is detected by the eye direction detection device. This is the file name of the eye direction data. Further, the maximum value and the minimum value in the X, Y, and Z coordinates of the detection range of the gazing point are within the range that the intersection detects as the gazing point in the later-described detection range in determining the effectiveness of the gazing point (S128). It is the maximum value and the minimum value in the range of X, Y, and Z coordinates when determining whether or not it exists. Here, when the maximum value and the minimum value in the X, Y, and Z coordinates of the gaze point detection range are not input, the gaze target calculated in the calculation of the maximum value and the minimum value of the coordinate data (S113). The maximum value and the minimum value of the object to be used are used as the maximum value and the minimum value in the X, Y, Z coordinates of the detection range of the gazing point. In the setting of the various conditions (S116), if the subject number and the breakdown item number that are the same as the subject number and the breakdown item number read in the reading of data on the subject (S115) are input, processing is performed so as not to be input. Is done.
[0040]
Next, it is determined whether to return to the selection of work (S117). That is, in the setting of the various conditions (S116), it is determined whether the selection for returning to the selection of work (S110) has been performed or not.
[0041]
In the setting of the various conditions (S116), when selection is made to return to the work selection (S110), processing to return to the work selection (S110) is performed.
[0042]
On the other hand, in the setting of the various conditions (S116), if the selection to return to the selection of work (S110) is not performed, it is determined whether the end of data has been reached (S118). That is, in the reading of gazing point data (S121), which will be described later, from the point at which the data end is reached (S118) to the end loop (S137) until the condition that the end of the data is reached is satisfied. The process is repeated.
[0043]
In the determination of whether the end of the data has been reached (S118), if the data has reached the end of the data, the gazing point data is stored (S138). That is, the data stored in the storage of the gazing point data (S138) is stored in the storage medium 50a in the gazing point detection device W1.
[0044]
Next, rewriting of data about the subject is performed (S139). That is, the gazing point detection device W1 rewrites the number of obtained gazing point data in order to manage the gazing point data of each subject.
[0045]
On the other hand, in the determination of whether the end of the data has been reached (S118), if the data has not reached the end of the data, setting of the viewpoint position and the line-of-sight incidence direction is performed (S119). That is, the X, Y, Z coordinates of the viewpoint position in absolute coordinates and the X, Y, Z coordinates of the line-of-sight incident direction are set. Here, the line-of-sight incidence direction is a direction in which the line of sight is facing in the driver's basic posture, and specifically, setting is performed assuming that 100 m ahead is seen in the basic posture with respect to the traveling direction. . In addition, the said advancing method is a direction of the X-axis in FIG.5, FIG.6, FIG.11 and FIG. Further, in this embodiment, the X-axis direction is the traveling direction, but the Y-axis direction and the Z-axis direction may be used, and the traveling direction must be set linearly in the axial direction. You may draw a curve instead of a thing.
[0046]
Next, a coordinate transformation matrix is calculated (S120). That is, the coordinate conversion matrix calculation means 69 calculates a coordinate conversion matrix used when converting from spherical coordinates to absolute coordinates in the later-described conversion from spherical coordinates to absolute coordinates (S126).
[0047]
Next, the gaze point data is read (S121). That is, reading of the eyeball direction data detected by the eyeball direction detection device is performed. Specifically, data such as the horizontal eyeball rotation angle, the vertical eyeball rotation angle, the horizontal pupil diameter, the vertical pupil diameter, the eyeball movement speed, the gaze time, and the presence or absence of blinks are read. .
[0048]
Next, it is determined whether the eye blinks (S122). That is, it is determined whether or not the blinking presence / absence data read in the reading of the gazing point data is data indicating blinking.
[0049]
In the determination of whether the blink has occurred (S122), if the data indicating the presence / absence of blinking indicates that the blink has occurred, it is next determined whether the end of the data has been reached (S118).
[0050]
In the determination of whether the blink has occurred (S122), if the blink presence / absence data indicates that the blink has not occurred, next, conversion from the eyeball direction data to the circular coordinates is performed (S123). That is, since the human visual field angle is 60 degrees, the eye direction data read in the reading of the gazing point data (S121) by the circular coordinate conversion means 61 in the coordinate conversion means 60 is as shown in FIG. The angle range F is converted into data in a circular coordinate expressed in a range of 60 degrees. Specifically, as shown in FIG. 7, the eyeball direction detection device detects the eyeball rotation angle α in the horizontal direction as 5 degrees and the eyeball rotation angle β in the vertical direction as 7 degrees with respect to the line-of-sight incident direction E, Assuming that the point V is watched on the screen S on which the reproduced video image is displayed, first, on the screen S, the horizontal coordinate is calculated as 8.74, and the vertical coordinate is calculated as 12.27. . Next, a point on the screen S is converted into a circular coordinate point Q as shown in FIG. 8 using a ratio from the size of the screen S and the size of the circular coordinate, and the horizontal coordinate is 4.54 degrees. The vertical coordinate is calculated as 6.38 degrees. Note that the vertical size M of the screen and the horizontal size N of the screen in FIG. 7 are set so that the viewing angle is 60 degrees in the length L from the eyeball position O of the subject to the screen. Has been.
[0051]
Next, conversion from circular coordinates to plane coordinates is performed (S124). That is, in the conversion from the plane coordinates to the spherical coordinates (S125), which will be described later, the conversion from the circle coordinates to the plane coordinates is performed so that the conversion to the spherical coordinates can be easily performed. In the conversion from the circle coordinates to the plane coordinates, first, the distance between the data converted into the data in the circle coordinates and the origin of the circle coordinates is calculated, and then converted into the data in the circle coordinates. In the data in which the tangent between the measured data and the origin of the circle coordinate is converted into the circle coordinate data, the calculation is performed based on the larger one of the horizontal and vertical coordinates. Is called. Further, in the conversion from the eye direction data to the circular coordinates (S123), the data converted into the data in the circular coordinates is converted into the X axis by the plane coordinate converting means 63 in the coordinate converting means 60 as shown in FIG. In the Y-axis direction, conversion into data in plane coordinates represented by angle coordinates is performed.
[0052]
Specifically, first, the distance from the origin G in FIG. 8 to the circle coordinate point Q is calculated as 7.83 from the horizontal coordinate 4.54 degrees and the vertical coordinate 6.38 degrees. Next, in the data converted into the circular coordinate data, the larger one of the horizontal and vertical coordinates is detected as the vertical direction, and further, based on the vertical coordinate. The tangent between the data converted into the data in the circular coordinates and the origin of the circular coordinates is calculated as 0.712, the calculated distance is multiplied by the tangent and the correction coefficient, and the horizontal coordinate is It is converted to 2.89 degrees, and the vertical coordinate is converted to 4.06 degrees by multiplying 7.83, which is the distance to the point Q of the circular coordinates, by a correction coefficient, and becomes point R shown in FIG.
[0053]
Here, in the above description, the calculation in which the horizontal coordinate is 2.89 degrees and the vertical coordinate is 4.06 degrees will be described. In the conversion from planar coordinates to spherical coordinates (S125) described later, When converted to a spherical surface, the larger coordinate of the horizontal coordinate and the larger coordinate of the vertical coordinate is on the circle C represented by the distance T from the point B to the coordinate on the sphere in FIG. Therefore, the vertical coordinate which is the larger coordinate calculated in the conversion from the circle coordinate to the plane coordinate (S124) is multiplied by a correction coefficient which is a ratio of the circle coordinate to the plane coordinate. The calculation is performed.
[0054]
Further, the smaller one of the horizontal coordinate and the vertical coordinate has an angle from the origin G in FIG. 8 to the circle coordinate point Q and an angle from the point B on the sphere in FIG. 10 to the coordinate. The calculation is performed by multiplying the tangent and the correction coefficient so as to match.
[0055]
Next, conversion from plane coordinates to spherical coordinates is performed (S125). That is, in the conversion from the circle coordinates to the plane coordinates (S124), the data converted into the data in the plane coordinates is converted into the data in the spherical coordinates by the spherical coordinate conversion means 65 in the coordinate conversion means 60. . Specifically, as shown by a point A in FIG. 10, the coordinate in the X-axis direction is −0.99, the coordinate in the Y-axis direction is −0.05, and the coordinate in the Z-axis direction is −0.07. Is converted to Here, the method of conversion to the spherical coordinate will be described. In the conversion from the circular coordinate to the planar coordinate (S124), the converted horizontal coordinate and vertical coordinate are angles, and a trigonometric function is used. It is calculated and further converted by multiplying the radius of the sphere. In the conversion from the plane coordinate to the spherical coordinate (S125), when the conversion to the spherical coordinate is performed, it is possible to easily perform the calculation of the straight line equation in the calculation of the intersection of the plane and the straight line (S127), which will be described later. The conversion is performed by multiplying the negative number. In the conversion from the plane coordinates to the spherical coordinates (S125), the radius of the sphere when the conversion to the spherical coordinates is performed is 1.
[0056]
Next, conversion from spherical coordinates to absolute coordinates is performed (S126). That is, in the conversion from the plane coordinates to the spherical coordinates (S125), the data converted into the data in the spherical coordinates is converted into the data in the absolute coordinates by the absolute coordinate conversion means 67 in the coordinate conversion means 60. . Here, the conversion to the absolute coordinates is performed using the coordinate conversion matrix calculated in the calculation of the coordinate conversion matrix (S120).
[0057]
Next, the intersection of the plane and the straight line is calculated (S127). In other words, the intersection calculation means 71 in the gazing point detection means 70a, in the conversion from the spherical coordinates to the absolute coordinates (S126), the straight line connecting the two points of the data converted into the data in the absolute coordinates and the viewpoint position. The intersection points with various planes virtually provided on the object are calculated. Specifically, as shown in FIG. 11, the intersection with the main tower plane F1 in FIG. 6 is calculated as P1, the intersection with the main tower plane F2 in FIG. 6 is calculated as P2, and the cable in FIG. 6 is calculated as P3, the intersection point with the cable plane F4 in FIG. 6 is calculated as P4, the intersection point with the road plane F5 in FIG. 6 is calculated as P5, and the intersection of the main tower in FIG. The intersection with the plane F6 is calculated as P6. Here, in calculating the intersection of the plane and the straight line (S127), the calculated intersection with the various planes is a temporarily calculated point of interest candidate. In the calculation of the intersection of the plane and the straight line (S127), the straight line connecting the two points of the data converted into the data in the absolute coordinates and the viewpoint position and the plane virtually provided on the object are parallel to the intersection. If it cannot be calculated, a flag indicating that the gaze point is not effective for the plane is set.
[0058]
Next, the effectiveness of the gazing point is determined in the detection range (S128). That is, the detection range of the gazing point set in the setting of the various conditions (S116) is the intersection of the various planes calculated in the calculation of the intersection of the plane and the straight line by the in-detection range determination means 73 (S127). It is determined whether or not it is within the range of the maximum value and the minimum value in the X, Y, and Z coordinates, and a flag indicating that there is no validity is set for an intersection having no validity. Specifically, as shown in FIG. 11, the viewpoint position PV exists in the vicinity of the bridge center, and the data in the absolute coordinates calculated in the conversion from the spherical coordinates to the absolute coordinates (S126), the viewpoint position PV, When the straight line connecting the lines is a straight line that passes slightly to the right with respect to the direction of incidence of the line of sight, the intersections P1, P3, P5, and P6 in FIG. An intersection that exceeds the maximum value and minimum value range in the X, Y, and Z coordinates of the gazing point detection range is determined to be ineffective as the gazing point.
[0059]
Next, calculation of a value obtained by orthogonally projecting the vector from the gaze position to the intersection direction onto the vector from the viewpoint position to the line-of-sight incidence direction is performed (S129). That is, the orthographic projection value calculation means 72 sets the intersection point between the plane and the straight line from the viewpoint position (S127), and sets the vector from the viewpoint position to the intersection direction in the various planes. A value orthogonally projected to the vector in the line-of-sight incidence direction set in (S119) is calculated. Here, in the detection range, in the determination of the effectiveness of the gazing point (S128), the intersection determined as having no effectiveness as the gazing point is a vector from the viewpoint position to the intersection direction. The value orthogonally projected onto the vector is set as 0. Specifically, the orthogonal projection values are set to 0 for the intersections P3, P4, and P5 in FIG. 11 determined as having no effectiveness as a gazing point.
[0060]
Next, the effectiveness of the gazing point is determined within the effective field of view (S130). That is, the effective projection value calculated and set in the calculation (S129) of the value obtained by orthogonally projecting the vector from the viewpoint position to the intersection direction to the vector from the viewpoint position to the line-of-sight incidence direction by the effective visual field determination unit 74 is obtained. Whether the value is a positive value is determined, and an intersection having no validity is set with a flag indicating that the intersection is not valid. Specifically, as shown in FIG. 11, the viewpoint position PV exists in the vicinity of the bridge center, and the data in the absolute coordinates calculated in the conversion from the spherical coordinates to the absolute coordinates (S126), the viewpoint position PV, When the straight line connecting the lines is a straight line that passes slightly to the right with respect to the line-of-sight incidence direction, as in the intersection points P1 and P6 in FIG. Since the eye direction data detected by the eye direction detecting device cannot gaze at an object located behind the viewpoint position with respect to the traveling direction due to the nature of the experiment, It is determined that the gazing point existing behind is not effective as the gazing point.
[0061]
Next, the plane number and the X, Y, and Z coordinates of the intersection are rearranged in ascending order based on the orthographic projection value (S131). That is, the calculation and setting are performed in the calculation (S129) of the value obtained by orthogonally projecting the vector from the viewpoint position to the intersection direction into the vector from the viewpoint position to the line-of-sight incidence direction by the ascending order rearranging means 76 in the model range determination means 75a. The plane number assigned to each plane and the intersection of the plane and the straight line are calculated (S127) when reading the data related to the plane equation (S114) with the orthographic projection value as a reference. The X, Y, and Z coordinates of the intersections are rearranged in ascending order of values, and the plane number is set as the determination target number. Note that the above-described determination target number is a number indicating the order of determination in end loop (S137) from determination target number = 1, described later, to the total number of planes (S132).
[0062]
Next, determination target number = 1, the total number of planes (S132) is performed. That is, in the processing from S133 to S135 described later, the plane number and the X, Y, Z coordinates of the intersection are rearranged in ascending order based on the value of the orthogonal projection value (S131), which is the determination target number 1 It repeats from the first to the total number of planes.
[0063]
Next, it is determined whether there is validity as a gazing point (S133). In other words, the intersection of the plane number in the determination target number set in the determination target number = 1, the total number of planes (S132) is within the detection range in the determination of the effectiveness of the gazing point (S128) and in the effective field of view. Then, it is determined whether or not the flag set in the determination of the validity of the gazing point has the validity as the intersection (S130).
[0064]
In determining whether the gaze point is effective (S133), the gaze point is effective at the intersection of the plane number in the determination target number set in the determination target number = 1, the total number of planes (S132). If there is no end loop (S137), the determination object number = 1, the total number of planes (S132) until the determination target number in the total number of planes (S132) reaches the total number of planes. The process is returned to S132).
[0065]
On the other hand, in determining whether the gaze point is valid (S133), the intersection of the plane number in the judgment target number set in the judgment target number = 1, the total number of planes (S132) is used as the gaze point. If there is validity, the validity of the gazing point is determined within the model range (S134). That is, the determination unit 79 in the model range determination unit 75a determines the validity of the intersection of the plane number in the determination target number set in the determination target number = 1, the total number of planes (S132). Specifically, when the intersection P2 with the plane of the main tower in FIG. 12 is the intersection of the plane number in the determination target number set in the determination target number = 1, the total number of planes (S132), As shown in FIG. 13, paying attention to the intersections of the range T10 on the left side of the main tower, the range T20 on the right side of the main tower, the ranges T14 and T16 at the upper part of the main tower, and the ranges T12 and T18 in the middle part of the main tower. It is determined whether or not there is validity. Here, the determination of whether or not the intersection point performed in the range T10 on the left side of the main tower is effective as a gazing point will be described with reference to FIGS. 14 to 17. First, as shown in FIG. Then, it is determined whether or not the intersection exists within the range E10 on the right side of the left boundary line L10 of the range T10 on the left side of the main tower. Next, as shown in FIG. It is determined whether or not the above intersection exists within the range E11 on the left side of the right boundary line L11 of the left range T10. Next, as shown in FIG. 16, the range on the left side of the main tower is determined. It is determined whether or not the intersection exists within a range E12 that is located on the lower left side of the upper boundary line L12 of T10. Next, as shown in FIG. Range E13 above the lower boundary line L13 To, whether the intersection is present determination is made. In the determination of whether the intersection in the range T10 on the left side of the main tower is effective as a gazing point, if it is determined that the intersection does not exist within the range, the intersection in the range T10 on the left side of the main tower As in the determination of whether or not there is validity as a gazing point, the validity as a gazing point at the intersection in the order of the range T20 on the right side of the main tower, the ranges T14 and T16 on the upper part of the main tower, and the ranges T12 and T18 on the middle part of the main tower It is determined whether or not there is. Then, it is determined whether or not the intersection point in the above range T10 on the left side of the main tower, the range T20 on the right side of the main tower, the ranges T14 and T16 on the upper part of the main tower, and the ranges T12 and T18 on the middle part of the main tower is effective as a gazing point In this case, when the intersection point exists in any of the ranges, the gazing point exists at the intersection point with the plane of the main tower. On the other hand, when the intersection does not exist in any of the range T10 on the left side of the main tower, the range T20 on the right side of the main tower, the ranges T14 and T16 on the upper side of the main tower, and the ranges T12 and T18 on the middle part of the main tower, It is determined that the intersection with the plane is not effective as a gazing point. In other words, specifically, the case where it is determined that the intersection is effective as a gazing point will be described. When the intersection is calculated in the range on the right side of the main tower as shown in FIG. In the order of the range T10 of the main tower and the range T20 on the right side of the main tower. In the range T20 on the right side of the main tower, the intersection point exists in the range in determining whether the intersection point is effective as a gazing point. Then, it is determined that a gazing point exists at the intersection P2 with the plane of the main tower in FIG. In determining the effectiveness of the gazing point within the range of the model (S134), considering the processing speed, the range T10 on the left side of the main tower, the range T20 on the right side of the main tower, and the ranges T14 and T16 on the upper part of the main tower. Then, it is determined whether or not the intersection is effective as a gazing point in the order of the main tower middle range T12, T18, and within the range E10 on the right side of the boundary L10 on the left side of the main tower, The intersections exist in the order of the range E11 on the left side of the boundary line L11, the range E12 on the lower left side of the upper boundary line L12, and the range E13 on the upper side of the lower boundary line L13. Whether or not to perform the determination is performed, but the order of the determination may be another order.
[0066]
Next, it is determined whether a valid gazing point has been detected (S135). That is, in determining the effectiveness of the gazing point within the range of the model (S134), it is determined whether an effective gazing point has been detected.
[0067]
In the determination of whether the effective gazing point is detected (S135), if no effective gazing point is detected, end loop (S137) is performed, and the determination target number = 1, the total number of planes The process is returned to the determination object number = 1 and the total number of planes (S132) until the determination object number in (S132) reaches the total number of planes.
[0068]
On the other hand, when an effective gazing point is detected in the determination of whether or not an effective gazing point has been detected (S135), gazing point data is stored (S136). That is, the X coordinate, the Y coordinate, the Z coordinate, the X coordinate of the viewpoint position, the Y coordinate, the Z coordinate, and the data regarding the plane of the gazing point are stored.
[0069]
When the gazing point data is stored (S136), or in the end loop (S137), the determination target number = 1 is the total number of planes in the total number of planes (S132). If it has reached, it is determined whether the end of data has been reached (S118).
[0070]
Here, as shown in FIG. 12, the intersection points P1, P3, P5, and P6 are not effective as a gazing point, and further, the intersection point P2 with the main tower plane in FIG. 12 is not effective as a gazing point. The case will be described. First, among the intersection points on the various planes, the determination target number = 1, the total number of planes (S132) and the intersection point as the gazing point with respect to the intersection point P4 with the cable plane that may be the gazing point. Whether there is validity (S133) will be performed. Then, in determining the validity of the gazing point within the range of the model (S134), as shown in FIG. 18, the respective ranges of the cable range C10, the cable range C20, the cable range C30, and the cable range C40. A determination is made as to whether or not the intersection is effective as a gazing point. Here, the determination as to whether or not the intersection point in the cable range C10 is effective as a gazing point will be described with reference to FIGS. 19 to 22. First, as shown in FIG. It is determined whether or not the intersection exists within the range E20 on the left side of the right boundary line L20 of C10. Next, as shown in FIG. 20, the lower right side of the cable range C10 is determined. It is determined whether or not the intersection exists within the range E21 on the upper left side of the boundary line L21. Next, as shown in FIG. 21, from the lower boundary line L22 of the cable range C10. It is determined whether or not the intersection exists within the range E22 on the upper side. Next, as shown in FIG. 22, the intersection is on the lower right side with respect to the upper left boundary line L23 of the cable range C10. Within the range E23 Whether the intersection point is present determination is made. Then, in determining whether the intersection in the cable range C10 is effective as a gazing point, if it is determined that the intersection does not exist within the range, the intersection in the cable range C10 is effective as a gazing point. Similar to the determination of whether or not there is a property, it is determined whether or not the intersection is effective as a gazing point in the order of the cable range C20, the cable range C30, and the cable range C40. In determining whether the intersection in the cable range C10, the cable range C20, the cable range C30, and the cable range C40 is effective as a gazing point, if the intersection exists in any range, There will be a gazing point at the intersection with the plane. On the other hand, when the intersection does not exist in any of the cable range C10, the cable range C20, the cable range C30, and the cable range C40, the intersection with the plane of the cable is determined as having no validity as a gaze point. The In determining the effectiveness of the gazing point within the range of the model (S134), considering the processing speed, the effectiveness of the gazing point is determined in the order of the cable range C10, the cable range C20, the cable range C30, and the cable range C40. Further, in the determination of the effectiveness of the gazing point of the cable range C10, within the range E20 on the left side of the right boundary line L20, in the range E21 on the upper left side of the lower right boundary line L21. It is determined whether or not the above intersection exists within the range, within the range E22 above the lower boundary line L22, and within the range E23 below the upper left boundary line L23. However, the order of the determination may be other orders.
[0071]
In the first embodiment, the object to be watched is described as a bridge member. However, the object to be watched may be any other object.
As shown in FIG. 23, the configuration of the gazing point detection device W2 of the second embodiment based on the present invention includes an input unit 10, an output unit 20, a monitor 30, a CPU 40, and a storage medium 50b. Yes.
[0072]
Since the input unit 10, the output unit 20, the monitor 30, and the CPU 40 are the same as those in the first embodiment, description thereof is omitted.
[0073]
As shown in FIG. 23, the storage medium 50b includes coordinate conversion means 60 that is means for converting coordinates, and gazing point detection means 70b that is means for detecting a gazing point.
[0074]
Since the configuration of the coordinate conversion means 60 is the same as that of the first embodiment, description thereof is omitted.
[0075]
The gaze point detecting means 70b projects the projected gaze position obtained by projecting on the spherical screen provided around the viewpoint position based on the gaze point data obtained when gaze at the landscape changing with time. The intersection calculation means 71 is a means for calculating the intersection of a straight line connecting the coordinates of the first position and the coordinates of the viewpoint position and various planes virtually provided in advance on a predetermined object, and the intersection point calculation means 71 calculates from the viewpoint position. An orthogonal projection value calculation means 72 that is a means for calculating, on various planes, a value obtained by orthogonally projecting the vector in the intersection direction into a vector in the direction of the line of sight from the viewpoint position, and the projected gaze position calculated by the intersection calculation means 71 Is a means for determining whether or not an intersection of a straight line connecting the coordinates of the point and the coordinate of the viewpoint position and various planes virtually provided in advance on a predetermined object is within a range to be detected as a gazing point. Detection range The coordinates of the projected gaze position calculated by the intersection calculation means 71 by determining whether or not the value of the orthogonal projection value calculated by the internal determination means 73 and the orthogonal projection value calculation means 72 is a positive value. The effective in-field determination means 74, which is a means for determining whether or not the intersection of the straight line connecting the coordinates of the viewpoint position and various planes virtually provided on a predetermined object is an intersection in the effective view. And an in-model range determination means 75b that is a means for determining whether or not the intersection is a gaze within the range of the object.
[0076]
In addition, the model in-range determination means 75b uses the minimum orthogonal projection value, which is an initial determination criterion in the below-described minimum orthogonal projection value determination means 78, as the initial minimum orthogonal projection with the orthogonal projection value at the effective intersection as the point of gaze. An initial minimum orthographic value setting unit 77 which is a unit to set as a value, and an orthographic value which minimizes the orthographic value among orthographic values calculated by the orthographic value calculating unit 72, and The minimum orthographic value determining means 78 that is a means for determining an orthographic value effective as a gazing point at the intersection as a minimum orthographic value, and the coordinates of the projected gaze position and the viewpoint position calculated by the intersection calculating means 71 It has a determination means 79 that is a means for determining whether or not an intersection of a straight line connecting coordinates and various planes virtually provided on a predetermined object is an intersection existing within the range of the object. , The minimum orthographic value The determination means 79 is adapted to determine whether or not the intersection point existing within the range of the object in the set minimum orthogonal projection value by the constant unit 78.
[0077]
Next, the operation of the gazing point detection device W2 will be described with reference to FIGS.
[0078]
The operations from the selection of work (S210) to the effective field of view in the second embodiment until the determination of the effectiveness of the gazing point (S230) are performed within the effective field of view from the selection of work (S110) in the first embodiment. Since it is the same as the operation up to the determination of the validity of the gazing point (S130), the description is omitted.
[0079]
In addition, in the operation of saving the gazing point data in the second embodiment (S237) to rewriting the data relating to the subject (S238), the rewriting of the data relating to the subject (S139) from the saving of the gazing point data in the first embodiment (S138). ), The description is omitted.
[0080]
Subsequent to the operations from the selection of the work (S210) to the determination of the validity of the gazing point (S230) within the effective field of view, the initial minimum orthogonal projection value is calculated (S231). That is, the initial minimum orthogonal projection value setting unit 77 sets the orthogonal projection value at the intersection that is effective as the gazing point as the initial minimum orthogonal projection value. In the process of calculating the initial minimum orthogonal projection value (S231), if there is no intersection effective as a gazing point at the intersection with various planes, that is, the intersection with the various planes is within the detection range. In the determination of the validity of the gazing point (S228), the intersection exceeds the detection range, and the orthogonal projection value becomes 0. Further, in the effective view, the validity of the gazing point is determined (S230). The initial minimum orthographic value is set to 0 when there is no effective point of interest and the orthographic value is negative, and there is no intersecting point with the effective point of interest at the intersection with various planes. It becomes.
[0081]
Next, it is determined whether the initial minimum orthographic projection value is a positive value (S232). That is, it is determined whether or not the initial minimum orthogonal projection value calculated in the calculation of the initial minimum orthogonal projection value (S231) is a positive value.
[0082]
In determining whether the initial minimum orthographic value is a positive value (S232), if the initial minimum orthographic value is not a positive value, it is determined whether the end of data has been reached (S218). Become.
[0083]
On the other hand, in the determination of whether the initial minimum orthographic value is a positive value (S232), when the initial minimum orthographic value is a positive value, the detection of the minimum value of the orthographic value and the orthographic value are determined. Detection of the minimum plane is performed (S233). That is, the minimum orthographic value determination means 78 sets an intersecting point that is the orthographic value that minimizes the orthographic value among the orthographic values and that is effective as a gazing point as the minimum orthographic value. A determination is made and a plane is detected in the orthographic value determined as the minimum orthographic value. In addition, in the detection of the minimum value of the orthogonal projection value and the detection of the plane where the orthogonal projection value is minimum (S233), the orthogonal projection value that minimizes the orthogonal projection value from the orthogonal projection values, and The minimum orthographic value that serves as an initial criterion for determining an intersection that is effective as a gaze point as the minimum orthographic value is the initial minimum orthographic value calculated in the calculation of the initial minimum orthographic value (S231). A determination is made using the value of the projection value.
[0084]
Next, the effectiveness of the gazing point is determined within the range of the model (S234). The operation of determining the validity of the gazing point within the range of the model in the second embodiment (S234) is the same as the operation of determining the effectiveness of the gazing point within the range of the model in the first embodiment (S134). Since there is, explanation is omitted.
[0085]
Next, it is determined whether an effective gazing point has been detected (S235). That is, it is determined whether or not an effective gazing point is detected in determining the effectiveness of the gazing point within the range of the model (S234).
[0086]
In the determination of whether the effective gazing point is detected (S235), when no effective gazing point is detected, the operation is shifted to the calculation of the initial minimum orthogonal projection value (S231), and newly The effectiveness of the gazing point within the range of the model is determined at the intersection where the intersection is effective as the gazing point and the orthographic value is the smallest.
[0087]
On the other hand, when an effective gazing point is detected in the determination of whether the effective gazing point is detected (S235), gazing point data is stored (S236). That is, the X coordinate, the Y coordinate, the Z coordinate, the X coordinate of the viewpoint position, the Y coordinate, the Z coordinate, and the data regarding the plane of the gazing point are stored.
[0088]
Next, the operation moves to the determination of whether the end of the data has been reached (S218), and the gaze point is detected at the next viewpoint position.
[0089]
In the gazing point detection devices W1 and W2 in the first and second embodiments, the directivity value calculating unit 72 sets the directionality from the viewpoint position to the intersection in various planes from the viewpoint position as a base point. While calculating based on the line-of-sight incident direction, the size from the viewpoint position to the intersection in various planes is calculated based on the line-of-sight incident direction based on the viewpoint position, but from the viewpoint position to the intersection in various planes Any other method may be used as long as it can calculate the directionality and the size from the viewpoint position to the intersection in various planes. Further, in the gazing point detection devices W1 and W2 in the first and second embodiments, the orthogonal projection value calculation means 72 directs the viewpoint position to the intersection point in various planes and the viewpoint position in various planes. Although the size to the intersection is calculated at the same time, it can be calculated separately if it is a method that can calculate the directionality from the viewpoint position to the intersection in various planes and the size from the viewpoint position to the intersection in various planes. good.
[0090]
As described above, the gaze point detection devices W1 and W2 are gaze point detection devices that calculate a gaze point when gazes at a landscape that changes over time, and gaze at a landscape that changes over time. Based on the gaze point data obtained at the time, a straight line connecting the coordinates of the projected gaze position obtained by projecting on the screen and the coordinates of the viewpoint position, and various planes virtually provided on a predetermined object in advance A vector from the viewpoint position to the intersection direction between the intersection point calculation means 71 that is a means for calculating the intersection point with the various planes calculated by the intersection point calculation means 71 from the viewpoint position, and a vector in the line-of-sight incident direction arbitrarily set from the viewpoint position The intersection calculation is performed by determining whether the value of the orthogonal projection value calculated by the orthogonal projection value calculation unit 72 is a positive value. Intersection calculated by means 71 Is an effective in-field determination means 74 that is a means for determining whether or not an intersection is gazeable, and an orthogonal projection value determination among the intersections that are determined to be a gaze by the effective visibility determination means 74 Model range determination means 75a and 75b, which are means for determining whether or not the intersection point where the orthogonal projection value calculated by the means 72 is the smallest orthogonal projection value is within the range of a predetermined object. Therefore, it is possible to automatically convert the two-dimensional gaze point data relating to the eye movement when gazes at the landscape changing with time obtained by the eye movement detection device into the three-dimensional gaze point data in absolute coordinates. It is possible to reduce the time to detect the absolute coordinates of the point of gaze when gazing at a landscape that changes continuously over time, and also when gazing at a landscape that changes continuously over time Gaze It is possible to alleviate the operator's work in detecting absolute coordinates. In addition, an intersection that can be watched without detecting an intersection with the plane of the three-dimensional model that cannot actually be observed, such as an intersection with the plane of the three-dimensional model that exists behind. Can be used as a point of interest. Further, in the orthogonal projection value calculation means 72, a value obtained by orthogonally projecting the vector from the viewpoint position to the intersection direction with the various planes calculated by the intersection calculation means to the vector in the direction of the line-of-sight incidence arbitrarily set from the viewpoint position is obtained. By calculating, the directionality from the viewpoint position serving as the determination reference in the effective visual field determination means 74 and the model range determination means 75a and 75b to the intersection point in various planes, and the size from the viewpoint position to the intersection point in various planes Can be calculated at the same time, and the time required to detect the absolute coordinates of the point of gaze when gazing at a landscape that continuously changes over time can be reduced.
[0091]
Further, according to the gazing point detection devices W1 and W2, the intersection point calculation unit 71 is a unit for converting the eyeball direction data obtained by the eyeball direction detection device into data in circular coordinates, and The plane coordinate conversion means 63 which is means for converting the data in the circular coordinates converted by the circle coordinate conversion means 61 into the data in the plane coordinates, and the data in the plane coordinates converted by the plane coordinate conversion means 63 are converted into the data in the spherical coordinates. A spherical coordinate conversion means 65 that is a means, and an absolute coordinate conversion means 67 that is a means for converting the data in the spherical coordinates converted by the spherical coordinate conversion means 65 into the data in the absolute coordinates. With distortion that draws the curvature of the eye direction data by the optical lens used when acquiring data Les it is possible to eliminate.
[0092]
Further, according to the gazing point detection device W1, the intersection between the ascending order rearranging means 76, which is the means for the model range determining means 75a to rearrange in ascending order based on the orthogonal projection value, and various planes is the object range. Determination means 79 that is a means for determining whether or not an intersection exists in the image, and the determination means 79 performs the determination in the order of the orthogonal projection values rearranged in the ascending order by the ascending order rearrangement means 76. Therefore, the determination within the model range can be performed in order from the intersection where the orthographic projection value, which is likely to be a gazing point, decreases.
[0093]
Further, according to the gazing point detection apparatus W2, the model in-range determination unit 75b uses the minimum orthogonal projection value as an initial determination criterion as the initial minimum orthogonal projection value at the intersection point having the validity as the gazing point. Among the orthogonal projection values calculated by the initial minimum orthogonal projection value setting unit 77 and the orthogonal projection value calculation unit 72, the orthogonal projection value that minimizes the orthogonal projection value and at the intersection Whether or not the intersection of minimum orthographic value determination means 78 that is a means for determining an orthographic projection value effective as a gazing point as the minimum orthographic projection value and various planes is an intersection existing within the range of the object Whether or not the determination means 79 is an intersection existing within the range of the object in the minimum orthographic value determined by the minimum orthographic value determination means 78. Is made to judge Because, Note consisting viewpoint from likely orthogonal projection value decreases intersections becomes possible to perform the determination in the range of the model in order.
[0094]
Further, according to the gazing point detection devices W1 and W2, the gazing point detection device is a means for determining whether or not the gazing point detection device is present within the range to be detected as the gazing point at the intersections in various planes. Since the determination unit 73 is provided, the two-dimensional gaze point data relating to the eye movement when the landscape changing with time obtained by the eye movement detection device is watched is automatically converted into the three-dimensional gaze point data in absolute coordinates. When converting, it is possible to easily change the range to be detected as the gazing point.
[0095]
The gaze point detection method using the gaze point detection devices W1 and W2 is a method for detecting a gaze point when gazes at a landscape that changes over time, and is a virtual plane for any various members. A straight line connecting the coordinates of the projected gaze position and the coordinates of the viewpoint position obtained by projecting on the screen based on the gaze point data obtained when gazing at the landscape that changes over time, and the various The intersections between all the virtual planes provided on the member were calculated, and the vector in the direction of intersection with the various planes calculated from the viewpoint position was orthogonally projected to the vector in the direction of the line of sight that was arbitrarily set from the viewpoint position. By calculating the value and determining whether or not the orthographic value indicates a positive value, it is determined whether or not the calculated intersection is a gazeable intersection, and the effectiveness of the intersection as a gazing point As a gaze point Among the intersections that are effective, determine whether or not the intersection that is within the range of the predetermined object at the intersection that has the smallest orthogonal projection value, and as an intersection within the range of the predetermined object If detected, the intersection point is the gazing point, and if it is not detected as an intersection point within the range of the predetermined object, it is an intersection point that is not effective as the gazing point and is an intersection point within the predetermined object range. If the intersection is not effective as a gazing point and the gazing point is no longer effective at all intersections with the virtual plane, the intersection point within the range of the predetermined object When determining whether or not there is an intersection that is within the range of the predetermined object and determining whether or not the intersection is not effective as a gazing point, the intersection on at least one virtual plane In addition, as a point of interest If there is a characteristic, 2 is related to the eye movement at the time of gazing at the landscape obtained by the eye movement detection device to determine whether or not the intersection is within the range of the predetermined object. Dimensional gazing point data can be automatically converted to 3D gazing point data in absolute coordinates, and the absolute coordinates of the gazing point when a landscape changing continuously over time is detected. It is possible to reduce the time required for the operator to perform the operation, and to reduce the operator's work when detecting the absolute coordinates of the gazing point when gazing at the landscape that changes continuously over time. Also, it is determined whether or not the intersection is within a range of a predetermined object that will take time when detecting the absolute coordinates of the point of gaze when gazing at a landscape that changes continuously over time. Before determining whether the calculated intersection is a gazeable intersection and determining whether the intersection is effective as a gazing point, it is within the range of the predetermined object Decrease the number of intersections that determine whether or not they are intersections, and among the intersections that are effective as gazing points, the orthogonal projection value that has the smallest intersection point that is likely to be a gazing point The time when detecting the absolute coordinates of the gazing point when gazing at the landscape that changes continuously over time by determining whether or not the intersection is within the range of the predetermined object Can be shortened.
[0096]
【The invention's effect】
According to the gaze point detection device of claim 1 based on the present invention, it is a gaze point detection device that calculates a gaze point when gazes at a landscape that changes over time, and gazes at a landscape that changes over time. Based on the gazing point data obtained at the time, the projection gaze position coordinates obtained by projecting on the screen and the straight line connecting the viewpoint position coordinates, and various types of virtual objects provided in advance on a predetermined object The vector from the viewpoint position to the intersection direction with the intersection plane calculated by the intersection calculation means from the viewpoint position to the intersection direction calculation means, which is a means to calculate the intersection with the plane, is changed to the vector in the direction of the line-of-sight incidence set arbitrarily from the viewpoint position. Calculated by the intersection calculation means by determining whether the value of the orthogonal projection value calculated by the orthogonal projection value calculation means and the orthogonal projection value calculation means is a means for calculating the orthogonal projection value. Intersections that can be watched The orthographic projection value calculated by the orthographic projection value determination unit among the intersections determined to be gazeable by the effective visibility determination unit and the effective visibility determination unit that is a unit for determining whether or not there is And a model in-range determination unit that is a unit for determining whether or not the intersection is within the range of a predetermined object at the intersection at which is the smallest orthogonal projection value. 2D gazing point data related to eye movements when gazing at a changing landscape, can be automatically converted into 3D gazing point data in absolute coordinates, and changes continuously over time The operator who reduces the time when detecting the absolute coordinates of the gaze point when looking at the scenery to be observed, and further detects the absolute coordinates of the gaze point when looking at the landscape that changes continuously over time Reduce the work of So it becomes possible. In addition, an intersection that can be watched without detecting an intersection with the plane of the three-dimensional model that cannot actually be observed, such as an intersection with the plane of the three-dimensional model that exists behind. Can be used as a point of interest. Further, the orthogonal projection value calculation means calculates a value obtained by orthogonally projecting the vector from the viewpoint position to the intersection direction with the various planes calculated by the intersection calculation means to the vector in the direction of the line-of-sight incidence set arbitrarily from the viewpoint position. By simultaneously calculating the directionality from the viewpoint position serving as the determination reference in the effective visual field determination means and the model range determination means to the intersection point in various planes, and the size from the viewpoint position to the intersection point in various planes. This makes it possible to reduce the time required to detect the absolute coordinates of the point of gaze when gazes at a landscape that changes continuously over time.
[0097]
In particular, according to the gazing point detection device according to claim 2, the intersection point calculation means is a means for converting the eyeball direction data obtained by the eyeball direction detection device into data in a circular coordinate system. And plane coordinate conversion means which is means for converting the data in the circular coordinates converted by the circular coordinate conversion means into data in the plane coordinates, and means for converting the data in the plane coordinates converted by the plane coordinate conversion means into data in the spherical coordinates The spherical coordinate conversion means and the absolute coordinate conversion means for converting the data in the spherical coordinates converted by the spherical coordinate conversion means into the data in the absolute coordinates, so that the eyeball direction detection device acquires the eyeball direction data. It is possible to eliminate the deviation from the distortion that draws the curvature of the eye direction data by the optical lens used at the time That.
[0098]
In particular, according to the gazing point detection device according to claim 3, intersections between the ascending order rearrangement unit, which is a unit in which the model range determination unit rearranges in ascending order based on the orthogonal projection value, and various planes are provided. Determination means that is a means for determining whether or not an intersection exists within the range of the object, and the determination means determines in the order of the orthogonal projection values rearranged in ascending order by the ascending order rearranging means Therefore, it is possible to make a determination within the model range in order from the intersection where the orthographic projection value that is likely to be a gazing point is small.
[0099]
In particular, according to the gazing point detection device according to claim 4, the in-model range determination means calculates the orthogonal projection value at the effective intersection as the gazing point using the minimum orthogonal projection value as an initial determination criterion. An initial minimum orthographic value setting means that is a means for setting as an initial minimum orthographic value, and an orthographic value that minimizes the orthographic value from among the orthographic values calculated by the orthographic value calculating means, and The intersection of the minimum orthographic value determination means, which is a means for determining the orthographic value that is effective as the gazing point at the intersection as the minimum orthographic value, and the various planes are the intersections existing within the range of the object Whether or not the determination means is an intersection existing within the range of the object in the minimum orthogonal projection value determined by the minimum orthogonal projection value determination means. Because it is made to judge, attention point Likely orthogonal projection value comprised becomes possible to determine from the intersection becomes smaller within the range of the model in order.
[0100]
In particular, according to the gazing point detection device according to claim 5, the gazing point detection device is a means for determining whether or not the gazing point detection device is present within a range to be detected as a gazing point at intersections on various planes. Since it has a certain detection range determination means, the two-dimensional gazing point data regarding the eye movement when gazing at the landscape changing with time obtained by the eye movement detecting device is changed to the three-dimensional gazing point data in absolute coordinates. When automatic conversion is performed, it is possible to easily change the range to be detected as a gazing point.
[0101]
In particular, according to the gaze point detection method according to claim 6, it is a method for detecting a gaze point when gazes at a landscape that changes over time, and a virtual plane is provided for any of various members, A line connecting the coordinates of the projected gaze position and the coordinates of the viewpoint position obtained by projecting on the screen based on the gaze point data obtained when gazing at the landscape that changes over time, and the various members Calculate the intersection points with all virtual planes, and calculate the orthogonal projection of the vector in the direction of intersection with the various planes calculated from the viewpoint position to the vector in the direction of gaze incidence that is arbitrarily set from the viewpoint position. Then, by determining whether or not the orthogonal projection value indicates a positive value, it is determined whether or not the calculated intersection is a gazeable intersection, and whether the intersection is effective as a gazing point To determine whether or not it is effective as a gaze point In the intersection where the orthogonal projection value is the smallest orthogonal projection value, it is determined whether or not the intersection is within the range of the predetermined object, and when detected as an intersection within the range of the predetermined object, If the intersection is a gazing point, if it is not detected as an intersection within the range of the predetermined object, it is determined that the intersection is ineffective within the range of the predetermined object. Whether or not the intersection point is within the range of the predetermined object when the intersection point with no gazing point is no longer effective as the gazing point at all intersections with the virtual plane. When the determination is finished, it is determined whether or not the intersection is within the range of the predetermined object, and when the intersection is not effective as the gazing point, the intersection point on at least one virtual plane is set as the gazing point. If there is validity Two-dimensional gazing point data relating to eye movements when gazing at a time-varying landscape obtained by the eye movement detection device in order to determine whether or not the intersection is within the range of the predetermined object. Can be automatically converted into three-dimensional gaze point data in absolute coordinates, and the time for detecting the absolute coordinates of the gaze point when gazing at a landscape that continuously changes over time can be obtained. Further, it is possible to reduce the operator's work when detecting the absolute coordinates of the gazing point when the gaze of the landscape changing continuously with time is shortened. Also, it is determined whether or not the intersection is within a range of a predetermined object that will take time when detecting the absolute coordinates of the point of gaze when gazing at a landscape that changes continuously over time. Before determining whether the calculated intersection is a gazeable intersection and determining whether the intersection is effective as a gazing point, it is within the range of the predetermined object Decrease the number of intersections that determine whether or not they are intersections, and among the intersections that are effective as gazing points, the orthogonal projection value that has the smallest intersection point that is likely to be a gazing point The time when detecting the absolute coordinates of the gazing point when gazing at the landscape that changes continuously over time by determining whether or not the intersection is within the range of the predetermined object Can be shortened.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a gazing point detection device according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram for explaining the operation of the gazing point detection device according to the first embodiment of the present invention.
FIG. 3 is an explanatory diagram for explaining the operation of the gazing point detection device according to the first embodiment of the present invention.
FIG. 4 is an explanatory diagram for explaining the operation of the gazing point detection device according to the first embodiment of the present invention.
FIG. 5 is an explanatory diagram showing points used for inputting coordinates of a bridge structure.
FIG. 6 is an explanatory view showing a plane to be used.
FIG. 7 is an explanatory diagram showing an example in which a reproduced video image is watched.
FIG. 8 is an explanatory diagram showing conversion into circular coordinates.
FIG. 9 is an explanatory diagram showing conversion into plane coordinates.
FIG. 10 is an explanatory diagram showing conversion into spherical coordinates.
FIG. 11 is an explanatory diagram showing an intersection with each plane.
FIG. 12 is an explanatory diagram showing an intersection with each plane.
FIG. 13 is an explanatory diagram showing a detailed range of the main tower.
FIG. 14 is an explanatory diagram showing an example of determining the detailed range of the main tower.
FIG. 15 is an explanatory diagram showing an example of determining the detailed range of the main tower.
FIG. 16 is an explanatory diagram showing an example of determining the detailed range of the main tower.
FIG. 17 is an explanatory diagram showing an example of determining the detailed range of the main tower.
FIG. 18 is an explanatory diagram showing a detailed range of a cable.
FIG. 19 is an explanatory diagram illustrating an example of determination of a detailed range of a cable.
FIG. 20 is an explanatory diagram showing an example of determination of a detailed range of a cable.
FIG. 21 is an explanatory diagram showing an example of determination of a detailed range of a cable.
FIG. 22 is an explanatory diagram showing an example of determination of a detailed range of a cable.
FIG. 23 is a block diagram showing a configuration of a gazing point detection device according to a second embodiment of the present invention.
FIG. 24 is an explanatory diagram for explaining the operation of the gazing point detection device according to the second embodiment of the present invention.
FIG. 25 is an explanatory diagram illustrating the operation of the gazing point detection device according to the second embodiment of the present invention.
FIG. 26 is an explanatory diagram for explaining the operation of the gazing point detection device according to the second embodiment of the present invention.
[Explanation of symbols]
W1, W2 Gaze point detection device
61 Circular coordinate conversion means
63 Planar coordinate conversion means
65 Spherical coordinate conversion means
67 Absolute coordinate conversion means
71 Intersection calculation means
72 Orthographic projection value calculation means
73 In-detection range determination means
74 Effective visual field judging means
75a, 75b Model range determination means
76 Sorting means in ascending order
77 Initial minimum orthographic value setting means
78 Minimum orthographic projection value judging means
79 Judgment means

Claims

A gazing point detection device that calculates a gazing point when gazing at a landscape that changes over time,
Based on the gaze point data obtained when gazing at the scenery that changes over time, a straight line connecting the coordinates of the projected gaze position obtained by projecting on the screen and the coordinates of the viewpoint position, Intersection calculation means, which is means for calculating intersections with various planes virtually provided on the object;
Orthographic value calculation means that is a means for calculating a value obtained by orthogonally projecting a vector in the direction of intersection with various planes calculated by the intersection calculation means from the viewpoint position to a vector in the direction of incidence of the line of sight arbitrarily set from the viewpoint position When,
Means for determining whether or not the intersection calculated by the intersection calculation means is a gazeable intersection by determining whether or not the value of the orthogonal projection value calculated by the orthogonal projection value calculation means indicates a positive value. An effective in-field determination means,
Among the intersections that are determined to be gazeable by the effective in-field determination means, within the range of the predetermined object at the intersection where the orthogonal projection value calculated by the orthogonal projection value determination means is the smallest A gazing point detection apparatus comprising: a model range determination unit that is a unit that determines whether or not the intersection is in a circle.

The intersection point calculation means is a circular coordinate conversion means which is means for converting the data of the eyeball direction obtained by the eyeball direction detection device into data in a circle coordinate;
Plane coordinate conversion means, which is means for converting the data in the circular coordinates converted by the circle coordinate conversion means into data in the plane coordinates;
Spherical coordinate conversion means, which is means for converting data in the plane coordinates converted by the plane coordinate conversion means into data in spherical coordinates;
2. The gazing point detection device according to claim 1, further comprising: absolute coordinate conversion means which is means for converting the data in spherical coordinates converted by the spherical coordinate conversion means into data in absolute coordinates.

Ascending order rearrangement means, which is a means for the model range determination means to rearrange in ascending order based on the orthogonal projection value;
Determination means that is a means for determining whether or not an intersection with various planes is an intersection existing within the range of the object,
The gazing point detection apparatus according to claim 1 or 2, wherein the determination unit performs the determination in the order of the orthogonal projection values rearranged in the ascending order by the ascending order rearranging unit.

The initial minimum orthographic value setting means is a means for setting the orthographic projection value at the effective intersection as the gazing point as the initial orthographic projection value as the initial orthographic projection value. When,
The orthographic projection value that minimizes the orthographic projection value from the orthographic projection values calculated by the orthographic projection value calculation means, and the orthographic projection value that is effective as a gazing point at the intersection is used as the minimal orthographic projection value. Minimum orthographic value determination means as means for determination;
Determination means that is a means for determining whether or not an intersection with various planes is an intersection existing within the range of the object,
The determination means according to claim 1 or 2, wherein the determination means determines whether or not the intersection exists within the range of the object in the minimum orthogonal projection value determined by the minimum orthogonal projection value determination means. The gazing point detection device described.

3. The gazing point detection device includes an in-detection range determination unit which is a unit for determining whether or not the intersection point on various planes is within a range to be detected as a gazing point. Or the gaze point detection apparatus of 3 or 4.

A method for detecting a gazing point when gazing at a landscape that changes over time,
The coordinates of the projected gaze position and the coordinates of the viewpoint position obtained by projecting on the screen based on the gaze point data obtained when a virtual plane is provided for any of various members and the landscape changing over time is observed. And the intersections between the straight line connecting the two and all virtual planes provided on the various members,
Calculate the orthogonal projection of the vector in the direction of the intersection with the various planes calculated from the viewpoint position to the vector in the direction of the line-of-sight incidence arbitrarily set from the viewpoint position,
By determining whether or not the orthographic value indicates a positive value, it is determined whether or not the calculated intersection is a gazeable intersection and whether or not the intersection is effective as a gazing point. Determine
Among the intersections that are effective as gazing points, determine whether or not the intersection is within the range of a given object at the intersection where the orthographic value is the smallest orthographic value,
If it is detected as an intersection within the range of a given object, the intersection will be the gazing point,
If it is not detected as an intersection within the range of a given object, it will be an intersection that is not effective as a gazing point,
When it is determined whether or not the intersection is within the range of a given object, and the intersection is not effective as a gazing point, the gazing point is no longer effective at the intersection with all virtual planes. The determination of whether or not the intersection is within the range of the predetermined object,
When it is determined whether or not the intersection is within the range of the predetermined object, and the intersection is not effective as a gazing point, the intersection in at least one virtual plane is effective as the gazing point In this case, it is determined whether or not the intersection is within the range of the predetermined object.