JP2014186720A

JP2014186720A - 注視点変換装置および方法

Info

Publication number: JP2014186720A
Application number: JP2014024919A
Authority: JP
Inventors: Hayato Oki; 隼沖; Takashi Ogawa; 隆小川; Tomoko Kobori; 智子小堀; Yasuhisa Matsuba; 靖寿松葉
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2013-02-19
Filing date: 2014-02-12
Publication date: 2014-10-02
Anticipated expiration: 2034-02-12
Also published as: JP6327441B2

Abstract

【課題】アイトラッキング装置が撮影する対象物が立体的な場合であっても，アイトラッキング装置が出力した注視点座標を対象物の基準画像上の座標に正確に変換できる装置を提供する。
【解決手段】注視点変換装置１は，左右方向の撮影位置を変えて対象物を撮影することで得られた複数の参照画像を記憶した参照画像ＤＢ１２と，アイトラッキング装置２から入力されたシーン画像の特徴点を抽出した後，参照画像ＤＢ１２に記憶している参照画像毎に，シーン画像と参照画像の特徴点を利用して，シーン画像の特徴点と参照画像の特徴点を対応付けすることで，シーン画像と参照画像間における対応点を探索する処理を行い，対応点の探索結果に基づいて参照画像を選択する対応点探索手段１０と，対応点探索手段１０が選択した参照画像にかかる対応点を用いて，注視点を対象物の基準画像上の座標に変換する処理を行う注視点変換手段１１を備えている。
【選択図】図３

Description

本発明は，アイトラッキング装置から出力される注視点を，対象物の基準画像上の座標に変換するための技術に関する。

２画像間における対応点を探索する処理は様々な分野で利用されている。例えば，特許文献１では，マーカを用いることなく拡張現実（AR: Augmented Reality）を行うマーカーレスＡＲの分野において，データベースに予め記憶された現実世界の画像である複数の参照画像の中から，カメラで撮影した現実世界の画像であるシーン画像（特許文献１では入力画像）に対応する参照画像を検索するために，シーン画像とデータベースに予め記憶された参照画像間における対応点を探索することが記載されている。

また，特許文献２では，ユーザビリティテストの分野において，被験者の注視点を計測する際，特許文献３などで開示されているようなアイトラッキング装置から得られた注視点を，対象物全体を撮影した画像である基準画像上の座標に変換する座標変換行列を演算するために，アイトラッキング装置が撮影した画像であるシーン画像と対象物の基準画像間における対応点を探索することが記載されている。

特開２０１２−１６００４７号公報特開２０１１−１９４１０５号公報ＷＯ２００９/１４２００８号公報

アイトラッキング装置から得られた注視点を，正面から対象物全体を撮影した対象物の基準画像上の座標に変換する座標変換行列を演算するために，アイトラッキング装置が撮影した画像であるシーン画像と対象物の基準画像間における対応点を探索する際，ユーザビリティテストの対象となる対象物の形状が平面（チラシやウェブページ）ならば，特許文献２で開示しているように，シーン画像と対象物の基準画像の特徴点を利用して，シーン画像と対象物の基準画像間における対応点を探索することができるが，ユーザビリティテストの対象となる対象物が立体の場合，対象物の基準画像を撮影したときのカメラの方向と，シーン画像を撮影したときのカメラの方向が異なると，シーン画像と対象物の基準画像間における対応点を座標変換行列の演算に必要な数だけ探索できず，結果として，アイトラッキング装置が出力した注視点を対象物の基準画像上の座標に正確に変換できないケースがあった。

図１０は，カメラの方向の変化に伴う特徴点の変化を説明する図で，ここでは，対象物を屋根型の紙パックとしている。屋根型の紙パックを真正面から見た場合，紙パックの側面は見えないため，紙パックを真正面から撮影した対象物は長方形で，紙パックを真正面から撮影した画像から得られる特徴点は，例えば，図１０（ａ）のようになる。

また，屋根型の紙パックを斜めから見た場合，紙パックの側面の一部が見えるため，この紙パックを斜めから撮影した画像には，紙パックの側面の一部が含まれ，紙パックを斜めから撮影した画像から得られる特徴点は，例えば，図１０（ｂ）のようになる。

図１０（ａ）と（ｂ）を比較すればわかるように，図１０（ｂ）には，図１０（ａ）には存在しない特徴点が存在し，また，特徴点の配列も異なるため，図１０（ａ）と（ｂ）の画像間における対応点を正確に探索することができない。

そこで，本発明は，注視点が付加したシーン画像を出力するアイトラッキング装置が撮影する対象物が立体的な場合であっても，アイトラッキング装置が出力した注視点を対象物の参照画像上の座標に正確に変換できる装置および方法を提供することを目的とする。

上述した課題を解決する第１の発明は，左右方向または上下方向の撮影位置を変えて対象物を撮影することで得られた複数の参照画像を記憶した参照画像データベースと，注視点が付加されたシーン画像が入力されると，前記シーン画像の特徴点を抽出した後，前記参照画像データベースに記憶している前記参照画像毎に，前記シーン画像の特徴点と前記参照画像の特徴点を利用して，前記シーン画像と前記参照画像間における対応点を探索する処理を行い，対応点の探索結果に基づいて前記参照画像を選択する対応点探索手段と，前記対応点探索手段が選択した前記参照画像にかかる対応点を用いて，前記シーン画像上の座標を前記参照画像上の座標に変換する参照画像用座標変換行列を演算した後，前記参照画像用座標変換行列を用いて前記シーン画像に付加された注視点を前記対応点探索手段が選択した前記参照画像上の座標に変換する注視点変換手段を備えたことを特徴とする注視点変換装置である。

第１の発明にかかる注視点変換装置が，左右方向の撮影位置を変えて対象物を撮影することで得られた複数の前記参照画像を複数記憶するのは，前記シーン画像が様々な方向で撮影される可能性があるからである。前記シーン画像と前記参照画像間における対応点を探索する処理を，前記参照画像毎に行えば，前記シーン画像と撮影方向が最も近い前記参照画像において，多くの対応点を得ることができ，対応点の数が多ければ，参照画像用座標変換行列を正確に演算することが可能になる。

更に，第２の発明は，第１の発明に記載した注視点変換装置において，前記注視点変換手段は，選択した前記参照画像上の座標に変換した注視点を，正面から対象物全体を撮影した対象物の基準画像上の座標に変換する処理を行うことを特徴とする。第２の発明によれば，アイトラッキング装置が出力した注視点を対象物の基準画像上の座標に精度よく変換できる。

更に，第３の発明は，第２の発明に記載した注視点変換装置において，前記参照画像データベースに記憶した前記参照画像を，左右方向の撮影位置を変え対象物の全体を撮影して得られた画像を所定の手順で分割した画像とすることを特徴とする。

対象物全体を撮影した画像を前記参照画像とすると，前記シーン画像の領域が対象物全体に対して小さいと，探索できる対応点の数が必要数よりも少なくなってしまうケースがあるが，第３の発明のように，対象物全体を撮影して得られた画像を所定の手順で分割した画像を前記参照画像とすることで，このようなことはなくなる。

更に，第４の発明は，第１の発明に記載した注視点変換装置において，前記参照画像は，対象物上の撮影個所を重複させて撮影した画像で，対象物上の撮影個所が重複している前記参照画像間においては，重複している個所である重複部の注視点が統合される被統合参照画像と，前記重複部の注視点の統合先となる統合先参照画像を予め定めておき，前記注視点変換手段は，選択した前記参照画像が前記被統合参照画像の場合，前記被統合参照画像における前記重複部内の注視点を前記統合先参照画像上の座標に変換する重複部用座標変換行列を用いて，前記被統合参照画像における重複部内の注視点を前記統合先参照画像上の座標に変換した後，前記統合先参照画像上の座標に変換した注視点を前記統合先参照画像に関連付けて記憶し，前記被統合参照画像における前記重複部以外の注視点については，上述の座標変換を行うことなく，前記被統合参照画像に関連付けて記憶し，選択した前記参照画像が前記統合先参照画像の場合，前記重複部内の注視点であるか否かにかかわらず，前記統合先参照画像上の注視点を前記統合先参照画像に関連付けて記憶することを特徴とする。

第４の発明によれば，撮影範囲が重なり合うように撮影された前記参照画像の場合であっても，重複して撮影された対象物上の個所である前記重複部の注視点は前記統合先参照画像に統合できるため，注視点の可視化結果を前記参照画像上に表示しても，前記重複部に係る可視化結果が複数の前記参照画像に分散されることはなくなる。

更に，第５の発明は，第４の発明に記載した注視点変換装置において，前記被統合参照画像上の前記重複部の領域と前記統合先参照画像上の前記重複部の領域をユーザが設定する際に用いられる重複部設定手段と，前記重複部設定手段を用いて設定された前記被統合参照画像上の前記重複部における特徴点と，前記統合先参照画像上の前記重複部における特徴点を抽出し，前記被統合参照画像上の前記重複部と前記統合先参照画像上の前記重複部間における対応点を探索する処理を行い，この対応点を用いて前記重複部用座標変換行列を演算する重複部用座標変換行列算出手段を備えていることを特徴とする。第５の発明は，第４の発明に記載した前記注視点変換装置において，前記重複部用座標変換行列を演算できるようにした発明である。

更に，第６の発明は，第５の発明に記載した注視点変換装置において，前記重複部用座標変換行列算出手段は，対応点を探索する処理において，前記重複部用座標変換行列を演算するために必要な数の対応点を探索できなかった場合，前記被統合参照画像上の前記重複部における特徴点と前記統合先参照画像上の前記重複部における特徴点間の対応点を手動でユーザに設定させることを特徴とする。第６の発明は，第５の発明に記載した注視点変換装置において，前記重複部用座標変換行列を演算するために必要な数の対応点を探索できなかった場合，前記被統合参照画像上の前記重複部における特徴点と前記統合先参照画像上の前記重複部における特徴点間の対応点を手動でユーザに設定させるようにした発明である。

更に，第７の発明は，注視点が付加されたシーン画像が入力される注視点変換装置が，注視点が付加されたシーン画像が入力されると，前記シーン画像の特徴点を抽出した後，左右方向の撮影位置を変えて対象物を撮影することで得られた参照画像毎に，前記シーン画像と前記参照画像の特徴点を利用して，前記シーン画像と前記参照画像間における対応点を探索する処理を行い，対応点の探索結果に基づいて前記参照画像を選択する工程１と，前記注視点変換装置が，選択した前記参照画像にかかる対応点を用いて，前記シーン画像上の座標を前記参照画像上の座標に変換する参照画像用座標変換行列を演算した後，前記参照画像用座標変換行列を用いて前記シーン画像に付加された注視点を選択した前記参照画像上の座標に変換する処理を行う工程２を含むことを特徴とする注視点変換方法である。

更に，第８の発明は，第７の発明に記載した注視点変換方法において，前記工程２において，前記注視点変換装置は，前記参照画像用座標変換行列を用いて前記シーン画像に付加された注視点を選択した前記参照画像上の座標に変換した後，選択した前記参照画像上の座標に変換した注視点を対象物の基準画像上の座標に変換することを特徴する。

更に，第９の発明は，第８の発明に記載した注視点変換方法において，前記参照画像を，左右方向の撮影位置を変え対象物の全体を撮影して得られた画像を所定の手順で分割した画像とすることを特徴とする。

更に，第１０の発明は，第７の発明に記載した注視点変換方法において，前記参照画像は，対象物上の撮影個所を重複させて撮影した画像で，対象物上の撮影個所が重複している前記参照画像間においては，重複している重複部の注視点が統合される被統合参照画像と，前記重複部の注視点の統合先となる統合先参照画像を予め定めておき，前記工程２において，前記注視点変換装置は，選択した前記参照画像が前記被統合参照画像の場合，前記被統合参照画像における前記重複部内の注視点を前記統合先参照画像上の座標に変換する重複部用座標変換行列を用いて，前記被統合参照画像における重複部内の注視点を前記統合先参照画像上の座標に変換した後，前記統合先参照画像上の座標に変換した注視点を前記統合先参照画像に関連付けて記憶し，前記被統合参照画像における前記重複部以外の注視点については，上述の座標変換を行うことなく，前記被統合参照画像に関連付けて記憶し，選択した前記参照画像が前記統合先参照画像の場合，前記重複部内の注視点であるか否かにかかわらず，前記統合先参照画像上の注視点を前記統合先参照画像に関連付けて記憶することを特徴とする。

このように，本発明によれば，注視点が付加したシーン画像を出力するアイトラッキング装置を用いたユーザビリティテストの対象となる対象物が立体的な場合であっても，アイトラッキング装置が出力した注視点を対象物の参照画像上の座標に正確に変換できる装置および方法を提供できる。また，対象物のサイズが商品棚のようにサイズは大きいが，対象物前の通路が狭く，カメラの視野角的に対象物全体を撮影できない環境では，対象物の画像は，左方向から対象物を撮影した画像と右方向から対象物を撮影した画像の２つに少なくとも分かれてしまうが，本発明によれば，このような環境であっても，アイトラッキング装置が出力した注視点を対象物の参照画像上の座標に正確に変換できる効果が得られる。

第１実施形態にかかる注視点変換装置を用いたシステム構成を説明する図。アイトラッキング装置に備えられた機能を説明する図。第１実施形態における注視点変換装置に備えられた機能を説明する図。第１実施形態における参照画像ＤＢの内容を説明する図。第１実施形態における参照画像を説明する図。第１実施形態において対応点探索手段が実行する処理を説明するフロー図。対応点を説明する図である。第１実施形態において注視点を変換する処理を説明する図。第１実施形態において注視点変換手段が実行する処理を説明するフロー図。カメラの方向の変化に伴う特徴点の変化を説明する図。第２実施形態にかかる注視点変換装置に備えられた機能を説明する図。第２実施形態における参照画像ＤＢを説明する図。第２実施形態における参照画像を説明する図。重複部に含まれる注視点にかかる処理を説明する図。第２実施形態において対応点探索手段が実行する処理を説明するフロー図。対応点を説明する図である。第２実施形態において注視点変換手段が実行する処理を説明するフロー図。重複部用座標変換行列を求める処理を説明するフロー図。

ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。
［第１実施形態］

第１実施形態は，注視点が付加したシーン画像を出力するアイトラッキング装置を用いたユーザビリティテストの対象となる対象物が立体的な場合であっても，アイトラッキング装置が出力した注視点を，正面から対象物全体を撮影した対象物の基準画像上の座標に正確に変換できるようにする実施形態である。

図１は，第１実施形態にかかる注視点変換装置１を用いたシステム構成を説明する図である。図１では，被験者が実際にみている箇所である注視点を検出し，注視点を付加したシーン画像を出力するヘッドマウント型のアイトラッキング装置２と，アイトラッキング装置２が出力したシーン画像に付加された注視点を，ユーザビリティテストの対象となる対象物の基準画像上の座標に変換する注視点変換装置１を図示している。

特許文献２に記載があるように，アイトラッキング装置２が検出した注視点を対象物の基準画像上の座標に変換する処理を行う際，アイトラッキング装置２が出力したシーン画像の特徴点を抽出し，シーン画像と参照画像の特徴点を利用して，シーン画像と対象物の基準画像間における対応点を探索した後，シーン画像上の座標を対象物の基準画像上の座標に変換する参照画像用座標変換行列を演算するが，対象物が立体的の場合，アイトラッキング装置２のカメラの方向によっては，シーン画像に含まれる物体の形状が対象物の基準画像とは異なることで，シーン画像と対象物の基準画像間における対応点を必要な数だけ探索できないことがある。

そこで，第１実施形態では，対応点の探索に用いる画像として，それぞれ異なる方向から対象物を撮影して得られた参照画像を複数用意し，対応点の探索に参照画像を用いることで，対象物が立体的の場合であっても，対応点を探索できるようにしている。

まず，図１で図示したアイトラッキング装置２について説明する。図２は，アイトラッキング装置２に備えられた機能を説明する図である。

第１実施形態のアイトラッキング装置２は，被験者の頭部に装着するヘッドマウント型の装置で，アイトラッキング装置２を装着している被験者の視線先のシーン画像を撮影するカメラ２１と，被験者がみている箇所である注視点を検出する注視点検出手段２２と，注視点を付加したシーン画像を動画の形式で出力する撮影制御手段２０を備える。

このような機能を備えたアイトラッキング装置２に係る発明として，上述した特許文献３が既に開示されている。アイトラッキング装置２が注視点検出手段２２を備えるのは，カメラの方向と被験者が実際にみている方向が異なる場合があるからで，被験者の注視点を検出する手法としては，被験者の瞳孔を撮影して解析する手法もあるが，特許文献３では，眼電位を用いて被験者の注視点を検出している。

次に，第１実施形態にかかる注視点変換装置１について説明する。図３は，注視点変換装置１に備えられた機能を説明する図である。第１実施形態にかかる注視点変換装置１は，汎用的なコンピュータを利用して実現される装置で，ＤＢを除く各機能は，注視点変換装置１として利用するコンピュータを動作させるコンピュータプログラムによって実現できる。

図３に図示したように，第１実施形態にかかる注視点変換装置１は，それぞれ異なる方向から対象物を撮影して得られた参照画像を複数記憶した参照画像ＤＢ１２と，注視点が付加されたシーン画像がアイトラッキング装置２から入力されると，シーン画像の特徴点を抽出した後，参照画像ＤＢ１２に記憶している参照画像毎に，シーン画像と参照画像の特徴点を利用して，シーン画像と参照画像間における対応点を探索する処理を行い，対応点の探索結果に基づいて参照画像を選択する対応点探索手段１０と，対応点探索手段１０が選択した参照画像にかかる対応点を用いて，シーン画像上の座標を参照画像上の座標に変換する参照画像用座標変換行列を演算した後，参照画像用座標変換行列を用いてシーン画像に付加された注視点を選択した参照画像上の座標に変換し，更に，選択した参照画像上の注視点を対象物の基準画像上の座標に変換する処理を行う注視点変換手段１１を備えている。

まず，参照画像ＤＢ１２に記憶する参照画像について説明する。図４は，第１実施形態における参照画像ＤＢ１２の内容を説明する図である。

参照画像ＤＢ１２には，それぞれ異なる方向から対象物を撮影して得られた参照画像を複数記憶され，図４に図示したように，第１実施形態では，対象物の撮影方向を，便宜的に，正面，右側および左側の３つとしている。

対象物全体を撮影した画像を参照画像として用いることもできるが，シーン画像の領域が対象物全体に対して小さいと，探索できる対応点の数が必要数よりも少なくなってしまうケースがあるため，第１実施形態では，対象物の左右中心線および上下中心線で，対象物全体を撮影したときの画像を区切ることで該画像を４つに分割し，分割して得られた画像それぞれを対応点の探索に用いる参照画像として参照画像ＤＢ１２に記憶している。

なお，ここでは，対象物全体を撮影した画像を４つに分割しているが，対象物全体を撮影した画像を分割する内容は任意に決定できる。例えば，対象物全体を撮影した画像から，２つに分割した画像と４つに分割した画像を生成し，それぞれの画像を参照画像とすることもできる。

上述したように，第１実施形態では，対象物の撮影方向を，正面，右側および左側の３つとしているため，正面から対象物全体を撮影した画像を４分割して得られた４つの参照画像と，右方向から対象物全体を撮影した画像を４分割して得られた４つの参照画像と，左方向から対象物全体を撮影した画像を４分割して得られた４つの参照画像の合計１２個を参照画像ＤＢ１２に記憶している。

図５は，参照画像ＤＢ１２に記憶されている参照画像を説明する図である。図５（ａ）は，正面から対象物全体を撮影した画像である。第１実施形態では立体的な対象物を２段２列の商品棚とし，左上段に屋根型の紙パック，右上段に立方体の紙パック，左下段に角形のペットボトル，そして，右下段に円柱の缶を商品棚に陳列している。図５（ａ）において，左右中心線および上下中心線で区切られた画像それぞれが，正面から対象物全体を撮影した画像を４分割した４つの参照画像となる。

図５（ｂ）は，右側から対象物全体を撮影した画像である。この画像では，商品棚の右側に陳列されている商品（例えば，立方体の紙パック）が大きく，商品棚の左側に陳列されている商品（例えば，屋根型の紙パック）が小さく撮影されている。また，対象物を右側から撮影することで，陳列されている商品（例えば，屋根型の紙パック）の正面のみならず，該商品の側面の一部が撮影されている。図５（ｂ）において，左右中心線および上下中心線で区切られた画像それぞれが，右方向から対象物全体を撮影した画像を４分割した参照画像となる。

図５（ｃ）は，左側から対象物全体を撮影した画像である。この画像では，商品棚の左側に陳列されている商品（例えば，屋根型の紙パック）が大きく，商品棚の右側（例えば，立方体の紙パック）に陳列されている商品が小さく撮影されている。また，対象物を左側から撮影することで，陳列されている商品（例えば，屋根型の紙パック）の正面のみならず，該商品の側面の一部が撮影されている。図５（ｃ）において，左右中心線および上下中心線で区切られた画像それぞれが，左方向から対象物全体を撮影した画像を４分割した参照画像となる。

図５に図示したように，対象物が立体的の場合，対象物を撮影する方向によって，撮影される対象物の形状が変わるため，対象物を撮影する方向によってシーン画像から抽出される特徴点も変わることになる。

次に，注視点変換装置１が備える対応点探索手段１０について説明する。図６は，注視点変換装置１が備える対応点探索手段１０が実行する処理を説明するフロー図である。アイトラッキング装置２はシーン画像を動画形式で出力するため，図６の手順は，アイトラッキング装置２が出力する動画のフレーム毎に実行されることになる。

注視点変換装置１の対応点探索手段１０は，まず，アイトラッキング装置２が出力したシーン画像の特徴点を抽出する（Ｓ１）。

２画像間における対応点を探索するためには，画像の特徴点と共に，画像の回転やスケールの変化に対してロバスト性を有する特徴量を算出できることが望ましく，特徴点と共にこのような特徴量を算出する手法として，ＳＩＦＴ（Scale Invariant Feature Transform）やＳＵＲＦ（Speed-Up Robust Features）が知られている。例えば，ＳＩＦＴでは，輝度勾配方向を利用して画像のＳＩＦＴ特徴点（キーポイント）が抽出され，そのＳＩＦＴ特徴点の特徴量として，輝度勾配方向から得られた１２８次元の特徴ベクトルが算出される。

次に，注視点変換装置１の対応点探索手段１０は，参照画像ＤＢ１２に記憶されている参照画像毎に，シーン画像と参照画像間における対応点を探索する処理を実施する（Ｓ２）。第１実施形態では，図４に図示したように，１２個の参照画像を参照画像ＤＢ１２に記憶しているため，１２個の参照画像それぞれについて，対応点を探索する処理が実施されることになる。

対応点の探索には，シーン画像の特徴点とその特徴量および参照画像の特徴点とその特徴量が利用される。第１実施形態において，アイトラッキング装置２はシーン画像を動画形式で出力するため，シーン画像はフレーム毎に変わるが，参照画像はフレーム毎に変わらないため，参照画像の特徴点とその特徴量は予め演算しておくことができる。

画像の特徴点を算出する手法としてＳＩＦＴを用いる場合，２画像間の特徴点を対応付けする指標は，１２８次元の特徴ベクトルを用いて演算される特徴点間のユークリッド距離になる。例えば，参照画像から抽出できたＳＩＦＴ特徴点をＭ個，シーン画像から抽出できたＳＩＦＴ特徴点をＮ個とすると，参照画像の一つのＳＩＦＴ特徴点iに対して，シーン画像から抽出できたＮ個すべてのＳＩＦＴ特徴点とのユークリッド距離が演算される。そして，所定の基準（例えば，ユークリッド距離が規定値以下でかつ最も小さい）を満たすシーン画像のＳＩＦＴ特徴点がＳＩＦＴ特徴点ｋの場合，参照画像のＳＩＦＴ特徴点iとシーン画像のＳＩＦＴ特徴点ｋが一つの対応点として探索される。なお，対応点は，参照画像の特徴点と，参照画像の特徴点に対応するシーン画像の特徴点の組で表記される。

図７は，対応点を説明する図である。図７において，左側が参照画像で右側がシーン画像で，各画像の特徴点の一部を黒丸で図示している。また，図７において，黒丸を結ぶ線は対応点を意味し，図７で図示したように，対応点とは，参照画像とシーン画像間において，相互に対応する画素を示す情報になる。

次に，注視点変換装置１の対応点探索手段１０は，対応点の探索結果に基づいて参照画像を選択して（Ｓ３），図６の手順は終了する。なお，対応点の探索結果に基づいて参照画像を選択する手法は任意であるが，探索できた対応点が最も多い参照画像を選択するとよい。

次に，注視点変換装置１の注視点変換手段１１について説明する。図８は，注視点を変換する処理を説明する図である。第１実施形態では，対応点の探索に用いる画像はシーン画像と参照画像になるため，注視点変換装置１の注視点変換手段１１は，注視点を変換する際，まず，アイトラッキング装置２が検出した注視点を参照画像上の座標に変換した後，参照画像上の注視点を対象物の基準画像上の座標に変換する。

シーン画像はアイトラッキング装置２が出力する動画のフレーム毎に変わるため，アイトラッキング装置２が検出した注視点を参照画像上の座標に変換するための参照画像用座標変換行列はフレーム毎に変わり，参照画像上の注視点を対象物の基準画像上の座標に変換する基準画像用座標変換行列は，フレーム毎に変わらないが，参照画像毎に変わることになる。

図９は，注視点変換装置１の注視点変換手段１１が実行する処理を説明するフロー図である。対応点探索手段１０が参照画像を選択すると，注視点変換装置１の注視点変換手段１１が作動し，注視点変換装置１の注視点変換手段１１は，まず，シーン画像上の座標を選択された参照画像上の座標に変換する参照画像用座標変換行列を演算する（Ｓ１０）。

この参照画像用座標変換行列としては，３次元空間のある平面から他の平面へ投影するためのホモグラフィ行列を利用することができ，このホモグラフィ行列は，以下に述べる原理により，投影する平面間（ここでは，シーン画像と参照画像）の４つの対応点から演算することが知られている。

数式１で示したように，ホモグラフィ行列Ｈは３行３列の行列である。ｈ３３はホモグラフィ行列のスケールファクタになるため，ｈ３３の値が１になるようにホモグラフィ行列を正規化することを考えると，参照画像の特徴点（ｘi，ｙi）とこれに対応するシーン画像の特徴点（ｘ'i，ｙ'i）は，正規化後のホモグラフィ行列Ｈ'（ｈ３３が１）を用いて数式２のような関係になる。よって，最低限，４つの対応点がわかれば，ホモグラフィ行列において不明な８個の要素（ｈ１１からｈ３２）を解くことのできる連立方程式を導出することができる。

なお，対応点の数が多ければ，参照画像用座標変換行列を演算する際，ランダムに４つの対応点を抽出してホモグラフィ行列を演算する処理を複数繰り返すことで，ホモグラフィ行列の演算精度を高めるＲＡＮＳＡＣ(RANdom SAmple Consensus)に代表されるロバスト推定手法を利用することができる。

注視点変換装置１が，それぞれ異なる方向から対象物を撮影して得られた参照画像を複数記憶し，対応点探索手段１０が，シーン画像と参照画像間における対応点を探索する処理を参照画像毎に，対応点の数が多い参照画像を選択すれば，ＲＡＮＳＡＣなどの手法を用いて，参照画像用座標変換行列を精度よく演算することできる。

次に，注視点変換装置１の注視点変換手段１１は，参照画像用座標変換行列を用いて，シーン画像の注視点を選択した参照画像上の座標に変換する（Ｓ１１）。

次に，注視点変換装置１の注視点変換手段１１は，選択した参照画像上の座標に変換した注視点を対象物の基準画像上の座標に変換する基準画像用座標変換行列を用いて，参照画像上の注視点を対象物の基準画像上の座標に変換して（Ｓ１２），図９の手順は終了する。

注視点変換装置１の参照画像ＤＢ１２にはそれぞれ異なる複数の参照画像が記憶されるため，基準画像用座標変換行列は参照画像毎に用意され，選択した参照画像上の座標に変換した注視点を対象物の基準画像上の座標に変換する基準画像用座標変換行列として，対応点探索手段１０が選択した参照画像の基準画像用座標変換行列が利用される。

なお，基準画像用座標変換行列としてはホモグラフィ行列を用いることができ，このホモグラフィ行列は，参照画像用座標変換行列と同様に，参照画像と対象物の基準画像間の４つの対応点から演算することもできる。
［第２実施形態］

第２実施形態は，左右方向の撮影位置を変えて対象物を撮影して得られた複数の参照画像を予め用意しておき，注視点の可視化結果（例えば，注視点の頻度を色で表示する注視点ヒートマップ）を参照画像上に表示できるようにした実施形態である。

第１実施形態のように，アイトラッキング装置が出力した注視点を，正面から対象物全体を撮影した対象物の基準画像上の座標に座標変換し，注視点の可視化結果を基準画像上に表示するようにすると，基準画像上における注視点の可視化結果しか得られないが，注視点の可視化結果を参照画像上に表示できるようにすると，参照画像毎に注視点の可視化結果が得られることになる。

対象物の撮影個所が参照画像間で重複しなければ問題ないが，対象物の参照画像は，撮影されない対象物の個所がないように，撮影個所を重複させて撮影されるため，重複して撮影された対象物上の個所である重複部の注視点は，撮影個所が重複する複数の参照画像に分散されてしまい，重複部に係る可視化結果は，複数の参照画像に分散されてしまう。よって，重複部に係る可視化結果は，複数の参照画像を見比べなければならず，不効率であると共に正確な判断が得られない。そこで，第２実施形態では，このことを防止するために，重複部に係る注視点については，撮影個所を重複させて撮影した参照画像のいずれか一つに統合できるようにしている。

図１１は，第２実施形態における注視点変換装置３に備えられた機能を説明する図で，図１２は，第２実施形態における参照画像ＤＢ３２を説明する図で，図１３は，第２実施形態における参照画像を説明する図である。なお，第２実施形態にかかる注視点変換装置３は，第１実施形態と同様にアイトラッキング装置２と組み合わされて利用される装置で，アイトラッキング装置２の内容は第１実施形態と同じであるため，ここでは説明を省く。

図１１に図示したように，第２実施形態にかかる注視点変換装置３は，左右方向の撮影位置を変え対象物を撮影して得られた複数の参照画像を記憶した参照画像ＤＢ３２と，注視点が付加されたシーン画像が入力されると，シーン画像の特徴点を抽出した後，参照画像ＤＢ３２に記憶している参照画像毎に，シーン画像の特徴点と参照画像の特徴点を利用して，シーン画像と参照画像間における対応点を探索する処理を行い，対応点の探索結果に基づいて参照画像を選択する対応点探索手段３０と，対応点探索手段３０が選択した参照画像にかかる対応点を用いて，シーン画像上の座標を参照画像上の座標に変換する参照画像用座標変換行列を演算した後，参照画像用座標変換行列を用いてシーン画像に付加された注視点を選択した参照画像上の座標に変換する注視点変換手段３１を備えている。

なお，第２実施形態にかかる注視点変換装置３は，汎用的なコンピュータを利用して実現される装置で，図１１で図示したＤＢを除く各機能は，注視点変換装置３として利用するコンピュータを動作させるコンピュータプログラムによって実現でき，第２実施形態にかかる注視点変換装置３には，画像の表示に用いるディスプレイ３ａと，マウスなどのポインティングデバイス３ｂが接続されている。

図１２に図示したように，第２実施形態にかかる参照画像ＤＢ３２に記憶されている参照画像は，左右方向の撮影位置を変え対象物を撮影して得られた画像である点において第１実施形態と同じであるが，第２実施形態では，対象物上の撮影個所を重複させて撮影した画像に限定している。

対象物上の撮影個所を重複させて撮影すると，撮影個所を重複させて撮影した参照画像間で，重複して撮影された対象物上の個所である重複部が発生するため，第２実施形態では，重複部の注視点が統合される参照画像である被統合参照画像と，重複部の注視点の統合先となる参照画像である統合先参照画像が予め定められる。なお，少なくとも，被統合参照画像となる参照画像には，被統合参照画像であることを示す情報（例えば，フラグや属性値）と，この参照画像と対になる統合先参照画像を示す情報（例えば，統合先参照画像のファイル名）が付加される。

第２実施形態における参照画像について詳細に説明する。図１３は，参照画像ＤＢ３２に記憶されている参照画像を説明する図である。図１３（ａ）は，対象物を説明する図である。第２実施形態では，対象物を２列の商品棚とし，商品棚の左列は５段で，商品棚の右列は６段である。

図１３（ｂ）は，第２実施形態にかかる被統合参照画像を説明する図である。第２実施形態において，被統合参照画像は，対象物を正面にみて左方向から対象物の右側を撮影した参照画像で，この画像には，対象物の一部分として，商品棚の左列の一部と商品棚の右列の全てが含まれている。

また，図１３（ｃ）は，第２実施形態にかかる統合先参照画像を説明する図である。第２実施形態において，統合先参照画像は，対象物を正面にみて右方向から対象物の左側を撮影した参照画像で，この画像には，対象物の一部分として，商品棚の左列の全てが含まれている。

図１３では，被統合参照画像には，商品棚の左列の一部が含まれ，この画像は統合先参照画像にも含まれるため，被統合参照画像に含まれる商品棚の左列の一部が，被統合参照画像と統合先参照画像の重複部になる。

重複部は被統合参照画像と統合先参照画像に含まれ，何ら特別な処理を実施しないと，重複部に含まれる注視点は被統合参照画像と統合先参照画像に分散されてしまうため，第２実施形態にかかる注視点変換装置３の注視点変換手段３１は，第１実施形態にかかる注視点変換装置１の注視点変換手段１１とは動作が異なり，対応点探索手段３０が選択した参照画像が，被統合参照画像の場合，被統合参照画像における重複部内の注視点を被統合参照画像に対応する統合先参照画像上の座標に変換する重複部用座標変換行列を用いて，対応点探索手段３０が選択した被統合参照画像における重複部内の注視点を，被統合参照画像に対応する統合先参照画像上の座標に変換した後，統合先参照画像上の座標に変換した注視点を統合先参照画像に関連付けて記憶し，被統合参照画像における重複部以外の注視点については，座標変換を行うことなく，被統合参照画像に関連付けて記憶し，対応点探索手段３０が選択した参照画像が統合先参照画像の場合，重複部内の注視点であるか否かにかかわらず，統合先参照画像上の注視点を統合先参照画像に関連付けて記憶することで，被統合参照画像の重複部に含まれる注視点を統合先参照画像に統合できるようにしている。

また，被統合参照画像の重複部に含まれる注視点を統合先参照画像に統合するためには，上述の重複部用座標変換行列が必要になるため，第２実施形態にかかる注視点変換装置３は，図１１に図示したように，重複部用座標変換行列を演算できるように，被統合参照画像上の重複部の領域と統合先参照画像上の重複部の領域をユーザが設定する際に用いられる重複部設定手段３３と，重複部設定手段３３を用いて設定された被統合参照画像上の重複部における特徴点と，統合先参照画像上の重複部における特徴点を抽出し，被統合参照画像上の重複部と統合先参照画像上の重複部間における対応点を探索する処理を行い，この対応点を用いて重複部用座標変換行列を演算する重複部用座標変換行列算出手段３４を備えている。

図１４は，重複部に含まれる注視点にかかる処理を説明する図である。アイトラッキング装置２がシーン画像と共に出力した注視点は，第１実施形態と同様に，まず，アイトラッキング装置２が出力したシーン画像上の座標（図１４（ａ））からシーン画像に対応する参照画像上の座標に変換される（図１４（ｂ））。

ここでは，シーン画像に対応する参照画像を被統合参照画像とし，被統合参照画像の重複部内にある注視点は，上述の重複部用座標変換行列を用いて，統合先参照画像上の座標に変換される（図１４（ｃ））。

次に，注視点変換装置３が備える対応点探索手段３０について説明する。図１５は，注視点変換装置３が備える対応点探索手段３０が実行する処理を説明するフロー図である。アイトラッキング装置２はシーン画像を動画形式で出力するため，図１５の手順は，アイトラッキング装置２が出力する動画のフレーム毎に実行されることになる。

注視点変換装置３の対応点探索手段３０は，まず，アイトラッキング装置２が出力したシーン画像と参照画像間の対応点を探索する際，まず，シーン画像の特徴点を抽出する（Ｓ０）。

次に，注視点変換装置３の対応点探索手段３０は，参照画像ＤＢ３２に記憶されている参照画像毎に，シーン画像と参照画像間における対応点を探索する処理を実施する（Ｓ２１）。第２実施形態では，被統合参照画像と統合先参照画像の２つを参照画像ＤＢ３２に記憶しているため，シーン画像と被統合参照画像の対応点およびシーン画像と統合先参照画像間の対応点を探索する処理が実施されることになる。

対応点の探索には，シーン画像の特徴点とその特徴量および参照画像の特徴点とその特徴量が利用される。第２実施形態において，アイトラッキング装置２はシーン画像を動画形式で出力するため，シーン画像はフレーム毎に変わるが，参照画像はフレーム毎に変わらないため，参照画像の特徴点とその特徴量は予め演算しておくことができる。

図１６は，対応点を説明する図である。図１６において，左側が参照画像で右側がシーン画像で，各画像の特徴点の一部を黒丸で図示している。また，図１６において，黒丸を結ぶ線は対応点を意味し，図１６で図示したように，対応点とは，参照画像とシーン画像間において，相互に対応する画素を示す情報になる。

次に，注視点変換装置３の対応点探索手段３０は，対応点の探索結果に基づいて参照画像を選択して（Ｓ２２），図１４の手順は終了する。なお，対応点の探索結果に基づいて参照画像を選択する手法は任意であるが，探索できた対応点が最も多い参照画像（ここでは，被統合参照画像または統合先参照画像のいずれか）を選択する。

次に，第２実施形態における注視点変換装置３の注視点変換手段３１について説明する。図１７は，第２実施形態における注視点変換装置３の注視点変換手段３１が実行する処理を説明する図である。

図１７は，注視点変換装置３の注視点変換手段３１が実行する処理を説明するフロー図である。対応点探索手段３０が参照画像を選択すると，注視点変換装置３の注視点変換手段３１が作動し，注視点変換装置３の注視点変換手段３１は，まず，シーン画像上の座標を対応点探索手段３０が選択した参照画像上の座標に変換する参照画像用座標変換行列を演算する（Ｓ３０）。

数式３で示したように，ホモグラフィ行列Ｈは３行３列の行列である。ｈ３３はホモグラフィ行列のスケールファクタになるため，ｈ３３の値が１になるようにホモグラフィ行列を正規化することを考えると，参照画像の特徴点（ｘi，ｙi）とこれに対応するシーン画像の特徴点（ｘ'i，ｙ'i）は，正規化後のホモグラフィ行列Ｈ'（ｈ３３が１）を用いて数式４のような関係になる。よって，最低限，４つの対応点がわかれば，ホモグラフィ行列において不明な８個の要素（ｈ１１からｈ３２）を解くことのできる連立方程式を導出することができる。

注視点変換装置３の対応点探索手段３０が，シーン画像と参照画像間における対応点を探索する処理を参照画像毎に行い，対応点の数が多い参照画像を選択することで，ＲＡＮＳＡＣなどの手法を用いて，参照画像用座標変換行列を精度よく演算することできる。

次に，注視点変換装置３の注視点変換手段３１は，参照画像用座標変換行列を用いて，シーン画像の注視点を対応点探索手段３０が選択した参照画像上の座標に変換する（Ｓ３１）。

次に，注視点変換装置３の注視点変換手段３１は，対応点探索手段３０が選択した参照画像に付加されている情報を参照して，この参照画像が，重複部の注視点が統合される被統合参照画像であるか否かを判定する（Ｓ３２）。

対応点探索手段３０が選択した参照画像が，重複部の注視点が統合される被統合参照画像の場合，注視点変換装置３の注視点変換手段３１は，参照画像用座標変換行列を用いて変換して得られた被統合参照画像上の注視点を，重複部に含まれる注視点と重複部に含まれない注視点に分離する（Ｓ３３）。

被統合参照画像となる参照画像には，アイトラッキング装置２を用いたユーザビリティテストを行う前に，重複部となる領域を示す座標が設定され，被統合参照画像に関連付けた状態で参照画像ＤＢ３２に記憶されている。そして，注視点変換装置３の注視点変換手段３１は，重複部となる領域に含まれる被統合参照画像上の注視点と，重複部となる領域に含まれない被統合参照画像上の注視点とに分けることで，被統合参照画像上の注視点を，重複部に含まれる注視点と重複部に含まれない注視点に分離する。

次に，注視点変換装置３の注視点変換手段３１は，被統合参照画像の重複部に含まれない注視点については，参照画像用座標変換行列を用いて変換して得られた被統合参照画像上の注視点を被統合参照画像に関連付けて参照画像ＤＢ３２に記憶する（Ｓ３４）。

また，注視点変換装置３の注視点変換手段３１は，被統合参照画像の重複部に含まれる注視点については，上述した重複部用座標変換行列を用いて，被統合参照画像の重複部に含まれる注視点を統合先参照画像上の座標に変換した後（Ｓ３５），重複部用座標変換行列を用いて変換した注視点を統合先参照画像に関連付けて参照画像ＤＢ３２に記憶して（Ｓ３６），この手順を終了する。

このように，被統合参照画像の重複部上の注視点を統合先参照画像上の座標に変換する際，被統合参照画像の重複部上の座標を統合先参照画像上の座標に変換する重複部用座標変換行列が必要になる。重複部用座標変換行列は，アイトラッキング装置２が出力した注視点を変換する処理を行うごとに演算して求めるようにすることもできるが，参照画像（ここでは，被統合参照画像と統合先参照画像）は予め参照画像ＤＢ３２に記憶するため，第２実施形態では，重複部用座標変換行列を予め演算して求め，被統合参照画像に関連付けた状態で重複部用座標変換行列を参照画像ＤＢ３２に予め記憶するようにしている。

なお，選択した参照画像が，重複部の注視点を統合する統合先参照画像の場合，注視点変換装置３の注視点変換手段３１は，重複部内の注視点であるか否かにかかわらず，参照画像用座標変換行列を用いて変換して得られた統合先参照画像上の注視点を統合先参照画像に関連付けて記憶して（Ｓ３７），この手順を終了する。

図１８は，重複部用座標変換行列を求める処理を説明するフロー図である。なお，重複部用座標変換行列を求める処理は，被統合参照画像と統合先参照画像の対毎に行われる。

注視点変換装置３の重複部用座標変換行列演算手段３４が重複部用座標変換行列を演算する際，まず，注視点変換装置３の重複部設定手段３３を用いて，被統合参照画像と統合先参照画像それぞれにおいて重複部となる領域を示す座標がユーザによって設定される（Ｓ４０）。

被統合参照画像と統合先参照画像それぞれにおいて重複部を示す座標をユーザに設定させる際，注視点変換装置３の重複部設定手段３３は，ユーザが被統合参照画像を選択すると，被統合参照に付加された情報を参照して，ユーザが選択した被統合参照画像に対応する統合先参照画像を特定した後，被統合参照画像（例えば，図１３（ｂ））と被統合参照画像に対応する統合先参照画像（例えば，図１３（ｃ））の２つを並べてディスプレイ３ａに表示する。次に，注視点変換装置３の重複部設定手段３３は，ポインティングデバイス３ｂを用いて，被統合参照画像において重複部となる領域と，統合参照画像において重複部となる領域をディスプレイ３ａ上でユーザに設定させ，被統合参照画像と統合先参照画像それぞれにおいて重複部となる領域を示す座標を取得する。なお，重複部となる領域をユーザに設定させる方法は任意で，図１３のように，重複部となる領域として矩形の領域をユーザに設定させるようにすることが一般的であるが，重複部となる領域として任意形状の領域をユーザに設定させるようにしてもよい。

次に，注視点変換装置３の重複部用座標変換行列演算手段３４は，被統合参照画像と統合先参照画像それぞれにおいて重複部となる領域を示す座標を用いて，被統合参照画像と統合先参照画像それぞれから重複部内の画像を切り出す（Ｓ４１）。

次に，注視点変換装置３の重複部用座標変換行列演算手段３４は，被統合参照画像と統合先参照画像それぞれから切り出した重複部内の画像の特徴点を求める。ここでは，被統合参照画像から切り出した重複部内の画像の特徴点と，統合先参照画像から切り出した重複部内の画像の特徴点を求めることになる（Ｓ４２）。なお，特徴点の求め方については上述している。

次に，注視点変換装置３の重複部用座標変換行列演算手段３４は，特徴点を利用して，被統合参照画像と統合先参照画像間の対応点を探索する処理を行う（Ｓ４３）。特徴点を利用した対応点の探索を自動的に行う手法については上述している。なお，被統合参照画像と統合先参照画像とでは，撮影方向が逆転するため，重複部用座標変換行列の演算に必要な数の対応点が探索できないことがある。このときに対応できるように，被統合参照画像の特徴点と統合先参照画像の特徴点をユーザが手動で対応付けられるようにしておくことが望ましい。

次に，注視点変換装置３の重複部用座標変換行列演算手段３４は，被統合参照画像と統合先参照画像間の対応点を利用して，被統合参照画像における重複部上の座標を統合先参照画像上の座標に変換する重複部用座標変換行列を演算する（Ｓ４４）。なお，重複部用座標変換行列は，注視点が統合される被統合参照画像の重複部上の座標を，注視点を統合する統合先参照画像の重複部上の座標に座標変換する座標変換行列と，統合先参照画像内における重複部の位置とから求めることができる。

次に，注視点変換装置３の重複部用座標変換行列演算手段３４は，重複部用座標変換行列と重複部の座標を被統合参照画像に関連付けて参照画像ＤＢ３２に記憶し，この手順は終了する。

なお，これまでの実施形態では，左右方向の撮影位置を変えて対象物を撮影することで得られた参照画像について述べた。上下方向の撮影位置を変えて対象物を撮影した画像を参照画像とする場合については，撮影方向を左右方向から上下方向に変えるだけで，上述した内容で対応を図れる。

１，３注視点変換装置
１０，３０対応点探索手段
１１，３１注視点変換手段
１２，３２参照画像ＤＢ
３３重複部設定手段
３４重複部用座標変換行列演算手段
２アイトラッキング装置

Claims

左右方向または上下方向の撮影位置を変えて対象物を撮影することで得られた複数の参照画像を記憶した参照画像データベースと，注視点が付加されたシーン画像が入力されると，前記シーン画像の特徴点を抽出した後，前記参照画像データベースに記憶している前記参照画像毎に，前記シーン画像の特徴点と前記参照画像の特徴点を利用して，前記シーン画像と前記参照画像間における対応点を探索する処理を行い，対応点の探索結果に基づいて前記参照画像を選択する対応点探索手段と，前記対応点探索手段が選択した前記参照画像にかかる対応点を用いて，前記シーン画像上の座標を前記参照画像上の座標に変換する参照画像用座標変換行列を演算した後，前記参照画像用座標変換行列を用いて前記シーン画像に付加された注視点を前記対応点探索手段が選択した前記参照画像上の座標に変換する注視点変換手段を備えたことを特徴とする注視点変換装置。
前記注視点変換手段は，選択した前記参照画像上の座標に変換した注視点を，正面から対象物全体を撮影した対象物の基準画像上の座標に変換する処理を行うことを特徴とする，請求項１に記載した注視点変換装置。
前記参照画像データベースに記憶した前記参照画像を，左右方向の撮影位置を変え対象物の全体を撮影して得られた画像を所定の手順で分割した画像とすることを特徴とする，請求項２に記載した注視点変換装置。
前記参照画像は，対象物上の撮影個所を重複させて撮影した画像で，対象物上の撮影個所が重複している前記参照画像間においては，重複している個所である重複部の注視点が統合される被統合参照画像と，前記重複部の注視点の統合先となる統合先参照画像を予め定めておき，
前記注視点変換手段は，選択した前記参照画像が前記被統合参照画像の場合，前記被統合参照画像における前記重複部内の注視点を前記統合先参照画像上の座標に変換する重複部用座標変換行列を用いて，前記被統合参照画像における重複部内の注視点を前記統合先参照画像上の座標に変換した後，前記統合先参照画像上の座標に変換した注視点を前記統合先参照画像に関連付けて記憶し，前記被統合参照画像における前記重複部以外の注視点については，上述の座標変換を行うことなく，前記被統合参照画像に関連付けて記憶し，選択した前記参照画像が前記統合先参照画像の場合，前記重複部内の注視点であるか否かにかかわらず，前記統合先参照画像上の注視点を前記統合先参照画像に関連付けて記憶することを特徴とする，請求項１に記載した注視点変換装置。
前記被統合参照画像上の前記重複部の領域と前記統合先参照画像上の前記重複部の領域をユーザが設定する際に用いられる重複部設定手段と，
前記重複部設定手段を用いて設定された前記被統合参照画像上の前記重複部における特徴点と，前記統合先参照画像上の前記重複部における特徴点を抽出し，前記被統合参照画像上の前記重複部と前記統合先参照画像上の前記重複部間における対応点を探索する処理を行い，この対応点を用いて前記重複部用座標変換行列を演算する前記重複部用座標変換行列を演算する重複部用座標変換行列算出手段を備えていることを特徴とする，請求項４に記載した注視点変換装置。
前記重複部用座標変換行列算出手段は，対応点を探索する処理において，前記重複部用座標変換行列を演算するために必要な数の対応点を探索できなかった場合，対応点を手動でユーザに設定させることを特徴とする，請求項５に記載した注視点変換装置。
注視点が付加されたシーン画像が入力される注視点変換装置が，注視点が付加されたシーン画像が入力されると，前記シーン画像の特徴点を抽出した後，左右方向の撮影位置を変えて対象物を撮影することで得られた参照画像毎に，前記シーン画像と前記参照画像の特徴点を利用して，前記シーン画像と前記参照画像間における対応点を探索する処理を行い，対応点の探索結果に基づいて前記参照画像を選択する工程１と，前記注視点変換装置が，選択した前記参照画像にかかる対応点を用いて，前記シーン画像上の座標を前記参照画像上の座標に変換する参照画像用座標変換行列を演算した後，前記参照画像用座標変換行列を用いて前記シーン画像に付加された注視点を選択した前記参照画像上の座標に変換する処理を行う工程２を含むことを特徴とする注視点変換方法。
前記工程２において，前記注視点変換装置は，前記参照画像用座標変換行列を用いて前記シーン画像に付加された注視点を選択した前記参照画像上の座標に変換した後，選択した前記参照画像上の座標に変換した注視点を対象物の基準画像上の座標に変換することを特徴する，請求項７に記載した注視点変換方法。
前記参照画像を，左右方向の撮影位置を変え対象物の全体を撮影して得られた画像を所定の手順で分割した画像とすることを特徴とする，請求項９に記載した注視点変換方法。
前記参照画像は，対象物上の撮影個所を重複させて撮影した画像で，対象物上の撮影個所が重複している前記参照画像間においては，重複している重複部の注視点が統合される被統合参照画像と，前記重複部の注視点の統合先となる統合先参照画像を予め定めておき，
前記工程２において，前記注視点変換装置は，選択した前記参照画像が前記被統合参照画像の場合，前記被統合参照画像における前記重複部内の注視点を前記統合先参照画像上の座標に変換する重複部用座標変換行列を用いて，前記被統合参照画像における重複部内の注視点を前記統合先参照画像上の座標に変換した後，前記統合先参照画像上の座標に変換した注視点を前記統合先参照画像に関連付けて記憶し，前記被統合参照画像における前記重複部以外の注視点については，上述の座標変換を行うことなく，前記被統合参照画像に関連付けて記憶し，選択した前記参照画像が前記統合先参照画像の場合，前記重複部内の注視点であるか否かにかかわらず，前記統合先参照画像上の注視点を前記統合先参照画像に関連付けて記憶することを特徴とする，請求項７に記載した注視点変換方法。