JP2023053631A - 注視位置分析システム及び注視位置分析方法 - Google Patents

Abstract

【課題】注視位置分析システムにおいて、三次元空間中に存在する各物体に対応する三次元モデル上に利用者の注視位置を自動的に対応付ける。【解決手段】撮影された複数枚の撮影画像から周囲の空間の三次元モデルである空間モデルを作成する空間モデル作成部と、前記空間モデルと前記物体モデルとをマッチングし、前記マッチングで得られた位置姿勢により前記物体モデルを前記空間モデル上に配置する物体位置姿勢推定部と、前記配置された物体モデルと前記空間モデル中における注視方向に基づいて、前記物体モデル上の前記注視位置を算出する注視位置算出部とを有する。【選択図】図１

Description

本発明は、注視位置分析システム及び注視位置分析方法に関する。

利用者に装着する形態の視線計測装置を用いて取得した視線情報から利用者の関心や作業状況等の分析を行う場合、様々な物体が配置された三次元空間中を利用者が自由に移動することになる。このため、三次元空間中において利用者が注視した位置がどこであるか、またその遷移がどのようになっているか等を確認できることが望ましい。

利用者に装着する形態の視線計測装置を対象として、利用者が三次元空間中を自由に移動して取得された視線情報を三次元空間中の注視位置として分析する技術は、特許文献１および特許文献２が開示されている。

特許文献１には、複数の異なる撮影位置から撮影された画像を用いて仮想三次元空間を生成するとともに仮想三次元空間における撮影位置を算出し、画像を撮影したタイミングで取得した利用者の視線方向から仮想三次元空間における利用者の注視位置及び注視時間を算出する技術が開示されている。

一方、特許文献２には、三次元空間中の表示装置の位置及び利用者の視線と三次元空間上の物体の位置から、利用者が着目していた物体を特定する技術が開示されている。

特開２０２０－１３５７３７号公報 特開２０１８－１９５３１９号公報

特許文献１では、複数の画像から生成した仮想三次元空間はそれを構成するデータが粗い場合や、部分的にしかデータを生成できない場合があり、その様な場合、何に注視していたかを判定することが困難となる。

一方、特許文献２では、三次元空間中の利用者の視線と三次元空間上の物体の位置が常に取得可能なことが前提であるため、必要となる設備が大掛かりになるとともに適用範囲も限定されるという問題がある。また、分析の対象となる全ての物体の位置をあらかじめ明確にしておく必要もあり、事前準備に労力を要する。

三次元空間中の注視位置を分析する場合、三次元空間全体の中をどのように注視位置が遷移したかを閲覧する他、特定の物体のみに着目し、その物体上を注視位置がどのように遷移したかを容易に閲覧できることが望ましい。

この際、三次元空間中に存在する各物体に対する三次元モデル上に注視位置を対応付けることができると、より詳細な分析が可能になることが期待できる。また、各物体モデルは三次元空間中に自動的に配置することができれば、分析に必要な事前設定を簡略化することができると考えられる。

本発明の目的は、注視位置分析システムにおいて、三次元空間中に存在する各物体に対応する三次元モデル上に利用者の注視位置を自動的に対応付けることにある。

本発明の一態様の注視位置分析システムは、空間モデル作成部と物体位置姿勢推定部と注視位置算出部を有し、空間中に存在する物体の三次元モデルである物体モデル上に利用者の物体モデル上の注視位置である物体モデル注視位置を自動的に対応付ける注視位置分析システムであって、前記空間モデル作成部は、前記利用者の視野と同様の映像である一人称映像を取得し、前記利用者の前記一人称映像上の注視位置である一人称映像注視位置を取得し、前記利用者が視線を向けた範囲における空間の三次元モデルである空間モデルを前記一人称映像から作成し、前記空間モデル中における前記一人称映像の撮影位置姿勢を算出し、前記物体位置姿勢推定部は、前記物体モデルと前記空間モデルとをマッチングすることにより、前記空間モデル中における前記物体の位置姿勢を推定し、前記空間モデル中における前記物体の位置姿勢を用いて、前記物体モデルを前記空間モデル中に配置し、前記空間モデル中における前記一人称映像の前記撮影位置姿勢と前記一人称映像注視位置を用いて、前記空間モデル中における注視方向を算出し、前記注視位置算出部は、前記空間モデル中における前記注視方向と前記物体モデルとの交点を求めることにより、前記物体モデル注視位置を算出することを特徴とする。

本発明の一態様の注視位置分析システムは、空間中に存在する物体の三次元モデルである物体モデル上に利用者の物体モデル上の注視位置を自動的に対応付ける注視位置分析システムであって、撮影された複数枚の撮影画像から、周囲の空間の三次元モデルである空間モデルを作成する空間モデル作成部と、前記空間モデルと前記物体モデルとをマッチングし、前記マッチングで得られた位置姿勢により前記物体モデルを前記空間モデル上に配置する物体位置姿勢推定部と、前記配置された物体モデルと前記空間モデル中における注視方向に基づいて、前記物体モデル上の前記注視位置を算出する注視位置算出部と、を有することを特徴とする。

本発明の一態様によれば、注視位置分析システムにおいて、三次元空間中に存在する各物体に対応する三次元モデル上に利用者の注視位置を自動的に対応付けることができる。

本発明の実施例の注視位置分析システムを一般的なコンピュータによって実行させる場合のコンピュータの構成図である。 本発明で想定している視線計測装置の基本的な構成を表す図である。 一人称映像データのフォーマットの一例を示す図である。 注視位置データのフォーマットの一例を示す図である。 物体モデルデータのフォーマットの一例を示す図である。 空間モデルデータのフォーマットの一例を示す図である。 物体配置データのフォーマットの一例を示す図である。 空間モデル作成プログラムで実行される処理の内容を説明する図である。 注視位置算出プログラムで実行される処理のフローチャートの一例を示す図である。 注視位置算出プログラムで実行される処理の内容を説明する図である。 実際の物体上に設置されたＡＲマーカーの一例を示す図である。 形状や大きさが変化していく物体モデルの一例を示す図である。 物体モデルと物体モデル上の注視位置の一例を示す図である。 注視位置を常に利用者に正対するように表示した場合の一例を示す図である。 物体モデルの位置姿勢の調整方法を制限して注視位置を表示した場合の一例を示す図である。

以下、図面を用いて本発明の実施例について説明する。

図１は、本発明における実施例における注視位置分析システムを一般的なコンピュータによって実行させる場合のコンピュータの構成図である。
図１における視線計測装置１０１は、利用者の視野と同様の映像である一人称映像と一人称映像上の注視位置を計測し、それぞれを一人称映像データ１１０と注視位置データ１１１を格納するためのデータベースに記録するための入力装置であり、「アイトラッカー」等の名称で一般的に良く利用されている装置を使用することができる。

特に、本発明における視線計測装置１０１としては、利用者に装着して用いることができる携帯型の装置を想定している。これにより、利用者が自由に空間上を移動できる状態で注視方向を計測することができる。

図２に、利用者に装着して用いる視線計測装置１０１の基本的な構成を示す。
図２における２０１は、利用者の一人称映像を取得するための撮影装置であり、一般的にパソコン等で用いられるカメラと同等の装置を使用することができる。２０２は、利用者の目の動きを検知し、注視方向を計測するためのセンサが搭載されている眼鏡型の装置である。２０３は、取得された一人称映像データ１１０と注視位置データ１１１をデータベースに記録するための端末である。端末２０３は、情報処理装置１０２にデータを送信するようにしても良い。

視線計測装置１０１としては、空間中を利用者が自由に移動できる状態での注視位置の計測が可能で、且つ、一人称映像上での注視位置の取得が可能であれば、携帯型に限らず、据え置き型の装置を用いても良い。

図１における情報処理装置１０２は、注視位置分析システムにおける各プログラムを実行するための情報処理装置である。

入力装置１０３には、システムの開始や終了等を制御するためのキーボード、ボタン、マウスあるいはタッチパネル等の一般的なコンピュータにおける入力装置が含まれる。

出力装置１０４は、利用者に注視位置分析の結果やシステムの動作状況等を表示するための手段であり、スマートフォンやタブレット端末の画面、あるいは一般的なコンピュータ用の表示装置が含まれる。

また、１０５は、注視位置分析システムにおける各プログラムを格納するための記憶装置である。記憶装置１０５には、空間モデル作成プログラム１０６、物体位置姿勢推定プログラム１０７、注視位置算出プログラム１０８および注視位置表示プログラム１０９が含まれる。

ここで、情報処理装置１０２は、空間モデル作成プログラム１０６に従って処理を実行することで空間モデル部として機能する。また、情報処理装置１０２は、物体位置姿勢推定プログラム１０７に従って処理を実行することで物体位置姿勢推定部として機能する。また、情報処理装置１０２は、注視位置算出プログラム１０８に従って処理を実行することで注視位置算出部として機能する。また、情報処理装置１０２は、注視位置表示プログラム１０９に従って処理を実行することで注視位置表示部として機能する。

一人称映像データ１１０のデータベースには、利用者の視野と同様の映像である一人称映像のデータが格納される。一人称映像データ１１０は上述のように視線計測装置１０１で取得されることを想定している。

図３に、一人称映像データ１１０のフォーマットの一例を示す。
図３におけるデータの名称３０１は、一人称映像データに付与された名称であり、任意の文字および記号の列を用いることができる。また、一人称映像データ１１０には、あらかじめ定められた時間間隔、あるいは任意のタイミングで取得した複数枚の画像が取得された順番で含まれており、図３におけるデータ数３０２は、データ中に含まれる画像の枚数を表す。

３０３の時刻１は最初に画像が取得された時刻、３０４の画像１は最初に取得された画像、３０５の撮影位置姿勢１は最初の画像を撮影したカメラの位置姿勢を表す。３０６の時刻ｎはｎ番目の画像が取得された時刻、３０７の画像ｎはｎ番目の画像、３０８の撮影位置姿勢ｎはｎ番目の画像を撮影したカメラの位置姿勢を表す。なお、撮影位置姿勢３０５および３０８は、後述するように、空間モデル作成プログラム１０６によって算出されるデータであり、各画像を取得した時点では空欄である。

また、一人称映像データ１１０のフォーマットとしては、一般的に用いられる動画フォーマット等、データ中の各時刻における画像が容易に取得できるフォーマットであれば、どのようなフォーマットを用いても良い。注視位置データ１１１のデータベースには、視線計測装置１０１で取得された注視位置のデータが格納される。

図４に、注視位置データ１１１のフォーマットの一例を示す。
上述のように、注視位置は一人称映像データ１１０上における位置座標として表されることを前提とするため、注視位置データ１１１には対応する一人称映像データ１１０が存在する。このため、データの名称４０１に対応する一人称映像データにおけるデータの名称３０１と同じ名称を記述することにより、注視位置データ１１１と一人称映像データ１１０との対応関係を表す。

また、注視位置データ１１１には、あらかじめ定められた時間間隔、あるいは任意のタイミングで取得した複数の位置座標が取得された順番で含まれている。図４におけるデータ数４０２は、データ中に含まれる位置座標の数を表す。４０３は最初に注視位置の位置座標が取得された時刻、４０４は最初に取得された注視位置の位置座標、４０５は注視位置算出プログラム１０８により注視位置データが物体モデルに対応付けられた場合、その物体の名称を記述する。

４０６はｎ番目に注視位置の位置座標が取得された時刻、４０７はｎ番目に取得された注視位置の位置座標、４０８は注視位置算出プログラム１０８により注視位置データが物体モデルに対応付けられた場合、その物体の名称を記述する。注視位置データが取得された時点では、対応付けられた物体モデルは無いため、４０５および４０８は空欄となる。

また、注視位置データ１１１が取得された時点では、注視位置は一人称映像上の位置座標、すなわち二次元の座標データであるが、注視位置データ１１１が物体モデルに対応付けられた場合は物体モデル上の位置座標となり三次元の座標データに書き換えられる。

上述した注視位置データ１１１では、視線計測装置１０１で取得された注視位置データと、物体モデルに対応付けられた注視位置データを同じデータで管理することを前提としている。しかし、視線計測装置１０１で取得された注視位置データと、物体モデルに対応付けられた注視位置データを別々のデータとして管理するようにしても良い。

物体モデルデータ１１２のデータベースには、利用者が視線を向ける範囲内の空間に存在する物体の三次元モデルを格納する。本発明では、それぞれの物体の三次元モデルは物体の形状を表す点の集まり、すなわち点群データとして表されることを想定する。

一般的な三次元ＣＡＤ等を使用して作成される物体モデルは、多角形の集まりとして表される場合が多いが、多角形で表された物体モデルは、容易に点群モデルに変換することができる。例えば、まずそれぞれの多角形について、ある頂点とその頂点と隣り合う頂点以外を結ぶ線で多角形を三角形に分割し、それぞれの三角形については、ある頂点とそれに向かい合う辺の中点を結ぶ線で三角形を分割することを繰り返し、最終的に全ての三角形の頂点を選択することで、多角形で表されている物体モデルを点群データとして表すことができる。

図５に、物体モデルデータ１１２のデータベースに格納される物体モデルのフォーマットの一例を示す。
図５における５０１は、物体に付与された名称であり、任意の文字および記号の列を用いることができる。５０２は物体モデル中に含まれる点の数、５０３は最初の点の位置座標、５０４はｎ番目の点の位置座標を表す。図５に示すフォーマットでは点の位置座標のみを含めているが、例えば色に関する情報等、それぞれの点に付属する情報を含めるようにしても良い。

空間モデルデータ１１３のデータベースには、利用者が視線を向ける範囲内の空間に対する三次元モデルである空間モデルを格納する。空間モデルは、一人称映像データ１１０を用いて空間モデル作成プログラム１０６によって作成されるデータであり、上述した物体モデルと同様に点群データとして表されることを想定している。

図６に、空間モデルデータ１１３のデータベースに格納される空間モデルのフォーマットの一例を示す。
図６におけるモデルの名称６０１は、空間モデルに付与された名称であり、任意の文字および記号の列を用いることができる。６０２は空間モデルの作成に使用された一人称映像データの名称、６０３は空間モデル中に含まれる点の数、６０４は最初の点の位置座標、６０５はｎ番目の点の位置座標を表す。図６に示すフォーマットでは点の位置座標のみを含めているが、例えば色に関する情報等、それぞれの点に付属する情報を含めるようにしても良い。

物体配置データ１１４のデータベースには、物体位置姿勢推定プログラム１０７によって、空間モデルにマッチングされ、空間モデル上に配置された物体モデルに関するデータを格納する。

図７に、物体配置データ１１４のデータベースに格納される物体配置データ１１４のフォーマットの一例を示す。
物体配置データ１１４は空間モデルごとに格納される想定として、図７におけるモデルの名称７０１に対応する空間モデルの名称を記述する。物体の数７０２は、対象となっている空間モデルに配置されている物体モデルの数を表す。

図７において、７０３は空間モデル上に配置されている最初の物体の名称、７０４は最初の物体の空間モデル上における位置姿勢、７０５は最初の物体が空間モデルに配置された時刻を表す。７０６は空間モデル上に配置されているｎ番目の物体の名称、７０７はｎ番目の物体の空間モデル上における位置姿勢、７０８はｎ番目の物体が空間モデルに配置された時刻を表す。

本発明は、視線計測装置１０１から取得された一人称映像データ１１０および注視位置データ１１１から、空間モデル作成プログラム１０６、物体位置姿勢推定プログラム１０７および注視位置算出プログラム１０８によって、各物体上における注視位置の分析処理を行う。本実施例では特に、視線計測装置１０１から一人称映像データ１１０および注視位置データ１１１をリアルタイムに取得しながら処理を行うことを想定している。

このためまず、空間モデル作成プログラム１０６では、視線計測装置１０１から取得され、一人称映像データ１１０のデータベースに保存されたデータから、新たに保存されたデータを常時読み込み、空間モデルを作成する処理を行う。

映像データから点群データで表現される空間モデルを作成する技術としては、良く知られたＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）およびＭＶＳ（Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ）法を組み合わせた技術を用いることができる。

ＳＬＡＭはカメラを移動させた場合に対応する連続した複数枚の画像を用いて、画像間の対応関係を解析することにより、粗い点群データを作成する技術である。一方、ＭＶＳ法は、ＳＬＡＭにおける解析結果を用いることにより、より詳細な密な点群データを作成する技術である。

ＳＬＡＭおよびＭＶＳ法を用いて点群データによる空間モデルを作成する場合のイメージを図８に示す。

図８において８０１は、利用者が視線を移動する範囲に存在している物体を表しており、簡単のため、周囲には他の物体は存在しないと想定している。８０２および８０４は一人称映像を撮影した際のカメラの位置を表しており、８０３および８０５はそれぞれのカメラの位置から一人称映像を撮影した際のカメラの視野の範囲およびカメラの姿勢を図示したものである。

８０２および８０４に示すように、複数の箇所から撮影した同一物体あるいは同一箇所の画像を用いることにより、８０６に示すような点群データで表される空間モデルが作成される。

図８では、カメラの位置は２箇所のみを示しているが、より正確な空間モデル８０６を作成するために、一般的には、それ以上の枚数の画像が用いられる。以上のような技術を用いることにより、利用者の注視位置の移動に応じて、空間モデル８０６をリアルタイムに作成することができる。空間モデル作成プログラム１０６で使用する技術としては、上記の技術の他、同様に点群データで表された空間モデルを作成できる技術であれば、どのような技術を用いても良い。

また、ＳＬＡＭ技術を用いることにより、作成された空間モデル上における一人称映像を撮影したカメラの位置姿勢も同時に算出することができる。後述するように、カメラの位置姿勢は物体モデル上の注視位置の算出で必要となる情報である。このため、カメラの位置姿勢を算出することができない空間モデルの作成技術を使用する場合は、空間モデル上のカメラの位置姿勢を取得する手段を別途利用する必要がある。例えば、位置姿勢を取得するセンサを利用する等、空間中の位置姿勢を取得する技術であればどのような技術でも使用することができる。

物体位置姿勢推定プログラム１０７は、空間モデル作成プログラム１０６によって作成された空間モデル中の一部の点群データに対して、物体モデルの点群データをマッチング、すなわち位置や姿勢がうまく合うように合わせ込みを行い、空間モデル中における物体モデルの位置姿勢を求めるためのプログラムである。

物体位置姿勢推定プログラム１０７で使用する技術としては、良く知られたＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムやＮＤＴ（Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｔｒａｎｓｆｏｒｍ）アルゴリズムと呼ばれる技術を用いることができる。あるいは、点群データ同士のマッチングを行い、空間モデル中における物体モデルの位置姿勢を求めることができる技術であればどのような技術を用いても良い。また、物体位置姿勢推定プログラム１０７は、後述の注視位置算出プログラム１０８によって、処理を行うタイミングが制御される。

注視位置算出プログラム１０８は、視線計測装置１０１によって取得された注視位置データ１１１、物体モデルデータ１１２および空間モデル作成プログラム１０６によって作成された空間モデルデータ１１３を用いて、物体モデル上における注視位置を求めるプログラムである。

図９のフローチャートを用いて、注視位置算出プログラム１０８の処理の流れを説明する。
図９におけるステップ９０１では、注視位置データ１１１のデータベースに格納されている注視位置データ１１１から新たな注視位置データ１１１を取得する。あるいは、視線計測装置１０１から新たな注視位置データを直接取得するようにしても良い。

ステップ９０２では、新たに取得された注視位置データ１１１、および空間モデル作成プログラム１０６によって空間モデルを作成する際に算出され、一人称映像データ１１０に記載されている撮影位置姿勢３０５および３０８を用いて、空間モデル上の注視方向を算出する。

また、空間モデル上の注視方向は、注視の始点となる位置とその位置からの視線方向を示すベクトルで表される。空間モデル上の注視方向の算出は、まず、新たに取得された注視位置データ１１１と同じ時刻の一人称映像データに対する撮影位置姿勢を一人称映像データ１１０から取得する。

全く同じ時刻の撮影位置姿勢が存在しない場合は、例えば、注視位置データ１１１の時刻の前後の時刻に対応する一人称映像データ１１０に対する撮影位置姿勢を取得し、注視位置データ１１１の時刻との関係に基づいて補間を行うことにより求めた撮影位置姿勢を使用する、等の方法を用いれば良い。次に、取得した撮影位置姿勢を用いて、一人称映像上の注視位置を空間モデル上の注視位置に座標変換する。

上述のように、注視位置データ１１１は一人称映像上の注視位置で表されるが、良く知られたピンホールカメラモデルにカメラの視野角や焦点距離等の情報を適用することにより、撮影位置、一人称映像および注視位置の位置関係を実際の空間と同一サイズで求めることができる。さらに、一人称映像データ１１０から取得した撮影位置姿勢により、求めた位置関係を座標変換することにより、図１０に示すように、空間モデル上におけるカメラの撮影位置、一人称映像および注視位置の位置関係を表すことができる。

図１０において、１００１は空間モデル、１００２は空間モデル１００１上における一人称映像を撮影したカメラの撮影位置、１００３は一人称映像の空間モデル１００１上における撮影範囲を示しており、カメラの撮影姿勢に対応する。

また、１００４は空間モデル１００１に対応付けられた一人称映像上の注視位置である。空間モデル１００１上の注視方向は、図１０において、１００２を始点として一人称映像上の注視位置１００４を通過するベクトル１００５として求めることができる。

図９におけるステップ９０３では、ステップ９０２で求めた空間モデル１００１上の注視方向に、空間モデル１００１上に配置された物体モデルが存在するかどうかの判定を行い、空間モデル１００１上の注視方向に空間モデル１００１上に配置された物体モデルが存在すると判定された場合はステップ９０６に、存在しないと判定された場合は９０４に、それぞれ進む。

判定を行う方法としては、まず、物体配置データ１１４から対象となる空間モデル１００１に配置された物体モデルの情報を取得し、該当する物体モデルの点群データを物体モデルデータ１１２から読み込み空間モデル上に配置する。次に、空間モデル１００１上の注視方向を表すベクトル（以下、注視方向ベクトル）、例えば図１０におけるベクトル１００５と空間モデル１００１上に配置された物体モデルの各点との距離を求め、注視方向ベクトルと最も近い距離を選択する。

選択された距離があらかじめ定められた閾値以下であれば、対象となる物体モデルが注視方向に存在すると判定することができる。距離に対する閾値としては、例えば、物体モデルを構成する点群データにおける点間の距離において、最も大きい距離や最も大きい距離の２分の１等を選択することができる。また、判定方法としては、空間モデル上の注視方向ベクトルとの距離があらかじめ定められた閾値以下である点が、あらかじめ定められた閾値以上の個数存在する場合に、対象となる物体モデルが注視方向にあると判定するようにしても良い。

また、物体モデルデータ１１２のデータベースに格納する物体モデルとして、点群データの他に多角形（ポリゴン）の集合で表された形式のデータであるポリゴンデータも格納しておき、空間モデル１００１上に該当する物体モデルもポリゴンデータを配置し、空間モデル１００１上に配置された各ポリゴンと空間モデル上に配置された視線方向を表すベクトルとが交差する点が存在する場合、対象となる物体モデルが注視方向に存在すると判定するようにしても良い。

さらには、空間モデル１００１上に配置された物体が複数存在する場合は、上述した注視方向ベクトル１００５と最も近い距離にある点や注視方向ベクトル１００５と交差するポリゴンの注視方向ベクトル上の位置を求め、注視方向ベクトル１００５の始点、すなわち撮影位置に最も近い点あるいはポリゴンを含む物体モデルを注視方向に存在する物体モデルとして選択すれば良い。

またさらには、空間モデル１００１と同じ位置関係を表すことができる仮想空間を用意し、物体が空間モデル１００１上に配置されるごとに、仮想空間上に物体モデルを配置し、仮想空間上で上述した判定処理を実行するようにしても良い。

ステップ９０４では、物体位置姿勢推定プログラム１０７を用いて、空間モデル１００１上の注視方向に存在する空間モデル１００１上の点群データに対して、物体モデル１００４をマッチングする。この処理は、図１０において、空間モデル１００１に対して物体モデル１００６を位置や姿勢を様々に調整することにより、対象とする物体モデル１００６で空間モデル１００１の一部を置き換えることを可能とするための処理である。

視線方向に存在する空間モデル１００１上の点群データとしては、例えば、注視方向ベクトル１００５からの距離があらかじめ定められた距離以下である空間モデル上の点群データを選択することができる。あらかじめ定められた距離としては、マッチングを行う物体モデルの最大サイズや最大サイズの２分の１等を用いることができる。

あるいは、注視方向ベクトル１００５を中心軸とするあらかじめ定められた大きさの特定の形状の範囲内に存在する点群データとすることもできる。また、点群データ中の各点の注視方向ベクトル上での位置を求め、点群データが注視方向ベクトル上で最も集中している箇所を中心にあらかじめ定められた範囲の点を選択することもできる。以上の他にも、注視方向ベクトルを中心としてマッチングの対象とする点群データを選択できる方法であれば、どのような方法を用いても良い。

空間モデル上の点群データにマッチングする物体モデルは、物体モデルデータ１１２のデータベースに格納されている全ての物体モデルを対象とすることもできるし、あるいは、実際の物体上に、良く知られたＱＲコード（登録商標）やＡＲマーカー、物体の名称を表す記号や文字列等を設置し、良く知られた画像認識技術や文字認識技術を用いてそれらを読み取り、対応する物体モデルを物体モデルデータ１１２から選択してマッチングするようにしても良い。

図１１の１１０１に、実際の物体上に設置されたＡＲマーカーの一例を示す。あるいは、空間モデル上の点群データと物体モデルの点群データから、良く知られた点群特徴量（三次元特徴量）を抽出し、空間モデル上の点群データと類似した点群特徴量を有する物体モデルを物体モデルデータ１１２から選択してマッチングするようにしても良い。

また、組み立て作業を行うような場合、特定の箇所に存在する物体の形状や大きさが変化していくが、このような場合、図１２の１２０１、１２０２および１２０３に示すように、作業の工程ごとに物体の状態を示す物体モデルとその順序関係を物体モデルデータ１１２に保存しておき、順に空間モデルとマッチングを行うようにすることで、作業の工程に応じた物体モデルを空間モデルにマッチングできるようになる。

具体的には、例えば、注視方向に存在する空間モデル上の点群データにいずれの物体モデルもマッチングされていない場合は、最初の工程に対応する物体モデルを選択してマッチングを行う。

一方、注視方向に存在する空間モデル上の点群データに、いずれかの工程に対応する物体モデルがすでにマッチングされている場合は、次の工程に対応する物体モデルを選択し、空間モデル上の点群データとのマッチングを行い、既にマッチングされている物体モデルと空間モデルの一致度より高い一致度で次の工程に対応する物体モデルが空間モデルにマッチングされた場合、既にマッチングされている物体モデルを次の工程に対応する物体モデルで置き換えるようにすれば良い。

一致度としては、後述するステップ９０５での処理において使用するものと同様のものを用いることができる。さらに、次の工程に対応する物体モデルの空間モデルへのマッチングは、既にマッチングされている物体モデル上に注視位置が移動した場合や、空間モデル作成プログラム１０６において空間モデルの変化が検出された場合に行うようにすれば良い。

空間モデルの変化の検出は、空間モデル作成プログラム１０６において、例えば、新たに取得された一人称映像の画像とその直前のあらかじめ定められた枚数の一人称映像の画像を用いて生成された空間モデルとそれ以前に生成されていた空間モデルとを比較し、両者の差分があらかじめ定められた閾値以上の大きさであれば、空間モデルが変化したと判定すればよい。

空間モデルと空間モデルの差分は、例えば、一方の空間モデル中の各点に対して、他方の空間モデル中の最も近い点を検索し、検索された点との距離を算出し、一方の空間モデル中の全ての点についての距離の平均を求めることにより算出することができる。あるいは、求められた距離があらかじめ定められた閾値以上である点の数を用いても良い。あるいは、点群間の差分を算出できる方法であれば、どのような方法を用いても良い。

ステップ９０５では、空間モデル上の注視方向に存在する空間モデル上の点群データに物体モデルが正しくマッチングされたかどうかを判定し、正しくマッチングされた場合は物体モデルのマッチング結果を物体配置データ１１４のデータベースに保存した後ステップ９０６に、そうでない場合はステップ９０８に進む。

空間モデル上の点群データに物体モデルが正しくマッチングされたかどうかを判定する方法としては、空間モデル上の点群データと、マッチング処理を行った結果に基づいて空間モデル上に配置された物体モデルとの一致度を求め、一致度があらかじめ定められた値より大きい場合、物体モデルが正しくマッチングされたと判定すれば良い。

空間モデル上の点群データにマッチングされる物体モデルが複数存在する場合は、最も大きい一致度を選択し、選択した一致度があらかじめ定められた値より大きい場合、物体モデルが正しくマッチングされたと判定するとともに、選択された一致度に対応する物体モデルが空間モデル上の点群データにマッチングされたと判断すれば良い。

一致度としては、例えば、マッチング結果を用いて空間モデル上に配置された物体モデル中の各点に対して、空間モデル上の点群データ中でもっとも距離が小さい点を探索し、求めた距離があらかじめ定められた閾値より小さい点の数の個数を求め、物体モデル中における点の数に対する求めた点の個数の割合を用いることができる。空間モデル上の点群データと物体モデルの一致度としては、上記の他、点群データ同士のマッチング結果の良否を判定できる指標であれば、どのような指標を用いても良い。

ステップ９０６では、ステップ９０４でのマッチング結果を用いて空間モデル上に配置された物体モデルにおける注視位置を算出する。空間モデル上に配置された物体モデルと空間モデル上の注視方向ベクトルは、図１０における１００５となるため、上述したステップ９０３における処理、すなわち、空間モデル上の注視方向に空間モデル上に配置された物体モデルが存在するかどうかの判定処理と同様の処理を用いることができる。

ただしステップ９０３では、物体モデルが点群データの場合、注視方向ベクトル１００５との距離があらかじめ定められた閾値以下の点が存在するかどうかに着目していたが、注視位置の算出では、注視方向ベクトルとの距離があらかじめ定められた閾値以下であり、かつ、撮影位置１００２に最も近い点を選択し、それを注視位置とすることが異なる。

あるいは、注視方向ベクトル１００５との距離があらかじめ定められた閾値以下であり、撮影位置１００２に最も近い点からあらかじめ定められた範囲内に複数の点が存在する場合は、撮影位置１００２に最も近い点と、そこからあらかじめ定められた範囲内に点の平均を注視位置としても良い。

あるいは、物体モデルが多角形の集まりとして表される場合は、注視方向ベクトルと物体モデル中の各多角形との交点を求め、撮影位置１００２に最も近い交点を注視位置として求めるようにすれば良い。

以上によって求められた注視位置は空間モデル上での注視位置であるため、ステップ９０６では、求められた注視位置をステップ９０４のマッチング結果により得られた空間モデル上における物体モデルの位置姿勢を用いて座標変換を行う。これにより、空間モデル１００１上での注視位置１００４を物体モデル１００６上、すなわち物体モデルの座標系における注視位置１００７に変換する。

また、ステップ９０５において空間モデル上に物体モデルが配置された場合、ステップ９０６において、過去の注視位置データに対して、配置された物体モデル上における注視位置の計算を行うようにしても良い。これは、注視位置算出プログラム１０８の処理の初期段階等では、空間モデル上の各物体に対する点群データが少なく、空間モデル上への物体モデルの配置が行えない場合が想定されるためである。

ステップ９０７では、ステップ９０６で求めた物体モデル上の注視位置を注視位置データ１１１に保存する。また、物体モデルの注視位置を保存する際、空間モデル上における一人称映像の撮影位置姿勢や、空間モデル中における注視位置、空間モデル上における物体モデルの位置姿勢等を合わせて保存するようにしても良い。

ステップ９０８では、入力装置１０３等から終了の指示がある場合は処理を終了し、そうでなければステップ９０１に戻る。

上述した注視位置算出プログラム１０８では、一人称映像データ１１０および注視位置データ１１１をリアルタイムに取得し、空間モデルデータ１１３を生成しながら物体モデルデータ１１２の空間モデル上への配置を行い、物体モデル上への注視位置の計算を行っていたが、対象となる一人称映像データ１１０および注視位置データ１１１の取得が一通り完了した後、一人称映像データ１１０および注視位置データ１１１に保存されているデータを順番に読み込みながら注視位置算出プログラム１０８の処理を実行するようにしても良い。

その際、空間モデルの作成、あるいは、空間モデルの作成および空間モデル上への物体モデルの配置を行った後、物体モデル上への注視位置の計算を行うようにしても良い。またその際、空間モデル上に物体モデルが配置されていない箇所に対して、手動で物体モデルを配置した後、上述した処理を行うようにしても良い。

あるいは、注視位置算出プログラム１０８の処理を実行した後、注視位置算出プログラム１０８を実行した後に生成される空間モデルデータ１１３および物体配置データ１１４を用いて、再度、注視位置算出プログラム１０８を実行するようにしても良い。これは、注視位置算出プログラム１０８の処理の初期段階等では、空間モデル上の各物体に対する点群データが少なく、空間モデル上への物体モデルの配置が行えない場合が想定される。

このような場合、注視位置データ１１１に格納された注視位置の内、物体モデル上の注視位置が計算されないままになる注視位置が生じる可能性があるためである。この場合、注視位置算出プログラム１０８は以下の変更を行った上で実行される。

一つ目の変更点としては、ステップ９０１における注視位置データの取得は注視位置データ１１１に保存されているデータから保存された順序でデータを読み込むことによって行う。さらに、取得された注視位置データに対して物体モデル上への注視位置の計算が行われているかどうかを判定し、行われていればステップ９０８に進む処理を追加する。

二つ目の変更点としては、ステップ９０３において、空間モデル上の注視方向に物体モデルが配置されていない場合、ステップ９０４ではなくステップ９０８に進むようにすることである。

三つ目の変更点は、ステップ９０４およびステップ９０５を削除することである。注視位置算出プログラム１０８に対して、以上の三点の変更を行うことにより、物体モデル上への注視位置の計算が行われていない注視位置に対して、物体モデル上への注視位置の計算を行うことができる。またその際、空間モデル上に物体モデルが配置されていない箇所に対して、手動で物体モデルを配置した後、上述した処理を行うようにしても良い。

注視位置表示プログラム１０９は、利用者からの指示に応じて、注視位置データの表示を行うプログラムである。注視位置は、視線分析で良く知られた方法、例えば、注視位置の頻度分布であるヒートマップによる方法や、注視位置が一定範囲内にとどまっていた時間の長さを円の大きさ等で視覚的に表示する方法等により表示を行う。

また、一人称映像上の注視位置を表示する他、物体モデル上における注視位置の表示を行う。物体モデル上における注視位置の表示方法としては、空間モデルに対応する仮想空間である仮想空間モデルを用意し、仮想空間モデル中に物体配置データ１１４中に保存されているデータに基づいて物体モデルを配置し、仮想空間モデル中に配置された物体モデル上に注視位置を表示する方法を用いることができる。あるいは、特定の物体モデルのみを選択し、選択された物体モデル上にのみ、注視位置を表示する方法を用いることもできる。

さらに、物体モデル上に注視位置を表示する場合、注視位置が常に利用者に正対するように仮想空間モデルあるいは物体モデルを調整して表示するようにしても良い。

図１３の１３０１は物体モデルの例を、１３０２、１３０３、１３０４および１３０５は物体モデル上の注視位置の例を示す。また、図１４に、図１３で示す注視位置を常に利用者に正対するように表示した場合の一例を示す。

図１４において、１４０１は注視点１３０２を利用者に正対するように表示した物体モデル、１４０２は１４０１上に表示された注視点である。１４０３は注視点１３０３を利用者に正対するように表示した物体モデル、１４０４は１４０３上に表示された注視点である。１４０５は注視点１３０４を利用者に正対するように表示した物体モデル、１４０６は１４０５上に表示された注視点である。１４０７は注視点１３０５を利用者に正対するように表示した物体モデル、１４０８は１４０７上に表示された注視点である。

図１４に示す表示方法では、各注視位置が完全に利用者に正対するように物体モデルを調整することにより、注視位置の表示を行っている。これを行うためには、例えば、物体モデルが点群データである場合は、注視位置を含むあらかじめ定められた範囲にある点を選択し、選択された点から注視位置を含む平面の法線の向きを求め、求めた法線が利用者側に向くように物体モデルの位置姿勢を調整するようにすればよい。物体モデルが多角形の集まりで表現されている場合は、注視位置を含む多角形を物体モデルから選択し、その法線が利用者側に向くように物体モデルの位置姿勢を調整するようにすればよい。

また、注視位置を表示する際に、表示する物体モデルの位置姿勢の調整方法に制限を設けるようにしても良い。さらに、注視位置が利用者に正対する程度を調整することにより、注視位置を表示する際に物体モデルの姿勢が大きく変化することを抑えるようにしても良い。

例えば、最初の注視位置は利用者に正対するように表示し、それ以降の注視位置は、利用者に正対する程度があらかじめ定められた範囲を超えないように、物体モデルの位置姿勢を調整する。注視位置が利用者に正対する程度としては、注視位置を含む平面の法線方向と利用者に正対する方向、すなわち画面に垂直な方向との間の角度や内積等を用いることができる。

図１５に、上述の方法で注視位置を表示した場合の表示例を示す。
図１５は、物体モデルを表示する際に、物体モデルの上下方向の座標軸を利用者側に傾けた状態で、注視位置を表示する際の位置姿勢の調整方法として、物体モデルの上下方向の座標軸周りの回転のみを許容して表示した場合を示している。物体モデル１５０１は最初の注視位置１５０２を利用者に正対するように位置姿勢を調整している。

ただし図１５では、物体モデルの上下方向の座標軸が傾いており、注視位置を利用者に完全に正対させることはできないため、できるだけ正対するように位置姿勢の調整を行う。具体的には、上述と同様に注視位置を含む平面の法線を求め、求めた法線と利用者に正対する方向、すなわち画面に垂直な方向との差が最も小さくなるように、物体モデルの位置姿勢を調整する。物体モデル１５０３では、注視位置１５０４が利用者に正対する程度が注視位置１５０２より低い状態、すなわち注視位置の確認は可能であるが、利用者には正対していない状態で表示されている。物体モデル１５０５上の注視位置１５０６および物体モデル１５０７上の注視位置１５０８も注視位置１５０４と同じ方法で表示された場合を示している。

以上のように、本発明に実施例における注視位置分析システムは、利用者の視野と同様の映像である一人称映像から利用者が視線を向けた範囲の空間の三次元モデルである空間モデルの生成と空間モデル中における一人称画像の撮影位置姿勢の算出を行い、空間モデル上における一人称映像の撮影位置姿勢と一人称映像上の注視位置とを用いて空間モデル上における注視方向を算出し、物体に対する三次元モデルである物体モデルと空間モデルとをマッチングすることにより推定された空間モデル上における物体の位置姿勢により物体モデルを空間モデル中に配置し、空間モデル上における注視方向と物体モデルとの交点を求めることにより、物体モデル上における注視位置を算出する。

本発明の実施例によれば、利用者に装着する形態の視線計測装置を対象として、計測対象の空間を自由に移動して計測された利用者の視線情報から、空間中に存在する各種対象物の三次元モデル上に利用者の注視位置を自動的に対応付けることが可能となる。

１０１ 視線計測装置
１０２ 情報処理装置
１０３ 入力装置
１０４ 出力装置
１０５ 記憶装置
１０６ 空間モデル作成プログラム
１０７ 物体位置姿勢推定プログラム
１０８ 注視位置算出プログラム
１０９ 注視位置表示プログラム
１１０ 一人称映像データ
１１１ 注視位置データ
１１２ 物体モデルデータ
１１３ 空間モデルデータ
１１４ 物体配置データ

Claims (15)

1. 空間モデル作成部と物体位置姿勢推定部と注視位置算出部を有し、空間中に存在する物体の三次元モデルである物体モデル上に利用者の物体モデル上の注視位置である物体モデル注視位置を自動的に対応付ける注視位置分析システムであって、
   前記空間モデル作成部は、
   前記利用者の視野と同様の映像である一人称映像を取得し、
   前記利用者の前記一人称映像上の注視位置である一人称映像注視位置を取得し、
   前記利用者が視線を向けた範囲における空間の三次元モデルである空間モデルを前記一人称映像から作成し、
   前記空間モデル中における前記一人称映像の撮影位置姿勢を算出し、
   前記物体位置姿勢推定部は、
   前記物体モデルと前記空間モデルとをマッチングすることにより、前記空間モデル中における前記物体の位置姿勢を推定し、
   前記空間モデル中における前記物体の位置姿勢を用いて、前記物体モデルを前記空間モデル中に配置し、
   前記空間モデル中における前記一人称映像の前記撮影位置姿勢と前記一人称映像注視位置を用いて、前記空間モデル中における注視方向を算出し、
   前記注視位置算出部は、
   前記空間モデル中における前記注視方向と前記物体モデルとの交点を求めることにより、前記物体モデル注視位置を算出することを特徴とする注視位置分析システム。
2. 前記物体位置姿勢推定部は、
   前記空間モデル中の前記注視方向に前記物体モデルがマッチングされていないデータが存在する場合は、前記物体モデルと前記物体モデルがマッチングされていない前記空間モデル中のデータとをマッチングすることにより、前記空間モデル中における前記物体の位置姿勢を推定することを特徴とする請求項１に記載の注視位置分析システム。
3. 前記物体位置姿勢推定部は、
   前記空間モデル中におけるデータから、前記注視方向を基準として、あらかじめ定められた範囲に存在する空間モデル中のデータを選択し、
   前記物体モデルと前記選択された空間モデル中のデータとをマッチングすることにより前記空間モデル中における前記物体の位置姿勢を推定することを特徴とする請求項１に記載の注視位置分析システム。
4. 前記物体位置姿勢推定部は、
   あらかじめ設定された画像パターン、文字列又は記号列を前記一人称映像中から読み取り、
   前記画像パターン、前記文字列又は前記記号列に対応する前記物体モデルを選択し、
   前記空間モデルと前記空間モデル中における前記一人称映像の撮影位置姿勢と、前記一人称映像中の前記画像パターン、前記文字列又は前記記号列の位置とから、前記空間モデル中における前記画像パターン、前記文字列又は前記記号列の前記空間モデル中の位置を算出し、
   前記空間モデル中における前記画像パターン、前記文字列又は前記記号列の前記空間モデル中の位置を基準として、前記あらかじめ定められた範囲に存在する空間モデル中のデータを選択し、
   前記選択された物体モデルと前記選択された空間モデル中のデータとをマッチングすることにより前記空間モデル中における前記物体の位置姿勢を推定することを特徴とする請求項３に記載の注視位置分析システム。
5. 前記物体位置姿勢推定部は、
   ある時刻における前記一人称映像から作成された空間モデルを表すデータと、既に作成されている前記空間モデルの内、同時刻における前記一人称映像に対応する範囲のデータとの差異を算出し、
   前記算出された差異があらかじめ定められた閾値より大きい場合は、前記空間モデル上の該当する範囲のデータを前記一人称映像から作成された前記空間モデルを表すデータに置き換え、
   前記置き換えを行った箇所のデータに対して、前記物体モデルのマッチングを行い、
   前記置き換えを行う前のデータに対してマッチングされていた前記物体モデルを新たにマッチングされた前記物体モデルと置き換えることことを特徴とする請求項１に記載の注視位置分析システム。
6. 形状又は構造が変化する前記物体に対して、前記変化のそれぞれの過程に対応する前記物体モデルと、前記変化の順序関係とを保存する物体モデル保存部を更に有し、
   前記物体位置姿勢推定部は、
   変化する前記物体に対応する前記物体モデルがマッチングされた箇所については、前記空間モデルの変化が検出されるごとに、前記物体の変化の過程に応じた前記物体モデルを前記物体モデル保存部から選択し、前記選択された物体モデルと前記空間モデルとのマッチングを行うことを特徴とする請求項１に記載の注視位置分析システム。
7. 前記注視位置算出部は、
   任意の前記物体モデルが新たに前記空間モデル上の任意の箇所にマッチングされた場合、
   以前の前記物体モデル注視位置に対して、新たに前記空間モデル上にマッチングされた前記物体モデル上に前記物体モデル注視位置があるかどうかを判定することを特徴とする請求項１に記載の注視位置分析システム。
8. 前記物体位置姿勢推定部は、
   前記空間モデル上において前記物体モデルがマッチングされなかった箇所に対して、前記利用者が手動で前記物体モデルをマッチングさせ、
   前記注視位置算出部は、
   既に取得された全ての前記物体モデル注視位置に対して、前記利用者が手動で前記空間モデル上にマッチングさせた前記物体モデル上に前記物体モデル注視位置があるかどうかを判定することを特徴とする請求項１に記載の注視位置分析システム。
9. 前記注視位置算出部は、
   前記物体モデルの名称、前記空間モデル中における前記一人称映像の撮影位置姿勢、前記空間モデル中における一人称映像注視位置、前記空間モデル中における前記物体モデルの位置姿勢の内の少なくとも一つを前記物体モデル上の前記物体モデル注視位置に対応付けて保存することを特徴とする請求項１に記載の注視位置分析システム。
10. 前記物体モデル上の前記物体モデル注視位置を表示する注視位置表示部を更に有し、
    前記注視位置表示部は、
    前記物体モデル上の前記物体モデル注視位置を表示する際、各時刻の前記物体モデル注視位置が常に正面に表示されるように前記物体モデルの位置姿勢を調整することを特徴とする請求項１に記載の注視位置分析システム。
11. 前記空間中を前記利用者が自由に移動できる状態で、前記利用者の前記一人称映像を撮影し、前記一人称映像注視位置を計測する視線計測装置を更に有し、
    前記空間モデル作成部は、
    前記視線計測装置から前記一人称映像と前記一人称映像注視位置を取得することを特徴とする請求項１に記載の注視位置分析システム。
12. 前記視線計測装置は、
    撮影装置を有し、
    前記空間モデル作成部は、
    前記撮影装置で撮影された複数枚の撮影画像から周囲の前記空間モデルを作成することを特徴とする請求項１１に記載の注視位置分析システム。
13. 空間中に存在する物体の三次元モデルである物体モデル上に利用者の物体モデル上の注視位置を自動的に対応付ける注視位置分析システムであって、
    撮影された複数枚の撮影画像から、周囲の空間の三次元モデルである空間モデルを作成する空間モデル作成部と、
    前記空間モデルと前記物体モデルとをマッチングし、前記マッチングで得られた位置姿勢により前記物体モデルを前記空間モデル上に配置する物体位置姿勢推定部と、
    前記配置された物体モデルと前記空間モデル中における注視方向に基づいて、前記物体モデル上の前記注視位置を算出する注視位置算出部と、
    を有することを特徴とする注視位置分析システム。
14. 前記注視位置算出部は、
    前記空間モデル中における前記注視方向と前記物体モデルとの交点を求めることにより、前記物体モデル上の前記注視位置を算出することを特徴とする請求項１３に記載の注視位置分析システム。
15. 空間中に存在する物体の三次元モデルである物体モデル上に利用者の物体モデル上の注視位置である物体モデル注視位置を自動的に対応付ける注視位置分析方法であって、
    前記利用者の視野と同様の映像である一人称映像を取得するステップと、
    前記利用者の前記一人称映像上の注視位置である一人称映像注視位置を取得するステップと、
    前記利用者が視線を向けた範囲における空間の三次元モデルである空間モデルを前記一人称映像から作成するステップと、
    前記空間モデル中における前記一人称映像の撮影位置姿勢を算出するステップと、
    前記物体モデルと前記空間モデルとをマッチングすることにより、前記空間モデル中における前記物体の位置姿勢を推定するステップと、
    前記空間モデル中における前記物体の位置姿勢を用いて、前記物体モデルを前記空間モデル中に配置するステップと、
    前記空間モデル中における前記一人称映像の前記撮影位置姿勢と前記一人称映像注視位置を用いて、前記空間モデル中における注視方向を算出するステップと、
    前記空間モデル中における前記注視方向と前記物体モデルとの交点を求めることにより、前記物体モデル注視位置を算出するするステップと、
    を有することを特徴とする注視位置分析方法。

Images