JP2007133531A - 注目状態検出装置、及び注目状態検出方法 - Google Patents

Abstract

【課題】顕在化されていない発見を顕在化するために、被験者が何かに注目している状態である注目状態を検出する注目状態検出装置を提供する。
【解決手段】被験者が見た光景の画像を示す画像情報を含む情報であり、被験者による体験に関する情報である体験情報が記憶される体験情報記憶部１３と、被験者が注目状態にあるかどうかを示す条件である注目状態条件を示す情報である注目状態条件情報が記憶される注目状態条件情報記憶部１４と、注目状態条件情報に基づいて、体験情報における注目状態を検出する注目状態検出部１５と、注目状態検出部１５が注目状態を検出した場合に、注目状態の発生した時点の画像を含む注目検出情報を、体験情報を用いて構成する注目検出情報構成部１６と、注目検出情報構成部１６が構成した注目検出情報を出力する出力部１９と、を備える。
【選択図】図１

Description

本発明は、被験者が何かに注目している状態である注目状態を検出する注目状態検出装置等に関する。

従来、被験者の体験に関する情報を複数のセンサ等を用いてキャプチャすることは行われていた（例えば、非特許文献１参照）。
角康之、間瀬健二、小暮潔、土川仁、片桐恭弘、萩田紀博、伊藤禎宣、岩澤昭一郎、中原淳、神田崇行、「イベント空間における体験の記録と共有」、Ｔｈｅ １８ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｊａｐａｎｅｓｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００４

人間は、新たな事象や概念を発見することがある。その発見の起こったことがわかっていれば、そのことを記録し、また発表することができる。例えば、自然環境における体験学習において、学習者が珍しい植物などを発見した場合には、その植物などの写真を撮影したり、スケッチしたりすることができる。そのように記録した情報は、学習内容の発表等における題材となりうる。

しかしながら、学習者等が体験学習等においてに重要性を認識できずに見落とした体験の中にも、発見のきっかけになるものが含まれていることがある。そのようなものは、学習者等においても顕在化されていないため、写真を撮影したり、スケッチしたりすることができないのみか、そのような発見の端緒となるものがあったことも、学習者等は認識しないことになる。

本発明は、上記状況に基づいてなされたものであり、被験者において顕在化されていない発見を顕在化するために、被験者が何かに注目している状態である注目状態を検出する注目状態検出装置等を提供することを目的とする。

上記目的を達成するため、本発明による注目状態検出装置は、被験者が見た光景の画像を示す情報である画像情報を少なくとも含む情報であり、前記被験者による体験に関する情報である体験情報が記憶される体験情報記憶部と、前記被験者が何かに注目している状態である注目状態にあるかどうかを示す条件である注目状態条件を示す情報である注目状態条件情報が記憶される注目状態条件情報記憶部と、前記注目状態条件情報に基づいて、前記体験情報における注目状態を検出する注目状態検出部と、前記注目状態検出部が注目状態を検出した場合に、当該注目状態の検出された時点の画像を少なくとも含む情報である注目検出情報を、前記体験情報を用いて構成する注目検出情報構成部と、前記注目検出情報構成部が構成した注目検出情報を出力する出力部と、を備えたものである。

このような構成により、被験者が何かに注目している状態である注目状態を検出することができる。そして、出力された注目検出情報を見ることによって、被験者が何に注目しており、どのような発見をした可能性があるのかを知ることができ、被験者における潜在的な発見を顕在化することができうる。

また、本発明による注目状態検出装置では、前記画像情報は、前記被験者が装着したカメラによって撮影された動画像の情報であってもよい。
このような構成により、カメラによって撮影された動画像の画像情報に基づいて、注目状態を検出することができうる。

また、本発明による注目状態検出装置では、前記注目状態条件は、前記画像情報の変化量がしきい値以下である状態が一定の時間以上継続したことであり、前記注目状態検出部は、前記体験情報における画像情報の変化量がしきい値以下である状態が一定の時間以上継続した場合に、注目状態を検出してもよい。

このような構成により、被験者が何らかのものを一定の時間以上、継続して見ていた場合には、被験者がその何らかのものに注目していると考えられ、その注目状態を検出することができる。

また、本発明による注目状態検出装置では、前記体験情報は、前記被験者の発した音声をマイクによって集音した情報である音声情報も含んでもよい。
このような構成により、マイクによって集音された音声情報に基づいて、注目状態を検出することができうる。

また、本発明による注目状態検出装置では、前記注目状態条件は、前記音声情報の変化量がしきい値以上であることであり、前記注目状態検出部は、前記体験情報における音声情報の変化量がしきい値以上である場合に、注目状態を検出してもよい。
このような構成により、音声情報の変化量がしきい値以上である場合には、被験者が何かに注目していることもあると考えられ、その注目状態を検出することができうる。

また、本発明による注目状態検出装置では、前記注目状態条件は、前記音声情報に、注目状態にあることを示す音声を示す情報である注目音声情報が含まれることであり、前記注目状態検出部は、前記体験情報における音声情報に前記注目音声情報が含まれる場合に、注目状態を検出してもよい。
このような構成により、音声情報に注目音声情報が含まれる場合には、被験者が何かに注目していることもあると考えられ、その注目状態を検出することができうる。

また、本発明による注目状態検出装置では、前記体験情報は、前記被験者の移動に関する情報である移動情報も含んでもよい。
このような構成により、移動情報に基づいて、注目状態を検出することができうる。

また、本発明による注目状態検出装置では、前記移動情報は、前記被験者の位置を示す情報である位置情報であってもよい。
このような構成により、位置情報に基づいて、注目状態を検出することができうる。

また、本発明による注目状態検出装置では、前記注目状態条件は、前記位置情報の示す位置が、一定時間以上、所定の領域単位内であることであり、前記注目状態検出部は、前記体験情報における位置情報の示す位置が、一定時間以上、所定の領域単位内である場合に、注目状態を検出してもよい。

このような構成により、被験者が領域単位内に一定時間以上滞在している場合には、被験者がそのあたりの何らかのものに注目していると考えられ、その注目状態を検出することができる。

また、本発明による注目状態検出装置では、前記体験情報は、前記被験者の視線の位置を示す情報である視線情報も含んでもよい。
このような構成により、視線情報に基づいて、注目状態を検出することができうる。

また、本発明による注目状態検出装置では、前記注目状態条件は、前記視線情報の示す視線の位置が、一定時間以上、所定の領域単位内にあり、かつ、前記被験者の見ている光景が変化しないことであり、前記注目状態検出部は、前記視線情報の示す視線の位置が、一定時間以上、所定の領域単位内にあり、かつ、前記被験者の見ている光景が変化しない場合に、注目状態を検出してもよい。

このような構成により、被験者が領域単位内のものを一定時間以上見ている場合には、その範囲内に含まれる何らかのものに注目していると考えられ、その注目状態を検出することができる。

また、本発明による注目状態検出装置では、前記被験者の見ている光景が変化しないとは、前記体験情報における画像情報の変化量がしきい値以下であることであってもよい。
このような構成により、画像情報の変化量を用いて、被験者の見ている光景が変化しているかどうかを判断することができうる。

また、本発明による注目状態検出装置では、前記注目状態検出部は、注目状態と共に、注目の程度を示す注目程度をも検出し、前記注目検出情報は、前記注目程度を示す情報である注目程度情報も含んでもよい。
このような構成により、被験者の注目の程度がどれぐらいであるのかを知ることができ、その結果、被験者が潜在的に何らかの発見をしている可能性の程度を知ることができうる。

また、本発明による注目状態検出装置では、前記被験者の行動した領域における背景の画像を示す情報である背景画像情報が記憶される背景画像情報記憶部と、前記注目状態の検出された位置に対応する背景画像情報を前記背景画像情報記憶部から取得する背景画像情報取得部と、をさらに備え、前記出力部は、前記注目状態の検出された位置の画像を前記背景画像情報に配置した注目検出情報を出力してもよい。

このような構成により、例えば、被験者が出力された背景画像情報を見ることによって、どの状況における注目状態であるのかを容易に思い出すことができ、また、注目検出情報に含まれる画像を見ることにより、どのような発見が行われた可能性があるのかについて、知ることができる。

本発明による注目状態検出装置等によれば、注目状態を検出することにより、被験者において顕在化されていない発見を顕在化することができうる。

以下、本発明による注目状態検出装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による注目状態検出装置について、図面を参照しながら説明する。本願の発明者は、被験者において顕在化されていない発見、すなわち潜在的な発見があった場合には、それに対応して、被験者が何かに注目している状態である注目状態が発生しているとの考えに至った。したがって、その注目状態を検出することにより、結果として、被験者による潜在的な発見を顕在化することができうる。その注目状態を検出するのが、以下で説明する注目状態検出装置である。

図１は、本実施の形態による注目状態検出装置１の構成を示すブロック図である。図１において、本実施の形態による注目状態検出装置１は、体験情報受付部１１と、体験情報蓄積部１２と、体験情報記憶部１３と、注目状態条件情報記憶部１４と、注目状態検出部１５と、注目検出情報構成部１６と、背景画像情報記憶部１７と、背景画像情報取得部１８と、出力部１９とを備える。

体験情報受付部１１は、体験情報を受け付ける。ここで、体験情報とは、被験者による体験に関する情報である。この体験情報は、被験者が見た光景の画像を示す情報である画像情報を少なくとも含む情報である。この画像情報は、被験者が装着したカメラによって撮影されたものであってもよい。また、その画像情報は、動画像の情報であってもよく、静止画像の情報であってもよい。後者の場合には、画像情報に含まれる複数の静止画像によって被験者がどのような体験を行ったのかを概観できる程度に撮影されていることが好ましい。例えば、１０秒ごとや５秒ごとに撮影されていることが好ましい。なお、本実施の形態では、画像情報は、被験者が装着したウェアラブルカメラによって作成された動画像であるとする。また、体験情報には、他の情報が含まれていてもよい。

体験情報には、例えば、被験者の発した音声をマイクによって集音した情報である音声情報が含まれてもよい。このマイクは、空気中を伝わる音声を集音するものでもよく、あるいは、被験者の声帯振動を電気信号に変換するマイク（例えば、骨伝導マイクやスロートマイクなど）であってもよい。音声情報には、被験者の発した音声が含まれているのであれば、他の音声、例えば、被験者の話し相手の発した音声や、被験者の周りの音声（水の流れる音や車が走行する音など）が含まれてもよい。本実施の形態では、マイクによって集音された音声情報が体験情報に含まれるものとする。

また、体験情報には、被験者の移動に関する情報である移動情報が含まれてもよい。この移動情報は、例えば、被験者の位置を示す情報である位置情報であってもよく、あるいは、被験者の移動の変化を示す情報である移動変化情報であってもよい。位置情報は、例えば、座標値によって被験者の位置を示す情報である。移動変化情報は、例えば、被験者の移動速度を示す情報である。位置情報や移動変化情報には、被験者の向きを示す情報である方向情報が含まれてもよい。位置情報は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や、ＬＰＳ（Ｌｏｃａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、床面圧力センサ、環境設置型カメラ、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等を用いて取得することができる。ＧＰＳを用いる場合には、高精度のものであることが好ましい。また、ＬＰＳとは、例えば、地磁気センサと加速度センサとを有する自律航法型の位置測位センサによって、基準点からの座標値を算出することができる装置である。また、複数の床面圧力センサを配置しておき、被験者がその床面圧力センサを踏むことによって、被験者がどの位置にいるのかを検出することができる。また、被験者がＲＦＩＤタグを携帯し、複数の受信機を配置しておき、どの受信機が被験者の携帯しているＲＦＩＤタグを検出したのかによって、被験者がどの位置にいるのかを検出することができる。また、複数のボタンを配置しておき、被験者が移動に応じてそのボタンを押すことによって、被験者がどの位置にいるのかを検出することができる。また、移動変化情報は、例えば、加速度センサを用いて検出することができうる。また、被験者の向きを示す方向情報は、例えば、地磁気センサを用いて検出することができる。本実施の形態では、ＬＰＳによって測定された位置情報が体験情報に含まれるものとする。

また、体験情報には、被験者の視線の位置を示す情報である視線情報が含まれてもよい。この視線情報は、例えば、眼球運動を測定する装置であるアイカメラ等を用いて検出される。視野情報は、例えば、リンバストラッキング法（強膜反射法）、角膜反射法、ＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ）、画像処理法等を用いることができる。画像処理法とは、瞳孔中心を検出して視線方向を記録する方法であり、被験者への負担がほとんどない。この視線情報によって、被験者の視線の位置を知ることができるが、この位置は、被験者が見ている光景における相対的な位置を示すものである。したがって、視線の位置は一定であっても、被験者の見る光景が変化することによって、被験者が注目しているものが変わることがありうる。本実施の形態では、アイカメラによって検出された視線情報が体験情報に含まれるものとする。

また、体験情報に含まれる画像情報等は、時系列に沿った情報である。すなわち、被験者の体験の時間経過に応じて、体験情報が構成されていくことになる。体験情報受付部１１は、マイクやカメラ等によって取得される体験情報を、順次受け付けてもよく、あるいは、あらかじめ他の機器によって録音や録画のなされた体験情報を、一括して受け付けてもよい。本実施の形態では、被験者が携帯型の記録装置（図示せず）によって、マイクやウェアラブルカメラ、アイカメラ、ＬＰＳから入力された体験情報を記録し、その記録された体験情報を体験情報受付部１１が一括して受け付けるものとする。

体験情報受付部１１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報を受け付けてもよい。なお、体験情報受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、体験情報受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
体験情報蓄積部１２は、体験情報受付部１１が受け付けた体験情報を、体験情報記憶部１３に蓄積する。

体験情報記憶部１３では、体験情報が記憶される。体験情報記憶部１３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。体験情報記憶部１３における記憶は、一時的な記憶であってもよく、あるいは、そうでなくてもよい。なお、本実施の形態では、体験情報が体験情報蓄積部１２によって蓄積される場合について説明するが、体験情報記憶部１３が実現される方法は問わない。例えば、体験情報記憶部１３は、注目状態検出装置１に着脱可能な記録媒体であり、他の装置において体験情報記憶部１３に体験情報が記憶され、その体験情報の記録された体験情報記憶部１３が注目状態検出装置１に装着されてもよい。また、体験情報記憶部１３では、体験情報の全てが記憶されてもよく、あるいは、そうでなくてもよい。後者として、体験情報記憶部１３が順次、体験情報受付部１１で受け付けられ、体験情報蓄積部１２によって蓄積されて、注目状態検出部１５によって処理されていく場合には、体験情報の一部の時間帯の情報のみが体験情報記憶部１３で記憶されるだけであってもよい。

注目状態条件情報記憶部１４では、注目状態条件情報が記憶される。ここで、注目状態条件情報とは、注目状態条件を示す情報である。注目状態条件は、被験者が何かに注目している状態である注目状態にあるかどうかを示す条件である。この条件は、体験情報に対する条件である。この注目状態条件は、被験者が注目状態にあるかどうかを判断することができる条件であれば、被験者が注目状態にあることを示す条件であってもよく、あるいは、被験者が注目状態にないことを示す条件であってもよい。本実施の形態では、注目状態条件は、被験者が注目状態にあることを示す条件であるとする。注目状態条件情報記憶部１４に注目状態条件情報が記憶される過程は問わない。例えば、記録媒体を介して注目状態条件情報が注目状態条件情報記憶部１４で記憶されるようになってもよく、通信回線等を介して送信された注目状態条件情報が注目状態条件情報記憶部１４で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された注目状態条件情報が注目状態条件情報記憶部１４で記憶されるようになってもよい。注目状態条件情報記憶部１４は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

注目状態検出部１５は、体験情報記憶部１３が記憶している体験情報における注目状態を検出する。この検出は、注目状態条件情報記憶部１４が記憶している注目状態条件情報に基づいて行われる。本実施の形態では、注目状態検出部１５は、体験情報において、注目状態条件情報の示す注目状態条件が充たされる場合に、注目状態を検出する。注目状態検出部１５が注目状態を検出するとは、例えば、注目状態検出部１５が体験情報において注目状態となっている時間や被験者の位置を特定することであってもよい。注目状態検出部１５が注目状態を検出する具体的な処理については後述する。

注目検出情報構成部１６は、注目状態検出部１５が注目状態を検出した場合に、体験情報を用いて注目検出情報を構成する。ここで、注目検出情報とは、注目状態の検出された時点の画像を少なくとも含む情報である。その画像は、静止画像でもよく、動画像でもよい。注目検出情報は、注目状態の検出された時点の音声情報を含んでもよく、移動情報を含んでもよく、視線情報を含んでもよい。本実施の形態では、注目検出情報は静止画像のみの情報であるとする。注目検出情報構成部１６は、例えば、注目状態の検出された時点の画像情報を体験情報記憶部１３から読み出し、その画像情報の示す画像を用いて注目検出情報を構成する。なお、注目検出情報が画像のみの情報である場合には、画像情報の特定の時間の画像と、注目検出情報とが同じものであってもよい。このように、注目検出情報構成部１６が注目構成情報を構成することには、注目構成情報の画像を体験情報記憶部１３から取得するだけの処理も含まれるものとする。

背景画像情報記憶部１７では、背景画像情報が記憶される。ここで、背景画像情報とは、被験者の行動した領域における背景の画像を示す情報である。背景画像情報は、例えば、被験者の行動する領域における位置を示す情報に対応付けられて記憶されている。背景画像情報記憶部１７に、背景画像情報が記憶される過程は問わない。例えば、記録媒体を介して、背景画像情報が背景画像情報記憶部１７で記憶されるようになってもよく、通信回線等を介して送信された、背景画像情報が背景画像情報記憶部１７で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された、背景画像情報が背景画像情報記憶部１７で記憶されるようになってもよい。背景画像情報記憶部１７は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

なお、体験情報記憶部１３、注目状態条件情報記憶部１４、背景画像情報記憶部１７の任意の２以上の記憶部は、同一の記録媒体で実現されてもよく、あるいは、別々の記録媒体で実現されてもよい。前者の場合には、例えば、体験情報の記録されている領域が体験情報記憶部１３となり、注目状態条件情報の記録されている領域が注目状態条件情報記憶部１４となる。
背景画像情報取得部１８は、注目状態の検出された位置に対応する背景画像情報を背景画像情報記憶部１７から取得する。

出力部１９は、注目検出情報構成部１６が構成した注目検出情報を出力する。また、出力部１９は、注目検出情報に含まれる画像を出力する場合に、注目状態の検出された時点の画像を、背景画像情報取得部１８が取得した背景画像情報に配置した注目検出情報を出力する。なお、背景画像情報に、注目検出情報に含まれる画像を配置する場合には、例えば、あらかじめ決められた場所（例えば、背景の中央や、右側など）に配置してもよく、あるいは、その画像の該当する箇所に配置してもよい。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよい。本実施の形態では、ディスプレイへの表示であるとする。なお、出力部１９は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部１９は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

次に、本実施の形態による注目状態検出装置１の動作について説明する。
体験情報受付部１１が体験情報を受け付けた場合には、体験情報蓄積部１２は、その体験情報を体験情報記憶部１３に蓄積する。

次に、注目状態検出部１５が注目状態を検出する処理を実行すると判断してから、出力部１９が注目検出情報を出力するまでの動作について、図２のフローチャートを用いて説明する。なお、注目状態検出部１５が注目状態を検出する処理を実行すると判断するタイミングは問わない。例えば、所定のイベントの発生（例えば、ユーザから入力された注目検出情報を出力する旨の指示を受け付けたこと）をトリガーとして注目状態を検出する処理を実行すると判断してもよく、その他のタイミングで注目状態を検出する処理を実行すると判断してもよい。

（ステップＳ１０１）注目状態検出部１５は、カウンタＩを「１」に設定する。
（ステップＳ１０２）注目状態検出部１５は、Ｉ番目の種類の体験情報を体験情報記憶部１３から読み出す。
（ステップＳ１０３）注目状態検出部１５は、読み出した体験情報について、注目状態を検出する処理を実行する。この処理の詳細については後述する。

（ステップＳ１０４）注目状態検出部１５は、Ｉ番目の種類の体験情報が、体験情報記憶部１３が記憶している最後の種類の体験情報かどうか判断する。例えば、体験情報に、画像情報、移動情報、音声情報、視線情報の４種類の情報が含まれる場合には、Ｉが１から３までであれば、最後の種類の体験情報でないと判断され、Ｉが４であれば、最後の種類の体験情報であると判断される。そして、最後の種類の体験情報である場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０５に進む。

（ステップＳ１０５）注目状態検出部１５は、カウンタＩを１だけインクリメントする。そして、ステップＳ１０２に戻る。
（ステップＳ１０６）注目状態検出部１５は、１以上の注目状態が検出されたかどうか判断する。そして、注目状態が検出された場合には、ステップＳ１０７に進み、そうでない場合には、出力する注目検出情報を構成することができないため、処理は終了となる。

（ステップＳ１０７）注目検出情報構成部１６は、注目検出情報を構成する。注目検出情報を構成する具体的な処理については後述する。
（ステップＳ１０８）背景画像情報取得部１８は、背景画像情報記憶部１７から、注目検出情報構成部１６が構成した注目検出情報に含まれる画像に対応する背景画像情報を取得する。

（ステップＳ１０９）出力部１９は、注目検出情報を出力する。その出力時に、出力部１９は、注目検出情報に含まれる画像を、背景画像情報取得部１８が取得した背景画像情報に配置して出力する。そして、一連の処理は終了となる。

なお、このフローチャートにおいて、注目状態検出部１５は、体験情報の種類ごとに注目状態の検出を行う場合について説明したが、体験情報の複数の種類について複合的に注目状態の検出を行ってもよい。例えば、２以上の種類の体験情報を読み出し、その読み出した体験情報について、注目状態の検出を行ってもよい。その場合には、注目状態条件情報記憶部１４において記憶されている注目状態条件が、２以上の種類の体験情報についての条件となる。

次に、本実施の形態による注目状態検出装置１の動作について、具体例を用いて説明する。
図３は、ウェアラブルカメラ等を装着している被験者を示す模式図である。図３で示されるように、被験者は、被験者の視線と同じ方向の画像を撮影することができるように、ウェアラブルカメラを目の近くに装着する。また、被験者は、被験者の発した音声を集音できるマイクを装着している。このマイクは、例えば、ヘッドセットに含まれるボイスマイクのように、被験者が手で持つことなく使用できるマイクである。また、被験者のメガネには、被験者の視線方向を検知することができるアイカメラが装着されている。また、被験者の腰や背中などの図示しない位置に、被験者の位置を測定するＬＰＳが装着されているものとする。このようにして体験情報がキャプチャされ、図示しない記録媒体に記録される。

図４は、ウェアラブルカメラ等によってキャプチャされた体験情報の一例を示す図である。図４に示されるように、画像情報、音声情報、移動情報としての位置情報、視線情報が時系列に沿って並んでいる。位置情報は、ＬＰＳによって測定される基点となる位置からの相対的な２次元座標軸における位置を示すものである。また、視線情報は、アイカメラによって測定される２次元座標軸における位置を示すものである。なお、情報をサンプリングする周期があらかじめ決まっているのであれば、体験情報は、例えば、時間に関する情報を含まず、体験情報が測定の開始から測定の終了まで順番に並んでいる情報であってもよい。その場合であっても、測定の開始から何番目の情報であるのかを確認することによって、測定の開始からの時間を算出することができる。また、体験情報に時間に関する情報が含まれる場合には、その情報は、時刻（例えば、「午前１０時１０分１５秒」など）であってもよく、相対的な時間（例えば、体験情報の記録開始から「１０分１５秒」など）であってもよい。

図５は、注目状態条件情報記憶部１４が記憶している注目状態条件情報を示す図である。図５で示されるように、この具体例では、体験情報の種類ごとに、注目状態であるための条件を示す注目状態条件が保持されている。画像情報では、画像情報の変化量がしきい値「Ｄ１」以下である状態が一定の時間「Ｔ１」以上継続したことが注目状態であるための条件となっている。被験者が何らかのものを一定時間以上見ていた場合には、被験者がその何らかのものに注目している状態であり、潜在的に何らかの発見をしていると考えることができるからである。音声情報では、音声情報の変化量がしきい値「Ｄ２」以上であることが注目状態であるための条件となっている。被験者の発した音声にしきい値以上の変化があった場合には、被験者が何かについて不思議に思っており、注目している可能性があると考えられるからである。音声情報の変化量とは、例えば、音声情報の音量の変化量や、音声情報のピッチ（基本周波数Ｆ０であり、声の高さを示す情報）の変化量である。ここで、注目状態条件は、音量や、ピッチが低いレベルから高いレベルにしきい値「Ｄ２」以上変化したことであってもよい。移動情報としての位置情報では、位置情報の示す位置が一定時間「Ｔ２」以上、所定の領域単位内であることが注目状態であるための条件となっている。被験者が限られた範囲に長時間滞在している場合には、そこに存在する何らかのものに注目しており、潜在的に何らかの発見をしていると考えることができるからである。ここで、領域単位とは、例えば、３次元の立体であれば、１辺が３０センチメートルの直方体であってもよく、２次元平面であれば、１辺が３０センチメートルの正方形であってもよく、もしくは、半径が３０センチメートルの円形であってもよく、または、１次元であれば、３０センチメートルの長さであってもよい。例えば、位置情報によって示される位置が、１５秒以上、１辺が３０センチメートルの正方形内にある場合に、注目状態が検出されてもよい。視線情報では、視線情報の示す視線の位置が、一定時間「Ｔ３」以上、所定の領域単位内にあり、かつ、被験者の見ている光景が変化しないことが注目状態であるための条件となっている。被験者が限られた範囲を長時間見ている場合には、その範囲内に含まれる何らかのものに注目しており、潜在的に何らかの発見をしていると考えることができるからである。視線情報に関する注目状態条件での領域単位は、位置情報に関する注目状態条件の領域単位とは別の単位である。例えば、視線情報によって視線の位置が横６００ピクセル、縦４００ピクセルの範囲内で示される場合に、１０ピクセル四方が領域単位であってもよい。被験者の見ている光景が変化しないことが条件になっているのは、前述のように、視線情報は、視線の相対位置を示しているため、被験者の見ている光景が変化すると、視線情報の示す視線の位置に変化がなくても、結果として、被験者の視線の位置が変化してしまうからである。したがって、被験者の見ている光景が変化しないとは、例えば、体験情報における画像情報の変化量がしきい値以下であることであってもよい。また、被験者が移動していなければ被験者の視線の位置が変化していないと見なし、被験者の見ている光景が変化しないことを、位置情報の変化量がしきい値以下であることにしてもよく、移動変化情報がしきい値以下であることにしてもよい。

なお、あらかじめ、注目状態条件が図５で示されるように決定されているのであれば、注目状態条件情報記憶部１４が記憶している注目状態条件情報は、しきい値「Ｄ１」や、時間「Ｔ１」等の値のみを有する情報であってもよい。

次に、図２のフローチャートにおけるステップＳ１０３の処理について、画像情報、音声情報、位置情報、視線情報の順番で説明する。

［画像情報からの注目状態の検出］
図６は、画像情報に基づいて注目状態を検出する注目状態検出装置１の動作を示すフローチャートである。なお、注目状態検出部１５は、あらかじめ注目状態条件情報記憶部１４から画像情報に対応する注目状態条件情報を読み出しているものとする。

（ステップＳ２０１）注目状態検出部１５は、読み出した画像情報について、その画像情報の変化量がしきい値「Ｄ１」以下の領域を特定する。その具体的な処理については後述する。
（ステップＳ２０２）注目状態検出部１５は、カウンタＪを「１」に設定する。

（ステップＳ２０３）注目状態検出部１５は、ステップＳ２０１で特定したＪ番目の領域が、一定時間「Ｔ１」以上継続しているかどうか判断する。そして、一定時間「Ｔ１」以上継続している場合には、ステップＳ２０４に進み、そうでない場合には、ステップＳ２０５に進む。

（ステップＳ２０４）注目状態検出部１５は、Ｊ番目の領域のうち、最も変化量が小さい時間を、注目状態を特定する情報として取得し、その時間を示す情報を図示しない記録媒体において一時的に記憶する。

（ステップＳ２０５）注目状態検出部１５は、Ｊ番目の領域がステップＳ２０１で特定した領域の最後の領域であるかどうか判断する。そして、最後の領域である場合には、注目状態を検出する処理は終了となり、そうでない場合には、ステップＳ２０６に進む。なお、ステップＳ２０１で条件を充たす領域の特定がなされなかった場合には、Ｊの値にかかわらず、最後の領域であると判断して処理は終了となるものとする。
（ステップＳ２０６）注目状態検出部１５は、カウンタＪを「１」だけインクリメントする。そして、ステップＳ２０３に戻る。

このようにして、注目状態検出部１５は、体験情報における画像情報の変化量がしきい値以下である状態が一定の時間以上継続した場合に、注目状態を検出することになる。

次に、具体的な画像情報の変化量を示すグラフを用いて、画像情報に基づいて注目状態を検出する処理について説明する。画像情報の変化量が図７で示されるような時間変化であったとする。この具体例では、画像情報の変化量とは、画像情報に含まれる時間的に隣接する画像間の動きベクトルの大きさであるとする。なお、画像情報に画像情報の変化量があらかじめ含まれる場合には、その画像情報の変化量を用いて注目情報を検出する処理を行うことができる。一方、画像情報に画像情報の変化量が含まれない場合には、注目状態検出部１５、あるいはその他の構成要素が画像情報に基づいて、画像情報の変化量を算出するものとする。

注目状態検出部１５は、図７で示される画像情報の変化量において、しきい値「Ｄ１」以下の領域を特定する（ステップＳ２０１）。図７では、時間０〜ｔ１の領域と、時間ｔ２〜ｔ３の領域と、時間ｔ４〜ｔ５の領域との３個の領域が特定される。注目状態検出部１５は、１番目の時間０〜ｔ１の領域について、その領域が一定時間「Ｔ１」以上であるかどうか判断する（ステップＳ２０２，Ｓ２０３）。ここで、時間ｔ１は時間Ｔ１よりも小さいとする。すると、１番目の時間０〜ｔ１の領域については、注目状態が検出されず、続いて、２番目の時間ｔ２〜ｔ３の領域について判断がなされる（ステップＳ２０５，Ｓ２０６，Ｓ２０３）。時間（ｔ３−ｔ２）と、時間（ｔ５−ｔ４）とはそれぞれ、時間Ｔ１よりも大きいとする。すると、注目状態検出部１５は、２番目の時間ｔ２〜ｔ３の領域について、注目状態を検出し（ステップＳ２０３）、その領域の最も変化量が小さい時間「ｔ６」を図示しない記録媒体で記憶する（ステップＳ２０４）。同様に、注目状態検出部１５は、３番目の時間ｔ４〜ｔ５の領域についても注目状態を検出し（ステップＳ２０３）、その領域の最も変化量が小さい時間ｔ７を図示しない記録媒体で記憶する（ステップＳ２０４）。このようにして、画像情報に基づいた注目状態の検出を行うことができる。

なお、この具体例では、画像情報の変化量が一定の時間以上、しきい値以下である場合に注目状態を検出する場合について説明したが、それ以外の方法によって、画像情報からの注目状態の検出を行ってもよい。例えば、画像情報に含まれる一のオブジェクトが連続して、あるいは、断続的に一定の時間以上、画像情報に含まれる場合に、注目状態を検出してもよい。この判断を行うために、例えば、オブジェクトの特徴点を抽出し、その特徴点の分布の類似度がしきい値以上であるかどうかによって、異なる画像に含まれるオブジェクトが同一であるかどうかを判断してもよい。オブジェクトの特徴点を抽出する技術や、抽出された特徴点の類似度によって、オブジェクトが同一かどうかを判断する技術などは、画像処理技術として従来から公知であって、その詳細な説明を省略する。

［音声情報からの注目状態の検出］
図８は、音声情報に基づいて注目状態を検出する注目状態検出装置１の動作を示すフローチャートである。なお、注目状態検出部１５は、あらかじめ注目状態条件情報記憶部１４から音声情報に対応する注目状態条件情報を読み出しているものとする。

（ステップＳ３０１）注目状態検出部１５は、しきい値以上の変化があるかどうかを判断する時間単位を、音声情報の初期時間（例えば、音声情報の時間が「０」から始まるのであれば、その「０」が初期時間となる）に設定する。時間単位は、例えば、１秒や２秒などのあらかじめ決められた時間間隔である。

（ステップＳ３０２）注目状態検出部１５は、ステップＳ３０１またはステップＳ３０５で設定した時間単位において、音声情報にしきい値以上の変化量があるかどうか判断する。例えば、音声情報の音量の変化量について判断を行う場合には、設定された時間単位の初期（時間単位における最も早い時点）の音量よりも、時間単位の終期（時間単位における最も遅い時点）の音量のほうがＤ２以上大きいかどうか判断する。そして、大きい場合には、音声情報にしきい値以上の変化量があると判断する。音声情報にしきい値以上の変化量があると判断した場合には、ステップＳ３０３に進み、そうでない場合には、ステップＳ３０４に進む。

（ステップＳ３０３）注目状態検出部１５は、そのときに設定されている時間単位の終期の時間を、注目状態を特定する情報として取得し、その時間を示す情報を図示しない記録媒体において一時的に記憶する。

（ステップＳ３０４）注目状態検出部１５は、時間単位を設定することができる次の時間があるかどうか判断する。音声情報の最後の時間まで時間情報を設定した場合には、時間単位を設定することができる次の時間がないと判断して処理は終了となる。一方、音声情報の最後の時間まで時間情報を設定していない場合には、時間単位を設定することができる次の時間があると判断して、ステップＳ３０５に進む。

（ステップＳ３０５）注目状態検出部１５は、時間単位を次の時間に設定する。すなわち、その時点で設定されている時間単位の終期の時間が、次に設定する時間単位の始期の時間となるように時間単位の設定を変更する。そして、ステップＳ３０２に戻る。
このようにして、注目状態検出部１５は、体験情報における音声情報の変化量がしきい値以上である場合に、注目状態を検出することになる。

次に、具体的な音声情報の変化量を示すグラフを用いて、音声情報に基づいて注目状態を検出する処理について説明する。まず、図９（ａ）で示されるように、音声情報の音量を用いて注目状態を検出する場合について説明する。

注目状態検出部１５は、図９（ａ）で示されるように、まず、時間単位を、その時間単位の始期が「０」となるように設定する（ステップＳ３０１）。そして、その時間単位の始期である時間「０」の音量と、時間単位の終期の音量とを比較し、終期の音量の方が始期の音量よりもＤ２以上大きいかどうか判断する（ステップＳ３０２）。この場合は、始期と終期で音量が一緒であるので、しきい値以上の変化量があると判断されず、時間単位が次の時間に設定される（ステップＳ３０４，Ｓ３０５）。このようにして、順次判断が行われ、時間単位の始期が時間ｔ１となったとする（ステップＳ３０５）。この場合には、時間単位の始期と、時間単位の終期とにおいて、しきい値「Ｄ２」以上の変化量があったとする。すると、注目状態検出部１５は、しきい値以上の変化量があると判断し（ステップＳ３０２）、その時間単位の終期の時間ｔ２を、図示しない記録媒体で記憶する（ステップＳ３０３）。なお、この後も、音声情報が終了するまで、この判断が継続される。このようにして、音声情報に基づいた注目状態の検出を行うことができる。

なお、音声情報の音量に基づいて、注目状態を検出する場合について説明したが、図９（ｂ）で示される音声情報のピッチについても、同様にして注目状態を検出することができる。

［位置情報からの注目状態の検出］
図１０は、位置情報に基づいて注目状態を検出する注目状態検出装置１の動作を示すフローチャートである。なお、注目状態検出部１５は、あらかじめ注目状態条件情報記憶部１４から位置情報に対応する注目状態条件情報を読み出しているものとする。また、この説明では、説明の便宜上、位置情報の示す位置が１次元である場合について説明する。２次元以上への拡張については後述する。

（ステップＳ４０１）注目状態検出部１５は、領域単位を初期位置に設定する。
（ステップＳ４０２）注目状態検出部１５は、位置情報の示す位置が、一定時間「Ｔ２」以上、ステップＳ４０１、ステップＳ４０５、またはステップＳ４０７で設定した領域単位内であるかどうか判断する。この判断では、連続して一定時間「Ｔ２」以上、位置情報の示す位置が領域単位内であってもよく、あるいは、不連続であっても、領域単位内である時間の累計が一定時間「Ｔ２」以上であってもよい。そして、位置情報の示す位置が一定時間「Ｔ２」以上、領域単位内である場合には、ステップＳ４０３に進み、そうでない場合には、ステップＳ４０６に進む。

（ステップＳ４０３）注目状態検出部１５は、位置情報の示す位置が領域単位内にある場合における最も大きい時間を、注目状態を特定する情報として取得し、その時間を示す情報を図示しない記録媒体において一時的に記憶する。なお、ここでは、位置情報の示す位置が領域単位内にある場合における最も大きい時間を取得するとしたが、位置情報の示す位置が領域単位内になる場合における時間であれば、どの時間であってもよい。

（ステップＳ４０４）注目状態検出部１５は、領域単位を設定することができる次の領域があるかどうか判断する。すなわち、領域単位を設定しうる全ての領域について領域単位を設定した場合には、終了となる。一方、そうでない場合には、次の領域があると判断して、ステップＳ４０５に進む。

（ステップＳ４０５）注目状態検出部１５は、領域単位を次の領域に設定する。この設定では、以前に設定された領域単位と重ならないように領域単位を設定するものとする。そして、ステップＳ４０２に戻る。

（ステップＳ４０６）注目状態検出部１５は、領域単位を設定することができる次の領域があるかどうか判断する。すなわち、注目状態検出部１５は、領域単位を設定しうる全ての領域について領域単位を設定した場合には、終了となる。一方、そうでない場合には、次の領域があると判断して、ステップＳ４０７に進む。

（ステップＳ４０７）注目状態検出部１５は、領域単位を次の領域に設定する。この設定では、ステップＳ４０５と異なり、以前に設定された領域単位と重なるように領域単位を設定してもよい。例えば、位置情報の示す位置の最小単位が１センチメートルである場合には、以前の領域単位から１センチメートルだけずらした領域に領域単位を新たに設定してもよい。そして、ステップＳ４０２に戻る。

このようにして、注目状態検出部１５は、体験情報における位置情報の示す位置が、一定時間以上、所定の領域単位内である場合に、注目状態を検出することになる。

次に、具体的な位置を示すグラフを用いて、位置情報に基づいて注目状態を検出する処理について説明する。位置情報の示す位置が図１１で示されるものであったとする。まず、注目状態検出部１５は、領域単位を領域Ａ１に設定する（ステップＳ４０１）。そして、その領域単位に存在する時間ｔ１がＴ２以上であるかどうか判断する（ステップＳ４０２）。この場合は、時間間隔ｔ１が時間Ｔ２以上でなかったとすると、注目状態検出部１５は、領域単位を次の領域Ａ２に再設定する（ステップＳ４０６，Ｓ４０７）。この場合には、前述のように、領域Ａ１と領域Ａ２とが重なるように、領域単位が少しだけ移動されることになる。このようにして領域単位が移動され、領域単位がＡｎに設定されたとする（ステップＳ４０６，Ｓ４０７）。この場合には、時間間隔（ｔ３−ｔ２）が時間Ｔ２以上であるとすると、注目状態検出部１５は、位置情報の示す位置が領域単位内に一定時間Ｔ２以上あると判断し（ステップＳ４０２）、その最も大きい時間ｔ３を取得して図示しない記録媒体において記憶する（ステップＳ４０３）。そして、領域単位が、次の領域Ａｎ＋１に再設定される（ステップＳ４０４，Ｓ４０５）。領域Ａｎと、領域Ａｎ＋１とは、図１１からわかるように、重複しないように設定されている。このようにして、位置情報に基づいて注目情報の検出を行うことができる。

なお、図１２で示されるように、領域単位が領域Ａｍに設定されている場合において、２個の連続しない時間ｔ１〜ｔ２と、時間ｔ３〜ｔ４との時間間隔の合計が一定の時間Ｔ２以上である場合にも、領域単位内に一定時間以上存在すると判断されるのは、前述の通りである。

また、この具体例では、説明の便宜上、位置が１次元で示される場合について説明したが、前述のように、位置情報の示す位置は、２次元平面上の位置であってもよく、３次元での位置であってもよい。その場合にも、２次元平面上や３次元での領域単位を移動させていくことによって、上記説明の場合と同様に、注目状態を検出する処理を行うことができる。

また、図１０のフローチャートにおいて、位置情報の示す位置が領域単位内に一定時間以上存在する場合に、注目状態を特定する情報の一時記憶（ステップＳ４０３）を行う場合について説明したが、位置情報の示す位置が領域単位内に一定時間以上存在すると判断された場合であっても、その領域単位をステップＳ４０７の場合と同様に、少しずつ移動させ、その領域単位に位置情報の示す位置の含まれる時間が最大となる領域単位において、注目状態を特定する情報の一時記憶（ステップＳ４０３）を行うようにしてもよい。このようにすることで、最適な位置における注目状態の検出を行うことができうる。

また、位置情報からの注目状態の検出において、２以上の注目状態条件が設定されていてもよい。例えば、３０センチメートル四方の領域単位に１５秒以上、位置情報の示す位置がある場合に注目状態を検出し、６０センチメートル四方の領域単位に３０秒以上、位置情報の示す位置がある場合にも注目状態を検出してもよい。

［視線情報からの注目状態の検出］
図１３は、視線情報に基づいて注目状態を検出する注目状態検出装置１の動作を示すフローチャートである。なお、注目状態検出部１５は、あらかじめ注目状態条件情報記憶部１４から視線情報に対応する注目状態条件情報を読み出しているものとする。また、この説明では、位置情報に関する説明と同様に、説明の便宜上、視線情報の示す位置が１次元である場合について説明する。２次元への拡張については後述する。

（ステップＳ５０１）注目状態検出部１５は、領域単位を初期位置に設定する。
（ステップＳ５０２）注目状態検出部１５は、視線情報の示す視線の位置が、一定時間「Ｔ３」以上、ステップＳ５０１、ステップＳ５０６、またはステップＳ５０８で設定した領域単位内であるかどうか判断する。この判断では、連続して一定時間「Ｔ３」以上、視線情報の示す視線の位置が領域単位内であるかどうかを判断する。そして、視線情報の示す視線の位置が一定時間「Ｔ３」以上、領域単位内である場合には、ステップＳ５０３に進み、そうでない場合には、ステップＳ５０７に進む。

（ステップＳ５０３）注目状態検出部１５は、視線情報の示す視線の位置が、連続して領域単位内に存在する一定時間「Ｔ３」以上の時間にわたって、被験者の見ている光景が一定であるかどうか判断する。この判断は、前述のように、画像情報や、位置情報を体験情報記憶部１３から読み出すことによってなされる。そして、被験者の見ている光景が一定である場合には、ステップＳ５０４に進み、そうでない場合には、ステップＳ５０５に進む。

（ステップＳ５０４）注目状態検出部１５は、視線情報の示す視線の位置が領域単位内にある場合における最も大きい時間を、注目状態を特定する情報として取得し、その時間を示す情報を図示しない記録媒体において一時的に記憶する。なお、ここでは、視線情報の示す視線の位置が領域単位内にある場合における最も大きい時間を取得するとしたが、視線情報の示す視線の位置が領域単位内になる場合における時間であれば、どの時間であってもよい。

（ステップＳ５０５）注目状態検出部１５は、領域単位を設定することができる次の領域があるかどうか判断する。すなわち、領域単位を設定しうる全ての領域について領域単位を設定した場合には、終了となる。一方、そうでない場合には、次の領域があると判断して、ステップＳ５０６に進む。

（ステップＳ５０６）注目状態検出部１５は、領域単位を次の領域に設定する。この設定では、以前に設定された領域単位と重ならないように領域単位を設定するものとする。そして、ステップＳ５０２に戻る。

（ステップＳ５０７）注目状態検出部１５は、領域単位を設定することができる次の領域があるかどうか判断する。すなわち、領域単位を設定しうる全ての領域について領域単位を設定した場合には、終了となる。一方、そうでない場合には、次の領域があると判断して、ステップＳ５０８に進む。

（ステップＳ５０８）注目状態検出部１５は、領域単位を次の領域に設定する。この設定では、ステップＳ５０６と異なり、以前に設定された領域単位と重なるように領域単位を設定してもよい。例えば、視線情報の示す位置の最小単位が１ピクセルである場合には、以前の領域単位から１ピクセルだけずらして領域に領域単位を新たに設定してもよい。そして、ステップＳ５０２に戻る。

このようにして、注目状態検出部１５は、体験情報における視線情報の示す視線の位置が、一定時間以上、所定の領域単位内にあり、かつ、被験者の見ている光景が変化しない場合に、注目状態を検出することになる。

次に、具体的な視線の位置を示すグラフを用いて、視線情報に基づいて注目状態を検出する処理について説明する。視線情報の示す視線の位置が図１４の上側のグラフで示されるものであったとする。また、対応する画像情報の変化量が図１４の下側のグラフで示されるものであったとする。

この場合にも、位置情報における図１１を用いた説明と同様に、順次、領域単位の設定と、領域単位内に連続して一定時間以上、視線の位置が存在するかどうかが判断される（ステップＳ５０１，Ｓ５０２，Ｓ５０７，Ｓ５０８）。次に、領域単位が領域Ａｍに設定されたとする（ステップＳ５０８）。この場合に、時間間隔（ｔ２−ｔ１）が一定時間Ｔ３以上であるとすると、注目状態検出部１５は、領域単位内に連続して一定時間Ｔ３以上存在すると判断する（ステップＳ５０２）。次に、注目状態検出部１５は、時間ｔ１〜ｔ２の間、画像情報の変化量がしきい値Ｄ３以下であるかどうか判断する。図１４より、この場合には、時間ｔ１から時間ｔ２にわたって、画像情報の変化量がしきい値Ｄ３以下であるため、注目状態検出部１５は、被験者の見ている光景が一定であると判断し（ステップＳ５０３）、最も大きい時間ｔ２を取得して図示しない記録媒体において記憶する（ステップＳ５０４）。そして、領域単位の新たな設定が行われる（ステップＳ５０５，Ｓ５０６）。

次に、領域単位が領域Ａｎに設定され（ステップＳ５０８）、注目状態検出部１５が、領域単位内に連続して一定時間Ｔ３以上視線の位置が存在すると判断したとする（ステップＳ５０２）。しかし、この場合には、時間ｔ３から時間ｔ４にわたって、画像情報の変化量がしきい値Ｄ３以下ではないため、注目状態検出部１５は、被験者の見ている光景が一定でないと判断し、注目状態の検出はなされない（ステップＳ５０３）。

また、この具体例では、説明の便宜上、視線の位置が１次元で示される場合について説明したが、前述のように、視線情報の示す視線の位置は、２次元平面上の位置であってもよい。その場合にも、２次元平面上において領域単位を移動させていくことによって、上記説明の場合と同様に、注目状態を検出する処理を行うことができる。

また、視線情報からの注目状態の検出においても、位置情報からの注目状態の検出において説明したのと同様に、図１３のフローチャートにおいて、視線情報の示す位置が領域単位内に一定時間以上存在すると判断された場合であっても、その領域単位をステップＳ５０８の場合と同様に、少しずつ移動させ、その領域単位に視線情報の示す位置の含まれる時間が最大となる領域単位において、被験者の見ている光景が一定かどうか判断し（ステップＳ５０３）、被験者の見ている光景が一定であるときに注目状態を特定する情報の一時記憶（ステップＳ５０４）を行うようにしてもよい。このようにすることで、最適な視線の位置における注目状態の検出を行うことができうる。

以上、画像情報、音声情報、位置情報、視線情報から注目状態を検出する方法についてそれぞれ説明したが、前述のように、注目状態の検出を体験情報に含まれる２種類以上の情報に基づいて行ってもよい。例えば、画像情報の変化量がしきい値以下である状態が一定時間以上継続し、かつ、音声情報の変化量がしきい値以上である場合に、注目状態を検出してもよい。そのように、体験情報に含まれる２種類以上の情報に基づいて注目状態の検出を行う場合には、注目状態条件は、体験情報に含まれる２種類以上の情報に関する複合的な条件であってもよい。

また、上記説明では、音声情報からの注目状態の検出において、音声情報の変化量がしきい値以上である場合に、注目状態を検出する場合について説明したが、注目状態検出部１５は、体験情報における音声情報に、注目音声情報が含まれる場合に注目状態を検出してもよい。ここで、注目音声情報とは、注目状態にあることを示す音声を示す情報である。注目音声情報は、注目状態にあることを示す音声情報（例えば、「あっ」や、「あれ」に対応する音声情報など）であってもよく、あるいは、注目状態にあることを示すテキストの情報（例えば、「あ」や、「あれ」のテキストの情報など）であってもよい。注目音声情報が注目状態にあることを示すテキストの情報である場合には、例えば、注目状態検出部１５、あるいはその他の構成要素は、音声情報に対して音声認識処理を行い、図９（ｃ）で示されるように、音声情報を、音声に対応するテキストである音声テキストに変換し、その音声テキストに、前述の注目音声情報の示す言葉が含まれるかどうか検索し、注目音声情報の示す言葉が音声テキストに含まれる場合に、注目状態を検出し、その検索された注目音声情報の示す言葉に対応する時間を特定してもよい。なお、このように、注目音声情報を用いて音声情報からの注目状態の検出を行う場合には、注目状態条件情報記憶部１４には、音声情報に注目音声情報が含まれる旨の注目状態条件が含まれることになる。

また、上記説明では、被験者の発した音声をマイクによって集音した音声情報である場合について説明したが、音声情報は、被験者の発した音声と、被験者と会話している１以上の人の発した音声とをマイクによって集音した音声情報であってもよい。この場合には、複数の話者間の会話を解析することによって、注目状態を検出してもよい。

次に、被験者の体験に関する体験情報が記録され、その体験情報に基づいて注目検出情報が出力されるまでの一連の処理について説明する。図１５で示されるように、被験者が森の中を通り、池に寄ってから家にたどり着くという体験をしたとする。この体験において、被験者は、森のあたりで後戻りをして何らかのものについて再確認を行ったとする。その体験に関する体験情報は、図３で示されるように、被験者の装着しているウェアラブルカメラやアイカメラ、マイク、ＬＳＰによって取得され、図示しない記録媒体において記憶される。そして、被験者はそのような体験の後に、その記録されたデータを、注目状態検出装置１に通信ケーブルを介して入力したとする。すると、その体験情報は、体験情報受付部１１で受け付けられ、体験情報蓄積部１２によって体験情報記憶部１３に蓄積される。

次に、ユーザ（被験者であってもよく、その他の人であってもよい）が、注目状態検出装置１を操作することによって、注目状態の検出を行う処理を開始したとする。すると、注目状態検出装置１は、体験情報に含まれる画像情報、音声情報、位置情報、視線情報について、注目状態の検出処理を実行する（ステップＳ１０１，Ｓ１０５）。ここでは、注目状態検出部１５が、画像情報、音声情報、位置情報、視線情報からそれぞれ、注目状態を特定する情報として、時間「１分５０秒」、時間「２分１０秒」、時間「１分５１秒」、時間「１分５５秒」を図示しない記録媒体において一時的に記録したとする（ステップＳ２０４，Ｓ３０３，Ｓ４０３，Ｓ５０４）。すると、注目状態検出部１５は、図示しない記録媒体において１以上の時間が記録されているため、注目状態があると判断し（ステップＳ１０６）、それらの時間を示す情報を注目検出情報構成部１６に渡す。注目検出情報構成部１６は、その時間に対応する画像情報を、体験情報記憶部１３から読み出す。また、注目検出情報構成部１６は、各時間に対応する位置情報も体験情報記憶部１３から読み出す。その位置情報は、（ｘ、ｙ）＝（１９，３１）であったとする。なお、位置情報の単位は、メートルであるとする。注目検出情報構成部１６は、体験情報記憶部１３から読み出した画像情報を、注目検出情報として出力部１９に渡す（ステップＳ１０７）。すなわち、この場合には、画像情報の特定の時間の画像を示す情報と注目検出情報とが同じものであるとする。また、注目検出情報構成部１６は、体験情報記憶部１３から読み出した位置情報（ｘ、ｙ）＝（１９，３１）を背景画像情報取得部１８に渡す。

背景画像情報記憶部１７において、図１６で示されるように、位置の情報に対応付けられて、背景画像情報が記憶されているとする。背景画像情報取得部１８は、注目検出情報構成部１６から受け取った位置情報（ｘ、ｙ）＝（１９，３１）に最も近い位置の情報を図１６で示されるテーブルにおいて特定する。この場合には、位置の情報（ｘ、ｙ）＝（２０，３０）が最も近い位置情報となる。そして、背景画像情報取得部１８は、その最も近い位置の情報（ｘ、ｙ）＝（２０，３０）に対応する背景画像情報「Ｐ００２．ｊｐｇ」を背景画像情報記憶部１７から読み出して、出力部１９に渡す（ステップＳ１０８）。

出力部１９は、背景画像情報取得部１８から受け取った背景画像情報の該当する箇所に注目検出情報構成部１６から受け取った注目検出情報を配置する。具体的には、注目検出情報に含まれる４個の画像のそれぞれを、背景画像情報の画像において最も類似度の高い位置に配置する。そして、出力部１９は、背景画像情報に配置された画像を含む注目検出情報と、背景画像情報とをディスプレイに表示する。図１７は、そのようにして表示された注目検出情報の一例である。注目検出情報に含まれる画像が配置されている箇所には、注目状態である旨を示す「注目状態」の表示もなされている。ユーザは、この表示を見ることによって、注目状態が検出されたことを知ることができ、潜在的に何らかの発見をしていた可能性の高い画像（注目検出情報に含まれる画像）を見ることによって、被験者において顕在化されていない発見を顕在化することができうる。

なお、この具体例では、注目状態を特定する情報として、ある時点を示す時間を取得する場合について説明したが、例えば、注目検出情報として動画像を出力する場合には、注目状態を、幅を持った時間帯で特定してもよい。例えば、画像情報から注目状態を検出する場合には、図７において、注目状態を特定する情報として、時間ｔ２〜ｔ３と、時間ｔ４〜ｔ５とを取得してもよい。

また、この具体例では、位置の情報に対応付けられて背景画像情報が保持されており、注目状態の検出された時点の、体験情報に含まれる位置情報を用いて、背景画像情報の取得が行われる場合について説明したが、これは一例であって、例えば、注目検出情報に含まれる画像と背景画像情報との類似度を算出し、類似度の高い背景画像情報を取得するようにしてもよい。

また、この具体例では、注目状態検出部１５によって取得された位置情報に対応する背景画像情報が１個である場合について説明したが、注目状態検出部１５によって取得された位置情報に対応する背景画像情報が２以上存在する場合には、背景画像情報取得部１８が、その２以上の背景画像情報を取得し、出力部１９が、注目検出情報に含まれる各画像を、対応する２以上の背景画像情報に配置して出力するようにしてもよい。

また、２以上の注目状態が検出された場合には、出力部１９は、各注目状態に対応する注目検出情報を、１個ずつ出力するようにしてもよい。例えば、出力部１９は、１個の注目検出情報を出力し、次の注目検出情報を出力する指示を受け付けると、次の注目検出情報を出力するようにしてもよい。

以上のように、本実施の形態による注目状態検出装置１では、注目状態を検出することができ、その検出された注目状態の時点の画像を含む注目検出情報を出力することができるため、その注目検出情報に含まれる画像を見たユーザは、被験者において顕在化されていない発見を顕在化することができうる。

なお、体験情報に視線情報が含まれる場合には、注目状態の検出された時間に視線が存在した領域の画像を、画像情報から切り出した画像を用いて注目検出情報を構成するようにしてもよい。このようにすることで、画像情報そのものを用いて注目検出情報を構成する場合に比べて、被験者の注目していたものを、より詳細に特定することができうる。

また、注目状態検出部１５は、注目状態と共に、注目の程度を示す注目程度をも検出してもよい。この場合には、注目検出情報は、注目程度を示す情報である注目程度情報も含んでもよい。例えば、近い時間帯や、近い位置において、体験情報に含まれる２種類以上の情報から注目状態が検出された場合には、注目状態検出部１５は、注目程度が高いと判断し、それ以外の場合には、注目程度が低いと判断してもよい。そして、注目程度が高い場合には、注目検出情報において、注目程度「高」を表示し、注目程度が低い場合には、注目検出情報において、注目程度「低」を表示してもよい。注目程度は、２段階以上であってもよい。例えば、５段階や１０段階のレベルであってもよい。この注目程度の判断は、例えば、体験情報に含まれる一の種類の情報に基づいて行ってもよい。例えば、位置情報の示す位置が領域単位内に１５秒から３０秒存在する場合には、注目程度が低いと判断し、位置情報の示す位置が領域単位内に３０秒以上存在する場合には、注目程度が高いと判断してもよい。

また、上記実施の形態において、体験情報は、被験者が実世界において行動した実体験に関する情報である場合について説明したが、体験情報は、被験者が仮想世界において行動した仮想体験に関する情報であってもよい。体験情報が仮想体験に関する情報である場合には、体験情報は、例えば、被験者がヘッドマウントディスプレイ等を装着し、実写の画像情報、あるいは、コンピュータグラフィックスで作成された画像情報を見た場合の体験に関する情報であってもよい。この場合には、画像情報は、被験者が見るためにヘッドマウントディスプレイ等に表示された画像（動画像、あるいは静止画像）の情報であってもよい。すなわち、「被験者の見た光景の画像」は、被験者がヘッドマウントディスプレイ等において見た光景の画像であってもよい。また、この場合に、体験情報に含まれる画像情報は、被験者が見た光景の画像を特定できる情報であれば、画像の情報でなくてもよい。例えば、他の記録媒体において仮想空間におけるあらゆる位置、方向の画像が記憶されており、体験情報に含まれる画像情報は、画像を識別する識別子を時系列に沿って有する情報であってもよい。その場合でも、その画像情報によって、被験者が見た光景の画像を示すことができるからである。移動情報は、仮想世界における被験者の移動に関する情報であってもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、被験者が何かに注目している状態である注目状態にあるかどうかを示す条件である注目状態条件を示す情報である注目状態条件情報に基づいて、被験者が見た光景の画像を示す情報である画像情報を少なくとも含む情報であり、前記被験者による体験に関する情報である体験情報における注目状態を検出する注目状態検出ステップと、前記注目状態検出ステップで注目状態を検出した場合に、当該注目状態の検出された時点の画像を少なくとも含む情報である注目検出情報を、前記体験情報を用いて構成する注目検出情報構成ステップと、前記注目検出情報構成ステップで構成した注目検出情報を出力する出力ステップと、を実行させるためのものである。

なお、上記プログラムにおいて、情報を受け付ける受付ステップや、情報を出力する出力ステップなどでは、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカードなどで行われる処理は少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１８は、上記プログラムを実行して、上記実施の形態による注目状態検出装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図１８において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図１９は、コンピュータシステムを示す図である。図１９において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでもよい。

コンピュータシステム１００に、上記実施の形態による注目状態検出装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記実施の形態による注目状態検出装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明を省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による注目状態検出装置等によれば、被験者において顕在化されていない注目状態を検出することができうるという効果が得られ、被験者の体験に関する情報である体験情報を解析する装置等として有用である。

本発明の実施の形態１による注目状態検出装置の構成を示すブロック図 同実施の形態による注目状態検出装置の動作を示すフローチャート 同実施の形態におけるカメラ等を装着した被験者の一例を示す模式図 同実施の形態における体験情報の一例を示す図 同実施の形態における注目状態条件情報の一例を示す図 同実施の形態による注目状態検出装置の動作を示すフローチャート 同実施の形態における画像情報に基づいて注目状態を検出する方法について説明するための図 同実施の形態による注目状態検出装置の動作を示すフローチャート 同実施の形態における音声情報に基づいて注目状態を検出する方法について説明するための図 同実施の形態による注目状態検出装置の動作を示すフローチャート 同実施の形態における位置情報に基づいて注目状態を検出する方法について説明するための図 同実施の形態における位置情報に基づいて注目状態を検出する方法について説明するための図 同実施の形態による注目状態検出装置の動作を示すフローチャート 同実施の形態における視線情報に基づいて注目状態を検出する方法について説明するための図 同実施の形態における被験者の体験の一例を示す模式図 同実施の形態における背景画像情報の一例を示す図 同実施の形態における出力された注目検出情報と背景画像情報との一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ 注目状態検出装置
１１ 体験情報受付部
１２ 体験情報蓄積部
１３ 体験情報記憶部
１４ 注目状態条件情報記憶部
１５ 注目状態検出部
１６ 注目検出情報構成部
１７ 背景画像情報記憶部
１８ 背景画像情報取得部
１９ 出力部

Claims (10)

1. 被験者が見た光景の画像を示す情報である画像情報を少なくとも含む情報であり、前記被験者による体験に関する情報である体験情報が記憶される体験情報記憶部と、
   前記被験者が何かに注目している状態である注目状態にあるかどうかを示す条件である注目状態条件を示す情報である注目状態条件情報が記憶される注目状態条件情報記憶部と、
   前記注目状態条件情報に基づいて、前記体験情報における注目状態を検出する注目状態検出部と、
   前記注目状態検出部が注目状態を検出した場合に、当該注目状態の検出された時点の画像を少なくとも含む情報である注目検出情報を、前記体験情報を用いて構成する注目検出情報構成部と、
   前記注目検出情報構成部が構成した注目検出情報を出力する出力部と、を具備する注目状態検出装置。
2. 前記画像情報は、前記被験者が装着したカメラによって撮影された動画像の情報であり、
   前記注目状態条件は、前記画像情報の変化量がしきい値以下である状態が一定の時間以上継続したことであり、
   前記注目状態検出部は、前記体験情報における画像情報の変化量がしきい値以下である状態が一定の時間以上継続した場合に、注目状態を検出する、請求項１記載の注目状態検出装置。
3. 前記体験情報は、前記被験者の発した音声をマイクによって集音した情報である音声情報も含み、
   前記注目状態条件は、前記音声情報の変化量がしきい値以上であることであり、
   前記注目状態検出部は、前記体験情報における音声情報の変化量がしきい値以上である場合に、注目状態を検出する、請求項１または請求項２記載の注目状態検出装置。
4. 前記体験情報は、前記被験者の発した音声をマイクによって集音した情報である音声情報も含み、
   前記注目状態条件は、前記音声情報に、注目状態にあることを示す音声を示す情報である注目音声情報が含まれることであり、
   前記注目状態検出部は、前記体験情報における音声情報に前記注目音声情報が含まれる場合に、注目状態を検出する、請求項１または請求項２記載の注目状態検出装置。
5. 前記体験情報は、前記被験者の位置を示す情報である位置情報も含み、
   前記注目状態条件は、前記位置情報の示す位置が、一定時間以上、所定の領域単位内であることであり、
   前記注目状態検出部は、前記体験情報における位置情報の示す位置が、一定時間以上、所定の領域単位内である場合に、注目状態を検出する、請求項１から請求項４のいずれか記載の注目状態検出装置。
6. 前記体験情報は、前記被験者の視線の位置を示す情報である視線情報も含み、
   前記注目状態条件は、前記視線情報の示す視線の位置が、一定時間以上、所定の領域単位内にあり、かつ、前記被験者の見ている光景が変化しないことであり、
   前記注目状態検出部は、前記視線情報の示す視線の位置が、一定時間以上、所定の領域単位内にあり、かつ、前記被験者の見ている光景が変化しない場合に、注目状態を検出する、請求項１から請求項５のいずれか記載の注目状態検出装置。
7. 前記注目状態検出部は、注目状態と共に、注目の程度を示す注目程度をも検出し、
   前記注目検出情報は、前記注目程度を示す情報である注目程度情報も含む、請求項１から請求項６のいずれか記載の注目状態検出装置。
8. 前記被験者の行動した領域における背景の画像を示す情報である背景画像情報が記憶される背景画像情報記憶部と、
   前記注目状態の検出された位置に対応する背景画像情報を前記背景画像情報記憶部から取得する背景画像情報取得部と、をさらに備え、
   前記出力部は、前記注目状態の検出された位置の画像を前記背景画像情報に配置した注目検出情報を出力する、請求項１から請求項７のいずれか記載の注目状態検出装置。
9. 被験者が何かに注目している状態である注目状態にあるかどうかを示す条件である注目状態条件を示す情報である注目状態条件情報に基づいて、被験者が見た光景の画像を示す情報である画像情報を少なくとも含む情報であり、前記被験者による体験に関する情報である体験情報における注目状態を検出する注目状態検出ステップと、
   前記注目状態検出ステップで注目状態を検出した場合に、当該注目状態の検出された時点の画像を少なくとも含む情報である注目検出情報を、前記体験情報を用いて構成する注目検出情報構成ステップと、
   前記注目検出情報構成ステップで構成した注目検出情報を出力する出力ステップと、を具備する注目状態検出方法。
10. コンピュータに、
    被験者が何かに注目している状態である注目状態にあるかどうかを示す条件である注目状態条件を示す情報である注目状態条件情報に基づいて、被験者が見た光景の画像を示す情報である画像情報を少なくとも含む情報であり、前記被験者による体験に関する情報である体験情報における注目状態を検出する注目状態検出ステップと、
    前記注目状態検出ステップで注目状態を検出した場合に、当該注目状態の検出された時点の画像を少なくとも含む情報である注目検出情報を、前記体験情報を用いて構成する注目検出情報構成ステップと、
    前記注目検出情報構成ステップで構成した注目検出情報を出力する出力ステップと、を実行させるためのプログラム。