JP2004282471A - 映像コンテンツの評価装置 - Google Patents
映像コンテンツの評価装置 Download PDFInfo
- Publication number
- JP2004282471A JP2004282471A JP2003072010A JP2003072010A JP2004282471A JP 2004282471 A JP2004282471 A JP 2004282471A JP 2003072010 A JP2003072010 A JP 2003072010A JP 2003072010 A JP2003072010 A JP 2003072010A JP 2004282471 A JP2004282471 A JP 2004282471A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stimulus
- display
- subject
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】被検者Pに評価すべき映像(刺激映像)を呈示するディスプレイ100と、被検者Pの眼球反応を撮像する赤外線カメラ200と、刺激映像の呈示と眼球の撮像とを同期的に制御するパソコン300とを含み、赤外線カメラ200により得られた眼球画像信号を2値化処理して所定の眼球運動データを得るとともに、パソコンのモニタ画面400上に時間軸を設定し、その時間軸上に、刺激映像とそれに対応する上記眼球運動データとを併せて表示する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、映像コンテンツの評価装置に関し、さらに詳しく言えば、ディスプレイに所定の映像を呈示し、その映像を観察している被検者の生理反応の一つである眼球運動に基づいて映像コンテンツを評価する技術に関するものである。
【0002】
【従来の技術】
テレビ放送を例にして説明すると、現在のところ、そのコンテンツ(番組)の評価はもっぱら視聴率に頼っている。視聴率は、契約したモニタ宅に測定器を設置し、そのモニタ宅で特定の時間帯に選択されたテレビチャンネルを集計することにより得られる。
【0003】
しかしながら、視聴率だけでは、テレビチャンネルを合わせたとしても、その人が実際に視聴したかどうか、また、視聴したとしてもどのような感じを受けたかといった問題に対する回答は得られない。加えて、信頼性を向上させるには、莫大な被検者数が必要とされる。
【0004】
そればかりでなく、インターネットに代表されるブロードバンド(高速大容量通信)などにより配信されるコンテンツについては、視聴率を測定すること自体がきわめて困難であり、従来の評価技術では、こういった新たなメディアによるコンテンツには、ほとんど対応することができない。
【0005】
これとは別に、視聴覚刺激の生体反応に与える影響の研究は、心理学,生理学,人間工学などの各分野で広く行われており、興味や関心,情動それに操作性などを生体反応を指標として評価する手法は、すでに確立されている。
【0006】
しかしながら、これらの手法による評価実験の立案・実施および解析などの一連の作業は、高度の専門知識が必要とされることから、一般人が行うことは困難で、現在のところ専門家に委ねなければならないのが実情である。
【0007】
また、生体反応を測定するにしても、被検者にセンサやマーカなどを装着するようにしているため、その場の雰囲気により被検者に緊張感などの特定の意識を抱かせることがあり、評価の信頼性が損なわれるおそれがある。
【0008】
さらに、生理反応を指標とした評価を行う場合、従来では、刺激呈示装置,生体反応の測定装置および解析装置といった複数の装置を別々に用意する必要があり、使用に際しては各装置に関する専門的な知識も要求される。このようなことが、生理反応を指標とした評価から一般人を遠ざけている。
【0009】
【発明が解決しようとする課題】
したがって、本発明の課題は、評価対象である映像コンテンツの呈示から、それによる生体反応の測定,解析,評価指標の可視化に至る諸機能を1台の装置に集約して、解析処理を自動化し、かつ、簡易なユーザーインタフェイスを付加することにより、専門家の評価手法を広く一般に利用できるようにすることにある。
【0010】
【課題を解決するための手段】
本発明は、被検者に対して評価すべき映像(刺激映像)を呈示し、その生理反応の一つである眼球運動を測定,解析するもので、特にブロードバンドコンテンツの評価に好適である。
【0011】
具体的には、被検者に自然な姿勢でのコンテンツの視聴を求め、その際の興味の度合いを瞬目頻度の変化から、情動の変化を自律神経系反応である瞳孔反応から、それぞれ評価する。また、双方向性を備えたコンテンツにおいては、その操作性を視線運動の運動パターンの変化から評価する。
【0012】
その根拠として、まず、人間の興味を反映する指標では、生理心理学の分野において、瞬目の変化が知られている。すなわち、興味ある対象を視聴している際には瞬目回数は減少し、その前後に増加する。次に、情動の変化は、自律神経系との深い関わりがあり、簡易に測定できる指標としては、瞳孔反応が知られている。さらに、ユーザーインタフェースの操作性の客観評価では、人間工学の分野において、視線運動の軌跡および視点の停留時間を手がかりに分析される場合が多い。
【0013】
本発明は、上記の知見に基づいてなされたもので、ディスプレイに所定の映像を呈示し、その映像を観察している被検者の生理反応を検出して、その検出データに基づいて上記映像コンテンツを評価するにあたって、評価すべき映像としての刺激映像を上記ディスプレイに呈示する映像呈示手段と、上記刺激映像を観察中の被検者の眼球反応を撮像する撮像手段と、上記映像呈示手段および上記撮像手段を同期的に制御する制御手段とを含み、上記制御手段は、上記撮像手段により得られた眼球画像信号を2値化処理して所定の眼球運動データを得るとともに、上記制御手段が備える表示手段に時間軸を設定し、その時間軸上に、上記刺激映像と、それに対応する上記眼球運動データとを併せて表示することを特徴としている。
【0014】
これによれば、まず、被検者に測定用センサやマーカを装着する必要がないため、測定に伴う被検者の負担が軽減され、自然な視聴での反応データの取得が期待される。次に、刺激映像の呈示から測定,解析および表示までの各機能が1台の装置に集約されているため、特に高度な専門知識を必要とすることなく、映像コンテンツの評価を行うことができる。
【0015】
例えば、ブロードバンドにて映像を配信する場合、情報量の多い高解像度の映像と、情報量の少ない低解像度の映像とを用意し、その各映像を同一の被検者に別々に視聴してもらい眼球運動データを得る。その結果、眼球運動データにさほどの違いがなければ、わざわざ情報量の多い高解像度映像を配信する必要がなく、情報量の少ない低解像度映像を配信すればよいことが分かる。同様にして、例えば商品広告の映像などについても、その複数案の中から、最適とされる広告映像を選択することができる。
【0016】
また、動画コンテンツについては、被検者の瞬目の発生頻度を測定,解析することにより、呈示した動画コンテンツの中から、どのコンテンツが興味を持たれたか、どのコンテンツがあまり関心を抱かれなかったか、などを評価することができる。
【0017】
また、ブロードバンドやデジタル放送時代における一種のテレビゲームに近い双方向性を備えたコンテンツについては、被検者(操作者)の視線運動や瞳孔面積の時系列変化を測定することにより、被検者の注視箇所および自律系反応の変化から、その操作性や情動の変化を推測ないし評価することができる。
【0018】
本発明により得る眼球運動データには、瞬目発生頻度,瞳孔面積および視線運動の3つが含まれることが好ましいが、本発明は、そのうちのいずれか一つのみのデータを得る場合を排除するものではない。例えば、瞬目発生頻度のみを測定してもよい。
【0019】
撮像手段については、例えば瞬目発生頻度のみを測定するのであれば、通常のカメラを使用してもよいが、瞳孔面積や視線運動を測定するには、赤外線カメラが好ましく採用される。赤外線カメラによれば、虹彩に写り込んだ外部映像を排除した高コントラスト画像が得られるため、画像処理およびデータ解析を安定かつ高速に実行することができる。
【0020】
また、測定前の準備作業として、あらかじめ被検者に呈示する刺激映像が編集されるが、その刺激映像を映像呈示手段より所定の順序でディスプレイに呈示する際、順序効果を排除するため、本発明では、刺激映像の呈示順序モードの一つとしてランダム呈示モードを備えている。
【0021】
また、被検者に刺激画像を呈示するに先立って、ディスプレイに上下左右に移動する視標を含む動画を呈示し、その際の被検者の眼球運動を撮像手段により撮像し、これらのデータに基づいて座標系を設定するキャリブレーションを実行することが好ましい。
【0022】
本発明によれば、同一時間軸上に刺激映像と、それに対応する眼球運動データとが併せて表示されるが、眼球運動の前後関係を知るうえで、複数の刺激映像ないし眼球運動データが時系列的に表示され、しかも所定期間にわたってスクロール可能であることが好ましい。
【0023】
また、評価の解析により高い信頼性を持たせるため、本発明によれば、眼球運動データから被検者の注視点位置を算出し、その注視点を刺激画像にスーパーインポーズして表示手段に表示させることもできる。
【0024】
【発明の実施の形態】
次に、図面を参照しながら、本発明の実施形態について説明するが、本発明はこれに限定されるものではない。
【0025】
図1に示すように、この映像コンテンツの評価装置は、その基本的な構成要素として、刺激映像呈示用のディスプレイ100と、被検者Pの眼球を撮像するカメラ200と、制御手段300およびその表示手段としてのモニタ画面400とを備えている。
【0026】
刺激映像呈示用のディスプレイ100は、通常のブラウン管受像器のほかにプロジェクタのスクリーン画面それに液晶表示パネルなどを使用できる。カメラ200は、赤外線ランプ210を備えた赤外線カメラであることが好ましく、この例では、赤外線カメラとして説明する。
【0027】
一例として、赤外線カメラ200は被検者Pから50〜100cmほど離れた位置において、被検者Pの眼球を撮像するようにスタンドなどを用いてセットされる。なお、被検者Pの頭部の位置を特定するため顎台220を用意することが好ましい。これとは別に、ヘッドセットを用いて赤外線カメラ200を被検者Pの頭部に装着させることも可能である。
【0028】
制御手段300は、ディスプレイ100に対する刺激映像の出力,赤外線カメラ200からの眼球画像の取り込みを同期して行うとともに、データ解析およびモニタ表示などを行う。この制御手段300は、パーソナルコンピュータ(パソコン)クラスのものであってよい。
【0029】
本発明によると、映像コンテンツの評価を行うため、次の(1)〜(5)の各ステップが実行される。
(1)プロジェクトの設定;
測定に関するデータ入力,データ保存用フォルダの作成。
(2)刺激フェーズ;
呈示動画像データの選択,呈示時間,呈示順序の設定など。
(3)測定フェーズ;
動画像の出力,眼球画像列の取り込みなど。
(4)解析フェーズ;
眼球画像列からの瞬目回数,眼球運動,瞳孔面積の変化の計測,表示など。
(5)表現フェーズ;
瞬目回数,眼球運動,瞳孔面積変化データから各種評価値の算出・表示など。
【0030】
以下、各ステップを順を追って説明する。まず、(1)プロジェクトの設定では、本発明のアプリケーションを起動すると、モニタ画面400に図2に示すようなプロジェクト設定ダイアログ410が表示され、ここでユーザは例えば測定名,測定日時,被検者名などの各種の情報を入力する。
【0031】
なお、「読み込み」ボタンをクリックすることにより、ファイル選択ダイアログが表示され、そこから前回行った既存のプロジェクトを選択して読み込むこともできる。この場合には、前回までに行った処理の各種データが以降のフェーズに反映される。「OK」ボタンをクリックすると、プロジェクト用フォルダが作成され、同フォルダへの測定ファイルの保存が行われ、次の刺激フェーズに移る。
【0032】
(2)刺激フェーズでは、測定時に表示する刺激映像の選択および呈示順序などの設定を行う。図3(a)に刺激フェーズでの概略的なフローチャートを示し、図3(b)に刺激フェーズでのグラフィックユーザインタフェイス(GUI)画面420を示す。
【0033】
この刺激フェーズ用GUI画面420は、上部欄にあるフェーズ選択用タグの「刺激フェーズ」タグをクリックすることにより開かれる。次に、刺激選択用ボタンのうちの「読み込み」ボタン422をクリックして、ダイアログボックスで読み込み対象ファイルを選択する。選択された刺激映像は刺激情報表示部424に表示される。
【0034】
この例では、GUI画面420内に4つの刺激情報表示部424がペイン(pane;ウィンドウ)形式で設定され、その各々に「読み込み」ボタン422にて選択された刺激映像(動画像)ファイルが割り当てられる。なお、不要なファイルを選択した場合には、刺激選択用ボタンのうちの「削除」ボタン423をクリックして除去すればよい。
【0035】
各刺激情報表示部424内には、「再生」ボタン425aおよび「停止」ボタン425bを含むプレビュー画面425のほかに、ファイル情報表示部426と呈示順序選択部427とが用意されている。「再生」ボタン425aをクリックすることにより、出力する動画をプレビューすることができる。
【0036】
ファイル情報表示部426には、ファイル名,呈示時間,解像度,ファイルサイズなどが表示される。呈示順序選択部427は、動画データの出力順序を指定する箇所で、プルダウンメニューにより「数値」指定と「ランダム」指定とが表示される。決められた順序で出力したい場合には「数値」指定を選択して、その並び順を指定する。順序効果を排除したい場合には、「ランダム」指定を選択すればよい。
【0037】
GUI画面420の下欄には、総呈示時間表示部428とインターバル時間指定部429とが設けられている。インターバル時間指定部429は、各動画像呈示後に挿入する例えば黒画面の表示時間を設定する部分で、デフォルトは0である。総呈示時間表示部428には、各動画データ再生時間と、動画データ間の各インターバル時間の合計時間が表示される。
【0038】
刺激フェーズが終了したら、フェーズ選択用タグの「測定フェーズ」タグをクリックして、(3)測定フェーズに移る。図4(a)に、この測定フェーズで使用する測定フェーズ用GUI画面430を示す。
【0039】
測定フェーズ用GUI画面430には、「キャリブレーション」ボタン431,「測定開始」ボタン432および「測定キャンセル」ボタン433を含む測定操作用ボタンが設けられており、また、画像表示部として、刺激画像表示部434と測定画像表示部435とがペイン形式で用意されている。
【0040】
なお、刺激画像表示部434には、「ファイル名」表示と「呈示時間」表示のための表示フィールド434aが含まれており、また、測定画像表示部435には、「測定時間」表示と「残り時間」表示のための表示フィールド435aが含まれている。
【0041】
この測定フェーズでは、まず、「キャリブレーション」ボタン431をクリックしてキャリブレーションを実行する。このキャリブレーションでは、被検者Pに上下左右に移動する視標が記録された動画ファイルをディスプレイ100上に呈示し、その際の被検者Pの眼球運動を測定する。このとき、動画ファイルは刺激画像表示部434に表示され、また、眼球運動は測定画像表示部435に表示される。
【0042】
測定終了後に、データ処理が自動的に行われ、例えば視標が動いた範囲とそれに追随する眼球運動の範囲とから測定時の座標系が決められる。このキャリブレーションは測定ごとに実行される。参考として、図4(b)にキャリブレーションの概略的なフローチャートを示す。なお、キャリブレーション用動画ファイルは、あらかじめ制御手段300の所定の領域にインストールされているが、ユーザは必要に応じて、そのキャリブレーション用動画ファイルを差し替えることができるようにしてもよい。
【0043】
キャリブレーション終了後、「測定開始」ボタン432をクリックすることにより、実際の測定が開始される。この測定時には、上記(2)の刺激フェーズで設定された刺激画像がディスプレイ100に表示されるとともに、その刺激画像と赤外線カメラ200で撮像された被検者Pの眼球画像とが、刺激画像表示部434と測定画像表示部435とにそれぞれリアルタイムで表示される。
【0044】
また、一方の表示フィールド434aには、刺激画像のファイル名と呈示時間が表示され、他方の表示フィールド435aには、測定時間と刺激画像の総呈示時間に対する残存時間が表示される。
【0045】
測定開始後は、刺激画像がすべて呈示されるまで測定が継続され、刺激画像の呈示終了と同期して自動的に測定も終了する。なお、なんらかの理由によって、測定を途中で終了したい場合には、「測定キャンセル」ボタン433をクリックする。測定した眼球運動の動画ファィル(測定データ)は、プロジェクト用ディリクトリ下に所定のファイル名で格納される。
【0046】
測定フェーズが終了したら、フェーズ選択用タグの「解析フェーズ」タグをクリックして、(4)解析フェーズに移る。この解析フェーズでは、測定された眼球画像列データとキャリブレーションデータとから、視線位置(水平,垂直),瞳孔面積,瞬目を自動的に計測し、時間波形変化として表示する。また、異常値データがある場合には、その修正・削除を手動で行うことができる。図5(a)に、この解析フェーズの大まかなフローチャートを示し、図5(b)に、ここで使用する解析フェーズ用GUI画面440を示す。
【0047】
この解析フェーズ用GUI画面440には、マーカ選択用ボタンとして、「眼球運動用マーカ」ボタン441a,「瞳孔面積用マーカ」ボタン441bおよび「瞬目判定用マーカ」ボタン441cの3つのボタンが設けられている。これらのマーカはデータ修正時に使用する。その下に画面の横軸を時間軸として、その時間軸に沿って「フレーム選択用」ボタン442と、「タイムコード表示」フィールド443とが設けられている。
【0048】
また、表示部として、刺激画像表示部444,測定画像表示部445,水平眼球運動表示部446a,垂直眼球運動表示部446b,瞳孔面積表示部447および瞬目発生頻度表示部448の6つのウィンドウが時間軸に沿って平行に設定されている。また、画面の一番下には水平スクロールバー449が設けられている。
【0049】
各表示部について説明すると、刺激画像表示部444には、ディスプレイ100に表示されたのと同じ刺激画像(動画像)の各フレームが時系列に表示される。なお、刺激画像ファイルの形式がMPEG(Motion PicturesExperts Group)の場合には、MPEGの輝度ベクトルまたは動きベクトルも選択的に表示される。
【0050】
測定画像表示部445には、測定された眼球運動画像の各フレームが時系列に表示される。水平眼球運動表示部446aには、上記眼球運動画像から計測された眼球中心の位置の水平方向の変化が時間関数波形として表示され、また、垂直眼球運動表示部446bには、上記眼球中心の位置の垂直方向の変化が時間関数波形として表示される。
【0051】
瞳孔面積表示部447には、上記眼球運動画像から計測された眼球瞳孔の面積変化が時間関数波形として表示され、瞬目発生頻度表示部448には、上記眼球運動画像から計測された瞬目発生頻度が時間関数波形として表示される。
【0052】
なお、瞳孔面積表示部447および瞬目発生頻度表示部448については、その表示形態を波形ではなく、図形や数値表示としてもよい。また、いずれの表示部も、水平スクロールバー449を操作することにより、全フレームを閲覧することができる。
【0053】
異常値データがある場合には、次のようにして補正できる。例えば、眼球運動データの第3フレーム目にどう見ても不自然なところがある場合には、「眼球運動用マーカ」ボタン441aをクリックし、引き続いて「フレーム選択用」ボタン442の第3フレームボタンをクリックすると、水平眼球運動表示部446aと垂直眼球運動表示部446bの第3フレーム目にマーカ(図示省略)が現れ、そのマーカが示す位置のデータを修正もしくは削除することができる。
【0054】
同様にして、瞳孔面積データの修正には「瞳孔面積用マーカ」ボタン441bをクリックし,また、瞬目頻度データの修正には「瞬目判定用マーカ」ボタン441cをクリックすることにより、各データを修正もしくは削除することができる。
【0055】
次に、この解析フェーズにおいて、制御手段300が行うデータ処理について図6を参照して説明する。制御手段300は、赤外線カメラ200にて撮像された眼球画像列データの1フレームごとに、眼球中心位置,瞳孔面積および瞬目判定を行う。
【0056】
なお、眼球中心位置については、キャリブレーションデータを用いて、画像位置→視線方向の変換を行う。キャリブレーションデータは、先にも説明したように、上下左右に移動する視標位置と、それを追って見る視線方向(単位;角度)との対応を示すデータである。
【0057】
この解析フェーズでのデータ処理手順として、制御手段300は、まずステップST1として、眼球運動画像を1フレーム単位(この例では、8ビットのモノクロ)で読み込む。
【0058】
そして、ステップST2で、その1フレームの画像全体に2値化処理を施したのち、ステップST3で、画像中の眼球の周りに設定された計測用ウィンドウW内の瞳孔部分(黒領域)の面積を求める。なお、計測用ウィンドウWは、上記測定フェーズの最初の段階で、初期フレームのみに手動により設定されたものである。
【0059】
このようにして、瞳孔面積を求めたのち、ステップST4a,ST4bを実行する。すなわち、ステップST4aでは、瞳孔面積と所定の閾値とを比較し、瞳孔面積が閾値以下であれば瞬目と判定する。
【0060】
また、ステップST4bでは、例えばテンプレートマッチングにより円を抽出して、瞳孔の中心位置(x,y)を求め、上記キャリブレーションデータを用いて、その中心の水平方向および垂直方向の各位置を視線位置に変換する。
【0061】
そして、次のフレームを読み込み、そのフレームの眼球中心に合わせて計測用ウィンドウWを移動させたのち、上記ステップST1〜ST4を実行し、これを最終フレームまで繰り返す。
【0062】
解析フェーズが終了したら、フェーズ選択用タグの「表現フェーズ」タグをクリックして、(5)表現フェーズに移る。この表現フェーズでは、解析フェーズで計測された眼球(視線)運動の時間変化データから各フレームごとに注視点データを算出し、その注視点を被検者に呈示した刺激画像にスーパーインポーズして表現する。
【0063】
また、眼球運動,瞳孔面積,瞬目発生頻度の時間変化データから瞬目回数,瞳孔径変化,反応時間,眼球移動速度,眼球停留時間,停留回数およびその場所を算出し、ユーザの求めに応じて表示する。図7(a)に、この表現フェーズでの大まかなフローチャートを示し、図7(b)に、この表現フェーズ用GUI画面450を示す。
【0064】
この表現フェーズ用GUI画面450には、被検者に呈示した刺激画像を表示する刺激画像表示部451と、解析フェーズで計測された各データをグラフとして表示するグラフ表示部455の2つのウィンドウが設けられている。
【0065】
刺激画像表示部451に関連して、「注視点表示/消去」ボタン452a,「デュレーション」指示部452b,「タイムコード」表示部453aおよび「画像保存」ボタン453bが設けられている。
【0066】
「注視点表示/消去」ボタン452aは二者択一式のトグルスイッチで、「注視点表示」側を選択し、「デュレーション」指示部452bで、例えば1〜10フレームまでのように、その表示フレームの範囲を指定すると、眼球運動データから各フレームごとに算出された注視点が刺激画像にスーパーインポースされた状態で、刺激画像表示部451に表示される。
【0067】
この例において、刺激画像表示部451に表示される刺激画像は、指定された先頭のフレームの固定画像であり、この画像内にその他のフレームの各注視点が眼の動きを追うように線で結ばれた分布状態で表示される。「タイムコード」表示部453aには、表示されている刺激画像のタイムコードが表示され、「画像保存」ボタン453bをクリックすることにより、表示されているスーパーインポース画像が所定のファイルに保存される。
【0068】
グラフ表示部455については、「眼球運動」表示ボタン456a,「瞳孔面積」表示ボタン456bおよび「瞬目頻度」表示ボタン456cを含む表現データ選択部456と、グラフ表示するデータの時間範囲(INとOUT)を指定するスライダ457と、その表示範囲の先頭データのタイムコードを表示するタイムコード表示部457aと、「眼球運動」保存ボタン458a,「瞳孔面積」保存ボタン458bおよび「瞬目頻度」保存ボタン458cを含む「データ」保存ボタン458が設けられている。
【0069】
表現データ選択部456のうちの例えば「眼球運動」表示ボタン456aをクリックすると、先に説明した図5(b)のGUI画面440と同じく、そのデータがグラフ表示部455に時間変化波形として表示される。その時間範囲(表示範囲)はスライダ457で指定する。また、複数表示が可能で、例えば眼球運動と瞳孔面積とを同時に表示させることができる。
【0070】
また、グラフ表示部455に表示されているデータを保存したい場合には、「データ」保存ボタン458内のデータ保存ボタンをクリックする。これにより、スライダ457で指定された範囲内のデータがテキスト形式で所定のファイルに保存される。
【0071】
なお、今までプリンタ出力については説明していないが、当然に各画像およびフォルダ内に格納されている各データをプリンタにより適宜プリントアウトすることができる。また、制御手段300に、上記各フェーズで使用するファイルを必ずしも常駐させておく必要もない。
【0072】
すなわち、例えば別途にホストコンピュータを設置して、そこに上記各フェーズで使用するファイルを持たせ、測定する際に、制御手段300を通信回線を介してホストコンピュータにつなげて必要なファイルなどをダウンロードするようにしてもよく、このような態様も本発明に含まれる。
【0073】
また、本発明は、大型のディスプレイを備えた例えばディスクトップ型のコンピュータばかりでなく、カメラを備えた携帯電話機をはじめとする携帯情報端末にも適用可能である。一例として、上記の各フェーズ機能を備えた制御手段としてのパソコンとカメラ付き携帯情報端末とをインターネット回線を介して接続し、パソコン側から刺激画像を送信して、携帯情報端末側からそれに反応する眼球画像を受信するようにしてもよい。
【0074】
【発明の効果】
以上説明したように、本発明によれば、被検者に評価すべき映像を呈示し、それを視聴した被検者の生理反応の一つである眼球運動を撮像し、得られたデータ(視線の動き,瞳孔面積,瞬目発生頻度)から刺激映像のコンテンツを評価するようにしたことにより、少ない被検者数で、従来テレビ放送で行われていた視聴率を指標とする評価手法よりも、はるかに信頼性のある高次な評価を行うことができ、特にブロードバンドコンテンツの評価に好適である。
【0075】
また、評価対象である映像コンテンツの呈示から、それによる生体反応の測定,解析,評価指標の可視化に至るまでを1台の装置でほぼ自動的に実施することができるため、特別高度な専門知識を備えていない一般人でも、映像コンテンツの評価を短時間かつ低コストにて行うことができる。
【図面の簡単な説明】
【図1】本発明による映像コンテンツの評価装置の基本的な構成を示す模式図。
【図2】プロジェクト設定用ダイアログの画面図。
【図3】(a)刺激フェーズで実行される動作の概略的なフローチャート,(b)同刺激フェーズで用いられるグラフィックユーザインターフェース画面。
【図4】(a)測定フェーズで用いられるグラフィックユーザインターフェース画面,(b)同測定フェーズで実行されるキャリブレーションの概略的な動作フローチャート。
【図5】(a)解析フェーズで実行される動作の概略的なフローチャート,(b)同解析フェーズで用いられるグラフィックユーザインターフェース画面。
【図6】解析フェーズで実行される画像処理を説明するための模式図。
【図7】(a)表現フェーズで実行される動作の概略的なフローチャート,(b)同表現フェーズで用いられるグラフィックユーザインターフェース画面。
【符号の説明】
100 刺激呈示用ディスプレイ
200 赤外線カメラ
210 赤外線ランプ
300 制御手段
400 モニタ画面
Claims (7)
- ディスプレイに所定の映像を呈示し、その映像を観察している被検者の生理反応を検出して、その検出データに基づいて上記映像コンテンツを評価する映像コンテンツの評価装置であって、
評価すべき映像としての刺激映像を上記ディスプレイに呈示する映像呈示手段と、上記刺激映像を観察中の被検者の眼球反応を撮像する撮像手段と、上記映像呈示手段および上記撮像手段を同期的に制御する制御手段とを含み、
上記制御手段は、上記撮像手段により得られた眼球画像信号を2値化処理して所定の眼球運動データを得るとともに、上記制御手段が備える表示手段に時間軸を設定し、その時間軸上に、上記刺激映像と、それに対応する上記眼球運動データとを併せて表示することを特徴とする映像コンテンツの評価装置。 - 上記制御手段は、上記眼球画像信号から少なくとも上記被検者の瞬目発生頻度,瞳孔面積,視線運動のいずれか一つのデータを上記眼球運動データとして算出する請求項1に記載の映像コンテンツの評価装置。
- 上記撮像手段が、赤外線カメラである請求項1または2に記載の映像コンテンツの評価装置。
- 上記制御手段は、あらかじめ編集されている複数の上記刺激映像を上記映像呈示手段より上記ディスプレイに呈示する際、その呈示順序モードの一つとしてランダム呈示モードを備えている請求項1,2または3に記載の映像コンテンツの評価装置。
- 上記制御手段は、上記被検者に上記刺激画像を呈示するに先立って、上記ディスプレイに上下左右に移動する視標を含む動画を呈示し、その際の上記被検者の眼球運動を上記撮像手段により撮像し、これらのデータに基づいて座標系を設定するキャリブレーションを実行する請求項1ないし4のいずれか1項に記載の映像コンテンツの評価装置。
- 上記制御手段は、上記表示手段に設定した時間軸上に、上記刺激映像と、それに対応する上記眼球データとを時系列的に表示する請求項1ないし5のいずれか1項に記載の映像コンテンツの評価装置。
- 上記制御手段は、上記眼球運動データから上記被検者の注視点位置を算出し、その注視点を上記刺激画像にスーパーインポーズして上記表示手段に表示する請求項1ないし6のいずれか1項に記載の映像コンテンツの評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003072010A JP4208614B2 (ja) | 2003-03-17 | 2003-03-17 | 映像コンテンツの評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003072010A JP4208614B2 (ja) | 2003-03-17 | 2003-03-17 | 映像コンテンツの評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004282471A true JP2004282471A (ja) | 2004-10-07 |
JP4208614B2 JP4208614B2 (ja) | 2009-01-14 |
Family
ID=33288314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003072010A Expired - Fee Related JP4208614B2 (ja) | 2003-03-17 | 2003-03-17 | 映像コンテンツの評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4208614B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006197373A (ja) * | 2005-01-14 | 2006-07-27 | Mitsubishi Electric Corp | 視聴者情報測定装置 |
JP2006263334A (ja) * | 2005-03-25 | 2006-10-05 | Nissan Motor Co Ltd | 車両用視線方向検出装置及び方法 |
WO2007135796A1 (ja) * | 2006-05-18 | 2007-11-29 | Visual Interactive Sensitivity Research Institute Co., Ltd. | コンテンツに対する利用者応答を評価する制御装置 |
JP2009290586A (ja) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Corp | 映像品質評価方法及び映像品質評価装置 |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
JP2012196279A (ja) * | 2011-03-18 | 2012-10-18 | Waseda Univ | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム |
JP5718492B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP5718493B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP2018064246A (ja) * | 2016-10-14 | 2018-04-19 | 学校法人立命館 | 情報記録装置、時刻特定装置、時刻特定システム、及び時刻特定方法 |
CN108742657A (zh) * | 2018-03-30 | 2018-11-06 | 百度在线网络技术(北京)有限公司 | 游戏测评方法、装置、游戏系统及存储介质 |
KR102114946B1 (ko) * | 2019-01-04 | 2020-05-25 | 주식회사 엠투에스 | 가상현실(vr) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법 |
CN113518577A (zh) * | 2019-01-13 | 2021-10-19 | 威视力-路尼奥科技(以色列) | 虚拟现实眼部检查系统 |
WO2022239792A1 (ja) * | 2021-05-12 | 2022-11-17 | 株式会社夏目綜合研究所 | 被験者分析装置 |
-
2003
- 2003-03-17 JP JP2003072010A patent/JP4208614B2/ja not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006197373A (ja) * | 2005-01-14 | 2006-07-27 | Mitsubishi Electric Corp | 視聴者情報測定装置 |
JP2006263334A (ja) * | 2005-03-25 | 2006-10-05 | Nissan Motor Co Ltd | 車両用視線方向検出装置及び方法 |
JP4715262B2 (ja) * | 2005-03-25 | 2011-07-06 | 日産自動車株式会社 | 車両用視線方向検出装置及び方法 |
WO2007135796A1 (ja) * | 2006-05-18 | 2007-11-29 | Visual Interactive Sensitivity Research Institute Co., Ltd. | コンテンツに対する利用者応答を評価する制御装置 |
JP4874332B2 (ja) * | 2006-05-18 | 2012-02-15 | 株式会社Vis総研 | コンテンツに対する利用者応答を評価する制御装置 |
JP2009290586A (ja) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Corp | 映像品質評価方法及び映像品質評価装置 |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
JP2012196279A (ja) * | 2011-03-18 | 2012-10-18 | Waseda Univ | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム |
JP5718492B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP5718493B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP2018064246A (ja) * | 2016-10-14 | 2018-04-19 | 学校法人立命館 | 情報記録装置、時刻特定装置、時刻特定システム、及び時刻特定方法 |
JP7030316B2 (ja) | 2016-10-14 | 2022-03-07 | 学校法人立命館 | 情報記録装置、時刻特定装置、時刻特定システム、及び時刻特定方法 |
CN108742657A (zh) * | 2018-03-30 | 2018-11-06 | 百度在线网络技术(北京)有限公司 | 游戏测评方法、装置、游戏系统及存储介质 |
KR102114946B1 (ko) * | 2019-01-04 | 2020-05-25 | 주식회사 엠투에스 | 가상현실(vr) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법 |
CN113518577A (zh) * | 2019-01-13 | 2021-10-19 | 威视力-路尼奥科技(以色列) | 虚拟现实眼部检查系统 |
WO2022239792A1 (ja) * | 2021-05-12 | 2022-11-17 | 株式会社夏目綜合研究所 | 被験者分析装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4208614B2 (ja) | 2009-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4208614B2 (ja) | 映像コンテンツの評価装置 | |
US4859050A (en) | Method and system for generating a synchronous display of a visual presentation and the looking response of many viewers | |
WO2012111272A1 (ja) | 表示制御装置および表示制御方法 | |
US20090021695A1 (en) | Display of Ocular Movement | |
US11372479B2 (en) | Multi-modal vision enhancement system | |
WO2011023948A1 (en) | Visual perimeter measurement system and method | |
JPWO2007135796A1 (ja) | コンテンツに対する利用者応答を評価する制御装置 | |
JPWO2015056742A1 (ja) | 視認対象効果度測定装置 | |
WO2018088187A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
CN106874672B (zh) | 一种显示脑电图数据的方法及移动终端 | |
CN113079411B (zh) | 一种多模态数据同步可视化系统 | |
US9046921B2 (en) | Display apparatus and control method thereof | |
JP2013180076A (ja) | 分析支援装置、プログラム | |
CN113709451A (zh) | 视频对比播放方法及装置 | |
Nakamura et al. | The pottery skills and tacit knowledge of a maser: An analysis using eye-tracking data | |
JP2006254145A (ja) | テレビ番組の視聴質測定方法 | |
KR20190066429A (ko) | 가상 현실 콘텐츠의 시청 피로도 예측 모델에 관한 모니터링 장치 및 방법 | |
Martín-Pascual et al. | Using electroencephalography measurements and high-quality video recording for analyzing visual perception of media content | |
CN105100791B (zh) | 一种用于测量立体视觉舒适度的系统及方法 | |
US9741119B2 (en) | Display apparatus and control method thereof | |
US10779726B2 (en) | Device and method for determining eye movements by tactile interface | |
US20200250498A1 (en) | Information processing apparatus, information processing method, and program | |
JP2006040055A (ja) | 画像表示装置 | |
CN106909369B (zh) | 用户界面显示方法和系统 | |
CN108600797B (zh) | 一种信息处理法方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060317 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060317 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080924 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141031 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |