JP2012073350A - 映像制御装置、及び映像制御方法 - Google Patents

Abstract

【課題】 生体に影響を与えている、映像内の動きに関わる特徴量を脳活動計測によって推定し、得られた結果に基づいて視聴者に与える映像効果を制御する技術を提供すること。
【解決手段】 映像を視聴している視聴者の脳活動を計測し、得られる脳活動データから前記映像の動きに関わる特徴量である動きベクトルを推定して、当該特徴量に基づいて映像の表示を制御する。
【選択図】 図１

Description

映像が生体に与える影響を計測し、得られたデータに基づいて当該映像を制御する映像制御装置および映像制御方法に関する。

近年、映像表示装置の大画面化・高精彩化が進展し、多くの視聴者が臨場感のある映像を楽しむことができるようになりつつある。しかし、その一方で、映像が生体に与える悪影響についても報告されるようになってきた。例えば、市販のビデオカメラで撮影した手ブレのある映像を大画面ディスプレイで視聴した時に、視聴者の中には乗り物酔いに似た症状、いわゆる「映像酔い」と呼ばれる不快感を覚えることがある。視聴している大画面映像からは、あたかも視空間内で自分が動いているように感じられるのだが、実際には視聴者は静止している。それにより、視覚器官から得られる視知覚と、前庭器官から得られる平衡感覚との間に矛盾が生じ、脳内での空間認識が阻害される。このままででは身体制御などに支障をきたすことから、警報として「映像酔い」という不快症状が誘発されると考えられている。「映像酔い」は、映像内の動きに関わる成分が生体に悪影響を及ぼす一例である。

一方で、映像が生体に好影響を与えることも明らかになりつつある。例えば、視覚をはじめ感覚に関わる脳神経系の発達が著しい乳幼児期において、映像を視聴することは、色や形、あるいは動きといった視覚刺激を知覚するための訓練として効果的である。しかし、乳幼児は自分の見え方を言語で表現することが難しいので、視聴している映像が乳幼児に本当に知覚されているのかどうかを評価することは困難である。映像の動きを知覚するための機構が未発達な乳幼児に対して高速で運動する対象を含む映像を表示しても、当該対象は知覚されず、映像の効果が得られていない可能性があり、その評価は難しい。このように、乳幼児の視覚系の発達を促進するという目的においては、乳幼児が知覚でき得る速度に映像内の動きを制御しなければならない。以上のような事情に鑑み、映像が生体に与える影響を他覚的に検知し、場合によっては視聴者に表示する映像を制御する技術が望まれている。

表示装置の使用者の作業進行状態やそれに伴う生体疲労状況に合わせて表示サイズ、解像度等の表示条件を変化させ、使用者の生体にかかる負荷を少なくすることができる技術として、特許文献１記載の生体固有情報を用いた表示システム及び表示方法がある。これは、文字、画像の表示装置において、生体から生ずる脳波、呼吸、脈拍、血圧等の生体固有情報の計測データと、使用者の状態が蓄積された蓄積データとに基づいて、文字、画像の表示サイズ、解像度、表示位置などを制御するものである。

一方、映像を視聴している人間の脳活動を測定し、得られたデータを解析することで視聴者が知覚している映像内の線分を推定する技術が、非特許文献１に記載されている。非特許文献１には、以下の技術が記載されている。人間の大脳視覚野には、視聴している映像中の特定の線分に反応する神経細胞が存在している。例えば一次視覚野では、それらの神経細胞がそれぞれの担当する視野に応じて規則正しく配列している。したがって、映像を視聴している人間の一次視覚野の神経活動を機能的磁気共鳴画像法で測定することによって、視野中のどの位置にどんな線分の画像が表示されているかを推定することができる。

特開２００４−１９１６２８号公報

Ｙｏｉｃｈｉ Ｍｉｙａｗａｋｉ ｅｔ ａｌ．"Ｖｉｓｕａｌ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｈｕｍａｎ ｂｒａｉｎ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ａ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｍｕｌｔｉ−ｓｃａｌｅ ｌｏｃａｌ ｉｍａｇｅ ｄｅｃｏｄｅｒｓ"，Ｎｅｕｒｏｎ，６０，９１５−９２９（２００８）

特許文献１に記載の技術では、使用者の脳波、呼吸、脈拍、血圧等の生体固有情報に影響を与えた映像要因については何も推し量ることはしていなかった。そのため、制御すべき映像だけでなく、制御する必要の無い映像まで同様に制御してしまい、必要以上に情報量を低下させていた。その結果として映像品質が必要以上に低下するという問題が残されていた。

また、非特許文献１に記載の技術では、視聴者の知覚情報を推定することはできるが、それをもとに視聴中の映像に何らかの制御を加えるものではなく、視聴者への影響を制御できなかった。

本発明に係る映像制御装置は、視聴者に映像を呈示する映像呈示手段と、
前記視聴者の脳活動を計測する脳活動計測手段と、
前記脳活動計測手段によって得られたデータをもとに前記視聴者が知覚している映像の動きの方向と量に関わる特徴量を推定する特徴量推定手段と、
前記特徴量に基づいて前記映像呈示手段が表示する映像を制御する映像制御手段と、
を有することを特徴とする。

また、本発明に係る映像制御方法は、視聴者に映像を呈示する映像呈示工程と、
前記視聴者の脳活動を計測する脳活動計測工程と、
前記脳活動計測工程によって得られたデータをもとに前記視聴者が知覚している映像の動きの方向と量に関わる特徴量を推定する特徴量推定工程と、
前記特徴量に基づいて視聴者に表示する映像を制御する映像制御工程と、
を有することを特徴とする。

本発明の技術によれば、視聴者に影響を与えている映像の動きに関わる特徴量を脳活動計測によって推定できるので、当該特徴量に基づいて映像効果を制御することができる。

本発明の映像制御装置の基本構成を表すブロック図 脳活動計測装置の具体的構成を表す断面図 本発明の映像制御のフローチャート 視覚的運動方向選択性を有する神経細胞の模式図 生理反応計測手段を具備する映像制御装置の基本構成を表すブロック図 本発明の映像制御のフローチャート 主観評価手段を具備する映像制御装置の基本構成を表すブロック図 本発明の映像制御のフローチャート

本発明の映像制御装置及び映像制御方法の実施の形態を、図面を参照して詳細に説明する。

ここで説明する実施の形態においては、映像を視聴している視聴者の脳活動から、当該映像の動きに関わる特徴量である動きベクトルを推定し、当該映像を制御する。

図１は本形態の映像制御装置の基本構成を表すブロック図である。

（脳活動計測手段）
視聴者１が映像呈示手段である表示装置２によって表示される映像を見ているときの脳活動を、脳活動計測手段である脳活動計測装置３により計測する。脳活動計測装置３に用いられるものとしては、機能的磁気共鳴画像計測装置、ポジトロン断層計測装置、近赤外分光計測装置、脳波計、脳磁計、電極を用いた神経活動記録装置などの様々な脳活動計測装置が挙げられる。その中でも、機能的磁気共鳴画像法は脳内の活動部位を高感度かつ精細に計測することが可能であるため好ましい。ポジトロン断層計測装置も特定の脳部位の活動を精度よく計測するのに適しており、好ましい。脳波計及び近赤外分光計測装置は、被験者頭部の所定箇所に計測用のセンサを装着する簡便な構成で脳活動に伴う信号を取得できるので、好ましい。とりわけ、本発明において計測する主な脳部位は後頭葉の大脳視覚野であるため、計測対象となる部位は限定され、装着すべきセンサの数も少なくて済むので好ましい。

（特徴量推定手段）
脳活動計測装置３によって計測された脳活動に関するデータは特徴量推定手段である脳活動データ解析装置４に送られ、視聴者１が知覚している映像の特徴量である、映像の動きベクトルが推定される。ここで映像の動きベクトルとは、動画像データの表現方法の一つであり、動画像のある瞬間に相当する静止画像を基準とした時、前後の瞬間に相当する別の静止画像との間の動き成分をベクトルとして表現したものである。「映像酔い」の不快症状は、映像の動きベクトルと相関があると言われており、「映像酔い」を検知する上で映像の動きベクトルを推定することは有効である。

具体的には、視聴している映像の運動方向、及び速度に対して選択的に反応する神経細胞の活動に伴う信号を取得する。当該神経細胞は大脳視覚野の特定の領野に存在し、視野内の位置と対応のとれた規則で配列していることが知られている。脳波計、脳磁計、電極を用いた神経活動記録装置の場合には、映像視聴によって誘発される神経細胞の電気的活動を計測する。一方、機能的磁気共鳴画像計測装置、ポジトロン断層計測装置、近赤外分光計測装置の場合には、映像視聴によって誘発された神経細胞の電気的活動に付随して生じる脳血流変化を計測する。それらの脳活動計測装置は、視聴者１の網膜に刻々と投影される二次元像に応じて変化する前記神経細胞の所在と活動レベルとを活動パターンとして取得する。例えば、ランダムドットパターンが上方向に速度を変えながら運動する映像を視聴者１に呈示し、その際の当該神経細胞の活動を計測すれば、前記ランダムドットパターンに対して選択的に反応する神経細胞の所在と活動レベルとが活動パターンとして得られる。同様に、任意の方向に速度を変えながら運動するランダムドットパターンを呈示し、その際の視聴者１の神経活動を計測すれば、所定の運動方向と速度に対して選択的に反応する神経細胞の所在と活動レベルとを活動パターンとして取得することができる。映像内の単純な動きによって変化する上記の神経活動パターンと、任意の映像を視聴している際に計測される視聴者１の神経活動パターンとをパターン認識処理することで、当該神経活動パターンに含まれる視覚的な動きの方向と速度を定量的に推定することができる。

推定された映像の動きベクトルの値は、判別装置５へ送られる。

判別装置５は、当該動きベクトルの値をもとに、映像に対して制御が必要かどうかを判別する。判別を有効に行うために、目的に応じて前記動きベクトルの値の閾値を予め設定することができる。例えば、「映像酔い」を誘発する動きベクトルの臨界値や、目的とする映像効果を与えるのに必要な基準値を設定することが挙げられる。「映像酔い」を判別する場合を考えると、もしも前記動きベクトルの値が予め設定した閾値を越えた時には、視聴者１が知覚している映像が適正ではない、すなわち「映像酔い」の危険性が高まっていると判別し、映像制御装置６へ映像効果を抑制する信号を出力する。

「映像酔い」の危険性が高まっている場合には、予め測定した視聴者の知覚特性を踏まえて、視聴者が知覚する特定の方向における動きの感覚を減少させるように前記ランダムドットパターンを映像に重畳する。

具体的には、映像内にランダムドットパターンを生成し重畳することで、視聴者が知覚する特定の方向における動きの感覚を減少させるように映像制御装置６へ信号を出力する。

映像の動きに対する人間の知覚には個人差があると考えられるので、好ましくは事前に視聴者ごとに調整することが好ましい。例えば、映像の一部を視聴者に呈示し、その際の脳活動を計測して当該映像の動きベクトルを推定する。推定された映像の動きベクトルに応じて運動するランダムドットパターンを当該映像に重畳し、その際の脳活動を計測して映像の動きに対して反応した神経活動パターンを得る。その後、同じ映像に対して速度や色、ドット数を変えて前記ランダムドットパターンを繰り返し呈示し、そのたびごとに脳活動を計測して神経活動パターンを取得する。同時に、前記ランダムドットパターンを重畳した映像の動きについて、視聴者に主観的な印象を報告してもらう。以上の手続きを予め行っておくことで、当該視聴者が属性の異なるランダムドットパターンを重畳した映像に対してどれくらいの動きの感覚を知覚するか、ならびにどのような神経活動パターンを示すかが明らかとなる。つまり、映像に対する当該視聴者の知覚特性を予め測定しておくことで重畳する前記ランダムドットパターンの属性を調整することができるので、より適切な映像制御を行えるという効果が得られる。

一方、前記動きベクトルの値が閾値を越えない時には、「映像酔い」の危険性は少ないと判別し、映像制御装置６へ信号を出力しない。前記閾値は、視聴者１の映像に対する感応性を考慮して任意に設定することができる。より好ましくは、脳活動計測から推定される映像の動きベクトルと、その際に当該映像が視聴者へ与える影響とを事前に調べておくのがよい。複数名の視聴者を対象に、映像を視聴している際の脳活動計測と主観的な印象に関する質問紙法を実施する。脳活動計測から推定される映像の動きベクトルの値と、前記視聴者の主観的印象との結果から、映像の動きベクトルについて適切な閾値を設定することが望ましい。

また、映像が視聴者１に与える動きの感覚を増強したい場合、もしも前記動きベクトルの値が予め設定された基準値を越えない時には、目的とする映像効果が不十分であり適正ではないと判別して、映像制御装置６へ映像効果をより増強するように信号を出力する。具体的には、映像内にランダムドットパターンを生成し、脳活動計測から推定された動きベクトルに応じて前記ランダムドットパターンを運動させるように映像制御装置６へ信号を出力する。前述のように、視聴者ごとに異なる映像の動きに対する知覚特性を予め測定しておくことで、当該視聴者にとって適切な映像制御を行うことができる。目的とする映像効果が視聴者に与えられていないと判定された場合には、予め測定した視聴者の知覚特性を踏まえて、特定の方向における動きの感覚を増加させるように当該映像にランダムドットパターンを重畳する。

一方、前記動きベクトルの値が基準値を越えている場合には、映像効果が十分である、すなわち視聴者１が知覚している映像は適正であると判別して信号を出力せず、当該映像を維持する。

（映像呈示手段）
映像呈示手段である表示装置２として用いられ得るものとしては、ブラウン管や液晶パネルからなる表示装置や投射型表示装置、ヘッドマウント型の表示装置等、通常考えられるあらゆる表示装置が用いられ得る。但し、脳活動計測装置３に影響を与えることが考えられる場合には、表示装置２に対して制限が加えられる。例えば、脳活動計測装置３として磁気共鳴画像計測装置を用いる場合には、視聴者の視野内に設置されたスクリーンと、磁気共鳴画像計測装置の外から前記スクリーンに映像を投射する液晶プロジェクタとから成るシステムが表示装置２として好ましい。

（記憶手段）
また、判別装置５あるいは映像制御装置６内に既設のハードディスクや半導体メモリなどの記憶媒体に、その出力履歴を記録しておくことが可能である。当該出力履歴は視聴者ごとにＩＤを付して保管する。視聴者が再び当該映像を視聴する際には、当該視聴者に対応するＩＤを付した出力履歴が記憶媒体から読み出され、脳活動計測を行わなくても同様な映像制御が行われ得る。従って、視聴者毎に一旦計測を行っておけば、脳活動計測による拘束を伴わずに適切な制御の施された映像を視聴する効果が得られる。

実施例１では、映像を視聴している人間の脳活動から、当該映像の動きに関わる特徴量である動きベクトルを推定し、当該映像を制御する事例を示す。

本実施例において、図１中の脳活動計測装置３は機能的磁気共鳴画像法（ｆＭＲＩ装置）を採用する。表示装置２は、脳活動計測装置３における筒状の計測部内に備えられたスクリーンと、計測部外に設置され、前記スクリーンに映像を投射する液晶プロジェクタとから成る。

図２は、本実施例に係る脳活動計測装置３の断面図である。被験者１はｆＭＲＩ装置に付属した寝台２１に横たわり、傾斜磁場コイル２２、及び超伝導磁石２３が備えられた筒状の計測部内に配置される。計測部内には視聴者１の眼前にスクリーン２４が備えられており、液晶プロジェクタ２５によって計測部外から映像を投射する。視聴者１の後頭部には信号検出用コイル２６が設置されており、神経活動に伴う脳血流変化に相関した電磁波信号を検出する。

図３は、本実施例に係る映像制御のフローチャートである。本実施例では、市販のビデオカメラで撮影した映像を視聴者に表示する。映像の表示を開始するとともに、ｆＭＲＩ装置を用いて被験者１の脳活動の測定を始める。本実施例で計測する脳部位は、特に５次視覚野（ＭＴ：ｍｉｄｄｌｅ ｔｅｍｐｏｒａｌ ａｒｅａ）とする。図４は、５次視覚野における視覚的運動方向選択性を有する神経細胞の模式図である。この図に示すように、５次視覚野には映像の運動方向に対して選択的に反応する神経細胞が存在していることが知られている（非特許文献２を参照）。図中の柱状に示したものが視覚的運動方向選択性を有する神経細胞であり、それぞれの上面に記した矢印は、それぞれの神経細胞が選択的に反応する映像内の運動方向を示している。例えば、図中の神経細胞１１は、映像中に右方向へ動く対象がある場合に活動し、それ以外の方向へ動く対象には活動しない。また、これらの神経細胞は、網膜に投影された空間的な配置に相当するように規則正しく配列していることが知られている。従って、ｆＭＲＩ装置を用いてこれらの神経細胞の活動を測定すれば、視聴者１が視野中のどの位置にどんな方向に動く映像を知覚しているのかに相当した、神経活動パターンを得ることができる。また、それらの神経細胞は映像内を運動する物体の速度によっても異なる活動パターンを示すことが知られており、この神経活動パターンは、知覚した映像内の動きベクトルに相当していると言える。

本実施例では５次視覚野の脳活動パターンを計測するが、映像の動きに対して選択的に反応する神経細胞は１次視覚野、２次視覚野、ＭＳＴ野（ｍｅｄｉａｌ ｓｕｐｅｒｉｏｒ ｔｅｍｐｏｒａｌ ａｒｅａ）にも存在している。これらのうち少なくとも一つを計測対象としても同様な効果を得ることができる。

ｆＭＲＩ装置で計測された映像表示中の視聴者１の脳活動データは、脳活動データ解析装置４に送られる。脳活動データ解析装置４は前記ｆＭＲＩ装置によって得られた脳活動データを解析し、前記映像がどの領野の神経細胞をどの程度賦活したのかを算出して、脳活動パターンとして記憶する。上述のように前記脳活動パターンは映像の運動方向と速度に対して選択性を有する神経細胞の活動状態、すなわち視聴者１が知覚している映像の動きベクトルに相当しており、表示される映像の動きによって計測される脳活動パターンが異なる。そこで、脳活動パターンに対してパターン認識処理を施し、脳活動パターンから知覚している映像の動き成分、すなわち映像の動きベクトルを推定することができる。例えば、脳活動データ解析装置４を予め訓練したサポートベクターマシンとして構成することで、パターン認識性能はさらに強化され、推定される映像の動きベクトルの精度も向上する。

脳活動データ解析装置４で推定された映像の動きベクトルの値は、判別装置５へ送られる。判別装置５は、当該動きベクトルの値をもとに、映像に対して制御が必要かどうかを判別する。判別装置５では、目的に応じて前記動きベクトルの値の閾値を予め設定することができる。例えば、「映像酔い」を誘発する動きベクトルの臨界値や、目的とする映像効果を与えるのに必要な基準値などが考えられる。例えば「映像酔い」を判別する場合を考える。

もしも前記動きベクトルの値が予め設定した閾値を越えた時には、視聴者１が知覚している映像が適正ではない、すなわち「映像酔い」の危険性が高まっていると判別し、映像制御装置６へ信号を出力する。その結果、「映像酔い」を誘発する動きの感覚が抑制される。

一方、前記動きベクトルの値が予め設定した閾値を越えない、すなわち視聴者１が知覚している映像が適正な範囲内である時には、「映像酔い」の危険性は少ないと判別して信号を出力せず、当該映像を維持する。

また、映像が視聴者１に与える動きの感覚を増加させる場合を考える。

映像の動きベクトルの値が予め設定した基準値に満たない、すなわち映像効果が不十分であると判別された時、映像が与える動きの感覚を増強するようにランダムドットパターンを重畳して、視聴者１が知覚する特定の方向における動きの感覚を増加させることができる。

次に、実施例１の別の形態として、生理反応計測手段を具備した映像制御装置について説明する。

図５は、本実施例に係る映像制御装置の基本構成を表すブロック図である。脳活動計測装置３を用いて表示装置２に表示される映像を視聴している視聴者１の脳活動を計測する。得られた脳活動データを解析して映像の動きに関わる特徴量を推定することで、当該映像に制御を施す構成は実施例１と同様である。本実施例では、それに加えて映像が視聴者１の自律神経系に与える影響を計測する生理反応計測装置７を導入する。例えば、「映像酔い」の不快感が誘発される際には、自律神経系に変調をきたすことが知られている。実施例１に示したように、脳活動を計測することによって映像が生体に与える影響を推定することはできるが、より精度を向上するためには自律神経系の生理指標を計測する本実施例の構成が有効である。ここでは、生理反応計測装置７として心電計、及び呼吸計を用いることとし、その他の構成は実施例１と同様である。

図６は、本実施例に係る映像制御のフローチャートである。被験者１はｆＭＲＩ装置の計測部内の寝台２１上に仰向けになり、眼前のスクリーン２４に投射される映像を視聴する。その時、ｆＭＲＩ装置によって脳活動を計測し、映像が賦活した所定部位の脳活動パターンを得る。脳活動データ解析装置４は当該脳活動パターンを解析し、視聴者１が知覚している映像の動きに関わる特徴量、すなわち動きベクトルを推定する。

一方、心電計、及び呼吸計で構成される生理反応計測装置７は、当該映像を視聴している間、視聴者１の心拍数、及び呼吸数を計測する。得られたデータは生理反応データ解析装置８へ送られ、時系列データとして記録される。生理反応データ解析装置８は当該データの時間変化を算出し、上昇、下降、あるいは一定といった測定期間中のデータの動特性を解析し、その結果を判別装置５へ出力する。

判別装置５は、脳活動データ解析装置４から入力される視聴者１が知覚している動きベクトルの値と、生理反応データ解析装置８から入力される視聴者１の心拍数、及び呼吸数の時間変化量とが、適正の範囲にあるか否かを判別する。前記動きベクトルの値と前記心拍数、及び前記呼吸数の時間変化量とが両者ともに予め設定した閾値を越えない時、視聴者１が知覚している映像は適正であると判別して信号を出力せず、当該映像を維持する。一方、前記動きベクトルの値、前記心拍数、または前記呼吸数の時間変化量のいずれかが予め設定した閾値を越えた時には、視聴者１が知覚している映像は適正ではない、すなわち「映像酔い」の危険性が高まっていると判別して、映像制御装置６へ信号を出力する。

当該信号を受信した映像制御装置６は、表示装置２に対して脳活動データ解析装置４から入力された映像の動きベクトルに基づいて、当該映像が視聴者に与える動きの感覚を抑制するように運動するランダムドットパターンを重畳する。

もしもランダムドットパターンを重畳しても映像の動きの量が所定値を越え、前記動きベクトルの量が十分に低減できないような場合には、以下のように処理を加えることによって、視聴者への悪影響を防止することも好ましく行なわれるものである。前記動きベクトルの量が十分に低減できないため「映像酔い」の発生が予測された場合には、前記スクリーンへの映像投射を中止することで、当該映像が視聴者に与える動きの感覚を抑制する。または、予め用意された静止画や、動きの少ない映像に切替えて呈示することも可能である。

前記動きの量の所定値の決め方としては、悪影響が現れ始める動きベクトルの量を測定しておく方法、または「映像酔い」を誘発することのない映像視聴時に通常算出される動きベクトルの値の１．５倍等に定めておく方法などが挙げられる。

また、本実施例の構成によれば、どの時刻に生理反応の変調が現れたかを特定することができるので、当該時刻に視聴者１が知覚していた映像の動きベクトルをも同定することができる。従って、生体に悪影響を与える映像の動き成分を特定し、消去、あるいは編集して、安全な映像へと制御することも可能である。

以上、生理反応計測手段を具備する映像制御装置について説明した。本実施例はあくまで一態様であって、これに限定されるものではない。例えば、生理反応計測装置７は心電計、及び呼吸計以外にも血圧計、心電位計、筋電位計、脈拍計、呼吸計、皮膚電位計、発汗計、胃電位計、眼電運動計測器など通常考えられる非侵襲の生理反応計測手段を用いることが可能である。それらの計測機器は視聴者の身体各所に装着され、交感神経系、及び副交換神経系の作用を反映した時系列の生体信号を取得する。例えば、上述の実施例で記載した心電計に替えて、脈拍計を導入することもできる。呼吸計は伸縮性可変抵抗素子によって体幹部（腹部あるいは胸部）の周囲長変化を検出し、呼吸数や換気量を算出する。一方、脈拍計は近赤外光を指先に照射して末梢血管に流れる血流量を検出し、出力波形から脈拍数や脈拍間の時間間隔を算出する。脈拍数や脈拍間の時間間隔は心拍変動を反映しており、心電計から得られる生体信号と同等な信号を取得することができる。呼吸計、並びに脈拍計は簡便な構成であり被験者への負荷が少なく、ｆＭＲＩ装置への電磁的ノイズも少ない。従って、ｆＭＲＩ装置内の視聴者への負担を軽減し、生理的反応をより精密に計測できる効果が得られる。そのため、本発明において好適な別の構成と言える。

次に、実施例１の別の形態として、主観評価手段を具備する映像制御装置について説明する。

図７は、本実施例に係る映像制御装置の基本構成を表すブロック図である。前記実施例２における生理反応計測手段を、主観評価手段で置き換えた構成である。本実施例によれば、前記実施例２と同様に映像が視聴者１に与える影響を、より精度良く検知することができる。すなわち、前記実施例２において視聴者１の自律神経系の状態を生理反応計測装置７で測定したのに替えて、視聴者１から体調に関わる主観的な反応を評価する主観評価装置９を備えていることを特徴とする。

図８は、本実施例に係る映像制御のフローチャートである。表示装置２に表示された映像を視聴者１は視聴し、脳活動計測装置３を用いて当該視聴者１の脳活動を計測する。得られた脳活動データを解析して映像の動きに関わる特徴量を推定し、当該映像に制御を施す構成は実施例１と同様である。本実施例では、それに加えて視聴者１が自らの体調の変調を意思表示するための、押しボタンが敷設された主観評価装置９を導入する。映像を視聴している視聴者１は、当該主観評価装置９を手元に備えておく。もしも映像を視聴している際に不快感を覚えた時には、視聴者１は当該主観評価装置９の押しボタンを押し下げる。ここでは、押しボタンを押し下げる回数に応じて、不快感の程度を表すように設定する。視聴者１が当該押しボタンを押すごとに、主観評価装置９は主観データ解析装置１０へ信号を出力する。主観データ解析装置１０は、前記主観評価装置９からの信号を計数し、視聴者１が意思表示している不快感の程度を解析して判別装置５へ信号を出力する。

判別装置５は、脳活動データ解析装置４から入力される視聴者１が知覚している動きベクトルの値と、主観データ解析装置１０から入力される主観評価値とが、適正の範囲にあるか否かを判別する。前記動きベクトルの値と前記主観評価値とが両者ともに予め設定した閾値を越えない時、視聴者１が知覚している映像は適正であると判別して信号を出力せず、当該映像を維持する。一方、前記動きベクトルの値、または前記主観評価値のいずれか一方が予め設定した閾値を越えた時には、視聴者１が知覚している映像は適正ではない、すなわち「映像酔い」の危険性が高まっていると判別して、映像制御装置６へ信号を出力する。

当該信号を受信した映像制御装置６は、表示装置２に対して脳活動データ解析装置４から入力された映像の動きベクトルに基づいて、当該映像が視聴者に与える動きの感覚を抑制するように運動するランダムドットパターンを重畳する。もしも「映像酔い」が深刻であると判別した場合には、液晶プロジェクタへ映像制御信号を出力してスクリーンへの映像投射を中止することで、当該映像が視聴者に与える動きの感覚を抑制する。または、予め用意された静止画や、動きの少ない映像に切替えて呈示することも可能である。

以上、主観評価手段を具備する映像制御装置の実施例について説明した。ここで採用した主観評価手段はあくまで一態様であり、通常考えられるあらゆる主観評価手段を用いることが可能である。例えば、ＳＳＱ（Ｓｉｍｕｌａｔｏｒ Ｓｉｃｋｎｅｓｓ Ｑｕｅｓｔｉｏｎｎａｉｒｅ）という質問紙法を計測の合間に導入することで、不快感の有無だけではなく頭痛や眼精疲労などより多面的な尺度で視聴者の主観を評価することができる。ＳＳＱで設定されている複数の質問事項の中から、所望のものを選択して視聴者に回答させることもできる。

また、実施例２では生理反応計測手段のみを、実施例３では主観評価手段のみを具備する構成としたが、双方を具備する構成にすれば、視聴者の心身の状態をより精度よく計測することができる。それにより、どの時点の映像が視聴者にとって主要な影響を及ぼしたのかを精緻に推定することができる。従って、視聴者に与える映像効果をより的確に制御できるという効果が得られる。

１ 視聴者
２ 表示装置
３ 脳活動計測装置
４ 脳活動データ解析装置
５ 判別装置
６ 映像制御装置
７ 生理反応計測装置
８ 生理反応データ解析装置
９ 主観評価装置
１０ 主観データ解析装置
１１ 神経細胞
２１ 寝台
２２ 傾斜磁場コイル
２３ 超伝導磁石
２４ スクリーン
２５ 液晶プロジェクタ
２６ 信号検出用コイル

Claims (10)

1. 視聴者に表示する映像を制御する映像制御装置であって、
   視聴者に映像を呈示する映像呈示手段と、
   前記視聴者の脳活動を計測する脳活動計測手段と、
   前記脳活動計測手段によって得られたデータをもとに前記視聴者が知覚している映像の動きの方向と量に関わる特徴量を推定する特徴量推定手段と、
   前記特徴量に基づいて前記映像呈示手段が表示する映像を制御する映像制御手段と、
   を有することを特徴とする映像制御装置。
2. 前記映像制御手段は、前記特徴量の内、特定の方向における映像の動きの量を減少もしくは増加させることを特徴とする請求項１に記載の映像制御装置。
3. 前記視聴者の自律神経系の反応を計測する生理反応計測手段、または前記視聴者の体調に関する主観的な反応を評価する主観評価手段のうち少なくとも一方を具備する請求項１または請求項２に記載の映像制御装置。
4. 前記脳活動計測手段は機能的磁気共鳴画像計測装置、ポジトロン断層計測装置、近赤外分光計測装置、脳波計、脳磁計、電極を用いた神経活動記録装置のうち少なくとも一つであることを特徴とする請求項１から請求項３のいずれか一項に記載の映像制御装置。
5. 前記生理反応計測手段は、血圧計、心電位計、筋電位計、脈拍計、呼吸計、皮膚電位計、発汗計、胃電位計、眼電運動計測器のうち少なくとも一つであることを特徴とする請求項３に記載の映像制御装置。
6. 前記映像制御手段は、前記特徴量の内、映像の動きの量が所定値を越えた場合は映像の呈示を中止、もしくは静止画や他の映像に切替えて呈示することを特徴とする請求項１から請求項５のいずれか一項に記載の映像制御装置。
7. 視聴者に表示する映像を制御する映像制御方法であって、
   視聴者に映像を呈示する映像呈示工程と、
   前記視聴者の脳活動を計測する脳活動計測工程と、
   前記脳活動計測工程によって得られたデータをもとに前記視聴者が知覚している映像の動きの方向と量に関わる特徴量を推定する特徴量推定工程と、
   前記特徴量に基づいて視聴者に表示する映像を制御する映像制御工程と、
   を有することを特徴とする映像制御方法。
8. 前記映像制御工程は、前記特徴量の内、特定の方向における映像の動きの量を減少もしくは増加させることを特徴とする請求項７に記載の映像制御方法。
9. 前記視聴者の自律神経系の反応を計測する生理反応計測工程、または前記視聴者の体調に関する主観的な反応を評価する主観評価工程のうち少なくとも一方を具備する請求項７に記載の映像制御方法。
10. 前記映像制御工程は、前記特徴量の内、映像の動きの量が所定値を越えた場合は映像の呈示を中止、もしくは静止画や他の映像に切替えて呈示することを特徴とする請求項７から請求項９のいずれか一項に記載の映像制御方法。

Images