JP2001154570A - 疑似体験装置及び疑似体験方法 - Google Patents

Abstract

(57)【要約】 【課題】 映像全体の動きに基づいて体験者が搭乗する
ライド手段を揺動させても、臨場感が得られなかった。 【解決手段】 表示手段３の前面に配置し、体験者９を
載置するライド手段７と、該ライド手段７を揺動させる
揺動手段８と、該揺動手段８の駆動制御を行なう揺動制
御手段６と、映像供給源１の映像信号から映像の動きを
検出する動きベクトル検出手段５と、を備え、前記揺動
制御手段６は、該動きベクトル検出手段５で検出した映
像の動きを、前記表示手段３で表示される映像の中央部
とその周囲部とに、または被写体と背景とに分類し、そ
のうち前記周囲部または背景の映像の動きに応じて前記
揺動手段８を駆動させることを特徴とするを備えた構成
である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間に映像に応じ
たゆれを与えて疑似体験をシミュレートさせる体験装置
及びその方法に関する。

【０００２】

【従来の技術】近年マルチメディア産業に向けて、バー
チャルリアリティ技術の研究開発が盛んに行なわれてい
る。バーチャルリアリティは映像や音声などで遠隔地に
いてもその場所にいるような錯覚をもたらす技術であ
り、ゲーム、音楽、映画などの多方面の分野で利用され
つつある。

【０００３】このバーチャルリアリティ技術を利用した
疑似体験装置は、実際に体験するであろう動き、振動、
映像、音声に似せて作られたソフトウエアを再生するこ
とにより、人間に対して擬似的な体験を、何度でも安全
に提供するものである。

【０００４】しかし、このような擬似体験装置で使用す
るソフトウエアは、人間の感性に訴えるため、その作成
に専門的なノウハウが必要であり、容易に作成すること
ができなかった。

【０００５】そこで、疑似体験用のソフトウエア開発に
おいて、その工数を削減し、汎用性を高めるために、従
来、たとえば特開平１１−１５３９４９号公報に記載さ
れていることが考えられている。

【０００６】このものは、映像信号から映像の動きであ
る動き映像を検出する動き映像検出手段と、音声信号か
ら前記動き映像に対応する音声を検出する音声検出手段
と、前記人間の動きを感知する動き感知手段と、前記動
き映像と前記音声と前記人間の動きとから夫々のモーシ
ョン信号を生成するモーション生成手段と、前記モーシ
ョン信号に基づいて前記人間が搭乗している搭乗物のモ
ーション駆動を制御するモーション駆動制御手段と、前
記人間の動きから前記映像信号と前記音声信号との再生
効果を制御する再生効果制御手段とから構成されるもの
である。

【０００７】かかる構成により、モーション駆動専用の
ソフトウエアデータの代わりに動き映像、音声及び人間
お動きといった実際の測定値に基づいてモーション駆動
制御を行なうため、ソフトウエア開発工数を大幅に削減
でき、また専用のソフトウエアに依存しないために汎用
性を高めることが可能となるものである。

【０００８】

【発明が解決しようとする課題】しかしながら、単に映
像の動きに基づいて搭乗物のモーション駆動を制御して
も、臨場感のある動きは得られない。

【０００９】即ち、搭乗者があたかも動いていると感じ
るためには、中央部または映像の中心となる被写体の動
きでなく、周囲部または周囲の背景などの景色の動きに
よって得られることが知られている（テレビジョン学会
誌Ｖｏｌ．５０，Ｎｏ．４，ｐｐ．４２９〜４３５（１
９９６）「映像と身体の反応」を参照）。

【００１０】そのため、搭乗者にとって、単に映像の動
きに応じてモーション駆動を制御していても臨場感が得
られるものとは限らない。

【００１１】本発明は、斯かる課題を解決し、より臨場
感が体験できるようにするものである。

【００１２】

【課題を解決するための手段】この発明の擬似体験装置
は、映像を表示する表示手段と、該表示手段に映像信号
を供給する映像信号供給手段と、該映像信号供給手段の
映像信号から映像の動きを検出する動き検出手段と、体
験者に刺激を与える擬似効果手段と、を備え、前記擬似
効果手段は、前記動き検出手段で検出した映像の動き
を、前記表示手段で表示される映像の中央部とその周囲
部とに、または被写体と背景とに分類し、そのうち前記
周囲部または背景の映像の動きに応じて前記体験者に刺
激を与えることを特徴とする。

【００１３】また、前記擬似効果手段は、前記表示手段
の前面に配置し、体験者を載置するライド手段と、該ラ
イド手段を揺動させて前記体験者に刺激を与える揺動手
段と、該揺動手段の駆動制御を行なう揺動制御手段と、
を備え、前記揺動制御手段は、前記動き検出手段で検出
した映像の動きを、前記表示手段で表示される映像の中
央部とその周囲部とに、または被写体と背景とに分類
し、そのうち前記周囲部または背景の映像の動きに応じ
て前記揺動手段を駆動させることを特徴とする。

【００１４】また、前記揺動制御手段は、前記周囲部ま
たは背景の映像の動きの大きさが第１所定値より小さい
とき、前記中央部または被写体の映像の動きに応じて前
記揺動手段を駆動させることを特徴とする。

【００１５】さらに、前記揺動制御手段は、前記中央部
または被写体の映像の動きの大きさが第２所定値より小
さいとき、画面下部の映像の動きに応じてまたは映像に
無関係な動きで揺動手段を駆動させることを特徴とす
る。

【００１６】また、この発明の擬似体験方法は、表示手
段に表示する映像の動きを検出するステップと、該ステ
ップで検出した映像の動きを中央部とその周囲部とに、
または被写体と背景とに分類したうち、前記周囲部また
は背景の映像の動きに応じて擬似効果手段が体験者に刺
激を与えるステップと、を備えることを特徴とする。

【００１７】また、前記擬似効果手段が体験者に刺激を
与えるステップは、前記分類した周囲部または背景の映
像の動きに応じて揺動制御部が揺動手段を駆動するステ
ップと、該ステップで駆動した揺動手段が前記表示手段
の前面に配置し、前記体験者を載置するライド手段を揺
動させるステップと、を備えることを特徴とする。

【００１８】また、前記映像の動きを検出するステップ
で検出した映像の動きを中央部とその周囲部とに、また
は被写体と背景とに分類したうち、前記周囲部または背
景の映像の動きが第１所定値より小さいかどうか判断す
るステップと、該ステップで小さいと判断したとき、前
記中央部または被写体の映像の動きに応じて揺動制御手
段が揺動手段を駆動するステップと、とをさらに備える
ことを特徴とする。

【００１９】さらに、前記映像の動きを検出するステッ
プで検出した映像の動きを中央部とその周囲部とに、ま
たは被写体と背景とに分類したうち、前記中央部または
被写体の映像の動きが第２所定値より小さいかどうか判
断するステップと、該ステップで小さいと判断したと
き、前記表示手段の画面の下部の映像の動きに応じてま
たは映像の動きに無関係な動きに応じて揺動制御部が揺
動手段を駆動するステップと、とをさらに備えることを
特徴とする。

【００２０】

【発明の実施の形態】図１において、１はＶＴＲ、ＣＤ
−ＲＯＭ、ＴＶ放送、ＴＶゲーム等の映像信号供給手段
となる映像供給源、２は該映像供給源１からの映像信号
を少なくとも１フレーム単位で映像を撮り込む映像取込
手段、３はＣＲＴ、液晶表示器等からなる表示手段、４
は映像取込手段２で取込んだ映像信号を表示手段３に表
示させる表示制御手段である。

【００２１】５は映像取込手段２で取込んだ映像から動
きベクトルを検出する動きベクトル検出手段、６は動き
ベクトル検出手段５で検出した動きベクトルに応じてモ
ーション信号を生成する揺動制御手段、７は体験者９が
搭乗する椅子部１０を有し、該椅子部１０を揺動させ
て、体験者９に体感させるライド手段、８は揺動制御手
段６で生成したモーション信号に応じてライド手段７を
揺動させる揺動手段である。

【００２２】前記動きベクトル検出手段５は、例えば表
示手段３の１画面を複数の領域に分割し、各領域内にお
いて、画素毎の輝度の移動量及びその方向を検出し、領
域内で平均して動きベクトルとして抽出するのである。

【００２３】また、前記揺動制御手段６の詳細を図２に
示す。６１は動きベクトル検出手段５で抽出した動きベ
クトルを、表示手段３に表示する１画面のうち中央部、
中央部の周囲部、画面上の下部とに分類する分類部、６
２は該分類部６１で分類した周囲部の動きベクトルの平
均を演算する周囲部平均動きベクトル算出部、６３は分
類部６１で分類した中央部の動きベクトルの平均を演算
する中央部平均動きベクトル算出部、６４は分類部６１
で分類した下部の動きベクトルの平均を演算する下部平
均動きベクトル算出部、６５は周囲部平均動きベクトル
算出部６２で算出した平均値が第１所定値より小さいか
どうか判断する周囲動き判定部、６６は中央部平均動き
ベクトル算出部６３で算出した平均値が第２所定値より
小さいかどうか判断する中央動き判定部、６７は下部平
均動きベクトル算出部６２で算出した平均値が第３所定
値より小さいかどうか判断する下部動き判定部、６８は
映像の動きが全体的に小さいとき、映像の動きとは無関
係な動きを生成する無関係動き生成手段、６９は各平均
動きベクトル算出部６２、６３、６４で算出した平均値
に基づいてモーション信号を生成する動作信号生成部で
ある。

【００２４】かかる揺動制御手段６の動作は、動きベク
トル検出手段５で抽出された動きベクトルを分類部６１
が各部分に分類し、周囲部平均動きベクトル算出部６
２、中央部平均動きベクトル算出部６３、下部平均動き
ベクトル算出部６４で平均動きベクトルを算出する。

【００２５】そして、まず、周囲動き判定部６５で周囲
部の動きベクトルが小さいかどうかを判定する。該周囲
動き判定部６５が、小さいと判定すれば中央動き判定部
６６に判定指示を出し、また小さくないと判断すれば、
周囲部平均動きベクトル算出部６２で算出した平均値を
動作信号生成部６９に送り、モーション信号を生成す
る。

【００２６】また、中央動き判定部６６は、周囲動き判
定部６５の指示により判定を行なう。該中央動き判定部
６６の判定の結果、小さいと判定すれば下部動き判定部
６６に判定指示を出し、また小さくないと判断すれば、
中央部平均動きベクトル算出部６３で算出した平均値を
動作信号生成部６９に送り、モーション信号を生成す
る。

【００２７】また、下部動き判定部６７は、中央動き判
定部６６の指示により判定を行なう。該下部動き判定部
６７の判定の結果、小さいと判定すれば無関係動き生成
部６８に動作指示を出し、また小さくないと判断すれ
ば、下部平均動きベクトル算出部６４で算出した平均値
を動作信号生成部６９に送り、モーション信号を生成す
る。

【００２８】さらに、無関係動き生成部６８は、下部動
き判定部６７からの指示により、映像とは無関係な動き
の動きベクトルを生成して動作信号生成部６９へ送り、
モーション信号を生成する。

【００２９】以上が、揺動制御手段６の動作である。

【００３０】１１は揺動制御手段６からのモーション信
号に応じて効果装置の駆動を制御する効果制御手段、１
２は映像供給源１からの映像に伴う音声をスピーカー１
３に出力するための音声出力手段、１４はライド手段７
に搭乗する体験者９に更に臨場感を高めるために、効果
制御手段１１からの制御信号、即ち映像の動きに応じて
体験者へ送風を制御する送風手段、１５は効果制御手段
１１からの制御信号に応じてスピーカー１３から出力さ
れる音声の音像を制御する音像制御手段、１６は効果制
御手段１１からの制御信号に応じて体験者に光を照射し
臨場感を高めるライト手段である。

【００３１】なお、動きベクトル検出手段５で検出した
動きベクトルに応じて揺動制御手段６がライド手段、ス
ピーカー１３、送風手段１４およびライト手段１６を介
して体験者９に臨場感を感じさせ、高める刺激を与える
ことになるので、揺動制御手段６、ライド手段７、揺動
手段８、効果制御手段１１、スピーカー１３、送風手段
１４、音像制御手段１５及びライト手段１６は、本発明
の擬似効果手段に相当する。

【００３２】かかる構成の動作を図３に基づいて説明す
る。

【００３３】まずステップＳ１では、映像供給源１から
映像取込手段２が映像を取込む。ステップＳ２では、ス
テップＳ１で取込んだ映像から動きベクトル検出手段５
で動きベクトルを抽出する。ステップＳ３では、ステッ
プＳ２で抽出した動きベクトルを揺動制御手段６内に取
込み、分類部６１で映像の中央部、中央部の周囲部及び
画面の下部に分類する。

【００３４】ステップＳ４では、周囲部の平均動きベク
トルを周囲部平均動きベクトル算出部６２で算出する。
ステップＳ５では、中央部の平均動きベクトルを中央部
平均動きベクトル算出部６３で算出する。ステップＳ６
では、画面下部の平均動きベクトルを下部平均動きベク
トル算出部６４で算出する。

【００３５】ステップＳ７では、周囲動き判定部６５で
周囲部の動きベクトルが第１の所定値より小さいかどう
か判定する。小さくないと判断すればステップＳ８へ移
行する。ステップＳ８では、周囲動き判定部６５が周囲
部平均動きベクトル算出部６２で算出した平均動きベク
トルを動作信号生成部６９に送り、モーション信号を生
成するとともに、このモーション信号に基づいて揺動手
段８がライド手段７を揺動させる。

【００３６】ステップＳ７で周囲動き判定部６５が周囲
部の動きベクトルが第１の所定値より小さいと判定した
とき、ステップＳ９に移行する。ステップＳ９では、中
央動き判定部６６で中央部の動きベクトルが第２の所定
値より小さいかどうか判定する。小さくないと判断すれ
ばステップＳ１０へ移行する。ステップＳ１０では、中
央動き判定部６６が中央部平均動きベクトル算出部６３
で算出した平均動きベクトルを動作信号生成部６９に送
り、モーション信号を生成するとともに、ステップＳ８
と同様に、このモーション信号に基づいて揺動手段８が
ライド手段７を揺動させる。

【００３７】ステップＳ９で中央動き判定部６６で中央
部の動きベクトルが第２の所定値より小さいと判断した
とき、ステップＳ１１に移行する。ステップＳ１１で
は、下部動き判定部６７で画面下部の動きベクトルが第
３の所定値より小さいかどうか判定する。小さくないと
判断すればステップＳ１２へ移行する。ステップＳ１２
では、下部動き判定部６７が下部平均動きベクトル算出
部６４で算出した平均動きベクトルを動作信号生成部６
９に送り、モーション信号を生成するとともに、ステッ
プＳ８と同様に、このモーション信号に基づいて揺動手
段８がライド手段７を揺動させる。

【００３８】ステップＳ１１で下部動き判定部６７が画
面下部の動きベクトルが第３の所定値より小さいと判断
したとき、ステップＳ１３に移行する。ステップＳ１３
では、無関係動き生成部６８で映像に無関係に定期的な
ゆれを揺動手段８を介してライド手段７に与えるための
動きベクトルを生成する。該生成手段６７で生成した動
きベクトルに応じて動作信号生成部６９がモーション信
号を生成し、このモーション信号に基づいて揺動手段８
がライド手段７を揺動させる。

【００３９】前述のステップＳ８、ステップＳ１０及び
ステップＳ１２において、動作信号生成部６９で生成さ
れるモーション信号は効果制御手段１１にも送られ、該
効果制御手段１１でモーション信号に応じて送風手段１
４、音像制御手段１５及びライト手段１６を制御して、
ライド手段７に搭乗する体験者に、より臨場感を高める
ように作用させている。

【００４０】以上ステップＳ１乃至ステップＳ１３をス
テップＳ１で映像が取込まれるごとに繰り返し実行する
ことにより、体験者９に体感させることができるもので
ある。

【００４１】前述の実施例では、分類部６１は、動きベ
クトル検出手段５で抽出した動きベクトルを、表示手段
３に表示する１画面のうち中央部、中央部の周囲部、画
面上の下部とに分類すると説明したが、本発明はこれに
限らず、映像中の被写体と背景とを分類するようにして
もよい。もし、分類部６１が映像の被写体と背景とを分
類する構成とした場合でも、前述の実施例中の中央部を
被写体、また周囲部を背景と読み替えれば、前述と同じ
構成で実現できる。

【００４２】また、前述の実施例では、表示手段３に２
次元映像を表示する構成を説明したが、本発明はこれに
限らず、２次元映像を３次元映像に変換した映像信号を
立体表示手段１８に表示させる構成に適用してもよい。
この実施例を図４に示す。なお、図１と同じ番号を付し
た構成は、同じ機能を有するので、説明を省略する。

【００４３】１７は動きベクトル検出手段５で抽出した
動きベクトルに応じた視差量を有した右眼用映像及び左
眼用映像を、映像取込手段２で取込んだ映像に基づいて
生成する２Ｄ／３Ｄ変換手段、１８は立体表示手段であ
る。

【００４４】前記動きベクトル検出手段５は、２次元映
像から３次元映像を生成する際に動きベクトルを利用す
るために、必ず備えられており、本実施例では、変換す
るために利用する動きベクトルを、ライド手段７を揺動
させるための制御信号として利用しているものである。

【００４５】さらに、前述の実施例のように、２次元映
像を３次元映像に変換した映像信号を表示手段３に表示
させる構成のみならず、映像供給源１から３次元映像、
即ち左眼用映像Ｌと右眼用映像Ｒとが出力され、この信
号に基づいて立体表示手段１８に表示する構成でもよ
い。

【００４６】かかる構成を図５に基づいて説明する。な
お、図４と同様、図１と同じ番号を付した構成は、同じ
機能を有するので、説明を省略する。

【００４７】１９は映像供給源１から左眼用映像Ｌ及び
右眼用映像Ｒを取込んで、被写体と背景とを区別し、被
写体を特定する被写体特定手段である。

【００４８】この場合、映像供給源１は、３次元映像を
供給し、具体的には左眼用映像Ｌ及び右眼用映像Ｒを供
給し、表示制御手段４はこの映像信号に基づいて立体表
示手段１８に立体表示させる。また、映像取込手段２は
左眼用映像Ｌ及び右眼用映像Ｒを取込み、そして該映像
取込手段２で取込んだ映像に基づいて動きベクトル検出
手段５は、前記被写体特定手段１９の特定結果を考慮し
て動きベクトルを検出し、以下揺動制御手段６に送っ
て、ライド手段７を駆動するのである。

【００４９】

【発明の効果】本発明によれば、どのような映像が使用
されても、より臨場感が得られる擬似体感装置を提供で
きるものである。

【図面の簡単な説明】

【図１】本発明の疑似体験装置の構成を示す図である。

【図２】図１中の揺動制御手段の詳細図である。

【図３】疑似体験装置の動作フローチャートを示す図で
ある。

【図４】２次元映像を３次元映像に変換する装置を利用
した疑似体験装置の実施例を示す図である。

【図５】映像供給源から３次元映像が供給される場合の
疑似体験装置の実施例を示す図である。

【符号の説明】

１ 映像供給源 ５ 動きベクトル検出手段 ６ 揺動制御手段 ７ ライド手段 ８ 揺動手段 ９ 体験者

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小山田 健二 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 瀬戸 昌宏 大阪府守口市京阪本通２丁目５番５号 三 洋電機ソフトウエア株式会社内 Ｆターム(参考） 9A001 DD12 HH23 HH32 JJ76 KK45

Claims (8)

【特許請求の範囲】
1. 【請求項１】 映像を表示する表示手段と、該表示手段
   に映像信号を供給する映像信号供給手段と、該映像信号
   供給手段の映像信号から映像の動きを検出する動き検出
   手段と、体験者に刺激を与える擬似効果手段と、を備
   え、前記擬似効果手段は、前記動き検出手段で検出した
   映像の動きを、前記表示手段で表示される映像の中央部
   とその周囲部とに、または被写体と背景とに分類し、そ
   のうち前記周囲部または背景の映像の動きに応じて前記
   体験者に刺激を与えることを特徴とする疑似体験装置。
2. 【請求項２】 前記擬似効果手段は、前記表示手段の前
   面に配置し、体験者を載置するライド手段と、該ライド
   手段を揺動させて前記体験者に刺激を与える揺動手段
   と、該揺動手段の駆動制御を行なう揺動制御手段と、を
   備え、前記揺動制御手段は、前記動き検出手段で検出し
   た映像の動きを、前記表示手段で表示される映像の中央
   部とその周囲部とに、または被写体と背景とに分類し、
   そのうち前記周囲部または背景の映像の動きに応じて前
   記揺動手段を駆動させることを特徴とする請求項２に記
   載の疑似体験装置。
3. 【請求項３】 前記揺動制御手段は、前記周囲部または
   背景の映像の動きの大きさが第１所定値より小さいと
   き、前記中央部または被写体の映像の動きに応じて前記
   揺動手段を駆動させることを特徴とした請求項３に記載
   の疑似体験装置。
4. 【請求項４】 前記揺動制御手段は、前記中央部または
   被写体の映像の動きの大きさが第２所定値より小さいと
   き、画面下部の映像の動きに応じてまたは映像に無関係
   な動きで揺動手段を駆動させることを特徴とする請求項
   ３に記載の疑似体験装置。
5. 【請求項５】 表示手段に表示する映像の動きを検出す
   るステップと、該ステップで検出した映像の動きを中央
   部とその周囲部とに、または被写体と背景とに分類した
   うち、前記周囲部または背景の映像の動きに応じて擬似
   効果手段が体験者に刺激を与えるステップと、を備える
   ことを特徴とする疑似体験方法。
6. 【請求項６】 前記擬似効果手段が体験者に刺激を与え
   るステップは、前記分類した周囲部または背景の映像の
   動きに応じて揺動制御部が揺動手段を駆動するステップ
   と、該ステップで駆動した揺動手段が前記表示手段の前
   面に配置し、前記体験者を載置するライド手段を揺動さ
   せるステップと、を備えることを特徴とする請求項５に
   記載の疑似体験方法。
7. 【請求項７】 前記映像の動きを検出するステップで検
   出した映像の動きを中央部とその周囲部とに、または被
   写体と背景とに分類したうち、前記周囲部または背景の
   映像の動きが第１所定値より小さいかどうか判断するス
   テップと、該ステップで小さいと判断したとき、前記中
   央部または被写体の映像の動きに応じて揺動制御手段が
   揺動手段を駆動するステップと、とをさらに備えること
   を特徴とする請求項６に記載の疑似体験方法。
8. 【請求項８】 前記映像の動きを検出するステップで検
   出した映像の動きを中央部とその周囲部とに、または被
   写体と背景とに分類したうち、前記中央部または被写体
   の映像の動きが第２所定値より小さいかどうか判断する
   ステップと、該ステップで小さいと判断したとき、前記
   表示手段の画面の下部の映像の動きに応じてまたは映像
   の動きに無関係な動きに応じて揺動制御部が揺動手段を
   駆動するステップと、とをさらに備えることを特徴とす
   る請求項７に記載の疑似体験方法。