JP2004261272A - Cenesthetic device, motion signal generation method and program - Google Patents

Cenesthetic device, motion signal generation method and program Download PDF

Info

Publication number
JP2004261272A
JP2004261272A JP2003052744A JP2003052744A JP2004261272A JP 2004261272 A JP2004261272 A JP 2004261272A JP 2003052744 A JP2003052744 A JP 2003052744A JP 2003052744 A JP2003052744 A JP 2003052744A JP 2004261272 A JP2004261272 A JP 2004261272A
Authority
JP
Japan
Prior art keywords
video
motion
acceleration
subject
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003052744A
Other languages
Japanese (ja)
Other versions
JP4529360B2 (en
Inventor
Yuji Ota
裕二 太田
Takahiro Oda
高広 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2003052744A priority Critical patent/JP4529360B2/en
Publication of JP2004261272A publication Critical patent/JP2004261272A/en
Application granted granted Critical
Publication of JP4529360B2 publication Critical patent/JP4529360B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve problems with images of as ordinary television and films, including movements lacking a sensation of actual presence due to the lack of the precondition that a motion driving means is driven and the varied angles of a camera, and the tendency of tiring a subject when observation lasts long due to a continuous driving of the motion driving means from beginning to end. <P>SOLUTION: In a cenesthetic device 1 that makes a subject feel a pseudo experience by giving him movements corresponding to images, by accumulating images for a fixed period of time, an acceleration of the images is detected and movements are given to the subject in accordance with the acceleration of the images. By comparing the images with data serving as a basis for determining types of scenes of the images, movements are given to the subject only when it is judged to be effective to give the movements to the subject. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置および体感装置に供するモーション信号の生成方法に関する。
【0002】
【従来の技術】
近年、バーチャルリアリティ技術が発達し、様々な映像を被験者に見せるとともに、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置が開発されている。
【0003】
この種の体感装置としては、例えば、アミューズメント施設に設置されたものがある。この体感装置は、被験者を搭乗させる搭乗手段と、映像を被験者に見せるための映像表示手段(すなわち、スクリーンやディスプレイなど)と、音声を被験者に聞かせるための音声再生手段(すなわち、スピーカなど)と、映像に合わせて搭乗手段を上下左右前後に摺動させたり部分的に振動させるモーション駆動手段とを有し、被験者を搭乗手段に搭乗させて、臨場感のある映像を被験者に見せたり、音声を被験者に聞かせながら、モーション駆動手段を駆動させて搭乗手段を上下左右前後のいずれかに激しく動かしたり部分的に振動させることによって、被験者に擬似的な経験を体感させている。
【0004】
ところで、モーション駆動手段は、予め作成されたモーション信号によって駆動されるが、モーション信号は、ソフトウェア開発者がモーション駆動手段の動きとこれに対する被験者の慣性の動きとを予め想定することによって作成されるのが一般的で、作成するのに非常に工数がかかるという問題があった。また、モーション信号は、予め制作された専用の映像に基づいて作成されており、一般的なTV放送や映画、ゲームなどの映像に対応していない。そのため、体感装置は、一般的なTV放送や映画、ゲームなどの映像に対応することができないので、汎用性が低いという問題があった。
【0005】
このような問題を解決するために(すなわち、モーション信号を作成するための工数を削減するとともに、モーション信号の汎用性を高めるために)、映像から動きのある領域(以下、動き映像という)を検出する「動き映像検出手段」を設けた体感装置が考えられている(例えば、特許文献1参照)。
【0006】
特許文献1の体感装置は、例えば、動き映像の動きの方向を判定し、判定した動きに合わせて搭乗手段を上下左右前後のいずれかに動かす。具体的には、動き映像が放射状に広がっていれば、動きの方向は「前進」であると判定し、搭乗手段を前に動かす。
【0007】
このような特許文献1の体感装置は、予め作成されたモーション信号の代わりに、動き映像やその他(音声や被験者の動きなど)といった実際の測定値に基づいてモーション駆動手段を駆動させる。そのため、モーション信号を作成するためのソフトウェア開発工数を大幅に削減することが可能となる。また、特許文献1の体感装置は、予め作成されたモーション信号に依存しないので、汎用性を高めることが可能となる。
【0008】
しかしながら、このような特許文献1の体感装置に対して、単に動き映像に基づいて搭乗物のモーション駆動を制御しても臨場感のある動きは得られないとして、別の手法によってモーション駆動手段を駆動する体感装置も考えられている(例えば、特許文献2参照)。
【0009】
特許文献2の体感装置は、映像を「周辺部」,「中央部」,「下部」の3つの部分に分類し、「周辺部」→「中央部」→「下部」の優先順位でより動きが大きい部分に合わせてモーション駆動手段を駆動することにより、どのような映像が使用されても、(特許文献1の体感装置よりも)臨場感のある動きが得られるとしている。
【0010】
【特許文献1】
特開平11−153949号公報(段落13〜段落19、図1,図2)
【特許文献2】
特開2001−183968号公報(段落19〜段落54、図1〜図4)
【0011】
【発明が解決しようとする課題】
しかしながら、一般的なTV放送や映画などの映像は、モーション駆動手段を駆動させることを前提にして制作されていないため、カメラアングルが多様になっている。そのため、以上に述べた従来の技術は、いずれも、臨場感の乏しい動きしか得られないという課題があった。
【0012】
また、従来の技術は、映画などで鑑賞時間が長時間に及ぶ場合に、本編の最初から最後まで連続してモーション駆動手段を駆動させると被験者が疲労しやすいという課題があった。
【0013】
【課題を解決するための手段】
前述の課題を解決するために、この発明に係る体感装置は、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置において、映像を一定時間蓄積することにより、映像の加速度を検出し、映像の加速度に応じて被験者に動きを与えることを特徴とする。
【0014】
これにより、この発明に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なTV放送や映画などの映像(特に、カメラアングルが多様になっている映像)であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【0015】
また、他の発明に係る体感装置は、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置において、映像を、映像のシーン種別を判定するための基準となるデータと比較することにより、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与えることを特徴とする。
【0016】
これにより、他の発明に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動/振動することがないので、被験者を疲労しにくくすることができる。
【0017】
【発明の実施の形態】
以下に、図を参照してこの発明の実施の形態を説明する。なお、各図は、この発明を理解できる程度に概略的に示してあるに過ぎない。また、各図において、共通する要素については、同一の符号を付し、説明を省略する。
【0018】
<第1の実施の形態>
この実施の形態に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なTV放送や映画などの映像(特に、カメラアングルが多様になっている映像)であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることを目的とする。
【0019】
また、この実施の形態に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与えることを目的とする。
【0020】
(体感装置の構成)
以下に、図1を用いて、体感装置の構成を説明する。
【0021】
図1に示されるように、体感装置1は、制御ユニット100と、映像表示制御手段151と、映像表示手段153と、音声再生制御手段161と、音声再生手段163と、搭乗手段171と、モーション駆動手段173とを有する。被験者200は、搭乗手段171に搭乗して、様々な映像を見ながら、映像に対応する動きが与えられることによって擬似的な経験を体感することになる。
【0022】
制御ユニット100は、映像供給手段101と、映像蓄積手段103と、映像加速度検出手段105と、音声検出手段107と、シーンデータベース109と、シーン種別判定手段111と、モーション駆動制御手段113とを備える。
【0023】
映像供給手段101は、例えばTVチューナーや各種の記録媒体読取装置などであり、TV放送や各種の映像記録媒体(例えば、ビデオテープや、デジタルバーサタイルディスク(DVD)など)から映像信号と音楽信号を取得して、後続の手段(ここでは、映像蓄積手段103と音声検出手段107など)に供給する部位である。なお、映像供給手段101は、体感装置1の外部に配置することも可能である。映像蓄積手段103は、映像供給手段101から供給された映像信号を所定のフレーム数(少なくとも3フレーム)以上ずつ蓄積する部位である。映像加速度検出手段105は、映像蓄積手段103で蓄積された映像から、映像の加速度を検出する部位である。なお、映像の加速度については、後述の「体感装置の動作」の項におけるS103で詳述する。音声検出手段107は、映像供給手段101から供給された音声信号を検出する部位である。シーンデータベース109は、映像のシーン種別(すなわち、映像がどんな種類のシーンであるか)を判定するための基準となるテーブルデータ(以下、シーン判定用のテーブルデータという)やモーション信号を生成するための基準となるテーブルデータ(以下、モーション信号生成用のテーブルデータという)を保持する部位である。シーン種別判定手段111は、映像供給手段101から供給された映像をシーンデータベース109に保持されたシーン判定用のテーブルデータと比較して、映像のシーン種別を判定する(すなわち、映像がどんなシーンであるかを判定する)部位である。モーション駆動制御手段113は、映像加速度検出手段105からの信号とシーン種別判定手段111からの信号に基づいて、モーション駆動手段173を駆動させるためのモーション信号を生成する部位である。
【0024】
映像表示制御手段151は、映像を、スクリーンやディスプレイなどの映像表示手段153に表示させるための制御装置(例えば、プロジェクタや電子ビーム照射装置など)である。
【0025】
音声再生制御手段161は、音声信号を、スピーカなどの音声再生手段163に送るための制御装置(例えば、アンプやサラウンド装置など)である。
【0026】
搭乗手段171は、被験者200を座らせる椅子である。
【0027】
モーション駆動手段173は、被験者200に、激しい動きや部分的な振動を与えるための駆動機構である。モーション駆動手段173は、搭乗手段171を上下左右前後に摺動させたり、搭乗手段171を三次元空間における任意の方向に回転させたり、搭乗手段171を部分的に振動させるように、複数の駆動部をからなる。なお、モーション駆動手段173は、これら摺動、回転、振動などの動作を、任意の組み合わせで同時に行うこともできる。
【0028】
(体感装置の動作)
以下に、体感装置1の動作を説明する。まず、図2〜図4を用いて、この発明に係る制御ユニット100の動作を説明し、次に、図5〜図8を用いて、モーション駆動制御手段113の詳細な動作を説明する。なお、図2は制御ユニットの動作を示すフローチャートで、図3は各領域の動きベクトルの一例を示す図で、図4はシーン判定用のテーブルデータの一例を示す図である。図5はモーション駆動制御手段の詳細な動作を示すフローチャートで、図6は映像の領域分割と加速度ベクトルの一例を示す図で、図7はモーション信号生成用のテーブルデータの一例を示す図で、図8はモーション駆動手段の制御用テーブルデータの一例を示す図である。
【0029】
(制御ユニットの動作)
図2に示されるように、ステップ(以下、Sという)101で、制御ユニット100の映像蓄積手段103は、映像供給手段101から映像信号を取り込み、映像信号を所定のフレーム数(少なくとも3フレーム)以上ずつ蓄積する。なお、ここで、蓄積するフレーム数を少なくとも3フレーム以上ずつとするのは、S103において、映像加速度検出手段105が映像の加速度を検出できるようにするためのである。
【0030】
次に、S103で、制御ユニット100の映像加速度検出手段105は、映像蓄積手段103に蓄積された映像から、映像の加速度を検出する。これは、例えば、図3に示されるように、映像を複数の領域に分割し、各々の領域で画素ごとの輝度の移動ベクトル(すなわち、輝度の移動量と方向)を検出し、これを領域内で平均化して各領域の動きベクトルとして抽出する。これを所定のフレーム数以上(少なくとも3フレーム以上)にわたって行い、各領域の動きベクトルの変化量から映像の加速度を検出する。なお、図3は、映像を複数の領域に分割し、その中の2つの領域301,303を例にして示したものである。2つの領域301,303中、細い矢印は画素ごとの輝度の移動ベクトルを示し、太い白抜きの矢印は各領域の動きベクトルを示している。なお、太い白抜きの矢印の始点は細い矢印(すなわち、画素ごとの輝度の移動ベクトル)全体の重心点となる。
【0031】
次に、S105で、制御ユニット100の音声検出手段107は、映像供給手段101から音声信号を取り込み、音声再生手段163で再生すべき音声を検出する。
【0032】
次に、S107で、制御ユニット100のシーン種別判定手段111は、S103とS105の検出結果から、映像のシーン種別(すなわち、映像がどんな種類のシーンであるか)を判定する。これは、以下のようにして行われる。すなわち、予め、シーンデータベース109には、前述のシーン判定用のテーブルデータが保持されている。シーン判定用のテーブルデータは、例えば、図4に示されるように、映像における「フレームの方向・角度の変化」のパラメータと、映像における「人物・物体の動きの変化」のパラメータと、音声における「大きさ」のパラメータと、音声における「テンポ」のパラメータと、シーン種別を特定するコード(以下、シーン種別コードという)とをリンク付けている。シーン種別判定手段111は、映像加速度検出手段105によって検出された映像の加速度に関する情報(以下、映像加速度情報という)と音声検出手段107によって検出された音声に関する情報(以下、音声情報という)とから、シーンデータベース109に保持されたシーン判定用のテーブルデータを参照して、映像加速度情報と音声情報に一致するシーン種別を特定する。このようにして映像のシーンを判定する。
【0033】
例えば、シーンが車状の乗り物からの視点である場合、映像は、放射状に広がり、かつ連続して左右に繰り返し加速する。また、このとき、音声は、一定レベル以上で、騒音状のエンジン音が続く。シーン種別判定手段111は、このような条件に該当するシーン種別コードを特定することによって、シーンを車状の乗り物からの視点であると判定する。
【0034】
また、シーンがジェットコースター状の乗り物からの視点である場合、映像は、放射状に広がり、かつ連続して左右に繰り返し加速するのに加えて、上下にも加速する。また、このとき、音声は、一定レベル以上で、騒音状のエンジン音が続く。シーン種別判定手段111は、このような条件に該当するシーン種別コードを特定することによって、シーンをジェットコースター状の乗り物からの視点であると判定する。
【0035】
さらに、シーンが第三者からの視点である場合、映像は、画面全体の動きが少ない。シーン種別判定手段111は、このような条件に該当するシーン種別コードを特定することによって、シーンを、被験者200からの視点ではなく、第三者からの視点であると判定する。
【0036】
シーン種別判定手段111は、このようにしてシーンを判定する。
【0037】
次に、S109で、制御ユニット100のモーション駆動制御手段113は、S107の判定結果に基づいてモーション信号を生成する。
【0038】
次に、S111で、モーション駆動制御手段113は、モーション信号をモーション駆動手段173に出力して、モーション駆動手段173を駆動する。
【0039】
なお、S109とS111におけるモーション駆動制御手段113の動作については、後述の「モーション駆動制御手段の動作」の項で詳述する。
【0040】
(モーション駆動制御手段の動作)
以下に、モーション駆動制御手段113の動作について説明する。なお、以下の図5におけるS151〜S163の動作は図2におけるS109の動作に相当し、S165の動作は図2におけるS111の動作に相当する。
【0041】
図2のS109において、制御ユニット100のモーション駆動制御手段113は、シーン種別判定手段111からS107の判定結果を受け取り、S107の判定結果に基づいてモーション信号を生成する。
【0042】
このとき、モーション駆動制御手段113は、図5のS151に示されるように、シーン種別判定手段111から受け取ったS107の判定結果に基づいて、当事者(被験者200)の視点であるか否かを判定する。ここで、モーション駆動制御手段113が当事者(被験者200)の視点であると判定したら、動作はS153に移行する。また、モーション駆動制御手段113が当事者(被験者200)の視点でないと判定したら、動作はS163に移行する。
【0043】
S153において、モーション駆動制御手段113は、映像がモーション駆動に効果的なシーンか否かを判定する。ここで、モーション駆動制御手段113が、映像がモーション駆動に効果的なシーンであると判定した場合は、動作はS155に移行し、映像がモーション駆動に効果的でないシーンであると判定した場合は、動作はS163に移行する。
【0044】
S155において、モーション駆動制御手段113は、映像加速度面積を算出する。映像加速度面積とは、映像を複数に分割し、それぞれ隣り合った領域の加速度ベクトルが同じである領域の面積である。映像加速度面積は、例えば、図6に示されるように、映像が4つの方向に放射状に広がっている場合、4種類のハッチングで示す領域401,403,405,407のそれぞれの面積である。
【0045】
S157において、モーション駆動制御手段113は、各映像加速度面積(例えば、図6に示される例においては、4つの映像加速度面積)を比較する。
【0046】
S159において、モーション駆動制御手段113は、以下のようにしてモーション信号を生成する。すなわち、モーション駆動制御手段113は、映像加速度面積の最も大きい領域(図6の例では領域401)を特定し、映像加速度面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を検出する。そして、モーション駆動制御手段113は、例えば、図7に示されるような、シーンデータベース109に保持されたモーション信号生成用のテーブルデータを参照して、図2のS107の判定結果であるシーン種別と、映像加速度面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度とに対応するモーション信号を特定する。なお、図7に示されたモーション信号生成用のテーブルデータは、「シーン種別コード」と、所定の閾値で「大」、「中、「小」の3つの区分に分けた「加速度(ここでは、領域中で画素が移動する加速度または画素の輝度が変化する加速度)」のパラメータと、「モーション信号」とをリンク付けている。モーション駆動制御手段113は、このようなモーション信号生成用のテーブルデータを参照してモーション信号を特定し、該当するモーション信号を生成する。
【0047】
モーション信号は、例えば、図8に示されるモーション駆動手段173の制御用テーブルデータによって、モーション駆動手段173の各駆動部(図8に示される例では駆動部1〜6)の駆動量とリンク付けられる。なお、図8に示される例では、駆動量が1〜4の4段階で示されている。ここでは、「1」が「強」、「2」が「やや強」、「3」が「やや弱」、「4」が「弱」を示すものとする。
【0048】
S161において、モーション駆動制御手段113は、S159で生成したモーション信号がモーション駆動手段173の駆動限界内か否かを判定する。ここで、モーション駆動制御手段113が、S159で生成したモーション信号がモーション駆動手段173の駆動限界内であると判定した場合は、動作はS165に移行し、S159で生成したモーション信号がモーション駆動手段173の駆動限界に達すると判定した場合は、動作はS163に移行する。
【0049】
S163において、モーション駆動制御手段113は、モーション駆動手段173の駆動限界となる量に相当するモーション信号を生成する。
【0050】
S165において、モーション駆動制御手段113は、S159またはS163で生成したモーション信号をモーション駆動手段173に出力する。
【0051】
以上説明したこの実施の形態に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なTV放送や映画などの映像(特に、カメラアングルが多様になっている映像)であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【0052】
また、この実施の形態に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動/振動することがないので、被験者を疲労しにくくすることができる。
【0053】
<第2の実施の形態>
第1の実施の形態は、モーション駆動制御手段113が、映像がモーション駆動に効果的なシーンか否かを判定している(図5のS153参照)。これに対して、この実施の形態は、モーション駆動手段173の駆動の有無をモーション駆動手段の制御用テーブルデータに予めリンク付けさせ、このモーション駆動手段の制御用テーブルデータを用いてモーション駆動手段173を制御するようにしたものである。
【0054】
以下、図9を用いて、第2の実施の形態を説明する。なお、図9はモーション駆動手段の制御用テーブルデータの一例を示す図である。
【0055】
図2のS109において、制御ユニット100のモーション駆動制御手段113は、シーン種別判定手段111からS107の判定結果であるシーン種別コードを受け取る。
【0056】
シーン種別コードは、例えば、図9に示されるモーション駆動手段173の制御用テーブルデータによって、モーション駆動手段173の駆動の有無や、モーション駆動手段173の各駆動部(図9に示される例では駆動部1〜6)の駆動量とリンク付けられる。なお、図9に示される例では、モーション駆動手段173の駆動の有無がON/OFFで示されている。ここでは、「ON」が「駆動有り」を示し、「OFF」が「駆動無し」を示すものとする。また、図9に示される例では、駆動量が1〜4の4段階で示されている。ここでは、「1」が「強」、「2」が「やや強」、「3」が「やや弱」、「4」が「弱」、「−」は「駆動せず」を示すものとする。
【0057】
モーション駆動制御手段113は、シーン種別判定手段111から受け取ったシーン種別コードと図9に示されるテーブルデータとを参照して、各駆動部(図9に示される例では駆動部1〜6)の駆動量を特定し、特定した駆動量に基づいてモーション駆動手段173を制御する。
【0058】
以上説明したこの実施の形態に係る体感装置1は、モーション駆動制御手段113がモーション駆動に効果的なシーンか否かを判定する必要がないので、映像供給手段101が映像を供給してからモーション駆動手段173が駆動されるまでの時間を短縮することができる。
【0059】
<付記>
この発明は上記の実施の形態に限定されることなく、この発明の要旨を逸脱しない範囲で種々の応用及び変形が考えられる。
【0060】
例えば、各種の信号やテーブルデータの形態は、任意に変更することが可能である。
【0061】
また、第1の実施の形態におけるS103とS107を逆にすることも可能である。
【0062】
また、第1と第2の実施の形態では、映像加速度検出手段105は、画素の輝度の移動量から映像の加速度を検出するものとしたが、映像の元データがMPEGなどの方式で圧縮されている場合、動きベクトルデータが映像データ中に予め埋め込まれているため、映像データに埋め込まれた動きベクトルを利用するようにしてもよい。この場合、動きベクトルを算出する必要がないので、モーション駆動制御を短時間で行うことができる。
【0063】
【発明の効果】
以上説明したこの発明には、次の効果がある。
【0064】
すなわち、この発明に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なTV放送や映画などの映像(特に、カメラアングルが多様になっている映像)であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【0065】
また、他の発明に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動/振動することがないので、被験者を疲労しにくくすることができる。
【図面の簡単な説明】
【図1】体感装置の構成を示す図である。
【図2】制御ユニットの動作を示すフローチャートである。
【図3】各領域の動きベクトルの一例を示す図である。
【図4】シーン判定用のテーブルデータの一例を示す図である。
【図5】モーション駆動制御手段の詳細な動作を示すフローチャートである。
【図6】映像の領域分割と加速度ベクトルの一例を示す図で
【図7】モーション信号生成用のテーブルデータの一例を示す図である。
【図8】モーション駆動手段の制御用テーブルデータの一例を示す図である。
【図9】モーション駆動手段の制御用テーブルデータの一例を示す図である。
【符号の説明】
1 体感装置
100 制御ユニット
101 映像供給手段
103 映像蓄積手段
105 映像加速度検出手段
107 音声検出手段
109 シーンデータベース
111 シーン種別判定手段
113 モーション駆動制御手段
151 映像表示制御手段
153 映像表示手段
161 音声再生制御手段
163 音声再生手段
171 搭乗手段
173 モーション駆動手段
200 被験者
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a bodily sensation device that gives a subject a motion corresponding to a video to experience a simulated experience and a method of generating a motion signal to be provided to the bodily sensation device.
[0002]
[Prior art]
In recent years, virtual reality technology has been developed, and a bodily sensation device has been developed which allows a subject to show various images and gives a motion corresponding to the image to the subject to experience a simulated experience.
[0003]
As this kind of bodily sensation device, for example, there is a device installed in an amusement facility. This bodily sensation device includes boarding means for riding a subject, video display means for showing an image to the subject (that is, a screen and a display), and sound reproducing means for making the subject hear sound (that is, a speaker, for example). And, having a motion drive means to slide the boarding means up, down, left and right and back and forth in accordance with the image or to partially vibrate, and to put the subject on the boarding means, to show the subject a realistic image, While listening to the voice of the subject, the motion driving means is driven to move the boarding means violently up, down, left, right, back and forth, or partially vibrate, thereby allowing the subject to experience a simulated experience.
[0004]
By the way, the motion driving means is driven by a motion signal created in advance, and the motion signal is created by a software developer assuming the motion of the motion driving means and the motion of the subject's inertia with respect to the motion driving means in advance. However, there is a problem that it takes a lot of man-hour to create. In addition, the motion signal is created based on a dedicated video previously produced, and does not correspond to a video such as a general TV broadcast, a movie, and a game. Therefore, the bodily sensation device cannot cope with general TV broadcasts, movies, games, and other images, and thus has a problem of low versatility.
[0005]
In order to solve such a problem (that is, to reduce the number of steps for creating a motion signal and to increase the versatility of a motion signal), a region having motion (hereinafter referred to as a motion image) is extracted from a video. A bodily sensation device provided with "motion image detecting means" for detection has been considered (for example, see Patent Document 1).
[0006]
The bodily sensation device of Patent Literature 1 determines, for example, the direction of movement of a moving image, and moves the boarding means up, down, left, right, front, or back in accordance with the determined movement. Specifically, if the motion image is spread radially, it is determined that the direction of the motion is “forward”, and the boarding means is moved forward.
[0007]
Such a bodily sensation device of Patent Literature 1 drives a motion driving unit based on actual measurement values such as a moving image and others (such as voices and movements of a subject) instead of a motion signal created in advance. Therefore, the number of software development steps for creating a motion signal can be significantly reduced. Further, the sensation device of Patent Document 1 does not depend on a motion signal created in advance, so that versatility can be improved.
[0008]
However, with respect to such a bodily sensation device of Patent Document 1, it is assumed that simply controlling the motion drive of a vehicle based on a motion image does not provide a realistic motion. A driving sensation device has also been considered (for example, see Patent Document 2).
[0009]
The sensation device of Patent Literature 2 classifies a video into three parts, a “peripheral part”, a “central part”, and a “lower part”, and moves in a priority order of “peripheral part” → “central part” → “lower part”. By driving the motion driving means in accordance with the portion where the image size is large, it is possible to obtain a realistic motion (no more than the bodily sensation device of Patent Literature 1) regardless of what kind of video is used.
[0010]
[Patent Document 1]
JP-A-11-153949 (paragraphs 13 to 19, FIGS. 1 and 2)
[Patent Document 2]
JP 2001-183968 A (paragraphs 19 to 54, FIGS. 1 to 4)
[0011]
[Problems to be solved by the invention]
However, since images such as general TV broadcasts and movies are not produced on the assumption that a motion driving unit is driven, camera angles are diversified. For this reason, all of the above-described conventional technologies have a problem that only a motion with a poor sense of reality can be obtained.
[0012]
In addition, the conventional technique has a problem that when the viewing time is long in a movie or the like, the subject is easily fatigued when the motion driving unit is continuously driven from the beginning to the end of the main part.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problem, a bodily sensation device according to the present invention is a bodily sensation device that gives a motion corresponding to a video to a subject to experience a simulated experience. Is detected, and a motion is given to the subject according to the acceleration of the image.
[0014]
Accordingly, the bodily sensation device according to the present invention can be used for general TV broadcasts, movies, and other images (especially images with various camera angles) that are not produced on the assumption that the motion driving unit is driven. Even so, a realistic motion can be given to the subject according to the scene of the video.
[0015]
Also, in a bodily sensation device according to another invention, in a bodily sensation device that gives a subject a motion corresponding to a video to experience a simulated experience, the video is compared with data serving as a reference for determining a scene type of the video. By doing so, a motion is given to the subject only when it is determined that it is effective to give the motion to the subject.
[0016]
Thereby, the bodily sensation device according to the other invention does not move the subject as it is in accordance with the motion of the image, but moves the subject only when it is determined that it is effective to move the subject. give. Therefore, the subject does not slide / vibrate in unnecessary scenes, so that the subject can be hardly tired.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings. It should be noted that the drawings are only schematically shown to an extent that the present invention can be understood. In addition, in each of the drawings, common elements are denoted by the same reference numerals, and description thereof is omitted.
[0018]
<First embodiment>
The bodily sensation device according to this embodiment is a video such as a general TV broadcast or a movie (especially a video having various camera angles) which is not produced on the assumption that the motion driving unit is driven. Even so, the object is to provide a realistic motion to the subject according to the scene of the video.
[0019]
In addition, the bodily sensation device according to this embodiment does not move the subject as it is in accordance with the motion of the video, but only moves the subject when it is determined that it is effective to move the subject. The purpose is to give.
[0020]
(Configuration of the sensation device)
Hereinafter, the configuration of the sensation device will be described with reference to FIG.
[0021]
As shown in FIG. 1, the bodily sensation device 1 includes a control unit 100, a video display control unit 151, a video display unit 153, a voice reproduction control unit 161, a voice reproduction unit 163, a boarding unit 171 and a motion And a driving unit 173. The subject 200 gets on the boarding means 171 and, while watching various images, is given a movement corresponding to the images to experience a simulated experience.
[0022]
The control unit 100 includes a video supply unit 101, a video storage unit 103, a video acceleration detection unit 105, an audio detection unit 107, a scene database 109, a scene type determination unit 111, and a motion drive control unit 113. .
[0023]
The video supply unit 101 is, for example, a TV tuner or various recording medium reading devices, and supplies a video signal and a music signal from a TV broadcast or various video recording media (for example, a video tape or a digital versatile disk (DVD)). It is a part that is acquired and supplied to subsequent units (here, the video storage unit 103 and the audio detection unit 107). Note that the image supply unit 101 can be arranged outside the sensation device 1. The video storage unit 103 is a unit that stores the video signal supplied from the video supply unit 101 by a predetermined number of frames (at least three frames) or more. The video acceleration detection unit 105 is a unit that detects the acceleration of the video from the video stored by the video storage unit 103. The acceleration of the video will be described in detail in S103 in the section “Operation of the sensation device” described later. The audio detection unit 107 is a unit that detects an audio signal supplied from the video supply unit 101. The scene database 109 is used to generate table data (hereinafter referred to as “scene determination table data”) as a reference for determining a scene type of a video (ie, what kind of scene the video is) and a motion signal. This is a part that holds table data (hereinafter referred to as table data for generating a motion signal) as a reference for the above. The scene type determination unit 111 determines the scene type of the video by comparing the video supplied from the video supply unit 101 with the table data for scene determination held in the scene database 109 (that is, in which scene the video is). (To determine if there is). The motion drive control unit 113 is a unit that generates a motion signal for driving the motion drive unit 173 based on a signal from the video acceleration detection unit 105 and a signal from the scene type determination unit 111.
[0024]
The image display control unit 151 is a control device (for example, a projector or an electron beam irradiation device) for displaying an image on the image display unit 153 such as a screen or a display.
[0025]
The audio reproduction control unit 161 is a control device (for example, an amplifier or a surround device) for transmitting an audio signal to the audio reproduction unit 163 such as a speaker.
[0026]
The boarding means 171 is a chair on which the subject 200 sits.
[0027]
The motion driving unit 173 is a driving mechanism for giving the subject 200 a violent movement or partial vibration. The motion driving unit 173 includes a plurality of driving units that slide the boarding unit 171 up, down, left, and right, rotate the boarding unit 171 in an arbitrary direction in a three-dimensional space, and partially vibrate the boarding unit 171. Consisting of parts. Note that the motion driving unit 173 can simultaneously perform these operations such as sliding, rotation, and vibration in any combination.
[0028]
(Operation of the sensation device)
Hereinafter, the operation of the sensation device 1 will be described. First, the operation of the control unit 100 according to the present invention will be described with reference to FIGS. 2 to 4, and then the detailed operation of the motion drive control unit 113 will be described with reference to FIGS. FIG. 2 is a flowchart showing the operation of the control unit, FIG. 3 is a diagram showing an example of a motion vector of each area, and FIG. 4 is a diagram showing an example of table data for scene determination. FIG. 5 is a flowchart showing the detailed operation of the motion drive control means. FIG. 6 is a diagram showing an example of image region division and an acceleration vector. FIG. 7 is a diagram showing an example of table data for generating a motion signal. FIG. 8 is a diagram showing an example of the control table data of the motion driving means.
[0029]
(Operation of control unit)
As shown in FIG. 2, in step (hereinafter, referred to as S) 101, the video storage unit 103 of the control unit 100 fetches the video signal from the video supply unit 101 and stores the video signal in a predetermined number of frames (at least three frames) Accumulate by the above. Here, the reason why the number of frames to be stored is at least three or more is to enable the video acceleration detecting means 105 to detect the video acceleration in S103.
[0030]
Next, in S103, the video acceleration detection means 105 of the control unit 100 detects the acceleration of the video from the video stored in the video storage means 103. For example, as shown in FIG. 3, the image is divided into a plurality of regions, and a luminance movement vector (i.e., a luminance moving amount and direction) for each pixel is detected in each region, and this is detected. And extract as a motion vector of each area. This is performed over a predetermined number of frames or more (at least three frames), and the acceleration of the video is detected from the amount of change in the motion vector of each area. FIG. 3 shows an example in which a video is divided into a plurality of regions, and two regions 301 and 303 among the regions are exemplified. In the two regions 301 and 303, a thin arrow indicates a luminance movement vector for each pixel, and a thick white arrow indicates a motion vector of each region. Note that the starting point of the thick white arrow is the center of gravity of the entire thin arrow (that is, the movement vector of luminance for each pixel).
[0031]
Next, in S105, the audio detection unit 107 of the control unit 100 takes in the audio signal from the video supply unit 101, and detects the audio to be reproduced by the audio reproduction unit 163.
[0032]
Next, in S107, the scene type determination means 111 of the control unit 100 determines the scene type of the video (that is, what kind of scene the video is) from the detection results in S103 and S105. This is performed as follows. That is, the scene database 109 previously holds the table data for scene determination described above. The table data for scene determination includes, for example, as shown in FIG. 4, a parameter of “change of direction / angle of frame” in a video, a parameter of “change of motion of person / object” in video, and a parameter of A parameter of "size", a parameter of "tempo" of the sound, and a code for specifying a scene type (hereinafter, referred to as a scene type code) are linked. The scene type determination unit 111 obtains information on the acceleration of the video detected by the video acceleration detection unit 105 (hereinafter referred to as video acceleration information) and the information on the audio detected by the audio detection unit 107 (hereinafter referred to as audio information). With reference to the table data for scene determination held in the scene database 109, a scene type matching the video acceleration information and the audio information is specified. Thus, the scene of the video is determined.
[0033]
For example, if the scene is a viewpoint from a vehicle-like vehicle, the image spreads radially and continuously accelerates left and right repeatedly. At this time, the sound is a certain level or more, and a noise-like engine sound continues. The scene type determination unit 111 determines that the scene is a viewpoint from a vehicle-like vehicle by specifying a scene type code corresponding to such a condition.
[0034]
When the scene is a viewpoint from a roller coaster-like vehicle, the image spreads radially and accelerates up and down in addition to continuously accelerating left and right. At this time, the sound is a certain level or more, and a noise-like engine sound continues. The scene type determining means 111 determines that the scene is a viewpoint from a roller coaster-like vehicle by specifying a scene type code corresponding to such a condition.
[0035]
Further, when the scene is a viewpoint from a third party, the video has little movement on the entire screen. The scene type determination unit 111 determines that the scene is not a viewpoint from the subject 200 but a viewpoint from a third party by specifying a scene type code corresponding to such a condition.
[0036]
The scene type determining means 111 determines a scene in this way.
[0037]
Next, in S109, the motion drive control unit 113 of the control unit 100 generates a motion signal based on the determination result in S107.
[0038]
Next, in S111, the motion drive control unit 113 outputs a motion signal to the motion drive unit 173 to drive the motion drive unit 173.
[0039]
The operation of the motion drive control means 113 in S109 and S111 will be described in detail in the section "Operation of the motion drive control means" described later.
[0040]
(Operation of the motion drive control means)
Hereinafter, the operation of the motion drive control unit 113 will be described. Note that the following operations of S151 to S163 in FIG. 5 correspond to the operations of S109 in FIG. 2, and the operations of S165 correspond to the operations of S111 in FIG.
[0041]
In S109 of FIG. 2, the motion drive control unit 113 of the control unit 100 receives the determination result of S107 from the scene type determination unit 111, and generates a motion signal based on the determination result of S107.
[0042]
At this time, as shown in S151 of FIG. 5, the motion drive control unit 113 determines whether or not it is the viewpoint of the party (subject 200) based on the determination result of S107 received from the scene type determination unit 111. I do. Here, if the motion drive control unit 113 determines that the viewpoint is that of the party (subject 200), the operation proceeds to S153. If the motion drive control unit 113 determines that the viewpoint is not the viewpoint of the subject (the subject 200), the operation shifts to S163.
[0043]
In S153, the motion drive control unit 113 determines whether the video is a scene that is effective for motion drive. Here, when the motion drive control unit 113 determines that the video is a scene that is effective for motion driving, the operation proceeds to S155, and when it determines that the video is a scene that is not effective for motion drive, , The operation proceeds to S163.
[0044]
In S155, the motion drive control unit 113 calculates the image acceleration area. The image acceleration area is an area of a region where an image is divided into a plurality of regions and adjacent regions have the same acceleration vector. For example, as shown in FIG. 6, the image acceleration area is the area of each of regions 401, 403, 405, and 407 indicated by four types of hatching when the image is radially spread in four directions.
[0045]
In S157, the motion drive control unit 113 compares each image acceleration area (for example, four image acceleration areas in the example shown in FIG. 6).
[0046]
In S159, the motion drive control unit 113 generates a motion signal as follows. That is, the motion drive control unit 113 specifies the region having the largest image acceleration area (the region 401 in the example of FIG. 6), and changes the acceleration at which the pixel moves or the luminance of the pixel in the region having the largest image acceleration area. Detect acceleration. Then, the motion drive control unit 113 refers to, for example, table data for generating a motion signal held in the scene database 109 as shown in FIG. The motion signal corresponding to the acceleration at which the pixel moves in the region having the largest image acceleration area or the acceleration at which the luminance of the pixel changes is specified. The table data for generating a motion signal shown in FIG. 7 includes “scene type code” and “acceleration (here,“ large ”,“ medium ”,“ small ”) divided into three sections by a predetermined threshold. , An acceleration at which the pixel moves in the area or an acceleration at which the luminance of the pixel changes) is linked to the “motion signal”. The motion drive control unit 113 specifies the motion signal with reference to the table data for generating the motion signal, and generates a corresponding motion signal.
[0047]
The motion signal is linked to the drive amount of each drive unit (the drive units 1 to 6 in the example shown in FIG. 8) of the motion drive unit 173 according to the control table data of the motion drive unit 173 shown in FIG. Can be In the example shown in FIG. 8, the drive amount is shown in four stages of 1 to 4. Here, “1” indicates “strong”, “2” indicates “somewhat strong”, “3” indicates “somewhat weak”, and “4” indicates “weak”.
[0048]
In S161, the motion drive control unit 113 determines whether the motion signal generated in S159 is within the drive limit of the motion drive unit 173. Here, when the motion drive control unit 113 determines that the motion signal generated in S159 is within the drive limit of the motion drive unit 173, the operation shifts to S165, and the motion signal generated in S159 is If it is determined that the driving limit of 173 is reached, the operation moves to S163.
[0049]
In S163, the motion drive control unit 113 generates a motion signal corresponding to an amount serving as a drive limit of the motion drive unit 173.
[0050]
In S165, the motion drive control unit 113 outputs the motion signal generated in S159 or S163 to the motion drive unit 173.
[0051]
The bodily sensation device according to this embodiment described above is a video such as a general TV broadcast or a movie that is not produced on the assumption that the motion driving unit is driven (especially, a video having various camera angles). ) Can give the subject a realistic movement according to the scene of the video.
[0052]
In addition, the bodily sensation device according to this embodiment does not move the subject as it is in accordance with the motion of the video, but only moves the subject when it is determined that it is effective to move the subject. give. Therefore, the subject does not slide / vibrate in unnecessary scenes, so that the subject can be hardly tired.
[0053]
<Second embodiment>
In the first embodiment, the motion drive control unit 113 determines whether the video is a scene that is effective for motion drive (see S153 in FIG. 5). On the other hand, in this embodiment, whether or not the motion driving unit 173 is driven is linked in advance to the control table data of the motion driving unit, and the motion driving unit 173 is used by using the control table data of the motion driving unit. Is controlled.
[0054]
Hereinafter, the second embodiment will be described with reference to FIG. FIG. 9 is a diagram showing an example of the control table data of the motion driving means.
[0055]
In S109 of FIG. 2, the motion drive control unit 113 of the control unit 100 receives the scene type code, which is the determination result of S107, from the scene type determination unit 111.
[0056]
The scene type code is determined based on, for example, whether or not the motion driving unit 173 is driven, and each driving unit of the motion driving unit 173 (the driving unit in the example illustrated in FIG. 9) based on the control table data of the motion driving unit 173 illustrated in FIG. The link is linked with the drive amount of the units 1 to 6). In the example shown in FIG. 9, whether the motion driving unit 173 is driven is indicated by ON / OFF. Here, it is assumed that “ON” indicates “driving” and “OFF” indicates “no driving”. Further, in the example shown in FIG. 9, the driving amount is shown in four stages of 1 to 4. Here, "1" indicates "strong", "2" indicates "slightly strong", "3" indicates "slightly weak", "4" indicates "weak", and "-" indicates "do not drive". I do.
[0057]
The motion drive control unit 113 refers to the scene type code received from the scene type determination unit 111 and the table data shown in FIG. 9 to refer to each of the driving units (the driving units 1 to 6 in the example shown in FIG. 9). The driving amount is specified, and the motion driving unit 173 is controlled based on the specified driving amount.
[0058]
In the bodily sensation device 1 according to the embodiment described above, since the motion drive control unit 113 does not need to determine whether or not the scene is effective for motion drive, the motion supply control unit 113 supplies the video after the video supply unit 101 supplies the video. The time until the driving unit 173 is driven can be reduced.
[0059]
<Appendix>
The present invention is not limited to the above embodiment, and various applications and modifications can be considered without departing from the gist of the present invention.
[0060]
For example, the form of various signals and table data can be arbitrarily changed.
[0061]
Further, S103 and S107 in the first embodiment can be reversed.
[0062]
Further, in the first and second embodiments, the video acceleration detecting means 105 detects the video acceleration from the moving amount of the luminance of the pixel. However, the original data of the video is compressed by a method such as MPEG. In this case, since the motion vector data is embedded in the video data in advance, the motion vector embedded in the video data may be used. In this case, since there is no need to calculate a motion vector, motion drive control can be performed in a short time.
[0063]
【The invention's effect】
The present invention described above has the following effects.
[0064]
That is, the bodily sensation device according to the present invention is a video such as a general TV broadcast or a movie (especially a video having various camera angles) which is not produced on the assumption that the motion driving unit is driven. However, it is possible to give the subject a realistic movement according to the scene of the video.
[0065]
In addition, the bodily sensation device according to another invention does not give the subject a motion in accordance with the motion of the video, but only gives the subject a motion when it is determined that it is effective to give the subject a motion. give. Therefore, the subject does not slide / vibrate in unnecessary scenes, so that the subject can be hardly tired.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a sensation device.
FIG. 2 is a flowchart illustrating an operation of a control unit.
FIG. 3 is a diagram illustrating an example of a motion vector of each area.
FIG. 4 is a diagram illustrating an example of table data for scene determination.
FIG. 5 is a flowchart showing a detailed operation of the motion drive control means.
FIG. 6 is a diagram illustrating an example of image region division and an acceleration vector. FIG. 7 is a diagram illustrating an example of table data for generating a motion signal.
FIG. 8 is a diagram illustrating an example of control table data of a motion driving unit.
FIG. 9 is a diagram illustrating an example of control table data of a motion driving unit.
[Explanation of symbols]
1 bodily sensation device 100 control unit 101 video supply means 103 video storage means 105 video acceleration detection means 107 audio detection means 109 scene database 111 scene type determination means 113 motion drive control means 151 video display control means 153 video display means 161 audio playback control means 163 sound reproducing means 171 boarding means 173 motion driving means 200 subject

Claims (9)

映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置において、
映像を一定時間蓄積することにより、映像の加速度を検出し、映像の加速度に応じて被験者に動きを与えることを特徴とする体感装置。
In a bodily sensation device that gives a subject a motion corresponding to a video to experience a simulated experience,
A bodily sensation device characterized by detecting video acceleration by accumulating video for a certain period of time and giving a subject a motion according to the video acceleration.
被験者を搭乗させる搭乗手段と、
映像を被験者に見せるための映像表示手段と、
映像に合わせて搭乗手段を駆動させるモーション駆動手段と、
映像を一定時間蓄積する映像蓄積手段と、
前記映像蓄積手段に蓄積された映像の加速度を検出する映像加速度検出手段と、
前記映像加速度検出手段によって検出された映像の加速度に応じて前記モーション駆動手段を駆動するモーション駆動制御手段とを有することを特徴とする請求項1に記載の体感装置。
Boarding means for boarding the subject,
Image display means for showing the image to the subject,
Motion driving means for driving the boarding means in accordance with the image,
Video storage means for storing video for a fixed time;
Video acceleration detection means for detecting the acceleration of the video stored in the video storage means,
2. The sensation device according to claim 1, further comprising: a motion drive control unit that drives the motion drive unit in accordance with the acceleration of the image detected by the image acceleration detection unit.
更に、映像のシーン種別を判定するための基準となるデータを保持するシーンデータベースとを有し、
前記モーション駆動制御手段は、映像を複数に分割し、それぞれ隣り合った領域の加速度ベクトルが同じである領域の面積を算出し、各面積を比較して、面積の最も大きい領域を特定し、面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度と前記シーンデータベースに保持されたデータに基づいて、映像のシーンに適したシーン種別を判定して、前記モーション駆動手段を駆動するためのモーション信号を生成することを特徴とする請求項2に記載の体感装置。
Further, a scene database holding data serving as a reference for determining the scene type of the video,
The motion drive control unit divides the image into a plurality of parts, calculates the area of the area where the acceleration vector of each adjacent area is the same, compares the areas, specifies the area having the largest area, Based on the acceleration at which the pixel moves in the largest area or the acceleration at which the luminance of the pixel changes and the data held in the scene database, a scene type suitable for a video scene is determined, and the motion driving unit is The sensation device according to claim 2, wherein a motion signal for driving is generated.
前記映像の加速度は、映像を複数に分割し、それぞれ隣り合った領域の加速度ベクトルが同じである領域の面積を算出し、各面積を比較して、面積の最も大きい領域を特定し、面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度であることを特徴とする請求項1または2に記載の体感装置。The acceleration of the image is obtained by dividing the image into a plurality of parts, calculating the areas of the areas where the acceleration vectors of the adjacent areas are the same, comparing the areas, identifying the area having the largest area, The sensation device according to claim 1, wherein the acceleration is an acceleration at which the pixel moves in the largest area or an acceleration at which the luminance of the pixel changes. 映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置において、
映像を、映像のシーン種別を判定するための基準となるデータと比較することにより、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与えることを特徴とする体感装置。
In a bodily sensation device that gives a subject a motion corresponding to a video to experience a simulated experience,
By comparing the video with data serving as a reference for determining the scene type of the video, the motion is given to the subject only when it is determined that it is effective to give the motion to the subject. Sensational device.
被験者を搭乗させる搭乗手段と、
映像を被験者に見せるための映像表示手段と、
映像に合わせて搭乗手段を駆動させるモーション駆動手段と、
映像を一定時間蓄積する映像蓄積手段と、
映像のシーン種別を判定するための基準となるデータを保持するシーンデータベースと、
映像を前記シーンデータベースに保持されたデータと比較して映像のシーン種別を判定するシーン種別判定手段と、
前記シーン種別判定手段によって判定された映像のシーン種別に応じて、被験者に動きを与えるのが効果的であると判定される場合にのみ、前記モーション駆動手段を駆動するモーション駆動制御手段とを有することを特徴とする請求項5に記載の体感装置。
Boarding means for boarding the subject,
Image display means for showing the image to the subject,
Motion driving means for driving the boarding means in accordance with the image,
Video storage means for storing video for a fixed time;
A scene database holding data serving as a reference for determining a scene type of a video,
Scene type determining means for comparing a video with data held in the scene database to determine a scene type of the video,
A motion drive control unit that drives the motion drive unit only when it is determined that it is effective to give a subject a motion according to the scene type of the video determined by the scene type determination unit. The sensation device according to claim 5, wherein:
前記モーション駆動制御手段は、前記シーン種別と前記モーション駆動手段の駆動の有無とをリンク付けたテーブルデータを用いて、前記シーン種別判定手段によって判定されたシーン種別に応じて、前記モーション駆動手段の駆動量を特定することを特徴とする請求項6に記載の体感装置。The motion drive control means, using table data linked with the scene type and the presence or absence of the drive of the motion drive means, according to the scene type determined by the scene type determination means, 7. The sensation device according to claim 6, wherein the drive amount is specified. 映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置の駆動手段を駆動するためのモーション信号の生成方法において、
映像を一定時間蓄積して蓄積された映像の加速度を検出する工程と、
映像を複数に分割し、それぞれ隣り合った領域の加速度ベクトルが同じである領域の面積を算出し、各面積を比較して面積の最も大きい領域を特定し、面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を算出する工程と、
予めデータベースに保持された映像のシーン種別のテーブルデータに基づいて算出した加速度に対応する映像のシーン種別を判定し、予めデータベースに保持されたモーション信号のテーブルデータに基づいて判定されたシーン種別に対応するモーション信号を生成する工程とを有することを特徴とするモーション信号の生成方法。
In a method of generating a motion signal for driving a driving unit of a bodily sensation device that gives a motion corresponding to a video to a subject to experience a simulated experience,
Accumulating the image for a certain period of time and detecting the acceleration of the accumulated image;
The image is divided into a plurality of parts, the areas of adjacent areas having the same acceleration vector are calculated, the areas are compared, and the area having the largest area is specified. Calculating a moving acceleration or an acceleration at which the luminance of the pixel changes;
The scene type of the video corresponding to the acceleration calculated based on the table data of the scene type of the video stored in the database in advance is determined, and the scene type determined based on the table data of the motion signal stored in the database in advance is determined. Generating a corresponding motion signal.
コンピュータにより、請求項1〜7のいずれか1項に記載の体感装置を実現するためのプログラム。A program for realizing the sensation device according to any one of claims 1 to 7 by a computer.
JP2003052744A 2003-02-28 2003-02-28 Body sensation apparatus, motion signal generation method and program Expired - Fee Related JP4529360B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003052744A JP4529360B2 (en) 2003-02-28 2003-02-28 Body sensation apparatus, motion signal generation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003052744A JP4529360B2 (en) 2003-02-28 2003-02-28 Body sensation apparatus, motion signal generation method and program

Publications (2)

Publication Number Publication Date
JP2004261272A true JP2004261272A (en) 2004-09-24
JP4529360B2 JP4529360B2 (en) 2010-08-25

Family

ID=33117541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003052744A Expired - Fee Related JP4529360B2 (en) 2003-02-28 2003-02-28 Body sensation apparatus, motion signal generation method and program

Country Status (1)

Country Link
JP (1) JP4529360B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509650A (en) * 2006-10-26 2010-03-25 ディー−ボックス テクノロジーズ インコーポレイテッド Voice interface for controlling motion signals
WO2013008869A1 (en) * 2011-07-14 2013-01-17 株式会社ニコン Electronic device and data generation method
WO2013151155A1 (en) * 2012-04-06 2013-10-10 株式会社ニコン Data processing device and data processing program
KR101752848B1 (en) * 2015-12-30 2017-06-30 씨제이포디플렉스 주식회사 System and method for conrtolling motion using motion detection of video
WO2018123202A1 (en) * 2016-12-28 2018-07-05 シャープ株式会社 Moving-image processing device, display device, moving-image processing method, and control program
WO2019048847A1 (en) * 2017-09-06 2019-03-14 Simworx Ltd Modelling systems and methods for entertainment rides

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760919B (en) * 2014-01-23 2016-09-07 中国电影器材有限责任公司 Control method for the multidimensional seat of movie theatre

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110933A (en) * 1991-10-11 1993-04-30 Sony Corp Motion vector detector for image
JPH11153949A (en) * 1997-11-20 1999-06-08 Sony Corp Body feeling motion device
WO2000068886A1 (en) * 1999-05-11 2000-11-16 Sony Corporation Information processor
JP2000353300A (en) * 1999-06-11 2000-12-19 Honda Motor Co Ltd Object recognizing device
JP2001183968A (en) * 1999-12-27 2001-07-06 Sanyo Electric Co Ltd Pseudo experiencing device and pseudo experiencing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110933A (en) * 1991-10-11 1993-04-30 Sony Corp Motion vector detector for image
JPH11153949A (en) * 1997-11-20 1999-06-08 Sony Corp Body feeling motion device
WO2000068886A1 (en) * 1999-05-11 2000-11-16 Sony Corporation Information processor
JP2000353300A (en) * 1999-06-11 2000-12-19 Honda Motor Co Ltd Object recognizing device
JP2001183968A (en) * 1999-12-27 2001-07-06 Sanyo Electric Co Ltd Pseudo experiencing device and pseudo experiencing method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509650A (en) * 2006-10-26 2010-03-25 ディー−ボックス テクノロジーズ インコーポレイテッド Voice interface for controlling motion signals
WO2013008869A1 (en) * 2011-07-14 2013-01-17 株式会社ニコン Electronic device and data generation method
WO2013151155A1 (en) * 2012-04-06 2013-10-10 株式会社ニコン Data processing device and data processing program
JPWO2013151155A1 (en) * 2012-04-06 2015-12-17 株式会社ニコン Data processing apparatus and data processing program
KR101752848B1 (en) * 2015-12-30 2017-06-30 씨제이포디플렉스 주식회사 System and method for conrtolling motion using motion detection of video
WO2017116096A1 (en) * 2015-12-30 2017-07-06 Cj 4Dplex Co., Ltd. Motion control system and method using detection of motion in a video
CN108702438A (en) * 2015-12-30 2018-10-23 Cj 4Dplex 有限公司 Utilize the kinetic control system and method for the motion detection in video
US10743019B2 (en) 2015-12-30 2020-08-11 Cj 4Dplex Co., Ltd. Motion control system and method using detection of motion in a video
CN108702438B (en) * 2015-12-30 2021-05-18 Cj 4Dplex 有限公司 Motion control system and method using motion detection in video
WO2018123202A1 (en) * 2016-12-28 2018-07-05 シャープ株式会社 Moving-image processing device, display device, moving-image processing method, and control program
WO2019048847A1 (en) * 2017-09-06 2019-03-14 Simworx Ltd Modelling systems and methods for entertainment rides
GB2578850A (en) * 2017-09-06 2020-05-27 Simworx Ltd Modelling systems and methods for entertainment rides

Also Published As

Publication number Publication date
JP4529360B2 (en) 2010-08-25

Similar Documents

Publication Publication Date Title
KR101490725B1 (en) A video display apparatus, an audio-video system, a method for sound reproduction, and a sound reproduction system for localized perceptual audio
US8334888B2 (en) Dynamically generated ring tones
CN110620941B (en) System and method for augmented reality film projection
JP5249215B2 (en) A method of adding an audio watermark to a performance movie
EP2751988A1 (en) Method and system for providing an improved audio experience for viewers of video
JP4529360B2 (en) Body sensation apparatus, motion signal generation method and program
JP2006135808A (en) Apparatus and method for reproduction
JP2017506008A (en) Method for generating haptic coefficients using an autoregressive model, signals and devices for reproducing such coefficients
KR20160137924A (en) Method of Recording and Replaying Game Video by Object State Recording
US20020089645A1 (en) Producing a soundtrack for moving picture sequences
US20170287521A1 (en) Methods, circuits, devices, systems and associated computer executable code for composing composite content
WO2021200140A1 (en) Signal processing device, signal processing method, and signal processing system
JP5919546B1 (en) Image reproduction method, image reproduction apparatus, and image reproduction program
US20050110870A1 (en) System and method for object tracking path generation
CN117294882A (en) Method for adding animation sound effect to AR model and playing equipment
US20120151343A1 (en) Deep tags classification for digital media playback
KR20160114481A (en) Method of Recording and Replaying Game Video by Object State Recording
CN117579851A (en) Live broadcast method and device based on digital person, electronic equipment and readable storage medium
KR20180027290A (en) embodiment method
JP2006094314A (en) Method and apparatus for reproducing forest space to obtain presence
JP2012039220A (en) Video reproduction apparatus and method of controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100531

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees