JP2003085593A

JP2003085593A - 対話型映像操作装置及び映像コンテンツの表示方法

Info

Publication number: JP2003085593A
Application number: JP2001278236A
Authority: JP
Inventors: Shinji Ide; 真司井出; Masato Okui; 誠人奥井; Fumio Okano; 文男岡野; Yuichi Yamanoue; 裕一山之上; Atsuo Hanasato; 敦夫花里
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-09-13
Filing date: 2001-09-13
Publication date: 2003-03-20

Abstract

(57)【要約】【課題】対話型映像操作装置において、観察者が体感
する臨場感をさらに向上させることを目的とする。【解決手段】所定の視差角を持って配置された撮像カ
メラ４ａ、４ｂからなる撮像手段４で観察者Ｗの像を撮
影し、得られた像から観察者Ｗの奥行き量を画像処理手
段５で抽出し、三次元情報演算処理手段６で観察者Ｗの
操作量を求め、得られた操作量に応じて、二眼式立体映
像から生成される映像コンテンツのレンダリングを立体
映像コンテンツ制御手段７で変更する対話型映像操作装
置１とした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察者の操作に基
づいて立体映像を処理し、操作する立体映像コンテンツ
の表示方法及びこれに用いる対話型映像操作装置に関す
るものである。

【０００２】

【従来の技術】表示部に表示されている映像が観察者の
動作に基づいて変化したり、映像の変化に応じて観察者
が特定の動作を行ったりする、いわゆるインタラクティ
ブな対話型映像操作装置は、観察者の動作を検出するた
めに観察者に装着される検出手段と、コンピュータグラ
フィックスを再現する三次元の位置データを保有する記
憶手段と、所定の映像処理部を有して構成されている。
検出手段としては、手など観察者の体に装着する道具が
用いられており、観察者の動きに合わせて道具の位置が
変化したときの変化量を取得することで観察者の動きを
検出している。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな対話型映像操作装置は、もともと三次元の位置デー
タが与えられているコンピュータグラフィックスしか適
用できないため、映像コンテンツの種類が限定され、映
像コンテンツの製造コストも高かった。また、このよう
な対話型映像操作装置では、観察者は、自己の動作を検
出させるための検出手段を装着する必要があるために動
作が制限されるので、臨場感が損なわれるという問題を
有していた。従って、本発明は、対話型映像操作装置に
おいて、多種多様な映像コンテンツの利用を可能にする
ことを目的とする。また、観察者が体感する臨場感をさ
らに向上させることを目的とする。

【０００４】

【課題を解決するための手段】前記の課題を解決する本
発明の請求項１に係る発明は、表示部に表示される映像
コンテンツに対して観察者が行った動作を操作量として
取得し、操作量に基づいて映像コンテンツを変化させる
対話型映像操作装置において、観察者の像を撮影する撮
像手段と、得られた像から観察者の奥行き量を抽出する
画像処理手段と、奥行き量に基づいて操作量を求める三
次元情報演算処理手段と、操作量に応じて映像コンテン
ツのレンダリングを変更する立体映像コンテンツ制御手
段とを備える対話型映像操作装置とした。

【０００５】このような構成を有する対話型映像操作装
置は、観察者の動作や姿勢を撮像手段で撮影し、画像処
理を施すことで観察者の操作を検出するものである。観
察者が動作検出用の道具を装着する必要がないので、観
察者は高い臨場感を得ることができる。

【０００６】また、本発明の請求項２に係る発明は、請
求項１に記載の対話型映像操作装置において、映像コン
テンツは、視差角を持って撮影された二つの画像に対し
て画像処理手段で、奥行き量を抽出することにより制作
される構成とした。

【０００７】このような構成を有する対話型映像操作装
置は、視差角を持って撮影された二つの映像から抽出し
た奥行き量に基づいて立体映像を構成し、得られた立体
映像のレンダリングを観察者の操作量に応じて変更する
ことで、多種多様な映像コンテンツを観察者が操作でき
るようにするものである。

【０００８】そして、本発明の請求項３に係る発明は、
観察者の動作に合わせて映像コンテンツを表示する映像
コンテンツの表示方法であって、観察者を撮影した映像
に基づいて観察者の三次元情報である観察者三次元情報
を取得する工程と、観察者三次元情報と映像コンテンツ
の三次元情報であるコンテンツ三次元情報から映像コン
テンツのレンダリングを決定する工程と、観察者の動作
に基づいて変化する観察者三次元情報に基づいて、映像
コンテンツのレンダリングを変更させる工程とを有する
映像コンテンツの表示方法とした。

【０００９】このようにして映像コンテンツを表示する
と、観察者は、道具を用いることなく、多種多様な映像
コンテンツの操作を行うことができるようになる。

【００１０】

【発明の実施の形態】本発明の実施形態を図面を参照し
ながら詳細に説明する。図１は本実施形態における対話
型映像操作装置の全体構成図である。図１に示すよう
に、対話型映像操作装置１は、映像コンテンツである立
体映像コンテンツを表示する表示部２と、立体映像コン
テンツをデータとして保有する記憶手段３と、観察者Ｗ
の動きを捉えるための撮像手段４、並びに、観察者Ｗの
動きに合わせて画像処理等を行う画像処理手段５、三次
元情報演算処理手段６及び立体映像コンテンツ制御手段
７を有している。

【００１１】ここで、対話型画像操作装置１の各構成要
素について以下に説明する。表示部２は、ＬＣＤ（Liqu
id Crystal Device）ディスプレイや、ＣＲＴ（Cathord
-Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Pa
nel）等の公知のディスプレイ装置からなる。また、映
像を立体的に表示する構成を備えるディスプレイ装置と
しても良い。

【００１２】記憶手段３は、大容量のＨＤＤ（Hard Dis
k Drive）やＤＶＤ（Digital VideoDisk）等の公知の記
録再生媒体を備えたものである。この記憶手段３には、
表示部２で表示される立体映像コンテンツが記録されて
いる。本実施形態において立体映像コンテンツは、ステ
レオカメラで取得した二眼式立体映像である。二眼式立
体映像は、観察者Ｗが右眼で観察した場合の映像に相当
する右眼映像ＲＶと、左眼で観察した場合の映像に相当
する左眼映像ＬＶから構成されている。なお、立体映像
コンテンツは、三次元画像としてモデリングされたコン
ピュータグラフィックスであっても良い。

【００１３】撮像手段４は、ＣＣＤ（Charge Coupled D
evice）等を用いた公知の撮像カメラ４ａ、４ｂを含ん
で構成されている。撮像カメラ４ａ、４ｂは、表示部２
の近傍に二つ配置されており、観察者Ｗの像を表示部２
側から所定の視差角を持って撮影している。撮像手段４
で撮影した観察者Ｗの像は、後に説明する二眼式立体映
像の処理に利用され、表示部２で表示される映像に反映
される。

【００１４】画像処理手段５、三次元情報演算処理手段
６、及び、立体映像コンテンツ制御手段７は、ＣＰＵ
（Central Processing Unit）、ＲＯＭ（Read Only Mem
ory）や所定の電気・電子回路を有しており、これらに
所定のプログラムが展開されることで各種の処理が行わ
れるものである。画像処理手段５は、撮像手段４から取
得した観察者の像や、二眼式立体映像から三次元情報を
抽出する機能を果たす。また、三次元情報演算処理手段
６は、三次元情報に基づいて観察者の操作情報を演算す
るために用いられる。さらに、立体映像コンテンツ制御
手段７は、三次元情報演算処理手段６の演算結果に基づ
いて立体映像コンテンツを処理し、表示部２に表示する
ための二次元像を作成する。

【００１５】ここで、画像処理手段５についてさらに詳
細に説明すると、画像処理手段５は、記憶手段３に記憶
されている二眼式立体映像の右眼映像ＲＶと左眼映像Ｌ
Ｖから三次元情報を取得したり、撮像手段４で撮影した
観察者Ｗの像から三次元情報を取得したりするものであ
る。三次元情報とは、所定の視差角を持って撮影された
二つの二次元像そのものに関するデータや、二つの二次
元像から取得した奥行き量に関するデータである。

【００１６】二つの二次元像から奥行き情報を抽出する
ためには、まず、一方の二次元画像（例えば左眼映像Ｒ
Ｖ）と、他方の二次元画像（例えば右眼画像ＬＶ）にお
ける、画像の差（ズレ）を抽出する必要がある。二つの
画像の差を抽出する方法としては、ブロックマッチング
法や、勾配法等があげられるが、ここではブロックマッ
チング法を用いる場合について説明する。ブロックマッ
チング法を用いて二つの画像の差を抽出する場合は、図
２に示すように、左眼画像ＬＶを領域分割したブロック
ＬＢのうちの特定のブロック（着目ブロックＬＷＢとす
る）に着目し、この着目ブロックＬＷＢに最も相関の高
いブロックを全検索法、ツリー検索法等の公知の検索方
法を用いて、右眼画像ＲＶの領域分割されたブロックＲ
Ｂの中から探し出す。

【００１７】例えば、図３（ａ）に示す左眼画像ＬＶに
対して、右眼画像ＲＶとして、図３（ｂ）、（ｃ）、
（ｄ）、（ｅ）のそれぞれに示すような位置にあるブロ
ックＲＢを抽出し、左眼画像ＬＶと右眼画像ＲＶの相関
が最も高いときのブロックＲＢのシフト量を調べる。こ
こで、相関が高いとは、左眼画像ＬＶと右眼画像ＲＶの
それぞれを構成する要素画像が一致若しくは類似と判断
できる確率が高いことをいう。図３（ａ）〜（ｅ）にお
いては、図３（ｄ）のシフト量１．０の位置が最も相関
が高い（相関＝１．０）ので、図３（ａ）の左眼画像Ｌ
Ｖの着目ブロックＬＷＢと、図３（ｄ）の右眼画像ＲＶ
の画像ブロックＲＢで、図２に示す立体像Ｉが形成され
る。

【００１８】このとき形成される要素画像の表示面Ｐか
らの奥行き量（飛び出し量又は引き込み量）は、シフト
量１．０に基づいて決定される。シフト量１．０の場合
は、着目ブロックＬＷＢと、相関の高いブロックＲＢと
で形成される立体像Ｉは、観察者から見て表示面Ｐより
も所定量だけ奥側に位置することになる。図２に示すよ
うに、例えば、相関が最も高いときのシフト量がゼロの
場合は、着目ブロックＬＷＢと、相関の高いブロックＲ
Ｂとで形成される立体像Ｉは表示面Ｐよりも前側にある
とする。このようにして、右眼映像ＲＶと左眼映像ＬＶ
のすべてのブロックＬＢ、ＲＢの奥行き量を抽出し、コ
ンテンツ三次元情報とする。一方、撮像手段４で撮影し
た観察者Ｗの像についても左右の撮像カメラ４ａ、４ｂ
で撮影した二つの映像から、前記と同様にして観察者Ｗ
の三次元情報（観察者三次元情報）を取得する。

【００１９】次に、この対話型映像操作装置１において
行われる処理について図１、図４、図５を用いて説明す
る。なお、図４（ａ）、（ｂ）、（ｃ）及び図５
（ａ）、（ｂ）、（ｃ）は観察者の顔の向きに合わせて
表示される立体映像が変化する場合を説明する模式図で
ある。

【００２０】まず、対話型映像操作装置１は、図１に示
す撮像手段４の撮像カメラ４ａ、４ｂで観察者Ｗの撮影
を開始する。それと同時に対話型映像操作装置１は、表
示部２に二眼式立体映像を処理して得られる映像コンテ
ンツを表示する。初期状態として、例えば図４（ａ）に
示すように観察者Ｗが表示部２に正対している場合は、
画像処理手段５が、撮像手段４で撮影した観察者Ｗの像
に、例えばブロックマッチング法を用いて観察者Ｗの頭
部の三次元情報を抽出し、観察者三次元情報として三次
元情報演算処理手段６に送る。また、その一方で、画像
処理手段５は、記憶手段３から二眼式立体映像を取得し
て、その全体、若しくは、変化する部分についての三次
元情報をブロックマッチング法を用いて抽出し、コンテ
ンツ三次元情報として三次元情報演算処理手段６に送
る。

【００２１】三次元情報演算処理手段６は、取得した観
察者三次元情報及びコンテンツ三次元情報を同じ座標系
に投影する。例えば、図４（ｂ）に示すような右側面Ｒ
Ｔ、左側面ＬＴにより形成される奥行き面ＦＴを有する
立体映像ＩＴに対する観察者Ｗの視点ＷＰ、観察者Ｗが
映像を観察している観察方向である視軸ｄ１を演算す
る。そして、三次元情報演算処理手段６は、視点ＷＰ、
及び、視軸ｄ１に関する情報を視点情報（操作情報）と
して、観察者三次元情報並びにコンテンツ三次元情報と
共に、立体映像コンテンツ制御手段７に出力する。

【００２２】立体映像コンテンツ制御手段７は、コンテ
ンツ三次元情報と、視点情報から、視線ＶＬ（図４
（ｂ）参照）を演算し、視軸ｄ１と視線ＶＬに基づいて
立体映像ＩＴの三次元形状を破線で示す投射面ＰＰに投
影して、図４（ｃ）に示すような、二次元で表された右
側面ＲＰ、左側面ＬＰ、並びに、奥行き面ＦＰを有する
二次元形状の投射図ＩＴ１を作成する。そして、この投
影図ＩＴ１が、表示部２で映像コンテンツとして表示さ
れる。

【００２３】次に、この投影図ＩＴ１を見た観察者Ｗ
が、図５（ａ）に示すように、所定角度θだけ左を向く
と、撮像手段４で撮影した画像から画像処理手段５が、
観察者Ｗの頭部の新しい観察者三次元情報を抽出する。
この新しい観察者三次元情報は、三次元情報演算処理手
段６に送られ、図５（ｂ）に示すように、観察者Ｗの動
きに伴い変化した観察者Ｗの新しい視軸ｄ２が演算され
る。この視軸ｄ２を含む視点情報が立体映像コンテンツ
制御手段７に送られ、視線ＶＬを演算して、この視軸ｄ
２に基づいて、立体映像ＩＴの三次元形状を投影面ＰＰ
に投影する。これにより図５（ｃ）に示すような二次元
の投影図ＩＴ２が得られ、この投影図ＩＴ２は、表示部
２で映像コンテンツとして表示される。以降は観察者Ｗ
の向きに合わせて、前記の処理を繰り返して、表示部２
で表示される映像コンテンツの一部又は全部を変化させ
る。

【００２４】このようにして観察者Ｗの顔の動きに合わ
せて映像コンテンツを変化させると、観察者Ｗは特別な
道具を装着しなくても映像コンテンツを操作することが
できる。また、観察者Ｗの操作を検知するために三次元
情報を抽出する処理を、映像コンテンツの三次元情報の
抽出にも活用することで、コンピュータグラフィックス
以外の実際の映像を映像コンテンツとして使用すること
が可能になる。

【００２５】また、このような対話型映像操作装置１の
応用例として、図６（ａ）、（ｂ）に示すような観察者
Ｗに向かってくる気球Ｆを掴むゲーム装置を構成するこ
とも可能である。この場合は、映像コンテンツとして、
背景と、ランダムに移動速度や、位置が決定された気球
Ｆのデータが図１に示す記憶手段３に記憶されており、
随時処理されて表示部２に表示される。表示部２には気
球Ｆが立体的に表示されるので、観察者Ｗには、気球Ｆ
が遠方から向かってくるように感じられる。そして、図
６（ａ）に示すように、観察者Ｗは、気球Ｆが自己の手
の届く距離に来たと判断したときに、手（右手及び／又
は左手）で掴む動作を行い、そのタイミングにより得点
が加算される。なお、実際には、図６（ｂ）に示すよう
に、観察者Ｗの手の位置と、表示部２との間には所定の
距離が保たれたままである。

【００２６】このような場合の対話型映像操作装置１で
行われる処理について説明する。まず、画像処理手段５
は、撮像手段４で撮影した観察者Ｗの手の三次元座標を
観察者三次元情報として抽出する。また、同様に、画像
処理手段５は、記憶手段３に記録された気球Ｆや、背景
の映像からなる立体映像コンテンツの三次元座標をコン
テンツ三次元情報として抽出する。三次元情報演算処理
手段６は、画像処理手段５から取得した観察者三次元情
報とコンテンツ三次元情報から、気球Ｆの三次元座標
と、観察者Ｗの手の三次元座標を同じ座標系に配置す
る。そして、三次元情報演算処理手段６は、観察者Ｗの
手の三次元座標と気球Ｆの三次元座標を比較し、両者が
ほぼ一致していたら観察者Ｗが気球Ｆを掴んだと判定す
る。一方、両者が所定範囲内で一致しない場合は、観察
者Ｗが気球Ｆを掴み損ねたと判定する。どちらの場合に
おいても判定結果を操作情報として立体映像コンテンツ
制御手段７に送る。また、図示しない積算手段で得点を
計算する。

【００２７】立体映像コンテンツ制御手段７では、操作
情報や、得点の変化に基づいて、気球Ｆの追加や、削除
等、映像コンテンツの一部又は全部を書き換えてレンダ
リングを行う。以降、観察者Ｗの手の動きに基づいて、
前記の処理を繰り返して得点や操作時間等を競う。この
ようにして対話型映像操作装置１を応用すると、多種多
様な映像コンテンツを活用し、高い臨場感を体感できる
ゲーム装置を制作することができる。

【００２８】なお、本発明は実施の形態に限定されず
に、広く応用することが可能である。例えば、図７
（ａ），（ｂ）に示すように撮像手段４を設けずに観察
者Ｗに三次元センサＳ１〜Ｓ６を取り付けて、三次元セ
ンサＳ１〜Ｓ６で検出した情報に基づいて観察者三次元
情報を取得することも可能である。図７（ａ）には観察
者Ｗの頭部に三次元センサＳ１を、両手首付近に三次元
センサＳ２，Ｓ３を、腰部に三次元センサＳ４を、両足
の足首付近に三次元センサＳ５，Ｓ６を取り付けて、そ
れぞれからの信号をセンシング装置１１で集める構成が
示してあり、センシング装置１１で処理されたデータ
は、図１に示す画像処理手段５や、三次元情報演算処理
手段６に出力され、観察者Ｗの三次元情報の抽出に用い
られる。対話型映像操作装置１は、全ての三次元センサ
Ｓ１〜Ｓ６を構成要件とする必要はなく、映像コンテン
ツに合わせて一つ以上の三次元センサＳ１〜Ｓ６を適宜
選択して活用できるように構成することが望ましい。さ
らに、操作情報として視点情報や手の位置を取得する替
わりに、撮像手段４、及び／又は、三次元センサＳ１〜
Ｓ６を用いて観察者Ｗの足踏み動作や、飛び上がるタイ
ミングを取得しても良い。観察者Ｗが足踏みをする量や
早さで表示部２に表示される映像コンテンツの変化量や
変化速度を変化させたり、観察者Ｗが飛び上がるタイミ
ングで映像コンテンツ上の障害物を飛び越えたりするこ
とが可能になる。

【００２９】また、立体映像コンテンツの制作にあたり
三次元センサで、被写体の三次元情報を取得し、記憶手
段３に映像コンテンツのデータと共に三次元センサで取
得した三次元情報を記録することも可能である。どちら
の場合も画像処理を迅速に行えるようになるという利点
を有する。さらに、対話型映像操作装置１は、記憶手段
３に記憶されている映像コンテンツを処理する替わり
に、ネットワーク等を介して取得した映像コンテンツを
画像処理手段５等でリアルタイムに処理しながら表示部
２で表示させる構成にすることも可能である。このよう
な構成にすると、多種多様な映像コンテンツを表示した
り、処理することが可能になる。

【００３０】

【発明の効果】本発明の請求項１に係る発明によれば、
観察者の動作や姿勢を撮像手段で撮影し、画像処理を施
すことで観察者の操作を検出する対話型映像操作装置と
したので、観察者が動作検出用の道具を装着しなくても
映像コンテンツの操作を行うことが可能になる。従っ
て、臨場感を高めることが可能になる。また、本発明の
請求項２に係る発明によれば、映像コンテンツは視差角
を持って撮影された二つの画像から制作することにした
ので、実写映像を含めた多種多様な映像コンテンツの操
作が可能になる。これにより、対話型映像操作装置を様
々な用途に応用することが可能になる。そして、本発明
の請求項３に係る発明によれば、観察者三次元情報と、
コンテンツ三次元情報を用いてレンダリングを変更する
映像コンテンツの表示方法としたので、観察者は、道具
を用いることなく、多種多様な映像コンテンツの操作を
行うことができるようになる。

【図面の簡単な説明】

【図１】本発明の実施形態における対話型映像操作装置
の構成を示すブロック図である。

【図２】二眼式立体映像から奥行き量を抽出する方法を
示す説明図である。

【図３】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）奥行
き量を抽出する際にブロックマッチング法を用いた場合
を説明する図である。

【図４】観察者が表示部に正対している場合の、（ａ）
概略平面図、（ｂ）三次元情報の演算を説明する概念
図、（ｃ）レンダリングされた映像コンテンツを示す図
である。

【図５】観察者が所定角度だけ向きを変えた場合の、
（ａ）概略平面図、（ｂ）三次元情報の演算を説明する
概念図、（ｃ）レンダリングされた映像コンテンツを示
す図である。

【図６】（ａ）、（ｂ）対話型映像操作装置の応用例を
示す概略図である。

【図７】（ａ）、（ｂ）対話型映像操作装置の応用例を
示す概略図である。

【符号の説明】

１対話型映像操作装置２表示部３記憶手段４撮像手段５画像処理手段６三次元情報演算処理手段７立体映像コンテンツ制御手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者岡野文男東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者山之上裕一東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者花里敦夫東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内Ｆターム(参考） 2C001 BA03 BC03 BC07 BC08 CA09 CB06 CC01 5B050 AA09 BA08 BA09 BA11 CA07 EA24 EA27 EA30 FA02 FA06 FA08 5C061 AA06 AA20 AB04 AB08 AB14 AB18 AB21

Claims

【特許請求の範囲】

【請求項１】表示部に表示される映像コンテンツに対
して観察者が行った動作を操作量として取得し、前記操
作量に基づいて映像コンテンツを変化させる対話型映像
操作装置において、前記観察者の像を撮影する撮像手段と、得られた前記像
から前記観察者の奥行き量を抽出する画像処理手段と、
前記奥行き量に基づいて前記操作量を求める三次元情報
演算処理手段と、前記操作量に応じて前記映像コンテン
ツのレンダリングを変更する立体映像コンテンツ制御手
段とを備えることを特徴とする対話型映像操作装置。
【請求項２】前記映像コンテンツは、視差角を持って
撮影された二つの画像に対して前記画像処理手段で、奥
行き量を抽出することにより制作されることを特徴とす
る請求項１に記載の対話型映像操作装置。
【請求項３】観察者の動作に合わせて映像コンテンツ
を表示する映像コンテンツの表示方法であって、前記観察者を撮影した映像に基づいて前記観察者の三次
元情報である観察者三次元情報を取得する工程と、前記観察者三次元情報と前記映像コンテンツの三次元情
報であるコンテンツ三次元情報から前記映像コンテンツ
のレンダリングを決定する工程と、前記観察者の動作に基づいて変化する前記観察者三次元
情報に基づいて、前記映像コンテンツのレンダリングを
変更させる工程と、を有することを特徴とする映像コンテンツの表示方法。