JP2003346190A

JP2003346190A - 画像処理装置

Info

Publication number: JP2003346190A
Application number: JP2002155979A
Authority: JP
Inventors: Kenji Morita; 憲司守田; Hiroaki Sato; 宏明佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-05-29
Filing date: 2002-05-29
Publication date: 2003-12-05

Abstract

(57)【要約】【目的】演技者に直接的に別の演技者の動きや動作を
仮想キャラクタとして見せることができる画像処理装置
を提供すること。【構成】撮影手段と、背景を構成するセットと、第２
の画像処理装置に出演者の位置姿勢を送信する手段と、
第２の出演者の位置姿勢を受信する手段と、ＨＭＤと、
トラッキング手段と、トラッキング手段と、撮影手段視
点でのＣＧ描画手段と、合成する画像合成手段と、ＨＭ
Ｄ視点でのＣＧ描画手段と、ＨＭＤから見える現実世界
にＣＧを合成する画像合成手段と、を有する第１の画像
処理装置を備え、第１の画像処理装置以外に該第１の画
像処理装置に出演者の位置姿勢を送信する手段と、第１
の画像処理装置から第２の出演者の位置姿勢を受信する
手段と、第２の出演者が装着するＨＭＤと、ＨＭＤ及び
第２の出演者の位置・姿勢を測定するトラッキング手段
と、ＨＭＤ視点でのＣＧ描画手段と、有する第２の画像
処理装置とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写画像とＣＧの
合成画像を生成することを目的とした撮影を行う画像処
理装置に関するものであり、映画やテレビ番組の撮影や
そのリハーサル、演劇、ゲーム、カラオケ、その他にお
いて、スタジオと家庭或はそれ以外の視聴場所において
新規なサービスを提供するために使用するものである。

【０００２】

【従来の技術】従来よりスタジオで撮影する映像と、別
途作成されたＣＧ映像若しくは別の場所で撮影された映
像を合成し、この合成映像をビデオとして録画或は放送
していた。この場合、スタジオでの撮影はブルーバック
と呼ばれる青又は緑１色の壁を背景として行われ、この
ブルーバックの部分に別の映像を合成するクロマキーと
呼ばれる方法で作成されていた（図９) 。

【０００３】又、実写とＣＧを合成する応用システムと
しては、例えば特開平１１−３０９２６９号や特開平１
１−８８９１３号が提案されている。これらにおいては
実写映像を背景として用い、その上にＣＧ映像等を重畳
することにより合成処理を行っていた。

【０００４】更に、このように撮影される映像の利用形
態としては、インターネットを用いた双方向テレビの実
験が色々と行われるようになってきている。

【０００５】

【発明が解決しようとする課題】前述のブルーバックの
ような方法では、合成される映像が演技者に見えないた
め、演技が不自然になったり、演技の自由度が少ない等
の問題があった。

【０００６】又、特開平１１−３０９２６９号や特開平
１１−８８９１３号の方法では、実写部分と合成される
映像の関係が固定的な場合には問題がないが、演技者・
カメラ・仮想物体等が大幅且つ複雑に動く場合に正しい
合成映像を得ることは困難であった。

【０００７】一方、近年、頭部装着型のディスプレイ装
置やWearableコンピュータ等の発達により、合成映像を
実時間で見ながら演技をする可能性が出てきたが、この
ような装置を用いた場合のユーザサービスについては未
だ具体的な提案がなされていなかった。

【０００８】これまでの画像合成装置では、演技者に直
接的に別の演技者の動きや動作を仮想キャラクタとして
見せ、又、放送用等の画像として撮影するという機能は
備わっておらず、仮想キャラクタの自然な動きを元に演
技者が自然な演技をしたり、仮想キャラクタの自然な動
きを映像として撮影することはできなかった。

【０００９】本発明は上記問題に鑑みてなされたもの
で、その目的とする処は、演技者に直接的に別の演技者
の動きや動作を仮想キャラクタとして見せることができ
るとともに、放送用等の画像として撮影したり、仮想キ
ャラクタの自然な動きを元に演技者が自然な演技をした
り、仮想キャラクタの自然な動きを映像として撮影する
ことができる画像処理装置を提供することにある。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、撮影手段と、背景を構成するセットと、
第２の画像処理装置に出演者の位置姿勢を送信する手段
と、第２の画像処理装置から第２の出演者の位置姿勢を
受信する手段と、出演者や撮影に関わるスタッフが装着
するＨＭＤと、撮影手段の位置・姿勢を測定するトラッ
キング手段と、ＨＭＤ及び出演者の位置・姿勢を測定す
るトラッキング手段と、撮影手段視点でのＣＧ描画手段
と、撮影手段の画像とＣＧを合成する画像合成手段と、
ＨＭＤ視点でのＣＧ描画手段と、ＨＭＤから見える現実
世界にＣＧを合成する画像合成手段と、を有する第１の
画像処理装置を備え、第１の画像処理装置以外に該第１
の画像処理装置に出演者の位置姿勢を送信する手段と、
第１の画像処理装置から第２の出演者の位置姿勢を受信
する手段と、第２の出演者が装着するＨＭＤと、ＨＭＤ
及び第２の出演者の位置・姿勢を測定するトラッキング
手段と、ＨＭＤ視点でのＣＧ描画手段と、有する第２の
画像処理装置とを備えることを特徴とする。

【００１１】

【発明の実施の形態】以下に本発明の実施の形態を添付
図面に基づいて説明する。

【００１２】図１は本発明の構成を示すものであり、同
図において、１０１は撮影場所となるスタジオ、１０２
はスタジオに置かれたセット、１０３は演技者、１０４
は撮影用のカメラ、１０５は演技者の装着する頭部装着
型ディスプレイ装置（Head-Mounted Display、以下ＨＭ
Ｄと略す）、１０６はＨＭＤに組み込まれた位置センサ
ー、１０７は演技者の見る映像及びカメラ映像に重畳さ
れる仮想物体、１０８演技者の見る映像を生成する処理
装置、１０９はカメラ映像に仮想物体の映像を重畳する
処理装置、１１０は仮想物体の状態を操作するオペレー
タ装置、１１１は１０８・１０９・１１０・１２８を繋
ぐネットワーク、１１２は１０９の出力を蓄積するビデ
オ装置、１１３は１０９の出力を発信或は放映する伝送
装置である。

【００１３】１２１はＶＲスタジオで、ＭＲスタジオ１
０１とは離れた場所に設置可能である。１２５はＶＲス
タジオの演技者が装着するＨＭＤ、１２６はＨＭＤ１２
５に組み込まれた位置センサー、１２７は演技者１２５
の見る映像に重畳される演技者１０３の仮想の映像であ
る。１２８は演技者１２５の見る映像を生成する処理装
置である。

【００１４】位置センサー１０６としては、例えば磁気
方式の位置・方位センサー、米国ポヒマス社のFastrak
といった装置が利用可能である。又、処理装置１０８又
は１０９は、ＰＣとビデオキャプチャーカード及びＣＧ
描画機能のあるビデオカードで構成することができる。
オペレータ装置１１０は一般のＰＣで構成することがで
きる。

【００１５】処理装置１０８、ＨＭＤ１０５等は演技者
或は同時観察するスタッフの人数に応じて増やすことが
でき、処理装置１０９、カメラ１０４等は撮影用のカメ
ラの数に応じて増やすことが可能である。

【００１６】図１０はＨＭＤ１０５の内部構成を示した
図である。

【００１７】ＨＭＤ１０５は表示装置であるとともに撮
像装置の機能も持つもので、外部から入ってくる光線を
画像センサーに導くプリズム光学素子１１０１と光線を
受け撮像する撮像素子１１０２、映像を提示する表示素
子１１０３と表示映像を目に導くプリズム光学素子１１
０４等から構成される。

【００１８】スタジオ１０１には、セット１０２が置か
れ、その中で演技者１０３が演技をする。演技者１０３
はＨＭＤ１０５を装着し、ＨＭＤ１０５には位置センサ
ー１０６が組み込まれ、その位置情報を出力する。同時
にＨＭＤ１０５には外界を撮影するカメラが組み込ま
れ、撮像された映像データを出力する。オペレータ装置
１１０はオペレータの操作により、仮想物体１０７を表
示したり、動かしたりする指示を受け、これをネットワ
ーク１１１を介して処理装置１０８・１０９・１２８に
伝達する。

【００１９】処理装置１０８は指示された仮想物体１０
７の状態とセンサー１０６等から得られる頭部の位置情
報に対応してＣＧ映像を生成し、これをＨＭＤ１０５か
ら得られる撮像データと合成し、合成映像をＨＭＤ１０
５へ出力する。演技者１０３はＨＭＤ１０５に映る映像
を見ることにより、あたかも仮想物体１０５がセット１
０２内にあるように観察することができる。カメラ１０
４は演技者１０３やセット１０２を含むスタジオ１０１
の様子を撮像し、撮影データを出力する。

【００２０】処理装置１０９は、オペレータ装置１１０
からの指示及び演技者１２３の動作による仮想物体１０
７の状態とカメラの位置姿勢に対応したＣＧ映像を生成
し、これをカメラ１０４から得られる映像データと合成
することにより出力映像を作成する。この出力映像はビ
デオ装置１１２で録画されたり、伝送装置１１３で放映
されたりすることで用いられる。

【００２１】ＶＲスタジオ１２１には、セットは置かれ
ていない。その中で演技者１２３が演技をする。演技者
１２３はＨＭＤ１２５を装着し、ＨＭＤ１２５には位置
センサー１２６が組み込まれ、その位置情報を出力す
る。同時にＨＭＤ１２５には外界を撮影するカメラが組
み込まれ、撮像された映像データを出力する。演技者１
０３の動きはネットワークを介して、処理装置１０８か
ら処理装置128 へ送られ、その位置姿勢情報及びセンサ
ー１２６等から得られる頭部の位置情報に対応してＣＧ
映像を生成し、これをＨＭＤ１２５から得られる撮像デ
ータと合成し、合成映像をＨＭＤ１２５へ出力する。

【００２２】演技者１２３は、ＨＭＤ１２５に映る映像
を見ることにより、あたかも演技者１０３がＶＲスタジ
オ１２１内にあるように観察することができる。又、Ｃ
Ｇによってスタジオセット１０２があたかも存在するか
のようの映像を重畳することも可能である。

【００２３】図１１は図１をより詳細に示したブロック
図である。

【００２４】１２０１は所謂シースルー機能を持つＨＭ
Ｄであり、撮像部と画像表示部を持つ。１２０２は画像
合成手段、１２０３はＨＭＤ視点でのＣＧ描画手段、１
２０４はＣＧオブジェクトの存在範囲を制御する禁則領
域処理手段、１２０６は位置センサー等を含む位置合わ
せ手段、１２０８はカメラ等の撮影手段、１２０９は画
像合成手段、１２１０はＣＧ描画手段、１２１１は画像
表示手段、１２１２は位置姿勢情報送信手段、１２１３
は位置姿勢受信手段、１２１４は第２の画像処理装置に
よって構成される手段で、別途図１３に示す。

【００２５】ＨＭＤ１２０１で撮像された画像は、画像
合成手段１２０２でＣＧ描画手段１２０３の生成したＣ
Ｇ画像と合成され、得られた合成画像はＨＭＤ１２０１
に表示される。又、ＨＭＤ１２０１で撮像された画像
は、位置合わせ手段１２０６に送られ、位置合わせ手段
１２０６はその情報と位置センサー等から得られるトラ
ッキング情報を元にＨＭＤ（即ち頭部）の位置・方向を
計算し、ＣＧ描画手段１２０３に伝達する。

【００２６】ＣＧ描画手段１２０３は、位置合わせ手段
１２０６より得られる頭部の位置・方向情報と位置姿勢
受信手段１２１３より得られる位置姿勢データを元にＨ
ＭＤ視点でのＣＧ画像を描画する。撮影手段１２０８で
撮像された画像は、画像合成手段１２０９でＣＧ描画手
段１２１０の生成したＣＧ画像と合成され、得られた合
成画像は画像表示手段１２１１に表示される。又、撮影
手段１２０８で撮像された画像は位置合わせ手段１２０
６に送られ、位置合わせ手段１２０６はその情報と位置
センサー等から得られるトラッキング情報を元に撮影手
段（即ちカメラ）の位置・方向を計算し、ＣＧ描画手段
１２０９に伝達する。

【００２７】ＣＧ描画手段１２０９は、位置合わせ手段
１２０６より得られるカメラの位置・方向情報とＣＧデ
ータ管理手段１２０７より得られるＣＧデータを元にカ
メラ視点でのＣＧ画像を描画する。又、位置合わせ手段
１２０６は、得られたＨＭＤ（即ち頭部）の位置・方向
データと撮影手段（即ちカメラ）の位置・方向データを
位置姿勢情報送信手段１２１２に伝達し、位置姿勢情報
送信手段１２１２はこれを第２の画像処理装置１２１４
に伝達する。

【００２８】図１３は第２の画像処理装置をより詳細に
示したブロック図である。

【００２９】１５０１は所謂シースルー機能を持つＨＭ
Ｄあり、撮像部と画像表示部を持つ。１５０３はＨＭＤ
視点でのＣＧ描画手段、１５０６は位置センサー等を含
む位置合わせ手段、１５１２は位置姿勢情報送信手段、
１５１３は位置姿勢受信手段、１５１４は第１の画像処
理装置によって構成される手段で、別途図１１に示す。

【００３０】位置合わせ手段１２０６は、位置センサー
等から得られるトラッキング情報を元にＨＭＤ（即ち頭
部）の位置・方向を計算し、ＣＧ描画手段１５０３に伝
達する。ＣＧ描画手段１５０３は、位置合わせ手段１５
０６より得られる頭部の位置・方向情報と位置姿勢受信
手段１５１３より得られる演技者１０３の位置姿勢を元
にＨＭＤ視点でのＣＧ画像を描画する。又、位置合わせ
手段１２０６は得られたＨＭＤ（即ち頭部）の位置・方
向データと撮影手段（即ちカメラ）の位置・方向データ
を位置姿勢情報送信手段１５１２に伝達し、位置姿勢情
報送信手段１５１２はこれを第１の画像処理装置１５１
２に伝達する。

【００３１】尚、ＨＭＤ１２０１が外界を透過的に見ら
れるように構成することによりシースルー機能を実現す
ること（光学シースルー方式）も可能であり、この場合
には上述の画像合成手段１２０２は不要となる。

【００３２】又、位置合わせ手段１２０７は、例えば機
械式のエンコーダ等の三次元での位置・姿勢を検出する
手段から構成することや前述した磁気方式の位置センサ
ー或は光学式或は画像認識等による位置合わせから構成
することができる。撮影手段１２０８に対する位置合わ
せ手段とＨＭＤ１２０１に対する位置合わせ手段として
は別々のものを用いることも可能である。

【００３３】図６は機械式エンコーダを用いたカメラ撮
影装置の一例である。各ジョイントにはロータリーエン
コーダ等の計測装置６０３が付随し、カメラ６０１を載
せた台車６０２の位置からカメラの位置及び方位を計測
して出力することができる。尚、画像合成手段１２０８
からの出力をカメラのファインダ部に出すことも可能で
あり、これによりカメラマンにも仮想の世界を合わせた
カメラワークが可能となる。

【００３４】図７は磁気式の位置・方位センサーを用い
た手持ちカメラ撮影装置の一例である。カメラ７０１に
は固定的に磁気の受信機（計測器）７０２が装着され、
計測された磁気状態からカメラの三次元的な位置及び方
位を計算する。前述したように、このように用いること
ができる機器として、例えば、米国ポヒマス社のFastra
k といった装置がある。ＨＭＤについても同様の方法で
位置・方位計測を行う。このような手持ち式の場合には
カメラマンはＨＭＤ７０３（或はその片目版）を装着
し、このＨＭＤに画像合成手段の出力を表示することで
仮想の世界に合わせたカメラワークが可能となる。

【００３５】尚、ズーム可能なカメラ装置の場合には、
ズームレンズのズーム情報も外部の処理装置に伝達す
る。

【００３６】図２は演技者１０３の装着したＨＭＤ１０
５に表示される映像が作成される過程を説明する流れ図
であり、Ｓ２１０よりＳ２１２は近年当該分野で一般化
した並列処理プログラムの技法を用いて別々に並行動作
するスレッドとして実装されるものである。

【００３７】処理装置１０８内での処理プロセスは、先
ずオペレータ装置１１０から得られた指示に応じてＣＧ
を描画するための状態フラグ（表示物体の種類、位置、
状態）を更新する内部状態の更新する（ステップＳ２０
１）。

【００３８】次いで、頭部位置の決定処理から得られる
頭部位置情報を内部に取り込む（ステップＳ２０２）。
次いで、ビデオキャプチャカードから得られた最新の画
像を背景画像として取り込む（ステップＳ２０３）。次
に、背景画像の上にＳ２０１で設定された内部状態に応
じてＣＧデータを更新し、Ｓ２０２で設定された頭部位
置をＣＧ生成の仮想カメラとしてＣＧを描画する（ステ
ップＳ２０４）。最後に描画結果の合成映像を表示する
ＣＧコマンドをビデオカードに与えることでＨＭＤに合
成映像が表示される（ステップＳ２０５）。

【００３９】ここで、Ｓ２１０はオペレータ装置からの
指示データがネットワーク１１１を介して送信されてく
るのを受け取るスレッドであり、Ｓ２１１は位置センサ
ー１０６からの情報を受け取り、ビデオキャプチャーカ
ードから得られる画像データと合わせて頭部の位置を決
定するスレッド、Ｓ２１２は定期的にビデオキャプチャ
ーカードから画像データを読み出す画像キャプチャスレ
ッドである。

【００４０】図３は頭部位置決定の流れ図であり、Ｓ３
０１はセンサー情報更新ステップ、Ｓ３０２は位置情報
計算ステップ、Ｓ３０３は位置情報の受け渡しステッ
プ、Ｓ３１０はセンサーからのデータ読み込みのスレッ
ド、Ｓ３１１はマーカ位置の通知を受け取るスレッドで
ある。

【００４１】ここで，センサーからのデータは通常のＲ
Ｓ２３２Ｃのポートへのデータ通信であり、Ｓ３１０で
はこのポートのデータを定期的に読み出している。又、
Ｓ３１１の通知は一般的なネットワーク通信プロトコル
（TCP-IP）で通信される。

【００４２】処理装置１０８は、先ず、位置センサーか
ら得られる最新の位置情報に頭部位置を更新する（ステ
ップＳ３０１）。次いで、ＨＭＤ１０５のカメラから得
られた画像データから特定のマーカ画像を認識すること
で頭部位置の補正情報を得、これに応じて頭部の方向デ
ータを更新する（ステップＳ３０２）。最後に得られた
頭部の位置（方向を含む）データを頭部位置決定スレッ
ドＳ２１１に受け渡す（ステップＳ３０３）。

【００４３】頭部の方向の補正は、先ず、位置センサー
から得られたワールド座標系での頭（視点）の三次元位
置及び方位とマーカの三次元位置からマーカが画像中の
どこに見えるかの予測値（ｘ0 ，ｙ0 ）を計算する、次
いで、この予測値（ｘ0 ，ｙ0 ）から画像中の実際のマ
ーカの位置（ｘ1 ，ｙ1 ）に向う移動ベクトルを計算す
る。最後にこのベクトルを見込む角度を補正値として、
これに相当する分だけ頭部の方位を回転させた値をＨＭ
Ｄの方向として出力する。

【００４４】図５は位置計測に用いるために、スタジオ
内に貼りこむマーカの一例を示した図である。マーカに
は単色のものを用いることも可能であるが、これは３つ
の部分からなり、それぞれ特定の大きさを持つ矩形の色
票を特定の位置関係に配置したものである。それぞれの
色票には任意の色を選ぶことができる。このように構成
することにより、より多種類のマーカを安定的に検出す
ることが可能となる。

【００４５】図４はマーカ位置決定のフローを示した流
れ図であり、Ｓ４１０は画像認識の対象となる画像デー
タを得るステップであり、画像キャプチャーカードから
画像を定期的に読み出すスレッドとなっている。Ｓ４０
１は画像データの更新ステップ、Ｓ４０２は閾値処理の
ステップ、Ｓ４０３はラベリングのステップ、Ｓ４０４
は面積計算のステップ、Ｓ４０５は重心計算のステッ
プ、Ｓ４０６はパターン判定のステップ、Ｓ４０７は計
算結果である位置情報を受け渡すステップである。

【００４６】処理装置１０８或は１０９は、先ず最新の
画像データにデータを更新し( ステップＳ４０１) 、次
いで登録されたマーカを判別するための幾つかの色情報
によって画像を閾値処理する（ステップＳ４０２）、次
いで得られた２値画像を連結化してラベリング処理し
（ステップＳ４０３）、各ラベルの領域の面積を計数し
（ステップＳ４０４）、重心位置を計算する（ステップ
４０５）。次いで、各ラベルの面積とラベル間の重心位
置の関係から登録されたマーカのパターンと一致するか
の照合を行い、照合された中心のラベルの重心をもって
マーカ位置として出力する。

【００４７】出力されたマーカ位置の情報は、ＨＭＤ１
０５或はカメラ１０４の方位の補正に利用され、ＨＭＤ
・カメラの位置及び方位の情報をＣＧレンダリングの際
の仮想カメラの位置・方位とすることで現実世界と位置
合わせされたＣＧ画像が生成される。

【００４８】図８はカメラ１０４或は撮影手段１２０８
から得られる映像を処理する処理装置１０９の動作フロ
ーを示す流れ図であり、Ｓ８１０よりＳ８１２は近年当
該分野で一般化した並列処理プログラムの技法を用いて
別々に並行動作するスレッドとして実装されるものであ
る。

【００４９】処理装置１０９内での処理プロセスは、先
ずオペレータ装置１１０から得られた指示に応じてＣＧ
を描画するための状態フラグ（表示物体の種類、位置、
状態）を更新する内部状態の更新する（ステップＳ８０
１）。次いで、カメラ位置の決定処理から得られるカメ
ラ位置情報を内部に取り込む（ステップＳ８０２）。次
いで、ビデオキャプチャカードから得られた最新の画像
を背景画像として取り込む（ステップＳ８０３）。次い
で、背景画像の上にＳ８０１で設定された内部状態に応
じてＣＧデータを更新し、Ｓ８０２で設定されたカメラ
位置をＣＧ生成の仮想カメラとしてＣＧを描画する（ス
テップＳ８０４）。最後に描画結果の合成映像を表示す
るＣＧコマンドをビデオカードに与えることで表示装置
に合成映像が表示される（ステップＳ８０５）。

【００５０】ここで、Ｓ８１０はオペレータ装置からの
指示データがネットワーク１１１を介して送信されてく
るのを受け取るスレッドであり、Ｓ８１１は図６或は図
７のカメラ装置からの情報を受け取り、ビデオキャプチ
ャーカードから得られる画像データと合わせてカメラの
位置を決定するスレッド、Ｓ８１２は定期的にビデオキ
ャプチャーカードから画像データを読み出す画像キャプ
チャスレッドである。

【００５１】尚、本実施の形態では、処理装置１０８及
び１０９の出力であるリアルタイムの合成映像を装置全
体の出力としているが、撮像手段（或はＨＭＤ）から得
られる映像データと撮像手段（或はＨＭＤ）の位置・姿
勢を示すデータの両者を分岐して出力することで、所謂
ポストプロダクション（時間を掛けて後処理で最終生成
物となるビデオ映像を作成する工程）で用いるデータを
同時に得ることができる。

【００５２】又、処理装置１０８或は１０９、オペレー
タ装置１１０を構成するハードウェアは一般的なコンピ
ュータと周辺機器の組み合わせで実現できる。図１２に
簡単な模式図を示す。

【００５３】図１２は処理装置１０８のハードウェア構
成の一例を示したものであり、実際に撮像・表示を行う
ＨＭＤとコンピュータ、より詳細には、プログラムを格
納したＨＤ装置及びメモリ、映像データを取り込むため
の映像キャプチャカード、ＣＧ描画や画像合成を行うた
めのビデオグラフィックカード、位置センサーとの間の
情報授受のためのシリアルＩ／Ｆ、ネットワークと接続
するためのネットワークＩ／Ｆ、プログラムによる各種
の処理を実行するＣＰＵ、プログラムを媒体からロード
するためのFD装置等から成る。

【００５４】処理装置１０９はＨＭＤの代わりに撮影装
置（カメラ）からの入力を受け、画像表示装置へ映像信
号を出力する。オペレータ装置１１０の場合にはＨＭＤ
及び画像キャプチャカードは不要となる。

【００５５】本発明の実施の形態を実現するプログラム
はＦＤ装置やネットワーク等を介してプログラム媒体か
らロードすることができる。

【００５６】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、演技者に直接的に別の演技者の動きや動作を仮
想キャラクタとして見せることができるとともに、放送
用等の画像として撮影したり、仮想キャラクタの自然な
動きを元に演技者が自然な演技をしたり、仮想キャラク
タの自然な動きを映像として撮影することができる。

【００５７】又、各スタジオをインターネット経由等で
接続することにより、家庭等遠隔地にいる演技者が仮想
キャラクタとして同時体験し、参加することができるよ
うになる。

【図面の簡単な説明】

【図１】本発明の構成を示す図である。

【図２】演技者の装着したHMD105に表示される映像が作
成される過程を説明する流れ図である。

【図３】頭部位置決定の流れ図である。

【図４】マーカ位置決定のフローを示した流れ図であ
る。

【図５】位置計測に用いるためにスタジオ内に貼りこむ
マーカの一例を示した図である。

【図６】機械式エンコーダを用いたカメラ撮影装置の一
例の図である。

【図７】磁気式の位置・方位センサーを用いた手持ちカ
メラ撮影装置の一例の図である。

【図８】カメラから得られる映像を処理する処理装置の
動作フローを示す流れ図である。

【図９】従来の画像処理装置の図である。

【図１０】ＨＭＤの内部構成を示した図である。

【図１１】図１の画像処理装置をより詳細に示したブロ
ック図である。

【図１２】処理装置のハードウェア構成の一例を示した
図である。

【図１３】図１の第２の画像処理装置をより詳細に示し
たブロック図である。

【符号の説明】

１０１ＭＲスタジオ１０２スタジオセット１０３演技者１０４撮影装置（カメラ）１０５ＨＭＤ１０６センサー１０７仮想物体１０８（ＨＭＤ用）処理装置１０９（カメラ用）処理装置１１０オペレータ装置１１１ネットワーク１１２蓄積手段１１３放送手段１２１ＶＲスタジオ１２３ＶＲスタジオの演技者１２５ＶＲスタジオの演技者のＨＭＤ１２６センサー１２７仮想キャラ１２８ＰＣor処理装置５０１マーカー色１５０２マーカー色２５０３マーカー色３６０１カメラ６０２カメラ雲台６０３機械式エンコーダ７０１手持ちカメラ７０２磁気式の位置・方位センサー７０３撮影者用ＨＭＤ９０２インターネット９０３ＢＳデジタル放送９０４一般家庭９０５インターネット端末９０６デジタルＴＶ端末（ＢＳデジタル端末）

フロントページの続きＦターム(参考） 2C001 BA01 BC00 BC08 CB08 CC03 5B050 AA09 BA06 BA09 BA11 BA18 EA19 EA27 FA02 FA06 5B057 AA20 CB13 CE08 CH01 CH14 DA16 5C022 CA01 CA02 5C023 AA11 AA37 AA38 BA01 BA11 CA03 CA06 DA03 DA08

Claims

【特許請求の範囲】

【請求項１】撮影手段と、背景を構成するセットと、
第２の画像処理装置に出演者の位置姿勢を送信する手段
と、第２の画像処理装置から第２の出演者の位置姿勢を
受信する手段と、出演者や撮影に関わるスタッフが装着
するＨＭＤと、撮影手段の位置・姿勢を測定するトラッ
キング手段と、ＨＭＤ及び出演者の位置・姿勢を測定す
るトラッキング手段と、撮影手段視点でのＣＧ描画手段
と、撮影手段の画像とＣＧを合成する画像合成手段と、
ＨＭＤ視点でのＣＧ描画手段と、ＨＭＤから見える現実
世界にＣＧを合成する画像合成手段と、を有する第１の
画像処理装置を備え、第１の画像処理装置以外に該第１
の画像処理装置に出演者の位置姿勢を送信する手段と、
第１の画像処理装置から第２の出演者の位置姿勢を受信
する手段と、第２の出演者が装着するＨＭＤと、ＨＭＤ
及び第２の出演者の位置・姿勢を測定するトラッキング
手段と、ＨＭＤ視点でのＣＧ描画手段と、有する第２の
画像処理装置とを備えることを特徴とする画像処理装
置。
【請求項２】第１の処理手段から出力される映像デー
タを放送する放送手段と、視聴者からの入力を受け付け
るサーバ手段と、サーバ手段の受け取った情報をシナリ
オの進行に反映させるオペレータ手段とを有することを
特徴とする請求項１記載の画像処理装置。