JP2002271694A

JP2002271694A - 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム

Info

Publication number: JP2002271694A
Application number: JP2001071124A
Authority: JP
Inventors: Yoshio Iizuka; 義夫飯塚; Hiroaki Sato; 宏明佐藤; Eita Ono; 英太小野; Taichi Matsui; 太一松井; Tomoaki Kawai; 智明河合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-03-13
Filing date: 2001-03-13
Publication date: 2002-09-20

Abstract

(57)【要約】【課題】現実世界と仮想世界との境界を取り払うこと
が可能な画像処理方法、画像処理装置、記憶媒体及びプ
ログラムを提供する。【解決手段】撮影パラメータを制御可能な撮影装置１
０１と、前記撮影パラメータを取得する位置・姿勢セン
サー１０２と、ＣＧ（コンピュータグラフィックス）デ
ータを管理するＣＧデータ管理部１０８と、前記ＣＧデ
ータを実世界に仮想的に配置するときのＣＧ幾何情報を
計算するＣＧ幾何情報計算部１１０と、撮影装置１０１
の視点からＣＧ画像を作成するＣＧ映像作成部１０９
と、実写画像とＣＧ画像とを合成する映像合成装置１１
３と、前記撮影パラメータ及び前記ＣＧ幾何情報を利用
して前記撮影パラメータを変更するデータ処理装置１０
７とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写画像（映像）
とＣＧ（コンピュータグラフィックス）画像（映像）と
を処理する画像処理方法、画像処理装置、スタジオ装
置、記憶媒体及びプログラムに関する。

【０００２】

【従来の技術】実写映像とＣＧ映像とを合成するための
従来技術には、以下のようなものがある。

【０００３】まず、実写映像の一部を切り出してＣＧ映
像に重ねる（または、実写映像を切り抜いた個所にＣＧ
映像を重ねる）方法があり、実写映像の切り出し方によ
って、クロマキー法、ロートスコーピング法、ディファ
レンスマッチング法等がある。

【０００４】クロマキー法は、ブルーバック撮影（均一
な青色或いは緑一色の壁から成る背景の前で対象物を撮
影）した後、背景色以外の領域を自動的に切り出す方法
で、これを図１９に示す。

【０００５】図１９において、１９０１はスタジオ、１
９０２は被写体、１９０３はカメラ、１９０４はカメラ
１９０３で撮影した映像、１９０５は別途作成されたＣ
Ｇ映像、１９０６は別の場所で撮影された映像、１９０
７は画像合成手段であるクロマキー、１９０８はクロマ
キー１９０７で合成された合成映像である。

【０００６】そして、スタジオ１９０１でのカメラ１９
０３による被写体１９０２の撮影は、ブルーバック１９
０９と呼ばれる青或いは緑一色の壁を背景として行わ
れ、このブルーバック１９０９の部分に別の映像１９０
５若しくは１９０６をクロマキー１９０７により合成
し、その合成画像１９０８をビデオとして録画或いは放
送するものである。

【０００７】また、ロートスコーピング法は、対象物が
映っている領域を手作業によって切り出す方法である。

【０００８】また、ディファレンスマッチング法は、最
初に撮影条件を記録しながら対象物を含む映像を撮影
し、次に記録した撮影条件を再現しながら（つまり、最
初と同じ撮影条件で）対象物を含まない映像を撮影した
後、２つの映像に差がある領域を自動的に切り出す方法
である。

【０００９】これらの従来技術の問題点を解決するため
の技術としては、特開２０００−２３０３７号が提案さ
れている。この特開２０００−２３０３７号では、撮影
中の対象物の３次元情報を測定し、測定された３次元情
報に基づいてＣＧ映像を合成し、その合成映像を表示す
ることにより、撮影現場において合成映像を見ながら役
者が演技したり、ＣＧキャラクターを動かすことができ
る。

【００１０】また、上述した従来技術の問題点を解決す
るための技術としては、モーションコントロールカメラ
を用いる方法が提案されている。この方法では、予め作
成されたシナリオに従って撮影時刻毎の撮影パラメータ
（撮影手段であるカメラの位置、向き、ズーム率、フォ
ーカス値等）が決定され、この時刻毎の撮影パラメータ
に従ってカメラが移動しながら撮影を行う。その一方
で、ＣＧ映像も前述のシナリオに従って作成されるの
で、実写映像の動きとＣＧ映像の動きとを正確に一致さ
せることができる。

【００１１】仮想現実を作成するという観点から前述の
モーションコントロールカメラを用いる方法を含むいく
つかの従来技術の問題点を解決するための技術として、
特開平１０−２０８０７３号が提案されている。この特
開平１０−２０８０７３号では、移動ロボットにカメラ
を取り付け、前記移動ロボットの動きに合わせて実写映
像にＣＧ映像を重ねることにより、実写映像の動きとＣ
Ｇ映像の動きとを同期させることが容易になる。例え
ば、他の移動ロボットの実写映像を隠蔽するようにＣＧ
キャラクターを描画する場合、出演者と移動ロボットと
がインタラクティブに行動すれば、合成映像中では、出
演者とＣＧキャラクターとがインタラクティブに行動し
ているように見える。

【００１２】また、実写映像とＣＧ映像とを合成する応
用システムとしては、例えば、特開平１１−３０９２６
９号や特開平１１−８８９１３号が提案されている。こ
れらにおいては、実写映像を背景として用い、その上に
ＣＧ映像等を重畳することにより、実写映像とＣＧ映像
とを合成処理していた。

【００１３】更に、このように撮影される映像の利用形
態としては、インターネットを用いた双方向テレビの実
験が行われるようになってきている。

【００１４】

【発明が解決しようとする課題】しかしながら、上述し
た特開２０００−２３０３７号においては、以下のよう
な問題点があった。・撮影手段（カメラ）の移動手段を持たないため、自由
なカメラワークを行えない。・合成映像が出演者の視点で作成されていないため、前
記出演者は、自分とＣＧキャラクターとの正確な距離が
分かり難い。従って、前記出演者と前記ＣＧキャラクタ
ーとの動作を合わせるのが困難である。・合成映像が出演者の目の前に表示される構成になって
いないため、前記出演者が常に前記合成映像を見ながら
演技することは困難である。従って、前記出演者とＣＧ
キャラクターとの動作を合わせるのが困難である。

【００１５】また、上述した特開平１０−２０８０７３
号においては、以下のような問題点があった。・出演者は、移動ロボット等の目印を通して間接的にＣ
Ｇキャラクターの存在を知ることになるので、前記目印
が存在しない場所に前記ＣＧキャラクターを配置しても
前記出演者に気づいてもらえない。また、前記目印が表
現できない動きを前記ＣＧキャラクターに表現させて
も、前記出演者に気づいてもらえない。・撮影中の対象物の３次元情報を測定していないため、
また、ＣＧキャラクターが実世界のどこにどれくらいの
大きさや形状で仮想的に配置されるかを計算していない
ため、前記対象物と前記ＣＧキャラクターの一部が合成
映像中で衝突しても、そのことを検知できない（対象物
と移動ロボットとの衝突は検知できるが、前記移動ロボ
ットと前記ＣＧキャラクターの大きさや形状が一致して
いるとは限らない。）。従って、前記合成映像中で前記
対象物が前記ＣＧキャラクターより手前に表示されなけ
ればならない場合でも、前記ＣＧキャラクターが手前に
描画されてしまう等の問題が生じる。

【００１６】また、上述した図１９に示すようなブルー
バック１９０９を用いる方法では、合成される映像が演
技者に見えないため、演技が不自然になったり、演技の
自由度が少ない等の問題点があった。

【００１７】また、上述した特開平１１−３０９２６９
号や特開平１１−８８９１３号の方法では、実写映像部
分とこれに合成される映像との関係が固定的な場合には
問題ないが、演技者・カメラ・仮想物体等が大幅且つ複
雑に動く場合に、正しい合成映像を得ることは困難であ
った。

【００１８】一方、近年、頭部装着型のディスプレイ装
置やＷｅａｒａｂｌｅコンピュータ等の発達により、合
成映像を実時間で見ながら演技を行うようになってきた
が、このような頭部装着型のディスプレイ装置等を用い
た場合のユーザサービスについては、まだ、具体的な提
案がなされていないのが現状である。

【００１９】また、これまでの双方向テレビ実験には、
カメラワークやシナリオの展開といった面で視聴者の参
加が考えられてきたが、演技者に直接的に視聴者の代行
となる仮想キャラクターが見えるような状況は想定され
ておらず、このため、視聴者とスタジオの演技者との間
の相互作用が非常に限られたものとなっていた。

【００２０】本発明は、上記のような問題点に鑑みてな
されたもので、その第１の目的は、現実世界と仮想世界
との境界を取り払うことが可能な画像処理方法、画像処
理装置、記憶媒体及びプログラムを提供することであ
る。

【００２１】また、本発明の第２の目的は、演技に不自
然さがなくなると共に、演技の自由度を増すことがで
き、しかも、例えば家庭にいる視聴者がインターネット
経由で参加した状況を演技者が同時体験し、家庭とスタ
ジオの共同作業や相互作用が可能になる画像処理方法、
画像処理装置及びスタジオ装置を提供することである。

【００２２】

【課題を解決するための手段】上記第１の目的を達成す
るために、本発明の請求項１に記載の画像処理方法は、
撮影パラメータを制御可能な撮影手段により撮影する撮
影工程と、前記撮影パラメータを取得する撮影パラメー
タ取得工程と、ＣＧ（コンピュータグラフィックス）デ
ータを管理するＣＧデータ管理工程と、前記ＣＧデータ
を実世界に仮想的に配置するときのＣＧ幾何情報を計算
するＣＧ幾何情報計算工程と、前記撮影手段の視点から
ＣＧ画像を作成するＣＧ画像作成工程と、実写画像とＣ
Ｇ画像とを合成する画像合成工程と、前記撮影パラメー
タ及び前記ＣＧ幾何情報を利用して前記撮影パラメータ
を変更する撮影パラメータ制御工程とを有することを特
徴とする。

【００２３】また、上記第１の目的を達成するために、
本発明の請求項２に記載の画像処理方法は、請求項１に
記載の画像処理方法において、操作者からの指示を入力
する指示入力工程を有し、前記撮影パラメータ制御工程
は、前記指示入力工程からの指示も利用して前記撮影パ
ラメータを変更することを特徴とする。

【００２４】また、上記第１の目的を達成するために、
本発明の請求項３に記載の画像処理方法は、請求項１に
記載の画像処理方法において、操作者からの指示を入力
する指示入力工程を有し、前記ＣＧ幾何情報計算工程
は、前記指示入力工程からの指示も利用して前記ＣＧ幾
何情報を計算することを特徴とする。

【００２５】また、上記第１の目的を達成するために、
本発明の請求項４に記載の画像処理方法は、請求項１乃
至３のいずれかに記載の画像処理方法において、前記撮
影手段は複数有し、前記複数の撮影手段のいずれか一つ
を選択する視点選択工程を有することを特徴とする。

【００２６】また、上記第１の目的を達成するために、
本発明の請求項５に記載の画像処理方法は、請求項１乃
至４のいずれかに記載の画像処理方法において、前記表
示手段の表示パラメータを測定する表示幾何情報測定工
程と、前記表示手段の視点から第二のＣＧ画像を作成す
る第二のＣＧ画像作成工程と、前記第二のＣＧ画像を前
記表示手段に表示する表示工程とを有することを特徴と
する。

【００２７】また、上記第１の目的を達成するために、
本発明の請求項６に記載の画像処理方法は、請求項１乃
至５のいずれかに記載の画像処理方法において、前記撮
影パラメータは、前記撮影手段の撮影位置であることを
特徴とする。

【００２８】また、上記第１の目的を達成するために、
本発明の請求項７に記載の画像処理方法は、請求項１乃
至５のいずれかに記載の画像処理方法において、前記撮
影パラメータは、前記撮影手段の撮影方向であることを
特徴とする。

【００２９】また、上記第１の目的を達成するために、
本発明の請求項８に記載の画像処理方法は、請求項５に
記載の画像処理方法において、前記表示パラメータは、
前記表示手段の表示位置であることを特徴とする。

【００３０】また、上記第１の目的を達成するために、
本発明の請求項９に記載の画像処理方法は、請求項５に
記載の画像処理方法において、前記表示パラメータは、
前記表示手段の表示方向であることを特徴とする。

【００３１】また、上記第１の目的を達成するために、
本発明の請求項１０に記載の画像処理方法は、請求項１
乃至９のいずれかに記載の画像処理方法において、前記
表示手段は、ＨＭＤ（ヘッドマウントディスプレイ）で
あることを特徴とする。

【００３２】また、上記第１の目的を達成するために、
本発明の請求項１１に記載の画像処理方法は、請求項１
０に記載の画像処理方法において、前記ＨＭＤは、画像
が表示されない領域では前方の光が透過するタイプのシ
ースルー型ＨＭＤであることを特徴とする。

【００３３】また、上記第１の目的を達成するために、
本発明の請求項１２に記載の画像処理装置は、撮影パラ
メータを制御可能な撮影手段と、前記撮影パラメータを
取得する撮影パラメータ取得手段と、ＣＧ（コンピュー
タグラフィックス）データを管理するＣＧデータ管理手
段と、前記ＣＧデータを実世界に仮想的に配置するとき
のＣＧ幾何情報を計算するＣＧ幾何情報計算手段と、前
記撮影手段の視点からＣＧ画像を作成するＣＧ画像作成
手段と、実写画像とＣＧ画像とを合成する画像合成手段
と、前記撮影パラメータ及び前記ＣＧ幾何情報を利用し
て前記撮影パラメータを変更する撮影パラメータ制御手
段とを有することを特徴とする。

【００３４】また、上記第１の目的を達成するために、
本発明の請求項１３に記載の画像処理装置は、請求項１
２に記載の画像処理装置において、操作者からの指示を
入力する指示入力手段を有し、前記撮影パラメータ制御
手段は、前記指示入力手段からの指示も利用して前記撮
影パラメータを変更することを特徴とする。

【００３５】また、上記第１の目的を達成するために、
本発明の請求項１４に記載の画像処理装置は、請求項１
２に記載の画像処理装置において、操作者からの指示を
入力する指示入力手段を有し、前記ＣＧ幾何情報計算手
段は、前記指示入力手段からの指示も利用して前記ＣＧ
幾何情報を計算することを特徴とする。

【００３６】また、上記第１の目的を達成するために、
本発明の請求項１５に記載の画像処理装置は、請求項１
２乃至１４のいずれかに記載の画像処理装置において、
前記撮影手段は複数有し、前記複数の撮影手段のいずれ
か一つを選択する視点選択手段を有することを特徴とす
る。

【００３７】また、上記第１の目的を達成するために、
本発明の請求項１６に記載の画像処理装置は、請求項１
２乃至１５のいずれかに記載の画像処理装置において、
前記表示手段の表示パラメータを測定する表示幾何情報
測定手段と、前記表示手段の視点から第二のＣＧ画像を
作成する第二のＣＧ画像作成手段と、前記第二のＣＧ画
像を前記表示手段に表示するように制御する表示制御手
段とを有することを特徴とする。

【００３８】また、上記第１の目的を達成するために、
本発明の請求項１７に記載の画像処理装置は、請求項１
２乃至１６のいずれかに記載の画像処理装置において、
前記撮影パラメータは、撮影位置であることを特徴とす
る。

【００３９】また、上記第１の目的を達成するために、
本発明の請求項１８に記載の画像処理装置は、請求項１
２乃至１６のいずれかに記載の画像処理装置において、
前記撮影パラメータは、撮影方向であることを特徴とす
る。

【００４０】また、上記第１の目的を達成するために、
本発明の請求項１９に記載の画像処理装置は、請求項１
６に記載の画像処理装置において、前記表示パラメータ
は、前記表示手段の表示位置であることを特徴とする。

【００４１】また、上記第１の目的を達成するために、
本発明の請求項２０に記載の画像処理装置は、請求項１
６に記載の画像処理装置において、前記表示パラメータ
は、前記表示手段の表示方向であることを特徴とする。

【００４２】また、上記第１の目的を達成するために、
本発明の請求項２１に記載の画像処理装置は、請求項項
１２乃至２０のいずれかに記載の画像処理装置におい
て、前記表示手段は、ＨＭＤ（ヘッドマウントディスプ
レイ）であることを特徴とする。

【００４３】また、上記第１の目的を達成するために、
本発明の請求項２２に記載の画像処理装置は、請求項項
２１に記載の画像処理装置において、前記ＨＭＤは、画
像が表示されない領域では前方の光が透過するタイプの
シースルー型ＨＭＤであることを特徴とする。

【００４４】また、上記第２の目的を達成するために、
本発明の請求項２３に記載の画像処理方法は、撮影手段
により画像を撮影する撮影工程と、背景を構成するセッ
ト工程と、画像処理に係るスタッフに装着される表示手
段により画像を表示する表示工程と、前記撮影手段の撮
影パラメータを測定する第１の測定工程と、前記表示手
段の表示パラメータを測定する第２の測定工程と、ＣＧ
（コンピュータグラフィックス）データを管理するＣＧ
データ管理工程と、前記撮影手段の視点からＣＧ画像を
作成する第１のＣＧ画像作成工程と、前記撮影手段によ
り撮影された画像と前記ＣＧ画像作成工程により作成さ
れたＣＧ画像とを合成する画像合成工程と、前記表示手
段の視点からＣＧ画像を作成する第２のＣＧ画像作成工
程と、前記表示手段から見える現実空間に前記ＣＧ画像
を重畳して表示する画像重畳工程と、前記画像合成工程
により合成された画像を放送する画像放送工程と、視聴
者の情報を管理する視聴者情報管理工程と、視聴者の情
報をシーンの一部に組み込むシナリオ管理工程と、ＣＧ
オブジェクトの存在範囲を制御する禁則領域処理工程と
を有することを特徴とする。

【００４５】また、上記第２の目的を達成するために、
本発明の請求項２４に記載の画像処理方法は、請求項２
３に記載の画像処理方法において、前記表示手段は、Ｈ
ＭＤ（ヘッドマウントディスプレイ）であることを特徴
とする。

【００４６】また、上記第２の目的を達成するために、
本発明の請求項２５に記載の画像処理方法は、請求項２
３に記載の画像処理方法において、前記撮影パラメータ
は、前記撮影手段の撮影位置であることを特徴とする。

【００４７】また、上記第２の目的を達成するために、
本発明の請求項２６に記載の画像処理方法は、請求項２
３に記載の画像処理方法において、前記撮影パラメータ
は、前記撮影手段の撮影方向であることを特徴とする。

【００４８】また、上記第２の目的を達成するために、
本発明の請求項２７に記載の画像処理方法は、請求項２
３に記載の画像処理方法において、前記表示パラメータ
は、前記表示手段の表示位置であることを特徴とする。

【００４９】また、上記第２の目的を達成するために、
本発明の請求項２８に記載の画像処理方法は、請求項２
３に記載の画像処理方法において、前記表示パラメータ
は、前記表示手段の表示方向であることを特徴とする。

【００５０】また、上記第２の目的を達成するために、
本発明の請求項２９に記載の画像処理方法は、請求項２
３に記載の画像処理方法において、前記画像合成工程及
び前記シナリオ管理工程は、視聴者を仮想観客として表
示できることを特徴とする。

【００５１】また、上記第２の目的を達成するために、
本発明の請求項３０に記載の画像処理方法は、請求項２
９に記載の画像処理方法において、観客として表示する
ＣＧキャラクターの数を制限する制限工程を有すること
を特徴とする。

【００５２】また、上記第２の目的を達成するために、
本発明の請求項３１に記載の画像処理方法は、請求項３
０に記載の画像処理方法において、前記視聴者の全体の
情報を集計した結果を仮想観客に表示するように制御す
る制御工程を有することを特徴とする。

【００５３】また、上記第２の目的を達成するために、
本発明の請求項３２に記載の画像処理方法は、請求項３
０に記載の画像処理方法において、仮想観客として表示
される視聴者を抽選により選択する選択工程を有するこ
とを特徴とする。

【００５４】また、上記第２の目的を達成するために、
本発明の請求項３３に記載の画像処理方法は、請求項３
１に記載の画像処理方法において、前記制御工程は、前
記表示手段の表示画面のみに前記視聴者の情報の集計結
果が表示されるように制御することを特徴とする。

【００５５】また、上記第２の目的を達成するために、
本発明の請求項３４に記載の画像処理方法は、請求項２
９に記載の画像処理方法において、前記視聴者が前記仮
想観客を通して体験者を手助けできることを特徴とす
る。

【００５６】また、上記第２の目的を達成するために、
本発明の請求項３５に記載の画像処理装置は、画像を撮
影する撮影手段と、背景を構成するセット手段と、画像
処理に係るスタッフが装着すると共に画像を表示する表
示手段と、前記撮影手段の撮影パラメータを測定する第
１の測定手段と、前記表示手段の表示パラメータを測定
する第２の測定手段と、ＣＧ（コンピュータグラフィッ
クス）データを管理するＣＧデータ管理手段と、前記撮
影手段の視点からＣＧ画像を作成する第１のＣＧ画像作
成手段と、前記撮影手段により撮影された画像と前記Ｃ
Ｇ画像作成手段により作成されたＣＧ画像とを合成する
画像合成手段と、前記表示手段の視点からＣＧ画像を作
成する第２のＣＧ画像作成手段と、前記表示手段から見
える現実空間に前記ＣＧ画像を重畳して表示する画像重
畳手段と、前記画像合成手段により合成された画像を放
送する画像放送手段と、視聴者の情報を管理する視聴者
情報管理手段と、視聴者の情報をシーンの一部に組み込
むシナリオ管理手段と、ＣＧオブジェクトの存在範囲を
制御する禁則領域処理手段とを有することを特徴とす
る。

【００５７】また、上記第２の目的を達成するために、
本発明の請求項３６に記載の画像処理装置は、請求項３
５に記載の画像処理装置において、前記表示手段は、Ｈ
ＭＤ（ヘッドマウントディスプレイ）であることを特徴
とする。

【００５８】また、上記第２の目的を達成するために、
本発明の請求項３７に記載の画像処理装置は、請求項３
５に記載の画像処理装置において、前記撮影パラメータ
は、前記撮影手段の撮影位置であることを特徴とする。

【００５９】また、上記第２の目的を達成するために、
本発明の請求項３８に記載の画像処理装置は、請求項３
５に記載の画像処理装置において、前記撮影パラメータ
は、前記撮影手段の撮影方向であることを特徴とする。

【００６０】また、上記第２の目的を達成するために、
本発明の請求項３９に記載の画像処理装置は、請求項３
５に記載の画像処理装置において、前記表示パラメータ
は、前記表示手段の表示位置であることを特徴とする。

【００６１】また、上記第２の目的を達成するために、
本発明の請求項４０に記載の画像処理装置は、請求項３
５に記載の画像処理装置において、前記表示パラメータ
は、前記表示手段の表示方向であることを特徴とする。

【００６２】また、上記第２の目的を達成するために、
本発明の請求項４１に記載の画像処理装置は、請求項３
５に記載の画像処理装置において、前記画像合成手段及
び前記シナリオ管理手段は、視聴者を仮想観客として表
示できることを特徴とする。

【００６３】また、上記第２の目的を達成するために、
本発明の請求項４２に記載の画像処理装置は、請求項４
１に記載の画像処理装置において、観客として表示する
ＣＧキャラクタの数を制限する制限手段を有することを
特徴とする。

【００６４】また、上記第２の目的を達成するために、
本発明の請求項４３に記載の画像処理装置は、請求項４
２に記載の画像処理装置において、前記視聴者の全体の
情報を集計した結果を仮想観客に表示するように制御す
る制御手段を有することを特徴とする。

【００６５】また、上記第２の目的を達成するために、
本発明の請求項４４に記載の画像処理装置は、請求項４
２に記載の画像処理装置において、仮想観客として表示
される視聴者を抽選により選択する選択手段を有するこ
とを特徴とする。

【００６６】また、上記第２の目的を達成するために、
本発明の請求項４５に記載の画像処理装置は、請求項４
３に記載の画像処理装置において、前記制御手段は、前
記表示手段の表示画面のみに前記視聴者の情報の集計結
果が表示されるように制御することを特徴とする。

【００６７】また、上記第２の目的を達成するために、
本発明の請求項４６に記載の画像処理装置は、請求項４
１に記載の画像処理装置において、前記視聴者が前記仮
想観客を通して体験者を手助けできることを特徴とす
る。

【００６８】また、上記第２の目的を達成するために、
本発明の請求項４７に記載の画像処理装置は、請求項４
５に記載の画像処理装置の画像処理装置を装備したこと
を特徴とする。

【００６９】また、上記第１の目的を達成するために、
本発明の請求項４８に記載の記憶媒体は、実写画像とＣ
Ｇ（コンピュータグラフィックス）画像とを処理する画
像処理装置を制御するためのコンピュータ読み取り可能
な制御プログラムを格納した記憶媒体であって、撮影パ
ラメータを制御可能な撮影手段により撮影する撮影工程
と、前記撮影パラメータを取得する撮影パラメータ取得
工程と、ＣＧ（コンピュータグラフィックス）データを
管理するＣＧデータ管理工程と、前記ＣＧデータを実世
界に仮想的に配置するときのＣＧ幾何情報を計算するＣ
Ｇ幾何情報計算工程と、前記撮影手段の視点からＣＧ画
像を作成するＣＧ画像作成工程と、実写画像とＣＧ画像
とを合成する画像合成工程と、前記撮影パラメータ及び
前記ＣＧ幾何情報を利用して前記撮影パラメータを変更
する撮影パラメータ制御工程とをコンピュータに実行さ
せるためのプログラムコードを備えたことを特徴とす
る。

【００７０】また、上記第１の目的を達成するために、
本発明の請求項４９に記載の記憶媒体は、請求項４８に
記載の記憶媒体において、操作者からの指示を入力する
指示入力工程をコンピュータに実行させるためのプログ
ラムコードを備え、前記撮影パラメータ制御工程は、前
記指示入力工程からの指示も利用して前記撮影パラメー
タを変更することを特徴とする。

【００７１】また、上記第１の目的を達成するために、
本発明の請求項５０に記載の記憶媒体は、請求項４８に
記載の記憶媒体において、操作者からの指示を入力する
指示入力工程をコンピュータに実行させるためのプログ
ラムコードを備え、前記ＣＧ幾何情報計算工程は、前記
指示入力工程からの指示も利用して前記ＣＧ幾何情報を
計算することを特徴とする。

【００７２】また、上記第１の目的を達成するために、
本発明の請求項５１に記載の記憶媒体は、請求項４８乃
至５０のいずれかに記載の記憶媒体において、前記撮影
手段は複数有し、前記複数の撮影手段のいずれか一つを
選択する視点選択工程をコンピュータに実行させるため
のプログラムコードを備えたことを特徴とする。

【００７３】また、上記第１の目的を達成するために、
本発明の請求項５２に記載の記憶媒体は、請求項４８乃
至５１のいずれかに記載の記憶媒体において、前記表示
手段の位置と姿勢とを測定する表示幾何情報測定工程
と、前記表示手段の視点から第二のＣＧ画像を作成する
第二のＣＧ画像作成工程と、前記第二のＣＧ画像を前記
表示手段に表示する表示工程とをコンピュータに実行さ
せるためのプログラムコードを備えたことを特徴とす
る。

【００７４】また、上記第１の目的を達成するために、
本発明の請求項５３に記載の記憶媒体は、請求項４８乃
至５２のいずれかに記載の記憶媒体において、前記撮影
パラメータは、撮影位置であることを特徴とする。

【００７５】また、上記第１の目的を達成するために、
本発明の請求項５４に記載の記憶媒体は、請求項４８乃
至５２のいずれかに記載の記憶媒体において、前記撮影
パラメータは、撮影方向であることを特徴とする。

【００７６】また、上記第１の目的を達成するために、
本発明の請求項５５に記載の記憶媒体は、請求項４８乃
至５４のいずれかに記載の記憶媒体において、前記表示
手段は、ＨＭＤ（ヘッドマウントディスプレイ）である
ことを特徴とする。

【００７７】また、上記第１の目的を達成するために、
本発明の請求項５６に記載の記憶媒体は、請求項５５に
記載の記憶媒体において、前記ＨＭＤは、画像が表示さ
れない領域では前方の光が透過するタイプのシースルー
型ＨＭＤであることを特徴とする。

【００７８】また、上記第２の目的を達成するために、
本発明の請求項５７に記載の記憶媒体は、実写画像と
ＣＧ（コンピュータグラフィックス）画像とを処理する
画像処理装置を制御するためのコンピュータ読み取り可
能な制御プログラムを格納した記憶媒体であって、撮影
手段により画像を撮影する撮影工程と、背景を構成する
セット工程と、画像処理に係るスタッフに装着される表
示手段により画像を表示する表示工程と、前記撮影手段
の撮影パラメータを測定する第１の測定工程と、前記表
示手段の表示パラメータを測定する第２の測定工程と、
ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理工程と、前記撮影手段の視点からＣＧ画
像を作成する第１のＣＧ画像作成工程と、前記撮影手段
により撮影された画像と前記ＣＧ画像作成工程により作
成されたＣＧ画像とを合成する画像合成工程と、前記表
示手段の視点からＣＧ画像を作成する第２のＣＧ画像作
成工程と、前記表示手段から見える現実空間に前記ＣＧ
画像を重畳して表示する画像重畳工程と、前記画像合成
工程により合成された画像を放送する画像放送工程と、
視聴者の情報を管理する視聴者情報管理工程と、視聴者
の情報をシーンの一部に組み込むシナリオ管理工程と、
ＣＧオブジェクトの存在範囲を制御する禁則領域処理工
程とをコンピュータに実行させるためのプログラムコー
ドを備えたことを特徴とする。

【００７９】また、上記第２の目的を達成するために、
本発明の請求項５８に記載の記憶媒体は、請求項５７に
記載の記憶媒体において、前記表示手段は、ＨＭＤ
（ヘッドマウントディスプレイ）であることを特徴とす
る。

【００８０】また、上記第２の目的を達成するために、
本発明の請求項５９に記載の記憶媒体は、請求項５７に
記載の記憶媒体において、前記撮影パラメータは、前記
撮影手段の撮影位置であることを特徴とする。

【００８１】また、上記第２の目的を達成するために、
本発明の請求項６０に記載の記憶媒体は、請求項５７に
記載の記憶媒体において、前記撮影パラメータは、前記
撮影手段の撮影方向であることを特徴とする。

【００８２】また、上記第２の目的を達成するために、
本発明の請求項６１に記載の記憶媒体は、請求項５７に
記載の記憶媒体において、前記表示パラメータは、前記
表示手段の表示位置であることを特徴とする。

【００８３】また、上記第２の目的を達成するために、
本発明の請求項６２に記載の記憶媒体は、請求項５７に
記載の記憶媒体において、前記表示パラメータは、前記
表示手段の表示方向であることを特徴とする。

【００８４】また、上記第２の目的を達成するために、
本発明の請求項６３に記載の記憶媒体は、請求項５７に
記載の記憶媒体において、前記画像合成工程及び前記シ
ナリオ管理工程は、視聴者を仮想観客として表示できる
ことを特徴とする。

【００８５】また、上記第２の目的を達成するために、
本発明の請求項６４に記載の記憶媒体は、請求項６３に
記載の記憶媒体において、観客として表示するＣＧキャ
ラクターの数を制限する制限工程を有することを特徴と
する。

【００８６】また、上記第２の目的を達成するために、
本発明の請求項６５に記載の記憶媒体は、請求項６４に
記載の記憶媒体において、前記視聴者の全体の情報を集
計した結果を仮想観客に表示するように制御する制御工
程を有することを特徴とする。

【００８７】また、上記第２の目的を達成するために、
本発明の請求項６６に記載の記憶媒体は、請求項６４に
記載の記憶媒体において、仮想観客として表示される視
聴者を抽選により選択する選択工程を有することを特徴
とする。

【００８８】また、上記第２の目的を達成するために、
本発明の請求項６７に記載の記憶媒体は、請求項６５に
記載の記憶媒体において、前記制御工程は、前記表示手
段の表示画面のみに前記視聴者の情報の集計結果が表示
されるように制御することを特徴とする。

【００８９】また、上記第２の目的を達成するために、
本発明の請求項６８に記載の記憶媒体は、請求項６３に
記載の記憶媒体において、前記視聴者が前記仮想観客を
通して体験者を手助けできることを特徴とする。

【００９０】また、上記第１の目的を達成するために、
本発明の請求項６９に記載のプログラムは、実写画像と
ＣＧ（コンピュータグラフィックス）画像とを処理する
画像処理装置を制御するためのコンピュータ読み取り可
能なプログラムであって、撮影パラメータを制御可能な
撮影手段により撮影する撮影工程と、前記撮影パラメー
タを取得する撮影パラメータ取得工程と、ＣＧ（コンピ
ュータグラフィックス）データを管理するＣＧデータ管
理工程と、前記ＣＧデータを実世界に仮想的に配置する
ときのＣＧ幾何情報を計算するＣＧ幾何情報計算工程
と、前記撮影手段の視点からＣＧ画像を作成するＣＧ画
像作成工程と、実写画像とＣＧ画像とを合成する画像合
成工程と、前記撮影パラメータ及び前記ＣＧ幾何情報を
利用して前記撮影パラメータを変更する撮影パラメータ
制御工程とをコンピュータに実行させるためのプログラ
ムコードから成ることを特徴とする。

【００９１】また、上記第１の目的を達成するために、
本発明の請求項７０に記載のプログラムは、請求項６９
に記載のプログラムにおいて、操作者からの指示を入力
する指示入力工程をコンピュータに実行させるためのプ
ログラムコードから成り、前記撮影パラメータ制御工程
は、前記指示入力工程からの指示も利用して前記撮影パ
ラメータを変更することを特徴とする。

【００９２】また、上記第１の目的を達成するために、
本発明の請求項７１に記載のプログラムは、請求項６９
に記載のプログラムにおいて、操作者からの指示を入力
する指示入力工程をコンピュータに実行させるためのプ
ログラムコードから成り、前記ＣＧ幾何情報計算工程
は、前記指示入力工程からの指示も利用して前記ＣＧ幾
何情報を計算することを特徴とする。

【００９３】また、上記第１の目的を達成するために、
本発明の請求項７２に記載のプログラムは、請求項６９
乃至７１のいずれかに記載のプログラムにおいて、前記
撮影手段は複数有し、前記複数の撮影手段のいずれか一
つを選択する視点選択工程をコンピュータに実行させる
ためのプログラムコードから成ることを特徴とする。

【００９４】また、上記第１の目的を達成するために、
本発明の請求項７３に記載のプログラムは、請求項６９
乃至７２のいずれかに記載のプログラムにおいて、前記
表示手段の位置と姿勢とを測定する表示幾何情報測定工
程と、前記表示手段の視点から第二のＣＧ画像を作成す
る第二のＣＧ画像作成工程と、前記第二のＣＧ画像を前
記表示手段に表示する表示工程とをコンピュータに実行
させるためのプログラムコードから成ることを特徴とす
る。

【００９５】また、上記第１の目的を達成するために、
本発明の請求項７４に記載のプログラムは、請求項６９
乃至７３のいずれかに記載のプログラムにおいて、前記
撮影パラメータは、撮影位置であることを特徴とする。

【００９６】また、上記第１の目的を達成するために、
本発明の請求項７５に記載のプログラムは、請求項６９
乃至７３のいずれかに記載のプログラムにおいて、前記
撮影パラメータは、撮影方向であることを特徴とする。

【００９７】また、上記第１の目的を達成するために、
本発明の請求項７６に記載のプログラムは、請求項６９
乃至７５のいずれかに記載のプログラムにおいて、前記
表示手段は、ＨＭＤ（ヘッドマウントディスプレイ）で
あることを特徴とする。

【００９８】また、上記第２の目的を達成するために、
本発明の請求項７７に記載のプログラムは、請求項７６
に記載のプログラムにおいて、前記ＨＭＤは、画像が表
示されない領域では前方の光が透過するタイプのシース
ルー型ＨＭＤであることを特徴とする。

【００９９】また、上記第２の目的を達成するために、
本発明の請求項７８に記載のプログラムは、実写画像と
ＣＧ（コンピュータグラフィックス）画像とを処理する
画像処理装置を制御するためのコンピュータ読み取り可
能なプログラムであって、撮影手段により画像を撮影す
る撮影工程と、背景を構成するセット工程と、画像処理
に係るスタッフに装着される表示手段により画像を表示
する表示工程と、前記撮影手段の撮影パラメータを測定
する第１の測定工程と、前記表示手段の表示パラメータ
を測定する第２の測定工程と、ＣＧ（コンピュータグラ
フィックス）データを管理するＣＧデータ管理工程と、
前記撮影手段の視点からＣＧ画像を作成する第１のＣＧ
画像作成工程と、前記撮影手段により撮影された画像と
前記ＣＧ画像作成工程により作成されたＣＧ画像とを合
成する画像合成工程と、前記表示手段の視点からＣＧ画
像を作成する第２のＣＧ画像作成工程と、前記表示手段
から見える現実空間に前記ＣＧ画像を重畳して表示する
画像重畳工程と、前記画像合成工程により合成された画
像を放送する画像放送工程と、視聴者の情報を管理する
視聴者情報管理工程と、視聴者の情報をシーンの一部に
組み込むシナリオ管理工程と、ＣＧオブジェクトの存在
範囲を制御する禁則領域処理工程とをコンピュータに実
行させるためのプログラムコードから成ることを特徴と
する。

【０１００】また、上記第２の目的を達成するために、
本発明の請求項７９に記載のプログラムは、請求項７８
に記載のプログラムにおいて、前記表示手段は、ＨＭＤ
（ヘッドマウントディスプレイ）であることを特徴とす
る。

【０１０１】また、上記第２の目的を達成するために、
本発明の請求項８０に記載のプログラムは、請求項７８
に記載のプログラムにおいて、前記撮影パラメータは、
前記撮影手段の撮影位置であることを特徴とする。

【０１０２】また、上記第２の目的を達成するために、
本発明の請求項８１に記載のプログラムは、請求項７８
に記載のプログラムにおいて、前記撮影パラメータは、
前記撮影手段の撮影方向であることを特徴とする。

【０１０３】また、上記第２の目的を達成するために、
本発明の請求項８２に記載のプログラムは、請求項７８
に記載のプログラムにおいて、前記表示パラメータは、
前記表示手段の表示位置であることを特徴とする。

【０１０４】また、上記第２の目的を達成するために、
本発明の請求項８３に記載のプログラムは、請求項７８
に記載のプログラムにおいて、前記表示パラメータは、
前記表示手段の表示方向であることを特徴とする。

【０１０５】また、上記第２の目的を達成するために、
本発明の請求項８４に記載のプログラムは、請求項７８
に記載のプログラムにおいて、前記画像合成工程及び前
記シナリオ管理工程は、視聴者を仮想観客として表示で
きることを特徴とする。

【０１０６】また、上記第２の目的を達成するために、
本発明の請求項８５に記載のプログラムは、請求項８４
に記載のプログラムにおいて、観客として表示するＣＧ
キャラクターの数を制限する制限工程を有することを特
徴とする。

【０１０７】また、上記第２の目的を達成するために、
本発明の請求項８６に記載のプログラムは、請求項８５
に記載のプログラムにおいて、前記視聴者の全体の情報
を集計した結果を仮想観客に表示するように制御する制
御工程を有することを特徴とする。

【０１０８】また、上記第２の目的を達成するために、
本発明の請求項８７に記載のプログラムは、請求項８５
に記載のプログラムにおいて、仮想観客として表示され
る視聴者を抽選により選択する選択工程を有することを
特徴とする。

【０１０９】また、上記第２の目的を達成するために、
本発明の請求項８８に記載のプログラムは、請求項８６
に記載のプログラムにおいて、前記制御工程は、前記表
示手段の表示画面のみに前記視聴者の情報の集計結果が
表示されるように制御することを特徴とする。

【０１１０】更に、上記第２の目的を達成するために、
本発明の請求項８９に記載のプログラムは、請求項８４
に記載のプログラムにおいて、前記視聴者が前記仮想観
客を通して体験者を手助けできることを特徴とする。

【０１１１】

【発明の実施の形態】以下、本発明の各実施の形態を、
図１乃至図１８に基づき説明する。

【０１１２】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１及び図２に基づき説明する。

【０１１３】図１は、本実施の形態に係る画像処理装置
のシステム構成を示すブロック図である。図１におい
て、ほとんどの装置の内部構成が記述されていないが、
いずれの装置も、それ自身の内部に制御部と通信部とを
備え、他の装置と通信しながら協調動作している。ま
た、いずれの装置の通信部も、モジュール交換によって
通信機能の変更ができる。従って、各通信部間の接続形
態は、有線接続であっても無線接続であってもよい。ま
た、図１中、矢印付きの実線は、制御データの流れを示
しており、矢印付きの点線は、ＣＧ（コンピュータグラ
フィックス）データまたはＣＧ映像の流れを示してお
り、矢印付きの破線は、実写映像または合成映像の流れ
を示している。

【０１１４】図１において、１０１は撮影装置（撮影手
段）、１０２は位置・姿勢センサー（撮影パラメータ取
得手段）、１０３は移動装置、１０４は距離センサー、
１０５は表示手段であるＨＭＤ（ヘッドマウントディス
プレイ）、１０６は位置・姿勢センサー（表示パラメー
タ取得手段）、１０７はデータ処理装置、１０８はＣＧ
データ管理部、１０９はＣＧ映像作成部（ＣＧ映像作成
手段）、１１０はＣＧ幾何学情報計算部（ＣＧ幾何学情
報計算手段）、１１１は移動装置制御部、１１２は制御
命令入力装置、１１３は映像合成装置（映像合成手
段）、１１４は映像表示装置である。

【０１１５】移動装置１０３には、撮影装置１０１及び
距離センサー１０４が取り付けられている。また、撮影
装置１０１には、位置・姿勢センサー１０２が取り付け
られている。これらの取り付け関係の意味については、
図２を用いて後述する。

【０１１６】移動装置１０３は、移動装置制御部１１１
から受信した制御情報に従って移動及び姿勢の制御を行
う。これにより、撮影装置１０１は、任意の位置からあ
らゆる方向の映像を撮影することができる。撮影装置１
０１は、撮影した実写映像を映像合成装置１１３に送信
する。

【０１１７】位置・姿勢センサー１０２は、撮影装置１
０１の実世界での予め決められた座標系における位置及
び姿勢を測定し、その測定データ（撮影位置・姿勢情
報）を移動装置制御部１１１に送信する。撮影位置・姿
勢情報は、移動装置制御部１１１を通してＣＧ映像作成
部１０９にも送信される。

【０１１８】距離センサー１０４は、移動装置１０３上
の所定の位置から所定の方向及び所定の距離内に存在す
る物体までの距離を測定し、その測定データを撮影装置
１０１の視点からの距離データ（障害物情報）に変換し
た後、移動装置制御部１１１に送信する。障害物情報
は、移動装置制御部１１１を通してＣＧ映像作成部１０
９にも送信される。

【０１１９】ＨＭＤ１０５には、位置・姿勢センサー１
０６が取り付けられている。位置・姿勢センサー１０６
は、ＨＭＤ１０５の実世界での予め決められた座標系に
おける位置及び姿勢を測定し、その測定データ（ＨＭＤ
１０５の位置・姿勢情報）を移動装置制御部１１１に送
信する。ＨＭＤ１０５の位置・姿勢情報は、移動装置制
御部１１１を通してＣＧ映像作成部１０９にも送信され
る。なお、移動装置制御部１１１は、ＨＭＤ１０５の位
置・姿勢情報を必ずしも必要としないので、位置・姿勢
センサー１０６からＨＭＤ１０５の位置・姿勢情報を
（移動装置制御部１１１を通さずに）直接ＣＧ映像作成
部１０９に送信してもよい。

【０１２０】制御命令入力装置１１２は、ＣＧ映像中に
現れる仮想物体やＣＧキャラクターの行動或いは撮影装
置１０１の位置・姿勢を制御するための命令（制御命
令）を入力するための装置である。制御命令の入力方法
としては、キー押下、マウス操作、ジョイスティック操
作、タッチパネル押下、音声認識技術を利用した音声入
力、画像認識技術を利用したジェスチャー入力等、様々
な方法があり、いずれの方法でも利用することができ
る。

【０１２１】データ処理装置１０７は、ＣＧデータ管理
部１０８、ＣＧ映像作成部１０９、ＣＧ幾何情報計算部
１１０及び移動装置制御部１１１を有する。図１中、デ
ータ処理装置１０７は、１台の装置の如く描かれている
が、これは複数台の装置から成る装置郡として構成して
もよい。例えば、ＣＧデータ管理部１０８が１台目の装
置に存在し、後述するように撮影装置１０１の視点から
のＣＧデータを作成するＣＧ映像作成部１０９及びＣＧ
幾何学情報計算部１１０が２台目の装置に存在し、ＨＭ
Ｄ１０５の視点からのＣＧデータを作成するＣＧ映像作
成部１０９及びＣＧ幾何学情報計算部１１０が３台目の
装置に存在し、移動装置制御部１１１が４台目の装置に
存在する構成としてもよい。また、ここで述べたデータ
処理装置１０７としては、パーソナルコンピュータ、ワ
ークステーション、汎用コンピュータ、専用コンピュー
タ或いは専用ハードウェア等の任意のデータ処理装置を
利用することができる。

【０１２２】本実施の形態では、ＣＧ映像作成の過程で
ＣＧ幾何情報の計算が行われるものとしており、それゆ
えＣＧ映像作成部１０９の内部にＣＧ幾何情報計算部１
１０が存在するが、必ずしもＣＧ映像作成部１０９の内
部にＣＧ幾何情報計算部１１０が存在する必要はない。
ＣＧ映像作成部１０９とＣＧ幾何情報計算部１１０との
間で適切なデータ交換が行われれば、これらは互いに独
立したモジュールとすることもできる。

【０１２３】ＣＧデータ管理部１０８は、ＣＧ映像作成
のために必要な様々なデータの記憶や更新等の管理を行
う。ＣＧ幾何情報計算部１１０は、ＣＧ映像作成部１０
９を通してＣＧデータ管理部１０８から読み出したＣＧ
データによって表現される仮想物体やＣＧキャラクター
を、実世界での予め決められた座標系に仮想的に配置す
る場合の幾何情報（位置、形状、大きさ等の情報）を計
算する。

【０１２４】ＣＧ映像作成部１０９は、必要に応じてＣ
Ｇデータ管理部１０８からＣＧデータの一部を読み書き
する。まず、ＣＧ映像作成部１０９は、制御命令に従っ
て仮想物体やＣＧキャラクターの移動・変形等を行う。
この際、ＣＧデータの一部が書き換えられるので、ＣＧ
映像作成部１０９は、変更後のＣＧデータをＣＧ幾何情
報計算部１１０に渡して、ＣＧ幾何情報を計算させる。

【０１２５】次に、ＣＧ映像作成部１０９は、ＣＧ幾何
情報と障害物情報を利用して仮想物体やＣＧキャラクタ
ーの一部が障害物（実物）に仮想的に衝突したか否かを
計算し、衝突を検知した場合は、衝突の程度に応じて仮
想物体やＣＧキャラクターの一部の形状や色彩等を変更
する。この際、再びＣＧデータの一部が書き換えられる
ので、ＣＧ映像作成部１０９は、変更後のＣＧデータを
ＣＧ幾何情報計算部１１０に渡して、ＣＧ幾何情報を再
計算させる。この後、更新後のＣＧ幾何情報は、ＣＧ幾
何情報計算部１１０から移動装置制御部１１１に送信さ
れる。

【０１２６】次に、ＣＧ映像作成部１０９は、更新後の
ＣＧデータ、更新後のＣＧ幾何情報及び撮影位置・姿勢
情報を利用して、撮影装置１０１の視点からのＣＧ映像
（仮想物体やＣＧキャラクターの映像）を作成する。ま
た、ＣＧ映像作成部１０９は、更新後のＣＧデータ、更
新後のＣＧ幾何情報及びＨＭＤ１０５の位置・姿勢情報
を利用して、ＨＭＤ１０５の視点からのＣＧ映像を作成
する。そして、撮影装置１０１の視点からのＣＧ映像
は、映像合成装置１１３に送信され、ＨＭＤ１０５の視
点からのＣＧ映像は、該ＨＭＤ１０５に送信される。

【０１２７】移動装置制御部１１１は、制御命令、障害
物情報、更新後のＣＧ幾何情報及び撮影位置・姿勢情報
を利用して、移動装置１０３が障害物（実物）及び仮想
物体やＣＧキャラクターに衝突しないように、また、安
定して移動及び姿勢変更できるように制御情報を計算
し、移動装置１０３に送信する。

【０１２８】ＨＭＤ１０５は、シースルー型ＨＭＤ（映
像が表示されない領域では前方の光が透過するタイプの
ＨＭＤ）である。ＨＭＤ１０５は、ＣＧ映像作成部１０
９から受信したＣＧ映像を表示するが、ＣＧ映像が表示
されない領域では、前方の光が透過するため、ＨＭＤ１
０５の装着者には、ＣＧ映像と目の前の風景とが合成さ
れて見える。従って、ＨＭＤ１０５の装着者は、ＣＧ映
像とインタラクティブに行動することができる。

【０１２９】映像合成装置１１３は、撮影装置１０１か
ら受信した実写映像とＣＧ映像作成部１０９から受信し
たＣＧ映像とを合成し、その合成映像を映像表示装置１
１４に送信する。映像表示装置１１４は、合成映像を表
示する。映像表示装置１１４としては、各種ディスプレ
イ（ＣＲＴディスプレイ、液晶ディスプレイ、プラズマ
ディスプレイ等）、各種プロジェクタ（前面投影型プロ
ジェクタ、背面投影型プロジェクタ等）或いは非透過型
ＨＭＤ（前方の光が透過しないタイプのＨＭＤ）等の任
意の表示装置を利用できる。

【０１３０】制御命令入力装置１１２に制御命令を入力
する人（操作者）は、通常、映像表示装置１１４を近く
に置いておき、合成映像を見ながら制御命令を入力す
る。これにより、操作者は、実写映像とＣＧ映像とがイ
ンタラクティブに行動する様な制御命令を出すことがで
きる。つまり、ＣＧキャラクターが実写映像中の障害物
を触ったり、避けたり、ＣＧ映像中の仮想物体を攻撃し
たり、避けたり、実写映像中の出演者（ＨＭＤ装着者）
と一緒に踊ったりすることが自在にできる。

【０１３１】なお、制御命令入力装置１１２の操作者
は、専門のオペレータであっても、一般ユーザであって
もよい。また、操作者が複数存在してもよく、更に、操
作者が撮影場所とは異なる場所に存在しても構わない。
例えば、操作者が互いに離れた場所に住んでいる複数の
一般ユーザである場合、各ユーザの家庭にそれぞれ制御
命令入力装置１１２及び映像表示装置１１４を設置すれ
ばよい。

【０１３２】但し、この際、複数の制御命令入力装置１
１２から受信した制御命令を１つにまとめる装置及び映
像合成装置１１３から送信された合成映像を複数の映像
表示装置１１４に分配する映像分配器を追加する必要が
ある。

【０１３３】図２は、本実施の形態に係る画像処理装置
を用いて合成映像を作成する際の撮影風景の概要を示す
図である。

【０１３４】図２において、２０１は撮影装置、２０２
は位置・姿勢センサー、２０３は移動装置、２０４は距
離センサー、２０５は撮影装置、２０６は位置・姿勢セ
ンサー、２０７は移動装置、２０８は距離センサー、２
０９はＨＭＤ、２１０は位置・姿勢センサー、２１１は
出演者（ＨＭＤ装着者）、２１２はＣＧキャラクター、
２１３，２１４は仮想物体である。

【０１３５】移動装置２０３には、撮影装置２０１及び
距離センサー２０４が取り付けられている。また、撮影
装置２０１には、位置・姿勢センサー２０２が取り付け
られている。移動装置２０３は、バッテリーを搭載した
自走式ロボットであり、無線通信によって遠隔制御され
ているため、撮影場所を任意の方向に移動することがで
きる。また、移動装置２０３は、水平方向及び垂直方向
に回転可能な撮影装置２０１の支持台を有しているた
め、撮影装置２０１の姿勢を自由に変更することができ
る。

【０１３６】距離センサー２０４としては、小型の赤外
線センサーや超音波センサー等を利用することが可能で
あり、これらを利用した場合、前方の一定範囲内に存在
する物体迄の距離を測定することができる。

【０１３７】図２では、移動装置２０３が上下方向に長
いので、距離の測定範囲を上下方向に広げるため、移動
装置２０３の前方に距離センサー２０４が２個（前方上
部及び前方下部にそれぞれ１個ずつ）取り付けられてい
る。これによって、移動装置２０３及び撮影装置２０１
の前方に存在する物体迄の距離を測定することができる
ので、図１で説明したように、障害物や人を避けて移動
したり、すぐ近くまで接近したりすることができる。

【０１３８】撮影装置２０５、位置・姿勢センサー２０
６、移動装置２０７及び距離センサー２０８は、それぞ
れ前述の撮影装置２０１、位置・姿勢センサー２０２、
移動装置２０３及び距離センサー２０４と同様の機能を
持っている。

【０１３９】但し、移動装置２０７は、建物の天井また
はクレーン等の支持物に取り付けられており、予め決め
られた範囲内で自由に撮影装置２０５の位置及び姿勢を
変更することができる。

【０１４０】なお、移動装置２０３，２０７は、図示の
例に限られるものではなく、他にも遠隔操縦可能な飛行
物体（飛行機、ヘリコプター、気球等）、水上移動物体
（船、ホバークラフト、水陸両用車等）、水中移動物体
（潜水艦、水中ロボット等）等の様々な機能や形態を持
った移動装置を利用可能である。

【０１４１】ＨＭＤ２０９には、位置・姿勢センサー２
１０が取り付けられており、出演者（ＨＭＤ装着者）２
１１の視点位置及び視線方向を測定することができる。
また、出演者２１１の手にも位置・姿勢センサー２１０
が取り付けられており、出演者２１１の手の位置及び向
きを測定することができる。

【０１４２】ＣＧキャラクター２０９は、撮影装置２０
１、位置・姿勢センサー２０２、移動装置２０３及び距
離センサー２０４（以下、これらをまとめて撮影装置郡
Ａと呼ぶ）を覆い隠す位置及び大きさで実世界に仮想的
に配置されており、撮影装置２０１及び撮影装置２０５
の視点からの合成映像中では撮影装置郡Ａは見えず、Ｃ
Ｇキャラクター２１２だけが見えるようになっている。
また、ＨＭＤ２０９の視点からのＣＧ映像においても、
ＣＧキャラクター２１２は、撮影装置郡Ａを覆い隠す位
置に表示される。

【０１４３】仮想物体２１３は、撮影装置２０５、位置
・姿勢センサー２０６、移動装置２０７及び距離センサ
ー２０８（以下、これらをまとめて撮影装置郡Ｂと呼
ぶ）を覆い隠す位置及び大きさで実世界に仮想的に配置
されており、撮影装置２０１及び撮影装置２０５の視点
からの合成映像中では撮影装置郡Ｂは見えず、仮想物体
２１３だけが見えるようになっている。また、ＨＭＤ２
０９の視点からのＣＧ映像においても、仮想物体２１３
は、撮影装置郡Ｂを覆い隠す位置に表示される。

【０１４４】仮想物体２１４は、出演者２１１の手に握
られているような位置に表示される。例えば、出演者２
１１が予め決められた手の動きをすると、仮想物体２１
４の表示位置がＣＧキャラクター２１２の手に握られる
ような位置に移動するようにＣＧ映像を作成することが
できる。この場合、仮想物体２１４が出演者２１１の手
に握られているような位置に表示されるためには、出演
者２１１の手に取り付けられた位置・姿勢センサー２１
０から得られる測定データを利用すればよい。

【０１４５】一方、仮想物体２１４がＣＧキャラクター
２１２の手に握られるような位置に表示されるために
は、図１で述べたＣＧ幾何情報を利用すればよい。

【０１４６】図２においては撮影装置が２台存在するの
で、視聴者は、撮影装置２０１の視点からの合成映像と
撮影装置２０５の視点からの合成映像のいずれか一方を
選択して見ることができる。或いは、図１で述べた映像
表示装置１１４に２分割画面表示機能がある場合は、前
述した２つの視点からの合成画像を両方同時に表示して
見ることができる。

【０１４７】本発明は、実写映像とＣＧ映像とを違和感
なく合成するために、撮影手段とＣＧ映像作成手段の両
方を備えた画像処理方法及び装置に関するもので、映画
やテレビ番組の撮影やリハーサル、演劇、ゲーム、カラ
オケ、その他の映像利用分野において、撮影場所及び遠
隔地を含むあらゆる視聴場所に新規サービスを提供する
ために利用可能である。

【０１４８】（第２の実施の形態）次に、本発明の第２
の実施の形態を図３乃至図１５に基づき説明する。

【０１４９】図３は、本実施の形態に係る画像処理装置
を装備したスタジオ装置のシステム構成を示すブロック
図である。

【０１５０】図３において、３０１は撮影場所となるス
タジオ（ＭＲスタジオ）、３０２はスタジオ３０１に置
かれたセット、３０３は演技者、３０４は撮影用のカメ
ラ（撮影手段）、３０５は演技者３０３の装着する頭部
装着型ディスプレイ装置（Ｈｅａｄ−Ｍａｕｎｔｅｄ
Ｄｉｓｐｌａｙ、以下、ＨＭＤと記述する）、３０６は
ＨＭＤ３０５に組み込まれた位置センサー（表示パラメ
ータ取得手段）、３０７は演技者３０３の見る映像及び
カメラ３０４の撮影映像に重畳される仮想物体（３０７
ａは撮影の中心となる仮想物体、３０７ｂは視聴者を意
味する仮想物体）、３０８は演技者３０３の見る映像を
生成する映像生成装置、３０９はカメラ３０４の撮影映
像に仮想物体３０７の映像を重畳する映像重畳装置、３
１０は仮想物体３０７の状態を管理・操作するオペレー
タ装置、３１１は映像生成装置３０８、映像重畳装置３
０９及びオペレータ装置３１０を接続するネットワー
ク、３１２は視聴者からの通信を受け付けて視聴者の情
報を管理する視聴者情報管理装置、３１３は映像重畳装
置３０９の出力を発信或いは放映し、且つ視聴者からの
情報（反応）も通信する双方向放送装置（伝達装置）で
ある。

【０１５１】位置センサー３０６としては、例えば磁気
方式の位置・方位センサー、米国ポヒマス社のＦａｓｔ
ｒａｋ等の装置が利用可能である。また、映像生成装置
３０８若しくは映像重畳装置３０９は、ＰＣ（パーソナ
ルコンピュータ）とビデオキャプチャカード及びＣＧ描
画機能を有するビデオカードで構成することができる。
更に、オペレータ装置３１０は、一般のＰＣで構成する
ことができる。

【０１５２】ＨＭＤ３０５及び映像生成装置３０８等
は、演技者或いは同時観察するスタッフの人数に応じて
増やすことができ、カメラ３０４及び映像重畳装置３０
９等は、撮影用のカメラの数に応じて増やすことが可能
である。

【０１５３】図４は、ＨＭＤ３０５の内部構成を示す図
である。このＨＭＤ３０５は、表示装置であると共に撮
像装置の機能をも持つもので、外部から入ってくる光線
を画像センサーに導く第１のプリズム光学素子４０１、
光線を受けて撮像する撮像素子４０２、映像を提示する
表示素子４０３及び表示映像を目に導く第２のプリズム
光学素子４０４等から構成される。

【０１５４】図３に示すように、スタジオ３０１にはセ
ット３０２が置かれ、その中で演技者３０３が演技をす
る。演技者３０３はＨＭＤ３０５を装着し、このＨＭＤ
３０５には位置センサー３０６が組み込まれ、その位置
センサー３０６は位置情報を出力する。オペレータ装置
３１０は、オペレータの操作や進行シナリオ、視聴者情
報管理装置３１２からの情報に応じて、仮想物体３０７
を表示したり、動かしたりする指示を受け、これをネッ
トワーク３１１を介して、映像生成装置３０８及び映像
重畳装置３０９に伝達する。

【０１５５】映像生成装置３０８は、指示された仮想物
体３０７の状態と位置センサー３０６等から得られる頭
部の位置情報に対応してＣＧ映像を生成し、これをＨＭ
Ｄ３０５から得られる撮像データと合成し、その合成映
像をＨＭＤ３０５へ出力する。演技者３０３はＨＭＤ３
０５に映る映像を見ることにより、恰も仮想物体３０７
がセット３０２内にあるように観察することができる。
カメラ３０４は、演技者３０３やセット３０２を含むス
タジオ３０１の様子を撮像し、その撮影データを出力す
る。映像重畳装置３０９は、オペレータ装置３１０から
の指示による仮想物体３０７の状態とカメラ３０４の位
置・姿勢に対応したＣＧ映像を生成し、これをカメラ３
０４から得られる映像データと合成することにより、出
力映像を作成する。

【０１５６】映像生成装置３０８及び映像重畳装置３０
９で生成された映像は、スタジオ３０１にいる体験者が
見るだけではなく、同時に双方向放送装置３１３によ
り、一般視聴者に放送される。

【０１５７】双方向放送装置３１３は、インターネット
やＢＳデジタル放送であり、当該分野の技術者に良く知
られた構成要素である。更に説明するならば、前記ＢＳ
デジタル放送については、下り（スタジオから家庭へ）
の映像配信は衛星経由で、上り（家庭からスタジオへ）
はケーブルや電話回線、専用線を用いたインターネット
を用いる。また、インターネット自体がブロードバンド
である場合には、下りの映像配信もインターネットで行
うことができる。これらの上り下りの通信により、スタ
ジオと家庭とが双方向に結ばれる。

【０１５８】このとき、視聴者（家庭）から送られてく
る放送に対する情報は、視聴者情報管理装置３１２で受
信・管理される。

【０１５９】図５は、図１に示す本実施の形態に係る画
像処理装置の動作の詳細を示すブロック図である。

【０１６０】図５において、５０１は所謂シースルー機
能を持つＨＭＤで、撮像部と画像表示部とを有する。５
０２は第１の画像合成手段、５０３はＨＭＤ５０１の視
点からのＣＧ映像を描画する第１のＣＧ描画手段、５０
４はＣＧオブジェクトの存在範囲を制御する禁則領域処
理手段、５０５はシナリオ管理手段、５０６は位置セン
サー等を含む位置合わせ手段、５０７はＣＧデータ管理
手段、５０８はカメラ等の撮影手段、５０９は第２の画
像合成手段、５１０は撮影手段５０８の視点からのＣＧ
映像を描画する第２のＣＧ描画手段、５１１は画像表示
手段、５１２は視聴者情報管理手段である。

【０１６１】そして、ＨＭＤ５０１で撮像された画像
は、第１の画像合成手段５０２で、第１のＣＧ描画手段
５０３の生成したＣＧ画像と合成され、得られた合成画
像はＨＭＤ５０１に表示される。また、ＨＭＤ５０１で
撮像された画像は位置合わせ手段５０６に送られ、この
位置合わせ手段５０６は、その情報と位置センサー等か
ら得られるトラッキング情報を元にＨＭＤ（即ち頭部）
の位置・方向を計算し、第１のＣＧ描画手段５０３に伝
達する。

【０１６２】第１のＣＧ描画手段５０３は、位置合わせ
手段５０６より得られる頭部の位置・方向情報とＣＧデ
ータ管理手段５０７より得られるＣＧデータを元に、Ｈ
ＭＤ５０１の視点でのＣＧ画像を描画する。シナリオ管
理手段５０５は、禁則領域処理手段５０４から得られる
情報と視聴者情報管理手段５１２より得られる情報とリ
ハーサルや演技の進行状況或いはオペレータの指示等に
従い、シーン構成に必要な情報をＣＧデータ管理手段５
０７に伝達する。

【０１６３】ＣＧデータ管理手段５０７は、これに応じ
たＣＧデータを第１のＣＧ描画手段５０３若しくは第２
のＣＧ描画手段５１０に指示する。撮影手段５０８から
得られる画像に対する処理も同様であり、撮影手段５０
８で撮像された画像は、第２の画像合成手段５０９で第
２のＣＧ描画手段５１０の生成したＣＧ画像と合成さ
れ、得られた合成画像は画像表示手段５１１に表示され
る。また、撮影手段５０８で撮像された画像は位置合わ
せ手段５０６に送られ、この位置合わせ手段５０６は、
その情報と位置センサー等から得られるトラッキング情
報を元に撮影手段（即ち、カメラ）の位置・方向を計算
し、第２のＣＧ描画手段５１０に伝達する。

【０１６４】第２のＣＧ描画手段５１０は、位置合わせ
手段５０６から得られる撮影手段５０８の位置・方向情
報とＣＧデータ管理手段５０７から得られるＣＧデータ
を元に、撮影手段５０８の視点でのＣＧ画像を描画す
る。また、位置合わせ手段５０６は、得られたＨＭＤ
（即ち、頭部）の位置・方向データと撮影手段（即ち、
カメラ）５０８の位置・方向データを禁則領域処理手段
５０４に伝達する。この禁則領域処理手段５０４は、こ
れらのデータからＣＧオブジェクトの存在すべき範囲に
応じてＣＧオブジェクトの位置を修正する。

【０１６５】シナリオ管理手段５０５の管理するＣＧ画
像に必要な情報とは、シーンやシナリオの進行に合わせ
て、体験者を取り巻く仮想の世界がどのような状態にあ
るかを管理できる情報である。具体的には、表示される
キャラクター毎に、表示するＣＧモデルの番号、基準と
なる位置、姿勢のデータ、動作の種類を示す番号、動作
に付随するパラメータ等である。

【０１６６】シナリオはシーン単位で管理されており、
各シーンではキャラクターの持つ特性、状態等のステー
タス値と演技者の動き等に応じて上述のデータの組が選
択される。更に、体験者を取り巻くＣＧ環境の一部とし
て、観客（視聴者を意味する）のキャラクター情報
（数、位置、状態）も管理している。観客のキャラクタ
ーは、シナリオの進行とは別に、視聴者情報管理手段５
１２から送られてくる情報に依存している。

【０１６７】なお、ＨＭＤ５０１が外界を透過的に見ら
れるように構成することにより、シースルー機能を実現
すること（光学シースルー方式）も可能であり、この場
合には、上述の第１の画像合成手段５０２は不要とな
る。

【０１６８】また、位置合わせ手段５０６は、例えば、
機械式のエンコーダ等、三次元での位置・姿勢を検出す
る手段から構成することや、前述した磁気方式の位置セ
ンサー或いは光学式或いは画像認識等による位置合わせ
手段から構成することができる。また、撮影手段５０８
に対する位置合わせ手段とＨＭＤ５０１に対する位置合
わせ手段としては、別々のものを用いることも可能であ
る。

【０１６９】図６は、機械式エンコーダを用いたカメラ
装置の一例を示す図である。同図において、６０１はカ
メラ、６０２はカメラ６０１を載置した台車、６０３は
ロータリーエンコーダ等の計測装置で、各ジョイントに
設けられている。そして、計測装置６０３により、台車
６０２の位置からカメラ６０１の位置及び方位を計測し
て出力することができる。

【０１７０】なお、図５における第２の画像合成手段５
０９からの出力をカメラ６０１のファインダ部に出すこ
とも可能であり、これによりカメラマンにも仮想の世界
を合わせたカメラワークが可能となる。

【０１７１】図７は、磁気式の位置・方位センサーを用
いた手持ちのカメラ装置の一例を示す図である。

【０１７２】同図において、７０１はカメラで、このカ
メラ７０１には磁気の受信機（計測器）７０２が固定的
に装着されている。そして、受信器７０２により計測さ
れた磁気状態から、カメラ７０１の三次元的な位置及び
方位を計算するようになっている。前述したように、こ
のように用いることができる機器として、例えば、米国
ポヒマス社のＦａｓｔｒａｋといった装置がある。

【０１７３】７０３はＨＭＤで、このＨＭＤ７０３につ
いてもカメラ７０１と同様の方法で位置・方位を計算す
るようになっている。このような手持ちのカメラ装置の
場合には、カメラマンはＨＭＤ７０３（或いはその片目
版）を装着し、このＨＭＤ７０３に画像合成手段の出力
を表示することで、仮想の世界に合わせたカメラワーク
が可能となる。

【０１７４】なお、ズーム可能なカメラ装置の場合に
は、ズームレンズのズーム情報も外部の処理装置に伝達
する。更に、視聴者情報をカメラ装置に重畳表示するか
否かを、カメラ撮影者自身が好みに応じて選択すること
ができる。

【０１７５】図５におけるＣＧデータ管理手段５０７に
は、ＣＧの三次元モデルやアニメーションデータ、実写
画像等の画像データが記録されており、例えば、ＣＧキ
ャラクターの三次元アニメーションデータ等が記録され
ている。そして、シナリオ管理手段５０５から受け取っ
たキャラクター毎の表示するＣＧモデルの番号、基準と
なる位置・姿勢のデータ、動作の種類を示す番号、動作
に付随するパラメータ等に従って、表示すべきＣＧモデ
ルやアニメーションを選択し、位置・姿勢、その他のパ
ラメータを設定することで、ＣＧ画像に用いるシーング
ラフを変更する。

【０１７６】シナリオ管理手段５０５は、演技の補助に
必要な台本・台詞・説明等の情報を蓄え、また、視聴者
情報管理手段５１２より得られる各視聴者の状態に応じ
た視聴者キャラクターを観客席に配置する。そのように
して、シーンに応じて必要な情報をＣＧデータ管理手段
５０７に送る。ＣＧデータ管理手段５０７は、これらの
情報をＣＧ描画手段５０３，５１０に指示する。

【０１７７】シーンの進行は、任意のユーザインターフ
ェース（マウス、キーボード、音声入力等）を用いて行
われる。

【０１７８】次に、図３における、演技者３０３の装着
したＨＭＤ３０５に表示される映像が作成される動作に
ついて、図３及び図８を用いて説明する。

【０１７９】図８は、図３における、演技者３０３の装
着したＨＭＤ３０５に表示される映像が作成される動作
の流れを示すフローチャートであり、同図において、ス
テップＳ８１０〜ステップＳ８１２は、近年当該分野で
一般化した並列処理プログラムの技法を用いて、別々に
並行動作するスレッドとして実装されるものである。

【０１８０】また、図８に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【０１８１】映像生成装置３０８内での処理プロセス
は、まず、オペレータ装置３１０から得られた指示に応
じて、ＣＧを描画するための状態フラグ（表示物体の種
類、位置、状態）を更新する処理である内部状態更新処
理を行う（ステップＳ８０１）。次いで、頭部位置の決
定処理から得られる頭部位置情報を内部に取り込む（ス
テップＳ８０２）。次いで、ビデオキャプチャカードか
ら得られた最新の画像を背景画像として取り込む（ステ
ップＳ８０３）。次いで、背景画像の上に前記ステップ
Ｓ８０１において設定された内部状態に応じてＣＧデー
タを更新し、前記ステップＳ８０２において設定された
頭部位置をＣＧ生成の仮想カメラとしてＣＧを描画する
（ステップＳ８０４）。最後に、描画結果の合成画像を
表示するＣＧコマンドをビデオカードに与えることで、
ＨＭＤ３０５に合成画像が表示される（ステップＳ８０
５）。その後、前記ステップＳ８０１へ戻る。

【０１８２】ここで、ステップＳ８１０はオペレータ装
置３１０からの指示データがネットワーク３１１を介し
て送信されてくるのを受け取るスレッドである。また、
ステップＳ８１１は位置センサー３０６からの情報を受
け取り、ビデオキャプチャカードから得られる画像デー
タと合わせて頭部の位置を決定するスレッドである。更
に、ステップＳ８１２は定期的にビデオキャプチャカー
ドから画像データを読み出す画像キャプチャスレッドで
ある。

【０１８３】次に、頭部位置決定動作について、図３及
び図９を用いて説明する。

【０１８４】図９は、頭部位置決定動作の流れを示すフ
ローチャートであり、同図において、ステップＳ９１０
は位置センサー３０６からのデータ読み込みのスレッ
ド、ステップＳ９１１はマーカー位置の通知を受け取る
スレッドである。

【０１８５】ここで、位置センサー３０６からのデータ
は、通常のＲＳ２３２Ｃのポートへのデータ通信であ
り、ステップＳ９１０では、このポートのデータを定期
的に読み出している。また、ステップＳ９１１の通知
は、一般的なネットワーク通信プロトコル（ＴＣＰ−Ｉ
Ｐ）で通信される。

【０１８６】また、図９に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【０１８７】映像生成装置３０８は、まず、位置センサ
ー３０６から得られる最新の位置情報に頭部位置を更新
する（ステップＳ９０１）。次いで、ＨＭＤ３０５のカ
メラから得られた画像データから特定のマーカ画像を認
識することで、頭部位置の補正情報を得、これに応じて
頭部の方向データを更新する（ステップＳ９０２）。最
後に、得られた頭部の位置（方向を含む）データを頭部
位置決定スレッドであるステップＳ９１１に受け渡す
（ステップＳ９０３）。その後、前記ステップＳ９０１
へ戻る。

【０１８８】ここで、頭部の方向の補正は、まず、位置
センサー３０６から得られたワールド座標系での頭（視
点）の三次元位置及び方位とマーカーの三次元位置か
ら、マーカーが画像中のどこに見えるかの予測値（ｘ
０，ｙ０）を計算する。次いで、この予測値（ｘ０，ｙ
０）から画像中の実際のマーカー位置（ｘ１，ｙ１）に
向かう移動ベクトルを計算する。最後に、この移動ベク
トルを見込む角度を補正値として、これに相当する分だ
け頭部の方位を回転させた値をＨＭＤ３０５の方向とし
て出力する。

【０１８９】図１０は、位置計測に用いるために、スタ
ジオ内に貼り込むマーカーの一例を示す図である。マー
カーには単色のものを用いることも可能であるが、本実
施の形態においては、３つの色票１００１，１００２，
１００３からなり、それぞれ特定の大きさを持つ矩形の
色票を特定の位置関係に配置したものである。それぞれ
の色票１００１，１００２，１００３には、任意の色を
選ぶことができる。このように構成することにより、よ
り多種類のマーカーを安定的に検出することが可能とな
る。

【０１９０】次に、マーカー位置決定動作について、図
３及び図１１を用いて説明する。

【０１９１】図１１は、マーカー位置決定動作の流れを
示すフローチャートであり、同図において、ステップＳ
１１１０は画像認識の対象となる画像データを得るステ
ップであり、画像キャプチャカードから画像を定期的に
読み出すスレッドとなっている。

【０１９２】また、図１１に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０１９３】映像生成装置３０８或いは映像重畳装置３
０９は、まず、最新の画像データを更新する（ステップ
Ｓ１１０１）。次いで、登録されたマーカーを判別する
ための幾つかの色情報によって画像を閾値処理する（ス
テップＳ１１０２）。次いで、得られた２値画像を連結
化してラベリング処理する（ステップＳ１１０３）。次
いで、各ラベルの領域の面積を計数し（ステップＳ１１
０４）、重心位置を計算する（ステップＳ１１０５）。
次いで、各ラベルの面積とラベル間の重心位置との関係
から、登録されたマーカーのパターンと一致するか否か
を判定する（ステップＳ１１０６）。最後に、前記ステ
ップＳ１１０６において判定された中心のラベルの重心
をもってマーカー位置として出力する（ステップＳ１１
０７）。その後、前記ステップＳ１１０１へ戻る。

【０１９４】ここで、前記ステップＳ１１０７において
出力されたマーカー位置の情報は、ＨＭＤ３０５或いは
カメラ３０４の方位の補正に利用され、ＨＭＤ３０５・
カメラ３０４の位置及び方位の情報をＣＧレンダリング
の際の仮想カメラの位置・方位とすることで、現実世界
と位置合わせされたＣＧ画像が生成される。

【０１９５】次に、映像重畳装置３０９の映像処理動作
について、図３及び図１２を用いて説明する。

【０１９６】図１２は、映像重畳装置３０９の映像処理
動作の流れを示すフローチャートであり、同図におい
て、ステップＳ１２１０〜ステップＳ１２１２は近年当
該分野で一般化した並列処理プログラムの技法を用い
て、別々に並行動作するスレッドとして実装されるもの
である。

【０１９７】また、図１２に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０１９８】映像重畳装置３０９内での処理プロセス
は、まず、オペレータ装置３１０から得られた指示に応
じて、ＣＧを描画するための状態フラグ（表示物体の種
類、位置、状態）を更新する処理である内部状態更新処
理を行う（ステップＳ１２０１）。次いで、カメラ位置
の決定処理から得られるカメラ位置情報を内部に取り込
む（ステップＳ１２０２）。次いで、ビデオキャプチャ
カードから得られた最新の画像を背景画像として取り込
む（ステップＳ１２０３）。次いで、背景画像の上に前
記ステップＳ１２０１において設定された内部状態に応
じてＣＧデータを更新し、前記ステップＳ１２０２にお
いて設定されたカメラ位置をＣＧ生成の仮想カメラとし
てＣＧを描画する（ステップＳ１２０４）。最後に、描
画結果のである合成画像を表示するＣＧコマンドをビデ
オカードに与えることで、ＨＭＤ３０５に合成画像が表
示される（ステップＳ１２０５）。その後、前記ステッ
プＳ１２０１へ戻る。

【０１９９】ここで、ステップＳ１２１０はオペレータ
装置３１０からの指示データがネットワーク３１１を介
して送信されてくるのを受け取るスレッドである。ま
た、ステップＳ１２１１は図６或いは図７のカメラ装置
からの情報を受け取り、ビデオキャプチャカードから得
られる画像データと合わせてカメラの位置を決定するス
レッドである。更に、ステップＳ１２１２は定期的にビ
デオキャプチャカードから画像データを読み出す画像キ
ャプチャスレッドである。

【０２００】なお、本実施の形態では、映像生成装置３
０８或いは映像重畳装置３０９の出力であるリアルタイ
ムの合成画像を装置全体の出力としている。

【０２０１】また、映像生成装置３０８或いは映像重畳
装置３０９を構成するハードウェアは、一般的なコンピ
ュータと周辺機器との組み合わせにより実現できる。

【０２０２】図１３は、映像生成装置３０８のハードウ
ェア構成の一例を示すブロック図である。同図におい
て、１３０１は入力手段であるマウス、１３０２は同じ
く入力手段であるキーボード、１３０３は画像を表示す
るディスプレイ装置、１３０４は画像を表示すると共に
画像を撮像するＨＭＤ、１３０５は周辺コントローラ、
１３０６は位置センサーとの間の情報授受のためのシリ
アル・インターフェース（Ｉ／Ｆ）、１３０７はプログ
ラムによる各種の処理を実行するＣＰＵ（中央演算処理
装置）、１３０８はメモリ、１３０９はネットワーク・
インターフェース（Ｉ／Ｆ）、１３１０はプログラムを
記憶媒体からロードするためのハードディスク（ＨＤ）
装置、１３１１はプログラムを記憶媒体からロードする
ためのフロッピー（登録商標）ディスク（ＦＤ）装置、
１３１２は画像キャプチャカード、１３１３はビデオグ
ラフィックカードである。

【０２０３】なお、映像重畳装置３０９の場合には、Ｈ
ＭＤ１３０４の代わりに撮影装置（カメラ）からの入力
を受け、画像表示装置であるディスプレイ装置１３０３
へ映像信号を出力する。また、オペレータ装置３１０の
場合には、ＨＭＤ１３０４及び画像キャプチャカード１
３１２は不要となる。

【０２０４】本発明を実現するためのプログラムは、Ｆ
Ｄ装置やネットワーク等を介してプログラム記憶媒体か
らロードすることができる。

【０２０５】双方向放送３１３における一般視聴者の家
庭では、インターネットと接続可能なインターネット端
末或いはＢＳデジタル放送端末或いは、デジタルテレビ
（ＴＶ）端末を用いてこれを受信する。同時に、これら
の端末は、インターネットと接続することにより、視聴
者情報管理装置３１２との間で通信が可能である。視聴
者は、放送されてきた映像を見ると共にマウス或いはリ
モコン（リモートコントローラ）等を用いた一般的な対
話手段で、画面上の特定の位置をクリックする等の操作
が可能である。

【０２０６】視聴者の操作は、インターネット端末等か
らデータとして視聴者情報管理装置３１２に伝達され、
この視聴者情報管理装置３１２は、これを記録若しくは
計数して視聴者からの反応を纏める。これは、例えば、
放送内容（ゲームならば試合内容）に対する応援やブー
イングを視聴者からのキー入力やクリックで集計するこ
とになる。計数された情報はオペレータ装置３１０へ伝
達され、このオペレータ装置３１０は前記情報に従って
進行中のシナリオに観客の情報を付加し、それに応じた
ＣＧの動きやゲーム進行上のパラメータ或いはＣＧの表
示形式等を操作する。例えば、観客からのブーイングが
多い場合には、仮想の観客からのブーイングが映像とし
て伝わり、プレイヤーを奮起させることができる。ま
た、カメラマンにしてみれば、カメラアングルに対する
ブーイングと考えることができ、より視聴者が望むアン
グルを探しやすくなる。

【０２０７】視聴者情報管理装置３１２は、一般にＷｅ
ｂサーバとして知られるサーバ装置と同様の機構で構成
されるものであり、具体的には、ＣＧＩ或いはＪａｖａ
等を用いたサーバサイドスクリプトとして、クライアン
トである端末からの入力を受付処理する。そして、その
処理結果はデータベースのようにＩＤ（識別子）と情報
を管理する。

【０２０８】次に、視聴者情報管理装置３１２の処理動
作について、図１４を用いて説明する。

【０２０９】図１４は、視聴者情報管理装置３１２の処
理動作の流れを示すフローチャートであり、同図におい
て、ネットワークを介した接続を保持するコネクション
チェック処理であるステップＳ１４１０及び新規なコネ
クションの受付処理であるステップＳ１４１１は、メイ
ンの処理とは別のスレッドとして並行動作するようにプ
ログラミングされるものである。

【０２１０】また、図１４に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０２１１】視聴者情報管理装置３１２は、まず、現在
接続中のコネクションの状況をコネクションチェック処
理であるステップＳ１４１０から受け取り、コネクショ
ンが切断していれば内部の状態をクリーンアップする接
続終了処理を行う（ステップＳ１４０１）。次いで、新
規なコネクションの要求をコネクション受付処理である
ステップＳ１４１１から受け取り、これがあれば、新規
接続を行う（ステップＳ１４０２）。次いで、全てのコ
ネクションからのコマンドの受信を行う（ステップＳ１
４０３）。コマンドには、多様なものが有り得るが、こ
こでは、［ＳｔａｔｕｓＮ］というコマンド形式であ
り、Ｎは視聴者が選択した状態を表わす番号である。こ
の番号は、視聴者が押したキーパッドの番号や、画面の
区分領域の番号等、設定次第で様々な形態が考えられ
る。次いで、この接続しているユーザのＩＤとコマンド
Ｎとを記録する（ステップＳ１４０４）。次いで、全ユ
ーザの状態情報を受け渡し（ステップＳ１４０４）、そ
の後、前記ステップＳ１４０１へ戻る。

【０２１２】次に、視聴者情報管理装置３１２に対応す
るオペレータ装置３１０の処理動作について、図１５を
用いて説明する。

【０２１３】図１５は、視聴者情報管理装置３１２に対
応するオペレータ装置３１０の処理動作の流れを示すフ
ローチャートであり、該図１５に示す処理は、動き出す
と、割り込みが入るまでは無限ループで動作し、割り込
みが入ると他の処理に移行する。

【０２１４】オペレータ装置３１０では、まず、ユーザ
からの入力操作をユーザ入力処理であるステップＳ１５
１０から受け取る（ステップＳ１５０１）。次いで、ネ
ットワークを介して通信により視聴者情報管理装置３１
２から各視聴者の状態情報をネットワーク入力処理であ
るステップＳ１５１１から受け取る（ステップＳ１５０
２）。次いで、前記各視聴者の状態情報に応じて内部状
態（シナリオの進行ポインタ、表示モード等）を更新す
る（ステップＳ１５０３）。ここで、接続中の視聴者の
数に応じてシナリオ管理手段５０５（図５参照）で管理
している仮想物体で表示される観客の数、状態（応援し
ている・喜んでいる・ブーイング等）が更新されること
になる。次いで、カメラ３０４及び演技者３０３の位置
情報から禁則領域を決定し、ＣＧによる仮想オブジェク
トがこの禁則領域内に入らないように位置データを更新
する（ステップＳ１５０４）。次いで、前記ステップＳ
１５０４において更新された状態の情報を映像生成装置
３０８や映像重畳装置３０９に伝達する（ステップＳ１
５０５）。その後、前記ステップＳ１５０１へ戻る。

【０２１５】前述したように、ユーザからの入力操作
は、図１３に示すマウス１３０１やキーボード１３０２
等の入力装置若しくは音声入力やジェスチャーコマンド
等を介して行うことができる。

【０２１６】ここで、禁則処理は仮想のＣＧオブジェク
トと実在のオブジェクトの隠れ関係等が不自然にならな
いように、ＣＧオブジェクトの存在可能領域を制限する
処理である。前記隠れ関係については、固定の実在オブ
ジェクトの場合には前もって実在オブジェクトと同じ形
状及び位置・方向にＣＧオブジェクトを設定し、実在オ
ブジェクトに対するＣＧオブジェクトの領域には実写映
像を用い、仮想オブジェクトのレンダリングの際には設
定した実在オブジェクトに対応するＣＧオブジェクトと
の隠面処理を行うことにより、仮想ＣＧオブジェクトの
隠れは正しく処理される。

【０２１７】以上説明したように、本実施の形態に係る
画像処理装置によれば、撮影映像とＣＧ等との実時間で
の合成映像を体験することができ、且つ双方向放送でき
るスタジオ装置（スタジオシステム）において、遠隔地
にいる視聴者の反応を仮想観客（キャラクター）として
合成されることにより、スタジオ内の体験者やカメラマ
ンがより視聴者を実感でき、視聴者も参加できる新しい
映像体験が実現できる。

【０２１８】即ち、ＨＭＤと、位置及び方向を計測する
計測手段と、画像を合成する画像合成手段とをスタジオ
に配置して、画像合成手段により合成される画像を見な
がら演技者が演技できるようにすると共に、インターネ
ットを介して一般の視聴者が直接合成されるＣＧ画像と
なる仮想キャラクターを操作できるようにすることで、
遠隔地のユーザとスタジオのユーザの両方にこれまでに
無い画像体験を与えることが可能である。

【０２１９】具体的には、これまで演技者には見えなか
った合成される画像が、演技の間にも演技者に見えるよ
うになったことで、演技に不自然さが無くなる、或いは
これまで以上に演技の自由度を増すことができる。

【０２２０】また、演技者に直接的に仮想キャラクター
が見えることで、家庭にいる視聴者がインターネット経
由で参加した状況を演技者が同時体験し、家庭とスタジ
オの協同作業の相互作用が可能になる。

【０２２１】（第３の実施の形態）次に、本発明の第３
の実施の形態を図１６及び図１７に基づき説明する。

【０２２２】なお、本実施の形態に係る画像処理装置及
び該画像処理装置を装備したスタジオ装置のシステム構
成は、上述した第２の実施の形態と同一であるから、必
要に応じて上述した第２の実施の形態における図面を流
用して説明する。

【０２２３】本実施の形態は、上述した第２の実施の形
態と同様に視聴者の反応をスタジオ内の体験者や放映し
ている映像に仮想観客キャラクターとして表示するシス
テムにおいて、視聴者数が多い場合の対処方法に関する
ものである。

【０２２４】上述した第２の実施の形態においては、各
視聴者の反応が観客のキャラクターとして合成表示され
る。そのため、視聴者数が多い場合には、観客のＣＧキ
ャラクターのモデル及び状態管理や、どこに観客のＣＧ
キャラクターを配置するか、また、観客のＣＧキャラク
ターが増えすぎることにより、シーン全体の雰囲気が損
なわれてしまう可能性がある。そこで、観客のＣＧキャ
ラクターを表示するエリア（仮想観客席）を設定し、更
に、観客席のサイズに合わせて視聴者の情報を集計して
表示する。

【０２２５】以下、本実施の形態に係る画像処理装置に
おける視聴者情報管理装置３１２の処理動作を図１６に
基づき説明する。

【０２２６】図１６は、本実施の形態に係る画像処理装
置における視聴者情報管理装置３１２の処理動作の流れ
を示すフローチャートであり、同図において、ネットワ
ークを介した接続を保持するコネクションチェック処理
であるステップＳ１６１０及び新規なコネクションの受
付処理であるステップＳ１６１１は、メインの処理とは
別のスレッドとして並行動作するようにプログラミング
されるものである。

【０２２７】また、図１６に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０２２８】視聴者情報管理装置３１２では、まず、現
在接続中のコネクションの状況をコネクションチェック
処理であるステップＳ１６１０から受け取り、コネクシ
ョンが切断していれば内部の状態をクリーンアップする
接続終了処理を行う（ステップＳ１６０１）。次いで、
新規なコネクションの要求をコネクション受付処理であ
るステップＳ１６１１から受け取り、これがあれば、新
規接続を行う（ステップＳ１６０２）。次いで、全ての
コネクションからのコマンドの受信を行う（ステップＳ
１６０３）。コマンドには、多様なものが有り得るが、
ここでは、［ＳｔａｔｕｓＮ］というコマンド形式であ
り、Ｎは視聴者が選択した状態を表わす番号である。こ
の番号は、視聴者が押したキーパッドの番号や、画面の
区分領域の番号等、設定次第で様々な形態が考えられ
る。次いで、このコマンドをＮ毎に計数する（ステップ
Ｓ１６０４）。次いで、各Ｎの計数値を状態情報として
受け渡す（ステップＳ１６０５）。その後、前記ステッ
プＳ１６０１へ戻る。

【０２２９】ここで、シーンやゲーム内容に対する視聴
者の感想（応援・ブーウイング・普通）であれば、３段
階の視聴者の状態があり、図１６のステップＳ１６０５
では、そのそれぞれの状態が全体の視聴者数に対する割
合として、状態情報が受け渡される。

【０２３０】また、本実施の形態に係る画像処理装置に
おけるオペレータ装置３１０の処理動作の流れは、上述
した第２の実施の形態における図１５と同一であり、ス
テップＳ１５１１においてネット入力される値が、前記
図１６のステップＳ１６０４において計数された数値に
なる。次に、ステップＳ１５０３で内部状態の更新処理
が行われる。このとき、更新情報としては、状態（応援
・ブーイング・普通）と全視聴者に対する割合となるた
め、表示する観客ＣＧキャラクターの数や位置が決まっ
ていないので、ステップＳ１５０３で決定する。詳しく
は、図５のシナリオ管理手段５０５にて行う。

【０２３１】シナリオ管理手段５０５では、観客席数の
割合がステップＳ１５０２において入力された値となる
ように、それぞれの状態（応援・ブーイング・普通）の
観客ＣＧキャラクターを配置する。このようにして、仮
想（ＣＧ）の観客席として設定した範囲に収まるように
視聴者の状態を表わす観客キャラクターの情報を更新す
ることができる。この後、位置データを更新する（ステ
ップＳ１５０４）や、更新された状態の情報を映像生成
装置３０８や映像重畳装置３０９に伝達する（ステップ
Ｓ１５０５）。

【０２３２】また、本実施の形態における視聴者情報か
ら観客ＣＧキャラクターを設定する処理の詳細は、図５
におけるシナリオ管理手段５０５において行われる。こ
こでは、ＣＧ合成すべき全ての世界（状況）を管理して
おり、視聴者の情報が感想情報でなく、感想の全体人数
に対する割合であっても、そこから観客ＣＧキャラクタ
ーの設定を行う。

【０２３３】次に、本実施の形態に係る画像処理装置に
おけるシナリオ管理手段５０５内で行われる観客ＣＧキ
ャラクターの設定処理動作について、図１７に基づき説
明する。

【０２３４】図１７は、本実施の形態に係る画像処理装
置におけるシナリオ管理手段５０５内で行われる観客Ｃ
Ｇキャラクターの設定処理動作の流れを示すフローチャ
ートである。

【０２３５】図１７に示す処理は、動き出すと、割り込
みが入るまでは無限ループで動作し、割り込みが入ると
他の処理に移行する。

【０２３６】最初に、ステップＳ１７１０から視聴者情
報が入力されたか否かを判定し、入力があった場合は、
次に処理を進める（ステップＳ１７０１）。ここで、視
聴者情報としては、図１６のステップＳ１６０５におい
て受け渡される現在のシーンに対する視聴者の感想の割
合と総視聴者数である。次に、総視聴者数が用意してあ
るＣＧ観客エリアに収まる人数かをチェックする（ステ
ップＳ１７０２）。ここでは、ＣＧ観客エリアとして設
定してある最大収容人数と前記ステップＳ１７０１にお
いて入力された総視聴者数とを比較する。そして、総視
聴者数が最大収容人数より多い場合は、総視聴者数を最
大収容人数とする。

【０２３７】次に、シーンに対する各感想（例えば、応
援・ブーイング・普通）に応じたキャラクター数を計数
する（ステップＳ１７０３）。この計算は、総視聴者数
×感想の割合により行う。次に、前記ステップＳ１７０
３において求めたキャラクター数だけ、観客席エリアに
観客ＣＧキャラクターが配置されるように管理している
内部情報を更新する（ステップＳ１７０４）。

【０２３８】ここで、観客の配置方法は、種々のバリエ
ーションがあり、例えば、シーンに対する同じ感想を持
つキャラクターが一部に集まるようにしたり、逆にラン
ダムに分散させることも可能である。この後、シナリオ
管理手段５０５内での他の内部情報更新が終了したとこ
ろで、情報の受け渡しが行われる（ステップＳ１７０
５）。その後、前記ステップＳ１７０１へ戻る。

【０２３９】以上説明したように、本実施の形態の係る
画像処理装置によれば、視聴者数が膨大な場合でも、視
聴者全体の意見の総和として観客ＣＧキャラクターの映
像が合成される。また、管理するＣＧキャラクター数も
最大で観客席エリアの最大収容人数に依存するので、シ
ステム全体の負荷的にも有効である。

【０２４０】（第４の実施の形態）次に、本発明の第４
の実施の形態を図１８に基づき説明する。

【０２４１】なお、本実施の形態に係る画像処理装置及
び該画像処理装置を装備したスタジオ装置のシステム構
成は、上述した第２の実施の形態と同一であるから、必
要に応じて上述した第２の実施の形態における図面を流
用して説明する。

【０２４２】本実施の形態は、上述した第３の実施の形
態において視聴者の情報を観客ＣＧキャラクターを通し
てシステム全体やカメラマン、監督等に表示されるよう
にしたものである。逆に、上述した第２及び第３の実施
の形態とは異なり、視聴者自体には他の視聴者がどのよ
うに感じているかは、映像としては見ることができな
い。

【０２４３】本実施の形態における全体の構成は、上述
した第２の実施の形態における図３と同一である。但
し、仮想観客３０７ｂは表示されない。

【０２４４】図１８は、図１に示す本実施の形態に係る
画像処理装置の動作の詳細を示すブロック図である。

【０２４５】図１８において、１８０１は所謂シースル
ー機能を持つＨＭＤで、撮像部と画像表示部とを有す
る。１８０２は第１の画像合成手段、１８０３はＨＭＤ
１８０１の視点からのＣＧ映像を描画する第１のＣＧ描
画手段、１８０４はＣＧオブジェクトの存在範囲を制御
する禁則領域処理手段、１８０５はシナリオ管理手段、
１８０６は位置センサー等を含む位置合わせ手段、１８
０７はＣＧデータ管理手段、１８０８はカメラ等の撮影
手段、１８０９は第２の画像合成手段、１８１０は撮影
手段１８０８の視点からのＣＧ映像を描画する第２のＣ
Ｇ描画手段、１８１１は画像表示手段、１８１２は視聴
者情報管理手段である。

【０２４６】上述した第２及び第３の実施の形態では、
ＨＭＤ５０１及び画像表示手段５１１には、それぞれの
画像合成手段５０２，５０９で合成した実写映像とＣＧ
映像とを重畳した映像が映し出されていた。

【０２４７】これに対して本実施の形態では、画像合成
手段１８０２，１８０９は、それぞれの実写映像とＣＧ
映像とを重畳した映像の上（若しくは、画面の端）に視
聴者情報管理手段１８１２から送られてくる視聴者の感
想を計数したデータ（第３の実施の形態における図１６
のステップＳ１６０５において受け渡されるデータ）が
オーバーレイ表示されるように画像を合成する。

【０２４８】これまでは視聴者の情報は、観客ＣＧキャ
ラクターを通して体験者やカメラマンが情報表示部分を
見ないと視聴者の情報が見られなかったが、本実施の形
態によれば、カメラのアングルに関係なく常に視聴者の
情報が画面に表示されることになる。

【０２４９】但し、この視聴者の情報は、体験者やカメ
ラマンにとっては有効であるが、一般視聴者にとっては
映像の邪魔になる可能性があるので、画像合成手段１８
０２，１８０９においては放送用の映像の方には、視聴
者情報を合成しないようにする。

【０２５０】なお、本実施の形態に係るその他の構成及
び動作は、上述した第２乃至第３の実施の形態と同一で
あるから、その説明は省略する。

【０２５１】以上説明したように、本実施の形態に係る
画像処理装置によれば、双方向放送を介した画像合成シ
ステムにおいて観客ＣＧキャラクターを登場させなくて
も、視聴者からの情報の集計結果を体験者及びカメラマ
ンにリアルタイムに表示することが可能である。

【０２５２】（第５の実施の形態）次に、本発明の第５
の実施の形態を説明する。

【０２５３】本実施の形態は、上述した第２の実施の形
態において、各視聴者からの情報をシーンや内容に対す
る感想にとどめるのではなく、観客席に現れるＣＧキャ
ラクターが様々なジェスチャーを体現できるようにコマ
ンドを増やすことにより、体験者のプレイをサポートで
きるようにしたものである。

【０２５４】上述した第２の実施の形態における図１４
のステップＳ１４０３において視聴者から送られてくる
情報はコマンド番号のみであった。このコマンド番号が
シーンに対する感想を示す番号であったが、より豊富な
コマンドを用意することで、観客ＣＧキャラクターの表
現できる内容が広がる。例えば、特定の方向（右、左、
上、下、後ろ）を指し示すジェスチャーや、危険を表わ
すジェスチャー等、その他にも観客ＣＧキャラクターの
表現力を高めるコマンドを入力できるようにする。そう
することにより、特に、ゲーム進行中には、敵の位置を
システム体験者が見失っている時等は、遠隔地にいる視
聴者が恰も側にいるかのようにサポートすることが可能
になる。

【０２５５】以上説明したように、本実施の形態に係る
画像処理装置によれば、視聴者から送られる情報の種類
と観客ＣＧキャラクターの表現パターンを増やすことに
より、体験者に臨場感のある感想を伝えるだけではな
く、遠隔地にいながらにして体験者のプレイをサポート
することができるという新しい体験を実現することがで
きる。

【０２５６】なお、上述した第３の実施の形態において
説明したように、視聴者数が多くなった場合には、観客
席エリアを設け（限定し）、その中にいる観客ＣＧキャ
ラクターの数を特定数に限定することが有効である。

【０２５７】また、本実施の形態においては、上述した
第３の実施の形態のように全体の情報を集計して代表し
て表示することはできないが、その場合には、観客ＣＧ
キャラクターに情報を送れる視聴者を抽選する等により
限定することも考えられる。

【０２５８】なお、本発明の目的は、上記各実施の形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システム或いは装置に供給し、その
システム或いは装置のコンピュータ（またはＣＰＵやＭ
ＰＵ等）が記憶媒体に格納されたプログラムコードを読
み出して実行することによっても達成されることは言う
までもない。

【０２５９】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した各実施の形態の機能を実現
することになり、そのプログラムコードを記憶した記憶
媒体は本発明を構成することになる。

【０２６０】また、プログラムコードを供給するための
記憶媒体としては、例えば、フロッピーディスク、ハー
ドディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−
Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、Ｄ
ＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメ
モリカード、ＲＯＭ等を用いることができる。

【０２６１】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上記各実施の形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているＯＳ（オペ
レーティングシステム）等が実際の処理の一部または全
部を行い、その処理によって前述した各実施の形態の機
能が実現される場合も含まれることは言うまでもない。

【０２６２】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書き込まれた後、そのプログラムコードの指示
に基づき、その機能拡張ボードや機能拡張ユニットに備
わるＣＰＵ等が実際の処理の一部または全部を行い、そ
の処理によって前述した実施の形態の機能が実現される
場合も含まれることは言うまでもない。

【０２６３】

【発明の効果】以上説明したように本発明によれば、撮
影手段の撮影パラメータ（撮影位置や撮影方向等）の自
由な変更を可能とすると共に、出演者及び視聴者の両方
に実写映像（現実世界）とＣＧ映像（仮想世界）とがイ
ンタラクティブに変化する合成映像を表示可能とした、
即ち、現実世界と仮想世界の境界を取り払うことが可能
であるという効果を奏する。

【０２６４】また、本発明によれば、表示手段と表示パ
ラメータ（表示位置や表示方向等）を計測する計測手段
と画像を合成する画像合成手段とをスタジオに配置し
て、合成される画像を見ながら演技者が演技できるよう
にすると共に、双方向放送手段を介して一般の視聴者の
反応や入力がスタジオ内の仮想の観客キャラクター等と
して表示されることにより、遠隔地の視聴者とスタジオ
の体験者の両方に、これまでに無い画像体験を与えるこ
とが可能であるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像処理装置
のシステム構成を示すブロック図である。

【図２】本発明の第１の実施の形態に係る画像処理装置
を用いて合成映像を作成する際の撮影風景の概要を示す
図である。

【図３】本発明の第２の実施の形態に係る画像処理装置
のシステム構成を示す図である。

【図４】本発明の第２の実施の形態に係る画像処理装置
におけるＨＭＤの内部構成を示す図である。

【図５】本発明の第２の実施の形態に係る画像処理装置
の動作の詳細を示すブロック図である。

【図６】本発明の第２の実施の形態に係る画像処理装置
におけるカメラ装置の構成を示す図である。

【図７】本発明の第２の実施の形態に係る画像処理装置
における磁気式の位置・方位センサーを用いた手持ちカ
メラ装置の構成を示す図である。

【図８】本発明の第２の実施の形態に係る画像処理装置
におけるＨＭＤに表示される映像を作成する処理動作の
流れを示すフローチャートである。

【図９】本発明の第２の実施の形態に係る画像処理装置
における頭部位置を決定する処理動作の流れを示すフロ
ーチャートである。

【図１０】本発明の第２の実施の形態に係る画像処理装
置におけるマーカの一例を示す図である。

【図１１】本発明の第２の実施の形態に係る画像処理装
置におけるマーカ位置を決定する処理動作の流れを示す
フローチャートである。

【図１２】本発明の第２の実施の形態に係る画像処理装
置における映像重畳装置の処理動作の流れを示すフロー
チャートである。

【図１３】本発明の第２の実施の形態に係る画像処理装
置における映像生成装置の構成を示すブロック図であ
る。

【図１４】本発明の第２の実施の形態に係る画像処理装
置における視聴者情報管理手段の処理動作の流れを示す
フローチャートである。

【図１５】本発明の第２の実施の形態に係る画像処理装
置におけるオペレータ装置の処理動作の流れを示すフロ
ーチャートである。

【図１６】本発明の第３の実施の形態に係る画像処理装
置における視聴者情報管理手段の処理動作の流れを示す
フローチャートである。

【図１７】本発明の第３の実施の形態に係る画像処理装
置におけるシナリオ管理手段の処理動作の流れを示すフ
ローチャートである。

【図１８】本発明の第４の実施の形態に係る画像処理装
置における動作の詳細を示すブロック図である。

【図１９】従来技術を説明するための図である。

【符号の説明】

１０１撮影装置（撮影手段）１０２位置・姿勢センサー（撮影パラメータ取得
手段）１０３移動装置１０４距離センサー１０５ＨＭＤ（ヘッドマウントディスプレイ：表
示手段）１０６位置・姿勢センサー（表示パラメータ取得
手段）１０７データ処理装置１０８ＣＧデータ管理部１０９ＣＧ映像作成部（ＣＧ映像作成手段）１１０ＣＧ幾何学情報計算部（ＣＧ幾何学情報計
算手段）１１１移動装置制御部１１２制御命令入力装置１１３映像合成装置（映像合成手段）１１４映像表示装置２０１撮影装置２０２位置・姿勢センサー２０３移動装置２０４距離センサー２０５撮影装置２０６位置・姿勢センサー２０７移動装置２０８距離センサー２０９ＨＭＤ２１０位置・姿勢センサー２１１出演者（ＨＭＤ装着者）２１２ＣＧキャラクター２１３仮想物体２１４仮想物体３０１スタジオ（ＭＲスタジオ）３０２セット３０３演技者３０４撮影用のカメラ（撮影手段）３０５頭部装着型ディスプレイ装置（Ｈｅａｄ−
ＭａｕｎｔｅｄＤｉｓｐｌａｙ：ＨＭＤ）３０６位置センサー（表示パラメータ取得手段）３０７仮想物体３０７ａ撮影の中心となる仮想物体３０７ｂ視聴者を意味する仮想物体３０８映像生成装置３０９映像重畳装置３１０オペレータ装置３１１ネットワーク３１２視聴者情報管理装置３１３双方向放送装置４０１第１のプリズム光学素子４０２撮像素子４０３表示素子４０４第２のプリズム光学素子５０１ＨＭＤ５０２第１の画像合成手段５０３第１のＣＧ描画手段５０４禁則領域処理手段５０５シナリオ管理手段５０６位置合わせ手段５０７ＣＧデータ管理手段５０８撮影手段５０９第２の画像合成手段５１０第２のＣＧ描画手段５１１画像表示手段５１２視聴者情報管理手段６０１カメラ６０２台車６０３計測装置７０１カメラ７０２受信機（計測器）７０３ＨＭＤ１００１色票１００２色票１００３色票１３０１マウス（入力手段）１３０２キーボード（入力手段）１３０４ＨＭＤ１３０５周辺コントローラ１３０６シリアル・インターフェース（Ｉ／Ｆ）１３０７ＣＰＵ（中央演算処理装置）１３０８メモリ１３０９ネットワーク・インターフェース（Ｉ／
Ｆ）１３１０ハードディスク（ＨＤ）装置１３１１フロッピーディスク（ＦＤ）装置１３１２画像キャプチャカード１３１３ビデオグラフィックカード１８０１ＨＭＤ１８０２第１の画像合成手段１８０３第１のＣＧ描画手段１８０４禁則領域処理手段１８０５シナリオ管理手段１８０６位置合わせ手段１８０７ＣＧデータ管理手段１８０８撮影手段１８０９第２の画像合成手段１８１０第２のＣＧ描画手段１８１１画像表示手段１８１２視聴者情報管理手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者小野英太東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者松井太一東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者河合智明東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5B050 AA08 BA06 BA09 BA11 EA19 FA02 5C023 AA16 AA27 AA37 AA38 BA11 CA03 CA08 DA04 DA08 EA04

Claims

【特許請求の範囲】

【請求項１】撮影パラメータを制御可能な撮影手段に
より撮影する撮影工程と、前記撮影パラメータを取得する撮影パラメータ取得工程
と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理工程と、前記ＣＧデータを実世界に仮想的に配置するときのＣＧ
幾何情報を計算するＣＧ幾何情報計算工程と、前記撮影手段の視点からＣＧ画像を作成するＣＧ画像作
成工程と、実写画像とＣＧ画像とを合成する画像合成工程と、前記撮影パラメータ及び前記ＣＧ幾何情報を利用して前
記撮影パラメータを変更する撮影パラメータ制御工程と
を有することを特徴とする画像処理方法。
【請求項２】操作者からの指示を入力する指示入力工
程を有し、前記撮影パラメータ制御工程は、前記指示入
力工程からの指示も利用して前記撮影パラメータを変更
することを特徴とする請求項１に記載の画像処理方法。
【請求項３】操作者からの指示を入力する指示入力工
程を有し、前記ＣＧ幾何情報計算工程は、前記指示入力
工程からの指示も利用して前記ＣＧ幾何情報を計算する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】前記撮影手段は複数有し、前記複数の撮
影手段のいずれか一つを選択する視点選択工程を有する
ことを特徴とする請求項１乃至３のいずれかに記載の画
像処理方法。
【請求項５】前記表示手段の表示パラメータを測定す
る表示幾何情報測定工程と、前記表示手段の視点から第
二のＣＧ画像を作成する第二のＣＧ画像作成工程と、前
記第二のＣＧ画像を前記表示手段に表示する表示工程と
を有することを特徴とする請求項１乃至４のいずれかに
記載の画像処理方法。
【請求項６】前記撮影パラメータは、前記撮影手段の
撮影位置であることを特徴とする請求項１乃至５のいず
れかに記載の画像処理方法。
【請求項７】前記撮影パラメータは、前記撮影手段の
撮影方向であることを特徴とする請求項１乃至５のいず
れかに記載の画像処理方法。
【請求項８】前記表示パラメータは、前記表示手段の
表示位置であることを特徴とする請求項５に記載の画像
処理方法。
【請求項９】前記表示パラメータは、前記表示手段の
表示方向であることを特徴とする請求項５に記載の画像
処理方法。
【請求項１０】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項１乃
至９のいずれかに記載の画像処理方法。
【請求項１１】前記ＨＭＤは、画像が表示されない領
域では前方の光が透過するタイプのシースルー型ＨＭＤ
であることを特徴とする請求項１０に記載の画像処理方
法。
【請求項１２】撮影パラメータを制御可能な撮影手段
と、前記撮影パラメータを取得する撮影パラメータ取得手段
と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理手段と、前記ＣＧデータを実世界に仮想的に配置するときのＣＧ
幾何情報を計算するＣＧ幾何情報計算手段と、前記撮影手段の視点からＣＧ画像を作成するＣＧ画像作
成手段と、実写画像とＣＧ画像とを合成する画像合成手段と、前記撮影パラメータ及び前記ＣＧ幾何情報を利用して前
記撮影パラメータを変更する撮影パラメータ制御手段と
を有することを特徴とする画像処理装置。
【請求項１３】操作者からの指示を入力する指示入力
手段を有し、前記撮影パラメータ制御手段は、前記指示
入力手段からの指示も利用して前記撮影パラメータを変
更することを特徴とする請求項１２に記載の画像処理装
置。
【請求項１４】操作者からの指示を入力する指示入力
手段を有し、前記ＣＧ幾何情報計算手段は、前記指示入
力手段からの指示も利用して前記ＣＧ幾何情報を計算す
ることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】前記撮影手段は複数有し、前記複数の
撮影手段のいずれか一つを選択する視点選択手段を有す
ることを特徴とする請求項１２乃至１４のいずれかに記
載の画像処理装置。
【請求項１６】前記表示手段の表示パラメータを測定
する表示幾何情報測定手段と、前記表示手段の視点から第二のＣＧ画像を作成する第二
のＣＧ画像作成手段と、前記第二のＣＧ画像を前記表示手段に表示するように制
御する表示制御手段とを有することを特徴とする請求項
１２乃至１５のいずれかに記載の画像処理装置。
【請求項１７】前記撮影パラメータは、撮影位置であ
ることを特徴とする請求項１２乃至１６のいずれかに記
載の画像処理装置。
【請求項１８】前記撮影パラメータは、撮影方向であ
ることを特徴とする請求項１２乃至１６のいずれかに記
載の画像処理装置。
【請求項１９】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項１６に記載の
画像処理装置。
【請求項２０】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項１６に記載の
画像処理装置。
【請求項２１】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項１２
乃至２０のいずれかに記載の画像処理装置。
【請求項２２】前記ＨＭＤは、画像が表示されない領
域では前方の光が透過するタイプのシースルー型ＨＭＤ
であることを特徴とする請求項２１に記載の画像処理装
置。
【請求項２３】撮影手段により画像を撮影する撮影工
程と、背景を構成するセット工程と、画像処理に係るスタッフに装着される表示手段により画
像を表示する表示工程と、前記撮影手段の撮影パラメータを測定する第１の測定工
程と、前記表示手段の表示パラメータを測定する第２の測定工
程と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理工程と、前記撮影手段の視点からＣＧ画像を作成する第１のＣＧ
画像作成工程と、前記撮影手段により撮影された画像と前記ＣＧ画像作成
工程により作成されたＣＧ画像とを合成する画像合成工
程と、前記表示手段の視点からＣＧ画像を作成する第２のＣＧ
画像作成工程と、前記表示手段から見える現実空間に前記ＣＧ画像を重畳
して表示する画像重畳工程と、前記画像合成工程により合成された画像を放送する画像
放送工程と、視聴者の情報を管理する視聴者情報管理工程と、視聴者の情報をシーンの一部に組み込むシナリオ管理工
程と、ＣＧオブジェクトの存在範囲を制御する禁則領域処理工
程とを有することを特徴とする画像処理方法。
【請求項２４】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項２３
に記載の画像処理方法。
【請求項２５】前記撮影パラメータは、前記撮影手段
の撮影位置であることを特徴とする請求項２３に記載の
画像処理方法。
【請求項２６】前記撮影パラメータは、前記撮影手段
の撮影方向であることを特徴とする請求項２３に記載の
画像処理方法。
【請求項２７】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項２３に記載の
画像処理方法。
【請求項２８】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項２３に記載の
画像処理方法。
【請求項２９】前記画像合成工程及び前記シナリオ管
理工程は、視聴者を仮想観客として表示できることを特
徴とする請求項２３に記載の画像処理方法。
【請求項３０】観客として表示するＣＧキャラクター
の数を制限する制限工程を有することを特徴とする請求
項２９に記載の画像処理方法。
【請求項３１】前記視聴者の全体の情報を集計した結
果を仮想観客に表示するように制御する制御工程を有す
ることを特徴とする請求項３０に記載の画像処理方法。
【請求項３２】仮想観客として表示される視聴者を抽
選により選択する選択工程を有することを特徴とする請
求項３０に記載の画像処理方法。
【請求項３３】前記制御工程は、前記表示手段の表示
画面のみに前記視聴者の情報の集計結果が表示されるよ
うに制御することを特徴とする請求項３１に記載の画像
処理方法。
【請求項３４】前記視聴者が前記仮想観客を通して体
験者を手助けできることを特徴とする請求項２９に記載
の画像処理方法。
【請求項３５】画像を撮影する撮影手段と、背景を構成するセット手段と、画像処理に係るスタッフが装着すると共に画像を表示す
る表示手段と、前記撮影手段の撮影パラメータを測定する第１の測定手
段と、前記表示手段の表示パラメータを測定する第２の測定手
段と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理手段と、前記撮影手段の視点からＣＧ画像を作成する第１のＣＧ
画像作成手段と、前記撮影手段により撮影された画像と前記ＣＧ画像作成
手段により作成されたＣＧ画像とを合成する画像合成手
段と、前記表示手段の視点からＣＧ画像を作成する第２のＣＧ
画像作成手段と、前記表示手段から見える現実空間に前記ＣＧ画像を重畳
して表示する画像重畳手段と、前記画像合成手段により合成された画像を放送する画像
放送手段と、視聴者の情報を管理する視聴者情報管理手段と、視聴者の情報をシーンの一部に組み込むシナリオ管理手
段と、ＣＧオブジェクトの存在範囲を制御する禁則領域処理手
段とを有することを特徴とする画像処理装置。
【請求項３６】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項３５
に記載の画像処理装置。
【請求項３７】前記撮影パラメータは、前記撮影手段
の撮影位置であることを特徴とする請求項３５に記載の
画像処理装置。
【請求項３８】前記撮影パラメータは、前記撮影手段
の撮影方向であることを特徴とする請求項３５に記載の
画像処理装置。
【請求項３９】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項３５に記載の
画像処理装置。
【請求項４０】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項３５に記載の
画像処理装置。
【請求項４１】前記画像合成手段及び前記シナリオ管
理手段は、視聴者を仮想観客として表示できることを特
徴とする請求項３５に記載の画像処理装置。
【請求項４２】観客として表示するＣＧキャラクター
の数を制限する制限手段を有することを特徴とする請求
項４１に記載の画像処理装置。
【請求項４３】前記視聴者の全体の情報を集計した結
果を仮想観客に表示するように制御する制御手段を有す
ることを特徴とする請求項４２に記載の画像処理装置。
【請求項４４】仮想観客として表示される視聴者を抽
選により選択する選択手段を有することを特徴とする請
求項４２に記載の画像処理装置。
【請求項４５】前記制御手段は、前記表示手段の表示
画面のみに前記視聴者の情報の集計結果が表示されるよ
うに制御することを特徴とする請求項４３に記載の画像
処理装置。
【請求項４６】前記視聴者が前記仮想観客を通して体
験者を手助けできることを特徴とする請求項４１に記載
の画像処理装置。
【請求項４７】前記請求項３５に記載の画像処理装置
を装備したことを特徴とするスタジオ装置。
【請求項４８】実写画像とＣＧ（コンピュータグラフ
ィックス）画像とを処理する画像処理装置を制御するた
めのコンピュータ読み取り可能な制御プログラムを格納
した記憶媒体であって、撮影パラメータを制御可能な撮影手段により撮影する撮
影工程と、前記撮影パラメータを取得する撮影パラメータ取得工程
と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理工程と、前記ＣＧデータを実世界に仮想的に配置するときのＣＧ
幾何情報を計算するＣＧ幾何情報計算工程と、前記撮影手段の視点からＣＧ画像を作成するＣＧ画像作
成工程と、実写画像とＣＧ画像とを合成する画像合成工程と、前記撮影パラメータ及び前記ＣＧ幾何情報を利用して前
記撮影パラメータを変更する撮影パラメータ制御工程と
をコンピュータに実行させるためのプログラムコードを
備えたことを特徴とする記憶媒体。
【請求項４９】操作者からの指示を入力する指示入力
工程をコンピュータに実行させるためのプログラムコー
ドを備え、前記撮影パラメータ制御工程は、前記指示入
力工程からの指示も利用して前記撮影パラメータを変更
することを特徴とする請求項４８に記載の記憶媒体。
【請求項５０】操作者からの指示を入力する指示入力
工程をコンピュータに実行させるためのプログラムコー
ドを備え、前記ＣＧ幾何情報計算工程は、前記指示入力
工程からの指示も利用して前記ＣＧ幾何情報を計算する
ことを特徴とする請求項４８に記載の記憶媒体。
【請求項５１】前記撮影手段は複数有し、前記複数の
撮影手段のいずれか一つを選択する視点選択工程をコン
ピュータに実行させるためのプログラムコードを備えた
ことを特徴とする請求項４８乃至５０のいずれかに記載
の記憶媒体。
【請求項５２】前記表示手段の位置と姿勢とを測定す
る表示幾何情報測定工程と、前記表示手段の視点から第
二のＣＧ画像を作成する第二のＣＧ画像作成工程と、前
記第二のＣＧ画像を前記表示手段に表示する表示工程と
をコンピュータに実行させるためのプログラムコードを
備えたことを特徴とする請求項４８乃至５１のいずれか
に記載の記憶媒体。
【請求項５３】前記撮影パラメータは、撮影位置であ
ることを特徴とする請求項４８乃至５２のいずれかに記
載の記憶媒体。
【請求項５４】前記撮影パラメータは、撮影方向であ
ることを特徴とする請求項４８乃至５２のいずれかに記
載の記憶媒体。
【請求項５５】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項４８
乃至５４のいずれかに記載の記憶媒体。
【請求項５６】前記ＨＭＤは、画像が表示されない領
域では前方の光が透過するタイプのシースルー型ＨＭＤ
であることを特徴とする請求項５５に記載の記憶媒体。
【請求項５７】実写画像とＣＧ（コンピュータグラフ
ィックス）画像とを処理する画像処理装置を制御するた
めのコンピュータ読み取り可能な制御プログラムを格納
した記憶媒体であって、撮影手段により画像を撮影する撮影工程と、背景を構成するセット工程と、画像処理に係るスタッフに装着される表示手段により画
像を表示する表示工程と、前記撮影手段の撮影パラメータを測定する第１の測定工
程と、前記表示手段の表示パラメータを測定する第２の測定工
程と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理工程と、前記撮影手段の視点からＣＧ画像を作成する第１のＣＧ
画像作成工程と、前記撮影手段により撮影された画像と前記ＣＧ画像作成
工程により作成されたＣＧ画像とを合成する画像合成工
程と、前記表示手段の視点からＣＧ画像を作成する第２のＣＧ
画像作成工程と、前記表示手段から見える現実空間に前記ＣＧ画像を重畳
して表示する画像重畳工程と、前記画像合成工程により合成された画像を放送する画像
放送工程と、視聴者の情報を管理する視聴者情報管理工程と、視聴者の情報をシーンの一部に組み込むシナリオ管理工
程と、ＣＧオブジェクトの存在範囲を制御する禁則領域処理工
程とをコンピュータに実行させるためのプログラムコー
ドを備えたことを特徴とする記憶媒体。
【請求項５８】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項５７
に記載の記憶媒体。
【請求項５９】前記撮影パラメータは、前記撮影手段
の撮影位置であることを特徴とする請求項５７に記載の
記憶媒体。
【請求項６０】前記撮影パラメータは、前記撮影手段
の撮影方向であることを特徴とする請求項５７に記載の
記憶媒体。
【請求項６１】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項５７に記載の
記憶媒体。
【請求項６２】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項５７に記載の
記憶媒体。
【請求項６３】前記画像合成工程及び前記シナリオ管
理工程は、視聴者を仮想観客として表示できることを特
徴とする請求項５７に記載の記憶媒体。
【請求項６４】観客として表示するＣＧキャラクター
の数を制限する制限工程を有することを特徴とする請求
項６３に記載の記憶媒体。
【請求項６５】前記視聴者の全体の情報を集計した結
果を仮想観客に表示するように制御する制御工程を有す
ることを特徴とする請求項６４に記載の記憶媒体。
【請求項６６】仮想観客として表示される視聴者を抽
選により選択する選択工程を有することを特徴とする請
求項６４に記載の記憶媒体。
【請求項６７】前記制御工程は、前記表示手段の表示
画面のみに前記視聴者の情報の集計結果が表示されるよ
うに制御することを特徴とする請求項６５に記載の記憶
媒体。
【請求項６８】前記視聴者が前記仮想観客を通して体
験者を手助けできることを特徴とする請求項６３に記載
の記憶媒体。
【請求項６９】実写画像とＣＧ（コンピュータグラフ
ィックス）画像とを処理する画像処理装置を制御するた
めのコンピュータ読み取り可能なプログラムであって、撮影パラメータを制御可能な撮影手段により撮影する撮
影工程と、前記撮影パラメータを取得する撮影パラメータ取得工程
と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理工程と、前記ＣＧデータを実世界に仮想的に配置するときのＣＧ
幾何情報を計算するＣＧ幾何情報計算工程と、前記撮影手段の視点からＣＧ画像を作成するＣＧ画像作
成工程と、実写画像とＣＧ画像とを合成する画像合成工程と、前記撮影パラメータ及び前記ＣＧ幾何情報を利用して前
記撮影パラメータを変更する撮影パラメータ制御工程と
をコンピュータに実行させるためのプログラムコードか
ら成ることを特徴とするプログラム。
【請求項７０】操作者からの指示を入力する指示入力
工程をコンピュータに実行させるためのプログラムコー
ドから成り、前記撮影パラメータ制御工程は、前記指示
入力工程からの指示も利用して前記撮影パラメータを変
更することを特徴とする請求項６９に記載のプログラ
ム。
【請求項７１】操作者からの指示を入力する指示入力
工程をコンピュータに実行させるためのプログラムコー
ドから成り、前記ＣＧ幾何情報計算工程は、前記指示入
力工程からの指示も利用して前記ＣＧ幾何情報を計算す
ることを特徴とする請求項６９に記載のプログラム。
【請求項７２】前記撮影手段は複数有し、前記複数の
撮影手段のいずれか一つを選択する視点選択工程をコン
ピュータに実行させるためのプログラムコードから成る
ことを特徴とする請求項６９乃至７１のいずれかに記載
のプログラム。
【請求項７３】前記表示手段の位置と姿勢とを測定す
る表示幾何情報測定工程と、前記表示手段の視点から第
二のＣＧ画像を作成する第二のＣＧ画像作成工程と、前
記第二のＣＧ画像を前記表示手段に表示する表示工程と
をコンピュータに実行させるためのプログラムコードか
ら成ることを特徴とする請求項６９乃至７２のいずれか
に記載のプログラム。
【請求項７４】前記撮影パラメータは、撮影位置であ
ることを特徴とする請求項６９乃至７３のいずれかに記
載のプログラム。
【請求項７５】前記撮影パラメータは、撮影方向であ
ることを特徴とする請求項６９乃至７３のいずれかに記
載のプログラム。
【請求項７６】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項６９
乃至７５のいずれかに記載のプログラム。
【請求項７７】前記ＨＭＤは、画像が表示されない領
域では前方の光が透過するタイプのシースルー型ＨＭＤ
であることを特徴とする請求項７６に記載のプログラ
ム。
【請求項７８】実写画像とＣＧ（コンピュータグラフ
ィックス）画像とを処理する画像処理装置を制御するた
めのコンピュータ読み取り可能なプログラムであって、撮影手段により画像を撮影する撮影工程と、背景を構成するセット工程と、画像処理に係るスタッフに装着される表示手段により画
像を表示する表示工程と、前記撮影手段の撮影パラメータを測定する第１の測定工
程と、前記表示手段の表示パラメータを測定する第２の測定工
程と、ＣＧ（コンピュータグラフィックス）データを管理する
ＣＧデータ管理工程と、前記撮影手段の視点からＣＧ画像を作成する第１のＣＧ
画像作成工程と、前記撮影手段により撮影された画像と前記ＣＧ画像作成
工程により作成されたＣＧ画像とを合成する画像合成工
程と、前記表示手段の視点からＣＧ画像を作成する第２のＣＧ
画像作成工程と、前記表示手段から見える現実空間に前記ＣＧ画像を重畳
して表示する画像重畳工程と、前記画像合成工程により合成された画像を放送する画像
放送工程と、視聴者の情報を管理する視聴者情報管理工程と、視聴者の情報をシーンの一部に組み込むシナリオ管理工
程と、ＣＧオブジェクトの存在範囲を制御する禁則領域処理工
程とをコンピュータに実行させるためのプログラムコー
ドから成ることを特徴とするプログラム。
【請求項７９】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項７８
に記載のプログラム。
【請求項８０】前記撮影パラメータは、前記撮影手段
の撮影位置であることを特徴とする請求項７８に記載の
プログラム。
【請求項８１】前記撮影パラメータは、前記撮影手段
の撮影方向であることを特徴とする請求項７８に記載の
プログラム。
【請求項８２】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項７８に記載の
プログラム。
【請求項８３】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項７８に記載の
プログラム。
【請求項８４】前記画像合成工程及び前記シナリオ管
理工程は、視聴者を仮想観客として表示できることを特
徴とする請求項７８に記載のプログラム。
【請求項８５】観客として表示するＣＧキャラクター
の数を制限する制限工程を有することを特徴とする請求
項８４に記載のプログラム。
【請求項８６】前記視聴者の全体の情報を集計した結
果を仮想観客に表示するように制御する制御工程を有す
ることを特徴とする請求項８５に記載のプログラム。
【請求項８７】仮想観客として表示される視聴者を抽
選により選択する選択工程を有することを特徴とする請
求項８５に記載のプログラム。
【請求項８８】前記制御工程は、前記表示手段の表示
画面のみに前記視聴者の情報の集計結果が表示されるよ
うに制御することを特徴とする請求項８６に記載のプロ
グラム。
【請求項８９】前記視聴者が前記仮想観客を通して体
験者を手助けできることを特徴とする請求項８４に記載
のプログラム。