JP2003143478A - 映像合成装置および情報処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 光学系の制御が設定値以上に達してしまった
場合には、注目されている対象物をコンピュータグラフ
ィックス画像などに切り換えて、使用者の対象物をもっ
と詳しく見たいという要求を満たせるようにすることを
目的とする。 【解決手段】 撮影部で撮影された実写画像をベースと
した画像を表示する空間モードおよびコンピュータグラ
フィックスをベースとした画像を表示する空間モードを
有する映像合成装置であって、撮影部の姿勢情報とレン
ズ状態制情報とコンピュータグラフィックスデータをも
とに空間モードを設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】撮影部で撮影された実写画像
をベースとした画像の表示およびコンピュータグラフィ
ックスをベースとした画像の表示を切り換えるものに関
する。

【０００２】

【従来の技術】展望台等に置かれる望遠鏡は展望台から
の景色を捉え、光学装置を用いて拡大などして使用者に
提示するものであるが、従来の望遠鏡は景色を単に光学
的に拡大して表示するものであるに過ぎないため、現実
世界に実際に存在するものしか提示できないという問題
があった。たとえば、望遠鏡では現実世界に存在する建
物に付属した情報（住所や建物の名前など）を提示する
ことはできず、また、現実世界中に仮想のキャラクタを
配置して眺めるといったことも不可能である。また、望
遠のズーム拡大率が限界に達してしまった場合に、注目
されている対象物をコンピュータグラフィックス画像な
どに切り換えてさらに詳しく表示したり、注目した対象
物の中を仮想世界として歩き回ることができなかった。
こうした問題を解決するものとして以下のような従来例
がある。

【０００３】望遠鏡から見る現実の景色に仮想的な文字
や画像を重ね合わせる技術が、特許第２８３３２０６号
「展望用ディスプレイ装置」に開示されている。ここで
開示されている装置は、装置前方からの外界情景光と、
仮想的な文字や画像を表示した面からの画像表示光を、
ハーフミラー等によって構成されるコンバイナを用いて
重ね合わせて装置利用者に提示する。

【０００４】

【発明が解決しようとする課題】通常の望遠鏡や特開２
０００−１２５１７１「光学装置」など、現実に見える
ものを大きく拡大して見るための装置（以下、拡大表示
装置）には、拡大率に制限がある。そのため、ズーム拡
大率が限界に達してしまうとそれ以上大きく拡大して見
ることができない。つまりズーム値が最大に達してしま
った場合、使用者が「さらに詳しく見たい」と思ってズ
ーム値を上げる操作をしても、対象物に関するさらに詳
しい情報を表示することができなかった。

【０００５】本実施形態では、撮影部の光学系の制御が
設定値以上に達してしまった場合には、注目されている
対象物をコンピュータグラフィックス画像などに切り換
えて、使用者の対象物をもっと詳しく見たいという要求
を満たせるようにすることを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明は以下の構成を有することを特徴とする。

【０００７】本願請求項１記載の発明は、撮影部で撮影
された実写画像をベースとした画像を表示する空間モー
ドおよびコンピュータグラフィックスをベースとした画
像を表示する空間モードを有する映像合成装置であっ
て、現実世界をレンズを介して撮影し実写画像を生成す
る撮像部と、前記撮像部を使用者が手動で動かすことを
可能とする可動部を有する、前記撮像部を支持する支持
部と、前記撮像部と前記支持部の相対的な姿勢を測定す
る姿勢測定部と、前記レンズの状態を制御するレンズ状
態制御部と、コンピュータグラフィックスを生成するた
めのデータを保持するデータ部と、前記データ部に保持
されているデータを用いてコンピュータ映像を生成する
コンピュータ映像生成部と、前記姿勢測定部からの姿勢
情報と前記レンズ状態制御部からのレンズ状態情報と前
記データ部に保持されているデータをもとに空間モード
を設定するする空間管理部と、前記空間管理部で設定さ
れた空間モードに基づいて、前記撮影映像取込部で取り
込まれた撮影映像と前記コンピュータ映像生成部で生成
したコンピュータ映像とから表示すべき映像を生成する
映像合成部と、前記映像合成部で生成された映像を表示
する表示部とを備えることを特徴とする。

【０００８】本願請求項８記載の発明は、撮影部で撮影
された実写画像をベースとした画像の表示およびコンピ
ュータグラフィックスをベースとした画像の表示を可能
にする情報処理方法であって、撮影部の姿勢情報および
ズーム情報を入力し、前記ズーム情報に基づき前記撮影
部のズーム値が設定値より大きいか否かを判定し、前記
姿勢情報に基づき撮影画像の所定領域にキーデータが含
まれるか否かを判定し、前記ズーム値が前記設定値より
大きく、かつ前記撮影画像の所定領域にキーデータが含
まれる場合は、前記キーデータに対応するコンピュータ
映像を生成し、前記生成されたコンピュータ映像をベー
スとして画像を表示させることを特徴とする。

【０００９】

【発明の実施の形態】＜第１実施形態＞第１実施形態の
概要は次のとおりである。

【００１０】映像合成装置は展望台等で望遠鏡として、
また博物館等で情報表示端末とし使用される。図１は第
１実施形態による映像合成装置の概略構成を示すブロッ
ク図である。

【００１１】１は撮像部であり、たとえばカメラからな
る。撮像部１は屋外の風景や屋内の展示物といった現実
世界を撮影し、撮影映像を映像信号として撮影映像取込
部２に出力する。

【００１２】２は撮影映像取込部であり、撮像部１から
出た映像信号を映像合成部３に適した形式に変換して映
像合成部３に送り出す。

【００１３】３は映像合成部であり、空間管理部１０か
ら取り出した空間モード情報に応じて、撮影映像取込部
２からの撮影映像とコンピュータ映像生成部７からのコ
ンピュータ映像を合成した合成画像、又はコンピュータ
映像のみを表示部９に送出する。

【００１４】４は支持部であり、床等に設置され、撮像
部１を支える。支持部４は可動部分を持ち、撮像部１を
使用者が手動で左右方向および上下方向に自由に回転さ
せることを可能にする。支持部４は床等に固定されても
よいが、たとえばレールや台車の上に載せて移動できる
ようにしてもよい。

【００１５】５は支持部４と撮像部１の相対的な姿勢を
測定する姿勢測定部であり、撮像部１の姿勢情報、すな
わち撮像部１の上下方向および左右方向の回転情報を空
間管理部１０からの要求に応じて、又は空間管理部１０
からの要求なしに空間管理部１０に送り出す。姿勢測定
部５は、例えば機械式のエンコーダなどから構成され
る。姿勢測定部５は支持部と撮像部の相対的な姿勢を測
定することができればどういった構成としてもよく、他
に例えばジャイロや光学式のセンサを利用することも可
能である。

【００１６】６はレンズ状態制御部であり、図示しない
操作部もしくは制御信号によりレンズの状態を操作す
る。レンズ状態制御部６は、例えば機械式のエンコーダ
やステッピングモータからなる。また、レンズ制御部６
は、撮像部１で利用するレンズのズーム値やフォーカス
値といったレンズ状態情報を空間管理部１０からの要求
に応じて、又は空間管理部１０からの要求なしに空間管
理部１０に送り出す。ズーム値・フォーカス値とは、レ
ンズ状態制御部６でエンコーダ等により出力される値で
ある。

【００１７】１０は空間管理部であり、姿勢測定部５か
ら撮像部１の姿勢情報を取り出して撮像部１が向いてい
る方向を推定し、またレンズ状態制御部６からレンズ状
態情報を取り出して撮像部１の画角等を推定し、カメラ
状態データとして保持する。空間管理部１０はカメラ状
態データおよびデータ部８の空間に関するデータを参照
して、空間モードを決定する。空間モードとは、実写モ
ード、ＶＲ空間モードなどである。

【００１８】実写モードは、撮像部１で撮影した実写画
像そのもの、または実写画像をベースとしてコンピュー
タグラフィックスなどで生成した画像を合成した画像を
提示する。

【００１９】ＶＲ空間モードは、ズーム値に従って実写
モードから移行するモードであり、コンピュータグラフ
ィックス画像をベースとした画像を提示する。

【００２０】ＶＲ空間モードによれば、例えば、注目さ
れている対象物をコンピュータグラフィックス画像など
に切り換えてさらに詳しく表示したり、対象物に関する
情報を表示したり、対象物の中に入り込んでウォークス
ルーできるようにすることができる。

【００２１】ＶＲ空間モードの１例として提示する情報
レベル自体を切り換える例を説明する。

【００２２】例えば対象物が布であった場合、布が糸の
編みこみによってできている様子、糸が繊維からできて
いる様子、さらには繊維が分子からできている様子まで
を、ズーム値によって切り換えて提示する。

【００２３】これは、１つのオブジェクトの対して解像
度（ＬＯＤ：Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌｓ）の異
なる複数のモデルを持たせて、視点位置などによってモ
デルを切り換えて表示する技術を用いることで実現でき
る。つまり、１つのオブジェクトに複数のモデルを持た
せて、ズーム値に応じてモデルを切り換えて表示するこ
とにより実現できる。モデル切り換える際、画像同士の
ブレンディングなどを行って、画像をスムーズに切り換
えることもできる。情報レベル自体を切り替える場合
は、データ部８は、空間位置データに対応させて複数の
モデルを保持するとともに、各モデルをズーム値に対応
させて保持する。

【００２４】ＶＲ空間モードの他の１例として対象物内
をＶＲ空間としてウォークスルーしているような画像を
提示する例を説明する。

【００２５】例えば、仮想カメラのカメラ視点位置を対
象物付近に設定し、ズームイン操作を前進に、ズームア
ウト操作を後退に対応させ、対象物の中に入り込んでウ
ォークスルーできるようにする。ＶＲ空間モードが解除
される場合とは、例えば予めＶＲ空間からの出口を用意
しておき、そこから出た場合など予め条件を設定してお
く。ウォークスルーしているような画像を提示する場合
は、データ部８は、空間位置データに対応させてウォー
クスルーしているような画像を提示するためのデータ群
を保持する。

【００２６】空間管理部１０は、レンズ状態情報から空
間モードを決定する。そして、決定された空間モードお
よびカメラ状態データを、コンピュータ映像生成部７か
らの要求に応じて、又は表示モード決定部からの要求な
しにコンピュータ映像生成部７に送り出す。さらに決定
された空間モードを映像合成部３からの要求に応じて、
又は映像合成部３からの要求なしに映像合成部３に送り
出す。

【００２７】７はコンピュータ映像生成部であり、空間
管理部１０からカメラ状態データおよび空間モードに基
づき、データ部８から必要なデータを取り出して、コン
ピュータ映像を生成する。そして、生成したコンピュー
タ映像は映像合成部３に送る。

【００２８】８はデータ部であり、たとえばハードディ
スクから構成され、コンピュータ映像生成部７に引き渡
すデータを所持する。

【００２９】データ部８に格納されるデータとしては、
実写モードにおいて実写画像に合成するコンピュータグ
ラフィックス画像を生成するためのテキスト情報やパノ
ラマ映像、三次元ＣＧ（コンピュータグラフィックス）
データや、ＶＲ空間モードにおいて提示されるコンピュ
ータグラフィックス画像を生成するための、上記説明し
たデータが格納されている。そして、データ部８は、コ
ンピュータ映像生成部７からの要求に応じて適切なデー
タをコンピュータ映像生成部７に送出する。たとえばコ
ンピュータ映像生成部７が撮像部１の視野に合成する三
次元ＣＧデータを要求してきた時に、データ部８は格納
されている三次元ＣＧデータの中から撮像部１の視野に
含まれる三次元ＣＧデータを取り出して送出する。な
お、データ部８はハードディスクに限らず、データを保
持することができる媒体であれば何でもよく、たとえば
テープやメモリなどで構成してもよい。

【００３０】９は表示部であり、映像合成部３から送り
出された合成映像信号を表示する。この際、表示部９は
撮像部１と一体的に動くものとすると使用者にとっては
直に望遠鏡などを覗き込むかのように直感的で理解しや
すいが、必ずしもその必要はなく、たとえば撮像部１が
可動で表示部９が固定されるという構成でもよい。ま
た、この表示部９は複数備えられてもよく、その場合は
合成映像を多数の人が見ることが可能になる。

【００３１】以上の様な構成を備えた本実施形態の制御
について図２を用いて説明する。図２は本実施形態の映
像合成装置における処理の手順を説明するフローチャー
トである。

【００３２】ステップＳ０ではデータ準備を行う。ステ
ップＳ０ではデータ部８に格納する上述したデータを用
意する。各データはあらかじめ現実世界との位置の対応
をとっておく必要があり、たとえば三次元ＣＧならばそ
れが現実世界中でどの位置に対応するかを指定しておか
ねばならない。また、パノラマ映像であればパノラマ映
像のどの部分が現実世界のどの部分に対応するかを指定
しておかねばならない。

【００３３】データ部８にパノラマ映像を格納する場
合、格納するパノラマ映像としては、たとえば異なる時
間帯や場所において撮影したパノラマ映像が考えられ
る。あらかじめ異なる時間帯に撮影したパノラマ映像を
格納することで、たとえば展望台において曇天時におい
ても展望台からの晴天時の眺めを再現することができ
る。また、異なる場所で撮影したパノラマ映像を格納す
ることで、全く異なる場所で撮影されたパノラマ映像が
あたかもその場にあるかのように再現することができ
る。

【００３４】データ部８に格納するパノラマ映像は、た
とえば撮像部１で撮影する。この場合、図１４のよう
に、撮像部１０で撮影した映像を撮影映像取込部１１で
取り込み、データ部８に撮影映像を送ることになる。パ
ノラマ映像はこのように撮像部１で撮影し、それをデー
タ部８に格納することができるが、データ部８にパノラ
マ映像を格納できる方法であればこれに限らずどのよう
な方法でもよい。

【００３５】データ部８にパノラマ映像を格納する場
合、そのパノラマ映像には空白の部分が含まれていても
よい。パノラマ映像中の空白を表現する方法としては、
たとえばパノラマ映像の各画素に透過度を表すα値を与
え、空白となっている画素のα値を０とする方法があ
る。撮影したパノラマ映像中において、パノラマ映像の
合成を必要としない部分のα値を０としておけば、映像
合成部３が撮影映像とパノラマ映像を合成する際、α値
が０となっている部分に撮影映像を合成し、α値が０と
なっていない部分にはパノラマ映像を合成することで、
パノラマ映像と撮影映像を一つの合成映像中に表示する
ことが可能になる。このとき、パノラマ映像の各画素の
α値をすべて１とすれば、映像合成時に、撮影映像を含
まずパノラマ映像だけを含んだ合成映像が合成されるこ
とになる。

【００３６】このパノラマ映像の各画素にα値を与える
方法について、展望室において本実施形態の映像合成装
置を利用する場合の例を図７を用いて説明する。ステッ
プＳ０において、展望室から周囲の光景を撮影してパノ
ラマ映像Ｉが撮影され、このパノラマ映像Ｉには、室内
の映像Ｒと室外の映像Ｐが含まれるものとする。室内の
映像Ｒのα値を０とし、室外の映像Ｐのα値を１とする
ことで、映像合成部３で映像合成を行う際に、室内部分
については撮影映像を合成し、室外部分については室外
の映像Ｐを合成するといったことが可能になる。このこ
とによって、室内を見た時には現実世界の撮影映像が見
え、室外を見た時にはあらかじめ撮影されたパノラマ映
像が見える、といったことが可能になる。

【００３７】ここではパノラマ映像中の空白の部分を表
現する方法としてα値を用いる方法を挙げたが、この方
法はパノラマ映像中の空白の部分を表現できる方法であ
ればどのような方法でもよい。

【００３８】また、ここに格納するパノラマ映像データ
は、たとえば三次元ＣＧをあらかじめパノラマ映像とし
てレンダリングしたものであってもよい。一般的に三次
元ＣＧの生成を実時間で行う場合には描画能力の制限な
どから三次元ＣＧの精密さが限定されてしまうが、この
手法を用いることで三次元ＣＧのモデルを無制限に精密
にし、より三次元ＣＧの映像の質を高めることが可能で
ある。この際、レンダリングしたパノラマ映像の各画素
に透過度を表すα値を与え、パノラマ映像中においてＣ
Ｇの描かれていない部分のα値を０とすれば、映像合成
部３が撮影映像とコンピュータ映像を合成する際、α値
が０となっている部分について撮影映像を合成すること
で、撮影映像中にあらかじめレンダリングした三次元Ｃ
Ｇを合成することが可能になる。

【００３９】データ部８に三次元ＣＧを格納する場合、
格納する三次元ＣＧとしては、たとえば仮想のキャラク
タなどが考えられる。ここで、データ部８に格納する三
次元ＣＧデータには位置や大きさ、形状といった幾何情
報だけでなく、制約関係や動きといったデータも含まれ
る。たとえばデータ部８に仮想のキャラクタの形状や動
きの情報を格納しておくことで、現実世界中に仮想のキ
ャラクタを登場させることが可能になる。

【００４０】また、データ部８にあらかじめ現実世界の
奥行情報を入力して利用してもよい。あらかじめ現実世
界の奥行情報を持ち利用することで、現実世界の映像と
コンピュータ映像との前後関係を正しく反映した映像合
成が可能になる。たとえば、ある建物とある建物の間で
三次元ＣＧのキャラクタを動かしたいという時、現実世
界の奥行情報を持たない場合だと三次元ＣＧのキャラク
タの全身が建物の前面に表示されてしまうため、図３の
ように建物とキャラクタの前後関係が正しく反映されな
い。これに対して現実世界の奥行情報を持たせた場合に
は、キャラクタまでの奥行と建物までの奥行を比較し、
キャラクタまでの奥行が建物の奥行よりも大きい部分の
コンピュータ映像生成を行わないことで、図４のように
建物とキャラクタの前後関係を正しく反映した合成映像
を生成することができる。

【００４１】現実世界に奥行情報を持たせることはたと
えば現実世界に三次元モデルを持たせることで実現でき
る。現実世界の奥行情報を三次元モデルとして与えた場
合には、たとえば図５のように建物の上に三次元ＣＧの
キャラクタを乗せるなどといった接触関係を表現するこ
とが可能である。現実世界の三次元モデルは、たとえば
地図データから生成することが可能である。

【００４２】ここで、地図データから現実世界の三次元
モデルを生成する方法について図１２、図１３を用いて
説明する。図１２のような地図があるものとして、その
地図の中には建物Ｅ、Ｆ、Ｇ、Ｈが描かれ、またこの建
物Ｅ、Ｆ、Ｇ、Ｈの高さ情報が何らかの方法で得られた
ものとする。ここで、地図の左下端を原点とし、１ｍを
１単位とした、図１３のようなＸＹＺ座標系を定義する
と、建物Ｈは高さ１０、幅１５、奥行１５の直方体とし
て表現することができ、また他の建物Ｅ、Ｆ、Ｇも同様
に表現することができる。

【００４３】以上のようにして地図データから現実世界
の三次元モデルを生成することができる。ここでは図１
３のような座標系を定義したが、この座標系がいかなる
ものであれ地図データから三次元モデルを生成すること
ができるのは言うまでもない。また、現実世界に三次元
モデルを持たせる方法は上記の方法に限らず、現実世界
の三次元モデルが構築できる方法であればどのような方
法でもよい。

【００４４】また、現実世界の奥行情報は必ずしも三次
元のモデルでなくてもよく、たとえば図６のように二次
元のモデルとしてもよい。また、一視点から観察する場
合は、必ずしも現実世界の三次元モデルを持つ必要はな
く、レンジスキャナなどで得られた現実世界の奥行デー
タを持ち、利用することとしてもよい。現実世界に奥行
情報を持たせる方法は上記の方法に限らず、たとえば距
離画像を用いる方法でもよく、現実世界までの奥行がわ
かるものであればどのような方法でもよい。

【００４５】データ準備後、ステップＳ１でシステムが
起動される。ステップＳ２で撮像部１から映像が取得さ
れ、取得された撮影映像はたとえばＮＴＳＣ映像信号と
して撮影映像取込部２に送られる。この際、撮像部１か
ら撮影映像取込部２に送られる撮影映像はＮＴＳＣ映像
信号に限らず、映像を表現できるものであれば何でもよ
い。

【００４６】撮像部１で撮影された撮影映像は撮影映像
取込部２で適切なフォーマットに変換され、映像合成部
３に送られる。撮影映像取込部２ではたとえば撮像部１
から送られてきたＮＴＳＣ映像信号をデジタルデータに
変換して映像合成部３に送るが、撮像部１の送り出す映
像はＮＴＳＣ映像信号に限らず映像を表現するものであ
れば何でもよく、また、撮影映像取込部２が映像合成部
３に送り出す撮影映像もデジタルデータに限らず映像を
表現し、映像合成部３が処理できるものであれば何でも
よい。

【００４７】ステップＳ３で姿勢測定部５が撮像部１の
姿勢を検知し、検知された姿勢情報は空間管理部１０に
送られる。ステップＳ４でレンズ状態制御部６が撮像部
１で利用するレンズのズーム値やフォーカス値といった
レンズ状態情報を検知し、検知されたレンズ状態情報は
空間管理部１０に送られる。

【００４８】ステップＳ５では空間管理部１０が、姿勢
測定部５から送出された姿勢情報とレンズ状態制御部６
から送出されたレンズ状態情報から撮像部１の視野を推
定し、データ部８から撮像部１の視野に含まれる範囲の
データを取得する。

【００４９】ここで、姿勢測定部５から送出された姿勢
情報と、レンズ状態制御部６から送出されたレンズ状態
情報から撮像部１の視野を求める方法にはさまざまなも
のがあるが、ここではそのうち一つの方法を示す。一般
的に、撮像部１で利用するレンズのレンズ中心の位置と
撮像部１の視野角を求めれば視野を求めることが可能で
あるため、以下ではまず姿勢測定部５から送出された姿
勢情報から撮像部１で利用するレンズのレンズ中心の位
置を求める方法について記し、その後にレンズ状態制御
部６から送出されたレンズ状態情報から撮像部１の視野
角を求める方法について記す。

【００５０】姿勢測定部５から送出された姿勢情報から
撮像部１で利用するレンズのレンズ中心の位置を求める
方法を１０と図９を用いて説明する。図８は本実施形態
の映像合成装置の外観図である。撮像部１と表示部９は
支持部４に一体的に支持されており、回転中心Ｏを中心
として上下方向および左右方向に回転できるものとす
る。支持部４は床に固定されているため、床と回転中心
Ｏの位置関係は不変である。そのため、回転中心Ｏとレ
ンズ中心ＬＯの相対的な位置関係がわかれば、現実世界
に対するレンズ中心ＬＯの位置が一意に定まることとな
る。

【００５１】ここで、回転中心Ｏを原点としたＸＹＺ座
標系を図のように定義し、左右の回転角φと上下の回転
角θを図９のように定義する。撮像部１で用いるレンズ
のレンズ中心ＬＯから回転中心Ｏまでの距離をｄとして
表すと、レンズ中心ＬＯの座標は ｘ＝−ｄｓｉｎθｓｉｎφ ｙ＝ｄｓｉｎθｃｏｓφ ｚ＝ｄｃｏｓθ として表される。ここではＸＹＺ座標系を図９のように
定義したが、座標系をどのように定義しても、また上下
および左右の回転角をどのように定義しても、左右方向
の回転角と上下方向の回転角から撮像部１で利用するレ
ンズのレンズ中心の位置が求まることは言うまでもな
い。

【００５２】レンズ状態制御部６から送出されたレンズ
状態情報から撮像部１の視野角を求める方法を図１０と
図１１を用いて説明する。まず、レンズ状態制御部６か
ら送出されるズーム値から撮像部１で利用するレンズの
焦点距離を算出する。ここで、レンズ状態制御部６から
送出されるズーム値は撮像部１に備えられた８ビットの
エンコーダから出力される値であるものとし、その値と
レンズの焦点距離が図１０のテーブルのように求まって
いるものとする。すると、図１０のテーブルを用い、テ
ーブルに載っていない値については補間を行うことで、
撮像部１で利用するレンズの焦点距離をレンズ状態制御
部６から送出されるズーム値を用いて求めることができ
る。ただし、レンズ状態制御部６が直接焦点距離を出力
することができる場合には、図１０のようなテーブルを
用いて焦点距離を算出する必要はない。

【００５３】以上のようにして求まった撮像部１で利用
するレンズの焦点距離をｆとして、撮像部１に備わる撮
像面の横幅をｘとすると、図１１から撮像部１の左右方
向の視野角ψは次の式で求めることができる。

【００５４】ψ＝２ａｒｃｔａｎ（ｘ／２ｆ） 同様に、撮像部１に備わる撮像面の高さをｙとすると、
図１１から撮像部１の上下方向の視野角μは次の式で求
めることができる。

【００５５】μ＝２ａｒｃｔａｎ（ｙ／２ｆ） 以上のように、姿勢測定部５から送出された姿勢情報と
レンズ状態制御部６から送出されたレンズ状態情報から
撮像部１で利用するレンズのレンズ中心の位置と撮像部
１の視野角が求まり、したがって撮像部１の視野を求め
ることが可能である。この際、撮像部１の視野を求める
方法として上記のような方法を用いたが、撮像部１の視
野が求まる方法であれば上記のような方法に限らずどの
ような方法でもよい。

【００５６】ステップＳ６では空間管理部１０が、姿勢
測定部５から送り出された姿勢情報とレンズ状態制御部
６から送り出されたレンズ状態情報および、データ部８
の空間データにより空間モードを決定する。

【００５７】空間モードの決定方法としては、現在の空
間モードが実写モードある場合、レンズのズーム値を参
照し、レンズのズーム値が予め設定した設定値未満の場
合はモードを変更しない。

【００５８】レンズのズーム値が予め設定した設定値
（以下、例えば、設定値をズームの最大値と設定した場
合について説明する）以上の場合は、視野の中央領域
（表示部の中央領域）の空間領域に対応するキーデータ
をデータ部８から検索する。そして、データ部８に対応
するキーデータが検索された場合は、空間モードをＶＲ
空間モードに変更する。

【００５９】なお、視野の中央領域の空間領域にキーデ
ータが存在しない場合は、モードを変更せず、実写モー
ドが維持される。また、現在の空間モードがＶＲ空間モ
ードである場合は、モードが解除されるまでモードを変
更しない。

【００６０】ステップＳ７では、コンピュータ映像生成
部７が、ステップＳ６で決定された空間モードに対応す
るデータをデータ部８から取得し、コンピュータ映像を
生成する。生成した映像は映像合成部３に送られる。

【００６１】ステップＳ８では、ステップＳ６で決定さ
れた空間モードに応じて、映像合成部３において撮影映
像取込部２から送り出された撮影映像と、コンピュータ
映像生成部７から送り出されたコンピュータ映像が合成
して、又はコンピュータ映像のみで映像を生成する。生
成された映像は表示部９に送られる。

【００６２】ステップＳ９では映像合成部３から送り出
されてきた映像情報を表示部９が表示する。その後ステ
ップＳ１０でシステムを終了するかどうかがチェックさ
れ、システムを終了させる場合はステップＳ１１でシス
テムを終了させ、終了させない場合にはステップＳ２に
戻り、上述の処理を繰り返す。

【００６３】以上のように、本実施形態によれば、拡大
表示装置においてレンズのズーム値が予め設定した設定
値以上に達してしまった場合には、ズーム値をあげる操
作で、注目されている対象物をコンピュータグラフィッ
クス画像などに切り換えてさらに詳しく表示したり、対
象物に関する情報を表示したり、対象物の中に入り込ん
でウォークスルーできるようにすることができる。

【００６４】即ち、ある対象物へ拡大装置が可能な範囲
を越えてズームしていった場合、ズーム対象物をに不可
してある情報を切り換えて表示したり、対象物の中に入
り込んだようなＶＲ空間を提示することができる。これ
により、望遠鏡などのズーム行動にあらわれる使用者の
要求である、対象物をもっと詳しく見たい、近くで見た
い、覗き込みたいなどの要求を満たす映像を表示するこ
とができる。

【００６５】＜変形例＞操作部を備え、本実施形態の合
成装置の使用者からの入力を受け付ける。また、発音部
を備え、使用者に音を提示する。また、合成された映像
を記憶する合成映像記憶部と記憶映像出力部を備える。
また、第１の実施形態において、ＶＲ空間モードにおけ
るＶＲ空間を、ズーム対象物とは関連のないＶＲ空間に
してもよい。また、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗ
ｅｂ）のホームページを表示しても良い。

【００６６】また、本実施形態の映像合成装置は、展望
台等で望遠鏡として使用することができるだけでなく、
たとえば博物館等に設置して、現実世界の展示物に重ね
て仮想的な映像を見せるような情報表示端末としても用
いることが可能である。

【００６７】また、本実施形態の映像合成装置は、当然
のことながら展望台や博物館での利用に限られるもので
はなく、本実施形態の映像合成装置が有効に利用可能な
全ての状況において用いることが可能である。

【００６８】本実施形態の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプ
ログラムコードを読み出し実行することによっても達成
される。この場合、記憶媒体から読み出されたプログラ
ムコード自体が前述した実施形態の機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
実施形態を構成することになる。また、コンピュータが
読み出したプログラムコードを実行することにより、前
述した実施形態の機能が実現されるだけでなく、そのプ
ログラムコードの指示に基づき、コンピュータ上で稼動
しているオペレーティングシステム（ＯＳ）などが実際
の処理の一部または全部を行い、その処理によって前述
した実施形態の機能が実現される場合も含まれることは
言うまでもない。

【００６９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張カードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる場合も含まれることは言うまでもない。

【００７０】

【発明の効果】本発明によれば、光学系の制御が設定値
以上に達してしまった場合には、注目されている対象物
をコンピュータグラフィックス画像などに切り換えて、
使用者の対象物をもっと詳しく見たいという要求を満た
すことができる。

【図面の簡単な説明】

【図１】本実施形態の第一実施形態による映像合成装置
の概略構成を示すブロック図である。

【図２】第一実施形態における、映像合成装置の処理手
順を説明するフローチャートである。

【図３】現実世界の建物と仮想のキャラクタの前後関係
が表現されていない場合の図である。

【図４】現実世界の建物と仮想のキャラクタの前後関係
が表現されている場合の図である。

【図５】現実世界の建物と仮想のキャラクタの接触関係
が表現されている場合の図である。

【図６】現実世界のモデルを二次元のモデルとして表現
した場合の図である。

【図７】パノラマ映像の一部分にα値を与える場合を説
明する図である。

【図８】姿勢制御部から送られる姿勢情報から撮像部で
利用するレンズのレンズ中心の位置を求める方法を説明
する図である。

【図９】姿勢制御部から送られる姿勢情報から撮像部で
利用するレンズのレンズ中心の位置を求める方法を説明
する図である。

【図１０】レンズ状態制御部から送られるレンズ状態情
報から撮像部で利用するレンズの焦点距離を求める方法
を説明する図である。

【図１１】撮像部で利用するレンズの焦点距離からレン
ズの視野角を求める方法を説明する図である。

【図１２】地図データから現実世界の三次元モデルを生
成する方法を説明する図である。

【図１３】地図データから現実世界の三次元モデルを生
成する方法を説明する図である。

【図１４】撮像部でパノラマ映像を撮影し、データ部に
格納する場合を説明する図である。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/265 Ｈ０４Ｎ 5/265 (72)発明者 穴吹 まほろ 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 小野 英太 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 鈴木 雅博 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 片山 昭宏 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 5B050 AA09 BA08 BA09 BA11 CA06 CA07 DA07 EA07 EA19 EA24 FA02 FA08 5C022 AA00 AB66 AC69 5C023 AA11 AA37 AA38 BA01 BA11 CA01

Claims (9)

【特許請求の範囲】
1. 【請求項１】 撮影部で撮影された実写画像をベースと
   した画像を表示する空間モードおよびコンピュータグラ
   フィックスをベースとした画像を表示する空間モードを
   有する映像合成装置であって、 現実世界をレンズを介して撮影し実写画像を生成する撮
   像部と、 前記撮像部を使用者が手動で動かすことを可能とする可
   動部を有する、前記撮像部を支持する支持部と、 前記撮像部と前記支持部の相対的な姿勢を測定する姿勢
   測定部と、 前記レンズの状態を制御するレンズ状態制御部と、 コンピュータグラフィックスを生成するためのデータを
   保持するデータ部と、 前記姿勢測定部からの姿勢情報と前記レンズ状態制御部
   からのレンズ状態情報と前記データ部に保持されている
   データをもとに空間モードを設定するする空間管理部
   と、 前記空間管理部で設定された空間モードに基づいて、前
   記データ部に保持されているデータを用いてコンピュー
   タ映像を生成するコンピュータ映像生成部と、 前記撮影映像取込部で取り込まれた撮影映像と前記コン
   ピュータ映像生成部で生成したコンピュータ映像とから
   表示すべき映像を生成する映像生成部とを有することを
   特徴とする映像合成装置。
2. 【請求項２】 前記支持部はさらに前記表示部を前記撮
   像部と一体的に支持することを特徴とする請求項１に記
   載の映像合成装置。
3. 【請求項３】 前記空間管理部は、前記撮像部で利用す
   るレンズのズーム値が予め設定した設定値以上、かつ前
   記表示部の特定エリア内にキーデータが表示されている
   場合に、前記コンピュータグラフィックスをベースとし
   た画像を表示する空間モードを設定することを特徴とす
   る請求項１乃至２のいずれかに記載の映像合成装置。
4. 【請求項４】 前記設定値はズーム値の最大値であるこ
   とを特徴とする請求項３に記載の映像合成装置。
5. 【請求項５】 前記特定エリアは、前記表示部の中央で
   あることを特徴とする請求項３に記載の映像合成装置。
6. 【請求項６】 前記支持部は固定されていることを特徴
   とする請求項１記載の映像合成装置。
7. 【請求項７】 前記支持部が移動可能であることを特徴
   とする請求項１記載の映像合成装置。
8. 【請求項８】 撮影部で撮影された実写画像をベースと
   した画像の表示およびコンピュータグラフィックスをベ
   ースとした画像の表示を可能にする情報処理方法であっ
   て、 撮影部の姿勢情報およびズーム情報を入力し、 前記ズーム情報に基づき前記撮影部のズーム値が設定値
   より大きいか否かを判定し、 前記姿勢情報に基づき撮影画像の所定領域にキーデータ
   が含まれるか否かを判定し、 前記ズーム値が前記設定値より大きく、かつ前記撮影画
   像の所定領域にキーデータが含まれる場合は、前記キー
   データに対応するコンピュータ映像を生成し、 前記生成されたコンピュータ映像をベースとして画像を
   表示させることを特徴とする情報処理方法。
9. 【請求項９】 請求項８記載の情報処理方法を実現する
   ためのプログラム。