JP2004227332A

JP2004227332A - Information display method

Info

Publication number: JP2004227332A
Application number: JP2003015040A
Authority: JP
Inventors: Nobuhiko Matsukuma; 信彦松隈
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-01-23
Filing date: 2003-01-23
Publication date: 2004-08-12

Abstract

<P>PROBLEM TO BE SOLVED: To change a virtual image corresponding to a change of a real image in a composite image of a real image shot by a video camera and a virtual image generated by a PC. <P>SOLUTION: A video camera 1 acquires a real image 9 by shooting an object 4 in the real world. A virtual camera 5 of a PC shoots a virtual world where an added object 8 is added to an object 7 that is the same as the object 4 at the same state as the video camera 1 shoots the real world, and creates a virtual image 10. The images 9 and 10 are fed to a chroma-key image compositing part 11 for creating a composited image 12, in which the added object image 8a of the virtual image is composited with the real image 9 by a chroma-key method. When a shooting direction of the video camera 1 is changed by a manual operation, the virtual image 10 is also changed, based on information on an angle from an angle sensor 2 in such a way that an object image 7a and the added object image 8a move, and the composited image 12 is changed. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、２つの画像を合成して表示する情報表示方法に係り、特に、現実に撮影して得られる画像（以下、実画像という）とコンピュータなどによって作成された仮想的な画像（以下、バーチャル画像という）とを合成して表示する情報表示方法に関する。
【０００２】
【従来の技術】
従来、娯楽や広告，教育，インテリアなどに利用される情報表示方法として、ハーフミラーを利用して２つの画像を合成し、その合成画像を表示するようにした方法が知られている。
【０００３】
図１１はかかる情報表示方法を概念的に示す図であって、１００はディスプレイ装置の筐体、１０１は透明なガラス窓、１０２はハーフミラー、１０３はオブジェクト、１０４はモニタである。
【０００４】
同図において、筐体１００には、その前面側に、その内部を覗けるように、ガラス窓１０１が張られている。また、筐体１００の内部には、ガラス窓１０１側に傾斜したハーフミラー１０２とこれよりも奥側に配置された模型などのオブジェクト１０３が設けられており、ガラス窓１０１及びハーフミラー１０２を通してオブジェクト１０３を見ることができる。また、ハーフミラー１０２の下側には、モニタ１０４が設けられており、このモニタ１０４で所望付加オブジェクトの画像１０５が表示される。この表示画像１０５は、ハーフミラー１０２によってガラス窓１０１側に反射される。従って、観察者がガラス窓１０１から内部を覗くと、オブジェクト１０３の画像にモニタ１０４の表示画像１０５が合成された画像１０６を見ることができる。
【０００５】
かかる情報表示方法に対し、さらに、この表示される合成画像をみる観客がディスプレイ装置に働き掛けて画像を変化させることができるようにした技術が提案されている（例えば、特許文献１参照）。
【０００６】
これは、図１１を用いて説明すると、筐体１００を暗室とし、ガラス窓１０１を覗き窓とし、オブジェクト１０３を海底ジオラマとし、モニタ１０４の表示画像１０５をコンピュータからの魚が泳いでいる画像とするものである。これにより、覗き窓１０１からは、モニタ１０４の表示画像１０５が海底ジオラマ１０３と合成されて見ることができ、魚が海底を泳いでいるように見える。
【０００７】
また、暗室１００の覗き窓１０１側には、マイクロフォン（図示せず）が設けられており、観察者が手を叩くと、あるいは、魚の名前を呼ぶと、コンピュータ（図示せず）がこれを判断して所定の魚の画像をモニタ１０４に表示させる。これにより、観察者の働き掛けにより、表示させる画像を変えることができる。
【０００８】
【特許文献１】
特開平１０ー１７１４２４号公報
【０００９】
【発明が解決しようとする課題】
ところで、上記特許文献１に記載の技術では、合成される２つの画像は、いずれもその情報内容が決まったものである。つまり、時々刻々変化する現実の世界（実世界）の画像を表わすものではない。このために、例えば、上記特許文献１に記載の技術のような海底での魚の泳いでいる状態を見せる場合とは異なり、地上での実世界の画像にバーチャル画像を合成して観察者に見せるとしても、決まった方向の実世界の様子だけでなく、違った方向の実世界がどのような様子であるか、これに対してバーチャル画像はどのようになるかといったことを観察者が知りたい場合もある。これを上記特許文献１に記載の技術に例えると、海底の違った方向では、海底がどのように状態になっていて、魚がどのように泳いでいるのかも、観察者としては、知りたいということに相当する。
【００１０】
本発明の目的は、かかる要望に鑑みてなされたものであって、その目的は、ビデオカメラの撮影による実画像とバーチャル画像との合成画像を表示し、この合成画像で、実画像を変化させることができ、しかも、この実画像の変化とともに、バーチャル画像も変化させることができるようにした情報表示方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明は、設置位置が固定されたビデオカメラによる実画像とコンピュータによるバーチャル画像の付加オブジェクト画像とを合成して表示する情報表示方法であって、ビデオカメラの撮影方向の変化とともに、実画像と付加オブジェクト画像との合成画像を、実画像でのオブジェクト画像と付加オブジェクト画像との表示位置関係を一定に保ちながら、変化させるものである。
【００１２】
そして、ビデオカメラの撮影方向を角度情報として検出し、その角度情報に応じて、コンピュータがバーチャル画像における付加オブジェクト画像のを変化させるものである。
【００１３】
また、合成画像では、付加オブジェクト画像が、付加オブジェクトが実画像でのオブジェクトの前方に存在するように、表示されるものである。
【００１４】
あるいは、合成画像では、付加オブジェクト画像が、実画像でのオブジェクトの後方に付加オブジェクトが存在するように、表示されるものである。
【００１５】
さらに、付加オブジェクト画像は、合成画像に表示されるオブジェクトの説明もしくは案内のための画像であるものである。
【００１６】
そして、付加オブジェクト画像は、合成画像でのオブジェクトを指定することにより、表示されるものである。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明による情報表示方法の一実施形態を原理的に示す図であって、１はビデオカメラ、２は角度センサ、３は支柱、４はオブジェクト、５はバーチャルカメラ、６は角度制御手段、７はオブジェクト、８は合成データＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）データ、９は実世界画像、１０はバーチャル画像、１１はリアルタイムクロマキー画像合成器、１２は合成画像である。
【００１８】
同図において、ここでは、ビデオカメラ１の撮影対象とする実世界に対し、バーチャル（仮想）世界を想定する。このバーチャル世界は、実際には、コンピュータによる世界である。
【００１９】
実世界では、固定した位置に設置されている支柱３に取り付けられたビデオカメラ１により、実世界の、即ち、現実のオブジェクト４を撮影する。これにより、ビデオカメラ１からは、オブジェクト４の画像（オブジェクト画像）４ａからなる実画像９の映像信号が得られる。実世界としては、町中の様子でもよいし、風景であってもよいし、ショーウインドウの中や構内，店内であってもよいし、展示会であってもよく、いずれの場所でもよい。但し、ビデオカメラ１は、支柱３の上で一定の位置に固定されている。ビデオカメラ１は手動によってその撮影方向を変えることができ、その撮影方向が角度センサ２によって検知される。
【００２０】
一方、バーチャル世界は、実世界でのオブジェクトと同一のオブジェクト７を含む実世界と同じ世界に特定のオブジェクト８が付加された構成の世界であって（このように付加されたオブジェクト８を、以下、付加オブジェクトという）、実世界でのビデオカメラ１の設置位置に相当するバーチャル世界での位置に設置されたバーチャルカメラ５によって撮影される。これにより、バーチャルカメラ１からは、オブジェクト７の画像（オブジェクト画像）７ａと付加オブジェクト８の画像（付加オブジェクト画像）８ａとからなるバーチャル像１０の映像信号が得られる。
【００２１】
このバーチャルカメラ５は、角度制御手段６によって撮影方向が可変であり、ビデオカメラ１の角度センサ２の検知出力である角度情報に応じて、角度制御手段６がバーチャルカメラ５の上下・左右方向の撮影方向が変化する。これにより、ビデオカメラ１の撮影方向を変化させると、これに応じてバーチャルカメラ５の撮影方向も変化し、常にビデオカメラ１の実世界での撮影方向に対応したバーチャルカメラ５のバーチャル世界での撮影方向が設定されることになり、同時刻でのビデオカメラ１による撮影画像（実画像）９とバーチャルカメラ５による撮影画像（バーチャル画像）１０とが、付加オブジェクト８を除いて、同一である。つまり、バーチャル画像１０は、実画像９に付加オブジェクト８の画像（付加オブジェクト画像）８ａが付加されたものである。このように、バーチャルカメラ５は、実世界のビデオカメラ１と連動した方向の撮影を行なうものである。
【００２２】
ビデオカメラ１からの実画像９とバーチャルカメラ５からのバーチャル画像１０とはリアルタイムクロマキー画像合成器１１に供給され、実画像９にバーチャル画像１０の付加オブジェクト画像８ａが合成された合成画像１２が得られる。このため、バーチャル世界では、付加オブジェクト８以外が全て青色に着色されており、従って、バーチャル画像１０でも、付加オブジェクト画像８ａ以外が全て青色をなしている。リアルタイムクロマキー画像合成器１１では、このバーチャル画像１０から青色部分を全て除いて付加オブジェクト画像８ａのみを抽出し、実画像９に嵌め込み合成する。
【００２３】
以上の方法によると、合成画像１２においては、実画像９でのオブジェクト画像４ａに対して、付加オブジェクト画像８ａの位置を奥行き方向に設定することも可能である。これを図２により説明する。
【００２４】
図２（ａ）は、バーチャル世界において、オブジェクト７の後方に人間としての付加オブジェクト８が位置している状態を示す。この場合には、付加オブジェクト８の一部がオブジェクト７によって遮られるため、バーチャルカメラ５で得られるバーチャル画像１０では、付加オブジェクト画像８ａの一部がオブジェクト画像７ａによって遮られて表示されない。このため、リアルタイムクロマキー画像合成部１１（図１）では、バーチャル画像１０での付加オブジェクト画像８ａの表示される部分のみが抽出されて実画像９に嵌め込み合成されるから、合成画像１２では、付加オブジェクト８ａの一部がオブジェクト画像４ａに遮られたように表示されることになり、付加オブジェクト８がオブジェクト４の後ろに居るように見えることになる。
【００２５】
これに対し、図２（ｂ）は、バーチャル世界において、オブジェクト７の前に人間としての付加オブジェクト８が位置している状態を示す。この場合には、バーチャルカメラ５で得られるバーチャル画像１０では、付加オブジェクト８全体がオブジェクト画像７ａに遮られないで表示される。このため、リアルタイムクロマキー画像合成部１１（図１）では、バーチャル画像１０から付加オブジェクト画像８ａ全体が抽出されて実画像９に嵌め込み合成されることになり、合成画像１２では、付加オブジェクト画像８ａ全体がオブジェクト画像４ａに重なって表示されることになるから、付加オブジェクト８がオブジェクト４の前方に居るように見えることになる。
【００２６】
このようにして、バーチャル世界での付加オブジェクト８のオブジェクト７に対する位置関係に応じて、この付加オブジェクト８が実世界でのオブジェクト４の前方にあったり、後方にあったりするように表示させることができる。つまり、三次元表示が可能となる。
【００２７】
以上説明したバーチャル世界はコンピュータの世界であって、バーチャル画像１０はコンピュータによって作成されるものであるが、次に、この実施形態を具体的に説明する。
【００２８】
図３は図１に示した原理を基に情報表示を行なう情報表示装置の一具体例を示すブロック構成図であって、１３は画像表示部、１４はリアルタイム３ＤＣＧ（３−ＤｉｍｅｎｓｉｏｎａｌＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ：三次元コンピュータグラフィック）生成部、１５はバーチャルカメラデータのデータベース、１６はアニメデータのデータベース、１７はキャラクタデータのデータベース、１８はＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）データのデータベース、１９は照明データのデータベース、２０はテクスチャデータのデータベース、２１は入力部であり、図１に対応する部分には同一符号を付けて重複する説明を省略する。
【００２９】
同図において、リアルタイム３ＤＣＧ生成部１４は、図１に示したバーチャル画像１０を生成するものであって、ＣＰＵ１４ａやメモリ１４ｂ，グラフィックボード１４ｃ，ハードディスク１４ｄなどを備えたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）であり、バーチャル画像１０を形成するために必要なデータを格納したデータベース１５〜２０が設けられている。
【００３０】
データベース１５には、バーチャルカメラ５に関するデータ、即ち、画角や位置，基準方向，解像度などのバーチャルカメラデータが格納されている。これらのデータは調整可能である。画角データはバーチャルカメラ５の撮影範囲の大きさを規定するものであって、この画角を変化させることにより、ズーミングのように、バーチャル画像１０でのオブジェクト画像７ａ，８ａの大きさを変化させることができる。位置データは、実世界でのビデオカメラ１の設置位置に対応するように、バーチャル世界で設定されるバーチャルカメラ５の設置位置のデータである。基準方向データは、同様にして、実世界でのビデオカメラ１の基準となる撮影方向に対応する、バーチャル世界でのバーチャルカメラ５の基準となる撮影方向を規定するデータであって、調整可能である。実世界での基準方向は、例えば、地軸での真北方向としてもよいし、また、実世界での特定のオブジェクト４の特定の部分の方向としてもよい。バーチャル世界でも、これに合わせて基準方向を決める。角度センサ２は、この基準方向からの角度を示す角度情報を出力する。
【００３１】
また、データベース１６には、バーチャル世界での付加オブジェクト８の動きなどに関するアニメーションデータ（アニメデータ）が、データベース１７には、バーチャル世界での付加オブジェクト８の表情などのキャラクタデータが、データベース１８には、バーチャル世界でのオブジェクト７や付加オブジェクト８の各部の位置を表わす位置座標や形状を表わすＣＧデータが格納されている。このＣＧデータをもとに、バーチャル画像１０でのオブジェクト画像７ａや付加オブジェクト画像８ａが作成される。また、データベース１９には、付加オブジェクト８の明るさや影などを作成するための照明データが、データベース２０には、付加オブジェクト８などの素地模様などのテクスチャデータが格納されている。これらアニメデータやキャラクタデータ，照明データ，テクスチャデータは、ＣＧデータの各位置座標号に設定されている。
【００３２】
なお、ＣＧデータ１８としては、付加オブジェクト８以外の部分に対しては、青色に着色するためのデータ（着色データ）も付加されており、この着色データにより、作成されたバーチャル画像１０での付加オブジェクト画像８ａ以外の部分が着色されている。
【００３３】
また、データベース１６のアニメデータによると、例えば、合成画像１２（図１）において、付加オブジェクト画像８ａに指先でタッチして動かすことにより、この付加オブジェクト画像８ａが移動するようにすることができる。この場合、この移動とともに、図２で説明したように、付加オブジェクト画像８ａがオブジェクト画像７ａの前になったり、後ろになったりするように表示させることができる。これは、かかるアニメデータにより、データベース１８から読み出される付加オブジェクト画像８ａのＣＧデータ（位置座標データ）を変換することにより、付加オブジェクト画像８ａを移動させることができるものであり、例えば、オブジェクト画像７ａに対する付加オブジェクト画像８ａの移動方向に応じて、付加オブジェクト画像８ａとオブジェクト画像７ａとの重なり部分で付加オブジェクト画像８ａとオブジェクト画像７ａとのいずれか一方を全面に表示するようにすればよい。
【００３４】
かかるデータベース１５〜２０の各データは、バーチャル画像１０を作成したり、調整したりする作成者（以下、オペレータという）により、ビデオカメラ１で撮影される実世界をもとに作成されたものであって、ＡＰ（アプリケーションプログラム）を用いてリアルタイム３ＤＣＧ生成部１４に入力され、該当するデータベースに夫々格納される。例えば、データベース１８のＣＧデータの場合、ビデオカメラ１で撮影される実世界全体の模型を作成し、その模型での各オブジェクトなどの各部のバーチャル世界における座標位置や形状を求め、これをＡＰを用いてリアルタイム３ＤＣＧ生成部１４に入力し、該当するデータベースに格納する。
【００３５】
角度センサ２からビデオカメラ１の撮影方向に応じた角度情報が供給されると、データベース１５からバーチャルカメラデータが読み出され、その角度情報とバーチャルカメラデータの基準方向データとからバーチャル世界でのバーチャルカメラ５の撮影方向が、実世界でのビテーオカメラ１の撮影方向に相当するように、設定される。そして、ＣＰＵ１４ａがメモリ１４ｂやグラフィックスボード１４ｃ，ハードディスク１４ｄなどを用いて、データベース１６〜２０のデータをもとに、バーチャルカメラ５が撮影するバーチャル画像１０を生成する。
【００３６】
一例としては、角度情報とバーチャルカメラ５の基準方向データとからこのバーチャルカメラ５の撮影方向が決まると、画角データにより、このときのバーチャルカメラ５のバーチャル世界での撮影範囲（視野）がバーチャル世界の座標系内で決まることになる。この視野内のオブジェクト７や付加オブジェクト８の位置座標や青の着色データなどのＣＧデータをデータベース１８から読み出して処理することにより、輪郭からなる付加オブジェクト画像８ａと青色に着色されて輪郭で表わされるオブジェクト画像７ａとこれら以外の青色に着色された部分（背景）とが形成され、データベース１７，２０のキャラクタデータ，テクスチャデータによって付加オブジェクト画像８ａを色合いや模様，表情を表わす画像にし、データベース１９の照明データにより、付加オブジェクト画像８ａを所定の明るさの照明が与えられた画像とし、さらに、データベース１６のアニメデータにより、付加オブジェクト８のオブジェクト７に対する位置を規定して、図２で示したような位置関係で付加オブジェクト画像８ａが表示されるようにする。このような処理がなされて、バーチャル画像１０が作成される。
【００３７】
ところで、ＣＧデータ１８は、オブジェクト７や付加オブジェクト８の各点の位置座標データからなるが、この中からオブジェクト７や付加オブジェクト８でのバーチャルカメラ５の撮影範囲内の部分を読み出すことになるが、これは、例えば、次のように行なわれる。
【００３８】
角度センサ２から角度情報が供給されると、これとバーチャルカメラデータ１５の基準方向データと画角データとからバーチャル世界でのバーチャルカメラ５の撮影範囲が検出される。そして、データベース１８から全てのＣＧデータ１８を読み出してこの撮影範囲内の位置座標データを順次検出し、この検出した位置座標データに対するキャラクタデータ，照明データ，テクスチャデータ，アニメデータ，付加オブジェクト８以外についての着色データをデータベース１７，１９，２０，１６，１８から読み出し、これらを処理してバーチャル画像１０を作成する。
【００３９】
角度センサ２から角度情報が供給される毎に、かかる動作が行なわれてバーチャル画像１０が生成される。
【００４０】
以上のように生成されてバーチャル画像１０はメモリ１４ｂでのフレームメモリ（図示せず）に格納され、これが繰り返し読み出されてバーチャル映像信号としてリアルタイムクロマキー画像合成部１１に供給される。
【００４１】
ビデオカメラ１からの実画像９の映像信号とリアルタイム３ＤＣＧ生成部１４からのバーチャル画像１０の映像信号とはリアルタイムクロマキー画像合成部１１に供給され、これらが図１で説明したようにしてクロマキー合成されて図１，図２に示すような合成画像１２が形成され、この合成画像１２が液晶モニタなどの画像表示部１３に供給されて表示される。なお、この画像表示部１３はビデオカメラ１側に設けられ、観察者がその表示画面を見ながらビデオカメラ１の操作ができるようにしている。
【００４２】
以上のことからして、図１に示すような合成画像１２では、ビデオカメラ１で撮影された実画像９に合成された付加オブジェクト画像８ａが、このビデオカメラ１の撮影方向が変えられると、合成画像１２上で、実画像でのオブジェクト画像４ａと一緒になって移動するものであるから、コンピュータで作成されたこの付加オブジェクト画像８ａも含む現実の世界をビデオカメラ１で撮影したような合成画像１２を得ることができる。
【００４３】
なお、入力部２１で後述するように入力操作すると、データベース１６のアニメデータにより、バーチャル画像１０において、付加オブジェクト画像８ａを変化されたり、この画面１０上で現われたりすることができる。
【００４４】
図４は図３に示した回路構成をなす情報表示装置の外観を示す図であって、同図（ａ）は上面図、同図（ｂ）は背面図、同図（ｃ）は側面図であり、２ａは垂直回転角度センサ、２ｂは水平回転角度センサ、１３ａは図３における画像表示部１３のモニタ（ここでは、液晶モニタとする）、２２はハンドル、２３は支持板、２４はバーチャル画像生成用ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、２５はプレートである。なお、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
【００４５】
図４（ａ）〜（ｃ）において、地面に固定されたプレート２５に垂直に支柱３が取り付けられ、これに支持板２３が支柱３の水平，垂直な軸に関して回動可能に取り付けられている。この支持板２３の表面には、タッチパネルを備えた液晶モニタ１３ａが取り付けられており、この支持板２３の上辺部にビデオカメラ１が取り付けられている。また、支持板２３の下辺には、観察者（図示せず）が操作するハンドル２２が設けられている。液晶モニタ１３ａの表示画面とビデオカメラ１とは互いに反対側を向いており、観察者は、液晶モニタ１３ａの表示画面側からハンドル２２を持って操作することにより、液晶モニタ１３ａの表示画像を見ながら、ビデオカメラ１の向き（撮影方向）を変えることができる。
【００４６】
ここで、ビデオカメラ１の水平回転動作角度の取り得る範囲は、図４（ａ）に示すように、ビデオカメラ１が正面を向いた状態からほぼ±１３５゜として示しているが、これに限らず、±１８０゜以内の任意の角度とすることができる。また、ビデオカメラ１の垂直回転動作角度の取り得る範囲は、図４（ｃ）に示すように、ビデオカメラ１が水平方向を向いた状態からほぼ±４５゜として示しているが、これに限らず、観察者が液晶モニタ１３ａの表示画像を見にくくならない程度の角度範囲とすることができる。観察者のハンドル２２の操作により、これら水平回転動作角度及び垂直回転動作角度の可能な範囲で決まる上記撮影範囲で、ビデオカメラ１が撮影方向を変えて撮影することができる。この水平回転動作角度は角度センサ２の１つである水平回転角度センサ２ｂによって検出され、この垂直回転動作角度は角度センサ２の１つである垂直回転角度センサ２ａによって検出される。また、これら角度センサ２ａ，２ｂには、上記の範囲を規定する角度制限機構が設けられている。
【００４７】
なお、上記の基準方向がビデオカメラ１、従って、バーチャルカメラ５の撮影方向に含まれなくともよい。例えば、基準方向が真北である場合、ビデオカメラ１が南向きに設定されたときには、この基準方向はビデオカメラ１の撮影範囲からはずれることになる。
【００４８】
図４（ｃ）において、ビデオカメラ１と画像生成用ＰＣ２４との間が、また、液晶モニタ１３ａと画像生成用ＰＣ２４との間が夫々支柱３の中を介してケーブル（図示せず）で接続されている（なお、ケーブルによる有線の変わりに、無線としてもよい）。この画像生成用ＰＣ２４は図３に示したリアルタイム３ＤＣＧ生成部１４や各データ１５〜２０を備えたものであるが、図３に示したリアルタイムクロマキー画像合成部１１も備えている。
【００４９】
そこで、ビデオカメラ１で得られた実画像データと角度センサ２からの角度情報は画像生成用ＰＣ２４に送られる。画像生成用ＰＣ２４では、先に説明したように、この角度情報を用いてこの実画像データに対応するバーチャル画像データが生成され、実画像にバーチャル画像の付加オブジェクト画像がクロマキー合成された合成画像が生成され、液晶モニタ１３ａに供給される。これにより、この合成画像が液晶モニタ１３ａに表示される。従って、観察者がハンドル２２を操作してビデオカメラ１の向き（撮影方向）を変えるとともに、液晶モニタ１３ａでは、実画像も変化（移動）していき、また、この実画像に合成された付加オブジェクト画像も実画像とともに移動する。
【００５０】
図５は本発明による情報表示方法の一実施形態である図４での液晶モニタ１３ａでの表示例を示すものであって、ここでは、情報表示装置を駅構内に設置した場合を示している。
【００５１】
同図において、液晶モニタ１３ａには、ビデオカメラ１が撮影する駅構内の一部の実画像とこれに合成された２つの付加オブジェクト画像２６ａ，２６ｂが表示されている。ここでは、この情報表示装置が駅構内の案内装置として用いられるものとしている。付加オブジェクト画像２６ｂは、例えば、８番線ホームの方向を示す矢印の画像であり、また、付加オブジェクト画像２６ａは、例えば、８番線ホームへの案内メッセージ「８番線はこちらの方向です」が吹き出しで表示される。
【００５２】
ハンドル２２を操作してビデオカメラ１の向きを変えると、これとともに液晶モニタ１３ａの表示画像（合成画像）もスクロール形式で変化し、他の方向での案内のための付加オブジェクト画像が現われる。
【００５３】
図３で説明したようにして、情報表示装置を設置して使用する場合、実画像９とこれと同じバーチャル画像１０とに表示のずれが生ずる場合がある。図６（ａ）はかかる表示のずれを模式的に示すものであって、このずれにより、実画像のオブジェクト像４ａとバーチャル画像のオブジェクト像７ａとが位置的にずれることになる。このようなずれがあると、図１に示すような合成画像１２では、付加オブジェクト画像８ａが適正な位置に表示されず、特に、実画像のオブジェクト画像４ａの後ろ側にあるように表示される場合には、異常な状態で表示されることになるし、また、図５に示した案内表示の場合には、誤った方向に案内する内容となる。
【００５４】
そこで、このような不具合を防止するために、使用に先立ち、オペレータによって実画像とバーチャル画像との表示位置関係の調整がなされる。その一具体例を図６により説明する。なお、符号は他の図面のものを参照している。
【００５５】
図４に示す情報表示装置の設置状態で、まず、画像生成用ＰＣ２４の電源を投入し、キャリブレーション（較正）ソフトを起動させると、画像生成用ＰＣ２４は、ビデオカメラ１を起動させてその実画像と角度センサ２の角度情報とを取得し、この角度情報に応じた調整用のバーチャル画像を生成する。この調整用バーチャル画像は、オブジェクト画像７ａを含むが、付加オブジェクト画像８ａを含んでおらず、しかも、このオブジェクト画像７ａは輪郭のみからなっている。かかる調整用バーチャル画像は上記のメモリ１４ａ（図３）のフレームメモリに記憶されて繰り返し読み出される。この繰り返し読み出される調整用バーチャル画像は実画像と混合されて液晶モニタ１３ａもしくは画像生成用ＰＣ２４の図示しないディスプレイに表示させる。
【００５６】
実画像と調整用バーチャル画像とがずれているときには、これらの混合画像では、図６（ａ）に示すように、実画像９のオブジェクト像４ａと調整用バーチャル画像のオブジェクト像７ａとがずれて表示され、また、大きさも異なる場合がある。そこで、キャリブレーションソフトが起動したときには、図６（ｂ）に示すように、かかる混合画像とともに、４方向夫々を示す方向アイコン、即ち、上方向アイコン２７Ｕ，下方向アイコン２７Ｄ，右方向アイコン２７Ｒ，左方向アイコン２７Ｌが表示されて、これらを適宜タッチ操作することにより、調整用バーチャル画像をスクロール、従って、オブジェクト画像７ａを上下，左右方向に移動させることができる（これは、図３で説明したデータベース１５でのバーチャルカメラデータの基準方向データを調整していることになる）。また、縮小アイコン２８Ｒと拡大アイコン２８Ｅも表示されており、これらを適宜タッチ操作することにより、バーチャル画像を、従って、オブジェクト画像７ａを縮小，拡大させることができる（これは、図３で説明したデータベース１５でのバーチャルカメラデータの画角データを調整していることになる）。
【００５７】
なお、このような調整バーチャル画像の表示画面でのスクロールは、方向アイコン２７をタッチ操作することによってバーチャルカメラデータの基準方向データが調整変更されることにより、その変更毎に、上記のようにしてオブジェクト画像７ａの位置が変化する調整用バーチャル画像が生成されることによって実現されるものであり、バーチャル画像の表示画面での縮小，拡大は、同様にして、拡大・縮小アイコン２８をタッチ操作することによってバーチャルカメラデータの画角データが調整変更されることにより、その変更毎に、上記のようにしてオブジェクト画像７ａの大きさが変化する調整用バーチャル画像が生成されることによって実現されるものである。
【００５８】
このような操作を行なうことにより、図６（ｃ）に示すように、実画像と調整用バーチャル画像とを一致させることができる。
【００５９】
図７は図４に示した情報表示装置の観察者（エンドユーザ）による起動，停止操作を示す図であり、２９は起動アイコン、３０は指先である。
【００６０】
図３に示す入力部２１が液晶モニタ１３ａに設けられており、図４（ｂ）における、例えば、この入力部２１の図示しない電源ボタンを押すと、図７（ａ）に示すように、この液晶モニタ１３ａの表示画面に起動アイコン２９が表示される。この表示画面でのアイコンなどのタッチキーなども、この入力部２１を構成する。この起動アイコン２９を指先３０でタッチ操作すると、図７（ｂ）に示すような設定画面が表示される。この設定画面で所定の設定のためのタッチ操作を行ない、例えば、液晶モニタ１３ａの所定の位置に設けられた図示しない決定ボタンを押すと、アプリケーションソフトが起動してビデオカメラ１が作動開始し、図１で説明したような合成画像１２が表示されて使用可能となる。
【００６１】
また、使用し終わって情報表示装置を停止状態にする場合には、図７（ｃ）に示すように、液晶モニタ１３ａの４隅を順番に指先３０でタッチ操作すると（順序は問わない）、アプリケーションソフトが停止する。しかる後、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）の指示に従って操作することにより、電源をオフにすることができる。
【００６２】
図８は図３及び図４に示す情報表示装置による情報表示方法の他の実施形態を示す図である。
【００６３】
同図において、この利用例は、山並みを望む展望台などに備え付けられた望遠鏡として利用するものである。ここでは、図４に示すようなビデオカメラ１や液晶モニタ１３ａなどを備えた情報表示装置３１を筐体内に収納し、望遠鏡と同様に、観察者が覗き込んで見ることができるようにしたものである。
【００６４】
この情報表示装置３１の液晶モニタ１３ａ（図４）には、ビデオカメラ１が捕らえる合成画像３２が表示され、これにビデオカメラ１を介して望まれる山並みが表示されるが、これとともに、「○○山」，「○○谷」，「○○峠」といったかかる山並みの各場所の名称を表わす文字と指示線とからなる付加オブジェクト画像８ａ_１，８ａ_２，８ａ_３も合成されて表示される。これにより、別途設けられた説明板を参考にすることなく、山並みを見ながら何という山か、何という谷かを知ることができる。また、例えば、この展望台から富士山などの名が知られた山が望める場合には、この富士山などの山の付加オブジェクト画像８ａ_４を山並みの向う側に嵌め込み合成することができ、天候が良くなくて富士山が見えなくとも、その方向に情報表示装置３１を向けることにより、天候が良いときの富士山などの山が見える景色を楽しむことができる。
【００６５】
情報表示装置３１を操作して見る方向を変えると、これとともに、情報表示装置３１で見える景色（実画像）も変化し、これとともに、付加オブジェクト画像８ａ_１〜８ａ_４も移動し、画面３２から外れて見えなくなるものもあるし、また、別の付加オブジェクト画像８ａが見えるようになる。
【００６６】
この場合の合成画像３２を形成するための付加オブジェクト８ａ１〜８ａ４を含むバーチャル画像も、上記のように、ビデオカメラで撮影する実世界の山並みをもとに作成される。
【００６７】
このようにして、観光地などに情報表示装置を設置する場合には、天候などに応じて見えなくなるものや紹介情報などを付加オブジェクト情報として付加しておくことにより、単に眺めただけのもの以上の情報（知識）が得られるし、観光客を楽しませることができる。
【００６８】
図９は図３及び図４に示す情報表示装置による情報表示方法のさらに他の実施形態を示す図である。
【００６９】
同図において、この利用例は、例えば、エレベータホールにおいて、エレベータのドアの内側の構造を見ることができるようにしたものである。エレベータのドア３３の方向にビデオカメラ１を向けると、液晶モニタ１３ａには、ホール内の実画像にドア３３の向う側のエレベータの内部構造を表わした付加オブジェクト画像３４が嵌め込み合成されて表示されることになり、エレベータの内部構造を知ることができる。ビデオカメラ１の撮影方向を上下に変えることにより、エレベータの上の部分の内部構造や下の部分の内部構造が表示されることになる。
【００７０】
同様のことから、例えば、展示される飛行機や船舶などでの主要な内部構造の画像を付加オブジェクト画像として用いることにより、ビデオカメラを通してかかる実物を見ながらにして内部構造を知ることができるようになる。
【００７１】
図１０は図３及び図４に示す情報表示装置による情報表示方法のさらに他の実施形態を示す図である。
【００７２】
図１０（ａ）に示すように、液晶モニタ１３ａには、ビデオカメラ１からの実画像のみが表示されている。かかる実画像で、図１０（ｂ）に示すように、エンドユーザが興味あるオブジェクト画像４ａに指先３０でタッチすると、このオブジェクト画像４ａが点滅して選択されたことを表示され、次いで、図１０（ｃ）に示すように、このオブジェクト４ａを説明もしくは紹介した、例えば、「これは立方体です。」といったようなメッセージが吹き出し３５で表示される。
【００７３】
この場合、点滅するときのオブジェクト４ａ（図１０（ｂ））や吹き出し３５が実画像に嵌め込み合成された付加オブジェクト画像であるが、かかる表示のための処理について説明する。
【００７４】
この場合には、図３において、吹き出し３５のデータがＣＧデータ，キャラクタデータなどとしてデータベース１８，１７に記憶されている。また、オブジェクト４に対し、バーチャル世界での点滅する付加オブジェクトのデータがＣＧデータやキャラクタデータなどとしてデータベースに記憶されている。
【００７５】
図１０（ｂ）に示すように、液晶モニタの表示画面１３ａに表示される実画面のオブジェクト画像４ａをタッチすると、このオブジェクト画像４ａに対する付加オブジェクトのバーチャル画像が生成され、これと実画像とがクロマキー合成されることにより、実画像のオブジェクト画像４ａがバーチャル画像の付加オブジェクト画像と入れ替わり、これにより、図１０（ｂ）に示すように、オブジェクトが像４ａが点滅して表示されることになる。
【００７６】
この表示が所定時間経過すると、次いで、吹き出し３５を付加オブジェクトとするバーチャル画像が生成され、この吹き出し３５が実画像にクロマキー合成される。これにより、図１０（ｃ）に示すように、実画像のオブジェクト画像４ａのメッセージを表わす吹き出し３５が嵌め込み合成されて合成画像が表示されることになる。その後、所定時間が経過すると、もとの図１０（ａ）に示す実画像の表示状態に戻る。
【００７７】
かかる情報表示方法は、例えば、展示場やウィンドウ内に陳列される商品の紹介などに用いることができる。この場合には、オブジェクト４ａが商品ということになり、液晶モニタ１３ａで所定の商品の画像をタッチすることにより、その商品を紹介する商品名や内容，価格などを表わす吹き出し３５が表示される。ビデオカメラの向きを変えることにより、他の商品についても同様のことをすることができる。なお、音声で紹介を表示するようにしてもよいし、吹き出し３５と音声とによって説明もしくは紹介するようにしてもよい。
【００７８】
【発明の効果】
以上説明したように、本発明によると、ビデオカメラで撮影された実画像に合成された付加オブジェクト画像が、このビデオカメラの撮影方向が変えられると、合成画像上で、実画像でのオブジェクトと一緒になって移動するものであるから、コンピュータで作成された該付加オブジェクト画像も含む現実の世界をビデオカメラで撮影したような合成画像を得ることができる。このため、ビデオカメラで撮影される実世界の案内や実世界でのオブジェクトの紹介，説明などを、実世界でかかる案内や紹介，説明などのための手段を設けることなく、行なうことができる。
【図面の簡単な説明】
【図１】本発明による情報表示方法の原理を説明する図である。
【図２】図１におけるクロマキー画像合成の説明図である。
【図３】本発明による情報表示方法を用いた情報表示装置の一具体例を示すブロック構成図である。
【図４】図３に示すブロック構成の情報表示装置の外観図である。
【図５】本発明による情報表示方法の一実施形態を示す図である。
【図６】図３及び図４に示した情報表示装置での画像調整方法の一具体例を示す図である。
【図７】図３及び図４に示した情報表示装置での起動及び停止操作の一具体例を示す図である。
【図８】本発明による情報表示方法の他の実施形態を示す図である。
【図９】本発明による情報表示方法のさらに他の実施形態を示す図である。
【図１０】本発明による情報表示方法のさらに他の実施形態を示す図である。
【図１１】従来の情報表示方法を概念的に示す図である。
【符号の説明】
１ビデオカメラ
２角度センサ
２ａ垂直回転角度センサ
２ｂ水平回転角度センサ
４実世界のオブジェクト
４ａオブジェクト画像
５バーチャルカメラ
７バーチャル世界のオブジェクト
７ａオブジェクト画像
８付加オブジェクト
８ａ〜８ｃ，８ａ_１〜８ａ_４付加オブジェクト画像
９実画像
１０バーチャル画像
１１リアルタイムクロマキー画像合成部
１２合成画像
１３画像表示部
１３ａ液晶モニタ
１４リアルタイム３ＤＣＧ生成部
１５バーチャルカメラデータのデータベース
１６アニメデータのデータベース
１７キャラクタデータのデータベース
１８ＣＧデータのデータベース
１９照明データのデータベース
２０テクスチャデータのデータベース
２２ハンドル
２１入力部
２３支持板
２４画像生成用ＰＣ
２６ａ，２６ｂ付加オブジェクト画像
２７Ｕ，２７Ｒ，２７Ｄ，２７Ｌ上下，左右方向の移動アイコンキー
２８Ｒ，２８Ｅ縮小，拡大のアイコン
２９アプリケーションソフトの起動アイコン
３０指先
３１情報表示装置
３２画面
３３エレベータのドア
３４付加オブジェクト画像
３５吹き出しの付加オブジェクト
３６，３７突起部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information display method for combining and displaying two images, and in particular, to an image obtained by actually photographing (hereinafter, referred to as a real image) and a virtual image (hereinafter, referred to as a real image) created by a computer or the like. And a virtual image).
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a method of displaying information used for entertainment, advertisement, education, interior decoration, and the like, a method of combining two images using a half mirror and displaying the combined image is known.
[0003]
FIG. 11 is a diagram conceptually showing such an information display method. 100 is a housing of a display device, 101 is a transparent glass window, 102 is a half mirror, 103 is an object, and 104 is a monitor.
[0004]
In the figure, a glass window 101 is provided on a front side of a housing 100 so that the inside can be seen. Further, a half mirror 102 inclined toward the glass window 101 and an object 103 such as a model disposed behind the half mirror 102 are provided inside the housing 100. The object 103 passes through the glass window 101 and the half mirror 102. 103 can be seen. A monitor 104 is provided below the half mirror 102, and an image 105 of the desired additional object is displayed on the monitor 104. This display image 105 is reflected by the half mirror 102 to the glass window 101 side. Therefore, when the observer looks into the inside from the glass window 101, an image 106 in which the display image 105 of the monitor 104 is combined with the image of the object 103 can be seen.
[0005]
In addition to such an information display method, a technique has been proposed in which a viewer who looks at the displayed composite image can work on the display device to change the image (for example, see Patent Document 1).
[0006]
This will be described with reference to FIG. 11. The case 100 is a dark room, the glass window 101 is a viewing window, the object 103 is a seabed diorama, and the display image 105 on the monitor 104 is an image of a fish swimming from a computer. Is what you do. Thereby, the display image 105 of the monitor 104 can be seen and synthesized from the viewing window 101 with the seabed diorama 103, and it looks as if the fish are swimming on the seabed.
[0007]
Further, a microphone (not shown) is provided on the side of the viewing window 101 of the dark room 100, and when an observer claps his hand or calls the name of the fish, a computer (not shown) judges this. Then, an image of a predetermined fish is displayed on the monitor 104. Thereby, the image to be displayed can be changed by the action of the observer.
[0008]
[Patent Document 1]
JP-A-10-171424
[0009]
[Problems to be solved by the invention]
By the way, according to the technology described in Patent Document 1, the information content of each of the two images to be synthesized is determined. That is, it does not represent an image of the real world (real world) that changes every moment. For this reason, for example, unlike the case of showing the state of fish swimming on the seabed as in the technique described in Patent Document 1, a virtual image is combined with a real-world image on the ground and shown to an observer. Observers want to know not only what the real world looks like in a certain direction, but what the real world looks like in a different direction, and what the virtual image will look like. In some cases. If this is compared to the technology described in Patent Document 1, as an observer, he wants to know how the seabed is in a different direction on the seabed and how the fish are swimming. This is equivalent to:
[0010]
An object of the present invention has been made in view of such a demand, and an object of the present invention is to display a composite image of a real image and a virtual image captured by a video camera, and change the real image with the composite image. Another object of the present invention is to provide an information display method capable of changing a virtual image together with the change of the real image.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an information display method for combining and displaying a real image by a video camera having a fixed installation position and an additional object image of a virtual image by a computer. Along with the change in the direction, the composite image of the real image and the additional object image is changed while keeping the display positional relationship between the object image and the additional object image in the real image constant.
[0012]
Then, the imaging direction of the video camera is detected as angle information, and the computer changes the additional object image in the virtual image according to the angle information.
[0013]
In the composite image, the additional object image is displayed such that the additional object exists in front of the object in the real image.
[0014]
Alternatively, in the composite image, the additional object image is displayed such that the additional object exists behind the object in the real image.
[0015]
Further, the additional object image is an image for explaining or guiding an object displayed in the composite image.
[0016]
The additional object image is displayed by specifying an object in the composite image.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing in principle one embodiment of an information display method according to the present invention, wherein 1 is a video camera, 2 is an angle sensor, 3 is a column, 4 is an object, 5 is a virtual camera, and 6 is angle control. Means, 7 is an object, 8 is synthetic data CG (Computer Graphics) data, 9 is a real world image, 10 is a virtual image, 11 is a real-time chroma key image synthesizer, and 12 is a synthetic image.
[0018]
In this figure, a virtual (virtual) world is assumed for the real world to be photographed by the video camera 1. This virtual world is actually a computer world.
[0019]
In the real world, a video camera 1 attached to a support 3 installed at a fixed position photographs an object 4 in the real world, that is, a real object 4. Thus, the video signal of the real image 9 including the image (object image) 4a of the object 4 is obtained from the video camera 1. As the real world, it may be a town scene, a landscape, a show window, a campus, a shop, an exhibition, or any place. However, the video camera 1 is fixed at a fixed position on the column 3. The video camera 1 can manually change its shooting direction, and the shooting direction is detected by the angle sensor 2.
[0020]
On the other hand, the virtual world is a world in which a specific object 8 is added to the same world as the real world including the same object 7 as the object in the real world. , An additional object) is captured by the virtual camera 5 installed at a position in the virtual world corresponding to the installation position of the video camera 1 in the real world. As a result, a video signal of the virtual image 10 including the image (object image) 7a of the object 7 and the image (additional object image) 8a of the additional object 8 is obtained from the virtual camera 1.
[0021]
The shooting direction of the virtual camera 5 is variable by the angle control means 6, and the angle control means 6 moves the virtual camera 5 in the vertical and horizontal directions according to the angle information which is the detection output of the angle sensor 2 of the video camera 1. The shooting direction changes. Thus, when the shooting direction of the video camera 1 is changed, the shooting direction of the virtual camera 5 is also changed accordingly, and the virtual camera 5 in the virtual world always corresponds to the shooting direction of the video camera 1 in the real world. The photographing direction is set, and the photographed image (real image) 9 by the video camera 1 and the photographed image (virtual image) 10 by the virtual camera 5 at the same time are the same except for the additional object 8. . That is, the virtual image 10 is obtained by adding the image (additional object image) 8 a of the additional object 8 to the real image 9. As described above, the virtual camera 5 captures an image in a direction interlocked with the video camera 1 in the real world.
[0022]
The real image 9 from the video camera 1 and the virtual image 10 from the virtual camera 5 are supplied to a real-time chroma key image synthesizer 11 to obtain a synthesized image 12 obtained by synthesizing the real image 9 with the additional object image 8a of the virtual image 10. Can be For this reason, in the virtual world, all of the parts other than the additional object 8 are colored blue, except for the additional object 8, in the virtual image 10. The real-time chroma key image synthesizer 11 extracts only the additional object image 8a from the virtual image 10 excluding all the blue portions, and fits the synthesized image into the real image 9 to synthesize.
[0023]
According to the above method, in the composite image 12, it is possible to set the position of the additional object image 8a in the depth direction with respect to the object image 4a in the real image 9. This will be described with reference to FIG.
[0024]
FIG. 2A shows a state where the additional object 8 as a human is located behind the object 7 in the virtual world. In this case, since a part of the additional object 8 is blocked by the object 7, in the virtual image 10 obtained by the virtual camera 5, a part of the additional object image 8a is not displayed because it is blocked by the object image 7a. Therefore, in the real-time chroma key image synthesizing unit 11 (FIG. 1), only the displayed portion of the additional object image 8a in the virtual image 10 is extracted and fitted into the real image 9 and synthesized. A part of the object 8a is displayed as if it were blocked by the object image 4a, and the additional object 8 appears to be behind the object 4.
[0025]
On the other hand, FIG. 2B shows a state in which an additional object 8 as a human is located in front of the object 7 in the virtual world. In this case, in the virtual image 10 obtained by the virtual camera 5, the entire additional object 8 is displayed without being interrupted by the object image 7a. Therefore, the real-time chroma key image synthesizing unit 11 (FIG. 1) extracts the entire additional object image 8a from the virtual image 10 and fits it into the real image 9, and synthesizes it. Is superimposed on the object image 4a, so that the additional object 8 appears to be in front of the object 4.
[0026]
In this way, depending on the positional relationship of the additional object 8 with respect to the object 7 in the virtual world, the additional object 8 can be displayed so as to be located in front of or behind the object 4 in the real world. it can. That is, three-dimensional display is possible.
[0027]
The virtual world described above is the world of a computer, and the virtual image 10 is created by a computer. Next, this embodiment will be described in detail.
[0028]
FIG. 3 is a block diagram showing a specific example of an information display device for displaying information based on the principle shown in FIG. 1, wherein reference numeral 13 denotes an image display unit, and reference numeral 14 denotes a real-time 3DCG (3-Dimensional Computer Graphics: tertiary). Original computer graphic) generator, 15 is a database of virtual camera data, 16 is a database of animation data, 17 is a database of character data, 18 is a database of CG (Computer Graphics) data, 19 is a database of lighting data, 20 is a texture A data database 21 is an input unit, and parts corresponding to those in FIG.
[0029]
In FIG. 1, a real-time 3DCG generation unit 14 generates the virtual image 10 shown in FIG. 1, and is a PC (Personal Computer) including a CPU 14a, a memory 14b, a graphic board 14c, a hard disk 14d, and the like. Databases 15 to 20 storing data necessary for forming the virtual image 10 are provided.
[0030]
The database 15 stores data relating to the virtual camera 5, that is, virtual camera data such as the angle of view, position, reference direction, and resolution. These data are adjustable. The angle-of-view data defines the size of the photographing range of the virtual camera 5, and by changing the angle of view, the size of the object images 7a and 8a in the virtual image 10 is changed as in zooming. Can be done. The position data is data of the installation position of the virtual camera 5 set in the virtual world so as to correspond to the installation position of the video camera 1 in the real world. Similarly, the reference direction data is data that defines the reference shooting direction of the virtual camera 5 in the virtual world corresponding to the reference shooting direction of the video camera 1 in the real world, and is adjustable. is there. The reference direction in the real world may be, for example, a true north direction on the earth axis, or a direction of a specific part of a specific object 4 in the real world. In the virtual world, the reference direction is determined accordingly. The angle sensor 2 outputs angle information indicating an angle from the reference direction.
[0031]
The database 16 stores animation data (animation data) relating to the movement of the additional object 8 in the virtual world, the database 17 stores character data such as the expression of the additional object 8 in the virtual world, and the database 18 stores In addition, CG data representing the position coordinates and the shape of each part of the object 7 and the additional object 8 in the virtual world are stored. Based on the CG data, an object image 7a and an additional object image 8a in the virtual image 10 are created. The database 19 stores illumination data for creating the brightness and shadow of the additional object 8, and the database 20 stores texture data such as a base pattern of the additional object 8. These animation data, character data, lighting data, and texture data are set in each position coordinate number of the CG data.
[0032]
As the CG data 18, data (coloring data) for coloring in blue is added to portions other than the additional object 8, and the CG data 18 is added to the created virtual image 10 based on the coloring data. Parts other than the object image 8a are colored.
[0033]
Further, according to the animation data of the database 16, for example, in the composite image 12 (FIG. 1), the additional object image 8a can be moved by touching and moving the additional object image 8a with a fingertip. In this case, along with this movement, as described with reference to FIG. 2, the additional object image 8a can be displayed so as to be in front of or behind the object image 7a. This is such that the additional object image 8a can be moved by converting the CG data (position coordinate data) of the additional object image 8a read from the database 18 using such animation data. For example, the object image 7a According to the moving direction of the additional object image 8a with respect to the one of the additional object image 8a and the object image 7a, one of the additional object image 8a and the object image 7a may be displayed on the entire surface at the overlapping portion of the additional object image 8a and the object image 7a.
[0034]
Each data in the databases 15 to 20 is created by a creator (hereinafter, referred to as an operator) who creates or adjusts the virtual image 10 based on the real world shot by the video camera 1. Then, it is input to the real-time 3DCG generation unit 14 using an AP (application program), and is stored in a corresponding database. For example, in the case of the CG data of the database 18, a model of the entire real world photographed by the video camera 1 is created, and the coordinate position and shape of each part such as each object in the model in the virtual world are calculated. The data is input to the real-time 3DCG generator 14 and stored in the corresponding database.
[0035]
When angle information corresponding to the shooting direction of the video camera 1 is supplied from the angle sensor 2, virtual camera data is read from the database 15, and virtual angle data in the virtual world is obtained from the angle information and the reference direction data of the virtual camera data. The shooting direction of the camera 5 is set so as to correspond to the shooting direction of the video camera 1 in the real world. Then, the CPU 14a uses the memory 14b, the graphics board 14c, and the hard disk 14d to generate the virtual image 10 captured by the virtual camera 5 based on the data in the databases 16 to 20.
[0036]
For example, when the shooting direction of the virtual camera 5 is determined from the angle information and the reference direction data of the virtual camera 5, the shooting range (field of view) of the virtual camera 5 in the virtual world at this time is virtually determined by the angle-of-view data. It will be determined in the world coordinate system. By reading and processing the CG data such as the position coordinates of the object 7 and the additional object 8 in the field of view and the blue coloring data from the database 18, the additional object image 8 a having the outline and the blue are represented by the outline. An object image 7a and a portion (background) colored in blue other than these are formed, and the additional object image 8a is converted into an image representing a color, a pattern, and an expression by the character data and texture data of the databases 17 and 20, and the image of the database 19 is displayed. The additional object image 8a is set to an image to which illumination of a predetermined brightness is given by the illumination data, and the position of the additional object 8 with respect to the object 7 is defined by the animation data of the database 16, as shown in FIG. Additional object image 8a to be displayed. By performing such processing, the virtual image 10 is created.
[0037]
By the way, the CG data 18 is composed of position coordinate data of each point of the object 7 and the additional object 8, and a portion of the object 7 and the additional object 8 within the shooting range of the virtual camera 5 is read out. This is performed, for example, as follows.
[0038]
When the angle information is supplied from the angle sensor 2, the shooting range of the virtual camera 5 in the virtual world is detected from the angle information, the reference direction data of the virtual camera data 15, and the angle of view data. Then, all the CG data 18 is read out from the database 18 to sequentially detect position coordinate data within the photographing range, and character data, illumination data, texture data, animation data, and other than the additional object 8 corresponding to the detected position coordinate data. Are read from the databases 17, 19, 20, 16, and 18, and processed to create the virtual image 10.
[0039]
Each time angle information is supplied from the angle sensor 2, such an operation is performed to generate a virtual image 10.
[0040]
The virtual image 10 generated as described above is stored in a frame memory (not shown) in the memory 14b, and is repeatedly read and supplied to the real-time chroma key image combining unit 11 as a virtual video signal.
[0041]
The video signal of the real image 9 from the video camera 1 and the video signal of the virtual image 10 from the real-time 3DCG generation unit 14 are supplied to a real-time chroma key image synthesis unit 11, which performs chroma key synthesis as described with reference to FIG. Thus, a composite image 12 as shown in FIGS. 1 and 2 is formed, and the composite image 12 is supplied to an image display unit 13 such as a liquid crystal monitor and displayed. Note that the image display unit 13 is provided on the video camera 1 side so that an observer can operate the video camera 1 while watching the display screen.
[0042]
From the above, in the composite image 12 as shown in FIG. 1, when the additional object image 8 a synthesized with the real image 9 captured by the video camera 1 changes the shooting direction of the video camera 1, Since the object image 4a moves together with the actual object image 4a on the composite image 12, it is composed as if the video camera 1 photographed the real world including the additional object image 8a created by the computer. An image 12 can be obtained.
[0043]
When an input operation is performed on the input unit 21 as described later, the additional object image 8a can be changed in the virtual image 10 or appear on the screen 10 by the animation data in the database 16.
[0044]
4A and 4B are views showing the appearance of the information display device having the circuit configuration shown in FIG. 3, wherein FIG. 4A is a top view, FIG. 4B is a rear view, and FIG. 2a is a vertical rotation angle sensor, 2b is a horizontal rotation angle sensor, 13a is a monitor of the image display unit 13 in FIG. 3 (here, a liquid crystal monitor), 22 is a handle, 23 is a support plate, and 24 is a virtual An image generating PC (Personal Computer), 25 is a plate. Note that the same reference numerals are given to portions corresponding to the above-described drawings, and redundant description will be omitted.
[0045]
4 (a) to 4 (c), a column 3 is vertically attached to a plate 25 fixed to the ground, and a support plate 23 is attached to the column 3 so as to be rotatable about the horizontal and vertical axes of the column 3. . A liquid crystal monitor 13a having a touch panel is mounted on the surface of the support plate 23, and the video camera 1 is mounted on the upper side of the support plate 23. A handle 22 operated by an observer (not shown) is provided on a lower side of the support plate 23. The display screen of the liquid crystal monitor 13a and the video camera 1 are opposite to each other, and the observer operates the handle 22 from the display screen side of the liquid crystal monitor 13a to view the display image on the liquid crystal monitor 13a. Meanwhile, the direction (shooting direction) of the video camera 1 can be changed.
[0046]
Here, as shown in FIG. 4A, the range in which the horizontal rotation operation angle of the video camera 1 can take is shown as approximately ± 135 ° from the state in which the video camera 1 faces the front, but is not limited to this. Instead, the angle may be any angle within ± 180 °. Also, as shown in FIG. 4C, the range in which the video camera 1 can take the vertical rotation operation angle is shown as approximately ± 45 ° from the state in which the video camera 1 is oriented horizontally, but is not limited to this. Instead, the angle range can be set so that the observer does not have difficulty viewing the display image on the liquid crystal monitor 13a. By operating the handle 22 by the observer, the video camera 1 can change the shooting direction in the shooting range determined by the possible ranges of the horizontal rotation angle and the vertical rotation angle. The horizontal rotation operation angle is detected by a horizontal rotation angle sensor 2b which is one of the angle sensors 2, and the vertical rotation operation angle is detected by a vertical rotation angle sensor 2a which is one of the angle sensors 2. Each of the angle sensors 2a and 2b is provided with an angle limiting mechanism that defines the above range.
[0047]
Note that the above-described reference direction does not need to be included in the shooting direction of the video camera 1 and thus the virtual camera 5. For example, when the reference direction is true north and the video camera 1 is set to the south, the reference direction deviates from the shooting range of the video camera 1.
[0048]
In FIG. 4C, the video camera 1 and the image generating PC 24 are connected by a cable (not shown) via the support 3 between the liquid crystal monitor 13a and the image generating PC 24, respectively. (It may be wireless instead of cable.) The image generation PC 24 includes the real-time 3DCG generation unit 14 and the data 15 to 20 illustrated in FIG. 3, but also includes the real-time chroma key image synthesis unit 11 illustrated in FIG. 3.
[0049]
Then, the actual image data obtained by the video camera 1 and the angle information from the angle sensor 2 are sent to the image generation PC 24. In the image generation PC 24, as described above, virtual image data corresponding to the real image data is generated using the angle information, and a synthesized image obtained by chroma key synthesis of the virtual object and the additional object image of the virtual image is generated. It is generated and supplied to the liquid crystal monitor 13a. As a result, the composite image is displayed on the liquid crystal monitor 13a. Therefore, the observer operates the handle 22 to change the direction (shooting direction) of the video camera 1, and the liquid crystal monitor 13a also changes (moves) the real image. The object image also moves with the real image.
[0050]
FIG. 5 shows a display example on the liquid crystal monitor 13a in FIG. 4, which is an embodiment of the information display method according to the present invention. Here, a case where the information display device is installed in a station yard is shown. .
[0051]
In the figure, a liquid crystal monitor 13a displays a partial real image of the station yard captured by the video camera 1 and two additional object images 26a and 26b combined with the real image. Here, it is assumed that this information display device is used as a guide device in a station yard. The additional object image 26b is, for example, an image of an arrow indicating the direction of the No. 8 home, and the additional object image 26a is, for example, a message to the No. 8 home indicating that the "No. 8 is this direction" is a balloon. Is displayed.
[0052]
When the direction of the video camera 1 is changed by operating the handle 22, the display image (composite image) on the liquid crystal monitor 13a also changes in a scrolling manner, and an additional object image for guiding in another direction appears.
[0053]
As described with reference to FIG. 3, when the information display device is installed and used, a display shift may occur between the real image 9 and the same virtual image 10. FIG. 6A schematically shows such a display shift, and the shift causes a positional shift between the object image 4a of the real image and the object image 7a of the virtual image. If there is such a shift, in the composite image 12 as shown in FIG. 1, the additional object image 8a is not displayed at an appropriate position, and is particularly displayed as if it were behind the object image 4a of the real image. In this case, the information is displayed in an abnormal state, and in the case of the guidance display shown in FIG. 5, the content is to provide guidance in the wrong direction.
[0054]
Therefore, in order to prevent such a problem, prior to use, the operator adjusts the display positional relationship between the real image and the virtual image. One specific example will be described with reference to FIG. The reference numerals refer to those in other drawings.
[0055]
In the installation state of the information display device shown in FIG. 4, first, the power supply of the image generation PC 24 is turned on and the calibration (calibration) software is started, and the image generation PC 24 starts the video camera 1 and outputs the actual image. And the angle information of the angle sensor 2 are obtained, and an adjustment virtual image corresponding to the angle information is generated. The adjustment virtual image includes the object image 7a, but does not include the additional object image 8a, and furthermore, the object image 7a includes only the outline. The adjustment virtual image is stored in the frame memory of the memory 14a (FIG. 3) and repeatedly read. The adjustment virtual image that is repeatedly read is mixed with the real image and displayed on the liquid crystal monitor 13a or the display (not shown) of the image generation PC 24.
[0056]
When the real image and the adjustment virtual image are shifted, in these mixed images, as shown in FIG. 6A, the object image 4a of the real image 9 and the object image 7a of the adjustment virtual image are shifted. Displayed and the size may be different. Therefore, when the calibration software is started, as shown in FIG. 6B, together with the mixed image, directional icons indicating four directions, that is, an upward icon 27U, a downward icon 27D, a rightward icon 27R, The left direction icons 27L are displayed, and by appropriately touching them, the virtual image for adjustment can be scrolled, and thus the object image 7a can be moved in the up, down, left, and right directions (this has been described with reference to FIG. 3). This means that the reference direction data of the virtual camera data in the database 15 is adjusted). In addition, a reduction icon 28R and an enlargement icon 28E are also displayed. By appropriately touching these icons, the virtual image and therefore the object image 7a can be reduced or enlarged (this is described with reference to FIG. 3). This means that the angle-of-view data of the virtual camera data in the database 15 is adjusted).
[0057]
Note that such scrolling of the adjusted virtual image on the display screen is performed by touching the direction icon 27 to adjust and change the reference direction data of the virtual camera data. This is realized by generating an adjustment virtual image in which the position of the object image 7a changes. Reduction and enlargement of the virtual image on the display screen are performed by touching the enlargement / reduction icon 28 in the same manner. As a result, the angle of view data of the virtual camera data is adjusted and changed, and an adjustment virtual image in which the size of the object image 7a changes as described above is generated for each change. It is.
[0058]
By performing such an operation, as shown in FIG. 6C, the real image and the adjustment virtual image can be matched.
[0059]
FIG. 7 is a diagram showing start and stop operations by the observer (end user) of the information display device shown in FIG. 4, where 29 is a start icon and 30 is a fingertip.
[0060]
The input unit 21 shown in FIG. 3 is provided on the liquid crystal monitor 13a. When, for example, a power button (not shown) of the input unit 21 in FIG. 4B is pressed, as shown in FIG. The startup icon 29 is displayed on the display screen of the liquid crystal monitor 13a. Touch keys such as icons on the display screen also constitute the input unit 21. When the start icon 29 is touch-operated with the fingertip 30, a setting screen as shown in FIG. 7B is displayed. When a touch operation for a predetermined setting is performed on this setting screen, and, for example, a decision button (not shown) provided at a predetermined position on the liquid crystal monitor 13a is pressed, the application software starts up and the video camera 1 starts operating, The composite image 12 as described with reference to FIG. 1 is displayed and can be used.
[0061]
When the information display device is stopped after use, as shown in FIG. 7C, by touching the four corners of the liquid crystal monitor 13a in order with the fingertip 30 (in any order), The application software stops. Thereafter, the power can be turned off by operating according to the instruction of the OS (Operating System).
[0062]
FIG. 8 is a diagram showing another embodiment of the information display method by the information display device shown in FIG. 3 and FIG.
[0063]
In this figure, this use example is used as a telescope provided at an observatory or the like overlooking a mountain range. Here, the information display device 31 including the video camera 1 and the liquid crystal monitor 13a as shown in FIG. 4 is housed in a housing so that an observer can look into and view the same as a telescope. It is.
[0064]
The synthesized image 32 captured by the video camera 1 is displayed on the liquid crystal monitor 13a (FIG. 4) of the information display device 31, and a desired mountain range is displayed on the synthesized image 32 via the video camera 1. Additional object image 8a composed of characters indicating the names of such mountainous places such as "mountain", "xx valley", and "xx pass" and an instruction line ₁ , 8a ₂ , 8a ₃ Are also synthesized and displayed. Thus, it is possible to know what a mountain and what a valley while looking at the mountain range without referring to a separately provided explanation board. Further, for example, when a mountain such as Mt. Fuji can be seen from the observatory, the additional object image 8a of the mountain such as Mt. ₄ Can be combined into the opposite side of the mountain range, and even if the weather is not good and Mt.Fuji is not visible, by turning the information display device 31 in that direction, you can enjoy the view of mountains such as Mt. Can be.
[0065]
When the viewing direction is changed by operating the information display device 31, the scene (real image) viewed on the information display device 31 is also changed, and accordingly, the additional object image 8a is changed. ₁ ~ 8a ₄ May also move off the screen 32 and become invisible, and another additional object image 8a may become visible.
[0066]
In this case, the virtual images including the additional objects 8a1 to 8a4 for forming the composite image 32 are also created based on the mountains in the real world captured by the video camera as described above.
[0067]
In this way, when an information display device is installed at a sightseeing spot or the like, objects that cannot be seen or introduction information are added as additional object information according to the weather, etc. Information (knowledge) and entertain tourists.
[0068]
FIG. 9 is a diagram showing still another embodiment of the information display method by the information display device shown in FIGS.
[0069]
In the drawing, this use example is such that, for example, in an elevator hall, the structure inside an elevator door can be seen. When the video camera 1 is turned in the direction of the door 33 of the elevator, the additional object image 34 representing the internal structure of the elevator on the side of the door 33 is fitted to the actual image in the hall and displayed on the liquid crystal monitor 13a. In other words, it is possible to know the internal structure of the elevator. By changing the shooting direction of the video camera 1 up and down, the internal structure of the upper part of the elevator and the internal structure of the lower part are displayed.
[0070]
From the same thing, for example, by using an image of a main internal structure of an airplane or a ship to be displayed as an additional object image, it is possible to know the internal structure while viewing the actual object through a video camera. Become.
[0071]
FIG. 10 is a diagram showing still another embodiment of the information display method by the information display device shown in FIGS.
[0072]
As shown in FIG. 10A, only the actual image from the video camera 1 is displayed on the liquid crystal monitor 13a. As shown in FIG. 10B, when the end user touches the object image 4a of interest with the fingertip 30 on the actual image, the object image 4a blinks to indicate that the object image 4a has been selected. As shown in (c), a message that describes or introduces this object 4a, for example, "This is a cube."
[0073]
In this case, the blinking object 4a (FIG. 10 (b)) and the balloon 35 are additional object images that are fitted and synthesized in the actual image. Processing for such display will be described.
[0074]
In this case, in FIG. 3, the data of the balloon 35 is stored in the databases 18 and 17 as CG data, character data, and the like. For the object 4, data of a blinking additional object in the virtual world is stored in the database as CG data, character data, or the like.
[0075]
As shown in FIG. 10B, when the user touches the object image 4a on the real screen displayed on the display screen 13a of the liquid crystal monitor, a virtual image of an additional object corresponding to the object image 4a is generated, and the virtual image of the additional image is generated. By performing the chroma key synthesis, the object image 4a of the real image is replaced with the additional object image of the virtual image. As a result, the image 4a of the object flashes and is displayed as shown in FIG. 10B. .
[0076]
When this display has elapsed for a predetermined time, a virtual image with the balloon 35 as an additional object is generated, and the balloon 35 is chromakey-combined with the real image. As a result, as shown in FIG. 10C, the balloon 35 representing the message of the object image 4a of the real image is inserted and synthesized, and the synthesized image is displayed. Thereafter, when a predetermined time elapses, the display returns to the original display state of the actual image shown in FIG.
[0077]
Such an information display method can be used, for example, for introducing products displayed in an exhibition hall or a window. In this case, the object 4a is a product, and by touching an image of a predetermined product on the liquid crystal monitor 13a, a balloon 35 indicating a product name, content, price, and the like introducing the product is displayed. By changing the direction of the video camera, the same can be done for other products. The introduction may be displayed by voice, or the explanation or introduction may be performed by the balloon 35 and the voice.
[0078]
【The invention's effect】
As described above, according to the present invention, when the shooting direction of the video camera is changed, the additional object image synthesized with the real image shot by the video camera is displayed on the synthesized image as an object in the real image. Since they move together, it is possible to obtain a composite image as if the video camera captured the real world including the additional object image created by the computer. For this reason, guidance in the real world photographed by the video camera and introduction and explanation of the object in the real world can be performed without providing means for such guidance, introduction and explanation in the real world.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of an information display method according to the present invention.
FIG. 2 is an explanatory diagram of chroma key image composition in FIG.
FIG. 3 is a block diagram showing a specific example of an information display device using the information display method according to the present invention.
4 is an external view of the information display device having the block configuration shown in FIG.
FIG. 5 is a diagram showing an embodiment of an information display method according to the present invention.
FIG. 6 is a diagram showing a specific example of an image adjusting method in the information display device shown in FIGS. 3 and 4.
FIG. 7 is a diagram showing a specific example of a start and stop operation in the information display device shown in FIGS. 3 and 4.
FIG. 8 is a diagram showing another embodiment of the information display method according to the present invention.
FIG. 9 is a diagram showing still another embodiment of the information display method according to the present invention.
FIG. 10 is a diagram showing still another embodiment of the information display method according to the present invention.
FIG. 11 is a diagram conceptually showing a conventional information display method.
[Explanation of symbols]
1 Video camera
2 Angle sensor
2a Vertical rotation angle sensor
2b Horizontal rotation angle sensor
4 Real world objects
4a Object image
5 virtual cameras
7 Objects in the virtual world
7a Object image
8 Additional objects
8a to 8c, 8a ₁ ~ 8a ₄ Additional object image
9 real images
10 virtual images
11 Real-time chroma key image synthesis unit
12 Composite image
13 Image display
13a LCD monitor
14 Real-time 3DCG generator
15 Virtual Camera Data Database
16 Animation Data Database
17 Character Data Database
18 CG data database
19 Lighting Data Database
20 Texture Data Database
22 handle
21 Input section
23 Support plate
24 PC for image generation
26a, 26b Additional object image
27U, 27R, 27D, 27L Up, down, left and right movement icon keys
28R, 28E Reduction and enlargement icons
29 Startup icon of application software
30 fingertips
31 Information display device
32 screens
33 Elevator Door
34 Additional object image
35 Callout Additional Object
36, 37 protrusion

Claims

An information display method for combining and displaying a real image by a video camera having a fixed installation position and an additional object image of a virtual image by a computer,
The shooting direction of the video camera is changed, and the composite image of the real image and the additional object image is changed while the display positional relationship between the object image in the real image and the additional object image is kept constant. An information display method, characterized in that:

In claim 1,
An angle sensor that detects a shooting direction of the video camera,
The information display method, wherein the computer changes a position of the additional object image in the virtual image according to angle information from the angle sensor.

In claim 1 or 2,
The information display method according to claim 1, wherein in the composite image, the additional object image is displayed such that the additional object exists in front of the object in the real image.

In claim 1 or 2,
The information display method according to claim 1, wherein in the composite image, the additional object image is displayed such that the additional object exists behind the object in the real image.

In claim 1 or 2,
The information display method, wherein the additional object image is an image for explaining or guiding the object displayed on the composite image.

In claim 5,
The information display method, wherein the additional object image is displayed by designating the object in the composite image.