JP2004227332A - Information display method - Google Patents
Information display method Download PDFInfo
- Publication number
- JP2004227332A JP2004227332A JP2003015040A JP2003015040A JP2004227332A JP 2004227332 A JP2004227332 A JP 2004227332A JP 2003015040 A JP2003015040 A JP 2003015040A JP 2003015040 A JP2003015040 A JP 2003015040A JP 2004227332 A JP2004227332 A JP 2004227332A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- real
- additional object
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、2つの画像を合成して表示する情報表示方法に係り、特に、現実に撮影して得られる画像(以下、実画像という)とコンピュータなどによって作成された仮想的な画像(以下、バーチャル画像という)とを合成して表示する情報表示方法に関する。
【0002】
【従来の技術】
従来、娯楽や広告,教育,インテリアなどに利用される情報表示方法として、ハーフミラーを利用して2つの画像を合成し、その合成画像を表示するようにした方法が知られている。
【0003】
図11はかかる情報表示方法を概念的に示す図であって、100はディスプレイ装置の筐体、101は透明なガラス窓、102はハーフミラー、103はオブジェクト、104はモニタである。
【0004】
同図において、筐体100には、その前面側に、その内部を覗けるように、ガラス窓101が張られている。また、筐体100の内部には、ガラス窓101側に傾斜したハーフミラー102とこれよりも奥側に配置された模型などのオブジェクト103が設けられており、ガラス窓101及びハーフミラー102を通してオブジェクト103を見ることができる。また、ハーフミラー102の下側には、モニタ104が設けられており、このモニタ104で所望付加オブジェクトの画像105が表示される。この表示画像105は、ハーフミラー102によってガラス窓101側に反射される。従って、観察者がガラス窓101から内部を覗くと、オブジェクト103の画像にモニタ104の表示画像105が合成された画像106を見ることができる。
【0005】
かかる情報表示方法に対し、さらに、この表示される合成画像をみる観客がディスプレイ装置に働き掛けて画像を変化させることができるようにした技術が提案されている(例えば、特許文献1参照)。
【0006】
これは、図11を用いて説明すると、筐体100を暗室とし、ガラス窓101を覗き窓とし、オブジェクト103を海底ジオラマとし、モニタ104の表示画像105をコンピュータからの魚が泳いでいる画像とするものである。これにより、覗き窓101からは、モニタ104の表示画像105が海底ジオラマ103と合成されて見ることができ、魚が海底を泳いでいるように見える。
【0007】
また、暗室100の覗き窓101側には、マイクロフォン(図示せず)が設けられており、観察者が手を叩くと、あるいは、魚の名前を呼ぶと、コンピュータ(図示せず)がこれを判断して所定の魚の画像をモニタ104に表示させる。これにより、観察者の働き掛けにより、表示させる画像を変えることができる。
【0008】
【特許文献1】
特開平10ー171424号公報
【0009】
【発明が解決しようとする課題】
ところで、上記特許文献1に記載の技術では、合成される2つの画像は、いずれもその情報内容が決まったものである。つまり、時々刻々変化する現実の世界(実世界)の画像を表わすものではない。このために、例えば、上記特許文献1に記載の技術のような海底での魚の泳いでいる状態を見せる場合とは異なり、地上での実世界の画像にバーチャル画像を合成して観察者に見せるとしても、決まった方向の実世界の様子だけでなく、違った方向の実世界がどのような様子であるか、これに対してバーチャル画像はどのようになるかといったことを観察者が知りたい場合もある。これを上記特許文献1に記載の技術に例えると、海底の違った方向では、海底がどのように状態になっていて、魚がどのように泳いでいるのかも、観察者としては、知りたいということに相当する。
【0010】
本発明の目的は、かかる要望に鑑みてなされたものであって、その目的は、ビデオカメラの撮影による実画像とバーチャル画像との合成画像を表示し、この合成画像で、実画像を変化させることができ、しかも、この実画像の変化とともに、バーチャル画像も変化させることができるようにした情報表示方法を提供することにある。
【0011】
【課題を解決するための手段】
上記目的を達成するために、本発明は、設置位置が固定されたビデオカメラによる実画像とコンピュータによるバーチャル画像の付加オブジェクト画像とを合成して表示する情報表示方法であって、ビデオカメラの撮影方向の変化とともに、実画像と付加オブジェクト画像との合成画像を、実画像でのオブジェクト画像と付加オブジェクト画像との表示位置関係を一定に保ちながら、変化させるものである。
【0012】
そして、ビデオカメラの撮影方向を角度情報として検出し、その角度情報に応じて、コンピュータがバーチャル画像における付加オブジェクト画像のを変化させるものである。
【0013】
また、合成画像では、付加オブジェクト画像が、付加オブジェクトが実画像でのオブジェクトの前方に存在するように、表示されるものである。
【0014】
あるいは、合成画像では、付加オブジェクト画像が、実画像でのオブジェクトの後方に付加オブジェクトが存在するように、表示されるものである。
【0015】
さらに、付加オブジェクト画像は、合成画像に表示されるオブジェクトの説明もしくは案内のための画像であるものである。
【0016】
そして、付加オブジェクト画像は、合成画像でのオブジェクトを指定することにより、表示されるものである。
【0017】
【発明の実施の形態】
以下、本発明の実施形態を図面を用いて説明する。
図1は本発明による情報表示方法の一実施形態を原理的に示す図であって、1はビデオカメラ、2は角度センサ、3は支柱、4はオブジェクト、5はバーチャルカメラ、6は角度制御手段、7はオブジェクト、8は合成データCG(Computer Graphics)データ、9は実世界画像、10はバーチャル画像、11はリアルタイムクロマキー画像合成器、12は合成画像である。
【0018】
同図において、ここでは、ビデオカメラ1の撮影対象とする実世界に対し、バーチャル(仮想)世界を想定する。このバーチャル世界は、実際には、コンピュータによる世界である。
【0019】
実世界では、固定した位置に設置されている支柱3に取り付けられたビデオカメラ1により、実世界の、即ち、現実のオブジェクト4を撮影する。これにより、ビデオカメラ1からは、オブジェクト4の画像(オブジェクト画像)4aからなる実画像9の映像信号が得られる。実世界としては、町中の様子でもよいし、風景であってもよいし、ショーウインドウの中や構内,店内であってもよいし、展示会であってもよく、いずれの場所でもよい。但し、ビデオカメラ1は、支柱3の上で一定の位置に固定されている。ビデオカメラ1は手動によってその撮影方向を変えることができ、その撮影方向が角度センサ2によって検知される。
【0020】
一方、バーチャル世界は、実世界でのオブジェクトと同一のオブジェクト7を含む実世界と同じ世界に特定のオブジェクト8が付加された構成の世界であって(このように付加されたオブジェクト8を、以下、付加オブジェクトという)、実世界でのビデオカメラ1の設置位置に相当するバーチャル世界での位置に設置されたバーチャルカメラ5によって撮影される。これにより、バーチャルカメラ1からは、オブジェクト7の画像(オブジェクト画像)7aと付加オブジェクト8の画像(付加オブジェクト画像)8aとからなるバーチャル像10の映像信号が得られる。
【0021】
このバーチャルカメラ5は、角度制御手段6によって撮影方向が可変であり、ビデオカメラ1の角度センサ2の検知出力である角度情報に応じて、角度制御手段6がバーチャルカメラ5の上下・左右方向の撮影方向が変化する。これにより、ビデオカメラ1の撮影方向を変化させると、これに応じてバーチャルカメラ5の撮影方向も変化し、常にビデオカメラ1の実世界での撮影方向に対応したバーチャルカメラ5のバーチャル世界での撮影方向が設定されることになり、同時刻でのビデオカメラ1による撮影画像(実画像)9とバーチャルカメラ5による撮影画像(バーチャル画像)10とが、付加オブジェクト8を除いて、同一である。つまり、バーチャル画像10は、実画像9に付加オブジェクト8の画像(付加オブジェクト画像)8aが付加されたものである。このように、バーチャルカメラ5は、実世界のビデオカメラ1と連動した方向の撮影を行なうものである。
【0022】
ビデオカメラ1からの実画像9とバーチャルカメラ5からのバーチャル画像10とはリアルタイムクロマキー画像合成器11に供給され、実画像9にバーチャル画像10の付加オブジェクト画像8aが合成された合成画像12が得られる。このため、バーチャル世界では、付加オブジェクト8以外が全て青色に着色されており、従って、バーチャル画像10でも、付加オブジェクト画像8a以外が全て青色をなしている。リアルタイムクロマキー画像合成器11では、このバーチャル画像10から青色部分を全て除いて付加オブジェクト画像8aのみを抽出し、実画像9に嵌め込み合成する。
【0023】
以上の方法によると、合成画像12においては、実画像9でのオブジェクト画像4aに対して、付加オブジェクト画像8aの位置を奥行き方向に設定することも可能である。これを図2により説明する。
【0024】
図2(a)は、バーチャル世界において、オブジェクト7の後方に人間としての付加オブジェクト8が位置している状態を示す。この場合には、付加オブジェクト8の一部がオブジェクト7によって遮られるため、バーチャルカメラ5で得られるバーチャル画像10では、付加オブジェクト画像8aの一部がオブジェクト画像7aによって遮られて表示されない。このため、リアルタイムクロマキー画像合成部11(図1)では、バーチャル画像10での付加オブジェクト画像8aの表示される部分のみが抽出されて実画像9に嵌め込み合成されるから、合成画像12では、付加オブジェクト8aの一部がオブジェクト画像4aに遮られたように表示されることになり、付加オブジェクト8がオブジェクト4の後ろに居るように見えることになる。
【0025】
これに対し、図2(b)は、バーチャル世界において、オブジェクト7の前に人間としての付加オブジェクト8が位置している状態を示す。この場合には、バーチャルカメラ5で得られるバーチャル画像10では、付加オブジェクト8全体がオブジェクト画像7aに遮られないで表示される。このため、リアルタイムクロマキー画像合成部11(図1)では、バーチャル画像10から付加オブジェクト画像8a全体が抽出されて実画像9に嵌め込み合成されることになり、合成画像12では、付加オブジェクト画像8a全体がオブジェクト画像4aに重なって表示されることになるから、付加オブジェクト8がオブジェクト4の前方に居るように見えることになる。
【0026】
このようにして、バーチャル世界での付加オブジェクト8のオブジェクト7に対する位置関係に応じて、この付加オブジェクト8が実世界でのオブジェクト4の前方にあったり、後方にあったりするように表示させることができる。つまり、三次元表示が可能となる。
【0027】
以上説明したバーチャル世界はコンピュータの世界であって、バーチャル画像10はコンピュータによって作成されるものであるが、次に、この実施形態を具体的に説明する。
【0028】
図3は図1に示した原理を基に情報表示を行なう情報表示装置の一具体例を示すブロック構成図であって、13は画像表示部、14はリアルタイム3DCG(3−Dimensional Computer Graphics:三次元コンピュータグラフィック)生成部、15はバーチャルカメラデータのデータベース、16はアニメデータのデータベース、17はキャラクタデータのデータベース、18はCG(Computer Graphics)データのデータベース、19は照明データのデータベース、20はテクスチャデータのデータベース、21は入力部であり、図1に対応する部分には同一符号を付けて重複する説明を省略する。
【0029】
同図において、リアルタイム3DCG生成部14は、図1に示したバーチャル画像10を生成するものであって、CPU14aやメモリ14b,グラフィックボード14c,ハードディスク14dなどを備えたPC(Personal Computer)であり、バーチャル画像10を形成するために必要なデータを格納したデータベース15〜20が設けられている。
【0030】
データベース15には、バーチャルカメラ5に関するデータ、即ち、画角や位置,基準方向,解像度などのバーチャルカメラデータが格納されている。これらのデータは調整可能である。画角データはバーチャルカメラ5の撮影範囲の大きさを規定するものであって、この画角を変化させることにより、ズーミングのように、バーチャル画像10でのオブジェクト画像7a,8aの大きさを変化させることができる。位置データは、実世界でのビデオカメラ1の設置位置に対応するように、バーチャル世界で設定されるバーチャルカメラ5の設置位置のデータである。基準方向データは、同様にして、実世界でのビデオカメラ1の基準となる撮影方向に対応する、バーチャル世界でのバーチャルカメラ5の基準となる撮影方向を規定するデータであって、調整可能である。実世界での基準方向は、例えば、地軸での真北方向としてもよいし、また、実世界での特定のオブジェクト4の特定の部分の方向としてもよい。バーチャル世界でも、これに合わせて基準方向を決める。角度センサ2は、この基準方向からの角度を示す角度情報を出力する。
【0031】
また、データベース16には、バーチャル世界での付加オブジェクト8の動きなどに関するアニメーションデータ(アニメデータ)が、データベース17には、バーチャル世界での付加オブジェクト8の表情などのキャラクタデータが、データベース18には、バーチャル世界でのオブジェクト7や付加オブジェクト8の各部の位置を表わす位置座標や形状を表わすCGデータが格納されている。このCGデータをもとに、バーチャル画像10でのオブジェクト画像7aや付加オブジェクト画像8aが作成される。また、データベース19には、付加オブジェクト8の明るさや影などを作成するための照明データが、データベース20には、付加オブジェクト8などの素地模様などのテクスチャデータが格納されている。これらアニメデータやキャラクタデータ,照明データ,テクスチャデータは、CGデータの各位置座標号に設定されている。
【0032】
なお、CGデータ18としては、付加オブジェクト8以外の部分に対しては、青色に着色するためのデータ(着色データ)も付加されており、この着色データにより、作成されたバーチャル画像10での付加オブジェクト画像8a以外の部分が着色されている。
【0033】
また、データベース16のアニメデータによると、例えば、合成画像12(図1)において、付加オブジェクト画像8aに指先でタッチして動かすことにより、この付加オブジェクト画像8aが移動するようにすることができる。この場合、この移動とともに、図2で説明したように、付加オブジェクト画像8aがオブジェクト画像7aの前になったり、後ろになったりするように表示させることができる。これは、かかるアニメデータにより、データベース18から読み出される付加オブジェクト画像8aのCGデータ(位置座標データ)を変換することにより、付加オブジェクト画像8aを移動させることができるものであり、例えば、オブジェクト画像7aに対する付加オブジェクト画像8aの移動方向に応じて、付加オブジェクト画像8aとオブジェクト画像7aとの重なり部分で付加オブジェクト画像8aとオブジェクト画像7aとのいずれか一方を全面に表示するようにすればよい。
【0034】
かかるデータベース15〜20の各データは、バーチャル画像10を作成したり、調整したりする作成者(以下、オペレータという)により、ビデオカメラ1で撮影される実世界をもとに作成されたものであって、AP(アプリケーションプログラム)を用いてリアルタイム3DCG生成部14に入力され、該当するデータベースに夫々格納される。例えば、データベース18のCGデータの場合、ビデオカメラ1で撮影される実世界全体の模型を作成し、その模型での各オブジェクトなどの各部のバーチャル世界における座標位置や形状を求め、これをAPを用いてリアルタイム3DCG生成部14に入力し、該当するデータベースに格納する。
【0035】
角度センサ2からビデオカメラ1の撮影方向に応じた角度情報が供給されると、データベース15からバーチャルカメラデータが読み出され、その角度情報とバーチャルカメラデータの基準方向データとからバーチャル世界でのバーチャルカメラ5の撮影方向が、実世界でのビテーオカメラ1の撮影方向に相当するように、設定される。そして、CPU14aがメモリ14bやグラフィックスボード14c,ハードディスク14dなどを用いて、データベース16〜20のデータをもとに、バーチャルカメラ5が撮影するバーチャル画像10を生成する。
【0036】
一例としては、角度情報とバーチャルカメラ5の基準方向データとからこのバーチャルカメラ5の撮影方向が決まると、画角データにより、このときのバーチャルカメラ5のバーチャル世界での撮影範囲(視野)がバーチャル世界の座標系内で決まることになる。この視野内のオブジェクト7や付加オブジェクト8の位置座標や青の着色データなどのCGデータをデータベース18から読み出して処理することにより、輪郭からなる付加オブジェクト画像8aと青色に着色されて輪郭で表わされるオブジェクト画像7aとこれら以外の青色に着色された部分(背景)とが形成され、データベース17,20のキャラクタデータ,テクスチャデータによって付加オブジェクト画像8aを色合いや模様,表情を表わす画像にし、データベース19の照明データにより、付加オブジェクト画像8aを所定の明るさの照明が与えられた画像とし、さらに、データベース16のアニメデータにより、付加オブジェクト8のオブジェクト7に対する位置を規定して、図2で示したような位置関係で付加オブジェクト画像8aが表示されるようにする。このような処理がなされて、バーチャル画像10が作成される。
【0037】
ところで、CGデータ18は、オブジェクト7や付加オブジェクト8の各点の位置座標データからなるが、この中からオブジェクト7や付加オブジェクト8でのバーチャルカメラ5の撮影範囲内の部分を読み出すことになるが、これは、例えば、次のように行なわれる。
【0038】
角度センサ2から角度情報が供給されると、これとバーチャルカメラデータ15の基準方向データと画角データとからバーチャル世界でのバーチャルカメラ5の撮影範囲が検出される。そして、データベース18から全てのCGデータ18を読み出してこの撮影範囲内の位置座標データを順次検出し、この検出した位置座標データに対するキャラクタデータ,照明データ,テクスチャデータ,アニメデータ,付加オブジェクト8以外についての着色データをデータベース17,19,20,16,18から読み出し、これらを処理してバーチャル画像10を作成する。
【0039】
角度センサ2から角度情報が供給される毎に、かかる動作が行なわれてバーチャル画像10が生成される。
【0040】
以上のように生成されてバーチャル画像10はメモリ14bでのフレームメモリ(図示せず)に格納され、これが繰り返し読み出されてバーチャル映像信号としてリアルタイムクロマキー画像合成部11に供給される。
【0041】
ビデオカメラ1からの実画像9の映像信号とリアルタイム3DCG生成部14からのバーチャル画像10の映像信号とはリアルタイムクロマキー画像合成部11に供給され、これらが図1で説明したようにしてクロマキー合成されて図1,図2に示すような合成画像12が形成され、この合成画像12が液晶モニタなどの画像表示部13に供給されて表示される。なお、この画像表示部13はビデオカメラ1側に設けられ、観察者がその表示画面を見ながらビデオカメラ1の操作ができるようにしている。
【0042】
以上のことからして、図1に示すような合成画像12では、ビデオカメラ1で撮影された実画像9に合成された付加オブジェクト画像8aが、このビデオカメラ1の撮影方向が変えられると、合成画像12上で、実画像でのオブジェクト画像4aと一緒になって移動するものであるから、コンピュータで作成されたこの付加オブジェクト画像8aも含む現実の世界をビデオカメラ1で撮影したような合成画像12を得ることができる。
【0043】
なお、入力部21で後述するように入力操作すると、データベース16のアニメデータにより、バーチャル画像10において、付加オブジェクト画像8aを変化されたり、この画面10上で現われたりすることができる。
【0044】
図4は図3に示した回路構成をなす情報表示装置の外観を示す図であって、同図(a)は上面図、同図(b)は背面図、同図(c)は側面図であり、2aは垂直回転角度センサ、2bは水平回転角度センサ、13aは図3における画像表示部13のモニタ(ここでは、液晶モニタとする)、22はハンドル、23は支持板、24はバーチャル画像生成用PC(Personal Computer)、25はプレートである。なお、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
【0045】
図4(a)〜(c)において、地面に固定されたプレート25に垂直に支柱3が取り付けられ、これに支持板23が支柱3の水平,垂直な軸に関して回動可能に取り付けられている。この支持板23の表面には、タッチパネルを備えた液晶モニタ13aが取り付けられており、この支持板23の上辺部にビデオカメラ1が取り付けられている。また、支持板23の下辺には、観察者(図示せず)が操作するハンドル22が設けられている。液晶モニタ13aの表示画面とビデオカメラ1とは互いに反対側を向いており、観察者は、液晶モニタ13aの表示画面側からハンドル22を持って操作することにより、液晶モニタ13aの表示画像を見ながら、ビデオカメラ1の向き(撮影方向)を変えることができる。
【0046】
ここで、ビデオカメラ1の水平回転動作角度の取り得る範囲は、図4(a)に示すように、ビデオカメラ1が正面を向いた状態からほぼ±135゜として示しているが、これに限らず、±180゜以内の任意の角度とすることができる。また、ビデオカメラ1の垂直回転動作角度の取り得る範囲は、図4(c)に示すように、ビデオカメラ1が水平方向を向いた状態からほぼ±45゜として示しているが、これに限らず、観察者が液晶モニタ13aの表示画像を見にくくならない程度の角度範囲とすることができる。観察者のハンドル22の操作により、これら水平回転動作角度及び垂直回転動作角度の可能な範囲で決まる上記撮影範囲で、ビデオカメラ1が撮影方向を変えて撮影することができる。この水平回転動作角度は角度センサ2の1つである水平回転角度センサ2bによって検出され、この垂直回転動作角度は角度センサ2の1つである垂直回転角度センサ2aによって検出される。また、これら角度センサ2a,2bには、上記の範囲を規定する角度制限機構が設けられている。
【0047】
なお、上記の基準方向がビデオカメラ1、従って、バーチャルカメラ5の撮影方向に含まれなくともよい。例えば、基準方向が真北である場合、ビデオカメラ1が南向きに設定されたときには、この基準方向はビデオカメラ1の撮影範囲からはずれることになる。
【0048】
図4(c)において、ビデオカメラ1と画像生成用PC24との間が、また、液晶モニタ13aと画像生成用PC24との間が夫々支柱3の中を介してケーブル(図示せず)で接続されている(なお、ケーブルによる有線の変わりに、無線としてもよい)。この画像生成用PC24は図3に示したリアルタイム3DCG生成部14や各データ15〜20を備えたものであるが、図3に示したリアルタイムクロマキー画像合成部11も備えている。
【0049】
そこで、ビデオカメラ1で得られた実画像データと角度センサ2からの角度情報は画像生成用PC24に送られる。画像生成用PC24では、先に説明したように、この角度情報を用いてこの実画像データに対応するバーチャル画像データが生成され、実画像にバーチャル画像の付加オブジェクト画像がクロマキー合成された合成画像が生成され、液晶モニタ13aに供給される。これにより、この合成画像が液晶モニタ13aに表示される。従って、観察者がハンドル22を操作してビデオカメラ1の向き(撮影方向)を変えるとともに、液晶モニタ13aでは、実画像も変化(移動)していき、また、この実画像に合成された付加オブジェクト画像も実画像とともに移動する。
【0050】
図5は本発明による情報表示方法の一実施形態である図4での液晶モニタ13aでの表示例を示すものであって、ここでは、情報表示装置を駅構内に設置した場合を示している。
【0051】
同図において、液晶モニタ13aには、ビデオカメラ1が撮影する駅構内の一部の実画像とこれに合成された2つの付加オブジェクト画像26a,26bが表示されている。ここでは、この情報表示装置が駅構内の案内装置として用いられるものとしている。付加オブジェクト画像26bは、例えば、8番線ホームの方向を示す矢印の画像であり、また、付加オブジェクト画像26aは、例えば、8番線ホームへの案内メッセージ「8番線はこちらの方向です」が吹き出しで表示される。
【0052】
ハンドル22を操作してビデオカメラ1の向きを変えると、これとともに液晶モニタ13aの表示画像(合成画像)もスクロール形式で変化し、他の方向での案内のための付加オブジェクト画像が現われる。
【0053】
図3で説明したようにして、情報表示装置を設置して使用する場合、実画像9とこれと同じバーチャル画像10とに表示のずれが生ずる場合がある。図6(a)はかかる表示のずれを模式的に示すものであって、このずれにより、実画像のオブジェクト像4aとバーチャル画像のオブジェクト像7aとが位置的にずれることになる。このようなずれがあると、図1に示すような合成画像12では、付加オブジェクト画像8aが適正な位置に表示されず、特に、実画像のオブジェクト画像4aの後ろ側にあるように表示される場合には、異常な状態で表示されることになるし、また、図5に示した案内表示の場合には、誤った方向に案内する内容となる。
【0054】
そこで、このような不具合を防止するために、使用に先立ち、オペレータによって実画像とバーチャル画像との表示位置関係の調整がなされる。その一具体例を図6により説明する。なお、符号は他の図面のものを参照している。
【0055】
図4に示す情報表示装置の設置状態で、まず、画像生成用PC24の電源を投入し、キャリブレーション(較正)ソフトを起動させると、画像生成用PC24は、ビデオカメラ1を起動させてその実画像と角度センサ2の角度情報とを取得し、この角度情報に応じた調整用のバーチャル画像を生成する。この調整用バーチャル画像は、オブジェクト画像7aを含むが、付加オブジェクト画像8aを含んでおらず、しかも、このオブジェクト画像7aは輪郭のみからなっている。かかる調整用バーチャル画像は上記のメモリ14a(図3)のフレームメモリに記憶されて繰り返し読み出される。この繰り返し読み出される調整用バーチャル画像は実画像と混合されて液晶モニタ13aもしくは画像生成用PC24の図示しないディスプレイに表示させる。
【0056】
実画像と調整用バーチャル画像とがずれているときには、これらの混合画像では、図6(a)に示すように、実画像9のオブジェクト像4aと調整用バーチャル画像のオブジェクト像7aとがずれて表示され、また、大きさも異なる場合がある。そこで、キャリブレーションソフトが起動したときには、図6(b)に示すように、かかる混合画像とともに、4方向夫々を示す方向アイコン、即ち、上方向アイコン27U,下方向アイコン27D,右方向アイコン27R,左方向アイコン27Lが表示されて、これらを適宜タッチ操作することにより、調整用バーチャル画像をスクロール、従って、オブジェクト画像7aを上下,左右方向に移動させることができる(これは、図3で説明したデータベース15でのバーチャルカメラデータの基準方向データを調整していることになる)。また、縮小アイコン28Rと拡大アイコン28Eも表示されており、これらを適宜タッチ操作することにより、バーチャル画像を、従って、オブジェクト画像7aを縮小,拡大させることができる(これは、図3で説明したデータベース15でのバーチャルカメラデータの画角データを調整していることになる)。
【0057】
なお、このような調整バーチャル画像の表示画面でのスクロールは、方向アイコン27をタッチ操作することによってバーチャルカメラデータの基準方向データが調整変更されることにより、その変更毎に、上記のようにしてオブジェクト画像7aの位置が変化する調整用バーチャル画像が生成されることによって実現されるものであり、バーチャル画像の表示画面での縮小,拡大は、同様にして、拡大・縮小アイコン28をタッチ操作することによってバーチャルカメラデータの画角データが調整変更されることにより、その変更毎に、上記のようにしてオブジェクト画像7aの大きさが変化する調整用バーチャル画像が生成されることによって実現されるものである。
【0058】
このような操作を行なうことにより、図6(c)に示すように、実画像と調整用バーチャル画像とを一致させることができる。
【0059】
図7は図4に示した情報表示装置の観察者(エンドユーザ)による起動,停止操作を示す図であり、29は起動アイコン、30は指先である。
【0060】
図3に示す入力部21が液晶モニタ13aに設けられており、図4(b)における、例えば、この入力部21の図示しない電源ボタンを押すと、図7(a)に示すように、この液晶モニタ13aの表示画面に起動アイコン29が表示される。この表示画面でのアイコンなどのタッチキーなども、この入力部21を構成する。この起動アイコン29を指先30でタッチ操作すると、図7(b)に示すような設定画面が表示される。この設定画面で所定の設定のためのタッチ操作を行ない、例えば、液晶モニタ13aの所定の位置に設けられた図示しない決定ボタンを押すと、アプリケーションソフトが起動してビデオカメラ1が作動開始し、図1で説明したような合成画像12が表示されて使用可能となる。
【0061】
また、使用し終わって情報表示装置を停止状態にする場合には、図7(c)に示すように、液晶モニタ13aの4隅を順番に指先30でタッチ操作すると(順序は問わない)、アプリケーションソフトが停止する。しかる後、OS(Operating System)の指示に従って操作することにより、電源をオフにすることができる。
【0062】
図8は図3及び図4に示す情報表示装置による情報表示方法の他の実施形態を示す図である。
【0063】
同図において、この利用例は、山並みを望む展望台などに備え付けられた望遠鏡として利用するものである。ここでは、図4に示すようなビデオカメラ1や液晶モニタ13aなどを備えた情報表示装置31を筐体内に収納し、望遠鏡と同様に、観察者が覗き込んで見ることができるようにしたものである。
【0064】
この情報表示装置31の液晶モニタ13a(図4)には、ビデオカメラ1が捕らえる合成画像32が表示され、これにビデオカメラ1を介して望まれる山並みが表示されるが、これとともに、「○○山」,「○○谷」,「○○峠」といったかかる山並みの各場所の名称を表わす文字と指示線とからなる付加オブジェクト画像8a1,8a2,8a3も合成されて表示される。これにより、別途設けられた説明板を参考にすることなく、山並みを見ながら何という山か、何という谷かを知ることができる。また、例えば、この展望台から富士山などの名が知られた山が望める場合には、この富士山などの山の付加オブジェクト画像8a4を山並みの向う側に嵌め込み合成することができ、天候が良くなくて富士山が見えなくとも、その方向に情報表示装置31を向けることにより、天候が良いときの富士山などの山が見える景色を楽しむことができる。
【0065】
情報表示装置31を操作して見る方向を変えると、これとともに、情報表示装置31で見える景色(実画像)も変化し、これとともに、付加オブジェクト画像8a1〜8a4も移動し、画面32から外れて見えなくなるものもあるし、また、別の付加オブジェクト画像8aが見えるようになる。
【0066】
この場合の合成画像32を形成するための付加オブジェクト8a1〜8a4を含むバーチャル画像も、上記のように、ビデオカメラで撮影する実世界の山並みをもとに作成される。
【0067】
このようにして、観光地などに情報表示装置を設置する場合には、天候などに応じて見えなくなるものや紹介情報などを付加オブジェクト情報として付加しておくことにより、単に眺めただけのもの以上の情報(知識)が得られるし、観光客を楽しませることができる。
【0068】
図9は図3及び図4に示す情報表示装置による情報表示方法のさらに他の実施形態を示す図である。
【0069】
同図において、この利用例は、例えば、エレベータホールにおいて、エレベータのドアの内側の構造を見ることができるようにしたものである。エレベータのドア33の方向にビデオカメラ1を向けると、液晶モニタ13aには、ホール内の実画像にドア33の向う側のエレベータの内部構造を表わした付加オブジェクト画像34が嵌め込み合成されて表示されることになり、エレベータの内部構造を知ることができる。ビデオカメラ1の撮影方向を上下に変えることにより、エレベータの上の部分の内部構造や下の部分の内部構造が表示されることになる。
【0070】
同様のことから、例えば、展示される飛行機や船舶などでの主要な内部構造の画像を付加オブジェクト画像として用いることにより、ビデオカメラを通してかかる実物を見ながらにして内部構造を知ることができるようになる。
【0071】
図10は図3及び図4に示す情報表示装置による情報表示方法のさらに他の実施形態を示す図である。
【0072】
図10(a)に示すように、液晶モニタ13aには、ビデオカメラ1からの実画像のみが表示されている。かかる実画像で、図10(b)に示すように、エンドユーザが興味あるオブジェクト画像4aに指先30でタッチすると、このオブジェクト画像4aが点滅して選択されたことを表示され、次いで、図10(c)に示すように、このオブジェクト4aを説明もしくは紹介した、例えば、「これは立方体です。」といったようなメッセージが吹き出し35で表示される。
【0073】
この場合、点滅するときのオブジェクト4a(図10(b))や吹き出し35が実画像に嵌め込み合成された付加オブジェクト画像であるが、かかる表示のための処理について説明する。
【0074】
この場合には、図3において、吹き出し35のデータがCGデータ,キャラクタデータなどとしてデータベース18,17に記憶されている。また、オブジェクト4に対し、バーチャル世界での点滅する付加オブジェクトのデータがCGデータやキャラクタデータなどとしてデータベースに記憶されている。
【0075】
図10(b)に示すように、液晶モニタの表示画面13aに表示される実画面のオブジェクト画像4aをタッチすると、このオブジェクト画像4aに対する付加オブジェクトのバーチャル画像が生成され、これと実画像とがクロマキー合成されることにより、実画像のオブジェクト画像4aがバーチャル画像の付加オブジェクト画像と入れ替わり、これにより、図10(b)に示すように、オブジェクトが像4aが点滅して表示されることになる。
【0076】
この表示が所定時間経過すると、次いで、吹き出し35を付加オブジェクトとするバーチャル画像が生成され、この吹き出し35が実画像にクロマキー合成される。これにより、図10(c)に示すように、実画像のオブジェクト画像4aのメッセージを表わす吹き出し35が嵌め込み合成されて合成画像が表示されることになる。その後、所定時間が経過すると、もとの図10(a)に示す実画像の表示状態に戻る。
【0077】
かかる情報表示方法は、例えば、展示場やウィンドウ内に陳列される商品の紹介などに用いることができる。この場合には、オブジェクト4aが商品ということになり、液晶モニタ13aで所定の商品の画像をタッチすることにより、その商品を紹介する商品名や内容,価格などを表わす吹き出し35が表示される。ビデオカメラの向きを変えることにより、他の商品についても同様のことをすることができる。なお、音声で紹介を表示するようにしてもよいし、吹き出し35と音声とによって説明もしくは紹介するようにしてもよい。
【0078】
【発明の効果】
以上説明したように、本発明によると、ビデオカメラで撮影された実画像に合成された付加オブジェクト画像が、このビデオカメラの撮影方向が変えられると、合成画像上で、実画像でのオブジェクトと一緒になって移動するものであるから、コンピュータで作成された該付加オブジェクト画像も含む現実の世界をビデオカメラで撮影したような合成画像を得ることができる。このため、ビデオカメラで撮影される実世界の案内や実世界でのオブジェクトの紹介,説明などを、実世界でかかる案内や紹介,説明などのための手段を設けることなく、行なうことができる。
【図面の簡単な説明】
【図1】本発明による情報表示方法の原理を説明する図である。
【図2】図1におけるクロマキー画像合成の説明図である。
【図3】本発明による情報表示方法を用いた情報表示装置の一具体例を示すブロック構成図である。
【図4】図3に示すブロック構成の情報表示装置の外観図である。
【図5】本発明による情報表示方法の一実施形態を示す図である。
【図6】図3及び図4に示した情報表示装置での画像調整方法の一具体例を示す図である。
【図7】図3及び図4に示した情報表示装置での起動及び停止操作の一具体例を示す図である。
【図8】本発明による情報表示方法の他の実施形態を示す図である。
【図9】本発明による情報表示方法のさらに他の実施形態を示す図である。
【図10】本発明による情報表示方法のさらに他の実施形態を示す図である。
【図11】従来の情報表示方法を概念的に示す図である。
【符号の説明】
1 ビデオカメラ
2 角度センサ
2a 垂直回転角度センサ
2b 水平回転角度センサ
4 実世界のオブジェクト
4a オブジェクト画像
5 バーチャルカメラ
7 バーチャル世界のオブジェクト
7a オブジェクト画像
8 付加オブジェクト
8a〜8c,8a1〜8a4 付加オブジェクト画像
9 実画像
10 バーチャル画像
11 リアルタイムクロマキー画像合成部
12 合成画像
13 画像表示部
13a 液晶モニタ
14 リアルタイム3DCG生成部
15 バーチャルカメラデータのデータベース
16 アニメデータのデータベース
17 キャラクタデータのデータベース
18 CGデータのデータベース
19 照明データのデータベース
20 テクスチャデータのデータベース
22 ハンドル
21 入力部
23 支持板
24 画像生成用PC
26a,26b 付加オブジェクト画像
27U,27R,27D,27L 上下,左右方向の移動アイコンキー
28R,28E 縮小,拡大のアイコン
29 アプリケーションソフトの起動アイコン
30 指先
31 情報表示装置
32 画面
33 エレベータのドア
34 付加オブジェクト画像
35 吹き出しの付加オブジェクト
36,37 突起部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information display method for combining and displaying two images, and in particular, to an image obtained by actually photographing (hereinafter, referred to as a real image) and a virtual image (hereinafter, referred to as a real image) created by a computer or the like. And a virtual image).
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a method of displaying information used for entertainment, advertisement, education, interior decoration, and the like, a method of combining two images using a half mirror and displaying the combined image is known.
[0003]
FIG. 11 is a diagram conceptually showing such an information display method. 100 is a housing of a display device, 101 is a transparent glass window, 102 is a half mirror, 103 is an object, and 104 is a monitor.
[0004]
In the figure, a
[0005]
In addition to such an information display method, a technique has been proposed in which a viewer who looks at the displayed composite image can work on the display device to change the image (for example, see Patent Document 1).
[0006]
This will be described with reference to FIG. 11. The
[0007]
Further, a microphone (not shown) is provided on the side of the
[0008]
[Patent Document 1]
JP-A-10-171424
[0009]
[Problems to be solved by the invention]
By the way, according to the technology described in Patent Document 1, the information content of each of the two images to be synthesized is determined. That is, it does not represent an image of the real world (real world) that changes every moment. For this reason, for example, unlike the case of showing the state of fish swimming on the seabed as in the technique described in Patent Document 1, a virtual image is combined with a real-world image on the ground and shown to an observer. Observers want to know not only what the real world looks like in a certain direction, but what the real world looks like in a different direction, and what the virtual image will look like. In some cases. If this is compared to the technology described in Patent Document 1, as an observer, he wants to know how the seabed is in a different direction on the seabed and how the fish are swimming. This is equivalent to:
[0010]
An object of the present invention has been made in view of such a demand, and an object of the present invention is to display a composite image of a real image and a virtual image captured by a video camera, and change the real image with the composite image. Another object of the present invention is to provide an information display method capable of changing a virtual image together with the change of the real image.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an information display method for combining and displaying a real image by a video camera having a fixed installation position and an additional object image of a virtual image by a computer. Along with the change in the direction, the composite image of the real image and the additional object image is changed while keeping the display positional relationship between the object image and the additional object image in the real image constant.
[0012]
Then, the imaging direction of the video camera is detected as angle information, and the computer changes the additional object image in the virtual image according to the angle information.
[0013]
In the composite image, the additional object image is displayed such that the additional object exists in front of the object in the real image.
[0014]
Alternatively, in the composite image, the additional object image is displayed such that the additional object exists behind the object in the real image.
[0015]
Further, the additional object image is an image for explaining or guiding an object displayed in the composite image.
[0016]
The additional object image is displayed by specifying an object in the composite image.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing in principle one embodiment of an information display method according to the present invention, wherein 1 is a video camera, 2 is an angle sensor, 3 is a column, 4 is an object, 5 is a virtual camera, and 6 is angle control. Means, 7 is an object, 8 is synthetic data CG (Computer Graphics) data, 9 is a real world image, 10 is a virtual image, 11 is a real-time chroma key image synthesizer, and 12 is a synthetic image.
[0018]
In this figure, a virtual (virtual) world is assumed for the real world to be photographed by the video camera 1. This virtual world is actually a computer world.
[0019]
In the real world, a video camera 1 attached to a
[0020]
On the other hand, the virtual world is a world in which a
[0021]
The shooting direction of the virtual camera 5 is variable by the angle control means 6, and the angle control means 6 moves the virtual camera 5 in the vertical and horizontal directions according to the angle information which is the detection output of the
[0022]
The real image 9 from the video camera 1 and the
[0023]
According to the above method, in the
[0024]
FIG. 2A shows a state where the
[0025]
On the other hand, FIG. 2B shows a state in which an
[0026]
In this way, depending on the positional relationship of the
[0027]
The virtual world described above is the world of a computer, and the
[0028]
FIG. 3 is a block diagram showing a specific example of an information display device for displaying information based on the principle shown in FIG. 1, wherein
[0029]
In FIG. 1, a real-time
[0030]
The
[0031]
The
[0032]
As the
[0033]
Further, according to the animation data of the
[0034]
Each data in the
[0035]
When angle information corresponding to the shooting direction of the video camera 1 is supplied from the
[0036]
For example, when the shooting direction of the virtual camera 5 is determined from the angle information and the reference direction data of the virtual camera 5, the shooting range (field of view) of the virtual camera 5 in the virtual world at this time is virtually determined by the angle-of-view data. It will be determined in the world coordinate system. By reading and processing the CG data such as the position coordinates of the
[0037]
By the way, the
[0038]
When the angle information is supplied from the
[0039]
Each time angle information is supplied from the
[0040]
The
[0041]
The video signal of the real image 9 from the video camera 1 and the video signal of the
[0042]
From the above, in the
[0043]
When an input operation is performed on the
[0044]
4A and 4B are views showing the appearance of the information display device having the circuit configuration shown in FIG. 3, wherein FIG. 4A is a top view, FIG. 4B is a rear view, and FIG. 2a is a vertical rotation angle sensor, 2b is a horizontal rotation angle sensor, 13a is a monitor of the
[0045]
4 (a) to 4 (c), a
[0046]
Here, as shown in FIG. 4A, the range in which the horizontal rotation operation angle of the video camera 1 can take is shown as approximately ± 135 ° from the state in which the video camera 1 faces the front, but is not limited to this. Instead, the angle may be any angle within ± 180 °. Also, as shown in FIG. 4C, the range in which the video camera 1 can take the vertical rotation operation angle is shown as approximately ± 45 ° from the state in which the video camera 1 is oriented horizontally, but is not limited to this. Instead, the angle range can be set so that the observer does not have difficulty viewing the display image on the
[0047]
Note that the above-described reference direction does not need to be included in the shooting direction of the video camera 1 and thus the virtual camera 5. For example, when the reference direction is true north and the video camera 1 is set to the south, the reference direction deviates from the shooting range of the video camera 1.
[0048]
In FIG. 4C, the video camera 1 and the
[0049]
Then, the actual image data obtained by the video camera 1 and the angle information from the
[0050]
FIG. 5 shows a display example on the
[0051]
In the figure, a
[0052]
When the direction of the video camera 1 is changed by operating the
[0053]
As described with reference to FIG. 3, when the information display device is installed and used, a display shift may occur between the real image 9 and the same
[0054]
Therefore, in order to prevent such a problem, prior to use, the operator adjusts the display positional relationship between the real image and the virtual image. One specific example will be described with reference to FIG. The reference numerals refer to those in other drawings.
[0055]
In the installation state of the information display device shown in FIG. 4, first, the power supply of the
[0056]
When the real image and the adjustment virtual image are shifted, in these mixed images, as shown in FIG. 6A, the
[0057]
Note that such scrolling of the adjusted virtual image on the display screen is performed by touching the direction icon 27 to adjust and change the reference direction data of the virtual camera data. This is realized by generating an adjustment virtual image in which the position of the
[0058]
By performing such an operation, as shown in FIG. 6C, the real image and the adjustment virtual image can be matched.
[0059]
FIG. 7 is a diagram showing start and stop operations by the observer (end user) of the information display device shown in FIG. 4, where 29 is a start icon and 30 is a fingertip.
[0060]
The
[0061]
When the information display device is stopped after use, as shown in FIG. 7C, by touching the four corners of the
[0062]
FIG. 8 is a diagram showing another embodiment of the information display method by the information display device shown in FIG. 3 and FIG.
[0063]
In this figure, this use example is used as a telescope provided at an observatory or the like overlooking a mountain range. Here, the
[0064]
The
[0065]
When the viewing direction is changed by operating the
[0066]
In this case, the virtual images including the additional objects 8a1 to 8a4 for forming the
[0067]
In this way, when an information display device is installed at a sightseeing spot or the like, objects that cannot be seen or introduction information are added as additional object information according to the weather, etc. Information (knowledge) and entertain tourists.
[0068]
FIG. 9 is a diagram showing still another embodiment of the information display method by the information display device shown in FIGS.
[0069]
In the drawing, this use example is such that, for example, in an elevator hall, the structure inside an elevator door can be seen. When the video camera 1 is turned in the direction of the
[0070]
From the same thing, for example, by using an image of a main internal structure of an airplane or a ship to be displayed as an additional object image, it is possible to know the internal structure while viewing the actual object through a video camera. Become.
[0071]
FIG. 10 is a diagram showing still another embodiment of the information display method by the information display device shown in FIGS.
[0072]
As shown in FIG. 10A, only the actual image from the video camera 1 is displayed on the
[0073]
In this case, the blinking
[0074]
In this case, in FIG. 3, the data of the
[0075]
As shown in FIG. 10B, when the user touches the
[0076]
When this display has elapsed for a predetermined time, a virtual image with the
[0077]
Such an information display method can be used, for example, for introducing products displayed in an exhibition hall or a window. In this case, the
[0078]
【The invention's effect】
As described above, according to the present invention, when the shooting direction of the video camera is changed, the additional object image synthesized with the real image shot by the video camera is displayed on the synthesized image as an object in the real image. Since they move together, it is possible to obtain a composite image as if the video camera captured the real world including the additional object image created by the computer. For this reason, guidance in the real world photographed by the video camera and introduction and explanation of the object in the real world can be performed without providing means for such guidance, introduction and explanation in the real world.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of an information display method according to the present invention.
FIG. 2 is an explanatory diagram of chroma key image composition in FIG.
FIG. 3 is a block diagram showing a specific example of an information display device using the information display method according to the present invention.
4 is an external view of the information display device having the block configuration shown in FIG.
FIG. 5 is a diagram showing an embodiment of an information display method according to the present invention.
FIG. 6 is a diagram showing a specific example of an image adjusting method in the information display device shown in FIGS. 3 and 4.
FIG. 7 is a diagram showing a specific example of a start and stop operation in the information display device shown in FIGS. 3 and 4.
FIG. 8 is a diagram showing another embodiment of the information display method according to the present invention.
FIG. 9 is a diagram showing still another embodiment of the information display method according to the present invention.
FIG. 10 is a diagram showing still another embodiment of the information display method according to the present invention.
FIG. 11 is a diagram conceptually showing a conventional information display method.
[Explanation of symbols]
1 Video camera
2 Angle sensor
2a Vertical rotation angle sensor
2b Horizontal rotation angle sensor
4 Real world objects
4a Object image
5 virtual cameras
7 Objects in the virtual world
7a Object image
8 Additional objects
8a to 8c, 8a 1 ~ 8a 4 Additional object image
9 real images
10 virtual images
11 Real-time chroma key image synthesis unit
12 Composite image
13 Image display
13a LCD monitor
14 Real-time 3DCG generator
15 Virtual Camera Data Database
16 Animation Data Database
17 Character Data Database
18 CG data database
19 Lighting Data Database
20 Texture Data Database
22 handle
21 Input section
23 Support plate
24 PC for image generation
26a, 26b Additional object image
27U, 27R, 27D, 27L Up, down, left and right movement icon keys
28R, 28E Reduction and enlargement icons
29 Startup icon of application software
30 fingertips
31 Information display device
32 screens
33 Elevator Door
34 Additional object image
35 Callout Additional Object
36, 37 protrusion
Claims (6)
該ビデオカメラの撮影方向を変化させるとともに、該実画像と該付加オブジェクト画像との合成画像を、該実画像でのオブジェクト画像と該付加オブジェクト画像との表示位置関係を一定に保ちながら、変化させることを特徴とする情報表示方法。An information display method for combining and displaying a real image by a video camera having a fixed installation position and an additional object image of a virtual image by a computer,
The shooting direction of the video camera is changed, and the composite image of the real image and the additional object image is changed while the display positional relationship between the object image in the real image and the additional object image is kept constant. An information display method, characterized in that:
前記ビデオカメラの撮影方向を検出する角度センサを備え、
前記コンピュータは、該角度センサからの角度情報に応じて、前記バーチャル画像における前記付加オブジェクト画像の位置を変化させることを特徴とする情報表示方法。In claim 1,
An angle sensor that detects a shooting direction of the video camera,
The information display method, wherein the computer changes a position of the additional object image in the virtual image according to angle information from the angle sensor.
前記合成画像では、前記付加オブジェクト画像は、付加オブジェクトが前記実画像での前記オブジェクトの前方に存在するように、表示されることを特徴とする情報表示方法。In claim 1 or 2,
The information display method according to claim 1, wherein in the composite image, the additional object image is displayed such that the additional object exists in front of the object in the real image.
前記合成画像では、前記付加オブジェクト画像は、前記実画像での前記オブジェクトの後方に付加オブジェクトが存在するように、表示されることを特徴とする情報表示方法。In claim 1 or 2,
The information display method according to claim 1, wherein in the composite image, the additional object image is displayed such that the additional object exists behind the object in the real image.
前記付加オブジェクト画像は、前記合成画像に表示される前記オブジェクトの説明もしくは案内のための画像であることを特徴とする情報表示方法。In claim 1 or 2,
The information display method, wherein the additional object image is an image for explaining or guiding the object displayed on the composite image.
前記付加オブジェクト画像は、前記合成画像での前記オブジェクトを指定することにより、表示されることを特徴とする情報表示方法。In claim 5,
The information display method, wherein the additional object image is displayed by designating the object in the composite image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003015040A JP2004227332A (en) | 2003-01-23 | 2003-01-23 | Information display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003015040A JP2004227332A (en) | 2003-01-23 | 2003-01-23 | Information display method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004227332A true JP2004227332A (en) | 2004-08-12 |
Family
ID=32902909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003015040A Pending JP2004227332A (en) | 2003-01-23 | 2003-01-23 | Information display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004227332A (en) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007052484A (en) * | 2005-08-15 | 2007-03-01 | Dainippon Printing Co Ltd | Image processor, image processing method, program for image processing, and information recording medium |
KR100755187B1 (en) * | 2006-02-23 | 2007-09-03 | 주식회사 엔씨소프트 | Digital apparatus capable of displaying imaginary object on real image and method thereof |
JP2008046687A (en) * | 2006-08-10 | 2008-02-28 | Canon Inc | Photographic environment calibration method and information processor |
JP2010238096A (en) * | 2009-03-31 | 2010-10-21 | Ntt Docomo Inc | Terminal device, augmented reality system and terminal screen display method |
JP2012068481A (en) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | Augmented reality expression system and method |
JP2012174218A (en) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | Image composition method |
JP2012174219A (en) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | Image composition method |
JPWO2011093031A1 (en) * | 2010-02-01 | 2013-05-30 | 日本電気株式会社 | Mobile terminal, action history description method, and action history description system |
JP2013214823A (en) * | 2012-03-30 | 2013-10-17 | Jvc Kenwood Corp | Imaging device and image processing method |
KR101613778B1 (en) | 2014-01-15 | 2016-04-19 | (주)디스트릭트홀딩스 | Service system and service method for live music dedio |
JP2017102269A (en) * | 2015-12-02 | 2017-06-08 | セイコーエプソン株式会社 | Head mounted display device and computer program |
JP2018014579A (en) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | Camera tracking device and method |
CN107814284A (en) * | 2016-09-12 | 2018-03-20 | 株式会社日立大厦系统 | The elevator car position confirming system of elevator |
WO2018207285A1 (en) * | 2017-05-10 | 2018-11-15 | 三菱電機株式会社 | Design presentation device and design presentation program for elevator |
CN110290291A (en) * | 2019-07-05 | 2019-09-27 | 北京乐元素文化发展有限公司 | Picture synthesis method and device and interactive approach |
JP2020534724A (en) * | 2018-01-15 | 2020-11-26 | 深▲セン▼市奥拓▲電▼子股▲フン▼有限公司 | Virtual image processing method, image processing system and storage medium |
JP2021532649A (en) * | 2018-07-27 | 2021-11-25 | カール・ツアイス・アーゲー | Methods and data processing systems for image composition |
-
2003
- 2003-01-23 JP JP2003015040A patent/JP2004227332A/en active Pending
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007052484A (en) * | 2005-08-15 | 2007-03-01 | Dainippon Printing Co Ltd | Image processor, image processing method, program for image processing, and information recording medium |
KR100755187B1 (en) * | 2006-02-23 | 2007-09-03 | 주식회사 엔씨소프트 | Digital apparatus capable of displaying imaginary object on real image and method thereof |
JP2008046687A (en) * | 2006-08-10 | 2008-02-28 | Canon Inc | Photographic environment calibration method and information processor |
JP4757142B2 (en) * | 2006-08-10 | 2011-08-24 | キヤノン株式会社 | Imaging environment calibration method and information processing apparatus |
JP2010238096A (en) * | 2009-03-31 | 2010-10-21 | Ntt Docomo Inc | Terminal device, augmented reality system and terminal screen display method |
JPWO2011093031A1 (en) * | 2010-02-01 | 2013-05-30 | 日本電気株式会社 | Mobile terminal, action history description method, and action history description system |
JP2012068481A (en) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | Augmented reality expression system and method |
JP2012174218A (en) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | Image composition method |
JP2012174219A (en) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | Image composition method |
JP2013214823A (en) * | 2012-03-30 | 2013-10-17 | Jvc Kenwood Corp | Imaging device and image processing method |
KR101613778B1 (en) | 2014-01-15 | 2016-04-19 | (주)디스트릭트홀딩스 | Service system and service method for live music dedio |
JP2017102269A (en) * | 2015-12-02 | 2017-06-08 | セイコーエプソン株式会社 | Head mounted display device and computer program |
JP2018014579A (en) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | Camera tracking device and method |
CN107814284A (en) * | 2016-09-12 | 2018-03-20 | 株式会社日立大厦系统 | The elevator car position confirming system of elevator |
JP2018043803A (en) * | 2016-09-12 | 2018-03-22 | 株式会社日立ビルシステム | Elevator car position confirmation system |
WO2018207285A1 (en) * | 2017-05-10 | 2018-11-15 | 三菱電機株式会社 | Design presentation device and design presentation program for elevator |
JPWO2018207285A1 (en) * | 2017-05-10 | 2019-11-07 | 三菱電機株式会社 | Elevator design presentation device and design presentation program |
JP2020534724A (en) * | 2018-01-15 | 2020-11-26 | 深▲セン▼市奥拓▲電▼子股▲フン▼有限公司 | Virtual image processing method, image processing system and storage medium |
US11354816B2 (en) | 2018-01-15 | 2022-06-07 | Shenzhen Aoto Electronics Co., Ltd. | Virtual image processing method, image processing system, and storage medium |
JP2021532649A (en) * | 2018-07-27 | 2021-11-25 | カール・ツアイス・アーゲー | Methods and data processing systems for image composition |
JP7489960B2 (en) | 2018-07-27 | 2024-05-24 | カール・ツアイス・アーゲー | Method and data processing system for image synthesis - Patents.com |
US12008708B2 (en) | 2018-07-27 | 2024-06-11 | Carl Zeiss Ag | Method and data processing system for creating or adapting individual images based on properties of a light ray within a lens |
CN110290291A (en) * | 2019-07-05 | 2019-09-27 | 北京乐元素文化发展有限公司 | Picture synthesis method and device and interactive approach |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110382066B (en) | Mixed reality observer system and method | |
JP2004227332A (en) | Information display method | |
EP0677187B1 (en) | Improved method and apparatus for creating virtual worlds | |
US6633304B2 (en) | Mixed reality presentation apparatus and control method thereof | |
US10963140B2 (en) | Augmented reality experience creation via tapping virtual surfaces in augmented reality | |
US8094120B2 (en) | System and method for operating in virtual 3D space and system for selecting an operation via a visualizing system | |
JP5898842B2 (en) | Portable information processing device, portable game device | |
CN107851299B (en) | Information processing apparatus, information processing method, and program | |
KR100795552B1 (en) | 3D Virtual Studio Using VIDEO Texturing | |
JP2019510321A (en) | Virtual reality pass-through camera user interface elements | |
JP2007042073A (en) | Video presentation system, video presentation method, program for causing computer to execute video presentation method and storage medium | |
KR20160103897A (en) | System for augmented reality image display and method for augmented reality image display | |
JP2003264740A (en) | Observation scope | |
JP2019139673A (en) | Information processing apparatus, information processing method, and computer program | |
KR102358997B1 (en) | The service platform for multi-user supporting extended reality experience | |
Hoberman et al. | Immersive training games for smartphone-based head mounted displays | |
WO2005124450A1 (en) | Exhibition system | |
JP5083697B2 (en) | Image display device, input device, and image display method | |
JP2006221550A (en) | Method of interface, system, program, and recording medium | |
JPH06118927A (en) | Secrecy keeping device for visual information | |
CN216411876U (en) | Intelligent home scene and hardware equipment display device | |
CN114185279A (en) | Intelligent household scene and hardware equipment display device and display method thereof | |
JPH05143710A (en) | Synthesized moving image display device | |
Liarokapis et al. | Design experiences of multimodal mixed reality interfaces | |
CN113614675A (en) | Head-mounted information processing device and head-mounted display system |