JP2004139231A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2004139231A JP2004139231A JP2002301651A JP2002301651A JP2004139231A JP 2004139231 A JP2004139231 A JP 2004139231A JP 2002301651 A JP2002301651 A JP 2002301651A JP 2002301651 A JP2002301651 A JP 2002301651A JP 2004139231 A JP2004139231 A JP 2004139231A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mixed reality
- reality space
- image processing
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】グラフィックカード130は仮想空間の状態を示すデータと、HDD123からメモリ122にロードされた3DCGのデータ、ビデオカメラ140の位置姿勢を示すデータとを用いて、ビデオカメラ140の位置姿勢に従った仮想空間画像をメモリ122上に描画する。続いてビデオカメラ140によって撮像された現実空間画像を取得する。グラフィックカード130は取得された現実空間画像をメモリ122上に描画された仮想空間画像に重畳し、メモリ122上に複合現実空間画像を生成した後、モニタ150に出力する。シャッター160が押下された場合、この時点でメモリ122上に描画された複合現実空間画像をメモリ122上の複合現実空間画像をプリンタ170に出力し、紙やOHPなどの記録媒体上に複合現実空間画像をプリントする。
【選択図】 図2
Description
【発明の属する技術分野】
本発明は、現実空間の画像と仮想空間の画像とを重畳した複合現実空間画像を生成する画像処理装置、画像処理方法に関するものである。
【0002】
【従来の技術】
静止画や動画が撮像可能なカメラなどの撮像装置を用いて撮像した現実空間の画像に、コンピュータ内で生成された仮想物体の画像を重畳することで、複合現実空間の画像を生成することができる。そしてこの画像を表示装置の表示画面上に表示させることで、ユーザに提示することができる。
【0003】
また、ユーザが上記複合現実空間の画像を何らかの形で取得したい場合、従来では上記表示画面を更にカメラなどの撮像装置を用いて撮影し、電子データやフィルムに焼き付けることで、この画面に表示されている画像を取得してていた。
【0004】
【発明が解決しようとする課題】
しかし、上記方法では、表示装置に表示されている画像を撮影するために、得られる画像の画質が悪い上に、画像内に表示装置自体が含まれてしまうこともあった。
【0005】
さらには撮影者の望む視点位置、視線方向の複合現実空間の画像を撮影することはほとんど出来ないばかりでなく、観察者と仮想物体とが相互交流している様子を理解可能な興味深い画像を得ることは至難であった。
【0006】
本発明は以上の問題に鑑みてなされたものであり、複合現実空間画像を取得可能な画像処理装置、画像処理方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【0008】
すなわち、画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置であって、
現実空間を撮像する撮像手段と、
当該撮像手段を仮想空間における視点とし、当該現実空間と当該仮想空間とで共有される座標系における当該視点の位置、姿勢に応じた仮想空間の画像を生成する生成手段と、
前記撮像手段により撮像された現実空間の画像と、当該生成手段により生成された当該仮想空間の画像とを重畳して格納することで、夫々の画像が重畳された複合現実空間画像を格納する格納手段と、
当該格納手段に格納された複合現実空間画像をプリントするか否かを指示する指示手段と、
当該指示手段により複合現実空間画像をプリントする指示が入力された場合、前記格納手段に格納されている複合現実空間画像を前記プリント手段に出力する出力手段と
を備えることを特徴とする。
【0009】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【0010】
すなわち、仮想空間の画像と現実空間の画像とを重畳させた複合現実空間画像を生成する複数の装置に接続されていると共に、画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置であって、
前記複数の装置から、所望の装置を選択する選択手段と、
当該選択手段により選択した装置から得られる複合現実空間画像をプリントするか否かを指示する指示手段と、
当該指示手段により複合現実空間画像をプリントする指示が入力された場合、当該複合現実空間画像を前記プリント手段に出力する出力手段と
を備えることを特徴とする。
【0011】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【0012】
すなわち、画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置が行う画像処理方法であって、
現実空間を撮像手段を用いて撮像する撮像工程と、
当該撮像手段を仮想空間における視点とし、当該現実空間と当該仮想空間とで共有される座標系における当該視点の位置、姿勢に応じた仮想空間の画像を生成する生成工程と、
前記撮像工程で撮像された現実空間の画像と、当該生成工程で生成された当該仮想空間の画像とを重畳して格納することで、夫々の画像が重畳された複合現実空間画像をメモリに格納する格納工程と、
当該メモリに格納された複合現実空間画像をプリントするか否かを指示する指示工程と、
当該指示工程で複合現実空間画像をプリントする指示が入力された場合、前記メモリに格納されている複合現実空間画像を前記プリント手段に出力する出力工程と
を備えることを特徴とする。
【0013】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【0014】
すなわち、仮想空間の画像と現実空間の画像とを重畳させた複合現実空間画像を生成する複数の装置に接続されていると共に、画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置が行う画像処理方法であって、
前記複数の装置から、所望の装置を選択する選択工程と、
当該選択工程で選択した装置から得られる複合現実空間画像をプリントするか否かを指示する指示工程と、
当該指示工程で複合現実空間画像をプリントする指示が入力された場合、当該複合現実空間画像を前記プリント手段に出力する出力工程と
を備えることを特徴とする。
【0015】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【0016】
[第1の実施形態]
図1は観察者と、この観察者に対して複合現実空間の画像を取得可能にする本実施形態に係るシステムの構成を示す図である。100は複合現実空間画像を観察する観察者である。110は観察者一人分の複合現実空間画像を生成する画像処理装置110で、パーソナルコンピュータ(PC)120、現実空間の動画像を撮像するビデオカメラ140、モニタ150で構成される処理装置である。PC120では仮想空間管理プログラムと複合現実空間画像生成プログラムが動作している。
【0017】
仮想空間管理プログラムはPC120により実行されることで仮想空間の状態を更新し、更新結果を複合現実空間画像生成プログラムに通知する機能を有する。複合現実空間画像生成プログラムはPC120により実行されることで、仮想空間管理プログラムから通知された仮想空間の状態に基づいて仮想空間画像をメモリ上に描画すると共に、ビデオカメラ140から取得した現実空間画像をメモリ上に描画された仮想空間画像に合成する。即ちメモリ上には複合現実空間画像が描画される。そしてメモリ上に描画された複合現実空間画像はモニタ150に表示される。
【0018】
観察者100はモニタ150に表示された複合現実空間画像を見ることで、複合現実空間画像を観察することができる。なお、モニタ150は複合現実空間画像だけでなく、PC120を操作する際に必要な情報(システムメッセージやシステムの設定画面など)を表示することもある。
【0019】
観察者100が手にしているのはシャッター160である。シャッター160はプッシュボタンスイッチで構成されており、スイッチが観察者100により押下されると、シャッター160からは押下されたことを示す信号がPC120に出力される。PC120がこの信号を検知すると、検知した時点でPC120のメモリに記憶されている複合現実空間画像をプリンタ170に出力する。
【0020】
プリンタ170は、その記録方式は特に限定するものではなく、PC120から送られた複合現実空間画像を紙やOHP等の記録媒体上に画像として記録することができればよい。
【0021】
200は予め定義されており、仮想物体を現実空間のどの位置に設定するのかを決めるために使用される座標軸で、座標軸200は現実空間と仮想空間で共有される。座標軸の設定方法に関しては複合現実空間を生成するための技術として公知のものであるのでここでの詳細な説明は省略する。
【0022】
210は複合現実空間画像生成可能領域である。即ちこの領域に存在する現実物体についてはその位置、形状がPC120によって管理されており、現実物体と仮想物体との位置の重なりが発生したことが検出可能な領域である。この領域の位置、サイズを示すデータはPC120のメモリ上に記録されている。220、222は現実物体で、同図では石柱と岩を例として示しているが、現実物体がこれに限定されないことは明らかである。また、この仮想物体の画像は仮想空間画像に含まれるものであり、ビデオカメラ140を仮想空間における視点とし、この視点の位置姿勢に応じて見える仮想物体の形状の画像である。仮想空間の画像が動画像である場合には常に最新の画像(最新フレームの画像)がPC120のメモリ上に描画される。ビデオカメラ140の位置姿勢を示すデータは、メモリ122に記憶されているものとする。
【0023】
図2は上記画像処理装置110の基本構成と共に、シャッター160、プリンタ170との関係を示すブロック図である。画像処理装置110は大まかには上述の通り、PC120、ビデオカメラ140、モニタ150に大別される。
【0024】
PC120はキャプチャカード132,グラフィックカード130、シリアルI/F126,HDD123,CPU121、メモリ122、キーボード124、マウス125により構成されている。
【0025】
キャプチャカード132はPC120とビデオカメラ140とを接続するためのインターフェースとして機能し、ビデオカメラ140により撮像された各フレームの現実空間の画像がキャプチャカード132を介してメモリ122に転送される。
【0026】
グラフィックカード130は上記仮想物体の画像である3次元コンピュータグラフィックス(3DCG)を生成する機能を有する。
【0027】
シリアルI/F126は、PC120と後述のシャッター160、プリンタ170とを接続するためのインターフェースとして機能し、シリアルI/F126を介してPC120にシャッター160からボタンが押下されたことを示す信号が入力されたり、シリアルI/F126を介してPC120からプリンタ170に対してプリント対象の複合現実空間画像を送信したりすることができる。
【0028】
HDD123はPC120全体の制御を行うためのプログラムやデータ、プリンタ170を制御するためのプリンタドライバ、上記仮想空間管理プログラムや複合現実空間画像生成プログラム、各仮想物体の位置、形状など、仮想物体の画像を生成するために必要なデータ群、仮想空間の状態を示すデータ等を保存しており、これらのプログラムやデータは必要に応じてCPU121によりメモリ122にロードされる。
【0029】
CPU121はメモリ122にロードされたプログラムを実行したり、メモリ122にロードされたデータを参照することで、PC120の各部の制御を行い、複合現実空間画像を生成したり、PC120全体の制御を行うことができる。メモリ122は読み書き可能なメモリであって、CPU121の実行対象であるHDD123からロードされたプログラムやその際に使用するデータを一時的に記憶するエリアを備えると共に、CPU121が各処理を行う際に用いるワークエリアも備える。もちろん上述の通り、仮想空間の画像と現実空間画像とが重畳された画像である複合現実空間画像を描画するためのエリアも備える。
【0030】
キーボード124、マウス125はCPU121に対して各指示を入力するためのポインティングデバイスとして用いられ、例えば仮想物体の配置位置や仮想空間の状態設定などを入力するために用いられる。
【0031】
上述の通り、キャプチャカード132にはビデオカメラ140が接続されており、ビデオカメラ140は上述の通り、現実空間の動画像を撮像し、撮像した各フレームの画像はキャプチャカード132を介してメモリ122に出力する。
【0032】
また上述の通りグラフィックカード130にはモニタ150が接続されており、モニタ160はCRTや液晶画面などにより構成されており、グラフィックカード130により生成された3DCGを表示すると共に、それに重畳されたビデオカメラ140により撮像された現実空間の動画像も表示する。すなわち、複合現実空間画像を表示する。また上述の通り、モニタ150は複合現実空間画像だけでなく、PC120を操作する際に必要な情報(システムメッセージやシステムの設定画面など)を表示する。
【0033】
上記構成を備えるPC120が上記仮想空間管理プログラムを実行することで行う処理について、同処理のフローチャートを示す図3を用いて説明する。
【0034】
まず、キーボード124やマウス125等を用いて入力される仮想空間の状態情報(例えば、仮想物体の数や、種類、仮想空間内の光の強弱や色、天候など)に応じて、CPU121はメモリ122に記憶されている仮想空間の状態を示すデータを更新する(ステップS302)。なお、本ステップでは、経過する時間に従って仮想空間管理プログラムが仮想空間の状態を示すデータを逐次、もしくは所定時間毎に更新しても良い。
【0035】
次にCPU121は、更新した仮想空間の状態を示すデータを複合現実空間画像生成プログラムに通知する(ステップS304)。具体的には、このデータをメモリ122に記憶させると共に、複合現実空間画像生成プログラムを動作させる。そして、更新が終了したのであれば、本処理を終了する。
【0036】
次に、上記構成を備えるPC120が上記複合現実空間画像生成プログラムを実行することで行う処理について、同処理のフローチャートを示す図4を用いて説明する。
【0037】
CPU121は、メモリ122に記憶されている仮想空間の状態を示すデータを読み取り(ステップS702)、グラフィックカード130に仮想空間画像の描画指示を送ると、グラフィックカード130はこの状態を示すデータと、HDD123からメモリ122にロードされた3DCGのデータ、そしてビデオカメラ140の位置姿勢を示すデータとを用いて、ビデオカメラ140位置姿勢に従った仮想空間画像を生成する(ステップS704)。すなわち、メモリ122上に仮想空間画像を描画する。
【0038】
続いて、画像キャプチャスレッド(ステップS730)から継続的に送信されてきている、ビデオカメラ140によって撮像された現実空間画像を取得する(ステップS706)。ここで本プログラムは並列プログラミング技術の一つであるスレッドを応用して実装され、常に最新の現実空間画像を取得するようになっている。続いてグラフィックカード130は、取得された現実空間画像をメモリ122上に描画された仮想空間画像に重畳し、メモリ122上に複合現実空間画像を生成した後、モニタ150に出力する(ステップS708)。
【0039】
ここでCPU121がシャッター160から、ボタンが押下されたことを示す信号を検知した場合、処理をステップS712に進め、この時点でメモリ122上に描画された複合現実空間画像をメモリ122上の複合現実空間画像を、描画したエリアとは別のエリアにコピーし(ステップS712)、画像出力スレッドに、コピーした複合現実空間画像のデータが記憶されているメモリ122上の位置(アドレス)を指示する(ステップS714)。
【0040】
画像出力スレッドは指示されたアドレスに記憶されている上記複合現実空間画像のデータを取得し、取得したデータをプリンタ170に出力する(ステップS740)。その結果プリンタ170は、紙やOHPなどの記録媒体上に複合現実空間画像をプリントする。
【0041】
なおビデオカメラ140の設置位置および方向は座標軸220によって決まる座標値および姿勢値によって表現され、予め測定されており、上記複合現実空間画像生成プログラムの初期値として設定されている(上述の通り、メモリ122にデータとして記憶されている)。取得する複合現実空間画像の視点位置、姿勢(ビデオカメラ140の設置位置および設置姿勢)を変更したい場合は、その度に座標軸220におけるビデオカメラ140の位置および方向を実測し、初期設定を変更してやればよい。
【0042】
以上の説明により、本実施形態におけるシステムによって、任意の視点における複合現実空間画像を、紙やOHPなどの記録媒体によって取得することができる。
【0043】
[第2の実施形態]
第1の実施形態に係るシステムは、一人の観察者に対してのみ、複合現実空間画像を取得可能にしていた。本実施形態に係るシステムでは複数の観察者に対して、夫々の観察者で異なる視点に基づいた複合現実空間画像を取得可能にする。以下、本実施形態に係るシステムについて説明する。
【0044】
図5に本実施形態に係るシステムの構成を示す。同図において図1と同じ部分については同じ番号を付けており、その説明を省略する。観察者100と観察者500の夫々に対して複合現実空間画像を取得可能にする構成は第1の実施形態と同様である。すなわち観察者100に対して設けられたシステム(ビデオカメラ140とモニタ150とPC120とを含む画像処理装置110、プリンタ170、シャッター160からなるシステム)と同じシステム(ビデオカメラ540とモニタ550とPC520とを含む画像処理装置510、プリンタ570、シャッター560からなるシステム)が観察者500に対して設けられている。そして夫々の観察者に対して設けられたPC同士はLANやインターネットなどのネットワーク180を介して接続されている。
【0045】
また、本実施形態に係るシステムでは、仮想空間管理プログラムは夫々の観察者に対して設けられたPC上で動作するのではなく、上記ネットワーク180に接続された画像処理装置112上で動作する。よって画像処理装置112は第1の実施形態で説明したように仮想空間の状態を更新し、夫々のPC120,520は画像処理装置112上で動作する仮想空間管理プログラムによって更新された結果をネットワーク180を介して取得し、これを用いて夫々のPCに接続されたビデオカメラ140,540の位置姿勢に応じた仮想空間の画像を生成する。
【0046】
このようにすることで、夫々のPCで生成される複合現実感画像は、同じ複合現実空間を共有しながらも、夫々で異なる視点位置姿勢によるものとなる。
【0047】
図6は上記画像処理装置510の基本構成と共に、シャッター560、プリンタ570との関係を示すブロック図である。基本的には図2に示した構成と同じものであるが、PC520を上記ネットワーク180に接続するためのネットワークI/F127を更に設けた点が異なる。このネットワークI/F127を介して、画像処理装置112上で動作する仮想空間管理プログラムによって更新された結果を示すデータを受信することができる。
【0048】
なお、図6に示した構成は観察者100に対して設けられたシステムの構成として示したが、観察者500に対して設けられたシステムの構成も同様のものであることは上述の通りである。
【0049】
図7に上記画像処理装置112の構成を示す。画像処理装置112の構成は上記画像処理装置510から、ビデオカメラ、シャッター、プリンタを省いた構成である。図7において図1と同じ部分については同じ番号を付けており、その説明を省略する。
【0050】
また、画像処理装置112が行う処理は、図3に示したフローチャートに従った処理となる。また、PC120、150が行う処理は、図4に示したフローチャートに従った処理となる。
【0051】
また、夫々の観察者に対して設けたシステムの数を2のみでなく、それ以上に増やすことで、より多くの観察者に対して複合現実空間画像を取得可能にすることができる。
【0052】
以上の説明により、本実施形態に係るシステムによって、複数の観察者に対して、夫々異なる視点位置姿勢に応じた複合現実空間の画像を紙やOHPなどの記録媒体によって取得可能にすることができる。
【0053】
また複数の観察者が同時に同じ複合現実空間を観察することが可能になるばかりでなく、シャッター、プリンターを各観察者に対して設けたシステムに設けたことにより、各観察者が同時に複合現実空間画像を紙やOHPなどの記録媒体によって取得することが可能になった。
【0054】
[第3の実施形態]
本実施形態に係るシステムは、第2の実施形態で説明したシステムにおいて、任意の観察者に対して、モニタ160を介してではなく、撮像装置付の頭部搭載型表示装置(HMD)400を介して複合現実空間画像を提示する構成を備える。
【0055】
図8に本実施形態に係るシステムの構成を示す。同図において第2の実施形態に係るシステムの構成を示す図5と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態では観察者100に対しては第2の実施形態と同様の構成及び方法を用いて複合現実空間画像を提示し、観察者500に対してHMD400を用いて複合現実空間画像を提示する例を示す。以下、観察者500に対して複合現実空間画像を提示するためのシステム(PC520とモニタ550と分配器600とHMD400を含む画像処理装置、シャッター560、プリンタ570、センサ系(300乃至320)からなるシステム)について説明する。
【0056】
観察者500の頭部にはHMD400が装着され、観察者500の視点位置近傍の上記座標軸200における位置、姿勢に応じた現実空間を上記撮像装置により撮像し、撮像した現実空間画像をPC520に送る。観察者500の視点の位置、姿勢は位置姿勢センサ系を構成する300乃至320によって常時計測されており、計測された結果は画像処理装置112に送られ、管理される。
【0057】
PC520は画像処理装置112で管理されている観察者500の視点の位置姿勢を取得し、同様に取得した仮想空間の状態情報と観察者500の視点の位置姿勢に応じた仮想空間画像を生成すると共に、HMD400から送られてきた現実空間画像と重畳して複合現実空間画像を生成する。
【0058】
生成された複合現実空間画像は分配器600を介してモニタ550に出力されると共に、HMD400に設けられた後述の表示部に出力され、夫々で表示される。これはHMD400ではPC520の操作用の表示装置としては不自由な点があるためと、HMD400を装着している観察者がどのような画像を見ているのかを観察者以外の者が知るためである。
【0059】
これにより、観察者500は自由に視点位置、姿勢を変えて、すなわち複合現実空間内を自由に動いて、その時々の視点位置姿勢に応じた複合現実空間画像を観察することができる。
【0060】
HMD400の構成について図9〜11を用いて説明する。なお各図において番号の後に「R」とつくものは観察者の右目用、「L」とつくものは左目用を表す。特に特定する必要のない場合、文中ではR、Lを省略して表記することにする。
【0061】
図9はHMDの基本構成を示す図、図10,11はHMD400の外観図である。320は位置方向センサ受信機で、観察者の視点位置近傍に設けられており、後述する位置姿勢センサ発信機310、本体300と共に動作し、観察者の視点位置および姿勢を常時計測している。
【0062】
410,414,415は夫々表示系を構成しており、カラー液晶ディスプレイ414が表示する画像が光学プリズム415によって導かれ、表示部410に表示される。412、416、417は撮像系を構成しており、入力部412を介してHMDの外部から入力された光が光学プリズム417によってHMD内部に導かれ、CCD416で受光される。光学プリズム415の出力光と光学プリズム417の入力光は観察者の瞳の光軸と一致しており、CCD416は観察者の視点位置、姿勢の現実空間画像を撮影し、カラー液晶ディスプレイ414はCCD416によって取得された現実空間画像と、位置姿勢センサ本体300で算出される観察者の視点位置、姿勢に応じてPC520で生成された仮想空間画像とをPC520により合成した複合現実空間画像を表示する。
【0063】
421〜425は頭部装着用の構成部材である。HMD400を頭部に装着するには、まず、アジャスタ422で長さ調整部423を緩めた状態で頭にかぶる。そして、額装着部425を額に密着させてから側頭装着部421と後頭装着部424を各々側頭部、後頭部に密着させるように、アジャスタ422で長さ調整部423を絞める。426はカラー液晶ディスプレイ414、CCD416、位置姿勢センサ受信機320のための電源および信号線をまとめたものである。
【0064】
次に観察者の視点位置、姿勢の計測方法について説明する。図8に示されているようにセンサ系(位置姿勢取得装置)は位置姿勢センサ本体300、位置姿勢センサ発信機310、位置姿勢センサ受信機320により構成されている。位置姿勢センサ受信機320、位置姿勢センサ発信機310は位置姿勢センサ本体300に接続されている。位置姿勢センサ発信機310からは磁気が発信されており、位置姿勢センサ受信機320がこの磁気を受信する。位置姿勢センサ本体300は位置姿勢センサ受信機320が受信した磁気の強度から位置姿勢センサ受信機320の上記座標軸200における位置、姿勢を公知の技術を用いて算出する。算出した結果は画像処理装置112に送られる。
【0065】
位置姿勢センサ受信機320はHMD400に固定されているため、位置姿勢センサ320とHMD400を装着した観察者100の入射瞳との相対的位置は定数となる。この定数と位置姿勢センサ受信機320の位置姿勢から観察者100の入射瞳の位置を計算することができる。本実施例では観察者100の入射瞳の位置を観察者100の視点位置として利用する。
【0066】
また、HMD400は観察者100が正面に自然に瞳を向けた時に正しく画像が観察可能であるよう観察者100に装着されている。よって、観察者がHMD400に表示される画像を観察するとき、位置姿勢センサ受信機320の方向と観察者100の視線方向は定数となる。この定数と位置姿勢センサ受信機320の位置姿勢から、HMD400の画像を観察している観察者100の視線方向を計算することができる。
【0067】
これら定数は予め測定されシステムに記憶されている。
【0068】
本実施形態では位置姿勢取得装置として米国Polhemus社製FASTRAKや米国Ascension Technology社製Flock of Birdsなどを利用することを仮定しているが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。
【0069】
以上説明したHMD400と位置姿勢計測装置を利用することで、観察者500は自由に視点位置、姿勢を任意に変更することができると共に、変更した視点位置、姿勢に応じた複合現実空間画像をHMD400を介して観察することができる。
【0070】
図12は上記画像処理装置1210、HMD400の基本構成と共に、シャッター560、プリンタ570との関係を示すブロック図である。図6、9と同じ部分については同じ番号を付けており、その説明を省略する。ただし、キャプチャカード132にはHMD400を構成するCCD416Rが接続されており、グラフィックカード130には分配器600が接続されている。また分配器600はカラー液晶ディスプレイ414L、414Rの夫々に接続されている。分配器600はPC520で生成された複合現実空間画像をHMD400とモニター550に分配する処理を行う。
【0071】
図13は画像処理装置112の基本構成を示すと共に、画像処理装置112と周辺機器との関係を示す図である。図7,8と同じ部分については同じ番号を付けており、その説明を省略する。画像処理装置112の基本構成については図7に示す画像処理装置と同じであるが、本実施形態に係る画像処理装置112のシリアルインターフェース126には上述の位置姿勢センサ本体300が接続されており、位置姿勢センサ本体300が位置姿勢センサ送信機310と位置姿勢センサ受信機320とにより得られる磁気の強度に基づいて求めた位置姿勢センサ受信機320の上記座標軸200における位置、姿勢を、シリアルインターフェース126を介して画像処理装置112に送る。
【0072】
画像処理装置112は送られた位置姿勢センサ受信機320の上記座標軸200における位置、姿勢のデータを、仮想空間の状態情報と共にメモリ122やHDD123に記憶し、管理する。
【0073】
また画像処理装置112では、仮想空間管理プログラムが動作していると共に、位置姿勢取得プログラムが動作している。画像処理装置112は位置姿勢取得プログラムを動作させることで、位置姿勢センサ本体300を制御し、接続されている位置姿勢センサ受信機320の搭載されているHMD400を装着している観察者の視点位置、視線方向を計測し、仮想空間管理プログラムに送信する処理を行う。
【0074】
次に、画像処理装置112が上記仮想空間管理プログラムを実行することで行う処理について、同処理のフローチャートを示す図14を用いて説明する。
【0075】
まず位置姿勢取得プログラムから、現実空間状態情報(観察者の視点の位置姿勢を示すデータ)を受信する(ステップS1402)。そして次に仮想空間の状態情報を更新する処理を行うが(ステップS1404)、これに関しては第1の実施形態におけるステップS302と同じ処理であるのでその説明を省略する。そして、現実空間状態情報、仮想空間状態情報をPC520で動作する複合現実空間画像生成プログラムに通知する(ステップS1406,1408)。具体的には、現実空間状態情報、仮想空間状態情報をネットワーク180を介してPC520で動作する複合現実空間画像生成プログラムに通知する。
【0076】
次に、PC520が上記複合現実空間画像生成プログラムを実行することで行う処理について、同処理のフローチャートを示す図15を用いて説明する。まず、上記仮想空間管理プログラムから通知された仮想空間状態情報、現実空間状態情報を受信する(ステップS1502,ステップS1503)。そしてステップS704と同様に仮想空間状態情報を用いて仮想空間画像を(ステップS1504)生成する。また、ステップS704と同様の画像キャプチャスレッド(ステップS1530)から継続的に送信されてきている、HMD400によって撮像された現実空間画像を取得する(ステップS1506)。そしてグラフィックカード130は、取得された現実空間画像をメモリ122上に描画された仮想空間画像に重畳し、メモリ122上に複合現実空間画像を生成した後、HMD400に出力する(ステップS1508)。以降処理については図7に示したステップS710以降の各ステップと同じであるのでその説明を省略する。
【0077】
以上の説明により、本実施形態に係るシステムによって、任意の視点位置、姿勢に応じた複合現実空間の画像を紙やOHPなどの記録媒体によって取得可能にすることができる。
【0078】
なお本実施形態では一人の観察者のみにHMDを用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してPC、モニタ、プリンタ、分配器、HMD、センサ系を設け、画像処理装置112で動作する位置姿勢取得プログラムは、夫々のセンサ系から夫々の観察者の視点位置、姿勢を取得、管理し、必要に応じて夫々のPCに観察者の視点の位置、姿勢のデータを送信する。
【0079】
[第4の実施形態]
本実施形態に係るシステムは、現実空間を撮像する装置として、望遠鏡型撮像装置を用いる。図16に本実施形態に係るシステムの構成を示す。同図において第2の実施形態に係るシステムの構成を示す図5と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態では観察者100に対しては第2の実施形態と同様の構成及び方法を用いて複合現実空間画像を提示し、観察者500に対して望遠鏡型撮像装置1600を用いて複合現実空間画像を提示する例を示す。以下、観察者1600に対して複合現実空間画像を提示するためのシステム(PC520とモニタ550と分配器600と望遠鏡型撮像装置1600を含む画像処理装置、シャッター560、プリンタ570からなるシステム)について説明する。
【0080】
望遠鏡型撮像装置1600は地面に固定された支柱1690に、同図矢印方向に回転可能なように取り付けられている。また、望遠鏡型撮像装置1600における取り付け部には、望遠鏡型撮像装置1600の向き(姿勢)を計測するための姿勢計測装置(ジャイロ)1620が備わっている。ジャイロ1620をこの部分に取り付ける理由としては、この部分を観察者の視点位置とするためである。他の部分を観察者の視点の位置とすると、望遠鏡型撮像装置1600の回転により、視点位置が変化してしまうからである。ジャイロ1620は視点の姿勢を計測するものであるから、上述の位置に取り付ける必要がある。ジャイロ1620により計測された視点の姿勢を示すデータはPC520に送られる。
【0081】
また視点位置(ジャイロ1620を取り付けた位置近傍の位置)には小型撮像装置(小型ビデオカメラ)1610が取り付けられ、現実空間の動画像を撮像する。撮像した現実空間の画像はPC1640に送られる。
【0082】
望遠鏡型撮像装置1600には小型表示装置1630が取り付けられており、小型表示装置1630には、小型撮像装置1610により撮像された現実空間画像とジャイロ1620により計測された視点の姿勢のデータをPC520に送ることでPC1640で生成され、分配器600を介して送られてくる複合現実空間画像が表示される。
【0083】
図17は上記PC520、望遠鏡型撮像装置1600の基本構成と共に、シャッター560、プリンタ570との関係を示すブロック図である。図6、12と同じ部分については同じ番号を付けており、その説明を省略する。ただし、キャプチャカード132には望遠鏡型撮像装置1600を構成する小型撮像装置1610が接続されており、グラフィックカード130には分配器600が接続されている。また分配器600は小型表示装置1630に接続されている。分配器600はPC520で生成された複合現実空間画像を小型表示装置1630とモニタ550に分配する処理を行う。
【0084】
一方、画像処理装置112の構成、及び画像処理装置112が行う処理については第2の実施形態と同じであるので、その説明を省略する。
【0085】
本実施形態における画像処理装置112では仮想空間管理プログラムが動作しており、PC520では位置姿勢取得プログラム、複合現実空間画像生成プログラムが動作している。
【0086】
画像処理装置112が仮想空間管理プログラムを動作させることで行う処理のフローチャートは図14に示したフローチャートにおいて、ステップS1402で後述の位置姿勢取得プログラムによって通知された視点の姿勢を受信する以外は同じフローチャートである。
【0087】
PC520は位置姿勢取得プログラムを動作させることで、ジャイロ1620を制御し、視線の姿勢を計測し、上記仮想空間管理プログラムに送信する。なお視点位置は、座標軸200における望遠鏡型撮像装置1600の回転軸の位置、小型表示装置の入射瞳の位置、望遠鏡型撮像装置1600の姿勢から計算で求めることが可能である。座標軸200における望遠鏡型撮像装置1600の回転軸の位置、小型表示装置の入射瞳の位置は予めシステム(メモリ122、HDD123など)に記憶されているものとする。
【0088】
また、PC520が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートは図15において、ステップS1503で、上記仮想空間管理プログラムによって通知された視点の姿勢を示すデータを現実空間状態情報として受信する処理を行う点以外は同じである。
【0089】
以上の説明により、本実施形態に係るシステムにより、現実空間を撮像する装置と複合現実空間画像を表示する装置とを身につける手間がかからず、視点の任意の姿勢に応じた複合現実空間の画像を紙やOHPなどの記録媒体によって取得可能にすることができる。
【0090】
なお本実施形態では一人の観察者のみに望遠鏡型撮像装置を用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してPC、モニタ、プリンタ、分配器、望遠鏡型撮像装置、ジャイロを設け、画像処理装置112で動作する仮想空間管理プログラムは、夫々のセンサ系から夫々の観察者の視点姿勢を取得、管理し、必要に応じて夫々のPCに観察者の視点の姿勢のデータを送信する。
【0091】
[第5の実施形態]
本実施形態に係るシステムの構成は基本的には第3の実施形態に係るシステムの構成と同じであるが、観察者500に対して提示するためのHMDの表示部に表示する複合現実画像を、立体画像として観察者500に対して提供する点が異なる。以下、本実施形態に係るシステムについて説明する。なおHMDとしては図9乃至11に示したものを用いるとする。
【0092】
HMD400の右目用表示部410Rに表示される複合現実空間画像と左目用表示部410Lに表示される複合現実空間画像を独立に生成することで、HMD400を装着している観察者は複合現実空間画像を立体画像として観察することができる。
【0093】
図18は観察者に対して複合現実空間画像を立体画像として提供するための画像処理装置1810の基本構成とシャッター560、プリンタ570との関係を示す図である。図12と同じ部分については同じ番号を付けており、その説明を省略する。本実施形態に係る画像処理装置1810を構成するPC1800にはキャプチャカード、グラフィックカードは夫々右目用、左目用に設けられている。すなわち右目用、左目用のキャプチャカード132R、132Lは夫々HMD400の右目用、左目用のCCD416R、416Lにと接続しており、右目用のCCD416Rにより撮像された現実空間の画像は右目用キャプチャカード132Rを介してメモリ122に、左目用のCCD416Lにより撮像された現実空間の画像は左目用キャプチャカード132Lを介してメモリ122に、夫々送られる。
【0094】
PC1800では第3の実施形態で説明した複合現実空間画像の生成処理を左目用、右目用に行い、右目用複合現実空間画像、左目用複合現実空間画像を生成する。生成された右目用複合現実空間画像は右目用グラフィックカード130R、分配器600を介して右目用のカラー液晶ディスプレイ414Rとモニタ550に、生成された左目用複合現実空間画像は左目用グラフィックカード130Lを介して左目用のカラー液晶ディスプレイ414Lに夫々出力される。これにより、HMD400を装着した観察者の左目と右目とに対して、夫々独立した複合現実空間画像を提示することができる。
【0095】
なお、モニタ550に表示する複合現実空間画像は右目用複合現実空間画像に限らず、左目用の複合現実空間画像でも良い。その場合、分配器600を左目用グラフィックカード130Lとカラー液晶ディスプレイ414Lとの間に設ければよい。
【0096】
次に、右目用、左目用の複合現実空間画像を生成する処理について以下、説明する。この処理はPC1800により複合現実空間画像生成プログラムを動作させることで行うが、複合現実空間映像生成プログラムは右目用と左目用の2つがメモリ122に記憶されており、PC1800は夫々を独立して並列に動作させる。また、本実施形態ではセンサ系により得られる視点の位置、姿勢は、同じ座標軸における右目の位置と視線方向とするので、左目の同座標軸における位置と視線方向を求める処理が必要となる。
【0097】
PC1800が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートを図19に示す。同図のフローチャートは図15に示したフローチャートに更にステップS1530、S1532を加えたものであるが、これらのステップによる処理は上述の通り、左目の位置を求める処理である。なお、左目の視線方向は計測した右目の視線方向と同じものであると仮定する。
【0098】
ステップS1530で、処理が左目用のものである場合には処理をステップS1532に進め、右目の位置から観察者の両目の間隔だけずらした位置を左目の位置として求める。なお、観察者の両目の間隔は予め求めておき、メモリ122、もしくはHDD123に記憶させておく。
【0099】
また、ステップS1510以降処理については2つの複合現実空間画像生成プログラムのうち、何れかのプログラムを動作させればよい。
【0100】
以上の説明により、本実施形態に係るシステムによって、観察者に対して複合現実空間画像を立体画像として提示することができる。これにより、観察者はより的確に複合現実空間を観察することができるので、取得したい複合現実空間の領域をより的確に決めることができ、決めた領域の複合現実空間画像を紙やOHPなどの記録媒体によって取得可能にすることができる。
【0101】
なお本実施形態では一人の観察者のみにHMDを用いたシステムを提供していたが、複数の観察者に対して設けても良い。この場合、夫々の観察者に対してPC、モニタ、プリンタ、分配器、HMD、センサ系を設け、画像処理装置112で動作する位置姿勢取得プログラムは、夫々のセンサ系から夫々の観察者の視点位置、姿勢を取得、管理し、必要に応じて夫々のPCに観察者の視点の位置、姿勢のデータを送信する。
【0102】
[第6の実施形態]
本実施形態に係るシステムは上記各実施形態と同様に複数の観察者に対して複合現実空間画像を提示するが、特定の観察者のみが他の観察者が観察している複合現実空間画像のうち、特定の画像を選択し、プリンタに出力させることができる。以下、本実施形態に係るシステムについて説明する。
【0103】
図20は本実施形態に係るシステムの構成を示す図である。同図において第3の実施形態で用いた図8と同じ部分には同じ番号を付けており、その説明を省略する。図20では上記特定の観察者、すなわち複合現実空間画像を取得する観察者(複合現実空間画像取得者)は102で示されており、その他の観察者2001,2002は複合現実空間画像の取得操作、すなわちシャッターを押下する操作は行わずに、複合現実空間画像の観察のみを行う。
【0104】
観察者2001,2002に対して夫々複合現実空間画像を提示するためのシステムの構成は第3の実施形態で説明したものと同じものである。そこで以下では、観察者102が他の観察者(同図では観察者2001,2002)が観察している複合現実空間画像をプリンタ170を用いてプリントするためのシステムについて説明する。
【0105】
観察者102は第1の実施形態と同様に手にはシャッター160を持っており、このシャッター160を押下することで上記実施形態で説明したように、画像処理装置114のメモリに格納された複合現実空間画像データをプリンタ170に出力する。画像処理装置114のメモリに格納される複合現実空間画像データは、観察者102以外の観察者に対して複合現実空間画像を提示する夫々の画像処理装置のうち、切り替え器2000によって選択された画像処理装置により生成される複合現実空間画像のデータである。
【0106】
図21に画像処理装置114の基本構成と、切り替え器2000、そしてシャッター160、プリンタ170との関係を示す。なお、図2,6と同じ部分については同じ番号を付けており、その説明を省略する。
【0107】
複合現実空間画像取得者102がシャッター160のボタンを押下することにより、CPU121は切り替え器2000によって選択されている画像処理装置に対して、この画像処理装置のメモリに上記押下時(実際にはタイムディレイが生じるが)に格納されている複合現実空間画像データを画像処理装置114に送信するように指示する。指示された画像処理装置は、生成した複合現実空間画像データを切り替え器2000を介して画像処理装置114に送信し、送信された複合現実空間画像はグラフィックカード130を介してメモリ122に格納される。これにより画像処理装置114では切り替え器2000によって選択された画像処理装置により生成された複合現実空間画像データ(言い換えれば、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、選択された複合現実空間画像のデータ)を得ることができるので、上述の実施形態と同様に、メモリ122に格納されたこの画像のデータをプリンタ170に出力することができる。
【0108】
なお、切り替え器2000の制御、すなわち、どの画像処理装置から複合現実空間画像を送信してもらうかの制御は、キーボード124やマウス125を用いて、モニタ154の表示画面上に表示される不図示のGUIなどを用いて設定する。
【0109】
また、切り替え器2000にはモニタ154も接続されており、切り替え器2000によって選択された画像処理装置により生成された複合現実空間画像は切り替え器を介してモニタ154に出力されるので、モニタ154にはこの複合現実空間画像を表示することができる。モニタ154に表示することによって、複合現実空間画像取得者102はどの画像処理装置で生成された複合現実空間画像をプリンタ170に出力するかを選択する(切り替え器2000を制御する)ことができる。
【0110】
複合現実空間画像取得者102以外の観察者に対して複合現実空間画像を提示する画像処理装置では第3の実施形態の通り複合現実空間画像生成プログラムが動作しており、画像処理装置112では第3の実施形態の通り、位置姿勢取得プログラムと仮想空間管理プログラムが動作している。夫々のプログラムの動作については第3の実施形態の説明の通りである。
【0111】
以上の説明により、本実施形態におけるシステムによって、複数の観察者による任意の視点における夫々の複合現実空間画像のうち、1つを選択して、紙やOHPなどの記録媒体によって取得することができる。
【0112】
なお本実施形態に係るシステムでは複合現実空間画像取得者に対する画像処理装置、プリンタは夫々1つずつであったがが、複数であっても良い。また、プリンタはネットワーク180に接続されているどの画像処理装置に接続されていても構わない。
【0113】
[第7の実施形態]
第6の実施形態に係るシステムでは、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、1つを選択し、選択した画像のみをプリントの対象としていたが、本実施形態に係るシステムでは、1つ以上、すなわち複数の複合現実空間画像を選択することができ、選択した夫々の複合現実空間画像を縮小し、縮小した夫々の複合現実空間画像を含む画像を生成し、この画像をプリント対象とする。以下、本実施形態に係るシステムについて説明する。
【0114】
図22は本実施形態に係るシステムの構成を示す図である。基本的には第6の実施形態に係るシステムの構成(図20に示す構成)と同じであるが、本実施形態では切り替え器2000の代わりに、選択器2600、合成器2500が用いられている点以外は第6の実施形態に係るシステムと同じ構成である。よって以下ではこの選択器2600、合成器2500について説明する。
【0115】
選択器2600では複合現実空間画像取得者102以外の観察者に対して複合現実空間画像を提示する画像処理装置において任意の画像処理装置(1つ以上の画像処理装置)から複合現実空間画像を取得することができる。取得した複合現実空間画像は合成器2500に送られる。
【0116】
送られた複合現実空間画像が複数の場合、合成器2500では、夫々の画像を縮小し、縮小した夫々の画像を含む1つの画像(合成画像)を生成する。例えば合成器2500が4つの複合現実空間画像を得た場合、生成する合成画像は例えば図23に示すとおりとなる。図23は縮小した4つの複合現実空間画像の夫々を含む合成画像の例を示す図である。同図では画像処理装置1,2,3,4の夫々から得られた複合現実空間画像を縮小している。なお、各画像の配置順やレイアウトに関してはこれに限定されるものではない。なお、送られた複合現実空間画像が1つの場合にはこの処理を省略し、送られた画像を合成画像として以下扱う。合成器2500によって生成された合成画像はモニタ154に表示される共に、プリントの対象となる。
【0117】
図24に画像処理装置114の基本構成と、選択器2600、合成器2500、そしてシャッター160、プリンタ170との関係を示す。なお、図21と同じ部分については同じ番号を付けており、その説明を省略する。
【0118】
複合現実空間画像取得者102がシャッター160のボタンを押下することにより、CPU121は選択器2600によって選択されている画像処理装置に対して、この画像処理装置のメモリに上記押下時(実際にはタイムディレイが生じるが)に格納されている複合現実空間画像データを画像処理装置114に送信するように指示する。指示された画像処理装置は、生成した複合現実空間画像データを選択器2600を介して合成器2500に送信する。合成器2500では上述の通り、送信された複合現実空間画像を用いて1つの合成画像を生成し、生成した合成画像をメモリ122に送り、メモリ122はこの合成画像を記憶する。これにより画像処理装置114では選択器2600によって選択された画像処理装置により生成された複合現実空間画像データ(言い換えれば、複合現実空間画像取得者以外の観察者に対して提示されている複合現実空間画像のうち、選択された複合現実空間画像のデータ)を含む合成画像を得ることができるので、上述の実施形態と同様に、メモリ122に格納されたこの画像のデータをプリンタ170に出力することができる。
【0119】
なお、選択器2600の制御、すなわち、どの画像処理装置から複合現実空間画像を送信してもらうかの制御は、キーボード124やマウス125を用いて、モニタ154の表示画面上に表示される不図示のGUIなどを用いて設定する。
【0120】
また、合成画像合成器2500にはモニタ154も接続されており、選択器2600によって選択された画像処理装置により生成された複合現実空間画像を含む合成画像はモニタ154に出力されるので、モニタ154にはこの合成画像を表示することができる。モニタ154に表示することによって、複合現実空間画像取得者102はどの画像処理装置で生成された複合現実空間画像を合成画像に含めるかを選択する(選択器2600を制御する)ことができる。
【0121】
複合現実空間画像取得者102以外の観察者に対して複合現実空間画像を提示する画像処理装置では第3の実施形態の通り複合現実空間画像生成プログラムが動作しており、画像処理装置112では第3の実施形態の通り、位置姿勢取得プログラムと仮想空間管理プログラムが動作している。夫々のプログラムの動作については第3の実施形態の説明の通りである。
【0122】
以上の説明により、本実施形態におけるシステムによって、複数の観察者による任意の視点における夫々の複合現実空間画像のうち、複数を選択することができ、選択した複数の複合現実空間画像を、紙やOHPなどの記録媒体によって取得することができる。
【0123】
なお本実施形態に係るシステムでは複合現実空間画像取得者に対する画像処理装置、プリンタは夫々1つずつであったがが、複数であっても良い。また、プリンタはネットワーク180に接続されているどの画像処理装置に接続されていても構わない。
【0124】
[その他の実施の形態]
さらに、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ(CPUあるいはMPU)に、上記実施形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。
【0125】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【0126】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0127】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【0128】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。
【0129】
【発明の効果】
以上の説明により、本発明によって、複合現実空間画像を取得することができる。
【図面の簡単な説明】
【図1】観察者と、この観察者に対して複合現実空間の画像を取得可能にする本発明の第1の実施形態に係るシステムの構成を示す図である。
【図2】上記画像処理装置110の基本構成と共に、シャッター160、プリンタ170との関係を示すブロック図である。
【図3】PC120が上記仮想空間管理プログラムを実行することで行う処理のフローチャートである。
【図4】PC120が上記複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図5】本発明の第2の実施形態に係るシステムの構成を示す。
【図6】画像処理装置510の基本構成と共に、シャッター560、プリンタ570との関係を示すブロック図である。
【図7】画像処理装置112の構成を示す図である。
【図8】本発明の第3の実施形態に係るシステムの構成を示す図である。
【図9】HMDの基本構成を示す図である。
【図10】HMD400の外観図である。
【図11】HMD400の外観図である。
【図12】画像処理装置1210、HMD400の基本構成と共に、シャッター560、プリンタ570との関係を示すブロック図である。
【図13】画像処理装置112の基本構成を示すと共に、画像処理装置112と周辺機器との関係を示す図である。
【図14】画像処理装置112が仮想空間管理プログラムを実行することで行う処理のフローチャートである。
【図15】PC520が複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図16】本発明の第4の実施形態に係るシステムの構成を示す図である。
【図17】PC520、望遠鏡型撮像装置1600の基本構成と共に、シャッター560、プリンタ570との関係を示すブロック図である。
【図18】観察者に対して複合現実空間画像を立体画像として提供するための画像処理装置1810の基本構成とシャッター560、プリンタ570との関係を示す図である。
【図19】PC1800が複合現実空間画像生成プログラムを実行することで行う処理のフローチャートである。
【図20】本発明の第6の実施形態に係るシステムの構成を示す図である。
【図21】画像処理装置114の基本構成と、切り替え器2000、そしてシャッター160、プリンタ170との関係を示す。
【図22】本発明の第7の実施形態に係るシステムの構成を示す図である。
【図23】縮小した4つの複合現実空間画像の夫々を含む合成画像の例を示す図である。
【図24】画像処理装置114の基本構成と、選択器2600、合成器2500、そしてシャッター160、プリンタ170との関係を示す。
Claims (16)
- 画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置であって、
現実空間を撮像する撮像手段と、
当該撮像手段を仮想空間における視点とし、当該現実空間と当該仮想空間とで共有される座標系における当該視点の位置、姿勢に応じた仮想空間の画像を生成する生成手段と、
前記撮像手段により撮像された現実空間の画像と、当該生成手段により生成された当該仮想空間の画像とを重畳して格納することで、夫々の画像が重畳された複合現実空間画像を格納する格納手段と、
当該格納手段に格納された複合現実空間画像をプリントするか否かを指示する指示手段と、
当該指示手段により複合現実空間画像をプリントする指示が入力された場合、前記格納手段に格納されている複合現実空間画像を前記プリント手段に出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記仮想空間の状態情報を管理する管理手段を備え、当該管理手段は、入力された情報、もしくは所定のタイミング毎に当該仮想空間の状態情報を更新し、前記生成手段は更新された仮想空間の状態情報に応じた仮想空間画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記管理手段は、前記画像処理装置とネットワークを介して接続された別個の装置であって、前記管理手段が更新した仮想空間の状態情報は当該ネットワークに接続された夫々の前記画像処理装置が受信可能であることを特徴とする請求項2に記載の画像処理装置。
- 前記格納手段が格納する複合現実空間画像を表示する表示手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
- 前記撮像手段は前記格納手段が格納する複合現実空間画像を表示する表示部を備えるHMDであって、
当該HMDを装着する観察者の視点位置近傍の前記座標系における位置、姿勢を計測するセンサを更に備え、
前記生成手段は、当該センサによる計測結果である前記視点位置近傍の前記座標系における位置姿勢と、事前に測定された定数から計算されることを特徴とする請求項1に記載の画像処理装置。 - 前記視点には第1の視点と当該第1の視点とは異なる第2の視点が含まれ、
前記生成手段は、前記視点位置近傍の前記座標系における位置、姿勢を前記第1の視点の位置、姿勢として、前記座標系における当該第1の視点の位置、姿勢に応じた仮想空間の画像を生成し、更に前記第1の視点の位置から所定の距離ずれた位置と前記第1の視点の姿勢を前記第2の視点の位置、姿勢として、前記座標系における当該第2の視点の位置、姿勢に応じた仮想空間の画像を生成することを特徴とする請求項5に記載の画像処理装置。 - 前記撮像手段は前記格納手段が格納する複合現実空間画像を表示する表示部を備え、固定された支柱に所望の方向に回転が可能なように取り付けられた撮像装置であって、
当該撮像装置の当該取り付け部分の前記座標系における姿勢を計測するセンサを更に備え、
前記生成手段は、当該センサによる計測結果を前記視点の姿勢として用いることを特徴とする請求項1に記載の画像処理装置。 - 仮想空間の画像と現実空間の画像とを重畳させた複合現実空間画像を生成する複数の装置に接続されていると共に、画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置であって、
前記複数の装置から、所望の装置を選択する選択手段と、
当該選択手段により選択した装置から得られる複合現実空間画像をプリントするか否かを指示する指示手段と、
当該指示手段により複合現実空間画像をプリントする指示が入力された場合、当該複合現実空間画像を前記プリント手段に出力する出力手段と
を備えることを特徴とする画像処理装置。 - 更に、前記選択手段で選択された装置から得られる複合現実空間画像を含む1つの画像を生成する生成手段を備え、前記出力手段は、前記指示手段によりプリントする指示が入力された場合、当該1つの画像を前記プリント手段に出力することを特徴とする請求項8に記載の画像処理装置。
- 前記選択手段で選択された装置から得られる複合現実空間画像が複数である場合、前記生成手段は、夫々の複合現実空間画像を縮小し、縮小した夫々の複合現実空間画像を含む1つの画像を生成することを特徴とする請求項9に記載の画像処理装置。
- 前記生成手段が生成した前記1つの画像を表示する表示手段を備えることを特徴とする請求項9又は10に記載の画像処理装置。
- 画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置が行う画像処理方法であって、
現実空間を撮像手段を用いて撮像する撮像工程と、
当該撮像手段を仮想空間における視点とし、当該現実空間と当該仮想空間とで共有される座標系における当該視点の位置、姿勢に応じた仮想空間の画像を生成する生成工程と、
前記撮像工程で撮像された現実空間の画像と、当該生成工程で生成された当該仮想空間の画像とを重畳して格納することで、夫々の画像が重畳された複合現実空間画像をメモリに格納する格納工程と、
当該メモリに格納された複合現実空間画像をプリントするか否かを指示する指示工程と、
当該指示工程で複合現実空間画像をプリントする指示が入力された場合、前記メモリに格納されている複合現実空間画像を前記プリント手段に出力する出力工程と
を備えることを特徴とする画像処理方法。 - 仮想空間の画像と現実空間の画像とを重畳させた複合現実空間画像を生成する複数の装置に接続されていると共に、画像をプリントするプリント手段に接続されており、当該プリント手段に対してプリントする画像を出力可能な画像処理装置が行う画像処理方法であって、
前記複数の装置から、所望の装置を選択する選択工程と、
当該選択工程で選択した装置から得られる複合現実空間画像をプリントするか否かを指示する指示工程と、
当該指示工程で複合現実空間画像をプリントする指示が入力された場合、当該複合現実空間画像を前記プリント手段に出力する出力工程と
を備えることを特徴とする画像処理方法。 - コンピュータを請求項1乃至11に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
- コンピュータに請求項12又は13に記載の画像処理方法を実行させることを特徴とするコンピュータプログラム。
- 請求項14又は15に記載のコンピュータプログラムを格納するコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002301651A JP4125085B2 (ja) | 2002-10-16 | 2002-10-16 | 画像処理装置、画像処理方法 |
US10/684,401 US7427996B2 (en) | 2002-10-16 | 2003-10-15 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002301651A JP4125085B2 (ja) | 2002-10-16 | 2002-10-16 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004139231A true JP2004139231A (ja) | 2004-05-13 |
JP2004139231A5 JP2004139231A5 (ja) | 2008-02-28 |
JP4125085B2 JP4125085B2 (ja) | 2008-07-23 |
Family
ID=32449942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002301651A Expired - Fee Related JP4125085B2 (ja) | 2002-10-16 | 2002-10-16 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4125085B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293605A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法およびシステム |
JP2006293604A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
US7843470B2 (en) * | 2005-01-31 | 2010-11-30 | Canon Kabushiki Kaisha | System, image processing apparatus, and information processing method |
JP6470374B1 (ja) * | 2017-10-03 | 2019-02-13 | 株式会社コロプラ | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000334168A (ja) * | 1999-05-26 | 2000-12-05 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
JP2001096063A (ja) * | 1999-07-23 | 2001-04-10 | Fuji Photo Film Co Ltd | ゲームシーン再生処理機およびシステム |
JP2001101252A (ja) * | 1999-09-30 | 2001-04-13 | Kumagai Gumi Co Ltd | 建設予定地に構造物が建設された状態の景観を疑似体験するための方法及び装置 |
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
-
2002
- 2002-10-16 JP JP2002301651A patent/JP4125085B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000334168A (ja) * | 1999-05-26 | 2000-12-05 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
JP2001096063A (ja) * | 1999-07-23 | 2001-04-10 | Fuji Photo Film Co Ltd | ゲームシーン再生処理機およびシステム |
JP2001101252A (ja) * | 1999-09-30 | 2001-04-13 | Kumagai Gumi Co Ltd | 建設予定地に構造物が建設された状態の景観を疑似体験するための方法及び装置 |
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
Non-Patent Citations (2)
Title |
---|
NINTENDO64 ポケモンスナップ攻略ガイドブック, vol. 第1版, JPN6008003393, 14 May 1999 (1999-05-14), JP, pages 7 - 18, ISSN: 0000967956 * |
パイロットウイングス64 必勝攻略法, vol. 第1版, JPN6008003394, 20 September 1996 (1996-09-20), JP, pages 5, ISSN: 0000967957 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7843470B2 (en) * | 2005-01-31 | 2010-11-30 | Canon Kabushiki Kaisha | System, image processing apparatus, and information processing method |
JP2006293605A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法およびシステム |
JP2006293604A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
JP4677269B2 (ja) * | 2005-04-08 | 2011-04-27 | キヤノン株式会社 | 情報処理方法およびシステム |
JP4738870B2 (ja) * | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
JP6470374B1 (ja) * | 2017-10-03 | 2019-02-13 | 株式会社コロプラ | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 |
JP2019067222A (ja) * | 2017-10-03 | 2019-04-25 | 株式会社コロプラ | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4125085B2 (ja) | 2008-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7427996B2 (en) | Image processing apparatus and image processing method | |
CN105103034B (zh) | 显示器 | |
JP4757115B2 (ja) | 画像処理装置、画像処理方法 | |
WO2018056155A1 (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
US10386633B2 (en) | Virtual object display system, and display control method and display control program for the same | |
JP6807455B2 (ja) | 情報処理装置および画像生成方法 | |
JP6422584B2 (ja) | 情報処理装置 | |
JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
JP2007034628A (ja) | 画像処理方法及び装置 | |
WO2020185405A1 (en) | Registration of local content between first and second augmented reality viewers | |
JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
JP4580678B2 (ja) | 注視点位置表示装置 | |
JP4708590B2 (ja) | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム | |
JP2006012042A (ja) | 画像生成方法及び装置 | |
JP6641122B2 (ja) | 表示装置及び情報処理装置及びその制御方法 | |
JP6649010B2 (ja) | 情報処理装置 | |
JP4125085B2 (ja) | 画像処理装置、画像処理方法 | |
JP2018088604A (ja) | 画像表示装置、画像表示方法、システム | |
JP2024013947A (ja) | 撮像装置、撮像装置の撮像方法およびプログラム | |
JP4217661B2 (ja) | 画像処理方法、画像処理装置 | |
JP2006197036A (ja) | 立体画像表示装置および立体画像表示方法 | |
JP2005128877A (ja) | 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム | |
JP2005050043A (ja) | 画像処理方法、画像処理装置 | |
JP7357554B2 (ja) | 同期制御装置、同期制御装置の制御方法、システム | |
JP2019121074A (ja) | Vr空間における自撮り装置、方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050607 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080418 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080507 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |