JP2007004716A - Image processing method and image processor - Google Patents
Image processing method and image processor Download PDFInfo
- Publication number
- JP2007004716A JP2007004716A JP2005187086A JP2005187086A JP2007004716A JP 2007004716 A JP2007004716 A JP 2007004716A JP 2005187086 A JP2005187086 A JP 2005187086A JP 2005187086 A JP2005187086 A JP 2005187086A JP 2007004716 A JP2007004716 A JP 2007004716A
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- viewpoint
- memory
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、現実空間の画像、特に現実空間に重畳させるための仮想空間の画像を生成するための技術に関するものである。 The present invention relates to a technique for generating a real space image, particularly a virtual space image to be superimposed on the real space.
近年、複合現実感技術(MR(Mixed Reality)技術)がもてはやされつつある。複合現実感技術とは、実写とCGとを合成表示する為の技術である。例えば、眼前にCGの自動車が現れたり、3次元CAD(Computer Aided Design;以下3D−CAD)で設計中の電子炊飯器があったり、というような体験をさせるためのものである。 In recent years, mixed reality technology (MR (Mixed Reality) technology) has been gained. The mixed reality technology is a technology for compositing and displaying live-action and CG. For example, a CG car appears in front of the eyes, or there is an electronic rice cooker that is being designed with 3D CAD (Computer Aided Design; hereinafter referred to as 3D-CAD).
工業製品製造業では近年、メカ設計や意匠設計に3D−CADを用いるようになってきている。そのため、従来行っていたような製品の実機モックアップ(模型)を用いたメカ検討や意匠検討を、実機モックアップを作成せずに、あるいは作成する前に、コンピュータ画面上に3Dモデルを表示することにより行うことが可能になってきている。 In the industrial product manufacturing industry, 3D-CAD has recently been used for mechanical design and design design. Therefore, the 3D model is displayed on the computer screen before or after creating the actual machine mockup or the mechanical examination using the actual machine mockup (model) of the product as was done conventionally. It has become possible to do this.
このようなコンピュータ内部の仮想世界で再現された検討用3Dモデルのことをディジタルモックアップ(DM,あるいはDMU)、デジタルモックアップの映し出された画面を多人数で同時に観察し、検討を行うことをディジタルモックアップレビュー(DMR)と呼ぶ。 The 3D model for examination reproduced in the virtual world inside the computer is to be examined by simultaneously observing the digital mockup (DM or DMU) and the screen on which the digital mockup is projected by a large number of people. Called Digital Mockup Review (DMR).
DMRでは様々な角度から対象となる製品のディジタルモックアップの観察を行う。特定の部品を動かしたり、止めたりしながら、メカ機構・デザインの評価が最も有効な位置からディジタルモックアップを観察するために、コンピュータ内部のカメラの位置・姿勢を移動したりする。 In DMR, the digital mockup of the target product is observed from various angles. While observing the digital mockup from the position where the mechanical mechanism / design evaluation is most effective, the position / posture of the camera inside the computer is moved while moving or stopping specific parts.
しかしながら、従来のDMRにおいては、ディジタルモックアップを撮影するコンピュータ内部の仮想世界のカメラの位置・姿勢を所望の場所に移動することが難しく、またコンピュータ内部という完全な仮想世界の画像しか観察できないので、ディジタルモックアップの大きさを把握しにくいという問題があった。 However, in the conventional DMR, it is difficult to move the position / posture of the camera in the virtual world inside the computer that captures the digital mockup to a desired location, and only a complete virtual world image inside the computer can be observed. There was a problem that it was difficult to grasp the size of the digital mockup.
そこで、MR技術を用いると、コンピュータ内部の仮想世界のカメラの位置・姿勢の移動は単に現実のカメラを移動するだけでよく、現実の世界の中に仮想のディジタルモックアップが重畳されて表示されるので、ディジタルモックアップの大きさを容易に把握できるという利点がある。そのため、DMRの分野において、MR技術は有望視されている。
しかしながら、被験者が操作するカメラの位置・姿勢の動きにつられて複合現実世界のカメラの位置・姿勢も動いてしまう。そのため、観察する複合現実世界を静止した視点から観測することが困難となり、細かいメカ機構や意匠について多人数で観察するDMRでは、注目したい部分を注目しつづけるのが困難になる。さらに、ある視点から観察した複合現実世界内の特定部分を指示するのが困難、あるいは不可能となる。 However, the position / posture of the camera in the mixed reality world also moves with the movement of the position / posture of the camera operated by the subject. Therefore, it becomes difficult to observe the mixed reality world to be observed from a stationary viewpoint, and it is difficult to keep an eye on a portion to be noticed in a DMR that observes a detailed mechanical mechanism and design by a large number of people. Furthermore, it is difficult or impossible to indicate a specific part in the mixed reality world observed from a certain viewpoint.
本発明は以上の問題に鑑みてなされたものであり、仮想空間中において所望とする箇所を静止した視点から見ることを可能とする技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that enables a desired location in a virtual space to be viewed from a stationary viewpoint.
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。 In order to achieve the object of the present invention, for example, an image processing method of the present invention comprises the following arrangement.
即ち、観察者の視点の位置姿勢を取得する取得工程と、
前記取得工程で位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御工程と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御する第1の制御工程と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする。
That is, an acquisition step of acquiring the position and orientation of the observer's viewpoint,
Each time the position and orientation are acquired in the acquisition step, a storage control step of overwriting and storing the acquired position and orientation data in a memory; and
A first control step for controlling processing by the storage control step so as not to perform storage processing for the memory when a first instruction is detected;
Generating a virtual space image viewed from a viewpoint having a position and orientation stored in the memory;
An output step of outputting the image generated in the generation step.
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。 In order to achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement.
即ち、観察者の視点の位置姿勢を取得する取得手段と、
前記取得手段が位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御手段と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御手段を制御する第1の制御手段と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする。
That is, acquisition means for acquiring the position and orientation of the observer's viewpoint,
Each time the acquisition unit acquires a position and orientation, a storage control unit that overwrites and stores the acquired position and orientation data in a memory; and
A first control unit that controls the storage control unit so as not to perform a storage process on the memory when a first instruction is detected;
Generating means for generating an image of a virtual space seen from a viewpoint having a position and orientation stored in the memory;
Output means for outputting the image generated by the generating means.
本発明の構成により、仮想空間中において所望とする箇所を静止した視点から見ることができる。 With the configuration of the present invention, a desired location in the virtual space can be viewed from a stationary viewpoint.
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。 Hereinafter, the present invention will be described in detail according to preferred embodiments with reference to the accompanying drawings.
[第1の実施形態]
<従来のシステムについて>
先ず、MR技術を用いてDMRを行うための従来のシステムについて説明する。
[First Embodiment]
<Regarding the conventional system>
First, a conventional system for performing DMR using MR technology will be described.
図1は、MR技術を用いてDMRを行うための従来のシステムの構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of a conventional system for performing DMR using MR technology.
観察者100の頭部には、頭部装着型表示装置(所謂HMD(HeadMount Display))110が装着されている。
A head-mounted display device (a so-called HMD (Head Mount Display)) 110 is mounted on the head of the
図2は、HMD110の構成を示す図である。
FIG. 2 is a diagram illustrating the configuration of the
HMD110は、LCD等の小型表示装置112と、小型ビデオカメラ111、及びプリズム114、115で構成される。本来ならば観察者100が見ているであろう現実空間は映像として小型ビデオカメラ111により撮像され、観察者100は小型表示装置112に表示される映像を見る。
The HMD 110 includes a
また、小型ビデオカメラ111により撮像された現実空間の画像は後段のコンピュータ140に対して出力する。なお、以下では、小型ビデオカメラ111を「観察者100の視点」と呼称する場合がある。
The real space image captured by the
位置姿勢センサ113はHMD110に一体となって取り付けられており、自身の位置姿勢を計測するものである。このような位置姿勢センサ113には、米国Polhemus社製FASTRAK(登録商標)等が利用可能である。なお、位置姿勢センサ113がFASTRAKの場合、トランスミッタ130、及び本体131と組み合わせて使用する。
The position /
例えば、位置姿勢センサ113が磁気センサの場合、トランスミッタ130からは磁場が発生されるので、位置姿勢センサ113は自身の位置姿勢に応じた磁気を検知し、検知した結果を示す信号を本体131に出力する。本体131は、受けた信号に基づいて、位置姿勢センサ113の位置姿勢を示すデータを生成する。生成したデータは後段のコンピュータ140に対して出力する。このようにして取得される位置姿勢のデータは、現実空間中におけるトランスミッタ130の位置を原点とし、この原点で互いに直交する3軸ををそれぞれx、y、z軸とする座標系(センサ座標系)における位置姿勢を示すデータである。なお、位置姿勢センサを用いて位置姿勢センサ自身の位置姿勢を取得するための技術については周知のものであるので、これ以上の説明は省略する。
For example, when the position /
また、同図において160は観察者100に対して複合現実空間を提示可能な領域を示すものであり、観察者100は同図160で示す領域内で現実空間と仮想空間とが合成された複合現実空間を体感することができる。従って、領域160内であれば、任意の位置姿勢、サイズでもって仮想物体を配置することができる。同図では、この複合現実空間の領域160内には現実物体170と仮想物体180とが存在している。
In the figure,
コンピュータ140は、本体131から出力される位置姿勢のデータを用いて、観察者の視点から見える仮想空間の画像を生成する。そして生成した仮想空間の画像を、HMD110(厳密には小型ビデオカメラ111)から出力される現実空間の画像上に重畳させて、HMD110に備わっている小型表示装置112、及び後述する多人数向け表示装置120に対して出力する。領域160内における仮想物体180はこのコンピュータ140が生成したものである。
The
多人数向け表示装置120は、観察者100以外の観察者に対しても、観察者100が観察する画像(小型表示装置112に表示されている複合現実空間の画像)を提供すべく、コンピュータ140から出力された画像を表示する。これにより、観察者100以外に、DMRに参加する参加者は、多人数向け表示装置120に表示される画像を観察しながら、メカ機構や意匠の検討を行うことができる。
The
図3は、コンピュータ140を中心とした上記システムの機能構成を示した図である。同図に示す如く、コンピュータ140は、ビデオ映像取得部301、カメラ位置姿勢出力部302、CG・ビデオ表示部303、CG・ビデオ合成部304、CG生成部305により構成されている。また、カメラ位置姿勢出力部302内にはカメラ位置姿勢取得部302aが備わっている。
FIG. 3 is a diagram showing a functional configuration of the system centered on the
カメラ位置姿勢取得部302aは、位置姿勢センサ113が計測した位置姿勢のデータを用いて、観察者100の視点の位置姿勢を示すデータ(CG描画用カメラ位置姿勢データ302b)を更新する処理を行う。ここで、周知の通り、位置姿勢センサ113と観察者100の視点との位置姿勢関係を予めバイアスデータとして求めておき、このバイアスデータと、位置姿勢センサ113が計測した位置姿勢のデータ(即ち、位置姿勢センサ113自身のセンサ座標系における位置姿勢のデータ)とを加算することで、視点の位置姿勢のデータを求めることができる。従って、CG描画用カメラ位置姿勢データ302bは、この視点の位置姿勢のデータであり、カメラ位置姿勢取得部302aは、位置姿勢センサ113が計測した位置姿勢のデータを取得する毎に、上述のようにして視点の位置姿勢のデータを求め、求めたデータでもってCG描画用カメラ位置姿勢データ302bを更新する処理を行う。
The camera position / orientation acquisition unit 302a uses the position / orientation data measured by the position /
CGデータ306は、仮想空間の画像を生成するために必要なデータ群であり、例えば仮想空間を構成する各仮想物体がポリゴンでもって構成されている場合には、ポリゴンの法線ベクトルデータ、ポリゴンを構成する各頂点の座標データ、ポリゴンカラーデータ、そしてこの仮想物体にテクスチャマッピングを施す場合には、テクスチャデータもこのCGデータ306に含まれることになる。なお、このCGデータ306は、上記ディジタルモックアップのデータであっても良いし、3D−CAD等で作成されたもの、あるいはそれを本システム向けに変換したものであっても良い。
The
CG生成部305は、CG描画用カメラ位置姿勢データ302bと、CGデータ306とを用いて、観察者100の視点から見える仮想空間の画像を生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成する処理については周知のものであるので、これ以上の説明は省略する。
The
ビデオ映像取得部301は、HMD110に備わっている小型ビデオカメラ111から出力された現実空間の画像を取得し、後段のCG・ビデオ合成部304に出力する。CG・ビデオ合成部304は、ビデオ映像取得部301から受けた現実空間の画像上に、CG生成部305が生成した仮想空間の画像を重畳させて、複合現実空間の画像を生成し、CG・ビデオ表示部303に出力する。
The video
CG・ビデオ表示部303は、受けた複合現実空間の画像を、HMD110に備わっている小型表示装置112や、多人数向け表示装置120に対して出力する。
The CG /
以上の構成により、観察者100の視点の位置姿勢に応じて見える複合現実空間の画像を生成し、HMD110に備わっている小型表示装置112や、多人数向け表示装置120に対して出力することができる。
With the above configuration, an image of the mixed reality space that can be seen according to the position and orientation of the viewpoint of the
<本実施形態に係るシステムについて>
次に、本実施形態に係るシステムについて説明する。
<System according to this embodiment>
Next, a system according to the present embodiment will be described.
図4は、本実施形態に係るシステムの構成例を示す図である。図1と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るシステムは、図1に示した構成に加え、押しボタンスイッチ401がコンピュータ140に接続されている点が、従来と異なる。
FIG. 4 is a diagram illustrating a configuration example of a system according to the present embodiment. The same parts as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted. The system according to the present embodiment is different from the conventional system in that a
押しボタンスイッチ401は、観察者100が手に保持するものであり、例えば、観察者100が複合現実空間を観察していて、検討対象の仮想物体が最も観察しやすい位置姿勢に自身の視点を移動させ、小型表示装置112に検討対象の仮想物体が最も観察しやすい状態で表示されている時に押下するものである。押しボタンスイッチ401を押下すると、押下した旨を示す信号がコンピュータ140に出力される。
The
図5は、本実施形態に係るシステムの機能構成を示すブロック図である。図3と同じ部分については同じ番号を付けており、その説明は省略する。図3に示した構成と異なるのは、コンピュータ140の機能構成が図3に示した構成に加え、イベント検出部501が更に付加されているとともに、カメラ位置姿勢取得部302aがカメラ位置姿勢取得部302cとなっている点にある。
FIG. 5 is a block diagram showing a functional configuration of the system according to the present embodiment. The same parts as those in FIG. 3 are denoted by the same reference numerals, and the description thereof is omitted. 3 is different from the configuration shown in FIG. 3 in that the function configuration of the
イベント検出部501は、押しボタンスイッチ401が押下された旨を示す信号を押しボタンスイッチ401から受けると、これを検知し、カメラ位置姿勢取得部302cに通知する。カメラ位置姿勢取得部302cの基本動作についてはカメラ位置姿勢取得部302aの動作に加え、イベント検出部501から通知を受けると、CG描画用カメラ位置姿勢データ302bの更新を停止する。即ち、押しボタンスイッチ401が押下されると、そのタイミングに応じてCG描画用カメラ位置姿勢データ302bの更新が停止するので、押しボタンスイッチ401が押下されたタイミング以降は同じ位置姿勢の視点から見える仮想空間画像が生成されることになる。即ち、静止した視点から見える仮想空間の画像を得ることができる。
When the event detection unit 501 receives a signal indicating that the
なお、再度押しボタンスイッチ401が押下されると、イベント検出部501は同様にカメラ位置姿勢取得部302cに対して通知を行い、カメラ位置姿勢取得部302cは、CG描画用カメラ位置姿勢データ302bの更新を再開する。つまり、押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替えることができる。
When the
図6は、押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替える様子を示すステートチャートを示す図である。
FIG. 6 is a diagram illustrating a state chart showing how to switch whether to update the CG drawing camera position /
コンピュータ140を起動したときには、カメラ位置姿勢取得部302cはCG描画用カメラ位置姿勢データ302bを更新するよう動作する。即ち、上述の通り、位置姿勢センサ113が計測した自身の位置姿勢のデータを本体131を介して受けると、受けたデータに基づいて視点の位置姿勢のデータを求め、求めたデータでもって、CG描画用カメラ位置姿勢データ302bを更新する。
When the
ここで、観察者100が押しボタンスイッチ401を押下すると、イベント検出部501は押下された旨をカメラ位置姿勢取得部302cに通知するので、カメラ位置姿勢取得部302cはCG描画用カメラ位置姿勢データ302bの更新を停止するよう動作する。即ち、上述の通り、位置姿勢センサ113が計測した自身の位置姿勢のデータを本体131を介して受けても、CG描画用カメラ位置姿勢データ302bに対しては何等操作しない。従って、イベント検出部501から通知を受けた以降はCG描画用カメラ位置姿勢データ302bは何等変化しない。
Here, when the
従って、この状態で観察者100の視点の位置姿勢がどのように変化しようとも、CG描画用カメラ位置姿勢データ302bは何等変化しないので、小型表示装置112や多人数向け表示装置120に表示される複合現実空間の画像中における各仮想物体は静止した視点から見たものとなる。これにより、例えば、観察者100が、検討対象の仮想物体が最も観察しやすい位置姿勢に自身の視点を移動させ、そこで押しボタンスイッチ401を押下すると、多人数向け表示装置120には、押しボタンスイッチ401を押下した時点における観察者100の視点から見える仮想空間の画像が現実空間の画像に重畳された状態で表示されるので、この検討対象の仮想物体に対して多人数向け表示装置120の表示画面上で指し示すことが容易になり、多人数での検討が行いやすくなる。
Therefore, no matter how the position / orientation of the viewpoint of the
なお、再度押しボタンスイッチ401が押下されると、イベント検出部501は同様にカメラ位置姿勢取得部302cに対して通知を行い、カメラ位置姿勢取得部302cは、再度、CG描画用カメラ位置姿勢データ302bの更新を再開する。
When the
図8は、コンピュータ140のハードウェア構成を示す図である。なお、このようなコンピュータ140としては一般のPC(パーソナルコンピュータ)やWS(ワークステーション)等が適用可能である。
FIG. 8 is a diagram illustrating a hardware configuration of the
801はCPUで、RAM802やROM803に格納されているプログラムやデータを用いてコンピュータ140全体の制御を行うと共に、コンピュータ140が行う後述の各処理を実行する。
802はRAMで、外部記憶装置806からロードされたプログラムやデータを一時的に記憶するためのエリア、I/F807を介して受信した各種のデータを一時的に記憶するためのエリア、CPU801が各種の処理を実行するために用いるワークエリアなど、各種のエリアを適宜提供することができる。
803はROMで、本コンピュータ140の設定データやブートプログラムなどを格納する。
A
804は操作部で、キーボードやマウスなどにより構成されており、本コンピュータ140の操作者が操作することで、各種の指示をCPU801に対して入力することができる。この操作部804を上記押しボタンスイッチ401の代わりに用いても良い。
An
805は表示部で、CRTや液晶画面などにより構成されており、CPU801による処理結果を画像や文字などでもって表示することができる。この表示部805を上記多人数向け表示装置120として用いるようにしても良い。
A
806は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ここにOS(オペレーティングシステム)や、コンピュータ140が行う各種の処理をCPU801に実行させる為のプログラムやデータ(上記バイアスデータやCGデータ306等を含む)が保存されており、これらは必要に応じてCPU801による制御に従ってRAM802にロードされる。
Reference numeral 806 denotes an external storage device, which is a large-capacity information storage device typified by a hard disk drive device, in which an OS (Operating System) and programs and data for causing the
807はI/Fで、ここに上記HMD110、本体131、多人数向け表示装置120、押しボタンスイッチ401等を接続することができ、これらの装置とのデータ通信はこのI/F807を介して行われる。なお、装置毎にI/F807を設けるようにしても良い。
808は上述の各部を繋ぐバスである。
A
次に、このようなコンピュータ140によって1フレーム分の複合現実空間の画像を生成する為の処理について、同処理のフローチャートを示す図9を用いて説明する。なお、同図のフローチャートに従った処理をCPU801に実行させるためのプログラムやデータは外部記憶装置806内に保存されており、これらは適宜CPU801による制御に従ってRAM802にロードされ、CPU801がこれを用いて処理を実行することで、コンピュータ140は以下説明する各処理を実行することになる。
Next, processing for generating an image of the mixed reality space for one frame by the
HMD110に備わっている小型ビデオカメラ111により撮像された現実空間の画像が順次I/F807を介して本コンピュータ140に入力されるので、CPU801は順次入力される各画像を、RAM802内のビデオバッファに格納する(ステップS901)。
Since real space images captured by the
一方、本体131からは、位置姿勢センサ113の位置姿勢を示すデータがI/F807を介して本コンピュータ140内に入力されるので、CPU801は入力した位置姿勢のデータをRAM802内の所定のエリア、若しくは外部記憶装置806内に格納する(ステップS902)。なお、ステップS901における処理とステップS902における処理とはこの順に行われることに限定するものではないし、周知のマルチスレッド処理でもって並行して行うようにしても良い。
On the other hand, since data indicating the position and orientation of the position and
そしてCPU801は、ステップS902で取得した位置姿勢のデータと、外部記憶装置806からRAM802にロードしたバイアスデータとを加算することで、視点の位置姿勢を求める(ステップS903)。このように、計測した位置姿勢から、視点の位置姿勢を求めるための処理については周知のものであるので、これに関する説明は省略する。
The
次に、CPU801は、観察者100が押しボタンスイッチ401を押下した旨を示す信号が押しボタンスイッチ401からI/F807を介して本コンピュータ140に入力されたかをチェックし(ステップS904)、押下した旨を検知していない場合には処理をステップS905に進め、ステップS903で求めた視点の位置姿勢のデータを、RAM802内、若しくは外部記憶装置806内に設けられているエリア(以下、位置姿勢データ記憶エリアと呼称する)内に上書き格納することで、この位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」を更新する処理を行う(ステップS905)。
Next, the
そして、次に、CPU801は、外部記憶装置806からRAM802にロードしたCGデータ306と、位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」とを用いて、視点から見える仮想空間の画像を生成する処理を行う(ステップS906)。なお、コンピュータ140が画像処理専用のハードウェアを有している場合には、本ステップにおける処理はこの画像処理専用のハードウェアが行うようにしても良い。
Next, the
一方、押下した旨を検知した場合には処理をステップS904からステップS906に進める。即ち、押しボタンスイッチ401の押下を検知した場合には、ステップS905における処理は行わないので、ステップS906で生成する仮想空間の画像の視点は、従前に位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」に従ったものとなる。
On the other hand, if it is detected that the button has been pressed, the process proceeds from step S904 to step S906. In other words, when it is detected that the
次に、CPU801は、ステップS901で上記ビデオバッファ内に格納した現実空間の画像上に、ステップS906で生成した仮想空間の画像を重畳させることで、複合現実空間の画像を生成し(ステップS907)、これをI/F807を介してHMD110に備わっている小型表示装置112、及び多人数向け表示装置120に対して出力する(ステップS908)。
Next, the
なお、図9のフローチャートに従った処理は、コンピュータ140に予め、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納するためのモード(第1のモード)を設定しておき、押しボタンスイッチ401が押下されると、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納しないモード(第2のモード)に切り替えるものとして説明している。
In the process according to the flowchart of FIG. 9, a mode (first mode) for storing viewpoint position / orientation data in the position / orientation data storage area is set in advance in the
また、第2のモードが設定されている場合に、押しボタンスイッチ401が押下された場合の処理については、図9のフローチャートにおいて、ステップS904における分岐先を逆にすればよい。即ち、押しボタンスイッチ401の押下を検知した場合には処理をステップS905に進め、検知していない場合には、処理をステップS906に進める。
Further, regarding the processing when the
即ち、押しボタンスイッチ401を押下する毎に、第1のモードと第2のモードを交互に切り替えることになる。
That is, every time the
[第2の実施形態]
第1の実施形態では、押しボタンスイッチ401を押下する毎に、第1のモードと第2のモードとを交互に切り替えていたが、押しボタンスイッチ401以外のものを用いてモードを切り替えるようにしても良い。例えば、所定の音声を入力する毎にモードを切り替えるようにしても良いし、観察者100が所定のジェスチャを行い、コンピュータ140がこれを認識する毎にモードを切り替えるようにしても良い。
[Second Embodiment]
In the first embodiment, every time the
また、第1の実施形態では図6に示す如く、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開する。しかし、図7に示す如く、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、直接、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開するのではなく、以下説明する処理を行う。
In the first embodiment, as shown in FIG. 6, when storing the position and orientation data of the viewpoint in the position and orientation data storage area is prohibited, if the
即ち、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、押下を検知したタイミング近傍で求めた視点の位置姿勢のデータと、位置姿勢データ記憶エリアに格納されている視点の位置姿勢のデータとの差分値(位置同士の差分、姿勢同士の差分)を求め、位置同士の差分値、若しくは姿勢同士の差分が所定値以上である場合には、その差分値を1フレーム毎に所定量(例えば差分値の1/20)だけ減少させるよう、位置姿勢データ記憶エリアに格納されている視点の位置姿勢のデータを補正する。そして何れかの差分値、若しくは両方の差分値が所定値以下となった場合には、第1の実施形態と同様、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開する。
That is, when storing the position / orientation data of the viewpoint in the position / orientation data storage area, when the
また、第1の実施形態では、観察者100は自身の頭部にHMD110を装着し、このHMD110に備わっている小型表示装置112に表示されている複合現実空間の画像を観察しているが、観察者100もその他の観察者と同様に多人数向け表示装置120に表示されている画像を観察して同様の検討を行うために、以下のような変形例も考えられる。
In the first embodiment, the
即ち、観察者100の頭部には少なくとも位置姿勢センサ113と小型ビデオカメラ111とを装着し、観察者100の視点から見える現実空間の画像、及び位置姿勢センサ113の位置姿勢のデータをコンピュータ140に出力する。コンピュータ140は上述の通り、観察者100の視点から見える複合現実空間の画像を生成するので、これを多人数向け表示装置120に対して出力する。
That is, at least the position /
これにより、観察者100はHMD110を介してではなく、多人数向け表示装置120を介して、自身の視点から見える複合現実空間の画像を観察し、その他の観察者と同様の検討を行うことができる。
Thereby, the
[その他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
[Other Embodiments]
An object of the present invention is to supply a recording medium (or storage medium) that records software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer of the system or apparatus (or CPU or MPU). Needless to say, this can also be achieved by reading and executing the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the recording medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。 When the present invention is applied to the recording medium, program code corresponding to the flowchart described above is stored in the recording medium.
Claims (6)
前記取得工程で位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御工程と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御する第1の制御工程と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする画像処理方法。 An acquisition step of acquiring the position and orientation of the observer's viewpoint;
Each time the position and orientation are acquired in the acquisition step, a storage control step of overwriting and storing the acquired position and orientation data in a memory; and
A first control step for controlling processing by the storage control step so as not to perform storage processing for the memory when a first instruction is detected;
Generating a virtual space image viewed from a viewpoint having a position and orientation stored in the memory;
An image processing method comprising: an output step of outputting the image generated in the generation step.
前記第1の指示とは異なる第2の指示を検知した場合には、前記メモリに対する格納処理を再開するよう、前記格納制御工程による処理を制御する第2の制御工程を更に備えることを特徴とする請求項1に記載の画像処理方法。 In the first control step, when the storage control process is controlled so as not to perform the storage process for the memory,
And a second control step of controlling processing by the storage control step so as to resume storage processing for the memory when a second instruction different from the first instruction is detected. The image processing method according to claim 1.
前記視点から見える現実空間の画像を取得する画像取得工程を備え、
前記出力工程では、前記生成工程で生成した仮想空間の画像を、前記画像取得工程で取得した現実空間の画像上に重畳させて出力することを特徴とする請求項1又は2に記載の画像処理方法。 Furthermore,
Comprising an image acquisition step of acquiring an image of a real space visible from the viewpoint;
3. The image processing according to claim 1, wherein in the output step, the image of the virtual space generated in the generation step is superimposed and output on the image of the real space acquired in the image acquisition step. Method.
前記取得手段が位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御手段と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御手段を制御する第1の制御手段と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする画像処理装置。 Acquisition means for acquiring the position and orientation of the observer's viewpoint;
Each time the acquisition unit acquires a position and orientation, a storage control unit that overwrites and stores the acquired position and orientation data in a memory; and
A first control unit that controls the storage control unit so as not to perform a storage process on the memory when a first instruction is detected;
Generating means for generating an image of a virtual space seen from a viewpoint having a position and orientation stored in the memory;
An image processing apparatus comprising: an output unit that outputs an image generated by the generation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005187086A JP2007004716A (en) | 2005-06-27 | 2005-06-27 | Image processing method and image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005187086A JP2007004716A (en) | 2005-06-27 | 2005-06-27 | Image processing method and image processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007004716A true JP2007004716A (en) | 2007-01-11 |
Family
ID=37690239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005187086A Withdrawn JP2007004716A (en) | 2005-06-27 | 2005-06-27 | Image processing method and image processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007004716A (en) |
-
2005
- 2005-06-27 JP JP2005187086A patent/JP2007004716A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102598116B1 (en) | Technique for recording augmented reality data | |
JP4533087B2 (en) | Image processing method and image processing apparatus | |
JP4933406B2 (en) | Image processing apparatus and image processing method | |
JP4227561B2 (en) | Image processing method and image processing apparatus | |
US8994729B2 (en) | Method for simulating operation of object and apparatus for the same | |
JP4847203B2 (en) | Information processing method and information processing apparatus | |
JP2009025918A (en) | Image processor and image processing method | |
JP2008299669A (en) | Head-mounted image display device and control method thereof | |
JP2010039556A (en) | System | |
JP2009104249A (en) | Image processing apparatus, and image processing method | |
JP2006318095A (en) | Image processing method and image processor | |
JP2012053631A (en) | Information processor and information processing method | |
JP2007004713A (en) | Image processing method and image processor | |
JP4574323B2 (en) | Image processing method and image processing apparatus | |
JP2007004714A (en) | Information processing method and information processing unit | |
JP2005339377A (en) | Image processing method and image processor | |
JP2009087161A (en) | Image processor and image processing method | |
JP2018063567A (en) | Image processing device, image processing method and program | |
JP2006215750A (en) | Image processing method, image processor | |
JP7279113B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM | |
JP4689344B2 (en) | Information processing method and information processing apparatus | |
JP2006343954A (en) | Image processing method and image processor | |
JP2005025563A (en) | Virtual reality generation method | |
JP4217661B2 (en) | Image processing method and image processing apparatus | |
JP2007004716A (en) | Image processing method and image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080902 |