JP2007004716A - Image processing method and image processor - Google Patents

Image processing method and image processor Download PDF

Info

Publication number
JP2007004716A
JP2007004716A JP2005187086A JP2005187086A JP2007004716A JP 2007004716 A JP2007004716 A JP 2007004716A JP 2005187086 A JP2005187086 A JP 2005187086A JP 2005187086 A JP2005187086 A JP 2005187086A JP 2007004716 A JP2007004716 A JP 2007004716A
Authority
JP
Japan
Prior art keywords
image
orientation
viewpoint
memory
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005187086A
Other languages
Japanese (ja)
Inventor
Hideo Noro
英生 野呂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005187086A priority Critical patent/JP2007004716A/en
Publication of JP2007004716A publication Critical patent/JP2007004716A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology to view a desired place from a stationary viewpoint in a virtual space. <P>SOLUTION: Everytime the position and posture of the viewpoint of an observer are acquired, data of the acquired position and posture is overridden in a memory and stored (S905). When a first indication is detected, processing is controlled not to perform storage processing in the memory (S904). The image of the virtual space to be viewed from the viewpoint having the position and posture stored in the memory is generated (S906) and the generated image is outputted (S908). <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、現実空間の画像、特に現実空間に重畳させるための仮想空間の画像を生成するための技術に関するものである。   The present invention relates to a technique for generating a real space image, particularly a virtual space image to be superimposed on the real space.

近年、複合現実感技術(MR(Mixed Reality)技術)がもてはやされつつある。複合現実感技術とは、実写とCGとを合成表示する為の技術である。例えば、眼前にCGの自動車が現れたり、3次元CAD(Computer Aided Design;以下3D−CAD)で設計中の電子炊飯器があったり、というような体験をさせるためのものである。   In recent years, mixed reality technology (MR (Mixed Reality) technology) has been gained. The mixed reality technology is a technology for compositing and displaying live-action and CG. For example, a CG car appears in front of the eyes, or there is an electronic rice cooker that is being designed with 3D CAD (Computer Aided Design; hereinafter referred to as 3D-CAD).

工業製品製造業では近年、メカ設計や意匠設計に3D−CADを用いるようになってきている。そのため、従来行っていたような製品の実機モックアップ(模型)を用いたメカ検討や意匠検討を、実機モックアップを作成せずに、あるいは作成する前に、コンピュータ画面上に3Dモデルを表示することにより行うことが可能になってきている。   In the industrial product manufacturing industry, 3D-CAD has recently been used for mechanical design and design design. Therefore, the 3D model is displayed on the computer screen before or after creating the actual machine mockup or the mechanical examination using the actual machine mockup (model) of the product as was done conventionally. It has become possible to do this.

このようなコンピュータ内部の仮想世界で再現された検討用3Dモデルのことをディジタルモックアップ(DM,あるいはDMU)、デジタルモックアップの映し出された画面を多人数で同時に観察し、検討を行うことをディジタルモックアップレビュー(DMR)と呼ぶ。   The 3D model for examination reproduced in the virtual world inside the computer is to be examined by simultaneously observing the digital mockup (DM or DMU) and the screen on which the digital mockup is projected by a large number of people. Called Digital Mockup Review (DMR).

DMRでは様々な角度から対象となる製品のディジタルモックアップの観察を行う。特定の部品を動かしたり、止めたりしながら、メカ機構・デザインの評価が最も有効な位置からディジタルモックアップを観察するために、コンピュータ内部のカメラの位置・姿勢を移動したりする。   In DMR, the digital mockup of the target product is observed from various angles. While observing the digital mockup from the position where the mechanical mechanism / design evaluation is most effective, the position / posture of the camera inside the computer is moved while moving or stopping specific parts.

しかしながら、従来のDMRにおいては、ディジタルモックアップを撮影するコンピュータ内部の仮想世界のカメラの位置・姿勢を所望の場所に移動することが難しく、またコンピュータ内部という完全な仮想世界の画像しか観察できないので、ディジタルモックアップの大きさを把握しにくいという問題があった。   However, in the conventional DMR, it is difficult to move the position / posture of the camera in the virtual world inside the computer that captures the digital mockup to a desired location, and only a complete virtual world image inside the computer can be observed. There was a problem that it was difficult to grasp the size of the digital mockup.

そこで、MR技術を用いると、コンピュータ内部の仮想世界のカメラの位置・姿勢の移動は単に現実のカメラを移動するだけでよく、現実の世界の中に仮想のディジタルモックアップが重畳されて表示されるので、ディジタルモックアップの大きさを容易に把握できるという利点がある。そのため、DMRの分野において、MR技術は有望視されている。
特開2005−107970号公報
Therefore, using MR technology, the position and orientation of the camera in the virtual world inside the computer need only be moved by the actual camera, and a virtual digital mockup is superimposed on the real world and displayed. Therefore, there is an advantage that the size of the digital mockup can be easily grasped. Therefore, MR technology is considered promising in the field of DMR.
JP 2005-107970 A

しかしながら、被験者が操作するカメラの位置・姿勢の動きにつられて複合現実世界のカメラの位置・姿勢も動いてしまう。そのため、観察する複合現実世界を静止した視点から観測することが困難となり、細かいメカ機構や意匠について多人数で観察するDMRでは、注目したい部分を注目しつづけるのが困難になる。さらに、ある視点から観察した複合現実世界内の特定部分を指示するのが困難、あるいは不可能となる。   However, the position / posture of the camera in the mixed reality world also moves with the movement of the position / posture of the camera operated by the subject. Therefore, it becomes difficult to observe the mixed reality world to be observed from a stationary viewpoint, and it is difficult to keep an eye on a portion to be noticed in a DMR that observes a detailed mechanical mechanism and design by a large number of people. Furthermore, it is difficult or impossible to indicate a specific part in the mixed reality world observed from a certain viewpoint.

本発明は以上の問題に鑑みてなされたものであり、仮想空間中において所望とする箇所を静止した視点から見ることを可能とする技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that enables a desired location in a virtual space to be viewed from a stationary viewpoint.

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。   In order to achieve the object of the present invention, for example, an image processing method of the present invention comprises the following arrangement.

即ち、観察者の視点の位置姿勢を取得する取得工程と、
前記取得工程で位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御工程と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御する第1の制御工程と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする。
That is, an acquisition step of acquiring the position and orientation of the observer's viewpoint,
Each time the position and orientation are acquired in the acquisition step, a storage control step of overwriting and storing the acquired position and orientation data in a memory; and
A first control step for controlling processing by the storage control step so as not to perform storage processing for the memory when a first instruction is detected;
Generating a virtual space image viewed from a viewpoint having a position and orientation stored in the memory;
An output step of outputting the image generated in the generation step.

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。   In order to achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement.

即ち、観察者の視点の位置姿勢を取得する取得手段と、
前記取得手段が位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御手段と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御手段を制御する第1の制御手段と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする。
That is, acquisition means for acquiring the position and orientation of the observer's viewpoint,
Each time the acquisition unit acquires a position and orientation, a storage control unit that overwrites and stores the acquired position and orientation data in a memory; and
A first control unit that controls the storage control unit so as not to perform a storage process on the memory when a first instruction is detected;
Generating means for generating an image of a virtual space seen from a viewpoint having a position and orientation stored in the memory;
Output means for outputting the image generated by the generating means.

本発明の構成により、仮想空間中において所望とする箇所を静止した視点から見ることができる。   With the configuration of the present invention, a desired location in the virtual space can be viewed from a stationary viewpoint.

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。   Hereinafter, the present invention will be described in detail according to preferred embodiments with reference to the accompanying drawings.

[第1の実施形態]
<従来のシステムについて>
先ず、MR技術を用いてDMRを行うための従来のシステムについて説明する。
[First Embodiment]
<Regarding the conventional system>
First, a conventional system for performing DMR using MR technology will be described.

図1は、MR技術を用いてDMRを行うための従来のシステムの構成例を示す図である。   FIG. 1 is a diagram illustrating a configuration example of a conventional system for performing DMR using MR technology.

観察者100の頭部には、頭部装着型表示装置(所謂HMD(HeadMount Display))110が装着されている。   A head-mounted display device (a so-called HMD (Head Mount Display)) 110 is mounted on the head of the observer 100.

図2は、HMD110の構成を示す図である。   FIG. 2 is a diagram illustrating the configuration of the HMD 110.

HMD110は、LCD等の小型表示装置112と、小型ビデオカメラ111、及びプリズム114、115で構成される。本来ならば観察者100が見ているであろう現実空間は映像として小型ビデオカメラ111により撮像され、観察者100は小型表示装置112に表示される映像を見る。   The HMD 110 includes a small display device 112 such as an LCD, a small video camera 111, and prisms 114 and 115. The real space that would otherwise be viewed by the observer 100 is captured as an image by the small video camera 111, and the observer 100 sees the image displayed on the small display device 112.

また、小型ビデオカメラ111により撮像された現実空間の画像は後段のコンピュータ140に対して出力する。なお、以下では、小型ビデオカメラ111を「観察者100の視点」と呼称する場合がある。   The real space image captured by the small video camera 111 is output to the computer 140 at the subsequent stage. Hereinafter, the small video camera 111 may be referred to as “the viewpoint of the observer 100”.

位置姿勢センサ113はHMD110に一体となって取り付けられており、自身の位置姿勢を計測するものである。このような位置姿勢センサ113には、米国Polhemus社製FASTRAK(登録商標)等が利用可能である。なお、位置姿勢センサ113がFASTRAKの場合、トランスミッタ130、及び本体131と組み合わせて使用する。   The position / orientation sensor 113 is integrally attached to the HMD 110 and measures its own position and orientation. For such a position / orientation sensor 113, FASTRAK (registered trademark) manufactured by Polhemus, Inc., USA can be used. When the position / orientation sensor 113 is FASTRAK, it is used in combination with the transmitter 130 and the main body 131.

例えば、位置姿勢センサ113が磁気センサの場合、トランスミッタ130からは磁場が発生されるので、位置姿勢センサ113は自身の位置姿勢に応じた磁気を検知し、検知した結果を示す信号を本体131に出力する。本体131は、受けた信号に基づいて、位置姿勢センサ113の位置姿勢を示すデータを生成する。生成したデータは後段のコンピュータ140に対して出力する。このようにして取得される位置姿勢のデータは、現実空間中におけるトランスミッタ130の位置を原点とし、この原点で互いに直交する3軸ををそれぞれx、y、z軸とする座標系(センサ座標系)における位置姿勢を示すデータである。なお、位置姿勢センサを用いて位置姿勢センサ自身の位置姿勢を取得するための技術については周知のものであるので、これ以上の説明は省略する。   For example, when the position / orientation sensor 113 is a magnetic sensor, a magnetic field is generated from the transmitter 130. Therefore, the position / orientation sensor 113 detects magnetism corresponding to its own position and orientation and sends a signal indicating the detection result to the main body 131. Output. The main body 131 generates data indicating the position and orientation of the position and orientation sensor 113 based on the received signal. The generated data is output to the computer 140 at the subsequent stage. The position and orientation data acquired in this way is a coordinate system (sensor coordinate system) in which the position of the transmitter 130 in the real space is an origin, and three axes orthogonal to each other at the origin are x, y, and z axes, respectively. ) Is data indicating the position and orientation. In addition, since the technique for acquiring the position and orientation of the position and orientation sensor itself using the position and orientation sensor is well known, further description thereof is omitted.

また、同図において160は観察者100に対して複合現実空間を提示可能な領域を示すものであり、観察者100は同図160で示す領域内で現実空間と仮想空間とが合成された複合現実空間を体感することができる。従って、領域160内であれば、任意の位置姿勢、サイズでもって仮想物体を配置することができる。同図では、この複合現実空間の領域160内には現実物体170と仮想物体180とが存在している。   In the figure, reference numeral 160 denotes a region where the mixed reality space can be presented to the viewer 100. The viewer 100 is a composite of the real space and the virtual space synthesized within the region shown in FIG. You can experience real space. Accordingly, within the area 160, a virtual object can be arranged with an arbitrary position and orientation and size. In the figure, a real object 170 and a virtual object 180 exist in the area 160 of the mixed reality space.

コンピュータ140は、本体131から出力される位置姿勢のデータを用いて、観察者の視点から見える仮想空間の画像を生成する。そして生成した仮想空間の画像を、HMD110(厳密には小型ビデオカメラ111)から出力される現実空間の画像上に重畳させて、HMD110に備わっている小型表示装置112、及び後述する多人数向け表示装置120に対して出力する。領域160内における仮想物体180はこのコンピュータ140が生成したものである。   The computer 140 uses the position and orientation data output from the main body 131 to generate an image of the virtual space that can be seen from the observer's viewpoint. The generated virtual space image is superimposed on the real space image output from the HMD 110 (strictly, the small video camera 111), and the small display device 112 provided in the HMD 110 and a display for a large number of people described later. Output to the device 120. The virtual object 180 in the area 160 is generated by the computer 140.

多人数向け表示装置120は、観察者100以外の観察者に対しても、観察者100が観察する画像(小型表示装置112に表示されている複合現実空間の画像)を提供すべく、コンピュータ140から出力された画像を表示する。これにより、観察者100以外に、DMRに参加する参加者は、多人数向け表示装置120に表示される画像を観察しながら、メカ機構や意匠の検討を行うことができる。   The multi-person display device 120 is provided to the computer 140 in order to provide an image (an image of the mixed reality space displayed on the small display device 112) observed by the observer 100 to an observer other than the observer 100. The image output from is displayed. Thereby, the participant who participates in DMR besides the observer 100 can examine a mechanical mechanism and a design, observing the image displayed on the display apparatus 120 for many people.

図3は、コンピュータ140を中心とした上記システムの機能構成を示した図である。同図に示す如く、コンピュータ140は、ビデオ映像取得部301、カメラ位置姿勢出力部302、CG・ビデオ表示部303、CG・ビデオ合成部304、CG生成部305により構成されている。また、カメラ位置姿勢出力部302内にはカメラ位置姿勢取得部302aが備わっている。   FIG. 3 is a diagram showing a functional configuration of the system centered on the computer 140. As shown in the figure, the computer 140 includes a video image acquisition unit 301, a camera position / posture output unit 302, a CG / video display unit 303, a CG / video composition unit 304, and a CG generation unit 305. The camera position / posture output unit 302 includes a camera position / posture acquisition unit 302a.

カメラ位置姿勢取得部302aは、位置姿勢センサ113が計測した位置姿勢のデータを用いて、観察者100の視点の位置姿勢を示すデータ(CG描画用カメラ位置姿勢データ302b)を更新する処理を行う。ここで、周知の通り、位置姿勢センサ113と観察者100の視点との位置姿勢関係を予めバイアスデータとして求めておき、このバイアスデータと、位置姿勢センサ113が計測した位置姿勢のデータ(即ち、位置姿勢センサ113自身のセンサ座標系における位置姿勢のデータ)とを加算することで、視点の位置姿勢のデータを求めることができる。従って、CG描画用カメラ位置姿勢データ302bは、この視点の位置姿勢のデータであり、カメラ位置姿勢取得部302aは、位置姿勢センサ113が計測した位置姿勢のデータを取得する毎に、上述のようにして視点の位置姿勢のデータを求め、求めたデータでもってCG描画用カメラ位置姿勢データ302bを更新する処理を行う。   The camera position / orientation acquisition unit 302a uses the position / orientation data measured by the position / orientation sensor 113 to update data indicating the position / orientation of the viewpoint of the observer 100 (camera position / orientation data 302b for CG drawing). . Here, as is well known, a position / orientation relationship between the position / orientation sensor 113 and the viewpoint of the observer 100 is obtained in advance as bias data, and this bias data and position / orientation data measured by the position / orientation sensor 113 (i.e., The position and orientation data of the viewpoint can be obtained by adding the position and orientation sensor 113 itself to the position and orientation data in the sensor coordinate system. Therefore, the camera position / orientation data 302b for CG drawing is the position / orientation data of this viewpoint, and the camera position / orientation acquisition unit 302a is as described above each time it acquires the position / orientation data measured by the position / orientation sensor 113. Thus, the position / orientation data of the viewpoint is obtained, and the processing for updating the CG drawing camera position / orientation data 302b with the obtained data is performed.

CGデータ306は、仮想空間の画像を生成するために必要なデータ群であり、例えば仮想空間を構成する各仮想物体がポリゴンでもって構成されている場合には、ポリゴンの法線ベクトルデータ、ポリゴンを構成する各頂点の座標データ、ポリゴンカラーデータ、そしてこの仮想物体にテクスチャマッピングを施す場合には、テクスチャデータもこのCGデータ306に含まれることになる。なお、このCGデータ306は、上記ディジタルモックアップのデータであっても良いし、3D−CAD等で作成されたもの、あるいはそれを本システム向けに変換したものであっても良い。   The CG data 306 is a data group necessary for generating an image of the virtual space. For example, when each virtual object constituting the virtual space is composed of polygons, normal vector data of the polygon, polygon When texture mapping is applied to the coordinate data of each vertex, polygon color data, and this virtual object, the texture data is also included in this CG data 306. The CG data 306 may be the above digital mockup data, may be created by 3D-CAD or the like, or may be converted for this system.

CG生成部305は、CG描画用カメラ位置姿勢データ302bと、CGデータ306とを用いて、観察者100の視点から見える仮想空間の画像を生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成する処理については周知のものであるので、これ以上の説明は省略する。   The CG generation unit 305 generates an image of a virtual space that can be seen from the viewpoint of the observer 100 using the CG drawing camera position / orientation data 302b and the CG data 306. In addition, since the process which produces | generates the image of the virtual space seen from the viewpoint which has a predetermined position and orientation is a well-known thing, the further description is abbreviate | omitted.

ビデオ映像取得部301は、HMD110に備わっている小型ビデオカメラ111から出力された現実空間の画像を取得し、後段のCG・ビデオ合成部304に出力する。CG・ビデオ合成部304は、ビデオ映像取得部301から受けた現実空間の画像上に、CG生成部305が生成した仮想空間の画像を重畳させて、複合現実空間の画像を生成し、CG・ビデオ表示部303に出力する。   The video image acquisition unit 301 acquires the real space image output from the small video camera 111 provided in the HMD 110 and outputs the acquired image to the CG / video synthesis unit 304 at the subsequent stage. The CG / video composition unit 304 superimposes the virtual space image generated by the CG generation unit 305 on the real space image received from the video image acquisition unit 301 to generate a mixed reality space image. Output to the video display unit 303.

CG・ビデオ表示部303は、受けた複合現実空間の画像を、HMD110に備わっている小型表示装置112や、多人数向け表示装置120に対して出力する。   The CG / video display unit 303 outputs the received mixed reality space image to the small display device 112 provided in the HMD 110 or the display device 120 for a large number of people.

以上の構成により、観察者100の視点の位置姿勢に応じて見える複合現実空間の画像を生成し、HMD110に備わっている小型表示装置112や、多人数向け表示装置120に対して出力することができる。   With the above configuration, an image of the mixed reality space that can be seen according to the position and orientation of the viewpoint of the viewer 100 can be generated and output to the small display device 112 provided in the HMD 110 or the display device 120 for many people. it can.

<本実施形態に係るシステムについて>
次に、本実施形態に係るシステムについて説明する。
<System according to this embodiment>
Next, a system according to the present embodiment will be described.

図4は、本実施形態に係るシステムの構成例を示す図である。図1と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るシステムは、図1に示した構成に加え、押しボタンスイッチ401がコンピュータ140に接続されている点が、従来と異なる。   FIG. 4 is a diagram illustrating a configuration example of a system according to the present embodiment. The same parts as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted. The system according to the present embodiment is different from the conventional system in that a push button switch 401 is connected to the computer 140 in addition to the configuration shown in FIG.

押しボタンスイッチ401は、観察者100が手に保持するものであり、例えば、観察者100が複合現実空間を観察していて、検討対象の仮想物体が最も観察しやすい位置姿勢に自身の視点を移動させ、小型表示装置112に検討対象の仮想物体が最も観察しやすい状態で表示されている時に押下するものである。押しボタンスイッチ401を押下すると、押下した旨を示す信号がコンピュータ140に出力される。   The push button switch 401 is held by the observer 100 in his / her hand. For example, the observer 100 is observing the mixed reality space, and the viewpoint of the virtual object to be examined is most easily observed. This is pressed when the virtual object to be examined is displayed on the small display device 112 in a state that is most easily observed. When the push button switch 401 is depressed, a signal indicating that the push button switch 401 has been depressed is output to the computer 140.

図5は、本実施形態に係るシステムの機能構成を示すブロック図である。図3と同じ部分については同じ番号を付けており、その説明は省略する。図3に示した構成と異なるのは、コンピュータ140の機能構成が図3に示した構成に加え、イベント検出部501が更に付加されているとともに、カメラ位置姿勢取得部302aがカメラ位置姿勢取得部302cとなっている点にある。   FIG. 5 is a block diagram showing a functional configuration of the system according to the present embodiment. The same parts as those in FIG. 3 are denoted by the same reference numerals, and the description thereof is omitted. 3 is different from the configuration shown in FIG. 3 in that the function configuration of the computer 140 is further added with an event detection unit 501 in addition to the configuration shown in FIG. 3, and the camera position / posture acquisition unit 302a is a camera position / posture acquisition unit. 302c.

イベント検出部501は、押しボタンスイッチ401が押下された旨を示す信号を押しボタンスイッチ401から受けると、これを検知し、カメラ位置姿勢取得部302cに通知する。カメラ位置姿勢取得部302cの基本動作についてはカメラ位置姿勢取得部302aの動作に加え、イベント検出部501から通知を受けると、CG描画用カメラ位置姿勢データ302bの更新を停止する。即ち、押しボタンスイッチ401が押下されると、そのタイミングに応じてCG描画用カメラ位置姿勢データ302bの更新が停止するので、押しボタンスイッチ401が押下されたタイミング以降は同じ位置姿勢の視点から見える仮想空間画像が生成されることになる。即ち、静止した視点から見える仮想空間の画像を得ることができる。   When the event detection unit 501 receives a signal indicating that the push button switch 401 has been pressed from the push button switch 401, the event detection unit 501 detects this and notifies the camera position and orientation acquisition unit 302c. Regarding the basic operation of the camera position / orientation acquisition unit 302c, in addition to the operation of the camera position / orientation acquisition unit 302a, upon receiving a notification from the event detection unit 501, updating of the CG drawing camera position / orientation data 302b is stopped. That is, when the push button switch 401 is pressed, the update of the CG drawing camera position / posture data 302b is stopped according to the timing, so that it can be seen from the viewpoint of the same position / posture after the push button switch 401 is pressed. A virtual space image is generated. That is, an image of a virtual space that can be seen from a stationary viewpoint can be obtained.

なお、再度押しボタンスイッチ401が押下されると、イベント検出部501は同様にカメラ位置姿勢取得部302cに対して通知を行い、カメラ位置姿勢取得部302cは、CG描画用カメラ位置姿勢データ302bの更新を再開する。つまり、押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替えることができる。   When the push button switch 401 is pressed again, the event detection unit 501 similarly notifies the camera position / posture acquisition unit 302c, and the camera position / posture acquisition unit 302c stores the CG drawing camera position / posture data 302b. Resume update. That is, each time the push button switch 401 is pressed, it is possible to switch whether or not to update the CG drawing camera position and orientation data 302b.

図6は、押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替える様子を示すステートチャートを示す図である。   FIG. 6 is a diagram illustrating a state chart showing how to switch whether to update the CG drawing camera position / orientation data 302b each time the push button switch 401 is pressed.

コンピュータ140を起動したときには、カメラ位置姿勢取得部302cはCG描画用カメラ位置姿勢データ302bを更新するよう動作する。即ち、上述の通り、位置姿勢センサ113が計測した自身の位置姿勢のデータを本体131を介して受けると、受けたデータに基づいて視点の位置姿勢のデータを求め、求めたデータでもって、CG描画用カメラ位置姿勢データ302bを更新する。   When the computer 140 is activated, the camera position / orientation acquisition unit 302c operates to update the CG drawing camera position / orientation data 302b. That is, as described above, when the position / orientation data measured by the position / orientation sensor 113 is received via the main body 131, the viewpoint position / orientation data is obtained based on the received data, and the CG is obtained using the obtained data. The drawing camera position / orientation data 302b is updated.

ここで、観察者100が押しボタンスイッチ401を押下すると、イベント検出部501は押下された旨をカメラ位置姿勢取得部302cに通知するので、カメラ位置姿勢取得部302cはCG描画用カメラ位置姿勢データ302bの更新を停止するよう動作する。即ち、上述の通り、位置姿勢センサ113が計測した自身の位置姿勢のデータを本体131を介して受けても、CG描画用カメラ位置姿勢データ302bに対しては何等操作しない。従って、イベント検出部501から通知を受けた以降はCG描画用カメラ位置姿勢データ302bは何等変化しない。   Here, when the observer 100 presses the push button switch 401, the event detection unit 501 notifies the camera position and orientation acquisition unit 302c that the button has been pressed, so the camera position and orientation acquisition unit 302c performs CG drawing camera position and orientation data. Operate to stop updating 302b. That is, as described above, even if the position / orientation data measured by the position / orientation sensor 113 is received via the main body 131, no operation is performed on the CG drawing camera position / orientation data 302b. Therefore, after receiving the notification from the event detection unit 501, the CG drawing camera position / orientation data 302b does not change at all.

従って、この状態で観察者100の視点の位置姿勢がどのように変化しようとも、CG描画用カメラ位置姿勢データ302bは何等変化しないので、小型表示装置112や多人数向け表示装置120に表示される複合現実空間の画像中における各仮想物体は静止した視点から見たものとなる。これにより、例えば、観察者100が、検討対象の仮想物体が最も観察しやすい位置姿勢に自身の視点を移動させ、そこで押しボタンスイッチ401を押下すると、多人数向け表示装置120には、押しボタンスイッチ401を押下した時点における観察者100の視点から見える仮想空間の画像が現実空間の画像に重畳された状態で表示されるので、この検討対象の仮想物体に対して多人数向け表示装置120の表示画面上で指し示すことが容易になり、多人数での検討が行いやすくなる。   Therefore, no matter how the position / orientation of the viewpoint of the observer 100 changes in this state, the CG drawing camera position / orientation data 302b does not change at all, and is displayed on the small display device 112 and the multi-person display device 120. Each virtual object in the mixed reality space image is viewed from a stationary viewpoint. Thereby, for example, when the observer 100 moves his / her viewpoint to a position and orientation in which the virtual object to be examined is most easily observed and presses the push button switch 401 there, the multi-person display device 120 has a push button. Since the virtual space image seen from the viewpoint of the observer 100 at the time when the switch 401 is pressed is displayed in a state of being superimposed on the real space image, the multi-person display device 120 displays the virtual object to be examined. It becomes easy to point on the display screen, and it becomes easy to examine with a large number of people.

なお、再度押しボタンスイッチ401が押下されると、イベント検出部501は同様にカメラ位置姿勢取得部302cに対して通知を行い、カメラ位置姿勢取得部302cは、再度、CG描画用カメラ位置姿勢データ302bの更新を再開する。   When the push button switch 401 is pressed again, the event detection unit 501 similarly notifies the camera position / orientation acquisition unit 302c, and the camera position / orientation acquisition unit 302c again performs CG drawing camera position / orientation data. Restart the update of 302b.

図8は、コンピュータ140のハードウェア構成を示す図である。なお、このようなコンピュータ140としては一般のPC(パーソナルコンピュータ)やWS(ワークステーション)等が適用可能である。   FIG. 8 is a diagram illustrating a hardware configuration of the computer 140. As such a computer 140, a general PC (personal computer), WS (workstation), or the like can be applied.

801はCPUで、RAM802やROM803に格納されているプログラムやデータを用いてコンピュータ140全体の制御を行うと共に、コンピュータ140が行う後述の各処理を実行する。   Reference numeral 801 denotes a CPU that controls the entire computer 140 using programs and data stored in the RAM 802 and the ROM 803, and executes each process described below performed by the computer 140.

802はRAMで、外部記憶装置806からロードされたプログラムやデータを一時的に記憶するためのエリア、I/F807を介して受信した各種のデータを一時的に記憶するためのエリア、CPU801が各種の処理を実行するために用いるワークエリアなど、各種のエリアを適宜提供することができる。   Reference numeral 802 denotes a RAM, an area for temporarily storing programs and data loaded from the external storage device 806, an area for temporarily storing various data received via the I / F 807, and various types of CPUs 801. Various areas such as a work area used for executing the process can be provided as appropriate.

803はROMで、本コンピュータ140の設定データやブートプログラムなどを格納する。   A ROM 803 stores setting data and a boot program of the computer 140.

804は操作部で、キーボードやマウスなどにより構成されており、本コンピュータ140の操作者が操作することで、各種の指示をCPU801に対して入力することができる。この操作部804を上記押しボタンスイッチ401の代わりに用いても良い。   An operation unit 804 includes a keyboard and a mouse, and various instructions can be input to the CPU 801 by an operator of the computer 140. The operation unit 804 may be used instead of the push button switch 401.

805は表示部で、CRTや液晶画面などにより構成されており、CPU801による処理結果を画像や文字などでもって表示することができる。この表示部805を上記多人数向け表示装置120として用いるようにしても良い。   A display unit 805 includes a CRT, a liquid crystal screen, and the like, and can display a processing result by the CPU 801 using an image, text, or the like. You may make it use this display part 805 as the said display apparatus 120 for many people.

806は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ここにOS(オペレーティングシステム)や、コンピュータ140が行う各種の処理をCPU801に実行させる為のプログラムやデータ(上記バイアスデータやCGデータ306等を含む)が保存されており、これらは必要に応じてCPU801による制御に従ってRAM802にロードされる。   Reference numeral 806 denotes an external storage device, which is a large-capacity information storage device typified by a hard disk drive device, in which an OS (Operating System) and programs and data for causing the CPU 801 to execute various processes performed by the computer 140 ( (Including the bias data, CG data 306, etc.) are stored, and are loaded into the RAM 802 as required by the CPU 801.

807はI/Fで、ここに上記HMD110、本体131、多人数向け表示装置120、押しボタンスイッチ401等を接続することができ、これらの装置とのデータ通信はこのI/F807を介して行われる。なお、装置毎にI/F807を設けるようにしても良い。   Reference numeral 807 denotes an I / F, to which the HMD 110, the main body 131, the multi-person display device 120, the push button switch 401, and the like can be connected. Data communication with these devices is performed via the I / F 807. Is called. Note that an I / F 807 may be provided for each apparatus.

808は上述の各部を繋ぐバスである。   A bus 808 connects the above-described units.

次に、このようなコンピュータ140によって1フレーム分の複合現実空間の画像を生成する為の処理について、同処理のフローチャートを示す図9を用いて説明する。なお、同図のフローチャートに従った処理をCPU801に実行させるためのプログラムやデータは外部記憶装置806内に保存されており、これらは適宜CPU801による制御に従ってRAM802にロードされ、CPU801がこれを用いて処理を実行することで、コンピュータ140は以下説明する各処理を実行することになる。   Next, processing for generating an image of the mixed reality space for one frame by the computer 140 will be described with reference to FIG. 9 showing a flowchart of the processing. Note that programs and data for causing the CPU 801 to execute the processing according to the flowchart of FIG. 8 are stored in the external storage device 806, and these are loaded into the RAM 802 as appropriate under the control of the CPU 801, and the CPU 801 uses this. By executing the process, the computer 140 executes each process described below.

HMD110に備わっている小型ビデオカメラ111により撮像された現実空間の画像が順次I/F807を介して本コンピュータ140に入力されるので、CPU801は順次入力される各画像を、RAM802内のビデオバッファに格納する(ステップS901)。   Since real space images captured by the small video camera 111 provided in the HMD 110 are sequentially input to the computer 140 via the I / F 807, the CPU 801 stores the sequentially input images in a video buffer in the RAM 802. Store (step S901).

一方、本体131からは、位置姿勢センサ113の位置姿勢を示すデータがI/F807を介して本コンピュータ140内に入力されるので、CPU801は入力した位置姿勢のデータをRAM802内の所定のエリア、若しくは外部記憶装置806内に格納する(ステップS902)。なお、ステップS901における処理とステップS902における処理とはこの順に行われることに限定するものではないし、周知のマルチスレッド処理でもって並行して行うようにしても良い。   On the other hand, since data indicating the position and orientation of the position and orientation sensor 113 is input from the main body 131 into the computer 140 via the I / F 807, the CPU 801 stores the input position and orientation data in a predetermined area in the RAM 802, Alternatively, it is stored in the external storage device 806 (step S902). Note that the processing in step S901 and the processing in step S902 are not limited to being performed in this order, and may be performed in parallel by well-known multithread processing.

そしてCPU801は、ステップS902で取得した位置姿勢のデータと、外部記憶装置806からRAM802にロードしたバイアスデータとを加算することで、視点の位置姿勢を求める(ステップS903)。このように、計測した位置姿勢から、視点の位置姿勢を求めるための処理については周知のものであるので、これに関する説明は省略する。   The CPU 801 obtains the position and orientation of the viewpoint by adding the position and orientation data acquired in step S902 and the bias data loaded from the external storage device 806 to the RAM 802 (step S903). As described above, since the processing for obtaining the position and orientation of the viewpoint from the measured position and orientation is well known, a description thereof will be omitted.

次に、CPU801は、観察者100が押しボタンスイッチ401を押下した旨を示す信号が押しボタンスイッチ401からI/F807を介して本コンピュータ140に入力されたかをチェックし(ステップS904)、押下した旨を検知していない場合には処理をステップS905に進め、ステップS903で求めた視点の位置姿勢のデータを、RAM802内、若しくは外部記憶装置806内に設けられているエリア(以下、位置姿勢データ記憶エリアと呼称する)内に上書き格納することで、この位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」を更新する処理を行う(ステップS905)。   Next, the CPU 801 checks whether a signal indicating that the observer 100 has pressed the push button switch 401 is input from the push button switch 401 to the computer 140 via the I / F 807 (step S904). If the effect is not detected, the process proceeds to step S905, and the viewpoint position and orientation data obtained in step S903 is stored in an area (hereinafter referred to as position and orientation data) provided in the RAM 802 or the external storage device 806. By overwriting and storing in the storage area), the “viewpoint position and orientation data” stored in the position and orientation data storage area is updated (step S905).

そして、次に、CPU801は、外部記憶装置806からRAM802にロードしたCGデータ306と、位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」とを用いて、視点から見える仮想空間の画像を生成する処理を行う(ステップS906)。なお、コンピュータ140が画像処理専用のハードウェアを有している場合には、本ステップにおける処理はこの画像処理専用のハードウェアが行うようにしても良い。   Next, the CPU 801 uses the CG data 306 loaded from the external storage device 806 to the RAM 802 and the “viewpoint position / orientation data” stored in the position / orientation data storage area, so that the virtual image can be viewed from the viewpoint. A process of generating an image of the space is performed (step S906). If the computer 140 has hardware dedicated to image processing, the processing in this step may be performed by the hardware dedicated to image processing.

一方、押下した旨を検知した場合には処理をステップS904からステップS906に進める。即ち、押しボタンスイッチ401の押下を検知した場合には、ステップS905における処理は行わないので、ステップS906で生成する仮想空間の画像の視点は、従前に位置姿勢データ記憶エリア内に格納されている「視点の位置姿勢のデータ」に従ったものとなる。   On the other hand, if it is detected that the button has been pressed, the process proceeds from step S904 to step S906. In other words, when it is detected that the push button switch 401 is pressed, the processing in step S905 is not performed. Therefore, the viewpoint of the virtual space image generated in step S906 has been previously stored in the position and orientation data storage area. This is in accordance with the “viewpoint position and orientation data”.

次に、CPU801は、ステップS901で上記ビデオバッファ内に格納した現実空間の画像上に、ステップS906で生成した仮想空間の画像を重畳させることで、複合現実空間の画像を生成し(ステップS907)、これをI/F807を介してHMD110に備わっている小型表示装置112、及び多人数向け表示装置120に対して出力する(ステップS908)。   Next, the CPU 801 generates a mixed reality space image by superimposing the virtual space image generated in step S906 on the real space image stored in the video buffer in step S901 (step S907). This is output to the small display device 112 provided in the HMD 110 and the multi-person display device 120 via the I / F 807 (step S908).

なお、図9のフローチャートに従った処理は、コンピュータ140に予め、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納するためのモード(第1のモード)を設定しておき、押しボタンスイッチ401が押下されると、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納しないモード(第2のモード)に切り替えるものとして説明している。   In the process according to the flowchart of FIG. 9, a mode (first mode) for storing viewpoint position / orientation data in the position / orientation data storage area is set in advance in the computer 140, and the push button switch It is assumed that when 401 is pressed, the position / orientation data of the viewpoint is switched to a mode (second mode) in which the data is not stored in the position / orientation data storage area.

また、第2のモードが設定されている場合に、押しボタンスイッチ401が押下された場合の処理については、図9のフローチャートにおいて、ステップS904における分岐先を逆にすればよい。即ち、押しボタンスイッチ401の押下を検知した場合には処理をステップS905に進め、検知していない場合には、処理をステップS906に進める。   Further, regarding the processing when the push button switch 401 is pressed when the second mode is set, the branch destination in step S904 may be reversed in the flowchart of FIG. In other words, if it is detected that the push button switch 401 is pressed, the process proceeds to step S905. If not detected, the process proceeds to step S906.

即ち、押しボタンスイッチ401を押下する毎に、第1のモードと第2のモードを交互に切り替えることになる。   That is, every time the push button switch 401 is pressed, the first mode and the second mode are alternately switched.

[第2の実施形態]
第1の実施形態では、押しボタンスイッチ401を押下する毎に、第1のモードと第2のモードとを交互に切り替えていたが、押しボタンスイッチ401以外のものを用いてモードを切り替えるようにしても良い。例えば、所定の音声を入力する毎にモードを切り替えるようにしても良いし、観察者100が所定のジェスチャを行い、コンピュータ140がこれを認識する毎にモードを切り替えるようにしても良い。
[Second Embodiment]
In the first embodiment, every time the push button switch 401 is pressed, the first mode and the second mode are alternately switched. However, a mode other than the push button switch 401 is used to switch the mode. May be. For example, the mode may be switched every time a predetermined sound is input, or the mode may be switched every time the observer 100 recognizes the predetermined gesture.

また、第1の実施形態では図6に示す如く、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開する。しかし、図7に示す如く、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、直接、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開するのではなく、以下説明する処理を行う。   In the first embodiment, as shown in FIG. 6, when storing the position and orientation data of the viewpoint in the position and orientation data storage area is prohibited, if the push button switch 401 is pressed, The operation of storing the position and orientation data in the position and orientation data storage area is resumed. However, as shown in FIG. 7, when the position / orientation data of the viewpoint is prohibited from being stored in the position / orientation data storage area, when the push button switch 401 is pressed, the viewpoint position / orientation data is directly displayed. Is not resumed, but the processing described below is performed.

即ち、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納することを禁止している際に、押しボタンスイッチ401が押下されると、押下を検知したタイミング近傍で求めた視点の位置姿勢のデータと、位置姿勢データ記憶エリアに格納されている視点の位置姿勢のデータとの差分値(位置同士の差分、姿勢同士の差分)を求め、位置同士の差分値、若しくは姿勢同士の差分が所定値以上である場合には、その差分値を1フレーム毎に所定量(例えば差分値の1/20)だけ減少させるよう、位置姿勢データ記憶エリアに格納されている視点の位置姿勢のデータを補正する。そして何れかの差分値、若しくは両方の差分値が所定値以下となった場合には、第1の実施形態と同様、視点の位置姿勢のデータを位置姿勢データ記憶エリアに格納する動作を再開する。   That is, when storing the position / orientation data of the viewpoint in the position / orientation data storage area, when the push button switch 401 is pressed, the position / orientation of the viewpoint obtained near the timing at which the pressing is detected is determined. The difference value between the data and the viewpoint position / orientation data stored in the position / orientation data storage area (difference between positions, difference between attitudes) is obtained, and the difference value between positions or the difference between attitudes is predetermined. If it is greater than or equal to the value, the position / orientation data stored in the position / orientation data storage area is corrected so that the difference value is reduced by a predetermined amount (for example, 1/20 of the difference value) for each frame. To do. If one or both of the difference values are equal to or less than the predetermined value, the operation of storing the viewpoint position / orientation data in the position / orientation data storage area is resumed as in the first embodiment. .

また、第1の実施形態では、観察者100は自身の頭部にHMD110を装着し、このHMD110に備わっている小型表示装置112に表示されている複合現実空間の画像を観察しているが、観察者100もその他の観察者と同様に多人数向け表示装置120に表示されている画像を観察して同様の検討を行うために、以下のような変形例も考えられる。   In the first embodiment, the observer 100 wears the HMD 110 on his / her head and observes an image of the mixed reality space displayed on the small display device 112 provided in the HMD 110. In order for the observer 100 to observe the image displayed on the multi-person display device 120 and perform the same examination as the other observers, the following modifications may be considered.

即ち、観察者100の頭部には少なくとも位置姿勢センサ113と小型ビデオカメラ111とを装着し、観察者100の視点から見える現実空間の画像、及び位置姿勢センサ113の位置姿勢のデータをコンピュータ140に出力する。コンピュータ140は上述の通り、観察者100の視点から見える複合現実空間の画像を生成するので、これを多人数向け表示装置120に対して出力する。   That is, at least the position / orientation sensor 113 and the small video camera 111 are mounted on the head of the observer 100, and the image of the real space seen from the viewpoint of the observer 100 and the position / orientation data of the position / orientation sensor 113 are stored in the computer 140. Output to. As described above, the computer 140 generates an image of the mixed reality space that can be seen from the viewpoint of the observer 100, and outputs this to the multi-person display device 120.

これにより、観察者100はHMD110を介してではなく、多人数向け表示装置120を介して、自身の視点から見える複合現実空間の画像を観察し、その他の観察者と同様の検討を行うことができる。   Thereby, the observer 100 can observe the image of the mixed reality space that can be seen from his / her viewpoint through the display device 120 for many people, not through the HMD 110, and can perform the same examination as other observers. it can.

[その他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
[Other Embodiments]
An object of the present invention is to supply a recording medium (or storage medium) that records software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer of the system or apparatus (or CPU or MPU). Needless to say, this can also be achieved by reading and executing the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program code read from the recording medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。   When the present invention is applied to the recording medium, program code corresponding to the flowchart described above is stored in the recording medium.

MR技術を用いてDMRを行うための従来のシステムの構成例を示す図である。It is a figure which shows the structural example of the conventional system for performing DMR using MR technique. HMD110の構成を示す図である。It is a figure which shows the structure of HMD110. コンピュータ140を中心としたシステムの機能構成を示した図である。2 is a diagram illustrating a functional configuration of a system centered on a computer 140. FIG. 本発明の第1の実施形態に係るシステムの構成例を示す図である。It is a figure which shows the structural example of the system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係るシステムの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the system which concerns on the 1st Embodiment of this invention. 押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替える様子を示すステートチャートを示す図である。It is a figure which shows a state chart which shows a mode that it switches whether it updates the camera position and orientation data 302b for CG drawing, whenever the pushbutton switch 401 is pressed. 押しボタンスイッチ401を押下する毎に、CG描画用カメラ位置姿勢データ302bの更新を行うか否かを切り替える様子を示すステートチャートを示す図である。It is a figure which shows a state chart which shows a mode that it switches whether it updates the camera position and orientation data 302b for CG drawing, whenever the pushbutton switch 401 is pressed. コンピュータ140のハードウェア構成を示す図である。2 is a diagram illustrating a hardware configuration of a computer 140. FIG. 1フレーム分の複合現実空間の画像を生成する為の処理のフローチャートである。It is a flowchart of the process for producing | generating the image of the mixed reality space for 1 frame.

Claims (6)

観察者の視点の位置姿勢を取得する取得工程と、
前記取得工程で位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御工程と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御する第1の制御工程と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
An acquisition step of acquiring the position and orientation of the observer's viewpoint;
Each time the position and orientation are acquired in the acquisition step, a storage control step of overwriting and storing the acquired position and orientation data in a memory; and
A first control step for controlling processing by the storage control step so as not to perform storage processing for the memory when a first instruction is detected;
Generating a virtual space image viewed from a viewpoint having a position and orientation stored in the memory;
An image processing method comprising: an output step of outputting the image generated in the generation step.
前記第1の制御工程で、前記メモリに対する格納処理を行わないよう、前記格納制御工程による処理を制御している場合に、
前記第1の指示とは異なる第2の指示を検知した場合には、前記メモリに対する格納処理を再開するよう、前記格納制御工程による処理を制御する第2の制御工程を更に備えることを特徴とする請求項1に記載の画像処理方法。
In the first control step, when the storage control process is controlled so as not to perform the storage process for the memory,
And a second control step of controlling processing by the storage control step so as to resume storage processing for the memory when a second instruction different from the first instruction is detected. The image processing method according to claim 1.
更に、
前記視点から見える現実空間の画像を取得する画像取得工程を備え、
前記出力工程では、前記生成工程で生成した仮想空間の画像を、前記画像取得工程で取得した現実空間の画像上に重畳させて出力することを特徴とする請求項1又は2に記載の画像処理方法。
Furthermore,
Comprising an image acquisition step of acquiring an image of a real space visible from the viewpoint;
3. The image processing according to claim 1, wherein in the output step, the image of the virtual space generated in the generation step is superimposed and output on the image of the real space acquired in the image acquisition step. Method.
観察者の視点の位置姿勢を取得する取得手段と、
前記取得手段が位置姿勢を取得する毎に、取得した位置姿勢のデータをメモリに上書きして格納する格納制御手段と、
第1の指示を検知した場合には、前記メモリに対する格納処理を行わないよう、前記格納制御手段を制御する第1の制御手段と、
前記メモリに格納されている位置姿勢を有する視点から見える仮想空間の画像を生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
Acquisition means for acquiring the position and orientation of the observer's viewpoint;
Each time the acquisition unit acquires a position and orientation, a storage control unit that overwrites and stores the acquired position and orientation data in a memory; and
A first control unit that controls the storage control unit so as not to perform a storage process on the memory when a first instruction is detected;
Generating means for generating an image of a virtual space seen from a viewpoint having a position and orientation stored in the memory;
An image processing apparatus comprising: an output unit that outputs an image generated by the generation unit.
コンピュータに請求項1乃至3の何れか1項に記載の画像処理方法を実行させることを特徴とするプログラム。   A program for causing a computer to execute the image processing method according to any one of claims 1 to 3. 請求項5に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 5.
JP2005187086A 2005-06-27 2005-06-27 Image processing method and image processor Withdrawn JP2007004716A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005187086A JP2007004716A (en) 2005-06-27 2005-06-27 Image processing method and image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005187086A JP2007004716A (en) 2005-06-27 2005-06-27 Image processing method and image processor

Publications (1)

Publication Number Publication Date
JP2007004716A true JP2007004716A (en) 2007-01-11

Family

ID=37690239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005187086A Withdrawn JP2007004716A (en) 2005-06-27 2005-06-27 Image processing method and image processor

Country Status (1)

Country Link
JP (1) JP2007004716A (en)

Similar Documents

Publication Publication Date Title
KR102598116B1 (en) Technique for recording augmented reality data
JP4533087B2 (en) Image processing method and image processing apparatus
JP4933406B2 (en) Image processing apparatus and image processing method
JP4227561B2 (en) Image processing method and image processing apparatus
US8994729B2 (en) Method for simulating operation of object and apparatus for the same
JP4847203B2 (en) Information processing method and information processing apparatus
JP2009025918A (en) Image processor and image processing method
JP2008299669A (en) Head-mounted image display device and control method thereof
JP2010039556A (en) System
JP2009104249A (en) Image processing apparatus, and image processing method
JP2006318095A (en) Image processing method and image processor
JP2012053631A (en) Information processor and information processing method
JP2007004713A (en) Image processing method and image processor
JP4574323B2 (en) Image processing method and image processing apparatus
JP2007004714A (en) Information processing method and information processing unit
JP2005339377A (en) Image processing method and image processor
JP2009087161A (en) Image processor and image processing method
JP2018063567A (en) Image processing device, image processing method and program
JP2006215750A (en) Image processing method, image processor
JP7279113B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM
JP4689344B2 (en) Information processing method and information processing apparatus
JP2006343954A (en) Image processing method and image processor
JP2005025563A (en) Virtual reality generation method
JP4217661B2 (en) Image processing method and image processing apparatus
JP2007004716A (en) Image processing method and image processor

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080902