JP2000276613A - Device and method for processing information - Google Patents

Device and method for processing information

Info

Publication number
JP2000276613A
JP2000276613A JP8521899A JP8521899A JP2000276613A JP 2000276613 A JP2000276613 A JP 2000276613A JP 8521899 A JP8521899 A JP 8521899A JP 8521899 A JP8521899 A JP 8521899A JP 2000276613 A JP2000276613 A JP 2000276613A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
position
means
user
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8521899A
Other languages
Japanese (ja)
Inventor
Takayuki Ashigahara
Hideto Takeuchi
Teruyuki Ushiro
輝行 後
英人 竹内
隆之 芦ヶ原
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

PROBLEM TO BE SOLVED: To provide an image without the feeling of incompatibility that a real space and a virtual space are merged. SOLUTION: Relating to this information processor, the position in a three- dimensional space of an optical see-through type display part 1 is calculated in a three-dimensional position direction calculation part 3, the view point of a user is calculated in a view point position direction calculation part 5 and the coordinate of a virtual image is transformed on the basis of the position of the optical see-through type display part 1 and the view point of the user in a virtual object coordinate transformation part 8. Then, the virtual image after coordinate transformation is supplied to the optical see-through type display part 1 and displayed together with the image of the real space.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、情報処理装置および情報処理方法に関し、特に、現実空間と仮想空間とを融合した、違和感のない画像を提供することができるようにする情報処理装置および情報処理方法に関する。 BACKGROUND OF THE INVENTION The present invention relates to an information processing apparatus and an information processing method, in particular, a fusion of the real space and virtual space, the information processing apparatus and the information to be able to provide an image with no sense of incongruity It relates to a process for the treatment.

【0002】 [0002]

【従来の技術】現実空間と仮想空間との融合を行う技術は、複合現実感(MR(Mixed Reality))と呼ばれ、 BACKGROUND OF THE INVENTION technology for fusion of the real and virtual spaces, referred to as the mixed reality (MR (Mixed Reality)),
その中でも、現実空間に、仮想空間の情報を重畳して表示する技術は、オーギュウメンテッドリアリティ(AR Among them, in real space, technology to be displayed by superimposing the information of the virtual space, Oh Gyuu Men Ted reality (AR
(Augmented Reality))と呼ばれる。 I called the (Augmented Reality)).

【0003】ARを実現する方法としては、例えば、透過型のHMD(Head Mounted Display)を利用して、表示越しに見える現実世界の風景に、仮想的な物体の画像を重畳して表示する光学シースルーと呼ばれるものや、 [0003] Optical Methods for implementing the AR, for example, that by using transmission type HMD the (Head Mounted Display), a real-world scene visible in the display over and displays the superimposed image of the virtual object thing and called see-through,
ビデオカメラ等で撮像された実際の物体の画像と、仮想的な物体の画像とを重畳して表示するビデオシースルーと呼ばれるものがある。 The actual object image captured by a video camera or the like, there is a so-called video see-through be displayed by superimposing the images of the virtual object. なお、これらについての詳細は、例えば、「佐藤清秀他、”現実世界と仮想空間の位置合わせ手法”、画像の認識・理解シンポジウム、平成10年7月」等に記載されている。 In addition, more information about these, for example, are described in the "Kiyohide Sato et al.," The real world and the alignment technique of virtual space ", Meeting on Image Recognition and Understanding, July 1998", and the like.

【0004】 [0004]

【発明が解決しようとする課題】ところで、HMDを使用してARを実現する場合においては、HMDは、ユーザの頭部に装着されることから、ユーザの動きに対して、虚像を提供するためのディスプレイとユーザの視点との位置関係がほとんど変化しない。 [SUMMARY OF THE INVENTION Incidentally, in the case of realizing AR using the HMD, the HMD, from being mounted on the head of the user, relative motion of the user, to provide a virtual image the positional relationship between the viewpoint of the display and the user's hardly changes. 即ち、HMDにおいては、ディスプレイとユーザの視点との位置関係はほぼ固定であり、現実の物体の画像(実画像)と、仮想的な物体の画像(仮想画像)とを重畳した違和感のない画像を提供することができる。 That is, in the HMD, the positional relationship between the viewpoint of the display and the user is substantially fixed, the real shooting data (actual image), no discomfort obtained by superimposing the image of the virtual object (virtual image) Image it is possible to provide a.

【0005】しかしながら、HMDは、頭部に装着して使用することから、ユーザの頭部を拘束し、煩わしさを感じさせる。 [0005] However, HMD is, from that used by being mounted on the head, to restrain the user's head, feel the hassle. そこで、本件出願人は、例えば、特開平1 Therefore, the applicant of the present invention, for example, JP-A-1
0−51711号公報において、ユーザの頭部を拘束せずに、現実空間と仮想空間とを融合した画像を提供する装置として、ビデオシースルー型の携帯型ディスプレイを提案している。 In 0-51711 and JP without restraining the user's head, as a device to provide an image that combines the real space and virtual space, have proposed a video see-through type portable display.

【0006】この携帯型ディスプレイは、平板形状のものであり、例えば、ユーザが手に持った状態で使用される。 [0006] The portable display is of flat plate shape, for example, it is used in a state where the user has in his hand. このため、携帯型ディスプレイに対するユーザの視点の位置や方向は、ユーザの姿勢や使用状況等によって変化する。 Therefore, the position and direction of the user's viewpoint for a portable display is changed by such a user posture and usage.

【0007】一方、この携帯型ディスプレイにおいては、それに装着されているビデオカメラで撮像された実画像が表示される。 On the other hand, in this portable displays, the actual image captured by a video camera mounted on it is displayed. 従って、ユーザが、ビデオカメラの光軸線上(真後ろ)から、画面を見た場合には、ユーザの視点から現実世界を見た画像を見ることができるが、 Accordingly, the user, from a video camera of the optical axis (right behind), when viewed screen can be seen an image viewed real world from a user point of view,
それ以外の場合には、ユーザの視点とは無関係な画像を見ることとなる。 Otherwise, the watching unrelated images to the viewpoint of the user. 即ち、ユーザは、自身の視点から見える実画像と異なる実画像を見ることになり、違和感を感じることになる。 That is, the user will see the real image that is different from the actual image viewed from its own point of view, will feel a sense of discomfort.

【0008】このように、ユーザの視点を考慮しないことによる実画像の違和感は、例えば、携帯型ディスプレイを、ビデオシースルー型ではなく、光学シースルー型とすることにより解消することができるが、その場合でも、仮想画像について生じる違和感を解消することはできない。 [0008] Thus, uncomfortable feeling of the actual image by not considering the perspective of the user, for example, a portable display, rather than a video see-through, can be solved by an optical see-through type, in which case But, it is not possible to eliminate the discomfort caused the virtual image. 即ち、ユーザの視点を考慮しない場合には、仮想画像は、携帯型ディスプレイに対して固定の位置に視点を想定して表示される。 That is, without considering the perspective of the user, the virtual image is displayed by assuming the viewpoint fixed position relative to the portable display. その結果、ユーザの視点が、 As a result, the user's point of view,
想定した視点と異なる場合には、ユーザが見る仮想画像は、違和感のあるものとなる。 If different from the assumed perspective, virtual images viewed by the user becomes some discomfort.

【0009】従って、ユーザの視点を考慮しない場合には、実画像と仮想画像とを重畳してた画像(合成画像) Accordingly, an image in the case without consideration of the viewpoint of users, which has been superimposed on the virtual image and the real image (composite image)
も、違和感のあるものとなる。 Also, the some of the discomfort.

【0010】なお、本件出願人は、例えば、特開平10 [0010] Incidentally, the present applicant, for example, JP-A-10
−49290号公報において、任意の視点からの鳥瞰図を作成して表示するものを提案しているが、これは、ユーザの視点を考慮したものではなく、この方法により、 In -49290 and JP proposes what creating and displaying bird's-eye view from an arbitrary viewpoint, this is not taking into account the viewpoint of the user, by this method,
実画像と仮想画像とを重畳して、違和感のない合成画像を提供することは困難である。 By superimposing the virtual image with a real image, it is difficult to provide a combined image without uncomfortable feeling.

【0011】本発明は、このような状況に鑑みてなされたものであり、現実空間と仮想空間とを融合した、違和感のない画像を提供することができるようにするものである。 [0011] The present invention has been made in view of such circumstances, a fusion of the real space and virtual space, it is desirable to make it possible to provide an image without uncomfortable feeling.

【0012】 [0012]

【課題を解決するための手段】本発明の情報処理装置は、表示手段の3次元空間における位置を算出する表示位置算出手段と、ユーザの視点を算出する視点算出手段と、表示手段の位置およびユーザの視点に基づいて、仮想画像を変換する仮想画像変換手段とを含むことを特徴とする。 The information processing apparatus of the present invention According to an aspect of the display position calculating means for calculating a position in three-dimensional space of the display unit, and the viewpoint calculating means for calculating a viewpoint of the user, the position of the display means and based on the user's viewpoint, characterized in that it comprises a virtual image converting means for converting the virtual image.

【0013】本発明の情報処理方法は、表示手段の3次元空間における位置を算出する表示位置算出ステップと、ユーザの視点を算出する視点算出ステップと、表示手段の位置およびユーザの視点に基づいて、仮想画像を変換する仮想画像変換ステップとを含むことを特徴とする。 [0013] An information processing method of the present invention includes: a display position calculating step of calculating a position in three-dimensional space of the display unit, and the viewpoint calculating a viewpoint of the user, based on the position and the user's viewpoint of the display means , characterized in that it comprises a virtual image conversion step of converting the virtual image.

【0014】上記構成の情報処理装置および情報処理方法においては、表示手段の3次元空間における位置が算出されるとともに、ユーザの視点が算出される。 [0014] In the information processing apparatus and information processing method having the aforementioned configuration, the position in 3-dimensional space of the display means while being computed, the viewpoint of the user is calculated. そして、表示手段の位置およびユーザの視点に基づいて、仮想画像が変換される。 Then, based on the position and the user's viewpoint of the display means, the virtual image is converted.

【0015】 [0015]

【発明の実施の形態】図1は、本発明を適用した携帯型表示装置の第1実施の形態の構成(機能的構成)を示している。 Figure 1 DETAILED DESCRIPTION OF THE INVENTION shows the configuration (functional structure) of the first embodiment of the portable display apparatus according to the present invention.

【0016】光学シースルー型表示部1は、例えば、透明なLCD(Liquid Crystal Display)などでなる光学シースルー型のLCDで、レンダリング部9から供給される仮想画像を表示する他、その表示画面を介して、現実空間が見えるようになっている。 The optical see-through display unit 1 is, for example, a transparent LCD (Liquid Crystal Display) of the optical see-through type which becomes like LCD, addition to displaying the virtual image supplied from the rendering unit 9, via the display screen Te, so that the visible reality space. 従って、光学シースルー型表示部1においては、その表示画面を介して見える実画像と、レンダリング部9からの仮想画像とを重畳した合成画像が表示される。 Accordingly, in the optical see-through display unit 1 includes a real image viewed through the display screen, the composite image formed by superimposing the virtual image from the rendering unit 9 is displayed. なお、光学シースルー型表示部1は、いわゆるノート型パソコン(パーソナルコンピュータ)程度の大きさの平板形状の筐体に収められている。 The optical see-through display unit 1 is housed in a housing of the so-called notebook PC (personal computer) about the size of a flat plate shape. また、後述する各ブロックも、その筐体に収められており、これにより、携帯型表示装置は、携帯に便利なようになっている。 Also, each block to be described later, is housed in the housing, thereby, the portable display device is adapted to portable convenient. なお、この携帯型表示装置は、ユーザが、片手または両手で持って、あるいは、スタンド等により固定して使用される。 Incidentally, the portable display device, the user, with one hand or both hands, or is used by fixing a stand or the like.

【0017】3次元位置方向センサ2は、光学シースルー型表示部1に固定されており、所定の基準面に対する光学シースルー型表示部1の位置、および傾き等の姿勢を算出するための出力を、3次元位置方向算出部3に供給するようになされている。 [0017] 3-dimensional position-direction sensor 2 is fixed to the optical see-through type display unit 1, the position of the optical see-through display unit 1 with respect to a predetermined reference plane, and an output for calculating the attitude of such an inclination, and it supplies the three-dimensional position-direction calculating unit 3. 3次元位置方向算出部3 3-dimensional position-direction calculating unit 3
は、3次元位置方向センサ2の出力に基づいて、所定の基準面に対する光学シースルー型表示部1の位置、および傾き等の姿勢を算出し、仮想物体座標変換部8に供給するようになされている。 Based on the output of the three-dimensional position-direction sensor 2, the position of the optical see-through display unit 1 with respect to a predetermined reference plane, and calculates the posture of such inclination, and supplies it to a virtual object coordinate conversion unit 8 there.

【0018】ここで、光学シースルー型表示部1の位置や姿勢を算出する方法としては、直交コイルでなるソースコイルおよび位置センサを用いて、磁界を検出するものがある。 [0018] Here, as the method of calculating the position and orientation of the optical see-through type display unit 1, using a source coil and a position sensor composed of orthogonal coils, there is one that detects a magnetic field. 即ち、例えば、ソースコイルを基準面とする位置(例えば、光学シースルー表示部1を介して見える実際の物体の位置)に設置し、3次元位置方向センサ2 That is, for example, installed in a position that a reference surface source coil (e.g., the position of the real object visible through an optical see-through display unit 1), the three-dimensional position-direction sensor 2
として位置センサを用いることにより、3次元位置方向算出部3において、光学シースルー型表示部1の位置や姿勢を算出することが可能となる。 The use of position sensors as in the three-dimensional position-direction calculating unit 3, it is possible to calculate the position and orientation of the optical see-through display unit 1. このようにして光学シースルー型表示部1の位置や姿勢を算出する方法については、例えば、前述の特開平10−51711号公報に、その詳細が開示されている。 The method of calculating such a position and orientation of the optical see-through type display unit 1 in the, for example, in JP-A 10-51711 discloses the above, the details are disclosed. また、直交コイルを用いて、物体の位置や姿勢を算出する装置としては、例えば、Polhemus社の3SPACE(商標)がある。 Further, by using the orthogonal coils, as a device for calculating the position and orientation of an object, for example, a Polhemus Inc. 3SPACE (TM).

【0019】なお、光学シースルー型表示部1の位置や姿勢の算出は、その他、例えば、超音波を利用して行うことも可能である。 [0019] The calculation of the position and orientation of the optical see-through display unit 1, other, for example, can be performed by using ultrasonic waves. 超音波を利用して、物体の位置や姿勢を算出する装置としては、例えば、Stereo Graphics Using ultrasound, the device for calculating the position and orientation of an object, for example, Stereo Graphics
社のCrystal EYES(商標)がある。 There is a company of Crystal EYES (TM).

【0020】視点位置方向センサ4は、例えば、光学シースルー型表示部1に固定されており、所定の基準面に対するユーザの視点(視点の方向または3次元空間における位置(座標))を算出するための出力を、視点位置方向算出部5に供給するようになされている。 The viewpoint position direction sensor 4, for example, is fixed to the optical see-through type display unit 1, in order to calculate the user's viewpoint (viewpoint position in the direction or three-dimensional space (coordinates)) with respect to a predetermined reference plane the output of, and supplies to the viewpoint position-direction calculating unit 5. 視点位置方向算出部5は、視点位置方向センサ4の出力に基づいて、所定の基準面に対するユーザの視点を算出し、仮想物体座標変換部8に供給するようになされている。 Viewpoint position-direction calculating unit 5, based on the output of the viewpoint position direction sensor 4, and calculates the user's viewpoint with respect to a predetermined reference plane, and supplies the virtual object coordinate conversion unit 8.

【0021】ここで、ユーザの視点は、例えば、ユーザに、直交コイルであるソースコイル付きの眼鏡をかけてもらい、視点位置方向センサ4として直交コイルである位置センサを用いることにより、3次元位置方向算出部3における場合と同様にして算出することができる。 [0021] Here, the viewpoint of the user, for example, the user, Have glasses with source coils are orthogonal coils, by using the position sensor is an orthogonal coil as the viewpoint position-direction sensor 4, the three-dimensional position it can be calculated in the same manner as in the direction calculating unit 3.

【0022】また、ユーザの視点は、例えば、視点位置方向センサ4として、CCD(Charge Coupled Devic Further, the viewpoint of the user, for example, as a viewpoint position direction sensor 4, CCD (Charge Coupled Devic
e)ビデオカメラを採用し、視点位置方向算出部5において、CCDビデオカメラが出力する画像を認識することによって算出することができる。 e) employs a video camera, in the viewpoint position direction computing section 5, can be calculated by recognizing the image CCD video camera output. 具体的には、例えば、「八木 他、”画像情報処理のための共通プラットフォームの構築”、情処研報Vol.98, No 26 ISSN0919-6 Specifically, for example, "Yagi et al.," Construction of a common platform for image processing ", Josho Research Report Vol.98, No 26 ISSN0919-6
072 98-CVM-110-9, 1998.3.19」に記載されているように、画像認識を行うことにより、撮像された画像からユーザの顔の領域を切り出し、そこから目の位置をステレオ処理などによって抽出することで、視点を算出することができる。 072 98-CVM-110-9, as described in 1998.3.19 ", by performing image recognition, cut out region of the user's face from the captured image from which the position of the eye stereo processing such as by extracting, it is possible to calculate the viewpoint. あるいは、ユーザの顔に、所定のマーカを付してもらい、そのマーカーの位置を画像処理により求めることで、視点を算出することもできる。 Alternatively, the face of the user, Have given the predetermined marker, by obtaining the position of the marker by image processing, it is possible to calculate the viewpoint.

【0023】仮想物体データ蓄積部6は、仮想物体の形状およびテクスチャのデータを記憶している。 The virtual object data storage section 6 stores the data of the shape and texture of the virtual object. 仮想物体生成部7は、仮想物体データ蓄積部6に記憶されているデータに基づいて、所定の3次元空間における仮想的な物体(仮想物体)を生成し、仮想物体座標変換部8に供給するようになされている。 Virtual object generation unit 7, based on the data stored in the virtual object data storage section 6 to generate a virtual object (virtual object) in a predetermined three-dimensional space, and supplies the virtual object coordinate conversion unit 8 It has been made so. 仮想物体座標変換部8は、 Virtual object coordinate conversion unit 8,
3次元位置方向算出部3からの光学シースルー型表示部1の位置および姿勢、並びに視点位置方向算出部5からのユーザの視点に基づいて、仮想物体の座標変換を、幾何計算によって行い、その座標変換後の仮想物体を、レンダリング部9に供給するようになされている。 Position and orientation of the optical see-through display unit 1 from the three-dimensional position-direction calculating unit 3, and based on the user's point of view from the view point direction calculating unit 5, a coordinate transformation of the virtual object is performed by the geometric calculation, the coordinates a virtual object after conversion, and supplies the rendering unit 9. レンダリング部9は、仮想物体座標変換部8からの座標変換後の仮想物体のデータに基づいてレンダリングを行い、その仮想物体のレンダリング結果としての3次元CG(Co Rendering unit 9 performs rendering based on the data of the virtual object after the coordinate transformation from the virtual object coordinate conversion unit 8, the three-dimensional CG (Co as a result of rendering the virtual object
mputer Graphics)(仮想画像)を、光学シースルー型表示部1に供給するようになされている。 Mputer Graphics) (virtual image), and supplies to the optical see-through display unit 1.

【0024】ここで、仮想画像としての3次元CGのレンダリングの手法としては、例えば、イメージベースドレンダリング(image based rendering)や、ジオメトリベースドレンダリング(geometry based rendering) [0024] Here, as a method of 3-dimensional CG rendering as a virtual image, for example, image-based rendering (image based rendering) and the geometry-based rendering (geometry based rendering)
等を採用することができる。 It can be adopted and the like.

【0025】次に、図2は、図1の携帯型表示装置の電気的構成例を示している。 Next, FIG. 2 shows an example of the electrical configuration of the portable display device of Figure 1.

【0026】基準カメラ11および検出カメラ12は、 [0026] The reference camera 11 and the detection camera 12,
例えば、CCDビデオカメラであり、図2の実施の形態においては、視点位置方向センサ4を構成している。 For example, a CCD video camera, in the embodiment of Figure 2, constitutes a viewpoint position direction sensor 4. 基準カメラ11または検出カメラ12は、ユーザを、異なる視点方向から撮像し、その結果得られるユーザの画像を、A/D(Analog/Digital)変換器13または14にそれぞれ供給するようになされている。 Reference camera 11 or the detection camera 12, the user captures a different viewpoint direction, an image of the resulting user, and supplies each of the A / D (Analog / Digital) converter 13 or 14 . A/D変換器1 A / D converter 1
3または14は、基準カメラ11または検出カメラ12 3 or 14, the reference camera 11 or the detection camera 12
からのアナログ信号の画像を、ディジタルの画像データに変換し、フレームメモリ15または16にそれぞれ供給するようになされている。 An image of the analog signal from, converted into digital image data, and supplies the respective frame memories 15 or 16. フレームメモリ15または16は、A/D変換器13または14からの画像データをそれぞれ記憶するようになされている。 Frame memory 15 or 16 is adapted to store the image data from the A / D converter 13 or 14, respectively.

【0027】CPU(Central Processing Unit)17 [0027] The CPU (Central Processing Unit) 17
は、携帯型表示装置を構成する図2の各ブロックを制御する他、図1に示した各ブロックが行う処理を行うようになされている。 , In addition to control each block of FIG. 2 constituting the portable display device, are adapted to perform each block performs processing shown in FIG. 即ち、CPU17は、RS−232C In other words, CPU17 is, RS-232C
/RS−422コントローラ20を介して供給される3 / RS-422 3 supplied via the controller 20
次元位置方向センサ2の出力に基づいて、光学シースルー型表示部1の位置や姿勢を算出するようになされている。 Based on the output of the dimension position direction sensor 2 is adapted to calculate the position and orientation of the optical see-through display unit 1. また、CPU17は、上述したようにしてフレームメモリ15および16に記憶された画像に基づいて、ユーザの視点の位置または方向を算出するようになされている。 Further, CPU 17, based on the image stored in the frame memory 15 and 16 in the manner described above, is adapted to calculate the position or orientation of the user's viewpoint. さらに、CPU17は、図1の仮想物体生成部7 Further, CPU 17, the virtual object generation unit 7 of FIG. 1
による仮想物体の生成や、仮想物体座標変換部8による座標変換、レンダリング部9によるレンダリング等を行うようになされている。 Generation of the virtual object by coordinate conversion by the virtual object coordinate conversion unit 8, are adapted to perform rendering, etc. by the rendering unit 9.

【0028】ROM(Read Only Memory)18は、IP [0028] ROM (Read Only Memory) 18 is, IP
L(Initial Program Loading)のプログラムなどを記憶している。 L stores such as (Initial Program Loading) program. RAM(Random Access Memory)19は、 RAM (Random Access Memory) 19 is,
CPU17が上述したような処理を行うためのプログラムや、CPU17の動作上必要なデータを記憶するようになされている。 CPU 17 is a program for performing the processing as described above is adapted to store data necessary for operation of the CPU 17. RS−232C/RS−422コントローラ20は、3次元位置方向センサ2との間で、RS RS-232C / RS-422 controller 20 between a 3-dimensional position-direction sensor 2, RS
−232CまたはRS−422の規格等に準拠したシリアル通信を行い、3次元位置方向センサ2の出力を、バスを介して、CPU17に供給するようになされている。 It performs serial communication conforming to -232C or standards such as the RS-422, the output of the three-dimensional position-direction sensor 2, via the bus, and supplies to the CPU 17.

【0029】LCDコントローラ21は、CPU17の制御の下、VRAM(Video RAM)22を用いて、LC The LCD controller 21, under the control of the CPU 17, using a VRAM (Video RAM) 22, LC
Dである光学シースルー型表示部1の表示を制御するようになされている。 Is adapted to control the display of the optical see-through type display unit 1 is D. VRAM22は、光学シースルー型表示部1が表示する画像データを一時記憶するようになされている。 VRAM22 is adapted to temporarily store image data optical see-through display unit 1 displays. 即ち、表示すべき画像データは、LCDコントローラ21を介してVRAM22に書き込まれ、L That is, the image data to be displayed is written into the VRAM22 via the LCD controller 21, L
CDコントローラ21が、VRAM22に記憶された画像データを光学シースルー型表示部1に供給することにより、画像が表示されるようになされている。 CD controller 21, by supplying the image data stored in the VRAM22 the optical see-through display unit 1 are adapted to an image is displayed.

【0030】ストレージコントローラ23は、例えば、 The storage controller 23, for example,
HD(Hard Disk)やFD(FloppyDisk)等の磁気ディスク24や、ミニディスク(商標)等の光磁気ディスク25、CD−ROM(Compact Disc ROM)等の光ディスク26、ROMやフラッシュメモリ等の不揮発性メモリ27に対するアクセスを制御するようになされている。 HD (Hard Disk) or a FD (FloppyDisk), a magnetic disk 24 such as a magneto-optical disk 25 such as a Mini Disc (trademark), CD-ROM (Compact Disc ROM) optical disc 26, non-volatile, such as a ROM or a flash memory such as It is adapted to control access to the memory 27.
磁気ディスク24、光磁気ディスク25、光ディスク2 Magnetic disk 24, optical disk 25, optical disk 2
6、不揮発性メモリ27は、仮想物体の形状やテクスチャのデータを記憶しており、これらのデータは、CPU 6, non-volatile memory 27 stores a data of the shape and texture of the virtual object, these data, CPU
17によって、ストレージコントローラ23を介して読み出されるようになされている。 By 17, it is adapted to be read via the storage controller 23. なお、磁気ディスク2 In addition, the magnetic disk 2
4等には、CPU17が上述したような処理を行うためのプログラム等も記憶されている。 The like 4, CPU 17 is also stored programs for performing the processing as described above.

【0031】通信コントローラ28は、電波や赤外線等による無線通信、およびイーサネット(商標)等による有線の通信を制御するようになされている。 The communication controller 28 is adapted to control the wired communication by wireless communication using radio waves or infrared rays, and an Ethernet (trademark). 例えば、仮想物体の形状やテクスチャのデータ、CPU17が各種の処理を行うためのプログラム等は、この通信コントローラ28を介して通信を行うことにより、外部の装置から取得することも可能となっている。 For example, programs for data shape and texture of the virtual object, CPU 17 performs various processes, by communicating via the communication controller 28, which is can also acquire from the external device .

【0032】図2の実施の形態においては、視点位置方向センサ4が、基準カメラ11および検出カメラ12の2つのCCDビデオカメラで構成され、CPU17では、この2つの基準カメラ11および検出カメラ12の画像を用いて、ステレオ処理を行うことで、ユーザの視点の3次元空間における位置が算出されるようになされている。 [0032] In the embodiment of Figure 2, viewpoint position direction sensor 4 is constituted by two CCD video camera of the base camera 11 and the detection camera 12, the CPU 17, the two reference cameras 11 and the detection camera 12 using an image, by performing stereo processing has been performed so that the position in the three-dimensional space of the point of view of the user is calculated.

【0033】ここで、ステレオ処理について説明する。 [0033] Here, the stereo processing will be described.

【0034】ステレオ処理は、2つ以上の方向(異なる視線方向)からカメラで同一対象物を撮影して得られる複数の画像間の画素同士を対応付けることで、対応する画素間の視差や、カメラから対象物までの距離、対象物の形状を求めるものである。 The stereo processing, by associating the pixels to between a plurality of images obtained from two or more directions (different line-of-sight direction) by photographing a same object by a camera, and parallax between the corresponding pixels, the camera distance from to the object, and requests the shape of the object.

【0035】即ち、基準カメラ11および検出カメラ1 [0035] In other words, the reference camera 11 and the detection camera 1
2で物体を撮影すると、基準カメラ11からは物体の投影像を含む画像(基準カメラ画像)が得られ、検出カメラ12からも物体の投影像を含む画像(検出カメラ画像)が得られる。 When shooting an object with 2, from the reference camera 11 images (reference camera image) is obtained including the projection image of the object, an image (detection camera image) is obtained including the projection image of the object from the detection camera 12. いま、図3に示すように、物体上のある点Pが、基準カメラ画像および検出カメラ画像の両方に表示されているとすると、その点Pが表示されている基準カメラ画像上の位置と、検出カメラ画像上の位置、 Now, as shown in FIG. 3, P point on the object, when that appear in both the reference camera image and the detection camera image, the position on the reference camera image the point P is displayed, position on the detection camera image,
つまり対応点とから、基準カメラ11と検出カメラ12 That from the corresponding points, the reference camera 11 and the detection camera 12
との間の視差を求めることができ、さらに、三角測量の原理を用いて、点Pの3次元空間における位置(3次元位置)を求めることができる。 Parallax can be obtained between, further using the principle of triangulation, it is possible to obtain the position in 3-dimensional space of the point P (3-dimensional position).

【0036】従って、ステレオ処理では、まず、対応点を検出することが必要となるが、その検出方法としては、例えば、エピポーラライン(Epipolar Line)を用いたエリアベースマッチング法などがある。 [0036] Thus, the stereo processing, first, it is necessary to detect the corresponding point, as the detection method, for example, there is such area base matching method using the epipolar line (Epipolar Line).

【0037】即ち、図3に示すように、基準カメラ11 [0037] That is, as shown in FIG. 3, reference camera 11
においては、物体上の点Pは、その点Pと基準カメラ1 In the P point on the object, the point P and the reference camera 1
1の光学中心(レンズ中心)O1とを結ぶ直線L上の、 On the straight line L connecting the first optical center (lens center) O1,
基準カメラ11の撮像面S1との交点naに投影される。 It is projected to the intersection na the imaging surface S1 of the base camera 11.

【0038】また、検出カメラ12においては、物体の点Pは、その点Pと検出カメラ12の光学中心(レンズ中心)O2とを結ぶ直線上の、検出カメラ12の撮像面S2との交点nbに投影される。 Further, the detection camera 12, P point of the object on the straight line connecting the optical center (lens center) O2 of the detection camera 12 and the point P, the intersection of the imaging surface S2 of the detection camera 12 nb It is projected to.

【0039】この場合、直線Lは、光学中心O1およびO2、並びに点na(または点P)の3点を通る平面と、検出カメラ画像が形成される撮像面S2との交線L [0039] In this case, straight line L is the intersection line of a plane passing through the three points of the optical center O1 and O2, as well as the point na (or point P), the imaging surface S2 of the detection camera image is formed L
2として、撮像面S2上に投影される。 As 2 is projected onto the imaging surface S2. 点Pは、直線L The point P, straight line L
上の点であり、従って、撮像面S2において、点Pを投影した点nbは、直線Lを投影した直線L2上に存在し、この直線L2が、エピポーララインと呼ばれる。 Is the point above, therefore, the imaging surface S2, nb point obtained by projecting the point P is present on the straight line L2 obtained by projecting the straight line L, the straight line L2 is referred to as epipolar line. 即ち、点naの対応点nbが存在する可能性のあるのは、 That, then possible that there are corresponding points nb of the point na is
エピポーララインL2上であり、従って、対応点nbの探索は、エピポーララインL2上を対象に行えば良い。 An on epipolar line L2, therefore, the search for corresponding points nb may be performed in a subject on the epipolar line L2.

【0040】ここで、エピポーララインは、例えば、撮像面S1に形成される基準カメラ画像を構成する画素ごとに考えることができるが、基準カメラ11と検出カメラ12の位置関係が既知であれば、その画素ごとに存在するエピポーララインはあらかじめ求めておくことができる。 [0040] Here, the epipolar line, for example, can be considered for each pixel constituting the reference camera image formed on the imaging surface S1, the positional relationship of the base camera 11 and the detection camera 12 if known, epipolar lines existing per the pixel can be obtained in advance.

【0041】エピポーララインL2上の点からの対応点nbの検出は、例えば、次のようなエリアベースマッチングによって行うことができる。 [0041] Detection of the corresponding point nb from a point on the epipolar line L2, for example, can be carried out by area-based matching, such as:.

【0042】即ち、エリアベースマッチングでは、図4 [0042] That is, in the area-based matching, as shown in FIG. 4
(A)に示すように、基準カメラ画像上の点naを中心(例えば、対角線の交点)とする、例えば長方形状の小ブロック(例えば、横×縦が5画素×5画素のブロック)である基準ブロックが、基準カメラ画像から抜き出されるとともに、図4(B)に示すように、検出カメラ画像に投影されたエピポーララインL2上の、ある点を中心とする、基準ブロックと同一の大きさの小ブロックである検出ブロックが、検出カメラ画像から抜き出される。 (A), the center of na point on the reference camera image (e.g., diagonal intersection of) the, for example, is the rectangular shape of the small block (e.g., horizontal × vertical is 5 pixels × 5 pixel block) reference block, with withdrawn from the reference camera image, as shown in FIG. 4 (B), on the epipolar line L2 projected on the detection camera image, centered at a point, identical to the reference block size detecting block is a small block of is extracted from the detection camera image.

【0043】ここで、図4(B)の実施の形態においては、エピポーララインL2上に、検出ブロックの中心とする点として、点nb1乃至nb6の6点が設けられている。 [0043] Here, in the embodiment of FIG. 4 (B), on the epipolar line L2, as a point to the center of the detection block, 6 points of the point nb1 to nb6 is provided. この6点nb1乃至nb6は、図3に示した3次元空間における直線Lの点であって、基準点からの距離が、例えば1m,2m,3m,4m,5m,6mの点それぞれを、検出カメラ12の撮像面S2に投影した点で、従って、基準点からの距離が1m,2m,3m,4 The six points nb1 to nb6 is a point of the straight line L in the three-dimensional space shown in FIG. 3, the distance from the reference point, for example 1 m, 2m, 3m, 4m, 5 m, respectively point 6 m, the detection a point obtained by projecting the imaging surface S2 of the camera 12, therefore, the distance from the reference point 1 m, 2m, 3m, 4
m,5m,6mの点にそれぞれ対応している。 m, respectively correspond 5m, to the point of 6m.

【0044】エリアベースマッチングでは、検出カメラ画像から、エピポーララインL2上に設けられている点nb1乃至nb6それぞれを中心とする検出ブロックが抜き出され、各検出ブロックと、基準ブロックとの相関が、所定の評価関数を用いて演算される。 [0044] In the area-based matching, the detection camera image detection block around the nb1 to nb6 each point is provided on the epipolar line L2 is extracted, and the detection block, the correlation with the reference block, It is calculated by using a predetermined evaluation function. そして、点n Then, a point n
aを中心とする基準ブロックとの相関が最も高い検出ブロックの中心の点nbが、点naの対応点として求められる。 Point nb central correlation highest detection block and the reference block centered on a is obtained as the corresponding point of the point na.

【0045】ここで、基準ブロックと検出ブロックとの相関性を評価する評価関数としては、例えば、基準ブロックを構成する画素と、それぞれの画素に対応する、検出ブロックを構成する画素の画素値の差分の絶対値の総和や、画素値の差分の自乗和、正規化された相互相関(n [0045] Here, the evaluation function for evaluating the correlation between the reference block and the detection block, e.g., the pixels constituting the reference block, corresponding to each pixel, the pixel values ​​of the pixels constituting the detection block the absolute value of the sum or square sum of differences of pixel values, normalized cross-correlation of the difference (n
ormalized cross correlation)などを用いることができる。 ormalized cross correlation) or the like can be used.

【0046】いま、評価関数として、画素値の差分の絶対値の総和を用いることとすると、基準カメラ画像上の所定の点(x,y)(座標(x,y)の画素)についての、検出カメラ画像上のある点(x',y')との間の相関は、例えば、次式で表される評価値(エラー値)e [0046] Now, as the evaluation function, when using a sum of absolute values ​​of differences between pixel values, a predetermined point on the reference camera image (x, y) for (coordinates (x, y) of the pixel), a point on the detection camera image (x ', y') correlation between, for example, an evaluation value represented by the following formula (error value) e
(x,y)によって評価される。 (X, y) is evaluated by.

【0047】 [0047]

【数1】 [Number 1] ・・・(1) 但し、式(1)において、e(x,y)は、基準カメラ画像上の画素(x,y)、と、検出カメラ画像上の画素(x',y')との間の相関を示す評価値(エラー値) (1) where, in the formula (1), e (x, y) is the pixel (x, y) on the reference camera image, and the pixels on the detection camera image (x ', y') and evaluation value indicating the correlation between (error value)
を表す。 A representative. さらに、YA(x+i,y+j)は、基準カメラ画像上の点(x+i,y+j)における画素の画素値としての、例えば輝度を表し、YB(x'+i,y'+ Further, YA (x + i, y + j) is a point (x + i, y + j) of the reference camera image as a pixel value of a pixel in, for example, represents the luminance, YB (x '+ i, y' +
j)は、検出カメラ画像上の点(x'+i,y'+j) j) is a point on the detection camera image (x '+ i, y' + j)
における画素の輝度を表す。 It represents the luminance of a pixel in. また、Wは、基準ブロックおよび検出ブロックを表し、i,j∈Wは、点(x+ Further, W is, represents a reference block and a detection block, i, J∈W is the point (x +
i,y+j)または点(x'+i,y'+j)が、それぞれ、基準ブロックまたは検出ブロック内の点(画素) i, y + j) or point (x '+ i, y' + j) is a point of each reference block or detection block (pixels)
であることを表す。 Indicating that it is.

【0048】なお、式(1)で表される評価値e(x, [0048] The evaluation value e (x represented by the formula (1),
y)は、基準カメラ画像上の画素(x,y)と、検出カメラ画像上の画素(x',y')との間の相関が大きいほど小さくなり、従って、評価値e(x,y)を最も小さくする検出カメラ画像上の画素(x',y')が、基準カメラ画像上の画素(x,y)の対応点として求められる。 y) is a pixel on the reference camera image (x, a y), the pixels on the detection camera image (x ', y' decreases the larger the correlation between), therefore, the evaluation value e (x, y ) smallest pixel on the detection camera image (x a ', y') is a pixel on the reference camera image (x, is determined as corresponding points y).

【0049】いま、式(1)に示したような、相関が高いほど小さな値をとる評価値を用いた場合に、エピポーララインL2上の点nb1乃至nb6それぞれについて、例えば、図5に示すような評価値(評価関数の値) [0049] Now, as shown in equation (1), when the evaluation value takes a smaller value the higher the correlation, the point nb1 to nb6 each on the epipolar line L2, for example, as shown in FIG. 5 Do the evaluation value (the value of the evaluation function)
が得られたとする。 And it was obtained. ここで、図5においては、点nb1 Here, in FIG. 5, the point nb1
乃至nb6に対応する3次元空間上の点それぞれにあらかじめ付された、基準点からの距離に対応する距離番号を横軸として、各距離番号(に対応するエピポーララインL2上の点nb1乃至nb6)に対する評価値を、図示してある。 Or attached in advance to the respective points on the three-dimensional space corresponding to nb6, the distance number corresponding to the distance from the reference point as a horizontal axis, (point nb1 to nb6 on the epipolar line L2 corresponding to) each distance number an evaluation value for, is shown.

【0050】図5に示したような評価値でなる評価曲線が得られた場合には、評価値が最も小さい(相関が最も高い)距離番号3に対応するエピポーララインL2上の点が、点naの対応点として検出される。 [0050] When the evaluation curve made by the evaluation value as shown in FIG. 5 is obtained, the points on the epipolar line L2 which smallest evaluation value corresponding to (the correlation is highest) distance number 3, point It is detected as a corresponding point of the na. なお、図5において、距離番号1乃至6に対応する点それぞれについて求められた評価値(図5において●印で示す)のうちの最小値付近のものを用いて補間を行い、評価値がより小さくなる点(図5において×印で示す3.3mに対応する点)を求めて、その点を、最終的な対応点として検出することも可能である。 In FIG. 5, distance number 1 to 6 evaluation value determined for each point corresponding to perform interpolation using those near the minimum value among the (5 indicated by marks ●), more evaluation value seeking smaller points (points corresponding to 3.3m indicated by × mark in FIG. 5), the point can also be detected as a final corresponding point.

【0051】なお、基準カメラ11の撮像面S1上の点naと、その光学中心O1を結ぶ直線L上の点を、検出カメラ12の撮像面S2に投影した点nb1乃至nb6 [0051] Incidentally, the na point on the imaging surface S1 of the base camera 11, a point on the line L connecting the optical center O1, nb1 to point projected on the imaging surface S2 of the detection camera 12 nb6
の設定は、例えば、基準カメラ11および検出カメラ1 Setting, for example, the reference camera 11 and the detection camera 1
2のキャリブレーション時に行うことができる(キャリブレーションの方法は、特に限定されるものではない)。 It can be carried out during the second calibration (calibration method is not particularly limited). そして、このような設定を、基準カメラ11の撮像面S1を構成する画素ごとに存在するエピポーララインごとに行い、エピポーラライン上に設定された点(以下、適宜、設定点という)までの距離(基準点からの距離)に対応する距離番号と、基準点からの距離とを対応付ける距離番号/距離テーブルをあらかじめ作成しておけば、対応点となる設定点を検出し、その設定点に対応する距離番号を、距離番号/距離テーブルを参照して変換することで、即座に、基準点からの距離(物体上の点までの距離の推定値)を求めることができる。 Then, such a setting is performed for each epipolar lines existing in each pixel constituting the imaging surface S1 of the base camera 11, a point that has been set on the epipolar line (hereinafter referred to as the setpoint) distance to ( the distance number corresponding to distance) from a reference point, if creating a distance number / distance table for associating the distance from the reference point in advance, to detect the set point as a corresponding point, corresponding to the set point the distance number, by converting with reference to distance number / distance table, it is possible to immediately determine the distance from a reference point (the estimated value of the distance to the point on the object). 即ち、いわば、対応点から、直接、距離を求めることができる。 That is, so to speak, can be obtained from the corresponding point directly distance.
但し、距離は、対応点を検出後、視差を求めて、その視差から算出することも可能である。 However, the distance after detecting the corresponding points, seeking a parallax, it is possible to calculate the parallax.

【0052】なお、基準カメラ11および検出カメラ1 [0052] It is to be noted that the reference camera 11 and the detection camera 1
2で撮像する対象物が、例えば、人の顔である場合には、基準カメラ11と検出カメラ12とから見える顔の向きが異なることがある。 Object to be imaged at 2, for example, when a human face, the direction of the face visible from the reference camera 11 and the detection camera 12. may be different. この場合、対応点どうしの基準ブロックおよび検出ブロックを、そのまま用いて、両者の相関を計算しても、その相関が大きくならないことがあり、その結果、正しい対応点が求められないことがある。 In this case, the reference block and the detection block of the corresponding points to each other, used as it is, even if calculating the correlation between the two, there is that the correlation is not increased, as a result, the correct corresponding points can not be obtained. そこで、基準ブロックと検出ブロックとの相関は、例えば、検出ブロックを、基準カメラ11から見たものとなるように射影変換した後に計算するのが望ましい。 Therefore, the correlation between the reference block and the detection block, for example, a detection block, it is desirable to calculate after projective transformation so that as viewed from the reference camera 11.

【0053】また、図2の実施の形態では、1台の基準カメラ11と、1台の検出カメラ12とを用いることとしたが、検出カメラは、複数台用いることが可能である。 [0053] In the embodiment of FIG. 2, and one of the base camera 11, it is assumed that use of the detection camera 12 of one, the detection camera can be used multiple. この場合、マルチベースラインステレオ(Multi Ba In this case, the multi-baseline stereo (Multi Ba
seline Stereo)法による評価値を求めて、その評価値に基づき、距離を求める、即ち、いわゆる多眼ステレオ処理により距離画像を求めることとなる。 Seeking evaluation value by Seline Stereo) method, based on the evaluation value, determine the distance, i.e., so that the seek distance image by a so-called multi-view stereo processing.

【0054】ここで、マルチベースラインステレオ法は、1の基準カメラ画像と、複数の検出カメラ画像とを用い、その複数の検出カメラ画像それぞれについて、基準カメラ画像との間の相関を表す評価値を求め、それぞれの評価値どうしを、同一の距離番号について加算し、 [0054] Here, the multi-baseline stereo method, a first reference camera image, using a plurality of the detection camera image, for each of the plurality of detection camera images, an evaluation value representing a correlation between the reference camera image look, the respective evaluation values ​​with each other, adds the same distance number,
その加算値を、最終的な評価値として用いることにより高精度に距離を求めるもので、その詳細については、例えば、奥富正敏、金出武雄、「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌D-II V The added value, by using as the final evaluation value and requests the distance with high precision, and details thereof, for example, Masatoshi Okutomi, Takeo Kanade, "stereo matching using a plurality of base length", electronic information and communication Engineers Journal D-II V
ol.J75-D-II No.8 pp.1317-1327 1992年8月に記載されている。 It has been described in ol.J75-D-II No.8 pp.1317-1327 8 May 1992. マルチベースラインステレオ法は、例えば、基準カメラ画像および検出カメラ画像が、繰り返しパターンを有する場合に、特に有効である。 Multi-baseline stereo method, for example, the reference camera image and the detection camera image, when having a repeating pattern, is particularly effective.

【0055】さらに、図2の実施の形態では、2台のC [0055] Further, in the embodiment of FIG. 2, the two C
CDビデオカメラである基準カメラ11と検出カメラ1 CD reference camera 11 is a video camera and the detection camera 1
2によって、視点位置方向センサ4を構成するようにしたが、視点位置方向センサ4は、1台のCCDビデオカメラで構成することも可能である。 By 2, but so as to constitute the point of view direction sensor 4, viewpoint position direction sensor 4 can also be constituted by a single CCD video camera. 但し、複数台のCC However, of more than one CC
Dビデオカメラを用いる場合には、ステレオ処理によって、ユーザの視点の3次元空間における位置を求めることができるが、1台のCCDビデオカメラを用いる場合には、そのような3次元的な位置(距離)を求めることは困難となる。 When using a D video camera, the stereo processing, it is possible to determine the position in three-dimensional space of the point of view of the user, when using one CCD video camera, such three-dimensional position ( distance) to seek is difficult. 即ち、1台のCCDビデオカメラを用いる場合には、視点の方向(例えば、光学シースルー表示部1を基準とする視点の方向)は求めることができるが、3次元空間における位置を求めることは困難となる。 That is, when using one CCD video camera, the direction of the viewpoint (e.g., the direction of the viewpoint relative to the optical see-through display unit 1) can be determined, it is difficult to determine the position in three-dimensional space to become.

【0056】次に、図6のフローチャートを参照して、 Next, with reference to the flowchart of FIG. 6,
図1の携帯型表示装置の動作について説明する。 A description will be given of the operation of the portable display device of Figure 1.

【0057】まず最初に、ステップS1において、光学シースルー型表示部1の位置と姿勢が算出されるとともに、ユーザの視点が算出される。 [0057] First, in step S1, along with the position and orientation of the optical see-through display unit 1 is calculated, the user's viewpoint is calculated. 即ち、3次元位置方向算出部3において、3次元位置方向センサ2の出力に基づいて、光学シースルー型表示部1の位置と姿勢が算出され、仮想物体座標変換部8に供給される。 That is, in the three-dimensional position-direction calculating unit 3, based on the output of the three-dimensional position-direction sensor 2, the position and orientation of the optical see-through display unit 1 is calculated and supplied to the virtual object coordinate conversion unit 8. 同時に、視点位置方向算出部5において、視点位置方向センサ4の出力に基づいて、ユーザの視点(の位置または方向)が算出され、仮想物体座標変換部8に供給される。 At the same time, the viewpoint position direction computing section 5, based on an output of the viewpoint position direction sensor 4, the user's viewpoint (position or direction) is calculated, are supplied to the virtual object coordinate conversion unit 8.

【0058】一方、仮想物体生成部7では、仮想物体データ蓄積部6に記憶されたデータに基づいて、所定の3 Meanwhile, the virtual object generation unit 7, based on the stored in the virtual object data storage section 6 data, given 3
次元空間における仮想物体が生成され、仮想物体座標変換部8に供給される。 Virtual object is generated in dimensional space, it is supplied to the virtual object coordinate conversion unit 8. 仮想物体座標変換部8では、ステップS2において、光学シースルー型表示部1の位置と姿勢、およびユーザの視点に基づいて、所定の3次元空間における仮想物体の座標変換が行われ、その変換後の仮想物体のデータが、レンダリング部9に供給される。 In the virtual object coordinate conversion unit 8, in step S2, on the basis position and orientation of the optical see-through type display unit 1, and the user's viewpoint, the coordinate transformation of the virtual object is performed in a predetermined three-dimensional space, of the converted data of the virtual object is provided to the rendering unit 9.
レンダリング部9では、ステップS3において、仮想物体座標変換部8からのデータにしたがい、仮想物体のレンダリングが行われ、光学シースルー型表示部1に供給される。 The rendering unit 9, in step S3, in accordance with data from the virtual object coordinate conversion unit 8, the rendering of the virtual object is performed, it is supplied to the optical see-through display unit 1. 光学シースルー型表示部1では、ステップS4 In the optical see-through display unit 1, step S4
において、レンダリング部9からの仮想物体の画像(仮想画像)が表示される。 In the image of the virtual object from the rendering unit 9 (virtual image) is displayed. そして、ステップS1に戻り、 Then, the process returns to step S1,
以下、同様の処理が繰り返される。 The same process is repeated.

【0059】これにより、光学シースルー型表示部1には、図6および図7に示すように、実画像と仮想画像とを重畳した違和感のない画像が表示される。 [0059] Thus, the optical see-through display unit 1, as shown in FIGS. 6 and 7, images with no uncomfortable feeling obtained by superimposing the virtual image and the real image is displayed.

【0060】即ち、例えば、いま、ユーザが、図7 [0060] That is, for example, now, the user, as shown in FIG. 7
(A)に示すように、光学シースルー型表示部1の表示画面の真正面から、実在するテーブルを見ているとし、 (A), the a head-of the display screen of the optical see-through type display unit 1, looking at the real table,
このとき、レンダリング部9において、仮想物体の仮想画像がレンダリングされ、これにより、光学シースルー型表示部1において、図7(B)に示すように、実在するテーブルの上に、三角錐形状の仮想物体がのっている画像が表示されたとする。 In this case, the rendering unit 9, a virtual image rendering of the virtual object, thereby, the optical see-through display unit 1, as shown in FIG. 7 (B), on the real table, the triangular pyramidal virtual the image is displayed that the object is riding.

【0061】この場合、図7(C)に示すように、ユーザが、光学シースルー型表示部1の表示画面の正面から左に移動し、これにより、視点を左に移動すると、光学シースルー型表示部1を介して見える実在するテーブルは、その表示画面の左側に移動するが、これに伴い、光学シースルー型表示部1において表示されていた仮想物体も、左側に移動される。 [0061] In this case, as shown in FIG. 7 (C), the user moves from the front of the display screen of the optical see-through display unit 1 to the left, thereby, when the viewpoint is moved in the left, the optical see-through display the real table look through the part 1 will be moved to the left side of the display screen, along with this, the virtual object that has been displayed in the optical see-through display unit 1 is also moved to the left. その結果、ユーザは、図7 As a result, the user, Fig. 7
(D)に示すように、視点が左に移動したことに伴い、 (D), the due to the viewpoint is moved to the left,
テーブルおよびそれにのっている仮想物体も左に移動した、違和感のない画像を見ることができる。 Tables and virtual object rests on it was also moved to the left, it is possible to view the image without uncomfortable feeling.

【0062】さらに、図7(E)に示すように、ユーザが、光学シースルー型表示部1の表示画面の正面から右に移動し、これにより、視点を右に移動すると、光学シースルー型表示部1を介して見える実在するテーブルは、その表示画面の右側に移動するが、これに伴い、光学シースルー型表示部1において表示されていた仮想物体も、右側に移動される。 [0062] Further, as shown in FIG. 7 (E), the user moves from the front of the display screen of the optical see-through display unit 1 to the right, thereby, when the viewpoint is moved in the right, an optical see-through display unit the real table look through one, but moves to the right of the display screen, along with this, the virtual object that has been displayed in the optical see-through display unit 1 is also moved to the right. その結果、ユーザは、図7 As a result, the user, Fig. 7
(F)に示すように、視点が右に移動したことに伴い、 As shown in (F), with that view point it is moved to the right,
テーブルおよびそれにのっている仮想物体も右に移動した、違和感のない画像を見ることができる。 Tables and virtual object rests on it was also moved to the right, you can see the image without uncomfortable feeling.

【0063】また、図7(A)に示したように、ユーザが、光学シースルー型表示部1の表示画面の正面のある位置から、実在するテーブルと仮想物体を見ている場合において、図8(A)に示すように、光学シースルー型表示部1から遠ざかり、これにより、視点の位置が遠方に移動すると、光学シースルー型表示部1を介して見える実在するテーブルがその表示画面を占める面積は大きくなるが、これに伴い、光学シースルー型表示部1において表示されていた仮想物体も、拡大される。 [0063] Further, as shown in FIG. 7 (A), the user, from a position with the front of the display screen of the optical see-through type display unit 1, in the case where the real table looking at a virtual object, FIG. 8 (a), the away from the optical see-through display unit 1, whereby the position of the viewpoint is moved in the distance, the area real table look through an optical see-through display unit 1 occupies its display screen becomes larger, Accordingly, the virtual object that has been displayed in the optical see-through display unit 1 is also expanded. その結果、ユーザは、図8(B)に示すように、視点が遠方に移動したことに伴い、テーブルおよびそれにのっている仮想物体が、光学シースルー型表示部1の表示画面の中で大きくなった、違和感のない画像を見ることができる。 As a result, the user, as shown in FIG. 8 (B), along with the viewpoint is moved in the distance, virtual object riding table and it is larger in the display screen of the optical see-through display unit 1 became, you can see the image without discomfort.

【0064】さらに、ユーザが、図8(C)に示すように、光学シースルー型表示部1に近づき、これにより、 [0064] Furthermore, the user, as shown in FIG. 8 (C), close to the optical see-through type display unit 1, thereby,
視点の位置も近づくと、光学シースルー型表示部1を介して見える実在するテーブルがその表示画面を占める面積は小さくなるが、これに伴い、光学シースルー型表示部1において表示されていた仮想物体も、縮小される。 When even approached the position of the viewpoint, the area real table look through an optical see-through display unit 1 occupies its display screen is reduced, Accordingly, even virtual object that has been displayed in the optical see-through display unit 1 , it is reduced.
その結果、ユーザは、図8(D)に示すように、視点が、光学シースルー型表示部1に近づいたことに伴い、 As a result, the user, as shown in FIG. 8 (D), the viewpoint is, as it approaches the optical see-through type display unit 1,
テーブルおよびそれにのっている仮想物体が、光学シースルー型表示部1の表示画面の中で小さくなった、違和感のない画像を見ることができる。 Tables and virtual object riding it, becomes smaller in the display screen of the optical see-through type display unit 1 can be seen an image without uncomfortable feeling.

【0065】なお、図7に示したように、視点の方向が変わった場合に対処するだけであれば、視点位置方向算出部5において、視点の方向を算出だけで、基本的には十分であるが、図8に示したように、視点までの距離が変わった場合にまで対処するには、視点位置方向算出部5において、視点の3次元的な位置(3次元空間における、例えば、ユーザの左眼と右眼との中点の位置など) [0065] Incidentally, as shown in FIG. 7, if only to deal with the case where the direction of the viewpoint is changed, the viewpoint position direction calculating unit 5, simply calculate the direction of the viewpoint, sufficient to essentially there is, as shown in FIG. 8, to address to when the distance to the viewpoint is changed, the viewpoint position direction computing section 5, the three-dimensional position (three-dimensional space point of view, for example, a user such as the position of the midpoint between the left eye and the right eye)
を算出する必要がある。 It is necessary to calculate the.

【0066】次に、図1の携帯型表示装置では、仮想物体座標変換部8において、光学シースルー型表示部1の位置と姿勢、およびユーザの視点に基づいて、仮想物体の座標変換が行われ、その変換後の仮想物体が、光学シースルー型表示部1に表示されることにより、ユーザから見て違和感のない仮想画像が提供されるが、この仮想物体座標変換部8における座標変換について説明する。 Next, a portable display device of Figure 1, in the virtual object coordinate conversion unit 8, based position and orientation of the optical see-through type display unit 1, and the user's viewpoint, conducted coordinate transformation of the virtual object , the virtual object after the conversion, by being displayed on an optical see-through display unit 1, but the virtual image without uncomfortable feeling as seen from the user is provided, it will be described coordinate conversion in the virtual object coordinate conversion unit 8 .

【0067】いま、3次元空間における座標を扱うローカル座標系として、例えば、図9に示すように、光学シースルー型表示部1の表示画面の左上の点を原点とし、 [0067] Now, as a local coordinate system for handling coordinates in three-dimensional space, for example, as shown in FIG. 9, the upper left point of the display screen of the optical see-through display unit 1 as the origin,
表示画面の左から右方向をx軸と、表示画面の上から下方向をy軸と、手前から奥方向をz軸と、それぞれする(XL,YL,ZL)を定義する。 And x axis from left to right of the display screen, defining the y-axis downward from the top of the display screen, and the z-axis the depth direction from the front, respectively the (XL, YL, ZL). さらに、光学シースルー型表示部1の表示画面に表示を行うための2次元平面における座標を扱う表示画面座標系として、例えば、 Furthermore, as the display screen coordinate system to handle the coordinates in the two-dimensional plane for display on the display screen of the optical see-through type display unit 1, for example,
その表示画面の左上の点を原点とし、表示画面の左から右方向をx軸と、表示画面の上から下方向をy軸と、それぞれする(u,v)を定義する。 The upper left point of the display screen as the origin is defined and x axis from left to right of the display screen, and y-axis downward from the top of the display screen, respectively a (u, v).

【0068】この場合において、ローカル座標系におけるユーザの視点の座標を、A(VXL,VYL,VZ [0068] In this case, the coordinates of the point of view of the user in the local coordinate system, A (VXL, VYL, VZ
L)と表す。 L) to represent. また、仮想物体のローカル座標系における座標を、B(OXL,OYL,OZL)と表す。 Further, representative of the coordinates in the local coordinate system of the virtual object, B (OXL, OYL, OZL) and. さらに、仮想物体の所定の3次元座標系(仮想物体生成部7 Furthermore, predetermined three-dimensional coordinate system of the virtual object (virtual object generation unit 7
で生成される仮想物体の3次元座標系)(以下、適宜、 In 3-dimensional coordinate system of the virtual object to be produced) (hereinafter,
基準座標系という)における座標を、(OX,OY,O The coordinates in the reference referred to coordinate system), (OX, OY, O
Z)と表す。 It expressed as Z).

【0069】光学シースルー型表示部1が動くと、ローカル座標系であるXL軸、YL軸、ZL軸が動くことになるが、このローカル座標系と、基準座標系との関係は、3次元位置方向算出部3において算出される光学シースルー型表示部1の位置および姿勢に基づいて求めることができる。 [0069] When the optical see-through type display unit 1 is moved, XL axis is a local coordinate system, YL axis, but will be ZL shaft moves, the local coordinate system, the relationship between the reference coordinate system is three-dimensional position it can be determined based on the position and orientation of the optical see-through display unit 1 calculated in the direction calculation unit 3. ローカル座標系と基準座標系との関係が分かれば、基準座標系における点(OX,OY,OZ) Knowing the relationship between the local coordinate system and the reference coordinate system, a point in the reference coordinate system (OX, OY, OZ)
は、次式に示すアフィン変換によるスケーリング、回転、平行移動によって、ローカル座標系の点B(OX It is scaling by affine transformation represented by the following equation, rotated, by translation, in terms of the local coordinate system B (OX
L,OYL,OZL)に変換することができる。 L, can be converted OYL, the OZL).

【0070】 [0070]

【数2】 [Number 2] ・・・(2) 但し、式(2)において、m11乃至m33は、スケーリングおよび回転のファクタで、TX,TY,TZは平行移動のファクタである。 (2) where, in the formula (2), m11 to m33 is the factor of scaling and rotation, TX, TY, TZ is the factor of the translation.

【0071】仮想物体のローカル座標系における座標B [0071] coordinates in the local coordinate system of the virtual object B
(OXL,OYL,OZL)が求まれば、ユーザの視点から見た点B、即ち、仮想物体の表示画面座標系における座標(u,v)は、図10に示すように求めることができる。 (OXL, OYL, OZL) is if obtained, a point viewed from the user's point of view B, ie, the coordinates in the display screen coordinate system of the virtual object (u, v), can be obtained as shown in FIG. 10.

【0072】ここで、図10は、図9をYL軸方向から見た状態(YL軸方向を進行方向にして見た状態)を示している。 [0072] Here, FIG. 10 shows a state viewed 9 from YL axis direction (when viewed by the YL axis direction in the traveling direction).

【0073】図10において、視点の位置AからZL軸に垂らした垂線と、仮想物体の位置BからXL軸に垂らした垂線との交点をCとし、さらに、仮想物体の位置B [0073] In FIG. 10, a perpendicular line dropped to ZL axis from the position A of the viewpoint, the intersection of the perpendicular line dropped to XL axis from the position B of the virtual object is C, further, the position of the virtual object B
からXL軸に垂らした垂線と、XL軸との交点をDとする。 And a perpendicular line dropped to XL axis from the intersection of the XL axis and D. さらに、直線ABと、XL軸との交点、即ち、ユーザの視点から仮想物体を見たときに、点Bが表示画像上に撮影される点をEとする。 Further, the straight line AB, the intersection of the XL axis, i.e., when viewing the virtual object from a user's point of view, the point at which the point B is taken on the display image and E.

【0074】この場合、点Eのローカル座標系におけるz座標は0となるが、そのx座標とy座標が、仮想物体の表示画面座標系におけるx座標とy座標になる。 [0074] In this case, the zero z-coordinate in the local coordinate system of the point E, the x and y coordinates becomes the x and y coordinates in the display screen coordinate system of the virtual object. 即ち、仮想物体の表示画面座標系における座標(u,v) That is, the coordinates in the display screen coordinate system of the virtual object (u, v)
は、点Eのローカル座標系におけるx座標とy座標に等しいから、これを、ユーザの視点の位置A(VXL,V Is equal to the x and y coordinates in the local coordinate system of the point E, which the position of the point of view of the user A (VXL, V
YL,VZL)と、仮想物体の位置B(OXL,OY YL, VZL) and the position of the virtual object B (OXL, OY
L,OZL)から求めれば良い。 L, may be obtained from OZL).

【0075】いま、図10において、三角形ABCとE [0075] Now, in FIG. 10, the triangle ABC and E
BDとは相似であるから、線分DEおよびCAの比と、 Since BD and are similar, the ratio of the line segment DE and CA,
線分BDおよびBCの比とは等しく、従って、次式が成り立つ。 Equal to the ratio of a line segment BD and BC, therefore, the following equation holds.

【0076】 (u−OXL)/(VXL−OXL)=OZL/(OZL−VZL) ・・・(3) 式(3)を、uについて解くと、次式が得られる。 [0076] The (u-OXL) / (VXL-OXL) = OZL / (OZL-VZL) ··· (3) (3), and solving for u, the following equation is obtained.

【0077】 u=OZL(VXL−OXL)/(OZL−VZL)+OXL ・・・(4) また、図9をXL軸方向から見ると、vについても、u [0077] u = OZL (VXL-OXL) / (OZL-VZL) + OXL ··· (4) Further, referring to FIG. 9 XL axis direction, for the v, u
における場合と同様にして、次式が得られる。 In the same manner as in the following equation is obtained.

【0078】 v=OZL(VYL−OYL)/(OZL−VZL)+OYL ・・・(5) 式(4)および(5)により、ユーザの視点から見た仮想物体の表示画面座標系における座標(u,v)を求めることができる。 [0078] v = OZL (VYL-OYL) / (OZL-VZL) + OYL ··· (5) Equation (4) and (5), the coordinates in the display screen coordinate system of the virtual object as seen from the user's point of view ( u, v) can be obtained.

【0079】次に、図11は、本発明を適用した携帯型表示装置の第2実施の形態の構成を示している。 Next, FIG. 11 shows a configuration of a second embodiment of the portable display apparatus according to the present invention. なお、 It should be noted that,
図中、図1における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、省略する。 In the figure, the portions corresponding to those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted. 即ち、図11の携帯型表示装置は、光学シースルー型表示部1に替えて、ビデオシースルー型表示部31が設けられ、さらに、画像入力部32および入力画像座標変換部33が新たに設けられている他は、基本的に、図1における場合と同様に構成されている。 That is, the portable display device of FIG. 11, in place of the optical see-through type display unit 1, a video see-through type display unit 31 is provided, further, the image input unit 32 and the input image coordinate converting unit 33 is newly provided Besides there is basically is constructed as in FIG.

【0080】ビデオシースルー型表示部31は、例えば、LCDで構成され、レンダリング部9から供給される、実画像と仮想画像とを重畳した合成画像を表示するようになっている。 [0080] video see-through display unit 31, for example, a LCD, is supplied from the rendering unit 9, the real image so as to display a composite image formed by superimposing a virtual image. なお、ビデオシースルー型表示部3 Note that the video see-through type display unit 3
1は、光学シースルー型表示部1と同様に、平板形状の筐体に収められているが、その表示画面を介して、現実空間が見えるようにはなっていない。 1, like the optical see-through type display unit 1, although accommodated in the housing of the flat plate, via the display screen, not in a visible reality space.

【0081】画像入力部32は、例えば、CCDビデオカメラなどで構成され、ビデオシースルー型表示部31 [0081] The image input unit 32 is, for example, is configured by a CCD video camera, a video see-through type display unit 31
の裏面(表示画面とは反対側の面)に、その裏面と垂直な方向(ビデオシースルー型表示部31の正面から見て向側)が撮像方向となるように固定されている。 (The display screen surface on the opposite side) of the rear surface, the rear surface perpendicular direction (direction side as viewed from the front of the video see-through display unit 31) is fixed so that the imaging direction. そして、画像入力部32は、ビデオシースルー型表示部31 Then, the image input unit 32, a video see-through type display unit 31
の裏面側の現実空間にある実際の物体を撮像し、その結果得られる実画像を、入力画像座標変換部33に供給するようになされている。 Of imaging a real object on the back side of the real space, an actual image obtained as a result, and supplies the input image coordinate converting unit 33.

【0082】入力画像座標変換部33には、上述したように、画像入力部32から実画像が供給される他、3次元位置方向算出部3からビデオシースルー型表示部31 [0082] The input image coordinate converting unit 33, as described above, except that real image supplied from the image input unit 32, a video see-through type display part from the three-dimensional position-direction calculating unit 3 31
の位置および姿勢が供給されるとともに、視点位置方向算出部5からユーザの視点が供給されるようになされている。 Position and with orientation are supplied, it has been made from the viewpoint position direction calculation unit 5 so that the user's perspective is provided. そして、入力画像座標変換部33は、画像入力部32からの実画像の座標を、3次元位置方向算出部3からのビデオシースルー型表示部31の位置および姿勢、 Then, the input image coordinate converting unit 33, the coordinates of the actual image from the image input unit 32, the position and orientation of the video see-through display unit 31 from the 3-dimensional position-direction calculating unit 3,
並びに視点位置方向算出部5からのユーザの視点等に基づいて、幾何計算により変換し、レンダリング部9に供給するようになされている。 And based on the user's point of view or the like from the viewpoint position direction calculating unit 5 converts the geometrical calculation, and supplies the rendering unit 9.

【0083】従って、図1の携帯型表示装置では、光学シースルー型表示部1を介して見える現実空間に、仮想画像が重畳されて表示されるようになされていたが、図11の携帯型表示装置では、画像入力部32で撮像された現実空間の実画像に、仮想画像が重畳されて表示されるようになされている。 [0083] Accordingly, a portable display device of Figure 1, in reality space seen through the optical see-through display unit 1 has been made that the virtual image is displayed superimposed, portable display of Fig. 11 in apparatus, the real image of the imaged real space image input unit 32, are adapted to the virtual image is displayed superimposed.

【0084】なお、図11の携帯型表示装置の電気的構成は、画像入力部32としてのCCDビデオカメラが追加され、CPU17が、入力画像座標変換部33における処理をも行うこと等を除けば、図2に示した図1の携帯型表示装置の電気的構成と同様なので、その説明は省略する。 [0084] Incidentally, the electrical configuration of the portable display device of Figure 11 is CCD video camera add as an image input unit 32, CPU 17 is, except the like also perform a processing in the input image coordinate converting unit 33 the same as the electrical configuration of the portable display device of Figure 1 shown in FIG. 2, a description thereof will be omitted.

【0085】次に、図12のフローチャートを参照して、図11の携帯型表示装置の動作について説明する。 Next, with reference to the flowchart of FIG. 12, the operation of the portable display device of Figure 11.

【0086】まず最初に、ステップS11において、ビデオシースルー型表示部31の位置と姿勢が算出されるとともに、ユーザの視点が算出される。 [0086] First, in step S11, along with the position and orientation of the video see-through type display unit 31 is calculated, the user's viewpoint is calculated. 即ち、3次元位置方向算出部3において、3次元位置方向センサ2の出力に基づいて、ビデオシースルー型表示部31の位置と姿勢が算出され、仮想物体座標変換部8および入力画像座標変換部33に供給される。 That is, in the three-dimensional position-direction calculating unit 3, based on the output of the three-dimensional position-direction sensor 2, the position and orientation of the video see-through type display unit 31 is calculated, the virtual object coordinate conversion unit 8 and the input image coordinate converting unit 33 It is supplied to. 同時に、視点位置方向算出部5において、視点位置方向センサ4の出力に基づいて、ユーザの視点(の位置または方向)が算出され、仮想物体座標変換部8および入力画像座標変換部33に供給される。 At the same time, the viewpoint position direction computing section 5, based on an output of the viewpoint position direction sensor 4, the user's viewpoint (position or direction) is calculated, it is supplied to the virtual object coordinate conversion unit 8 and the input image coordinate converting unit 33 that.

【0087】一方、仮想物体生成部7では、仮想物体データ蓄積部6に記憶されたデータに基づいて、所定の3 [0087] On the other hand, the virtual object generation unit 7, based on the stored in the virtual object data storage section 6 data, given 3
次元空間における仮想物体が生成され、仮想物体座標変換部8に供給される。 Virtual object is generated in dimensional space, it is supplied to the virtual object coordinate conversion unit 8. 同時に、画像入力部32では、ビデオシースルー型表示部31の裏面方向の現実空間が撮像され、その結果得られる実画像が、入力画像座標変換部33に供給される。 At the same time, the image input unit 32, the rear surface direction of the real space of the video see-through display unit 31 is picked up, the real image obtained as a result is supplied to the input image coordinate converting unit 33.

【0088】そして、ステップS12では、仮想物体座標変換部8において、ビデオシースルー型表示部31の位置と姿勢、およびユーザの視点に基づいて、所定の3 [0088] Then, in step S12, the virtual object coordinate conversion unit 8, the position and orientation of the video see-through display unit 31, and based on the user's perspective, it is given 3
次元空間における仮想物体の座標変換が行われ、その変換後の仮想物体のデータが、レンダリング部9に供給される。 Coordinate transformation of the virtual object is performed in the dimensional space, data of the virtual object after the conversion is supplied to the rendering unit 9. また、ステップS12では、入力画像座標変換部33において、ビデオシースルー型表示部31の位置と姿勢、およびユーザの視点、さらには、画像入力部32 In step S12, the input image coordinate converting unit 33, the position and orientation of the video see-through display unit 31, and the user's viewpoint, further includes an image input unit 32
の所定の基準面に対する位置と姿勢に基づいて、画像入力部32からの実画像の座標変換が行われ、その変換後の実画像のデータが、レンダリング部9に供給される。 Based of the position and orientation with respect to a predetermined reference plane, the coordinate conversion of the actual image from the image input unit 32 is performed, data of the actual image after the conversion is supplied to the rendering unit 9.

【0089】即ち、ビデオシースルー型表示部31を用いた携帯型表示装置では、光学シースルー型表示部1を用いた携帯型表示装置のように、ビデオシースルー型表示部31を介して現実空間を見ることはできないため、 [0089] That is, a portable display device using a video see-through display unit 31, like the portable display device using the optical see-through display unit 1, view real space through a video see-through display unit 31 because you can not,
画像入力部32で撮像された現実空間がビデオシースルー型表示部31に表示されるが、画像入力部32が出力する実画像を、そのままビデオシースルー型表示部31 Although the physical space captured by the image input unit 32 is displayed on the video see-through display unit 31, a real image by the image input unit 32 outputs, as a video see-through display unit 31
に表示したのでは、ビデオシースルー型表示部31に表示される現実空間と、ユーザの視点から見える現実空間とが異なる場合があり、違和感を感じることになる。 Than displayed on, there is a case where the real space is displayed on the video see-through display unit 31, and a real space seen from the user's point of view different, I would feel uncomfortable. そこで、入力画像座標変換部33においては、ビデオシースルー型表示部31の位置と姿勢、およびユーザの視点だけでなく、画像入力部32の位置と姿勢にも基づいて、画像入力部32からの実画像が、ユーザの視点から見て違和感のないものに座標変換される。 Therefore, in the input image coordinate converting unit 33, the position and orientation of the video see-through display unit 31, and not only the user's point of view, also based on the position and orientation of the image input unit 32, the real from the image input unit 32 image is coordinate converted into those without uncomfortable feeling as seen from the user's point of view.

【0090】レンダリング部9は、仮想物体座標変換部8から仮想物体のデータを受信するとともに、入力画像座標変換部33から実画像を受信すると、ステップS1 [0090] The rendering unit 9 is configured to receive data of a virtual object from the virtual object coordinate conversion unit 8 receives the actual image from the input image coordinate converting unit 33, step S1
3において、仮想物体のレンダリングを行う(仮想画像を描画する)。 In 3, (drawing a virtual image) is responsible for rendering a virtual object. さらに、レンダリング部9は、その仮想画像と、入力画像座標変換部33からの実画像とを合成し、その結果得られる合成画像を、ビデオシースルー型表示部31に供給する。 Furthermore, the rendering unit 9, a virtual image, and synthesizes the real image from the input image coordinate converting unit 33, and supplies a composite image obtained as a result thereof to the video see-through display unit 31. ビデオシースルー型表示部31 Video see-through display unit 31
では、ステップS14において、レンダリング部9からの合成画像が表示され、ステップS1に戻り、以下、同様の処理が繰り返される。 In, in step S14, the composite image from the rendering unit 9 is displayed, the process returns to step S1, and similar processing is repeated.

【0091】以上のように、図11の携帯型表示装置では、仮想物体座標変換部8において、ビデオシースルー型表示部31の位置と姿勢、およびユーザの視点に基づいて、仮想物体の座標変換が行われるとともに、入力画像座標変換部33において、ビデオシースルー型表示部31の位置と姿勢、ユーザの視点、および画像入力部3 [0091] As described above, in the portable display device of Figure 11, the virtual object coordinate conversion unit 8, the position and orientation of the video see-through display unit 31, and based on the user's viewpoint, the coordinate transformation of the virtual object together it takes place in the input image coordinate converting unit 33, the position and orientation of the video see-through display unit 31, the user's viewpoint, and the image input unit 3
2の位置と姿勢に基づいて、実画像の座標変換が行われ、それらが合成される。 Based on the second position and orientation, coordinate transformation of the actual image is performed, they are synthesized. そして、その合成画像が、ビデオシースルー型表示部31に表示される。 Then, the composite image is displayed on the video see-through display unit 31. 従って、ユーザから見て違和感のない合成画像を提供することができる。 Therefore, it is possible to provide a combined image without uncomfortable feeling as seen from the user.

【0092】なお、図11の実施の形態では、画像入力部32は、上述したように、ビデオシースルー型表示部31に固定されている。 [0092] In the embodiment of FIG. 11, the image input unit 32, as described above, it is fixed to the video see-through display unit 31. 従って、画像入力部32の位置と姿勢は、ビデオシースルー型表示部31の位置と姿勢から求めることができ、入力画像座標変換部33は、そのようにして、画像入力部32の位置と姿勢を求めるようになされている。 Therefore, the position and orientation of the image input unit 32, it can be obtained from the position and orientation of the video see-through display unit 31, the input image coordinate converting unit 33, in that way, the position and orientation of the image input unit 32 It has been made as to seek.

【0093】ところで、画像入力部32が撮像する現実空間の範囲が狭いと(画像入力部32の撮像範囲が、ビデオシースルー型表示部1に表示可能な範囲と同一であると)、入力画像座標変換部33において座標変換が行われることにより、ビデオシースルー型表示部31において、その表示画面全体に、実画像が表示されない場合があり、この場合、ユーザに違和感を感じさせることになる。 [0093] Incidentally, the range of the real space of the image input unit 32 is imaged and narrow (the imaging range of the image input unit 32, if it is identical to the available display range on the video see-through type display unit 1), the input image coordinates by coordinate conversion is performed in the conversion unit 33, the video see-through display unit 31, the entire display screen, there is a case where the actual image is not displayed, in this case, the feel uncomfortable to the user. そこで、画像入力部32には、ある程度広範囲の現実空間を撮像させ、これにより、ビデオシースルー型表示部31が表示可能な範囲の実画像より広い範囲の実画像を出力させるようにすることができる。 Therefore, the image input unit 32, to some extent imaging a wide range of physical space, which makes it possible to so as to output the actual image of a range wider than the actual image range video see-through display unit 31 can display . この場合、 in this case,
入力画像座標変換部33による座標変換によって、ビデオシースルー型表示部31の表示画面全体に、実画像が表示されなくなることを防止することができる。 The coordinate conversion by the input image coordinate converting unit 33, the entire display screen of the video see-through display unit 31, actual image can be prevented that it will not be displayed.

【0094】なお、広範囲の現実空間を撮像する方法としては、例えば、魚眼レンズ等を用いる方法がある。 [0094] As a method of imaging a wide range of physical space, for example, a method using a fisheye lens or the like. 具体的には、例えば、六角錐ミラーを用いた全方位画像センサを利用することにより、広範囲の現実空間の実画像を得ることができる。 Specifically, for example, by utilizing the omnidirectional image sensor using a hexagonal pyramid mirror, it is possible to obtain an actual image of a wide range of physical space. なお、六角錐ミラーを用いた全包囲画像センサを利用することによる、広範囲の画像の作成方法については、例えば、「川西 他、”六角錘ミラーを用いた全方位画像センサによる全周ステレオパノラマ動画像の作成、画像の認識・理解シンポジウム、平成10年7月」などに、その詳細が記載されている。 Incidentally, due to the use of all surrounding image sensor using a hexagonal pyramid mirror, for creating a wide range of images, for example, "Kawanishi et al.," Entire circumference stereoscopic panoramic video by omnidirectional image sensor using a hexagonal pyramid mirror creation of the image, recognition and understanding symposium of the image, etc. July 1998 ", the details are set forth.

【0095】次に、図13を参照して、入力画像座標変換部33において行われる実画像の座標変換について説明する。 [0095] Next, with reference to FIG. 13, a coordinate transformation of the real image will be described which is performed in the input image coordinate converting unit 33.

【0096】いま、上述した図9および図10における場合と同様に、ビデオシースルー型表示部31の表示画面の左上の点を原点とするローカル座標系と表示画面座標系とを考え、さらに、画像入力部31についてのカメラ座標系として、その光学中心を原点とし、互いに直交する3軸を、x軸、y軸、z軸とそれぞれする(XR, [0096] Now, as in FIGS. 9 and 10 described above, consider the local coordinate system and the display screen coordinate system with its origin at the upper left point of the display screen of the video see-through display unit 31, further, the image as a camera coordinate system for the input unit 31, and the optical center as the origin, the three axes perpendicular to each other, x-axis, y-axis, respectively and the z-axis (XR,
YR,ZR)を定義する。 YR, to define the ZR).

【0097】なお、ここでは、説明を簡単にするため、 [0097] Here, in order to simplify the explanation,
ローカル座標系と、カメラ座標系とは、平行移動の関係にあるものとする。 A local coordinate system, the camera coordinate system, it is assumed that the relationship of translation. 即ち、ここでは、XR軸、YR軸、 In other words, here, XR-axis, YR axis,
ZR軸は、Xc軸、Yc軸、Zc軸とそれぞれ平行であるとする。 ZR axis, Xc axis, Yc axis, and respectively Zc axis are parallel.

【0098】この場合において、現実空間にある物体の点Fが、ローカル座標系において(Xd,Yd,Zd) [0098] In this case, F point of the object in real space, in the local coordinate system (Xd, Yd, Zd)
で表され、カメラ座標系において(Xc,Yc,Zc) In expressed, in the camera coordinate system (Xc, Yc, Zc)
で表されるものとすると、両者の関係は、次式で表される。 In the represented ones that, the relationship between them is expressed by the following equation.

【0099】 [0099]

【数3】 [Number 3] ・・・(6) 但し、Tx,Ty,Tzは、ローカル座標系とカメラ座標系との間の並進関係を表し、これは、画像入力部32 (6) where, Tx, Ty, Tz represents the translation relationship between the local coordinate system and the camera coordinate system, which includes an image input unit 32
が、ビデオシースルー型表示部31に固定されていることから、あらかじめ求めておくことができる。 But because it is fixed to the video see-through display unit 31, it can be obtained in advance. また、後述するように、画像入力部32が固定されていなくても、Tx,Ty,Tzは、画像入力部32の位置・姿勢を検出することにより、その位置・姿勢と、ビデオシースルー型表示部31の位置・姿勢とから求めることができる。 Further, as described later, even without the image input unit 32 is fixed, Tx, Ty, Tz, by detecting the position and orientation of the image input unit 32, and its position and orientation, a video see-through type display it can be obtained from the position and orientation of the part 31.

【0100】一方、画像入力部32における撮像面について、その光軸との交点を原点とし、XR軸またはYR [0100] On the other hand, the imaging surface of the image input unit 32, the intersection of the optical axis as the origin, XR axis or YR
軸と平行な軸それぞれをx軸またはy軸とするスクリーン座標系を考え、点Fが、スクリーン座標系における点(Uc,Vc)に投影されるとする。 Each axis parallel to the axis considered a screen coordinate system with x-axis or y-axis, the point F is assumed to be projected to a point in the screen coordinate system (Uc, Vc). この場合、カメラ座標系における点F(Xc,Yc,Zc)と、スクリーン座標系における点(Uc,Vc)との関係は、次式で表される。 In this case, a point F in the camera coordinate system (Xc, Yc, Zc) and the relationship between the point (Uc, Vc) in the screen coordinate system is expressed by the following equation.

【0101】 [0101]

【数4】 [Number 4] ・・・(7) 但し、fcは、画像入力部32の光学系の焦点距離を表す。 (7) where, fc represents the focal length of the optical system of the image input section 32. なお、画像入力部32が出力する実画像をそのまま表示した場合には、式(7)で表される点(Uc,V In the case where the image input section 32 directly displays the actual image to be outputted, the point represented by the formula (7) (Uc, V
c)に、点Fが表示されることになる。 To c), the point F is displayed.

【0102】また、ローカル座標系におけるユーザの視点を(Xe,Ye,Ze)とし、この視点(Xe,Y [0102] Also, the user's point of view in a local coordinate system and (Xe, Ye, Ze), the viewpoint (Xe, Y
e,Ze)から見た場合に、点Fが、表示画面座標系の点(Ud,Vd)に投影されるとする。 e, when viewed from Ze), point F is, it assumed to be projected to a point of the display screen coordinate system (Ud, Vd). この場合、ローカル座標系における点F(Xd,Yd,Zd)と、表示画面座標系における点(Ud,Vd)との関係は、次式で表される。 In this case, the relationship between the point F in the local coordinate system (Xd, Yd, Zd) and, a point on the display screen coordinate system (Ud, Vd) is expressed by the following equation.

【0103】 [0103]

【数5】 [Number 5] ・・・(8) 従って、式(6)乃至(8)より、入力画像座標変換部33では、次式にしたがって、実画像の座標変換を行うことにより、ユーザの視点から点Fを見た場合の表示画面座標系における点(Ud,Vd)を求めることができる。 (8) Therefore, the equation (6) to (8), the input image coordinate converting unit 33, according to the following equation, by performing coordinate transformation of the actual image, viewed point F from the user's perspective point in the display screen coordinate system when (Ud, Vd) can be obtained.

【0104】 [0104]

【数6】 [6] ・・・(9) なお、ローカル座標系における物体の点Fの位置(X (9) The position of the point F of the object in the local coordinate system (X
d,Yd,Zd)は、あらかじめ分かっているものとする。 d, Yd, Zd) is assumed to be known in advance. 但し、物体の点Fの位置(Xd,Yd,Zd)が分からない場合は、その物体が平面状になっていると仮定することで、実画像の座標変換を行うための変換式を求めることができる。 However, if the position of point F of the object (Xd, Yd, Zd) is not known, by assuming that the object is in the plane, determining the conversion formula for performing coordinate conversion of the real image can.

【0105】また、ここでは、ローカル座標系とカメラ座標系とが、平行移動の関係にあるものとしたが、ローカル座標系とカメラ座標系との関係に、回転が加わっている場合は、式(6)を、式(2)に示したアフィン変換の式とすることで、上述における場合と同様にして、 [0105] Further, here, if the local coordinate system and the camera coordinate system, it is assumed that a relationship of translation, which in the relationship between the local coordinate system and the camera coordinate system, the rotation is applied, wherein (6), by the expression of affine transformation shown in equation (2), in the same manner as in the above,
実画像の座標変換を行うための変換式を求めることができる。 It can be obtained conversion formula for performing coordinate conversion of the actual image.

【0106】次に、図14は、本発明を適用した携帯型表示装置の第3実施の形態の構成を示している。 [0106] Next, FIG. 14 shows a configuration of a third embodiment of the portable display apparatus according to the present invention. なお、 It should be noted that,
図中、図11における場合と対応する部分については、 In the figure, the portions corresponding to those in FIG. 11,
同一の符号を付してあり、以下では、その説明は、省略する。 They are given the same reference numerals, and the description thereof is omitted. 即ち、図14の携帯型表示装置は、図11における場合に比較して、入力部位置方向算出部41が新たに設けられ、その出力が入力画像座標変換部33に供給されるようになっている。 That is, the portable display device of Figure 14, as compared with the case in FIG. 11, the input section position-direction calculating unit 41 newly provided, so that the output is supplied to the input image coordinate converting unit 33 there. さらに、図14の携帯型表示装置においては、画像入力部32が、ビデオシースルー型表示部31に取り付けられているが、固定ではなく、可動式になっている。 Further, the portable display device of FIG. 14, the image input unit 32, but is attached to the video see-through display unit 31, not fixed, and is movable.

【0107】即ち、画像入力部32は、例えば、図15 [0107] That is, the image input unit 32 is, for example, FIG. 15
に示すように、ビデオシースルー型表示部31の裏面の所定の範囲を移動させることができるようになさており、さらに、その撮像方向も変えられる(回転できる) As shown in the back surface of the name of to be able to move the predetermined range of the video see-through type display unit 31 and, further, the imaging direction is changed (can rotate)
ようになっている。 It has become way. なお、図14の実施の形態では、画像入力部32は、手動で動かすことができるようになされている。 In the embodiment of FIG. 14, the image input unit 32 is adapted to be able to manually move.

【0108】従って、図14の携帯型表示装置では、図11における場合のように、画像入力部32が固定されていないから、画像入力部32の位置と姿勢は、ビデオシースルー型表示部31の位置と姿勢から求めることはできない。 [0108] Accordingly, a portable display device of Figure 14, as the case in FIG. 11, since the image input unit 32 is not fixed, the position and orientation of the image input unit 32, a video see-through type display unit 31 of the It can not be determined from the position and attitude.

【0109】そこで、図14の実施の形態においては、 [0109] Therefore, in the embodiment of FIG. 14,
画像入力部32に、入力位置方向算出部41が取り付けられており、入力位置方向算出部41は、所定の基準面に対する画像入力部32の3次元的な位置と姿勢を算出し、入力画像座標変換部33に供給するようになされている。 The image input unit 32, and is attached input position direction computing section 41, the input position-direction calculating unit 41 calculates the three-dimensional position and orientation of the image input unit 32 with respect to a predetermined reference plane, the input image coordinates and supplies to the converter 33.

【0110】図11の実施の形態では、画像入力部32 [0110] In the embodiment of FIG. 11, the image input unit 32
が、ビデオシースルー型表示部31に固定されていることから、ユーザの視点の方向が、画像入力部32の撮像方向と極端に異なると、そのユーザの視点から見た場合に違和感のない実画像を得ることが困難になる場合もあるが、画像入力部32が可動式の場合には、ユーザが、 But because it is fixed to the video see-through display unit 31, the direction of the user's viewpoint, the extremely different and imaging direction of the image input unit 32, a real image without uncomfortable feeling when viewed from the perspective of the user sometimes it is difficult to obtain, but when the image input unit 32 is movable, the user,
画像入力部32を、その撮像方向がユーザの視点の方向に合致するように動かすことによって、そのような問題を解消することができる。 An image input unit 32, by which the imaging direction is moved to match the direction of the user's viewpoint, it is possible to solve such a problem.

【0111】次に、図16は、本発明を適用した携帯型表示装置の第4実施の形態の構成を示している。 [0111] Next, FIG. 16 shows the configuration of a fourth embodiment of the portable display apparatus according to the present invention. なお、 It should be noted that,
図中、図14における場合と対応する部分については、 In the figure, the portions corresponding to those in FIG. 14,
同一の符号を付してあり、以下では、その説明は、省略する。 They are given the same reference numerals, and the description thereof is omitted. 即ち、図16の携帯型表示装置は、可動式の画像入力部32、およびそれに取り付けられた入力部位置方向算出部41が、ビデオシースルー型表示部31に取り付けられているのではなく、それから離れた位置に設置されている。 That is, the portable display device of FIG. 16, the image input unit 32 input unit position-direction calculating unit 41 and attached thereto, the movable, rather than being mounted on a video see-through type display unit 31, away therefrom It is installed in the position.

【0112】以上のように構成される携帯型表示装置においては、例えば、ビデオシースルー型表示部31と、 [0112] In the portable display device configured as described above, for example, a video see-through display unit 31,
撮像しようとしている被写体との間に、何らかの障害物がある場合には、その障害物を避けて、画像入力部32 Between the object you are trying to imaging, if there is any obstacle, to avoid the obstacle, the image input unit 32
を設置することにより、障害物がない状態の現実空間を撮像することができる。 By placing the can image a real space of states is no obstacle. 具体的には、例えば、携帯型表示装置がある部屋の隣の部屋に、画像入力部32を設置することにより、携帯型表示装置において、その隣の部屋を撮像した実画像と仮想画像との合成画像を提供することが可能となる。 Specifically, for example, the next room of the room there is a portable display device, by installing an image input unit 32, the portable display device, the real image and the virtual image of the captured room next to it it is possible to provide a composite image. なお、画像入力部32および入力部位置方向算出部41の出力は、有線の他、無線によって、入力画像座標変換部33に供給することが可能である。 The output of the image input unit 32 and the input section position-direction calculating unit 41, in addition to wired, a wireless, it is possible to supply the input image coordinate converting unit 33.

【0113】次に、図17は、本発明を適用した携帯型表示装置の第5実施の形態の構成を示している。 [0113] Next, FIG. 17 shows a configuration of a fifth embodiment of the portable display apparatus according to the present invention. なお、 It should be noted that,
図中、図14における場合と対応する部分については、 In the figure, the portions corresponding to those in FIG. 14,
同一の符号を付してあり、以下では、その説明は、省略する。 They are given the same reference numerals, and the description thereof is omitted. 即ち、図17の携帯型表示装置は、入力画像座標変換部33および入力部位置方向算出部41が削除され、制御部51が新たに設けられている他は、図14における場合と基本的に同様に構成されている。 That is, the portable display device of Figure 17, the input image coordinate converting unit 33 and the input section position-direction calculating unit 41 is removed, except that the control unit 51 is newly provided, basically as in FIG. 14 It is configured in the same manner.

【0114】従って、図17においても、画像入力部3 [0114] Thus, also in FIG. 17, the image input unit 3
2は、可動式となっているが、画像入力部32は、手動で動くのではなく、制御部51によって制御(姿勢制御)されるようになされている。 2 has a movable, the image input unit 32, instead of moving manually, are adapted to be controlled (attitude control) by the control unit 51.

【0115】即ち、制御部51には、視点位置方向算出部5が出力するユーザの視点が供給されるようになされており、制御部51は、画像入力部32を、その撮像方向が、ユーザの視点の方向に一致するように移動させるようになされている。 [0115] That is, the control unit 51 has been adapted to the user's viewpoint to the output viewpoint position-direction calculating unit 5 is supplied, the control unit 51, an image input unit 32, its imaging direction, the user It is made to move so as to match the direction of the viewpoint. 従って、この場合、画像入力部3 Therefore, in this case, the image input unit 3
2が出力する実画像は、ユーザの視点から現実空間を見た場合のものと一致しているから、その座標変換を行う必要はないため、入力画像座標変換部33を設けずに済むようになる。 Actual image 2 is output because they match those in the case of viewing the real space from the user's point of view, since it is not necessary to perform the coordinate transformation, so it is not necessary to provided an input image coordinate converting unit 33 Become.

【0116】次に、図18は、本発明を適用した携帯型表示装置の第6実施の形態の構成を示している。 [0116] Next, FIG. 18 shows a configuration of a sixth embodiment of the portable display apparatus according to the present invention. なお、 It should be noted that,
図中、図11における場合と対応する部分については、 In the figure, the portions corresponding to those in FIG. 11,
同一の符号を付してあり、以下では、その説明は、省略する。 They are given the same reference numerals, and the description thereof is omitted. 即ち、図18の携帯型表示装置は、入力画像座標変換部33が削除され、距離算出部61および入力画像合成部62が新たに設けられているとともに、1つの画像入力部32に替えて、複数であるN(Nは2以上)個の画像入力部321乃至32Nが設けられている他は、 That is, the portable display device of Figure 18, the input image coordinate conversion section 33 is removed, along with the distance calculation unit 61 and the input image synthesizing unit 62 is newly provided in place of the single image input unit 32, other more in which N (N is two or more) pieces of the image input unit 321 to 32N are provided,
図11における場合と同様に構成されている。 It is configured as in FIG. 11.

【0117】画像入力部321乃至32Nは、例えば、 [0117] The image input unit 321 to 32N, for example,
図19に示すように、ビデオシースルー型表示部31の裏面に、その裏面方向を、異なる視点位置から撮像するように(ステレオ処理をするのに最適なように)取り付けられており、従って、そのような異なる視点位置から撮像したビデオシースルー型表示部31の裏面の現実空間の実画像を出力する。 As shown in FIG. 19, the rear surface of the video see-through display unit 31, the back surface direction and (best way to the stereo processing) mounted for imaging from different viewpoint positions, therefore, the and it outputs the real image of the back of the real space of the video see-through display unit 31 captured from different viewpoint positions as. この複数の実画像は、距離算出部61および入力画像合成部62に供給される。 The plurality of actual image is supplied to the distance calculation unit 61 and the input image synthesizing unit 62.

【0118】距離算出部61は、画像入力部321乃至32NからのN枚の実画像から、上述したステレオ処理を行うことで、現実空間の物体の3次元的な位置を求め、レンダリング部9および入力画像合成部62に供給する。 [0118] The distance calculating section 61, from N pieces of the actual image from the image input unit 321 to 32N, by performing the above-described stereo processing, obtains the three-dimensional position of the object in real space, rendering unit 9 and and it supplies the input image synthesizing unit 62. この場合、レンダリング部9では、現実空間の物体までの距離を考慮して、仮想画像のレンダリングが行われる。 In this case, the rendering unit 9, taking into account the distance to the object in real space, rendering the virtual image. 従って、この場合、仮想物体と、実際の物体との前後関係を考慮した合成画像を得ることができる。 Therefore, in this case, it is possible to obtain the virtual object, a composite image in consideration of the context of the actual object.

【0119】一方、入力画像合成部62には、上述したように、画像入力部321乃至32NからN枚の実画像が供給されるとともに、距離算出部61から現実空間の物体の位置が供給される他、3次元位置方向算出部3からビデオシースルー型表示部31の位置および姿勢が供給されるとともに、視点位置方向算出部5からユーザの視点が供給される。 [0119] On the other hand, the input image synthesizing unit 62, as described above, the real image of the N images from the image input unit 321 to 32N is supplied, the position of the object in real space is supplied from the distance calculation unit 61 that other, along with the position and orientation of the video see-through display unit 31 is supplied from the three-dimensional position-direction calculating unit 3, the user's perspective is supplied from the viewpoint position direction computing section 5.

【0120】入力画像合成部62は、現実空間の物体の位置、ビデオシースルー型表示部31の位置および姿勢、並びにユーザの視点に基づいて、N枚の実画像(N [0120] Input image synthesizing unit 62, the position of the object in real space, the position and orientation of the video see-through display unit 31, and based on the user's viewpoint, N sheets of the real image (N
方向それぞれから物体を見たときの実画像)を合成(ブレンディング)し、これにより、ユーザの視点から現実空間を見た場合に得られる実画像を生成して、レンダリング部9に供給する。 Combining the real images) when viewed object from each direction (blending), thereby to generate a real image obtained when viewed real space from the user's viewpoint, and supplies the rendering unit 9.

【0121】従って、この場合、ユーザの視点から見て違和感のない実画像を得ることができる。 [0121] Therefore, in this case, it is possible to obtain a real image without uncomfortable feeling as seen from the user's point of view. また、この場合、N方向から見たN枚の実画像から、ユーザの視点から物体を見た場合に得られる実画像が生成されるので、 In this case, the N pieces of actual image viewed from the direction N, since the real image obtained when viewed object from the user's viewpoint is generated,
図11の実施の形態における場合のように、1の方向から見た1枚の実画像を用いて、ユーザの視点から物体を見た場合に得られる実画像を生成する場合に比較して、 As is the case in the embodiment of FIG. 11, using one of the actual image viewed from one direction, as compared with the case of generating a real image obtained when viewed object from the user's point of view,
いわゆるオクルージョン(隠れ)の問題を解消することができる。 It is possible to eliminate the so-called occlusion of the (hidden) problem.

【0122】なお、図18の実施の形態においては、N [0122] In the embodiments of FIG. 18, N
枚の実画像を、N個の画像入力部321乃至32Nによって得るようにしたが、N枚の実画像は、1以上の画像入力部を移動させることによって得るようにすることも可能である。 The actual image of the sheets, but to obtain the N image input unit 321 to 32N, the actual images of N sheets, it is also possible to obtain by moving one or more image input unit. 但し、その場合の画像入力部の移動位置および姿勢は、あらかじめ設定しておくか、測定するようにする必要がある。 However, the movement position and posture of the image input section of the case, or preset, it is necessary to measure.

【0123】また、N枚の実画像を用いて、ユーザの視点から現実空間を見た場合に得られる実画像を生成することは、例えば、図13で説明したようにして行うことができるが、この場合、スクリーン座標系がN個存在することとなり、従って、図13において、物体の点F [0123] Further, by using an actual image of N frames, generating a real image obtained when viewed real space from the user's perspective, for example, can be performed as described in FIG. 13 in this case, it becomes possible to screen coordinate system is the N exists, therefore, in FIG. 13, the object point F
は、そのN個のスクリーン座標系に投影されることになる。 It will be projected to the N pieces of the screen coordinate system. その結果、N個のスクリーン座標系上における、物体の投影点が得られることとなるが、このような場合は、そのN個の投影点をブレンディングして、表示画面座標系における点(Ud,Vd)を算出するために用いる、いわば最終的なスクリーン座標系上の投影点(U As a result, on the N screen coordinate system, it becomes possible to projection point of the object is obtained, in such a case, by blending the N-number of the projection point, the point in the display screen coordinate system (Ud, It used to calculate the vd), so to speak projected points on the final screen coordinate system (U
c,Vc)を求めるようにすれば良い。 c, it is sufficient to determine the Vc).

【0124】次に、図20は、本発明を適用した携帯型表示装置の第7実施の形態の構成を示している。 [0124] Next, FIG. 20 shows the configuration of a seventh embodiment of the portable display apparatus according to the present invention. なお、 It should be noted that,
図中、図11における場合と対応する部分については、 In the figure, the portions corresponding to those in FIG. 11,
同一の符号を付してあり、以下では、その説明は、省略する。 They are given the same reference numerals, and the description thereof is omitted. 即ち、図20の携帯型表示装置は、距離算出部6 That is, the portable display device of Figure 20, the distance calculating section 6
1および距離センサ71が新たに設けられている他は、 Other 1 and the distance sensor 71 is newly provided,
図11における場合と、基本的に同様に構成されている。 The case in FIG. 11, are basically the same configuration.

【0125】距離センサ71は、例えば、レンジファインダなどの、いわばアクティブなセンサであり、レーザ光を照射して三角測量の原理により、物体までの距離を計測するための信号を出力するようになされている。 [0125] The distance sensor 71 is, for example, such as range finder, so to speak active sensors, the principle of triangulation is irradiated with a laser beam, it is designed to output a signal for measuring the distance to an object ing. 距離センサ71の出力は、距離算出部61に供給され、距離算出部61では、距離センサ71の出力に基づいて、 The output of the distance sensor 71 is supplied to the distance calculating unit 61, the distance calculation unit 61, based on the output of the distance sensor 71,
物体までの距離(物体の3次元的な位置)が算出され、 Distance to the object (three-dimensional position of the object) is calculated,
レンダリング部9および入力画像座標変換部33に供給される。 Is supplied to the rendering unit 9 and the input image coordinate converting unit 33.

【0126】入力画像変換部33では、距離算出部61 [0126] In the input image converting unit 33, distance calculation unit 61
からの物体の3次元的な位置に基づいて、図13で説明したように、画像入力部32からの実画像の座標変換が行われる。 Based on the three-dimensional position of the object from, as described in FIG. 13, coordinate transformation of the actual image from the image input unit 32 is performed. 一方、レンダリング部9では、現実空間の物体までの距離を考慮して、仮想画像のレンダリングが行われる。 On the other hand, the rendering unit 9, taking into account the distance to the object in real space, rendering the virtual image.

【0127】従って、この場合においても、図18における場合と同様に、仮想物体と、実際の物体との前後関係を考慮した合成画像を得ることができる。 [0127] Therefore, in this case, as in FIG. 18, it is possible to obtain the virtual object, a composite image in consideration of the context of the actual object.

【0128】以上のように、ユーザの視点を算出し、そのユーザの視点を考慮して、仮想画像を変換したり、実画像を変換したりするようにしたので、ユーザに対して、現実空間と仮想空間とを融合した、違和感のない画像を提供することが可能となる。 [0128] As described above, to calculate the viewpoint of the user, taking into account the viewpoint of the user, and converts the virtual image. Thus and converts the real image, the user, the real space and a fusion of the virtual space, it is possible to provide an image without uncomfortable feeling. その結果、携帯型表示装置に、例えば、特開平10−51711号公報に開示されているような、仮想物体を操作するための操作部を設けた場合には、現実空間を基礎とした状態において、 As a result, the portable display device, e.g., as disclosed in Japanese Unexamined Patent Publication No. 10-51711, in case of providing the operation unit for manipulating a virtual object, in the state based on the physical space ,
仮想物体に対する作業を、違和感なく行うことが可能となる。 The work on the virtual object, it is possible to perform without discomfort.

【0129】以上、本発明を、光学シースルー型表示部1を用いた携帯型表示装置と、ビデオシースルー型表示部31を用いた携帯型表示装置とに適用した場合について説明したが、ビデオシースルー型表示部31を用いた携帯型表示装置においては、撮像した実画像を処理する必要があることから、その処理時間分のレイテンシーによって、実画像が撮像されてから、その実画像が表示されるまでに、数フレーム程度の遅延が生じる。 [0129] Although the present invention a portable display device using the optical see-through display unit 1 has been described as applied to a portable display device using a video see-through display unit 31, a video see-through a portable display device using the display unit 31, it is necessary to process the real image captured by the processing time of latency from the actual image is captured, until the actual image is displayed , delay of several frames occurs. これに対して、光学シースルー型表示部1を用いた携帯型表示装置では、そのような遅延が生じることはない。 In contrast, a portable display device using the optical see-through display unit 1 is never such delay.

【0130】なお、本実施の形態では、表示装置を携帯型としたが、本発明は、携帯型の表示装置の他、例えば、机等に設置して用いられるような据置型の表示装置にも適用可能である。 [0130] In the present embodiment, although a portable display device, the present invention, in addition to the portable display device, e.g., a stationary display apparatus such as those used by installing on a desk or the like It can also be applied.

【0131】また、仮想物体の仮想画像においては、例えば、特開平10−51711号公報に開示されているように、仮想物体の影を付すことが可能である。 [0131] Further, in the virtual image of a virtual object, for example, as disclosed in JP-A-10-51711, it is possible to subject a shadow of a virtual object.

【0132】さらに、例えば、複数の携帯型表示装置を用いる場合には、例えば、特開平10−51711号公報に開示されているように、その複数の携帯型表示装置に、共通の仮想物体を表示させるとともに、その仮想物体に対する各携帯型表示装置における操作を、すべての携帯型表示装置に反映させるようにすることが可能である。 [0132] Further, for example, when a plurality of portable display devices, for example, as disclosed in Japanese Unexamined Patent Publication No. 10-51711, in that a plurality of portable display device, a common virtual object with displays, the operation of each portable display device for the virtual object, it is possible to be reflected in all the portable display device.

【0133】 [0133]

【発明の効果】以上の如く、本発明の情報処理装置および情報処理方法によれば、表示手段の3次元空間における位置が算出されるとともに、ユーザの視点が算出され、その表示手段の位置およびユーザの視点に基づいて、仮想画像が変換される。 As evident from the foregoing description, according to the information processing apparatus, information processing method of the present invention, along with the location in three-dimensional space of the display unit is calculated, the user's viewpoint are calculated, the position and the display means based on the user's viewpoint, the virtual image is converted. 従って、ユーザから見て、 Therefore, as seen from the user,
違和感のない画像を提供することが可能となる。 It is possible to provide an image with no sense of discomfort.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明を適用した携帯型表示装置の第1実施の形態の構成例を示すブロック図である。 1 is a block diagram showing a configuration example of a first embodiment of a portable display device according to the present invention.

【図2】図1の携帯型表示装置のハードウェア構成例を示すブロック図である。 2 is a block diagram showing a hardware configuration example of a portable display device of Figure 1.

【図3】エピポーララインを説明するための図である。 FIG. 3 is a diagram for explaining the epipolar line.

【図4】基準カメラ画像および検出カメラ画像を示す図である。 4 is a diagram showing the reference camera image and the detection camera image.

【図5】評価値の推移を示す図である。 FIG. 5 is a diagram showing a change in the evaluation value.

【図6】図1の携帯型表示装置の動作を説明するためのフローチャートである。 It is a flow chart for explaining the operation of the portable display device of FIG. 6 FIG.

【図7】ユーザの視点の位置と、各位置において表示される画像との関係を示す図である。 And FIG. 7 of the user's viewpoint position is a diagram showing the relationship between an image to be displayed at each position.

【図8】ユーザの視点の位置と、各位置において表示される画像との関係を示す図である。 [8] and the position of the user's viewpoint, is a diagram showing a relationship between an image to be displayed at each position.

【図9】ローカル座標系と表示画面座標系とを説明するための図である。 9 is a diagram for explaining the local coordinate system and the display screen coordinate system.

【図10】図1の仮想物体座標変換部8による座標変換を説明するための図である。 10 is a diagram for explaining the coordinate conversion by the virtual object coordinate conversion unit 8 of FIG.

【図11】本発明を適用した携帯型表示装置の第2実施の形態の構成例を示すブロック図である。 11 is a block diagram showing a configuration example of a second embodiment of a portable display device according to the present invention.

【図12】図11の携帯型表示装置の動作を説明するためのフローチャートである。 12 is a flowchart for explaining the operation of the portable display device of Figure 11.

【図13】図11の入力画像座標変換部33による座標変換を説明するための図である。 13 is a diagram for explaining the coordinate conversion by the input image coordinate converting unit 33 in FIG. 11.

【図14】本発明を適用した携帯型表示装置の第3実施の形態の構成例を示すブロック図である。 14 is a block diagram showing a configuration example of a third embodiment of a portable display device according to the present invention.

【図15】画像入力部32が可動式であることを示す図である。 [15] The image input unit 32 is a diagram indicating a mobile.

【図16】本発明を適用した携帯型表示装置の第4実施の形態の構成例を示すブロック図である。 16 is a block diagram showing a configuration example of a fourth embodiment of a portable display device according to the present invention.

【図17】本発明を適用した携帯型表示装置の第5実施の形態の構成例を示すブロック図である。 17 is a block diagram showing a configuration example of a fifth embodiment of the portable display apparatus according to the present invention.

【図18】本発明を適用した携帯型表示装置の第6実施の形態の構成例を示すブロック図である。 18 is a block diagram showing a configuration example of a sixth embodiment of the portable display apparatus according to the present invention.

【図19】画像入力部321乃至32Nによって複数の実画像が撮像される様子を示す図である。 A plurality of actual images by 19 image input unit 321 to 32N is a diagram showing a state to be imaged.

【図20】本発明を適用した携帯型表示装置の第7実施の形態の構成例を示すブロック図である。 FIG. 20 is a seventh block diagram illustrating a configuration example of the embodiment of the portable display apparatus according to the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 光学シースルー型表示部, 2 3次元位置方向センサ, 3 3次元位置方向算出部, 4 視点位置方向センサ, 5 視点位置方向算出部, 6仮想物体データ蓄積部, 7 仮想物体生成部, 8 仮想物体座標変換部,9 レンダリング部, 11 基準カメラ, 1 optical see-through display, 2 three-dimensional position-direction sensor, 3 three-dimensional position-direction calculating unit, 4 viewpoint position direction sensor, 5 viewpoint position direction calculation unit, 6 the virtual object data storage unit, 7 virtual object generation unit, 8 virtual object coordinate conversion unit, 9 rendering unit, 11 reference camera,
12 検出カメラ, 13,14A/D変換器, 1 12 the detection camera, 13, 14A / D converter, 1
5,16 フレームメモリ, 17 CPU, 18 5, 16 frame memory, 17 CPU, 18
ROM, 19 RAM, 20 RS−232C/R ROM, 19 RAM, 20 RS-232C / R
S−422コントローラ,21 LCDコントローラ, S-422 controller, 21 LCD controller,
22 VRAM, 23 ストレージコントローラ, 22 VRAM, 23 storage controller,
24 磁気ディスク, 25 光磁気ディスク, 2 24 magnetic disk, 25 optical disk, 2
6 光ディスク,27 不揮発性メモリ, 28 通信コントローラ, 31 ビデオシースルー型表示部, 6 the optical disk, 27 nonvolatile memory, 28 a communication controller, 31 video see-through display,
32,321乃至32N 画像入力部, 33 入力画像座標変換部, 41 入力部位置方向算出部, 51 32,321 to 32N image input unit, 33 an input image coordinate converting unit, 41 input unit position-direction calculating unit, 51
制御部, 61 距離算出部,62 入力画像合成部, 71 距離センサ Control unit, 61 a distance calculation unit, 62 an input image combining unit, 71 a distance sensor

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06T 1/00 H04N 13/00 5C023 G09G 3/20 660 13/04 5C061 680 G06F 15/20 D 5C080 H04N 5/262 15/62 360 13/00 415 13/04 15/66 450 15/72 450A (72)発明者 芦ヶ原 隆之 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 2F065 AA04 AA06 AA31 BB05 CC16 FF05 FF67 JJ03 JJ05 JJ26 PP01 QQ00 QQ03 QQ13 QQ23 QQ24 QQ25 QQ27 QQ28 QQ38 QQ41 QQ42 SS13 5B049 AA01 DD01 DD05 EE07 EE41 FF03 FF04 FF09 GG04 GG07 5B050 BA04 BA09 CA01 DA02 EA07 EA13 EA19 EA27 FA01 FA19 GA08 5B057 CA08 CA13 CA16 CB08 CB13 CB16 CC02 CD14 CE08 CH08 DA07 DB02 DB09 DC02 DC09 5B080 BA02 BA08 DA06 FA08 GA00 5C023 AA10 AA16 AA18 A ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G06T 1/00 H04N 13/00 5C023 G09G 3/20 660 13/04 5C061 680 G06F 15/20 D 5C080 H04N 5 / 262 15/62 360 13/00 415 13/04 15/66 450 15/72 450A (72) inventor AshikeHara Takayuki Shinagawa-ku, Tokyo Kita 6-chome No. 7 No. 35 Sony over Co., Ltd. in the F-term ( reference) 2F065 AA04 AA06 AA31 BB05 CC16 FF05 FF67 JJ03 JJ05 JJ26 PP01 QQ00 QQ03 QQ13 QQ23 QQ24 QQ25 QQ27 QQ28 QQ38 QQ41 QQ42 SS13 5B049 AA01 DD01 DD05 EE07 EE41 FF03 FF04 FF09 GG04 GG07 5B050 BA04 BA09 CA01 DA02 EA07 EA13 EA19 EA27 FA01 FA19 GA08 5B057 CA08 CA13 CA16 CB08 CB13 CB16 CC02 CD14 CE08 CH08 DA07 DB02 DB09 DC02 DC09 5B080 BA02 BA08 DA06 FA08 GA00 5C023 AA10 AA16 AA18 A A38 AA40 BA01 BA12 CA03 CA06 DA04 DA08 EA03 5C061 AA21 AA29 AB12 AB24 5C080 AA10 BB05 DD01 EE29 JJ01 JJ02 JJ05 JJ07 A38 AA40 BA01 BA12 CA03 CA06 DA04 DA08 EA03 5C061 AA21 AA29 AB12 AB24 5C080 AA10 BB05 DD01 EE29 JJ01 JJ02 JJ05 JJ07

Claims (20)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 実際の物体の画像である実画像と、仮想的な物体の画像である仮想画像とを重畳して表示するための情報処理を行う情報処理装置であって、 画像を表示する表示手段と、 前記表示手段の3次元空間における位置を算出する表示位置算出手段と、 ユーザの視点を算出する視点算出手段と、 前記表示手段の位置およびユーザの視点に基づいて、前記仮想画像を変換する仮想画像変換手段と、 変換後の前記仮想画像を、前記表示手段に表示させるための描画を行う描画手段とを含むことを特徴とする情報処理装置。 1. A data processing apparatus for performing the actual image that is a real object image, the information processing for displaying and superimposing the virtual image of a virtual object, and displays the image display means, the display position calculating means for calculating a position in three-dimensional space of the display means, a viewpoint calculating means for calculating a viewpoint of the user, based on the position and the user's viewpoint of the display unit, the virtual image a virtual image converting means for converting, the virtual image after conversion, the information processing apparatus characterized by comprising a drawing means for drawing for displaying on the display means.
  2. 【請求項2】 前記表示手段は、光学シースルー型の表示装置であり、その表示装置を介して見える実画像と、 Wherein said display means is an optical see-through type display device, the actual image viewed through the display device,
    前記仮想画像とを重畳して表示することを特徴とする請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, characterized in that the displayed superimposed with said virtual image.
  3. 【請求項3】 前記実際の物体を撮像して、前記実画像を出力する撮像手段をさらに含み、 前記表示手段は、前記撮像手段が出力する前記実画像と、前記仮想画像とを重畳して表示することを特徴とする請求項1に記載の情報処理装置。 Wherein said by imaging a real object, the further comprises imaging means for outputting a real image, said display means, and the real image of the imaging means outputs, by superimposing said virtual image the information processing apparatus according to claim 1, characterized in that display.
  4. 【請求項4】 前記表示手段の位置およびユーザの視点に基づいて、前記撮像手段が出力する前記実画像を変換する実画像変換手段をさらに含み、 前記表示手段は、変換後の前記実画像と、変換後の前記仮想画像とを重畳して表示することを特徴とする請求項3に記載の情報処理装置。 4. Based on the location and the user's viewpoint of the display means further includes a real image converting means for converting the real image of the imaging means outputs, said display means, said real image after conversion the information processing apparatus according to claim 3, characterized in that the displayed superimposed with said virtual image after conversion.
  5. 【請求項5】 前記撮像手段は、所定の位置に固定されていることを特徴とする請求項3に記載の情報処理装置。 Wherein said imaging means, the information processing apparatus according to claim 3, characterized in that it is fixed in position.
  6. 【請求項6】 前記撮像手段は、前記表示手段に固定されていることを特徴とする請求項5に記載の情報処理装置。 Wherein said imaging means, the information processing apparatus according to claim 5, characterized in that it is fixed to the display unit.
  7. 【請求項7】 前記撮像手段は、前記表示手段から離れた位置に設置されていることを特徴とする請求項3に記載の情報処理装置。 Wherein said imaging means, the information processing apparatus according to claim 3, characterized in that it is installed in a position away from said display means.
  8. 【請求項8】 前記撮像手段は、前記表示手段が表示可能な範囲の実画像より広い範囲の実画像を出力することを特徴とする請求項3に記載の情報処理装置。 Wherein said imaging means, the information processing apparatus according to claim 3, characterized in that said display means outputs an actual image of a range wider than the actual image of the possible range display.
  9. 【請求項9】 前記表示手段の位置、ユーザの視点、および撮像手段の位置に基づいて、前記撮像手段が出力する前記実画像を変換することを特徴とする請求項3に記載の情報処理装置。 9. The position of the display means, based on the position of the viewpoint, and the imaging unit user, the information processing apparatus according to claim 3, wherein the conversion of the real image of the imaging means outputs .
  10. 【請求項10】 前記撮像手段は、可動式になっていることを特徴とする請求項3に記載の情報処理装置。 Wherein said imaging means, the information processing apparatus according to claim 3, characterized that it is movable.
  11. 【請求項11】 前記撮像手段の3次元空間における位置を算出する撮像位置算出手段と、 前記表示手段の位置、ユーザの視点、および撮像手段の位置に基づいて、前記撮像手段が出力する前記実画像を変換する実画像変換手段とをさらに含むことを特徴とする請求項9に記載の情報処理装置。 An imaging position calculation means for calculating a position in three-dimensional space wherein said imaging means, the position of the display means, based on the position of the point of view of the user, and the imaging means, the actual said imaging means outputs the information processing apparatus according to claim 9, further comprising a real image converting means for converting the image.
  12. 【請求項12】 前記ユーザの視点に基づいて、前記撮像手段を制御する制御手段をさらに含むことを特徴とする請求項3に記載の情報処理装置。 12. Based on the viewpoint of the user, the information processing apparatus according to claim 3, further comprising a control means for controlling the imaging means.
  13. 【請求項13】 複数の前記撮像手段を含み、 複数の前記撮像手段の出力から、前記表示手段に表示させる前記実画像を生成する生成手段をさらに含むことを特徴とする請求項3に記載の情報処理装置。 13. includes a plurality of the imaging means, the outputs of the plurality of the imaging unit, according to claim 3, further comprising a generation means for generating the actual image to be displayed on said display means the information processing apparatus.
  14. 【請求項14】 前記実際の物体までの距離を算出する距離算出手段をさらに含み、 前記仮想画像変換手段は、前記表示手段の位置、ユーザの視点、および実際の物体までの距離に基づいて、前記仮想画像を変換することを特徴とする請求項3に記載の情報処理装置。 14. further comprising a distance calculating means for calculating the distance to the real object, the virtual image converting means, the position of the display means, based on the distance of the point of view of the user, and to the actual object, the information processing apparatus according to claim 3, characterized in that converting the virtual image.
  15. 【請求項15】 前記距離算出手段は、複数の前記実画像に基づいて、前記実際の物体までの距離を算出することを特徴とする請求項14に記載の情報処理装置。 15. The method of claim 14, wherein the distance calculating means, based on a plurality of the real image, the information processing apparatus according to claim 14, characterized in that to calculate the distance until said actual object.
  16. 【請求項16】 前記視点算出手段は、前記ユーザを撮像し、その結果得られる画像を認識することによって、 16. the viewpoint calculating means, by imaging the user, to recognize the image obtained as a result,
    前記ユーザの視点を算出することを特徴とする請求項1 Claim 1, characterized in that to calculate the perspective of the user
    に記載の情報処理装置。 The information processing apparatus according to.
  17. 【請求項17】 前記視点算出手段は、前記ユーザを撮像し、その結果得られる画像を用いてステレオ処理を行うことによって、前記ユーザの視点を算出することを特徴とする請求項1に記載の情報処理装置。 17. the viewpoint calculating means captures the user, by performing the stereo process using an image obtained as a result, according to claim 1, characterized in that to calculate the perspective of the user the information processing apparatus.
  18. 【請求項18】 前記視点算出手段は、ユーザの視点の方向または視点の3次元空間における位置を算出することを特徴とする請求項1に記載の情報処理装置。 18. the viewpoint calculating means, the information processing apparatus according to claim 1, characterized in that to calculate the position in three-dimensional space direction or perspective of the user's viewpoint.
  19. 【請求項19】 携帯型の装置であることを特徴とする請求項1に記載の情報処理装置。 19. The information processing apparatus according to claim 1 which is a portable device.
  20. 【請求項20】 実際の物体の画像である実画像と、仮想的な物体の画像である仮想画像とを重畳して表示するための情報処理を行う情報処理装置の情報処理方法であって、 前記情報処理装置は、画像を表示する表示手段を含み、 前記表示手段の3次元空間における位置を算出する表示位置算出ステップと、ユーザの視点を算出する視点算出ステップと、 前記表示手段の位置およびユーザの視点に基づいて、前記仮想画像を変換する仮想画像変換ステップと、 変換後の前記仮想画像を、前記表示手段に表示させるための描画を行う描画ステップとを含むことを特徴とする情報処理方法。 20. A real image which is a real object image, an information processing method for an information processing apparatus for performing information processing for displaying and superimposing the virtual image of a virtual object, the information processing apparatus includes a display means for displaying an image, the display position calculating step of calculating a position in three-dimensional space of the display unit, and the viewpoint calculating a viewpoint of the user, the position and the display means information processing based on the user's perspective, the virtual image conversion step of converting the virtual image, the virtual image after conversion, characterized in that it comprises a drawing step of drawing to be displayed on said display means Method.
JP8521899A 1999-03-29 1999-03-29 Device and method for processing information Withdrawn JP2000276613A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8521899A JP2000276613A (en) 1999-03-29 1999-03-29 Device and method for processing information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8521899A JP2000276613A (en) 1999-03-29 1999-03-29 Device and method for processing information

Publications (1)

Publication Number Publication Date
JP2000276613A true true JP2000276613A (en) 2000-10-06

Family

ID=13852444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8521899A Withdrawn JP2000276613A (en) 1999-03-29 1999-03-29 Device and method for processing information

Country Status (1)

Country Link
JP (1) JP2000276613A (en)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
WO2003083526A1 (en) * 2002-03-28 2003-10-09 Linus Ab A method and a device for co-ordinated displaying of a direct image and an electro-optical image
EP1398601A2 (en) * 2002-09-13 2004-03-17 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
EP1511300A1 (en) * 2002-06-03 2005-03-02 Sony Corporation Image processing device and method, program, program recording medium, data structure, and data recording medium
JP2005323925A (en) * 2004-05-17 2005-11-24 Ge Medical Systems Global Technology Co Llc Ultrasonic imaging device
JP2007529960A (en) * 2004-03-18 2007-10-25 ソニー エレクトロニクス インク Personal electronic devices 3-dimensional information acquisition and display system
WO2009038149A1 (en) * 2007-09-20 2009-03-26 Nec Corporation Video image providing system and video image providing method
DE102008020771A1 (en) * 2008-04-21 2009-07-09 Carl Zeiss 3D Metrology Services Gmbh Deviation determining method, involves locating viewers at viewing position of device and screen, such that viewers view each position of exemplars corresponding to measured coordinates of actual condition
DE102008020772A1 (en) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Showing results of measurement of workpieces
JP2010510572A (en) * 2006-11-20 2010-04-02 トムソン ライセンシングThomson Licensing A method and system for the light of modeling
JP2010122879A (en) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab Terminal device, display control method, and display control program
JP2010541053A (en) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング A method and apparatus for depicting the virtual object in the real environment
JP2011508557A (en) * 2007-12-26 2011-03-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Image processor for superimposing a graphic object
KR20110136012A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 Augmented reality device to track eyesight direction and position
JP2012003328A (en) * 2010-06-14 2012-01-05 Hal Laboratory Inc Three-dimensional image display program, three-dimensional image display apparatus, three-dimensional image display system, and three-dimensional image display method
JP2012013514A (en) * 2010-06-30 2012-01-19 Canon Inc Information processor, three dimensional position calculation method and program
JP2012033043A (en) * 2010-07-30 2012-02-16 Toshiba Corp Information display device and information display method
JP2012115414A (en) * 2010-11-30 2012-06-21 Nintendo Co Ltd Game device, method of providing game, game program, and game system
JP2012175324A (en) * 2011-02-21 2012-09-10 Tatsumi Denshi Kogyo Kk Automatic photograph creation system, automatic photograph creation apparatus, server device and terminal device
WO2012124250A1 (en) * 2011-03-15 2012-09-20 パナソニック株式会社 Object control device, object control method, object control program, and integrated circuit
JP2012190230A (en) * 2011-03-10 2012-10-04 Nec Casio Mobile Communications Ltd Display device, display method, and program
JP2013015796A (en) * 2011-07-06 2013-01-24 Sony Corp Display control apparatus, display control method, and computer program
KR101309176B1 (en) * 2006-01-18 2013-09-23 삼성전자주식회사 Apparatus and method for augmented reality
WO2013145147A1 (en) * 2012-03-28 2013-10-03 パイオニア株式会社 Head mounted display and display method
WO2013148222A1 (en) 2012-03-28 2013-10-03 Microsoft Corporation Augmented reality light guide display
JP2013542462A (en) * 2010-09-21 2013-11-21 マイクロソフト コーポレーション Opaque filter for transparent head-mounted display
WO2014037972A1 (en) * 2012-09-05 2014-03-13 Necカシオモバイルコミュニケーションズ株式会社 Display device, display method, and program
WO2014091824A1 (en) * 2012-12-10 2014-06-19 ソニー株式会社 Display control device, display control method and program
JP2014515130A (en) * 2011-03-10 2014-06-26 マイクロソフト コーポレーション Expansion of theme-based realistically represented views
CN104204994A (en) * 2012-04-26 2014-12-10 英特尔公司 Augmented reality computing device, apparatus and system
JP2015156131A (en) * 2014-02-20 2015-08-27 株式会社ソニー・コンピュータエンタテインメント Information processing apparatus and information processing method
JP2015207219A (en) * 2014-04-22 2015-11-19 富士通株式会社 Display device, position specification program, and position specification method
JP5961892B1 (en) * 2015-04-03 2016-08-03 株式会社ハコスコ Display terminal as well as the information recording medium
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US9807381B2 (en) 2012-03-14 2017-10-31 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
KR101895085B1 (en) * 2010-09-21 2018-10-04 텔레폰악티에볼라겟엘엠에릭슨(펍) Opacity filter for see-through head mounted display

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
WO2003083526A1 (en) * 2002-03-28 2003-10-09 Linus Ab A method and a device for co-ordinated displaying of a direct image and an electro-optical image
EP1511300A4 (en) * 2002-06-03 2006-01-04 Sony Corp Image processing device and method, program, program recording medium, data structure, and data recording medium
EP1511300A1 (en) * 2002-06-03 2005-03-02 Sony Corporation Image processing device and method, program, program recording medium, data structure, and data recording medium
US7831086B2 (en) 2002-06-03 2010-11-09 Sony Corporation Image processing device and method, program, program recording medium, data structure, and data recording medium
US7423553B2 (en) 2002-09-13 2008-09-09 Canon Kabushiki Kaisha Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
EP1398601A2 (en) * 2002-09-13 2004-03-17 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
US6956503B2 (en) 2002-09-13 2005-10-18 Canon Kabushiki Kaisha Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
JP2007529960A (en) * 2004-03-18 2007-10-25 ソニー エレクトロニクス インク Personal electronic devices 3-dimensional information acquisition and display system
JP2005323925A (en) * 2004-05-17 2005-11-24 Ge Medical Systems Global Technology Co Llc Ultrasonic imaging device
JP4615893B2 (en) * 2004-05-17 2011-01-19 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ultrasonic imaging apparatus
KR101309176B1 (en) * 2006-01-18 2013-09-23 삼성전자주식회사 Apparatus and method for augmented reality
JP2010510572A (en) * 2006-11-20 2010-04-02 トムソン ライセンシングThomson Licensing A method and system for the light of modeling
US8466917B2 (en) 2006-11-20 2013-06-18 Thomson Licensing Method and system for modeling light
WO2009038149A1 (en) * 2007-09-20 2009-03-26 Nec Corporation Video image providing system and video image providing method
JP5564946B2 (en) * 2007-09-20 2014-08-06 日本電気株式会社 Image providing system, and a video providing method
US8531514B2 (en) 2007-09-20 2013-09-10 Nec Corporation Image providing system and image providing method
JP2010541053A (en) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング A method and apparatus for depicting the virtual object in the real environment
US9390560B2 (en) 2007-09-25 2016-07-12 Metaio Gmbh Method and device for illustrating a virtual object in a real environment
JP2011508557A (en) * 2007-12-26 2011-03-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Image processor for superimposing a graphic object
US8638984B2 (en) 2008-04-21 2014-01-28 Carl Zeiss Industrielle Messtechnik Gmbh Display of results of a measurement of workpieces as a function of the detection of the gesture of a user
DE102008020772A1 (en) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Showing results of measurement of workpieces
DE102008020771A1 (en) * 2008-04-21 2009-07-09 Carl Zeiss 3D Metrology Services Gmbh Deviation determining method, involves locating viewers at viewing position of device and screen, such that viewers view each position of exemplars corresponding to measured coordinates of actual condition
JP2010122879A (en) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab Terminal device, display control method, and display control program
KR20110136012A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 Augmented reality device to track eyesight direction and position
KR101691564B1 (en) * 2010-06-14 2016-12-30 주식회사 비즈모델라인 Method for Providing Augmented Reality by using Tracking Eyesight
JP2012003328A (en) * 2010-06-14 2012-01-05 Hal Laboratory Inc Three-dimensional image display program, three-dimensional image display apparatus, three-dimensional image display system, and three-dimensional image display method
JP2012013514A (en) * 2010-06-30 2012-01-19 Canon Inc Information processor, three dimensional position calculation method and program
JP2012033043A (en) * 2010-07-30 2012-02-16 Toshiba Corp Information display device and information display method
KR101895085B1 (en) * 2010-09-21 2018-10-04 텔레폰악티에볼라겟엘엠에릭슨(펍) Opacity filter for see-through head mounted display
JP2013542462A (en) * 2010-09-21 2013-11-21 マイクロソフト コーポレーション Opaque filter for transparent head-mounted display
US9911236B2 (en) 2010-09-21 2018-03-06 Telefonaktiebolaget L M Ericsson (Publ) Opacity filter for display device
US9286730B2 (en) 2010-09-21 2016-03-15 Microsoft Technology Licensing, Llc Opacity filter for display device
JP2012115414A (en) * 2010-11-30 2012-06-21 Nintendo Co Ltd Game device, method of providing game, game program, and game system
JP2012175324A (en) * 2011-02-21 2012-09-10 Tatsumi Denshi Kogyo Kk Automatic photograph creation system, automatic photograph creation apparatus, server device and terminal device
JP2012190230A (en) * 2011-03-10 2012-10-04 Nec Casio Mobile Communications Ltd Display device, display method, and program
JP2014515130A (en) * 2011-03-10 2014-06-26 マイクロソフト コーポレーション Expansion of theme-based realistically represented views
JPWO2012124250A1 (en) * 2011-03-15 2014-07-17 パナソニック株式会社 Object control device, object control method, the object control program, and an integrated circuit
WO2012124250A1 (en) * 2011-03-15 2012-09-20 パナソニック株式会社 Object control device, object control method, object control program, and integrated circuit
US10074346B2 (en) 2011-07-06 2018-09-11 Sony Corporation Display control apparatus and method to control a transparent display
JP2013015796A (en) * 2011-07-06 2013-01-24 Sony Corp Display control apparatus, display control method, and computer program
US9807381B2 (en) 2012-03-14 2017-10-31 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
EP2831867A1 (en) * 2012-03-28 2015-02-04 Microsoft Corporation Augmented reality light guide display
EP2831867A4 (en) * 2012-03-28 2015-04-01 Microsoft Corp Augmented reality light guide display
JP2015523583A (en) * 2012-03-28 2015-08-13 マイクロソフト コーポレーション Display of augmented reality light guide
CN104205193A (en) * 2012-03-28 2014-12-10 微软公司 Augmented reality light guide display
WO2013145147A1 (en) * 2012-03-28 2013-10-03 パイオニア株式会社 Head mounted display and display method
WO2013148222A1 (en) 2012-03-28 2013-10-03 Microsoft Corporation Augmented reality light guide display
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
CN104204994A (en) * 2012-04-26 2014-12-10 英特尔公司 Augmented reality computing device, apparatus and system
CN104204994B (en) * 2012-04-26 2018-06-05 英特尔公司 AR computing device, apparatus and system for
CN104603717A (en) * 2012-09-05 2015-05-06 Nec卡西欧移动通信株式会社 Display device, display method, and program
WO2014037972A1 (en) * 2012-09-05 2014-03-13 Necカシオモバイルコミュニケーションズ株式会社 Display device, display method, and program
US9613461B2 (en) 2012-12-10 2017-04-04 Sony Corporation Display control apparatus, display control method, and program
JPWO2014091824A1 (en) * 2012-12-10 2017-01-05 ソニー株式会社 Display control device, display control method, and program
WO2014091824A1 (en) * 2012-12-10 2014-06-19 ソニー株式会社 Display control device, display control method and program
WO2015125709A1 (en) * 2014-02-20 2015-08-27 株式会社ソニー・コンピュータエンタテインメント Information processing device and information processing method
JP2015156131A (en) * 2014-02-20 2015-08-27 株式会社ソニー・コンピュータエンタテインメント Information processing apparatus and information processing method
JP2015207219A (en) * 2014-04-22 2015-11-19 富士通株式会社 Display device, position specification program, and position specification method
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
JP5961892B1 (en) * 2015-04-03 2016-08-03 株式会社ハコスコ Display terminal as well as the information recording medium
WO2016157523A1 (en) * 2015-04-03 2016-10-06 株式会社SR laboratories Display terminal and information recording medium

Similar Documents

Publication Publication Date Title
Shum et al. Panoramic image mosaics
US6198485B1 (en) Method and apparatus for three-dimensional input entry
Ribo et al. A new optical tracking system for virtual and augmented reality applications
Szeliski et al. Creating full view panoramic image mosaics and environment maps
US6760020B1 (en) Image processing apparatus for displaying three-dimensional image
US20100208057A1 (en) Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US6822643B2 (en) Image-display control apparatus
Azarbayejani et al. Recursive estimation of structure and motion using relative orientation constraints
US20040135744A1 (en) Virtual showcases
Azuma A survey of augmented reality
US20050024388A1 (en) Image displaying method and apparatus
US20120162204A1 (en) Tightly Coupled Interactive Stereo Display
US20130120224A1 (en) Recalibration of a flexible mixed reality device
US20080284864A1 (en) Image processing apparatus and method
EP1462762A1 (en) Circumstance monitoring device of a vehicle
US20080024523A1 (en) Generating images combining real and virtual images
US20020113865A1 (en) Image processing method and apparatus
US20120120113A1 (en) Method and apparatus for visualizing 2D product images integrated in a real-world environment
US20130234934A1 (en) Three-Dimensional Collaboration
Satoh et al. A hybrid registration method for outdoor augmented reality
US20110029903A1 (en) Interactive virtual reality image generating system
Wilson et al. Steerable augmented reality with the beamatron
US20110243388A1 (en) Image display apparatus, image display method, and program
US20110248987A1 (en) Interactive three dimensional displays on handheld devices
US6891518B2 (en) Augmented reality visualization device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060606