JP2003256876A - Device and method for displaying composite sense of reality, recording medium and computer program - Google Patents

Device and method for displaying composite sense of reality, recording medium and computer program

Info

Publication number
JP2003256876A
JP2003256876A JP2002057838A JP2002057838A JP2003256876A JP 2003256876 A JP2003256876 A JP 2003256876A JP 2002057838 A JP2002057838 A JP 2002057838A JP 2002057838 A JP2002057838 A JP 2002057838A JP 2003256876 A JP2003256876 A JP 2003256876A
Authority
JP
Japan
Prior art keywords
object
image
step
identification information
position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002057838A
Other languages
Japanese (ja)
Other versions
JP4032776B2 (en
Inventor
Yuichi Abe
Ryuichi Imaizumi
竜一 今泉
友一 阿部
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, ソニー株式会社 filed Critical Sony Corp
Priority to JP2002057838A priority Critical patent/JP4032776B2/en
Publication of JP2003256876A publication Critical patent/JP2003256876A/en
Application granted granted Critical
Publication of JP4032776B2 publication Critical patent/JP4032776B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To present a virtual real world where the harmony of an appearance such as the size or color of a real object and the surrounding environment is realized without disposing any real object in a real space. <P>SOLUTION: An object indicating index where a plurality of markers which have respective identification information and the mutual positional relations of which are already known are disposed is photographed with a camera, the object indicating index is specified on the basis of the photographed image, and three-dimensional position/attitude disposed in a real space is obtained. Furthermore, a three-dimensional model corresponding to the detected identification information is disposed at the three-dimensional position/attitude obtained from the object indicating index in the virtual space so that the composite real space can be prepared. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込む複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention provides mixed reality display device and method in a virtual space that is implemented on a computer or network incorporating aspects of the real world, a storage medium, and a computer program, in particular, display a mixed reality to expand aggressively virtual space by using real-world situations, such as the position and orientation of the real space of the location and real-world objects that the user is present in the real world apparatus and method, storage medium, and a computer program. 【0002】さらに詳しくは、本発明は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、実物体を模倣した仮想物体を現実空間に合成して表示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。 [0002] More particularly, the present invention is mixed reality presenting the virtual reality world harmony between appearance and the surrounding environment, such as size and color of the real object is achieved without placing a real object in the real space to the user sensitive display device and method, a storage medium, and a computer program, in particular, mixed reality display device and method for displaying by synthesizing virtual objects that mimic real object in the real space, storage medium, and a computer program . 【0003】 【従来の技術】情報処理技術や情報通信技術が高度に発達した現代においては、パーソナル・コンピュータや携帯情報端末を始めとする情報機器がオフィスや家庭内などの実世界上のいたるところに遍在する。 [0003] BACKGROUND OF THE INVENTION In modern information processing technology and information and communication technology is highly developed, where information equipment such as a personal computer or a portable information terminals throughout on the real world, such as office or home ubiquitous. このような環境下では、機器どうしを接続して、いつでもどこでも欲しい情報を入手する「ユビキタス(Ubiquitous)・コンピューティング」や、実世界の状況(実世界の事物やユーザの位置など)を積極的に利用した拡張現実システム(Augmented Reality:AR)の実現が期待される。 In such an environment, to connect the devices to each other, at any time to get anywhere you want information "ubiquitous (Ubiquitous) · computing" and, aggressively in the real world situation (such as the position of the real world of things and the user) augmented reality system using the: realization of the (Augmented reality AR) is expected. 【0004】ユビキタス・コンピューティングの概念は、人がどこに移動しても利用できるコンピュータの環境が同じであることである。 [0004] The concept of ubiquitous computing is that the environment of the computer, which can also be used to move to where the people are the same. すなわち、「いつでもどこでも」なのだから、究極のユビキタス・コンピューティングは、必ずしもコンピュータやPDA(Personal Dig In other words, because of an "anytime, anywhere", the ultimate ubiquitous computing, necessarily computer or PDA (Personal Dig
ital Assistant)や携帯電話機などの情報端末を必要とはしない。 ital Assistant) and does not require the information terminal such as a mobile phone. 【0005】また、拡張現実システムによれば、ユーザの位置などの実世界状況を利用したサービスを提供することができる。 [0005] In addition, according to the augmented reality system, it is possible to provide a service that uses a real-world situations, such as the user's position. この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面を支援することができる。 In this case, the user simply holds the portable terminal, the system presents the information corresponding to the real world things that are in the vicinity and the user's view, daily life by utilizing a vast information on the network it is possible to support all aspects. 例えば、ショッピング・モールでカメラ付き携帯端末をかざしてCDショップを訪ねると、お薦めの新譜が端末上で表示される。 For example, if visit the CD shop by holding a camera-equipped mobile terminal in a shopping mall, it recommended new album is displayed on the terminal. また、レストランの看板を見ると、料理の感想が表示される。 In addition, looking at the restaurant sign, thoughts of food is displayed. 【0006】例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。 [0006] For example, when buying furniture and appliances in the home, interior, etc., whether they are suited to the size of the room, such as the whether you are in harmony with the color, such as rooms and other furniture, actually it is often you want to check before you buy. また、部屋の模様替えを行う際、実際に家具や家電製品、 In addition, when performing a makeover of the room, actually furniture and appliances,
インテリアなどの配置をいろいろと変更し、試したいものである。 Various ways to change the arrangement, such as interior, but you want to try. 【0007】ユーザが現実世界でのみ生活する場合、購入前に実際に自宅の部屋に実物を配置することは困難である。 [0007] If the user to live only in the real world, it is difficult to actually place a real home of the room before you buy. また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。 In addition, since the general furniture and electric appliances, interior, such as the large and heavy, it is not actually move the real thing, is a hard work to try a variety of placement in the room realistic. 【0008】これに対し、コンピュータ上に実際の住居を模倣した3次元の仮想住居を構築して、この仮想住居の中に家具や電化製品、インテリアなどの3次元モデルを配置して、さまざまな視点から住居を眺めることができるアプリケーションが考案されている。 [0008] On the other hand, to build a three-dimensional virtual house that mimics the actual dwelling on the computer, furniture and appliances in the virtual dwelling, by placing a three-dimensional model, such as interior, a variety of application that allows a view of the house from the point of view have been devised. これらのアプリケーションは、近年におけるコンピュータの処理速度の向上や、3次元コンピュータ・グラフィックス(3D These applications, improvement of the processing speed of the computer in recent years, three-dimensional computer graphics (3D
CG)技術の発展に伴い、リアリティ溢れる表現力を可能にしている。 CG) With the development of technology, which enables the reality full of expressive power. 【0009】しかしながら、これらの仮想現実アプリケーションを実際に利用する場合、いくつかの問題点がある。 [0009] However, when using these virtual reality applications In fact, there are some problems. 【0010】まず、自分が住んでいる部屋のモデルを構築しなければならない点である。 [0010] First of all, is the point that must be to build a model of the room in which he is living. 住んでいる部屋の間取りを、瞬時に、かつ正確に作成できる人は稀であり、一般にはメジャー等で実際に部屋を計測したり、家を購入する際に入手した間取り図を参考に構築しなければならない。 The live in floor plan of the room, in an instant, and is exactly the person that can be created is rare, generally to build or to measure the actual room in the major or the like, the floor plan that you obtained when buying a house in reference There must be. 概略的な部屋の雰囲気を表現したいのであれば大まかな部屋モデルで十分であるが、家具や電化製品、インテリアなどのサイズを調べるには正確な部屋モデルの構築が不可欠となる。 But if you want to express the atmosphere of a schematic room in the rough room model is sufficient, furniture and appliances, the construction of accurate room model is to determine the size of such interior is essential. 【0011】また、住居を模倣するには所有している家具や電化製品、インテリアなどの3次元モデルが必要であるが、これらの完全なモデルを作成あるいは入手することは困難であり、複数の3次元モデル素材の中から最も近似しているモデルを選択するのが現状である。 [0011] In addition, furniture and appliances to mimic the residence is owned, but there is a need for three-dimensional models such as the interior, it is difficult to create or obtain these complete model, multiple from the three-dimensional model material at present is to select the model that is most approximate. このため、現実の住居とは異なる仮想住居が構築されてしまう。 For this reason, would be built is different from the virtual residence with the reality of the residence. 【0012】さらに、コンピュータの処理速度の向上とともに、CG技術が発展し、表現力が格段に向上されたとは言え、現実と見間違えるような表現は難しく、可能であっても多大な計算時間を要するのがほとんどである。 [0012] In addition, along with the improvement of the processing speed of the computer, CG technology is developed, although the power of expression has been significantly improved, reality and look mistake such expressions is difficult, it is capable of a great deal of computation time in most cases to take. 【0013】 【発明が解決しようとする課題】本発明の目的は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。 [0013] The object of the present invention is to solve the above may incorporate aspects of the real world in a virtual space that is implemented on a computer or network, excellent mixed reality display device and method, as well as to provide a computer program. 【0014】本発明のさらなる目的は、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。 [0014] It is a further object of the present invention, it is possible to extend the virtual space in the real world the real-world situations, such as the position and orientation of the real space of the location and real-world objects that the user is present and actively used to provide excellent mixed reality display device and method, and a computer program. 【0015】本発明のさらなる目的は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。 It is a further object of the present invention can be presented a virtual reality world harmony between appearance and the surrounding environment, such as size and color of the real object is achieved without placing a real object in the real space to the user to provide excellent mixed reality display device and method, and a computer program. 【0016】本発明のさらなる目的は、実物体を模倣した仮想物体を現実空間に合成して表示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。 It is a further object of the present invention, it can be displayed by combining the virtual object that mimic real object in the real space, which is excellent mixed reality display device and method, and computer program . 【0017】 【課題を解決するための手段及び作用】本発明は、上記課題を参酌してなされたものであり、その第1の側面は、仮想物体を現実空間に合成して表示する複合現実感表示装置又は方法であって、物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力部又はステップと、 [0017] According and action to an aspect of the present invention has been made in consideration of the above problems, a first aspect of the mixed reality to be displayed by combining the virtual object in the real space a sensitive display device or method, an image input unit or step to capture the scene on reality contained object teachings index space,
前記画像入力部又はステップによる入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算部又はステップと、前記画像入力部又はステップによる入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識部又はステップと、前記物体認識部又はステップにより認識された現実物体についての3次元モデルからなる仮想物体を前記位置・姿勢計算部又はステップにより算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成部又はステップと、を具備することを特徴とする複合現実感表示装置又は方法である。 The object teaching indicator and the position and orientation calculating section or step for calculating a spatial position and orientation, the input image by the image input unit or step based on the object teaching indicator based on the input image by the image input unit or step an object recognition unit or step recognizes the real object corresponding to recognize the identification information held by the said position and orientation calculation unit a virtual object consisting of three-dimensional model of the physical object recognized by the object recognition unit or step is mixed reality display device or method characterized by comprising an image combining unit or step to synthesize on a rotated-moving input image, a depending or the spatial position and orientation calculated in the step . 【0018】本発明の第1の側面に係る複合現実感表示装置又は方法によれば、物体教示指標をカメラで撮影して、この撮影画像を基に物体教示指標が持つ識別情報を取得するとともに、物体教示指標が現実空間に配置された3次元位置・姿勢を取得する。 According to the first mixed reality display device or method according to aspects of the present invention, by photographing the object teachings indicators camera acquires the identification information held by the object taught index based on the captured image , acquires the three-dimensional position and orientation of the object teachings index is disposed in the physical space. さらに、仮想空間において、検出した識別情報に対応する3次元モデルを、物体教示指標から求められた3次元位置・姿勢に配置することによって、複合現実空間を比較的短時間で且つ低コストに作成することができる。 Furthermore, creating the virtual space, the three-dimensional model corresponding to the detected identification information, by placing the three-dimensional position and orientation obtained from the object teachings indicators, in a relatively short time and at low cost a mixed reality space can do. 【0019】例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。 [0019] For example, when buying furniture and appliances in the home, interior, etc., whether they are suited to the size of the room, such as the whether you are in harmony with the color, such as rooms and other furniture, actually it is often you want to check before you buy. また、部屋の模様替えを行う際、実際に家具や家電製品、 In addition, when performing a makeover of the room, actually furniture and appliances,
インテリアなどの配置をいろいろと変更し、試したいものである。 Various ways to change the arrangement, such as interior, but you want to try. ところが、購入前に実際に自宅の部屋に実物を配置することは困難である。 However, it is difficult to actually place a real home of the room before you buy. また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。 In addition, since the general furniture and electric appliances, interior, such as the large and heavy, it is not actually move the real thing, is a hard work to try a variety of placement in the room realistic. 【0020】これに対し、本発明の第1の側面に係る複合現実感表示装置又は方法によれば、家具や家電製品、 [0020] In contrast, according to the first mixed reality display device or method according to aspects of the present invention, furniture and appliances,
インテリアなどの現実の物体を配置してみたい場合には、現実の物体に代えて、物体教示指標を設置するだけで、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる。 If you'd like to place real objects, such as interior, instead of the real objects, simply placing the object teachings index, surrounding the exterior such as the size and color of the real object without placing the real object in the real space a virtual reality world of harmony with the environment has been achieved can be presented to the user. 【0021】したがって、ユーザは、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。 [0021] Thus, the user, based on the mixed reality image to the virtual object has been synthesized to the scene of the real space, whether the furniture and appliances in the home, such as the interior matches the size of the room, the room and the like and whether they in harmony with the color of such other furniture, it is possible to determine before the actual purchase. また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。 In addition, the room of scenery and objects other than the virtual object, such as furniture and appliances, interior, as it is to use the reality of the image that has been taken from the camera. すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。 That is, creation or it is not necessary to obtain a complete model for real space, it is possible to easily generate the augmented reality images. 【0022】ここで、前記画像合成部又はステップは、 [0022] Here, the image synthesizing unit or step,
前記物体認識部により認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成するようにしてもよい。 The object recognition rates and specifications of the recognized real object by the unit, or may be further synthesized on the other input the related information image. 【0023】また、さらに前記物体教示指標までの距離を測定する距離測定部又はステップを備えていてもよい。 Further, it may be further provided a distance measuring section or step for measuring a distance to the object teaching indicator. このような場合、前記画像合成部又はステップは、 In this case, the image synthesizing unit or step,
前記距離測定部又はステップにより得られた距離に基づいて前記仮想物体に陰面処理を適用することにより、より自然な合成画像を得ることができる。 By applying a hidden surface process to the virtual object based on the distance obtained by the distance measuring unit or step, it is possible to obtain a more natural synthetic image. 【0024】前記物体教示指標には光学的識別情報が配設されている。 The optical identification information is disposed on the object teaching indicator. 光学的識別情報とは、例えば、固有の色、形状、又はバーコードなどのビジュアルコード、あるいは識別情報やその他のデータを符号化した光の点滅パターンなどで構成される。 The optical identification information, for example, a specific color, shape, or visual code such as a bar code or identification information and other data, such as flashing patterns of light encoded. 【0025】このような場合、前記物体認識部又はステップは、入力画像から光学的識別情報を抽出して物体の識別情報を取得することができる。 [0025] In this case, the object recognition unit or step may obtain the identification information of the object from the input image by extracting the optical identification information. 【0026】また、物体教示指標に互いの位置関係が既知である複数の光学的識別情報を配設するようにしてもよい。 [0026] It is also possible to mutual positional relationship on the object teaching indicator is disposed a plurality of optical identification information is known. このような場合、前記位置・姿勢計算部又はステップは、入力画像から光学的識別情報を抽出して、該入力画像における各光学的識別情報の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。 In this case, the position and orientation calculation unit or step extracts the optical identification information from the input image, the spatial position and orientation based on the detected position of the optical identification information in the input image it can be calculated. 【0027】例えば、Robert M. Haralick、Chung-nan [0027] For example, Robert M. Haralick, Chung-nan
Lee、Karsten Ottenberg、及びMichael Nolle共著の論文"Analysis and Solutions of The Three Point Persp Lee, Karsten Ottenberg, and Michael Nolle co-author of the paper "Analysis and Solutions of The Three Point Persp
ective Pose Estimation Problem"(In Proceedings of ective Pose Estimation Problem "(In Proceedings of
the Conference on ComputerVision and Pattern Reco the Conference on ComputerVision and Pattern Reco
gnition, Maui, Hawaii, USA, pp.592-598, 1991)には、対象物体上に配設された既知の3点の位置から該物体の3次元位置及び姿勢を計測する方法について記述されている。 gnition, Maui, Hawaii, USA, pp.592-598, 1991) is described a method of measuring the three-dimensional position and orientation of the object from the position of the known three points disposed on the object there. したがって、3個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、このRobert外著の方法を用いて、 Therefore, if three or more optical identification information disposed on the object teaching indicator, the position and orientation calculation unit or step, using the method of this Robert outside al,
入力画像上で抽出される3つの光学的識別情報の検出位置を基に対応する3次元位置及び姿勢を数学的に算出することができる。 3-dimensional position and orientation corresponding to the basis of the detected position of the three optical identification information extracted on the input image can be mathematically calculated. 【0028】また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』(日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999) [0028] In addition, Hirokazu Kato, Mark Billinghurst, Koichi Asano, TachibanaAkira Hachiro co-author of the paper "Augmented Reality System and its Calibration based on Marker Tracking" (Transactions of the Virtual Reality Society of Japan, Vol.4, No.4 , 1999)
には、平行四辺形の各頂点に配置された4つのマーカを基に平行四辺形の3次元位置及び姿勢を計測する方法について記載されている。 The, it describes a method of measuring the three-dimensional position and orientation of the parallelogram on the basis of the four markers located at each vertex of a parallelogram. したがって、平行四辺形の頂点をなす4個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、この加藤外著の方法を用いて、入力画像上で抽出される4 Therefore, if disposed of four or more optical identification information constituting a parallelogram vertices of the object teaching indicator, the position and orientation calculation unit or step, using the method of this Kato outer al, input 4 is extracted in the image
つの光学的識別情報の検出位置を基に対応する3次元位置及び姿勢を数学的に算出する選択することができる。 One of the three-dimensional position and orientation corresponding to the basis of the detected position of the optical identification information can be selected mathematically calculated. 【0029】光学的識別情報が光の点滅パターンとして表されている場合には、前記物体認識部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識することができる。 [0029] When the optical identification information is represented as a flashing pattern of light, the object recognition unit or step decodes these extracts a blinking pattern from the flash light source based on the input image it can recognize the identification information the object teaching indicator has. 【0030】また、このような場合、前記位置・姿勢計算部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。 Further, in this case, the position and orientation calculating section or step is configured to identify each extract the blinking pattern from the flash light source based on the input image by decoding them, in the input image it is possible to calculate the spatial position and orientation based on the detected position of the flashing light source. 【0031】また、本発明の第2の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、前記物体認識ステップにおいて認識された現実物体についての3次元モデルからなる仮想物体を前記位置・姿勢 Further, a second aspect of the present invention, the physical description computer software to perform the processing for displaying by combining virtual object in the real space on a computer system in a computer-readable format a manner stored the storage medium, the computer software, an image input step of capturing a scene on inclusive physical space object teachings index of the object teachings index based on the input image in the image input step the position and orientation calculation step of calculating a spatial position and orientation, the recognition and the corresponding object recognition step recognizes the real object with the identification information held by the object taught index based on the input image in the image input step, the the position and orientation of the virtual object consisting of three-dimensional model of the recognized real object in the object recognition step 算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とする記憶媒体である。 A storage medium characterized by comprising a, an image combining step of combining on the input image by rotating, moving in accordance with the calculated spatial position and orientation in calculation step. 【0032】本発明の第2の側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。 The second according to aspects storage medium of the present invention, for example, for different can execute program code of a general-purpose computer system, a medium for providing a computer software in a computer-readable format. このような媒体は、例えば、DVD(Digital Vers Such a medium, for example, DVD (Digital Vers
atile Disc)やCD(Compact Disc)、FD(Flexible atile Disc) or CD (Compact Disc), FD (Flexible
Disk)、MO(Magneto-Optical disc)などの着脱自在で可搬性の記憶媒体である。 Disk), MO (Magneto-Optical disc) is freely a portable storage medium detachable such. あるいは、ネットワーク(ネットワークは無線、有線の区別を問わない)などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。 Alternatively, the network (network radio, regardless of the distinction between wired) It is technically possible to provide a computer software such as over a transmission medium such as the particular computer system. 【0033】また、本発明の第2の側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ [0033] The storage medium according to the second aspect of the present invention, the predetermined computer on a computer system
ソフトウェアの機能を実現するための、コンピュータ・ For realizing the functions of the software, the computer
ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。 It is obtained by defining a structural or functional in cooperative relationship between the software and the storage medium. 換言すれば、本発明の第2 In other words, the second present invention
の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1の側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。 By installing the given computer software in the computer system through a storage medium according to the aspect, a cooperative operation on the computer system is exhibited, displayed mixed reality according to the first aspect of the present invention device or it is possible to obtain the same effects as the method. 【0034】また、本発明の第3の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、前記物体認識ステップにおいて認識された現実物体についての3次元モデルからなる仮想物体を前記位置・ Further, a third aspect of the present invention, there a computer program described in a computer-readable format so as to execute a process for displaying by combining virtual object in the real space on a computer system Te, an image input step of capturing a scene on the object teaching indicators including real space, the position and orientation calculation step of calculating a spatial position and orientation of the object teachings index based on the input image in the image input step the image and object recognition step recognizes the real object corresponding to recognize the identification information held by the object taught index based on the input image in the input step, 3-dimensional model for the recognized real object in the object recognition step wherein the virtual object consisting of position and
姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とするコンピュータ・プログラムである。 A computer program, characterized by comprising, an image combining step of combining on the input image by rotating, moving in accordance with the calculated spatial position and orientation in the attitude calculating step. 【0035】本発明の第3の側面に係るコンピュータ・ The computer according to the third aspect of the present invention
プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。 Program is obtained by defining the computer program described in a computer-readable format so as to realize predetermined processing on a computer system. 換言すれば、本発明の第3の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。 In other words, by installing the computer program according to the third aspect of the present invention in a computer system, cooperative operation on the computer system is exhibited, mixed reality according to the first aspect of the present invention it is possible to obtain the same effects as the display device or method thereof. 【0036】本発明のさらに他の目的、特徴や利点は、 [0036] Other objects, features, and advantages of the present invention,
後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。 It will become apparent from the following detailed description based on embodiments of the invention and the accompanying drawings described below. 【0037】 【発明の実施の形態】以下、図面を参照しながら本発明の実施形態について詳解する。 [0037] PREFERRED EMBODIMENTS Hereinafter, described in detail embodiments of the present invention with reference to the drawings. 【0038】本発明に係る複合現実感表示システムは、 The mixed reality display system according to the present invention,
実世界上に存在する物理オブジェクトに対して複数の光学的な識別情報を取り付けるとともに、これを2次元イメージ・センサを利用して撮影して画像処理・画像認識により、オブジェクトの同定するとともにその3次元的な位置や姿勢などのオブジェクトが持つ実世界状況を基にした拡張現実(AR:Augmented Reality)サービスを実現するものであり、例えば、現実空間の一部が仮想世界に拡張された複合現実感画像を提供する。 Is attached a plurality of optical identification information to the physical objects present in the real world, the image processing and image recognition which was photographed using a two-dimensional image sensor, the 3 with the identification of the object augmented reality based on a real-world situation with the object, such as a dimension position and posture (AR: Augmented reality) is intended to realize the service, for example, mixed reality a part of the real space is expanded in the virtual world to provide sensitive image. 【0039】実世界オブジェクトに取り付ける光学的な識別情報として、色の空間パターンに符号化されたビジュアル・コードの他に、LEDのような点滅する光源からなる光学信号を利用することができる。 [0039] As optical identification information attached to real-world objects, in addition to the encoded visual code color space patterns, an optical signal consisting of a light source blinking such as an LED can be used. 後者の場合、 In the latter case,
距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化して、データを送信することができる。 Distance encoded in the optical signal time series, such as blinking pattern data does not change depending on, can transmit data. 【0040】また、イメージ・センサは、例えばCMO [0040] In addition, image sensors, for example CMO
S(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)センサやCCD(Charge Coupled S (Complementary Metal Oxide Semiconductor: complementary metal oxide semiconductor) sensor or a CCD (Charge Coupled
Device:電荷結合素子)センサなどのように、無数の受光素子すなわち画素が2次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。 Device: such as charge-coupled device) sensor, a myriad of light receiving elements or pixels are arranged configurations on a two-dimensional array, for decoding an optical signal as well as all the pixels that spatial information. イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。 The image sensor is configured to shoot a scene as an ordinary camera can receive the arranged optical signals in view of the image sensor from a long distance. したがって、光学的な識別情報を備えた実世界オブジェクトを、実世界状況を発信するための送信機としても利用することができる。 Therefore, it is possible to utilize the real-world objects with optical identification information, as a transmitter for transmitting a real-world situation. 【0041】実世界オブジェクトに取り付けられる複数の光学的識別情報は、互いに識別可能であるだけでなく、互いの空間的な位置関係があらかじめ分かっているものとする。 The plurality of optical identification information attached to the real world object is not only distinguishable from each other, it is assumed that the mutual spatial position relationship is known in advance. このような場合、空間的な解像度を持つ測定装置により実世界オブジェクトを認識することにより、単にその実世界オブジェクトを同定するだけでなく、その3次元的な位置や姿勢などを測定することができる。 In such a case, by recognizing the real world object by the measuring device having a spatial resolution, not only to identify the real-world object, it can be measured such as its three-dimensional position and orientation. 実世界オブジェクトが持つ空間的な位置や姿勢は、言わば実世界状況に相当する。 Spatial position and posture of real-world objects have is, so to speak, correspond to the real-world situation. 【0042】したがって、実世界オブジェクトの3次元位置・姿勢の計測結果を実世界の状況(実世界の事物やユーザの位置など)として積極的に利用することにより、拡張現実システム(Augmented Reality:AR)の実現に役立てることができる。 [0042] Thus, by actively using the measurement results of the three-dimensional position and orientation of the real-world objects as a real-world situation (such as the position of the real world of things and user), augmented reality system (Augmented Reality: AR ) it can be useful to the realization of. 【0043】拡張現実システムによれば、ユーザの位置などの実世界情報を利用したサービスを提供することができる。 [0043] According to the augmented reality system, it is possible to provide a service using the real-world information such as a user's position. この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面で支援を享受することができる。 In this case, the user simply holds the portable terminal, the system presents the information corresponding to the real world things that are in the vicinity and the user's view, daily life by utilizing a vast information on the network it is possible to enjoy the support in all aspects. 例えば、ショッピング・モールでカメラ付き携帯端末をかざしてCDショップを訪ねると、 For example, if visit the CD shop by holding a camera-equipped mobile terminal in a shopping mall,
お薦めの新譜が端末上で表示される。 Recommended new album is displayed on the terminal. また、レストランの看板を見ると、料理の感想が表示される。 In addition, looking at the restaurant sign, thoughts of food is displayed. 【0044】なお、本出願人に既に譲渡されている特願2001−325356号明細書には光学的な形式で識別情報やその他のデータを担持又は伝送する光学信号と、これを捕捉する高速な2次元イメージ・センサを利用することで、空間解像度を持つとともに、遠距離でも利用可能なデータ伝送を実現するデータ通信システムについて開示している。 [0044] Incidentally, in 2001-325356 Patent Application No. which has already been assigned to the present assignee and optical signal carrying or transmitting identification information and other data in optical form, fast to capture this by using a two-dimensional image sensor, together with a spatial resolution, it discloses a data communication system for realizing the available data transmission in a long distance. 同明細書に記載のデータ通信システムでは、LEDのような点滅する光源を光学信号とし、ビジュアル・コードのように色の空間パターンに符号化するのではなく、距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化してデータを送信する。 The data communication system according to the specification, the flashing light source such as an LED and an optical signal, rather than encoding the color spatial patterns as visual codes, flashing does not change the data in accordance with the distance transmitting the data, encoded in the optical signal time series such as a pattern. イメージ・センサは、例えばCMOSセンサやCCDセンサなどのように無数の受光素子すなわち画素が2次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。 Image sensors, for example, a myriad of light receiving elements or pixels, such as a CMOS sensor or a CCD sensor is disposed configurations on a two-dimensional array, for decoding an optical signal as well as all the pixels that spatial information. したがって、イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。 Accordingly, the image sensor is configured to shoot a scene as an ordinary camera can receive the arranged optical signals in view of the image sensor from a long distance. 【0045】 A. [0045] A. 複合現実感システムの構成 図1には、本発明の一実施形態に係る複合現実感システムの構成を模式的に示している。 Configuration Figure 1 mixed reality system is the configuration of a mixed reality system according to an embodiment of the present invention is schematically shown. 同図に示すように、このシステムは、カメラ101と、複合現実感装置102 As shown in the figure, this system includes a camera 101, mixed reality apparatus 102
と、画像表示装置103と、物体教示指標104とで構成される。 When an image display device 103, and a object teaching indicator 104. 【0046】物体教示指標104には、物体の3次元位置・姿勢計測を可能にするため、それぞれ識別可能な複数個のマーカが取り付けられている(後述)。 [0046] The object teachings indicator 104, to allow for three-dimensional position and orientation measurement of an object, and each identifiable plurality of markers attached (described below). 各マーカは、それぞれ固有の色、形状、パターン、又は光の点滅パターンなどからなる視覚的な識別情報を持ち、マーカ毎に識別可能であるとする。 Each marker each unique color, shape, have a visual identification information and the like blinking pattern of the pattern, or light, and can be identified for each marker. また、各マーカが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、複合現実感システムにおいて既知であるとする。 Further, the spatial position relationship between these visual identification information and each of the markers with each marker, and is known in mixed reality systems. 【0047】カメラ101は、例えばレンズ歪などのない理想的なピンホール・レンズを使用して、CCDやC The camera 101 uses the ideal pinhole lens without such as lens distortion, CCD or C
MOSなどの2次元イメージ・センサにより物体教示指標104を含む風景やその他のシーンを撮像することができる。 It is possible to image the scene and other scenes containing objects teachings index 104 by the two-dimensional image sensor such as MOS. カメラ101により撮像された画像フレームは空間的分解能を持つ受信データとして複合現実感装置1 Image frame captured by the camera 101 mixed reality apparatus as reception data having a spatial resolution 1
02に入力される。 Is input to the 02. 【0048】複合現実感装置102は、例えばパーソナル・コンピュータ(PC)などの計算機システムで構成され、USB(Universal Serial Bus)あるいはその他の外部インターフェースを介してカメラ101を接続して、撮影画像をコンピュータ・ファイルの形式で取り込むことができる。 The mixed reality apparatus 102, for example, a computer system such as a personal computer (PC), to connect the camera 101 via a USB (Universal Serial Bus) or other external interfaces, the captured image computer files can be incorporated in the form. 該装置102上では、画像フレーム中からマーカ検出に基づく3次元位置・姿勢計測処理を行なうアプリケーションが起動しており、物体教示指標1 On the device 102, an application to perform the three-dimensional position and orientation measurement process based on the marker detected from the image frame is started and the object teachings index 1
03を含むシーン画像からマーカを3次元位置及び入力画像上の位置を基にその3次元位置及び姿勢などの実世界状況を測定する。 03 to measure the real-world situations, such as the three-dimensional position and orientation based on the position on the three-dimensional position and the input image a marker from a scene image including a. そして、複合現実感装置102は、 Then, the mixed reality apparatus 102,
実世界状況に応じた拡張現実感サービス(後述)を提供する。 To provide the augmented reality service (described below) in accordance with the real-world situation. 【0049】図1に示す例では、物体教示指標104 [0049] In the example shown in FIG. 1, the object teachings indicator 104
は、リビング内でスピーカに挟まれたテレビ台の上に配置されて、仮想的にテレビ受像機(以下、「テレビ」とする)の存在を代行する。 It is disposed on the TV stand sandwiched speaker in the living room, virtually television receiver (hereinafter referred to as "television") acting on behalf of the presence of. このとき、カメラ101を用いて物体教示指標104を含んだ領域(シーン)が撮影される。 At this time, by using the camera 101 region including the object teachings indicator 104 (scene) is taken. 【0050】カメラ101で取得された画像データは、 The image data obtained by the camera 101,
空間分解能を持ち、複合現実感装置102へ入力されて、物体教示指標104の識別情報とその空間的位置や姿勢が抽出される。 Has a spatial resolution, is inputted to the mixed reality apparatus 102, identification information of the object teachings indicator 104 and its spatial position and orientation are extracted. そして、抽出された物体教示指標1 Then, the extracted object teachings index 1
04の識別情報に対応した仮想物体105(ここではテレビの3次元モデル)を入力された画像データに合成して、画像表示装置103に出力する。 04 virtual object 105 corresponding to the identification information (here the three-dimensional model of the television) by combining the image data input, and outputs to the image display device 103. このとき、テレビの3次元モデルは、物体教示指標104から得られた空間的位置や姿勢などの実世界状況に基づいて現実空間の座標系にマッピングされる。 At this time, the three-dimensional model of the TV is mapped to the coordinate system of the real space based on real-world conditions such as the spatial position and orientation obtained from the object teachings indicator 104. 【0051】このようにして、カメラ101からの入力画像を表示出力する画像表示装置103の表示スクリーン上には、実際に存在しない仮想物体105(テレビ) [0051] In this manner, the image display device 103 on the display screen for displaying outputs the input image from the camera 101, actually nonexistent virtual object 105 (TV)
が現実空間を撮影した画像上に現れる(重畳表示される)。 There appears on the image obtained by photographing a real space (displayed superimposed). したがって、ユーザは、現実空間内に家具や電化製品などの実物体を配置することなく、その大きさや色などといった外観が周囲環境に調和しているかを表示することが可能である。 Therefore, the user without placing a real object such as furniture and electric appliances in the real space, the appearance such as the size and color can be displayed whether the harmony with the surrounding environment. 【0052】図2には、本実施形態に係る複合現実感装置102のハードウェア構成を模式的に示している。 [0052] Figure 2 is a hardware configuration of a mixed reality apparatus 102 according to this embodiment is schematically shown. 【0053】メイン・コントローラであるCPU(Cent [0053] The main controller is a CPU (Cent
ral Processing Unit)1は、オペレーティング・システム(OS)の制御下で、各種のアプリケーションを実行する。 ral Processing Unit) 1 is under the control of operating system (OS), various application of. 【0054】本実施形態では、CPU1は、例えば、カメラ101の撮影画像のような空間的解像度を持つデータを基に物体教示指標104の空間的な位置や姿勢を計測するための3次元位置・姿勢計測アプリケーションや、物体教示指標104の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況を利用した拡張現実感(AR)サービスを提供するARサービス・アプリケーションなどを実行することができる。 [0054] In this embodiment, CPU 1 is, for example, three-dimensional position for measuring the spatial position and orientation of an object teachings indicator 104 based on data having a spatial resolution such as the image captured by the camera 101- and orientation measurement application, executes like AR service application for providing an augmented reality (AR) service using the real-world situation for real-world objects, including such spatial position and orientation of an object teachings indicator 104 be able to. 【0055】図示の通り、CPU1は、バス8によって他の機器類(後述)と相互接続されている。 [0055] The illustrated street, CPU 1 is interconnected with other equipment (described later) via a bus 8. 【0056】主メモリ2は、CPU1において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時保管するために使用される記憶装置であり、例えばDRAM(Dynamic RAM)のような半導体メモリが使用される。 [0056] The main memory 2, to load a program code executed in the CPU 1, a storage device used to temporarily store work data of the execution program, for example, a semiconductor such as DRAM (Dynamic RAM) memory is used. 例えば、カメラ101の撮影画像のような空間的解像度を持つデータを基に物体教示指標104の空間的な位置や姿勢を計測するための3次元位置・姿勢計測アプリケーションや、物体教示指標10 For example, three-dimensional position and orientation measurement applications for measuring the spatial position and orientation of an object teaching indicator 104 data based on having a spatial resolution such as the image captured by the camera 101, the object teachings index 10
4の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感(A Augmented Reality in accordance with the real-world situation of the real-world objects, including such as the spatial position and posture of the 4 (A
R)サービスを提供するARサービス・アプリケーションなどが主メモリ2にロードされる。 Such as the AR service applications that provide R) service is loaded into the main memory 2. また、カメラ10 In addition, the camera 10
1による撮影画像に基づく物体教示指標104の空間的位置や姿勢に関する計算結果や、この計算結果から得られた実世界状況に応じて生成される各種のARサービス・コンテンツ(例えば、家具や電化製品、インテリアなど仮想物体の3次元モデル)などが作業データとして主メモリ2に一時的に格納される。 1 calculation regarding the spatial position and orientation of the object teachings indicator 104 based on the captured image and by various AR services and content that is generated in response to real world situations resulting from this calculation result (for example, furniture and appliances , and interior three-dimensional model of the virtual object, etc.) is temporarily stored in the main memory 2 as work data. 【0057】また、ROM(Read Only Memory)3は、 [0057] In addition, ROM (Read Only Memory) 3 is,
データを恒久的に格納する半導体メモリであり、例えば、起動時の自己診断テスト(POST:Power On Sel Is a semiconductor memory that stores data permanently, for example, start-up of the self-test (POST: Power On Sel
f Test)や、ハードウェア入出力用のプログラム・コード(BIOS:Basic Input/Output System)などが書き込まれている。 f Test) and, program code for the hardware input and output (BIOS: Basic Input / Output System) and the like have been written. 【0058】ディスプレイ・コントローラ4は、CPU [0058] The display controller 4, CPU
1が発行する描画命令を実際に処理するための専用コントローラである。 1 is a dedicated controller for actually processing a drawing command issued. ディスプレイ・コントローラ4において処理された描画データは、例えばフレーム・バッファ(図示しない)に一旦書き込まれた後、CRT(Cathod Rendering data processed in the display controller 4, for example, after being once written in a frame buffer (not shown), CRT (Cathode
e Ray Tube:陰極線管)ディスプレイやLCD(Liquid e Ray Tube: cathode ray tube) display or LCD (Liquid
Crystal Display:液晶表示ディスプレイ)などからなる画像表示装置103によって画面出力される。 Crystal Display: is screen output by a liquid crystal display) an image display apparatus 103 and the like. 【0059】画像表示装置103の表示画面は、一般に、ユーザからの入力内容やその処理結果、あるいはエラーその他のシステム・メッセージをユーザに視覚的にフィードバックする役割を持つ。 [0059] The display screen of the image display device 103 generally has the role of visual feedback input content and the processing result or an error other system message to the user from the user. また、本実施形態においては、画像表示装置103の表示画面には、物体教示指標104に対応した仮想物体105をカメラ101による撮影画像に合成した拡張現実感シーンのようなAR In the present embodiment, the display screen of the image display device 103, such as the augmented reality scene by combining the virtual object 105 corresponding to the object teaching indicator 104 in the captured image by the camera 101 AR
サービス・コンテンツなどを表示出力するために利用される。 It is used, such as to display the output service content. ここで言うARサービス・コンテンツには、例えば、家具や電化製品、インテリアなど仮想物体の3次元モデルがカメラ101による撮影画像に組み込まれた複合現実感画像を挙げることができる。 The AR service content referred to here, for example, mention may be made of the furniture and appliances, mixed reality image a three-dimensional model of the virtual object is incorporated in the image photographed by the camera 101 and interior. 複合現実感画像の生成方法の詳細については後述に譲る。 For more information on how to generate a mixed reality image will be described later. 【0060】入力機器インターフェース5は、キーボード12やマウス13などのユーザ入力機器を複合現実感装置102に接続するための装置である。 [0060] Input device interface 5 is a device for connecting a user input device such as a keyboard 12 and a mouse 13 to mixed reality apparatus 102. 【0061】キーボード12やマウス13は、データやコマンドなどのユーザ入力をシステムに取り込む役割を持つ。 [0061] keyboard 12 and the mouse 13 is responsible for capturing user input, such as data and commands to the system. 本実施形態では、キーボード12やマウス13 In the present embodiment, a keyboard 12 and a mouse 13
は、3次元位置・姿勢計測アプリケーションの起動、A , The activation of the three-dimensional position and orientation measurement applications, A
Rサービス・アプリケーションの起動、ARサービスの指定などをユーザが指示するために使用される。 Starting R service applications used etc. specified AR services for the user to instruct. 【0062】ネットワーク・インターフェース6は、E [0062] The network interface 6, E
thernet(登録商標)などの所定の通信プロトコルに従って、システム102をLAN(Local Area Net In accordance with a predetermined communication protocol such as Thernet (registered trademark), a system 102 LAN (Local Area Net
work)などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。 work) local network, such as news can be connected to a wide area network such as the Internet. 【0063】ネットワーク上では、複数のホスト端末(図示しない)がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。 [0063] On the network, a plurality of host terminals (not shown) are connected in a transparent state, a distributed computing environment is built. ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行なうことができる。 On the network, it is possible to perform the delivery services such as software programs and data content. 例えば、カメラ101の撮影画像のような空間的解像度を持つデータを基に物体教示指標104の空間的な位置や姿勢を計測するための3次元位置・姿勢計測アプリケーションや、撮影画像から検出された複数点のマーカを基に3次元位置・推定を行なう複数のアルゴリズム(例えばライブラリ化されている)、物体教示指標10 For example, three-dimensional position and orientation measurement applications for measuring the spatial position and orientation of an object teaching indicator 104 data based on having a spatial resolution such as the image captured by the camera 101, which is detected from the captured image a plurality of algorithm for marker group in 3-dimensional position-estimating a plurality of points (for example, is a library), the object teachings index 10
4の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感(A Augmented Reality in accordance with the real-world situation of the real-world objects, including such as the spatial position and posture of the 4 (A
R)サービスを提供するARサービス・アプリケーションなどを、ネットワーク経由でダウンロードすることができる。 And AR service application that provides a R) service, can be downloaded via the network. また、ARサービス・アプリケーションにおいて利用されるARサービス・コンテンツ(例えば、家具や電化製品、インテリアなど仮想物体の3次元モデル) In addition, AR services and content to be used in the AR service applications (for example, furniture and appliances, 3-dimensional model of a virtual object and interior)
などを、ネットワーク経由で他のホスト装置との間で配信・配布することができる。 Etc., it can be delivered and distributed to and from another host device via a network. また、複合現実感画像を提供するARサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格(若しくは拡張現実感サービスの利用料金)や製品仕様、在庫数など、実物体に関する付加情報をネットワーク経由でダウンロードしてもよい。 In addition, as an AR service that provides a mixed reality image, furniture and appliances, when dealing with products such as interior, its price (or usage fee of augmented reality services) and product specifications, such as inventory number, the actual object additional information relating to may be downloaded via the network. 【0064】外部機器インターフェース7は、ハード・ [0064] The external device interface 7, hard
ディスク・ドライブ(HDD)14やメディア・ドライブ15などの外部装置を複合現実感装置102に接続するための装置である。 A device for connecting an external device such as a disk drive (HDD) 14 and media drive 15 in mixed reality apparatus 102. 【0065】HDD14は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり(周知)、 [0065] HDD14 is equipped with an external storage device fixedly magnetic disk as a storage carrier (known)
記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。 It is superior to other external storage device in terms of storage capacity and data transfer rate. ソフトウェア・プログラムを実行可能な状態でHDD14上に置くことを、プログラムのシステムへの「インストール」と呼ぶ。 To put on HDD14 the software program in an executable state, referred to as the "installation" of the program into the system. 通常、HDD14 Normally, HDD14
には、CPU1が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。 The, or program code of the operating system to be executed CPU1 is, application programs, device drivers are stored in a nonvolatile manner. 例えば、カメラ101の撮影画像のような空間的解像度を持つデータを基に物体教示指標104の空間的な位置や姿勢を計測するための3次元位置・姿勢計測アプリケーションや、物体教示指標104の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感(AR)サービスを提供するARサービス・アプリケーションなどを、HDD14 For example, three-dimensional position and orientation measurement applications for measuring the spatial position and orientation of an object teaching indicator 104 data based on having a spatial resolution such as the image captured by the camera 101, the space of the object teachings indicator 104 real-world situation Augmented reality in accordance with and AR service application that provides a (AR) services for real-world objects, including such as the position and attitude, HDD14
上にインストールすることができる。 It can be installed on top. また、撮影画像から検出された複数点のマーカを基に3次元位置・姿勢推定を行なう複数のアルゴリズム(例えばライブラリ化されている)や、ARサービス・アプリケーションにおいて利用されるARサービス・コンテンツ(例えば、家具や電化製品、インテリアなど仮想物体の3次元モデル) Further, a plurality of algorithms (which is for example a library) which performs three-dimensional position and orientation estimation based on the marker at a plurality of points detected from the captured image and, AR service content to be utilized in the AR service applications (e.g. , furniture and appliances, 3-dimensional model of a virtual object and interior)
などをHDD14上に蓄積しておいてもよい。 Or the like may be allowed to accumulate on HDD14. また、複合現実感画像を提供するARサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格(若しくは拡張現実感サービスの利用料金)や製品仕様、在庫数など、実物体に関する付加情報を蓄積していてもよい。 In addition, as an AR service that provides a mixed reality image, furniture and appliances, when dealing with products such as interior, its price (or usage fee of augmented reality services) and product specifications, such as inventory number, the actual object additional information relating may be accumulated. 【0066】メディア・ドライブ15は、CD(Compact [0066] The media drive 15, CD (Compact
Disc)やMO(Magneto-Optical disc)、DVD(Dig Disc), MO (Magneto-Optical disc), DVD (Dig
ital Versatile Disc)などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。 ital Versatile Disc) and loaded portable medium such as a device for accessing the data recording surface. 【0067】可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動(すなわち販売・流通・配布を含む) [0067] portable media, (including that is, the sale, distribution, and distribution) mainly, and to back up the software programs and data files as the data of a computer-readable format, move them between systems
する目的で使用される。 It is used for the purpose of. 例えば、カメラ101の撮影画像のような空間的解像度を持つデータを基に物体教示指標104の空間的な位置や姿勢を計測するための3次元位置・姿勢計測アプリケーションや、物体教示指標10 For example, three-dimensional position and orientation measurement applications for measuring the spatial position and orientation of an object teaching indicator 104 data based on having a spatial resolution such as the image captured by the camera 101, the object teachings index 10
4の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感(A Augmented Reality in accordance with the real-world situation of the real-world objects, including such as the spatial position and posture of the 4 (A
R)サービスを提供するARサービス・アプリケーションなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。 And AR service applications that provide R) service, it is possible to utilize these portable media physically distributed or distributed across multiple devices. また、撮影画像から検出された複数点のマーカを基に3次元位置・ Furthermore, 3-D position based on the marker at a plurality of points detected from the captured image
姿勢推定を行なう複数のアルゴリズム(例えばライブラリ化されている)や、ARサービス・アプリケーションにおいて利用されるARサービス・コンテンツ(例えば、家具や電化製品、インテリアなど仮想物体の3次元モデル)などを他の装置との間で交換するために、可搬型メディアを利用することができる。 Multiple algorithms (for example, is a library) or performing pose estimation, AR service content to be utilized in the AR service applications (e.g., furniture and appliances, 3-dimensional model of the virtual object and interior) including the other to exchange with the device, it may be utilized portable media. また、複合現実感画像を提供するARサービスとして、家具や電化製品、 In addition, as an AR service that provides a mixed reality image, furniture and appliances,
インテリアなどの商品を取り扱う場合には、その価格(若しくは拡張現実感サービスの利用料金)や製品仕様、在庫数など、実物体に関する付加情報を可搬型メディア経由で流通させてもよい。 When dealing with products such as interior, its price (or usage fee of augmented reality services) and product specifications, such as inventory number, may be allowed to flow through the additional information related to the actual object via portable media. 【0068】カメラ・インターフェース9は、カメラ1 [0068] The camera interface 9, the camera 1
01を接続するための装置であり、例えばUSBインターフェースで構成される。 01 is a device for connecting, for example, a USB interface. あるいはビデオ・キャプチャ・カードのようにカメラ101から動画像を取得するインターフェースで構成されていてもよい。 Or from the camera 101 may be configured with an interface for obtaining a moving image as the video capture card. カメラ101 Camera 101
は、画素が2次元アレイ上に配置された構成で、物体教示指標104から光学信号並びにその空間的情報を全画素でデコードする。 Are pixels in the arrangement configurations on a two-dimensional array, it decodes the optical signal and spatial information from its object teachings indicator 104 in all the pixels. 【0069】なお、図2に示すような複合現実感装置1 [0069] Incidentally, the mixed reality apparatus 1 shown in FIG. 2
02の一例は、米IBM社のパーソナル・コンピュータ" An example of 02, IBM's personal computer "
PC/AT(Personal Computer/Advanced Technolog PC / AT (Personal Computer / Advanced Technolog
y)"の互換機又は後継機である。勿論、他のアーキテクチャで構成されるコンピュータを、本実施形態に係る複合現実感装置102として適用することも可能である。 【0070】図3には、複合現実感装置102上で実行される複合現実感表示の処理手順をフローチャートの形式で示している。この処理手順は、実際には、CPU1 Is compatible or successor to the y) ". Of course, the computer configured in other architectures, can be applied as a mixed reality apparatus 102 according to this embodiment. [0070] FIG. 3 is shows a mixed reality display process executed on the mixed reality apparatus 102 in the form of a flowchart. this procedure is actually, CPU 1
が所定の複合現実感処理アプリケーションを起動して、 But to start a predetermined mixed reality processing applications,
カメラ101からの入力画像を処理して、画面表示装置103に処理結果を表示出力するという形態で実現される。 Processing the input image from the camera 101 is implemented in the form of displaying and outputting the processing result to the screen display device 103. 以下、このフローチャートを参照しながら、複合現実感表示処理について詳解する。 Hereinafter, with reference to this flowchart is described in detail mixed reality display process. 【0071】カメラ101から画像データが入力されると(ステップS1)、別途定義されている「物体教示指標の抽出、その識別情報、3次元位置・姿勢情報の取得」処理ルーチン(後述)により、撮影された画像データ中の物体教示指標104が抽出され、さらにその識別情報並びに3次元位置・姿勢情報が取得される(ステップS2)。 [0071] When image data from the camera 101 is input (step S1), the by defined separately "Extracting object teachings indicators, the identification information, acquiring the three-dimensional position and orientation information" procedure (described below), object teachings indicator 104 in the captured image data is extracted and further acquires the identification information and 3-dimensional position and orientation information (step S2). 【0072】実世界状況に応じた拡張現実感サービス(ステップS7,S8)において、画像データ中の物体教示指標104の位置にその識別情報に対応した2次元画像を単に重ねて表示する場合には、ステップS2における処理ルーチンでは、物体教示指標104の3次元位置・姿勢情報の取得は省略してもよい。 [0072] In augmented reality services according to the real world situation (step S7, S8), when simply Cascade a two-dimensional image corresponding to the identification information on the position of the object teachings indicator 104 in the image data in the processing routine of step S2, the acquisition of three-dimensional position and orientation information of the object teachings indicator 104 may be omitted. 物体教示指標1 Object teachings index 1
04の識別情報並びに3次元位置・姿勢情報の取得方法は物体教示指標104の態様に依存する処理であるので、後述で物体教示指標104の実施形態とともに詳細に説明する。 Since the method for obtaining identification information and 3-dimensional position and orientation information 04 is a process that depends on the aspect of an object teachings indicator 104 will be described in detail with embodiments of the object teachings indicator 104 will be described later. 【0073】次いで、カメラ101から入力された画像から物体教示指標104が抽出されたがどうかを判定する(ステップS3)。 [0073] Then, it is determined whether it object teachings indicator 104 is extracted from the input image from the camera 101 (step S3). 抽出された場合には、後続のステップS4へ進み、抽出された物体教示指標104の識別情報に対応した実物体についての3次元モデルの取得を試みる。 When it is extracted, the process proceeds to the subsequent step S4, attempts to acquire the three-dimensional model for real object corresponding to the identification information of the extracted object teachings indicator 104. 【0074】ここで、3次元モデルは、実物体の販売者あるいは3次元モデル作成サービスを行なう第3者などが実物体を模倣し作成したものであり、例えばハード・ [0074] In this case, the three-dimensional model are those, such as a third party to perform the seller or three-dimensional model creation service of the real object was created to mimic the real object, for example, hard
ディスク装置14上にあらかじめ格納されていたり、あるいはネットワークを介して所定の情報提供サーバ(例えば、3次元モデル・データベース)から逐次的にダウンロードするようにしてもよい。 Or is pre-stored on the disk device 14, or the predetermined information providing server (e.g., 3-dimensional model database) via a network may be downloaded sequentially from. また、実物体が家具や電化製品、インテリアなどの商品である場合にはその価格(若しくは拡張現実感サービスの利用料金)や製品仕様、在庫数など、実物体に関する付加情報やその他のリアルタイム・コンテンツなどを同時にダウンロードしてもよい。 In addition, furniture and electrical appliances is a real object, and product specifications the price (fee for or augmented reality service) in the case of products such as interior, such as inventory number, additional related to the actual object information and other real-time content it may be downloaded at the same time, and the like. 【0075】次いで、3次元モデルが成功裏に取得されたがどうかを判定する(ステップS5)。 [0075] Then, it is determined whether it 3D model is acquired successfully (step S5). 【0076】3次元モデルを無事に取得することができた場合には、さらに次ステップS6に進み、取得した3 [0076] where it was able to successfully acquire a three-dimensional model, the process proceeds further to the next step S6, 3 acquired
次元モデルを、先行ステップS2で取得した物体教示指標104の3次元位置・姿勢情報に合わせて回転・移動させる。 The dimensional model, combined with rotation and movement on the acquired three-dimensional position and orientation information of the object teachings indicator 104 in the preceding step S2. そして、ステップS1においてカメラ101から入力された現実空間のシーンである画像データと3次元モデルとを合成して、複合現実空間画像を作成する(ステップS7)。 Then, by synthesizing the image data and the three-dimensional model, which is a scene of the real space received from the camera 101 in step S1, to create a mixed reality space image (step S7). このとき、ARサービスに関連する料金や商品の仕様、在庫数など、実物体に関する付加情報と画像データとをさらに合成してもよい。 At this time, the price and product specifications related to the AR services, such as inventory number, may be further combining the additional information and the image data related to the actual object. 【0077】次いで、前ステップS7によって合成された複合現実空間画像を画像表示装置103で表示出力する(ステップS8)。 [0077] Then, outputs and displays mixed reality space image synthesized by the previous step S7 in the image display apparatus 103 (step S8). 実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、 Based on the mixed reality image of the virtual object it has been synthesized to the scene of the real space, whether the furniture and appliances in the home, such as the interior matches the size of the room,
部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。 And of whether you are in harmony with the color, such as rooms and other furniture, it is possible to determine before the actual purchase. 【0078】また、ステップS3において入力画像から物体教示指標104が抽出されないと判定された場合や、ステップS5において3次元モデルを取得することができなかった場合には、ステップS1で取得された画像データをそのまま画像表示装置103で表示出力するようにしてもよい。 [0078] Also, when the object teachings indicator 104 from the input image is judged not to be extracted and in step S3, if it has not been possible to obtain the three-dimensional model in step S5, the image acquired in step S1 data may be displayed and output by the image display device 103 as it is. 【0079】次いで、この複合現実感表示処理を続行させるかどうか判定する(ステップS9)。 [0079] Then, it is determined whether to continue the mixed reality display process (step S9). そして、本処理ルーチンを続行するならば、ステップS1へ戻って上述と同様の動作を繰り返し実行する。 And if to continue the processing routine repeats the operation similar to the above returns to step S1. 他方、非続行ならば、ここで本処理ルーチン全体を終了させる。 On the other hand, if the non-continuing, wherein to terminate the entire processing routine. 【0080】本処理ルーチンの終了条件は、例えばキーボード12やマウス13を介したユーザ入力であってもよいし、アプリケーション内であらかじめ定められたルール(例えばゲームにおけるゲーム・オーバー)であってもよい。 [0080] end condition of this processing routine, for example, may be a user input via the keyboard 12 and the mouse 13, or may be a predetermined rule (for example, a game-over in the game) in the application . また、メモリフルなどのハードウェア又はソフトウェア上の制約を終了条件にしてもよい。 In addition, it may be a constraint on the hardware or software, such as memory full in the end conditions. 【0081】 B. [0081] B. 物体教示指標の構成例 (1)構成例1:図4には、物体教示指標104の1つの構成例を示している。 Configuration Example (1) Configuration example of object teachings Indicator 1: Figure 4 shows one configuration example of the object teachings indicator 104. 同図に示すように、物体教示指標104は板状の三角形をしており、その各頂点には光学的に識別可能なマーカ105a〜105cが配置されている。 As shown in the figure, the object teachings indicator 104 is of a plate-like triangular, optically distinguishable marker 105a~105c is disposed in each of its vertices. 各マーカ105a〜105cが持つ識別情報の組み合わせにより対応する実物体を特定することができる。 It is possible to identify the corresponding real object by a combination of the identification information with each marker 105 a to 105 c. また、物体教示指標104には、対応する実物体に関連した情報(例えば、製品型番の文字情報など)が明記(印字)されている。 Further, the object teachings indicators 104, information associated with a corresponding real object (e.g., character information of a product model number) has been specified (print). 【0082】各マーカ105a〜105cは、それぞれ固有の色、形状、パターンなどからなる光学的に一意な識別情報を持ち、マーカ毎に識別可能である。 [0082] Each marker 105a~105c each unique color, shape, have optically unique identifier consisting of a pattern can be identified for each marker. また、各マーカ105a〜105cが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、本システムにおいて既知であるとする。 Further, the spatial position relationship between these visual identification information and each of the markers with each marker 105a~105c is assumed to be known in the system. したがって、物体教示指標10 Accordingly, the object teachings index 10
4は、ある実物体に取り付けられることにより、各マーカ105a〜105cが持つ識別情報の組み合わせによりこのオブジェクトを特定するための情報を与えるとともに、空間的な位置や姿勢などの実世界状況に関する情報を与えることができる。 4, by being attached to a real object, along with providing the information for identifying the object by a combination of the identification information held by each marker 105 a to 105 c, information about the real world conditions such as the spatial position and orientation it can give. 【0083】一方、複合現実感表示装置102に接続されているカメラ101は、例えばCMOSセンサやCC [0083] On the other hand, the camera 101 connected to the mixed reality display device 102, for example, a CMOS sensor or a CC
Dセンサなどのように、無数の受光素子すなわち画素が2次元アレイ上に配置されたイメージ・センサ(図示しない)を備えており、物体教示指標104上の各マーカ105a〜105cに対して空間的な分解能を持つ。 Such as in the D sensor is provided with a myriad of image sensor light receiving element or which pixels are arranged in a two dimensional array (not shown), spatially for each marker 105a~105c on the object teaching indicator 104 with a such resolution. 【0084】ここで、物体教示指標104上に配置されているすべてのマーカ105a〜105cの3次元的な位置関係は既知である。 [0084] Here, three-dimensional position relation between all markers 105a~105c disposed on the object teaching indicator 104 is known. 物体教示指標104を例えばX The object teachings indicator 104 such as X
軸回りにα、Y軸回りにβ、Z軸回りにγだけそれぞれ回転したものとすると、計測対象物体101の回転行列Rは以下のように表される。 About the axis alpha, the Y axis beta, assuming that each rotated by γ around the Z-axis, the rotation matrix R of the measurement object 101 is expressed as follows. 【0085】 【数1】 [0085] [number 1] 【0086】また、物体教示指標104がカメラ座標系の位置(X t ,Y t ,Z t )に移動したものとすると、平行移動行列Tは以下のように表される。 [0086] Further, the object teaching indicator 104 is positioned in the camera coordinate system (X t, Y t, Z t) assuming that has moved to, translation matrix T is expressed as follows. 【0087】 【数2】 [0087] [number 2] 【0088】ここで、物体教示指標104の点(X m [0088] Here, the point of the object teachings indicator 104 (X m,
m ,Z m )に位置するマーカ105が回転及び平行移動した後、点(X c ,Y c ,Z c )に変換されたものとすると、これらの関係は以下のように表される。 Y m, after the marker 105 is located in Z m) moves rotation and translation, the point (X c, Y c, assuming that was converted into Z c), these relations can be expressed as follows. 【0089】 【数3】 [0089] [number 3] 【0090】上式は物体教示指標104を撮像した画像上から空間的な位置関係が既知である3点のマーカを検出することができれば、連立方程式の解としてR及びT、すなわち物体教示指標104の3次元位置及び姿勢を求められることを示している。 [0090] In the above equation it is possible to detect the marker of three spatial positional relationship is known from the image of the captured object teachings indicator 104, R and T as a solution of simultaneous equations, namely the object teachings indicator 104 shows that determined the three-dimensional position and orientation of the. 例えば、Robert M. Ha For example, Robert M. Ha
ralick、Chung-nan Lee、Karsten Ottenberg、及びMich ralick, Chung-nan Lee, Karsten Ottenberg, and Mich
ael Nolle共著の論文"Analysis and Solutions of The ael Nolle co-author of the paper "Analysis and Solutions of The
Three Point Perspective Pose Estimation Problem" Three Point Perspective Pose Estimation Problem "
(In Proceedings of the Conference on ComputerVisi (In Proceedings of the Conference on ComputerVisi
on and Pattern Recognition, Maui, Hawaii, USA, pp. on and Pattern Recognition, Maui, Hawaii, USA, pp.
592-598, 1991)には対象物体上に配設された既知の3 592-598, 3 known disposed on the object to 1991)
点の位置から該物体の3次元位置及び姿勢を計測する方法について記述されている。 It has been described for the method of measuring the three-dimensional position and orientation of the object from the position of the point. 【0091】なお、点(X c ,Y c ,Z c )に移動したマーカ105の2次元撮像画像上の座標値(X,Y)は以下の通りとなる。 [0091] Incidentally, the point (X c, Y c, Z c) coordinate value on the two-dimensional captured image of the markers 105 that has moved to the (X, Y) are as follows. 【0092】 【数4】 [0092] [number 4] 【0093】したがって、撮像画像上から空間的な位置関係が既知である3点のマーカを検出することができれば、連立方程式の解としてR及びT、すなわち物体教示指標104の3次元位置及び姿勢を数学的な算出により求めることができる。 [0093] Thus, if it is possible to detect the marker of three known spatial positional relationship of the captured image, R and T as a solution of simultaneous equations, namely the three-dimensional position and orientation of the object teachings indicator 104 it can be determined by mathematical calculation. 【0094】また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』(日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999) [0094] In addition, Hirokazu Kato, Mark Billinghurst, Koichi Asano, TachibanaAkira Hachiro co-author of the paper "Augmented Reality System and its Calibration based on Marker Tracking" (Transactions of the Virtual Reality Society of Japan, Vol.4, No.4 , 1999)
には、平行四辺形の各頂点に配置された4つのマーカを基に平行四辺形の3次元位置及び姿勢を計測する方法について記載されている。 The, it describes a method of measuring the three-dimensional position and orientation of the parallelogram on the basis of the four markers located at each vertex of a parallelogram. したがって、物体教示指標10 Accordingly, the object teachings index 10
4に4つのマーカ105a〜105dを平行四辺形状に配置することによって、加藤外著の論文で記述された方法に従って、物体教示指標104の位置・姿勢を数学的に算出することもできる。 4 by placing the four markers 105a~105d the parallelogram, according to the method described in the paper of Kato outer al, can be mathematically calculate the position and orientation of the object teachings indicator 104. 3点より4点の情報を用いた方が、より精度の高い計測が期待できるということを充分理解されたい。 Preferable to use the information of four points from the three points, it wants more accurate measurement is well understood that it can be expected. 【0095】図5には、図4に示した物体教示指標10 [0095] Figure 5 is an object teachings indicator 10 shown in FIG. 4
4を用いた場合の物体教示指標104の抽出、並びにその識別情報及び3次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。 4 Extraction of object teachings indicator 104 in the case of using, and shows a processing procedure for obtaining the identification information and the three-dimensional position and orientation information in the form of a flowchart. この処理手順は、図3に示した処理ルーチンのステップS2に相当し、実際には、CPU1が所定の物体教示指標の抽出、並びにその識別情報及び3次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ101からの入力画像を処理するという形態で実現される。 This procedure corresponds to step S2 of the processing routine shown in FIG. 3, in fact, start CPU1 extraction of predetermined object teachings indicators, as well as the acquisition processing application of the identification information and 3-dimensional position and orientation information and, it is realized in the form of handling the input image from the camera 101. 以下、 Less than,
このフローチャートを参照しながら、物体教示指標10 With reference to this flow chart, object teachings index 10
4の認識処理について詳解する。 It is described in detail recognition processing of 4. 【0096】カメラ101からの入力画像からマーカが抽出されると(ステップS11)、抽出されたマーカが3つかどうかを判定する(ステップS12)。 [0096] When the marker from the input image from the camera 101 is extracted (step S11), and extracted marker determines whether 3 Tsukado (step S12). これは、 this is,
Robert外著の論文(前述)に記述された数学的算出方法によれば3点の画像座標から3次元位置及び姿勢を推定できることに依拠する。 It relies on being able to estimate the three-dimensional position and orientation from the image coordinates of the three points According to the mathematical calculation method described in the paper (above) by Robert outer al. 物体教示指標104上に3点以上のマーカを設置した場合、3次元位置及び姿勢を推定するアルゴリズムによっては、必要なマーカの数は3つ以上に設定してもよい。 Case of installing the object teachings indicator 104 markers or more 3 points on, depending on the algorithm for estimating the three-dimensional position and orientation, the number of necessary markers may be set to three or more. 【0097】ステップS12において、抽出されたマーカの数は3つと判定された場合には、次いで、Robe [0097] In step S12, if the number of the extracted marker was determined three and then, Robe
rt外著の論文(前述)に記述されている数学的算出方法に従い3次元位置及び姿勢を推定する(ステップS1 rt outside al papers estimating a three-dimensional position and orientation in accordance with mathematical calculation method described in (above) (step S1
3)。 3). 【0098】また、ステップS12及びS13における3次元位置及び姿勢の代替的な処理として、物体教示指標104上に平行四辺形を形成するように4つのマーカを配設しておき、カメラ101からの入力画像から平行四辺形状に4つのマーカを抽出することができたときに、加藤外著の論文(前述)に記載されている方法に従い、数学的算出により物体教示指標104の3次元位置及び姿勢を推定する。 [0098] Further, as an alternative process of the three-dimensional position and orientation in the steps S12 and S13, advance arranged four markers so as to form a parallelogram on the object teachings indicators 104, from the camera 101 when the input image can be extracted four markers in a parallelogram shape, according to the method described in Kato outer al article (above), three-dimensional position and orientation of the object teachings indicator 104 by mathematical calculation to estimate. また、この場合で3つのマーカしか抽出できないときに、Robert外著の論文(前述)に記述されている数学的算出方法に従い3次元位置及び姿勢を推定するようにしてもよい。 Further, when the can only extract three markers in this case, the three-dimensional position and orientation may be estimated in accordance with mathematical calculation method described in Robert outside al article (above). 【0099】次いで、物体教示指標104の識別情報を認識する(ステップS14)。 [0099] Then, recognizing the identity of the object teachings indicator 104 (step S14). 物体教示指標104には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。 Since the object teachings indicator 104 are specified by the identification information is, for example, text information format, such as model number, recognizing the like which character recognition technology. あるいは、物体教示指標104には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。 Alternatively, the object teaching indicator 104 when the format identification information of the bar code or other visual code rather than characters is specified, it is possible to recognize the identification information by the pattern recognition. 【0100】一方、ステップS12において、抽出されたマーカの個数が3つに満たないと判定された場合には、物体教示指標104の識別は不可能という結果を返して、本処理ルーチンを終了する。 On the other hand, in step S12, when the number of the extracted marker is determined to less than three, and return the result of the identification of the object teachings indicator 104 impossible, and terminates the processing routine . 【0101】上述したように、カメラ101及び複合現実感表示装置102からなる本実施形態に係るシステムによれば、物体教示指標104からその識別情報及び3 [0102] As described above, according to the system of the present embodiment having the camera 101 and mixed reality display device 102, the identification information and 3 from the object teachings indicator 104
次元位置・姿勢情報を同時に取得することができる。 It is possible to obtain a dimension position and orientation information at the same time. 【0102】図4に示したように物体教示指標104に複数のマーカ105a〜105cを設置するのは、カメラ101による撮像画像に対する物体教示指標104の3次元位置及び姿勢を推定したいため(言い換えれば、 [0102] to install a plurality of markers 105a~105c the object teachings indicator 104 as shown in FIG. 4, since you want to estimate the three-dimensional position and orientation of the object teachings indicator 104 for an image captured by the camera 101 (in other words ,
物体認識においてカメラ101が持つ空間的分解能を活用したいため)である。 It is because you want to take advantage of the spatial resolution with the camera 101) in object recognition. したがって、物体教示指標10 Accordingly, the object teachings index 10
4の認識において3次元位置及び姿勢が必要でない場合、例えば、画像データ中の物体教示指標104の位置に識別情報に対応した2次元画像を単に重ねて表示する場合には、識別情報を得るための単一のマーカのみを物体教示指標104に配設しておけば充分である。 If the recognition of a 4 do not require three-dimensional position and orientation, for example, in the case of simply Cascade a two-dimensional image corresponding to the identification information on the position of the object teachings indicator 104 in the image data in order to obtain the identification information only a single marker to be sufficient if it is disposed on the object teaching indicator 104. 【0103】また、物体教示指標104にマーカ105 [0103] Further, the marker 105 on the object teaching indicator 104
が1つであっても、カメラ101を複数用いることによって、三角測量の原理(周知)より物体教示指標104 There be one, by using a plurality of cameras 101, the object teachings indicator 104 the principle of triangulation (known)
の3次元位置および姿勢を推定することが可能である。 It is possible to estimate the three-dimensional position and orientation of the. 【0104】(2)構成例2:図6には、物体教示指標104の他の構成例を示している。 [0104] (2) Configuration Example 2: Figure 6 shows another configuration example of the object teachings indicator 104. 同図において、物体教示指標104の各頂点に配設されているマーカは、 In the figure, the markers that are disposed at each vertex of the object teachings indicator 104,
色、形状、パターンなどの静的な光学識別情報の代わりに、パルス発信が可能なLEDなどの光源105a'〜 Color, shape, instead of a static optical identification information such as a pattern, a light source 105a'~ such as an LED capable of pulsing
105c'が設置されている。 105c 'has been installed. これらの光源はそれぞれ識別可能なようにIDを持っており、各IDに応じた点滅パターンに従って、光源を点滅させる。 These light sources have a ID so as to be respectively identified, according to the blinking pattern corresponding to each ID, blink the light source. また、各光源105a'〜105c'は、ID以外の送信データを点滅パターンに符号化して送信することもできる。 Moreover, each light source 105A'~105c 'may also be sent by encoding transmission data other than ID blink pattern. 【0105】また、物体教示指標104の略中央には、 [0105] Further, substantially at the center of the object teachings indicator 104,
対応する実物体に関連した情報(例えば、製品型番の文字情報など)が明記(印字)されている。 Information associated with the corresponding real object (for example, such as the character information of the product model number) has been specified (printing). 但し、各光源105a'〜105c'のIDと物体教示指標の識別情報をともに点滅パターンに符号化して同時に送信することも可能である。 However, it is also possible to transmit simultaneously encoded in both blinking pattern identification information ID and the object teachings indication of each light source 105a'~105c '. 例えば、8ビットのデータを送信する場合、上位6ビットを物体教示指標104が持つ識別情報に割り当て、下位2ビットを各光源105a'〜10 For example, when transmitting 8 bits of data, assign the upper 6 bits in the identification information held by the object teachings indicators 104, each light source the lower 2 bits 105a'~10
5c'のIDに割り当てることができる。 It can be assigned to the ID of 5c '. このような場合、物体教示指標104本体への情報の印字(並びに印字情報の画像認識)を省略することができる。 In such a case, it is possible to omit the printing of information on the object teaching indicator 104 body (as well as image recognition of printed information). 【0106】複合現実感表示装置102に接続されているカメラ101は、例えばCMOSセンサやCCDセンサなどのように、無数の受光素子すなわち画素が2次元アレイ上に配置されたイメージ・センサ(図示しない) [0106] The camera is connected to the mixed reality display device 102 101, for example, as in the CMOS sensor or a CCD sensor, a myriad of light receiving elements or pixels it does not image sensor (shown disposed on a two-dimensional array )
を備えており、物体教示指標104上の点滅光源からなる各マーカ105a'〜105c'に対して空間的な分解能を持つ。 Has a has a spatial resolution for each marker 105A'~105c 'consisting of flashing light source on the object teaching indicator 104. そして、カメラ101で捕捉される動画像を基に各光源105a'〜105c'の点滅パターンを空間的に認識して、それぞれの点滅パターンの受光位置及び点滅パターンによって表されるIDを認識することができる。 Then, the blinking pattern of the basis of the moving image to be captured each light source 105A'~105c 'camera 101 recognizes spatially recognize the ID expressed by the light receiving position and blinking pattern of each flashing pattern can. 【0107】このように各マーカ105a'〜105 [0107] each of the markers in this way 105a'~105
c'がLEDのように光の点滅するデバイスで構成されている場合、各マーカ105a'〜105c 'は、データを点滅パターンなどの時系列の光学信号に符号化して送信することができる。 'If is configured on a device that flashes of light as LED, each marker 105A'~105c' c, the data may be transmitted encoded into the optical signal of the time series, such as blinking pattern. このような場合、各マーカ1 In such a case, each marker 1
05a'〜105c'を備えた物体教示指標104は、 Object teachings indicator 104 having a 05A'~105c 'is
単に実物体の識別情報や空間的な位置や姿勢を計測するための指標としてだけでなく、送信装置としても機能することができる。 Not only as an index for measuring the identity and spatial position and orientation of the real object, it can also function as a transmitting device. また、光学信号は距離に応じてデータが変化しないことから、距離に関しロバストなデータ伝送を行なうことができる。 The optical signal from the data does not change according to the distance, it is possible to perform robust data transmission relates distances. このような光の点滅パターンを利用したデータ通信システムに関しては、本出願人に既に譲渡されている特願2001−325356号明細書(前述)に開示されている。 Such respect to the optical data communication system utilizing the flashing pattern of is disclosed in the applicant already 2001-325356 Patent Application No. which is assigned (described above). 【0108】図7には、物体教示指標104が各マーカ105a'〜105c'として3個の発光ダイオードを装備したときのカメラ101及び複合現実感表示装置1 [0108] Figure 7 includes a camera 101 and mixed reality display device 1 when the object teachings indicator 104 is equipped with three light emitting diodes as the markers 105A'~105c '
02側での動作特性を模式的に示している。 The operating characteristics of the 02 side is schematically shown. それぞれの発光ダイオード105a'〜105c 'は識別情報等の送信したいデータを光の点滅パターンに符号化して光学信号として送出することができる。 Each of the light emitting diode 105A'~105c 'can be transmitted as an optical signal by encoding the data to be transmitted, such as identification information to the blinking pattern of the light. 勿論、送信データからなるベースバンド信号をそのまま光の点滅パターンで表してもよいし、あるいは周波数変調や振幅変調などの変調処理を施した後に光学信号を出力するようにしてもよい。 Of course, a baseband signal composed of the transmission data may be directly expressed by a flashing pattern of light, or may be output optical signal after performing modulation processing such as frequency modulation and amplitude modulation. 【0109】この場合、各発光ダイオードの点滅パターンは、集光レンズ系(図示しない)によってカメラ10 [0109] In this case, the blinking pattern of the light-emitting diode, the camera 10 by the condenser lens system (not shown)
1側の2次元イメージ・センサの受光面上に結像されて、物体教示指標104の実空間上の位置や姿勢に対応した位置の受光素子で検出される。 Is formed on the light receiving surface of the two-dimensional image sensor 1 side, it is detected by the light receiving element of the position corresponding to the position and orientation in real space of the object teachings indicator 104. 【0110】例えば、イメージ・センサが持つ2次元受光面において各発光ダイオード105a'〜105c [0110] For example, each light emitting in the two-dimensional light-receiving surface having the image sensor diode 105a'~105c
'の点灯光が結像される受光素子(画素)の座標値をそれぞれ(10,10)、(90,90)、(40,7 Each coordinate value of the light receiving elements (pixels) which turned light 'is imaged (10, 10), (90, 90), (40, 7
0)とすると、各画素位置では対応する発光ダイオードの点滅パターンが受光強度(明るさ)の時間的変化として検出される。 0) and when, at each pixel position flashing pattern of the corresponding light emitting diode is detected as a temporal change in the received light intensity (brightness). 受光強度を所定の閾値で2値化処理することにより、元の送信データに相当する1/0のビット列を復元することができる。 By binarizing the received light intensity with a predetermined threshold value, it is possible to restore the bit sequence of 1/0, which corresponds to the original transmission data. 【0111】このように、複合現実感表示装置102 [0111] In this way, mixed reality display device 102
は、カメラ101によって測定対象物体101を含んだシーンの撮影画像を全画素でデコードすることによって、各マーカ105a'〜105c 'から送出される光学信号、並びに物体教示指標104の空間的情報をすることができる。 By decoding the captured image of a scene including the measurement target object 101 by the camera 101 in all the pixels, the optical signal transmitted from each marker 105A'~105c ', as well as the spatial information of the object teachings indicator 104 be able to. すなわち、光学信号により物体教示指標104との間でデータ伝送を行なうことができるとともに、空間的情報が意味する実世界状況に基づく拡張現実サービスを提供することができる。 That is, it is possible to perform data transmission to and from the object teachings indicator 104 by an optical signal, it is possible to provide an augmented reality service based on real-world situations to mean spatial information. 【0112】図8には、図6に示した物体教示指標10 [0112] Figure 8 is an object teachings indicator 10 shown in FIG. 6
4を用いた場合の物体教示指標104の抽出、並びにその識別情報及び3次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。 4 Extraction of object teachings indicator 104 in the case of using, and shows a processing procedure for obtaining the identification information and the three-dimensional position and orientation information in the form of a flowchart. この処理手順は、図3に示した処理ルーチンのステップS2に相当し、実際には、CPU1が所定の物体教示指標の抽出、並びにその識別情報及び3次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ101からの入力画像を処理するという形態で実現される。 This procedure corresponds to step S2 of the processing routine shown in FIG. 3, in fact, start CPU1 extraction of predetermined object teachings indicators, as well as the acquisition processing application of the identification information and 3-dimensional position and orientation information and, it is realized in the form of handling the input image from the camera 101. 以下、 Less than,
このフローチャートを参照しながら、物体教示指標10 With reference to this flow chart, object teachings index 10
4の認識処理について詳解する。 It is described in detail recognition processing of 4. 【0113】まず、カメラ101からの入力画像を画像処理して、点滅パターンの抽出、並びに点滅パターンによって表される送信データのデコードを行なう(ステップS21) 【0114】次いで、抽出された点滅パターンが3つかどうかを判定する(ステップS22)。 [0113] First, an input image from the camera 101 to image processing, the extraction of blinking pattern, and decodes the transmission data represented by the blinking pattern (Step S21) [0114] Then, the extracted blinking pattern 3 determines Tsukado (step S22). これは、Rob This is, Rob
ert外著の論文(前述)に記述された数学的算出方法によれば3点の画像座標から3次元位置及び姿勢を推定できることに依拠する。 It relies on being able to estimate the three-dimensional position and orientation from the image coordinates of the three points According to the mathematical calculation method described in ert outside al article (above). 【0115】ステップS22において、抽出されたマーカの数は3つと判定された場合には、次いで、Robe [0115] In step S22, if the number of the extracted marker was determined three and then, Robe
rt外著の論文(前述)に記述されている数学的算出方法に従い3次元位置及び姿勢を推定する(ステップS2 rt outside al papers estimating a three-dimensional position and orientation in accordance with mathematical calculation method described in (above) (step S2
3)。 3). また、点滅パターンの形式で物体教示指標104 Further, the object teachings indicator 104 in the form of flashing pattern
からデータが送られてくる場合には、そのデコード結果と統合して、3次元位置及び姿勢を推定するようにしてもよい。 If the transmitted data from, integrated with the decoding result, may be estimated a three-dimensional position and orientation. 【0116】また、ステップS22及びS23における3次元位置及び姿勢の代替的な処理として、物体教示指標104上に平行四辺形を形成するように4つの点滅光源を配設しておき、カメラ101からの入力画像から平行四辺形状に4つの点滅パターンを抽出することができたときに、加藤外著の論文(前述)に記載されている方法に従い、数学的算出により物体教示指標104の3次元位置及び姿勢を推定する。 [0116] Further, as an alternative process of the three-dimensional position and orientation in the steps S22 and S23, advance arranged four flashing light source so as to form a parallelogram on the object teaching indicator 104, the camera 101 from the input image when the can extract four flashing pattern parallelogram, according to the method described in Kato outer al article (above), three-dimensional position of the object teachings indicator 104 by mathematical calculation and to estimate the attitude. 【0117】次いで、物体教示指標104の識別情報を認識する(ステップS24)。 [0117] Then, recognizing the identity of the object teachings indicator 104 (step S24). 物体教示指標104には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。 Since the object teachings indicator 104 are specified by the identification information is, for example, text information format, such as model number, recognizing the like which character recognition technology. あるいは、物体教示指標104には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。 Alternatively, the object teaching indicator 104 when the format identification information of the bar code or other visual code rather than characters is specified, it is possible to recognize the identification information by the pattern recognition. 【0118】また、点滅パターンの形式で物体教示指標104からデータが送られてくる場合には、ステップS [0118] When the data from the object teachings indicator 104 is sent in the form of a blinking pattern, step S
24では、そのデコード結果と統合して、識別情報を認識するようにしてもよい。 In 24, integrated with the decoding result, may be recognized the identification information. 【0119】あるいは、各光源105a'〜105c' [0119] Alternatively, each light source 105a'~105c '
により点滅パターンの形式で送信されるIDのみで情報が伝達され、物体教示指標104に情報の印字がない場合には、ステップS24では各光源105a'〜105 Only the information ID transmitted in the form of flashing pattern is transmitted by the object in the case there is no print information teachings indicators 104, each of the light sources in step S24 105A'~105
c'における点滅パターンのデコード結果のみにより識別情報の認識を行なう。 Decoding a result of the blinking pattern of c 'only by performing recognition of the identification information. 例えば、各光源105a'〜1 For example, each light source 105a'~1
05c'からは上位6ビットを物体教示指標104が持つ識別情報に割り当て、下位2ビットを各光源105 Assigned to the identification information having a higher 6 bits are object teachings indicator 104 from 05C ', the light source 105 to the lower 2 bits each
a'〜105c'のIDに割り当てた8ビットのデータが送信されており、これをデコード処理する。 A'~105c ID to 8-bit data are transmitted allocated in 'which the decoding process. 【0120】図9には、図6に示した物体教示指標10 [0120] Figure 9 is an object teachings indicator 10 shown in FIG. 6
4の変形例を示している。 It shows a modification of the 4. 同図において、物体教示指標104の各頂点には、パルス発信が可能なLEDなどの光源105a'〜105c'が設置されている。 In the figure, each vertex of the object teachings indicator 104, a light source 105a'~105c such as an LED capable of pulsing 'is installed. また、 Also,
物体教示指標104の略中央には、対応する実物体に関連した情報(例えば、製品型番の文字情報など)を印字する代わりに、これらの情報を光の点滅パターンに符号化して送信する光源106が追加して配設されている。 The approximate center of the object teachings indicators 104, information associated with a corresponding real object (e.g., character information of a product model number) light source 106, instead of printing a encoding and transmitting the information to the blinking pattern of the light There has been provided in addition. 【0121】このような場合、複合現実感表示装置10 [0121] In such a case, mixed reality display device 10
2側では、カメラ101からの入力画像を基に、光源1 The 2 side, based on the input image from the camera 101, the light source 1
06の点滅パターンを空間的に認識することによって、 By recognizing spatially 06 blinking patterns,
物体教示指標104における識別情報をデコードすることができる。 It is possible to decode the identification information in the object teachings indicator 104. 【0122】(3)構成例3:図10には、物体教示指標104の他の構成例を示している。 [0122] (3) Configuration Example 3: Figure 10 shows another configuration example of the object teachings indicator 104. 同図に示す物体教示指標104の光学的な識別情報は、「サイバーコード(Cybercode)」で構成されている。 Optical identification of objects teachings indicator 104 shown in the figure, is composed of a "cyber code (CyberCode)". 【0123】このサイバーコードは、2次元的なビジュアル・コードの一種であり、サイバーコードの所在を表すための「ガイド・バー表示領域」と、2次元状のコード・パターンを表示する「コード・パターン表示領域」 [0123] The cyber code is a kind of two-dimensional visual code, the "guide bar display area" for indicating the location of cyber code, "code for displaying a two-dimensional code pattern pattern display area. "
とで構成されてモザイク状の模様をなす。 It is composed of a form a mosaic pattern. コード・パターン表示領域内は、n×mマトリックス(同図では7× Code pattern display region, n × m matrix (7 × in FIG
7)に配列されたセルで構成され、各セルを白又は黒の2値表現することで識別情報を付与することができる。 It consists of a array of cells 7), each cell can be given an identification information by binary representation of white or black.
但し、コード・パターン表示領域の4隅のコーナー・セルは、識別情報としてではなく位置合わせ(Image Regi However, the four corners of the corner cells of the code pattern display region, alignment rather than as the identification information (Image Regi
stration)パターンとして、常に黒パターンとなっている。 As stration) pattern, it has always been a black pattern. 【0124】サイバーコードの認識手順は、撮像画像を2値化するステップと、2値画像中からガイド・バー1 [0124] Recognition Procedure cyber code, a step of binarizing the captured image, guide bars 1 from within the binary image
002の候補を発見するステップと、ガイド・バー10 And a step to discover the 002 candidates, the guide bar 10
02の位置や方向に基づいてコーナー・セル1003を探索するステップと、ガイド・バー1002及びコーナー・セル1003を検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。 A step of searching for a corner cell 1003 based on the position and direction of 02, is divided into a step of decoding image bitmap pattern in response to detecting the guide bar 1002 and the corner cell 1003 that. さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。 Further, by performing the inspection of the error bit, to verify that it contains the correct cyber code in the captured image, it is possible to derive identification information and position information of the code. また、コーナー・セル1003の位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。 Further, it is possible on the basis of the position of the corner cell 1003, to compensate by calculating the distortion caused by the inclination of the camera and objects. 【0125】サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特開2000−82 [0125] JP For more information about the cyber code, for example, has already been assigned to the present assignee 2000-82
108号公報(「2次元コ―ド認識処理方法、2次元コ―ド認識処理装置、および媒体」)にも開示されている。 108 No. ( "two-dimensional co - de recognition processing method, two-dimensional co - de recognition processor, and media") also discloses. 【0126】図11には、図10に示した物体教示指標104を用いた場合の物体教示指標104の抽出、並びにその識別情報及び3次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。 [0126] Figure 11, the extraction of the object teachings indicator 104 in the case of using an object teachings index 104 shown in FIG. 10, and the flow chart a processing procedure for obtaining the identification information and 3-dimensional position and orientation information It is shown in the format. この処理手順は、図3に示した処理ルーチンのステップS This procedure is the step S of the processing routine shown in FIG. 3
2に相当し、実際には、CPU1が所定の物体教示指標の抽出、並びにその識別情報及び3次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ101 Corresponds to 2, in fact, extracts CPU1 is in a predetermined object teachings indicators, as well as to start the acquisition processing application of the identification information and 3-dimensional position and orientation information, the camera 101
からの入力画像を処理するという形態で実現される。 It is realized in the form of handling the input image from. 以下、このフローチャートを参照しながら、物体教示指標104の認識処理について詳解する。 Hereinafter, with reference to this flowchart is described in detail recognition processing of the object teachings indicator 104. 【0127】まず、カメラ101からの入力画像の2値化処理を行ない(ステップS31)、次いでこの2値化画像中からガイド・バー1002の候補を抽出する(ステップS32)。 [0127] First, performs binarization processing of the input image from the camera 101 (step S31), then extracts candidates of the guide bar 1002 from within the binary image (step S32). そして、ガイド・バー1002が抽出されたかどうかを判定する(ステップS33)。 Then, it is determined whether the guide bars 1002 are extracted (step S33). 【0128】ガイド・バー1002が抽出されたならば、後続のステップS34へ進み、ガイド・バー100 [0128] If the guide bar 1002 has been extracted, the process proceeds to the subsequent step S34, the guide bar 100
2の位置や方向を基準にして、さらにコーナー・セル1 The second position and direction as a reference, further corner cell 1
003を探索する。 To explore the 003. そして、コーナー・セル1003が抽出されたかどうかを判定する(ステップS35)。 Then, it is determined whether the corner cell 1003 is extracted (step S35). 【0129】そして、コーナー・セル1003を抽出することができたならば、さらに後続のステップS36へ進んで、ガイド・バー1002及びコーナー・セル10 [0129] Then, if it was possible to extract the corner cell 1003, it proceeds further to a subsequent step S36, the guide bars 1002 and the corner cell 10
03を検出したことに応答して画像ビットマップ・パターンを復号化して、物体教示指標1001の識別情報を取得する。 03 decodes the image bitmap pattern in response to detecting the acquires identification information of the object teachings indicators 1001. 【0130】次いで、入力画像中で検出されたガイド・ [0130] Then, the guide that has been detected in the input image
バー1002及びコーナー・セル1003の位置から物体教示指標1001のカメラ101に対する3次元位置及び姿勢を推定する(ステップS37)。 Estimating a three-dimensional position and orientation relative to the camera 101 of object teachings indicator 1001 from the position of the bar 1002 and the corner cell 1003 (step S37). 【0131】ここで、サイバーコードの4箇所のコーナー・セル1003の画像座標から3次元位置及び姿勢を推定するためには、例えば、加藤博一、Mark Billinghu [0131] Here, in order to estimate the three-dimensional position and orientation from the image coordinates of the corner cell 1003 at four positions of the cyber code, for example, Hirokazu Kato, Mark Billinghu
rst、浅野浩一、橘啓八郎共著の論文“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション” rst, Koichi Asano, TachibanaAkira Hachiro co thesis "Augmented Reality System and its Calibration based on Marker Tracking"
(日本バーチャルリアリティ学会論文誌, Vol.4, No.4, (Transactions of the Virtual Reality Society of Japan, Vol.4, No.4,
1999)(前述)に記載されているような、識別可能な平行四辺形の4頂点に基づいてその3次元位置及び姿勢を数学的に算出する方法を適用することができる。 1999) (as described in the foregoing), on the basis of the four vertexes of the identifiable parallelogram can be applied a method of mathematically calculating the three-dimensional position and orientation. 【0132】なお、図4に示した構成の物体教示指標1 [0132] Incidentally, the object teachings indicator 1 having the structure shown in FIG. 4
04では、各コーナー・セル1003を単体では識別することはできないが、ガイド・バー1002との位置関係を用いると識別することができ、同様の手法により3 In 04, it is not possible to identify the respective corner cell 1003 alone, it can be identified as using the positional relationship between the guide bar 1002, in the same manner 3
次元位置及び姿勢を推定することが可能である。 It is possible to estimate the dimension position and orientation. 【0133】一方、ステップS33においてガイド・バー1002を発見することができなかった場合、及びステップS35においてコーナー・セル1003を認識することができなかった場合には、物体教示指標104の3次元位置及び姿勢の取得が不能である旨の結果を返して、本処理ルーチン全体を終了する。 [0133] On the other hand, when it is not possible to discover the guide bar 1002 in step S33, and when it is not possible to recognize the corner cell 1003 in step S35, 3-dimensional position of the object teachings indicator 104 and returns a result that acquisition of position is impossible, the entire routine of this processing is completed. 【0134】 C. [0134] C. 画像データの合成 B項で示したような方法によって、現実空間に配置した物体教示指標104の識別情報及びカメラ101に対する3次元位置・姿勢を取得することができる。 By methods such as described in Synthesis B section of the image data, the three-dimensional position and orientation with respect to the identification information and the camera 101 of object teachings indicators 104 arranged in the real space can be acquired. さらに、 further,
仮想空間において、検出した識別情報に対応する3次元モデルを、物体教示指標104から求められた3次元位置・姿勢に配置することによって、複合現実空間を作成することができる。 In the virtual space, the three-dimensional model corresponding to the detected identification information, by placing the three-dimensional position and orientation obtained from the object teachings indicator 104, it is possible to create a mixed reality space. 【0135】家具、家電製品、インテリアなど、製品毎に物体教示指標104を作成することが望ましい。 [0135] furniture, household appliances, such as interior, it is desirable to create an object teaching index 104 for each product. 例えば、図12に示すような商品パンフレット1201の一部に物体教示指標1202を貼り付ける。 For example, paste the object teachings indicator 1202 in a part of the product brochure 1201 as shown in FIG. 12. 【0136】消費者は、例えば訪れた店舗で、商品を購入しなくても、商品パンフレット1201だけを持ち帰ればよい。 [0136] Consumers, for example, visited the store, it is not necessary to purchase goods may be Mochikaere the only product pamphlets 1201. そして、自宅の部屋の所望の位置に、該当する商品についての物体教示指標1202を配置して、カメラ101で室内の風景を撮影する。 Then, a desired position of the home room, by placing the object teachings indicator 1202 for the relevant product, photographed indoor scene the camera 101. 【0137】この撮影画像を複合現実感表示装置102 [0137] mixed reality display device of this photographic image 102
に投入すると、現実空間に配置した物体教示指標104 When placed in the object teachings indicator 104 arranged in the real space
の識別情報及びカメラ101に対する3次元位置・姿勢を取得する。 Get the identity and three-dimensional position and orientation with respect to the camera 101. さらに、仮想空間において、検出した識別情報に対応する商品の3次元モデルを、物体教示指標1 Further, in the virtual space, a three-dimensional model of the product corresponding to the detected identification information, the object teachings index 1
04から求められた3次元位置・姿勢に配置することによって、複合現実空間画像を作成して、画面表示装置1 By arranging the three-dimensional position and orientation obtained from 04, to create a mixed reality space image, the screen display device 1
03に出力する。 And outputs it to the 03. この結果、消費者は、実際に商品を室内に配置することなく、複合現実空間画像の表示出力を基に、商品のサイズや色など、部屋との調和を購入前に確認することが可能となる。 As a result, consumers, without actually placing the items in the room, based on the display output of the mixed reality space image, such as the size and color of the product, and it is possible to check before purchase harmony with the room Become. 【0138】このような仮想空間上に3次元モデルを合成する処理は、図3に示したフローチャートのステップS7で行われる処理に相当する。 [0138] process of synthesizing the three-dimensional model in such a virtual space is equivalent to the process performed in step S7 in the flowchart shown in FIG. 以下、画像データと3 Below, image data and 3
次元モデルの合成方法について、再び図3を参照しながら説明する。 Method for synthesizing dimensional model, will be described with reference to FIG. 3 again. 【0139】まず、カメラ101から入力された画像データを出力画像に相当するフレームバッファに描画する(ステップS1)。 [0139] First, to draw in the frame buffer corresponding to image data input from the camera 101 to the output image (step S1). このとき、入力画像の大きさと出力画像の大きさが異なる場合には、入力画像を縮小又は拡大して、出力画像の大きさに合わせる。 At this time, if the magnitude of the size and the output image of the input image are different, by reducing or enlarging an input image, match the size of the output image. 【0140】次いで、物体教示指標の抽出、その識別情報、3次元位置・姿勢情報の取得処理ルーチンにより、 [0140] Subsequently, the extraction of the object teachings indicators, the identification information, the acquisition process routine of the three-dimensional position and orientation information,
撮影された画像データ中の物体教示指標104を抽出して(ステップS2,S3)、さらに、抽出された物体教示指標104の識別情報に対応した実物体(家具、家電製品、インテリアなど)についての3次元モデルを取得する(ステップS4)。 Extracts object teachings indicator 104 in the captured image data (step S2, S3), further, a real object corresponding to the identification information of the extracted object taught indicator 104 (furniture, appliances, interior etc.) for a three-dimensional model and acquires (step S4). 【0141】次いで、ステップS4で取得された3次元モデルを、カメラ101の入力画像で示される現実空間上でステップS2で取得された3次元位置・姿勢に配置して(ステップS6)、レンダリングする。 [0141] Then, a three-dimensional model obtained in step S4, on the physical space represented by the input image of the camera 101 is disposed in the three-dimensional position and orientation obtained in step S2 (step S6), and rendered . このとき、 At this time,
画角などといった仮想空間上のカメラの属性を現実世界のカメラの属性(カメラの種類やレンズ歪など)に合わせなければならない。 It must match the camera of the attributes of the virtual space, such as the angle of view in real-world camera attributes (such as camera type and lens distortion). 【0142】このようにして入力画像が表す現実空間上に仮想的な3次元モデルを重ねて表示することによって、複合現実空間画像を作成することが可能である。 [0142] By displaying overlapping the virtual three-dimensional model on a real space represented by this way the input image, it is possible to create a mixed reality space image. 【0143】上記の方法では、入力画像上に3次元モデルを重ねて描画しているだけである。 [0143] In the above method, it is only to draw over the three-dimensional model on the input image. このため、例えば図13に示すように、カメラ101と物体教示指標10 Thus, for example, as shown in FIG. 13, the camera 101 and the object teachings indicators 10
4の間にユーザの手などの障害物がある場合(但し、物体教示指標104のマーカ105a〜105cは手で隠れていないものとする)、合成画像A03は、図示のように、手の上に仮想物体A02が表示され、不自然な画像になる。 If there is an obstacle, such as a user's hand during the 4 (however, the marker 105a~105c object teachings indicator 104 shall not hidden by the hand), the composite image A03, as shown, on the hands virtual object A02 is displayed on, an unnatural image. 【0144】一方、例えば"Entertainment Vision Sens [0144] On the other hand, for example, "Entertainment Vision Sens
or"のようなカメラからの距離情報を検出できる3次元計測機能を搭載したイメージセンサを用いた場合には、 In the case of using the image sensor equipped with three-dimensional measurement function capable of detecting the distance information from the cameras as or "is,
画像データと同時にカメラに対する物体の距離情報を取得することができるので、上記の問題を回避することができる。 Since image data and capable of obtaining distance information of the object relative to the camera at the same time, it is possible to avoid the above problems. あるいは、カメラ101に対する物体教示指標104の位置関係が既知である空間内では、カメラ10 Alternatively, in the spatial position relationship of the object teachings indicator 104 relative to the camera 101 it is known, the camera 10
1からの距離情報に基づいて描画する物体を判断することができるので、同様に上記の問題を回避することができる。 It is possible to determine an object to be drawn on the basis of the distance information from the 1, can be similarly avoid the above problems. 【0145】つまり、各画素を描画する際に最もカメラに近い物体を選択し描画することによって、図14に示すような自然な合成画像B01を得ることが可能である。 [0145] That is, by most camera selects an object close drawing when drawing the pixels, it is possible to obtain a natural combined image B01 as shown in FIG. 14. 【0146】なお、"Entertainment Vision Sensor" [0146] It should be noted, "Entertainment Vision Sensor"
は、1チップでカラー動画像と3次元距離情報の両方を、毎秒15フレーム又は30フレームで取得可能な高機能CMOSイメージ・センサである。 Is both one color moving image and three-dimensional distance information in the chip, a high-performance CMOS image sensors can be acquired at 15 frames per second or 30 frames. これら動画像と距離情報を同時に利用することにより、画像認識、物体認識、動き検出など、これまで外部に複雑な情報処理を必要としていた機能を小規模なシステムで実現することができます。 By utilizing these dynamic image and distance information at the same time, image recognition, object recognition, etc. motion detection, hitherto it can realize the functions that used to require a complicated processing to the outside in a small system. これにより、PC、ゲームなどのユーザ・ As a result, PC, a user, such as a game
インターフェースや3次元モデリング、ロボットの障害物検知・人物検知、セキュリティ・システムにおける個人認証、テレビ電話の画像抽出機能など、さまざまな分野において多様なアプリケーションを提供することができる(http://www.sony.co.jp/SonyInfo/News/Press Interface and 3D modeling, obstacle detection and person detection robot, personal authentication in security systems, such as image extracting function of videophone, it is possible to provide various applications in various fields (http: // www. sony.co.jp/SonyInfo/News/Press
/)。 /). 【0147】[追補]以上、特定の実施形態を参照しながら、本発明について詳解してきた。 [0147] [Supplement] above with reference to specific embodiments, the present invention has been described in detail. しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。 However, it is obvious that those skilled in the art without departing from the scope of the present invention can make modifications and substitutions of the embodiments. すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。 In other words, the foregoing discloses the present invention in the form of illustration and should not be construed as limiting the contents of this specification. 本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。 In order to determine the scope of the invention it should be referred to the appended claims set forth at the outset. 【0148】 【発明の効果】以上詳記したように、本発明によれば、 [0148] As Shoki [Effect INVENTION] According to the present invention,
コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。 May incorporate aspects of the real world in a virtual space that is implemented on a computer or network, we can provide excellent mixed reality display device and method, a storage medium, and a computer program. 【0149】また、本発明によれば、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。 [0149] In addition, according to the present invention, it is to extend the virtual space by actively using real-world situations, such as the position and orientation of the real space of the location and real-world objects that the user is present in the real world We can provide excellent mixed reality display device and method, a storage medium, and a computer program. 【0150】また、本発明によれば、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。 [0150] Further, according to the present invention, to present a virtual reality world harmony between appearance and the surrounding environment, such as size and color of the real object is achieved without placing a real object in the real space to the user We can provide excellent mixed reality display device and method, a storage medium, and a computer program. 【0151】また、本発明によれば、実物体を模倣した仮想物体を現実空間に合成して表示することができる、 [0151] Further, according to the present invention, it is possible to display the synthesized virtual object that mimic real object in the real space,
優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。 Excellent mixed reality display device and method, a storage medium, as well as a computer program. 【0152】本発明に係る複合現実感表示装置によれば、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能である。 [0152] According to mixed reality display device according to the present invention, based on the mixed reality image virtual object has been synthesized in the scene in real space, furniture and appliances in the home, such as interior room size whether it matches to be, and of whether you are in harmony with the color, such as rooms and other furniture, it is possible to determine before the actual purchase. また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。 In addition, the room of scenery and objects other than the virtual object, such as furniture and appliances, interior, as it is to use the reality of the image that has been taken from the camera.
すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。 That is, creation or it is not necessary to obtain a complete model for real space, it is possible to easily generate the augmented reality images.

【図面の簡単な説明】 【図1】本発明の一実施形態に係る複合現実感システムの構成を模式的に示した図である。 It is a diagram of the configuration of a mixed reality system shown schematically according to an embodiment of the BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] present invention. 【図2】本実施形態に係る複合現実感装置102のハードウェア構成を模式的に示した図である。 The hardware configuration of Figure 2 mixed reality apparatus 102 according to this embodiment is a diagram schematically showing. 【図3】複合現実感装置102上で実行される複合現実感表示の処理手順を示したフローチャートである。 3 is a flowchart showing a mixed reality display process executed on the mixed reality apparatus 102. 【図4】物体教示指標104の1つの構成例を示した図である。 4 is a diagram showing one configuration example of the object teachings indicator 104. 【図5】図4に示した物体教示指標104を用いた場合の物体教示指標の抽出、並びにその識別情報及び3次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。 [5] Extraction of object teachings indicator in the case of using the object teachings index 104 shown in FIG. 4, and is a flowchart illustrating a processing procedure for acquiring the identification information and 3-dimensional position and orientation information. 【図6】物体教示指標104の他の構成例を示した図である。 6 is a diagram showing another configuration example of the object teachings indicator 104. 【図7】物体教示指標104が各マーカ105a'〜1 [7] object teachings indicators 104 each marker 105a'~1
05c'として3個の発光ダイオードを装備したときのカメラ101及び複合現実感表示装置102側での動作特性を模式的に示した図である。 The operating characteristics of the camera 101 and mixed reality display device 102 side when equipped with three light emitting diodes as 05C 'is a diagram schematically showing. 【図8】図6に示した物体教示指標104を用いた場合の物体教示指標104の抽出、並びにその識別情報及び3次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。 [Figure 8] Extraction of object teachings indicator 104 in the case of using an object teachings index 104 shown in FIG. 6, and is a flowchart illustrating a processing procedure for acquiring the identification information and 3-dimensional position and orientation information. 【図9】図6に示した物体教示指標104の変形例を示した図である。 9 is a diagram showing a modification of the object teachings indicator 104 shown in FIG. 【図10】物体教示指標104の他の構成例を示した図である。 10 is a diagram showing another configuration example of the object teachings indicator 104. 【図11】図10に示した物体教示指標104を用いた場合の物体教示指標104の抽出、並びにその識別情報及び3次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。 [11] Extraction of the object teachings indicator 104 in the case of using an object teachings index 104 shown in FIG. 10, and is a flowchart illustrating a processing procedure for acquiring the identification information and 3-dimensional position and orientation information. 【図12】複合現実感画像の構成例を示した図である。 12 is a diagram showing a configuration example of a mixed reality image. 【図13】複合現実感画像の構成例を示した図である。 13 is a diagram showing a configuration example of a mixed reality image. 【図14】複合現実感画像の構成例を示した図である。 14 is a diagram showing a configuration example of a mixed reality image. 【符号の説明】 1…CPU 2…主メモリ,3…ROM 4…ディスプレイ・コントローラ5…入力機器インターフェース6…ネットワーク・インターフェース7…外部機器インターフェース8…バス,9…カメラ・インターフェース11…ディスプレイ12…キーボード,13…マウス14…ハード・ディスク装置15…メディア・ドライブ101…カメラ102…複合現実感装置103…画像表示装置104…物体教示指標105a〜105c…マーカ105a'〜105c'…マーカ(光源) 106…光源 [Reference Numerals] 1 ... CPU 2 ... main memory, 3 ... ROM 4 ... display controller 5 ... input device interface 6 ... network interface 7 ... external device interface 8 ... bus, 9 ... camera interface 11 ... display 12 ... keyboard, 13 ... mouse 14 ... hard disk drive 15 ... media drive 101 ... camera 102 ... mixed reality apparatus 103 ... image display device 104 ... object teachings indicator 105 a to 105 c ... marker 105A'~105c '... marker (source) 106 ... light source

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2F065 AA04 AA37 BB05 BB29 FF04 JJ03 JJ26 QQ31 UU05 5B050 AA10 BA07 BA08 BA11 BA13 BA18 CA07 CA08 DA02 DA04 DA10 EA06 EA07 EA19 FA02 FA05 FA08 FA13 FA19 GA04 5B057 BA02 CA01 CA08 CA12 CA13 CA16 CA17 CB01 CB08 CB13 CB16 CC01 CE08 CH07 CH08 CH11 CH12 CH18 DA02 DA07 DA16 DB03 DB06 DB09 DC08 DC09 5C023 AA03 AA04 AA10 AA11 AA38 BA02 DA02 DA03 DA08 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 2F065 AA04 AA37 BB05 BB29 FF04 JJ03 JJ26 QQ31 UU05 5B050 AA10 BA07 BA08 BA11 BA13 BA18 CA07 CA08 DA02 DA04 DA10 EA06 EA07 EA19 FA02 FA05 FA08 FA13 FA19 GA04 5B057 BA02 CA01 CA08 CA12 CA13 CA16 CA17 CB01 CB08 CB13 CB16 CC01 CE08 CH07 CH08 CH11 CH12 CH18 DA02 DA07 DA16 DB03 DB06 DB09 DC08 DC09 5C023 AA03 AA04 AA10 AA11 AA38 BA02 DA02 DA03 DA08

Claims (1)

  1. 【特許請求の範囲】 【請求項1】仮想物体を現実空間に合成して表示する複合現実感表示装置であって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力部と、 前記画像入力部による入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算部と、 前記画像入力部による入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識部と、 前記物体認識部により認識された現実物体についての3 Patent Claims: 1. A mixed reality display device that displays by combining virtual object in the real space, an image input unit for capturing a scene on reality including the object teachings index space, recognition and position and orientation calculation unit for calculating a spatial position and orientation, the identification information object teachings index has based on the input image by the image input unit of the object teachings index based on the input image by the image input unit recognizing the object recognition unit corresponding real object and, 3 for real object recognized by the object recognition unit
    次元モデルからなる仮想物体を前記位置・姿勢計算部により算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成部と、を具備することを特徴とする複合現実感表示装置。 Characterized by comprising an image combining unit for combining a virtual object consisting of the dimensional model to the position and orientation calculation unit on the input image by rotating, moving in accordance with the calculated spatial position and orientation by the mixed reality display device. 【請求項2】前記画像合成部は、前記物体認識部により認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成する、ことを特徴とする請求項1に記載の複合現実感表示装置。 Wherein said image combining unit, according to claim 1, wherein the further synthesis rates and specifications of the recognized real object by the object recognition unit, or other relevant information on the input image, and wherein the mixed reality display device. 【請求項3】さらに前記物体教示指標までの距離を測定する距離測定部を備え、 前記画像合成部は、前記距離測定部により得られた距離に基づいて前記仮想物体に陰面処理を適用する、ことを特徴とする請求項1に記載の複合現実感表示装置。 Wherein further comprising a distance measuring unit for measuring a distance to the object teaching indicator, the image synthesizing unit applies the hidden surface process to the virtual object based on the distance obtained by the distance measuring unit, mixed reality display device according to claim 1, characterized in that. 【請求項4】前記物体教示指標には光学的識別情報が配設されており、 前記物体認識部は、入力画像から光学的識別情報を抽出して物体の識別情報を取得する、ことを特徴とする請求項1に記載の複合現実感表示装置。 Wherein is disposed an optical identification information on the object teaching indicator, the object recognition unit, wherein the input image to obtain the identification information of the object by extracting the optical identification information, it mixed reality display device according to claim 1,. 【請求項5】前記物体教示指標には互いの位置関係が既知である複数の光学的識別情報が配設されており、 前記位置・姿勢計算部は、入力画像から光学的識別情報を抽出して、該入力画像における各光学的識別情報の検出位置に基づいてその空間的な位置及び姿勢を算出する、ことを特徴とする請求項1に記載の複合現実感表示装置。 Wherein the said object teaching indicator is disposed a plurality of optical identification information are known mutual positional relationship, the position and orientation calculation unit extracts a optical identification information from the input image Te, based on the detected position of the optical identification information in the input image and calculates the spatial position and orientation, mixed reality display device according to claim 1, characterized in that. 【請求項6】前記物体教示指標には互いの位置関係が既知である複数の点滅光源が配設されて、各点滅光源は識別情報又はその他のデータを光の点滅パターンに符号化して送信する、ことを特徴とする請求項1に記載の複合現実感表示装置。 Wherein said the object teachings indicators are disposed a plurality of flashing light sources are known mutual positional relationship, the flashing light source is encoded and sent to the flashing pattern of light identification information or other data , mixed reality display device according to claim 1, characterized in that. 【請求項7】前記物体認識部は、入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識する、 Wherein said object recognizing unit recognizes the identification information held by the object teaching indicator decodes these extracts a blinking pattern from the flash light source based on the input image,
    ことを特徴とする請求項6に記載の複合現実感表示装置。 Mixed reality display device according to claim 6, characterized in that. 【請求項8】前記位置・姿勢計算部は、入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいてその空間的な位置及び姿勢を算出する、ことを特徴とする請求項6に記載の複合現実感表示装置。 Wherein said position and orientation calculation unit is configured to identify each extract the blinking pattern from the flash light source based on the input image by decoding them, the detection position of each flashing light source in the input image based on and calculates the spatial position and orientation, mixed reality display device according to claim 6, characterized in that. 【請求項9】仮想物体を現実空間に合成して表示する複合現実感表示方法であって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体についての3次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とする複合現実感表示方法。 9. A mixed reality display method for displaying by combining virtual object in the real space, an image input step of capturing scene on the physical space including the object teachings index, input in the image input step the position and orientation calculation step of calculating a spatial position and orientation of the object teaching indicator on the basis of the image, corresponding physical object to recognize the identification information the object teaching indicator based on the input image has in the image input step and object recognition step recognizes, rotation and movement in accordance with the spatial position and orientation are calculated virtual object at the position and orientation calculation step comprising a three-dimensional model of the recognized real object in the object recognition step mixed reality display method characterized by comprising an image combining step of combining on the allowed the input image. 【請求項10】前記画像合成ステップでは、前記物体認識ステップにおいて認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成する、ことを特徴とする請求項9に記載の複合現実感表示方法。 The method according to claim 10, wherein said image synthesis step, according to claim 9, wherein the object recognition rates and specifications of the recognized real object in step, or even synthesized on the input image and other relevant information, it is characterized by mixed reality display method. 【請求項11】さらに前記物体教示指標までの距離を測定する距離測定ステップを備え、 前記画像合成ステップでは、前記距離測定ステップにおいて得られた距離に基づいて前記仮想物体に陰面処理を適用する、ことを特徴とする請求項9に記載の複合現実感表示方法。 11. comprising a distance measuring step of further measuring a distance to the object teaching indicator, in the image synthesizing step, applying a hidden surface process to the virtual object based on the distance obtained in the distance measuring step, mixed reality display method according to claim 9, characterized in that. 【請求項12】前記物体教示指標には光学的識別情報が配設されており、 前記物体認識ステップでは、入力画像から光学的識別情報を抽出して物体の識別情報を取得する、ことを特徴とする請求項9に記載の複合現実感表示方法。 12. on the object teaching indicator are arranged optical identification information, in the object recognition step, wherein the input image to obtain the identification information of the object by extracting the optical identification information, it mixed reality display method according to claim 9,. 【請求項13】前記物体教示指標には互いの位置関係が既知である複数の光学的識別情報が配設されており、 前記位置・姿勢計算ステップでは、入力画像から光学的識別情報を抽出して、該入力画像における各光学的識別情報の検出位置に基づいてその空間的な位置及び姿勢を算出する、ことを特徴とする請求項9に記載の複合現実感表示方法。 13. The said object teaching indicator is disposed a plurality of optical identification information are known mutual positional relationship, in the position and orientation calculation step extracts the optical identification information from the input image Te, mixed reality display method according to claim 9, based on the detected position of the optical identification information in the input image and calculates the spatial position and orientation, characterized in that. 【請求項14】前記物体教示指標には互いの位置関係が既知である複数の点滅光源が配設されて、各点滅光源は識別情報又はその他のデータを光の点滅パターンに符号化して送信する、ことを特徴とする請求項9に記載の複合現実感表示方法。 14. The in object teachings indicators are disposed a plurality of flashing light sources are known mutual positional relationship, the flashing light source is encoded and sent to the flashing pattern of light identification information or other data , mixed reality display method according to claim 9, characterized in that. 【請求項15】前記物体認識ステップでは、入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識する、ことを特徴とする請求項14に記載の複合現実感表示方法。 The method according to claim 15, wherein the object recognition step, wherein the identification information recognizing, having said object teaching indicator decodes these extracts a blinking pattern from the flash light source based on the input image according mixed reality display method according to claim 14. 【請求項16】前記位置・姿勢計算ステップは、入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいてその空間的な位置及び姿勢を算出する、ことを特徴とする請求項14に記載の複合現実感表示方法。 16. The position and orientation calculation step is adapted to identify each extract the blinking pattern from the flash light source based on the input image by decoding them, the detection position of each flashing light source in the input image based on mixed reality display method according to claim 14 that calculates the spatial position and orientation, it is characterized. 【請求項17】仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、 物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体についての3次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出 17. A physically stored to a storage medium the described computer software in a computer readable format so as to execute the processing on a computer system for displaying by combining virtual object in the real space the computer software, an image input step of capturing a scene on inclusive physical space object teaching indicator, a position to calculate the spatial position and orientation of the object teachings index based on the input image in the image input step - an attitude calculating step, and the object recognition step recognizes the real object corresponding to recognize the identification information held by the object taught index based on the input image in the image input step, it recognized real object in the object recognition step calculated in the position and orientation calculation step the virtual object consisting of 3-dimensional model for された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とする記憶媒体。 Storage medium characterized by comprising an image synthesizing step, a synthesizing the spatial position and the input image is rotated, moved in accordance with the attitude. 【請求項18】仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体についての3次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に 18. A computer program described in a computer readable format so as to execute a process for displaying by combining virtual object in the real space on a computer system, the reality including the object teachings index an image input step of capturing the scene in a space, the position and orientation calculation step of calculating a spatial position and orientation of the object teachings index based on the input image in the image input step, an input image in the image input step recognizing the object recognition step the real object corresponding to recognize the identification information held by the object taught indicator based, the position and orientation of the virtual object consisting of three-dimensional model of the recognized real object in the object recognition step on the input image is rotated, moved in accordance with a spatial position and orientation calculated in the calculation step 合成する画像合成ステップと、を具備することを特徴とするコンピュータ・プログラム。 Computer program characterized by comprising an image combining step of combining, the.
JP2002057838A 2002-03-04 2002-03-04 Mixed reality display device and method, a storage medium, and computer program Expired - Fee Related JP4032776B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002057838A JP4032776B2 (en) 2002-03-04 2002-03-04 Mixed reality display device and method, a storage medium, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002057838A JP4032776B2 (en) 2002-03-04 2002-03-04 Mixed reality display device and method, a storage medium, and computer program

Publications (2)

Publication Number Publication Date
JP2003256876A true JP2003256876A (en) 2003-09-12
JP4032776B2 JP4032776B2 (en) 2008-01-16

Family

ID=28668010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002057838A Expired - Fee Related JP4032776B2 (en) 2002-03-04 2002-03-04 Mixed reality display device and method, a storage medium, and computer program

Country Status (1)

Country Link
JP (1) JP4032776B2 (en)

Cited By (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025137A1 (en) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. Image processor, game machine, and image processing method
WO2006041149A1 (en) * 2004-10-15 2006-04-20 Sony Computer Entertainment Inc. Object, image data, image data transmission method, card, game mat, card game system, image analysis device, and image analysis method
JP2006127468A (en) * 2004-09-28 2006-05-18 Canon Inc Information processing method and apparatus
WO2006109829A1 (en) * 2005-04-12 2006-10-19 Pioneer Corporation Communication system, communication device and method, and computer program
JP2007058296A (en) * 2005-08-22 2007-03-08 Fujifilm Holdings Corp Information providing system
JP2007206807A (en) * 2006-01-31 2007-08-16 Nippon Hoso Kyokai <Nhk> Image composing device and image composing program
JP2007219082A (en) * 2006-02-15 2007-08-30 Canon Inc Composite reality feeling display system
JP2007286851A (en) * 2006-04-14 2007-11-01 Canon Inc Image processing system, image processor, imaging device, and control method thereof
JP2009087176A (en) * 2007-10-02 2009-04-23 Casio Comput Co Ltd Object generation system, object generation device, and object generation program
JP2009150883A (en) * 2007-12-18 2009-07-09 General Electric Co <Ge> System and method of extension reality inspection and data visualization
JP2009271822A (en) * 2008-05-09 2009-11-19 Dainippon Printing Co Ltd Interior furniture purchase support system, method, program, and medium
JP2010045621A (en) * 2008-08-13 2010-02-25 Casio Comput Co Ltd Imaging apparatus
JP2010515189A (en) * 2007-01-05 2010-05-06 トタル イメルシオン Using data from the actual scene being represented by an image, a method for inserting a virtual object in real-time image stream and apparatus
JP2010157035A (en) * 2008-12-26 2010-07-15 Ritsumeikan System, method, and program for displaying composite image
JP2010157034A (en) * 2008-12-26 2010-07-15 Ritsumeikan System, method, and program for displaying composite image
JP2010170316A (en) * 2009-01-22 2010-08-05 Konami Digital Entertainment Co Ltd Apparatus, method and program for displaying augmented reality
JP2010179403A (en) * 2009-02-05 2010-08-19 Denso Wave Inc Robot simulation image display system
JP2010257359A (en) * 2009-04-28 2010-11-11 Sony Corp Information processing device, information processing method and program
JP2010541054A (en) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング A method and apparatus for depicting the virtual object in the real environment
JP2010540973A (en) * 2007-10-05 2010-12-24 ヴォルカノ コーポレイションVolcano Corporation Real-time spectral domain optical coherence tomography using a distributed acquisition and processing
JP2010541053A (en) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング A method and apparatus for depicting the virtual object in the real environment
JP2011095964A (en) * 2009-10-29 2011-05-12 Toppan Printing Co Ltd Portable terminal, method, and program
WO2011065680A2 (en) * 2009-11-25 2011-06-03 Lg Electronics Inc. Managing multimedia contents using general objects
JP2011198150A (en) * 2010-03-19 2011-10-06 Fujifilm Corp Head-mounted augmented reality video presentation device and virtual display object operation method
JP2011242934A (en) * 2010-05-17 2011-12-01 Ntt Docomo Inc Object display device, object display system and object display method
EP2434458A2 (en) 2010-09-27 2012-03-28 Nintendo Co., Ltd. Image processing program, apparatus, system, and method for mixed reality
JP2012202876A (en) * 2011-03-25 2012-10-22 Fuji Xerox Co Ltd Recognition object, object recognition apparatus and program, and object recognition system
JP2013024586A (en) * 2011-07-15 2013-02-04 Univ Of Yamanashi Monospectral marker, method and device for detecting the same
JP2013515275A (en) * 2010-03-08 2013-05-02 エンパイア テクノロジー ディベロップメント エルエルシー Broadband passive tracking for augmented reality
WO2013061504A1 (en) * 2011-10-27 2013-05-02 Sony Corporation Image processing apparatus, image processing method, and program
WO2013069196A1 (en) 2011-11-11 2013-05-16 Sony Corporation Information processing device, information processing method, and program
WO2013069189A1 (en) 2011-11-11 2013-05-16 Sony Corporation Information processing apparatus, information processing method, and program
JP2013105328A (en) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc Simulation method, simulation device and control program for simulation device
JP2013105329A (en) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc Simulation method, simulation device and control program for simulation device
JP2013130919A (en) * 2011-12-20 2013-07-04 Casio Comput Co Ltd Information processing device, information processing method, and program
WO2013145566A1 (en) 2012-03-26 2013-10-03 Sony Corporation Information processing apparatus, information processing method, and program
WO2013145883A1 (en) 2012-03-26 2013-10-03 ソニー株式会社 Information processing device, information processing method and program
WO2013145673A1 (en) 2012-03-26 2013-10-03 Sony Corporation Information processing apparatus, information processing method, and program
KR101330811B1 (en) 2010-08-25 2013-11-18 주식회사 팬택 Apparatus and Method for augmented reality using instant marker
KR101348680B1 (en) * 2013-01-09 2014-01-09 국방과학연구소 Target acquisition method for video tracker, and target acquisition apparatus using the same
JP2014056450A (en) * 2012-09-13 2014-03-27 Casio Comput Co Ltd Image processing device and program
WO2014050957A1 (en) * 2012-09-27 2014-04-03 京セラ株式会社 Display device, control method, and control program
JP2014071520A (en) * 2012-09-27 2014-04-21 Kyocera Corp Display device, control method and control program
JP2014072570A (en) * 2012-09-27 2014-04-21 Kyocera Corp Display device and control method
US20140240652A1 (en) * 2011-03-29 2014-08-28 Sharp Kabushiki Kaisha See-through display device, and electrical device and furniture piece each of which is provided with see-through display device
KR101539087B1 (en) * 2013-08-22 2015-07-29 김정한 Augmented reality device using mobile device and method of implementing augmented reality
JP2015154854A (en) * 2014-02-20 2015-08-27 株式会社三洋物産 Game machine
JP2015179392A (en) * 2014-03-19 2015-10-08 カシオ計算機株式会社 Code symbol display device, information processor, and program
US9286673B2 (en) 2012-10-05 2016-03-15 Volcano Corporation Systems for correcting distortions in a medical image and methods of use thereof
US9292918B2 (en) 2012-10-05 2016-03-22 Volcano Corporation Methods and systems for transforming luminal images
JP2016038796A (en) * 2014-08-08 2016-03-22 東芝テック株式会社 Information processor and program
US9301687B2 (en) 2013-03-13 2016-04-05 Volcano Corporation System and method for OCT depth calibration
US9307926B2 (en) 2012-10-05 2016-04-12 Volcano Corporation Automatic stent detection
US9324141B2 (en) 2012-10-05 2016-04-26 Volcano Corporation Removal of A-scan streaking artifact
US9360630B2 (en) 2011-08-31 2016-06-07 Volcano Corporation Optical-electrical rotary joint and methods of use
US9367965B2 (en) 2012-10-05 2016-06-14 Volcano Corporation Systems and methods for generating images of tissue
US9383263B2 (en) 2012-12-21 2016-07-05 Volcano Corporation Systems and methods for narrowing a wavelength emission of light
JP2016149022A (en) * 2015-02-12 2016-08-18 株式会社キヌガワ京都 Sales support program and sales support device
JP2016531276A (en) * 2013-06-13 2016-10-06 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se Detector for detecting the orientation of at least one object optically
US9478940B2 (en) 2012-10-05 2016-10-25 Volcano Corporation Systems and methods for amplifying light
US9486143B2 (en) 2012-12-21 2016-11-08 Volcano Corporation Intravascular forward imaging device
US9508174B2 (en) 2014-02-03 2016-11-29 Brother Kogyo Kabushiki Kaisha Display device and non-transitory storage medium storing instructions executable by the display device
US9596993B2 (en) 2007-07-12 2017-03-21 Volcano Corporation Automatic calibration systems and methods of use
JP6105117B1 (en) * 2016-03-25 2017-03-29 東芝エレベータ株式会社 Hoistway shape information generating device for an elevator, and the marker member used in this
US9612105B2 (en) 2012-12-21 2017-04-04 Volcano Corporation Polarization sensitive optical coherence tomography system
US9622706B2 (en) 2007-07-12 2017-04-18 Volcano Corporation Catheter for in vivo imaging
US9709379B2 (en) 2012-12-20 2017-07-18 Volcano Corporation Optical coherence tomography system that is reconfigurable between different imaging modes
US9730613B2 (en) 2012-12-20 2017-08-15 Volcano Corporation Locating intravascular images
US9770172B2 (en) 2013-03-07 2017-09-26 Volcano Corporation Multimodal segmentation in intravascular images
WO2017215308A1 (en) * 2016-06-14 2017-12-21 珠海格力电器股份有限公司 Method, device and system for controlling electrical appliance
US9858668B2 (en) 2012-10-05 2018-01-02 Volcano Corporation Guidewire artifact removal in images
US9867530B2 (en) 2006-08-14 2018-01-16 Volcano Corporation Telescopic side port catheter device with imaging system and method for accessing side branch occlusions
US10058284B2 (en) 2012-12-21 2018-08-28 Volcano Corporation Simultaneous imaging, monitoring, and therapy
US10070827B2 (en) 2012-10-05 2018-09-11 Volcano Corporation Automatic image playback
US10166003B2 (en) 2012-12-21 2019-01-01 Volcano Corporation Ultrasound imaging with variable line density
US10191220B2 (en) 2012-12-21 2019-01-29 Volcano Corporation Power-efficient optical circuit
US10219780B2 (en) 2007-07-12 2019-03-05 Volcano Corporation OCT-IVUS catheter for concurrent luminal imaging
US10219887B2 (en) 2013-03-14 2019-03-05 Volcano Corporation Filters with echogenic characteristics
US10226597B2 (en) 2013-03-07 2019-03-12 Volcano Corporation Guidewire with centering mechanism
US10238367B2 (en) 2012-12-13 2019-03-26 Volcano Corporation Devices, systems, and methods for targeted cannulation
US10292677B2 (en) 2013-03-14 2019-05-21 Volcano Corporation Endoluminal filter having enhanced echogenic properties
US10332228B2 (en) 2012-12-21 2019-06-25 Volcano Corporation System and method for graphical processing of medical data
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6020446B2 (en) 2011-04-20 2016-11-02 日本電気株式会社 An image display system, an image display apparatus, image display method, and program
EP3046080A3 (en) 2015-01-14 2016-11-30 Ricoh Company, Ltd. Information processing apparatus, information processing method, and computer-readable recording medium
JP2017072999A (en) 2015-10-07 2017-04-13 株式会社リコー Information processing apparatus, information processing method and program

Cited By (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
WO2006025137A1 (en) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. Image processor, game machine, and image processing method
JP2006127468A (en) * 2004-09-28 2006-05-18 Canon Inc Information processing method and apparatus
JP4689380B2 (en) * 2004-09-28 2011-05-25 キヤノン株式会社 Information processing method and apparatus
US7661601B2 (en) 2004-10-15 2010-02-16 Sony Computer Entertainment Inc. Object, image data, image data transmission method, card, game mat, card game system, image analysis device, and image analysis method
WO2006041149A1 (en) * 2004-10-15 2006-04-20 Sony Computer Entertainment Inc. Object, image data, image data transmission method, card, game mat, card game system, image analysis device, and image analysis method
US8066195B2 (en) 2004-10-15 2011-11-29 Sony Computer Entertainment Inc. Object, image data, image data transmission method, card, game mat, card game system, image analysis apparatus, and image analysis method
WO2006109829A1 (en) * 2005-04-12 2006-10-19 Pioneer Corporation Communication system, communication device and method, and computer program
JP2007058296A (en) * 2005-08-22 2007-03-08 Fujifilm Holdings Corp Information providing system
JP2007206807A (en) * 2006-01-31 2007-08-16 Nippon Hoso Kyokai <Nhk> Image composing device and image composing program
JP2007219082A (en) * 2006-02-15 2007-08-30 Canon Inc Composite reality feeling display system
US8345952B2 (en) 2006-04-14 2013-01-01 Canon Kabushiki Kaisha Image processing system, image processing apparatus, image sensing apparatus, and control method thereof
JP2007286851A (en) * 2006-04-14 2007-11-01 Canon Inc Image processing system, image processor, imaging device, and control method thereof
US9867530B2 (en) 2006-08-14 2018-01-16 Volcano Corporation Telescopic side port catheter device with imaging system and method for accessing side branch occlusions
JP2010515189A (en) * 2007-01-05 2010-05-06 トタル イメルシオン Using data from the actual scene being represented by an image, a method for inserting a virtual object in real-time image stream and apparatus
US9622706B2 (en) 2007-07-12 2017-04-18 Volcano Corporation Catheter for in vivo imaging
US10219780B2 (en) 2007-07-12 2019-03-05 Volcano Corporation OCT-IVUS catheter for concurrent luminal imaging
US9596993B2 (en) 2007-07-12 2017-03-21 Volcano Corporation Automatic calibration systems and methods of use
US9165405B2 (en) 2007-09-25 2015-10-20 Metaio Gmbh Method and device for illustrating a virtual object in a real environment
US10043315B2 (en) 2007-09-25 2018-08-07 Apple Inc. Method and apparatus for representing a virtual object in a real environment
JP2010541053A (en) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング A method and apparatus for depicting the virtual object in the real environment
JP2012226766A (en) * 2007-09-25 2012-11-15 Metaio Gmbh Method and device for drawing virtual object in real environment
JP2014238883A (en) * 2007-09-25 2014-12-18 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method and device for drawing virtual object in real environment
US9390560B2 (en) 2007-09-25 2016-07-12 Metaio Gmbh Method and device for illustrating a virtual object in a real environment
JP2010541054A (en) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング A method and apparatus for depicting the virtual object in the real environment
JP2009087176A (en) * 2007-10-02 2009-04-23 Casio Comput Co Ltd Object generation system, object generation device, and object generation program
JP2010540973A (en) * 2007-10-05 2010-12-24 ヴォルカノ コーポレイションVolcano Corporation Real-time spectral domain optical coherence tomography using a distributed acquisition and processing
JP2009150883A (en) * 2007-12-18 2009-07-09 General Electric Co <Ge> System and method of extension reality inspection and data visualization
JP2009271822A (en) * 2008-05-09 2009-11-19 Dainippon Printing Co Ltd Interior furniture purchase support system, method, program, and medium
JP2010045621A (en) * 2008-08-13 2010-02-25 Casio Comput Co Ltd Imaging apparatus
JP2010157034A (en) * 2008-12-26 2010-07-15 Ritsumeikan System, method, and program for displaying composite image
JP2010157035A (en) * 2008-12-26 2010-07-15 Ritsumeikan System, method, and program for displaying composite image
JP2010170316A (en) * 2009-01-22 2010-08-05 Konami Digital Entertainment Co Ltd Apparatus, method and program for displaying augmented reality
JP2010179403A (en) * 2009-02-05 2010-08-19 Denso Wave Inc Robot simulation image display system
JP2010257359A (en) * 2009-04-28 2010-11-11 Sony Corp Information processing device, information processing method and program
US9772683B2 (en) 2009-04-28 2017-09-26 Sony Corporation Information processing apparatus to process observable virtual objects
JP2011095964A (en) * 2009-10-29 2011-05-12 Toppan Printing Co Ltd Portable terminal, method, and program
WO2011065680A2 (en) * 2009-11-25 2011-06-03 Lg Electronics Inc. Managing multimedia contents using general objects
WO2011065680A3 (en) * 2009-11-25 2011-10-20 Lg Electronics Inc. Managing multimedia contents using general objects
US9390503B2 (en) 2010-03-08 2016-07-12 Empire Technology Development Llc Broadband passive tracking for augmented reality
US8610771B2 (en) 2010-03-08 2013-12-17 Empire Technology Development Llc Broadband passive tracking for augmented reality
JP2013515275A (en) * 2010-03-08 2013-05-02 エンパイア テクノロジー ディベロップメント エルエルシー Broadband passive tracking for augmented reality
JP2011198150A (en) * 2010-03-19 2011-10-06 Fujifilm Corp Head-mounted augmented reality video presentation device and virtual display object operation method
JP2011242934A (en) * 2010-05-17 2011-12-01 Ntt Docomo Inc Object display device, object display system and object display method
KR101330811B1 (en) 2010-08-25 2013-11-18 주식회사 팬택 Apparatus and Method for augmented reality using instant marker
EP2434458A2 (en) 2010-09-27 2012-03-28 Nintendo Co., Ltd. Image processing program, apparatus, system, and method for mixed reality
US8698902B2 (en) 2010-09-27 2014-04-15 Nintendo Co., Ltd. Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method
JP2012202876A (en) * 2011-03-25 2012-10-22 Fuji Xerox Co Ltd Recognition object, object recognition apparatus and program, and object recognition system
US20140240652A1 (en) * 2011-03-29 2014-08-28 Sharp Kabushiki Kaisha See-through display device, and electrical device and furniture piece each of which is provided with see-through display device
JP2013024586A (en) * 2011-07-15 2013-02-04 Univ Of Yamanashi Monospectral marker, method and device for detecting the same
US9360630B2 (en) 2011-08-31 2016-06-07 Volcano Corporation Optical-electrical rotary joint and methods of use
WO2013061504A1 (en) * 2011-10-27 2013-05-02 Sony Corporation Image processing apparatus, image processing method, and program
US9704297B2 (en) 2011-10-27 2017-07-11 Sony Corporation Image processing apparatus, image processing method, and program
US9292974B2 (en) 2011-10-27 2016-03-22 Sony Corporation Image processing apparatus, image processing method, and program
US9626806B2 (en) 2011-10-27 2017-04-18 Sony Corporation Image processing apparatus, image processing method, and program
US10068382B2 (en) 2011-10-27 2018-09-04 Sony Corporation Image processing apparatus, image processing method, and program
WO2013069189A1 (en) 2011-11-11 2013-05-16 Sony Corporation Information processing apparatus, information processing method, and program
US9497389B2 (en) 2011-11-11 2016-11-15 Sony Corporation Information processing device, information processing method, and program for reduction of noise effects on a reference point
US9928626B2 (en) 2011-11-11 2018-03-27 Sony Corporation Apparatus, method, and program for changing augmented-reality display in accordance with changed positional relationship between apparatus and object
WO2013069196A1 (en) 2011-11-11 2013-05-16 Sony Corporation Information processing device, information processing method, and program
JP2013105328A (en) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc Simulation method, simulation device and control program for simulation device
JP2013105329A (en) * 2011-11-14 2013-05-30 Konica Minolta Business Technologies Inc Simulation method, simulation device and control program for simulation device
JP2013130919A (en) * 2011-12-20 2013-07-04 Casio Comput Co Ltd Information processing device, information processing method, and program
WO2013145883A1 (en) 2012-03-26 2013-10-03 ソニー株式会社 Information processing device, information processing method and program
WO2013145566A1 (en) 2012-03-26 2013-10-03 Sony Corporation Information processing apparatus, information processing method, and program
US9984468B2 (en) 2012-03-26 2018-05-29 Sony Corporation Information processing device and method for recognising an image
WO2013145673A1 (en) 2012-03-26 2013-10-03 Sony Corporation Information processing apparatus, information processing method, and program
JP2014056450A (en) * 2012-09-13 2014-03-27 Casio Comput Co Ltd Image processing device and program
JP2014071520A (en) * 2012-09-27 2014-04-21 Kyocera Corp Display device, control method and control program
WO2014050957A1 (en) * 2012-09-27 2014-04-03 京セラ株式会社 Display device, control method, and control program
JP2014072570A (en) * 2012-09-27 2014-04-21 Kyocera Corp Display device and control method
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
US9324141B2 (en) 2012-10-05 2016-04-26 Volcano Corporation Removal of A-scan streaking artifact
US10070827B2 (en) 2012-10-05 2018-09-11 Volcano Corporation Automatic image playback
US9478940B2 (en) 2012-10-05 2016-10-25 Volcano Corporation Systems and methods for amplifying light
US9286673B2 (en) 2012-10-05 2016-03-15 Volcano Corporation Systems for correcting distortions in a medical image and methods of use thereof
US9292918B2 (en) 2012-10-05 2016-03-22 Volcano Corporation Methods and systems for transforming luminal images
US9367965B2 (en) 2012-10-05 2016-06-14 Volcano Corporation Systems and methods for generating images of tissue
US9307926B2 (en) 2012-10-05 2016-04-12 Volcano Corporation Automatic stent detection
US9858668B2 (en) 2012-10-05 2018-01-02 Volcano Corporation Guidewire artifact removal in images
US10238367B2 (en) 2012-12-13 2019-03-26 Volcano Corporation Devices, systems, and methods for targeted cannulation
US9709379B2 (en) 2012-12-20 2017-07-18 Volcano Corporation Optical coherence tomography system that is reconfigurable between different imaging modes
US9730613B2 (en) 2012-12-20 2017-08-15 Volcano Corporation Locating intravascular images
US9486143B2 (en) 2012-12-21 2016-11-08 Volcano Corporation Intravascular forward imaging device
US10191220B2 (en) 2012-12-21 2019-01-29 Volcano Corporation Power-efficient optical circuit
US10166003B2 (en) 2012-12-21 2019-01-01 Volcano Corporation Ultrasound imaging with variable line density
US10058284B2 (en) 2012-12-21 2018-08-28 Volcano Corporation Simultaneous imaging, monitoring, and therapy
US10332228B2 (en) 2012-12-21 2019-06-25 Volcano Corporation System and method for graphical processing of medical data
US9612105B2 (en) 2012-12-21 2017-04-04 Volcano Corporation Polarization sensitive optical coherence tomography system
US9383263B2 (en) 2012-12-21 2016-07-05 Volcano Corporation Systems and methods for narrowing a wavelength emission of light
KR101348680B1 (en) * 2013-01-09 2014-01-09 국방과학연구소 Target acquisition method for video tracker, and target acquisition apparatus using the same
US10226597B2 (en) 2013-03-07 2019-03-12 Volcano Corporation Guidewire with centering mechanism
US9770172B2 (en) 2013-03-07 2017-09-26 Volcano Corporation Multimodal segmentation in intravascular images
US9301687B2 (en) 2013-03-13 2016-04-05 Volcano Corporation System and method for OCT depth calibration
US10219887B2 (en) 2013-03-14 2019-03-05 Volcano Corporation Filters with echogenic characteristics
US10292677B2 (en) 2013-03-14 2019-05-21 Volcano Corporation Endoluminal filter having enhanced echogenic properties
JP2016531276A (en) * 2013-06-13 2016-10-06 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se Detector for detecting the orientation of at least one object optically
KR101539087B1 (en) * 2013-08-22 2015-07-29 김정한 Augmented reality device using mobile device and method of implementing augmented reality
US9508174B2 (en) 2014-02-03 2016-11-29 Brother Kogyo Kabushiki Kaisha Display device and non-transitory storage medium storing instructions executable by the display device
JP2015154854A (en) * 2014-02-20 2015-08-27 株式会社三洋物産 Game machine
JP2015179392A (en) * 2014-03-19 2015-10-08 カシオ計算機株式会社 Code symbol display device, information processor, and program
JP2016038796A (en) * 2014-08-08 2016-03-22 東芝テック株式会社 Information processor and program
JP2016149022A (en) * 2015-02-12 2016-08-18 株式会社キヌガワ京都 Sales support program and sales support device
JP6105117B1 (en) * 2016-03-25 2017-03-29 東芝エレベータ株式会社 Hoistway shape information generating device for an elevator, and the marker member used in this
WO2017215308A1 (en) * 2016-06-14 2017-12-21 珠海格力电器股份有限公司 Method, device and system for controlling electrical appliance

Also Published As

Publication number Publication date
JP4032776B2 (en) 2008-01-16

Similar Documents

Publication Publication Date Title
US8970690B2 (en) Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
CN1698357B (en) Method for displaying an output image on an object
JP4065507B2 (en) Information presentation apparatus and an information processing method
US8850337B2 (en) Information processing device, authoring method, and program
US7154395B2 (en) Interactive wireless tag location and identification system
Rohs et al. Using camera-equipped mobile phones for interacting with real-world objects
Hagbi et al. Shape recognition and pose estimation for mobile augmented reality
JP5632073B2 (en) Apparatus and method for augmented reality
US20080071559A1 (en) Augmented reality assisted shopping
KR101667345B1 (en) System and method of indicating transition between street level images
US20090231270A1 (en) Control device for information display, corresponding system, method and program product
EP1883052A2 (en) Generating images combining real and virtual images
Klinker et al. Fata morgana-a presentation system for product design
US8335400B2 (en) Information processing method and information processing apparatus
US8970624B2 (en) Entertainment device, system, and method
US20110279478A1 (en) Virtual Tagging Method and System
Raskar et al. RFIG lamps: interacting with a self-describing world via photosensing wireless tags and projectors
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN100470452C (en) Method and system for implementing three-dimensional enhanced reality
JP6022562B2 (en) Mobile augmented reality system
US10210659B2 (en) Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
Rohs Real-world interaction with camera phones
EP2981945A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
JP2005122696A (en) Interactive display system and interactive display method
CN203224887U (en) Display control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071015

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees