JP2002058045A - System and method for entering real object into virtual three-dimensional space - Google Patents

System and method for entering real object into virtual three-dimensional space

Info

Publication number
JP2002058045A
JP2002058045A JP2000240125A JP2000240125A JP2002058045A JP 2002058045 A JP2002058045 A JP 2002058045A JP 2000240125 A JP2000240125 A JP 2000240125A JP 2000240125 A JP2000240125 A JP 2000240125A JP 2002058045 A JP2002058045 A JP 2002058045A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
data
user
dimensional model
object
system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000240125A
Other languages
Japanese (ja)
Inventor
Hisafumi Hamachi
Hiroyoshi Yamaguchi
博義 山口
尚史 浜地
Original Assignee
Komatsu Ltd
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To simply fetch tree-dimensional model data of a real object such as a man's body, an article, or the like into a virtual three-dimensional space to make the three-dimensional model take different pause or perform a motion. SOLUTION: An object 7 such as a man's body, an article, or the like is photographed by a plurality of sets of multiple-eye stereoscopic camera (for example, 9 video camera disposed in 3×3 matrix) installed in a store, etc., and output dynamic picture image data is transmitted to a modeling server 1 through a network 8. The modeling server 1 forms a three-dimensional model of the object 7 from the dynamic picture image. This three-dimensional model is formed so as to move based on a motion of the object 7 when photographing. A user system 4 receives the three-dimensional model, and fetches it into a virtual three-dimensional space of applications such as a virtual fitting of cloths, an experience game, or the like to move it.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明が属する技術分野】本発明は、現実の物体の3次元モデルデータをバーチャル3次元空間に登場させるためのシステム及び方法に関する。 The present invention relates] relates to systems and methods for appearing three-dimensional model data of a real object in the virtual three-dimensional space.

【0002】 [0002]

【従来の技術】コンピュータによるバーチャル3次元空間を応用したシステムは、衣服試着や体験型ゲームなどの様々な用途で提案されている。 System which applies the virtual three-dimensional space according to the prior art] computer has been proposed in a variety of applications such as clothes fitting and interactive games. 例えば、特開平10− For example, JP-A-10-
124574号には、ユーザの身体の写真又は寸法データから、ユーザ身体の3次元モデルデータを作成し、そのユーザ身体の3次元モデルをコンピュータのバーチャル3次元空間に取りこんで、衣服の3次元モデルを着せたり口紅の色データを付けたりすることで、衣服や口紅の試着シミュレーションができるようにしたシステムが開示されている。 The No. 124 574, from the user's body photo or dimension data, to create a three-dimensional model data of the user's body, takes in the three-dimensional model of the user's body in the virtual three-dimensional space of the computer, a three-dimensional model of the garment by or colored data dress or lipstick, systems to allow fitting simulated clothing and lipstick is disclosed. これと類似又は関連性のある試着システムは、特開平10−340282号、特開平11−2 This similar or relevant fitting system, JP-A-10-340282, JP-11-2
03347号及び特開平11−265243号などにも開示されている。 It is also disclosed in such Patent and Japanese Unexamined Patent Publication No. 11-265243 03,347.

【0003】また、特開平11−3437号には、バーチャル3次元空間を体験型ゲームに応用したシステムが開示されている。 [0003] Also, in JP-A-11-3437, a system that applies the virtual three-dimensional space to interactive game is disclosed. これは、ゲームのバーチャル3次元空間内に存在する登場人物の3次元モデルに、カメラで撮影したゲームプレイヤの2次元画像をテクスチャマッピングすることで、プレイヤ自身がゲームの登場人物になったように演出するものである。 This is, in a three-dimensional model of the characters that exist in the game of virtual three-dimensional space, a two-dimensional image of the game player taken with the camera by texture mapping, as the player himself has become the characters of the game it is intended to produce.

【0004】 [0004]

【発明が解決しようとする課題】上述した従来のゲームシステムでは、バーチャル3次元空間内に存在する登場人物の3次元モデルは、ゲームプレイヤの身体特徴とは全く関係のない、一定の姿形をもったものである。 In the [0006] conventional game system described above, the three-dimensional model of the characters present in the virtual three-dimensional space is not related at all to the body characteristics of the game player, a certain appearance form it is those that have. その点で、プレイヤ自身がゲームの登場人物になるというリアリティのレベルはまだ不満足である。 In that respect, the level of reality that the player himself is in the characters of the game is still unsatisfactory. 一方、上述した従来の試着システムでは、ユーザ身体の3次元モデルデータをバーチャル3次元空間に取りこむため、ユーザ自身が試着をするというリアリティは非常に高い。 On the other hand, in the conventional fitting system described above, for incorporating the three-dimensional model data of the user's body in a virtual three-dimensional space, reality that the user himself to the fitting is very high.

【0005】しかしながら、上述の従来技術は、ユーザ身体の3次元モデルデータを作成するための具体的な方法又は手段を何も提供していない。 However, the above prior art does not provide any specific method or means for creating a three-dimensional model data of the user's body. もし、ユーザ身体の3次元モデルデータを生成するのに、ユーザ自身が非常に高価な設備を持つ必要があったり、多大な手間や費用がかかったりするようであれば、上述したようなバーチャル空間を利用したシステムを実用化することは困難である。 If, to generate a three-dimensional model data of the user's body, or there is a need for the user himself with the very expensive equipment, as long as it takes a great deal of effort and expense, virtual space, such as described above it is difficult to commercialize a system that uses the.

【0006】従って、本発明の目的は、人の身体や物品などの現実の物体の3次元モデルデータをユーザに過大な負担をかけることなく生成して、その3次元モデルをバーチャル3次元空間に取り込めるようにすることにある。 [0006] Therefore, it is an object of the present invention generates without placing an excessive burden on a three-dimensional model data of the reality of the object, such as a person's body and goods to the user, the three-dimensional model in a virtual three-dimensional space It is to make it capture.

【0007】また、本発明の別の目的は、現実の物体の3次元モデルデータを取り込んだバーチャル3次元空間のリアリティを一層高めるために、その3次元モデルデータをバーチャル3次元空間内で異なるポーズをとったりモーションを行わせたりすることができるようにすることにある。 Further, another object of the present invention, in order to further enhance the reality of the virtual three-dimensional space incorporating three-dimensional model data of a real object, poses different the three-dimensional model data in the virtual three-dimensional space it is to be able to or to perform the motion or taking.

【0008】 [0008]

【課題を解決するための手段】本発明の第1の観点に従う、ユーザの利用するコンピュータアプリケーションのバーチャル3次元空間に現実の物体を登場させ得るようにするためのシステムは、ユーザが利用可能なステレオ撮影装置と通信可能であって、そのステレオ撮影装置から、現実の物体をステレオ撮影した実写データを受信する実写データ受信手段と、受信した実写データに基づいて、前記コンピュータアプリケーションがバーチャル3 According to a first aspect of the present invention According to an aspect of the system of order to be able to appear the real objects in a virtual three-dimensional space of a computer application used by the user is available to the user a can communicate with stereo imaging unit, from the stereo imaging unit, and the photographed data receiving means for receiving photographed data the real objects and stereographic photography, based on the received photographed data, the computer application is a virtual 3
次元空間に取り込むことのできる所定のデータフォーマットで、前記物体の3次元モデルを作成するモデリング手段と、作成した3次元モデルデータを、ユーザ又はユーザの利用するコンピュータアプリケーションに提供できるような方法で出力する3次元モデル出力手段とを備えている。 In a predetermined data format that can be incorporated into dimensional space, and the modeling means for creating a three-dimensional model of the object, the 3D model data created, the output in such a way that it can be provided to a computer application used by the user or user and a three-dimensional model output means for.

【0009】このシステムを利用すれば、ユーザは、自分の身体や物品など、コンピュータアプリケーションのバーチャル3次元空間に取り込みたいと思っている物体を、ステレオ撮影装置で撮影して、その実写データをこのシステムに送信すれば、このシステムからその物体の3次元モデルデータを受け取ることができるので、その受け取った3次元モデルデータを自分のコンピュータアプリケーションに取り込むことができる。 [0009] By using this system, the user, such as his or her body or goods, the object that I want to capture in a virtual three-dimensional space of the computer application, to shoot in stereo imaging apparatus, this the live-action data if sent to the system, it is possible to receive a three-dimensional model data of the object from the system, it is possible to incorporate the three-dimensional model data received on their computer applications.

【0010】好適な実施形態では、このシステムは、インターネットなどの通信ネットワーク上にモデリングサーバとして存在ている。 [0010] In a preferred embodiment, the system is present as the modeling server on a communication network such as the Internet. そして、例えば百貨店やゲームセンタやコンビニエンスストアなどの店舗に設置したステレオ撮影装置か、又はユーザ自身が持っているステレオ撮影装置で、ユーザが所望の物体を撮影して、その実写データを通信ネットワークを通じてモデリングサーバに送信すれば、モデリングサーバがその物体の3次元モデルを作成して、その3次元モデルを通信ネットワークを通じて店舗のコンピュータシステムか又はユーザ自身のコンピュータシステムに返送してくれる。 Then, for example, or stereo imaging apparatus installed in a store such as a department store or a game center or a convenience store, or a stereo imaging device the user himself has the user to shoot the desired object, through a communications network that photographed data if sent to the modeling server, modeling server creates a 3-dimensional model of the object, us back to the store computer system or the user's own computer systems through a communications network that three-dimensional model. こうして、 thus,
ユーザは簡単に、所望の物体の3次元モデルを取得して、それをバーチャル試着や体験型ゲームなどの所望のアプリケーションに取り込むことができる。 The user simply obtains the three-dimensional model of the desired object, it can be incorporated into the desired application, such as a virtual fitting and interactive games.

【0011】好適な実施形態では、ステレオ撮影装置で撮影した物体の実写データは、その物体が異なるポーズをそれぞれとったときに撮影された複数ポーズの実写データを含んでいる。 [0011] In preferred embodiments, photographed data of an object photographed by the stereo imaging system includes a photographed data of a plurality poses taken when the object is taken respectively different poses. 例えば、ステレオ撮影装置がビデオカメラを用いたものであれば、例えばユーザが自分自身を撮影するときに、様々なポーズをとったり、或るモーションを行ったりしながら撮影すれば、多くの異なるポーズの実写データが得られる。 For example, the stereo imaging apparatus as long as it was using a video camera, for example when the user to shoot yourself, or take a variety of poses, if taken while and go a certain motion, a number of different poses of Stock data is obtained. モデリング手段は、このような異なるポーズの実写データを受け取って、それに基づき、異なるポーズをとったり又はモーションを行うことのできるような構成の3次元モデルデータを作成する。 Modeling means receives the photographed data of such different poses, based thereon, to create a three-dimensional model data structure as capable of performing or motion or take a different poses. これにより、ユーザは、作成された3次元モデルデータをコンピュータアプリケーションのバーチャル3次元空間に取り込んで、その3次元モデルに様々な異なるポーズをとらせたり又はモーションを行わせたりすることができる。 Thus, the user can or to a three-dimensional model data created incorporating a virtual three-dimensional space of the computer application, perform or motion or to take a variety of different poses to the three-dimensional model.

【0012】好適な実施形態では、ステレオ撮影装置はビデオカメラを用いており、現実の物体が或るモーションを行っているときに、それを撮影してそのモーションの動画像データを出力する。 [0012] In a preferred embodiment, the stereo imaging unit is using a video camera, when a real object is performing a certain motion and shoot it outputs the moving picture data of the motion. モデリング手段は、その動画像データを受け取って、それに基づいて、現実の物体が行ったと同じモーションを行なうような構成の3次元モデルデータを作成する。 Modeling means, it receives the moving image data, based on it, to create a three-dimensional model data structure to perform the same motion as the real object is done. そのため、ユーザは、バーチャル3次元空間内でその3次元モデルに、現実の物体と同じモーションを行わせることができる。 Therefore, the user can cause to the three-dimensional model in the virtual three-dimensional space, perform the same motion as the real objects. さらに、好適な実施形態では、モデリング手段は、ステレオ撮影装置による撮影中に現実の物体が行っているモーションに実質的にリアルタイムで追従して同じモーションを行うように、前記3次元モデルデータを作成する。 Furthermore, in a preferred embodiment, the modeling means, to perform the same motion to follow substantially in real time the motion object in the real during shooting by the stereo imaging unit is performing, creating the three-dimensional model data to. そのため、 for that reason,
ユーザが例えば自分自身を撮影しながら、モデリング手段からリアルタイムで出力される自分自身の3次元モデルデータを例えばゲームなどのバーチャル3次元空間に取り込めば、ユーザが或るモーションを行なうと、それと同時にゲームのバーチャル3次元空間内でもユーザの3次元モデルが全く同じモーションを行うことになる。 While user shooting, for example, yourself, if can capture three-dimensional model data of their own, which is output from the modeling means in real time in the virtual three-dimensional space, such as, for example, a game, when the user performs a certain motion, at the same time game 3-dimensional model of the user is to be carried out exactly the same motion also in the virtual three-dimensional space of.
それにより、ユーザ自身がバーチャル3次元空間に入り込んだような高いリアリティが得られる。 Thus, the user himself higher reality as entered in the virtual three-dimensional space is obtained.

【0013】本発明の第2の観点に従うシステムは、上述したステレオ撮影装置とモデリング装置とを組み合わせたものである。 [0013] system according to a second aspect of the present invention is a combination of the stereo imaging unit and modeling device described above.

【0014】本発明の第3の観点に従うシステムは、上述したステレオ撮影装置とモデリング装置に更に、作成された3次元モデルをバーチャル3次元空間に取り込むコンピュータアプリケーションが実行できるコンピュータ装置を組み合わせたものである。 [0014] system according to a third aspect of the present invention, which further stereo imaging apparatus and modeling device described above, a combination of computer device computer application can perform to take a three-dimensional model created in the virtual three-dimensional space is there.

【0015】 [0015]

【発明の実施の形態】図1は、本発明の一実施形態にかかるバーチャル試着システムの全体構成を示す。 Figure 1 DETAILED DESCRIPTION OF THE INVENTION shows an overall configuration of a virtual try-on system according to an embodiment of the present invention.

【0016】モデリングサーバ1と、衣裳メーカや衣裳販売店などの衣裳サプライヤが管理するコンピュータシステム(以下、「衣裳サプライヤシステム」という)2 [0016] The modeling server 1, a computer system that costume supplier, such as a costume maker and costume retailer to manage (hereinafter referred to as "costume supplier system") 2
と、バーチャル試着サーバ3と、ユーザのコンピュータシステム(例えば、パーソナルコンピュータやゲームコンピュータなどであり、以下、「ユーザシステム」という)4と、百貨店やゲームセンタやコンビニエンスストアなどの店舗に設備されたコンピュータシステム(以下、「店舗システム」という)5が、インターネットのような通信ネットワーク8を通じて相互通信可能に接続されている。 And, a virtual try-on server 3, the user of the computer system (for example, a personal computer or a game computer, hereinafter referred to as "user system" hereinafter) computer and 4, it has been equipment to stores such as department stores and game center and convenience store system (hereinafter, referred to as "store system") 5 are communicably interconnected via a communication network 8 such as the Internet. 図1では、モデリングサーバ1、衣裳サプライヤシステム2、バーチャル試着サーバ3、ユーザシステム4及び店舗システム5がそれぞれ一台づつしか図示されていないが、それぞれ複数台あってよい。 In Figure 1, the modeling server 1, apparel supplier system 2, the virtual try-on server 3, the user system 4 and the store system 5 not only shown a single increments respectively, there may a plurality respectively. 特に、 Especially,
衣裳サプライヤシステム2、ユーザシステム4及び店舗システム5は、それぞれ、衣裳サプライヤ、ユーザ及び店舗の数に応じて複数台存在するのが通常である。 Apparel supplier system 2, the user system 4 and the store system 5, respectively, costume suppliers, be present a plurality depending on the number of users and the store is a normal.

【0017】百貨店やゲームセンタやコンビニエンスストアなどの店舗にはまた、店舗システム5と接続されたステレオ撮影システム6が設備されている。 [0017] In addition to the stores such as department stores and game center and a convenience store, a stereo imaging system 6, which is connected to the store system 5 is equipment. ステレオ撮影システム6は、後に図9を参照して詳述するように、 Stereo imaging system 6, as later described in detail with reference to FIG. 9,
ユーザ7が入って様々なポーズをとることのできる広さをもった部屋のような空間6Aと、その空間6Aの周囲にその空間6Aを撮影できるように配置された複数の多眼ステレオカメラ6B、6B、…とからなる設備である。 And space 6A such as a room with a size that can contain the user 7 take various poses, a plurality of multi-view stereo cameras 6B that the space 6A arranged so as to be taken around the space 6A , 6B, which is a facility consisting ... and. 個々の多眼ステレオカメラ6Bは、例えば3×3マトリックスに配置された9個のビデオカメラから構成され、その9個のカメラから出力される実写データは後述するようにステレオ視法を用いた撮影対象物の距離画像の作成に用いられる。 Individual multi-view stereo cameras 6B is constituted of, for example, nine video camera arranged in 3 × 3 matrix, photographed data outputted from the 9 cameras imaging using the stereo method, as described below used to create a distance image of the object. 図示のようにステレオ撮影システム6の空間6Aの中にユーザ7が入り、そして、複数の多眼ステレオカメラ6B、6B、…でそのユーザ7を撮影すると、それら多眼ステレオカメラ6B、6B、…で撮影されたユーザ7の身体の実写データが、店舗システム5に送られる。 An user 7 in the space 6A of the stereo imaging system 6, as shown, and a plurality of multi-view stereo cameras 6B, 6B, ... in the shooting the user 7, they multiview stereoscopic camera 6B, 6B, ... in photographed data of a photographed user 7's body is sent to the store system 5.

【0018】店舗システム5は、ステレオ撮影システム6から受け取ったユーザ身体の実写データを、通信ネットワーク8を通じて、モデリングサーバ1へ送る。 [0018] The store system 5, the live-action data of the user's body, which was received from the stereo imaging system 6, through a communications network 8, sent to the modeling server 1. モデリングサーバ1は、店舗システム5から受信したユーザ身体の実写データを用いて、後に図9〜図13参照して詳述するような処理を行うことにより、ユーザの身体の3次元モデルデータを作成する。 Modeling server 1, using the photographed data of user's body received from the store system 5, after by performing processing as will be described in detail with reference FIGS. 9 13, creating a three-dimensional model data of the user's body to. モデリングサーバ1 Modeling server 1
は、作成したユーザ身体の3次元モデルデータをユーザデータベース1Aに保存し、その後に、そのユーザ身体の3次元モデルデータを通信ネットワーク8を通じて店舗システム5に送信する。 Stores a three-dimensional model data of the user body created in the user database 1A, subsequently, sends the store system 5 a three-dimensional model data of the user's body through a communications network 8. 店舗システム5は、そのユーザ身体の3次元モデルデータを、通信ネットワーク8を通じて(或いは記録ディスクのような可搬記録媒体などを通じて)、ユーザシステム4に送る。 Store system 5, a three-dimensional model data of the user's body, (such as through a portable recording medium such as a or the recording disk) through a communications network 8, and sends the user system 4. 又は、モデリングサーバ1は、ユーザデータベース1Aに保存したユーザ身体の3次元モデルデータを、ユーザシステム4から要求された時に、通信ネットワーク8を通じて直接的にユーザシステム4に送信するようにしてもよい。 Or, modeling server 1, the three-dimensional model data of the user's body stored in the user database 1A, when requested from the user system 4, may be transmitted directly to the user system 4 through the communication network 8.

【0019】ところで、ユーザ自身がステレオ撮影システム6を持つことも可能である。 [0019] By the way, it is also possible for the user himself with a stereo imaging system 6. その場合は、複数台(例えば、2台か3台)の多眼ステレオカメラ6B、6 In that case, a plurality (e.g., two or three) of the multi-lens stereo camera 6B, 6
B、…を自分の部屋に設置して、それら多眼ステレオカメラ6B、6B、…から実写データをユーザシステム4 B, installed ... to their own room, their multi-eye stereo camera 6B, 6B, user system 4 a live-action data from ...
を通じてモデリングサーバ1へ送るようにしておけばよい。 It is sufficient to send to the modeling server 1 through. 多眼ステレオカメラ6Bそれ自体の価格は本願の出願時点で10万円以下であり、将来的には一層低下するであろうから、ステレオ撮影システム6を自分で持つことができるユーザは今後増えるであろう。 Price multiview stereo camera 6B itself is less 100,000 yen filing date of the present application, since it will in the future be further reduced, the user can have a stereoscopic imaging system 6 on their own than increase future It will allo.

【0020】さて、衣裳サプライヤシステム2は、その衣裳サプライヤが提供する様々な衣裳(衣服、靴、帽子、アクセサリ、バッグなど)の3次元モデルデータを作成して衣裳データベース2Aに蓄積しており、それらの衣裳の3次元モデルデータを、通信ネットワーク8又はディスク記録媒体などを通じて、バーチャル試着サーバ3に送る。 [0020] Now, costume supplier system 2, a variety of costumes the costume suppliers to provide (clothing, shoes, hats, accessories, bags, etc.) has been accumulated in the costume database 2A to create a three-dimensional model data of, the three-dimensional model data of their costumes, such as through a communication network 8 or the disk recording medium, and sends the virtual try-on server 3. 又は、衣裳サプライヤシステム2は、店舗のステレオ撮影システム6と同様又は類似のステレオ撮影システムで衣裳(又は、その衣裳を着た人)を撮影して、その実写データをモデリングサーバ1に送ってモデリングサーバ1に衣裳の3次元モデルデータを作成してもらい、その衣裳の3次元モデルデータを、モデリングサーバ1から受け取ってバーチャル試着サーバ3へ送ってもよい(又は、モデリングサーバ1から直接的に通信ネットワーク8を通じてバーチャル試着サーバ3へ送ってもらってもよい)。 Or, costume supplier system 2, costume at the store stereo imaging system 6 and the same or similar stereo imaging system (or, the person wearing the costume) to shoot, and send the live-action data to the modeling server 1 modeling the server 1 asked to create a three-dimensional model data of the costume, a three-dimensional model data of the costume, which may be sent to the virtual try-on server 3 received from the modeling server 1 (or, communication directly from the modeling server 1 You may be asked to send to the virtual try-on server 3 via the network 8).

【0021】バーチャル試着サーバ3は、例えば百貨店や衣料品店のウェブサイトなどであって、衣裳サプライヤシステム2などから受け取った様々な衣裳の3次元モデルデータを、サプライヤ別に衣裳データベース3Aに蓄積しており、また、ユーザシステム4で実行可能なバーチャル試着用プログラム3Bを有している。 [0021] The virtual try-on server 3, for example, and the like web site of the department stores and clothing stores, a three-dimensional model data of various costumes received from such as costume supplier system 2, accumulated by the supplier in costume database 3A cage also has a virtual trial fitting program 3B executable on the user system 4. そして、 And,
ユーザシステム4から要求されると、バーチャル試着サーバ3は、その様々な衣裳の3次元モデルデータとバーチャル試着用プログラムとをユーザシステム4に通信ネットワーク8を通じて送る。 When it requested from the user system 4, the virtual try-on server 3 sends through the communication network 8 and its various apparel three-dimensional model data and programs for a virtual fitting of the user system 4.

【0022】ユーザシステム4は、モデリングサーバ1 [0022] The user system 4, modeling server 1
などから受け取ったユーザ身体の3次元モデルデータと、バーチャル試着システム3から受け取った様々な衣裳の3次元モデルデータとバーチャル試着用プログラムとをハードディスクドライブなどの補助記憶装置4Aにインストールし、そして、ユーザの指示に従ってバーチャル試着用プログラムを実行する。 A three-dimensional model data of the user body received from, such as a three-dimensional model data and programs for the virtual fitting for various apparel received from the virtual try-on system 3 installed in the auxiliary storage device 4A such as a hard disk drive, and the user to run the program for the virtual fitting in accordance with the instructions. ユーザ身体の3次元モデルデータ及び衣裳の3次元モデルデータは、バーチャル試着プログラムがそれをバーチャル3次元空間に取り込むことができるような所定のデータフォーマットで作られている。 Three-dimensional model data of a three-dimensional model data and costume user's body is made of a predetermined data format such as can be virtual fitting program takes in it the virtual three-dimensional space. バーチャル試着用プログラムは、ユーザ身体の3次元モデルデータと、様々な衣裳の3次元モデルデータとをバーチャル3次元空間に取り込んで、そのバーチャル3次元空間内でユーザの3次元モデルに好きな衣裳を装わせて好きなポーズをとったり好きな動きをさせ、その姿を好きな視点から見た画像をレンダリングしてディスプレイ画面上に表示する。 Program for virtual fitting is, the three-dimensional model data of the user's body, takes in a 3-dimensional model data of various costumes in a virtual three-dimensional space, the favorite costume to the three-dimensional model of the user in the virtual three-dimensional space wheeled not allowed to favorite movement or take a favorite pose, be displayed on a display screen by rendering an image viewed the figure from a favorite point of view. バーチャル試着用プログラムは、また、ユーザ身体や衣裳の3次元モデルデータの任意の部位に任意の色やテクスチャを公知技術によってマッピングすることで、日焼けした場合や様々な化粧を施した場合や髪を染めた場合や衣服の色を変えた場合の姿もシミュレートでき、また、ユーザ身体の3 Program virtual fitting also by mapping by known techniques to any color and texture to any site of the three-dimensional model data of the user's body and costume, or if the hair subjected to case and various cosmetic tanned appearance of the case of changing the color of the case or clothes dyed can also be simulated, also, of the user's body 3
次元モデルデータに公知技術で拡大や縮小や変形や他モデルとの置換を加えることで、太った場合や痩せた場合や身長が伸びた場合や髪型を変えた場合などの姿もシミュレートすることができる。 By adding the replacement of the enlargement or reduction and modifications and other models in the known technology in dimensional model data, but also to simulate appearance, such as when you change the case and hairstyle that extends is and if the case of fat and lean stature it can. さらに、バーチャル試着用プログラムは、ユーザから任意の衣裳の注文を受け、その注文をバーチャル試着サーバ3へ送ることができる。 In addition, the program for the virtual fitting receives the order of any of the costumes from the user, it can send the order to the virtual try-on server 3.

【0023】このバーチャル試着システムによれば、ユーザは、自分では3次元モデリングのための設備を持たなくても、百貨店やゲームセンタやコンビニエンスストアなどの店舗に行ってそこに設置されたステレオ撮影システム6で自分の身体を撮影することで、自分の身体の3次元モデルデータを作ってもらって自分のコンピュータに取り込むことができ、その自分の3次元モデルデータを用いて、コンピュータのバーチャル3次元空間内でリアリティの高い様々な衣裳の試着を行うことができる。 [0023] According to the virtual try-on system, user, stereo imaging system which is installed need not have the facilities for 3-dimensional modeling by yourself, there to go to a store such as a department store or a game center and a convenience store by taking your body in 6, and asked to create a three-dimensional model data of your body can be incorporated into your own computer, using its own three-dimensional model data, the virtual three-dimensional space of the computer in it is possible to perform high fitting of the various costumes of reality. 加えて、後述するように、その自分の3次元モデルデータを、バーチャル試着だけでなく、体験型ゲームなどの他のアプリケーションのバーチャル3次元空間に取り込んで利用することも可能になる。 In addition, as described later, the own three-dimensional model data, not only the virtual fitting, it also becomes possible to use capture the virtual three-dimensional space of other applications, such as interactive games. また、衣裳サプライヤなどでは、ユーザの実写データ又はそれに基づく3 Also, like the costume suppliers, based on the photographed data or user 3
次元モデルデータを、ユーザの承諾を得た上でユーザのプライバシーを侵害しないような方法で取得し活用すれば、ユーザの身体に最適に合った衣裳を従来より低コストで設計製造したり、通常の採寸では得られない人体の細かいデータに基づいて人間工学的に一層進歩した新たな衣裳を開発設計したりすることが可能になる。 The dimensional model data, if acquired in so as not to infringe on the privacy of the user after obtaining the consent of the user how to take advantage, or manufacturing design at a lower cost than conventional optimally suits costume to the body of the user, usually measurements it is possible or to develop design ergonomically new costume that is more advanced on the basis of the obtained not the human body of the fine data in the.

【0024】図2と図3は、このバーチャル試着システムの処理手順をより詳細に示している。 FIG. 2 and FIG. 3 shows a processing procedure of the virtual try-on system in more detail. 図2は、モデリングサーバ1が中心となって行うユーザ身体の3次元モデルデータを作成するための処理手順を示している。 Figure 2 shows the procedure for creating a three-dimensional model data of the user body modeling server 1 performs at the heart. 図3は、バーチャル試着サーバ3が中心となって行うバーチャル試着がユーザシステムで実行させるための処理手順を示している。 Figure 3 is a virtual fitting the virtual try-on server 3 performs at the heart indicates a processing procedure for executing the user system.

【0025】まず、ユーザ身体の3次元モデルデータを作成するための処理手順を図1と図2を参照して説明する。 [0025] First, the processing procedure for creating a three-dimensional model data of the user's body with reference to FIGS.

【0026】(1) 図1に示すように、ユーザ7は、 [0026] (1) As shown in FIG. 1, user 7,
百貨店やゲームセンタやコンビニエンスストアなどの店舗に行き、料金を支払って、そこに設置されたステレオ撮影システム6になるべく薄着で入る。 Go to stores such as department stores and game center and a convenience store, pay a fee, as much as possible go in thin clothes in stereo imaging system 6, which is installed there.

【0027】(2) 図2に示すように、店舗システム5は、ユーザから料金を受けると、モデリングサーバ1 [0027] (2) As shown in FIG. 2, the store system 5 receives a fee from the user, modeling server 1
にアクセスを申し込み(ステップS11)、モデリングサーバ1は、店舗システム5からのアクセスを受け付ける(S1)。 Sign up for access to (step S11), and modeling server 1 accepts the access from the shop system 5 (S1).

【0028】(3) 店舗システム5側では、ステレオ撮影システム6にてユーザの全身の撮影が行われ、その全身の実写データがモデリングサーバ1へ送信される(S12)。 [0028] (3) in the store system 5 side, taking the user's whole body is carried out by the stereo imaging system 6, live-action data of the whole body will be sent to the modeling server 1 (S12). モデリングサーバ1は、その全身の実写データを受け取る(S2)。 Modeling server 1 receives the photographed data of the whole body (S2).

【0029】(4) モデリングサーバ1は、受け取った全身の実写データに基づいて、ユーザの全身の形状を表した体形3次元モデルデータを作成する(S3)。 [0029] (4) the modeling server 1 on the basis of the photographed data of the received whole body, to create a body shape three-dimensional model data representing the shape of the user's whole body (S3).

【0030】(5) 店舗システム5側では、ステレオ撮影システム6にて、全身よりも詳細にモデリングしたい局所、典型的にはユーザの顔、の撮影が行われ、その局所の実写データがモデリングサーバ1へ送信される(S13)。 [0030] (5) In the store system 5 side, in the stereo imaging system 6, local you want to modeling in more detail than systemic, typical face of the user, the shooting is performed in, live-action data modeling server of the local is transmitted to 1 (S13). モデリングサーバ1は、その局所の実写データを受け取る(S4)。 Modeling server 1 receives the photographed data of the local (S4). なお、この局所の撮影は、全身の撮影とは別に、全身よりも高倍率又は高解像度で局所だけを撮影するという方法で行ってもよいし、或るいは、始めから局所撮影に必要な高倍率又は高解像度で全身を撮影することで全身と局所を同時に撮影するという方法で行っても良い(後者の場合、撮影後に全身の実写データは必要十分な低解像度までデータ量を削減することができる)。 Incidentally, taking the local, apart from the imaging of the whole body, may be performed in a way that imaging only local at high magnification or higher resolution than the whole body, is one Rui, high to provide local shooting from the beginning may be carried out in a way that simultaneously photographs the systemic and local by photographing the whole body at a magnification or high resolution (in the latter case, the photographed data of the whole body after photographing is possible to reduce the amount of data to necessary and sufficient low resolution it can).

【0031】(6) モデリングサーバ1は、受け取った局所の実写データに基づいて、ユーザの局所、特に顔、の形状を表した局所3次元モデルデータを作成する(S5)。 [0031] (6) modeling server 1, based on the received local photographed data, the local user, especially the face, the shape to create a local three-dimensional model data representing the (S5).

【0032】(7) モデリングサーバ1は、全身の体形3次元モデルデータの顔などの局所に、対応する局所3次元モデルデータを入れ込むことで、ユーザの全身の形状と顔などの局所の詳細形状とを表した標準全身モデルを作成する(S6)。 [0032] (7) modeling server 1, the local such as the face of the whole body of the form 3-dimensional model data, by interleaving the corresponding local 3-dimensional model data, details of the local, such as the shape and face of the user of the whole body to create a standard full-body model that represents the shape (S6). モデリングサーバ1は、その標準全身モデルを店舗システム5に送信し(S7)、店舗システム5は、その標準全身モデルを受信する(S1 Modeling server 1 sends the standard full-body model to store system 5 (S7), the store system 5 receives the standard full-body model (S1
4)。 4).

【0033】(8) 店舗システム5は、受信した標準全身モデルをユーザシステム4に通信ネットワーク8を通じて送信するか、又は、CD−ROMのような可搬記録媒体に出力する(S15)。 [0033] (8) store system 5, or transmitted over a communication network 8 standard full-body model which has received the user system 4, or outputs to the portable storage medium such as a CD-ROM (S15). ユーザシステム4は、店舗システム5から通信ネットワーク8を通じて、又はC The user system 4 through the communication network 8 from the store system 5, or C
D−ROMのような可搬記録媒体から、その標準全身モデルを受け取り保存する(S21)。 From the portable recording medium such as a D-ROM, to store receives the standard full-body model (S21). ここで、受信した標準全身モデルを、店舗システム5又はユーザシステム4でレンダリングしてディスプレイ画面に表示することで、その標準全身モデルに問題がないかどうかをユーザが確認できるようにしてもよい。 Here, the standard full-body model that has received, by displaying on the display screen to render in-store system 5 or the user system 4, may be whether or not there is no problem with the standard full-body model so that the user can be confirmed.

【0034】(9) モデリングサーバ1は、店舗システム5が標準全身モデルを正常に受信し且つその標準全身モデルに問題がないことが確認されると、店舗(又はユーザ)から料金を徴収するための課金処理を行い、その課金結果のデータを店舗システム5に送る(S8)。 [0034] (9) modeling server 1, and that store system 5 there is no problem to successfully received and the standard full-body model of the standard full-body model is confirmed, in order to collect fees from the store (or the user) It performs billing processing, sends the data of the accounting result to the store system 5 (S8).
店舗システム5は、課金結果のデータを受け取る(S1 Store system 5 receives the data of the accounting result (S1
6)。 6).

【0035】次に、図1と図3を参照して、バーチャル試着をユーザシステムで実行させるための処理手順を説明する。 Next, with reference to FIGS. 1 and 3, the processing procedure for executing the virtual try-on the user system.

【0036】(1) 衣裳サプライヤシステム2が、様々な衣裳の3次元モデルデータを作成して(S31)、 [0036] (1) Costume supplier system 2, to create a three-dimensional model data of a variety of costume (S31),
バーチャル試着サーバ3に送信し(S32),バーチャル試着サーバ3は、その様々な衣裳の3次元モデルデータを受信して衣裳データベースに蓄積する(S41)。 Transmitted to the virtual try-on server 3 (S32), the virtual try-on server 3 stores the costume database receives the three-dimensional model data of the various apparel (S41).

【0037】(2) ユーザシステム4は、任意の時にバーチャル試着システム3にアクセスを申し込む(S5 [0037] (2) the user system 4 apply for access to the virtual try-on system 3 at any time (S5
1)。 1). バーチャル試着システム3は、ユーザシステム4 Virtual try-on system 3, a user system 4
からのアクセスを受け付けると(S42)、バーチャル試着用プログラムと様々な衣裳の3次元モデルデータとをユーザシステム4に送信する(S43)。 When receiving an access from (S42), and transmits the three-dimensional model data of a program and various apparel for virtual fitting the user system 4 (S43). ユーザシステム4は、受信したバーチャル試着用プログラムと様々な衣裳の3次元モデルデータとを、バーチャル試着用プログラムが実行できるように自機にインストールする(S52)。 User system 4, to install a three-dimensional model data of a virtual fitting program and various apparel received, in the multifunction peripheral to run a program for virtual fitting (S52). なお、必ずしも、バーチャル試着用プログラムと衣裳の3次元モデルデータとを同時にバーチャル試着システム3からユーザシステム4にダウンロードしなければならないわけではない。 It should be noted, it does not necessarily have to download a 3-dimensional model data of the program and the costume for the virtual try-on at the same time from the virtual try-on system 3 to the user system 4. バーチャル試着用プログラムと衣裳の3次元モデルデータと別の機会にダウンロードしてもよいし、或いは、バーチャル試着用プログラムと衣裳の3次元モデルデータの一方又は双方を、通信ネットワークを通じてではなく、CD−ROMなどの固体記録媒体に記録してユーザに配布してユーザシステム4にインストールするようにしてもよい。 May be downloaded to the three-dimensional model data and different occasions virtual fitting program and costume, or one or both of the three-dimensional model data of the program and the costume for virtual fitting, rather than through a communications network, CD- it may be installed on the user system 4 and distributed to users by being recorded on a solid recording medium such as a ROM.

【0038】(3) ユーザシステム4は、任意の時にバーチャル試着用プログラムを実行する(S53)。 [0038] (3) the user system 4 executes the program for a virtual fitting at any time (S53).

【0039】(4) ユーザは、バーチャル試着用プログラムに、任意の衣裳について注文を入力することができ、すると、バーチャル試着用プログラムは、その衣裳についての発注データをバーチャル試着サーバ3へ送信する(S54)。 [0039] (4) The user, on the program for the virtual try-on, it is possible to enter an order for any of the costume, Then, the program for the virtual fitting transmits the order data for the costume to the virtual try-on server 3 ( S54).

【0040】(5) バーチャル試着サーバ3は、ユーザシステム4から発注データを受けると、その衣裳を提供する衣装サプライヤの衣裳サプライヤシステム2へ、 [0040] (5) virtual try-on server 3 receives the order data from the user system 4, to costume supplier system 2 of costume supplier of the costume,
その衣裳についての注文データを送り(S44)、続いて、代金決済のための処理を行なって請求書などの決済関連のデータをユーザシステム4や衣裳サプライヤシステムへ送る(S45)。 Sends the order data for the costume (S44), followed by, send perform the processing for the payment of the settlement-related data, such as an invoice to the user system 4 and costume supplier system (S45). 衣裳サプライヤシステム2は、 Costume supplier system 2,
バーチャル試着サーバ3から注文データや決済関連のデータを受信し必要な業務処理を行う(S33、S3 It receives the order data and payment-related data from the virtual try-on server 3 performs a business process necessary (S33, S3
4)。 4). ユーザシステム4は、バーチャル試着サーバ3から決済関連のデータを受信し、ユーザに確認させる(S User system 4 receives the payment related data from the virtual try-on server 3, is confirmed by the user (S
55)。 55).

【0041】図4は、バーチャル試着用プログラムがユーザシステムのディスプレイ画面に表示するバーチャル試着ウィンドウの一例を示す。 [0041] Figure 4 shows an example of a virtual fitting windows program for virtual fitting is displayed on the display screen of the user system.

【0042】このバーチャル試着ウィンドウ500には、ショウステージウィンドウ501と、カメラコントロールウィンドウ502と、モデルコントロールウィンドウ503と、衣裳ルームウィンドウ504とがある。 [0042] The virtual fitting window 500, and show the stage window 501, a camera control window 502, the model control window 503, there is a costume room window 504.

【0043】バーチャル試着用プログラムは、ファッションショウステージの空間を模したバーチャル3次元空間内で、ユーザの標準全身モデル506をステージ上に立たせ、そして、その標準全身モデル506に所定のポーズを取らせ又は所定のモーションを行わせて、それを所定の位置に配置したカメラで所定のズーム倍率で撮影した2次元カラー画像をレンダリングして、その2次元カラー画像を図示のようにショウステージウィンドウ5 The program for the virtual fitting is a virtual three-dimensional space that simulates the space of the fashion show stage, the standard full-body model 506 of the user to stand on the stage, and, to take a certain pose in the standard full-body model 506 or to perform the predetermined motion, it renders a two-dimensional color images taken at a predetermined zoom magnification in the arrangement with the camera in position, show the stage window 5 as shown the two-dimensional color images
01に表示する。 01 To display.

【0044】衣裳ルームウィンドウ504には、様々な衣裳の3次元モデルを基本的な形で正面から見た2次元カラー画像508、508、…と、「着る」、「脱ぐ」 [0044] in the costume room window 504, various costumes of the three-dimensional model of the basic form a two-dimensional color image viewed from the front 508, 508, ... and, "wear", "take off"
及び「ショッピングカートへ」のボタンが表示されている。 And the button of the "shopping cart" is displayed. ユーザが衣裳ルームウィンドウ504に表示された任意の衣裳画像508、508、…を選択して、「着る」ボタンを操作すると、バーチャル試着用プログラムは、ショウステージウィンドウ501に表示されているユーザの標準全身モデル506に、選択された衣裳の3 Any of the costume image 508, 508 the user is displayed in the costume room window 504, ... to select, "wear" When you operate the button, the program for the virtual try-on, the standard of the user that is displayed on the small stage window 501 the whole body model 506, 3 of the selected costume
次元モデル507を着せる。 Dress the dimensional model 507. ユーザが「脱ぐ」ボタンを操作すると、バーチャル試着用プログラムは、その標準全身モデル506から、選択された衣裳の3次元モデル507を除去する。 When the user operates the "take off" button, the program for the virtual fitting is, from the standard full-body model 506, to remove the 3-dimensional model 507 of the selected costume.

【0045】カメラコントロールウィンドウ502内の「前」、「後」、「左」又は「右」ボタンをユーザが操作すると、バーチャル試着用プログラムは、バーチャル3次元空間内でユーザの標準全身モデル506を撮影しているカメラの位置を前、後、左又は右に移動させるので、ショウステージウィンドウ501に表示されている画像がカメラの移動に応じて変わる。 The "front" of the camera control window 502, "after", and operation "left" or "right" button the user, program for virtual fitting is, the standard full-body model 506 of the user in a virtual three-dimensional space before the position of the camera that shot, after, since moving to the left or right, changing the image displayed in the show stage window 501 in accordance with the movement of the camera. カメラコントロールウィンドウ502内の「ズームイン」又は「ズームアウト」ボタンをユーザが操作すると、バーチャル試着用プログラムは、バーチャル3次元空間内でユーザの標準全身モデル506を撮影しているカメラのズーム倍率を増大又は減少させるので、ショウステージウィンドウ5 When the "zoom in" or "zoom out" button in the camera control window 502 the user operates a program for the virtual fitting may increase a zoom magnification of the camera photographing the standard full-body model 506 of the user in the virtual three-dimensional space or because it reduces, show stage window 5
01に表示されている画像がズーム倍率の変化に応じて変わる。 01 to the image being displayed is changed according to the change of the zoom magnification.

【0046】モデルコントロールウィンドウ503内の「ポーズ1」又は「ポーズ2」ボタンをユーザが操作すると、バーチャル試着用プログラムは、バーチャル3次元空間内のユーザの標準全身モデル506に、「ポーズ1」又は「ポーズ2」にそれぞれ割り当てられたポーズ(例えば、気を付けの姿勢、休めの姿勢など)をとらせる。 [0046] When the "pause 1" or "pose 2" button of the model control window within the 503 user to operate, program for virtual fitting is, in standard full-body model 506 of the user of the virtual three-dimensional space, "pose 1" or assume a pose that has been allocated to the "pose 2" (for example, the attitude of care, such as the attitude of the rest). モデルコントロールウィンドウ503内の「モーション1」又は「モーション2」ボタンをユーザが操作すると、バーチャル試着用プログラムは、バーチャル3次元空間内のユーザの標準全身モデル506に、「モーション1」又は「モーション2」にそれぞれ割り当てられたモーション(例えば、ステージ先端まで歩いて行ってUターンして歩いて戻って来る、数回転ターンするなど)を行わせる。 When the model control window 503 "Motion 1" or a "Motion 2" button user to operate, program for virtual fitting is, in standard full-body model 506 of the user of the virtual three-dimensional space, "Motion 1" or "Motion 2 "motion respectively allocated (e.g., walked to the stage tip came back to walk a U-turn, such as several rotations turn) to perform. このようにユーザの標準全身モデル5 Standard full-body model of this way the user 5
06にユーザ指定のポーズを取らせたりモーションを行わせたりするとき、バーチャル試着用プログラムは、ユーザの標準全身モデル506が着ている衣裳の3次元モデル507も、そのポーズやモーションに合わせて動かす。 06 at the time of or to perform the motion or take the user-specified pose, program for virtual try-on a three-dimensional model 507 of the costume that standard full-body model 506 of the user is wearing well, move together with the pose and motion .

【0047】こうして、ユーザは、自分の標準全身モデル506に任意の衣裳を着せてファッションショウを行わせ、衣裳の良し悪しを確かめることができる。 [0047] In this way, the user, dress any costume to their standard full-body model 506 to perform a fashion show, it is possible to ascertain the good or bad of the costume. ユーザが、衣裳ルームウィンドウ504内から任意の衣裳画像508、508、…を選択して「ショッピングカートへ」ボタンを操作すると、バーチャル試着用プログラムは、選択された衣裳を、注文候補のリストである「ショッピングカート」へ入れる。 Users, costume room window any costume image from the inside of the 504 508, 508, ... When you select to operate the button "shopping cart" to the program for the virtual try-on, the selected costume, is a list of the order candidate Add to "shopping cart". 後に、ユーザが所定の発注ウィンドウ(図示せず)を開いて発注操作を行えば、バーチャル試着用プログラムは、ショッピングカートに入っている衣裳の注文データを作成してバーチャル試着サイトへ送信する。 Later, if the user has performed an order operation to open a predetermined order window (not shown), a program for virtual fitting will be sent to the virtual fitting site to create an order data of costume in the shopping cart.

【0048】さて、図4に示したように、ユーザの標準全身モデル506に複数のポーズをとらせたりモーションを行わせたりするためには、それが可能なようにユーザの標準全身モデル506が構成されている必要がある。 [0048] Now, as shown in FIG. 4, in order to or to perform the motion or to take a plurality of poses standard full-body model 506 of the user, the standard full-body model 506 of the user so as to enable it there needs to be configured. そのような標準全身モデル506の構成には、例えば次の2種類が考えられる。 The construction of such a standard full-body model 506, for example, be considered the following two.

【0049】(1) 標準全身モデル506が、現実の人間と同様に、その身体の各部が関節でジョイントされた別個の立体モデルになっている。 [0049] (1) Standard full-body model 506, similar to the real human, have become separate three-dimensional model of each part of the body is a joint in the joint. その関節を支点にして各部の立体モデルを回転させる(つまり、関節で折れ曲げる)ことで、その標準全身モデル506は様々な姿勢をとることができる。 And the joint fulcrum to rotate the three-dimensional model of each component (i.e., bending breakage in the joint) that is, the standard full-body model 506 can take various postures.

【0050】(2) 多数の異なるポーズの各々毎に標準全身モデル506が用意されている。 [0050] (2) a number of different poses standard full-body model 506 For each of the are prepared. それらの多数の標準全身モデル506の中から任意のポーズのものを選択してバーチャル3次元空間に置けば、その任意のポーズの姿が表示できる。 If you put selected ones from a large number of their standard full-body model 506 of arbitrary pose the virtual three-dimensional space, it can be displayed figure of any of its pose. また、それら多数の標準全身モデル506を任意のモーションのポーズ変化に従った順序で、高速にバーチャル3次元空間内に入れ替えて行くことで、任意のモーションを行なっている姿を表示することができる。 Further, in order according a number of standard full-body model 506 them pose change of any motion, by going replaced the virtual three-dimensional space at a high speed, it is possible to display a figure is being performed any motion .

【0051】上記のうち、(2)の多数の異なるポーズの標準全身モデルを用意する方法は、後に図9〜図13 [0051] Among the above, a method of providing a number of different poses standard systemic model (2), after 9 to 13
を参照して説明する3次元モデルを作成する方法から理解できるように、多眼ステレオカメラから出力される動画の各フレーム毎に3次元モデルを作成することで、簡単に行うことができる。 The As can be seen from a method of creating a three-dimensional model which will be described with reference, by creating a three-dimensional model for each frame of the moving image output from the multi-view stereo cameras can be easily performed.

【0052】一方、(1)の関節を持った標準全身モデルを作成する方法は、例えば図5及び図6に示すような処理手順によって行うことができる。 Meanwhile, a method of creating a standard full-body model having a joint (1) can be carried out by the procedure as shown in FIGS. 5 and 6, for example. ここで、図5は、 Here, FIG. 5,
関節を持った標準全身モデルを作成するためにモデリングサーバが行う処理流れを示し、既に説明した図2のステップS2〜S6に相当するものである。 It shows a process flow of the modeling server performs in order to create a standard full-body model having a joint, and corresponds to step S2~S6 of Figure 2 already described. 図6は、この処理流れの過程で作成される体形3次元モデルの構成を示す。 Figure 6 shows the structure of figure 3 dimensional model created in the course of this process stream.

【0053】図5のステップS61に示すように、モデリングサーバは、まず、ユーザが或る基本ポーズとそれ以外の複数の変形ポーズの各々をとったとき実写データをステレオ撮影システムから受け取る。 [0053] As shown in step S61 in FIG. 5, the modeling server first receives the photographed data from the stereo imaging system when a user takes a respective one elementary pose and other multiple variations pose. これは、後に図9〜図13を参照して説明するように、ステレオ撮影システム内でユーザが或るモーションを行いながら撮影を行って、そのときに多眼ステレオカメラから出力される動画を構成する一連の多数のフレーム画像(つまり、少しづつ異なる多数のポーズの実写データ)を受け取ることに相当する。 This is as will be described later with reference to FIGS. 9 to 13, by performing photographing while certain motion users within a stereo imaging system, configure the video output from the multiview stereo camera at that time a series of multiple frame images (i.e., photographed data little by little a number of different poses) corresponds to receiving.

【0054】次に、ステップS62に示すように、モデリングサーバは、それら異なる多数のポーズの実写データから、各ポーズ毎にユーザの全身の体形3次元モデルデータを作成する。 Next, as shown in step S62, the modeling server, from their many different poses photographed data, to create a body shape three-dimensional model data of the user of the whole body for each pose. このときに作成された各ポーズの体形3次元モデルデータは、図6に参照番号600で示すように、ユーザの全身を一塊の立体として捉えた3次元モデルデータ(以下、全身一体モデルという)である。 Three-dimensional model data forms of each pose that is created at this time, as shown by reference numeral 600 in FIG. 6, three-dimensional model data (hereinafter, systemic referred integral model) that captures the user's whole body as a stereoscopic a mass in is there.

【0055】次に、ステップS63に示すように、モデリングサーバは、異なるポーズ間で全身一体モデル60 Next, as shown in step S63, the modeling server, systemic integrated model 60 between the different poses
0を比較して、それが変形するときの折れ曲がり点、つまり各部の回転の支点を検出することで、肩、肘、股関節、膝などの関節の位置を例えば基本ポーズの全身一体モデル600で決定する。 Compared to 0, decision it bending point for deforming, i.e. by detecting the fulcrum of rotation of the various parts, shoulder, elbow, hip, the position of the joints such as the knee for example by elementary pose systemic integral model 600 to. そして、それらの関節で区切られる全身一体モデル600の各部分が身体の頭、首、 And those of each part of the whole body integrated model 600 that are separated by a joint of the body head, neck,
左右の上腕、左右の下腕、左右の手、胸、腹、腰、左右の大腿、左右の下腿、左右の足などのどの部位に該当するのか決定する。 The left and right upper arm, left and right of the lower arm, left and right hands, chest, belly, hip, the left and right thigh, left and right of the lower leg, to determine whether to correspond to any site, such as the right and left foot.

【0056】次に、ステップS64に示すように、モデリングサーバは、基本ポーズの全身一体モデル600 Next, as shown in step S64, the modeling server, systemic integrated model 600 of the basic pose
を、上述した多数の部位の立体モデルに分割し、図6に参照番号601で示すように、それらの部位の立体モデル602〜618を関節(黒丸点で図示する)でジョイントした体形3次元モデル(以下、部位ジョイントモデルという)を作成する。 And divided into three-dimensional model of the multiple sites as described above, as shown by reference numeral 601 in FIG. 6, the joint was form three-dimensional model a three-dimensional model 602 to 618 of those sites in the joint (shown in black dots) (hereinafter referred to as site joint model) to create.

【0057】次に、ステップS65に示すように、モデリングサーバは、作成した部位ジョイントモデル601 Next, as shown in step S65, the modeling server site joint model 601 created
の所定部位(例えば、頭部602の顔の部分)に、局所3次元モデルをあてはめて、これをユーザの標準全身モデルとする。 Predetermined portion (e.g., portion of the face of the head 602) of the, by applying a local 3-dimensional model, which is a standard full-body model of the user.

【0058】このようにして作成された関節で曲がる標準全身モデルを用いることで、ユーザシステムのバーチャル試着プログラムは、その標準全身モデルに複数のポーズをとらせたり、モーションを行わせたりすることができる。 [0058] By using the standard whole-body model this way, articulating that have been created, virtual try-on program of the user system, or to take more than one pose to the standard full-body model, to be or to perform the motion it can. 図7は、そのためのバーチャル試着プログラムの処理流れを示す。 Figure 7 shows the processing flow of a virtual fitting program therefor. 図8は、この処理流れの過程で行われるユーザの標準全身モデルと衣裳の3次元モデルに対する操作を説明している。 Figure 8 illustrates the operation for the three-dimensional model of the standard full-body model and costume user performed in the course of this process stream.

【0059】図7に示すように、バーチャル試着プログラムは、ステップS71で、ユーザの標準全身モデル6 [0059] As shown in FIG. 7, the virtual try-on program, in step S71, the user of the standard full-body model 6
01を得る。 01 obtained. また、ステップS72で、ユーザの選択した衣裳の3次元モデルデータを得る。 Further, in step S72, the obtained three-dimensional model data of the user for the selected costume. この衣裳の3次元モデルデータは、図8に参照番号620で示すように、 Three-dimensional model data of the costume, as shown by reference numeral 620 in FIG. 8,
ユーザの標準全身モデルと同様に複数の部分621〜6 A plurality of parts in the same way as the standard full-body model of the user 621-6
27に分割されて、それらの部分621〜627が黒丸点で示す関節でジョイントされた構成になっている。 27 is divided into, those portions 621 to 627 is in the configuration that are joint by joint indicated by black dots.

【0060】次に、ステップS73に示すように、バーチャル試着プログラムは、バーチャル3次元空間内で、 Next, as shown in step S73, the virtual try-on program, a virtual three-dimensional space,
ユーザの標準全身モデル601に衣裳の3次元モデルデータ620を位置合わせする(つまり、衣裳を着せる)。 Standard full-body model 601 of the user to align the three-dimensional model data 620 costume (ie, clothe costumes).

【0061】次に、ステップS74に示すように、バーチャル試着プログラムは、バーチャル3次元空間内で、 Next, as shown in step S74, the virtual try-on program, a virtual three-dimensional space,
図8に参照番号630で示すように、衣裳を着た標準全身モデル601がユーザ指定のポーズをとる又はモーションを行うように、標準全身モデル601と衣裳の3次元モデルデータ620とを関節で曲げて変形させていく。 As shown by reference numeral 630 in FIG. 8, the standard full-body model 601 wearing apparel is to perform take or motion poses specified user, bending and 3-dimensional model data 620 of the standard full-body model 601 and costume in joint go to deform Te. そして、ステップS75に示すように、そのように変形していく標準全身モデル601と衣裳の3次元モデルデータ620とを、ユーザ指定のカメラ位置からユーザ指定のズーム倍率で見たときの2次元画像をレンダリングして、図4に示したショウステージウィンドウ50 Then, as shown in step S75, 2-dimensional image when so deformed to take a three-dimensional model data 620 of the standard full-body model 601 and costume, as seen from the user-specified camera position in a user-specified zoom factor rendering, show stage window 50 shown in FIG. 4
1に表示する。 It is displayed on the 1.

【0062】以下に、図1に示したステレオ撮影システム6の構成について詳細に説明する。 [0062] The following is a detailed description of the construction of a stereo imaging system 6 shown in FIG. 図9は、このステレオ撮影システム6の概略的な全体構成を示す。 Figure 9 shows a schematic overall configuration of the stereo imaging system 6.

【0063】モデリングの対象物(この例では人であるが、何の物体でもよい)10を入れるための所定の3次元空間20が設定されている。 [0063] object modeling (in this example a person, which may be a no object) predetermined three-dimensional space 20 for containing the 10 is set. この空間20の周囲の複数の異なる箇所に、多眼ステレオカメラ11、12、1 A plurality of different locations around the space 20, the multi-lens stereo camera 11,12,1
3がそれぞれ固定されている。 3 are fixed, respectively. この実施形態では3台の多眼ステレオカメラ11、12、13があるが、これは好適な一例であって、2台以上であればいくつでもよい。 Although in this embodiment there is a multi-view stereo camera 11, 12, 13 of the three, which is a preferred example, it may be any number equal to or greater than two. これら多眼ステレオカメラ11、12、13の視線14、15、16は互いに異なる方向で空間20内に向って延びている。 Sight 14, 15 and 16 of these multi-view stereo cameras 11, 12, 13 extends toward the space 20 in different directions.

【0064】多眼ステレオカメラ11、12、13の出力信号は演算装置18に入力される。 [0064] The output signal of the multi-view stereo cameras 11, 12 and 13 are input to the arithmetic unit 18. 演算装置18は、 Arithmetic unit 18,
多眼ステレオカメラ11、12、13からの入力信号を基に、対象物10の3次元モデルデータを作成する。 Based on the input signals from the multi-view stereo cameras 11, 12, 13, to create a three-dimensional model data of the object 10. ここで、演算装置18は便宜上1つのブロックで図示してあるが、図1に示したバーチャル試着システムにおける店舗システム5とモデリングサーバ1を合わせてなる3 Here, the arithmetic unit 18 is shown for convenience one block but becomes the combined store system 5 and modeling server 1 in the virtual dressing system shown in FIG. 1 3
次元モデリングを行う機能部分を意味している。 It means a functional portion to perform a dimension modeling.

【0065】多眼ステレオカメラ11、12、13の各々は、相対的に位置が異なり且つ視線が略平行な3個以上、好適には3×3マトリックス状に配列された9個、 [0065] Each of the multi-view stereo cameras 11, 12 and 13, relative position different and gaze substantially parallel three or more, nine preferably arranged in 3 × 3 matrix,
の独立したビデオカメラ17S、17R、…、17Rを備える。 Equipped with independent video camera 17S, 17R, ..., the 17R. この3×3マトリックスの中央に位置する一つのビデオカメラ17Sは「基準カメラ」と呼ばれる。 One video camera 17S located in the middle of the 3 × 3 matrix is ​​called a "reference camera". 基準カメラ17Sを囲むように位置する8個のビデオカメラ17R、…、17Rはそれぞれ「参照カメラ」と呼ばれる。 Eight video cameras 17R positioned to surround the base camera 17S, ..., 17R are respectively referred to as "reference camera". 基準カメラ17Sと1個の参照カメラ17Rは、 Reference camera 17S and one of the reference camera 17R is,
ステレオ視法が適用可能な最小単位である1ペアのステレオカメラを構成する。 Stereo vision method forming a stereo camera of a pair is a minimum unit that can be applied. よって、基準カメラ17Sと8 Therefore, the reference camera 17S and 8
個の参照カメラ17は、基準カメラ17Sを中心に放射方向に配列された8ペアのステレオカメラを構成する。 Number of reference cameras 17, forming a stereo camera 8 pairs arranged radially around a reference camera 17S.
この8ペアのステレオカメラは、対象物10に関する高精度で安定した距離データを計算することを可能にする。 Stereo camera of the 8 pairs, makes it possible to calculate the stable distance data with high accuracy with respect to the object 10. ここで、基準カメラ17Sはカラー又は白黒のカメラである。 Here, the reference camera 17S is a color or black and white camera. カラー画像をテレビジョンモニタ19に表示したい場合、カラーカメラを基準カメラ17Sに用いる。 If you want to display a color image on the television monitor 19, using a color camera based on the camera 17S. 一方、参照カメラ17R、…、17Rは白黒カメラで十分であるが、カラーカメラを用いても良い。 On the other hand, the reference camera 17R, ..., 17R is sufficient in black-and-white camera, may be using a color camera.

【0066】多眼ステレオカメラ11、12、13の各々は、9個のビデオカメラ17S、17R、…、17R [0066] Each of the multi-eye stereo camera 11, 12 and 13, nine of the video camera 17S, 17R, ..., 17R
からの9本の動画像を出力する。 And it outputs the nine moving images from. まず、演算装置18 First, the arithmetic unit 18
は、1番目の多眼ステレオカメラ11から出力された9 Is output from the first multi-lens stereo camera 11 9
本の動画像の最新のフレーム画像(静止画像)を取り込み、その9枚の静止画像(つまり、基準カメラ17Sからの一枚の基準画像と、8個の参照カメラ17R、…、 Captures the latest frame image of the moving image of the (still image), the nine still images (i.e., a single reference image from the reference camera 17S, 8 pieces of the reference camera 17R, ...,
17Rからの8枚の参照画像)を基に、公知の多眼ステレオ視法によって、対象物10の最新の距離画像(つまり、基準カメラ17Sからの距離で表現した対象物10 8 reference images) to a group from 17R, by known multiview stereoscopic vision method, latest distance image of the object 10 (i.e., the object is expressed by a distance from the base camera 17S 10
の画像)を作成する。 To create the image). 演算装置18は、上記と並行して、上記同様の方法で、2番目の多眼ステレオカメラ1 Arithmetic unit 18, in parallel with the, in the same manner, the second multi-lens stereo camera 1
2についても、3番目の多眼ステレオカメラ13についても、対象物10の最新の距離画像を作成する。 For even 2, for the third multi-view stereo camera 13 also creates the latest distance image of the object 10. 続いて、演算装置18は、3つの多眼ステレオカメラ11、 Subsequently, the arithmetic unit 18, the three multi-view stereo camera 11,
12、13についてそれぞれ作成した最新の距離画像を用いて、後に詳述する方法により、対象物10の最新の3次元モデルを作成する。 12, 13 using the latest distance image created respectively for, by the method described later in detail, to create the latest three-dimensional model of the object 10.

【0067】以上の動作を、演算装置18は、多眼ステレオカメラ11、12、13から動画像の最新フレームを取り込む都度に繰り返して、各フレーム毎に対象物1 [0067] The above operation, the computing device 18 repeats each time capturing the latest frame of the moving image from the multi-lens stereo camera 11, 12, 13, the object 1 in each frame
0の3次元モデルを作成する。 To create a 0 of 3-dimensional model. 対象物10が動けば、それに実時間又はそれに近い状態で追従して、演算装置1 If move the object 10, to follow in real time or near an arithmetic unit 1
8の作成する最新の3次元モデルが変化する。 8 latest of the three-dimensional model to create the changes.

【0068】以下、演算装置18の内部構成と動作をより詳細に説明する。 [0068] Hereinafter, explaining the internal configuration and operation of the arithmetic unit 18 in more detail.

【0069】演算装置18では、以下の複数の座標系が用いられる。 [0069] The arithmetic unit 18, following a plurality of coordinate system is used. すなわち、図9に示すように、1番目の多眼ステレオカメラ11からの画像を処理するため、1番目の多眼ステレオカメラ11の位置と向きに適合した座標軸をもつ第1のカメラ直交座標系i1、j1、d1が用いられる。 That is, as shown in FIG. 9, for processing the image from the first multi-lens stereo camera 11, the first camera Cartesian coordinate system with the coordinate axes adapted to the first position and the orientation of the multi-view stereo camera 11 i1, j1, d1 is used. 同様に、2番目の多眼ステレオカメラ12と3番目の多眼ステレオカメラ13からの画像をそれぞれ処理するために、2番目の多眼ステレオカメラ12と3番目の多眼ステレオカメラ13の位置と向きにそれぞれ適合した第2のカメラ直交座標系i2、j2、d2及び第3のカメラ直交座標系i3、j3、d3がそれぞれ用いられる。 Similarly, in order to process the second multi-lens stereo camera 12 the third image from the multi-lens stereo camera 13, respectively, and the position of the second multi-lens stereo camera 12 and the third multi-view stereo cameras 13 second camera Cartesian coordinate system adapted respectively to the orientation i2, j2, d2 and third camera Cartesian coordinate system i3, j3, d3 is used, respectively. さらに、空間20内の位置を定義し且つ対象物10の3次元モデルを処理するために、所定の一つの全体直交座標系x、y、zが用いられる。 Furthermore, in order to process the three-dimensional model of and the object 10 to define the position in space 20, a predetermined one of the whole Cartesian coordinate system x, y, z are used.

【0070】また、演算装置18は、図9に示すように、空間20の全域を、全体座標系x、y、zの座標軸に沿ってそれぞれNx個、Ny個、Nz個のボクセル(voxe [0070] The arithmetic unit 18, as shown in FIG. 9, the entire area of ​​the space 20, respectively Nx pieces along the axes of the global coordinate system x, y, z, Ny-number, Nz voxels (Voxe
l:小さい立方体)30、…、30に仮想的に細分する。 l: small cubes) 30, ..., virtually subdivided into 30. 従って、空間20は、Nx×Ny×Nz個のボクセル30、…、30によって構成される。 Thus, space 20 is, Nx × Ny × Nz voxels 30, ..., constituted by 30. これらのボクセル30、…、30を用いて対象物10の3次元モデルが作られる。 These voxels 30, ..., 3-dimensional model of the object 10 is made using 30. 以下、各ボクセル30の全体座標系x、y、 Hereinafter, the global coordinate system x of each voxel 30, y,
zによる座標を(vx、vy、vz)で表す。 Coordinates by z represented by (vx, vy, vz).

【0071】図10は、演算装置18の内部構成を示す。 [0071] Figure 10 shows an internal configuration of the arithmetic unit 18.

【0072】演算装置18は、多眼ステレオ処理部6 [0072] computing device 18, the multi-view stereo processor 6
1、62、63、画素座標生成部64、多眼ステレオデータ記憶部65、ボクセル座標生成部71、72、7 1,62,63, pixel coordinate generation unit 64, the multi-eye stereo data storage unit 65, voxel coordinate generating unit 71,72,7
3、ボクセルデータ生成部74、75、76、統合ボクセルデータ生成部77及びモデリング部78を有する。 3, the voxel data generating unit 74, 75, and 76, with integrated voxel data generating unit 77 and modeling unit 78.
なお、既に述べたように、演算装置18は図1に示したバーチャル試着システムにおいては、店舗システム5とモデリングサーバ1とから構成されるものであるから、 Incidentally, as already mentioned, in the virtual try-on system which computing device 18 is shown in FIG. 1, since it is those composed of store system 5 and modeling server 1 Tokyo,
これらの演算装置18の多数の構成要素61〜78のうち、どれを店舗システム5が受け持ち、どれをモデリングサーバ1が受け持つかという点については、様々な形態が採用し得る。 A number of components 61-78 of the arithmetic unit 18, which the responsible is store system 5, which for that whether the modeling server 1 takes charge may employ various modes. 以下、これら構成要素61〜78の処理機能を説明する。 Hereinafter, the processing functions of these components 61-78.

【0073】(1) 多眼ステレオ処理部61、62、6 [0073] (1) a multi-eye stereo processing unit 61,62,6
3 多眼ステレオカメラ11、12、13に対し多眼ステレオ処理部61、62、63が一対一で設けられる。 3 multiview stereo processor 61, 62, 63 with respect to multi-view stereo cameras 11, 12, 13 are provided in one-to-one. 多眼ステレオ処理部61、62、63の機能は互いに同じであるから、1番目の多眼ステレオ処理部61について代表的に説明する。 Since the function of the multi-view stereo processor 61, 62 and 63 are the same as each other, representatively described first multi-view stereo processor 61.

【0074】多眼ステレオ処理部61は、多眼ステレオカメラ11から、その9個のビデオカメラ17S、17 [0074] multi-eye stereo processing unit 61, from the multi-eye stereo camera 11, the nine video camera 17S, 17
R、…、17Rが出力する9本の動画像の最新のフレーム(静止画像)を取り込む。 R, ..., 17R captures the most recent frame of nine moving images to be output (still image). この9枚の静止画像は、白黒カメラの場合はグレースケールの輝度画像であり、カラーカメラの場合は例えばR、G、Bの3色成分の輝度画像である。 The nine still images, in the case of black and white camera is the luminance gray scale image, in the case of a color camera, for example R, G, luminance image of three color components of B. R、G、Bの輝度画像は、それを統合すれば白黒カメラと同様のグレースケールの輝度画像になる。 R, G, B luminance image is similar grayscale intensity image and a monochrome camera By integrating it. 多眼ステレオ処理部61は、基準カメラ17Sからの1枚の輝度画像(白黒カメラの場合はそのまま、カラーカメラの場合はR、G、Bを統合してグレースケールとしたもの)を基準画像とし、他の8台の参照カメラ(白黒カメラである)17R、…、17Rからの8枚の輝度画像を参照画像とする。 Multi-view stereo processor 61 (in the case of a monochrome camera as it is, in the case of a color camera R, G, those with gray scale integrated B) 1 piece of the luminance image from the reference camera 17S and the reference image other eight reference camera (a black and white camera) 17R, ..., a reference image to eight luminance image from 17R. そして、多眼ステレオ処理部61は、8枚の参照画像の各々と基準画像とでペアを作り(8ペアができる)、各ペアについて、両輝度画像間の画素毎の視差を所定の方法で求める。 The multi-view stereo processor 61 makes a pair with each reference image of 8 reference images (may 8 pairs), for each pair, the parallax for each pixel between the two luminance images in a predetermined manner Ask.

【0075】ここで、視差を求める方法としては、例えば特開平11−175725号に開示された方法を用いることができる。 [0075] Here, as a method for obtaining the disparity, it is possible to use a method disclosed for example in JP-A-11-175725. 特開平11−175725号に開示された方法は、簡単に言えば、次のようなものである。 The method disclosed in JP-A-11-175725 is, in short, is as follows. まず、基準画像上で1つ画素を選択し、その選択画素を中心にした所定サイズ(例えば3×3画素)のウィンドウ領域を基準画像から取り出す。 First, select one pixel on the reference image, retrieve a window area of ​​a predetermined size around its selected pixel (e.g., 3 × 3 pixels) from the reference image. 次に、参照画像上で上記選択画素から所定の視差分だけずれた位置にある画素(対応候補点という)を選び、その対応候補点を中心にした同サイズのウィンドウ領域を参照画像から取り出す。 Then, on the reference image to select pixels (called candidate corresponding points) in the position shifted by a predetermined parallaxes from the selected pixel, taken out window area of ​​the same size with a focus on its corresponding candidate points from the reference image. そして、参照画像から取り出した対応候補点のウィンドウ領域と、基準画像から取り出した選択画素のウィンドウ領域との間で、輝度パターンの類似度(例えば両ウィンドウ領域内の位置的に対応する画素間の輝度値の差の二乗加算値の逆数)を計算する。 Then, the window area of ​​the corresponding candidate points extracted from the reference image, between the selected pixel window area extracted from the reference image, the similarity of the luminance pattern (e.g. between positionally corresponding pixels of the two window regions calculating the inverse) of the square sum of the difference in luminance value. 視差を最小値から最大値まで順次に変えて対応候補点を移動させながら、 While moving the corresponding candidate points are sequentially varied from a minimum value to a maximum value of the disparity,
個々の対応候補点について、その対応候補点のウィンドウ領域と、基準画像からの選択画素のウィンドウ領域との間の類似度の計算を繰り返す。 For each candidate corresponding points, repeated that the window area of ​​the corresponding candidate points, the similarity calculation between the window area of ​​the selected pixel from a reference image. その結果から、最も高い類似度が得られた対応候補点を選び、その対応候補点に対応する視差を、上記選択画素における視差と決定する。 From the results, select the corresponding candidate point which the highest similarity is obtained, the disparity corresponding to the corresponding candidate points, to determine the parallax of the selected pixel. このような視差の決定を、基準画像の全ての画素について行う。 The determination of such parallax is performed for all the pixels of the reference image. 基準画像の各画素についての視差から、対象物の各画素に対応する部分と基準カメラとの間の距離が一対一で決まる。 Parallax for each pixel of the reference image, the distance between the portion and the reference camera corresponding to each pixel of the object is determined by one-to-one. 従って、基準画像の全ての画素について視差を計算することで、結果として、基準カメラから対象物までの距離を基準画像の画素毎に表した距離画像が得られる。 Therefore, by calculating the disparity for all the pixels of the reference image, as a result, a distance image showing the distance from the reference camera to the object for each pixel of the reference image is obtained.

【0076】多眼ステレオ処理部61は、8ペアの各々について上記の方法で距離画像を計算し、それら8枚の距離画像を統計的手法で統合して(例えば平均を計算して)、その結果を最終的な距離画像D1として出力する。 [0076] multi-view stereo processor 61, 8 for each pair to calculate the distance image in the manner described above, to integrate them 8 range images with statistical methods (e.g. by calculating the average), the and it outputs the result as a final distance image D1.
また、多眼ステレオ処理部61は、基準カメラ17Sからの輝度画像Im1も出力する。 Moreover, multi-view stereo processor 61, the luminance image Im1 from the base camera 17S also outputs. さらに、多眼ステレオ処理部61は、距離画像D1の信頼度を表す信頼度画像Re1 Moreover, multi-view stereo processor 61, reliability image representing the reliability of the distance image D1 Re1
を作成して出力する。 The creation and output. ここで、信頼度画像Re1とは、距離画像D1が示す画素毎の距離の信頼度を画素毎に示した画像である。 Here, the reliability image Re1, the reliability of the distance for each pixel the distance image D1 indicates an image showing for each pixel. 例えば、基準画像の各画素について上述したように視差を変化させながら視差毎の類似度を計算した結果から、最も類似度の高かった視差とその前後隣の視差との間の類似度の差を求め、これを各画素の信頼度として用いることができる。 For example, the results of the similarity of each parallax while changing a parallax as described above for each pixel of the reference image is calculated, the most similarity with high was parallax and the difference in the degree of similarity between the front and rear adjacent parallax seeking, which can be used as the reliability of each pixel. この例の場合、類似度の差が大きいほど、信頼性がより高いことを意味する。 In this example, the larger the difference in similarity, reliability means that higher.

【0077】このように、1番目の多眼ステレオ処理部61からは、1番目の多眼ステレオカメラ11の位置から見た輝度画像Im1と距離画像D1と信頼度画像Re1の3種類の出力が得られる。 [0077] Thus, from the first multi-view stereo processor 61, three outputs of the luminance image Im1 and the distance image D1 as viewed from the position of the first multi-lens stereo camera 11 reliability image Re1 is can get. 従って、3つの多眼ステレオ処理部61、62、63から、3台のカメラ位置からの輝度画像Im1,Im2,Im3と距離画像D1,D2,D3と信頼度画像Re1,R Accordingly, the three multi-view stereo processor 61, 62, 63, the luminance image Im1 from three camera positions, Im2, Im3 the distance image D1, D2, D3 and reliability image Re1, R
e2,Re3が得られる(これら多眼ステレオ処理部から出力された画像を総称するときは、「ステレオ出力画像」という)。 e2, Re3 can be obtained (when generically an image output from these multi-view stereo processor is referred to as "stereo output image").

【0078】(2) 多眼ステレオデータ記憶部65 多眼ステレオデータ記憶部65は、3つの多眼ステレオ処理部61、62、63からのステレオ出力画像、つまり輝度画像Im1,Im2,Im3、距離画像D1,D2,D3及び信頼度画像Re1,Re2,Re3を入力して、図示のように、それらのステレオ出力画像を多眼ステレオ処理部61、62、6 [0078] (2) multiview stereo data storage unit 65 multiview stereo data storage unit 65, stereo output images from the three multi-view stereo processor 61, 62, 63, i.e. the luminance image Im1, Im2, Im3, distance enter the image D1, D2, D3 and reliability image Re1, Re2, Re3, as shown, multiview stereo processor their stereo output image 61,62,6
3に対応した記憶領域66、67、68に記憶する。 Stored in the storage area 66, 67, 68 corresponding to three. そして、多眼ステレオデータ記憶部65は、画素座標生成部64から処理対象画素を指す座標(図9に示した各多眼ステレオカメラ11、12、13のカメラ座標系での座標であり、以下(i11,j11)で表す)が入力されると、 The multiview stereo data storage unit 65 are the coordinates of the camera coordinate system of each multi-lens stereo cameras 11, 12 and 13 shown in the coordinates (Figure 9 refer to a processing target pixel from the pixel coordinate generator 64, the following represented by (i11, j11)) When is input,
その画素座標(i11,j11)が指す画素の値を輝度画像Im1,I The pixel coordinates (i11, j11) luminance image Im1 the value of the pixel pointed to, I
m2,Im3、距離画像D1,D2,D3及び信頼度画像Re1,Re2,Re3 m @ 2, Im3, the distance image D1, D2, D3 and reliability image Re1, Re2, Re3
から読み出して出力する。 Read from and outputs.

【0079】すなわち、多眼ステレオデータ記憶部65 [0079] In other words, multi-eye stereo data storage unit 65
は、画素座標(i11,j11)が入力されると、1番目の記憶領域66の輝度画像Im1、距離画像D1及び信頼度画像Re1 Is the pixel coordinates (i11, j11) is input, the first luminance image Im1 of the storage area 66, the distance image D1 and the reliability image Re1
からは、1番目のカメラ座標系i1,j1,d1での座標(i11,j From the first camera coordinate system i1, j1, coordinates in d1 (i11, j
11)に対応する画素の輝度Im1(i11,j11)、距離D1(i11,j1 Luminance of the pixel corresponding to 11) Im1 (i11, j11), the distance D1 (i11, j1
1)及び信頼度Re1(i11,j11)を読み出し、2番目の記憶領域67の輝度画像Im2、距離画像D2及び信頼度画像Re2からは、2番目のカメラ座標系i2,j2,d2での座標(i11,j1 1) and reads the reliability Re1 (i11, j11), 2 th luminance image Im2 of the storage area 67, from the range image D2 and reliability image Re2, 2-th camera coordinate system i2, j2, coordinates in d2 (i11, j1
1)に対応する画素の輝度Im2(i11,j11)、距離D2(i11,j1 Brightness of pixels corresponding to 1) Im2 (i11, j11), the distance D2 (i11, j1
1)及び信頼度Re2(i11,j11)を読み出し、また、3番目の記憶領域68の輝度画像Im3、距離画像D3及び信頼度画像Re3からは、3番目のカメラ座標系i3,j3,d3での座標 1) and reads the reliability Re2 (i11, j11), also, the third luminance image Im3 storage area 68, the distance from the image D3 and reliability image Re3, in the third camera coordinate system i3, j3, d3 the coordinates of the
(i11,j11)に対応する画素の輝度Im3(i11,j11)、距離D3 (I11, j11) the luminance of the pixel corresponding to Im3 (i11, j11), the distance D3
(i11,j11)及び信頼度Re3(i11,j11)を読み出して、それらの値を出力する。 (I11, j11) and the reliability Re3 reads (i11, j11), and outputs these values.

【0080】(3) 画素座標生成部64 画素座標生成部64は、3次元モデル作成処理の対象となる画素を指す座標(i11,j11)を生成して、多眼ステレオデータ記憶部65及びボクセル座標生成部71、7 [0080] (3) a pixel coordinate generation unit 64 pixel coordinate generation unit 64 generates the coordinates (i11, j11) that points to that the pixel of the three-dimensional model creation process, multiview stereo data storage unit 65 and voxel coordinate generation unit 71,7
2、73に出力する。 To output to 2,73. 画素座標生成部64は、上述したステレオ出力画像の全範囲又は一部の範囲を例えばラスタ走査するように、その範囲の全画素の座標(i11,j11) Pixel coordinate generation unit 64, so as to, for example, raster scanning the entire range or part of the range of the stereo output image described above, the coordinates of all the pixels of the range (i11, j11)
を順次に出力する。 And outputs sequentially.

【0081】(4) ボクセル座標生成部71、72、7 [0081] (4) the voxel coordinate generation unit 71,72,7
3 3つの多眼ステレオ処理部61、62、63に対応して3つのボクセル座標生成部71、72、73が設けられる。 3 three corresponding to multi-view stereo processor 61, 62, 63 three voxels coordinate generating section 71, 72 and 73 are provided. 3つのボクセル座標生成部71、72、73の機能は互いに同じであるから、1番目のボクセル座標生成部71を代表的に説明する。 Since three functions voxel coordinate generation unit 71, 72 and 73 are the same as each other, illustrating a first voxel coordinate generation unit 71 typically.

【0082】ボクセル座標生成部71は、画素座標生成部64から画素座標(i11,j11)を入力し、また、その画素座標(i11,j11)について多眼ステレオデータ記憶部6 [0082] voxel coordinate generation unit 71 receives pixel coordinates (i11, j11) from the pixel coordinate generation unit 64, also multiview stereo data storage unit 6 for the pixel coordinates (i11, j11)
5の対応する記憶領域66から読み出された距離D1(i1 5 the corresponding distances read from the storage area 66 D1 (i1
1,j11)を入力する。 1, j11) to enter. 入力した画素座標(i11,j11)と距離D Entered pixel coordinates (i11, j11) and the distance D
1(i11,j11)は、1番目のカメラ座標系i1,j1,d1による対象物10の外表面の一箇所の座標を示している。 1 (i11, j11) shows the first camera coordinate system i1, j1, d1 one position coordinates of the outer surface of the object 10 by. そこで、ボクセル座標生成部71は、予め組み込まれている1番目のカメラ座標系i1,j1,d1の座標値を全体座標系x, Therefore, the voxel coordinate generation unit 71, previously incorporated in the first and the camera coordinate system i1, j1, global coordinate system coordinate values ​​of d1 x,
y,zの座標値へ変換する処理を実行して、入力した1番目のカメラ座標系i1,j1,d1による画素座標(i11,j11)と距離D1(i11,j11)を、全体座標系x,y,zによる座標(x11,y y, by executing the process of converting to the coordinate values ​​of z, 1-th camera coordinate system input i1, j1, d1 by pixel coordinates (i11, j11) the distance D1 (i11, j11) the entire coordinate system x , y, coordinates by z (x11, y
11,z11)に変換する。 11, converted to z11). 次に、ボクセル座標生成部71 Next, the voxel coordinate generating section 71
は、その変換後の座標(x11,y11,z11)が、空間20内のどのボクセル30に含まれるか否かを判断し、或るボクセル30に含まれる場合には、そのボクセル30(それは、対象物10の外表面が存在すると推定されるボクセルの一つを意味する)の座標(vx11,vy11,vz11)を出力する。 , The converted coordinates (x11, y11, z11), it is determined whether the contained in any voxel 30 in the space 20, when included in a certain voxel 30, the voxel 30 (which, and it outputs the coordinates (vx11, vy11, vz11) of means one voxel outer surface of the object 10 is estimated to be present). 一方、変換後の座標(x11,y11,z11)が空間20内のどのボクセル30にも含まれない場合には、含まれないこと(つまり、その座標が空間20外であること)を示す所定の座標値(xout,yout,zout)を出力する。 Meanwhile, the predetermined showing a when the transformed coordinates (x11, y11, z11) are not included in any voxels 30 in the space 20 is not included it (that is, that the coordinate is outside the space 20) coordinates (xout, yout, zout) outputs a.

【0083】このようにして、1番目のボクセル座標生成部71は、1番目の多眼ステレオカメラ11からの画像に基づいて推定された対象物10の外表面が位置するボクセル座標(vx11,vy11,vz11)を出力する。 [0083] Thus, the first voxel coordinate generation unit 71, voxel coordinates are estimated outer surface of the object 10 based on the image from the first multi-lens stereo camera 11 located (vx11, vy11 , and it outputs the vz11). 2番目及び3番目のボクセル座標生成部72、73も、同様に、2 Second and third voxel coordinate generation unit 72 and 73 are likewise 2
番目及び3番目の多眼ステレオカメラ12、13からの画像に基づいて推定された対象物10の外表面が位置するボクセル座標(vx12,vy12,vz12)及び(vx13,vy13,vz13) And third voxel coordinates outer surface to the position of the object 10 which is estimated on the basis of the image from the multi-view stereo cameras 12,13 (vx12, vy12, vz12) and (vx13, vy13, vz13)
をそれぞれ出力する。 And outputs, respectively.

【0084】3つのボクセル座標生成部71、72、7 [0084] Three of the voxel coordinate generation unit 71,72,7
3は、それぞれ、画素座標生成部64から出力された全ての画素座標(i11,j11)について上記の処理を繰り返す。 3, respectively, all the pixel coordinates output from the pixel coordinate generation unit 64 (i11, j11) for the above processing is repeated. その結果、対象物10の外表面が位置すると推定されるボクセル座標の全てが得られる。 As a result, all voxels coordinates outer surface of the object 10 is estimated to be located is obtained.

【0085】(5) ボクセルデータ生成部74、75、 [0085] (5) voxel data generating section 74 and 75,
76 3つの多眼ステレオ処理部61、62、63に対応して3つのボクセルデータ生成部74、75、76が設けられる。 Three voxel data generating unit 74, 75, and 76 are provided corresponding to the 76 three multi-view stereo processor 61, 62, and 63. 3つのボクセルデータ生成部74、75、76の機能は互いに同じであるから、1番目のボクセルデータ生成部74を代表的に説明する。 Since the function of the three voxel data generating unit 74, 75, and 76 are the same as each other, illustrating a first voxel data generating unit 74 typically.

【0086】ボクセルデータ生成部74は、対応するボクセル座標生成部71から上記のボクセル座標(vx11,vy [0086] voxel data generating unit 74, from the corresponding voxel coordinate generation unit 71 of the voxel coordinates (vx11, vy
11,vz11)を入力し、その値が(xout,yout,zout)でない場合は、そのボクセル座標(vx11,vy11,vz11)に関して多眼ステレオデータ記憶部65から入力したデータを記憶する。 11, vz11) type and its value (xout, yout, if not zout), the voxel coordinates (vx11, vy11, vz11) stores data input from the multi-lens stereo data storage unit 65 with respect to. そのデータとは、すなわち、そのボクセル座標(vx1 And the data, that is, the voxel coordinates (vx1
1,vy11,vz11)に対応する画素の距離D1(i11,j11)、輝度I 1, vy11, vz11) corresponding to the distance of the pixel D1 (i11, j11), the luminance I
m1(i11,j11)及び信頼度Re1(i11,j11)の3種類の値のセットである。 m1 (i11, j11) and a set of three values ​​of reliability Re1 (i11, j11). この3種類の値を、そのボクセル座標(vx1 The three types of values, the voxel coordinates (vx1
1,vy11,vz11)に関係付けて、それぞれボクセル距離Vd1 1, vy11, in association with vz11), each voxel distance Vd1
(vx11,vy11,vz11)、ボクセル輝度Vim1(vx11,vy11,vz11) (Vx11, vy11, vz11), voxel brightness Vim1 (vx11, vy11, vz11)
及びボクセル信頼度Vre1(vx11,vy11,vz11)として蓄積する(これらのように各ボクセルに対応付けられた値のセットを「ボクセルデータ」という)。 And stored as a voxel reliability Vre1 (vx11, vy11, vz11) (a set of values ​​associated with each like these voxels as "voxel data").

【0087】画素座標発生部64が処理対象の全ての画素の座標(i11,j11)を発生し終わった後、ボクセルデータ生成部74は、全てのボクセル30、…、30について蓄積したボクセルデータを出力する。 [0087] After the pixel coordinates generating unit 64 has finished generating the coordinates (i11, j11) of all the pixels to be processed, the voxel data generator 74, all voxels 30, ..., the voxel data accumulated for 30 Output. 個々のボクセルについて蓄積されたボクセルデータの数は一定ではない。 The number of accumulated voxel data is not constant for each voxel. 例えば、複数のボクセルデータが蓄積されたボクセルもあれば、全くボクセルデータが蓄積されていないボクセルもある。 For example, some voxels in which a plurality of voxel data is accumulated, some voxels that are not accumulated at all voxel data. 全くボクセルデータが蓄積されていないボクセルとは、1番目の多眼ステレオカメラ11からの撮影画像に基づいては、そこに対象物10の外表面が存在するとは推定されなかったボクセルである。 The voxels not accumulated at all voxel data, based on the captured image from the first multi-lens stereo camera 11, a voxel that has not been estimated as there exist outer surface of the object 10.

【0088】このようにして、1番目のボクセルデータ生成部74は、全てのボクセルについて、1番目の多眼ステレオカメラ11からの撮影画像に基づくボクセルデータVd1(vx11,vy11,vz11)、Vim1(vx11,vy11,vz11)、Vre [0088] In this manner, the first voxel data generating unit 74, for all the voxels, the voxel data Vd1 based on the captured image from the first multi-lens stereo camera 11 (vx11, vy11, vz11), Vim1 ( vx11, vy11, vz11), Vre
1(vx11,vy11,vz11)を出力する。 And it outputs a 1 (vx11, vy11, vz11). 同様に、2番目及び3 Similarly, second and third
番目のボクセルデータ生成部75、76も、全てのボクセルについて、2番目及び3番目の多眼ステレオカメラ12、13からの撮影画像にそれぞれ基づくボクセルデータVd2(vx12,vy12,vz12)、Vim2(vx12,vy12,vz12)、Vre Th voxel data generating unit 75 and 76 also, for all voxels, the voxel data Vd2 based respectively on the photographed image from the second and third multi-view stereo cameras 12,13 (vx12, vy12, vz12), Vim2 (vx12 , vy12, vz12), Vre
2(vx12,vy12,vz12)及びVd3(vx13,vy13,vz13)、Vim3(vx1 2 (vx12, vy12, vz12) and Vd3 (vx13, vy13, vz13), Vim3 (vx1
3,vy13,vz13)、Vre3(vx13,vy13,vz13)をそれぞれ出力する。 3, vy13, vz13), outputs Vre3 (vx13, vy13, vz13) respectively.

【0089】(6) 統合ボクセルデータ生成部77 統合ボクセルデータ生成部77は、上述した3つのボクセルデータ生成部74、75、76から入力されるボクセルデータVd1(vx11,vy11,vz11)、Vim1(vx11,vy11,vz1 [0089] (6) integrated voxel data generation unit 77 integrates the voxel data generating unit 77, voxel data Vd1 input from three voxel data generating unit 74, 75, and 76 described above (vx11, vy11, vz11), Vim1 ( vx11, vy11, vz1
1)、Vre1(vx11,vy11,vz11)及びVd2(vx12,vy12,vz12)、V 1), Vre1 (vx11, vy11, vz11) and Vd2 (vx12, vy12, vz12), V
im2(vx12,vy12,vz12)、Vre2(vx12,vy12,vz12)及びVd3(v im2 (vx12, vy12, vz12), Vre2 (vx12, vy12, vz12) and Vd3 (v
x13,vy13,vz13)、Vim3(vx13,vy13,vz13)、Vre3(vx13,vy x13, vy13, vz13), Vim3 (vx13, vy13, vz13), Vre3 (vx13, vy
13,vz13)を、各ボクセル30毎に蓄積して統合することにより、各ボクセルの統合輝度Vim(vx14,vy14,vz14)を求める。 13, the Vz13), by integrating accumulated in each voxel 30 each, each voxel integrated luminance Vim (vx14, vy14, vz14) Request.

【0090】統合方法の例として、下記のようなものがある。 [0090] Examples of synthesis method, there are the following.

【0091】A. [0091] A. 複数のボクセルデータが蓄積されているボクセルの場合 蓄積された複数の輝度の平均を統合輝度Vim(vx14,v For voxels plurality of voxel data are stored accumulated plurality of average luminance integration luminance Vim of (vx14, v
y14,vz14)とする。 y14, vz14) to. この場合、蓄積された複数の輝度の分散値を求め、その分散値が所定値以上であった場合には、そのボクセルにはデータがないとみなして、例えば統合輝度Vim(vx14,vy14,vz14)=0としてもよい。 In this case, we obtain the dispersion value of the accumulated plurality of luminance, if the variance value is greater than or equal to a predetermined value, and its voxel is regarded that there is no data, for example, integrated luminance Vim (vx14, vy14, vz14 ) = may be 0.

【0092】 或いは、蓄積された複数の信頼度の中から最も高い1つを選び、その最も高い信頼度に対応する輝度を統合輝度Vim(vx14,vy14,vz14)とする。 [0092] Alternatively, select one highest from among a plurality of reliabilities accumulated, the most reliable integration luminance Vim the corresponding luminance (vx14, vy14, vz14) to. この場合、その最も高い信頼度が所定値より低い場合には、そのボクセルにはデータがないとみなして、例えば統合輝度Vim(vx14,vy14,vz14)=0としてもよい。 In this case, if the highest reliability is lower than a predetermined value, and its voxel is regarded that there is no data, for example, integrated luminance Vim (vx14, vy14, vz14) = may be 0.

【0093】 或いは、蓄積された信頼度から重み係数を決め、対応する輝度にその重み係数を掛けて平均化した値を統合輝度Vim(vx14,vy14,vz14)とする。 [0093] Alternatively, determining the weighting factor from the stored confidence, corresponding integrating a value obtained by averaging over the weight coefficient on the luminance brightness Vim (vx14, vy14, vz14) to.

【0094】 或いは、カメラと対象物までの距離が近いほど輝度の信頼性が高いと考えられるので、蓄積された複数の距離の中で最も短い一つを選び、その最も短い距離に対応する一つの輝度を統合輝度Vim(vx14,vy14, [0094] Alternatively, since the distance to the camera and the object is considered to be reliable closer luminance, select the shortest one among the stored plurality of distances, corresponding to the shortest distance one One of the luminance integrated luminance Vim (vx14, vy14,
vz14)とする。 vz14) to.

【0095】 或いは、上記の〜の方法を変形したり又は組み合わせたりした方法。 [0095] Alternatively, the methods or combinations or deformed or the method of ~ the.

【0096】B. [0096] B. 1つのボクセルデータのみが蓄積されているボクセルの場合 蓄積された1つの輝度をそのまま統合輝度Vim(vx1 It integrates luminance Vim one luminance only one voxel data is accumulated if voxels are stored (vx1
4,vy14,vz14)とする。 4, vy14, vz14) to.

【0097】 或いは、信頼度が所定値以上の場合は、その輝度を統合輝度Vim(vx14,vy14,vz14)とし、信頼度が所定値未満の場合は、そのボクセルにはデータがないとして、例えば統合輝度Vim(vx14,vy14,vz14)=0とする。 [0097] Alternatively, as a reliability is equal to or larger than a predetermined value, and the luminance integrated luminance Vim (vx14, vy14, vz14), if the reliability is less than a predetermined value, there is no data in the voxel, for example, integrated luminance Vim (vx14, vy14, vz14) = 0 to.

【0098】C. [0098] C. ボクセルデータが蓄積されていないボクセルの場合 そのボクセルにはデータがないとして、例えば統合輝度Vim(vx14,vy14,vz14)=0とする。 As voxel data no data in that voxel if the voxel is not stored, for example, integrated luminance Vim (vx14, vy14, vz14) = 0 to.

【0099】統合ボクセルデータ生成部77は、全てのボクセル30、…、30の統合輝度Vim(vx14,vy14,vz1 [0099] Integrated voxel data generating unit 77, all voxels 30, ..., 30 of the integrated luminance Vim (vx14, vy14, vz1
4)を求めてモデリング部78に出力する。 4) the seeking and outputs the modeling unit 78.

【0100】(7) モデリング部78 モデリング部78は、統合ボクセルデータ生成部77より空間20内の全てのボクセル30、…、30の統合輝度Vim(vx14,vy14,vz14)を入力する。 [0100] (7) the modeling unit 78 modeling unit 78, all voxels 30 in the space 20 from the integrated voxel data generating unit 77, ..., and inputs the 30 integrated luminance Vim (vx14, vy14, vz14). 統合輝度Vim(vx14, Integrated luminance Vim (vx14,
vy14,vz14)が"0"以外の値をもったボクセルは、そこに対象物10の外表面が存在すると推定されたボクセルを意味する。 vy14, vz14) is "0" voxels having a value other than means the estimated voxel there exist outer surface of the object 10. そこで、モデリング部78は、統合輝度Vim Therefore, the modeling unit 78, integrated luminance Vim
(vx14,vy14,vz14)が"0"以外の値をもつボクセルの座標 (Vx14, vy14, vz14) is a voxel of coordinates with a value other than "0"
(vx14,vy14,vz14)を基にして、対象物10の外表面の3 (Vx14, vy14, vz14) based on, the outer surface of the object 10 3
次元形状を表す3次元モデルを作成する。 To create a three-dimensional model representing the dimension shape. この3次元モデルとしては、例えば、統合輝度Vim(vx14,vy14,vz14) As the three-dimensional model, for example, integrated luminance Vim (vx14, vy14, vz14)
が"0"以外の値をもつボクセルの座標(vx14,vy14,vz14) There voxel of coordinates with a value other than "0" (vx14, vy14, vz14)
を近いもの同士で閉ループに繋ぐことで得られる多数のポリゴンによって3次元形状を表現したポリゴンデータなどである。 And the like polygon data representing the three-dimensional shape by a number of polygons obtained by connecting the closed loop between close the. なお、ここで生成された3次元モデルは、 The three-dimensional model generated here,
それがユーザの全身をモデリングしたものである場合は、図5、図6を参照して既に説明したような全身一体モデル600である。 If it is obtained by modeling the entire body of the user, FIG. 5 is a systemic integral model 600 as already described with reference to FIG. モデリング部78は、その全身一体モデル600を図5、図6を参照して既に説明した処理手順で、部位ジョイントモデル601に変換してもよいし、或いは、その全身一体モデル600をそのまま出力してもよい。 Modeling unit 78, the whole body integral model 600 5, in the processing procedures described above with reference to FIG. 6, may be converted to the site joint model 601, or, as it outputs the systemic integral model 600 it may be.

【0101】上述した(1)〜(7)の各部の処理は、多眼ステレオカメラ11、12、13から出力される動画像の各フレーム毎に繰り返される。 [0102] processing of each of the above-mentioned (1) to (7) are repeated for each frame of the moving image outputted from the multi-lens stereo camera 11, 12, 13. 結果として、対象物1 As a result, the object 1
0の動きに実時間又はそれに近い状態で追従して、多数の3次元モデルが次々と高速に生成されることになる。 To follow the movement of the 0 in real-time or a state close thereto so that the number of three-dimensional model is successively generated at high speed.

【0102】図11は、図9及び図10に示した演算装置18と置き替えることのできる第2の演算装置200 [0102] Figure 11 is a second computing device that can replace them with arithmetic unit 18 shown in FIGS. 9 and 10 200
の構成を示す。 It shows the configuration.

【0103】図11に示す演算装置200において、多眼ステレオ処理部61、62、63、画素座標生成部6 [0103] In operation device 200 shown in FIG. 11, multi-view stereo processor 61, 62, 63, the pixel coordinate generator 6
4、多眼ステレオデータ記憶部65及びボクセル座標生成部71、72、73及びモデリング部78は、既に説明した図10に示す演算装置18がもつ同じ参照番号の処理部と全く同じ機能をもつ。 4, the multi-lens stereo data storage unit 65 and the voxel coordinate generation unit 71, 72, 73 and modeling unit 78 has exactly the same function as the processing unit of the same reference numbers are arithmetic unit 18 shown in FIG. 10 described above with. 図11に示す演算装置2 Computing device 2 shown in FIG. 11
00が、図10に示した演算装置18とは異なる部分は、対象面傾き算出部91、92、93が追加されている点と、この対象面傾き算出部91、92、93の出力を処理することになるボクセルデータ生成部94、9 00, that differ from the arithmetic unit 18 shown in FIG. 10 are that the target surface inclination calculation section 91, 92 and 93 are added, the output of the target surface inclination calculation section 91, 92 process voxel data generating unit will be 94,9
5、96及び統合ボクセルデータ生成部97の機能である。 5,96 and is a function of the integrated voxel data generating unit 97. 以下、この相違する部分について説明する。 The following describes portions this difference.

【0104】(1) 対象面傾き算出部91、92、93 3つの多眼ステレオ処理部61、62、63にそれぞれ対応して3つの対象面傾き算出部91、92、93が設けられる。 [0104] (1) target surface inclination calculation section 91, 92 and 93 three corresponding to three in the respective multi-view stereo processor 61, 62, 63 target surface inclination calculation section 91, 92 is provided. これら対象面傾き算出部91、92、93の機能は互いに同じであるので、1番目の対象面傾き算出部91を代表的に説明する。 Since the function of these target surface inclination calculation section 91, 92, 93 are the same as each other, illustrating the first object plane inclination calculation section 91 representatively.

【0105】対象面傾き算出部91は、画素座標生成部64から座標(i11,j11)を入力すると、その座標(i11,j1 [0105] target surface inclination calculation section 91 inputs the coordinates (i11, j11) from the pixel coordinate generation unit 64, the coordinates (i11, j1
1)を中心とした所定サイズ(例えば3×3画素)のウインドウを設定し、そのウインドウ内の全ての画素についての距離を、多眼ステレオデータ記憶部65の対応する記憶領域66内の距離画像D1から入力する。 1) Set the window of a predetermined size around (eg 3 × 3 pixels) to the distance for all the pixels in the window, the multiview stereo data storage unit 65 corresponding distance image in the storage area 66 input from D1. 次に、対象面傾き算出部91は、上記ウインドウの領域内の対象物10の外表面(以下、対象面という)は平面であるとの仮定の下で、そのウインドウ内の全画素の距離に基づいて、そのウィンドウ内の対象面と、多眼ステレオカメラ11からの視線14に直角な平面(傾きゼロ平面)との間の傾きを算出する。 Next, the target surface inclination calculation section 91, the outer surface of the object 10 in the region of the window (hereinafter, referred to as object plane) under the assumption that a plane, the length of the entire pixels within the window based on, calculates the target surface within the window, the slope between the plane perpendicular to the line of sight 14 from the multi-lens stereo camera 11 (slope zero plane).

【0106】算出方法としては、例えば、ウインドウ内の各距離を使用して、最小二乗法により対象面の法線ベクトルを求め、そして、その法線ベクトルとカメラ11 [0106] As calculation methods, for example, using the respective distances in the window, determine the normal vector of the target surface by the least squares method, and the normal vector and the camera 11
からの視線14のベクトルとの差分のベクトルを求め、 It obtains the difference vector of the vector of the line-of-sight 14 from the,
この差分ベクトルのi方向成分Si11及びj方向成分Sj11を取り出して、対象面の傾きSi11,Sj11とする方法がある。 Remove the i direction component Si11 and j direction component SJ11 of the difference vector, a method of the inclination Si11, SJ11 the target surface.

【0107】このようにして、1番目の対象面傾き算出部91は、1番目の多眼ステレオカメラ11から見た対象面の傾きSi11,Sj11を、そのカメラ11で撮影した基準画像の全画素について計算して出力する。 [0107] Thus, the first target surface inclination calculation section 91, all the pixels of the first inclination Si11, SJ11 the target surface as seen from the multi-lens stereo camera 11, the reference image taken by the camera 11 calculates and output for. 同様に、2 Similarly, 2
番目及び3番目の対象面傾き算出部92、93も、2番目及び3番目の多眼ステレオカメラ12、13からそれぞれ見た対象面の傾きSi12,Sj12およびSi13,Sj13を、それぞれのカメラ12、13で撮影した基準画像の全画素について計算して出力する。 And third target surface inclination calculation section 92 and 93 also, the inclination of the second and third target surface as seen from each of the multi-lens stereo camera 12, 13 of Si12, SJ12 and Si13, the SJ13, each camera 12, 13 and calculated for all the pixels of the captured reference image is output.

【0108】(2) ボクセルデータ生成部94、95、 [0108] (2) voxel data generating section 94 and 95,
96 3つの多眼ステレオ処理部61、62、63にそれぞれ対応して3つのボクセルデータ生成部94、95、96 96 corresponding to three in the each of the three multi-view stereo processor 61, 62, 63 voxel data generating unit 94, 95, 96
が設けられる。 It is provided. これらボクセルデータ生成部94、9 These voxel data generating unit 94,9
5、96の機能は互いに同じであるので、1番目のボクセルデータ生成部94を代表的に説明する。 Since 5,96 functions are the same as each other, illustrating a first voxel data generating unit 94 typically.

【0109】ボクセルデータ生成部94は、対応するボクセル座標生成部からボクセル座標(vx11,vy11,vz11)を入力し、その値が(xout,yout,zout)でない場合は、そのボクセル座標(vx11,vy11,vz11)についてのボクセルデータを蓄積する。 [0109] voxel data generating unit 94, voxel coordinates from the corresponding voxel coordinate generation unit (vx11, vy11, vz11) type and its value (xout, yout, zout) if not, the voxel coordinates (Vx11, vy11, vz11) to store the voxel data for. 蓄積するボクセルデータとしては、そのボクセル座標(vx11,vy11,vz11)に対応する画素について多眼ステレオデータ記憶部65内の一番目の記憶領域6 The accumulated voxel data one th storage area 6 of the voxel coordinates (vx11, vy11, vz11) multiview stereo data storage unit 65 for the pixel corresponding to
6から読み出された輝度Im1(i11,j11)と、1番目の対象面傾き算出部91から出力された対象面の傾きSi11,Sj1 Luminance read from 6 Im1 and (i11, j11), the slope of the first target surface inclination calculation section 91 target surface output from Si11, Sj1
1の3種類の値であり、それら3種類の値をそれぞれVim A three values ​​of 1, Vim those three values, respectively
1(vx11,vy11,vz11)、Vsi1(vx11,vy11,vz11)、Vsj1(vx1 1 (vx11, vy11, vz11), Vsi1 (vx11, vy11, vz11), Vsj1 (vx1
1,vy11,vz11)として蓄積する。 1, vy11, vz11) accumulate as.

【0110】画素座標発生部64が処理対象の全ての画素の座標(i11,j11)を発生し終わった後、ボクセルデータ生成部94は、全てのボクセル30、…、30について蓄積したボクセルデータVim1(vx11,vy11,vz11)、Vsi1 [0110] After the pixel coordinates generating unit 64 has finished generating the coordinates (i11, j11) of all the pixels to be processed, the voxel data generating unit 94, all voxels 30, ..., voxel data Vim1 accumulated about 30 (vx11, vy11, vz11), Vsi1
(vx11,vy11,vz11)、Vsj1(vx11,vy11,vz11)を出力する。 (Vx11, vy11, vz11), and outputs the Vsj1 (vx11, vy11, vz11).

【0111】同様にして、2番目及び3番目のボクセルデータ生成部95、96も、全てのボクセル30、…、 [0111] Similarly, also the second and third voxel data generating section 95 and 96, all voxels 30, ...,
30について蓄積した、2番目及び3番目の多眼ステレオカメラ12、13からの撮影画像にそれぞれ基づくボクセルデータVim2(vx12,vy12,vz12)、Vsi2(vx12,vy12,v 30 accumulated on the second and third voxel data each based on the captured image from the multi-lens stereo camera 12,13 Vim2 (vx12, vy12, vz12), Vsi2 (vx12, vy12, v
z12)、Vsj2(vx12,vy12,vz12)及びVim3(vx13,vy13,vz1 z12), Vsj2 (vx12, vy12, vz12) and Vim3 (vx13, vy13, vz1
3)、Vsi3(vx13,vy13,vz13)、Vsj3(vx13,vy13,vz13)をそれぞれ出力する。 3), Vsi3 (vx13, vy13, vz13), outputs Vsj3 (vx13, vy13, vz13) respectively.

【0112】(3) 統合ボクセルデータ生成部97 統合ボクセルデータ生成部97は、3つのボクセルデータ生成部94、95、96からのボクセルデータVim1(v [0112] (3) integrated voxel data generation unit 97 integrates the voxel data generating unit 97 has three voxel data VIM1 (v from the voxel data generating unit 94, 95, 96
x11,vy11,vz11)、Vsi1(vx11,vy11,vz11)、Vsj1(vx11,vy x11, vy11, vz11), Vsi1 (vx11, vy11, vz11), Vsj1 (vx11, vy
11,vz11)及びVim2(vx12,vy12,vz12)、Vsi2(vx12,vy12,v 11, vz11) and Vim2 (vx12, vy12, vz12), Vsi2 (vx12, vy12, v
z12)、Vsj2(vx12,vy12,vz12)及びVim3(vx13,vy13,vz1 z12), Vsj2 (vx12, vy12, vz12) and Vim3 (vx13, vy13, vz1
3)、Vsi3(vx13,vy13,vz13)、Vsj3(vx13,vy13,vz13)を各ボクセル30毎に蓄積して統合することにより、各ボクセルの統合輝度Vim(vx14,vy14,vz14)を求める。 3), Vsi3 (vx13, vy13, vz13), by integrating accumulated for each voxel 30 Vsj3 (vx13, vy13, vz13), each voxel integrated luminance Vim (vx14, vy14, vz14) Request.

【0113】統合方法としては、下記のようなものがある。 [0113] as an integrated method, there is something like the following. ここでは、対象面の傾きが小さいほど多眼ステレオデータの信頼性が高いことを前提として処理する。 Here, it processes on the assumption that high reliability of the camera array stereo data about the inclination of the target surface is small.

【0114】A. [0114] A. 複数のボクセルデータが蓄積されているボクセルの場合 蓄積された各傾きのi方向成分Vsi1(vx11,vy11,vz1 A plurality of i-direction component of each slope accumulated when voxel the voxel data is accumulated Vsi1 (vx11, vy11, vz1
1)とj方向成分Vsj1(vx11,vy11,vz11)の二乗和を求め、 1) and calculates the square sum of j direction component Vsj1 (vx11, vy11, vz11),
その二乗和が最も小さい傾きに対応する輝度を統合輝度 Integrated luminance brightness whose sum of squares corresponding to the smallest inclination
Vim(vx14,vy14,vz14)とする。 Vim (vx14, vy14, vz14) to. この場合、上記最も小さい二乗和の値が所定値より大きい場合には、そのボクセルにはデータがないとして、例えば統合輝度Vim(vx14,v In this case, the smallest when the value of the square sum is greater than a predetermined value, as there is no data in the voxel, for example, integrated luminance Vim (vx14, v
y14,vz14)=0としても良い。 y14, vz14) = 0 may be.

【0115】 或いは、蓄積された複数の傾きのi成分の平均値と、j成分の平均値とを求め、そのi成分とj [0115] Alternatively, the average value of the i component of the accumulated plurality of slopes, and the average value of j components determined, the i component and j
成分の平均値を中心とした所定範囲内に入る傾きだけを抽出し、その抽出した傾きに対応する輝度を抽出し、その抽出した輝度の平均値を統合輝度Vim(vx14,vy14,vz1 Extracting only the slope falls within a predetermined range around the average value of the components to extract the luminance corresponding to the extracted tilt, integrated luminance Vim (vx14 the average value of the brightness that the extracted, Vy14, Vz1
4)とする。 4) to.

【0116】B. [0116] B. 1個のボクセルデータのみが蓄積されているボクセルの場合 蓄積されている1個の輝度をそのまま統合輝度Vim It integrates luminance Vim one luminance only one voxel data is stored when the voxels are stored
(vx14,vy14,vz14)とする。 (Vx14, vy14, vz14) to. この場合、蓄積されている1 In this case, it is stored 1
個の傾きのi成分とj成分の二乗和が所定値以上の場合は、そのボクセルにはデータがないとして、例えば統合輝度Vim(vx14,vy14,vz14)=0としても良い。 If the sum of the squares of i component and the j component of the number of gradient is a predetermined value or more, as there is no data in the voxel, for example, may be integrated luminance Vim (vx14, vy14, vz14) = 0.

【0117】C. [0117] C. ボクセルデータが蓄積されていないボクセルの場合 そのボクセルにはデータがないとして、例えば統合輝度Vim(vx14,vy14,vz14)=0とする。 As voxel data no data in that voxel if the voxel is not stored, for example, integrated luminance Vim (vx14, vy14, vz14) = 0 to.

【0118】このようにして統合ボクセルデータ生成部97は、全てのボクセルの統合輝度Vim(vx14,vy14,vz1 [0118] In this way, the integrated voxel data generating unit 97, all voxels of the integrated luminance Vim (vx14, vy14, vz1
4)を計算して、モデリング部78へ送る。 4) to calculate the, sent to the modeling unit 78. モデリング部78の処理は、図10を参照して既に説明した通りである。 Processing of the modeling unit 78, as already described with reference to FIG. 10.

【0119】図12は、図9及び図10に示した演算装置18と置き替えることのできる第3の演算装置300 [0119] Figure 12 is a third calculation device that can replace them with arithmetic unit 18 shown in FIGS. 9 and 10 300
の構成を示す。 It shows the configuration.

【0120】図12に示す演算装置300は、図10や図11に示した演算装置18や200と比較して、ボクセルデータを作成する処理手順において次のように異なる。 [0120] Figure 12 shows the arithmetic unit 300, as compared with the arithmetic unit 18 or 200 shown in FIGS. 10 and 11, differs as follows in the processing steps for creating voxel data. すなわち、図10や図11に示した演算装置18や200は、多眼ステレオ処理部の出力画像内をスキャンして、その画像内の各画素毎に、対応するボクセル30 That is, the arithmetic unit 18 or 200 shown in FIGS. 10 and 11 scans within the output image of the multi-view stereo processor, for each pixel in the image, corresponding voxel 30
を空間20から見つけてボクセルデータを割り当てていく。 It will assign the voxel data to find from the space 20. 図12に示す演算装置300は、これとは逆に、まず空間20をスキャンして、空間20内の各ボクセル3 Figure arithmetic unit 300 shown in 12, on the contrary, first scans the space 20, each voxel 3 in the space 20
0毎に、対応するステレオデータを多眼ステレオ処理部の出力画像から見つけて各ボクセルに割り当てていく。 For each 0, will be assigned to each voxel find the corresponding stereo data from the output image of the camera array stereo processor.

【0121】図12に示す演算装置300は、多眼ステレオ処理部61、62、63、ボクセル座標成部10 [0121] computing device 300 shown in FIG. 12, multi-view stereo processor 61, 62, 63, voxel coordinate generation unit 10
1、画素座標生成部111、112、113、距離生成部114、多眼ステレオデータ記憶部115、距離一致検出部121、122、123、ボクセルデータ生成部124、125、126、統合ボクセルデータ生成部1 1, the pixel coordinate generator 111, 112, 113, a distance generating unit 114, multi-view stereo data storage unit 115, a distance match detection unit 121, 122, 123, the voxel data generating unit 124, 125 and 126, integrated voxel data generating unit 1
27及びモデリング部78を有する。 27 and a modeling unit 78. このうち、多眼ステレオ処理部61、62、63とモデリング部78は、 Of these, multi-eye stereo processing unit 61, 62, 63 and modeling unit 78,
既に説明した図10に示す演算装置18がもつ同じ参照番号の処理部と全く同じ機能をもつ。 It has exactly the same function already a processing unit of the same reference numbers with the arithmetic unit 18 shown in FIG. 10 described. その他の処理部の機能は、図10に示した演算装置18とは異なる。 Function of other processing unit is different from the arithmetic unit 18 shown in FIG. 10. 以下、この相違する部分について説明する。 The following describes portions this difference. 以下の説明では、各ボクセル30の位置を表す座標を(vx24,vy24,vz2 In the following description, the coordinates representing the position of each voxel 30 (vx24, vy24, vz2
4)とする。 4) to.

【0122】(1) ボクセル座標生成部101 空間20内の全ボクセル30、…、30の各々の座標(v [0122] (1) all voxels 30 voxel coordinate generating unit 101 space 20, ..., 30 each of coordinates (v
x24,vy24,vz24)を順々に出力する。 x24, vy24, vz24) and outputs in turn.

【0123】(2) 画素座標生成部111、112、1 [0123] (2) a pixel coordinate generator 111,112,1
13 3つの多眼ステレオ処理部61、62、63にそれぞれ対応して3つの画素座標生成部111、112、113 13 Three multi each eye stereo processor 61, 62, 63 corresponding three pixel coordinates generating unit 111, 112, 113
が設けられる。 It is provided. これら画素座標生成部111、112、 These pixel coordinates generator 111,
113の機能は互いに同じであるので、1番目の画素座標生成部111を代表的に説明する。 Since 113 functions are the same as each other, illustrating a first pixel coordinate generator 111 typically.

【0124】1番目の画素座標生成部111は、ボクセル座標(vx24,vy24,vz24)を入力し、それに対応する1番目の多眼ステレオ処理部61の出力画像の画素座標(i2 [0124] The first pixel coordinate generation unit 111 inputs the voxel coordinates (vx24, vy24, vz24), 1 th pixel coordinates of the output image of the multi-view stereo processor 61 corresponding thereto (i2
1,j21)を出力する。 1, j21) to output. なお、ボクセル座標(vx24,vy24,vz2 In addition, the voxel coordinates (vx24, vy24, vz2
4)と画素座標(i21,j21)の関係は、毎回、多眼ステレオカメラ11の取付位置情報およびレンズ歪み情報などを使用して算出しても良いし、或いは、あらかじめ全てのボクセル座標(vx24,vy24,vz24)について画素座標(i21,j Relationship 4) and the pixel coordinates (i21, j21) is each time, may be calculated using such attachment position information and the lens distortion information of the multi-view stereo camera 11, or in advance all voxels coordinates (Vx24 , vy24, vz24) for the pixel coordinates (i21, j
21)との関係を算出してルックアップテーブル等の形式で記憶しておき、その記憶から呼び出しても良い。 Is stored in the form of such a look-up table to calculate the relationship between the 21), it may be called from the storage.

【0125】同様に、2番目と3番目の画素座標生成部112、113も、ボクセル座標(vx24,vy24,vz24)に対応する2番目と3番目の多眼ステレオシステム62、6 [0125] Similarly, the second and third pixel coordinate generation unit 112 and 113 also, the voxel coordinates (vx24, vy24, vz24) 2 th corresponding to the third multi-view stereo system 62,6
3の出力画像の座標(i22,j22)と(i23,j23)をそれぞれ出力する。 The third output image coordinates (i22, j22) the (i23, j23) outputs, respectively.

【0126】(4) 距離生成部114 距離生成部114は、ボクセル座標(vx24,vy24,vz24)を入力し、それに対応するボクセルと1番目、2番目及び3番目の多眼ステレオカメラ11、12、13の各々との間の距離Dvc21,Dvc22,Dvc23を出力する。 [0126] (4) Distance generation unit 114 distance generating unit 114 inputs the voxel coordinates (vx24, vy24, vz24), voxel and first corresponding thereto, second and third multi-view stereo cameras 11 and 12 , and outputs the distance Dvc21, Dvc22, Dvc23 between each of 13. なお、各距離Dvc21,Dvc22,Dvc23は、各多眼ステレオカメラ11、 Each distance Dvc21, Dvc22, Dvc23, each multi-lens stereo camera 11,
12、13の取付位置情報およびレンズ歪み情報などを使用して算出する。 Using, for example, 12, 13 mounting position information and the lens distortion information calculated.

【0127】(5) 多眼ステレオデータ記憶部115 多眼ステレオデータ記憶部115は、3つの多眼ステレオ処理部61、62、63に対応する記憶領域116、 [0127] (5) multiview stereo data storage unit 115 multiview stereo data storage unit 115, the storage area 116 corresponding to the three multi-view stereo processor 61, 62,
117、118を有し、3つの多眼ステレオ処理部6 It has a 117, 118, three multi-view stereo processor 6
1、62、63からステレオ処理後の画像(輝度画像Im Image after stereo processing from 1,62,63 (luminance image Im
1,Im2,Im3、距離画像D1,D2,D3、信頼度画像Re1,Re2,Re 1, Im2, Im3, the distance image D1, D2, D3, reliability image Re1, Re2, Re
3)を入力し、これらの入力画像を対応する記憶領域1 3) Enter the corresponding storage area 1 of these input images
16、117、118に蓄積する。 Accumulate to 16,117,118. 例えば、1番目の多眼ステレオ処理部61からの輝度画像Im1、距離画像D1 For example, the luminance image from the first multi-view stereo processor 61 Im1, distance image D1
及び信頼度画像Re1は1番目の記憶領域116に蓄積する。 And reliability image Re1 accumulates in the first storage area 116.

【0128】続いて、多眼ステレオデータ記憶部115 [0128] Subsequently, the multi-eye stereo data storage unit 115
は、3つの画素座標生成部111、112、113から画素座標(i21,j21)、(i22,j22)、(i23,j23)を入力し、 Has three pixel coordinates from pixel coordinate generation unit 111, 112, 113 (i21, j21), enter a (i22, j22), (i23, j23),
3つの画素座標生成部111、112、113にそれぞれ対応する記憶領域116、117、118から、入力した画素座標(i21,j21)、(i22,j22)、(i23,j23)にそれぞれ対応する画素のステレオデータ(輝度、距離、信頼度)を読み出して出力する。 From each of the three pixel coordinate generation unit 111, 112 and 113 corresponding storage areas 116, 117, 118, inputted pixel coordinates (i21, j21), (i22, j22), the pixels respectively corresponding to (i23, J23) stereo data (luminance, distance, reliability) reads and outputs. 例えば、1番目の画素座標生成部111から入力した画素座標(i21,j21)に対しては、蓄積してある1番目の多眼ステレオ処理部61の輝度画像Im1、距離画像D1及び信頼度画像Re1中から、その入力画素座標(i21,j21)に対応する画素の輝度Im1(i21,j For example, the first for the pixel coordinates input from the pixel coordinate generation unit 111 (i21, j21), the luminance image Im1 of the first multi-view stereo processor 61 are stored, the distance image D1 and the reliability image from within re1, the input pixel coordinates (i21, j21) the luminance of the pixel corresponding to Im1 (i21, j
21)、距離D1(i21,j21)及び信頼度Re1(i21,j21)を読み出して出力する。 21), the distance D1 (i21, j21) and the reliability Re1 (i21, j21) the read and output.

【0129】なお、入力される画素座標(i21,j21)、(i2 [0129] Note that the pixel coordinates to be input (i21, j21), (i2
2,j22)、(i23,j23)はボクセル座標から計算で求めた実数データであるが、これに対し、多眼ステレオデータ記憶部115内に記憶されている画像の画素座標(つまり、メモリアドレス)は整数である。 2, j22), (i23, j23) is a real number data obtained by calculation from the voxel coordinates, contrast, pixel coordinates of the image stored in the multiview stereo data storage unit 115 (i.e., memory address ) is an integer. そこで、多眼ステレオデータ記憶部115は、入力した画素座標(i21,j2 Therefore, the multi-lens stereo data storage unit 115, input pixel coordinates (i21, j2
1)、(i22,j22)、(i23,j23)の小数点以下を切り捨てて整数の画素座標に変換するか、あるいは、入力した画素座標(i21,j21)、(i22,j22)、(i23,j23)各々の付近にある整数の画素座標を複数選択し、その複数の整数画素座標のステレオデータを読み出して補間し、その補間結果を入力画素座標に対するステレオデータとして出力しても良い。 1), (i22, j22), (i23, or converted to an integer pixel coordinates rounded down to the nearest of the J23), or the pixel coordinates (i21, j21 input), (i22, j22), (i23, J23) select a plurality of integer pixel coordinates in each vicinity of interpolated read stereo data of the plurality of integer pixel coordinates may output the interpolation result as a stereo data for the input pixel coordinates.

【0130】(6) 距離一致検出部121、122、1 [0130] (6) distance match detection unit 121,122,1
23 3つの多眼ステレオ処理部61、62、63にそれぞれ対応して3つの距離一致検出部121、122、123 23 3 corresponding respectively to the three multi-view stereo processor 61, 62, 63 one distance matching detection unit 121, 122, 123
が設けられる。 It is provided. これら距離一致検出部121、122、 These distances match detection unit 121 and 122,
123の機能は互いに同じであるので、1番目の距離一致検出部121を代表的に説明する。 Since 123 functions are the same as each other, illustrating a first distance coincidence detector 121 typically.

【0131】1番目の距離一致検出部121は、多眼ステレオデータ記憶部115から出力された1番目の多眼ステレオ処理部61により測定された距離D1(i21,j21) [0131] The first distance match detection unit 121, the multi-eye stereo data storage unit 115 distance measured by the first multi-view stereo processor 61 output from D1 (i21, j21)
と、距離生成部114から出力されたボクセル座標(vx2 When the distance voxel coordinates output from the generator 114 (vx2
4,vy24,vz24)に対応する距離Dvc1とを比較する。 4, vy24, vz24) To compare the distances Dvc1 corresponding. 対象物10の外表面がそのボクセル中に存在する場合には、D1 If the outer surface of the object 10 is present in the voxel, D1
(i21,j21)とDvc21が一致する筈である。 Should that (i21, j21) and Dvc21 match. そこで、距離一致検出部121は、D1(i21,j21)とDvc21の差の絶対値が所定値以下である場合には、対象物10の外表面が当該ボクセル中に存在すると判定して判定値Ma21=1を出力し、D1(i21,j21)とDvc21の差の絶対値が所定値より大きい場合には、対象物10の外表面がそのボクセル中は存在しないと判定して判定値Ma21=0を出力する。 Therefore, the distance match detector 121, D1 (i21, j21) and if the absolute value of the difference between Dvc21 is less than the predetermined value, the determination value is determined as the outer surface of the object 10 is present in the voxel outputs Ma21 = 1, D1 (i21, j21) and if the absolute value of the difference between Dvc21 is larger than the predetermined value, the determination value is determined as the outer surface of the object 10 is not present in the voxel MA21 = outputs 0.

【0132】同様に、2番目と3番目の距離一致検出部122、123も、2番目と3番目の多眼ステレオ処理部62、63による測定距離D2(i22,j22)、D3(i23,j23) [0132] Similarly, the second and third distances match detection unit 122, the measurement distance by the second and third multi-view stereo processor 62,63 D2 (i22, j22), D3 (i23, j23 )
にそれぞれ基づいて、該ボクセルに対象物10の外表面が存在するか否かを判定して、判定値Ma22およびMa23をそれぞれ出力する。 Based respectively, to determine whether the outer surface of the object 10 to the voxel is present, it outputs a determination value Ma22 and Ma23, respectively.

【0133】(7) ボクセルデータ生成部124、12 [0133] (7) voxel data generating unit 124,12
5、126 3つの多眼ステレオ処理部61、62、63にそれぞれ対応して3つのボクセルデータ生成部124、125、 5,126 three corresponding to three in the respective multi-view stereo processor 61, 62, 63 voxel data generating unit 124 and 125,
126が設けられる。 126 is provided. これらボクセルデータ生成部12 These voxel data generating unit 12
4、125、126の機能は互いに同じであるので、1 Since the function of 4,125,126 are the same as each other, 1
番目のボクセルデータ生成部124を代表的に説明する。 It will be described representatively th voxel data generation unit 124.

【0134】1番目のボクセルデータ生成部124は、 [0134] The first of the voxel data generating unit 124,
1番目の距離一致検出部からの判定値Ma21をチェックし、Ma21が1であれば(つまり、ボクセル座標(vx24,vy2 Check the determination value Ma21 from the first distance coincidence detecting unit, if Ma21 is 1 (i.e., voxel coordinates (Vx24, Vy2
4,vz24)のボクセル中に対象物10の外表面が存在する場合には)、当該ボクセルについて多眼ステレオ記憶部115の1番目の記憶領域116から出力されたデータを、当該ボクセルのボクセルデータとして蓄積する。 4, if there is the outer surface of the object 10 in voxel vz24)), the output data from the first storage area 116 of the multi-view stereo storage unit 115 for the voxel, the voxel data of the voxel accumulate as. 蓄積するボクセルデータは、そのボクセル座標(vx24,vy2 Voxel data to be stored, the voxel coordinates (vx24, vy2
4,vz24)に対応する画素座標(i21,j21)の輝度Im1(i21,j2 4, the corresponding pixel coordinates vz24) (i21, j21) the luminance Im1 (i21, j2
1)および信頼度Re1(i21,j21)であり、それぞれボクセル輝度Vim1(vx24,vy24,vz24)およびボクセル信頼度Vre1(v 1) and a reliability Re1 (i21, j21), respectively voxel brightness Vim1 (vx24, vy24, vz24) and voxel reliability Vre1 (v
x24,vy24,vz24)として蓄積する。 x24, vy24, vz24) accumulate as.

【0135】ボクセル座標発生部101が処理すべき全てのボクセル30、…、30のボクセル座標を発生した後、ボクセルデータ生成部124は、全てのボクセル3 [0135] voxel coordinate generating unit 101 all the voxels 30 to be processed, ..., after generating a 30 voxel coordinates, voxel data generator 124, all voxels 3
0、…、30の各々について蓄積されたボクセルデータ 0, ..., stored voxel data for each of the 30
Vim1(vx24,vy24,vz24)、Vre1(vx24,vy24,vz24)を出力する。 Vim1 (vx24, vy24, vz24), and outputs the Vre1 (vx24, vy24, vz24). 個々のボクセルについて蓄積されたボクセルデータの個数は同じではなく、ボクセルデータが蓄積されないボクセルもある。 The number of accumulated voxel data for the individual voxels are not the same, there is also a voxel the voxel data are not accumulated.

【0136】同様に、2番目と3番目のボクセルデータ生成部125、126も、全てのボクセル30、…、3 [0136] Similarly, the second and third voxel data generating section 125 and 126 also, all the voxels 30, ..., 3
0の各々について、2番目と3番目のステレオ処理部6 0 For each of the second and third stereo processor 6
2、63の出力にそれぞれ基づくボクセルデータVim2(v Each based on the output of 2,63 voxel data Vim2 (v
x24,vy24,vz24)、Vre2(vx24,vy24,vz24)およびVim3(vx2 x24, vy24, vz24), Vre2 (vx24, vy24, vz24) and Vim3 (vx2
4,vy24,vz24)、Vre3(vx24,vy24,vz24)を蓄積し、出力する。 4, vy24, vz24), accumulates Vre3 (vx24, vy24, vz24), outputs.

【0137】(8) 統合ボクセルデータ生成部127 統合ボクセルデータ生成部127は、3つのボクセルデータ生成部124、125、126からのボクセルデータを各ボクセル毎に統合することにより、各ボクセルの統合輝度Vim(vx24,vy24,vz24)を求める。 [0137] (8) integrated voxel data generating unit 127 integrates the voxel data generating unit 127, by integrating the voxel data from three voxel data generating unit 124, 125 and 126 for each voxel, integrated intensity of each voxel Vim (vx24, vy24, vz24) seek.

【0138】統合方法としては、下記のようなものがある。 [0138] as an integrated method, there is something like the following.

【0139】A. [0139] A. 複数のボクセルデータが蓄積されているボクセルの場合 蓄積された複数の輝度の平均を統合輝度Vim(vx24,v For voxels plurality of voxel data are stored accumulated plurality of average luminance integration luminance Vim of (vx24, v
y24,vz24)とする。 y24, vz24) to. この場合、複数の輝度の分散値を求め、その分散値が所定値以上であった場合には、そのボクセルにはデータがないとして、たとえばVim(vx24,vy2 In this case, we obtain the dispersion value of the plurality of luminance, if the variance value is greater than or equal to a predetermined value, as there is no data in the voxel, for example, Vim (vx24, vy2
4,vz24)=0としてもよい。 4, vz24) = may be 0.

【0140】 或いは、蓄積された複数の信頼度の中で最も高いものを選び、その最も高い信頼度に対応する輝度を統合輝度Vim(vx24,vy24,vz24)とする。 [0140] Alternatively, to select the highest among the plurality of reliabilities accumulated, the highest luminance corresponding to the reliability integrated luminance Vim (vx24, vy24, vz24) to. この場合、その最も高い信頼度が所定値以下の場合、そのボクセルにはデータがないとして、たとえばVim(vx24,vy24, In this case, if the highest confidence is below a predetermined value, as there is no data in the voxel, for example, Vim (vx24, vy24,
vz24)=0としてもよい。 vz24) = may be 0.

【0141】 或いは、蓄積された信頼度から重み係数を決め、蓄積された複数の輝度にそれぞれに対応する重み係数を掛けて平均化した値を統合輝度Vim(vx24,vy2 [0141] Alternatively, determining the weighting factor from the stored confidence, integrating the accumulated value obtained by averaging over the weighting factors corresponding to each of the plurality of luminance brightness Vim (vx24, vy2
4,vz24)とする。 4, vz24) to.

【0142】B. [0142] B. ボクセルデータが1個のみ蓄積されているボクセルの場合 その輝度を統合輝度Vim(vx24,vy24,vz24)とする。 For voxel the voxel data is accumulated only one integrating the luminance brightness Vim (vx24, vy24, vz24) to.
その場合、信頼度が所定値以下の場合、そのボクセルにはデータがないとして、たとえばVim(vx24,vy24,vz24)= In that case, if the reliability is less than a predetermined value, as there is no data in the voxel, for example, Vim (vx24, vy24, vz24) =
0としてもよい。 It may be 0.

【0143】C. [0143] C. ボクセルデータが蓄積されていないボクセルの場合 そのボクセルにはデータがないとして、たとえばVi As voxel data no data in that voxel if the voxel is not stored, for example, Vi
m(vx24,vy24,vz24)=0とする。 m (vx24, vy24, vz24) = 0 to.

【0144】このようにして統合ボクセルデータ生成部127は、全てのボクセルの統合輝度Vim(vx24,vy24,vz [0144] Integrated voxel data generating unit 127 in this way, all voxels of the integrated luminance Vim (vx24, vy24, vz
24)を計算して、モデリング部78へ送る。 By calculating the 24), and sends it to the modeling unit 78. モデリング部78の処理は、図10を参照して既に説明した通りである。 Processing of the modeling unit 78, as already described with reference to FIG. 10.

【0145】ところで、図10の演算装置18と図11 [0145] Incidentally, the arithmetic unit 18 of FIG. 10 and FIG. 11
の演算装置200との違いと同様に、図12の演算装置300においても、対象面の傾き算出部を追加して、統合輝度を生成する際に信頼度の代わりに対象面の傾きを使用することも可能である。 Like the difference between the arithmetic device 200, in the arithmetic unit 300 in FIG. 12, by adding the inclination calculation portion of the target surface, using a gradient of the object surface in place of the reliability in generating the integrated luminance it is also possible.

【0146】図13は、図9及び図10に示した演算装置18と置き替えることのできる第4の演算装置400 [0146] Figure 13 is a fourth computing device 400 that can replace them with arithmetic unit 18 shown in FIGS. 9 and 10
の構成を示す。 It shows the configuration.

【0147】図13に示す演算装置400は、図10に示した演算装置18の構成と、図12に示した演算装置300の構成とを組み合わせて、それぞれの構成の長所を活かして互いの短所を埋めるようにしたものである。 [0147] computing device 400 shown in FIG. 13, a combination configuration of the arithmetic unit 18 shown in FIG. 10, the configuration of the arithmetic unit 300 shown in FIG. 12, another disadvantage by utilizing the advantages of each constituent it is obtained so as to fill the.
すなわち、図12の演算装置300の構成によると、ボクセル座標(vx24,vy24,vz24)の3軸の座標を変化させて処理を行うので、精細な3次元モデルを作るためにボクセルサイズを小さくしてボクセル数を増やすと計算量が膨大になるという問題がある。 That is, according to the configuration of the arithmetic unit 300 in FIG. 12, since the 3 coordinates by changing the axial processing voxel coordinates (vx24, vy24, vz24), to reduce the voxel size to make a fine three-dimensional model increasing the number of voxels Te and calculation amount is a problem that becomes enormous. 一方、図10の演算装置18の構成によると、画素座標(i11,j11)の2軸の座標を変化させればよいため図12の演算装置300と比較して計算量は少ないが、精細な3次元モデルを得ようとしてボクセル数を増やしても、ボクセルデータが与えられるボクセル数が画素数によって限定されているため、ボクセルデータが与えられるボクセル間に隙間が空いてしまい、精細な3次元モデルが得られないという問題がある。 Meanwhile, according to the configuration of the arithmetic unit 18 of FIG. 10, the amount of calculation as compared with the arithmetic unit 300 of the pixel coordinates (i11, j11) 12 for may be changed the coordinates of the two axes is less, a fine even increasing the number of voxels in an attempt to obtain a three-dimensional model, since the number of voxels voxel data is provided is limited by the number of pixels, will empty gap between voxels voxel data is provided, resolution 3D model there is a problem that can not be obtained.

【0148】そこで、上記の問題を解消するために、図13に示す演算装置400は、まず少ない数の粗大なボクセルを設定して図10の演算装置18と同様の画素指向型の演算処理を行って、粗大ボクセルについての統合輝度Vim11(vx15,vy15,vz15)を求める。 [0148] In order to solve the above problems, the arithmetic unit 400 shown in FIG. 13, by setting the coarse voxels First fewer arithmetic processing similar pixel-oriented and computing device 18 of FIG. 10 go and seek integration for coarse voxel brightness Vim11 (vx15, vy15, vz15). 次に、粗大ボクセルの統合輝度Vim11(vx15,vy15,vz15)に基づいて、対象物10の外表面が存在すると判断される統合輝度をもった粗大ボクセルに関し、その粗大ボクセルの領域をより小さな領域をもった精細なボクセルに分割し、その分割した精細ボクセルに関してのみ図12の演算装置30 Next, coarse voxels integrated luminance Vim11 based on (vx15, vy15, vz15), it relates coarse voxels having an integrated luminance outer surface is determined to be present in the object 10, a smaller area region of the coarse voxels divided into fine voxels having a computing device 30 of FIG. 12 only for the divided fine voxels
0のようなボクセル指向型の演算処理を行う。 It performs voxel-oriented operation process, such as 0.

【0149】すなわち、図13に示す演算装置400 [0149] That is, the arithmetic device 400 shown in FIG. 13
は、既に説明したものと同構成の多眼ステレオ処理部6 Already those described and multiview stereo processing portion of the structure 6
1、62、63の下流に、画素座標生成部131、画素指向型演算部132、ボクセル座標生成部133、ボクセル指向型演算部134、及び既に説明したものと同構成のモデリング部78を備える。 Provided downstream of 1,62,63, pixel coordinate generation unit 131, a pixel-oriented operation unit 132, the voxel coordinate generating unit 133, the voxel-oriented arithmetic unit 134, and already modeling unit 78 and what the same configuration described.

【0150】画素座標生成部131と画素指向型演算部132は、図10に示した演算装置18の部分79(画素座標生成部64、多眼ステレオデータ記憶部65、ボクセル座標生成部71、72、73、ボクセルデータ生成部74、75、76及び統合ボクセルデータ生成部7 [0150] The pixel coordinate generator 131 and the pixel-oriented operation circuit 132, part 79 (pixel coordinate generation unit 64 of the arithmetic unit 18 shown in FIG. 10, the multi-lens stereo data storage unit 65, voxel coordinate generating section 71 and 72 , 73, voxel data generating unit 74, 75, and 76 and integrated voxel data generating unit 7
7)と実質的に同一の構成である。 7) to be substantially the same structure. すなわち、画素座標生成部131は、図10に示した画素座標生成部64と同様に、多眼ステレオ処理部61、62、63の出力画像の全域又は処理すべき部分域の全画素をスキャンして、各画素の座標(i15,j15)を順次に出力する。 That is, the pixel coordinate generator 131, like the pixel coordinate generation unit 64 shown in FIG. 10, scan all pixels of the partial region to be the entire area or processing of the output image of the multi-view stereo processor 61, 62, 63 Te, and it outputs the coordinates (i15, j15) of each pixel sequentially. 画素指向型演算部132は、各画素座標(i15,j15)と、その画素座標(i15,j15)に対する距離とに基づき、空間20を予め粗く分割して設定してある粗大ボクセルの座標(vx1 Pixel-oriented operation circuit 132, each pixel coordinate (i15, j15), based on the distance to the pixel coordinates (i15, j15), previously coarsely divided and coarse voxel coordinates have set a space 20 (vx1
5,vy15,vz15)を求め、その粗大ボクセル座標(vx15,vy1 5, vy15, vz15) look, the coarse voxel coordinates (vx15, vy1
5,vz15)に対する統合輝度Vim11(vx15,vy15,vz15)を図1 5, integrated luminance Vim11 for vz15) (vx15, vy15, vz15) Figure 1
0の演算装置18と同様の方法で求めて出力する。 0 and outputs determined by the same methods as computing device 18. なお、ここでの統合輝度Vim11(vx15,vy15,vz15)を求める方法には、既に説明したような方法に代えて、Vim11(vx Note that the method of obtaining here integrated luminance Vim11 (vx15, vy15, vz15), instead of the method as previously described, Vim11 (vx
15,vy15,vz15)がゼロか否か(つまり、その粗大ボクセルに対象物10の外表面が存在するか否か)を区別するだけの簡単な方法を用いてよい。 15, vy15, vz15) may be used whether or not zero (i.e., a simple method of simply distinguishing whether) the outer surface of the object 10 to the coarse voxels are present.

【0151】ボクセル座標生成部133は、各粗大ボクセル座標(vx15,vy15,vz15)の統合輝度Vim11(vx15,vy15, [0151] voxel coordinate generating unit 133 integrates the luminance Vim11 (vx15, vy15 of each coarse voxel coordinates (vx15, vy15, vz15),
vz15)を入力して、その統合輝度Vim11(vx15,vy15,vz15) Vz15) by entering its integrated luminance Vim11 (vx15, vy15, vz15)
がゼロでない(つまり、対象物10の外表面が存在すると推定される)粗大ボクセルについてのみ、その粗大ボクセルを複数の精細ボクセルに分割して、各精細ボクセルのボクセル座標(vx16,vy16,vz16)を順次に出力する。 But not zero (i.e., the outer surface is estimated to be present in the object 10) for coarse voxels only divides the coarse voxels into a plurality of fine voxels, the voxel coordinates of each resolution voxel (vx16, vy16, vz16) and outputs sequentially.

【0152】ボクセル指向型演算部134は、図12の演算装置300の部分128(画素座標生成部111、 [0152] voxel oriented computing section 134, section 128 of the computing device 300 of FIG. 12 (pixel coordinate generator 111,
112、113、距離生成部114、多眼ステレオデータ記憶部115、距離一致検出部121、122、12 112 and 113, the distance generating unit 114, multi-view stereo data storage unit 115, a distance matching detection unit 121,122,12
3、ボクセルデータ生成部124、125、126、及び統合ボクセルデータ生成部127)と実質的に同一の構成を有する。 3, a voxel data generating unit 124, 125, 126, and integrate the voxel data generating unit 127) and the substantially the same structure. このボクセル指向型演算部134は、各精細ボクセル座標(vx16,vy16,vz16)について、多眼ステレオ処理部61、62、63からの出力画像に基づいてボクセルデータを求め、それを統合して統合輝度Vim12 The voxel-oriented arithmetic unit 134, for each resolution voxel coordinates (vx16, vy16, vz16), obtains the voxel data on the basis of the output image from the multi-view stereo processor 61, 62, 63, integrated by integrating it brightness Vim12
(vx16,vy16,vz16)を求めて出力する。 (Vx16, vy16, vz16) the seeking to output.

【0153】ボクセル指向型演算部134による精細なボクセルデータの生成処理は、対象物10の外表面が存在すると推定されたボクセルのみに限定して行われるので、対象物10の外表面が存在しないボクセルに対する無駄な処理が省かれ、その分だけ処理時間が低減される。 [0153] generation processing fine voxel data by the voxel-oriented arithmetic unit 134, so takes place limited only to voxels outer surface of the object 10 is estimated to be present, there is no outer surface of the object 10 unnecessary processing is omitted for the voxel, that much processing time is reduced.

【0154】なお、上記の構成では、画素指向型演算部132とボクセル指向型演算部134のそれぞそれが多眼ステレオデータ記憶部をもつが、そうする代わりに、 [0154] In place in the arrangement, each its pixel-oriented operation unit 132 and the voxel-oriented arithmetic unit 134 but it has a multiple-lens stereo data storage unit, to do so,
1つの多眼ステレオデータ記憶部を画素指向型演算部1 Pixels one multiview stereo data storage unit oriented computing section 1
32とボクセル指向型演算部134の双方が共用するように構成することもできる。 Both 32 and voxel-oriented arithmetic unit 134 can also be configured to share.

【0155】ところで、上述した図10〜図13に示した演算装置18、200、300、400を構成する個々の要素は、純粋なハードウェア回路によっても、コンピュータによって実行されるコンピュータプログラムによっても、また、両方を組み合わせた形でも実現することができる。 [0155] Incidentally, the individual elements constituting the operation device 18,200,300,400 shown in FIGS. 10 to 13 described above, by purely hardware circuit, also by a computer program executed by a computer, Furthermore, it can also be implemented in the form of a combination of both. 純粋なハードウェア回路によって実現した場合、非常に高速にモデリングが完了する。 If it realized purely by hardware circuitry, very modeling fast is completed.

【0156】図14は、本発明に従うバーチャル試着システムの第2の実施形態の全体構成を示す。 [0156] Figure 14 shows an overall configuration of a second embodiment of the virtual try-on system according to the present invention.

【0157】図14に示すバーチャル試着システムは、 [0157] virtual try-on system shown in FIG. 14,
例えば百貨店や衣料品店やゲームセンタなどの店舗内でバーチャル試着を行うのに適したものである。 For example, those suitable for performing a virtual try-on in the store, such as department stores and clothing stores and game center. すなわち、図9に示したものと同じ構成をもつステレオ撮影システム6が店舗内に設けられており、それに、図10に示した構成をもつ演算装置18(又は図11〜図13に示した演算装置200、300又は400)が接続されている。 That is provided to a stereo imaging system 6 is in a store with the same configuration as that shown in FIG. 9, it, operation shown in computing device 18 (or 11 to 13 having the structure shown in FIG. 10 200, 300 or 400) is connected. 演算装置18には、コンピュータシステム19 The arithmetic unit 18, a computer system 19
が接続されている。 There has been connected. コンピュータシステム19は、既に説明したようなバーチャル試着用プログラムを有し、様々な衣裳の3次元モデルを蓄積した衣裳データベース5 Computer system 19, the costume database 5 already has a virtual trial fitting program as described, accumulating three-dimensional models of different costume
2を持ち、ステレオ撮影システム6内に入っているユーザ10が操作可能なコントローラ51を有し、さらに、 Has 2, user 10 has entered the stereo imaging system 6 has an operable controller 51, further,
そのディスプレイ画面50は、ステレオ撮影システム6 The display screen 50, a stereo imaging system 6
内に入っているユーザ10が見れる位置に配置されている。 Is arranged in user 10 can watch the position entered within.

【0158】演算装置18は、ステレオ撮影システム6 [0158] computing device 18, a stereo imaging system 6
からユーザ10の実写データを入力して、既に説明した方法でユーザの標準全身モデルを作成し、その標準全身モデルをコンピュータシステム50に出力する。 Enter the photographed data of the user 10 from already created a standard full-body model of the user in the manner described, and outputs the standard full-body model in the computer system 50. 演算装置18はまた、標準全身モデルを外部出力する(例えば、CD−ROMなどの記録媒体に書き込んだり、通信ネットワークへ送出する)こともできる)。 Arithmetic unit 18 also standard systemic model external output (e.g., writing to a recording medium such as a CD-ROM, sent to a communication network) may be). コンピュータシステム19は、演算装置18から入力したユーザの標準全身モデルと、衣裳データベース52内の様々な衣裳の3次元モデルを用いて、バーチャル試着用プログラムを実行して、そのディスプレイ画面50に、図4に示したようなバーチャル試着ウィンドウ500を表示する。 Computer system 19 includes a standard full-body model of the user input from the operation unit 18, using the 3-dimensional model of various apparel costumes database 52, by executing a program for virtual fitting, on its display screen 50, Fig. to display the virtual try-on window 500 as shown in 4.

【0159】ユーザ10は、コントローラ51を操作して、着る衣裳を選んだり、バーチャル3次元空間内のバーチャルカメラ40の位置や視線41やズーム倍率を変更したりすることができる。 [0159] The user 10 can operate the controller 51, or choose a costume to wear, or to change the position or the line-of-sight 41 and the zoom magnification of the virtual camera 40 in the virtual three-dimensional space. さらに、既に説明したように、演算装置18はユーザ10の動きに実時間又はそれに近い状態で追従して同様に変化していく多数の標準全身モデルを次々と作成してコンピュータシステム19に送り込むことができるので、ユーザ10がステレオ撮影システム6内で自由にポーズをとったりモーションを行えば、ディスプレイ画面50に表示されたバーチャル試着ウィンドウ500内のユーザの3次元モデルも同じポーズをとったりモーションを行うことになる。 Further, as already described, the computing device 18 be fed into the computer system 19 to create one after another a number of standard full-body model that will change in the same manner as to follow a state close to the actual time or the movement of the user 10 since it is, by performing a motion or freely posed the user 10 in the stereo imaging system within 6, to perform a three-dimensional model also motion or take the same pose of the user's virtual fitting window 500 that is displayed on the display screen 50 become.

【0160】図15は、本発明に従うゲームシステムの一実施形態の全体構成を示す。 [0160] Figure 15 shows an overall configuration of an embodiment of a gaming system according to the present invention. このゲームシステムは、 The game system is,
ユーザが任意の物品の3次元モデルデータをコンピュータゲームのバーチャル3次元空間に取り込んで遊ぶためのものである。 The user is intended to play captures the three-dimensional model data of any article in a virtual three-dimensional space of the computer game.

【0161】図15に示すように、モデリングサーバ7 [0161] As shown in FIG. 15, the modeling server 7
01、ゲームメーカやゲーム販売店などのゲームサプライヤのコンピュータシステム(以下、「ゲームサプライヤシステム」という)702、及びユーザのコンピュータシステム(例えば、パーソナルコンピュータやゲームコンピュータなどであり、以下、「ユーザシステム」という)704が、インターネットのような通信ネットワーク703を通じて通信可能に接続されている。 01, the game supplier of computer systems, such as a game maker and game retailers (hereinafter referred to as "game supplier system") 702, and a user of the computer system (for example, a personal computer or a game computer, hereinafter referred to as "user system" hereinafter) 704 are communicably connected through a communications network 703 such as the Internet. ユーザシステム704は、少なくとも一台の多眼ステレオカメラ705と、ユーザが操作するコントローラ706と、 User system 704 includes at least a single multi-lens stereo camera 705, a controller 706 operated by the user,
ディスプレイ装置707とを有している。 And a display device 707. ユーザシステム704には、ゲームプログラムと、ステレオ撮影用プログラムとが搭載されている。 The user system 704, and the game program, and a program for the stereo photography are mounted.

【0162】図16は、このゲームシステムの処理流れを示す。 [0162] FIG. 16 shows a process flow of the game system. 図15と図16を参照して、このゲームシステムの動作を説明する。 Referring to FIGS. 15 and 16, the operation of this game system.

【0163】(1) 図16のステップS81に示すように、ユーザシステム704にて、まず、ステレオ撮影用プログラムが実行される。 [0163] (1) As shown in step S81 of FIG. 16, at the user system 704, firstly, the stereo imaging program is executed. そこで、ユーザは、ゲームプログラムで使用したいと思っている物品(例えば、自動車レースゲームで使用したいと思う自分の自動車おもちゃ)709の静止画像を、多眼ステレオカメラ704 Thus, the user, the article wants to use in the game program a still image (for example, their own toy car that you want to use in a car racing game) 709, a multi-eye stereo camera 704
を用いて複数方向(例えば、前、後、左、右、上、下、 A plurality of directions (for example using, front, rear, left, right, up, down,
斜め上前、斜め上後など)からそれぞれ撮影する。 Diagonal upper front, later on the diagonal, etc.) be taken from each. このとき、ステレオ撮影用プログラムは、ディスプレイ装置707に例えば図17に示すような撮影ウィンドウ71 At this time, the stereo photographing program, a display device 707, for example, photographing window shown in Fig. 17 71
0を表示する。 0 to display. この撮影ウィンドウ710には、各方向から撮影するときの手本を示した手本ウィンドウ711 The imaging window 710, model window 711 showing a model at the time of shooting from the direction
と、ユーザが実際に撮影した結果を示す実写データウィンドウ712と、多眼ステレオカメラ705から現在出力されているビデオ画像を示すモニタウィンドウ713 When the monitor window 713 shown as photographed data window 712 shows the result of a user actually captured, the video image from the multi-lens stereo camera 705 currently being output
と、「シャッター」ボタン714と「キャンセル」ボタン715などが配置されている。 If, such as the "shutter" button 714 "cancel" button 715 is located. ユーザは、モニタウィンドウ713に表示されている画像が手本ウィンドウ7 The user model is the image displayed on the monitor window 713 window 7
11内の撮ろうとする方向の画像と同様の向きになるように多眼ステレオカメラ705と物品709の位置関係を調整した上で、「シャッター」ボタン714を押せば、その方向の物品709の静止画が撮影される。 After adjusting the positional relationship between the camera array stereo camera 705 and the article 709 to be oriented similar to the direction of the image to be shoot within 11, pressing the "shutter" button 714, a still of the direction of the article 709 picture is taken.

【0164】(2) 全ての方向からの撮影が終わると、図16のステップS82に示すように、ユーザシステム704のステレオ撮影用プログラムは、モデリングサーバ701に通信ネットワーク703を通じて接続して、物品709の実写データ(複数方向から撮影した静止画)をモデリングサーバ701に送り、モデリングサーバ701は、その実写データを受け取る(S92)。 [0164] (2) When shooting from all directions and ends, as shown in step S82 of FIG. 16, the stereo imaging program of the user system 704, connected through a communications network 703 for modeling server 701, the article 709 the photographed data (multiple still images shot from the direction) the feed to the modeling server 701, the modeling server 701 receives the photographed data (S92).
また、このとき、ユーザシステム704のステレオ撮影用プログラムは、モデリングサーバ701に対して、ユーザが使用しようと思っているゲームプログラムの識別情報(ゲームID)も通知する。 At this time, the stereo imaging program for user system 704, to the modeling server 701, identification information (game ID) of the game program that the user is going to use is also notified.

【0165】(3) ステップS101及びS91に示すように、モデリングサーバ701は、前もって、ゲームサプライヤシステム702から、様々なゲームプログラムについて、それぞれのプログラムで使用される3次元モデルのデータフォーマットを表した情報を受信して蓄積している。 [0165] (3) As shown in steps S101 and S91, the modeling server 701 beforehand, from the game supplier system 702, for various game programs, showing the data format of the three-dimensional model used in each program and receiving and accumulating information. そして、モデリングサーバ701は、ユーザシステム704から物品709の実写データとゲームIDを受けると、ステップS93に示すように、受信した実写データを用いて、受信したゲームIDのデータフォーマットで、その物品709の3次元モデルデータを作成する。 Then, the modeling server 701 receives the photographed data and the game ID of the article 709 from the user system 704, as shown in step S93, using the received photographed data, the data format of the received game ID, the article 709 to create a three-dimensional model data. 3次元モデルデータの作り方は、基本的に、図10〜図13を参照して説明した方法と同様である。 How to make the three-dimensional model data is basically the same as the method described with reference to FIGS. 10 to 13. モデリングサーバ701は、作成した物品の3次元モデルデータをユーザシステム704に送信し、ステップS83に示すように、ユーザシステム704のステレオ撮影用プログラムがその3次元モデルデータを受信する。 Modeling server 701 transmits the three-dimensional model data of articles created on the user system 704, as shown in step S83, the stereographic image capturing program for the user system 704 receives the three-dimensional model data.

【0166】(4) ステップS83に示すように、ユーザシステム704のステレオ撮影用プログラムは、受信した3次元モデルデータを用いて、その3次元モデルをいろいろな方向から見た2次元画像(例えば、その3 [0166] (4) As shown in step S83, the stereographic image capturing program for the user system 704, using a three-dimensional model data received, the two-dimensional image viewed the 3-dimensional model from various directions (e.g., Part 3
次元モデルを回転させながら全方向から見た動画像)をレンダリングして、ディスプレイ装置707に表示する。 Rendering a moving image) as viewed from all directions while rotating the dimensional model is displayed on the display device 707. ユーザはそれを見て、受信した3次元モデルデータに問題はないかチェックする。 The user can look at it, to check whether there is no problem in the three-dimensional model data received. 問題のないことが確認されると、ステレオ撮影用プログラムは、受信した3次元モデルデータを保存し、受領した旨をモデリングサーバ701に通知する。 If there is no mistake is confirmed, stereo photographing program stores the three-dimensional model data received, notifies the modeling server 701 that it has received.

【0167】(5) ステップS94及びS95に示すように、モデリングサーバ701は、ユーザが3次元モデルデータを受領した旨を確認すると、ユーザから料金を徴収するための課金処理を行い、請求書などの課金結果データをユーザシステム704に送信し、ステップS [0167] (5) As shown in step S94 and S95, the modeling server 701, when confirming that the user has received a three-dimensional model data, performs an accounting process for collecting a fee from the user, billing, etc. It transmits the billing result data to the user system 704, the step S
85に示すように、ユーザシステム704のステレオ撮影用プログラムはその課金結果データを受信して表示する。 As shown in 85, the stereo imaging program of the user system 704 receives and displays the accounting result data.

【0168】(6) こうして物品709の3次元モデルデータの作成が完了すると、その後、ステップS86 [0168] (6) In this way the creation of three-dimensional model data of the article 709 is complete, then step S86
で示すように、ユーザはユーザシステム704でゲームプログラムを実行し、そのゲームプログラムにおいて、 As shown, the user executes the game program in the user system 704, in the game program,
先ほど保存した物品709の3次元モデルデータを使用する。 Using a three-dimensional model data of the article 709 that you just saved. 例えば、図15のディスプレイ装置707に示したように、ユーザの自動車おもちゃ709の3次元モデル708を用いて自動車レースゲームをプレイすることができる。 For example, as shown in the display device 707 in FIG. 15, it is possible to play a car race game using the 3-dimensional model 708 of the user of the toy car 709.

【0169】図18は、本発明に従うゲームシステムの第2の実施形態を示す。 [0169] Figure 18 shows a second embodiment of a game system according to the present invention. このゲームシステムは、ユーザが自分や友達など人間の身体の3次元モデルデータをコンピュータゲームのバーチャル3次元空間に取り込んで遊ぶためのものである。 The game system is one in which the user is to play captures a three-dimensional model data of the human body, such as yourself or a friend to a virtual three-dimensional space of computer games.

【0170】図18に示すように、モデリングサーバ7 [0170] As shown in FIG. 18, the modeling server 7
21、ゲームサプライヤシステム722、ユーザシステム724及び店舗システム729が、通信ネットワーク723を通じて通信可能に接続されている。 21, the game supplier system 722, user system 724 and the store system 729 is communicatively coupled via the communication network 723. 店舗システム729にはステレオ撮影システム730が接続されている。 Stereo imaging system 730 is connected to the store system 729.

【0171】ゲームサプライヤシステム722は、図1 [0171] The game supplier system 722, as shown in FIG. 1
5に示したゲームシステムのゲームサプライヤシステム702と同様に、様々なゲームプログラム用の3次元モデルのフォーマット情報をモデリングサーバ721に提供する。 Similar to the game supplier system 702 of the game system shown in 5, to provide formatting information for three-dimensional models for various game programs for modeling server 721. 店舗システム729とステレオ撮影システム7 Store system 729 and the stereo imaging system 7
30は、図1に示したバーチャル試着システムの店舗システム5とステレオ撮影システム6と同様に、ユーザの身体を複数台の多眼ステレオカメラで撮影してその実写データをモデリングサーバ721へ送る。 30, similar to the store system 5 and the stereo imaging system 6 of the virtual try-on system shown in FIG. 1, by photographing the user's body by a plurality of multi-view stereo cameras sends the photographed data to the modeling server 721.

【0172】ユーザシステム724は、例えばパーソナルコンピュータやゲームコンピュータであって、ユーザが操作するコントローラ727と、ディスプレイ装置7 [0172] The user system 724 is, for example a personal computer or game computer, a controller 727 operated by the user, the display device 7
28を有し、そして、人間が登場するゲーム(例えば、 Has a 28, and, game human appeared (for example,
格闘ゲーム)のゲームプログラムを搭載している。 It is equipped with a fighting game) game program. さらに、ユーザシステム724には、ユーザが望めば、複数台(例えば2台)の多眼ステレオカメラ725、726 Further, the user system 724, if you wish the user, multi-view stereo cameras plurality (e.g. two) 725, 726
を接続し、そして、その多眼ステレオカメラ725、7 Connect, and, the multi-eye stereo camera 725,7
26からの実写データをモデリングサーバ721へ送って、モデリングサーバ721から3次元モデルデータを受け取るためのステレオ撮影用プログラムを搭載することができる。 Send photographed data from the 26 to the modeling server 721, it can be mounted stereo imaging program for receiving a three-dimensional model data from the model server 721.

【0173】図19は、このゲームシステムの処理流れを示す。 [0173] FIG. 19 shows a process flow of the game system. 図18と図19を参照して、このゲームシステムの動作を説明する。 Referring to FIGS. 18 and 19, the operation of this game system.

【0174】(1) まず、ユーザはゲームに登場させたい人物、例えば自分、の身体のステレオ撮影を行う。 [0174] (1) First, the user performs the person that you want to appear in the game, for example their own, of a stereo photography of the body.
これは、既に説明したバーチャル試着システムの場合のように、店舗に設置されたステレオ撮影システム730 This is, as in the case of a virtual try-on system that has already been described, stereo imaging system 730, which is installed in the store
で行っても良いが、それについては既に説明した。 It may be carried out in, but has already been described about it. そこで、ここでは、ユーザが自分のユーザシステム724に接続された多眼ステレオカメラ725、726を用いて撮影を行う場合を例にとって説明する。 Therefore, here, the case where the user performs shooting using a multi-lens stereo camera 725, 726 and is connected to the user system 724 as an example. 図19のステップS111で示すように、ユーザは、ユーザシステム7 As shown in step S111 of FIG. 19, the user, the user system 7
24でステレオ撮影用プログラムを実行し、異なる場所から自分を撮影できるように配置した複数台の多眼ステレオカメラ725、726で自分の身体を撮影する。 Run the stereo photographing program at 24, to shoot his body by a plurality of multi-eye stereo camera 725 and 726 which are arranged so as to be able to shoot yourself from a different location. そのとき、ユーザは、ゲームで使用する所定の様々なモーション(例えば、格闘ゲームの場合のパンチ、キック、 At that time, the user is given a variety of motion to be used in the game (for example, in the case of a fighting game punch, kick,
投げ、受け、かわし身などの各種動さ)を多眼ステレオカメラ725、726の前で行って、各モーション毎に多眼ステレオカメラ725、726が撮影した動画像データをユーザシステム724で受け取る。 Throwing, receiving, dodge performs various of motion), such as a body in front of the multi-view stereo camera 725 and 726, receives the moving image data to multi-view stereo camera 725 and 726 have taken for each motion in the user system 724. そして、ステップS112で示すように、各モーションの実写データ(動画像データ)と、使用したいゲームプログラムのゲームIDとをユーザシステム724からモデリングサーバ721へ送信する。 Then, as shown in step S112, the photographed data of the motion (moving image data), and transmits the game ID of the game program to be used from the user system 724 to the modeling server 721.

【0175】(2) ステップS121及びS122で示すように、モデリングサーバ721は、ユーザの各モーションの実写データとゲームIDを受信すると、各モーションについて、その実写データ(動画像データ)の各フレーム毎に、図10〜図13で説明した処理方法で、ユーザ身体の3次元モデルデータをゲームIDのデータフォーマットで作成し、そして、各モーションの動画の一連の多数のフレームからそれぞれ作成した多数の3次元モデルデータを、フレーム順序に従って連続的に並べる。 [0175] (2) As shown in step S121 and S122, the modeling server 721 receives the photographed data and the game ID of the user motion, each frame for each motion, the photographed data (moving image data) , in the processing method described in FIGS. 10 to 13, to create a three-dimensional model data of the user's body in data format of the game ID, and a number of 3 created from each of a series of a number of frames of each motion video the dimensional model data, continuously arranged according to the frame sequence. 結果として、各モーションを構成する一連の多数の3次元モデルデータが形成される。 As a result, a series of many three-dimensional model data constituting each motion is formed. そして、ステップS123に示すように、モデリングサーバ721は、 Then, as shown in step S123, the modeling server 721,
各モーションを構成する一連の3次元モデルデータを、 A series of three-dimensional model data constituting each motion,
ユーザシステム724に送信する。 To send to the user system 724.

【0176】(3) ステップS113及びS114に示すように、ユーザシステム724のステレオ撮影用プログラムは、各モーションの一連の3次元モデルデータを受信すると、その各モーションの一連の3次元モデルを用いて、ユーザが各モーションを行っている様子を幾つかの異なる視点からそれぞれ見た複数本のアニメーション画像を作成して、それらのアニメーション画像を逐次にディスプレイ装置728に表示する。 [0176] (3) As shown in steps S113 and S114, stereo photographing program in the user system 724 receives a series of three-dimensional model data for each motion, using a series of three-dimensional model of the respective motion , by creating a plurality of animation images viewed respectively from several different viewpoints state where a user is performing the motion to display their animation image on a display apparatus 728 sequentially. ユーザはそれらのアニメーション画像を、受信した各モーションの一連の3次元モデルデータに問題はないかチェックする。 User their animated image, checks whether there is no problem in a series of three-dimensional model data for each motion received.
問題のないことが確認されると、ステレオ撮影用プログラムは、受信した各モーションの一連の3次元モデルデータを保存し、受領した旨をモデリングサーバ721に通知する。 If there is no mistake is confirmed, stereo photographing program stores a series of three-dimensional model data for each motion received, notifies the modeling server 721 that it has received.

【0177】(4) ステップS124及びS125に示すように、モデリングサーバ721は、ユーザが3次元モデルデータを受領した旨を確認すると、ユーザから料金を徴収するための課金処理を行い、請求書などの課金結果データをユーザシステム724に送信し、ステップS115に示すように、ユーザシステム724のステレオ撮影用プログラムはその課金結果データを受信して表示する。 [0177] (4) As shown in steps S124 and S125, the modeling server 721, when confirming that the user has received a three-dimensional model data, performs an accounting process for collecting a fee from the user, billing, etc. It transmits the billing result data to the user system 724, as shown in step S115, stereo photographing program in the user system 724 receives and displays the accounting result data.

【0178】(5) その後、ステップS116で示すように、ユーザはユーザシステム724でゲームプログラムを実行し、そのゲームプログラムにおいて、先ほど保存した各モーションの一連の3次元モデルデータを使用する。 [0178] (5) Thereafter, as shown in step S116, the user executes the game program in the user system 724, in the game program, using a series of three-dimensional model data for each motion just saved. 例えば、ユーザのコントローラ727の操作に応答して、図18のディスプレイ装置728に示したように格闘ゲームのバーチャル3次元空間内でユーザの3 For example, in response to user operation of the controller 727, 3 users in the fighting game virtual three-dimensional space as shown in the display device 728 in FIG. 18
次元モデル731がストレートパンチやアッパーカットや回し蹴りなどの様々な技のモーションを繰り出す。 Dimensional model 731 is feeding the motion of various skills, such as kicking straight punch and upper cut and turn.

【0179】ところで、上述の説明では、各モーションを一連の多数の3次元モデルで構成したが、これに代えて、図6に示したような身体各部位が関節でジョイントされた3次元モデル(部位ジョイントモデル)601 [0179] In the above description, is constituted each motion a series of many three-dimensional model, in place of this, three-dimensional model body each part shown in FIG. 6 is a joint with a joint ( site joint model) 601
と、その部位ジョイントモデル601をユーザのモーションと同じように動かすためのモーションデータとを用いることもできる。 When, it is also possible to use the motion data to move the site joint model 601 like user motion. この部位ジョイントモデル601とモーションデータとを用いる場合には、モデリングサーバ721は、既に図5及び図6で説明したような処理を行って部位ジョイントモデル601を作成するとともに、ユーザの各モーションの動画像の各フレームから作成した3次元モデルと同じ姿勢に部位ジョイントモデル601をするための各関節での各部位の回転確度や部位ジョイントモデル601の存在位置などを割り出してそれをモーションデータとし、その部位ジョイントモデル601とモーションデータとをユーザシステム724に送信する。 When using the this site joint model 601 and motion data, modeling server 721 is configured to create a site joint model 601 already subjected to processing as described in FIG. 5 and FIG. 6, the motion video of the user it was a motion data indexing and location of the rotation accuracy or part joint model 601 of each site at each joint to the site joint model 601 in the same posture as the three-dimensional model created from each frame of the image, the It transmits the site joint model 601 and motion data to the user system 724.

【0180】図20は、本発明に従うゲームシステムの第3の実施形態の全体構成を示す。 [0180] Figure 20 shows an overall configuration of a third embodiment of a game system according to the present invention. このゲームシステムでは、ユーザは、自分の身体の3次元モデルであって自分と全く同じようにリアルタイムで動作する3次元モデルを、ゲームのバーチャル3次元空間に取り込んで、非常にリアリティの高いゲームを体験することができる。 In this game system, a user, a three-dimensional model that works at all that he is a three-dimensional model of his body in real-time in the same way, taken into the virtual three-dimensional space of the game, a very highly realistic game it is possible to experience the.

【0181】図20に示すように、ユーザ748が入るべき所定の空間の周囲の異なる場所に、その空間を撮影できるように複数台の多眼ステレオカメラ741〜74 [0181] As shown in FIG. 20, at different locations around the predetermined space to the user 748 enters, a plurality of multi-view stereo cameras to allow imaging the spatial 741-74
3が配置されている。 3 is arranged. これらの多眼ステレオカメラ74 These multi-eye stereo camera 74
1〜743が、3次元モデリングのための演算装置74 1-743 is, the arithmetic unit for the three-dimensional modeling 74
4に接続され、その演算装置744の出力がゲーム装置(例えば、パーソナルコンピュータ、家庭用ゲームコンピュータ、或いはゲームセンタなどに設置された業務用ゲームコンピュータなど)745に接続されている。 Is connected to the 4, the output of the arithmetic unit 744 in the gaming machine (e.g., a personal computer, a home game computer, or a game arcade such as the installed commercial game computer) are connected to the 745. ゲーム装置745はディスプレイ装置746を有し、ユーザ748は、そのディスプレイ装置746の画面を見ることができる。 Game device 745 has a display device 746, the user 748 can see the screen of the display device 746. 要するに、このゲームシステムは、図1 In short, the game system, FIG. 1
4に示したバーチャル試着システムと実質的に同様の構成であって、図14のコンピュータシステム19でゲームが実行できるようになっているものである。 A virtual try-on system substantially the same configuration as shown in 4, in which is adapted to the game can be executed by the computer system 19 of Figure 14.

【0182】演算装置744は、図10〜図13で説明したと同様の方法で、多眼ステレオカメラ741〜74 [0182] computing device 744, in a manner similar to that described in FIGS. 10 to 13, a multi-lens stereo camera 741-74
3からの実写データ(動画像データ)から、ユーザ74 Stock from the data (moving image data) from 3, the user 74
8のモーションにリアルタイムで追従して同様に動いていく一連の3次元モデルデータを高速に次々と作成してゲーム装置745へ送り込む。 8 series of three-dimensional model data to continue moving in the same way to follow in real-time motion of creating one after another high-speed feed to the game apparatus 745. ゲーム装置745は、その一連の3次元モデルデータをゲームのバーチャル3次元空間に取り込んで、その実際のユーザ748と全く同じ姿で全く同じように動く3次元モデル747をディスプレイ装置746に表示する。 Game device 745 takes in the series of three-dimensional model data to the game virtual three-dimensional space, displaying a three-dimensional model 747 to move in exactly the same way in exactly the same figure as the actual user 748 to the display device 746. それにより、ユーザ74 As a result, the user 74
8は、自分自身がゲームの世界に入り込んだようなリアリティをもってゲームをプレイすることができる。 8, it is possible to play a game with reality, such as myself has entered the world of the game.

【0183】以上、本発明の幾つかの実施形態を説明したが、これらの実施形態はあくまで本発明の説明のための例示であり、本発明をこれら実施形態にのみ限定する趣旨ではない。 [0183] Having thus described several embodiments of the present invention, these embodiments are merely examples for explaining the present invention and are not intended to limit the invention to these embodiments. 従って、本発明は、上記実施形態以外の様々な形態でも実施することができる。 Accordingly, the present invention can be implemented in various forms other than the above embodiments. 例えば、本発明は、バーチャル試着やゲームだけでなく、3次元モデルが利用可能な様々な用途に適用することができる。 For example, the present invention not only the virtual fitting and games, can be three-dimensional model is applied to various applications available.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施形態にかかるバーチャル試着システムの全体構成を示すブロック図。 Block diagram illustrating the overall configuration of a virtual try-on system according to an embodiment of the present invention; FIG.

【図2】バーチャル試着システムの処理手順のうち、モデリングサーバ1が中心となって行う部分を示したフローチャート。 [Figure 2] of the processing procedure of the virtual try-on system, the flow chart illustrating a portion of the modeling server 1 performs at the heart.

【図3】バーチャル試着システムの処理手順のうち、バーチャル試着サーバ3が中心となって行う部分を示したフローチャート。 [Figure 3] of the processing procedure of the virtual try-on system, the flow chart illustrating a portion of the virtual try-on server 3 performs at the heart.

【図4】バーチャル試着用プログラムがユーザシステムのディスプレイ画面に表示するバーチャル試着ウィンドウの一例を示す図。 4 is a diagram showing an example of a virtual fitting window for the virtual fitting program displays on the display screen of the user system.

【図5】関節を持った標準全身モデルをモデリングサーバが作成するときの処理流れを示すフローチャート。 FIG. 5 is a flowchart showing the processing flow when modeling server standard systemic model with joints created.

【図6】図5の処理流れの過程で作成される体形3次元モデルの構成を示す図。 6 is a diagram showing the configuration of figure 3 dimensional model created in the course of the process flow of FIG.

【図7】関節を持った標準全身モデルを用いたバーチャル試着プログラムの処理流れを示すフローチャート。 FIG. 7 is a flowchart illustrating a processing flow of a virtual fitting program using the standard whole-body model having joints.

【図8】図7の処理流れの過程で行われるユーザの標準全身モデルと衣裳の3次元モデルに対する操作を説明した図。 8 is a diagram to explain the operation with respect to the three-dimensional model of the standard full-body model and costume user performed in the course of the process flow of FIG.

【図9】ステレオ撮影システムの概略的な全体構成を示す斜視図。 Figure 9 is a perspective view showing a schematic overall configuration of a stereo imaging system.

【図10】演算装置18の内部構成を示すブロック図。 10 is a block diagram showing the internal configuration of the arithmetic unit 18.

【図11】図9及び図10に示した演算装置18と置き替えることのできる第2の演算装置200の内部構成を示すブロック図。 11 is a block diagram showing the internal configuration of the second arithmetic unit 200 which can replace them with 9 and the arithmetic unit 18 shown in FIG. 10.

【図12】図9及び図10に示した演算装置18と置き替えることのできる第3の演算装置300の内部構成を示すブロック図。 12 is a block diagram showing an internal configuration of the third arithmetic unit 300 which can replace them with arithmetic unit 18 shown in FIGS. 9 and 10.

【図13】図9及び図10に示した演算装置18と置き替えることのできる第4の演算装置400の内部構成を示すブロック図。 [13] Figure 9 and a block diagram showing an internal configuration of the fourth arithmetic unit 400 which can replace them with arithmetic unit 18 shown in FIG. 10.

【図14】本発明に従うバーチャル試着システムの第2 [14] The second virtual try-on system according to the present invention
の実施形態の全体構成を示す斜視図。 Perspective view showing the overall configuration of the embodiment.

【図15】本発明に従うゲームシステムの一実施形態の全体構成を示すブロック図。 15 is a block diagram showing the overall configuration of an embodiment of a gaming system according to the present invention.

【図16】図15のゲームシステムの処理のフローチャート。 Figure 16 is a flowchart of processing of the game system of FIG.

【図17】撮影ウィンドウを示す図。 FIG. 17 is a diagram showing the shooting window.

【図18】本発明に従うゲームシステムの第2の実施形態の全体構成を示すブロック図。 Figure 18 is a block diagram showing the overall configuration of a second embodiment of a game system according to the present invention.

【図19】図18のゲームシステムの処理のフローチャート。 FIG. 19 is a flow chart of the process of the game system of FIG. 18.

【図20】本発明に従うゲームシステムの第3の実施形態の全体構成を示す斜視図。 Perspective view showing an overall configuration of a third embodiment of a game system according to Figure 20 the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

1、701、721 モデリングサーバ 2 衣裳サプライヤシステム 3 バーチャル試着サーバ 4、704、724 ユーザシステム 5、729 店舗システム 6、730 ステレオ撮影システム 6B、11、12、13、705、725、726、7 1,701,721 modeling server 2 costume supplier system 3 virtual try-on server 4,704,724 user system 5,729 store systems 6,730 stereo imaging system 6B, 11,12,13,705,725,726,7
41、742、743多眼ステレオカメラ 8、703、723 通信ネットワーク 18、744 演算装置 19 コンピュータシステム 500 バーチャル試着ウィンドウ 600 全身一体モデル 601 部位ジョイントモデル 620 衣裳の3次元モデル 709 ゲームで使用したい物品 710 ステレオ撮影ウィンドウ 722 ゲームサプライヤシステム 745 ゲーム装置 41,742,743 articles to be used in the multi-lens stereo camera 8,703,723 communication network 18,744 computing device 19 a computer system 500 virtual try-on window 600 systemic integral model 601 sites Joint Model 620 costumes of the three-dimensional model 709 Game 710 Stereo shooting window 722 game supplier system 745 game device

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06T 17/40 G06T 17/40 D 5C054 H04N 5/262 H04N 5/262 5C061 // H04N 7/18 7/18 Z Fターム(参考) 2C001 BA00 BA04 BC00 BC05 CA00 CA08 CB01 CC02 5B046 AA10 CA06 EA09 FA18 GA01 HA05 JA04 KA06 5B050 AA10 BA08 BA09 BA12 BA13 CA07 CA08 DA02 EA24 EA28 FA02 FA13 FA19 5B057 AA18 BA02 CA13 CA16 CB13 CB20 DA07 DB03 DB06 DC02 DC08 DC22 DC32 5C023 AA11 AA37 AA38 CA03 DA08 5C054 AA02 CC00 DA09 EH00 FA04 FD01 FE12 GB01 GB16 HA14 HA15 5C061 AB04 AB08 AB10 AB14 AB21 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G06T 17/40 G06T 17/40 D 5C054 H04N 5/262 H04N 5/262 5C061 // H04N 7/18 7 / 18 Z F-term (reference) 2C001 BA00 BA04 BC00 BC05 CA00 CA08 CB01 CC02 5B046 AA10 CA06 EA09 FA18 GA01 HA05 JA04 KA06 5B050 AA10 BA08 BA09 BA12 BA13 CA07 CA08 DA02 EA24 EA28 FA02 FA13 FA19 5B057 AA18 BA02 CA13 CA16 CB13 CB20 DA07 DB03 DB06 DC02 DC08 DC22 DC32 5C023 AA11 AA37 AA38 CA03 DA08 5C054 AA02 CC00 DA09 EH00 FA04 FD01 FE12 GB01 GB16 HA14 HA15 5C061 AB04 AB08 AB10 AB14 AB21

Claims (8)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 ユーザの利用するコンピュータアプリケーションのバーチャル3次元空間に現実の物体を登場させ得るようにするためのシステムであって、 前記ユーザが利用可能なステレオ撮影装置と通信可能であって、前記ステレオ撮影装置から、現実の物体をステレオ撮影した実写データを受信する実写データ受信手段と、 受信した前記実写データに基づいて、前記コンピュータアプリケーションがバーチャル3次元空間に取り込むことのできる所定のデータフォーマットで、前記物体の3 1. A system order to be able to appear the real objects in a virtual three-dimensional space of a computer application used by the user, the A user can communicate with the stereo imaging devices available, from the stereographic image capturing device, the photographed data receiving means for receiving photographed data the real objects and stereographic photography, based on the photographed data received, a predetermined data format that can be the computer application be incorporated into the virtual three-dimensional space in three of the object
    次元モデルを作成するモデリング手段と、 前記物体の3次元モデルデータを、前記ユーザ又は前記ユーザの利用するコンピュータアプリケーションに提供できるような方法で出力する3次元モデル出力手段とを備えたシステム。 System comprising a modeling unit that creates a dimensional model, a three-dimensional model data of the object, and a three-dimensional model output means for outputting in such a way that it can be provided to a computer application utilizing the user or the user.
  2. 【請求項2】 前記ステレオ撮影装置から受信した前記実写データは、前記現実の物体が異なるポーズをそれぞれとったときに撮影された複数ポーズの実写データを含んでおり、 前記モデリング手段は、前記複数ポーズの実写データに基づいて、前記物体の前記3次元モデルデータを、異なるポーズがとれるか又はモーションを行うことのできるような構成に作成する請求項1記載のシステム。 Wherein said photographed data received from said stereoscopic imaging device includes a photographed data of a plurality poses taken when an object of the real took respectively different poses, wherein the modeling means, said plurality based on the pose of the photographed data, the system of claim 1, wherein creating the three-dimensional model data of the object, the configuration capable of performing or motion different poses can be taken.
  3. 【請求項3】 前記ステレオ撮影装置から受信した前記実写データは、前記現実の物体が或るモーションを行ったときに撮影された動画像の実写データを含んでおり、 前記モデリング手段は、前記動画像の実写データに基づいて、前記物体の前記3次元モデルデータを、前記物体が行ったと同じモーションを行なうような構成に作成する請求項1記載のシステム。 Wherein said photographed data received from said stereoscopic imaging device includes a photographed data of moving images captured when the object of the reality was one motion, the modeling means, the moving based on the photographed data of the image system of claim 1, wherein creating the three-dimensional model data of the object, the configuration performs the same motion as the object went.
  4. 【請求項4】 前記モデリング手段は、前記ステレオ撮影装置による撮影中に前記現実の物体が行っているモーションに実質的にリアルタイムで追従して、同じモーションを行うように前記3次元モデルデータを作成する請求項3記載のシステム。 Wherein said modeling means, said motion to substantially follow in real time the object of the reality during shooting by the stereo imaging unit is performing, creating the three-dimensional model data to perform the same motion the system of claim 3 wherein.
  5. 【請求項5】 ユーザの利用するコンピュータアプリケーションのバーチャル3次元空間に現実の物体を登場させ得るようにするための方法であって、 前記ユーザが利用可能なステレオ撮影装置から、現実の物体をステレオ撮影した実写データを受信するステップと、 受信した前記実写データに基づいて、前記コンピュータアプリケーションがバーチャル3次元空間に取り込むことのできる所定のデータフォーマットで、前記物体の3 5. A method of order to be able to appear the real objects in a virtual three-dimensional space of a computer application used by the user, from the user stereo imaging devices available, the real objects Stereo receiving a captured live action data, on the basis of the photographed data received, the computer application is in a predetermined data format that can be incorporated into the virtual three-dimensional space, 3 of the object
    次元モデルを作成するステップと、 前記物体の3次元モデルデータを、前記ユーザ又は前記ユーザの利用するコンピュータアプリケーションに提供できるような方法で出力するステップとを備えた方法。 And creating a dimensional model, a method of three-dimensional model data of the object, and a step of outputting in such a way that it can be provided to a computer application utilizing the user or the user.
  6. 【請求項6】 ユーザの利用するコンピュータアプリケーションのバーチャル3次元空間に現実の物体を登場させ得るようにするためのシステムであって、 前記ユーザが利用可能なステレオ撮影装置と、 前記ステレオ撮影装置と通信可能であるとともに、前記ユーザが利用可能なコンピュータ装置とも通信可能であるモデリング装置とを備え、 前記モデリング装置は、 前記ステレオ撮影装置から、現実の物体をステレオ撮影した実写データを受信する実写データ受信手段と、 受信した前記実写データに基づいて、前記コンピュータアプリケーションがバーチャル3次元空間に取り込むことのできる所定のデータフォーマットで、前記物体の3 6. A system order to be able to appear the real objects in a virtual three-dimensional space Use computer applications the user, and the stereo imaging unit capable the user use, and the stereographic image capturing device together can communicate, and a modeling device the user can communicate with the computer device available, photographed data and the modeling apparatus, for receiving from said stereoscopic imaging device, the photographed data of the real objects and stereoscopic photography receiving means, on the basis of the photographed data received, the computer application is in a predetermined data format that can be incorporated into the virtual three-dimensional space, 3 of the object
    次元モデルを作成するモデリング手段と、 前記物体の3次元モデルデータを、前記ユーザが利用可能なコンピュータ装置に送信する3次元モデル送信手段とを有しているシステム。 Modeling means and a system of three-dimensional model data of the object, the user has a three-dimensional model sending means for sending to the computer device available to create a dimensional model.
  7. 【請求項7】 ユーザの利用するコンピュータアプリケーションのバーチャル3次元空間に現実の物体を登場させ得るようにするためのシステムであって、 前記ユーザが前記コンピュータアプリケーションを実行するためのコンピュータ装置と、 前記ユーザが利用可能なステレオ撮影装置と、 前記ステレオ撮影装置及び前記コンピュータ装置と通信可能であるモデリング装置とを備え、 前記モデリング装置は、 前記ステレオ撮影装置から、現実の物体をステレオ撮影した実写データを受信する実写データ受信手段と、 受信した前記実写データに基づいて、前記コンピュータアプリケーションがバーチャル3次元空間に取り込むことのできる所定のデータフォーマットで、前記物体の3 7. A system order to be able to appear the real objects in a virtual three-dimensional space Use computer application user, the computer device for the user to execute the computer application, the and user stereo imaging devices available, the a modeling device can communicate with the stereographic image capturing device and the computing device, wherein the modeling apparatus, from the stereographic image capturing apparatus, the photographed data of the real objects and stereoscopic photography a photographed data receiving means for receiving, on the basis of the photographed data received, the computer application is in a predetermined data format that can be incorporated into the virtual three-dimensional space, 3 of the object
    次元モデルを作成するモデリング手段と、 前記物体の3次元モデルデータを、前記コンピュータ装置に送信する3次元モデル送信手段とを有しているシステム。 System modeling means, the three-dimensional model data of the object, and a three-dimensional model sending means for sending to said computer apparatus for creating a dimensional model.
  8. 【請求項8】 ユーザの利用するコンピュータアプリケーションのバーチャル3次元空間に現実の物体を登場させ得るようにするための方法であって、 現実の物体をステレオ撮影するステップと、 ステレオ撮影で得られた前記物体の実写データに基づいて、前記コンピュータアプリケーションがバーチャル3 8. A method of use for such a can to appear the real objects in a virtual three-dimensional space of the computer application that a user, comprising the steps of stereo photographing a real object, obtained by stereo imaging based on the photographed data of said object, said computer application virtual 3
    次元空間に取り込むことのできる所定のデータフォーマットで、前記物体の3次元モデルを作成するステップと、 前記物体の3次元モデルデータを、前記コンピュータアプリケーションが実行できるコンピュータ装置に入力するステップとを備えた方法。 In a predetermined data format that can be incorporated into dimensional space, and creating a three-dimensional model of the object, the three-dimensional model data of the object, and a step of inputting to the computer device computer application can perform Method.
JP2000240125A 2000-08-08 2000-08-08 System and method for entering real object into virtual three-dimensional space Pending JP2002058045A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000240125A JP2002058045A (en) 2000-08-08 2000-08-08 System and method for entering real object into virtual three-dimensional space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000240125A JP2002058045A (en) 2000-08-08 2000-08-08 System and method for entering real object into virtual three-dimensional space
US09902644 US20020024517A1 (en) 2000-07-14 2001-07-12 Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space

Publications (1)

Publication Number Publication Date
JP2002058045A true true JP2002058045A (en) 2002-02-22

Family

ID=18731546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000240125A Pending JP2002058045A (en) 2000-08-08 2000-08-08 System and method for entering real object into virtual three-dimensional space

Country Status (1)

Country Link
JP (1) JP2002058045A (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005152255A (en) * 2003-11-25 2005-06-16 Matsushita Electric Works Ltd Human body posture measuring apparatus
JP2007034992A (en) * 2005-07-29 2007-02-08 Sharp Corp Image generation apparatus, game device, image generation method, image generation program and readable recording medium
JP2007041876A (en) * 2005-08-03 2007-02-15 Samii Kk Image display device and image display program
JP2009116871A (en) * 2007-11-06 2009-05-28 Palo Alto Research Center Inc Method and apparatus for extending function of mirror using information related to mirrored content and motion
KR100915298B1 (en) * 2007-10-24 2009-09-03 중앙대학교 산학협력단 A system for wearing imaginary 3d footwear and an operation method of the same
WO2010138428A2 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Systems and methods for applying animations or motions to a character
WO2010138431A2 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Systems and methods for tracking a model
JP2011501326A (en) * 2007-10-26 2011-01-06 ザズル ドット コム インコーポレイテッド Product modeling system and method
JP2011041638A (en) * 2009-08-20 2011-03-03 Nintendo Co Ltd Game program and game apparatus
WO2010126816A3 (en) * 2009-05-01 2011-03-03 Microsoft Corporation Systems and methods for applying model tracking to motion capture
GB2473503A (en) * 2009-09-15 2011-03-16 Metail Ltd Image processing with keying of foreground objects
WO2011071801A2 (en) * 2009-12-07 2011-06-16 Microsoft Corporation Visual target tracking
WO2011071811A2 (en) * 2009-12-07 2011-06-16 Microsoft Corporation Visual target tracking
WO2011071815A2 (en) * 2009-12-07 2011-06-16 Microsoft Corporation Visual target tracking
WO2011087888A2 (en) * 2010-01-15 2011-07-21 Microsoft Corporation Directed performance in motion capture system
WO2012083596A1 (en) * 2010-12-23 2012-06-28 Li Qihan Vehicle for customizing garment
JP2012142791A (en) * 2010-12-28 2012-07-26 Casio Comput Co Ltd Three-dimensional model generation system, server, and program
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
JP2012244583A (en) * 2011-05-24 2012-12-10 Canon Inc Imaging device, image processing method, and program
JP2012257282A (en) * 2012-07-26 2012-12-27 Casio Comput Co Ltd Three-dimensional image generation method
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
JP5605885B1 (en) * 2014-02-27 2014-10-15 木下 泰男 The virtual try-on system and virtual try-on program
WO2015167039A1 (en) * 2014-04-28 2015-11-05 (주)에프엑스기어 Apparatus and method for generating virtual clothes for augmented reality-based virtual fitting
US9288179B2 (en) 2010-12-30 2016-03-15 Huawei Technologies Co., Ltd. Method and apparatus for assigning IP address
US9377858B2 (en) 2009-10-27 2016-06-28 Samsung Electronics Co., Ltd. Three-dimensional space interface apparatus and method
US9465980B2 (en) 2009-01-30 2016-10-11 Microsoft Technology Licensing, Llc Pose tracking pipeline
WO2018054586A1 (en) * 2016-09-22 2018-03-29 Ovs S.P.A. Apparatus for making a goods sales offer
KR101897704B1 (en) * 2017-09-25 2018-10-29 넷마블 주식회사 Apparatus and method for providing game service

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005152255A (en) * 2003-11-25 2005-06-16 Matsushita Electric Works Ltd Human body posture measuring apparatus
JP4507571B2 (en) * 2003-11-25 2010-07-21 パナソニック電工株式会社 Human body posture measuring device
JP4591962B2 (en) * 2005-07-29 2010-12-01 シャープ株式会社 Image generating device, a game device, an image generating method, an image generation program and readable recording medium
JP2007034992A (en) * 2005-07-29 2007-02-08 Sharp Corp Image generation apparatus, game device, image generation method, image generation program and readable recording medium
JP2007041876A (en) * 2005-08-03 2007-02-15 Samii Kk Image display device and image display program
KR100915298B1 (en) * 2007-10-24 2009-09-03 중앙대학교 산학협력단 A system for wearing imaginary 3d footwear and an operation method of the same
JP2011501326A (en) * 2007-10-26 2011-01-06 ザズル ドット コム インコーポレイテッド Product modeling system and method
JP2009116871A (en) * 2007-11-06 2009-05-28 Palo Alto Research Center Inc Method and apparatus for extending function of mirror using information related to mirrored content and motion
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US9842405B2 (en) 2009-01-30 2017-12-12 Microsoft Technology Licensing, Llc Visual target tracking
US9465980B2 (en) 2009-01-30 2016-10-11 Microsoft Technology Licensing, Llc Pose tracking pipeline
US9039528B2 (en) 2009-01-30 2015-05-26 Microsoft Technology Licensing, Llc Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
RU2580450C2 (en) * 2009-05-01 2016-04-10 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Systems and methods for applying model tracking for motion capture
WO2010126816A3 (en) * 2009-05-01 2011-03-03 Microsoft Corporation Systems and methods for applying model tracking to motion capture
US8351652B2 (en) 2009-05-29 2013-01-08 Microsoft Corporation Systems and methods for tracking a model
US8660310B2 (en) 2009-05-29 2014-02-25 Microsoft Corporation Systems and methods for tracking a model
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US9861886B2 (en) 2009-05-29 2018-01-09 Microsoft Technology Licensing, Llc Systems and methods for applying animations or motions to a character
WO2010138431A3 (en) * 2009-05-29 2011-03-03 Microsoft Corporation Systems and methods for tracking a model
WO2010138428A3 (en) * 2009-05-29 2011-02-24 Microsoft Corporation Systems and methods for applying animations or motions to a character
WO2010138431A2 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Systems and methods for tracking a model
JP2012528390A (en) * 2009-05-29 2012-11-12 マイクロソフト コーポレーション The system and method add animation or motion to the character
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
WO2010138428A2 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Systems and methods for applying animations or motions to a character
JP2011041638A (en) * 2009-08-20 2011-03-03 Nintendo Co Ltd Game program and game apparatus
GB2473503A (en) * 2009-09-15 2011-03-16 Metail Ltd Image processing with keying of foreground objects
US10037618B2 (en) 2009-09-15 2018-07-31 Metail Limited System and method for image processing and generating a body model
US9591236B2 (en) 2009-09-15 2017-03-07 Metail Limited System and method for image processing and generating a body model
US8605148B2 (en) 2009-09-15 2013-12-10 Metail Limited System and method for image processing and generating a body model
GB2473503B (en) * 2009-09-15 2015-02-11 Metail Ltd System and method for image processing
US9377858B2 (en) 2009-10-27 2016-06-28 Samsung Electronics Co., Ltd. Three-dimensional space interface apparatus and method
US9880698B2 (en) 2009-10-27 2018-01-30 Samsung Electronics Co., Ltd. Three-dimensional space interface apparatus and method
WO2011071801A3 (en) * 2009-12-07 2011-10-06 Microsoft Corporation Visual target tracking
WO2011071811A3 (en) * 2009-12-07 2011-09-29 Microsoft Corporation Visual target tracking
CN102639198A (en) * 2009-12-07 2012-08-15 微软公司 Visual target tracking
WO2011071801A2 (en) * 2009-12-07 2011-06-16 Microsoft Corporation Visual target tracking
WO2011071815A3 (en) * 2009-12-07 2011-11-03 Microsoft Corporation Visual target tracking
WO2011071811A2 (en) * 2009-12-07 2011-06-16 Microsoft Corporation Visual target tracking
WO2011071815A2 (en) * 2009-12-07 2011-06-16 Microsoft Corporation Visual target tracking
WO2011087888A3 (en) * 2010-01-15 2011-11-10 Microsoft Corporation Directed performance in motion capture system
WO2011087888A2 (en) * 2010-01-15 2011-07-21 Microsoft Corporation Directed performance in motion capture system
WO2012083596A1 (en) * 2010-12-23 2012-06-28 Li Qihan Vehicle for customizing garment
JP2012142791A (en) * 2010-12-28 2012-07-26 Casio Comput Co Ltd Three-dimensional model generation system, server, and program
US9288179B2 (en) 2010-12-30 2016-03-15 Huawei Technologies Co., Ltd. Method and apparatus for assigning IP address
JP2012244583A (en) * 2011-05-24 2012-12-10 Canon Inc Imaging device, image processing method, and program
JP2012257282A (en) * 2012-07-26 2012-12-27 Casio Comput Co Ltd Three-dimensional image generation method
WO2015129353A1 (en) * 2014-02-27 2015-09-03 泰男 木下 Virtual trial-fitting system, virtual trial-fitting program, virtual trial-fitting method, and storage medium in which virtual trial-fitting program is stored
JP5605885B1 (en) * 2014-02-27 2014-10-15 木下 泰男 The virtual try-on system and virtual try-on program
WO2015167039A1 (en) * 2014-04-28 2015-11-05 (주)에프엑스기어 Apparatus and method for generating virtual clothes for augmented reality-based virtual fitting
WO2018054586A1 (en) * 2016-09-22 2018-03-29 Ovs S.P.A. Apparatus for making a goods sales offer
KR101897704B1 (en) * 2017-09-25 2018-10-29 넷마블 주식회사 Apparatus and method for providing game service

Similar Documents

Publication Publication Date Title
Weiss et al. Home 3D body scans from noisy image and range data
US6072903A (en) Image processing apparatus and image processing method
US5850352A (en) Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US7295697B1 (en) Depth information measurement apparatus and mixed reality presentation system
US20110292036A1 (en) Depth sensor with application interface
US20020158873A1 (en) Real-time virtual viewpoint in simulated reality environment
US20070110298A1 (en) Stereo video for gaming
US20140055352A1 (en) Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US20120120113A1 (en) Method and apparatus for visualizing 2D product images integrated in a real-world environment
Hilton et al. Whole-body modelling of people from multiview images to populate virtual worlds
US20070002037A1 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US6181343B1 (en) System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US20140226900A1 (en) Methods for extracting objects from digital images and for performing color change on the object
US20040104935A1 (en) Virtual reality immersion system
US20100259610A1 (en) Two-Dimensional Display Synced with Real World Object Movement
US20130187905A1 (en) Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects
US7095422B2 (en) Image processing system, image processing apparatus, and display apparatus
US20060202986A1 (en) Virtual clothing modeling apparatus and method
Kolb et al. ToF-sensors: New dimensions for realism and interactivity
WO1998046029A1 (en) Graphical video systems
US20140226000A1 (en) User interface and authentication for a virtual mirror
JP2004145448A (en) Terminal device, server device, and image processing method
JP2000350860A (en) Composite reality feeling device and method for generating composite real space picture
US20110210970A1 (en) Digital mirror apparatus
JP2003256876A (en) Device and method for displaying composite sense of reality, recording medium and computer program