JP2003271928A - Three-dimensional modeling device, and method and program thereof - Google Patents
Three-dimensional modeling device, and method and program thereofInfo
- Publication number
- JP2003271928A JP2003271928A JP2002069017A JP2002069017A JP2003271928A JP 2003271928 A JP2003271928 A JP 2003271928A JP 2002069017 A JP2002069017 A JP 2002069017A JP 2002069017 A JP2002069017 A JP 2002069017A JP 2003271928 A JP2003271928 A JP 2003271928A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- camera
- distance
- dimensional
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、多視点カメラを用
いて被写体の三次元形状データを生成する三次元モデリ
ング装置及びその方法及びそのプログラムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional modeling apparatus for generating three-dimensional shape data of a subject using a multi-view camera, a method thereof, and a program thereof.
【０００２】[0002]
【従来の技術】従来、立体形状である被写体から三次元
形状データを生成する三次元モデリング手法は、被写体
の周囲に複数のカメラを配置（多視点カメラ）して、そ
のカメラから入力された複数のカメラ画像に基づいて、
個々のカメラ画像の被写体に対応する点をブロックマッ
チング法によって探索し、その探索された点と、それぞ
れのカメラとの距離を算出して、この探索された点の各
カメラの距離情報を統合することで、被写体の三次元形
状データを生成していた。本手法によれば、カメラの台
数を増やすことで、高精度の三次元モデリングを行うこ
とができるものである。なお、この手法は、「Peter Ra
nder,“A Multi-Camera Method for 3D Digitization o
f Dynamic, Real-World Events,”CMU-RI-TR-98-12,Mar
ch 1998.」（以下、先行技術１）で開示されている。2. Description of the Related Art Conventionally, a three-dimensional modeling method for generating three-dimensional shape data from a three-dimensional object has a plurality of cameras arranged around the object (multi-viewpoint camera) and a plurality of images input from the cameras. Based on the camera image of
The point corresponding to the subject of each camera image is searched by the block matching method, the distance between the searched point and each camera is calculated, and the distance information of each camera of this searched point is integrated. Therefore, the three-dimensional shape data of the subject is generated. According to this method, high-accuracy three-dimensional modeling can be performed by increasing the number of cameras. This method is based on "Peter Ra
nder, “A Multi-Camera Method for 3D Digitization o
f Dynamic, Real-World Events, ”CMU-RI-TR-98-12, Mar
ch 1998. ”(hereinafter, Prior Art 1).
【０００３】また、他の三次元モデリング手法では、被
写体の周囲に複数のカメラを配置して、カメラから入力
されたカメラ画像の被写体領域の形状である被写体シル
エットを、カメラの光学主点位置から仮想的に被写体方
向に逆投影した、前記光学主点位置を頂点とし、断面が
前記被写体シルエットとなる錐体領域を形成する。そし
て、カメラ毎に形成された前記錐体領域の重複領域（論
理積）を被写体の概形とし、その概形の形状を三次元形
状データとしていた。この手法は、ブロックマッチング
法よりも高速に三次元形状データを求めることができ
る。なお、この手法は視体積交差法と呼ばれ、「Ｗｕ
他，“３次元ビデオ映像の能動的実時間撮影と対話的編
集・表示”，信学技報 PRMU2001-187,Feb.2001.」（以
下、先行技術２）で開示されている。In another three-dimensional modeling method, a plurality of cameras are arranged around the subject, and the subject silhouette, which is the shape of the subject area of the camera image input from the camera, is calculated from the optical principal point position of the camera. A cone region whose cross section is the subject silhouette is formed with the optical principal point position virtually projected back to the subject direction as a vertex. Then, an overlapping area (logical product) of the cone areas formed for each camera is set as a rough shape of the subject, and the shape of the rough shape is used as three-dimensional shape data. This method can obtain three-dimensional shape data faster than the block matching method. This method is called the visual volume intersection method and is called "Wu
Others are disclosed in "Active real-time shooting of three-dimensional video images and interactive editing / display", IEICE Technical Report PRMU2001-187, Feb.2001. "(Hereinafter, Prior Art 2).
【０００４】[0004]
【発明が解決しようとする課題】しかし、前記従来の技
術における多眼カメラを利用した三次元モデリング手
法、例えば、前記先行技術１では、個々のカメラで撮影
したカメラ画像の被写体に対応する点を探索するとき
に、ブロックマッチング法によってカメラ画像全体（被
写体が存在する空間全体）を探索領域とするため、膨大
な演算量を必要とし、探索時間が長くかかってしまうと
いう問題がある。また、高精度の三次元モデリングを行
うためにカメラの台数を増やすと、さらに多くの演算量
及び探索時間を要してしまうという問題がある。However, in the conventional technique, a three-dimensional modeling method using a multi-lens camera, for example, in the prior art 1, the point corresponding to the subject of the camera image taken by each camera is pointed out. When searching, the entire camera image (entire space in which the subject exists) is set as the search area by the block matching method, which requires a huge amount of calculation and takes a long time. Further, if the number of cameras is increased in order to perform highly accurate three-dimensional modeling, there is a problem that a larger amount of calculation and a longer search time are required.
【０００５】また、前記先行技術２の視体積交差法で
は、生成される形状データは近似形状のデータであり、
原理的に誤差を生じやすい。特に被写体の表面が滑らか
な曲面であったり、凹面の形状である場合は、その形状
を平面で近似してしまうため、誤差が大きくなってしま
うという問題がある。In the visual volume intersection method of the prior art 2, the shape data generated is approximate shape data,
In principle, errors are likely to occur. In particular, when the surface of the subject is a smooth curved surface or a concave shape, the shape is approximated by a flat surface, which causes a problem that the error becomes large.
【０００６】本発明は、以上のような問題点に鑑みてな
されたものであり、多眼カメラを利用した三次元形状デ
ータの生成に際して、三次元モデリングの精度を落とさ
ず、演算量を抑制して高速に行うことを可能にした三次
元モデリング装置及びその方法及びそのプログラムを提
供することを目的とする。The present invention has been made in view of the above problems, and when generating three-dimensional shape data using a multi-lens camera, the accuracy of three-dimensional modeling is not reduced and the amount of calculation is suppressed. It is an object of the present invention to provide a three-dimensional modeling apparatus, a method thereof, and a program thereof that can be performed at high speed.
【０００７】[0007]
【課題を解決するための手段】本発明は、前記目的を達
成するために創案されたものであり、まず、請求項１に
記載の三次元モデリング装置は、以下の構成にかかるも
のとした。すなわち、立体形状である被写体をその周囲
に配置した複数のカメラで撮影した複数のカメラ画像に
基づいて、前記被写体の三次元形状データを生成する三
次元モデリング装置であって、前記複数のカメラ画像か
ら、前記被写体に外接するその被写体の概形形状を計測
する概形形状計測手段と、この概形形状計測手段によっ
て計測された前記概形形状の近傍を探索範囲として、前
記複数のカメラの中で、順次基準となる基準カメラを切
り換えて撮影した基準カメラ画像と、前記基準カメラに
隣接する隣接カメラで撮影した隣接カメラ画像とに基づ
いて、前記基準カメラ画像内の被写体画像に対応する対
応点を、前記隣接カメラ画像から探索する対応点探索手
段と、この対応点探索手段によって探索された前記被写
体の対応点の前記基準カメラと前記隣接カメラとの間隔
に基づいて、前記基準カメラから前記対応点への距離を
算出する距離情報算出手段と、この距離情報算出手段に
よって算出された前記複数のカメラから前記被写体の対
応点への距離に基づいて、前記被写体の三次元形状デー
タを生成する三次元形状データ生成手段と、を備える構
成とした。The present invention was devised in order to achieve the above object. First, the three-dimensional modeling apparatus according to claim 1 has the following configuration. That is, a three-dimensional modeling device for generating three-dimensional shape data of the subject based on a plurality of camera images taken by a plurality of cameras arranged around the subject having a three-dimensional shape, the plurality of camera images From among the plurality of cameras, a rough shape measuring unit that measures a rough shape of the subject circumscribing the subject and a neighborhood of the rough shape measured by the rough shape measuring unit as a search range. , The corresponding points corresponding to the subject image in the reference camera image based on the reference camera image taken by sequentially switching the reference camera as the reference and the adjacent camera image taken by the adjacent camera adjacent to the reference camera. Is searched from the adjacent camera image, and the reference camera of the corresponding point of the subject searched by the corresponding point searching means. Distance information calculation means for calculating the distance from the reference camera to the corresponding point based on the distance from the adjacent camera, and the distance information calculation means from the plurality of cameras calculated by the distance information calculation means to the corresponding point of the subject. And a three-dimensional shape data generation unit that generates three-dimensional shape data of the subject based on the distance.
【０００８】かかる構成によれば、三次元モデリング装
置は、概形形状計測手段によって、被写体の周囲に配置
した複数のカメラで被写体を撮影した複数のカメラ画像
から、その被写体の概形となる形状を計測する。例え
ば、視体積交差法等の技術を用いることで前記被写体を
内包し、その被写体に外接する形状を計測する。According to this structure, in the three-dimensional modeling apparatus, the outline shape measuring means forms an outline of the object from a plurality of camera images obtained by photographing the object with a plurality of cameras arranged around the object. To measure. For example, by using a technique such as a visual volume intersection method, the subject is included and the shape circumscribing the subject is measured.
【０００９】そして、三次元モデリング装置は、対応点
探索手段によって、概形形状計測手段により計測された
概形形状内を探索範囲として、基準カメラとそれに隣接
するカメラで撮影したカメラ画像毎に被写体領域内の対
応する点を探索する。例えば、ブロックマッチング法を
用いることで、ブロック相関により画素毎に被写体の対
応点を探索する。そして、距離情報算出手段によって、
隣接したカメラ画像の各対応点の視差量とカメラの間隔
に基づいて、カメラから被写体表面までの距離を算出す
る。そして、三次元形状データ生成手段によって、各カ
メラから被写体表面までの距離情報を画像座標に変換
し、被写体表面までの距離と単位格子点位置とを比較す
ることで、被写体内部の単位格子点の集合として、被写
体の三次元形状データを生成する。なお、この基準カメ
ラは固定したものではなく、被写体の周囲のカメラを順
次切り換えて、各カメラが順番に基準カメラとなる。こ
れによって、三次元モデリング装置は、被写体の概形形
状を探索範囲として限定し、隣接したカメラ画像から、
その限定された範囲内で被写体の対応点を探索する。Then, the three-dimensional modeling apparatus uses the corresponding point searching means as a search range within the rough shape measured by the rough shape measuring means to obtain a subject for each camera image photographed by the reference camera and the adjacent camera. Find corresponding points in the region. For example, by using the block matching method, the corresponding points of the object are searched for each pixel by block correlation. Then, by the distance information calculation means,
The distance from the camera to the surface of the subject is calculated based on the amount of parallax between corresponding points of adjacent camera images and the distance between the cameras. Then, the three-dimensional shape data generation means converts the distance information from each camera to the subject surface into image coordinates, and compares the distance to the subject surface with the unit grid point position to determine the unit grid point inside the subject. As a set, three-dimensional shape data of the subject is generated. Note that this reference camera is not fixed, and the cameras around the subject are sequentially switched so that each camera becomes the reference camera in order. As a result, the three-dimensional modeling device limits the rough shape of the subject as a search range, and from the adjacent camera images,
The corresponding points of the subject are searched for within the limited range.
【００１０】また、請求項２に記載の三次元モデリング
装置は、請求項１に記載の三次元モデリング装置におい
て、概形形状計測手段が、カメラの光学主点位置を頂点
とし、その光学主点位置からカメラ画像内の被写体形状
を仮想的に被写体方向に逆投影し、断面が前記被写体形
状となる錐体領域が、複数のカメラ画像分重なりあった
重複領域を前記被写体の概形形状とする構成とした。The three-dimensional modeling apparatus according to a second aspect is the three-dimensional modeling apparatus according to the first aspect, in which the rough shape measuring means has an optical principal point position of the camera as an apex, and the optical principal point thereof. The object shape in the camera image is virtually back-projected from the position to the object direction, and the cone area whose cross section is the object shape is overlapped by a plurality of camera images, and the overlapping area is set as the approximate shape of the object. It was configured.
【００１１】かかる構成によれば、三次元モデリング装
置は、概形形状計測手段によって、カメラの光学主点位
置からカメラ画像内の被写体形状を仮想的に被写体方向
に逆投影した錐体領域をカメラの台数分生成し、その各
々の錐体領域の重なりあった領域、すなわち論理積をと
ることで被写体に外接する被写体の概形形状を求めるこ
とができる。According to this structure, the three-dimensional modeling apparatus uses the rough shape measuring means to form a camera into a cone area obtained by virtually projecting the subject shape in the camera image from the optical principal point position of the camera in the subject direction. By generating the same number of objects as in the above, and calculating the logical product of the overlapping areas of the respective cone areas, it is possible to obtain the approximate shape of the object circumscribing the object.
【００１２】さらに、請求項３に記載の三次元モデリン
グ装置は、請求項１又は請求項２に記載の三次元モデリ
ング装置において、三次元形状データ生成手段が、距離
情報算出手段によって算出されたカメラと被写体表面の
各対応点との距離を、前記被写体が存在する仮想的な三
次元空間座標に対応付けることで、前記被写体の内部に
位置する三次元空間座標単位格子点を判定し、その内部
に位置する単位格子点の集合を前記被写体の三次元形状
データとする構成とした。Further, in the three-dimensional modeling apparatus according to a third aspect of the present invention, in the three-dimensional modeling apparatus according to the first or second aspect, the three-dimensional shape data generating means calculates the distance information by the camera. By associating the distance between each of the corresponding points on the object surface with the virtual three-dimensional space coordinates in which the object exists, the three-dimensional space coordinate unit grid point located inside the object is determined, and A set of the unit lattice points located is used as the three-dimensional shape data of the subject.
【００１３】かかる構成によれば、三次元モデリング装
置は、三次元形状データ生成手段によって、各カメラ画
像の被写体領域内のカメラから被写体表面までの画素毎
の距離を被写体が存在する仮想的な三次元空間座標に対
応付けることで、被写体表面の近傍にある三次元空間座
標上の格子点が被写体内に存在する点かどうかを判定し
て被写体の三次元形状データを生成する。According to this structure, the three-dimensional modeling apparatus uses the three-dimensional shape data generating means to calculate the virtual distance of each pixel from the camera in the subject area of each camera image to the subject surface. By associating with the original space coordinates, it is determined whether or not a grid point on the three-dimensional space coordinates near the surface of the object exists on the object, and three-dimensional shape data of the object is generated.
【００１４】また、請求項４に記載の三次元モデリング
方法は、立体形状である被写体をその周囲に配置した複
数のカメラで撮影した複数のカメラ画像に基づいて、前
記被写体の三次元形状データを生成する三次元モデリン
グ方法であって、前記複数のカメラ画像から、前記被写
体に外接するその被写体の概形形状を計測する概形形状
計測ステップと、この概形形状計測ステップによって計
測された前記概形形状の近傍を探索範囲として、前記複
数のカメラの中で、基準となる基準カメラを切り換えて
撮影した基準カメラ画像と、前記基準カメラに隣接する
隣接カメラで撮影した隣接カメラ画像とに基づいて、前
記基準カメラ画像内の被写体画像に対応する対応点を、
前記隣接カメラ画像から探索する対応点探索ステップ
と、この対応点探索ステップによって探索された前記被
写体の対応点の前記基準カメラと前記隣接カメラとの間
隔に基づいて、前記基準カメラから前記対応点への距離
を算出する距離情報算出ステップと、この距離情報算出
ステップによって算出された前記複数のカメラから前記
被写体の対応点への距離に基づいて、前記被写体の三次
元形状データを生成する三次元形状データ生成ステップ
と、を含むことを特徴とする。According to the three-dimensional modeling method of the fourth aspect, the three-dimensional shape data of the object is obtained based on a plurality of camera images taken by a plurality of cameras arranged around the object having a three-dimensional shape. A three-dimensional modeling method for generating, wherein a rough shape measuring step of measuring a rough shape of a subject circumscribing the subject from the plurality of camera images, and the rough shape measuring step performed by the rough shape measuring step. Based on a reference camera image taken by switching the reference camera as a reference among the plurality of cameras with the vicinity of the shape as a search range, and an adjacent camera image taken by an adjacent camera adjacent to the reference camera. , The corresponding points corresponding to the subject image in the reference camera image,
From the reference camera to the corresponding point, based on a corresponding point searching step of searching from the adjacent camera image, and a distance between the reference camera and the adjacent camera of the corresponding point of the subject searched by the corresponding point searching step. And a three-dimensional shape for generating three-dimensional shape data of the subject based on the distance information calculating step for calculating the distance and the distances from the plurality of cameras to the corresponding points of the subject calculated in the distance information calculating step. And a data generating step.
【００１５】この方法によれば、三次元モデリング方法
は、概形形状計測ステップによって、被写体の周囲に配
置した複数のカメラで被写体を撮影した複数のカメラ画
像から、その被写体の概形となる形状を算出する。例え
ば、視体積交差法等の技術を用いることで前記被写体を
内包し、その被写体に外接する形状を算出する。According to this method, in the three-dimensional modeling method, in the rough shape measuring step, a shape which becomes a rough shape of the subject is obtained from a plurality of camera images obtained by photographing the subject with a plurality of cameras arranged around the subject. To calculate. For example, by using a technique such as the visual volume intersection method, the subject is included and the shape circumscribing the subject is calculated.
【００１６】次に、対応点探索ステップによって、概形
形状計測ステップにより計測された概形形状内を探索範
囲として、隣接するカメラで撮影したカメラ画像毎に被
写体の対応する点を探索する。例えば、ブロックマッチ
ング法を用いることで、ブロック単位で画素毎に被写体
の対応点を探索する。そして、距離情報算出ステップに
よって、その隣接したカメラ画像の各対応点の視差量と
カメラの間隔に基づいて、カメラから被写体表面までの
距離を算出する。そして、三次元形状データ生成ステッ
プによって、三次元座標単位格子点を画像座標に変換し
た時のカメラから単位格子点までの距離と、先に求めた
カメラから被写体表面までの距離とを比較することで、
被写体の三次元形状データを生成する。Next, in the corresponding point searching step, the corresponding point of the subject is searched for for each camera image taken by the adjacent camera within the search range within the rough shape measured by the rough shape measuring step. For example, by using the block matching method, the corresponding points of the subject are searched for on a pixel-by-pixel basis in block units. Then, in the distance information calculating step, the distance from the camera to the subject surface is calculated based on the parallax amount of each corresponding point of the adjacent camera images and the distance between the cameras. Then, in the three-dimensional shape data generation step, comparing the distance from the camera to the unit grid point when the three-dimensional coordinate unit grid point is converted into image coordinates with the previously obtained distance from the camera to the subject surface. so,
Generate three-dimensional shape data of the subject.
【００１７】さらに、請求項５に記載の三次元モデリン
グプログラムは、立体形状である被写体をその周囲に配
置した複数のカメラで撮影した複数のカメラ画像に基づ
いて、前記被写体の三次元形状データを生成するため
に、コンピュータを、以下の手段によって機能させる構
成とした。すなわち、前記複数のカメラ画像から、前記
被写体に外接するその被写体の概形形状を計測する概形
形状計測手段、この概形形状計測手段によって計測され
た前記概形形状の近傍を探索範囲として、前記複数のカ
メラの中で、順次基準となる基準カメラを切り換えて撮
影した基準カメラ画像と、前記基準カメラに隣接する隣
接カメラで撮影した隣接カメラ画像とに基づいて、前記
基準カメラ画像内の被写体画像に対応する対応点を、前
記隣接カメラ画像から探索する対応点探索手段、この対
応点探索手段によって探索された前記被写体の対応点の
前記基準カメラと前記隣接カメラとの間隔に基づいて、
前記基準カメラから前記対応点への距離を算出する距離
情報算出手段、この距離情報算出手段によって算出され
た前記複数のカメラから前記被写体の対応点への距離に
基づいて、前記被写体の三次元形状データを生成する三
次元形状データ生成手段、とした。Further, a three-dimensional modeling program according to a fifth aspect of the present invention calculates three-dimensional shape data of the subject based on a plurality of camera images taken by a plurality of cameras arranged around the subject having a three-dimensional shape. In order to generate, the computer is configured to function by the following means. That is, from the plurality of camera images, a rough shape measuring means for measuring a rough shape of the subject circumscribing the subject, a neighborhood of the rough shape measured by the rough shape measuring means as a search range, A subject in the reference camera image based on a reference camera image taken by sequentially switching the reference cameras as the reference among the plurality of cameras and an adjacent camera image taken by an adjacent camera adjacent to the reference camera. Corresponding points corresponding to the image, corresponding point searching means for searching from the adjacent camera image, based on the distance between the reference camera and the adjacent camera of the corresponding points of the subject searched by the corresponding point searching means,
Distance information calculating means for calculating a distance from the reference camera to the corresponding point, and a three-dimensional shape of the object based on the distances from the plurality of cameras to the corresponding point of the object calculated by the distance information calculating means. A three-dimensional shape data generating means for generating data is used.
【００１８】かかる構成によれば、三次元モデリングプ
ログラムは、概形形状計測手段によって、被写体の周囲
に配置した複数のカメラで被写体を撮影した複数のカメ
ラ画像から、その被写体の概形となる形状を計測する。
例えば、視体積交差法等の技術を用いることで前記被写
体を内包し、その被写体に外接する形状を計測する。According to such a configuration, the three-dimensional modeling program causes the outline shape measuring means to form a shape of the object from a plurality of camera images obtained by photographing the object with a plurality of cameras arranged around the object. To measure.
For example, by using a technique such as a visual volume intersection method, the subject is included and the shape circumscribing the subject is measured.
【００１９】そして、三次元モデリングプログラムは、
対応点探索手段によって、概形形状計測手段によって計
測された概形形状内を探索範囲として、基準カメラとそ
れに隣接するカメラで撮影したカメラ画像毎に被写体領
域内の対応する点を探索する。例えば、ブロックマッチ
ング法を用いることで、ブロック単位で画素毎に被写体
の対応点を探索する。そして、距離情報算出手段によっ
て、隣接したカメラ画像の各対応点の視差量とカメラの
間隔に基づいて、カメラから被写体表面までの距離を算
出する。そして、三次元形状データ生成手段によって、
三次元座標単位格子点を画像座標に変換した時のカメラ
から単位格子点までの距離と、先に求めたカメラから被
写体表面までの距離とを比較することで、被写体の三次
元形状データを生成する。The three-dimensional modeling program is
The corresponding point searching means searches for a corresponding point in the subject area for each camera image taken by the reference camera and the camera adjacent to the reference camera, using the inside of the rough shape measured by the rough shape measuring means as a search range. For example, by using the block matching method, the corresponding points of the subject are searched for on a pixel-by-pixel basis in block units. Then, the distance information calculation means calculates the distance from the camera to the surface of the subject based on the parallax amount of each corresponding point of the adjacent camera images and the distance between the cameras. Then, by the three-dimensional shape data generation means,
3D coordinate data of a subject is generated by comparing the distance from the camera to the unit lattice point when the unit lattice points are converted to image coordinates with the previously obtained distance from the camera to the subject surface. To do.
【００２０】[0020]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。
（三次元モデリング装置の構成）BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. (Configuration of 3D modeling device)
【００２１】まず、本発明に係る三次元モデリング装置
の構成について説明する。図１は、本発明の実施の形態
に係る三次元モデリング装置の構成を示すブロック図で
ある。図１に示すように、三次元モデリング装置１は、
カメラパラメータ測定手段２と、概形形状計測手段３
と、詳細形状計測手段４とを含む構成とした。First, the structure of the three-dimensional modeling apparatus according to the present invention will be described. FIG. 1 is a block diagram showing the configuration of a three-dimensional modeling device according to an embodiment of the present invention. As shown in FIG. 1, the three-dimensional modeling apparatus 1 is
Camera parameter measuring means 2 and rough shape measuring means 3
And a detailed shape measuring means 4.
【００２２】この三次元モデリング装置１は、複数のカ
メラＣＡで立体形状である被写体を撮影した複数のカメ
ラ画像に基づいて、前記被写体の三次元形状データを生
成させる装置である。ここではカメラＣＡの数を９台
（ＣＡ1，ＣＡ2，ＣＡ3，…，ＣＡ9）としたときの例を
示している。なお、カメラＣＡの配置は、人物等の被写
体を中心とした円周上に等間隔に配置する。（図２参
照）なお、切り換えスイッチＳＷは、カメラＣＡの入力
の切り換えを行い、三次元モデリング装置１のカメラ切
り換え手段（図示せず）によって、切り換えられるもの
とする。The three-dimensional modeling apparatus 1 is an apparatus for generating three-dimensional shape data of a subject based on a plurality of camera images obtained by photographing a three-dimensional subject with a plurality of cameras CA. Here, an example in which the number of cameras CA is 9 (CA 1 , CA 2 , CA 3 , ..., CA 9 ) is shown. The cameras CA are arranged at equal intervals on a circle centered on a subject such as a person. (See FIG. 2) It is assumed that the changeover switch SW switches the input of the camera CA and is switched by the camera switching means (not shown) of the three-dimensional modeling apparatus 1.
【００２３】カメラパラメータ測定手段２は、予めカメ
ラＣＡからカメラ位置等を校正するためのカメラ校正パ
ターンを入力しておき、そのカメラ校正パターンを基準
として定義される三次元座標と二次元のカメラ座標との
座標変換を行うことにより、現在のカメラＣＡの位置
や、角度等のカメラパラメータを測定するものである。
このカメラパラメータ測定手段２で測定されたカメラパ
ラメータは、概形形状測定手段３や詳細形状測定手段４
に入力され、各形状等の算出に用いられる。なお、既知
パターン（カメラ校正パターン）からカメラパラメータ
を求める手法は、「Roger Y.Tsai,“Multiframe Image
Point Matching and 3-D Surface Reconstruction,”IE
EE Trans.PAMI,Vol.PAMI-5,No.2,pp.159-173,March 198
3.」を用いることができる。The camera parameter measuring means 2 inputs a camera calibration pattern for calibrating the camera position or the like from the camera CA in advance, and three-dimensional coordinates and two-dimensional camera coordinates defined with the camera calibration pattern as a reference. By performing coordinate conversion with, the camera position such as the current position of the camera CA and camera parameters such as angle are measured.
The camera parameters measured by the camera parameter measuring means 2 are the general shape measuring means 3 and the detailed shape measuring means 4.
Is input to and used to calculate each shape and the like. Note that the method for obtaining camera parameters from known patterns (camera calibration patterns) is described in "Roger Y. Tsai," Multiframe Image
Point Matching and 3-D Surface Reconstruction, ”IE
EE Trans.PAMI, Vol.PAMI-5, No.2, pp.159-173, March 198
3. ”can be used.
【００２４】概形形状計測手段３は、カメラＣＡ（ＣＡ
1，ＣＡ2，ＣＡ3，…，ＣＡ9）から入力される複数のカ
メラ画像から、被写体に外接する概形形状を計測するも
のである。この概形形状計測手段３は、シルエット抽出
部３１と、外接形状算出部３２とを備えて構成されてい
る。The general shape measuring means 3 is a camera CA (CA
1 , CA 2 , CA 3 , ..., CA 9 ) is used to measure a rough shape circumscribing a subject from a plurality of camera images. The rough shape measuring means 3 is configured to include a silhouette extracting section 31 and a circumscribing shape calculating section 32.
【００２５】シルエット抽出部３１は、個々のカメラ画
像から被写体以外の背景領域を除去し、被写体領域のみ
を切り出した被写体シルエット（被写体形状）を抽出す
るものである。このシルエット抽出部３１で抽出された
被写体シルエットは、外接形状算出部３２へ出力され
る。The silhouette extraction unit 31 removes a background region other than the subject from each camera image and extracts a subject silhouette (subject shape) obtained by cutting out only the subject region. The subject silhouette extracted by the silhouette extracting unit 31 is output to the circumscribing shape calculating unit 32.
【００２６】ここで、カメラ画像を被写体領域と背景領
域とに分離するには、予め被写体が存在しない状態で背
景のみを撮影しておき、被写体が存在する状態のカメラ
画像との差分をとり被写体の領域のみを抽出する、いわ
ゆる背景差分法によって行う。あるいは、均一な特定色
の背景（クロマキーバック）の中に被写体を配置し、こ
の背景色以外の領域を抽出するクロマキー手法によって
行うことも可能である。Here, in order to divide the camera image into the subject area and the background area, only the background is photographed in advance in the absence of the subject, and the difference from the camera image in the presence of the subject is calculated. This is performed by the so-called background subtraction method, which extracts only the area. Alternatively, it is also possible to place the subject in a uniform background (chroma keyback) of a specific color and perform a chroma keying method of extracting a region other than the background color.
【００２７】外接形状算出部３２は、シルエット抽出部
３１で抽出された被写体シルエットを、カメラＣＡ（Ｃ
Ａ1，ＣＡ2，ＣＡ3，…，ＣＡ9）で撮影したカメラ画像
分入力し、その複数の被写体シルエットから、被写体の
概形形状を算出するものである。ここで抽出された概形
形状は、詳細形状計測手段４へ出力され、さらに詳細な
形状が算出される。The circumscribing shape calculation unit 32 uses the camera CA (C
A 1 , CA 2 , CA 3 , ..., CA 9 ) are input for camera images, and the outline shape of the subject is calculated from the plurality of subject silhouettes. The general shape extracted here is output to the detailed shape measuring unit 4, and a more detailed shape is calculated.
【００２８】ここで、図３を参照して、複数の被写体シ
ルエットから、被写体の概形形状を算出する方法につい
て説明する。図３は、被写体Ｍの概形形状ＡＭを推定す
る視体積交差法を説明するための説明図である。なお、
ここでは説明を簡略化するためにカメラＣＡを２台（Ｃ
Ａ1，ＣＡ2）としている。A method of calculating the general shape of a subject from a plurality of subject silhouettes will be described with reference to FIG. FIG. 3 is an explanatory diagram for explaining the visual volume intersection method for estimating the general shape AM of the subject M. In addition,
Here, in order to simplify the description, two cameras CA (C
A 1 , CA 2 ).
【００２９】この視体積交差法は、カメラＣＡ1で撮影
したカメラ画像Ｇの被写体シルエットＳを、カメラＣＡ
1の光学主点位置Ｖから仮想的に被写体Ｍ方向に逆投影
して形成される光学主点位置Ｖを頂点として、断面が被
写体シルエットＳとなる錐体Ｔ1の形状（錐体領域）を
算出し、同様にカメラＣＡ2のカメラ画像から算出され
る錐体Ｔ2の形状とが重なる重複領域（論理積）を概形
形状ＡＭとするものである。なお、この概形形状ＡＭ
は、被写体Ｍに外接し、被写体Ｍの概略の形状を表わし
ている。図１に戻って説明を続ける。In this visual volume intersection method, the object silhouette S of the camera image G taken by the camera CA 1
The shape (cone region) of the cone T 1 having a cross section of the subject silhouette S with the optical principal point position V formed by virtually back-projecting the optical principal point position V of 1 in the direction of the subject M as a vertex. The overlapping area (logical product) which is calculated and similarly overlaps with the shape of the cone T 2 calculated from the camera image of the camera CA 2 is set as the general shape AM. In addition, this general shape AM
Circumscribes the subject M and represents the general shape of the subject M. Returning to FIG. 1, the description will be continued.
【００３０】詳細形状計測手段４は、概形形状計測手段
３の外接形状算出部３２から出力される概形形状と、カ
メラＣＡ（ＣＡ1，ＣＡ2，ＣＡ3，…，ＣＡ9）から入力
される複数のカメラ画像とに基づいて、詳細な被写体の
形状を算出し、その被写体の三次元形状データを生成す
るものである。この詳細形状計測手段４は、対応点探索
部４１と、格子点距離算出部４２と、距離判定部４３
と、ソリッドモデル生成部４４とを備えて構成されてい
る。The detailed shape measuring means 4 inputs from the camera CA (CA 1 , CA 2 , CA 3 , ..., CA 9 ) and the rough shape output from the circumscribing shape calculation unit 32 of the rough shape measuring means 3. The detailed shape of the subject is calculated based on the plurality of captured camera images, and three-dimensional shape data of the subject is generated. The detailed shape measuring unit 4 includes a corresponding point searching unit 41, a grid point distance calculating unit 42, and a distance determining unit 43.
And a solid model generation unit 44.
【００３１】対応点探索部４１は、隣り合う３台のカメ
ラＣＡから入力されるカメラ画像に基づいて、その各々
のカメラ画像内の被写体領域を特定の大きさのブロック
で探索し、そのブロックの中央画素に対応する被写体表
面までの距離を画素毎に算出するものである。ここで算
出されたカメラＣＡから被写体表面までの距離（被写体
表面距離）は被写体表面距離蓄積手段（図示せず）に蓄
積され、距離判定部４３によって参照される。The corresponding point searching section 41 searches for a subject area in each camera image with a block of a specific size based on the camera images input from the three adjacent cameras CA, The distance to the subject surface corresponding to the central pixel is calculated for each pixel. The distance from the camera CA to the subject surface (subject surface distance) calculated here is accumulated in a subject surface distance accumulating unit (not shown) and referred to by the distance determining unit 43.
【００３２】この対応点探索部４１は、３台のカメラ
（例えばＣＡ1，ＣＡ2，ＣＡ3）において、中央のカメ
ラＣＡ2を基準カメラ、右のカメラＣＡ1を隣接カメラと
してブロックマッチングを行い、さらに中央のカメラＣ
Ａ2を基準カメラ、左のカメラＣＡ3を隣接カメラとし、
中央からの距離の探索パラメータとしてブロックマッチ
ングを行う。そして、各々のブロックマッチングの誤差
量（各ブロックの差分）の和が最小となるときのブロッ
クの距離を推定距離とする。また、この基準カメラをＣ
Ａ1，ＣＡ2，ＣＡ3…，ＣＡ9と順次切り換えることで、
各々のカメラＣＡのカメラ画像におけるブロックの推定
距離を求める。The corresponding point searching unit 41 performs block matching among the three cameras (for example, CA 1 , CA 2 , and CA 3 ) with the central camera CA 2 as the reference camera and the right camera CA 1 as the adjacent camera. , Camera C in the center
A 2 is a reference camera, left camera CA 3 is an adjacent camera,
Block matching is performed as a search parameter for the distance from the center. Then, the block distance at which the sum of the error amounts of the block matching (differences between the blocks) is minimized is the estimated distance. In addition, this reference camera is C
By sequentially switching A 1 , CA 2 , CA 3, ..., CA 9 ,
The estimated distance of the block in the camera image of each camera CA is obtained.
【００３３】このように、基準カメラ１台に対して、そ
れに隣接する左右の隣接カメラを用いてブロックマッチ
ングを行うことで、被写体の重なり等のオクルージョン
が発生した状況であっても、その認識結果の誤りを軽減
することができる。As described above, by performing block matching on one reference camera using the left and right adjacent cameras, even if occlusion such as object overlap occurs, the recognition result is obtained. The error of can be reduced.
【００３４】ここで、図４及び図５を参照して、ブロッ
クマッチング法について説明する。図４は、あるカメラ
を基準カメラとして被写体Ｍを撮影した基準カメラ画像
（ａ）と、その基準カメラに隣接する隣接カメラで同じ
被写体Ｍを撮影した隣接カメラ画像（ｂ）の画像内容を
表わしている。Here, the block matching method will be described with reference to FIGS. 4 and 5. FIG. 4 shows image contents of a reference camera image (a) obtained by photographing a subject M with a camera as a reference camera and an adjacent camera image (b) obtained by photographing the same subject M by an adjacent camera adjacent to the reference camera. There is.
【００３５】図４に示すように基準カメラ画像（ａ）の
特定の大きさを持ったブロック（探索ブロックＢ）の領
域を、隣接カメラ画像（ｂ）で探索し、そのブロックデ
ータの差分が最小となるようなブロックを探索結果ブロ
ックＢｒとする。そして、探索ブロックＢと探索結果ブ
ロックＢｒの位置の差分を推定視差ベクトルＶｅとす
る。As shown in FIG. 4, an area of a block (search block B) having a specific size of the reference camera image (a) is searched by the adjacent camera image (b), and the difference between the block data is minimum. A block that satisfies the above is set as a search result block Br. Then, the difference between the positions of the search block B and the search result block Br is set as the estimated parallax vector Ve.
【００３６】なお、推定視差ベクトルＶｅの大きさを視
差量（disparity）といい、前記基準カメラと前記隣接
カメラとのカメラ間隔をＤとすると、各々のカメラから
被写体Ｍまでの距離（depth）は（１）式で求めること
ができる。The magnitude of the estimated parallax vector Ve is called the amount of parallax (disparity), and the distance between the reference camera and the adjacent camera is D, the distance (depth) from each camera to the subject M is It can be obtained by the equation (1).
【００３７】depth＝Ｄ／disparity …（１）Depth = D / disparity (1)
【００３８】また、図４に示すように、一対のステレオ
カメラを使う場合には、視差ベクトルを探索パラメータ
とすることが一般的であるが、本発明の場合には、２対
のステレオカメラを使うので、共通の探索パラメータと
して、中央カメラからの距離を用いている。このため、
ブロックの差分を計算する時には（１）式により画面上
での視差に変換して計算する。Further, as shown in FIG. 4, when a pair of stereo cameras is used, it is general to use a parallax vector as a search parameter, but in the case of the present invention, two pairs of stereo cameras are used. Since it is used, the distance from the central camera is used as a common search parameter. For this reason,
When calculating the block difference, it is converted into the parallax on the screen by the formula (1) and calculated.
【００３９】また、この検索結果ブロックＢｒを求める
方法を図５を参照して説明する。図５は、視体積交差法
による概形と真の被写体との関係を示す図である。図５
に示すように、概形の形状の表面（概形表面ＡＣ）は、
被写体Ｍの表面（被写体表面ＭＣ）に外接している。こ
こでブロックマッチングによるブロックデータの差分
（誤差量）をError_matching、カメラの光学主点位置Ｖ
から当該ブロックの被写体Ｍまでの距離をw、光学主点
位置Ｖから概形表面ＡＣまでの距離をedge、そして、前
記wと前記edgeの誤差に対する重み付け係数をkとして、
（２）式のような誤差判定式を用い、その値（Error_to
tal）が最小となるようなブロックを探索結果ブロック
Ｂｒとする。A method of obtaining the search result block Br will be described with reference to FIG. FIG. 5 is a diagram showing the relationship between the outline and the true subject by the visual volume intersection method. Figure 5
As shown in, the surface of the general shape (general surface AC) is
It is circumscribed on the surface of the subject M (subject surface MC). Here, the difference (error amount) of the block data by the block matching is Error_matching, the optical principal point position V of the camera
From the optical principal point position V to the rough surface AC is edge, and the weighting coefficient for the error between the w and the edge is k,
Using an error judgment formula such as formula (2), its value (Error_to
Let tal) be the smallest block as the search result block Br.
【００４０】 Error_total＝Error_matching＋k（w−edge）2 …（２）Error_total = Error_matching + k (w−edge) 2 (2)
【００４１】なお、探索ブロックＢの探索範囲Ｆは、概
形形状計測手段３（図１参照）で計測された被写体の概
形形状に基づいた限定した領域とすることができる。図
１に戻って説明を続ける。The search range F of the search block B can be a limited area based on the general shape of the object measured by the general shape measuring means 3 (see FIG. 1). Returning to FIG. 1, the description will be continued.
【００４２】格子点距離算出部４２は、被写体を含んだ
仮想的な三次元座標空間（世界座標）の単位格子点（格
子点世界座標）を画像座標に変換し、カメラＣＡから単
位格子点までの距離（格子点距離）を求めるものであ
る。この格子点距離算出部４２によって求められた格子
点距離は格子点距離蓄積手段（図示せず）に蓄積され
る。なお、この格子点距離は、距離判定部４３によって
参照される。なお、この格子点世界座標は、その格子点
の間隔等が外部から入力されるものとする。The grid point distance calculation unit 42 converts unit grid points (grid point world coordinates) of a virtual three-dimensional coordinate space (world coordinates) including a subject into image coordinates, and from the camera CA to the unit grid points. The distance (lattice point distance) is calculated. The grid point distance calculated by the grid point distance calculation unit 42 is stored in a grid point distance storage means (not shown). The grid point distance is referred to by the distance determination unit 43. It should be noted that the grid point world coordinates are such that the intervals between the grid points are input from the outside.
【００４３】距離判定部４３は、対応点探索部４１によ
って求められた被写体表面距離と、格子点距離算出部４
２によって求められた格子点距離とを比較判定すること
で、単位格子点が被写体の内部に存在する点であるか外
部に存在する点であるかを判定するものである。この距
離判定部４３による判定結果である被写体内部格子点位
置及び被写体外部格子点位置が、被写体内外格子点位置
蓄積手段（図示せず）に蓄積され、ソリッドモデル生成
部４４によって参照される。The distance determining section 43 is provided with the object surface distance obtained by the corresponding point searching section 41 and the grid point distance calculating section 4
By comparing and judging with the grid point distance obtained in step 2, it is judged whether the unit grid point is inside or outside the subject. The subject internal lattice point positions and the subject external lattice point positions, which are the determination results by the distance determining unit 43, are accumulated in the subject internal and external lattice point position accumulating means (not shown) and are referred to by the solid model generating unit 44.
【００４４】なお、この距離判定部４３による判定は、
被写体表面距離（ｄ＿ｓｕｒｆａｃｅ）と格子点距離
（ｄ＿ｇｒｉｄ）との関係が以下の（３）式を満たす場
合は、単位格子点が被写体の外部にあると判定し、
（４）式を満たす場合は、単位格子点が被写体の内部に
あると判定する。The determination by the distance determining section 43 is
When the relationship between the object surface distance (d_surface) and the grid point distance (d_grid) satisfies the following expression (3), it is determined that the unit grid point is outside the object,
When the expression (4) is satisfied, it is determined that the unit lattice point is inside the subject.
【００４５】 ｄ＿ｓｕｒｆａｃｅ＞ｄ＿ｇｒｉｄ …（３）[0045] d_surface> d_grid (3)
【００４６】 ｄ＿ｓｕｒｆａｃｅ≦ｄ＿ｇｒｉｄ …（４）[0046] d_surface ≦ d_grid (4)
【００４７】ソリッドモデル生成部４４（三次元形状デ
ータ生成手段）は、距離判定部４３で判定された被写体
内部格子点位置及び被写体外部格子点位置に基づいて、
被写体の三次元形状データであるソリッドモデルを生成
するものである。このソリッドモデル生成部４４は、被
写体の三次元形状を、被写体の内部に存在する単位格子
点に基づいて被写体の実体部分を定義した固体（ソリッ
ド）として定義するものである。The solid model generation unit 44 (three-dimensional shape data generation means), based on the subject internal grid point position and the subject external grid point position determined by the distance determination unit 43,
A solid model that is three-dimensional shape data of a subject is generated. The solid model generation unit 44 defines the three-dimensional shape of the subject as a solid in which the substantial part of the subject is defined based on the unit lattice points existing inside the subject.
【００４８】ここで、図６を参照して、ソリッドモデル
の概念について説明する。図６は、ソリッドモデルの概
念を示した図である。図６に示したように、被写体Ｍ
は、カメラの光学主点位置Ｖから見てカメラ画像Ｇ上に
被写体シルエットＳとして平面的に撮影される。そし
て、三次元座標単位格子点は、カメラパラメータにより
画像座標へ変換され、カメラから格子点までの距離（距
離情報Ｒ）が求められ、カメラから格子点までの距離
と、同じ画像座標におけるカメラから被写体表面までの
距離とを比較することでソリッドモデルが求められる。
このように、個々のソリッドが距離情報Ｒに基づいてデ
ータ化されることで、被写体Ｍは、三次元のソリッドデ
ータとして生成される。Here, the concept of the solid model will be described with reference to FIG. FIG. 6 is a diagram showing the concept of the solid model. As shown in FIG. 6, the subject M
Is photographed planarly as a subject silhouette S on the camera image G when viewed from the optical principal point position V of the camera. Then, the three-dimensional coordinate unit grid point is converted into image coordinates by the camera parameter, the distance from the camera to the grid point (distance information R) is obtained, and the distance from the camera to the grid point and the camera at the same image coordinates are calculated. A solid model is obtained by comparing the distance to the surface of the subject.
In this way, the individual solids are converted into data based on the distance information R, so that the subject M is generated as three-dimensional solid data.
【００４９】以上、本発明に係る三次元モデリング装置
１の構成について説明したが、三次元モデリング装置１
は、コンピュータにおいて各手段を各機能プログラムと
して実現することも可能であり、各機能プログラムを結
合して三次元モデリングプログラムとして動作させるこ
とも可能である。The structure of the three-dimensional modeling apparatus 1 according to the present invention has been described above.
In the computer, each means can be realized as each function program, and each function program can be combined to operate as a three-dimensional modeling program.
【００５０】（三次元モデリング装置の動作）次に、図
１、図７及び図８を参照して、三次元モデリング装置１
の動作について説明する。図７及び図８は、三次元モデ
リング装置１の動作を示すフローチャートである。(Operation of 3D Modeling Device) Next, referring to FIGS. 1, 7 and 8, the 3D modeling device 1 will be described.
The operation of will be described. 7 and 8 are flowcharts showing the operation of the three-dimensional modeling apparatus 1.
【００５１】［初期ステップ］まず最初に、カメラパラ
メータ測定手段２によって、カメラＣＡの位置、角度等
のカメラパラメータを測定する（ステップＳ１）。[Initial Step] First, the camera parameter measuring means 2 measures camera parameters such as the position and angle of the camera CA (step S1).
【００５２】［概形形状計測ステップ］シルエット抽出
部３１によって、カメラＣＡから入力されたカメラ画像
から、背景差分法（あるいはクロマキー手法等）によ
り、被写体以外の背景領域を除去し、被写体領域のみを
切り出した被写体シルエット（被写体形状）を抽出する
（ステップＳ２）。[Approximate Shape Measuring Step] The silhouette extracting unit 31 removes the background area other than the object from the camera image input from the camera CA by the background subtraction method (or the chroma key method or the like) to leave only the object area. The cut out subject silhouette (subject shape) is extracted (step S2).
【００５３】次に、外接形状算出部３２によって、この
被写体シルエットを、カメラＣＡの光学主点位置から仮
想的に被写体方向に逆投影して形成される、光学主点位
置を頂点として断面が被写体シルエットとなる錐体の形
状（錐体領域）を、カメラＣＡの台数分算出する（ステ
ップＳ３）。Next, the circumscribing shape calculation section 32 virtually projects the subject silhouette back from the optical principal point position of the camera CA in the direction of the subject. The shape of the pyramid forming the silhouette (cone area) is calculated for the number of cameras CA (step S3).
【００５４】そして、カメラＣＡの台数分の錐体の形状
（錐体領域）が重なりあう領域（論理積）を被写体の概
形形状として算出して（ステップＳ４）、対応点探索ス
テップ（ステップＳ５）へ進む。なお、このステップＳ
４で算出された概形形状は、被写体に外接し、被写体の
概略の形状を表わしている。Then, an area (logical product) where the shapes of the cones (cone areas) corresponding to the number of cameras CA overlap is calculated as a rough shape of the object (step S4), and a corresponding point searching step (step S5). ). This step S
The general shape calculated in 4 circumscribes the subject and represents the approximate shape of the subject.
【００５５】［対応点探索ステップ及び距離情報算出ス
テップ］対応点探索部４１によって、カメラＣＡの中か
ら基準となる基準カメラ（例えばカメラＣＡ1）を設定
し（ステップＳ５）、その基準カメラに隣接する２台の
カメラ（例えばＣＡ9，ＣＡ2）の各々のカメラ画像か
ら、被写体の概形形状を探索範囲として、ブロックマッ
チングを行い各画素毎にカメラＣＡの光学主点位置から
被写体表面までの距離を算出する（ステップＳ６）。[Corresponding Point Searching Step and Distance Information Calculating Step] The corresponding point searching section 41 sets a reference camera (for example, camera CA 1 ) as a reference from the cameras CA (step S5) and adjoins the reference camera. From the respective camera images of the two cameras (for example, CA 9 and CA 2 ), block matching is performed for each pixel from the optical principal point position of the camera CA to the subject surface with the rough shape of the subject as a search range. The distance is calculated (step S6).
【００５６】そして、全てのカメラＣＡを基準カメラと
して動作したかどうかを判定し（ステップＳ７）、全て
のカメラＣＡを基準カメラとしていない場合（Ｎｏ）
は、ステップＳ５へ戻って、基準カメラをカメラＣＡ1
からカメラＣＡ9まで切り換えることで、各カメラ（Ｃ
Ａ1，ＣＡ2，ＣＡ3…，ＣＡ9）から被写体表面までの距
離を算出する。一方、全てのカメラＣＡを基準カメラと
して動作した場合（Ｙｅｓ）は、三次元形状データ生成
ステップ（ステップＳ８）へ進む。Then, it is determined whether or not all the cameras CA have been operated as the reference cameras (step S7), and when all the cameras CA are not the reference cameras (No).
Returns to step S5 and sets the reference camera to the camera CA 1
To camera CA 9 to switch each camera (C
The distance from A 1 , CA 2 , CA 3, ..., CA 9 ) to the subject surface is calculated. On the other hand, if all the cameras CA have operated as reference cameras (Yes), the process proceeds to the three-dimensional shape data generation step (step S8).
【００５７】［三次元形状データ生成ステップ］格子点
距離算出部４２によって、仮想的な三次元座標空間（世
界座標）の単位格子点（格子点世界座標）を画像座標に
変換し、カメラＣＡから単位格子点までの距離（格子点
距離）を格子点距離蓄積手段（図示せず）に蓄積する
（ステップＳ８）。[Three-dimensional shape data generation step] The lattice point distance calculation unit 42 converts the unit lattice points (lattice point world coordinates) of the virtual three-dimensional coordinate space (world coordinates) into image coordinates, and the camera CA sends them. The distance to the unit grid point (grid point distance) is stored in the grid point distance storage means (not shown) (step S8).
【００５８】そして、距離判定部４３によって、ステッ
プＳ６で求めた被写体表面距離と、ステップＳ８で求め
た格子点距離とを比較判定し、その判定結果である被写
体内部格子点位置及び被写体外部格子点位置を、被写体
内外格子点位置蓄積手段（図示せず）に蓄積する（ステ
ップＳ９）。Then, the distance determining section 43 compares and determines the subject surface distance obtained in step S6 and the lattice point distance obtained in step S8, and the result of the determination is the subject internal lattice point position and the subject external lattice point. The positions are stored in the subject inside / outside lattice point position storage means (not shown) (step S9).
【００５９】そして、被写体内部格子点位置及び被写体
外部格子点位置に基づいて、ソリッドモデル生成部４４
が被写体の実体部分を固体（ソリッド）として定義した
三次元形状データであるソリッドモデルを生成する（ス
テップＳ１０）。Then, based on the positions of the lattice points inside the subject and the positions of the lattice points outside the subject, the solid model generator 44
Generates a solid model which is three-dimensional shape data in which the substantial part of the subject is defined as a solid (solid) (step S10).
【００６０】なお、ステップＳ８内の単位格子点を画像
座標に変換する動作は、初期ステップにおいて、予め実
行しておいてもよい。The operation of converting the unit grid points into image coordinates in step S8 may be executed in advance in the initial step.
【００６１】以上の各ステップによって、複数のカメラ
（多視点カメラ）で被写体を撮影したカメラ画像から、
被写体の概形形状を算出し、その概形形状の近傍に被写
体の真の表面が存在することから、その概形形状を被写
体形状の探索範囲とすることで、より詳細な形状を測定
することができる。By the above steps, from the camera images obtained by photographing the subject with a plurality of cameras (multi-view cameras),
Since the rough shape of the subject is calculated and the true surface of the subject exists near the rough shape, more detailed shape can be measured by setting the rough shape as the subject shape search range. You can
【００６２】[0062]
【発明の効果】以上説明したとおり、本発明に係る三次
元モデリング装置及びその方法及びそのプログラムで
は、以下に示す優れた効果を奏する。As described above, the three-dimensional modeling apparatus, the method thereof and the program thereof according to the present invention have the following excellent effects.
【００６３】請求項１、請求項４又は請求項５に記載の
発明によれば、三次元モデリング装置、三次元モデリン
グ方法又は三次元モデリングプログラムは、まず、被写
体の概形形状を測定し、その概形形状を基に詳細な形状
を計測するため、従来の三次元モデリング手法に比べ
て、演算量を抑制して高速に三次元形状データを生成す
ることができる。さらに、被写体の表面形状が滑らかな
曲面であったり、凹面の形状であっても、正確にその形
状を反映した三次元形状データを生成することができ
る。According to the invention described in claim 1, claim 4, or claim 5, the three-dimensional modeling apparatus, the three-dimensional modeling method, or the three-dimensional modeling program first measures the rough shape of the object, Since the detailed shape is measured based on the rough shape, the amount of calculation can be suppressed and the three-dimensional shape data can be generated at high speed as compared with the conventional three-dimensional modeling method. Furthermore, even if the surface shape of the subject is a smooth curved surface or a concave shape, three-dimensional shape data that accurately reflects the shape can be generated.
【００６４】請求項２に記載の発明によれば、三次元モ
デリング装置は、従来の視体積交差法により、被写体の
概形形状のみを計測し、その概形形状を詳細な形状を計
測するための探索領域として活用することができるた
め、従来の視体積交差法による三次元モデリング装置に
比べて、誤差を軽減することができる。According to the second aspect of the present invention, the three-dimensional modeling apparatus measures only the rough shape of the subject by the conventional visual volume intersection method, and measures the rough shape of the rough shape. Since it can be utilized as a search area of, the error can be reduced as compared with the conventional three-dimensional modeling apparatus using the visual volume intersection method.
【００６５】請求項３に記載の発明によれば、三次元モ
デリング装置は、被写体の形状が三次元空間座標上にマ
ッピングされ、その三次元空間座標の格子点が被写体の
内部にある点か、外部にある点かの簡単な判定を行い、
被写体の表面形状だけでなく、被写体の内部に属する三
次元座標点をすべて抽出することができるため、三次元
のソリッドデータを効率良く生成することができる。According to the third aspect of the present invention, in the three-dimensional modeling apparatus, the shape of the object is mapped on the three-dimensional space coordinates, and whether the grid points of the three-dimensional space coordinates are points inside the object, Make a simple judgment as to whether it is outside or not,
Not only the surface shape of the subject but also all three-dimensional coordinate points belonging to the inside of the subject can be extracted, so that three-dimensional solid data can be efficiently generated.
【図１】本発明の実施の形態に係る三次元モデリング装
置の全体構成を示すブロック図である。FIG. 1 is a block diagram showing an overall configuration of a three-dimensional modeling device according to an embodiment of the present invention.
【図２】被写体を中心とした円周上に配置されたカメラ
の配置例を示す配置図である。FIG. 2 is an arrangement diagram showing an arrangement example of cameras arranged on a circumference around a subject.
【図３】視体積交差法を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining a visual volume intersection method.
【図４】ブロックマッチング法を説明するための説明図
である。FIG. 4 is an explanatory diagram for explaining a block matching method.
【図５】視体積交差法による概形と被写体との関係を示
す関係図である。FIG. 5 is a relationship diagram showing a relationship between an outline and a subject by the visual volume intersection method.
【図６】ソリッドモデルの概念を説明するための説明図
である。FIG. 6 is an explanatory diagram for explaining the concept of a solid model.
【図７】本発明に係る三次元モデリング装置の動作を示
すフローチャート（１／２）である。FIG. 7 is a flow chart (1/2) showing the operation of the three-dimensional modeling apparatus according to the present invention.
【図８】本発明に係る三次元モデリング装置の動作を示
すフローチャート（２／２）である。FIG. 8 is a flowchart (2/2) showing the operation of the three-dimensional modeling apparatus according to the present invention.
１……三次元モデリング装置
２……カメラパラメータ測定手段
３……概形形状測定手段
３１……シルエット抽出部
３２……外接形状算出部
４……詳細形状計測手段
４１……対応点探索部（対応点探索手段、距離情報算出
手段）
４２……格子点距離算出部
４３……距離判定部
４４……ソリッドモデル生成部（三次元形状データ生成
手段）
ＣＡ……カメラ1 ... Three-dimensional modeling device 2 ... Camera parameter measuring means 3 ... General shape measuring means 31 ... Silhouette extracting section 32 ... External shape calculating section 4 ... Detailed shape measuring means 41 ... Corresponding point searching section ( Corresponding point search means, distance information calculation means) 42 ... Lattice point distance calculation unit 43 ... Distance determination unit 44 ... Solid model generation unit (three-dimensional shape data generation unit) CA ... Camera
───────────────────────────────────────────────────── フロントページの続き (72)発明者 今泉 浩幸 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 冨山 仁博 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 2F065 AA04 AA06 AA53 DD06 FF04 JJ05 JJ26 QQ24 QQ31 QQ38 5B057 BA02 BA26 CA13 CA16 CB13 CB17 CD20 CH08 DA07 DA12 DA16 DB03 DB06 DB09 DC08 DC09 DC32 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Hiroyuki Imaizumi 1-10-11 Kinuta, Setagaya-ku, Tokyo, Japan Broadcasting Association Broadcast Technology Institute (72) Inventor, Toshihiro Tomiyama 1-10-11 Kinuta, Setagaya-ku, Tokyo, Japan Broadcasting Association Broadcast Technology Institute F term (reference) 2F065 AA04 AA06 AA53 DD06 FF04 JJ05 JJ26 QQ24 QQ31 QQ38 5B057 BA02 BA26 CA13 CA16 CB13 CB17 CD20 CH08 DA07 DA12 DA16 DB03 DB06 DB09 DC08 DC09 DC32
Claims (5)
した複数のカメラで撮影した複数のカメラ画像に基づい
て、前記被写体の三次元形状データを生成する三次元モ
デリング装置であって、 前記複数のカメラ画像から、前記被写体に外接するその
被写体の概形形状を計測する概形形状計測手段と、 この概形形状計測手段によって計測された前記概形形状
の近傍を探索範囲として、前記複数のカメラの中で、順
次基準となる基準カメラを切り換えて撮影した基準カメ
ラ画像と、前記基準カメラに隣接する隣接カメラで撮影
した隣接カメラ画像とに基づいて、前記基準カメラ画像
内の被写体画像に対応する対応点を、前記隣接カメラ画
像から探索する対応点探索手段と、 この対応点探索手段によって探索された前記被写体の対
応点の前記基準カメラと前記隣接カメラとの間隔に基づ
いて、前記基準カメラから前記対応点への距離を算出す
る距離情報算出手段と、 この距離情報算出手段によって算出された前記複数のカ
メラから前記被写体の対応点への距離に基づいて、前記
被写体の三次元形状データを生成する三次元形状データ
生成手段と、 を備えていることを特徴とする三次元モデリング装置。1. A three-dimensional modeling apparatus for generating three-dimensional shape data of a subject based on a plurality of camera images captured by a plurality of cameras arranged around the subject having a three-dimensional shape, From the camera image of the subject, the rough shape measuring means for measuring the rough shape of the subject circumscribing the subject, and the vicinity of the rough shape measured by the rough shape measuring means as a search range. Corresponding to the subject image in the reference camera image based on the reference camera image taken by sequentially switching the reference camera to be the reference among the cameras and the adjacent camera image taken by the adjacent camera adjacent to the reference camera Corresponding point searching means for searching the corresponding camera image from the adjacent camera image, and the reference point of the corresponding point of the subject searched by the corresponding point searching means. Distance information calculation means for calculating a distance from the reference camera to the corresponding point based on a distance between the camera and the adjacent camera; and corresponding points of the subject from the plurality of cameras calculated by the distance information calculation means. And a three-dimensional shape data generation unit that generates three-dimensional shape data of the subject based on the distance to the three-dimensional modeling apparatus.
光学主点位置を頂点とし、その光学主点位置から前記カ
メラ画像内の被写体形状を仮想的に前記被写体方向に逆
投影し、断面が前記被写体形状となる錐体領域が、前記
複数のカメラ画像分重なりあった重複領域を前記被写体
の概形形状とすることを特徴とする請求項１に記載の三
次元モデリング装置。2. The cross-section measuring means virtually back-projects the subject shape in the camera image from the position of the optical principal point of the camera as an apex to the subject direction in the cross-section. 3. The three-dimensional modeling apparatus according to claim 1, wherein the cone area having the object shape is an overlapping area in which the plurality of camera images are overlapped with each other and has a rough shape of the object.
距離情報算出手段によって算出された前記カメラと前記
被写体の被写体表面の各対応点との距離を、前記被写体
が存在する仮想的な三次元空間座標に対応付けること
で、前記被写体の内部に位置する三次元空間座標単位格
子点を判定し、その内部に位置する単位格子点の集合を
前記被写体の三次元形状データとすることを特徴とする
請求項１又は請求項２に記載の三次元モデリング装置。3. The three-dimensional shape data generation means is a virtual three-dimensional area in which the subject exists, which is a distance between the camera and each corresponding point on the subject surface of the subject calculated by the distance information calculation means. It is characterized in that the three-dimensional spatial coordinate unit lattice point located inside the subject is determined by associating with the space coordinate, and the set of unit lattice points located inside the unit is set as the three-dimensional shape data of the subject. The three-dimensional modeling apparatus according to claim 1 or 2.
した複数のカメラで撮影した複数のカメラ画像に基づい
て、前記被写体の三次元形状データを生成する三次元モ
デリング方法であって、 前記複数のカメラ画像から、前記被写体に外接するその
被写体の概形形状を計測する概形形状計測ステップと、 この概形形状計測ステップによって計測された前記概形
形状の近傍を探索範囲として、前記複数のカメラの中
で、順次基準となる基準カメラを切り換えて撮影した基
準カメラ画像と、前記基準カメラに隣接する隣接カメラ
で撮影した隣接カメラ画像とに基づいて、前記基準カメ
ラ画像内の被写体画像に対応する対応点を、前記隣接カ
メラ画像から探索する対応点探索ステップと、 この対応点探索ステップによって探索された前記被写体
の対応点の前記基準カメラと前記隣接カメラとの間隔に
基づいて、前記基準カメラから前記対応点への距離を算
出する距離情報算出ステップと、 この距離情報算出ステップによって算出された前記複数
のカメラから前記被写体の対応点への距離に基づいて、
前記被写体の三次元形状データを生成する三次元形状デ
ータ生成ステップと、 を含むことを特徴とする三次元モデリング方法。4. A three-dimensional modeling method for generating three-dimensional shape data of a subject based on a plurality of camera images captured by a plurality of cameras arranged around the subject having a three-dimensional shape. From a camera image of the subject, a rough shape measuring step of measuring a rough shape of the subject circumscribing the subject; and a neighborhood of the rough shape measured by the rough shape measuring step as a search range, Corresponding to the subject image in the reference camera image based on the reference camera image taken by sequentially switching the reference camera to be the reference among the cameras and the adjacent camera image taken by the adjacent camera adjacent to the reference camera Corresponding point searching step for searching the corresponding camera image from the adjacent camera image, and a pair of the subject searched by the corresponding point searching step. A distance information calculating step of calculating a distance from the reference camera to the corresponding point based on a distance between the reference camera of the response point and the adjacent camera; and a plurality of cameras calculated by the distance information calculating step. Based on the distance to the corresponding point of the subject,
And a three-dimensional shape data generation step of generating three-dimensional shape data of the subject.
した複数のカメラで撮影した複数のカメラ画像に基づい
て、前記被写体の三次元形状データを生成するために、
コンピュータを、 前記複数のカメラ画像から、前記被写体に外接するその
被写体の概形形状を計測する概形形状計測手段、 この概形形状計測手段によって計測された前記概形形状
の近傍を探索範囲として、前記複数のカメラの中で、順
次基準となる基準カメラを切り換えて撮影した基準カメ
ラ画像と、前記基準カメラに隣接する隣接カメラで撮影
した隣接カメラ画像とに基づいて、前記基準カメラ画像
内の被写体画像に対応する対応点を、前記隣接カメラ画
像から探索する対応点探索手段、 この対応点探索手段によって探索された前記被写体の対
応点の前記基準カメラと前記隣接カメラとの間隔に基づ
いて、前記基準カメラから前記対応点への距離を算出す
る距離情報算出手段、 この距離情報算出手段によって算出された前記複数のカ
メラから前記被写体の対応点への距離に基づいて、前記
被写体の三次元形状データを生成する三次元形状データ
生成手段、 として機能させることを特徴とする三次元モデリングプ
ログラム。5. In order to generate three-dimensional shape data of the subject based on a plurality of camera images taken by a plurality of cameras arranged around the subject having a three-dimensional shape,
A computer, from the plurality of camera images, a rough shape measuring means for measuring a rough shape of the subject circumscribing the subject, and a neighborhood of the rough shape measured by the rough shape measuring means as a search range Among the plurality of cameras, based on a reference camera image captured by sequentially switching reference cameras as a reference and an adjacent camera image captured by an adjacent camera adjacent to the reference camera, A corresponding point corresponding to the subject image, corresponding point searching means for searching from the adjacent camera image, based on the distance between the reference camera and the adjacent camera of the corresponding point of the subject searched by the corresponding point searching means, Distance information calculating means for calculating a distance from the reference camera to the corresponding point, and the plurality of cameras calculated by the distance information calculating means To a corresponding point of the subject, based on the distance from the subject to three-dimensional shape data generating means for generating three-dimensional shape data of the subject.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002069017A JP4014140B2 (en) | 2002-03-13 | 2002-03-13 | Three-dimensional modeling apparatus and method and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002069017A JP4014140B2 (en) | 2002-03-13 | 2002-03-13 | Three-dimensional modeling apparatus and method and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003271928A true JP2003271928A (en) | 2003-09-26 |
| JP4014140B2 JP4014140B2 (en) | 2007-11-28 |
Family
ID=29199983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002069017A Expired - Lifetime JP4014140B2 (en) | 2002-03-13 | 2002-03-13 | Three-dimensional modeling apparatus and method and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4014140B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217593A (en) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | Subject area extraction device and subject area extraction program |
| JP2012022411A (en) * | 2010-07-12 | 2012-02-02 | Canon Inc | Information processing apparatus and control method thereof, and program |
| WO2015108071A1 (en) * | 2014-01-20 | 2015-07-23 | 正実 森 | Three-dimensional data generation device, formed object production system, and three-dimensional data generation method |
| CN107065424A (en) * | 2017-02-15 | 2017-08-18 | 邢天宜 | Holographic system and holographic display system and Stereographing system and display methods |
| EP3425592A1 (en) | 2017-07-06 | 2019-01-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program, for generating a virtual viewpoint image |
| CN110087055A (en) * | 2018-01-25 | 2019-08-02 | 台湾东电化股份有限公司 | Vehicle and its three-dimension object Information Acquisition System and three-dimension object information acquisition method |
| KR20190108925A (en) * | 2018-03-16 | 2019-09-25 | 서울여자대학교 산학협력단 | Target 3D modeling method using realsense |
| US10726620B2 (en) | 2017-08-14 | 2020-07-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP2020160812A (en) * | 2019-03-27 | 2020-10-01 | Kddi株式会社 | Region extraction device and program |
-
2002
- 2002-03-13 JP JP2002069017A patent/JP4014140B2/en not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217593A (en) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | Subject area extraction device and subject area extraction program |
| JP2012022411A (en) * | 2010-07-12 | 2012-02-02 | Canon Inc | Information processing apparatus and control method thereof, and program |
| US9053546B2 (en) | 2010-07-12 | 2015-06-09 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and computer-readable storage medium |
| WO2015108071A1 (en) * | 2014-01-20 | 2015-07-23 | 正実 森 | Three-dimensional data generation device, formed object production system, and three-dimensional data generation method |
| JPWO2015108071A1 (en) * | 2014-01-20 | 2017-03-23 | 正実 森 | Three-dimensional data generation apparatus, three-dimensional object manufacturing system, and three-dimensional data generation method |
| CN107065424A (en) * | 2017-02-15 | 2017-08-18 | 邢天宜 | Holographic system and holographic display system and Stereographing system and display methods |
| WO2018149392A1 (en) * | 2017-02-15 | 2018-08-23 | 邢天宜 | Holographic image recording system, holographic display system, and three-dimensional image recording system and display method |
| CN107065424B (en) * | 2017-02-15 | 2022-05-24 | 天津长瑞大通流体控制系统有限公司 | Holographic imaging system, holographic display system, stereoscopic imaging system and display method |
| EP3425592A1 (en) | 2017-07-06 | 2019-01-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program, for generating a virtual viewpoint image |
| US11025878B2 (en) | 2017-07-06 | 2021-06-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method thereof and storage medium |
| US10726620B2 (en) | 2017-08-14 | 2020-07-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| CN110087055A (en) * | 2018-01-25 | 2019-08-02 | 台湾东电化股份有限公司 | Vehicle and its three-dimension object Information Acquisition System and three-dimension object information acquisition method |
| CN110087055B (en) * | 2018-01-25 | 2022-03-29 | 台湾东电化股份有限公司 | Vehicle, three-dimensional object information acquisition system thereof and three-dimensional object information acquisition method |
| KR102045875B1 (en) * | 2018-03-16 | 2019-11-18 | 서울여자대학교 산학협력단 | Target 3D modeling method using realsense |
| KR20190108925A (en) * | 2018-03-16 | 2019-09-25 | 서울여자대학교 산학협력단 | Target 3D modeling method using realsense |
| JP2020160812A (en) * | 2019-03-27 | 2020-10-01 | Kddi株式会社 | Region extraction device and program |
| JP7063837B2 (en) | 2019-03-27 | 2022-05-09 | Kddi株式会社 | Area extraction device and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4014140B2 (en) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10789765B2 (en) | Three-dimensional reconstruction method | |
| Concha et al. | Using superpixels in monocular SLAM | |
| CN103971408B (en) | Three-dimensional facial model generating system and method | |
| US8447099B2 (en) | Forming 3D models using two images | |
| US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
| US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
| JP2018515825A (en) | LIDAR stereo fusion live-action 3D model virtual reality video | |
| US20060210146A1 (en) | Creating 3D images of objects by illuminating with infrared patterns | |
| US20130095920A1 (en) | Generating free viewpoint video using stereo imaging | |
| CN106228507A (en) | A kind of depth image processing method based on light field | |
| EP3503030A1 (en) | Method and apparatus for generating a three-dimensional model | |
| CN104661010A (en) | Method and device for establishing three-dimensional model | |
| EP3367334B1 (en) | Depth estimation method and depth estimation apparatus of multi-view images | |
| KR102152432B1 (en) | A real contents producing system using the dynamic 3D model and the method thereof | |
| JP5366258B2 (en) | Virtual viewpoint image generation method and program based on geometric information in large space camera arrangement | |
| CN205451195U (en) | Real -time three -dimensional some cloud system that rebuilds based on many cameras | |
| Lhuillier et al. | Manifold surface reconstruction of an environment from sparse structure-from-motion data | |
| CN115035235A (en) | Three-dimensional reconstruction method and device | |
| WO2022127181A1 (en) | Passenger flow monitoring method and apparatus, and electronic device and storage medium | |
| WO2020184174A1 (en) | Image processing device and image processing method | |
| JP2003271928A (en) | Three-dimensional modeling device, and method and program thereof | |
| CN113570701B (en) | Hair reconstruction method and device | |
| JP2020098421A (en) | Three-dimensional shape model generation device, three-dimensional shape model generation method and program | |
| JP2002032741A (en) | System and method for three-dimensional image generation and program providing medium | |
| Zhang et al. | Dense 3D facial reconstruction from a single depth image in unconstrained environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040409 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070907 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |