JP2003302211A - Three-dimensional image processing unit and method - Google Patents
Three-dimensional image processing unit and methodInfo
- Publication number
- JP2003302211A JP2003302211A JP2002109435A JP2002109435A JP2003302211A JP 2003302211 A JP2003302211 A JP 2003302211A JP 2002109435 A JP2002109435 A JP 2002109435A JP 2002109435 A JP2002109435 A JP 2002109435A JP 2003302211 A JP2003302211 A JP 2003302211A
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional
- target object
- image processing
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、対象となる実物体
の形状、色、質感などをよりリアルに提示可能にするた
めの3次元画像入力方法および3次元画像入力装置およ
び3次元画像処理方法および3次元画像処理装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional image input method, a three-dimensional image input device, and a three-dimensional image processing method for making it possible to present the shape, color, texture, etc. of a target real object more realistically. And a three-dimensional image processing device.
【0002】[0002]
【従来の技術】従来、実在する物体の3次元情報(形
状、表面属性)を入力する画像処理装置として、接触型
の位置センサを利用した方法が知られている。この方法
は、探針を物体の各点に接触させ、探針の3次元位置座
標を位置センサにより検出し、物体の各点の3次元位置
情報を取得する。ところが、この接触型の位置センサを
用いる方法では、探針を物体の各点に接触させる必要が
あるため、対象となる物体としては、ある程度の強度を
持つ物体に限られ、また計測にある程度の時間を要する
等の制限があった。2. Description of the Related Art Conventionally, a method using a contact type position sensor is known as an image processing apparatus for inputting three-dimensional information (shape, surface attribute) of an existing object. In this method, the probe is brought into contact with each point of the object, the three-dimensional position coordinates of the probe are detected by a position sensor, and the three-dimensional position information of each point of the object is acquired. However, in the method using the contact-type position sensor, it is necessary to bring the probe into contact with each point of the object. There was a limitation that it took time.
【0003】また、従来より、非接触型の3次元計測装
置も知られている。非接触型のものは、上記接触型のも
のに比べて高速の計測が可能であることから、CGシス
テムやCADシステムへのデータ入力、身体計測、ロボ
ットの視覚認識などに利用されている。Also, conventionally, a non-contact type three-dimensional measuring device has been known. Since the non-contact type is capable of faster measurement than the contact type, it is used for data input to a CG system or a CAD system, body measurement, visual recognition of a robot, and the like.
【0004】非接触の3次元計測の方法として、スリッ
ト光投影法(光切断法ともいう)またはパターン投影法
が知られている。これらの方法は、特定の参照光(検出
光ともいう)を計測対象に照射し、三角測定の原理で距
離画像(3次元画像、3次元データ、または3次元形状
データともいう)を得る能動的計測方法の一種である。
スリット光投影法では、スリット光を照射しかつ偏向す
ることによって計測対象を走査する。パターン投影法で
は、複数の2次元パターン光を順次照射する。得られた
距離画像は、計測対象上の複数部位の3次元位置を示す
画素の集合である。A slit light projection method (also called a light section method) or a pattern projection method is known as a non-contact three-dimensional measurement method. These methods actively irradiate a measurement object with specific reference light (also referred to as detection light) and obtain a distance image (also referred to as three-dimensional image, three-dimensional data, or three-dimensional shape data) based on the principle of triangulation. It is a kind of measurement method.
In the slit light projection method, a measurement target is scanned by irradiating and deflecting slit light. In the pattern projection method, a plurality of two-dimensional pattern lights are sequentially irradiated. The obtained distance image is a set of pixels indicating the three-dimensional positions of a plurality of parts on the measurement target.
【0005】このような3次元計測装置には、計測対象
物体の距離画像を得るための距離計測光学系と、対象物
体表面のテクスチャ情報を取得するためのカラー光学系
(モニタ光学系ともいう)とが設けられる。距離計測光
学系は、計測対象物体に参照光を照射する投光部、参照
光の計測対象物体による反射光を受光する受光センサな
どを含む。受光センサからの出力などに基づいて、3次
元形状データが演算により求められる。In such a three-dimensional measuring apparatus, a distance measuring optical system for obtaining a distance image of the object to be measured and a color optical system (also called a monitor optical system) for acquiring texture information of the surface of the object. And are provided. The distance measuring optical system includes a light projecting unit that irradiates the measurement target object with the reference light, a light receiving sensor that receives the reflected light of the reference light from the measurement target object, and the like. Three-dimensional shape data is calculated based on the output from the light receiving sensor.
【0006】また、カラー光学系は、計測対象物体のカ
ラー画像(モニタ画像、2次元画像、2次元データ、ま
たは2次元画像データともいう)を撮像する撮像センサ
などを含む。カラー光学系により得られるカラー画像
は、対象物体表面のテクスチャ情報を取得するために用
いられる他、距離計測光学系による計測を開始する際
に、距離計測により得られる距離画像の範囲を予め確認
するために用いられ、さらには、得られた距離画像を修
正する際にその修正箇所を特定するために用いられる。Further, the color optical system includes an image sensor for picking up a color image (also referred to as a monitor image, two-dimensional image, two-dimensional data, or two-dimensional image data) of the object to be measured. The color image obtained by the color optical system is used to obtain the texture information of the surface of the target object, and the range of the distance image obtained by the distance measurement is confirmed in advance when the measurement by the distance measuring optical system is started. It is also used to specify the correction point when correcting the obtained range image.
【0007】[0007]
【発明が解決しようとする課題】撮影環境と再現環境
(観察環境)とが異なる場合、例えば照明器具の形状、
位置、色が異なった場合などは、対象物体における鏡面
反射の状態が変化し、見た目にも大きく変わってくるは
ずである。しかしながら、従来技術における3次元画像
処理装置においては、対象物体表面には単にテクスチャ
が貼りつけられるのみで、対象物体の質感や光沢感を再
現することは考慮されていないため、従来技術の3次元
画像処理装置を用いた場合では、対象物体の上記のよう
な質感や光沢感までを正確に伝えることは困難であっ
た。When the photographing environment and the reproduction environment (observation environment) are different, for example, the shape of the luminaire,
If the position and color are different, the specular reflection state of the target object will change, and the appearance will also change significantly. However, in the conventional three-dimensional image processing apparatus, the texture is simply pasted on the surface of the target object, and the reproduction of the texture and glossiness of the target object is not considered. When the image processing apparatus is used, it is difficult to accurately convey the above-described texture and glossiness of the target object.
【0008】本発明は上記課題に鑑みてなされたもので
あり、観察者によって指定された観察環境に応じて、対
象物体の質感、光沢感、立体感などをよりリアルに再現
することが可能な3次元画像データを提供することを目
的とする。The present invention has been made in view of the above problems, and it is possible to more realistically reproduce the texture, glossiness, and stereoscopic effect of a target object in accordance with the observation environment designated by the observer. The purpose is to provide three-dimensional image data.
【0009】[0009]
【課題を解決するための手段】上記の目的を達成するた
めの本発明による3次元画像処理方法は、設定情報に従
って入力環境を設定して対象物体を計測し、3次元形状
と表面属性を表す計測データを取得する取得工程と、前
記取得工程で取得された計測データを解析して前記対象
物体の3次元形状モデルとその各部の表面属性を表す統
合データを生成する生成工程と、前記統合データの生成
に際して、前記対象物体について前記取得工程による更
なる計測データの取得が必要か否かを判定する判定工程
と、前記判定工程により更なる計測データの取得が必要
と判定された場合、前記設定情報を更新して前記取得工
程の処理を実行させる実行工程と備える。A three-dimensional image processing method according to the present invention for achieving the above object sets an input environment according to setting information, measures a target object, and expresses a three-dimensional shape and a surface attribute. An acquisition step of acquiring measurement data; a generation step of analyzing the measurement data acquired in the acquisition step to generate integrated data representing surface attributes of the three-dimensional shape model of the target object and each part thereof; In the generation of, a determination step of determining whether or not it is necessary to acquire further measurement data by the acquisition step for the target object, and if it is determined by the determination step that further measurement data is necessary, the setting And an execution step of updating the information and executing the processing of the acquisition step.
【0010】また、上記目的を達成するための本発明に
よる3次元画像処理装置は以下の構成を備える。すなわ
ち、設定情報に従って入力環境を設定して対象物体を計
測し、3次元形状と表面属性を表す計測データを取得す
る取得手段と、前記取得手段で取得された計測データを
解析して前記対象物体の3次元形状モデルとその各部の
表面属性を表す統合データを生成する生成手段と、前記
統合データの生成に際して、前記対象物体について前記
取得手段による更なる計測データの取得が必要か否かを
判定する判定手段と、前記判定手段により更なる計測デ
ータの取得が必要と判定された場合、前記設定情報を更
新して前記取得手段の処理を実行させる実行手段とを備
える。A three-dimensional image processing apparatus according to the present invention for achieving the above object has the following configuration. That is, the input object is set according to the setting information, the target object is measured, and an acquisition unit that acquires the measurement data representing the three-dimensional shape and the surface attribute, and the measurement data acquired by the acquisition unit is analyzed to analyze the target object. Generating means for generating integrated data representing the surface attributes of the three-dimensional shape model and each part thereof, and at the time of generating the integrated data, it is determined whether or not it is necessary to acquire further measurement data for the target object by the acquiring means. And a executing unit that updates the setting information and executes the process of the acquiring unit when the measuring unit determines that further measurement data needs to be acquired.
【0011】[0011]
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
【0012】<第1の実施形態>図1は、第1の実施形
態による3次元画像処理装置の概略構成を示すブロック
図である。本実施形態の3次元画像処理装置は、対象物
体を再現する際に、観察に用いる照明環境を任意に設定
し、かつ対象物体の位置および向きを観察空間内で自由
に変更可能とし、所望の観察環境下での対象物体の画像
を表示および印刷出力を得ることを可能とする。<First Embodiment> FIG. 1 is a block diagram showing the schematic arrangement of a three-dimensional image processing apparatus according to the first embodiment. The three-dimensional image processing apparatus according to the present embodiment, when reproducing the target object, can arbitrarily set the illumination environment used for observation, and can freely change the position and orientation of the target object in the observation space. It is possible to display an image of a target object under an observation environment and obtain a printout.
【0013】本実施形態の3次元画像処理装置は、対象
物体の3次元形状を取得する3次元形状取得部13と、
対象物体の色・光沢・質感などを取得する表面属性取得
部11と、これらの3次元データを統合する3次元デー
タ統合部15と、作成された3次元統合データの信用度
を判別し再実測の必要性を判断するとともに、判別した
信用度に基づいて入力環境パラメータを更新するデータ
信用度判別部14と、データ信用度判別部14により更
新された入力環境パラメータに従い3次元形状取得ある
いは表面属性取得を行うべく3次元形状取得部13及び
表面属性取得部11を制御する制御部12と、再現時の
観察環境を設定する操作部17と、3次元統合データお
よび再現時の観察環境データに基づき対象物体の画像を
再構築する任意環境画像生成部16と、表示および印刷
出力する画像出力部18とを含んで構成される。The three-dimensional image processing apparatus of this embodiment includes a three-dimensional shape acquisition unit 13 for acquiring the three-dimensional shape of a target object,
The surface attribute acquisition unit 11 that acquires the color, gloss, texture, etc. of the target object, the three-dimensional data integration unit 15 that integrates these three-dimensional data, and the reliability of the created three-dimensional integrated data are determined and re-measured. In order to determine the necessity and to perform three-dimensional shape acquisition or surface attribute acquisition in accordance with the data credibility determination unit 14 that updates the input environment parameter based on the determined credibility, and the input environment parameter updated by the data credibility determination unit 14. An image of the target object based on the control unit 12 that controls the three-dimensional shape acquisition unit 13 and the surface attribute acquisition unit 11, the operation unit 17 that sets the observation environment during reproduction, and the three-dimensional integrated data and the observation environment data during reproduction. And an arbitrary environment image generation unit 16 for reconstructing the image and an image output unit 18 for displaying and printing out.
【0014】3次元形状取得部13は、レーザレーダ
法、スリット光投影法、パターン投影法などを用いた3
次元計測装置から得られた計測データから、3次元立体
形状モデルを生成する。ここで、3次元立体形状モデル
は、たとえばポリゴンによる表面モデル、あるいは異な
る形状の表面形状要素の集合によるモデルを用いて、3
次元立体形状を表現する。The three-dimensional shape acquisition unit 13 uses a laser radar method, a slit light projection method, a pattern projection method, or the like.
A three-dimensional solid shape model is generated from the measurement data obtained from the dimension measuring device. Here, as the three-dimensional solid shape model, for example, a surface model with polygons or a model with a set of surface shape elements of different shapes is used to
Represents a three-dimensional shape.
【0015】表面属性取得部11は、光像を画像データ
に光電変換して入力する、ディジタルスチルカメラ、ビ
デオカメラ、マルチスペクトルカメラなどの画像入力装
置から得られる画像データ、および、3次元形状取得部
13により得られた3次元立体形状モデルを用いて、対
象物体の色・光沢・質感にかかわる表面属性パラメータ
を推定し、表面属性データを生成する。この表面属性デ
ータにより、再現時の対象物体・照明光源・視点の位置
関係や照明光源の色・形状といった観察環境の変化に応
じて、再現画像における鏡面反射の位置・広がり・形状
・強度などを変化させることが可能となり、対象物体の
質感、光沢感、立体感などをよりリアルに表現すること
ができる。ここで、3次元立体形状モデル生成のための
3次元計測装置と、表面属性データ生成のための画像入
力装置は、別個のものであっても一体のものであっても
構わない。The surface attribute acquisition unit 11 acquires image data obtained from an image input device such as a digital still camera, a video camera, a multispectral camera, etc., which photoelectrically converts an optical image into image data and inputs the image data, and a three-dimensional shape acquisition. Using the three-dimensional solid shape model obtained by the unit 13, the surface attribute parameters related to the color, gloss, and texture of the target object are estimated, and the surface attribute data is generated. With this surface attribute data, the position, spread, shape, intensity, etc. of specular reflection in the reproduced image can be determined according to changes in the observation environment such as the positional relationship of the target object, illumination light source, viewpoint during reproduction, and the color and shape of the illumination light source. It is possible to change, and it is possible to more realistically express the texture, glossiness, stereoscopic effect, etc. of the target object. Here, the three-dimensional measuring device for generating the three-dimensional solid shape model and the image input device for generating the surface attribute data may be separate or integrated.
【0016】3次元データ統合部15は、3次元形状取
得部13により得られた3次元立体形状モデルと、表面
属性取得部11により得られた表面属性データとを統合
し、対象物体の3次元統合データを作成する。The three-dimensional data integration unit 15 integrates the three-dimensional solid shape model obtained by the three-dimensional shape acquisition unit 13 and the surface attribute data obtained by the surface attribute acquisition unit 11 to obtain the three-dimensional shape of the target object. Create integrated data.
【0017】データ信用度判別部14は、作成された3
次元統合データの信用度を判別し、再実測の必要性を判
断する。データの信用度が十分であり再実測を必要とし
ない場合には、その時点の3次元統合データを確定す
る。一方、データの信用度が不十分であり、再実測が必
要と判断される場合には、直前の実測で用いた入力環境
パラメータを変更し、制御部12に渡す。The data credibility discriminator 14 uses the created 3
The credibility of dimensional integrated data is determined, and the necessity of re-measurement is determined. If the reliability of the data is sufficient and re-measurement is not required, the three-dimensional integrated data at that time is confirmed. On the other hand, when the reliability of the data is insufficient and it is determined that the re-measurement is necessary, the input environment parameter used in the immediately preceding measurement is changed and passed to the control unit 12.
【0018】制御部12は、入力環境パラメータに従い
3次元形状取得あるいは表面属性取得を再度行う。以上
の処理は、データ信用度判別部14によって3次元統合
データの信用度が十分であると判断されるまで繰り返し
行われる。The control unit 12 again acquires the three-dimensional shape or the surface attribute according to the input environment parameter. The above processing is repeatedly performed until the data credibility determination unit 14 determines that the credibility of the three-dimensional integrated data is sufficient.
【0019】観察者は、操作部17により所望の照明条
件・対象物体の位置や向きなどの観察環境の設定を行う
ことができる。操作部17は観察者からの設定に応じて
監察官今日データを生成し、任意環境画像生成部16に
これを送る。任意環境画像生成部16は、操作部17に
より設定された観察環境データに従い、観察者が所望す
る観察環境下での対象物体の画像を再構築する。画像出
力部18は、TVモニタやプリンタなどからなり、任意
環境画像生成部16により再構築された画像の表示や印
刷出力を行う。The observer can set the observation environment such as desired illumination conditions and the position and orientation of the target object through the operation unit 17. The operation unit 17 generates the inspector today data according to the setting by the observer and sends it to the arbitrary environment image generation unit 16. The arbitrary environment image generation unit 16 reconstructs an image of the target object under the observation environment desired by the observer according to the observation environment data set by the operation unit 17. The image output unit 18 includes a TV monitor, a printer, and the like, and displays and prints out the image reconstructed by the arbitrary environment image generation unit 16.
【0020】図2は、本実施形態の3次元形状取得およ
び表面属性取得における装置の概略図である。対象物体
21は、コンピュータ制御可能な回転ステージ25の上
に配置される。回転ステージ25は、コンピュータ29
から指令された角度で連続的に回転軸26を中心として
回転する。なお、測定環境における回転軸26の位置は
既知とする。FIG. 2 is a schematic view of an apparatus for three-dimensional shape acquisition and surface attribute acquisition of this embodiment. The target object 21 is placed on a computer-controllable rotary stage 25. The rotation stage 25 is a computer 29.
It continuously rotates about the rotary shaft 26 at an angle instructed by. The position of the rotary shaft 26 in the measurement environment is known.
【0021】照明光源27は、表面属性データを取得す
る際に使用する照明であり、一つもしくは複数配置さ
れ、コンピュータ29からの指令により、照明光スペク
トル、光の強度、照明光形状、個数、測定環境における
位置の制御が可能になっている。The illumination light source 27 is an illumination used when acquiring the surface attribute data, and one or plural illumination light sources are arranged, and according to a command from the computer 29, the illumination light spectrum, the light intensity, the illumination light shape, the number, and the like. It is possible to control the position in the measurement environment.
【0022】3次元計測装置/画像入力装置23は、対
象物体21から離れた位置に配置され、コンピュータ2
9からの指令により、測定空間内の任意の位置に移動し
て計測を行い、データ入力を行うことができる。The three-dimensional measuring device / image input device 23 is arranged at a position distant from the target object 21, and the computer 2
By the command from 9, it is possible to move to an arbitrary position in the measurement space, perform measurement, and input data.
【0023】コンピュータ29は、回転ステージ25、
照明光源27に対して指令を送り、測定環境を確定す
る。その後、3次元計測装置/画像入力装置23に対し
て指令を送り、3次元形状計測および画像入力を行う。
ここで、3次元計測装置と画像入力装置は一体の構成で
あっても、別体であっても構わない。こうして得られた
実測データに基づいて、3次元形状および表面属性デー
タの取得を行い、3次元統合データが作成される。The computer 29 includes a rotary stage 25,
A command is sent to the illumination light source 27 to determine the measurement environment. Then, a command is sent to the three-dimensional measuring device / image input device 23 to perform three-dimensional shape measurement and image input.
Here, the three-dimensional measuring device and the image input device may be integrated or separate. Based on the measured data thus obtained, the three-dimensional shape and surface attribute data are acquired, and the three-dimensional integrated data is created.
【0024】次に、以上の構成を備えた本実施形態の3
次元画像処理装置の動作について詳細に説明する。ま
ず、対象物体の実測による3次元形状モデル及び表面属
性データの取得から3次元統合データの生成までについ
て説明する。Next, the third embodiment of the present invention having the above configuration
The operation of the three-dimensional image processing apparatus will be described in detail. First, the process from acquisition of a three-dimensional shape model and surface attribute data by actual measurement of a target object to generation of three-dimensional integrated data will be described.
【0025】表面属性取得部11は、実測データおよび
3次元形状データを用いて、対象物体の色・光沢・質感
にかかわる表面属性パラメータを推定し、表面属性デー
タを生成する。図3は表面属性取得部11の構成を示す
ブロック図である。図3において、実測データ取捨選択
部31は、入力された実測データのうち、ノイズ、陰
影、オクルージョン、混色などの影響によって情報が欠
如したり誤差を大きく含むデータを除去するなど、実測
データの取捨選択を行う。拡散反射領域抽出部33は、
選別された実測データの中から拡散反射成分のみのデー
タを抽出する。鏡面反射成分分離部35は、鏡面反射成
分を含んだデータから、鏡面反射成分を分離する。推定
処理の流れについては後で詳しく述べる。The surface attribute acquisition unit 11 uses the measured data and the three-dimensional shape data to estimate the surface attribute parameters related to the color, gloss, and texture of the target object, and generate the surface attribute data. FIG. 3 is a block diagram showing the configuration of the surface attribute acquisition unit 11. In FIG. 3, the actual measurement data sorting section 31 sorts out actual measurement data, for example, by removing data from the input actual measurement data that lacks information due to influences of noise, shadow, occlusion, color mixture, or has a large error. Make a choice. The diffuse reflection area extraction unit 33
Only the diffuse reflection component data is extracted from the selected actual measurement data. The specular reflection component separation unit 35 separates the specular reflection component from the data including the specular reflection component. The flow of the estimation process will be described later in detail.
【0026】制御部12は、入力環境パラメータに従い
3次元形状取得および表面属性取得を行う。図4は制御
部12の構成を示すブロック図である。図4において、
回転ステージ制御部47は、回転ステージの回転角度を
入力環境パラメータに定められた回転間隔ずつ順次回転
制御する。照明光源制御部48は、照明光源に対して、
照明光スペクトル、光の強度、照明光形状、個数、測定
環境における位置の制御を行う。3次元計測装置制御部
45は、入力環境パラメータから得られる測定位置まで
3次元計測装置を移動し、連続的にデータを入力する。
画像入力装置制御部46は、入力環境パラメータから得
られる測定位置まで画像入力装置を移動し、連続的にデ
ータを入力する。なお、入力環境記述データ(43)は
第2の実施形態で用いられるものであり、ここでは説明
を省く。The control unit 12 acquires a three-dimensional shape and a surface attribute according to the input environment parameters. FIG. 4 is a block diagram showing the configuration of the control unit 12. In FIG.
The rotation stage control unit 47 sequentially controls the rotation angle of the rotation stage at each rotation interval determined by the input environment parameter. The illumination light source control unit 48
It controls the illumination light spectrum, light intensity, illumination light shape, number, and position in the measurement environment. The three-dimensional measuring device control unit 45 moves the three-dimensional measuring device to a measurement position obtained from the input environment parameter and continuously inputs data.
The image input device control unit 46 moves the image input device to a measurement position obtained from the input environment parameter and continuously inputs data. It should be noted that the input environment description data (43) is used in the second embodiment and will not be described here.
【0027】次に、第1の実施形態の3次元画像処理装
置において、対象物体の実測から3次元統合データの作
成までの処理について図5のフローチャートを参照しな
がら説明する。Next, the processing from the actual measurement of the target object to the creation of the three-dimensional integrated data in the three-dimensional image processing apparatus of the first embodiment will be described with reference to the flowchart of FIG.
【0028】ステップS51において、対象物体表面上
の各頂点に関して、3次元計測装置/画像入力装置23
により実測データを入力し、ステップS52において、
3次元計測装置によって取得された実測データを用いて
3次元形状データを作成する。ステップS53では、デ
ータ信用度判別部14が3次元形状データの信用度を評
価し、再実測が必要かどうかの判断を行う(第3の実施
形態により後述する形状データ判別部141(図14)
により行う)。データの信用度が十分ではない部分が存
在する場合には、ステップS62に進み、再実測のため
に入力環境パラメータを変更した後、ステップS51に
戻る。なお、入力環境パラメータには、実測を行うべき
回転ステージ25の回転間隔、3次元計測装置/画像入
力装置23の位置、照明光源27の照明光スペクトル、
光の強度、照明光形状、個数、位置等が含まれ、これら
が一通りの値に決められている。なお、「一通りの値に
決められている」とは、データ入力ごとに、3次元計測
装置/画像入力装置の位置、照明光源の照明光スペクト
ル、光の強度、照明光形状、個数、位置等を変化させ
ず、全てのデータ入力を同一の環境で行うという意であ
る(ただし、回転ステージの回転間隔に基づく、ステー
ジの回転は行う)。In step S51, the three-dimensional measuring device / image input device 23 for each vertex on the surface of the target object.
The actual measurement data is input by, and in step S52,
Three-dimensional shape data is created using the actual measurement data acquired by the three-dimensional measuring device. In step S53, the data credibility determination unit 14 evaluates the credibility of the three-dimensional shape data and determines whether re-measurement is necessary (the shape data determination unit 141 (FIG. 14) described later according to the third embodiment).
Done by). If there is a portion where the reliability of the data is not sufficient, the process proceeds to step S62, the input environment parameter is changed for re-measurement, and then the process returns to step S51. The input environment parameters include the rotation interval of the rotary stage 25 to be actually measured, the position of the three-dimensional measuring device / image input device 23, the illumination light spectrum of the illumination light source 27,
It includes the intensity of light, the shape of illumination light, the number, the position, etc., and these are determined as one set of values. It should be noted that "determined by one value" means that the position of the three-dimensional measuring device / image input device, the illumination light spectrum of the illumination light source, the light intensity, the illumination light shape, the number, and the position for each data input. It means that all data is input in the same environment without changing the above (however, the stage is rotated based on the rotation interval of the rotation stage).
【0029】一方、ステップS53において3次元形状
データの信用度が十分に高く、再実測の必要性がないと
判断された場合は、ステップS54以降により表面属性
推定処理を行う。ここでは、物体表面における反射光
は、拡散反射成分と鏡面反射成分の二つに分けられると
いう2色性反射モデルの特徴を利用する。これにより、
複数の環境下で実測した実測データにおける各頂点の対
応点の輝度・色の変化を解析することで、それぞれの頂
点における表面属性を推定することができる。On the other hand, if it is determined in step S53 that the reliability of the three-dimensional shape data is sufficiently high and there is no need for re-measurement, surface attribute estimation processing is performed in step S54 and subsequent steps. Here, the characteristic of the dichroic reflection model that the reflected light on the surface of the object is divided into two components, a diffuse reflection component and a specular reflection component. This allows
By analyzing the changes in the brightness and color of the corresponding points of each vertex in the actual measurement data measured under a plurality of environments, the surface attribute at each vertex can be estimated.
【0030】まず、ステップS54において、実測デー
タ取捨選択部31は、上記ステップS51にて画像入力
装置より入力した実測データのうち、ノイズ、陰影、オ
クルージョン、混色などの影響により、情報が欠如した
り誤差を大きく含むデータを除去するなど、実測データ
の取捨選択を行う。続いて、ステップS55において、
上記ステップS54で選別された実測データのみを用い
て、拡散反射成分のみを含むデータを抽出する。そし
て、ステップS56において、抽出されたデータから、
表面属性パラメータのうちの物体色に関するパラメータ
の推定を行う。First, in step S54, the actual measurement data selection section 31 lacks information due to the influence of noise, shadow, occlusion, color mixture, etc. in the actual measurement data input from the image input device in step S51. Select the actual measurement data, such as removing the data with large error. Then, in step S55,
Only the actual measurement data selected in step S54 is used to extract the data including only the diffuse reflection component. Then, in step S56, from the extracted data,
Of the surface attribute parameters, the parameter related to the object color is estimated.
【0031】続いて、ステップS57において、拡散反
射成分と鏡面反射成分の両方を含んだデータから鏡面反
射成分を分離し、ステップS58において、表面属性パ
ラメータのうちの反射特性に関するパラメータの推定を
行う。なお、実測データには、拡散反射成分のみを含む
データ(鏡面反射成分を含まないデータ)と、拡散反射
成分と鏡面反射成分の両方を含んだデータとの2種類が
あり、ステップS55で抽出するのは前者(拡散反射成
分のみのデータ)である。ステップS57では、後者の
データ(拡散反射成分と鏡面反射成分の両方を含んだデ
ータ)において、拡散反射成分と鏡面反射成分を分離す
る。Subsequently, in step S57, the specular reflection component is separated from the data including both the diffuse reflection component and the specular reflection component, and in step S58, the parameter relating to the reflection characteristic of the surface attribute parameters is estimated. Note that there are two types of actual measurement data, data that includes only diffuse reflection components (data that does not include specular reflection components) and data that includes both diffuse reflection components and specular reflection components, and is extracted in step S55. Is the former (data of only the diffuse reflection component). In step S57, the latter data (data including both the diffuse reflection component and the specular reflection component) is separated into the diffuse reflection component and the specular reflection component.
【0032】以上の処理を各頂点ごとに行うことで各頂
点における表面属性パラメータを推定し、対象物体表面
全体の推定を行う(ステップS59)。対象物体表面全
体の推定が終了すると、ステップS60に進み、上記推
定結果を用いて、図6により後述する如き3次元統合デ
ータが作成される。続いて、ステップS61において、
作成された3次元統合データの信用度を評価し、再実測
が必要かどうかの判断を行う(第3の実施形態により後
述する表面属性データ判別部142(図14)により行
う)。ここで、すべての頂点における推定値の信用度が
十分に高く、再実測の必要性がないと判断されれば、本
処理を終了する。一方、推定値の信用度が十分ではない
頂点が存在する場合には、ステップS62に進み、再実
測のために入力環境パラメータを変更する。そして、ス
テップS51に戻り、変更された入力環境パラメータに
基づいて実測からの処理を繰り返す。The surface attribute parameter at each vertex is estimated by performing the above processing for each vertex, and the entire surface of the target object is estimated (step S59). When the estimation of the entire surface of the target object is completed, the process proceeds to step S60, and the estimation result is used to create three-dimensional integrated data as described later with reference to FIG. Then, in step S61,
The reliability of the created three-dimensional integrated data is evaluated, and it is determined whether or not re-measurement is necessary (performed by the surface attribute data determination unit 142 (FIG. 14) described later according to the third embodiment). If it is determined that the credibility of the estimated values at all the vertices is sufficiently high and there is no need for re-measurement, this processing ends. On the other hand, if there is a vertex where the reliability of the estimated value is not sufficient, the process proceeds to step S62, and the input environment parameter is changed for re-measurement. Then, the process returns to step S51, and the process from the actual measurement is repeated based on the changed input environment parameter.
【0033】以上の処理は、データの信用度が十分であ
ると判断されるまで繰り返し行われる。ここでは、対象
物体表面の構成単位を頂点として説明したが、後述する
ように頂点の代わりに微小面を用いることも可能であ
る。The above processing is repeated until it is determined that the reliability of the data is sufficient. Here, the constituent unit of the surface of the target object is described as a vertex, but it is also possible to use a minute surface instead of the vertex as described later.
【0034】図6は、第1の実施形態において、3次元
データ統合部15によって作成される3次元統合データ
の一例を示す図である。1頂点の3次元座標、および物
体色情報や反射特性情報などの表面属性パラメータを格
納する構造を要素とし、この要素を頂点の数分だけ用意
した構造となっている。一回の計測においても、各頂点
のデータは同時に求まるのではなく、一点一点順次求ま
っていく。そして、3次元統合情報として新たな頂点が
生成、追加されるたびに、3次元統合データの要素数は
拡大されていく。FIG. 6 is a diagram showing an example of the three-dimensional integrated data created by the three-dimensional data integrating unit 15 in the first embodiment. The three-dimensional coordinates of one vertex and the structure for storing the surface attribute parameters such as the object color information and the reflection characteristic information are used as elements, and the elements are prepared for the number of vertices. Even in one measurement, the data of each vertex is not obtained at the same time, but is obtained point by point. Then, each time a new vertex is generated and added as the three-dimensional integrated information, the number of elements of the three-dimensional integrated data is expanded.
【0035】なお、構成要素として頂点の代わりに微小
面を用いることもできる。この場合、微小面の3次元位
置情報および表面属性情報を格納する構造が要素とな
り、この要素を微小面の数分だけ用意した構造となる。
要素となる微小面は、近傍の頂点あるいは微小面のう
ち、表面属性情報が類似しているものを統合していくこ
とで生成される。ここで,微小面同士の結合は3次元形
状を損なわない程度に行われる。微小面の3次元位置情
報は、たとえば、三角形の3頂点の座標および法線ベク
トルで表現される。また、微小面の表面属性情報は、物
体色情報および反射特性情報から構成され、パラメータ
形式、あるいは微小面に対応する画像形式(例えば、微
小面に対応するテクスチャ画像)で表現される。3次元
統合情報として新たな微小面が生成、追加されるたび
に、3次元統合データの要素数は拡大されていく。It is also possible to use a minute surface instead of the vertex as a constituent element. In this case, the structure that stores the three-dimensional position information and the surface attribute information of the microfacet becomes an element, and this element is prepared by the number of microfacets.
The minute surface which is an element is generated by integrating the neighboring vertices or minute surfaces having similar surface attribute information. Here, the joining of the minute surfaces is performed to the extent that the three-dimensional shape is not impaired. The three-dimensional position information of the minute surface is represented by, for example, the coordinates of the three vertices of the triangle and the normal vector. Further, the surface attribute information of the minute surface is composed of object color information and reflection characteristic information, and is expressed in a parameter format or an image format corresponding to the minute surface (for example, a texture image corresponding to the minute surface). The number of elements of the three-dimensional integrated data is expanded each time a new minute surface is generated and added as the three-dimensional integrated information.
【0036】以上のような3次元統合データは、3次元
形状取得および表面属性取得実行中は装置のメモリ上に
置かれ、3次元形状取得および表面属性取得が終了する
と、ハードディスクなどの記憶媒体に保存される。The above-mentioned three-dimensional integrated data is placed in the memory of the device during the acquisition of the three-dimensional shape and the surface attribute, and when the acquisition of the three-dimensional shape and the surface attribute is completed, it is stored in a storage medium such as a hard disk. Saved.
【0037】次に、以上のようにして生成された3次元
統合データを用いて、所望の観察環境における対象物体
の画像を生成する処理について説明する。Next, a process of generating an image of a target object in a desired observation environment using the three-dimensional integrated data generated as described above will be described.
【0038】操作部17は、観察者の入力操作により、
所望の照明条件・対象物体の位置や向きなどの観察環境
データを作成する。図7は操作部17の構成を説明する
ブロック図である。図7において、照明光源設定部71
は、再現時に対象物体に照射する照明光に関する設定を
行うもので、例えば照明光の色、輝度、位置、形状(点
光源、線光源、面光源、平行光など)、個数等を設定す
る。対象物体配置設定部73は、対象物体の位置に関す
る設定を行うもので、例えば対象物体の上下、左右、手
前奥の3次元的な移動、および任意の軸を中心とした回
転を指示する。これらの設定値をもとに再現時に用いる
観察環境データを作成する。The operating section 17 is operated by an observer to input
Create observation environment data such as desired lighting conditions and the position and orientation of the target object. FIG. 7 is a block diagram illustrating the configuration of the operation unit 17. In FIG. 7, an illumination light source setting unit 71
Is for setting the illumination light to be emitted to the target object at the time of reproduction. For example, the color, brightness, position, shape (point light source, line light source, surface light source, parallel light, etc.), the number of illumination light, etc. are set. The target object placement setting unit 73 performs setting relating to the position of the target object, and instructs, for example, three-dimensional movement of the target object up and down, left and right, front and back, and rotation about an arbitrary axis. Based on these set values, create observation environment data to be used for reproduction.
【0039】次に本実施形態の3次元画像処理装置にお
いて、観察者が所望する観察環境下での対象物体の画像
を再現するための、操作部17および任意環境画像生成
部16・画像出力部18の動作について説明する。Next, in the three-dimensional image processing apparatus of this embodiment, the operation unit 17, the arbitrary environment image generation unit 16 and the image output unit for reproducing the image of the target object under the observation environment desired by the observer. The operation of 18 will be described.
【0040】図8は本実施形態による3次元画像処理装
置の任意環境下の画像提示のためのユーザインターフェ
ースを示す図である。本実施形態では、図8に示される
ような画面上のユーザインターフェースによって操作部
17を実現する。FIG. 8 is a diagram showing a user interface for presenting an image in an arbitrary environment of the three-dimensional image processing apparatus according to this embodiment. In the present embodiment, the operation unit 17 is realized by a user interface on the screen as shown in FIG.
【0041】観察者は、照明光源設定パネル83によ
り、対象物体に照射する照明光の色、輝度、位置、形状
(点光源、線光源、面光源、平行光など)を設定する。
ここで、複数の照明光源を設定することができるように
なっている。これにより、観察空間において任意の色、
輝度、形状をもつ、一つまたは複数の照明光源を82に
示すように任意の位置に配置することができる。照明光
源設定パネル83は、図7の照明光源設定部71により
提供される。The observer sets the color, brightness, position, and shape (point light source, line light source, surface light source, parallel light, etc.) of the illumination light with which the target object is illuminated, using the illumination light source setting panel 83.
Here, a plurality of illumination light sources can be set. This allows any color in the observation space,
One or more illumination sources having brightness and shape can be placed at any location as shown at 82. The illumination light source setting panel 83 is provided by the illumination light source setting unit 71 of FIG. 7.
【0042】さらに、観察者は、操作ボタン84〜88
を備えた対象物体配置設定パネル89により、対象物体
に対して上下、左右、手前奥の3次元的な移動、および
任意の軸を中心とした回転を設定する。具体的にはボタ
ン84により対象物体を上下左右に移動でき、ボタン8
5により手前奥の移動が行える。また、ボタン86、8
7、88はそれぞれ軸Y、Z、Xを中心とした対象物体
の回転を指示するものである。Further, the observer operates the operation buttons 84 to 88.
With the target object placement setting panel 89 provided with, three-dimensional movements up and down, left and right, front and back, and rotation about an arbitrary axis are set with respect to the target object. Specifically, the button 84 can be used to move the target object vertically and horizontally, and
With 5, it is possible to move to the front and back. Also, buttons 86, 8
Reference numerals 7 and 88 respectively indicate the rotation of the target object about the axes Y, Z, and X.
【0043】これにより、観察空間において、対象物体
81を任意の方向に移動、回転させることができ、対象
物体を所望する方向から観察することができる。As a result, the target object 81 can be moved and rotated in an arbitrary direction in the observation space, and the target object can be observed from a desired direction.
【0044】図9は操作部17、任意環境画像生成部1
6による対象物体の画像生成処理を説明するフローチャ
ートである。操作部17において照明光源の設定或いは
対象物体配置の設定に変更が生じると、観察環境データ
が更新される(ステップS91、S92)。任意環境画
像生成部16は、照明光源設定部71(83)および対
象物体配置設定部73(89)により設定された観察環
境データと、3次元データ統合部15によって生成され
た3次元データとに基づいて、観察者が所望する観察環
境下での対象物体の画像を再構築し(ステップS9
3)、これをウインドウ80に提示する(ステップS9
4)。なお、対象物体の画像の提示は、表示に限られる
ものではなく、プリンタによる印刷出力であってもよ
い。なお、統合データはCGでいうところの対象物のモ
デリングデータであり、画像の構築において、このモデ
リングデータに対して観察環境に対応したレンダリング
処理が行われる。FIG. 9 shows the operation unit 17 and the arbitrary environment image generation unit 1.
6 is a flowchart illustrating an image generation process of a target object according to No. 6. When the setting of the illumination light source or the setting of the target object arrangement is changed in the operation unit 17, the observation environment data is updated (steps S91 and S92). The arbitrary environment image generation unit 16 converts the observation environment data set by the illumination light source setting unit 71 (83) and the target object arrangement setting unit 73 (89) into the three-dimensional data generated by the three-dimensional data integration unit 15. Based on this, the image of the target object under the observation environment desired by the observer is reconstructed (step S9
3), and present this in the window 80 (step S9)
4). The presentation of the image of the target object is not limited to the display, and may be a printout by a printer. It should be noted that the integrated data is the modeling data of the object in CG, and the rendering processing corresponding to the observation environment is performed on this modeling data in the construction of the image.
【0045】以上のように、観察者が設定する対象物体
・照明光源・視点の位置関係や照明光源の色・輝度・形
状といった観察環境に応じて、再現画像における鏡面反
射の位置・広がり・形状・強度などを変化させることが
できるので、対象物体の質感、光沢感、立体感などをよ
りリアルに表現することが可能となる。As described above, the position, spread, and shape of specular reflection in the reproduced image are set according to the observation object such as the positional relationship among the target object, the illumination light source, and the viewpoint set by the observer and the color, brightness, and shape of the illumination light source. -Because the strength and the like can be changed, it is possible to more realistically express the texture, glossiness, and stereoscopic effect of the target object.
【0046】以上述べたように、対象物体の3次元形状
および表面属性を取得し、3次元統合データとして統合
し、観察者が設定した観察環境下での対象物体の画像を
再構築、提示することで、観察者に対象物体の質感、光
沢感、立体感などをよりリアルに伝えることが可能とな
る。また、取得したデータの信用度を自動判別し、必要
に応じて3次元形状取得あるいは表面属性取得を繰り返
し行うことにより、3次元形状計測および表面属性推定
の精度を向上させることができ、よりリアリティの高い
物体描画が可能となる。As described above, the three-dimensional shape and surface attributes of the target object are acquired, integrated as three-dimensional integrated data, and the image of the target object under the observation environment set by the observer is reconstructed and presented. As a result, it is possible to more realistically convey the texture, glossiness, and stereoscopic effect of the target object to the observer. In addition, it is possible to improve the accuracy of the three-dimensional shape measurement and the surface attribute estimation by automatically determining the credibility of the acquired data and repeating the three-dimensional shape acquisition or the surface attribute acquisition as needed, and thus the reality can be improved. High object drawing is possible.
【0047】<第2の実施形態>次に第2の実施形態に
ついて説明する。<Second Embodiment> Next, a second embodiment will be described.
【0048】図10は第2の実施形態による3次元画像
処理装置の概略構成を示すブロック図である。図10に
おいて図1に示した構成と同様の機能を有する構成につ
いては同一の参照番号を付してある。第2の実施形態に
よる3次元画像処理装置は、第1の実施形態と同様に、
対象物体を再現する際に、観察に用いる照明環境を任意
に設定し、かつ対象物体の位置および向きを観察空間内
で自由に変更することを可能とし、所望の観察環境下で
の対象物体の画像を表示或いは印刷出力することを可能
とするものである。FIG. 10 is a block diagram showing the schematic arrangement of a three-dimensional image processing apparatus according to the second embodiment. 10, components having the same functions as those shown in FIG. 1 are designated by the same reference numerals. The three-dimensional image processing apparatus according to the second embodiment, like the first embodiment,
When reproducing the target object, it is possible to arbitrarily set the illumination environment used for observation, and it is possible to freely change the position and orientation of the target object within the observation space. It is possible to display or print out an image.
【0049】第2の実施形態による3次元画像処理装置
は、対象物体の3次元形状を取得する3次元形状取得部
13と、対象物体の色・光沢・質感などを取得する表面
属性取得部11と、これらの3次元データを統合する3
次元データ統合部105と、3次元統合データの中間デ
ータを保持する3次元中間データ保持部108と、作成
された3次元中間データの信用度を判別し再実測の必要
性を判断するデータ信用度判別部104と、データ信用
度判別部104により作成される入力環境記述データを
保持する入力環境記述データ保持部106と、入力環境
記述データに従い3次元形状取得あるいは表面属性取得
を行うべく3次元形状取得部13及び表面属性取得部1
1を制御する制御部102と、再現時の観察環境を設定
する操作部17と、3次元統合データおよび再現時の観
察環境データに基づき対象物体の画像を再構築する任意
環境画像生成部16と、表示および印刷出力する画像出
力部18とで構成される。なお、第2の実施形態で用い
る入力環境記述データには、回転間隔ではなく、各デー
タ入力における回転ステージの回転位置がすべて記述さ
れており、データ入力のたびに、入力環境記述データに
記述された回転位置にステージが設定される。The three-dimensional image processing apparatus according to the second embodiment has a three-dimensional shape acquisition unit 13 for acquiring the three-dimensional shape of a target object and a surface attribute acquisition unit 11 for acquiring the color, gloss, texture, etc. of the target object. And integrating these 3D data 3
The dimensional data integration unit 105, the three-dimensional intermediate data holding unit 108 that holds the intermediate data of the three-dimensional integrated data, and the data credibility determination unit that determines the credibility of the created three-dimensional intermediate data and determines the necessity of re-measurement. 104, an input environment description data holding unit 106 that holds the input environment description data created by the data credibility determination unit 104, and a three-dimensional shape acquisition unit 13 for performing three-dimensional shape acquisition or surface attribute acquisition according to the input environment description data. And surface attribute acquisition unit 1
1, a control unit 102 for controlling 1, an operation unit 17 for setting an observation environment at the time of reproduction, and an arbitrary environment image generation unit 16 for reconstructing an image of the target object based on the three-dimensional integrated data and the observation environment data at the time of reproduction. , And an image output unit 18 for displaying and printing out. In the input environment description data used in the second embodiment, not the rotation interval but all the rotation positions of the rotary stage at each data input are described. Each time the data is input, it is described in the input environment description data. The stage is set to the rotated position.
【0050】3次元形状取得部13、表面属性取得部1
1、 操作部17、任意環境画像生成部16及び画像出
力部18については、第1の実施形態と同様であるので
説明を省略する。Three-dimensional shape acquisition unit 13, surface attribute acquisition unit 1
1, the operation unit 17, the arbitrary environment image generation unit 16, and the image output unit 18 are the same as those in the first embodiment, and therefore description thereof will be omitted.
【0051】3次元データ統合部105は、3次元形状
取得部13により得られた3次元立体形状モデルと、表
面属性取得部11により得られた表面属性データとを統
合し、対象物体の3次元統合データの中間データである
3次元中間データを更新し、3次元中間データ保持部1
08に保持する。The three-dimensional data integration unit 105 integrates the three-dimensional solid shape model obtained by the three-dimensional shape acquisition unit 13 and the surface attribute data obtained by the surface attribute acquisition unit 11 into three-dimensional data of the target object. The three-dimensional intermediate data holding unit 1 updates the three-dimensional intermediate data that is the intermediate data of the integrated data.
Hold at 08.
【0052】データ信用度判別部104は、作成された
3次元中間データの信用度を判別し、再実測の必要性を
判断する。データの信用度が十分であり再実測が不要で
あると判断された場合には、3次元データ統合部105
は、保持されている3次元中間データから3次元統合デ
ータを作成する。一方、データの信用度が不十分であり
再実測を必要とすると判断された場合には、再実測のた
めの入力環境記述データを作成し、入力環境記述データ
保持部106に保持させる。The data credibility discriminating unit 104 discriminates the credibility of the created three-dimensional intermediate data and judges the necessity of re-measurement. When it is determined that the reliability of the data is sufficient and re-measurement is unnecessary, the three-dimensional data integration unit 105
Creates three-dimensional integrated data from the held three-dimensional intermediate data. On the other hand, when the reliability of the data is insufficient and it is determined that the re-measurement is necessary, the input environment description data for the re-measurement is created and held in the input environment description data holding unit 106.
【0053】制御部102は、入力環境記述データに従
い3次元形状取得あるいは表面属性取得を再度行う。以
上の処理は、データの信用度が十分であると判断される
まで繰り返し行われる。ここで、再実測は必ずしも対象
物体表面すべてに対して行う必要はない。そこで、第2
の実施形態では、入力環境記述データに実測位置などの
情報を記述しておくことで、データの信用度が低い領域
のみを重点的に実測し、その都度、3次元中間データの
うち対応する部分のみを更新していくことを可能とし、
効率的な実測を行うことができるようにする。ここで、
今回の測定で得られた要素と、前回までの測定で得られ
た中間データの要素との対応は、3次元位置情報に基づ
いて判断される。The control unit 102 again acquires the three-dimensional shape or the surface attribute according to the input environment description data. The above processing is repeated until it is determined that the reliability of the data is sufficient. Here, the re-measurement does not necessarily have to be performed on the entire surface of the target object. Therefore, the second
In the embodiment of the present invention, by describing information such as the actual measurement position in the input environment description data, only the area where the credibility of the data is low is intensively measured, and only the corresponding portion of the three-dimensional intermediate data is measured each time. It is possible to update
To enable efficient measurement. here,
Correspondence between the element obtained by the current measurement and the element of the intermediate data obtained by the previous measurements is determined based on the three-dimensional position information.
【0054】次に制御部102の構成を図5を流用して
説明する。第2の実施形態において、制御部102は、
第1の実施形態における入力環境パラメータの代わり
に、入力環境記述データ43を用いて、3次元形状取得
および表面属性取得を行う。回転ステージ制御部47
は、入力環境記述データに基づき回転ステージの回転角
度を制御する。また、照明光源制御部48は、入力環境
記述データに基づいて、照明光源に対して、照明光スペ
クトル、光の強度、照明光形状、個数、測定環境におけ
る位置の制御を行う。3次元計測装置制御部45は、入
力環境記述データに基づいて3次元計測装置の位置を制
御し、データの入力を行う。画像入力装置制御部46
は、入力環境記述データに基づいて画像入力装置の位置
を制御し、データの入力を行う。Next, the configuration of the control unit 102 will be described with reference to FIG. In the second embodiment, the control unit 102
Instead of the input environment parameters in the first embodiment, the input environment description data 43 is used to perform three-dimensional shape acquisition and surface attribute acquisition. Rotation stage controller 47
Controls the rotation angle of the rotary stage based on the input environment description data. Further, the illumination light source control unit 48 controls the illumination light spectrum, the light intensity, the illumination light shape, the number, and the position in the measurement environment for the illumination light source based on the input environment description data. The three-dimensional measuring device control unit 45 controls the position of the three-dimensional measuring device based on the input environment description data and inputs data. Image input device control unit 46
Controls the position of the image input device based on the input environment description data and inputs data.
【0055】第1の実施形態における入力環境パラメー
タでは、ある一通りの設定値に関してのみ連続的な実測
を行うが、本実施形態では入力環境記述データを用いる
ことで、対象物体の一部分だけを重点的に実測したり、
照明光源を変えながら実測するなど、より細かい制御が
可能となるため、データ取得の精度をより向上させるこ
とができる。With the input environment parameter in the first embodiment, continuous measurement is performed only for a certain set value, but in this embodiment, by using the input environment description data, only a part of the target object is emphasized. Actually measured,
Since it is possible to perform finer control such as actual measurement while changing the illumination light source, it is possible to further improve the accuracy of data acquisition.
【0056】図11は、3次元データ統合部105によ
って作成される3次元中間データの一例を示す図であ
る。各頂点の3次元座標、および物体色情報や反射特性
情報などの表面属性パラメータ、およびデータの信用度
を格納する構造を要素とし、この要素を頂点の数分だけ
用意した構造となっている。3次元統合情報として新た
な頂点が生成、追加されるたびに、3次元統合データの
要素数は拡大されていく。また、再実測によって一部の
要素においてより信用度の高いデータを取得できた場合
には、該当する要素のデータのみを書き換えて3次元中
間データを更新する。再実測によるデータの信用度の方
が高いかどうかは、要素として格納されている信用度を
用いて判断できる。FIG. 11 is a diagram showing an example of three-dimensional intermediate data created by the three-dimensional data integration unit 105. The three-dimensional coordinates of each apex, the surface attribute parameters such as object color information and reflection characteristic information, and the structure for storing the reliability of the data are used as elements. Each time a new vertex is generated and added as the three-dimensional integrated information, the number of elements of the three-dimensional integrated data is expanded. In addition, when data with higher credibility can be acquired for some elements by re-measurement, only the data of the corresponding element is rewritten to update the three-dimensional intermediate data. Whether or not the reliability of the data obtained by the re-measurement is higher can be determined by using the reliability stored as an element.
【0057】ここで、構成要素として頂点の代わりに微
小面を用いることもできる。この場合、微小面の3次元
位置情報および表面属性情報を格納する構造を要素と
し、この要素を微小面の数分だけ用意した構造となって
いる。要素となる微小面は、近傍の頂点あるいは微小面
のうち、表面属性情報が類似しているものを統合してい
くことで生成される。ここで,微小面同士の結合は3次
元形状を損なわない程度に行われる。微小面の3次元位
置情報は、たとえば、三角形の3頂点の座標および法線
ベクトルで表現される。微小面の表面属性情報は、物体
色情報および反射特性情報から構成されており、パラメ
ータ形式、あるいは微小面に対応する画像形式で表現さ
れる。Here, a minute surface may be used instead of the vertex as a constituent element. In this case, the structure for storing the three-dimensional position information and the surface attribute information of the minute surface is used as an element, and the elements are prepared by the number of minute surfaces. The minute surface which is an element is generated by integrating the neighboring vertices or minute surfaces having similar surface attribute information. Here, the joining of the minute surfaces is performed to the extent that the three-dimensional shape is not impaired. The three-dimensional position information of the minute surface is represented by, for example, the coordinates of the three vertices of the triangle and the normal vector. The surface attribute information of the minute surface is composed of object color information and reflection characteristic information, and is expressed in a parameter format or an image format corresponding to the minute surface.
【0058】図12は、データ信用度判別部104によ
って作成される入力環境記述データの一例を示す図であ
る。データ入力環境毎に、3次元計測および画像入力を
行うべき3次元計測装置の位置・画像入力装置の位置、
回転ステージの回転角度、照明光源の位置・スペクトル
・強度・形状・個数を格納する構造になっており、この
構造をデータ入力回数分だけ保持している。この記述に
基づき、制御部102は、3次元形状取得および表面属
性取得を行う。FIG. 12 is a diagram showing an example of the input environment description data created by the data credibility determination unit 104. The position of the three-dimensional measuring device and the position of the image input device for performing three-dimensional measurement and image input for each data input environment,
It has a structure that stores the rotation angle of the rotary stage and the position, spectrum, intensity, shape, and number of illumination light sources, and holds this structure for the number of times of data input. Based on this description, the control unit 102 performs three-dimensional shape acquisition and surface attribute acquisition.
【0059】次に、第2の実施形態の3次元画像処理装
置において、実測から3次元統合データ作成までの処理
について、図13のフローチャートと図2を参照して説
明する。Next, the processing from the actual measurement to the creation of the three-dimensional integrated data in the three-dimensional image processing apparatus of the second embodiment will be described with reference to the flowchart of FIG. 13 and FIG.
【0060】ステップS131において、対象物体表面
上の各頂点に関して、3次元計測装置/画像入力装置2
3により実測データを入力し、ステップS132におい
て、3次元計測装置によって取得された実測データを用
いて3次元形状データを作成する。ステップS133で
は、3次元形状データの信用度を評価し、再実測が必要
かどうかの判断を行う(第3の実施形態により後述する
形状データ判別部141(図14)により行う)。デー
タの信用度が十分ではない部分が存在する場合には、ス
テップS143に進み、再実測のために入力環境記述デ
ータを作成する。入力環境記述データには、図12で説
明したように、行うべきデータ入力回数分(図12では
N回)の入力環境データ回転ステージ25の回転角度、
3次元計測装置/画像入力装置23の位置、照明光源2
7の照明光スペクトル、光の強度、照明光形状、個数、
位置が記述されている。In step S131, the three-dimensional measuring device / image input device 2 is used for each vertex on the surface of the target object.
The actual measurement data is input by 3, and in step S132, the three-dimensional shape data is created using the actual measurement data acquired by the three-dimensional measuring device. In step S133, the reliability of the three-dimensional shape data is evaluated, and it is determined whether or not re-measurement is necessary (performed by the shape data determination unit 141 (FIG. 14) described later according to the third embodiment). If there is a portion where the reliability of the data is not sufficient, the process proceeds to step S143, and input environment description data is created for re-measurement. In the input environment description data, as described with reference to FIG. 12, the rotation angle of the input environment data rotation stage 25 for the number of data inputs to be performed (N times in FIG. 12),
Position of three-dimensional measuring device / image input device 23, illumination light source 2
7 illumination light spectrum, light intensity, illumination light shape, number,
The position is described.
【0061】データの信用度が十分に高く、再実測の必
要性がないと判断されれば、つづいて表面属性推定処理
を行う。ここでは、物体表面における反射光は、拡散反
射成分と鏡面反射成分の二つに分けられるという2色性
反射モデルの特徴を利用する。これにより、複数の環境
下で実測した実測データにおける各頂点の対応点の輝度
・色の変化を解析することで、それぞれの頂点における
表面属性を推定することができる。If the reliability of the data is sufficiently high and it is judged that there is no need for re-measurement, then the surface attribute estimation processing is performed. Here, the characteristic of the dichroic reflection model that the reflected light on the surface of the object is divided into two components, a diffuse reflection component and a specular reflection component. Thus, the surface attribute at each vertex can be estimated by analyzing the change in the brightness / color of the corresponding point of each vertex in the measured data measured under a plurality of environments.
【0062】まず、ステップS134において、実測デ
ータ取捨選択部31は、ステップS131で入力した実
測データのうち、ノイズ、陰影、オクルージョン、混色
などの影響により、情報が欠如したり誤差を大きく含む
データを除去し、実測データの取捨選択を行う(ステッ
プS134)。続いて、ステップS135において、拡
散反射領域抽出部33は、選別された実測データを用い
て、拡散反射成分のみを含むデータを抽出する。そし
て、ステップS136において、ステップS135で抽
出されたデータを用いて、表面属性パラメータのうちの
物体色に関するパラメータの推定を行う。First, in step S134, the actually measured data selection section 31 selects, from the actually measured data input in step S131, data that lacks information or contains large errors due to the effects of noise, shadow, occlusion, color mixture, and the like. The data is removed and the actual measurement data is selected (step S134). Subsequently, in step S135, the diffuse reflection area extraction unit 33 extracts the data including only the diffuse reflection component using the selected actual measurement data. Then, in step S136, of the surface attribute parameters, the parameter relating to the object color is estimated using the data extracted in step S135.
【0063】続いて、ステップS137において、鏡面
反射成分分離部35は、拡散反射成分と鏡面反射成分の
両方を含んだデータから、鏡面反射成分を分離し、ステ
ップS138にて、表面属性パラメータのうち反射特性
に関するパラメータの推定を行う。同時にデータの信用
度の計算を行い、現在保持している3次元中間データよ
りも信用度が高くなった頂点については、3次元中間デ
ータの値を更新する(ステップS139)。Subsequently, in step S137, the specular reflection component separation unit 35 separates the specular reflection component from the data including both the diffuse reflection component and the specular reflection component, and in step S138, among the surface attribute parameters. Estimate parameters related to reflection characteristics. At the same time, the reliability of the data is calculated, and the value of the three-dimensional intermediate data is updated for the vertex whose reliability is higher than the currently held three-dimensional intermediate data (step S139).
【0064】以上の処理を各頂点ごとに行うことで各頂
点における表面属性パラメータを推定し、対象物体表面
全体の推定を行う。対象物体表面全体の推定が終了した
ならば(ステップS140)、保持されている3次元中
間データの信用度を評価し、再実測が必要かどうかの判
断を行う(ステップS141)(第3の実施形態により
後述する表面属性データ判別部142(図14)により
行う)。By performing the above processing for each vertex, the surface attribute parameter at each vertex is estimated, and the entire surface of the target object is estimated. When the estimation of the entire surface of the target object is completed (step S140), the reliability of the held three-dimensional intermediate data is evaluated and it is determined whether re-measurement is necessary (step S141) (third embodiment). By the surface attribute data discriminating unit 142 (FIG. 14) described later.
【0065】すべての頂点における推定値の信用度が十
分に高く、再実測の必要性がないと判断されれば、3次
元中間データから3次元統合データを作成し(ステップ
S142)、本処理を終了する。一方、推定値の信用度
が十分ではない頂点が存在する場合には、再実測を行う
べくステップS143へ進み、入力環境記述データを作
成する。そしてステップS131に戻り、作成された入
力環境記述データに基づき、実測からの処理を再度行
う。以上の処理を繰り返し行い、3次元中間データの一
部を随時更新していくことで、信用度が十分に高い3次
元統合データを作成する。ここでは、対象物体表面の構
成単位を頂点として説明したが、頂点の代わりに微小面
を用いることも可能である。If the reliability of the estimated values at all the vertices is sufficiently high and it is judged that there is no need for re-measurement, three-dimensional integrated data is created from the three-dimensional intermediate data (step S142), and this processing ends. To do. On the other hand, if there is a vertex where the reliability of the estimated value is not sufficient, the process proceeds to step S143 to perform the actual measurement again, and the input environment description data is created. Then, the process returns to step S131, and the process from the actual measurement is performed again based on the created input environment description data. By repeating the above processing and updating a part of the three-dimensional intermediate data as needed, three-dimensional integrated data with a sufficiently high degree of credibility is created. Although the constituent unit of the surface of the target object has been described as a vertex here, a minute surface can be used instead of the vertex.
【0066】なお、3次元データ統合部105によって
作成される3次元統合データ、操作部17の構成、観察
者が所望する観察環境下での対象物体の画像を再現する
ための操作部17および任意環境画像生成部16の処理
については、第1の実施形態(図6〜図9)と同様であ
る。The three-dimensional integrated data created by the three-dimensional data integrating unit 105, the configuration of the operating unit 17, the operating unit 17 for reproducing the image of the target object under the observation environment desired by the observer, and the arbitrary The processing of the environment image generation unit 16 is the same as that of the first embodiment (FIGS. 6 to 9).
【0067】以上述べたように、入力環境記述データを
用いて対象物体の一部分だけを重点的に実測し、3次元
中間データのうち対応する部分のみを随時更新していく
ことで、効率的に実測を行うことができる。また、デー
タの信用度が低い領域のみを重点的に実測したり、照明
光源を変えながら実測するなど、より細かい制御が可能
となるため、データ取得の精度をより向上させることが
できる。
<第3の実施形態>本実施形態では、第1の実施形態お
よび第2の実施形態で用いたデータ信用度判別部を説明
する。As described above, it is possible to efficiently measure only a part of the target object by using the input environment description data and to update only the corresponding part of the three-dimensional intermediate data at any time, thereby efficiently Actual measurement can be performed. In addition, since it is possible to perform finer control such as focusing on only the area where the reliability of the data is low or measuring while changing the illumination light source, it is possible to further improve the accuracy of data acquisition. <Third Embodiment> In this embodiment, the data credibility determination unit used in the first and second embodiments will be described.
【0068】図14は、第3の実施形態によるデータ信
用度判別部(14、104)の構成を示す概略構成図で
ある。信用度判別部14、104は、作成された3次元
形状データおよび表面属性データの信用度を判別し、必
要に応じて再実測のための入力環境パラメータあるいは
入力環境記述データを更新する。FIG. 14 is a schematic configuration diagram showing the configuration of the data credibility determination unit (14, 104) according to the third embodiment. The credibility discriminating units 14 and 104 discriminate the credibility of the created three-dimensional shape data and surface attribute data, and update the input environment parameters or the input environment description data for re-measurement as necessary.
【0069】図14において、形状データ判別部141
は、3次元形状取得部13により得られた3次元形状デ
ータをもとにオクルージョンの有無、形状の複雑さを判
断する。オクルージョンの発生あるいは形状の複雑さの
程度に対して、実測の細かさが不十分である場合には、
入力環境パラメータにおける回転ステージの回転間隔を
変更して、制御部12、102に対して再計測を指示す
る。このとき、3次元計測装置/画像入力装置23の位
置も併せて変更するようにしてもよい。あるいは、入力
環境記述データの場合であれば、3次元計測装置/画像
入力装置23の位置、回転ステージ25の回転角度を最
適な値に変更する。In FIG. 14, the shape data discrimination unit 141
Determines the presence or absence of occlusion and the complexity of the shape based on the three-dimensional shape data obtained by the three-dimensional shape acquisition unit 13. If the actual measurement is insufficient for the degree of occlusion or the complexity of the shape,
The rotation interval of the rotary stage in the input environment parameter is changed, and the re-measurement is instructed to the control units 12 and 102. At this time, the position of the three-dimensional measuring device / image input device 23 may be changed together. Alternatively, in the case of input environment description data, the position of the three-dimensional measuring device / image input device 23 and the rotation angle of the rotary stage 25 are changed to optimum values.
【0070】表面属性データ判別部142は、表面属性
取得部11により得られた表面属性データをもとに照明
光源色と対象物体色の類似性、鏡面反射成分ピーク値の
状態、拡散反射領域の有無、鏡面反射成分の割合、対応
点の色分布の一様性、近傍領域間の属性データのばらつ
き等から再計測の要否を判断し、再計測が必要であれば
入力環境パラメータ或いは入力環境記述データを生成、
更新する。例えば以下のようにする。Based on the surface attribute data obtained by the surface attribute acquisition section 11, the surface attribute data determination section 142 determines the similarity between the illumination light source color and the target object color, the state of the specular reflection component peak value, and the diffuse reflection area. Whether or not remeasurement is necessary is judged based on the presence / absence, the ratio of specular reflection components, the uniformity of the color distribution of corresponding points, and the variation in attribute data between neighboring areas. If remeasurement is necessary, input environment parameters or input environment Generate descriptive data,
Update. For example:
【0071】(1)照明光源色と対象物体色がきわめて
類似している場合:この場合、対象物体色の推定精度は
低下してしまう。従って照明光源色と対象物体色の類似
性が高いと判断された場合には、入力環境パラメータに
おける照明光源スペクトル、あるいは入力環境記述デー
タにおける3次元計測装置/画像入力装置23の位置、
回転ステージ25の回転角度、照明光源スペクトルを最
適な値に変更する。(1) When the illumination light source color and the target object color are very similar: In this case, the estimation accuracy of the target object color is lowered. Therefore, when it is determined that the similarity between the illumination light source color and the target object color is high, the illumination light source spectrum in the input environment parameter, or the position of the three-dimensional measuring device / image input device 23 in the input environment description data,
The rotation angle of the rotary stage 25 and the illumination light source spectrum are changed to optimum values.
【0072】(2)拡散反射成分のみの領域があまり存
在しない場合:この場合も対象物体色の推定精度は低下
してしまう。従って、拡散反射成分のみの領域が不足し
ていると判断された場合には、入力環境パラメータにお
ける照明光源位置・形状、あるいは入力環境記述データ
における3次元計測装置/画像入力装置23の位置、回
転ステージ25の回転角度、照明光源27の位置・形状
・個数を最適な値に変更する。(2) When there are not many areas of diffuse reflection component only: In this case as well, the estimation accuracy of the target object color is reduced. Therefore, when it is determined that the area of only the diffuse reflection component is insufficient, the position and shape of the illumination light source in the input environment parameter, or the position and rotation of the three-dimensional measuring device / image input device 23 in the input environment description data. The rotation angle of the stage 25 and the position / shape / number of the illumination light sources 27 are changed to optimum values.
【0073】(3)鏡面反射の程度が強くピーク形状が
つぶれている場合、あるいはその逆に程度が弱くピーク
形状が明確に現れていない場合:これらの場合も入力環
境パラメータにおける照明光源強度、あるいは入力環境
記述データにおける3次元計測装置・画像入力装置の位
置、回転ステージの回転角度、照明光源強度を最適な値
に変更し、鏡面反射特性推定の精度を向上させる。(3) When the degree of specular reflection is strong and the peak shape is collapsed, or conversely, when the degree is weak and the peak shape is not clearly shown: In these cases also, the illumination light source intensity in the input environment parameter, or The position of the three-dimensional measuring device / image input device, the rotation angle of the rotary stage, and the illumination light source intensity in the input environment description data are changed to optimum values to improve the accuracy of specular reflection characteristic estimation.
【0074】(4)鏡面反射成分を含むデータが不足し
ていると判断された場合:この場合には、入力環境パラ
メータにおける照明光源位置・形状、あるいは入力環境
記述データにおける3次元計測装置・画像入力装置の位
置、回転ステージの回転角度、照明光源位置・形状・個
数を最適な値に変更する。(4) When it is determined that the data including the specular reflection component is insufficient: In this case, the illumination light source position / shape in the input environment parameter, or the three-dimensional measuring device / image in the input environment description data The position of the input device, the rotation angle of the rotary stage, and the position / shape / number of illumination light sources are changed to optimum values.
【0075】(5)ある構成要素の対応点の色分布にば
らつきが大きい場合、あるいは近傍領域内の構成要素間
で表面属性データの変化が大きい場合:これらの場合、
当該構成要素は表面属性の変化するエッジ領域であると
みなし、十分な解像度で実測できるように入力環境パラ
メータにおける3次元計測装置/画像入力装置23の位
置、あるいは入力環境記述データにおける3次元計測装
置/画像入力装置23の位置、回転ステージ25の回転
角度を最適な値に変更する。(5) When there is a large variation in the color distribution of the corresponding points of a certain constituent element, or when there is a large change in the surface attribute data between constituent elements in the neighboring area: In these cases,
Considering that the constituent element is an edge area where the surface attribute changes, the position of the three-dimensional measuring device / image input device 23 in the input environment parameter or the three-dimensional measuring device in the input environment description data can be measured so as to be measured with sufficient resolution. / Change the position of the image input device 23 and the rotation angle of the rotary stage 25 to optimum values.
【0076】以上述べたように、3次元形状データおよ
び表面属性データの信用度を判別し、必要に応じて再実
測の環境設定にフィードバックすることで、3次元形状
計測および表面属性推定の精度を向上させることができ
る。As described above, the credibility of the three-dimensional shape data and the surface attribute data is discriminated, and the accuracy of the three-dimensional shape measurement and the surface attribute estimation is improved by feeding back to the environment setting for re-measurement if necessary. Can be made.
【0077】<第4の実施形態>第4の実施形態では、
第2の実施形態で示した3次元画像処理装置において、
3次元統合データを用いて所望の観察環境での対象物体
を再現、表示するための構成を、ネットワークで接続さ
れた外部の装置に設ける。<Fourth Embodiment> In the fourth embodiment,
In the three-dimensional image processing device shown in the second embodiment,
A configuration for reproducing and displaying a target object in a desired observation environment using the three-dimensional integrated data is provided in an external device connected by a network.
【0078】図15は、第4の実施形態による3次元画
像処理装置の概略構成を示すブロック図である。第4の
実施形態の3次元画像処理装置は、対象物体のデータを
取り込む装置と画像を再現する装置とが互いに離れた位
置にあり、ネットワークによるデータ伝送を用いて、画
像を再現する。FIG. 15 is a block diagram showing the schematic arrangement of a three-dimensional image processing apparatus according to the fourth embodiment. In the three-dimensional image processing apparatus according to the fourth embodiment, the device that captures the data of the target object and the device that reproduces the image are located apart from each other, and the image is reproduced using data transmission via the network.
【0079】図15において、対象物体のデータを取り
込む側の装置は、対象物体の3次元形状を取得する3次
元形状取得部13と、対象物体の色・光沢・質感などを
取得する表面属性取得部11と、これらの3次元データ
を統合して図11に示した3次元統合データを作成する
3次元データ統合部105と、該作成された3次元統合
データをネットワークを通じて伝送するネットワークイ
ンターフェース151と、3次元統合データの中間デー
タを保持する3次元中間データ保持部108と、作成さ
れた3次元中間データの信用度を判別し再実測の必要性
を判断するデータ信用度判別部104と、データ信用度
判別部104により作成される図12に示した如き入力
環境記述データを保持する入力環境記述データ保持部1
06と、入力環境記述データに従い3次元形状取得ある
いは表面属性取得を行うべく3次元形状取得部13及び
表面属性取得部11を制御する制御部102とを有す
る。これらの対象物体のデータを取り込む側の装置の構
成は、ネットワークインターフェース151を除いて第
2の実施形態(図10)と同様である。In FIG. 15, the device for fetching the data of the target object has a three-dimensional shape acquisition unit 13 for acquiring the three-dimensional shape of the target object and a surface attribute acquisition for acquiring the color, gloss, texture, etc. of the target object. A unit 11, a three-dimensional data integration unit 105 that integrates these three-dimensional data to create the three-dimensional integrated data shown in FIG. 11, and a network interface 151 that transmits the created three-dimensional integrated data through a network. A three-dimensional intermediate data holding unit 108 that holds intermediate data of the three-dimensional integrated data, a data credibility determination unit 104 that determines the credibility of the created three-dimensional intermediate data and determines the necessity of re-measurement, and a data credibility determination An input environment description data holding unit 1 that holds the input environment description data as shown in FIG. 12 created by the unit 104.
06, and a control unit 102 that controls the three-dimensional shape acquisition unit 13 and the surface attribute acquisition unit 11 to perform three-dimensional shape acquisition or surface attribute acquisition according to the input environment description data. The configuration of the device on the side that captures the data of these target objects is the same as that of the second embodiment (FIG. 10) except for the network interface 151.
【0080】また、3次元統合データを用いて対象物体
の再現を行う側の装置は、再現時の観察環境を設定する
操作部152と、ネットワークを通じて伝送されてきた
3次元統合データを受けて、再現時の観察環境(操作部
152によって設定される)に基づき対象物体の画像を
再構築する任意環境画像生成部153と、表示および印
刷出力する画像出力部154とを備える。The device on the side that reproduces the target object using the three-dimensional integrated data receives the three-dimensional integrated data transmitted through the operation unit 152 and the network for setting the observation environment at the time of reproduction. An arbitrary environment image generation unit 153 that reconstructs an image of the target object based on the observation environment at reproduction (set by the operation unit 152) and an image output unit 154 that displays and prints out.
【0081】上記構成において、3次元データ統合部1
05は、データ信用度判別部104によって3次元中間
データの信用度が十分であり再実測を必要としないと判
定された場合には、保持されている3次元中間データか
ら対象物体の3次元統合データを作成し、ネットワーク
インターフェース151に送る。ネットワークインター
フェース151は、受け取った3次元統合データをネッ
トワークを通じて任意環境画像生成部152に伝送す
る。In the above configuration, the three-dimensional data integration unit 1
If the data credibility discriminating unit 104 determines that the credibility of the three-dimensional intermediate data is sufficient and does not require re-measurement, the data 05 determines the three-dimensional integrated data of the target object from the held three-dimensional intermediate data. It is created and sent to the network interface 151. The network interface 151 transmits the received three-dimensional integrated data to the arbitrary environment image generation unit 152 via the network.
【0082】対象物体の再現を行う側の装置において、
観察者は、操作部152により所望の照明条件・対象物
体の位置や向きなどの観察環境の設定を行う。In the device for reproducing the target object,
The observer uses the operation unit 152 to set the observation environment such as desired illumination conditions and the position and orientation of the target object.
【0083】任意環境画像生成部153は、ネットワー
クを通じて伝送されてきた3次元統合データを受けて、
操作部152により設定された観察環境データに従い、
観察者が所望する観察環境下での対象物体の画像を再構
築する。画像出力部154は、TVモニタやプリンタな
どからなり、任意環境画像生成部153により再構築さ
れた画像の表示や印刷出力を行う。The arbitrary environment image generation unit 153 receives the three-dimensional integrated data transmitted through the network,
According to the observation environment data set by the operation unit 152,
The image of the target object under the observation environment desired by the observer is reconstructed. The image output unit 154 includes a TV monitor, a printer, and the like, and displays and prints out the image reconstructed by the arbitrary environment image generation unit 153.
【0084】なお、操作部152の構成、観察者が所望
する観察環境下での対象物体の画像を再現するための操
作部152および任意環境画像生成部153の処理につ
いては、第1の実施形態(図6〜図9)と同様である。The configuration of the operation unit 152, and the processes of the operation unit 152 and the arbitrary environment image generation unit 153 for reproducing the image of the target object under the observation environment desired by the observer are the first embodiment. (FIGS. 6 to 9).
【0085】以上述べたように、3次元統合データをネ
ットワークを介して送受信できるようにすることで、対
象物体のデータを取り込む装置と画像を再現する装置と
が離れた場所にあるような場合にでも、観察者が所望す
る観察環境下での対象物体の画像を再現することがで
き、観察者に対象物体の質感、光沢感、立体感などをよ
りリアルに伝えることが可能となる。As described above, by making it possible to transmit and receive the three-dimensional integrated data via the network, in the case where the device that takes in the data of the target object and the device that reproduces the image are located at distant places. However, it is possible to reproduce the image of the target object under the observation environment desired by the observer, and to convey the texture, glossiness, stereoscopic effect, etc. of the target object to the observer more realistically.
【0086】以上の説明から明らかなように、上記各実
施形態によれば、対象物体の3次元形状および表面属性
を取得し、3次元統合データとして統合し、観察者が設
定した観察環境下での対象物体の画像を再構築、提示す
る。このため、対象となる実物体の形状・テクスチャ・
色だけでなく、照明光の形状・位置・方向・色、観察者
の位置・方向等や、対象物体の位置・姿勢等、再現時の
観察環境に応じて対象物体の質感や光沢感、立体感など
をよりリアルに伝える画像生成が可能となる。As is clear from the above description, according to each of the above embodiments, the three-dimensional shape and the surface attribute of the target object are acquired, integrated as three-dimensional integrated data, and under the observation environment set by the observer. The image of the target object is reconstructed and presented. Therefore, the shape, texture, and
Not only the color, but also the shape / position / direction / color of the illuminating light, the position / direction of the observer, the position / orientation of the target object, etc. It is possible to generate an image that conveys feelings in a more realistic manner.
【0087】また、3次元形状データおよび表面属性デ
ータの信用度を判別し、必要に応じて環境設定にフィー
ドバックして再実測することで、3次元形状計測および
表面属性推定の精度を向上させることができる。このた
め、よりリアリティの高い物体描画が可能となる。Further, it is possible to improve the accuracy of the three-dimensional shape measurement and the surface attribute estimation by discriminating the credibility of the three-dimensional shape data and the surface attribute data and feeding back to the environment setting if necessary and re-measuring. it can. Therefore, it is possible to draw an object with higher reality.
【0088】さらに、第2の実施形態によれば、入力環
境記述データを用いて対象物体の一部分だけを重点的に
実測し、3次元中間データのうち対応する部分のみを随
時更新していくことで、効率的に3次元統合データ生成
のための実測を行うことができる。また、データの信用
度が低い領域のみを重点的に実測したり、照明光源を変
えながら実測するなど、より細かい制御が可能となるた
め、データ取得の精度をより向上させることができる。Further, according to the second embodiment, only a part of the target object is intensively measured using the input environment description data, and only the corresponding part of the three-dimensional intermediate data is updated at any time. Thus, it is possible to efficiently perform the actual measurement for generating the three-dimensional integrated data. In addition, since it is possible to perform finer control such as focusing on only the area where the reliability of the data is low or measuring while changing the illumination light source, it is possible to further improve the accuracy of data acquisition.
【0089】さらに、第4の実施形態によれば、3次元
統合データをネットワークを介して送受信できるように
することで、対象物体のデータを取り込む場所と画像を
再現する場所とが遠隔地にあるような場合にでも、観察
者が所望する観察環境下での対象物体の画像を再現する
ことができ、観察者に対象物体の質感、光沢感、立体感
などをよりリアルに伝えることが可能となる。Further, according to the fourth embodiment, the three-dimensional integrated data can be transmitted and received via the network, so that the place where the data of the target object is taken in and the place where the image is reproduced are at remote places. Even in such a case, it is possible to reproduce the image of the target object under the observation environment desired by the observer, and to convey the texture, glossiness, stereoscopic effect, etc. of the target object to the observer in a more realistic manner. Become.
【0090】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。Further, an object of the present invention is to supply a storage medium having a program code of software for realizing the functions of the above-described embodiments to a system or apparatus, and to supply a computer (or CPU) of the system or apparatus.
It is needless to say that it can be achieved by reading and executing the program code stored in the storage medium.
【0091】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
【0092】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。As a storage medium for supplying the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD
-R, magnetic tape, non-volatile memory card, ROM, etc. can be used.
【0093】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。Further, not only the functions of the above-described embodiments are realized by executing the program code read by the computer, but also the OS (operating system) running on the computer based on the instructions of the program code. It is needless to say that this also includes a case where the above) performs a part or all of the actual processing and the processing realizes the functions of the above-described embodiments.
【0094】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。Further, after the program code read from the storage medium is written in the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that a case where the CPU or the like included in the function expansion board or the function expansion unit performs some or all of the actual processing and the processing realizes the functions of the above-described embodiments is also included.
【0095】[0095]
【発明の効果】以上説明したように、本発明によれば、
観察者によって指定された観察環境に応じて、対象物体
の質感、光沢感、立体感などをよりリアルに再現するこ
とが可能な3次元画像データが提供される。As described above, according to the present invention,
Three-dimensional image data capable of more realistically reproducing the texture, glossiness, stereoscopic effect, etc. of the target object is provided according to the observation environment designated by the observer.
【図1】第1の実施形態による3次元画像処理装置の概
略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a three-dimensional image processing apparatus according to a first embodiment.
【図2】第1の実施形態による3次元形状取得および表
面属性取得における装置の概略図である。FIG. 2 is a schematic diagram of an apparatus for three-dimensional shape acquisition and surface attribute acquisition according to the first embodiment.
【図3】表面属性取得部の構成を示すブロック図であ
る。FIG. 3 is a block diagram showing a configuration of a surface attribute acquisition unit.
【図4】制御部の構成を示すブロック図である。FIG. 4 is a block diagram showing a configuration of a control unit.
【図5】第1の実施形態による、対象物体の実測から3
次元統合データの作成までの処理を説明するフローチャ
ートである。FIG. 5 is a graph 3 from the actual measurement of the target object according to the first embodiment.
It is a flow chart explaining processing until creation of dimensional integration data.
【図6】第1の実施形態において、3次元データ統合部
によって作成される3次元統合データの一例を示す図で
ある。FIG. 6 is a diagram showing an example of three-dimensional integrated data created by a three-dimensional data integrating unit in the first embodiment.
【図7】操作部の構成を説明するブロック図である。FIG. 7 is a block diagram illustrating a configuration of an operation unit.
【図8】実施形態による3次元画像処理装置の任意環境
下の画像提示のためのユーザインターフェースを示す図
である。FIG. 8 is a diagram showing a user interface for presenting an image under an arbitrary environment of the three-dimensional image processing apparatus according to the embodiment.
【図9】操作部、任意環境画像生成部による対象物体の
画像生成処理を説明するフローチャートである。FIG. 9 is a flowchart illustrating an image generation process of a target object by an operation unit and an arbitrary environment image generation unit.
【図10】第2の実施形態による3次元画像処理装置の
概略構成を示すブロック図である。FIG. 10 is a block diagram showing a schematic configuration of a three-dimensional image processing device according to a second embodiment.
【図11】3次元データ統合部によって作成される3次
元中間データの一例を示す図である。FIG. 11 is a diagram showing an example of three-dimensional intermediate data created by a three-dimensional data integration unit.
【図12】データ信用度判別部によって作成される入力
環境記述データの一例を示す図である。FIG. 12 is a diagram showing an example of input environment description data created by a data credibility determination unit.
【図13】第2の実施形態による、対象物体の実測から
3次元統合データの作成までの処理を説明するフローチ
ャートである。FIG. 13 is a flowchart illustrating a process from actual measurement of a target object to creation of three-dimensional integrated data according to the second embodiment.
【図14】第3の実施形態によるデータ信用度判別部
(14、104)の構成を示す概略構成図である。FIG. 14 is a schematic configuration diagram showing a configuration of a data credibility determination unit (14, 104) according to the third embodiment.
【図15】第4の実施形態による3次元画像処理装置の
概略構成を示すブロック図である。FIG. 15 is a block diagram showing a schematic configuration of a three-dimensional image processing device according to a fourth embodiment.
Claims (26)
象物体を計測し、3次元形状と表面属性を表す計測デー
タを取得する取得工程と、 前記取得工程で取得された計測データを解析して前記対
象物体の3次元形状モデルとその各部の表面属性を表す
統合データを生成する生成工程と、 前記統合データの生成に際して、前記対象物体について
前記取得工程による更なる計測データの取得が必要か否
かを判定する判定工程と、 前記判定工程により更なる計測データの取得が必要と判
定された場合、前記設定情報を更新して前記取得工程の
処理を実行させる実行工程とを備えることを特徴とする
3次元画像処理方法。1. An acquisition step of setting an input environment according to setting information, measuring a target object, and acquiring measurement data representing a three-dimensional shape and a surface attribute, and analyzing the measurement data acquired in the acquisition step. A generation step of generating integrated data representing a three-dimensional shape model of the target object and surface attributes of respective parts thereof, and whether or not further measurement data acquisition of the target object by the acquisition step is necessary in generating the integrated data. And a determination step of determining whether or not it is necessary to acquire further measurement data by the determination step, and an execution step of updating the setting information and executing the processing of the acquisition step. Three-dimensional image processing method.
構成する頂点の位置を示すデータと、各頂点に対応する
表面属性再現用のパラメータとを含むことを特徴とする
請求項1に記載の3次元画像処理方法。2. The integrated data includes data indicating positions of vertices forming a three-dimensional shape model, and surface attribute reproduction parameters corresponding to the respective vertices. Three-dimensional image processing method.
構成する多角形面の位置及び方向を示すデータと、各多
角形面に対応する表面属性再現用のパラメータとを含む
ことを特徴とする請求項1に記載の3次元画像処理方
法。3. The integrated data includes data indicating a position and a direction of a polygonal surface forming a three-dimensional shape model, and a surface attribute reproduction parameter corresponding to each polygonal surface. The three-dimensional image processing method according to claim 1.
反射成分を得て、3次元形状モデル各部の物体色に関す
るパラメータを決定する第1決定工程と、 前記表面属性を表すデータから鏡面反射成分を得て、3
次元形状モデル各部の反射特性に関するパラメータを決
定する第2決定工程とを備えることを特徴とする請求項
1に記載の3次元画像処理方法。4. A first determining step of determining a parameter relating to an object color of each part of a three-dimensional shape model by obtaining a diffuse reflection component from data representing a surface attribute of the measurement data, and the surface generating step. 3 is obtained by obtaining the specular reflection component from the data representing the attribute.
The three-dimensional image processing method according to claim 1, further comprising a second determining step of determining a parameter relating to a reflection characteristic of each part of the three-dimensional shape model.
ータより、誤差が大きいと判断される部分のデータを予
め除去してから前記第1及び第2決定工程に提供する除
去工程を更に備えることを特徴とする請求項4に記載の
3次元画像処理方法。5. The generating step further includes a removing step of previously removing data of a portion determined to have a larger error than the data representing the surface attribute, and then providing the data to the first and second determining steps. The three-dimensional image processing method according to claim 4, wherein.
用いる測定装置の位置、照明系の属性、対象物体の回転
間隔を規定する設定パラメータを含み、 前記取得工程は、前記設定パラメータに基づいて測定装
置を移動し、照明系を設定し、前記回転間隔に従って対
象物体を回転させながら前記計測データを取得すること
を特徴とする請求項1に記載の3次元画像処理方法。6. The setting information includes a position of a measuring device used in the acquisition step, an attribute of an illumination system, a setting parameter that defines a rotation interval of a target object, and the acquisition step performs measurement based on the setting parameter. The three-dimensional image processing method according to claim 1, wherein the device is moved, an illumination system is set, and the measurement data is acquired while rotating the target object in accordance with the rotation interval.
析の結果に基づいて、前記測定装置の位置、照明系の属
性、回転間隔の少なくとも1つを変更することを特徴と
する請求項6に記載の3次元画像処理方法。7. The method according to claim 6, wherein the execution step changes at least one of a position of the measuring device, an attribute of an illumination system, and a rotation interval based on a result of the analysis by the generating step. The described three-dimensional image processing method.
る測定装置の位置、照明系、対象物体の回転角度を規定
する設定パラメータを複数記述したものであり、 前記取得工程は、前記複数の設定パラメータの各々に従
った計測を順次実行して計測データを取得することを特
徴とする請求項1に記載の3次元画像処理方法。8. The setting information describes a plurality of setting parameters that define the position of the measuring device, the illumination system, and the rotation angle of the target object included in the acquisition step, and the acquisition step includes the plurality of setting parameters. The three-dimensional image processing method according to claim 1, wherein measurement data is acquired by sequentially performing measurement according to each of the setting parameters.
析の結果に基づいて、前記対象物体のうちの所定領域が
前記取得工程において重点的に計測されるように複数の
設定パラメータを記述することを特徴とする請求項8に
記載の3次元画像処理方法。9. The execution step describes a plurality of setting parameters such that a predetermined region of the target object is intensively measured in the acquisition step based on the analysis result of the generation step. The three-dimensional image processing method according to claim 8.
象物体の3次元形状モデルとその各部の表面属性を表す
データ及びそれらの信用度を表すデータを含む中間デー
タを生成してこれを保持する保持工程と、 前記実行工程によって前記取得工程による処理が実行さ
れて、取得された計測データを解析した結果、前記保持
工程によって保持されたデータよりも信用度の高い新た
なデータが得られた場合に、その部分を該新たなデータ
で更新する更新工程とを備え、 前記判定工程でデータの更なる取得が不要と判定される
と、前記保持工程に保持された最終の中間データに基づ
いて前記統合データを生成することを特徴とする請求項
1に記載の3次元画像処理方法。10. The generation step analyzes the measurement data acquired in the acquisition step to analyze the three-dimensional shape model of the target object, data indicating surface attributes of respective parts thereof, and data indicating reliability thereof. A holding step of generating data and holding the data, and a process of the acquisition step performed by the execution step, and as a result of analyzing the acquired measurement data, the reliability of the data is higher than that of the data held by the holding step. When new data is obtained, an updating step of updating the portion with the new data is provided, and when it is determined that further acquisition of data is unnecessary in the determination step, the data is held in the holding step. The three-dimensional image processing method according to claim 1, wherein the integrated data is generated based on final intermediate data.
を含む観察環境を所望に設定する設定工程と、 前記設定工程で設定された観察環境と前記生成工程で生
成された統合データに基づいて前記対象物体の画像デー
タを生成する画像生成工程と、 前記画像生成工程で生成された画像データを出力する出
力工程とを更に備えることを特徴とする請求項1に記載
の3次元画像処理方法。11. A setting step of arbitrarily setting an observation environment including an attribute of an illumination system and a position and orientation of a target object, based on the observation environment set in the setting step and integrated data generated in the generation step. The three-dimensional image processing method according to claim 1, further comprising: an image generation step of generating image data of the target object, and an output step of outputting the image data generated in the image generation step. .
出力工程を更に備えることを特徴とする請求項1に記載
の3次元画像処理方法。12. The three-dimensional image processing method according to claim 1, further comprising an output step of outputting the integrated data to an external device.
対象物体を計測し、3次元形状と表面属性を表す計測デ
ータを取得する取得手段と、 前記取得手段で取得された計測データを解析して前記対
象物体の3次元形状モデルとその各部の表面属性を表す
統合データを生成する生成手段と、 前記統合データの生成に際して、前記対象物体について
前記取得手段による更なる計測データの取得が必要か否
かを判定する判定手段と、 前記判定手段により更なる計測データの取得が必要と判
定された場合、前記設定情報を更新して前記取得手段の
処理を実行させる実行手段とを備えることを特徴とする
3次元画像処理装置。13. An acquisition unit for measuring an object by setting an input environment according to setting information and acquiring measurement data representing a three-dimensional shape and a surface attribute, and analyzing the measurement data acquired by the acquisition unit. Generating means for generating integrated data representing the three-dimensional shape model of the target object and surface attributes of each part thereof; and, in generating the integrated data, whether or not it is necessary to acquire further measurement data for the target object by the acquiring means. A determination unit that determines whether or not the determination unit determines that further measurement data needs to be acquired, and an execution unit that updates the setting information and executes the process of the acquisition unit. 3D image processing device.
を構成する頂点の位置を示すデータと、各頂点に対応す
る表面属性再現用のパラメータとを含むことを特徴とす
る請求項13に記載の3次元画像処理装置。14. The integrated data according to claim 13, wherein the integrated data includes data indicating positions of vertices forming a three-dimensional shape model, and surface attribute reproduction parameters corresponding to the respective vertices. Three-dimensional image processing device.
を構成する多角形面の位置及び方向を示すデータと、各
多角形面に対応する表面属性再現用のパラメータとを含
むことを特徴とする請求項13に記載の3次元画像処理
装置。15. The integrated data includes data indicating a position and a direction of a polygonal surface forming a three-dimensional shape model, and a surface attribute reproducing parameter corresponding to each polygonal surface. The three-dimensional image processing device according to claim 13.
反射成分を得て、3次元形状モデル各部の物体色に関す
るパラメータを決定する第1決定手段と、 前記表面属性を表すデータから鏡面反射成分を得て、3
次元形状モデル各部の反射特性に関するパラメータを決
定する第2決定手段とを備えることを特徴とする請求項
13に記載の3次元画像処理装置。16. The first determining means determines the parameter relating to the object color of each part of the three-dimensional shape model by obtaining a diffuse reflection component from the data representing the surface attribute of the measurement data, and the surface. 3 is obtained by obtaining the specular reflection component from the data representing the attribute.
The three-dimensional image processing apparatus according to claim 13, further comprising a second determining unit that determines a parameter relating to a reflection characteristic of each part of the three-dimensional shape model.
データより、誤差が大きいと判断される部分のデータを
予め除去してから前記第1及び第2決定手段に提供する
除去手段を更に備えることを特徴とする請求項16に記
載の3次元画像処理装置。17. The generating means further comprises a removing means for removing data of a portion determined to have a larger error than the data representing the surface attribute, and then providing the data to the first and second determining means. The three-dimensional image processing device according to claim 16, characterized in that.
て用いる測定装置の位置、照明系の属性、対象物体の回
転間隔を規定する設定パラメータを含み、 前記取得手段は、前記設定パラメータに基づいて測定装
置を移動し、照明系を設定し、前記回転間隔に従って対
象物体を回転させながら前記計測データを取得すること
を特徴とする請求項13に記載の3次元画像処理装置。18. The setting information includes a position of a measuring device used in the acquisition unit, an attribute of an illumination system, and a setting parameter that defines a rotation interval of a target object, and the acquisition unit measures based on the setting parameter. The three-dimensional image processing apparatus according to claim 13, wherein the measurement data is acquired while moving the apparatus, setting an illumination system, and rotating the target object in accordance with the rotation interval.
解析の結果に基づいて、前記測定装置の位置、照明系の
属性、回転間隔の少なくとも1つを変更することを特徴
とする請求項18に記載の3次元画像処理装置。19. The method according to claim 18, wherein the executing unit changes at least one of the position of the measuring device, the attribute of the illumination system, and the rotation interval based on the result of the analysis by the generating unit. The three-dimensional image processing device described.
する測定装置の位置、照明系、対象物体の回転角度を規
定する設定パラメータを複数記述したものであり、 前記取得手段は、前記複数の設定パラメータの各々に従
った計測を順次実行して計測データを取得することを特
徴とする請求項13に記載の3次元画像処理装置。20. The setting information describes a plurality of setting parameters that define a position of a measuring device, an illumination system, and a rotation angle of a target object included in the acquisition unit, and the acquisition unit includes the plurality of setting parameters. The three-dimensional image processing apparatus according to claim 13, wherein measurement is sequentially performed according to each of the setting parameters to acquire measurement data.
解析の結果に基づいて、前記対象物体のうちの所定領域
が前記取得手段において重点的に計測されるように複数
の設定パラメータを記述することを特徴とする請求項2
0に記載の3次元画像処理装置。21. The executing means describes a plurality of setting parameters based on a result of the analysis by the generating means so that a predetermined area of the target object is intensively measured by the acquiring means. 3. The method according to claim 2,
The three-dimensional image processing device according to item 0.
象物体の3次元形状モデルとその各部の表面属性を表す
データ及びそれらの信用度を表すデータを含む中間デー
タを生成してこれを保持する保持手段と、 前記実行手段によって前記取得手段による処理が実行さ
れて、取得された計測データを解析した結果、前記保持
手段によって保持されたデータよりも信用度の高い新た
なデータが得られた場合に、その部分を該新たなデータ
で更新する更新手段とを備え、 前記判定手段でデータの更なる取得が不要と判定される
と、前記保持手段に保持された最終の中間データに基づ
いて前記統合データを生成することを特徴とする請求項
13に記載の3次元画像処理装置。22. The generating means analyzes the measurement data acquired by the acquiring means, and includes a three-dimensional shape model of the target object, data representing surface attributes of respective parts thereof, and data representing their credibility. A holding unit that generates data and holds the data, and a process of the acquisition unit is executed by the execution unit, and as a result of analyzing the acquired measurement data, the reliability is higher than the data held by the holding unit. When new data is obtained, it is provided with updating means for updating that portion with the new data, and when the determination means determines that further acquisition of data is unnecessary, the data is held in the holding means. The three-dimensional image processing device according to claim 13, wherein the integrated data is generated based on final intermediate data.
を含む観察環境を所望に設定する設定手段と、 前記設定手段で設定された観察環境と前記生成手段で生
成された統合データに基づいて前記対象物体の画像デー
タを生成する画像生成手段と、 前記画像生成手段で生成された画像データを出力する出
力手段とを更に備えることを特徴とする請求項13に記
載の3次元画像処理装置。23. Based on the setting means for arbitrarily setting an observation environment including the attributes of the illumination system and the position and orientation of the target object, the observation environment set by the setting means, and the integrated data generated by the generating means. 14. The three-dimensional image processing apparatus according to claim 13, further comprising: an image generating unit that generates image data of the target object; and an output unit that outputs the image data generated by the image generating unit. .
出力手段を更に備えることを特徴とする請求項13に記
載の3次元画像処理装置。24. The three-dimensional image processing apparatus according to claim 13, further comprising an output unit that outputs the integrated data to an external device.
3次元画像処理方法をコンピュータに実行させるための
制御プログラム。25. A control program for causing a computer to execute the three-dimensional image processing method according to any one of claims 1 to 12.
3次元画像処理方法をコンピュータに実行させるための
制御プログラムを格納した記憶媒体。26. A storage medium storing a control program for causing a computer to execute the three-dimensional image processing method according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002109435A JP2003302211A (en) | 2002-04-11 | 2002-04-11 | Three-dimensional image processing unit and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002109435A JP2003302211A (en) | 2002-04-11 | 2002-04-11 | Three-dimensional image processing unit and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003302211A true JP2003302211A (en) | 2003-10-24 |
Family
ID=29392906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002109435A Withdrawn JP2003302211A (en) | 2002-04-11 | 2002-04-11 | Three-dimensional image processing unit and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003302211A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006004158A (en) * | 2004-06-17 | 2006-01-05 | Olympus Corp | Image processing program, image processing method, image processor, and recording medium |
JP2007174689A (en) * | 2005-09-09 | 2007-07-05 | Matsushita Electric Ind Co Ltd | Image processing device |
JP2011061731A (en) * | 2009-09-14 | 2011-03-24 | Canon Inc | Image processing apparatus and image processing method |
JP2014025935A (en) * | 2012-07-25 | 2014-02-06 | Google Inc | Use of color and intensity modulation of pixel display |
JP2014126408A (en) * | 2012-12-25 | 2014-07-07 | Canon Inc | Reflection characteristics measurement device |
CN104535015A (en) * | 2015-01-13 | 2015-04-22 | 速感科技(北京)有限公司 | Three-dimensional scanning device based on flight time method |
JP2017111019A (en) * | 2015-12-17 | 2017-06-22 | ファナック株式会社 | Model generator, position/posture calculator, and handling robot device |
KR20170082077A (en) * | 2016-01-05 | 2017-07-13 | 한국전자통신연구원 | Apparatus and method for scanning item |
JP2018004280A (en) * | 2016-06-27 | 2018-01-11 | 株式会社キーエンス | Measurement apparatus |
JP2018124806A (en) * | 2017-02-01 | 2018-08-09 | 株式会社カブク | Image processing device |
CN116045852A (en) * | 2023-03-31 | 2023-05-02 | 板石智能科技(深圳)有限公司 | Three-dimensional morphology model determining method and device and three-dimensional morphology measuring equipment |
-
2002
- 2002-04-11 JP JP2002109435A patent/JP2003302211A/en not_active Withdrawn
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006004158A (en) * | 2004-06-17 | 2006-01-05 | Olympus Corp | Image processing program, image processing method, image processor, and recording medium |
US7548236B2 (en) | 2004-06-17 | 2009-06-16 | Olympus Corporation | Image processing method, image processing apparatus, image processing program, and storage medium |
JP2007174689A (en) * | 2005-09-09 | 2007-07-05 | Matsushita Electric Ind Co Ltd | Image processing device |
US8249370B2 (en) | 2005-09-09 | 2012-08-21 | Panasonic Corporation | Image processing method, image recording method, image processing device and image file format |
JP2011061731A (en) * | 2009-09-14 | 2011-03-24 | Canon Inc | Image processing apparatus and image processing method |
JP2014025935A (en) * | 2012-07-25 | 2014-02-06 | Google Inc | Use of color and intensity modulation of pixel display |
JP2014126408A (en) * | 2012-12-25 | 2014-07-07 | Canon Inc | Reflection characteristics measurement device |
CN104535015A (en) * | 2015-01-13 | 2015-04-22 | 速感科技(北京)有限公司 | Three-dimensional scanning device based on flight time method |
JP2017111019A (en) * | 2015-12-17 | 2017-06-22 | ファナック株式会社 | Model generator, position/posture calculator, and handling robot device |
CN106891333A (en) * | 2015-12-17 | 2017-06-27 | 发那科株式会社 | Model generating means, position and attitude computing device and conveying robot device |
CN106891333B (en) * | 2015-12-17 | 2019-05-10 | 发那科株式会社 | Model generating means, position and attitude computing device and conveying robot device |
US10496762B2 (en) | 2015-12-17 | 2019-12-03 | Fanuc Corporation | Model generating device, position and orientation calculating device, and handling robot device |
KR20170082077A (en) * | 2016-01-05 | 2017-07-13 | 한국전자통신연구원 | Apparatus and method for scanning item |
KR102016413B1 (en) * | 2016-01-05 | 2019-09-02 | 한국전자통신연구원 | Apparatus and method for scanning item |
JP2018004280A (en) * | 2016-06-27 | 2018-01-11 | 株式会社キーエンス | Measurement apparatus |
JP2018124806A (en) * | 2017-02-01 | 2018-08-09 | 株式会社カブク | Image processing device |
CN116045852A (en) * | 2023-03-31 | 2023-05-02 | 板石智能科技(深圳)有限公司 | Three-dimensional morphology model determining method and device and three-dimensional morphology measuring equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4892480B2 (en) | Adaptive 3D scanning | |
US7079679B2 (en) | Image processing apparatus | |
US6518963B1 (en) | Method and apparatus for generating patches from a 3D mesh model | |
CN107525479A (en) | Object property is determined for particular optical measurement | |
US6999073B1 (en) | Method and system for generating fully-textured 3D | |
US20040155877A1 (en) | Image processing apparatus | |
JP2004157968A (en) | Three-dimensional computer modeling | |
US20030202120A1 (en) | Virtual lighting system | |
JP2003196327A (en) | Three-dimensional computer modeling | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
JP6858878B2 (en) | Automatic alignment of 3D model to test object | |
JP2002202838A (en) | Image processor | |
JP2003302211A (en) | Three-dimensional image processing unit and method | |
US7620234B2 (en) | Image processing apparatus and method for generating a three-dimensional model of an object from a collection of images of the object recorded at different viewpoints and segmented using semi-automatic segmentation techniques | |
JP2002236909A (en) | Image data processing method and modeling device | |
JP2003202216A (en) | Method, device, system and program for three-dimensional image processing | |
JP2003216973A (en) | Method, program, device and system for processing three- dimensional image | |
JP2004280776A (en) | Method for determining shape of object in image | |
US20020065637A1 (en) | Method and apparatus for simulating the measurement of a part without using a physical measurement system | |
JP6425406B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
JP2003216970A (en) | Device, system, method and program for three-dimensional image processing | |
JPH04256185A (en) | Method for collecting sample picture of picture recognition system | |
JP2005092549A (en) | Three-dimensional image processing method and device | |
JP2006105822A (en) | Three-dimensional image processing system and three-dimensions data processing apparatus | |
JP2003168129A (en) | Method, program, apparatus and system for three- dimensional image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050705 |