JP2006105822A - 三次元画像処理システム及び三次元データ処理装置 - Google Patents

三次元画像処理システム及び三次元データ処理装置 Download PDF

Info

Publication number
JP2006105822A
JP2006105822A JP2004293906A JP2004293906A JP2006105822A JP 2006105822 A JP2006105822 A JP 2006105822A JP 2004293906 A JP2004293906 A JP 2004293906A JP 2004293906 A JP2004293906 A JP 2004293906A JP 2006105822 A JP2006105822 A JP 2006105822A
Authority
JP
Japan
Prior art keywords
data
dimensional
image
pattern
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004293906A
Other languages
English (en)
Inventor
Shinya Urisaka
真也 瓜阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004293906A priority Critical patent/JP2006105822A/ja
Publication of JP2006105822A publication Critical patent/JP2006105822A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】良好な振れ検出及び撮影動作が可能な撮影装置及び撮影システムを実現する。
【解決手段】 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影手段(可動光源部4)と、各パターン像が投影された物体を順次撮影して複数の画像を取得する画像取得手段(画像入力部6)と、複数の画像を用いて物体の三次元形状および表面属性に関するデータを生成するデータ生成手段(三次元形状取得部3、表面属性取得部1)とを有する。
【選択図】 図1

Description

本発明は、対象となる実物体の形状、色、質感などをよりリアルに三次元画像として表示する三次元画像処理に関するものである。
従来、実在する物体の三次元情報(形状、表面属性)を入力する画像処理装置として、接触型の位置センサを利用した方法が知られている。この方法は、探針を物体の各点に接触させ、探針の三次元位置座標を位置センサにより検出し、物体の各点の三次元位置情報を入力する方法である。なお、この接触型の位置センサを用いる方法では、探針を物体の各点に接触させる必要があるため、対象となる物体としては、ある程度の強度を持つ物体に限られ、また計測にある程度の時間を要する等の制限がある。
また、非接触型の三次元計測装置も知られている。この非接触型は、接触型に比べて高速の計測が可能であることから、CGシステムやCADシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている(特許文献1参照)。
非接触の三次元計測の方法としては、スリット光投影法(光切断法)またはパターン投影法が知られている。これらの方法は、特定の参照光(検出光)を計測対象に照射し、三角測定の原理で距離画像(三次元画像データ、三次元データ、または三次元形状データ)を得る能動的計測方法の一種である(特許文献2参照)。
スリット光投影法では、スリット光を照射しかつ偏向することによって計測対象を走査する。パターン投影法では、複数の2次元パターン光を順次照射する。得られた距離画像は、計測対象上の複数部位の三次元位置を示す画素の集合である(特許文献3参照)。
このような三次元計測装置には、計測対象物体の距離画像を得るための距離計測光学系と、対象物体表面のテクスチャ情報を取得するためのカラー光学系(モニタ光学系)とが設けられる。距離計測光学系には、計測対象物体に参照光を照射する投光部、参照光の計測対象物体による反射光を受光する受光センサなどが含まれる。そして、受光センサからの出力などに基づいて、三次元形状データが演算により求められる(特許文献4参照)。
一方、カラー光学系には、同じ計測対象物体のカラー画像(モニタ画像、2次元画像、2次元データ、または2次元画像データ)を撮像する撮像センサなどが含まれ、カラー光学系により得られるカラー画像は、対象物体表面のテクスチャ情報を取得するために用いられる他に、距離計測光学系による計測を開始する際に、距離計測により得られる距離画像の範囲を予め確認するために用いられる。さらには、得られた距離画像を修正する際に、その修正箇所の特定のために用いられる(特許文献5〜7参照)。
特開平09−210646号公報(段落0019〜0026、図1等) 特開平10−068607号公報(段落0021、図21、22等) 特開2000−065547号公報(段落0030〜0038、図1等) 特開2003−172610号公報(段落0037〜0049、図1〜図3等) 特開2003−185420号公報(段落0029〜0032、図1等) 特開2004−037317号公報(段落0018〜0027、図1等) 特開2004−085371号公報(段落0022〜0023、図2〜図4等)
しかしながら、従来の三次元画像処理装置では、対象物体の質感や光沢感を再現することは考慮されていないため、撮影環境と再現環境とで照明器具の形状、位置、色が異なった場合、対象物体における鏡面反射の状態が変化してしまい、見た目にも大きく変わってしまう。したがって、従来の三次元画像処理装置では対象物体の質感や光沢感までを正確に表現してユーザ等に伝えることは困難であった。
本発明の例示的な目的の1つは、物体の質感、光沢感、立体感などを正確に表現することが可能な三次元画像処理システム及び三次元データ処理装置を実現することにある。
さらに、他の例示的な目的の1つは、高速で、かつ良好な三次元画像処理が可能な三次元画像処理システム及び三次元データ処理装置を実現することにある。
本発明の1つの観点としての三次元画像処理システムは、物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影手段と、各パターン像が投影された物体を順次撮影して複数の画像を取得する画像取得手段と、複数の画像を用いて物体の三次元形状および表面属性に関するデータを生成するデータ生成手段とを有することを特徴とする。
本発明によれば、取得した複数の画像を用いて物体の三次元形状データとともに、表面属性データを生成している。このため、該データにより構築される三次元画像は、該物体の質感、光沢感、立体感などをより正確に表現することが可能となる。
さらに、複数の画像を用いて三次元形状データ及び表面属性データの両データを生成しているので、データ取得の高速化が図れ、最適な三次元画像処理を実現できる。
以下に本発明の実施例について説明する。
図1は、本発明の実施例1に係る三次元画像処理システム(三次元データ処理装置)の構成ブロック図である。
本実施例の三次元画像処理システムは、取得した対象物体の三次元画像を再現する際に、観察に用いる照明環境を任意に設定でき、かつ対象物体の位置および向きを観察空間内で自由に変更することが可能で、所望の観察環境下での対象物体の画像を表示および印刷出力ができるように構成される。
この三次元画像処理システムにおいて、4は対象物体を照明する投影手段である可動光源部、10はパターンフィルタ部、6はパターンを投影された対象物体の画像を入力する画像入力部、8は対象物体を回転させる対象物回転部、2は可動光源部4、画像入力部6、対象物回転部8及びパターンフィルタ部10を制御する制御部である。
3は画像入力部6により取得された画像列と制御部2により設定された入力環境パラメータとを用いて対象物体の三次元形状データ(第1のデータ)を取得(生成)する三次元形状取得部、1は画像入力部6により得られた画像列、制御部2により設定された入力環境パラメータ及び三次元形状取得部3により作成された三次元形状データを用いて対象物体の色・光沢・質感などを表面属性に関するデータ(第2のデータ)を取得(生成)する表面属性取得部である。
さらに、5はこれらの三次元データ(第1及び第2のデータ)を統合する三次元データ統合部、9は画像再現時の観察環境を設定する操作部、7は三次元統合データ及び再現時の観察環境データに基づいて対象物体の画像を再構築する任意環境画像生成部であり、11は表示および印刷出力する画像出力部である。
可動光源部4は、パターンフィルタ部10の背後に配置され、対象物体の三次元形状データ及び表面属性データの取得に用いる画像列を入力する際の照明として使用され、対象物体の回転軸に平行に移動可能である。パターンフィルタ部10は、ポジ/ネガ一対の特殊なパターンを切替えられるようになっており、背後から可動光源部4によって照らされることにより、対象物体に対して二次元の広がりを持つ輝度分布を有するパターンを照射できるようになっている。
画像入力部6は、光像を画像データに光電変換して入力する、デジタルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置で構成され、可動光源部4およびパターンフィルタ部10により照明された対象物体の一対の画像を入力する。
対象物回転部8は、対象物体を回転軸まわりに単位ステップ刻みで回転させ、各回転角において、可動光源部4は移動を繰り返す。対象物回転部8の各回転角、可動光源部4の各位置において、可動光源部4、パターンフィルタ部10及び画像入力部6は随時、パターン照射、画像入力を行う。
三次元形状取得部3は、画像入力部6によって入力された「対象物回転部8の回転刻み数」×「可動光源部4の移動数」分の画像対列と、制御部2から得られる画像入力時の環境パラメータ(可動光源部4、パターンフィルタ部10、画像入力部6、対象物回転部8の位置、パターン、回転角など)を用いて、対象物体の三次元立体形状モデルを生成する。本実施例における三次元立体形状モデルとしては、例えばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。
表面属性取得部1は、画像入力部6によって入力された「対象物回転部8の回転刻み数」×「可動光源部4の移動数」分の画像対列においてパターンの明部が投影されている領域と、制御部2から得られる画像入力時の環境パラメータ(可動光源部4、パターンフィルタ部10、画像入力部6、対象物回転部8の位置、パターン、回転角など)と、三次元形状取得部3により生成された三次元立体形状モデルとを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。
この表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをよりリアルに表現することができる。
三次元データ統合部5は、三次元形状取得部3により得られた三次元立体形状モデルと、表面属性取得部1により得られた表面属性データとを統合し、対象物体の三次元統合データを作成する。
そして、ユーザが操作部9を操作することにより所望の照明条件・対象物体の位置や向きなどの観察環境の設定が行われ、任意環境画像生成部7は、操作部9により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。この再構築された画像は、TVモニタやプリンタなどから構成される画像表示部11により、表示や印刷出力が行われる。
図2は本実施例の三次元形状データ及び表面属性データの取得する際の三次元画像表示システムの全体概略図である。対象物体51は、コンピュータ制御可能な対象物回転装置(対象物回転部8)55の上に配置され、コンピュータ59から指令された角度で連続的に回転軸56を中心として回転する。測定環境における回転軸56の位置は既知とする。
可動光源(可動光源部4)54は、パターンフィルタ(パターンフィルタ部10)57の背後に配置され、対象物体の三次元形状データ取得と表面属性データ取得に用いる画像列を入力する際の照明として使用され、コンピュータ59からの指令により対象物体51の回転軸56に平行に移動し、それぞれの位置においてパターンフィルタ57を通して対象物体を照明する。
パターンフィルタ57は、可動光源54の各位置において、コンピュータ59からの指令により、ポジ/ネガ一対の特殊なパターンフィルタを切替え、対象物体を照明する。
画像入力装置(画像入力部6)53は、対象物体51から離れた位置に配置され、コンピュータ59からの指令により、画像データ入力を行うことができる。
コンピュータ59は、対象物回転装置55、可動光源54、パターンフィルタ57に対して制御信号を出力して測定環境を確定した後に、画像入力装置53に対し指令信号を出力して画像入力を行う。さらに、この画像から三次元形状データおよび表面属性データの取得を行い、三次元統合データを作成する。
次に制御部2の構成を図4を用いて説明する。制御部2は上述のように可動光源部4、パターンフィルタ部10、画像入力部6、対象物回転部8の制御を行う。そして、その際の入力環境パラメータを表面属性取得部1、三次元形状取得部3へと送信する。図4において、対象物回転部制御部77は、対象物回転部8の回転角度を連続的に制御する。可動光源部制御部78は、可動光源部4に対して、測定環境における位置の制御を行う。パターンフィルタ部制御部74は、パターンフィルタ部10に対して、ポジ/ネガパターンの切替え制御を行う。画像入力部制御部76は、対象物回転部8の回転、可動光源部4の移動、パターンフィルタ部10のポジ/ネガパターン切替えを行うたびに、随時画像データの入力を行う。
次に表面属性取得部1の構成を図3を用いて説明する。表面属性取得部1は、画像データ、入力環境パラメータおよび三次元形状データを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。図3において、41は入力された画像データのうち、パターンの暗部が投影されている領域のデータや入力環境パラメータの情報に基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択処理を行う画像データ取捨選択部である。
43は選別された画像データの中から拡散反射成分のみのデータを抽出する拡散反射領域抽出部、45は鏡面反射成分を含んだデータから、鏡面反射成分を分離する鏡面反射成分分離部である。表面属性パラメータの推定処理のついては後述する。
次に可動光源部4およびパターンフィルタ部10によって照射されるポジ/ネガ一対の特殊なパターンについて図7を用いて説明する。図7において、可動光源(可動光源部4)32は前面に1ラインポジパターンフィルタ31と1ラインネガパターンフィルタ33が配置され、いずれかのパターンフィルタ(パターンフィルタ部10)を通して対象物体を照明する。
1ラインポジパターンフィルタ31は、対象物体の表面から見て二次元の広がりを持つ輝度分布を有する明暗パターンである。また、測定環境において明部の輝度分布は既知であり、例えばガウス関数で近似される輝度分布を二次元方向に有する。1ラインネガパターンフィルタ33は、1ラインポジパターンフィルタ31の明暗を反転した輝度分布を有するパターンである。
さらに、1ラインポジパターンフィルタ31を照射して得られる入力画像と、1ラインネガパターンフィルタ33を照射して得られる入力画像とを比較することで、入力画像における1ラインパターンフィルタエッジ34が明確に検出できるようになっている。このように可動光源部4の前面の同一位置にポジ/ネガのパターン有する一対のフィルタが設けられたパターンフィルタ部10を配置し、該一対のパターンフィルタを切換えて対象物体に対してパターンを照射し、その都度、画像入力部6により対象物体の画像データが取り込まれることになる。
次に本実施例の三次元画像処理システムにおいて、実測(データ取得)から三次元統合データ作成までの処理について、図2および図6のフローチャートを参照しながら説明する。
まず、パターンフィルタ57を1ラインポジパターンフィルタに設定し、画像入力装置53により画像データを入力する(S1)。続いて、パターンフィルタ57を1ラインネガパターンフィルタに切替え、画像入力装置53により画像データを入力する(S3)。可動光源54を1ステップ分移動させ(S2)、ステップ1及びステップ3の処理を繰り返し行い、画像データ入力を行う。
可動光源54を全ての投射位置に移動させて全位置の画像データ入力が終了すると(S4)、対象物回転装置55の設定回転角において、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全域を走査していることになる。
そして、対象物回転装置55を1ステップ分回転させ(S5)、ステップ1からステップ4を繰り返し行って画像データ入力を行う。対象物回転装置55を1回転させて対象物体の全周の画像データ入力が終了すると(S6)、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全周全域を走査していることになる。
次に、三次元形状取得処理を行う。対象物回転装置55の各回転角、可動光源54の各位置におけるポジ画像とネガ画像を比較処理することにより、入力画像における投影パターンのエッジを抽出する(S7)。この処理を対象物回転装置55の全ての回転角、可動光源54の全ての位置におけるポジ/ネガ画像組に対して行う(S8)。その後、入力環境パラメータと得られた入力画像上のエッジ(境界部)から対象物体の三次元形状データを作成する(S10)。
入力環境パラメータには、実測を行った対象物回転装置55の回転角、画像入力装置53の位置、可動光源54の位置、パターンフィルタ57の位置およびポジ/ネガ各パターンの輝度分布が記述されている。
次に、表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという2色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した画像データのうち、パターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。
まず、入力した画像(実測)データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択を行う(S11)。
続いて、選別された画像データのみを用いて、拡散反射成分のみのデータを抽出する(S12)。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行い(S14)、鏡面反射成分を含んだデータから鏡面反射成分を分離し(S15)、表面属性パラメータのうち反射特性に関するパラメータの推定を行う(S16)。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。
対象物体表面全体の推定が終了した時点で(S17)、三次元統合データが作成される(S19)。ここでは、対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。
図9は、三次元データ統合部5によって作成される三次元統合データの一例を示す図である。1頂点の三次元座標および物体色情報や反射特性情報などの表面属性パラメータを格納する構造を要素とし、この要素を頂点の数分だけ用意した構造となっている。三次元統合情報として新たな頂点が生成、追加されるたびに、三次元統合データの要素数は拡大される。
ここで、構成要素として頂点の代わりに微小面を用いることもできる。この場合、微小面の三次元位置情報および表面属性情報を格納する構造を要素とし、この要素を微小面の数分だけ用意した構造となっている。要素となる微小面は、近傍の頂点あるいは微小面のうち、表面属性情報が類似しているものを統合していくことで生成される。
微小面の三次元位置情報は、例えば三角形の3頂点の座標および法線ベクトルで表現される。微小面の表面属性情報は、物体色情報および反射特性情報から構成されており、パラメータ形式、あるいは微小面に対応する画像形式で表現される。三次元統合情報として新たな微小面が生成、追加されるたびに、三次元統合データの要素数は拡大される。
以上のような三次元統合データは、三次元形状取得および表面属性取得実行中は、三次元画像表示システムの不図示のメモリ上に格納され、三次元形状データおよび表面属性データの取得が終了すると、ハードディスクなどの記憶媒体に保存される。
次に操作部9の構成を図5を用いて説明する。操作部9は、ユーザの入力操作により、所望の照明条件・対象物体の位置や向きなどの観察環境データを作成する。図5において、81は再現時に対象物体に照射する照明光の色、輝度、位置、形状(点光源、線光源、面光源、平行光など)、個数を設定する照明光源設定部、83は対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する対象物体配置設定部である。これらの設定値をもとに再現時に用いる観察環境データを作成する。
次に本実施例の三次元画像処理システムにおいて、ユーザが所望する観察環境下での対象物体の三次元画像を再構築(再現)するための、操作および任意環境画像生成・表示について、図8を参照しながら説明する。
ユーザは、照明光源設定部97により、対象物体に照射する照明光の色、輝度、位置、形状(点光源、線光源、面光源、平行光など)を設定する。ここで、複数の照明光源を設定することができるようになっている。これにより、観察空間において任意の色、輝度、形状をもつ、一つまたは複数の照明光源を93に示すように任意の位置に配置することができる。
さらに、ユーザは、対象物体配置設定部95により、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これにより、観察空間において、対象物体を91に示すように任意の方向に移動、回転させることができ、対象物体を所望する方向から観察することができる。
任意環境画像生成部7は、照明光源設定部97および対象物体配置設定部95により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築し、表示する。ユーザが設定する対象物体・照明光源・視点の位置関係や照明光源の色・輝度・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることができるので、対象物体の質感、光沢感、立体感などをより正確に表現することが可能となる。
このように本実施例では、対象物体の三次元形状データとともに表面属性データを取得し、三次元統合データとして統合して、ユーザが設定した観察環境下での対象物体の三次元画像を再構築、表現する。このため、ユーザに対象物体の質感、光沢感、立体感などをより正確(リアル)に伝えることが可能となる。
また、三次元形状データ及び表面属性データの取得に用いる照明光源、すなわち可動光源部4を共通化しているので、構成が簡略化される。
さらに、三次元形状データ及び表面属性データの取得に用いる入力画像列を共通化している。具体的には、画像データにおける明領域と暗領域との境界部であるエッジに基づいて三次元形状データを生成し、さらに、該画像データのうち、パターンの明部が投影されている領域のデータ明領域を示す画像データに基づいて表面属性データを生成する。つまり、対象物体の入力画像列から三次元形状データ及び表面属性データの両データを生成する。
このため、画像入力(取得)処理、画像入力操作等を簡素化することができ、画像入力処理等の費やされる時間が短縮することから、データ取得の高速化を図ることができ、最適な三次元画像処理を行うことができる。
また、ポジ/ネガ一対のパターンを用いることにより、投影パターンのエッジをより正確に抽出することが可能となり、対象物体の三次元形状データの精度が向上し、よりリアリティの高い物体描画が可能となる。
また、対象物体表面の全領域において投影パターンを走査させることにより、注目画素に対してより多くの照明環境下でのデータを取得することが可能となり、表面属性データ取得の精度が向上し、よりリアリティの高い物体描画が可能となる。
本実施例では、上記実施例1における可動光源部4およびパターンフィルタ部10により照射されるポジ/ネガ一対のパターンを以下のように構成する。なお、その他の三次元画像処理システム構成は上記実施例1と同様であるため、説明を省略する。
可動光源部4およびパターンフィルタ部10によって照射されるポジ/ネガ一対の特殊なパターンについて図10を用いて説明する。
図10において、32は可動光源であり、前面に2ラインポジパターンフィルタ35と2ラインネガパターンフィルタ37が配置され、いずれかのパターンフィルタを通して対象物体を照明する。2ラインポジパターンフィルタ35は、対象物体の表面から見て二次元の広がりを持つ輝度分布を有する明暗パターンである。また、測定環境において明部の輝度分布は既知であり、例えばガウス関数で近似される二次元方向の輝度分布を有する。
2ラインネガパターンフィルタ37は、2ラインポジパターンフィルタ35の明暗領域を反転した輝度分布を有するパターンである。さらに、2ラインポジパターンフィルタ35を照射して得られる入力画像と、2ラインネガパターンフィルタ37を照射して得られる入力画像とを比較することで、入力画像における2ラインパターンフィルタ35の第1エッジ38および第2エッジ39が明確に検出できるようになっている。可動光源部4の前面の同一位置に2ラインポジパターンフィルタ35と2ラインネガパターンフィルタ37を切替えて配置し、対象物体に対してパターンを照射し、その都度、画像入力部6により対象物体の画像データが取り込まれる。
次に本実施例の三次元画像処理システムにおいて、実測から三次元統合データ作成までの処理について、上記実施例1で示した図2及び図6を参照しながら説明する。
まず、本実施例ではパターンフィルタ57を図10に示す2ラインポジパターンフィルタ35に設定し、画像入力装置53により画像データを入力する(S1)。続いて、パターンフィルタ57を2ラインネガパターンフィルタ37に切替え、画像入力装置53により画像データを入力する(S3)。そして、可動光源54を1ステップ分移動させ(S2)、ステップ1とステップ3の処理を繰り返し行い、可動光源54を全ての投射位置に移動させて全位置の画像データ入力が終了すると(S4)、対象物回転装置55の設定回転角において、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全域を走査していることになる。
その後ステップ5に移行し、対象物回転装置55を1ステップ分回転させ、ステップ1からステップ4の各処理を繰り返し行い、対象物回転装置55を1回転させて対象物体の全周の画像データ入力が終了すると(S6)、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全周全域を走査していることになる。
次に、三次元形状データの取得処理を行う。対象物回転装置55の各回転角、可動光源54の各位置におけるポジ画像とネガ画像を比較処理することにより、入力画像における投影パターンの第1エッジおよび第2エッジを抽出する(S7)。なお、この投影パターンの第1エッジと第2エッジは、入力画像の走査線上で明領域から暗領域に変化するエッジなのか、それとも暗領域から明領域に変化するエッジなのかによって区別することができる。
そして、この処理を対象物回転装置55の全ての回転角、可動光源54の全ての位置におけるポジ/ネガ画像組に対して行い(S8)、入力環境パラメータ及び得られた入力画像上の第1エッジおよび第2エッジから対象物体の三次元形状データを作成する(S10)。この入力環境パラメータは、実測を行った対象物回転装置55の回転角、画像入力装置53の位置、可動光源54の位置、パターンフィルタ57の位置およびポジ/ネガ各パターンの輝度分布である。本実施例では、注目画素と可動光源54およびパターンフィルタ57による投影パターンエッジとの位置関係が2通り存在するので、投影パターンが影になり対象物体表面の注目画素まで届かない問題を軽減している。
続いて、表面属性推定処理が行われる。ここでも上記実施例1と同様に、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという2色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した画像データのうちパターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。
まず、入力した画像データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択を行う(S11)。そして、選別された画像データのみを用いて、拡散反射成分のみのデータを抽出し(S12)、抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う(S14)。
また、鏡面反射成分を含んだデータから、鏡面反射成分を分離し(S15)、表面属性パラメータのうち反射特性に関するパラメータの推定を行う(S16)。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。
対象物体表面全体の推定が終了した時点で(S17)、三次元統合データが作成される(S19)。ここでは、対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。
このように本実施例では、対象物体の三次元形状データを作成する際に2本のエッジを有するポジ/ネガ一対のパターンを用いることにより、投影パターンが影になり対象物体表面の注目画素まで届かない問題を軽減することが可能となり、対象物体の三次元形状取得の精度をより向上させることができ、よりリアリティの高い物体描画が可能となる。
図11は、本発明の実施例3に係る三次元画像処理システム(三次元データ処理装置)の構成ブロック図である。
本実施例の三次元画像処理システムは、取得した対象物体の三次元画像を再現する際に、観察に用いる照明環境を任意に設定でき、かつ対象物体の位置および向きを観察空間内で自由に変更することが可能で、所望の観察環境下での対象物体の画像を表示および印刷出力ができるように構成される。
三次元画像処理システムにおいて、4は対象物体を照明する可動光源部、14は可動パターンフィルタ部、6はパターンを投影された対象物体の画像を入力する画像入力部、8は対象物体を回転させる対象物回転部、12は可動光源部4、画像入力部6、対象物回転部8、可動パターンフィルタ部14を制御するための制御部である。
また、3は画像入力部6により得られた画像列と制御部12により設定された入力環境パラメータを用いて対象物体の三次元形状データを取得する三次元形状取得部、1は画像入力部6により得られた画像列と制御部12により設定された入力環境パラメータと三次元形状取得部3により作成された三次元形状データを用いて対象物体の色・光沢・質感などの表面属性データを取得する表面属性取得部である。
5は三次元データを統合する三次元データ統合部、9は画像再現時の観察環境を設定する操作部、7は三次元統合データおよび再現時の観察環境データに基づき対象物体の画像を再構築する任意環境画像生成部、11は表示および印刷出力する画像出力部である。
可動光源部4は、可動パターンフィルタ部14の背後に配置され、対象物体の三次元形状データ取得と表面属性データ取得に用いる画像列を入力する際の照明として使用され、対象物体の回転軸に平行に移動可能である。
可動パターンフィルタ部14は、対象物体の回転軸に平行に移動可能であり、可動光源部4の動きに連動して、可動光源部4の動きと反対方向に移動するようになっている。また、可動パターンフィルタ部14は、ポジ/ネガ一対の特殊なパターンを切替えられるように構成され、背後から可動光源部4によって照らされることにより、対象物体に対して二次元の広がりを持つ輝度分布を有するパターンを照射できるようになっている。
画像入力部6は、光像を画像データに光電変換して入力する、デジタルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置から構成され、可動光源部4および可動パターンフィルタ部14により照明された対象物体の一対の画像を入力する。
対象物回転部8は、対象物体を回転軸まわりに単位ステップ刻みで回転させ、各回転角において、可動光源部4および可動パターンフィルタ部14は互いに逆向きの移動を繰り返す。対象物回転部8の各回転角、可動光源部4および可動パターンフィルタ部14の各位置において、可動光源部4および可動パターンフィルタ部14、画像入力部6は、随時、パターン照射、画像入力を行う。
三次元形状取得部3は、画像入力部6によって入力された「対象物回転部8の回転刻み数」×「可動光源部4および可動パターンフィルタ部14の移動数」分の画像対列と、制御部12から得られる画像入力時の環境パラメータ(可動光源部4、可動パターンフィルタ部14、画像入力部6、対象物回転部8の位置、パターン、回転角など)を用いて、対象物体の三次元立体形状モデルを生成する。ここで、三次元立体形状モデルとしては、たとえばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。
表面属性取得部1は、画像入力部6によって入力された「対象物回転部8の回転刻み数」×「可動光源部4および可動パターンフィルタ部14の移動数」分の画像対列のうちパターンの明部が投影されている領域と、制御部12から得られる画像入力時の環境パラメータ(可動光源部4、可動パターンフィルタ部14、画像入力部6、対象物回転部8の位置、パターン、回転角など)と、三次元形状取得部3により生成された三次元立体形状モデルを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。
この表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをより正確に表現することができる。
三次元データ統合部5は、三次元形状取得部3により得られた三次元立体形状モデルと、表面属性取得部1により得られた表面属性データとを統合し、対象物体の三次元統合データを作成する。
ユーザは、操作部9により所望の照明条件・対象物体の位置や向きなどの観察環境の設定を行う。
そして、ユーザが操作部9を操作することにより所望の照明条件・対象物体の位置や向きなどの観察環境の設定が行われ、任意環境画像生成部7は、操作部9により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。この再構築された画像は、TVモニタやプリンタなどから構成される画像表示部11により、表示や印刷出力が行われる。
図12は、本実施例の三次元形状データ及び表面属性データの取得する際の三次元画像表示システムの全体概略図である。対象物体51は、コンピュータ制御可能な対象物回転装置55の上に配置され、コンピュータ59から指令された角度で連続的に回転軸56を中心として回転する。測定環境における回転軸56の位置は既知とする。
可動光源54は、可動パターンフィルタ58の背後に配置され、対象物体の三次元形状データ取得と表面属性データ取得とに用いる画像列を入力する際の照明として使用される。可動光源54および可動パターンフィルタ58は、コンピュータ59からの指令により対象物体の回転軸56に平行にかつ互いに逆向きに移動(相対移動)し、それぞれの位置において、可動光源54は可動パターンフィルタ58を通して対象物体を照明する。
可動パターンフィルタ58は、各位置において、コンピュータ59からの指令により、ポジ/ネガ一対の特殊なパターンフィルタを切替え対象物体を照明し、画像入力装置53は、対象物体51から離れた位置に配置され、コンピュータ59からの指令信号により、画像データ入力を行う。コンピュータ59は、対象物回転装置55、可動光源54、可動パターンフィルタ58に対して制御信号を送信して測定環境を確定した後に、画像入力装置53に対し指令を送り画像入力を行う。さらに、この画像データから三次元形状データおよび表面属性データの取得を行い、三次元統合データを作成する。
次に制御部12の構成を図13を用いて説明する。制御部12は、可動光源部4、可動パターンフィルタ部14、画像入力部6、対象物回転部8の制御を行う。そして、その際の入力環境パラメータを表面属性取得部1、三次元形状取得部3に出力する。
図13において、77は対象物回転部制御部で、対象物回転部8の回転角度を連続的に制御する。78は可動光源部制御部であり、可動光源部4に対して、測定環境における位置の制御を行う。75は可動パターンフィルタ部14に対して、測定環境における位置制御およびポジ/ネガパターンの切替え制御を行う可動パターンフィルタ部制御部、76は対象物回転部8の回転、可動光源部4の移動、可動パターンフィルタ部14の移動およびポジ/ネガパターン切替えを行うたびに、随時画像データの入力を行う画像入力部制御部である。
次に本実施例の三次元画像処理システムにおいて、実測から三次元統合データ作成までの処理について、図12と図14のフローチャートを参照しながら説明する。
まず、可動パターンフィルタ58を2ラインポジパターンフィルタに設定し(図10参照)、画像入力装置53により画像データを入力する(S21)。つづいて、可動パターンフィルタ58を2ラインネガパターンフィルタに切替え、画像入力装置53により画像データを入力する(S23)。そして、可動光源54および可動パターンフィルタ58を1ステップ分だけ互いに逆向きに相対移動させ(S22)、ステップ21及びステップ23の処理を繰り返し行い、可動光源54および可動パターンフィルタ58を全ての投射位置に移動させて全位置の画像データ入力が終了すると(S24)、対象物回転装置55の設定回転角において、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全域を走査していることになる。
続いて、対象物回転装置55を1ステップ回転させ(S25)、ステップ21からステップ24の処理を繰り返し行い、対象物回転装置55を1回転させて対象物体の全周の画像データ入力が終了すると(S26)、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全周全域を走査していることになる。
次に、三次元形状データの取得処理を行う。まず、対象物回転装置55の各回転角、可動光源54の各位置におけるポジ画像とネガ画像を比較処理し、入力画像における投影パターンの第1エッジおよび第2エッジを抽出する(S27)。ここで、投影パターンの第1エッジと第2エッジは、入力画像の走査線上で明から暗に変化するエッジなのか、それとも暗から明に変化するエッジなのかによって区別することができる。この処理を対象物回転装置55の全ての回転角、可動光源54の全ての位置におけるポジ/ネガ画像組に対して行う(S28)。
その後、入力環境パラメータと得られた入力画像上の第1エッジおよび第2エッジから対象物体の三次元形状データを作成する(S30)。この入力環境パラメータは、実測を行った対象物回転装置55の回転角、画像入力装置53の位置、可動光源54の位置、可動パターンフィルタ58の位置およびポジ/ネガ各パターンの輝度分布である。なお、本実施例の可動パターンフィルタ58は、上記実施例2の図10において示した2ラインポジ/ネガパターンフィルタを用いているが、上記実施例1で示した1ラインポジ/ネガパターンフィルタを用いてもよい。
次に、表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという2色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した画像データのうちパターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。
まず、入力した画像データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択を行う(S31)。そして、選別された画像データのみを用いて、拡散反射成分のみのデータを抽出し、(S32)、抽出された画像データから、表面属性パラメータのうち物体色に関するパラメータの推定を行う(S34)。
また、鏡面反射成分を含んだデータから鏡面反射成分を分離し(S35)、表面属性パラメータのうち反射特性に関するパラメータの推定を行う(S36)。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。対象物体表面全体の推定が終了した時点で(S37)、三次元統合データが作成される(S39)。本実施例では対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。
このように実施例では、可動光源4および可動パターンフィルタ14を互いに逆向きに移動(相対移動)させて画像入力を行うことにより、可動光源4および可動パターンフィルタ14の移動量を小さくすることができ、対象物体の大きさに関する制約を減少させるとともに装置の小型化が可能となる。
なお、本発明を実施し得る形態としては、さらに以下のようなものが挙げられる。
(1)実在物体の三次元情報を入力する三次元画像処理方法にであって、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第1のステップと、対象物体に投影される明暗パターンを随時移動させる第2のステップと、対象物体から形状および表面属性を取得するために共通に用いられる実測(画像)データを入力する第3のステップと、この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第4のステップとを有することを特徴とする三次元画像処理方法。
(2)実在物体の三次元情報を入力する三次元画像処理方法にであって、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第1のステップと、対象物体に投影される明暗パターンを随時移動させる第2のステップと、対象物体を回転軸まわりに随時回転させる第3のステップと、対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第4のステップと、この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第5のステップとを有することを特徴とする三次元画像処理方法。
(3)前記第1のステップにおいて、光源の前面にパターンフィルタを配置することにより、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影することを特徴とする(1)又は(2)に記載の三次元画像処理方法。
(4)前記第2のステップにおいて、前記光源を対象物体の回転軸に平行に移動させることにより対象物体に投影される明暗パターンを随時移動させることを特徴とする(3)に記載の三次元画像処理方法。
(5)前記第2のステップにおいて、前記光源および前記パターンフィルタを対象物体の回転軸に平行にかつ互いに反対方向に移動させることにより対象物体に投影される明暗パターンを随時移動させることを特徴とする(3)に記載の三次元画像処理方法。
(6)前記パターンフィルタは、明暗パターンの移動方向に平行でない明暗のエッジを1本のみ有する第1のパターンフィルタと、第1のパターンフィルタの明暗を反転した第2のパターンフィルタの二つのパターンフィルタであることを特徴とする(3)から(5)のいずれか1つに記載の三次元画像処理方法。
(7)前記パターンフィルタは、明暗パターンの移動方向に平行でない明暗のエッジを2本有する第1のパターンフィルタと、第1のパターンフィルタの明暗を反転した第2のパターンフィルタの二つのパターンフィルタであることを特徴とする(3)から(5)のいずれか1つに記載の三次元画像処理方法。
(8)前記明暗パターンは、明部の輝度分布がガウス関数で近似されていることを特徴とする(1)から(7)のいずれか1つに記載の三次元画像処理方法。
本発明の実施例1の三次元画像処理システム及び三次元データ処理装置の構成ブロック図。 本発明の実施例1の三次元画像処理システムの三次元形状データ及び表面属性データを取得する際の全体概略図。 本発明の実施例1の三次元画像処理システムの表面属性取得部の構成を示す図。 本発明の実施例1の三次元画像処理システムの制御部の構成を示す図。 本発明の実施例1の三次元画像処理システムの操作部の構成を示す図。 本発明の実施例1の三次元画像処理システムのフローチャート図。 本発明の実施例1の三次元画像処理システムの可動光源およびパターンフィルタを示す図。 本発明の実施例1の三次元画像処理システムの任意環境画像提示例を示す図。 本発明の実施例1の三次元画像処理システムの三次元統合データの一例を示す図。 本発明の実施例2の可動光源およびパターンフィルタを示す図。 本発明の実施例3の三次元画像処理システム及び三次元データ処理装置の構成ブロック図。 本発明の実施例3の三次元画像処理システムの三次元形状データ及び表面属性データを取得する際の全体概略図。 本発明の実施例3の三次元画像処理システムの制御部の構成を示す図。 本発明の実施例3の三次元画像処理システムのフローチャート図。
符号の説明
1 表面属性取得部
2 制御部
3 三次元形状取得部
4 可動光源部
5 三次元データ統合部
6 画像入力部
7 任意環境画像生成部
8 対象物回転部
9 操作部
10 パターンフィルタ部

Claims (17)

  1. 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影手段と、
    前記各パターン像が投影された前記物体を順次撮影して複数の画像を取得する画像取得手段と、
    前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成手段とを有することを特徴とする三次元画像処理システム。
  2. 前記データ生成手段は、前記複数の画像を用いて前記三次元形状に関する第1のデータを生成し、さらに該第1のデータを用いて前記表面属性に関する第2のデータを生成することを特徴とする請求項1に記載の三次元画像処理システム。
  3. 前記データ生成手段は、前記複数の画像から前記明領域と前記暗領域との境界部を抽出し、該境界部を示す画像データに基づいて前記第1のデータを生成し、さらに前記各画像における前記明領域を示す画像データに基づいて前記第2のデータを生成することを特徴とする請求項2に記載の三次元画像処理システム。
  4. 前記複数の画像を取得するごとに、前記物体上における前記パターン像の投影領域を移動させる移動手段を有することを特徴とする請求項1から3のいずれか1つ記載の三次元画像処理システム。
  5. 前記投影手段は、光源と該光源からの光に前記パターン像を形成させるフィルタ部材とを相対移動させることにより前記複数のパターン像を順次形成することを特徴とする請求項1から4のいずれか1つに記載の三次元画像処理システム。
  6. 前記複数のパターン像は、前記明領域と前記暗領域の境界が略同一位置にあることを特徴とする請求項1から5のいずれか1つに記載の三次元画像処理システム。
  7. 前記各パターン像は、前記明領域と前記暗領域の境界を複数有することを特徴とする請求項1から6のいずれか1つに記載の三次元画像処理システム。
  8. 前記明領域は、二次元方向に実質的にガウス関数で表される輝度分布を有する領域であることを特徴とする請求項1から7のいずれか1つに記載の三次元画像処理システム。
  9. 前記三次元形状および表面属性に関するデータと入力された環境情報とに基づいて、前記物体の三次元画像を生成し、出力する画像出力手段を有することを特徴とする請求項1から8のいずれか1つに記載の三次元画像処理システム。
  10. 互いに明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像が順次投影された物体を該パターン像の投影ごとに撮影して得られた複数の画像を入力する入力部と、
    前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成部とを有することを特徴とする三次元データ生成装置。
  11. 前記データ生成部は、前記複数の画像を用いて前記三次元形状に関する第1のデータを生成し、さらに該第1のデータを用いて前記表面属性に関する第2のデータを生成することを特徴とする請求項10に記載の三次元データ生成装置。
  12. 前記データ生成部は、前記複数の画像から前記明領域と前記暗領域との境界部を抽出し、該境界部を示す画像データに基づいて前記第1のデータを生成し、さらに前記各画像における前記明領域を示す画像データに基づいて前記第2のデータを生成することを特徴とする請求項11に記載の三次元データ生成装置。
  13. 前記複数のパターン像は、前記明領域と前記暗領域の境界が略同一位置にあることを特徴とする請求項10から12のいずれか1つに記載の三次元データ処理装置
  14. 前記各パターン像は、前記明領域と前記暗領域の境界を複数有することを特徴とする請求項10から12のいずれか1つに記載の三次元データ処理装置。
  15. 前記明領域は、二次元方向に実質的にガウス関数で表される輝度分布を有する領域であることを特徴とする請求項10から12のいずれか1つに記載の三次元データ処理装置。
  16. 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影ステップと、
    前記各パターン像が投影された前記物体を順次撮影して複数の画像を取得する画像取得ステップと、
    前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成ステップとを有することを特徴とする三次元画像処理方法。
  17. 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影ステップと、
    前記各パターン像が投影された前記物体を順次撮影して複数の画像を取得する画像取得ステップと、
    前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成ステップとを有することを特徴とするコンピュータ上で実行される三次元画像処理プログラム。
JP2004293906A 2004-10-06 2004-10-06 三次元画像処理システム及び三次元データ処理装置 Pending JP2006105822A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004293906A JP2006105822A (ja) 2004-10-06 2004-10-06 三次元画像処理システム及び三次元データ処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004293906A JP2006105822A (ja) 2004-10-06 2004-10-06 三次元画像処理システム及び三次元データ処理装置

Publications (1)

Publication Number Publication Date
JP2006105822A true JP2006105822A (ja) 2006-04-20

Family

ID=36375734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004293906A Pending JP2006105822A (ja) 2004-10-06 2004-10-06 三次元画像処理システム及び三次元データ処理装置

Country Status (1)

Country Link
JP (1) JP2006105822A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039767A (ja) * 2006-08-01 2008-02-21 Mitsubishi Electric Research Laboratories Inc 反射性物体の表面の形状を検知する方法及びシステム
WO2021171982A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 画像処理装置、3dモデルの生成方法、学習方法およびプログラム
CN114777685A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
JP7277615B2 (ja) 2019-06-07 2023-05-19 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光の3dマッピングとモデリングを使用した物体認識システム及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039767A (ja) * 2006-08-01 2008-02-21 Mitsubishi Electric Research Laboratories Inc 反射性物体の表面の形状を検知する方法及びシステム
CN114777685A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
JP7277615B2 (ja) 2019-06-07 2023-05-19 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光の3dマッピングとモデリングを使用した物体認識システム及び方法
WO2021171982A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 画像処理装置、3dモデルの生成方法、学習方法およびプログラム

Similar Documents

Publication Publication Date Title
EP3128289B1 (en) System and method for automatic alignment and projection mapping
US10133171B2 (en) Augmenting physical appearance using illumination
Rivers et al. Sculpting by numbers
Brostow et al. Video normals from colored lights
EP1193646A2 (en) Image processing apparatus
EP1074943A2 (en) Image processing method and apparatus
JP6972224B2 (ja) 深度感知システムおよび方法
JP2010526295A (ja) ビデオカメラとtvモニタを使用した3次元オブジェクトのスキャン
JP2010287174A (ja) 家具シミュレーション方法、装置、プログラム、記録媒体
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2003202216A (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
CN110930518A (zh) 基于增强现实技术的投影方法及投影设备
US10133256B2 (en) Information processing apparatus and method for calculating inspection ranges
JP5059503B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP2003216973A (ja) 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
JP2003302211A (ja) 3次元画像処理装置及び方法
JP2006105822A (ja) 三次元画像処理システム及び三次元データ処理装置
JP2003216970A (ja) 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム
JP2001118074A (ja) 3次元画像作成方法、3次元画像作成装置及びプログラム記録媒体
JP2005092549A (ja) 三次元画像処理方法および装置
JP5506371B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006146342A (ja) 三次元画像処理方法及び三次元画像処理装置
JP6984870B2 (ja) 3次元形状測定装置、3次元形状測定方法、及び3次元形状測定プログラム
JP2003168129A (ja) 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム