JP2014157518A - 立体データの生成方法 - Google Patents
立体データの生成方法 Download PDFInfo
- Publication number
- JP2014157518A JP2014157518A JP2013028483A JP2013028483A JP2014157518A JP 2014157518 A JP2014157518 A JP 2014157518A JP 2013028483 A JP2013028483 A JP 2013028483A JP 2013028483 A JP2013028483 A JP 2013028483A JP 2014157518 A JP2014157518 A JP 2014157518A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- data
- image
- scanner
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】高精細な立体スキャナで取得した立体情報の欠落部分を補うとともに、欠落部分を補った際に生じる無テクスチャ部分の修正を効率よく行うことができる立体データの生成方法および立体像の形成方法を提供すること。
【解決手段】
被写体に照射した構造化光の反射像を撮影して被写体の立体形状を取得するとともに当該被写体表面を撮影した画像を前記立体形状に対応させて出力する高解像度の3Dスキャナとおよび低解像度の3Dスキャナを用いて立体データを取得し、双方の3Dスキャナによって取得した立体形状および画像を合成することによって、一方の3Dスキャナによって取得したデータの欠落部分を他方のDスキャナによって取得したデータによって補うことで、被写体に関する一つの立体データを生成すること。
【選択図】図1
【解決手段】
被写体に照射した構造化光の反射像を撮影して被写体の立体形状を取得するとともに当該被写体表面を撮影した画像を前記立体形状に対応させて出力する高解像度の3Dスキャナとおよび低解像度の3Dスキャナを用いて立体データを取得し、双方の3Dスキャナによって取得した立体形状および画像を合成することによって、一方の3Dスキャナによって取得したデータの欠落部分を他方のDスキャナによって取得したデータによって補うことで、被写体に関する一つの立体データを生成すること。
【選択図】図1
Description
本発明は、光学的に撮影したデータに基づいて被写体の立体像を形成する立体データの生成方法に関するものである。
従来、特許文献1に示すような三次元造形装置が知られている。当該三次元造形装置は、入力された三次元データ(造形データ)に基づいて、表面に所定の彩色が施された立体物を造形するものである。当該三次元造形装置に用いる三次元データは、一例として複数のポリゴンから構成されている。各ポリゴンは各頂点の座標、ポリゴンの外向きの法線ベクトル等によって定義されており、これに各ポリゴンに対応する色彩データが付属するようになっている。上記のような立体造形装置には3DSystems社(http://www.zcorp.com/jp/home.aspx)製の3Dプリンター等がある。
また、人間等の実在する立体物の形状を取得する手段として特許文献2記載の3次元撮像装置がある。当該装置は、撮影対象物である物体に構造化された光(構造化光)を照射するとともに、撮影対象物表面の凹凸に伴って形状が変化する前記構造化光を検出(撮影)することで、立体形状を取得するものである。構造化光には棒状の光を等間隔で放射する格子状のものや、縦格子と横格子を組み合わせたメッシュ状の光が用いられる。このような構造化光を利用した撮影装置には、株式会社データ・デザイン社(http://www.datadesign.co.jp/)の立体スキャナ(「Artec3Dスキャナ」)等がある。
また、人間等の実在する立体物の形状を取得する手段として特許文献2記載の3次元撮像装置がある。当該装置は、撮影対象物である物体に構造化された光(構造化光)を照射するとともに、撮影対象物表面の凹凸に伴って形状が変化する前記構造化光を検出(撮影)することで、立体形状を取得するものである。構造化光には棒状の光を等間隔で放射する格子状のものや、縦格子と横格子を組み合わせたメッシュ状の光が用いられる。このような構造化光を利用した撮影装置には、株式会社データ・デザイン社(http://www.datadesign.co.jp/)の立体スキャナ(「Artec3Dスキャナ」)等がある。
前記立体形状および表面色を検出する場合、検出に用いる構造化光のピッチが細かいほど精密で正確な情報を取得することができる。しかしながら、ピッチが細かくなるほど格子を構成する光の幅も細くなる。このため、前述の「Artec3Dスキャナ」のような高性能の立体スキャナでは、構造化光のピッチが細かく人間の外観を模写するには十分な立体データが得られるものの、髪の毛の形状が取得できないことがわかった。これは、構造化光のピッチが狭く、髪の毛表面に照射された光が散乱してしまい立体スキャナの撮影部分に向かって反射する光成分の光量が不十分であるからである。
また、前記立体スキャナを用いて任意の姿勢(ポーズ)を維持している人間を撮影する場合、多方向から撮影しても光源から影になる部分が少なからず生じる。このため、取得した立体データは完全ではなく不足部分が生じているので、不足部分の形状と色彩を補うデータ処理が必要となる。
また、立体スキャナによって得られたデータの量は、数百メガバイトあり現時点において市販されている高レベルのコンピュータを用いても多大に処理時間を要するほどのデータ量である。したがって、このような大きなデータ量をもつ立体像データをそのまま補正処理するには多大な時間を要することになる。
また、立体スキャナによって得られたデータの量は、数百メガバイトあり現時点において市販されている高レベルのコンピュータを用いても多大に処理時間を要するほどのデータ量である。したがって、このような大きなデータ量をもつ立体像データをそのまま補正処理するには多大な時間を要することになる。
前述したように、立体スキャナで人間等を撮影して立体データを取得し、当該取得した立体データに基づいて三次元造形装置を用いて前記撮影した人間等を模した造形物を作製することができる。しかしながら、例えば実物の1/10程度に縮小した造形物を作製する場合であっても、被写体の特徴を十分に表現するためには、被写体の形態(形状および色彩)をできるだけ精細(高画質)に撮影する必要がある。
このように高精細に撮影した立体データを取り扱う立体編集ソフトにおいて、立体形状と当該立体形状表面の色彩となるテクスチャの双方を修正、編集するには多大な時間を要することになる。
また、高精細な情報を取得することができる立体スキャナでは、髪の毛等の丸くて直径の細いものについては形状が取得できない場合がある。
このように高精細に撮影した立体データを取り扱う立体編集ソフトにおいて、立体形状と当該立体形状表面の色彩となるテクスチャの双方を修正、編集するには多大な時間を要することになる。
また、高精細な情報を取得することができる立体スキャナでは、髪の毛等の丸くて直径の細いものについては形状が取得できない場合がある。
本願発明は上記課題に鑑み発明されたものであって、高精細な立体スキャナで取得した立体情報の欠落部分を補うとともに、欠落部分を補った際に生じる無テクスチャ部分の修正を効率よく行うことができる立体データの生成方法および立体像の形成方法を提供することを課題とするものである。
高精細な立体スキャナを使用した場合に生じるデータの欠落を補うデータの取得方法を提供することを課題とするものである。
高精細な立体スキャナを使用した場合に生じるデータの欠落を補うデータの取得方法を提供することを課題とするものである。
上記課題を解決するために本発明は以下の構成を有することを特徴とする。すなわち、
被写体に照射した構造化光の反射像を撮影して被写体の立体形状を取得するとともに当該被写体表面を撮影した画像を前記立体形状に対応させて出力する高解像度の3Dスキャナによって前記被写体の立体形状と表面画像を取得し、
前記高解像度の3Dスキャナよりも解像度の低い低解像度の3Dスキャナを用いて前記被写体の立体形状と表面画像を取得し、
前記双方の3Dスキャナによって取得した立体形状および画像を合成することによって、一方の3Dスキャナによって取得したデータの欠落部分を他方の3Dスキャナによって取得したデータによって補うことで、被写体に関する一つの立体データを生成することを特徴とする立体データの生成方法。
被写体に照射した構造化光の反射像を撮影して被写体の立体形状を取得するとともに当該被写体表面を撮影した画像を前記立体形状に対応させて出力する高解像度の3Dスキャナによって前記被写体の立体形状と表面画像を取得し、
前記高解像度の3Dスキャナよりも解像度の低い低解像度の3Dスキャナを用いて前記被写体の立体形状と表面画像を取得し、
前記双方の3Dスキャナによって取得した立体形状および画像を合成することによって、一方の3Dスキャナによって取得したデータの欠落部分を他方の3Dスキャナによって取得したデータによって補うことで、被写体に関する一つの立体データを生成することを特徴とする立体データの生成方法。
また、本発明は以下の構成を有することを特徴とする。すなわち、
前記立体データの一部に欠落が生じている場合に、当該欠落した部位のポリゴンを立体編集ソフトによって補うとともに、
前記ポリゴンを補った立体データに対応するテクスチャを2次元画像として出力するとともに、当該2次元画像において欠落しているテクスチャを2次元画像編集ソフトを用いて補い、
当該テクスチャを補った画像データを前記立体データに対応するテクスチャとして取り込むことによって前記立体データを修正することを特徴とする請求項1記載の立体データの生成方法。
前記立体データの一部に欠落が生じている場合に、当該欠落した部位のポリゴンを立体編集ソフトによって補うとともに、
前記ポリゴンを補った立体データに対応するテクスチャを2次元画像として出力するとともに、当該2次元画像において欠落しているテクスチャを2次元画像編集ソフトを用いて補い、
当該テクスチャを補った画像データを前記立体データに対応するテクスチャとして取り込むことによって前記立体データを修正することを特徴とする請求項1記載の立体データの生成方法。
前記2次元画像の欠落したテクスチャを修正する処理において、複数に分割されている個々のテクスチャの輪郭部にぼかし処理を行うことを特徴とする請求項2記載の立体データの生成方法。
本願発明は、高解像度の3Dスキャナと当該高解像度の3Dスキャナよりも解像度の低い低解像度の3Dスキャナを用いて被写体の立体形状と表面画像を取得することを特徴としている。造形装置によって小さな立体像を形成する場合であっても、形状や画素の荒いデータを用いたのでは満足する品質の造形物は得られない。このため、被写体の撮影には高解像度の3Dスキャナを用いるが、ピッチの細かい構造化光を用いたものであるが故に髪の毛などの断面が丸く細いもの形状を取得することが難しい。このため、本発明では高解像度の3Dスキャナと、前記高解像度の3Dスキャナよりも解像度の低い髪の毛などの断面が丸く細いものであっても比較的形状の取得ができる低解像度の3Dスキャナを併用し、両3Dスキャナによってデータを補完することで欠損の少ない立体データを取得できるという効果を有している。
また、造形と着色が同時に行える立体データは、形状に関するポリゴンと立体表面の色彩を構成するテクスチャで構成されている。立体データに欠落部分がある場合、ポリゴンについては立体編集ソフトによってしか補うことができない。しかしながら、テクスチャは2次元画像として取り扱うことができるので2次元画像編集ソフトを用いて、欠落部分のテクスチャを補い、これを再び立体データを構成するデータとして使用することができる。
すなわち、2次元画像編集ソフトを用いてデータの修正が可能であるということは、立体形状の編集に必要な高機能なコンピュータ手段を用いなくても可能であるということである。このため、当該高機能なコンピュータ手段を2次元画像編集に用いることなく立体形状の編集に充当することで、限られた設備資源を有効に活用できるという効果を有している。また、2次元画像編集ソフトは画像処理を行うために用意されている機能が豊富であるとともに、立体編集ソフトのように習熟に要する時間も少なくてすむという効果を有している。
すなわち、2次元画像編集ソフトを用いてデータの修正が可能であるということは、立体形状の編集に必要な高機能なコンピュータ手段を用いなくても可能であるということである。このため、当該高機能なコンピュータ手段を2次元画像編集に用いることなく立体形状の編集に充当することで、限られた設備資源を有効に活用できるという効果を有している。また、2次元画像編集ソフトは画像処理を行うために用意されている機能が豊富であるとともに、立体編集ソフトのように習熟に要する時間も少なくてすむという効果を有している。
テクスチャ画像を2次元画像編集ソフトを用いて修正することは上記効果を有しているが、領域の自動選択や消去等を行う課程でテクスチャの輪郭部に僅かな欠けが生じる。この欠けは、テクスチャ領域の輪郭をぼかすことで解消することができ、2次元画像編集ソフトを用いたテクスチャ修正に伴って生じる問題を解決することができるという効果を有している。
以下、本発明を実施するための形態を図を用いて説明する。本発明は、被写体M1となる実際の人間等を撮影し、大凡10cm〜20cmの高さとなるように縮尺した被写体M1の複製像M2を形成するものである。
図1は、本発明に係る立体像形成方法の概要を表した説明図でありギリシャ数字の1、2、3は立体像を作製する行程を順に表している。
行程1は、立体像のモデルとなる被写体M1を撮影している状態を表している。本実施
例における被写体M1は実際の人間である。撮影には、3Dスキャナと称されている被写体M1の立体形状と表面色を取得できる撮影装置を使用する。本実施の形態では撮影部位に応じて2種類の3Dスキャナを使用しており、一例として高解像度の3Dスキャナと、当該3Dスキャナよりも解像度が低い低解像度の3Dスキャナを用いる。一例として、高解像度の3Dスキャナにはデータ・デザイン社のArtec3Dスキャナ(以下「高解像度スキャナ」)1を用い、低解像度の3Dスキャナにはマイクロソフト社のKinect(登録商標)(以下「低解像度スキャナ」)2を使用している。
図1は、本発明に係る立体像形成方法の概要を表した説明図でありギリシャ数字の1、2、3は立体像を作製する行程を順に表している。
行程1は、立体像のモデルとなる被写体M1を撮影している状態を表している。本実施
例における被写体M1は実際の人間である。撮影には、3Dスキャナと称されている被写体M1の立体形状と表面色を取得できる撮影装置を使用する。本実施の形態では撮影部位に応じて2種類の3Dスキャナを使用しており、一例として高解像度の3Dスキャナと、当該3Dスキャナよりも解像度が低い低解像度の3Dスキャナを用いる。一例として、高解像度の3Dスキャナにはデータ・デザイン社のArtec3Dスキャナ(以下「高解像度スキャナ」)1を用い、低解像度の3Dスキャナにはマイクロソフト社のKinect(登録商標)(以下「低解像度スキャナ」)2を使用している。
高解像度スキャナ1は、最短距離0.4m〜最長距離1mの撮影範囲で0.1 mm 〜0.5 mmの解像度を有している。撮影範囲は 214mm×148mm(撮影距離0.4m) 〜536mm×371mm(撮影距離1m) であり、被写体M1に照射する光源にはフラッシュバルブを用いた構造化光を用いている。この高解像度スキャナ1は、形状を認識するために照射する構造化光を構成する光の幅が狭いため髪の毛などの線径の細いものは照射された光が散乱して高解像度スキャナ1の方に反射する成分が著しく低下する性質がある。このため、高解像度スキャナ1は頭髪の形状を取得することには不向きな装置と言える。
低解像度スキャナ2は、前記高解像度スキャナ1よりも解像度の低いスキャナであり、被写体M1に照射する構造化光を構成する光の幅が広いものを用いることで、形状を認識するための反射光量が十分得られ頭髪の形状を認識することができるようになっている。すなわち、低解像度スキャナ2とは、髪の毛の形状を取得できない高解像度のスキャナよりも解像度を低下させて髪の毛の形状を取得できる性能の3Dスキャナである。したがって、一台で高解像度と低解像度の切り替えができる装置であれば、撮影する部位によって解像度を変えて撮影を行い一台の3Dスキャナによって髪の毛を含む身体全体を撮像するようにしても構わないものである。高解像度の立体データと低解像度の立体データを使用することが本願発明の特徴の一つである。
行程1では、前記高解像度スキャナ1によって被写体M1の頭部から足先までの全身を
撮影し、前記低解像度スキャナ2によって頭髪を中心とした頭部を撮影するようになっている。
低解像度スキャナ2は、前記高解像度スキャナ1よりも解像度の低いスキャナであり、被写体M1に照射する構造化光を構成する光の幅が広いものを用いることで、形状を認識するための反射光量が十分得られ頭髪の形状を認識することができるようになっている。すなわち、低解像度スキャナ2とは、髪の毛の形状を取得できない高解像度のスキャナよりも解像度を低下させて髪の毛の形状を取得できる性能の3Dスキャナである。したがって、一台で高解像度と低解像度の切り替えができる装置であれば、撮影する部位によって解像度を変えて撮影を行い一台の3Dスキャナによって髪の毛を含む身体全体を撮像するようにしても構わないものである。高解像度の立体データと低解像度の立体データを使用することが本願発明の特徴の一つである。
行程1では、前記高解像度スキャナ1によって被写体M1の頭部から足先までの全身を
撮影し、前記低解像度スキャナ2によって頭髪を中心とした頭部を撮影するようになっている。
行程23は、前記高解像度スキャナ1によって取得した立体データと、低解像度スキャナ2によって取得した立体データを合成し、データ編集ソフトウエアが実行されるコンピュータ手段3を用いて立体造形装置4用の造形データを生成するものである。コンピュータ手段3を用いた造形データの生成方法については後述する。
行程3は、前記行程2において生成した造形データを立体造形装置4に入力し、造形物M2を生成する行程である。立体造形装置4は、入力された造形データに基づいて立体的な形状を生成しながら、立体の表面に着色を行う装置である。
行程3は、前記行程2において生成した造形データを立体造形装置4に入力し、造形物M2を生成する行程である。立体造形装置4は、入力された造形データに基づいて立体的な形状を生成しながら、立体の表面に着色を行う装置である。
以下、行程2を中心に本発明について説明する。
前記高解像度スキャナ1はデータの取得および編集を行うコンピュータ手段3に接続されており、撮影によって得られたスキャンデータは当該コンピュータ手段3に取り込まれるようになっている。また、3Dスキャナによって人間等を撮影する際、微少時間単位の撮影を複数回くり返しながら一定の面積をスキャンしてその部位の立体形状と色を取得し、これを1つのスキャンデータとして出力する。そして、この操作を全身の形状を網羅するように繰り返すことで、複数のスキャンデータに分割された立体形状と色のデータを取得することができる。
図2(a)は、高解像度スキャナ1で取得した分割されたスキャンデータの連結に関する説明図である。被写体M1の全身を撮影すると、分割されたスキャンデータは20前後の数になるので、コンピュータ手段3を用いて分割されたスキャンデータを結合する。
図2(a)では、一定数の結合が完了しているスキャンデータSC1と、当該スキャンデータSC1に結合するスキャンデータSC2を表示している。スキャンデータを結合する場合には、両者の特徴的な共通点(pt[0]〜pt[5])を一致させるようにして両者を重ね合わせることで行われる。この結合の際、スキャンデータの形状サイズや向きなどの微調整が行われる。スキャンデータSC1とスキャンデータSC2の位置合わせを終了すると図2(b)の状態になり、結合を確定することで図2(c)に示す、スキャンデータと共通フォーマットの連結データSG1が生成される。
この連結データSG1に対して上記と同様の手順で他のスキャンデータを順次結合することによって、被写体M1全身の立体データが得られる。
前記高解像度スキャナ1はデータの取得および編集を行うコンピュータ手段3に接続されており、撮影によって得られたスキャンデータは当該コンピュータ手段3に取り込まれるようになっている。また、3Dスキャナによって人間等を撮影する際、微少時間単位の撮影を複数回くり返しながら一定の面積をスキャンしてその部位の立体形状と色を取得し、これを1つのスキャンデータとして出力する。そして、この操作を全身の形状を網羅するように繰り返すことで、複数のスキャンデータに分割された立体形状と色のデータを取得することができる。
図2(a)は、高解像度スキャナ1で取得した分割されたスキャンデータの連結に関する説明図である。被写体M1の全身を撮影すると、分割されたスキャンデータは20前後の数になるので、コンピュータ手段3を用いて分割されたスキャンデータを結合する。
図2(a)では、一定数の結合が完了しているスキャンデータSC1と、当該スキャンデータSC1に結合するスキャンデータSC2を表示している。スキャンデータを結合する場合には、両者の特徴的な共通点(pt[0]〜pt[5])を一致させるようにして両者を重ね合わせることで行われる。この結合の際、スキャンデータの形状サイズや向きなどの微調整が行われる。スキャンデータSC1とスキャンデータSC2の位置合わせを終了すると図2(b)の状態になり、結合を確定することで図2(c)に示す、スキャンデータと共通フォーマットの連結データSG1が生成される。
この連結データSG1に対して上記と同様の手順で他のスキャンデータを順次結合することによって、被写体M1全身の立体データが得られる。
高解像度スキャナ1(高解像度と低解像度のモード切り替えができる装置の場合には高解像度モードで使用した3Dスキャナ)は、前述したように頭髪のスキャンには不向きなため、図2(a)に示すように頭髪部分にデータの欠損部分Kが生じている。この欠損部分Kを補うために、髪の毛のスキャンデータが取得できる程度に解像度の低い(低くした)低解像度スキャナ2を用いて、被写体M1の頭部、頭髪部を撮影してスキャンデータを取得する。
図3(a)は、低解像度スキャナ2で取得した頭部・頭髪部のスキャンデータであり、複数分割されている全てのスキャンデータを一つの編集画面上に2次元表示したものである。立体編集ソフトを用いて、図3(b)に示すように低解像度スキャナ2で取得した2つのスキャンデータSC3、SC4連結して図3(c)に示す連結データSC5を生成する。以下順次他のスキャンデータを連結すると、図4に示す低解像度スキャナ2で取得したスキャンデータに基づく図4(a)に示すような連結データSG2が得られる。図4(b)は、連結データSG2からテクスチャ(立体表面の模様や色彩)を取り除いた形状のみを示している。
図3(a)は、低解像度スキャナ2で取得した頭部・頭髪部のスキャンデータであり、複数分割されている全てのスキャンデータを一つの編集画面上に2次元表示したものである。立体編集ソフトを用いて、図3(b)に示すように低解像度スキャナ2で取得した2つのスキャンデータSC3、SC4連結して図3(c)に示す連結データSC5を生成する。以下順次他のスキャンデータを連結すると、図4に示す低解像度スキャナ2で取得したスキャンデータに基づく図4(a)に示すような連結データSG2が得られる。図4(b)は、連結データSG2からテクスチャ(立体表面の模様や色彩)を取り除いた形状のみを示している。
図5は、図2を用いて説明した高解像度スキャナ1で取得したスキャンデータを全て連結した連結データSG1と、図3、4を用いて説明した低解像度スキャナ2で取得したスキャンデータを全て連結した連結データSG2を連結する際の編集画面を表している。両連結データSG1、SG2をさらに統合して頭髪を含めた全身の立体データSG3を取得する。
上記立体編集ソフトによって生成した立体データSG3は、一例として形状データとして汎用性のあるobjファイルと、テクスチャに関するpngファイルと、形状とテクスチャを関連づけるstlファイルによって構成される。
上記立体編集ソフトによって生成した立体データSG3は、一例として形状データとして汎用性のあるobjファイルと、テクスチャに関するpngファイルと、形状とテクスチャを関連づけるstlファイルによって構成される。
次に、前記統合した立体データSG3について立体形状の修正や欠けの修復を行う。当該立体形状の修正や欠けの修復は、ポリゴンデータの修正を行うことができる立体編集ソフトを用いるが、高解像度スキャナ1で取得したデータは解像度が高くデータ量が大きいため、そのままポリゴンの編集を行ったのではコンピュータの処理速度が低下する。このため、外観形状の品質を劣化させない程度に、複数のポリゴンを統合してポリゴン数を減少させる処理を行う。そして、このように減少させたポリゴンデータを基にして、形状の修正を行う。
ポリゴンデータは、立体表面を三角形や四角形といった多角形平面を網目状につなげることで立体表面の形状に近似させたものであり、各多角形平面はこれを囲う線分、頂点、面の法線ベクトル、色等のパラメータで定義されるようになっている。そして、各多角形平面の最小の辺の長さを1〜2mm(L)、0.5〜1mm(M)、0.2〜0.3mm(S)等のように設定することで、ポリゴン数を増やして表面を滑らかに近似させたり、ポリゴン数を少なくして荒く近似させることができるようになっている。
ポリゴンデータは、立体表面を三角形や四角形といった多角形平面を網目状につなげることで立体表面の形状に近似させたものであり、各多角形平面はこれを囲う線分、頂点、面の法線ベクトル、色等のパラメータで定義されるようになっている。そして、各多角形平面の最小の辺の長さを1〜2mm(L)、0.5〜1mm(M)、0.2〜0.3mm(S)等のように設定することで、ポリゴン数を増やして表面を滑らかに近似させたり、ポリゴン数を少なくして荒く近似させることができるようになっている。
図6(a)は、説明のための立体モデル10であって、スキャンデータであるポリゴンに欠けがある場合の例示を示している。立体モデル10は、円柱状の湾曲面11,12を有しており、その湾曲面11,12にポリゴンの欠けた領域13,14が生じている。このような欠けは、撮影時に3Dスキャナから影になったり、検出光の乱反射などによって形状を認識できなかった場合に生じる部分である。人体をモデルにする場合、衣服のシワ、脇の下等に影は生じるものであり、光沢面による乱反射で生じる欠けの発生を防ぐのは非常に困難である。
欠けの部分は、ポリゴンデータが無い若しくは異常な形状になっているので、立体形状を編集するソフトウエアを用いて、欠けた領域13,14にポリゴンを構成する多角形平面を付け足したり変形する編集を行う。具体的には、欠けた領域13に三角形によって定義される小さな面15a、15b・・・を複数生成しながら欠損部分を補う面15を生成し、欠けた領域14に三角形によって定義される小さな面16a、16b・・・によって欠損部分を補う面16を生成することで表面全体の欠損を修復する。
欠けの部分は、ポリゴンデータが無い若しくは異常な形状になっているので、立体形状を編集するソフトウエアを用いて、欠けた領域13,14にポリゴンを構成する多角形平面を付け足したり変形する編集を行う。具体的には、欠けた領域13に三角形によって定義される小さな面15a、15b・・・を複数生成しながら欠損部分を補う面15を生成し、欠けた領域14に三角形によって定義される小さな面16a、16b・・・によって欠損部分を補う面16を生成することで表面全体の欠損を修復する。
なお、前記形状の欠損を修復する場合には、他のポリゴンも色を表示しない状態で行っている。これは、3次元形状の編集ソフトウエアによって形状と色彩の双方を同時に扱うことは、処理するデータ量が膨大になりコンピュータにとって負荷が大きく処理時間が長くかかってしまうからである。
図6(b)は、ポリゴンの修復が完成した立体データSG3の一部分(頭部)を表している。
図6(b)は、ポリゴンの修復が完成した立体データSG3の一部分(頭部)を表している。
図7(a)は、形状を修正した立体データ(ポリゴン)を2次元に展開した絵柄であり、背景の単一色部分17はデータの無い部分であり、白い細線はポリゴンの網目であり、白色の濃い部分18はポリゴンが密なところであり、白色の薄い部分(黒っぽく見えている部分)19はポリゴンが粗なところを表している。
図7(b)は、図7(a)に示したポリゴンの網目に、スキャンデータとして保有している色を重ねたものである。欠損しているポリゴンデータを修正した部分(矢示した部分)は、3Dスキャナによるデータを取得できなかった部分であるからスキャンデータとしてポリゴンに対応した色は無い。このため、付け足したポリゴンに対応する部分には背景色と同じ色がpngファイル内に保持される。
図7(b)は、図7(a)に示したポリゴンの網目に、スキャンデータとして保有している色を重ねたものである。欠損しているポリゴンデータを修正した部分(矢示した部分)は、3Dスキャナによるデータを取得できなかった部分であるからスキャンデータとしてポリゴンに対応した色は無い。このため、付け足したポリゴンに対応する部分には背景色と同じ色がpngファイル内に保持される。
前記処理によって形状の修復が完了した後は、ポリゴンの表面に対応付けられた色(テクスチャ)の修正を行う。ポリゴンに対応した色が無いと、造形した際に無着色部分が生じることになるので、当該部位にテクスチャとして着色を行う。立体編集ソフトは、前述の通り、図7(a)、 図7(b)に示した画像からポリゴン情報を除いたテクスチャ情報である2次元画像(pngファイル)を出力することができ、またその逆にテクスチャ情報として2次元画像(pngファイル)を取り込んで立体のポリゴン表面に貼り付けるテクスチャを取得できるようになっている。
この機能を利用して、前述した無着色部分の色の修復には、色情報の無い部分を含む2次元画像をPhotoshop(Adobe社の登録商標)等の2次元用の画像処理ソフトを用いて編集し、欠損しているテクスチャの修復を行って再び立体編集ソフトに取り込むことで、外観上において立体の欠けや色彩の欠如の無い立体造形データを生成することができる。
この機能を利用して、前述した無着色部分の色の修復には、色情報の無い部分を含む2次元画像をPhotoshop(Adobe社の登録商標)等の2次元用の画像処理ソフトを用いて編集し、欠損しているテクスチャの修復を行って再び立体編集ソフトに取り込むことで、外観上において立体の欠けや色彩の欠如の無い立体造形データを生成することができる。
2次元用の画像処理ソフトを用いるのは、扱うデータが立体データを含まない画像のみであるので、立体データを保有したまま処理する場合と比較して扱うデータが軽く、編集する際の処理待ち時間などを無視できるほどに短縮することができるからである。また、立体データの編集ソフトは、2次元用の画像処理ソフトとは異なり、ほぼ専門家が使用するものであって操作方法の所得にも多大な工数を要するからである。このような理由から、欠落部分の着色(テクスチャ補修)には2次元用の画像処理ソフトを用いている。
図8は、前記立体編集ソフトが出力するpngファイルを用いて、修復が必要なテクスチャの欠損部位を明らかにするための処理手順を表している。
図8(a)は、立体編集ソフトが出力したpngファイルの画像を表している。この出力された画像は、立体情報の無い背景の部分とテクスチャデータの欠損している部分が同じ黒色(RGBが全て0)で表示されている。
この画像上からテクスチャ領域以外の背景のみを削除できればテクスチャの欠損部分が明確にすることができるが、背景と欠損部分は同一の黒色であるので画像処理ソフト上で両者を区別することができない。このため、以下の手順によってテクスチャの欠損部分を明確にする処理を行う。
図8(a)は、立体編集ソフトが出力したpngファイルの画像を表している。この出力された画像は、立体情報の無い背景の部分とテクスチャデータの欠損している部分が同じ黒色(RGBが全て0)で表示されている。
この画像上からテクスチャ領域以外の背景のみを削除できればテクスチャの欠損部分が明確にすることができるが、背景と欠損部分は同一の黒色であるので画像処理ソフト上で両者を区別することができない。このため、以下の手順によってテクスチャの欠損部分を明確にする処理を行う。
第一に、前記立体編集ソフトが出力した背景と欠損部分は同一の黒色である図8(a)に示す画像から、黒色(RGBが全て0)の部分の色彩を削除(透過色)にする。この処理手順として、RGBが全て0のみを領域指定する処理を行い(図8(b))、選択された領域(図8(c))を削除する。この処理によって、この画像上にあるRGBが全て0で着色されていた部分が透過領域になる(図8(d))。透過領域というのは、画像処理ソフト上の多層(レイヤー)表示をした際に、下層にある画像が上の層にある画層を透過して見えるようになる部分である。
次に、立体編集ソフトの機能によって、無テクスチャ部分を含むポリゴンが存在する全ての領域を表す画像を出力する。この画像は、前記pngファイルの出力時に、オリジナルの色彩を保有した画層と、ポリゴンが存在する領域を表した画層とを含む同一ファイルとして出力しても構わない。
図9は、立体編集ソフト上において、無色のテクスチャ部分を含むポリゴンが存在する全領域を示す画像を生成した状態を示している。この画像を、前記図8(d)に示した画像の下にレイヤーとして重ねることで、図8(d)に示された画像に加えて無色のテクスチャ領域が画像上に示される。
図9は、立体編集ソフト上において、無色のテクスチャ部分を含むポリゴンが存在する全領域を示す画像を生成した状態を示している。この画像を、前記図8(d)に示した画像の下にレイヤーとして重ねることで、図8(d)に示された画像に加えて無色のテクスチャ領域が画像上に示される。
図10(a)は、前記の行程によって形成された無色のテクスチャ領域を含むテクスチャ画像を示している。無色の部分や背景色には、次に行う無色部分への着色作業を容易にするために、予め領域の境界を明確にするためにコントラストの高い色が着色される。
図10(b)は、無色のテクスチャ部分に必要な彩色を行った画像を示している。テクスチャ部分対する彩色は、無色領域の周辺にある一定領域をコピーして貼り付けたり、抽出した色を塗るなどの一般的な画像処理が行われる。このように生成した画像を、前記立体編集ソフトに読み込んで立体の表面に表示すると図10(c)に示すように、画像処理ソフト上で独立して表示されていた各テクスチャ領域の輪郭に沿って輪郭線が表出する。
図10(b)は、無色のテクスチャ部分に必要な彩色を行った画像を示している。テクスチャ部分対する彩色は、無色領域の周辺にある一定領域をコピーして貼り付けたり、抽出した色を塗るなどの一般的な画像処理が行われる。このように生成した画像を、前記立体編集ソフトに読み込んで立体の表面に表示すると図10(c)に示すように、画像処理ソフト上で独立して表示されていた各テクスチャ領域の輪郭に沿って輪郭線が表出する。
この輪郭線は、画像処理における領域の削除等にともなって、輪郭部分において僅かにポリゴンに対応する色彩を失うことによるものである。この輪郭線の表出を防止するために、前述した図10(b)に示す画像に対して、各テクスチャ画像の輪郭をぼかす処理を行う。輪郭をぼかす処理というのは、画像処理ソフトに設けられている機能であるが、輪郭線を中心とした一定幅の領域を設けて画像の外縁を広げ、この一定幅の中で輪郭の外側に向かって次第に無着色へと色彩を変化させたり周辺色に近似させる処理である。すなわち、輪郭をやや広げるとともに境界を不鮮明にする画像処理である。
このような処理を行った画像が図11(a)に示す画像であり、このように生成した画像をテクスチャを保有した画像ファイルとして立体編集ソフトに戻すと、輪郭に継ぎ目のないきれいなテクスチャを有した立体データが生成される。
そして、上記行程によって生成された立体データを造形データとして立体造形装置4に入力すると、所定の大きさの造形物が生成される。
このような処理を行った画像が図11(a)に示す画像であり、このように生成した画像をテクスチャを保有した画像ファイルとして立体編集ソフトに戻すと、輪郭に継ぎ目のないきれいなテクスチャを有した立体データが生成される。
そして、上記行程によって生成された立体データを造形データとして立体造形装置4に入力すると、所定の大きさの造形物が生成される。
本発明は、光学的に撮影したデータに基づいて被写体の立体像を形成する立体データの生成、立体造形物の製造に利用可能である。
1 高解像度スキャナ
2 低解像度スキャナ
3 コンピュータ手段
4 立体造形装置
2 低解像度スキャナ
3 コンピュータ手段
4 立体造形装置
Claims (3)
- 被写体に照射した構造化光の反射像を撮影して被写体の立体形状を取得するとともに当該被写体表面を撮影した画像を前記立体形状に対応させて出力する高解像度の3Dスキャナによって前記被写体の立体形状と表面画像を取得し、
前記高解像度の3Dスキャナよりも解像度の低い低解像度の3Dスキャナを用いて前記被写体の立体形状と表面画像を取得し、
前記双方の3Dスキャナによって取得した立体形状および画像を合成することによって、一方の3Dスキャナによって取得したデータの欠落部分を他方の3Dスキャナによって取得したデータによって補うことで、被写体に関する一つの立体データを生成することを特徴とする立体データの生成方法。 - 前記立体データの一部に欠落が生じている場合に、当該欠落した部位のポリゴンを立体編集ソフトによって補うとともに、
前記ポリゴンを補った立体データに対応するテクスチャを2次元画像として出力するとともに、当該2次元画像において欠落しているテクスチャを2次元画像編集ソフトを用いて補い、
当該テクスチャを補った画像データを前記立体データに対応するテクスチャとして取り込むことによって前記立体データを修正することを特徴とする請求項1記載の立体データの生成方法。 - 前記2次元画像の欠落したテクスチャを修正する処理において、複数に分割されている個々のテクスチャの輪郭部にぼかし処理を行うことを特徴とする請求項2記載の立体データの生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013028483A JP2014157518A (ja) | 2013-02-16 | 2013-02-16 | 立体データの生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013028483A JP2014157518A (ja) | 2013-02-16 | 2013-02-16 | 立体データの生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014157518A true JP2014157518A (ja) | 2014-08-28 |
Family
ID=51578347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013028483A Pending JP2014157518A (ja) | 2013-02-16 | 2013-02-16 | 立体データの生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014157518A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018196733A (ja) * | 2018-07-03 | 2018-12-13 | 株式会社モリタ製作所 | 口腔内三次元計測方法及び口腔内三次元計測装置 |
WO2022215281A1 (ja) * | 2021-04-06 | 2022-10-13 | 株式会社スタークラフト | クラシックカー部品の製作システム |
-
2013
- 2013-02-16 JP JP2013028483A patent/JP2014157518A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018196733A (ja) * | 2018-07-03 | 2018-12-13 | 株式会社モリタ製作所 | 口腔内三次元計測方法及び口腔内三次元計測装置 |
WO2022215281A1 (ja) * | 2021-04-06 | 2022-10-13 | 株式会社スタークラフト | クラシックカー部品の製作システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100914845B1 (ko) | 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치 | |
US9773302B2 (en) | Three-dimensional object model tagging | |
CN108323179B (zh) | 检查系统及检查方法 | |
JP2008145431A (ja) | 3次元表面形状再構築のための装置および方法 | |
EP1544800A3 (en) | CAD modeling system and method | |
KR101715325B1 (ko) | 3차원 스캔 기술을 사용한 사진 설계 도면 제공 방법 및 시스템 | |
KR102222290B1 (ko) | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 | |
JPWO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
KR20190040746A (ko) | 3차원 관심영역 복원 시스템 및 방법 | |
JP4456029B2 (ja) | 回転体の三次元情報復元装置 | |
JP2014157518A (ja) | 立体データの生成方法 | |
JP5921330B2 (ja) | 画像処理方法 | |
JP2000185060A (ja) | 歯牙のマ―ジンライン抽出法 | |
CN111243062A (zh) | 一种将平面壁画转化为立体高清数字壁画的制作方法 | |
JP6282157B2 (ja) | 形状認識装置 | |
KR101817756B1 (ko) | 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법 | |
JP5969105B1 (ja) | 撮影装置および撮影方法 | |
JP4888023B2 (ja) | 物体の反射特性データの作成方法および作成装置 | |
JP6557319B2 (ja) | 三次元画像処理装置、三次元画像処理装置用ヘッド部、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4218283B2 (ja) | ターゲット投影式3次元形状計測方法および装置 | |
JP2001084408A (ja) | 3次元データ加工装置及び方法並びに記録媒体 | |
JP4075778B2 (ja) | 擬似的3次元画像生成装置、擬似的3次元画像生成方法及び擬似的3次元画像生成プログラム | |
JP7197211B2 (ja) | 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム | |
JP6843319B2 (ja) | 情報処理装置、プログラム及び情報処理方法 |