JP2022546045A - 複数の部品を備える対象物の３次元ワイヤーフレームモデルを生成するコンピュータ実装の方法 - Google Patents

Abstract

【課題】データサイズを抑制しながらも高品質の表現を可能にする３次元ワイヤーフレームモデルを、対象物の構成要素の重要度に応じて生成する。【解決手段】複数の部品を備える物体（２）の３次元ワイヤーフレームモデル（１３）を生成する、コンピュータに実装された方法（１００）が、ボクセルマップを生成するように、対象物（２）を、好ましくはコンピュータ断層撮影法（１０ａ）で、スキャンするステップ（１０）と、各部品モデルが対象物の１つの部品に相当している、複数の前記部品モデル（１５）にセグメント化するステップ（１４）と、前記部品を部品クラス（ｃ１、ｃ２、．．ｃｎ）に分類する（１６）ステップと、３次元ワイヤーフレーム部品モデルの品質が各クラス（ｃ１、ｃ２、．．ｃｎ）に対してユーザによって独立して選択される少なくとも１つの品質変数に依存する、各部品の３次元ワイヤーフレーム部品モデルを生成する（１８）ステップとを備える。テクスチャは、写真測量及び／又は物理ベースレンダリングによってモデルに適用することがある。

Description

本発明は、物体の体積スキャンに基づいて、物体の３次元モデルを生成するコンピュータ実装方法に関する。特に、本発明の方法は、対象物の仮想ツインを生成する。

ソフトウェアゲームやコンピュータアニメーションの映画やビデオは、３次元モデルに対する需要の高まりに依存している。現在、これらの分野のアニメーションは、アーティスト又はエンジニアが３次元モデリングソフトウェアを搭載したコンピュータで作成した３次元ワイヤーフレームモデルに主に依存している。これは、複雑な対象物のモデリングには最大で数週間かかる可能性のある、面倒で作業量の多い手順である。

また、実世界の対象物をスキャンして３次元ワイヤーフレームモデルを作成し、そこからワイヤーフレーム３次元モデルを計算可能な点群を生成することも提案されている。ただし、写真測量、トフ（ＴｏＦ）型３次元レーザースキャナー、三角測量レーザースキャナーなどの一般的な３次元スキャナーは、対象物の外面しかスキャンできないため、対象物の内部の部分や構成要素の３次元表現を生成できない。これらの内部の部分は、多くの場合、モデルの一部である必要がある。例えば、シナリオの一部として、対象物を開いたり、部分に分けたり、分解したりする必要がある場合である。

コンピュータ断層撮影、マイクロトモグラフィー、磁気共鳴画像（ＭＲＩ）などの体積スキャンも、対象物とその内部のデジタル表現の取得に使用されている。特に、体積スキャンは、医療の観察と診断の医療分野で、あるいは非破壊材料検査、リバースエンジニアリング、あるいは生物学的及び古生物学的標本の研究の業界で広く使用されている。これは、選択したレイヤーを２次元表面に投影することで表されることが多い、３次元のボクセルマップを生成する。ボクセルマップは、対象物のボリューム全体を非常に正確に表現するが、多くの場合、非常に大量のデータファイルが生成されるため、高速レンダリング、高速操作、及び限られたストレージ要件が必要なアニメーションやゲームソフトウェアへの適合性が低くなる。

表現のサイズを縮小するために、コンピュータ断層撮影（ＣＴ）によって提供されるそのような３次元ボクセルマップから３次元ワイヤーフレームモデルを計算することも提案されている。一例として、特許文献１（ＵＳ２００１０４４５７６Ａ）は、医学的観察及び診断用に、選択された体の器官について、インタラクティブに３次元レンダリングを行う方法を開示している。特許文献１では、一連のＣＴ画像を積み重ねて３次元ボリュームファイルを形成する。選択されたボリューム又はサブボリュームから、選択された体の器官の画像がセグメント化又は分離される。次に、分割された器官画像のワイヤーフレームモデルが生成され、選択した器官のインタラクティブな３次元レンダリングが可能になる。

別の解決策は、例えば、磁気共鳴画像法、コンピュータ断層撮影法、及び３次元血管造影法を使用して３次元モデルからデータを導出することを備える、血管内視鏡検査用に身体部分の血管に仮想造影剤を提供する方法を開示する特許文献２（ＵＳ６７１１４３３Ｂ）で提案されている。ボクセルマップデータは、血管のセグメント化された３次元モデルを提供すべくセグメント化される。次に、３次元モデルは、第１手続き画像を持って登録され、「仮想カメラ変数」が取得される。

医療分野から離れたところでは、複雑な産業用物体の検査及び視覚化が特許文献３（ＷＯ２０１８／１２７７１５Ａ１）に開示されていて、この文献は、例えば、車両の複雑なエンジンのような、対象物の複数部品の３次元モデルの取得方法を提供している。この方法は、物体をスキャンして２次元のＸ線データを生成するステップを備え、その生成データを処理して多重解像度の３次元Ｘ線データを取得するステップを備える。３次元のＸ線データは、すなわち、対象物の各基本ボリューム（「ボクセル」）のグレースケール表現とされている。

次に、３次元Ｘ線データは（複数の）サブセットに分割される。各サブセットには数十以上の構成要素が含まれている。サブセットは、対象物のモジュール又はサブアセンブリ（下位の組立部材）に対応する場合がある。次に、各サブセットが処理され（例えば、アルゴリズムを使用して画像を鮮明にし、画像のアーティファクトを減らし、コントラストを改善するなど）、処理によってサブセットごとに異なる画質が得られる場合がある。それから、非一様有理Ｂスプラインなど（ＮＵＲＢＳｓ）のような、つながっている表面の集合体としての表現を使用して、各構成要素のＣＡＤモデルが生成される。異なるサブセットの構成要素の表現の品質は、このサブセットに適用される画像処理に応じて異なる場合があるが、構成要素の表現のサイズは、それらが属するサブセットに依存しない。最適化はボクセルドメインでのみ行われる。

コンピュータ断層撮影装置などの体積スキャナーによって提供される３次元ボクセルマップから生成される次元ワイヤーフレームモデルは、ＣＴ装置によって提供されるデータファイルの解像度が高いため、通常、非常に多くのポリゴンを持っている。したがって、データファイルは非常に重く、ストレージと処理用に多くのストレージスペースとコンピューティングパワーを必要とする。この３次元ワイヤーフレームモデルの高解像度は、１つの２次元画像で細部を検出する必要がある医療や産業のアプリケーションで望ましい場合があるが、コンピュータゲームやビデオアニメーションは、レンダリングを高速化するために低いポリゴン数の、多くの３次元ワイヤーフレームモデルに依存している。

３次元最適化ソフトウェアが、それゆえ、３次元ワイヤーフレームモデルの単純化用と、３次元ワイヤーフレームモデルのサイズの縮小用に、従来技術で広く使用されている。これらの方法は、モデルのポリゴン数を減らすのに効率的であるが、モデルのサイズに影響を与えられるであろう他の変数には影響していない。

例えば、複雑な対象物のさまざまな構成要素など、対象物のさまざまな部分で、さまざまな品質の表現が必要になることがよくある。例として、装置の仮想表現の外面は、表示されることが比較的少ない内面よりも正確な表現を必要とすることがよくある。

しかしながら、複雑なモデルの全ての部分が同じ最適化の対象になる。したがって、最適化は、最高品質のレンダリングを必要とする対象物の部品又は構成要素（外面など）に適合させる必要がある。低品質のモデルで表せる同じ対象物の部分の最適化は、最適ではない。繰り返しになるが、これにより、低品質であればよいモデルの一部でさえ高品質の３次元ワイヤーフレームモデルで表されるため、操作が重くて遅い３次元ワイヤーフレームモデルが生じる結果となるかもしれない。

複雑な対象物のさまざまな構成要素に対して、さまざまな品質の３次元ワイヤーフレームモデルのマニュアルでの定義を検討してよいかもしれない。ただしこれは、対象物にモデルの品質の個別の調整を要する構成要素が大量に含まれている場合、非常に面倒な処理になるだろう。

米国特許出願公開第２００１／０４４５７６号明細書 米国特許第６７１１４３３号明細書 国際公開第２０１８／１２７７１５号

本発明の課題は、上記の不利な点の少なくとも一部を回避又は軽減することである。

特に対象物の重要部分に対して、限定されたデータサイズではあるが、依然高品質の、対象物の３次元ワイヤーフレームモデルの生成が望まれているであろう。

モデルの色とテクスチャのレンダリングの改善も望まれているであろう。

本発明によれば、これらの目的は、以下のステップを含む、複数の部品を含む物体の３次元ワイヤーフレームモデルを生成するコンピュータ実装方法によって達成される。
ボクセルマップを生成するために、好ましくはコンピュータ断層撮影法を使用して対象物をスキャンするステップと、
複数の部品モデルにセグメント化し、各部品モデルは対象物の１つの部品に対応する。
上記の部品を部品クラスに分類するステップと、
各部品の３次元ワイヤーフレーム部品モデルを生成するステップであって、３次元ワイヤーフレーム部品モデルの品質は、クラスごとにユーザが個別に選択した少なくとも１つの品質変数に依存する、ステップ。

したがって、対象物のさまざまな部分のセグメンテーションと分類を使用して、限られた数の部分のクラスを定義し、各クラスに適用するモデルの品質を定義できる。

クラスは好ましくはユーザ定義である。ユーザは新しいクラスを定義できる。

部品のクラスへの分類は、好ましくは、人工ニューラルネットワークなどの自己学習モジュールを使用して生成する。

ユーザが、自己学習システムに、部分を新しいクラスに分類する方法、又は既存のクラスへの分類を改良する方法を教えるようにしてよい。自己学習システムはこのフィードバックでトレーニングされ、他の部分の分類を改良する。

少なくとも１つのクラスには複数の部品が含まれる。クラスの品質を適合させると、そのクラスの各部品の３次元ワイヤーフレーム部品モデルの品質に自動的に影響する。

一実施形態では、この方法は、スキャンされた対象物について、以前生成された静的３次元ワイヤーフレームモデルから動的３次元ワイヤーフレームモデルを生成する。動的３次元モデルは、さまざまな部品が質量、重心、剛性などの物理的特性に関連付けられているモデルであるので、このモデルがシミュレーションやビデオゲームで使用されると、その環境に現実的な道理で反応できる。例えば、このような動的な３次元ワイヤーフレームモデルに適用される仮想の力が、対象物の質量、重心、及び／又は剛性に依存している対象物の表現に影響を与える。

計算するステップと、セグメント化のステップと、分類するステップと、適合するステップとの少なくとも１ステップは、好ましくは、ユーザの介入なしに（各クラスに必要な品質の定義を除いて）実行され、それにより、３次元ワイヤーフレームモデルの生成処理を促進する。

一実施形態では、セグメント化するステップは、ボクセルマップ上で実行され、各分割された部分に相当する複数の部分のボクセルマップをもたらす。各部品ボクセルマップは、その後、３次元ワイヤーフレーム部品モデルに変換される。

方法の他のステップは、セグメンテーション（セグメント化のステップ）が実行されるデータの方法とタイプに依存していない。

代替的に、対象物のボクセルマップが単一の３次元ワイヤーフレームモデルに変換され、その後、複数の３次元ワイヤーフレームモデルにセグメント化される。

好ましくは、各部品の品質変数は、その部品を表すために使用されるポリゴンの数を決める。

３次元ワイヤーフレーム部品モデルの品質を適合するステップは、部品に対して最適化された３次元ワイヤーフレーム部品モデルの計算を備えることがあり、各部品のポリゴンの数は、前記品質変数に依存している。

好ましい方法では、ある部品の品質変数が、その部品にテクスチャと色との少なくとも一方を適用するか否かを決める。

よって、３次元ワイヤーフレームモデルの品質を適合することは、テクスチャと、色との少なくとも一方を１つの部品に適用する必要があるかどうかの決定を備えることがある。

ある部品の品質変数は、好ましくは、部品の質量と、重心との少なくとも一方を決定すべきか否かを決める。

好ましくは、１つの部品の品質変数は、部品の破壊点又は破壊線の数を決める。

好ましくは、少なくとも１つの品質変数を適合するステップは、各クラスに対して複数の品質変数を個別に適合するステップを備える。

より好ましくは、少なくとも１つの品質変数を適合するステップは、グローバルな品質係数を選択するステップを備える。

さらに、対象物は、少なくとも１つの構成要素を備えていて、前記構成要素の１つは、異なる品質を有する異なる３次元モデルが適用されるべき、複数の部分を備えている。

より好ましくは、前記クラス（複数）は、次の、不活性物体、内部構成要素の少なくとも一方を備える。

さらに、前記クラス（複数）は、次の、外面、内面の少なくとも一方を備える。

好ましくは、１つの自己学習モジュールが、前記セグメンテーション（セグメント化のステップ）に使用される。

この方法は、コンピュータ断層撮影法で物体をスキャンするステップと、写真測量法で物体の色とテクスチャとの少なくとも一方を取得するさらなるステップとを備えてもよい。したがって、少なくとも対象物の外面の、色とテクスチャとの少なくとも一方のレンダリングの高い品質を達成できる。

写真測量法による物体の色とテクスチャとの少なくとも一方の取得は、コンピュータ断層撮影法によるスキャンとは異なる、物体のスキャンを含み得る。

この方法は、コンピュータ断層撮影スキャンから生成されたデータを、写真測量と物理ベースのレンダリングとの少なくとも一方から生成されたデータに登録するステップを備えてよい。

登録には、対象物の参照マークを使用することがある。

参照マークは手動で追加することがある。代替的に、参照マークが自動的に抽出され、参照マークが、例えば対象物の縁部又は角部に相当していることがある。

色とテクスチャとの少なくとも一方は、物理ベースレンダリング法を使用して対象物のレンダリングを改良するために、前記ワイヤーフレームに適用されることがある。

色とテクスチャとの少なくとも一方は、対象物の部品へのセグメンテーションを改善するために使用されることがある。例えば、色とテクスチャとの少なくとも一方の変化が検出されることがあり、そして２つの隣接する部分の間の境界に相当することがある。

色とテクスチャとの少なくとも一方はまた、あるいは代替的に、クラスを部分に分類するために使用されることがある。例えば、微細構造を持つ部品は、微細なテクスチャを持つ部品よりも微細なモデルで記述される部品のグループに分類されることがある。

写真測量は、対象物の外面の色やテクスチャのみを示すものとしてよい。方法は、前記対象物の内面の色とテクスチャとの少なくとも一方を仮定するステップを備えてよい。

仮定は、対象物の部分の内面／内部の材料と外観との少なくとも一方の決定用に、コンピュータ断層撮影スキャンから生成されたデータと写真測量から生成されたデータとの少なくとも一方を使用することがある。

前記対象物の内面の最も可能性の高い色とテクスチャとの少なくとも一方を決めるのに、仮定（するステップ）は、人工知能システムのような分類システムを使用することがある。

少なくとも１つの３次元モデルデータファイルをオンラインプラットフォームに保存して、複数のユーザにとって利用可能にすることがある。

本発明はまた、複数の部品を含む物体の３次元ワイヤーフレームモデルを生成するコンピュータ実装方法に関する。この方法は、
ボクセルマップを生成するために、コンピュータ断層撮影法で対象物をスキャンするステップと、
対象物の外面の色とテクスチャを取得するために、写真測量によって対象物をスキャンするステップと、
コンピュータ断層撮影によって取得されたデータと写真測量によって取得されたデータを整列するステップと、
対象物の３次元モデルを生成するステップと
を備える。

本発明は、例として与えられ、次の図に描かれている、実施形態の説明の助けを借りて、よりよく理解されるであろう。

図１は、本発明のコンピュータ実装方法の可能な実施形態の様々なステップを示す。 図２ａは、ユーザインタフェースの第１の実施形態の画面表示を示す。図２ｂは、ユーザインタフェースの第１の実施形態の画面表示を示す。 図３は、写真測量と、物理ベースレンダリング（ＰＢＲ）スキャンシステムとの少なくとも一方によって生成された画像ファイルの例を示す。

本発明によれば、コンピュータで実施される方法は、対象物のいわゆる仮想ツインを生成する、対象物の３次元ワイヤーフレームモデルを生成する一連の方法ステップを提供する。

図１に示すように、この方法は、好ましくはコンピュータ断層撮影（ＣＴ）法によって、実世界の物体を体積スキャンするステップ１０を備える。ＣＴスキャンは、医療分野と製造業の両方で、検査目的で確立された方法である。ＣＴスキャンは、ボクセル１１０のセットを備えるボクセルマップ１１を生成し、各ボクセルは、その位置及び少なくとも１つの値によって定義される。ボクセルマップは、トリミング、ノイズの除去、一部又は各ボクセルへの色値の追加などによって後処理される場合がある。

ステップ１２では、３次元ワイヤーフレームモデル１３がボクセルマップから計算される。このモデルは静的である。つまり、縁部１３０（線）と頂点１３１のみを備え、質量、重心、又は剛性に関する情報は含んでいない。

選択的ステップ１２ａでは、対象物の外面の色及びテクスチャ（表面の質感）を表す２次元（２Ｄ）画像ファイル１４を生成するために、写真測量スキャンシステムを使用して対象物がスキャンされる。そのような画像ファイル１４の例を図３に示す。

コンピュータ断層撮影スキャンから生成されたワイヤーフレームモデル又は部品モデルは、写真測量によって生成された２Ｄ画像データと位置合わせされる。

一例では、写真測量によって生成された２Ｄ画像ファイルは、テクスチャ及び着色された外面を持つ対象物のワイヤーフレーム表現１４０を生成するために、ワイヤーフレームモデルの外面に巻き付けられる。

登録では、対象物に、特性などの参照マークを使用することがある。この参照マークは、２つのスキャン手順以前に対象物に手動で追加することがある。代替的に、参照マークが自動的に抽出され、例えば対象物の縁部又は角部に対応する場合もある。

代替的に、色と、テクスチャとの少なくとも一方が、ユーザによるマニュアル選択と、各表面の性質又は材料の分析に基づく自動決定との少なくとも一方がなされるものとしてよい。

写真測量は、対象物の外面の色と、テクスチャとの少なくとも一方のみを示すとしてよい。方法は、前記対象物の内面の色とテクスチャとの少なくとも一方を仮定するステップを備えることがある。

対象物の内面の色とテクスチャとの少なくとも一方の仮定は、対象物の内面や内部の材料と外観との少なくとも一方を決定するために、コンピュータ断層撮影スキャンから生成されたデータと写真測量から生成されたデータとの少なくとも一方を使用することがある。

前記対象物の内面の、最も可能性の高い、色とテクスチャとの少なくとも一方を決定するため、その仮定は、人工知能システムなどの分類システムを使用することがある。

別の実施形態では、色とテクスチャとの少なくとも一方が、後の段階で、３次元ワイヤーフレーム部品モデルの一部又は全てに追加される。

色とテクスチャとの少なくとも一方は、例えば、線間の表面の少なくとも一部にテクスチャ及び／又は色を追加するため例えば、物理ベースのレンダリング（ＰＢＲ）方法を使用して、対象物のレンダリングを改善すべく前記ワイヤーフレームに適用されることがある。

ステップ１４で、３次元ワイヤーフレームモデル１３は、複数の３次元ワイヤーフレーム部品モデル１５Ａ、１Ｂなどにセグメント化される。各３次元ワイヤーフレーム部品モデルは、対象物の一部を表す。部品は、例えば、単独の構成要素、又は対象物の目立つ表面であるかもしれない。この例では、第１の部分１５Ａは、より高い解像度を必要とするより短い縁部を有する部分１５０を備える。

一例では、例えば時計の個々の歯車などの複数の構成要素を備える機械的物体の各構成要素は、このセグメンテーションステップによって別個の３次元ワイヤーフレーム部品モデルが得られる部品である。

別の例では、単一の構成要素は、例えば、内面及び外面などの別個の表面を備えることがあり、セグメンテーションによって別個の３次元ワイヤーフレーム部品モデルが得られる異なる部品を表す。

セグメンテーションは、例えば、２つの部品間の空の体積の検出と、部品間の材料又は密度の違いとの少なくとも一方に基づくことがある。一部の部品は、例えば外部部品と内部部品を区別するために、それらの位置に基づいて分離される場合もある。一部の部品は、例えば部品間に線を引くなど、ユーザインタフェースでユーザが手動で識別するようにしている場合がある。

写真測量によって決定された色及び／又はテクスチャは、対象物の部品へのセグメンテーションの改善に使用されることがある。例えば、色及び／又はテクスチャの変化が検出されることがあり、その変化が２つの隣り合う部分の間の境界に相当するものとすることがある。

セグメンテーションステップ１４は、完全に又は部分的に自動化されることがあり、異なる（複数）部分を分離すべく、既知のセグメンテーションアルゴリズム、あるいは機械学習／人工ニューラルネットワークモジュールを使用することがある。

次に、３次元ワイヤーフレーム部品モデル１５は、ステップ１６の間に、複数のユーザが定義したクラスｃ１、ｃ２、．．、ｃｎの各クラスに分類される。各クラスは、１つ又は複数の３次元ワイヤーフレーム部品モデルを備える。この分類は、手動で、又は好ましくはソフトウェア分類器などの分類器、好ましくはユーザ又は他の方法によって事前に訓練された人工ニューラルネットワークなどの自己学習機械によって実行されることがある。ユーザが、一部の部品モデルの分類を修正してもよい。その結果、自己学習機械の新しいトレーニングが行われ、他の３次元ワイヤーフレーム部品モデルが自動的に再分類されることになるかもしれない。

３次元ワイヤーフレーム部品モデルの分類は、例えば、モデルのサイズ、モデルの位置、自動認識してよい部品のタイプに依存することがあり、あるいは他の任意の変数に依存することがある。

一例では、クラスの１つは、家具や背景物品のような不活性の対象物に相当する。開いたり壊したりする必要がある前景の対象物について、別のクラスが定義されることがある。外面又は複数内面それぞれについて、さらなるクラスが定義されることがある。

色及び／又はテクスチャが追加的、又は代替的に、クラスを複数部分に分類するために使用されることがある。例えば、微細構造を持つ部品は、微細なテクスチャを持つ部品よりも微細なモデルで記述される部品のグループに分類してよい。

新しいクラス又は新しく編集されたクラスに属する必要のある部品を自動認識すべく、ユーザは、新しいクラスを追加又は編集し、自己学習機械をトレーニングしてよい。一実施形態では、ユーザが、部品の一部又はそれぞれを、ユーザが選択した１つのクラスに割り当てできる。その場合、これらの部分を分類する自己学習型分類器は必要ない。例えば、ユーザの使用上重要な役割をし、そしてより正確なモデルを要する部品を、ユーザが手動で分類してよい。

ステップ１８で、各３次元ワイヤーフレーム部品モデルは、モデルのポリゴン数を減らすことによって適合（つまり、最適化）される。この最適化は、各クラスに割り当てられたユーザ定義の品質に依存する。例えば、ユーザは、クラスｄに属する部品を、別のクラスｃ２に属する部品よりも、より小さなファイルの結果となるように最適化すべきと判断できる。図１では、クラス１のモデルをこのように強力に最適化すると、一部のポリゴンの削除に至る（１５０の部分は消去されている）。

各クラスについてのユーザ定義の品質が、１つのクラスのモデルに色とテクスチャとの少なくとも一方を適用するかどうかと、適用する場合はテクスチャパターンのサイズとを決めることもある。

各クラスについてのユーザ定義の品質が、光反射変数を部品の外面に関連付ける必要があるか否かを決めることもある。

各クラスについてのユーザ定義の品質が、そのクラスに相当する部品を動的にすべきか否かを決めることもある。例えば、品質によって、１つの特定のクラスの対象物に対してその対象物の質量の決定を要するか否かを決めることがある。

各クラスについてのユーザ定義の品質が、１つの特定のクラスの対象物に対してその対象物の質量中心の決定を要するか否かを決めることもある。使用のほとんどのケースでは、質量中心は重心と同じである。

各クラスについてのユーザ定義の品質が、特定の１つのクラスの対象物に対して対象物の剛性の決定を要するか否かを決めることもある。

各クラスについてのユーザ定義の品質が、部品モデルが破壊可能か否かと、破壊点又は破壊線を備えているか否かとを決めることもある。

各クラスについてのユーザ定義の品質が、各モデルの最大サイズを決めることもある。適したサイズ、例えばしきい値よりも小さいサイズの部品の３次元ワイヤーフレームモデルを取得するために、ポリゴンの数と、１つの部品の表現のテクスチャ又はその他の変数との少なくとも一方が、選択又は適合される。

各クラスについてのユーザ定義の品質が、いくつかの変数の組み合わせである可能性がある全体的な品質係数にも対応する場合がある。

モデルのさまざまな変数、例えばポリゴンの数やテクスチャのサイズなどを調整して、その品質係数に対応する部品の３次元ワイヤーフレームモデルを取得する。

例として、対象物の外面に相当する部品は、そのように分類され、例えば金属面などのテクスチャとある多数のポリゴンに関連付けられる。例えばボルトなどの重要性の低い内部構成要素のような別の部品は、別のクラスに割り当てられ、手の込んだテクスチャに替えて単純な色と、ある低い数のポリゴンを受け取る。

次に、モデルの各部分に対して個別に最適化された複数のワイヤーフレーム部分モデルを備える、対象物の最適化された３次元ワイヤーフレームモデルは、リポジトリ２８に格納される。一例では、リポジトリは、複数のユーザ間でモデルを共有するインターネットプラットフォームであり得る。

上記の実施形態では、対象物全体のボクセルマップは、対象物全体の３次元ワイヤーフレームモデルに変換され、複数の３次元ワイヤーフレーム部品モデルへのセグメンテーションは、ワイヤーフレームモデルのステップ１４で実行される。これは、例えば３次元メッシュを分析することでセグメンテーションを実行できる場合、例えば３次元ワイヤーフレーム部品モデルが切断されているか接続が不十分な場合、あるいは形状と、寸法と、各部品の位置との少なくともいずれか１つについてなんらかの事前の仮定がある場合に効果的である。例えば、外面部品と内面部品の区別は、既に変換されたワイヤーフレームモデルで実行してよい。

別の実施形態（図示せず）では、セグメンテーションは、対象物のボクセルマップ上で実行され、複数の部分ボクセルマップ（部分モデル）が得られ、これらは次に個別に３次元ワイヤーフレーム部分モデルに変換される。各ワイヤーフレーム部品モデルの品質の適合は、変換中に実行してもよく、変換された３次元ワイヤーフレーム部品モデルを最適化することによって実行してもよく、それらの組み合わせで実行してもよい。この実施形態は、ＣＴスキャンによって提供されるボクセルマップのボクセル値の一部であり得る異なる密度又はＸ線減衰を持つ部分をセグメント化するのにより効果的である場合がある。

両方の実施形態を組み合わせてよいこともあり、そして例えば、変換された３次元ワイヤーフレームモデルでの第２セグメンテーションの前に、例えば、外側のセグメント化すべく、例えば、異なる密度又は減衰を持つ構成要素をセグメント化するため、ボクセルマップ上で第１セグメンテーションを実行してよい場合がある。

上記の方法は、さまざまな品質とサイズの対象物のさまざまな部分の３次元ワイヤーフレームモデルを生成する。低品質のモデルは、高品質のモデルよりも、必要なストレージスペースが少なく操作が高速である。しかしながら、レンダリングの品質は、部品の各クラスに適合させてもよい。例えば、高品質の３次元ワイヤーフレームモデルを使用して、その部品の高品質のレンダリングを生成したり、場合によっては高速で低品質のレンダリングを生成したりできる。異なるクラスへの部品の分類は、モデルの生成だけでなく、レンダリングのタイプ又は品質の決定にも使用されることがある。

図２ａは、１つのクラス（ここではｃ１）の全ての３次元ワイヤーフレーム部品モデルの品質を判断するためにユーザに提示されることがあるユーザインタフェースの例を示している。インタフェースは、複数の品質変数ｑ１、ｑ２、．．、ｑｎの値を個別に選択する、スライダー、チェックボックス、テキスト又は値ボックスといった多数のユーザインタフェースウィジェットを提供する。選択的に、例えば、１つの特定のクラスに適用する１つのテクスチャ又は色を選択するために、いくつかの変数のプレビュー表現を表示してよい。

図２ｂは、１つのクラス（ここではｃ１）の全ての３次元ワイヤーフレーム部品モデルの品質を判断するためにユーザに提示されることがあるユーザインタフェースの別の例を示している。インタフェースは、クラスに適用される単一の品質変数ｑを決定するために、例えばスライダーや値ボックスのような単一のユーザインタフェースウィジェットを提供する。この単一の要因は、いくつかの品質変数の重み付けされた組み合わせである場合がある。最適化モジュールは、その品質変数に到達するために部品モデルを最適化する最良の方法を自動決定する。

本発明はまた、上記のステップの一部又は全てを実行するコンピュータプログラムに関する。コンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶されていることがある。さらに、本発明は、前述の方法で得られた対象物の少なくとも１つの３次元ワイヤーフレームモデルを備える、データ構造と、データリポジトリシステムとの少なくとも一方に関する。

付加的特徴と用語について
本願において、表現「ボクセルマップ」は、対象物が３次元空間の規則的なグリッド上の値で表される３次元の物理的対象物の任意の表現を示す。この値は、特定の位置にソリッド対象物が存在することを示す場合がある。いくつかの実施形態では、値はまた、局所Ｘ線減衰、グレーレベル、局所密度なども示すことがある。さらに、局所質量がＣＴスキャンから導き出されて各ボクセルについて示されてもよい。

本出願において、表現「３次元ワイヤーフレームモデル」は、対象物がその縁部及び頂点で表される３次元物理対象物の任意の表現を示す。３次元ワイヤーフレームモデルはまた、いくつかの表面のテクスチャ及び／又は色といった他の視覚的変数と、例えば、質量、重心及び／又は剛性といった物理的変数との少なくとも一方をも備えることがある。

３次元のワイヤーフレームモデルは、空のボリューム又は均一に満たされたボリュームが大きな３次元構造を効率的に表せる一方、ボクセルマップは、生物学的組織のような不均一に充填されているボリューム空間を表すのにより有用である。コンピュータゲームとコンピュータアニメーションは、レンダリングと操作が高速になる傾向があるため、通常は３次元のワイヤーフレームモデルが必要である。

提案された方法は、パーソナルコンピュータ、グラフィックステーション、サーバー、仮想サーバー、タブレット、スマートフォンなどをなんら限定せずに含む、任意のコンピュータ機器で実行してよい。

実施形態に応じて、本明細書に記載のアルゴリズムのいずれかの特定の行為、イベント、又は機能は、異なる順序で実行してよく、（例えば、記載された全ての行為又はイベントが方法の実践に必要でないなら）追加、マージ、又は完全に除外し得る。さらに、特定の実施形態では、行為又はイベントは、例えば、マルチスレッド処理、割り込み処理、又は複数のプロセッサ又はプロセッサコアを介して、又は他の並列アーキテクチャ上で、順次ではなく同時に実行してよい。さらに、異なるタスク又はプロセスを、一緒に機能可能な異なるマシン又はコンピューティングシステムによって実行できる。

本明細書で説明される様々な例示的な論理ブロック、モジュール、及びアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装できる。ハードウェアとソフトウェアのこの互換性を明確に説明するために、さまざまな例示的な構成要素、ブロック、モジュール、及びステップを、一般にそれらの機能の観点から上で説明した。このような機能がハードウェアとして実装されているかソフトウェアとして実装されているかは、システム全体に課せられた特定のアプリケーションと設計上の制約によって異なる。説明された機能は、特定のアプリケーションごとにさまざまな方法で実装可能であるが、そのような実装の決定は、開示の範囲からの逸脱を引き起こすと解釈されるべきではない。

本明細書に開示される実施形態に関連して説明される様々な例示的な論理ブロック及びモジュールは、機械、マイクロプロセッサ、状態機械、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、あるいは他のプログラマブル論理装置、ディスクリート（単一機能）ゲート又はトランジスタロジック、ディスクリートハードウェア構成要素、又は本明細書で説明する機能を実行するように設計されたそれらの任意の組み合わせによって、実装又は実行可能である。

本明細書に開示される実施形態に関連して説明される方法、プロセス、又はアルゴリズムのステップは、ハードウェア内で直接実体化してよく、１つ又はそれより多い記憶装置に格納されたソフトウェアモジュール内で直接実体化してよく、そして、１つ又はそれより多い処理装置によってあるいは２つの処理装置の組み合わせにおいて実行されるようにしてよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、あるいはその他任意の形式の非一時的コンピュータ可読記憶媒体（単数又は複数）又は物理計算ストレージに配置できる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込み可能に、プロセッサに結合してよい。別の方法として、記憶媒体をプロセッサに統合もできる。記憶媒体は、揮発性又は不揮発性であり得る。プロセッサと記憶媒体はＡＳＩＣに常駐できる。

とりわけ、「できる」、「かもしれない」、「かもしれない」、「例えば」といった本明細書で使用される条件表現は、特に明記しない限り、又は使用される文脈内で別の方法で理解される場合を除き、特定の実施形態は、特定の特徴、要素、又は状態を含むが、他の実施形態は含まないことの伝達を一般的に意図している。よって、そのような条件表現は、一般に、機能、要素、又は状態が１つ又は複数の実施形態に何らかの形で必要であること、又は１つ又は複数の実施形態が、書き手の情報提供又は即答の有無にかかわらず、これらの特徴、要素又は状態が含まれているか否か、あるいはそれらがある特定の実施態様において実行されることになっているのか否かを決定する論理を必然的に含むことを意味することを意図していない。「備える」、「含む」、「持つ」などの用語は同義語であり、制限のない方法で包括的に使用され、追加の要素、特徴、行為、操作などを除外するものではない。また、「又は」という用語は、その包括的な意味で（排他的な意味ではなく）使用されるため、例えば、要素のリストを接続するために使用される場合、「又は」という用語は、リスト内の要素の１つ、いくつか又は全てを意味する。さらに、本明細書で使用される「それぞれ（各）」という用語は、通常の意味を持つことに加えて、「各」という用語が適用される要素のセットの、ある下位のセットを意味する場合がある。

Claims (20)

1. 複数の部品を備える物体（２）の３次元ワイヤーフレームモデル（１３）を生成する、コンピュータに実装された方法（１００）であって、
   ボクセルマップを生成するように、対象物（２）を、好ましくはコンピュータ断層撮影法（１０ａ）で、スキャンするステップ（１０）と、
   各部品モデルは対象物の１つの部品に対応して、複数の前記部品モデル（１５）にセグメント化するステップ（１４）と、
   前記部品を部品クラス（ｃ１、ｃ２、．．ｃｎ）に分類するステップ（１６）と、
   ３次元ワイヤーフレーム部品モデルの品質は、各クラス（ｃ１、ｃ２、．．ｃｎ）に対してユーザによって独立して選択される少なくとも１つの品質変数に依存する、各部品の３次元ワイヤーフレーム部品モデルを生成するステップ（１８）と
   を備える、方法。
2. 前記品質変数は、部品の表現に使用されるポリゴン数を決定する、請求項１に記載の方法。
3. 前記品質変数は、１つの部品にテクスチャと色との少なくとも一方を適用すべきかどうかを決定する、請求項１又は２に記載の方法。
4. 前記品質変数は、部品の質量と重心との少なくとも一方を決定すべきかどうかを決定する、請求項１から３のいずれか一項に記載の方法。
5. 前記品質変数は、部品の破壊点又は破壊線の数を決定する、請求項１から４のいずれか一項に記載の方法。
6. 前記分類するステップは、前記部品を部品クラス（１７）に分類するために自己学習機械を使用することを備える、請求項１から５のいずれか一項に記載の方法。
7. 前記対象物をスキャンするステップ（１０）は、ボクセルマップを生成するようにコンピュータ断層撮影法（１０ａ）で行われ、前記方法は、写真測量によって前記対象物の色とテクスチャとの少なくとも一方を取得することをさらに備える、請求項１から６のいずれか一項に記載の方法。
8. 物理ベースレンダリング（ＰＢＲ）法を使って対象物のレンダリングを向上させるべく、前記色とテクスチャとの少なくとも一方を前記ワイヤーフレームに適用する、請求項７に記載の方法。
9. 前記色とテクスチャとの少なくとも一方は、前記対象物のセグメント化するステップに使用される、請求項７又は８に記載の方法。
10. 前記色とテクスチャとの少なくとも一方は、前記クラスを部品に分類するステップに使用される、請求項７から９のいずれか一項に記載の方法。
11. 対象物の参照マークを用いて、コンピュータ断層撮影から生成されたデータを、写真測量と物理ベースレンダリングとの少なくとも一方から生成されるデータを伴って、登録するステップを備える、請求項７から１０のいずれか一項に記載の方法。
12. コンピュータ断層撮影から生成されたデータと写真測量から生成されたデータとの少なくとも一方を用いて、前記対象物の内面の色とテクスチャとの少なくとも一方を仮定するステップをさらに備える、請求項７から１１のいずれか一項に記載の方法。
13. 前記生成するステップは、少なくとも１つか、１つ又はそれより多いクラス（ｃ１、ｃ２、．．ｃｎ）に対して独立してユーザ（７０）によって選択された前記少なくとも１つの品質変数に依存して３次元ワイヤーフレーム部品モデルの品質を適合させることを備える、請求項１から１２のいずれか一項に記載の方法。
14. 少なくとも１つの品質変数を適応させるステップは、各クラスに対して複数の品質変数を個別に適応させることを備える、請求項１から１３のいずれか一項に記載の方法。
15. 少なくとも１つの品質変数を適合させるステップは、グローバル品質係数を選択することを備える、請求項１から１４のいずれか一項に記載の方法。
16. 対象物は少なくとも１つの部品を備え、前記部品の１つは、異なる品質を有する異なる３次元ワイヤーフレームモデルを適用すべき複数の部品を備える、請求項１から１５のいずれか一項に記載の方法。
17. 前記クラスは、不活性物体と、内部構成要素と、外面と、内面とのうちの少なくとも１つからなる、請求項１から１６のいずれか一項に記載の方法。
18. 複数の３次元ワイヤーフレームモデルがオンラインプラットフォーム上に保存されていて、複数のユーザにとって利用可能になっている、請求項１から１７のいずれか一項に記載の方法。
19. 請求項１から１８のいずれか一項に記載の方法を実行するコンピュータプログラムを備える、非一時的コンピュータ可読媒体。
20. 請求項１から１８のいずれか一項に記載の方法を実施することで得られる対象物の３次元ワイヤーフレームモデルを少なくとも１つ備える、データ構造、又はデータリポジトリシステム、又はデータ構造とデータレポジトリシステム。

Images