JP2015210267A - 3次元印刷フィギュアを作製するシステム、装置及び方法 - Google Patents
3次元印刷フィギュアを作製するシステム、装置及び方法 Download PDFInfo
- Publication number
- JP2015210267A JP2015210267A JP2015084934A JP2015084934A JP2015210267A JP 2015210267 A JP2015210267 A JP 2015210267A JP 2015084934 A JP2015084934 A JP 2015084934A JP 2015084934 A JP2015084934 A JP 2015084934A JP 2015210267 A JP2015210267 A JP 2015210267A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- cameras
- camera
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/386—Data acquisition or data processing for additive manufacturing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
- B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Materials Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Architecture (AREA)
- Software Systems (AREA)
Abstract
【課題】3Dフィギュアを作製するシステム、装置及び方法を提供する。
【解決手段】対象の画像は、異なるカメラを用いて受信され、捕捉される1101。カメラ・パラメータは、画像の処理によって推定される1103。表面を表す3D座標は、所与の画像の視野が重複する重複画像を探すこと、カメラ・パラメータを用いて所与の画像の突出部の形状を重複画像に関連付ける基本行列を決定すること、所与の画像の各画素に対して、所与の画素と、重複画像において対応するエピポーラ線に沿った候補位置との間に一致が発見できるかどうかを決定すること、一致が発見されたときに、所与の画素の位置及び一致した画素のそれぞれの位置の両方に関連する点のそれぞれの3D座標を推定すること、そしてそれぞれの3D座標を3D点のセットに付加すること、によって推定される1107。
【選択図】図11
【解決手段】対象の画像は、異なるカメラを用いて受信され、捕捉される1101。カメラ・パラメータは、画像の処理によって推定される1103。表面を表す3D座標は、所与の画像の視野が重複する重複画像を探すこと、カメラ・パラメータを用いて所与の画像の突出部の形状を重複画像に関連付ける基本行列を決定すること、所与の画像の各画素に対して、所与の画素と、重複画像において対応するエピポーラ線に沿った候補位置との間に一致が発見できるかどうかを決定すること、一致が発見されたときに、所与の画素の位置及び一致した画素のそれぞれの位置の両方に関連する点のそれぞれの3D座標を推定すること、そしてそれぞれの3D座標を3D点のセットに付加すること、によって推定される1107。
【選択図】図11
Description
本明細書は、一般に3次元印刷に関し、詳細には3次元印刷フィギュアを作製するシステム、装置及び方法に関する。
体積のある物体の形状を3次元(3D)再構成するには、物体の3Dモデルの自動的で正確な推定を使用する。3Dモデルにより、体積のある物体を視覚化、分析し、3D印刷を介して再構成することが可能になる。3Dモデルのデータは、以下の2つの方法で取得できる。1つは、スタジオ内でスタンドに取り付けたカメラの使用であり、カメラ及びスタンドは、スタジオ内で物体の周りに固定位置で配置する。もう1つは、手持ち式デバイス(「ワンド」と呼ばれることがある)及び/又はセンサの使用であり、これらのデバイス及び/又はセンサは、物体の周りで操作して物体の形状を手作業で捕捉する。スタジオ手法は、持ち運び可能ではない。ワンドは、持ち運び可能である一方で、数分以上にわたって行われる走査の全期間の間、人間又は動物の対象を静止したままにすることを必要とする。走査される物体が動いた場合、非常に望ましくない形状の人工物がもたらされる。
一般に、本開示は、持ち運び可能であるカメラ用組付けリグ及び/又は組付け構造体を含む、3次元印刷フィギュアを作製するシステムを対象とし、この組付けリグ及び/又は組付け構造体は、分解時は持ち運び可能で、組立て時は組付けリグを形成する複数のリブを含むことができる。組付けリグ及び/又は複数のリブは、組立て時、空間を中に画定する。次に、カメラは、複数のリブに取り付けられ、このカメラは、画定空間内に位置する対象の表面の実質的部分の少なくとも2つの視野角を捕捉するように構成される。3D再構成段階で一貫性の確認を行うときは、カメラは、対象の表面の実質的部分の少なくとも3つの視野角を捕捉するように構成される。カメラは、任意選択で、画定空間内で対象を伴わない空間の背景画像を捕捉するためにも使用でき、任意選択で、画定空間内に置かれた較正物体の較正画像を捕捉するためにも使用できる。コンピューティング・デバイスは、カメラからのそれぞれの画像、並びに任意選択の背景画像及び/又は較正画像を受信し、インターネット等の通信ネットワークを使用してこれらの画像をサーバに送信する。サーバは、対象の3D形状を推定するために所与の画像中の画素を重複画像のエピポーラ線に沿った場所と一致させるという効率的な方法を使用して、或いは背景データを無視することによって、それぞれの画像、或いは背景画像及び較正画像から3Dプリンタ・ファイルを生成する。
一般に、組付けリグは、組付けリグからカメラを取り外し、組付けリグを分解し、コンピューティング・デバイス、カメラ及び組付けリグを新たな場所に搬送することによって場所から場所に搬送できる。コンピューティング・デバイスは、カメラからの画像の取得を協調させ、それらの画像をサーバに送信するだけであるので、コンピューティング・デバイスはそれほど大きな計算能力を有して構成する必要がない。
本明細書では、要素は、1つ又は複数の機能を実施する「ように構成する」又はそのような機能「のために構成する」と記載することがある。一般に、機能を実施するように構成した又は機能を実施するために構成した要素は、その機能を実施可能にするか、その機能を実施するのに適しているか、その機能を実施するように適合されるか、その機能を実施するように動作可能であるか、或いはその機能を実施可能である。
本明細書では、「少なくとも1つのX、Y及びZ」並びに「X、Y及びZのうち1つ又は複数」という言い回しは、Xのみ、Yのみ、Zのみ、又は2つ以上の項目X、Y及びZの任意の組合せ(例えばXYZ、XY、YZ、ZZ等)として解釈できることを理解されたい。同様の論理は、「少なくとも1つの・・・」及び「1つ又は複数の・・・」という言い回しのあらゆる発生において2つ以上の項目に適用できる。
本明細書の態様は、組立て状態及び分解状態を有する組付けリグであって、組立て状態では空間を中に画定し、分解状態では持ち運び可能である組付けリグ;組立て状態の組付けリグに取り付けた複数のカメラであって、組付けリグが組立て状態である場合に、対象を支持する対象の部分以外の、空間内に位置する対象の表面の点の実質的部分の少なくとも2つの視野角を捕捉するように構成した複数のカメラ;並びにプロセッサ及び通信インターフェースを備えるコンピューティング・デバイスであって、コンピューティング・デバイスは、通信インターフェースを使用して複数のカメラのそれぞれと通信し、プロセッサは、複数のカメラを協調させてそれぞれの画像データを実質的に同時に捕捉し;それぞれの画像データを含む複数の画像を複数のカメラから受信し;通信インターフェースを使用して複数の画像をサーバに送信し、複数の画像を処理して3次元(3D)プリンタ・ファイルにするように構成される、コンピューティング・デバイスを備えるシステムを提供する。
組付けリグは、組付けリグの組立て状態では組み立てられており、組付けリグの分解状態では分解されている複数のリブを備えることができる。
システムは、対象を支持するように構成した台座を更に備えることができ、台座は、組付けリグが組立て状態であるとき空間内に位置する。
システムは、対象の画像を捕捉する前に空間内に設置できる較正デバイスを更に備えることができ、較正デバイスは、複数のカメラによって捕捉できる較正パターンを備え、プロセッサは、複数のカメラを制御して、較正デバイスの画像を含む較正データを捕捉し;通信インターフェースを使用して較正データをサーバに送信し、サーバが3Dプリンタ・ファイルの生成に較正データを使用するように更に構成される。較正デバイスは、立方体、六面体、平行六面体、直方体及び菱面体並びに3次元中実物体のうち1つ又は複数を備えることができ、較正デバイスのそれぞれの面は、異なる較正パターンを備える。
プロセッサは、複数のカメラを制御して、対象を伴わない空間の画像を含む背景画像データを捕捉し;通信インターフェースを使用して背景画像データをサーバに送信し、サーバが3Dプリンタ・ファイルの生成に背景画像データを使用するように更に構成できる。
プロセッサは、それぞれの画像が取得された時限を特定するメタデータを生成するように更に構成でき、それにより、それぞれの画像が較正データ及び背景データのうち1つ又は複数と協調できるようにする。
システムは、背景物体、背景カーテン及び背景張り物のうち1つ又は複数を更に備えることができる。背景物体は、組立て状態の組付けリグに取付け可能とすることができる。システムは、組立て状態の組付けリグを少なくとも部分的に取り囲むように構成した枠を更に備えることができ、背景物体は、枠に取付け可能である。
組立て状態の組付けリグに取り付けた複数のカメラは、組付けリグが組立て状態である場合に、対象を支持する対象の部分以外の、空間内に位置する対象の表面の点の実質的部分の少なくとも3つの視野角を捕捉するように構成できる。
システムは、組付けリグを分解状態から組立て状態に組み立てる締結器及び工具のうち1つ又は複数を更に備えることができる。
本明細書の別の態様では、プロセッサ及び通信インターフェースを備えるサーバにおいて、通信インターフェースを使用して対象の複数の画像を受信するステップであって、複数の画像のそれぞれは複数のカメラの異なるカメラを使用して捕捉される、ステップ;プロセッサを使用して、複数の画像を処理することによって複数のカメラのそれぞれの1つ又は複数のカメラ・パラメータを推定するステップ;プロセッサを使用して、複数の画像のそれぞれに対し、複数の画像のうち、所与の画像の視野が重複する重複画像のサブセットを探すことによって、対象の表面を表す3次元(3D)点の3D座標を推定するステップ;1つ又は複数のカメラ・パラメータを使用して、所与の画像の突出部の形状を重複画像のそれぞれに関連付ける基本行列を決定し、所与の画像の各画素に対して、所与の画素と、重複画像中の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見できたかどうかを決定するステップ、一致を発見した場合に:所与の画素の位置及び一致した画素のそれぞれの位置の両方に関連する点のそれぞれの3D座標を推定するステップ;並びにそれぞれの3D座標を3D点のセットに追加するステップ;プロセッサを使用して、3D点のセットを3Dプリンタ・ファイルに変換するステップ;並びに通信インターフェースを使用して3Dプリンタ・ファイルを3Dプリンタに送信し、対象を表すフィギュアを3D印刷するステップを含む方法を提供する。
本方法は、プロセッサを使用して、対象の表示を含むことができる前景を決定するために、複数の画像内で対象の背景を表す画素をマスキングするステップを更に含むことができ、マスキングを行った場合、前景と関連付けた所与の画像中の各画素に対して、所与の画素と、重複画像中の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見できたかどうかの決定が行われ、背景を表す画素は無視される。
複数の画像を処理することによって複数のカメラのそれぞれの1つ又は複数のカメラ・パラメータを推定するステップは、バンドル調整を使用して行うことができる。
カメラ・パラメータは、複数のカメラのそれぞれに対するそれぞれの表示の径方向歪みを含むことができ、本方法は、プロセッサを使用して、それぞれの表示の径方向歪みを使用することによって複数の画像内の1つ又は複数の種類の画像歪みをマスキングの前に修正するステップを更に含むことができる。
1つ又は複数のカメラ・パラメータは、所与の画像の取得に使用するカメラ;重複画像の取得に使用するそれぞれのカメラ;のそれぞれの位置及びそれぞれの向きを含むことができ、基本行列を決定するステップは、それぞれの位置及びそれぞれの向きを使用して基本行列を決定することを含むことができる。
本方法は、セットの一貫性を確認するステップ、多数の画像が所与の3D点の一貫性のある3D座標推定値をもたらす場合に所与の3D点を保持するステップ、及び多数の画像が一貫性のない3D座標をもたらす場合は所与の3D点を廃棄するステップを更に含むことができる。
3D点のセットを3Dプリンタ・ファイルに変換するステップは、3D点のセット間で多角形関係を決定するステップ;その表面法線を推定するステップを含むことができる。
本明細書のなお更なる態様では、プロセッサ及び通信インターフェースを備えるサーバを提供し、プロセッサは、対象の複数の画像を受信し(複数の画像のそれぞれは、複数のカメラの異なるカメラを使用して捕捉したものである);複数の画像を処理することによって複数のカメラのそれぞれの1つ又は複数のカメラ・パラメータを推定し;複数の画像のそれぞれに対して、複数の画像のうち、所与の画像の視野が重複する重複画像のサブセットを探すことによって対象の表面を表す3次元(3D)点の3D座標を推定し;1つ又は複数のカメラ・パラメータを使用して、所与の画像の突出部の形状を重複画像のそれぞれに関連付ける基本行列を決定し;所与の画像の各画素に対して、所与の画素と、重複画像中の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見できたかどうかを決定し、一致を発見した場合:所与の画素の位置及び一致した画素のそれぞれの位置の両方に関連する点のそれぞれの3D座標を推定し;3D点のセットにそれぞれの3D座標を追加し;3D点のセットを3Dプリンタ・ファイルに転換し;3Dプリンタ・ファイルを3Dプリンタに送信し、対象を表すフィギュアを3D印刷するように構成する。
本明細書の更に別の態様では、コンピュータ可読プログラム・コードを有するコンピュータ使用可能媒体を備えるコンピュータ・プログラム製品を提供し、このコンピュータ可読プログラム・コードは:プロセッサ及び通信インターフェースを備えるサーバにおいて、通信インターフェースを使用して、対象の複数の画像を受信するステップであって、複数の画像のそれぞれは複数のカメラの異なるカメラを使用して捕捉される、ステップ;プロセッサを使用して、複数の画像を処理することによって複数のカメラのそれぞれの1つ又は複数のカメラ・パラメータを推定するステップ;プロセッサを使用して、複数の画像のそれぞれに対して、複数の画像のうち、所与の画像の視野が重複する重複画像のサブセットを探すことによって対象の表面を表す3次元(3D)点の3D座標を推定するステップ;1つ又は複数のカメラ・パラメータを使用して、所与の画像の突出部の形状を重複画像のそれぞれに関連付ける基本行列を決定するステップ;所与の画像中の各画素に対して、所与の画素と、重複画像中の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見できたかどうかを決定するステップ、一致を発見した場合に:所与の画素の位置及び一致した画素のそれぞれの位置の両方に関連する点のそれぞれの3D座標を推定するステップ;3D点のセットにそれぞれの3D座標を追加するステップ;プロセッサを使用して、3D点のセットを3Dプリンタ・ファイルに変換するステップ;通信インターフェースを使用して、3Dプリンタ・ファイルを3Dプリンタに送信し、対象を表すフィギュアを3D印刷するステップを含む方法の実施を実行するように構成される。
本明細書の更に別の態様では、組立て状態及び分解状態を有する組付けリグであって、組立て状態では空間を中に画定し、分解状態では持ち運び可能である組付けリグ;組立て状態の組付けリグに取り付けた複数のカメラであって、組付けリグが組立て状態である場合に、対象を支持する対象の部分以外の、空間内に位置する対象の表面の点の実質的部分の少なくとも2つの視野角を捕捉するように構成した複数のカメラ;並びにプロセッサ及び通信インターフェースを備えるコンピューティング・デバイスであって、コンピューティング・デバイスは、通信インターフェースを使用して複数のカメラのそれぞれと通信し、プロセッサは、複数のカメラを協調させて、それぞれの画像データを実質的に同時に捕捉し;それぞれの画像データを含む複数の画像を複数のカメラから受信し;通信インターフェースを使用して複数の画像をサーバに送信し、複数の画像を処理して3次元(3D)プリンタ・ファイルにするように構成した、コンピューティング・デバイスを備えるシステムを提供する。
次に、本明細書で記載する様々な実装形態をより良好に理解し、それらをどのように実施するかをより明確に示すために、添付の図面を単に例として参照する。
図1は、非限定実装形態による、3次元(3D)印刷フィギュアを作製するシステム100を示す。システム100は、図示のように複数のリブ103を備える持ち運び可能組付けリグ101;組付けリグ101に取り付けた複数のカメラ105、組付けリグ101内に位置する任意選択の台座107、複数のカメラ105と通信するコンピューティング・デバイス110(以下、デバイス110と互換可能に呼ぶ)、通信ネットワーク111(以下、ネットワーク111と互換可能に呼ぶ)、サーバ113及び3Dプリンタ115を備える。図1は、複数のリブ103及び複数のカメラ105を示すが、明快にするためにそれぞれの1つのみに符号を付す。デバイス110は、一般に、メモリ122と相互接続したプロセッサ120、通信インターフェース124(以下、互換可能にインターフェース124と呼ぶ)、表示装置126及び少なくとも1つの入力デバイス128を備える。複数のリブ103は、以下、集合的にはリブ(ribs)103と呼び、一般的にはリブ(a rib)103と呼ぶ。同様に、複数のカメラ105は、以下、互換可能に、集合的にはカメラ(cameras)105と呼び、一般的にはカメラ(a camera)105と呼ぶ。組付けリグ101は、更に、互換可能に組付け構造体と呼ぶこともできる。
メモリ122は、一般にアプリケーション145を記憶しており、このアプリケーション145は、以下でより詳細に説明するように、プロセッサ120により処理される際に、プロセッサ120が複数のカメラ105から画像を取得し、ネットワーク111を介してその画像をサーバ113に送信する。サーバ113は、一般に、メモリ152と相互接続したプロセッサ150、通信インターフェース154(以下、互換可能にインターフェース154と呼ぶ)、並びに任意選択の表示装置156及び少なくとも1つの入力デバイス158を備える。メモリ152は、一般にアプリケーション165を記憶しており、このアプリケーション165は、以下でより詳細に説明するように、プロセッサ150により処理される際に、プロセッサ150がデバイス110から受信した画像から3Dプリンタ・ファイルを生成し、ネットワーク111を介してその3Dプリンタ・ファイルを3Dプリンタ115に送信する。
また、図1に示すものは、対象170(図示では犬)及び3Dプリンタ115によって作製した対象170のフィギュア175である。対象170を犬として示すが、対象は、他の種類の動物、子供、大人、植物及び無生物を含むことができる。
一般に、組付けリグ101は、持ち運び可能であり、多くの対象の画像を取得できる場所、例えばドッグ・ショー、「写真撮影」日の学校等において組み立て、分解できる。対象は、組付けリグ101によって画定した空間内及び/又は任意選択で(図示のような)台座107上に置かれ及び/又は自身で位置決めされる。対象の画像は、カメラ105によって取得される。このカメラ105は、組付けリグ101によって画定した空間内にある対象の表面の点の実質的部分の少なくとも2つの視野角を捕捉するように構成され、この空間は、以下、互換可能に画定空間と呼ぶ。いくつかの例では、以下で更に詳細に説明するように、3D再構成段階で一貫性の確認を行う場合、カメラ105は、対象の表面の点の実質的部分の少なくとも3つの視野角を捕捉するように構成される。
カメラ105は、例えばコンピューティング・デバイス110によって制御した、協調同期モードで対象の複数の画像を取得できる。画像の取得に代金を支払った対象及び/又はユーザは、同期的に取得した画像のセット及び/又は画像の各セットからの1つ又は複数の代表画像を表示装置126で検討して、カメラ105が取得した対象のポーズを選択する。言い換えれば、カメラ105は、画像のセットを周期的に取得するために、協調バースト・モードでそれぞれが動作でき、画像の各セットは、共通の所与の時限内で取得した画像を含む。次に、後述のように、選択した画像のセットに対応する複数の画像をサーバ113に送信し、3Dプリンタ・ファイルを生成し、次に、このプリンタ・ファイルを、フィギュア175を作製する3Dプリンタ115に送信し、フィギュア175を包装し、ユーザに提供(例えば郵送)する。本明細書で言及した、同期的に取得した画像のセットとは、所与の時限内でカメラ105によって取得した画像603のセットを説明したものである。
各カメラ105は、それぞれがフィギュア175の作製に適した解像度を有するデジタル・カメラ、CCD(電荷結合デバイス)等のうち1つ又は複数を備えることができる。例えば、非限定実装形態では、各カメラ105は、少なくとも3MP(メガピクセル)の解像度を有することができるが、より高いメガピクセル数であれば、フィギュア175でより良好な細部を実現できることは了解されよう。一般に、各カメラに関して約5MPの解像度であればフィギュア175を作製するための細部を実現できる。更に、各カメラ105は、デバイス110とのワイヤード及び/又はワイヤレス通信用通信インターフェースを備える。
任意選択の台座107は、対象170を支持し任意選択で対象の中心を組付けリグ101の中心に向けて持ち上げる台座を含む。図示のように、台座107は、犬を支持するのに適した円柱体を含むが、他の実装形態では、台座107は箱、立方体又はあらゆる他の幾何学的形状を含むことができる。また更なる実装形態では、台座は、組付けリグ101内で対象175を昇降させるアクチュエータ、液圧機械等を備えることができる。いくつかの実装形態では、カメラ105の場所及び写真撮影する対象の形状に応じて、台座107を任意に選択できる。言い換えれば、カメラ105のサブセットは、地面と接触する領域以外の対象の足の画像を捕捉するために、組立て状態の組付けリグ101上で「十分低い所に」位置できる。
図1は、デバイス110の概略図も示しており、このデバイス110は、限定はしないが、電子デバイス、通信デバイス、コンピューティング・デバイス、パーソナル・コンピュータ、サーバ、ラップトップ・コンピュータ、持ち運び可能電子デバイス、移動コンピューティング・デバイス、持ち運び可能コンピューティング・デバイス、タブレット・コンピューティング・デバイス、ラップトップ・コンピューティング・デバイス、インターネット接続可能機器等のあらゆる適切な組合せを含むことができることを了解されよう。他の適切なデバイスは、本実装形態の範囲内である。
図1のコンピューティング・デバイス110の構造は、単なる例であり、カメラ105及びサーバ113との通信に使用できるデバイスが企図されることを強調すべきである。しかし、図1は、あらゆる適切な専用機能のために使用できるデバイスを企図するものであり、この機能には、限定はしないが、計算機能、移動計算機能、画像処理機能、電子商取引機能等のうち1つ又は複数を含む。
プロセッサ120は、限定はしないが、1つ又は複数の中央プロセッサ(CPU)を含む複数のプロセッサとして実装できる。プロセッサ120は、不揮発性記憶ユニット(例えば電気的に消去できるプログラム可能な読取り専用メモリ(「EEPROM」)、フラッシュ・メモリ)、揮発性記憶ユニット(例えばランダム・アクセス・メモリ(「RAM」)を備えるメモリ122と通信するように構成される。本明細書で説明するコンピューティング・デバイス110の機能的教示を実施するプログラミング命令は、典型的にはメモリ122内に永続的に維持され、プロセッサ120により使用それる。プロセッサ120は、そのようなプログラミング命令の実行中、揮発性記憶装置を適切に利用する。ここで、メモリ122は、プロセッサ120上で実行可能なプログラミング命令を記憶できるコンピュータ可読媒体の一例であることを当業者は認めるであろう。更に、メモリ122は、メモリ・ユニット及び/又はメモリ・モジュールの一例でもある。
メモリ122は、プロセッサ120により処理される際に、プロセッサ120をカメラ105及びサーバ113と通信可能にするアプリケーション145を更に記憶する。アプリケーション145の処理は、任意選択でプロセッサ120がデバイス110において電子商取引機能を提供することを可能にする。例えばデバイス110を使用して、フィギュア175の作製、配送のための電子決済を処理できる。更に、アプリケーション145を記憶するメモリ122は、コンピュータ・プログラム製品の一例であり、このコンピュータ・プログラム製品は、1つの方法、例えばアプリケーション145内に記憶した1つの方法の実施を実行するように構成したコンピュータ可読プログラム・コードを有する非一時的コンピュータ使用可能媒体を備える。
プロセッサ120は、インターフェース124にも接続され、このインターフェース124は、ワイヤード及び/又はワイヤレス通信リンクのうち1つ又は複数を間に介して、カメラ105及びサーバ113と通信するように構成した無線及び/又はコネクタ及び/又はネットワーク・アダプタ及び/又は送受信器のうち1つ又は複数として実装できる。インターフェース124は、カメラ105、ネットワーク111及びサーバ113との1つ又は複数の通信リンクの実装に使用する通信アーキテクチャと対応するように構成され、この通信リンクは、限定はしないが、ケーブル、シリアル・ケーブル、USB(ユニバーサル・シリアル・バス)ケーブル並びにワイヤレス・リンク(限定はしないがWLAN(ワイヤレス・ローカル・エリア・ネットワーク)リンク、WiFiリンク、WiMaxリンク、携帯電話リンク、Bluetooth(登録商標)リンク、NFC(近距離通信)リンク、パケットベース・リンク、インターネット、アナログ・ネットワーク、アクセス・ポイント等及び/又は組合せを含む)のあらゆる適切な組合せを含むことを了解されよう。
表示装置126は、フラット・パネル表示装置(例えばLCD(液晶表示装置)、プラズマ表示装置、OLED(有機発光ダイオード)表示装置、容量性又は抵抗性タッチスクリーン、CRT(陰極線管)等)のうちあらゆる適切な1つ又はこれらの組合せを備える。
少なくとも1つの入力デバイス128は、一般に、入力データを受信するように構成され、限定はしないが、キーボード、キーパッド、ポインティング・デバイス、マウス、トラック・ホイール、トラックボール、タッチパッド、タッチスクリーン等を含めた入力デバイスのあらゆる適切な組合せを備えることができる。他の適切な入力デバイスは、本実装形態の範囲内である。
図示しないが、デバイス110は、電源、例えば主電源及び電力アダプタ(例えばAC−DC(交流電流−直流電流)アダプタ等)への接続部を更に備える。
いずれの場合も、コンピューティング・デバイス110に対する多種多様な構成が企図されることを理解されたい。例えば、いくつかの実装形態では、表示装置126及び少なくとも1つの入力デバイス128は、(図示するように)統合したデバイス110であってもよい一方で、他の実装形態では、表示装置126及び少なくとも1つの入力デバイス128のうち1つ又は複数は、デバイス110の外部にあってもよい。
ネットワーク111は、通信ネットワークのあらゆる適切な組合せを備えることができ、この通信ネットワークには、限定はしないが、ワイヤード・ネットワーク、ワイヤレス・ネットワーク、WLANネットワーク、WiFiネットワーク、Wimaxネットワーク、携帯電話ネットワーク、Bluetooth(登録商標)ネットワーク、NFCネットワーク、パケットベース・ネットワーク、インターネット、アナログ・ネットワーク、アクセス・ポイント等及び/又は組合せを含む。
図1は、サーバ113の概略図も示しており、このサーバ113は、限定はしないが、サーバ、通信デバイス、コンピューティング・デバイス、パーソナル・コンピュータ、ラップトップ・コンピュータ、ラップトップ・コンピューティング・デバイス、インターネット接続可能機器等のあらゆる適切な組合せを含むことができることを了解されよう。他の適切なデバイスは、本実装形態の範囲内である。
サーバ113は、1つ又は複数の中央処理ユニット、揮発性メモリ(例えばランダム・アクセス・メモリ)、永続的メモリ(例えばハードディスク・デバイス)及びネットワーク・インターフェースを収容して、リンク上でサーバ113を通信ネットワーク111に通信可能にするモジュールを含めたあらゆる周知のサーバ環境に基づくことができる。例えば、サーバ113は、カリフォルニア州Palo AltoのSun Microsystems,Inc製、UNIX(登録商標)オペレーティング・システムを稼働し、4つの中央処理ユニットを有するSun Fire V480とすることができ、それぞれの中央処理ユニットは、約9百メガヘルツで動作し、約16ギガバイトのランダム・アクセス・メモリを有する。しかし、この特定のサーバは、例にすぎず、広範囲の他の種類のサーバ113用コンピューティング環境が企図されることを強調すべきである。サーバ113は、本明細書に記載のサーバの実装形態の異なる機能を実施できるあらゆる適切な数のサーバを備えることができることは更に了解されよう。
図1のサーバ113の構造は、単なる例であり、デバイス110及び3Dプリンタ115との通信に使用できるサーバが企図されることを強調すべきである。しかし、図1では、限定はしないが、計算機能、画像処理機能等のうち1つ又は複数を含めたあらゆる適切な専用機能のために使用できるデバイスを企図する。
プロセッサ150は、限定はしないが、1つ又は複数の中央プロセッサ(CPU)を含む複数のプロセッサとして実装できる。プロセッサ150は、不揮発性記憶ユニット(例えば電気的に消去できるプログラム可能な読取り専用メモリ(「EEPROM」)、フラッシュ・メモリ)、揮発性記憶ユニット(例えばランダム・アクセス・メモリ(「RAM」)を備えるメモリ152と通信するように構成する。本明細書で説明するサーバ113の機能的教示を実施するプログラミング命令は、典型的にはメモリ152内に永続的に維持され、そのようなプログラミング命令の実行中、プロセッサ150が使用し、このプロセッサ150は、揮発性記憶装置を適切に利用する。ここで、メモリ152は、プロセッサ150上で実行可能なプログラミング命令を記憶できるコンピュータ可読媒体の一例であることを当業者は認めるであろう。更に、メモリ152は、メモリ・ユニット及び/又はメモリ・モジュールの一例でもある。
メモリ152は、アプリケーション165を更に記憶し、このアプリケーション165は、プロセッサ150により処理される際に、プロセッサ150をデバイス110及び3Dプリンタ115と通信可能にし、デバイス110から受信した画像から3Dプリンタ・ファイルを作製可能にする。更に、アプリケーション165を記憶するメモリ152は、1つの方法、例えばアプリケーション165内に記憶させた1つの方法の実施を実行するように構成したコンピュータ可読プログラム・コードを有する非一時的コンピュータ使用可能媒体を備えるコンピュータ・プログラム製品の一例である。
プロセッサ150は、インターフェース154にも接続され、このインターフェース154は、ワイヤード及び/又はワイヤレス通信リンクのうち1つ又は複数を間に介して、カメラ105及びサーバ113と通信するように構成した無線及び/又はコネクタ及び/又はネットワーク・アダプタ及び/又は送受信器のうち1つ又は複数として実装できる。インターフェース154は、カメラ105、ネットワーク111及びサーバ113との1つ又は複数の通信リンクの実装に使用する通信アーキテクチャと対応するように構成され、この通信リンクは、限定はしないが、ケーブル、シリアル・ケーブル、USB(ユニバーサル・シリアル・バス)ケーブル及びワイヤレス・リンク(限定はしないがWLAN(ワイヤレス・ローカル・エリア・ネットワーク)リンク、WiFiリンク、WiMaxリンク、携帯電話リンク、Bluetooth(登録商標)リンク、NFC(近距離通信)リンク、パケットベース・リンク、インターネット、アナログ・ネットワーク、アクセス・ポイント等及び/又は組合せを含む)のあらゆる適切な組合せを含むことを了解されよう。
任意選択の表示装置156及び任意選択の入力デバイス158は、それぞれ、表示装置126及び少なくとも1つの入力デバイス128と同様であってもよい。
図示しないが、サーバ113は、電源、例えば主電源及び電力アダプタ(例えばAC−DC(交流電流−直流電流)アダプタ等)への接続部を更に備える。
いずれの場合も、サーバ113に対する多種多様な構成が企図されることを理解されたい。
3Dプリンタ115は、3Dプリンタ・ファイルからフィギュア175を作製するのに適したあらゆる3Dプリンタを含むことができる。図示しないが、3Dプリンタ115は、中間コンピューティング・デバイスを介してネットワーク111と通信できること、代替的に3Dプリンタ115がネットワーク111と通信するのではなく、中間コンピューティング・デバイスがネットワーク111及び/又はサーバ113と通信でき、3Dプリンタ・ファイルは中間コンピューティング・デバイスに送信され、3Dプリンタ・ファイルは、手入力で3Dプリンタ115に送信され、フィギュア175を3D印刷することを了解されよう。したがって、3Dプリンタ・ファイルの3Dプリンタへの送信は、限定はしないが、そのような実装形態を含むことができる。
デバイス110、サーバ113及び3Dプリンタ115のそれぞれは、異なる実体及び/又は企業及び/又は会社によって稼働できる。例えば、サーバ113を稼働する実体は、1つ又は複数の他の実体に、限定はしないが組付けリグ101、カメラ105等及び/又は3Dフィギュア175として3D印刷する対象の画像を取得するデバイス110で使用するソフトウェア(例えばアプリケーション145)を含めたシステム200の要素を提供できる。実際、システム100は、複数のシステム200を含むことができ、システム200のそれぞれは、異なる実体及び/又は同じ実体によって異なる地理的位置で稼働される及び/又は異なる地理的位置に搬送される。サーバ113を稼働する実体は、3Dプリンタ・ファイルに処理すべき画像を複数のシステム200から受信し、画像を処理して3Dプリンタ・ファイルにし、3Dプリンタ115を含む3Dプリンタを稼働する1つ又は複数の3D印刷会社を選択し、3Dプリンタ・ファイルをその3D印刷会社に送信し、フィギュア175を含む像を3D印刷できる。このようにして、サーバ113を稼働する実体は、画像を収集する及び/又は3Dプリンタ115を稼働する必要を伴わずに、画像収集及び3D印刷の中央マネージャとして働くことができる。更に、3Dプリンタ・ファイルに処理される画像は、複数のシステム200を展開することによって多くの異なる地理的位置で同時に取得でき、異なる3D印刷会社/実体をフィギュアの印刷に使用できる。
次に、場所から場所に搬送して、3Dプリンタ・ファイルに処理される対象の画像を取得できる持ち運び可能システム200の非限定例を示す図2に注意を向けられたい。システム200は、分解状態のリブ103、カメラ105、任意選択の台座107及びコンピューティング・デバイス110を備える。図示のように、システム200は、リブ103を分解状態から組立て状態に組み立てる締結器201及び1つ又は複数の工具203を更に備える。図示のように、システム200は、画定空間内及び/又は任意選択で台座107上に設置できる任意選択の較正デバイス205を更に備え、較正デバイス205は、対象の画像を捕捉する前、例えば較正ステップの間に複数のカメラ105によって捕捉できる較正パターンを備える。
図示のように、較正デバイス205は、立方体、六面体、平行六面体、直方体、菱面体並びに3次元中実物体のうち1つ又は複数を含み、較正デバイス205のそれぞれの面は、限定はしないが、異なる格子じまパターンを含む異なる較正パターンを備える(例えば図示のように、2×2、3×3、4×4等、異なる格子じま密度の格子じまパターン。図2では較正デバイス205の3つの側のみが見えるため、3つの較正パターンのみを示しているが、較正デバイス205の他の面も較正パターンを備える。但し底面の較正パターンは任意選択であってもよい)。
図2は、分解状態におけるシステム200を示す。例えば、リブ103は、場所から場所に搬送するための分解状態で示され、カメラ105はリブ103に取り付けていない状態で示される。言い換えれば、図示する実装形態では、組付けリグ101は、組付けリグ101の組立て状態では組み立てられており、図2に示す組付けリグ101の分解状態では分解されている複数のリブ103を備える。図示しないが、システム200は、コンピューティング・デバイス110をカメラ105に接続するケーブル等を更に備えることができ、但しいくつかの実装形態では、これらの間の通信はワイヤレスであってもよい。
図示しないが、システム200は、リブ103、カメラ105等を搬送するための容器、箱等を備えることができ、そのような容器には、限定はしないが、パッド付きの箱、発泡体を裏打ちした箱等を含むことができる。
次に、リブ103の一部分を組み立てる非限定例を示す図3に注意を向けられたい。図示の例では示さないが、各リブ103の端部は、別のリブ103の対応する端部と対合するように構成され、2つの端部は、締結器201及び/又は工具203により任意選択で一緒に締結できる。代替的に、各リブ103の端部は、別のリブ103の対応する端部と対合し、噛み合うように構成でき、それにより締結器201及び/又は工具203は任意選択である及び/又は組立てで使用しない。例えば、リブ103の端部は、噛合い差込み型マウント等を備えることができる。リブ103からより大きなリブ103に組み立て、そのようなより大きなリブ103から、図1に示す楕円体及び/又はかご組立体を形成する組付けリグ101に組み立てることができる。代替的に、組付けリグ101は、複数のリブ103を取り外し可能に挿入して楕円体及び/又はかご組立体を形成できる上部分及び底部分を含むことができる。
分解したリブ103を湾曲して示すが、他の実装形態では、リブ103は、真っ直ぐであって、組み立てたリブ103が実質的に湾曲するように連結可能であってもよい(例えば真っ直ぐな部品を角度を付けて結合する)。
リブ103には、限定はしないが、管、パイプ等を含むことができる。いくつかの実装形態では、リブ103は、限定はしないがアルミニウムを含む金属から形成できる一方で、他の実装形態では、リブ103をプラスチックから形成できる。リブ103は、非可撓性及び/又は可撓性とすることができ、リブ103の一部分が可撓性である実装形態では、リブ103は、支持構造体及び/又は非可撓性支持リブ103と共に所定の位置に保持できる。また更なる実装形態では、リブ103は、垂直リブ及び/又は水平リブを含むことができ、これらのリブは、全体が楕円形である空間を中に画定する及び/又はカメラ105をリブに取り付けることができるように構成され、それによりカメラ105は全体的に楕円パターンで配置される。
まだ更なる代替形態では、分解状態において、リブ103は、連結できるが、一緒に折り畳んで、実質的に平坦で及び/又は組付けリグ101よりも比較的小さい構造体を形成できる。次に、組立て状態では、リブ103を広げて組付けリグ101を形成できる。したがって、用語「分解」とは、リブ103のヒンジ留めしていない及び/又は折り畳んだ状態を含むことができ、言い換えれば、リブ103は、分解のために物理的に離す及び/又は互いから分離する必要がない。
更に、図1の組付けリグ101は、組立て状態において、楕円体及び/又はかご構造体を形成するように、上部から放射状に外方に延び、次に(例えば縦方向に)底部に向かって元に戻るリブ103を備える一方で、他の実装形態では、組付けリグ101は、組付けリグ101に安定性をもたらすために、(例えば横方向に)他のリブ103に取り付け、これらを取り囲むリブ103を備えることができる。また更なる実装形態では、組立て状態のリブ103は、縦方向リブを使用して一緒に保持して、実質的に横方向とすることができる。
図2は32本のリブ103を示すが、組付けリグ101を形成する任意の好適な数のリブ103は、本実装形態の範囲内である。例えば、図3で示すように、4本のリブ103からより大きなリブ103が組み立てられるが、他の実装形態では、4本のリブ103よりも多い又は少ないリブからより大きなリブ103が組み立てられる。
また更なる実装形態では、組付けリグ101は、他の種類の形状、例えば楕円のジオデシック・ドーム構造体等を備えることができる。
組付けリグ101は、限定はしないが、実質的に平坦な部品を含めた、リブ以外の部品を更に備えることができ、こうした平坦な部品は互いに噛み合い、この平坦な部品に、例えばカメラ105及び組付けリグ101にある噛合い構造体を使用してカメラ105を取り付けることができる。実際、また更なる実装形態では、組付けリグ101は、リブを備えないが、カメラを組み付けることができる噛合い部品及び/又は折り畳み部品等を備える。
更に、概して、組立て状態の組付けリグ101及び/又はリブ103は、組付けリグ101及び/又はリブ103によって画定した空間内に対象が出入りすることを可能にする。例えば、図1の場合のように、リブ103の間の空間は、ユーザが組付けリグ101及び/又はリブ103の内部に入る及び/又はそこから出ることができるようなものである。
図2に戻ると、45台のカメラ105を示しているが、組付けリグ101によって画定した空間内に位置する(及び/又は台座107上に位置する)対象の表面の点の実質的部分の少なくとも2つの視野角を捕捉する任意の好適な数のカメラ105が、本発明の実装形態の範囲内である。例えば、カメラの数は、わずか約20台であっても、約100台以上もの数であってもよい。しかし、約30から約50台のカメラ105が、一般に対象170の表面の点の実質的部分の少なくとも2つの視野角を捕捉できる。また更なる実装形態では、カメラ105の数は、対象の表面の点の実質的部分の少なくとも3つの視野角を捕捉するように選択できる。
いずれの場合も、組付けリグ101及び/又はリブ103が分解状態で持ち運び可能である限りは、組付けリグ101及び/又はリブ103の多種多様な構成が企図されることを了解されたい。そのような持ち運び可能な形態には、組付けリグ101及び/又はリブ103が車、ミニバン、SUV等の車両を使用して搬送可能であることを含むことができる。更に、本明細書に示すように、組付けリグ101は縦方向に楕円体及び/又はかご構造体をなして配置したリブ103を備える一方で、他の実装形態では、リブ103から他の構成及び/又はパターン、例えば対角パターン、十字形パターン等を組み立てることができる。更に、図示する組立て状態のリブ103の底部及び上部は、閉鎖状態で示す(即ちリブ103が上部及び底部で結合している)一方で、他の実装形態では、組立て状態のリブ103の底部及び上部のうち1つ又は複数は、開放していてもよい(例えば上部及び/又は底部は、リブ103を中に挿入する及び/又は結合する開口リング構造体を備えることができる)。また更なる実装形態では、組付けリグ101は、組立て状態のリブ103に安定性をもたらすために、リブ103に結合できる基部を更に備えることができる。
図示の実装形態では、組立て状態の組付けリグ101及び/又はリブ103によって形成した楕円体は、地面(例えば図1の左と右との間)にほぼ平行である長手方向軸を有するが、他の実装形態では、楕円体の長手方向軸は、地面に(例えば上下に)ほぼ垂直であってもよい。例えば、犬の場合と同様に、対象の体が地面に概ね平行である場合、組付けリグ101及び/又はリブ103によって形成する楕円体は、地面にほぼ平行である長手方向軸を有することができるが、人間の場合と同様に、対象の体が地面に概ね垂直である場合、組付けリグ101及び/又はリブ103によって形成する楕円体は、地面にほぼ垂直である長手方向軸を有することもできる。いくつかの実装形態では、楕円体の長手方向軸の位置は、組付けリグ101及び/又はリブ103を組み立てる間に構成可能である。また他の実装形態では、楕円体の長手方向軸の位置は、組付けリグ101及び/又はリブ103を組み立てた後に構成可能である(例えば、組付けリグ101の構成は、2つの構成の間を切り替えることができる)。また更なる実装形態では、楕円体の長手方向軸の位置は、所与のセットのリブ103及び/又は所与の種類の組付けリグ101のために固定され、異なるセットの組付けリブ103及び/又は異なる種類の組付けリグ101を所与の対象の種類に使用できる。例えば、組付けリグ101及び/又はリブ103から、地面にほぼ平行である長手方向軸を有する楕円体が組み立てられ、別の組付けリグ101及び/又はリブ103から、地面にほぼ垂直である長手方向軸を有する楕円体が組み立てられる。
言い換えれば、対象の表面からカメラ105までほぼ一定の距離を保持できることが望ましいので、組付けリグ101は、3D楕円体に似せることができる。対象が細長い場合、組付けリグ101は対象の細長さに適合する変形を収容できる。
対象、例えば犬、子供又は大人の姿により、組立て状態の楕円体及び/又は組付けリグ101及び/又はリブ103の寸法の定義を更に支援できる。例えば、犬が主対象になる場合、組立て状態の組付けリグ101は、約6フィートの高さ及び約7フィートの長手方向長さを有することができる。子供が主対象になる場合、組立て状態の組付けリグ101は、約7フィートの高さ及び約6フィートの長手方向長さを有することができる。大人が主対象になる場合、組立て状態の組付けリグ101は、約8フィートの高さ及び約6フィートの長手方向長さを有することができる。しかし、組立て状態の楕円体及び/又は組付けリグ101及び/又はリブ103の正確な寸法は変更でき、他の寸法は本実装形態の範囲内である。
また更なる実装形態では、各リブ103は、組立て状態における所定位置を有することができる。例えば、これらの実装形態の一部では、組立て状態で所与のリブ103が他の所与のリブ103に取り付けられるように、各リブ103及び/又はリブ103の端部に番号を付すことができ、そのように組み立てると、組立てを行う度に毎回各リブ103が同じ相対位置で置かれることになる。他の実装形態では、リブ103の組立て方向が1つであるように、リブ103の所与の端部は、別の所与のリブ103の対応する端部と対合するように構成できる。
次に、カメラ105のサブセットを例示的リブ103に取り付ける非限定例を示す図4に注意を向けられたい。これらの実装形態では、各リブ103がカメラ105のそれぞれの組付け位置、及びカメラ105を組付け位置で組み付けるそれぞれの向き及び/又は角度のうち1つ又は複数の指示部401を備えるので、各リブ103は所与の位置に組み立ててあることを了解されよう。図示のように、指示部401はリブ103上に印刷される。例えば、図示のように指示部401のそれぞれは、カメラ105を組み付けるべき場所であるマーク「X」、及びカメラ105を組み付けるべき向き及び/又は角度を示す線を備える。したがって、カメラ105をリブ103に組み付ける際、所与のカメラ105の本体は、「X」で印を付けた位置でそれぞれの線と位置合わせできる。そのような組付けの間、各カメラ105のレンズが組立て状態のリブ103によって画定した空間の方を向く(例えば図1に示すように内側を向く及び/又は台座107の方を向く)ように位置合せが行われることは更に了解されよう。例えば、マーク「X」のない、向き及び/又は角度を示す線といった他の指示部は、本実装形態の範囲内である。
図示しないが、リブ103及びカメラ105の1つ又は複数は、限定はしないがクランプ等を含めた、カメラ105をリブ103に組み付ける機器を備える。
また更なる実装形態では、カメラ105は、組付け機構を備えることができ、この組付け機構は、組付けリグ101及び/又はリブ103の相補形の組付け機構と対合することができる。例えば、組付けリグ101(及び/又はリブ103)並びにカメラ105の一方は、それぞれ突出部及び/又はレール等を備えることができ、組付けリグ101(及び/又はリブ103)並びにカメラ105のもう一方は、突出部等を受け入れる相補形の穴及び/又はアパーチャ等を備えることができ、これらの突出部は、カメラ105を組付けリグ101及び/又はリブ103に組み付けるための穴及び/又はアパーチャに解放可能に挿入できる。実際、いくつかの実装形態では、各突出部及び相補形の穴により、カメラ105が組付けリグ101(及び/又はリブ103)に所与の向き及び/又は角度で組み付けられ、その結果、カメラ105を組付けリグ101(及び/又はリブ103)に組み付けるユーザは、組付け角度について、具体的には、どの組付け角度が対象の表面の点の実質的部分の少なくとも2つの(及び/又は少なくとも3つの)視野角を最も捕捉しそうであるかを判断する必要がない。こうした実装形態では、組付けリグ101(及び/又はリブ103)上の穴及び/又は突出部が同様の機能をもたらすので、印刷した指示部を省くことができる。これらの実装形態では、各リブ103が所与の位置で組み立ててあることが更に想定される。
次に、システム200及び組立て状態のリブ103を示す図5に注意を向けられたい。こうした実装形態では、システム200は、(図5に示した)組立て状態及び(図2に示した)分解状態を有する複数のリブ103を備える組付けリグ101であって、複数のリブ103が組立て状態では空間を中に画定し、分解状態では持ち運び可能である、組付けリグ101;及び組立て状態の複数のリブ103に取り付けられる複数のカメラ105であって、対象を支持する対象の部分(限定はしないが足の底部を含む)以外の、台座107上の対象の表面の点の実質的部分の少なくとも2つの視野角を捕捉するように構成した複数のカメラ105を備える。図5は、撮影対象を支持するように構成した任意選択の台座107を更に示し、台座107は、複数のリブ103が組立て状態にあるときの空間内に位置する。
代替的に、システム200は、(図5に示した)組立て状態及び(図2に示した)分解状態を有する組付けリグ101であって、組立て状態では空間を中に画定し、分解状態では持ち運び可能である組付けリグ101;及び組立て状態の組付けリグ101に取り付けられる複数のカメラ105であって、対象を支持する対象の部分(限定はしないが足の底部を含む)以外の、台座107上の対象の表面の点の実質的部分の少なくとも2つの視野角を捕捉するように構成した複数のカメラ105を備えるものとして記載できる。
システム200は、プロセッサ120及び通信インターフェース124を備えるコンピューティング・デバイス115を更に備え、コンピューティング・デバイス115は、通信インターフェース124を使用して複数のカメラ105のそれぞれと通信する。プロセッサ120は、複数のカメラ105を協調させて、それぞれの画像データを実質的に同時に捕捉し;それぞれの画像データを含む複数の画像を複数のカメラ105から受信し;通信インターフェース124を使用して、複数の画像をサーバ113に送信し、複数の画像を処理して3次元(3D)プリンタ・ファイルにするように構成される。
人間及び動物の対象は、一般に、それらの下半部でより複雑な形状を有している。したがって、画定空間内に位置する対象の表面の点の実質的部分の少なくとも2つの視野角を捕捉するために、カメラ105は、図示するように、カメラの密度が組付けリグ101の底部に向かって増大するように構成できる。
言い換えれば、組付けリグ101及びカメラ105の構成は、視野範囲(即ち組立て状態の複数のリブ103によって画定した空間)の非一様なサンプリングを可能にすることができ、それにより、対象の3Dモデリングを実施するためにより詳細な部分が望ましい領域をより高密度にサンプリングできる。
図5は、リンク501を介してカメラ105と通信するデバイス110を更に示す。1つのカメラ105に対し1つのリンク501のみを示しているが、デバイス110が、各カメラ105をデバイス110にリンクさせる複数のリンク501及び/又はシリアル・リンクを介して全てのカメラ105と通信することは了解されよう。リンク501は、必要に応じてワイヤード及び/又はワイヤレスとすることができる。
図5は、組付けリグ101及び/又はリブ103によって画定した空間内に設置した任意選択の台座107を更に示し、任意選択の較正デバイス205は台座107上に設置されている。台座107がない場合に、較正デバイス205は、組立て状態の組付けリグ101の底部及び/又は床部の上に設置できる。一般に、較正デバイス205は、任意選択の最初の較正工程で使用でき、この較正工程は、後でサーバ113において1つ又は複数のカメラ・パラメータを決定するのを支援できる。任意選択の較正工程では、デバイス110は、カメラ105を制御して、較正デバイス205の画像、具体的には較正デバイス205上の較正パターンの画像を含む任意選択の較正データ(及び/又は較正画像データ)を捕捉し;インターフェース124を使用して任意選択の較正データをサーバ113に送信し、サーバ113が3Dプリンタ・ファイルの生成、具体的には以下で説明する1つ又は複数のカメラ・パラメータの決定を支援するために任意選択の較正データを使用する。任意選択の較正データの送信は、任意選択の較正データを取得したとき及び/又は対象の画像をサーバ113に送信したときに行うことができる。較正工程を実施しない場合、代替的に、サーバ113は画像603を使用して1つ又は複数のカメラ・パラメータを決定できる。
任意選択の較正工程の前又は後に、背景画像を捕捉する。例えば、デバイス110は、カメラ105を制御して、対象を伴わない画定空間(及び/又は台座107)の画像を含む背景画像データを捕捉し;インターフェース124を使用して背景画像データをサーバ113に送信し、サーバ113が3Dプリンタ・ファイルの生成に背景画像データを使用する。背景画像データの送信は、背景画像データを取得したとき及び/又は対象の画像をサーバ113に送信したときに行うことができる。
任意選択の較正工程及び背景画像捕捉工程は、システム200を組み立てる度に一度実施すればよい。較正データ及び背景画像データは、複数の対象に使用できる。言い換えれば、任意選択の較正工程及び背景画像捕捉工程は、一度実施すればよく、複数の対象のための画像で使用できる。
次に、対象170は、画定空間内及び/又は図6に示すように台座107が存在する場合は台座107上に設置及び/又は位置決めできる。図6は、図5と実質的に同様であり、同様の要素は、同様の番号を有する。いくつかの実装形態では、リアルタイム画像フィードバックは、オペレータが、コンピューティング・デバイス110の表示装置126を使用して台座107上の対象170のための位置を探す又は任意選択でカメラ105の位置に対する調節を行うのを助けるために使用できる(1つ又は複数のカメラ105の移動は、較正工程と背景工程の繰返しを開始させることがあることに留意されたい)。
対象170を位置決めした後、デバイス110は、リンク501を介してカメラ105を制御、協調させて、例えばリンク501を介してトリガ信号601をカメラ105に送信することによってそれぞれの画像データを実質的に同時に捕捉し;それぞれの画像データを含む複数の画像603を複数のカメラ105から受信する。トリガ信号601は、カメラ105を制御して、画像を実質的に同時に捕捉する及び/又はカメラ105が協調同期モードで動作するようにでき、それにより、複数の画像603は、デバイス110が画像のセットを捕捉する信号601をトリガする度にカメラ105によって捕捉される。しかし、カメラ105の最初のシャッター作動と最後のシャッター作動との間に遅延があることがある。一般に、カメラ105の最初のシャッター作動と最後のシャッター作動との間の時間遅延は、約1/20秒未満及び/又は約1/2秒未満とすることができる。特に非限定的な実装形態では、カメラ105の最初のシャッター作動と最後のシャッター作動との間の時間遅延は、対象が動いていないときに対象の画像セットを取得する可能性を増大させるために、及び/又は取得した画像セットがブレを含まない及び/又は許容可能な量のブレを有する(ブレは閾値によって定義できる)ように、約1/100秒未満とすることができる。
トリガ信号601は、限定はしないが、カメラ105のそれぞれに対象170のそれぞれの画像を取得させる信号;カメラ105のそれぞれに対象170のそれぞれの画像を周期的に取得させる信号(例えば協調同期モード及び/又は協調バースト・モード)等を含めた複数の形式を含むことができる。一般に、画像603は、フィギュア175を後で作製できるように複数の視野角からの対象170の画像を含み、画像603は、対象の表面の点の実質的部分の少なくとも2つの視野角を含む。
画像603は、デバイス110の表示装置126で検討でき、カメラ105がバースト・モード及び/又は協調同期モードで2セット以上の画像603を捕捉した場合、特定セットの画像603を手入力で選択できるように異なるセットの画像603を表示装置126で検討できる。代替的に、プロセッサ120は、画像処理技法を使用して、画像603のセットが所与の基準を満たすかどうか、例えば画像603のブレが閾値未満であるか及び/又は対象170が所与のポーズをとっているか、を決定するために、カメラ105からの複数セットの画像603を処理するように構成できる。言い換えれば、動物及び/又は子供は、組付けリグ101内で静止したままでいるのが難しいことがあり、対象170が瞬間的に静止している及び/又は望ましいポーズをとっている画像603のセットを選択できる。
図1と実質的に同様であり、同様の要素が同様の番号を有する図7を参照すると、この場合、後述のように、画像603をサーバ113に送信し、画像603を処理して3Dプリンタ・ファイルにする。図7にも示すように、較正デバイス205の複数の画像を含む任意選択の較正データ701、並びに対象170を伴わない組立て状態の組付けリグ101によって画定した空間(及び/又は台座107)の複数の画像を含む背景画像データ703も画像603と共にサーバ113に送信される。しかし、他の実装形態では、任意選択の較正データ701及び背景画像データ703は、画像603とは無関係に送信される。これらの実装形態では、プロセッサ120は、画像603を取得した時限を特定するメタデータを生成するように更に構成され、それにより画像603を任意選択の較正データ701及び背景画像データ703のうち1つ又は複数と協調できる。例えば、任意選択の較正データ701及び背景画像データ703は、画像603とは無関係に及び/又は互いにサーバ113に生成、送信でき、画像603のメタデータは、画像603と任意選択の較正データ701及び背景画像データ703のうち1つ又は複数とを協調させるために使用できる。例えば、メタデータは、画像603を取得及び/又は送信した日にち及び/又は時間及び/又は場所を含むことができる。メタデータは、フィギュア175を依頼しているユーザの地理的位置及び/若しくは住所、並びに/又は支払い情報を更に含むことができる。メタデータは、任意選択で、所与の画像を特定のカメラ105に関連付ける各画像603に対するそれぞれのメタデータを含むことができる。いくつかの実装形態では、メタデータは、組付けリグ101上の所与のカメラ105の場所及び/又は所与のカメラ105の場所を含むことができる。そのようなメタデータは、画像603と任意選択の較正データ701及び背景画像データ703とを協調できるように、任意選択の較正データ701及び背景画像データ703に組み込むことができる。
更に、上記のように、任意選択の較正データ701及び背景画像データ703は、複数の画像セットと共に使用でき、それぞれの画像セットは、異なる対象の画像及び/又は同じ対象の異なるセットの画像に対応する。
いくつかの実装形態では、システム200及び/又は組付けリグ101及び/又はリブ103は、照明装置及び背景機構のうち1つ又は複数を組み込むように修正できる。例えば、組付けリグ101に組み立てられたリブ103及びカメラ105、並びに組付けリグ101及び/又はリブ103に取り外し可能に取り付けられた間接パネル照明801を示す図8に注意を向けられたい。間接パネル照明801は、対象170を照らすために、拡散する、全体に一様な間接照明をもたらす。他の種類の照明装置は、本実装形態の範囲内であり、限定はしないが、画像603の取得と協調される照明装置を含む。図示しないが、いくつかの実装形態では、組付けリグ101及び/又はリブ103は、照明装置からの照明を対象170上で反射させる反射板を含むように更に修正できる。
次に、組付けリグ101に組み立てられたリブ103及びカメラ105を示し、背景物体901を組立て状態のリブ103に取り外し可能に取り付けた図9に注意を向けられたい。図示のように、背景物体901は、背景カーテン及び背景張り物のうち1つ又は複数を備え、これらは、画像603、任意選択の較正データ701及び背景画像データ703の背景を提供する。いくつかの実装形態では、効率及び/又は計算の複雑さは、対象170と対照をなすことができる色の背景物体901を使用することによって低減できる。例えば、対象170が動物を含む場合、組付けリグ101の内部の方を向く背景物体の少なくとも一部分は、動物及び/又はペットには通常存在しない色、例えば緑、青等とすることができる。しかし、色は、対象の種類に基づくこともできる。例えば、対象が、オウム等の鳥又はトカゲである場合、これらのそれぞれは緑及び/又は青であることがあり、背景物体901の色は、対象と対照をなすために茶色であってもよい。対象が人間である場合、対象に背景物体901の色を知らせる及び/又は背景物体901と対照をなす衣服を着用することを依頼できる。しかし、対象の色及び背景の色が同様の色である場合、限定はしないがローカル・ディスクリプタを含めた局所画像特徴部を使用して、後述のように対象の色と背景の色とを区別できる。言い換えれば、対象と背景との間で対照をなす色は、後述のように、3Dプリンタ・ファイルを作製する効率及び/又は正確さを高めることを支援できるが、対象と背景との間のそのような対照は任意選択である。
いくつかの実装形態では、リブ103(及び/又は任意選択の台座107)は、背景物体901と同様の色とすることができる。また更なる実装形態では、システム200は、背景物体と同様の色であるカーペット等の背景物体を更に備えることができ、この背景物体は組付けリグ101の下に設置される。
図示しないが、また更なる実装形態では、システム200は、組立て状態の組付けリグ101及び/又はリブ103を少なくとも部分的に取り囲むように構成した枠を含むように修正でき、カーテン、張り物等の背景物体901は、この枠に取付け可能である。
いずれにしても、背景物体901は、一般に、対象170のための背景を提供し、背景が全体に一定であるように組付けリグ101周囲の物体を見えなくする。したがって、背景画像データ703では、背景が画像603にあるものと同様及び/又は同じものとなる。しかし、後述のように、対象と背景との間のそのような対照は、3Dプリンタ・ファイルを作製する効率及び/又は正確さを高めることを支援できるが、対象と背景との間のそのような対照は任意選択である。したがって、背景物体901は任意選択である。
非限定実装形態による、3Dフィギュアを作製するための画像を取得する方法1000を例示する流れ図を示す図10に注意を向けられたい。方法1000の説明を支援するために、方法1000は、システム100、200を使用して実施することを想定する。更に、方法1000の以下の説明により、システム100、200及びその様々な構成要素への更なる理解がもたらされるであろう。しかし、システム100、200及び/又は方法1000は変更でき、互いに連携して本明細書で説明した通りに正確に作動させる必要はないこと、並びにそのような変更形態は本実装形態の範囲内であることを理解されたい。いくつかの実装形態では、方法1000は、デバイス110のプロセッサ120によって、例えばアプリケーション145の実装によりシステム100、200内で実施されることを了解されよう。
しかし、方法1000は、別段に規定されていない限り、図示通りに厳密なシーケンスで実施する必要はないことを強調すべきであり、同様の様々なブロックを順番にではなく並行して実施できる。したがって、本明細書では、方法1000の要素を「ステップ」ではなく「ブロック」と呼ぶ。方法1000は、同様にシステム100、200の変更形態上でも実施できることを理解されたい。
任意選択のブロック1001で、プロセッサ120は、カメラ105を制御して、較正デバイス205の画像を含む任意選択の較正データ701を捕捉する。任意選択のブロック1003では、プロセッサ120は、インターフェース124を使用して任意選択の較正データ701をサーバ113に送信し、サーバ113は、任意選択の較正データ701を3Dプリンタ・ファイルの生成に使用する。任意選択のブロック1005で、プロセッサ120は、カメラ105を制御して、対象170(又は較正デバイス205)を伴わない画定空間(及び/又は台座107)の画像を含む背景画像データ703を捕捉する。任意選択のブロック1007で、プロセッサ120は、インターフェース124を使用して背景画像データ703をサーバ113に送信し、サーバ113は、背景画像データ703を3Dプリンタ・ファイルの生成に使用する。ブロック1001から1007は、較正データ701及び/又は背景画像データ703が任意選択であるため、任意選択であることを了解されよう。例えば、後述のように、較正データ701及び/又は背景画像データ703は、3Dプリンタ・ファイルを作製する効率及び/又は正確さを高めることを支援できるが、3Dプリンタ・ファイルは、較正データ701及び/又は背景画像データ703がなくても作製できる。
ブロック1009で、プロセッサ120は、カメラ105を協調させて、それぞれの画像データを実質的に同時に捕捉する。ブロック1011で、プロセッサ120は、それぞれの画像データを含む画像603をカメラ105から受信する。ブロック1013で、プロセッサ120は、インターフェース124を使用して画像603をサーバ113に送信し、画像603を処理して3Dプリンタ・ファイルにする。ブロック1003、1005及び1013は、単独及び/又は並行に行うことができる。同様に、ブロック1001、1005及び1009は、任意の順序で実施でき、言い換えれば、画像603、任意選択の較正データ701及び/又は任意選択の背景画像データ703は、任意の順序で取得できる。例えば、任意選択の較正データ701及び/又は背景画像データ703は、画像603の後に取得でき、次にサーバ113に送信できる。
次に、非限定実装形態による、3Dプリンタ・ファイルを作製する方法1100を例示する流れ図を示す図11に注意を向けられたい。方法1100の説明を支援するために、方法1100は、システム100を使用して実施することを想定する。更に、方法1100の以下の説明により、システム100及びその様々な構成要素への更なる理解がもたらされるであろう。しかし、システム100及び/又は方法1100は変更でき、互いに連携して本明細書で説明した通りに正確に作動させる必要はないこと、並びにそのような変更形態は本発明の実装形態の範囲内であることを理解されたい。いくつかの実装形態では、方法1100はサーバ113のプロセッサ150によって、例えばアプリケーション165の実装によりシステム100内で実施されることを了解されよう。
しかし、方法1100は、別段に規定されていない限り、図示通りに厳密なシーケンスで実施する必要はないことを強調すべきであり、同様の様々なブロックを順番にではなく並行して実施できる。したがって、本明細書では、方法1100の要素を「ステップ」ではなく「ブロック」と呼ぶ。方法1100は、同様にシステム100の変更形態上でも実施できることを理解されたい。
ブロック1101で、プロセッサ120は、通信インターフェース154を使用して、それぞれが複数のカメラ105の異なるカメラ105を使用して捕捉した、対象の複数の画像603を受信する。
ブロック1103で、プロセッサ120は、複数の画像603を処理することによって、複数のカメラ105のそれぞれの1つ又は複数のカメラ・パラメータを推定する。
任意選択のブロック1105で、プロセッサ120は、複数の画像603内の対象の背景を表す画素をマスキングして対象の表示を含む前景を決定する。
ブロック1107で、プロセッサ120は、対象の表面を表す3D点の3D座標を推定し、図12を参照して以下で説明する3D座標のセットを生成する。
ブロック1109で、プロセッサ120は、3D点のセットを3Dプリンタ・ファイルに変換する。
ブロック1111で、プロセッサ120は、通信インターフェース154を使用して、3Dプリンタ・ファイルを3Dプリンタ115に送信し、対象を表すフィギュアを3D印刷する。
次に、方法1100を更に詳細に説明する。
上記のように、サーバ113は、一般に画像603を受信し(ブロック1101)、画像603の前、後及び/又は並行して背景画像データ703及び/又は較正データ701を任意選択で受信できる。
ブロック1103で推定した、複数のカメラ105のそれぞれの1つ又は複数のカメラ・パラメータの推定には、限定はしないが、バンドル調整の使用を含むことができる。1つ又は複数のカメラ・パラメータには、限定はしないが、カメラ105のそれぞれに対するそれぞれの表示の径方向歪み;各カメラ105の角度及び/又は向き;各カメラ105の位置;各カメラ105の焦点距離、各カメラ105の画素サイズ;各カメラ105のレンズ収差等を含むことができる。
任意選択の較正データ701を含む実装形態では、1つ又は複数のカメラ・パラメータの推定には、任意選択の較正データ701を処理して1つ又は複数のカメラ・パラメータの最初の推定値を決定することを含み、例えば較正データ701中の較正デバイス205の較正パターンの表示を使用して最初の推定値を決定することによるものである。その後、バンドル調整及び最初の推定値を使用して画像603を処理して、1つ又は複数のカメラ・パラメータの最終推定値を決定できる。各カメラ105に対する1つ又は複数のカメラ・パラメータの最初の推定値は、画像603中のメタデータ及び較正データ701中のメタデータを使用して、画像603の更なる処理と協調させて(例えばそれぞれのメタデータは、所与の画像及び/又は較正画像を特定のカメラ105に関連付ける及び/又は所与のカメラ105の位置を特定する)、画像603をその対応する較正データ701と一致させることができる。
いくつかの実装形態では、1つ又は複数のカメラ・パラメータは、例えばレンズ収差による、カメラ105のそれぞれに対するそれぞれの表示の径方向歪みを含むことができる。こうした実装形態では、カメラ105のそれぞれに対するそれぞれの表示の径方向歪みを決定した後、方法1100は、それぞれの表示の径方向歪みを使用して、プロセッサ120が画像603中の1つ又は複数の種類の画像歪みを補正することを任意選択で含むことができる。そのような補正は、ブロック1105の前、及び/又はブロック1105と同時に、及び/又はブロック1103と同時に行うことができる。
対象の表示を含む前景を決定するために、画像603中の対象の背景を表す画素をマスキングするステップは、任意選択のブロック1105で、対象が存在する画像603と、対象が存在しない背景画像、或いは同様の画像603とを比較することによって任意選択で行うことができる。したがって、例えば各画像603は、(例えば所与の画像及び/若しくは背景画像を特定のカメラ105に関連付ける並びに/又は協調のために所与のカメラ105の位置を特定するそれぞれのメタデータを使用して)背景画像データ703中の対応する背景画像と比較され(対応する背景画像は、対応する背景画像と比較される所与の画像603と同じカメラ105を使用して取得したものである)、所与の画像内のどの画素が対象に対応し、どの画素が背景に対応するかを決定する。背景画素は、方法1100の残りのブロックではマスキング及び/又は無視される。
言い換えれば、任意選択のブロック1105では、背景画像は、対象が存在する画像603に対して比較する。背景が見える画像603中の画素は、処理リソースが処理境界外及び/又は背景領域に割り振られるのを防ぐためにマスキングを除外する。対象の特徴部が存在する領域を前景及び/又は前景領域と呼ぶことができる。そのようなマスキングにより、後述する3Dプリンタ・ファイルを作製する効率及び/又は正確さを高めることを支援できるが、3Dプリンタ・ファイルは、そのようなマスキング及び/又は背景画像データ703がなくても作製できる。
ブロック1107での3D座標の推定を図12を参照しながら説明する。図12は、非限定実装形態による、3D座標を推定する方法1200を示し、方法1200は、方法1100のブロック1107に対応する。更に、方法1200は、複数の画像603内の各画像603に対して実施する。言い換えれば、プロセッサ120は画像603のそれぞれに対して方法1200を実施する。
ブロック1201で、所与の画像603に対して、プロセッサ120は、複数の画像603のうち、所与の画像603の視野が重複する重複画像603のサブセットを探す。例えば、対象の特徴部を含む所与の画像603に対して、プロセッサ120は、どの画像603が同じ特徴部の少なくとも一部分を含むかを決定する。そのような画像603のサブセットは、所与の画像と重複する画像を含む。所与の画像603と重複する画像の決定は、画像603内の共通の特徴部を特定する画像処理技法を使用して、或いは、ブロック1103で推定した1つ又は複数のカメラ・パラメータを使用して行うことができる。
ブロック1203で、プロセッサ120は、1つ又は複数のカメラ・パラメータを使用して、所与の画像603の突出部の形状を重複画像603のそれぞれに関連付ける基本行列を決定する。例えば、1つ又は複数のカメラ・パラメータは、所与の画像603の取得に使用するカメラ105;重複画像03の取得に使用するそれぞれのカメラ105;のそれぞれの位置及びそれぞれの向きを含むことができる。基本行列の決定には、それぞれの位置及びそれぞれの向きを使用して基本行列を決定することを含むことができる。一般に、一対の画像603(即ち所与の画像603及び重複画像603)の対応する点の同次の画像座標x及びx’を有するエピポーラ形状では、基本行列は、他の画像上に対応する点x’がある線(エピポーラ線と呼ぶ)を記述する。言い換えれば、例えば特徴部及び/又は特徴部の画素に対応する所与の画像603上の点xに関して、所与の画像603では、異なる角度からではあるが同じ特徴部に対応する重複画像603中の対応する点x’は、基本行列によって述べられるエピポーラ線上にある。
ブロック1205で、所与の画像603中の各画素に対して、プロセッサ120は、所与の画素と、基本行列から決定した、重複画像603内の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見できるかどうかを決定する。
対象の表示を含む前景を決定するためにマスキングをブロック1105で行う実装形態では、次にブロック1205で、前景と関連する所与の画像中の各画素に対して、所与の画素と、重複画像603内の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見できるかどうかの決定が行われ、背景を表す画素は無視される。言い換えれば、こうした実装形態では、前景と関連する所与の画像603中の各画素に対して、プロセッサ120は、所与の画素と、基本行列から決定した重複画像603内の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見できるかどうかを決定する。プロセッサ150は、ブロック1105でマスキングしたこれらの画素をこれらが背景に対応するために無視し、このことは、一般に、サーバ113での処理リソースの使用を低減する。別様には、マスキングをしない場合、プロセッサ150は、限定はしないが、ローカル・ディスクリプタを含めた局所画像特徴部を使用して、対象/前景に対応する画素と背景に対応する画素とを区別できる。
ブロック1207で、所与の画素と、重複画像603内の対応するエピポーラ線に沿った複数の候補位置との間に一致を発見した場合、プロセッサ120は、所与の画素の位置及び一致した画素のそれぞれの位置に関連する点のそれぞれの3D座標を推測し、限定はしないが三角測量技法等を含む。更に、プロセッサ120は、それぞれの3D座標を3D点のセットに追加する。一般に、3D点のセットは、対象の表面を表す点のセットを表す。
方法1200の態様は、一般に、方法1200を使用してプロセッサ120によって処理される所与の画像1303、及びブロック1201で決定した重複画像1313を示す図13に示される。所与の画像1303及び重複画像1313のそれぞれは、複数の画像603からのそれぞれの画像を含む。
更に、画像1303、1313のそれぞれは、鼻を含む犬の鼻先を示した、対象の少なくとも1つの同様の特徴部1320を含む。所与の画像1303は、特徴部1320の側面を含む一方で、重複画像1313は、特徴部1320の正面を含む。画像1303、1313のそれぞれは、特徴部1320の異なる外観を含むが、鼻の側部等、外観の少なくとも一部は、画像1303、1313のそれぞれに含まれる。言い換えれば、画像1313は画像1303と重複する。
方法1200を画像1313に適用する場合、画像1303は画像1313と重複する画像として指定されることは了解されよう。
いずれの場合も、重複画像1313をブロック1201で発見した後、ブロック1203で、基本行列を画像1303と画像1313との間で決定する。次に、ブロック1205で、所与の画像1303中の各画素(前景に関連する所与の画像1303中の任意選択の各画素、背景に関連する無視される画素)を重複画像1313中の対応するエピポーラ線に沿った複数の候補位置に対して比較する。例えば、プロセッサ120が特徴部1320中の鼻の底部側縁部の画素1350を処理しているときに、基本行列を使用して重複画像1313中の対応するエピポーラ線1355を決定する。次に、エピポーラ線1355に沿った各画素を処理し、限定はしないがローカル・ディスクリプタを含めた局所画像特徴部を使用して、画素のいずれかが画素1350に対応するかどうか決定する。図示のように、エピポーラ線1355に沿った画素1350’は、画素1350に対応する。というのは、それぞれは、線1370、1370’が示すように異なる角度からではあるが、特徴部1320上の同じ位置に対応する画素を示すためである。マスキングできる及び/又は背景に対応する、エピポーラ線に沿った画素は無視できることは更に了解されよう。図13では、背景の部分であって、したがってマスキングできるエピポーラ線1355の部分は、点線である一方で、前景部分であるエピポーラ線1355の部分は実線である。
いずれの場合も、ブロック1207で、プロセッサ120は一致が生じたことを決定してあるので、画素1350、1350’の両方に対応する点の3D座標を推測し、3D点のセット内に記憶する。
任意選択のブロック1209で、プロセッサ120は、3D点のセットの一貫性を確認でき、多数の画像603が所与の3D点の一貫性のある3D座標推定値をもたらす場合には所与の3D点を保持し、及び多数の画像603が一貫性のない3D座標をもたらす場合は所与の3D点を廃棄する。例えば、3D点は、一般に対象の表面を表す。1つ又は複数の3D点が他の3D点によって画定した表面上に位置しない及び/又は他の3D点と不連続である場合、表面が一貫及び/又は連続するように、その表面上に位置しない3D点を破棄する。
この工程は、画像1303中の全画素に対して繰り返され、画像1303と重複する全画像603に対して更に繰り返される。代替的に、この工程は、前景に対応する画像1303中の全画素に対して繰り返され、画像1303と重複する全画像603に対して更に繰り返される。いずれにしても、図13は1つの重複画像1313を示すが、複数の画像603が画像1303と重複でき、ブロック1203、1205及び1207は、各重複画像に対して繰り返され、更に、異なる重複画像を画像1303と比較する場合に画像1303中の画素のそれぞれに対して繰り返される。方法1200は、各画像603の全ての画素(及び/又は各画像603の前景領域中の全ての画素)が対象の表面形状の3D点を推測するために使用されるように画像603のそれぞれに対して更に繰り返される。更に、各画素に関連する色を決定することによって、各3D点の色を方法1200で決定でき、この色は、各画素の特徴部の色に対応するものである。
したがって、得られたセットは、フルカラーの点クラウドを備え、その密度は、カメラ105の解像度に依存する。
方法1200は、以下のように更に表すことができる:
「n」枚の画像603のセットをセットI={I1;I2;...;In}として表すことを仮定する。方法1200(3D再構成アルゴリズムと呼ぶこともできる)は、セットI中の画像のそれぞれに対して、i番目の画像(Ii)に対して以下のステップを繰り返すことによって反復する:
1.画像Iiと重複する視野がある場合、画像Niのサブセットを探す。この情報は、カメラ105の位置の3Dドローネー三角分割法の凸包を使用して自動的に推定できる。
2.重複画像{Ij│jはNiの要素である}に対して以下を反復する:
(a)画像Ii上の突出部の形状と画像Ij上の突出部の形状とを関連付ける基本行列Fijを決定する。
(b)i番目の画像に関する点クラウドSiを空として初期設定する。
(c)Ii中の画素kの全てに対して以下を反復する:i.kがIiの前景中にあることを検証するために任意選択の確認を行うことができる;ii.図13にあるようなIj上の対応するエピポーラ線に沿った画素Ii(k)を一致させる;iii.一致を発見した場合、kの3D座標(k3D)を推定し、これらをセットSi(Si=Si(Si=Si∪k3D)に追加する。
3.任意選択で、Ii中の各画素kに対して推定した3D位置の一貫性を確認し、多数の画像が同様の3D場所推定値をもたらす場合にのみ3D点を保持する。
「n」枚の画像603のセットをセットI={I1;I2;...;In}として表すことを仮定する。方法1200(3D再構成アルゴリズムと呼ぶこともできる)は、セットI中の画像のそれぞれに対して、i番目の画像(Ii)に対して以下のステップを繰り返すことによって反復する:
1.画像Iiと重複する視野がある場合、画像Niのサブセットを探す。この情報は、カメラ105の位置の3Dドローネー三角分割法の凸包を使用して自動的に推定できる。
2.重複画像{Ij│jはNiの要素である}に対して以下を反復する:
(a)画像Ii上の突出部の形状と画像Ij上の突出部の形状とを関連付ける基本行列Fijを決定する。
(b)i番目の画像に関する点クラウドSiを空として初期設定する。
(c)Ii中の画素kの全てに対して以下を反復する:i.kがIiの前景中にあることを検証するために任意選択の確認を行うことができる;ii.図13にあるようなIj上の対応するエピポーラ線に沿った画素Ii(k)を一致させる;iii.一致を発見した場合、kの3D座標(k3D)を推定し、これらをセットSi(Si=Si(Si=Si∪k3D)に追加する。
3.任意選択で、Ii中の各画素kに対して推定した3D位置の一貫性を確認し、多数の画像が同様の3D場所推定値をもたらす場合にのみ3D点を保持する。
一貫性の確認は、カメラ105が物体の表面の実質的部分の少なくとも3つの視野角を捕捉した場合に行うことができる。
次に、ブロック1107で3D点のセットを生成する方法1100に注意を戻されたい。この方法1100は、結束表面S上での点クラウドの同時登録を含むことができる。ブロック1109で、プロセッサ120は3D点のセットを3Dプリンタ・ファイルに変換する。ブロック1109は、限定はしないが、点クラウドSを3D表面モデルに変換すること;及び3D点のセット間の多角形関係を決定し、例えば3Dコンピュータ視覚化が行われるようにそれらの表面法線を推定することを含むことができる。生成された3Dプリンタ・ファイルは、一般に3Dプリンタ115によって処理可能である。いくつかの実装形態では、サーバ113に関連する実体は、それぞれが1つ又は複数のそれぞれの3Dプリンタを稼働する複数の実体と関係を有することができる。これらの実装形態では、2つ以上の3Dプリンタは、異なる3Dプリンタ・ファイル形式を有することができる。こうした実装形態では、ブロック1109は、どの3Dプリンタ・ファイル形式を使用するか、例えば3Dプリンタ実体のデータベース及びそれらに対応する3Dプリンタ形式に基づいて決定することを更に含むことができる。特定の3Dプリンタ実体は、メタデータとして画像603と共に受信した、フィギュア175を依頼しているユーザの地理的場所及び/又は住所に基づいて選択できる。例えば、画像603を取得するシステム200は持ち運び可能であり、複数のシステム200は、より広い地理的領域上で画像を取得するのに使用できるので、3Dプリンタ実体は、ユーザへのフィギュア175の発送費用を低減するように選択できる。3Dプリンタ実体の選択は、フィギュア175の印刷/発送の待ち時間に基づくこともできる。例えば、1つの3Dプリンタ実体のリソースが所与の時限の間ビジーである及び/又は予約されている場合、異なる3Dプリンタ実体を選択できる。そのような選択は、例えば入力デバイス158を使用して手入力で行うことができる及び/又は3Dプリンタ115を稼働する実体に関連するコンピューティング・デバイスがネットワーク111を介して待ち時間データをサーバ113に送信する場合は自動的に行うことができる。
ブロック1111では、プロセッサ120は、3Dプリンタ・ファイルを3Dプリンタ115に送信する。3Dプリンタ115は、3Dプリンタ・ファイルを受信し、フィギュア175を3D印刷する。プロセッサ120は、フィギュア175を発送すべきユーザの住所を更に送信でき、それにより、3Dプリンタ115を稼働する実体は、フィギュア175を包装し、ユーザに発送できる。
ブロック1109及び1111は、実質的に図1と同様であり、同様の要素が同様の番号を有する図14に更に示される。図14では、サーバ1113が3D点のセット1401を生成し、メモリ152にセット1401を記憶したと仮定する。次に、プロセッサ120は、セット1401から3Dプリンタ・ファイル1403を生成し、フィギュア175を生成する3Dプリンタ115に3Dプリンタ・ファイル1403を送信できる。
本明細書で提供されるのは、(ソフトウェア及びハードウェアを含み得る)持ち運び可能3D走査システムを含む、3次元印刷フィギュアを作製するシステム、装置及び方法であり、このシステムは、動いている物体を「瞬間的に」(例えば約1/100秒以内及び/又は約0.5秒以内で)3D走査可能にする。このシステムは、組付けリグによって保持される一揃いのカメラから構成される。リグは、カメラが多くの可能な視野角から部分的に重複する視野を入手するようなものである。全カメラのシャッターを同期的に解放すると、カメラが対象の全画像を「瞬時に」捕捉することを可能にする。エピポーラ形状、及び限定はしないがローカル・ディスクリプタを含めた局所画像特徴部を使用して、異なる画像同士の対応する点を位置特定し、一致させる。対応する点の3D位置の推定は、三角測量を使用して達成できる。対象の表面全体を包含する高密度の3D点クラウドが生成され、このクラウドは、そのような表面のコンピュータ3D表示を含む。再構成方法は、点表示クラウドを多角形3D表面表示に変換するために使用でき、この多角形3D表面表示は、可能性としては3D表示及び3D印刷でより最適なものである。
いくつかの実装形態では、デバイス110及びサーバ113の機能を事前プログラムしたハードウェア又はファームウェア要素(例えば特定用途向け集積回路(ASIC)、電気的に消去できるプログラム可能な読取り専用メモリ(「EEPROM」等)又は他の関連する構成要素を使用して実装できることを当業者は了解するであろう。他の実装形態では、デバイス110及びサーバ113の機能は、コード・メモリ(図示せず)にアクセスを有する計算装置を使用して達成でき、このコード・メモリは、計算装置を稼働させるためのコンピュータ可読プログラム・コードを記憶する。コンピュータ可読プログラム・コードは、コンピュータ可読記憶媒体上に記憶でき、このコンピュータ可読記憶媒体は、固定され、有形であり、これらの構成要素(例えば取り外し可能ディスケット、CD−ROM、ROM、固定ディスク、USBドライブ)によって直接的に読取り可能である。更に、コンピュータ可読プログラムは、コンピュータ使用可能媒体を含むコンピュータ・プログラム製品として記憶できることは了解されよう。更に、永続的記憶デバイスは、コンピュータ可読プログラム・コードを含むことができる。コンピュータ可読プログラム・コード及び/又はコンピュータ使用可能媒体は、非一時的コンピュータ可読プログラム・コード及び/又は非一時的コンピュータ使用可能媒体を含むことができることをまた更に了解されよう。代替的に、コンピュータ可読プログラム・コードは、伝送媒体上でネットワーク(限定はしないがインターネットを含む)に接続したモデム又は他のインターフェース・デバイスを介してこれらの構成要素に遠隔でも送信可能に記憶させることができる。伝送媒体は、非移動媒体(例えば光及び/又はデジタル及び/又はアナログ通信線)であっても、移動媒体(例えばマイクロ波、赤外線、自由空間光伝送機構又は他の伝送機構)であっても、それらの組合せであってもよい。
まだ更なる代替実装形態及び修正形態が可能であること、及び上記の例は、1つ又は複数の実装形態に対する例示にすぎないことを当業者は了解するであろう。したがって、範囲は、本明細書に添付の特許請求の範囲によってのみ限定される。
まだ更なる代替実装形態及び修正形態が可能であること、及び上記の例は、1つ又は複数の実装形態に対する例示にすぎないことを当業者は了解するであろう。したがって、範囲は、本明細書に添付の特許請求の範囲によってのみ限定される。
本発明の主要な態様は次の通りである。
[態様1]
組立て状態及び分解状態を有する組付けリグであって、前記組付けリグは、前記組立て状態においてその中に空間を画定し、前記組付けリグは、前記分解状態において持ち運び可能である、組付けリグ、
前記組立て状態における前記組付けリグに取り付けられる複数のカメラであって、前記複数のカメラは、前記組付けリグが前記組立て状態にあるときに、前記空間の範囲内に位置する対象の表面の点のうち前記対象を支持する部分以外の実質的部分の少なくとも2つの視野角を捕捉するように配置される、複数のカメラ、及び、
プロセッサ及び通信インターフェースを備えるコンピューティング・デバイスであって、前記コンピューティング・デバイスは、前記通信インターフェースを用いて前記複数のカメラの各々と通信し、前記プロセッサは、
前記複数のカメラを協調させてそれぞれの画像データを実質的に同時に捕捉し、
前記複数のカメラから前記それぞれの画像データを含む複数の画像を受信し、そして、
前記複数の画像を3次元(3D)プリンタ・ファイルに処理するためのサーバに前記通信インターフェースを用いて前記複数の画像を送信する、ように構成される、コンピューティング・デバイス、
を備える、システム。
[態様2]
前記組付けリグは、前記組付けリグの組立て状態において組み立てられていて、前記組付けリグの分解状態において分解されている複数のリブを備える、態様1に記載のシステム。
[態様3]
前記対象を支持するように構成される台座を更に備え、前記台座は、前記組付けリグが組立て状態にあるときに前記空間の範囲内に位置する、態様1に記載のシステム。
[態様4]
前記対象の画像を捕捉する前に前記空間の範囲内に配置されることができる較正デバイスを更に備え、前記較正デバイスは、前記複数のカメラによって捕捉されることができる較正パターンを備え、前記プロセッサは、
複数のカメラを制御して前記較正デバイスの画像を含む較正データを捕捉し、そして、
前記3Dプリンタ・ファイルの生成において前記サーバにより使用されるための前記較正データを前記通信インターフェースを用いて前記サーバに送信する、ように更に構成される、態様1に記載のシステム。
[態様5]
較正デバイスは、立方体、六面体、平行六面体、直方体及び菱面体並びに3次元中実物体のうちの1つ又は複数を備え、前記較正デバイスの各々の面は、異なる較正パターンを備える、態様4に記載のシステム。
[態様6]
前記プロセッサは、
前記複数のカメラを制御して前記対象を伴わない前記空間の画像を含む背景画像データを捕捉し、そして、
前記3Dプリンタ・ファイルの生成において前記サーバにより使用されるための前記背景画像データを前記通信インターフェースを用いて前記サーバに送信する、ように更に構成される、態様1に記載のシステム。
[態様7]
前記プロセッサは、前記それぞれの画像が較正データ及び背景データのうちの1つ又は複数と協調されることができるように、前記それぞれの画像が取得された時限を特定するメタデータを生成するように更に構成される、態様1に記載のシステム。
[態様8]
背景物体、背景カーテン及び背景張り物のうちの1つ又は複数を更に備える、態様1に記載のシステム。
[態様9]
前記背景物体は、前記組立て状態における前記組付けリグに取付け可能である、態様8に記載のシステム。
[態様10]
前記組立て状態における前記組付けリグを少なくとも部分的に取り囲むように構成される枠を更に備え、前記背景物体は、前記枠に取付け可能である、態様8に記載のシステム。
[態様11]
前記組立て状態における前記組付けリグに取り付けられた前記複数のカメラは、前記組付けリグが前記組立て状態にあるときに、前記空間の範囲内に位置する対象の表面の点のうち前記対象を支持する部分以外の実質的部分の少なくとも3つの視野角を捕捉するように配置される、態様1に記載のシステム。
[態様12]
システムは、
前記組付けリグを前記分解状態から前記組立て状態に組み立てるための締結器及び工具のうちの1つ又は複数を更に備える、態様1に記載のシステム。
本発明の主要な態様は次の通りである。
[態様1]
組立て状態及び分解状態を有する組付けリグであって、前記組付けリグは、前記組立て状態においてその中に空間を画定し、前記組付けリグは、前記分解状態において持ち運び可能である、組付けリグ、
前記組立て状態における前記組付けリグに取り付けられる複数のカメラであって、前記複数のカメラは、前記組付けリグが前記組立て状態にあるときに、前記空間の範囲内に位置する対象の表面の点のうち前記対象を支持する部分以外の実質的部分の少なくとも2つの視野角を捕捉するように配置される、複数のカメラ、及び、
プロセッサ及び通信インターフェースを備えるコンピューティング・デバイスであって、前記コンピューティング・デバイスは、前記通信インターフェースを用いて前記複数のカメラの各々と通信し、前記プロセッサは、
前記複数のカメラを協調させてそれぞれの画像データを実質的に同時に捕捉し、
前記複数のカメラから前記それぞれの画像データを含む複数の画像を受信し、そして、
前記複数の画像を3次元(3D)プリンタ・ファイルに処理するためのサーバに前記通信インターフェースを用いて前記複数の画像を送信する、ように構成される、コンピューティング・デバイス、
を備える、システム。
[態様2]
前記組付けリグは、前記組付けリグの組立て状態において組み立てられていて、前記組付けリグの分解状態において分解されている複数のリブを備える、態様1に記載のシステム。
[態様3]
前記対象を支持するように構成される台座を更に備え、前記台座は、前記組付けリグが組立て状態にあるときに前記空間の範囲内に位置する、態様1に記載のシステム。
[態様4]
前記対象の画像を捕捉する前に前記空間の範囲内に配置されることができる較正デバイスを更に備え、前記較正デバイスは、前記複数のカメラによって捕捉されることができる較正パターンを備え、前記プロセッサは、
複数のカメラを制御して前記較正デバイスの画像を含む較正データを捕捉し、そして、
前記3Dプリンタ・ファイルの生成において前記サーバにより使用されるための前記較正データを前記通信インターフェースを用いて前記サーバに送信する、ように更に構成される、態様1に記載のシステム。
[態様5]
較正デバイスは、立方体、六面体、平行六面体、直方体及び菱面体並びに3次元中実物体のうちの1つ又は複数を備え、前記較正デバイスの各々の面は、異なる較正パターンを備える、態様4に記載のシステム。
[態様6]
前記プロセッサは、
前記複数のカメラを制御して前記対象を伴わない前記空間の画像を含む背景画像データを捕捉し、そして、
前記3Dプリンタ・ファイルの生成において前記サーバにより使用されるための前記背景画像データを前記通信インターフェースを用いて前記サーバに送信する、ように更に構成される、態様1に記載のシステム。
[態様7]
前記プロセッサは、前記それぞれの画像が較正データ及び背景データのうちの1つ又は複数と協調されることができるように、前記それぞれの画像が取得された時限を特定するメタデータを生成するように更に構成される、態様1に記載のシステム。
[態様8]
背景物体、背景カーテン及び背景張り物のうちの1つ又は複数を更に備える、態様1に記載のシステム。
[態様9]
前記背景物体は、前記組立て状態における前記組付けリグに取付け可能である、態様8に記載のシステム。
[態様10]
前記組立て状態における前記組付けリグを少なくとも部分的に取り囲むように構成される枠を更に備え、前記背景物体は、前記枠に取付け可能である、態様8に記載のシステム。
[態様11]
前記組立て状態における前記組付けリグに取り付けられた前記複数のカメラは、前記組付けリグが前記組立て状態にあるときに、前記空間の範囲内に位置する対象の表面の点のうち前記対象を支持する部分以外の実質的部分の少なくとも3つの視野角を捕捉するように配置される、態様1に記載のシステム。
[態様12]
システムは、
前記組付けリグを前記分解状態から前記組立て状態に組み立てるための締結器及び工具のうちの1つ又は複数を更に備える、態様1に記載のシステム。
Claims (20)
- 組立て状態及び分解状態を有する組付けリグであって、前記組付けリグは、前記組立て状態においてその中に空間を画定し、前記組付けリグは、前記分解状態において持ち運び可能である、組付けリグ、
前記組立て状態における前記組付けリグに取り付けられる複数のカメラであって、前記複数のカメラは、前記組付けリグが前記組立て状態にあるときに、前記空間の範囲内に位置する対象の表面の点のうち前記対象を支持する部分以外の実質的部分の少なくとも2つの視野角を捕捉するように配置される、複数のカメラ、及び、
プロセッサ及び通信インターフェースを備えるコンピューティング・デバイスであって、前記コンピューティング・デバイスは、前記通信インターフェースを用いて前記複数のカメラの各々と通信し、前記プロセッサは、
前記複数のカメラを協調させてそれぞれの画像データを実質的に同時に捕捉し、
前記複数のカメラから前記それぞれの画像データを含む複数の画像を受信し、そして、
前記複数の画像を3次元(3D)プリンタ・ファイルに処理するためのサーバに前記通信インターフェースを用いて前記複数の画像を送信する、ように構成される、コンピューティング・デバイス、
を備える、システム。 - 前記組付けリグは、前記組付けリグの組立て状態において組み立てられていて、前記組付けリグの分解状態において分解されている複数のリブを備える、請求項1に記載のシステム。
- 前記対象を支持するように構成される台座を更に備え、前記台座は、前記組付けリグが組立て状態にあるときに前記空間の範囲内に位置する、請求項1に記載のシステム。
- 前記対象の画像を捕捉する前に前記空間の範囲内に配置されることができる較正デバイスを更に備え、前記較正デバイスは、前記複数のカメラによって捕捉されることができる較正パターンを備え、前記プロセッサは、
複数のカメラを制御して前記較正デバイスの画像を含む較正データを捕捉し、そして、
前記3Dプリンタ・ファイルの生成において前記サーバにより使用されるための前記較正データを前記通信インターフェースを用いて前記サーバに送信する、ように更に構成される、請求項1に記載のシステム。 - 較正デバイスは、立方体、六面体、平行六面体、直方体及び菱面体並びに3次元中実物体のうちの1つ又は複数を備え、前記較正デバイスの各々の面は、異なる較正パターンを備える、請求項4に記載のシステム。
- 前記プロセッサは、
前記複数のカメラを制御して前記対象を伴わない前記空間の画像を含む背景画像データを捕捉し、そして、
前記3Dプリンタ・ファイルの生成において前記サーバにより使用されるための前記背景画像データを前記通信インターフェースを用いて前記サーバに送信する、ように更に構成される、請求項1に記載のシステム。 - 前記プロセッサは、前記それぞれの画像が較正データ及び背景データのうちの1つ又は複数と協調されることができるように、前記それぞれの画像が取得された時限を特定するメタデータを生成するように更に構成される、請求項1に記載のシステム。
- 背景物体、背景カーテン及び背景張り物のうちの1つ又は複数を更に備える、請求項1に記載のシステム。
- 前記背景物体は、前記組立て状態における前記組付けリグに取付け可能である、請求項8に記載のシステム。
- 前記組立て状態における前記組付けリグを少なくとも部分的に取り囲むように構成される枠を更に備え、前記背景物体は、前記枠に取付け可能である、請求項8に記載のシステム。
- 前記組立て状態における前記組付けリグに取り付けられた前記複数のカメラは、前記組付けリグが前記組立て状態にあるときに、前記空間の範囲内に位置する対象の表面の点のうち前記対象を支持する部分以外の実質的部分の少なくとも3つの視野角を捕捉するように配置される、請求項1に記載のシステム。
- システムは、
前記組付けリグを前記分解状態から前記組立て状態に組み立てるための締結器及び工具のうちの1つ又は複数を更に備える、請求項1に記載のシステム。 - プロセッサ及び通信インターフェースを備えるサーバにおいて、前記通信インターフェースを用いて対象の複数の画像を受信するステップであって、前記複数の画像の各々は、複数のカメラのうちの異なるカメラを用いて捕捉される、ステップ、
前記プロセッサを用いて前記複数の画像を処理することにより、前記複数のカメラの各々の1つ又は複数のカメラ・パラメータを推定するステップ、
前記プロセッサを用いて、前記複数の画像の各々に対して前記対象の表面を表す3D点の3次元(3D)座標を推定するステップであって、
所与の画像の視野が重複する前記複数の画像の重複画像のサブセットを探すこと、
前記1つ又は複数のカメラ・パラメータを用いて前記所与の画像の突出部の形状を前記重複画像の各々に関連付ける基本行列を決定すること、
前記所与の画像の各画素に対して、所与の画素と、前記重複画像において対応するエピポーラ線に沿った複数の候補位置との間に一致が発見できるかどうかを決定すること、一致が発見されたときに、前記所与の画素の位置及び一致した画素のそれぞれの位置の両方に関連する点のそれぞれの3D座標を推定すること、そして前記それぞれの3D座標を前記3D点のセットに付加すること、
によって前記複数の画像の各々に対して前記対象の表面を表す3D点の3次元(3D)座標を推定するステップ、
前記プロセッサを用いて前記3D点の前記セットを3Dプリンタ・ファイルに変換するステップ、及び、
前記対象を表すフィギュアの3D印刷のための3Dプリンタに前記通信インターフェースを用いて前記3Dプリンタ・ファイルを送信するステップ、
を含む、方法。 - 前記プロセッサを用いて、前記対象の表示を含む前景を決定するために、前記複数の画像において前記対象の背景を表す画素をマスキングするステップを更に含み、前記マスキングが行われるときに、次いで、前記前景と関連付けられた前記所与の画像の各画素に対して、所与の画素と、前記重複画像において対応するエピポーラ線に沿った複数の候補位置との間に一致が発見できるかどうかの前記決定が行われて、前記背景を表す前記画素は無視される、請求項13に記載の方法。
- 前記複数の画像を処理することにより、前記複数のカメラの各々の1つ又は複数のカメラ・パラメータを推定する前記ステップは、バンドル調整を用いて行われる、請求項13に記載の方法。
- 前記カメラ・パラメータは、前記複数のカメラの各々に対するそれぞれの表示の半径方向歪みを含み、前記方法は、前記プロセッサを用いて、前記マスキングの前に、前記それぞれの表示の前記半径方向歪みを用いて前記複数の画像における1つ又は複数の種類の画像歪みを修正するステップを更に含む、請求項13に記載の方法。
- 前記1つ又は複数のカメラ・パラメータは、前記所与の画像の取得に使用するカメラの、及び前記重複画像の取得に使用するそれぞれのカメラの、それぞれの位置及びそれぞれの向きを含み、前記基本行列を決定することは、前記基本行列を決定するために前記それぞれの位置及び前記それぞれの向きを用いることを含む、請求項13に記載の方法。
- 前記セットの一貫性を確認するステップ、多数の画像が所与の3D点の一貫性のある3D座標推定値をもたらすときに前記所与の3D点を保持するステップ、及び前記多数の画像が一貫性のない3D座標をもたらすときに前記所与の3D点を廃棄するステップを更に含む、請求項13に記載の方法。
- 前記3D点の前記セットを3Dプリンタ・ファイルに変換する前記ステップは、前記3D点の前記セット間の多角形関係を決定するステップ、及びその表面法線を推定するステップを含む、請求項13に記載の方法。
- プロセッサ及び通信インターフェースを備えるサーバであって、
前記プロセッサは、
対象の複数の画像を受信して、前記複数の画像の各々は、複数のカメラのうちの異なるカメラを用いて捕捉され、
前記複数の画像を処理することにより、前記複数のカメラの各々の1つ又は複数のカメラ・パラメータを推定して、
前記複数の画像の各々に対して前記対象の表面を表す3D点の3次元(3D)座標を推定することであって、
所与の画像の視野が重複する前記複数の画像の重複画像のサブセットを探すこと、
前記1つ又は複数のカメラ・パラメータを用いて前記所与の画像の突出部の形状を前記重複画像の各々に関連付ける基本行列を決定すること、
前記所与の画像の各画素に対して、所与の画素と、前記重複画像において対応するエピポーラ線に沿った複数の候補位置との間に一致が発見できるかどうかを決定して、一致が発見されたときに、前記所与の画素の位置及び一致した画素のそれぞれの位置の両方に関連する点のそれぞれの3D座標を推定して、そして前記それぞれの3D座標を前記3D点のセットに付加すること、
によって前記複数の画像の各々に対して前記対象の表面を表す3D点の3次元(3D)座標を推定して、
前記3D点の前記セットを3Dプリンタ・ファイルに変換して、そして、
前記対象を表すフィギュアの3D印刷のための3Dプリンタに前記3Dプリンタ・ファイルを送信する、ように構成される、サーバ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/261,778 | 2014-04-25 | ||
US14/261,778 US20150306824A1 (en) | 2014-04-25 | 2014-04-25 | System, apparatus and method, for producing a three dimensional printed figurine |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015210267A true JP2015210267A (ja) | 2015-11-24 |
Family
ID=53016474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015084934A Pending JP2015210267A (ja) | 2014-04-25 | 2015-04-17 | 3次元印刷フィギュアを作製するシステム、装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150306824A1 (ja) |
EP (1) | EP2940653A1 (ja) |
JP (1) | JP2015210267A (ja) |
AU (1) | AU2015201911A1 (ja) |
CA (1) | CA2888454A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106881862A (zh) * | 2015-12-11 | 2017-06-23 | 上海联泰科技股份有限公司 | 面曝光成型的3d打印方法及3d打印装置 |
KR101798444B1 (ko) * | 2016-04-06 | 2017-11-17 | 주식회사비케이아이티 | 피사체의 입체이미지데이터 수집 및 처리 시스템 |
JP2019503905A (ja) * | 2016-12-15 | 2019-02-14 | 珠海賽納打印科技股▲ふん▼有限公司 | 3d物体用のフルカラーデータの処理方法及び装置 |
WO2019117450A1 (ko) * | 2017-12-13 | 2019-06-20 | 경북대학교 산학협력단 | 부품의 부분 파손을 유지보수하기 위한 부품 검색 및 수리 장치와 방법, 그리고 3d 프린팅 기반 부품 유지보수 시스템 |
JP2020505712A (ja) * | 2017-01-17 | 2020-02-20 | マイ エゴ | 人の3次元仮想表現を作成する方法 |
JP2020516106A (ja) * | 2017-03-09 | 2020-05-28 | シータ インフォメーション ネットワーキング コンピューティング ユーエスエイ インコーポレイテッドSita Information Networking Computing Usa, Inc. | モバイルデバイス上の位置ベースアプリケーションをテストするためのテスト装置および方法 |
WO2023041009A1 (zh) * | 2021-09-18 | 2023-03-23 | 广州黑格智造信息科技有限公司 | 用于光源模组拼接的标定方法、投影方法及3d打印方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9862149B2 (en) | 2014-08-29 | 2018-01-09 | Microsoft Technology Licensing, Llc | Print bureau interface for three-dimensional printing |
US11042869B1 (en) | 2014-09-30 | 2021-06-22 | Amazon Technologies, Inc. | Method, medium, and system for associating a payment amount with a physical object |
US9569859B2 (en) | 2014-12-29 | 2017-02-14 | Dell Products, Lp | System and method for redefining depth-based edge snapping for three-dimensional point selection |
US9792487B2 (en) * | 2014-12-29 | 2017-10-17 | Dell Products, Lp | System and method for determining dimensions of an object in an image |
DE102016105496A1 (de) * | 2015-03-26 | 2016-09-29 | Faro Technologies Inc. | System zur Prüfung von Objekten mittels erweiterter Realität |
US10265911B1 (en) * | 2015-05-13 | 2019-04-23 | Marvell International Ltd. | Image-based monitoring and feedback system for three-dimensional printing |
US10140687B1 (en) * | 2016-01-27 | 2018-11-27 | RAPC Systems, Inc. | Real time wide angle video camera system with distortion correction |
US10142544B1 (en) * | 2016-01-27 | 2018-11-27 | RAPC Systems, Inc. | Real time wide angle video camera system with distortion correction |
JP6191727B1 (ja) * | 2016-05-06 | 2017-09-06 | 富士ゼロックス株式会社 | 造形用画像管理システム、造形用画像管理装置、造形用画像管理プログラム |
JPWO2018020769A1 (ja) * | 2016-07-28 | 2019-05-09 | パナソニックIpマネジメント株式会社 | 映像システム装置 |
US9764544B1 (en) * | 2016-08-02 | 2017-09-19 | Funai Electric Co., Ltd. | Printer and printing method for three dimensional objects |
KR101966331B1 (ko) * | 2017-02-27 | 2019-08-13 | 주식회사 캐리마 | 3차원물체 성형데이터 생성장치, 성형데이터 생성방법, 3차원물체 성형장치 및 그 성형방법 |
WO2020254327A1 (en) | 2019-06-18 | 2020-12-24 | Instituto Tecnológico De Informática | Method and system for the calibration of an object reconstruction device |
US11407166B2 (en) * | 2019-09-30 | 2022-08-09 | The Boeing Company | Robotic 3D geometry direct-to-surface inkjet printing calibration process |
CN113370526B (zh) * | 2021-06-03 | 2024-02-02 | 深圳市创必得科技有限公司 | 切片预处理3d模型悬空检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6473536B1 (en) * | 1998-09-18 | 2002-10-29 | Sanyo Electric Co., Ltd. | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded |
EP2195781A1 (en) * | 2007-08-30 | 2010-06-16 | Feeling Software | Online shopping system and method using 3d reconstruction |
US8411081B2 (en) * | 2008-06-09 | 2013-04-02 | The Board Of Trustees Of The Leland Stanford Jr. University | Systems and methods for enhancing symmetry in 2D and 3D objects |
JP5018721B2 (ja) * | 2008-09-30 | 2012-09-05 | カシオ計算機株式会社 | 立体模型の作製装置 |
US9686532B2 (en) * | 2011-04-15 | 2017-06-20 | Faro Technologies, Inc. | System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices |
-
2014
- 2014-04-25 US US14/261,778 patent/US20150306824A1/en not_active Abandoned
-
2015
- 2015-04-16 CA CA2888454A patent/CA2888454A1/en not_active Abandoned
- 2015-04-16 AU AU2015201911A patent/AU2015201911A1/en not_active Abandoned
- 2015-04-17 EP EP15164069.5A patent/EP2940653A1/en not_active Withdrawn
- 2015-04-17 JP JP2015084934A patent/JP2015210267A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106881862A (zh) * | 2015-12-11 | 2017-06-23 | 上海联泰科技股份有限公司 | 面曝光成型的3d打印方法及3d打印装置 |
KR101798444B1 (ko) * | 2016-04-06 | 2017-11-17 | 주식회사비케이아이티 | 피사체의 입체이미지데이터 수집 및 처리 시스템 |
JP2019503905A (ja) * | 2016-12-15 | 2019-02-14 | 珠海賽納打印科技股▲ふん▼有限公司 | 3d物体用のフルカラーデータの処理方法及び装置 |
JP2020505712A (ja) * | 2017-01-17 | 2020-02-20 | マイ エゴ | 人の3次元仮想表現を作成する方法 |
JP2020516106A (ja) * | 2017-03-09 | 2020-05-28 | シータ インフォメーション ネットワーキング コンピューティング ユーエスエイ インコーポレイテッドSita Information Networking Computing Usa, Inc. | モバイルデバイス上の位置ベースアプリケーションをテストするためのテスト装置および方法 |
JP7133557B2 (ja) | 2017-03-09 | 2022-09-08 | シータ インフォメーション ネットワーキング コンピューティング ユーエスエイ インコーポレイテッド | モバイルデバイス上の位置ベースアプリケーションをテストするためのテスト装置および方法 |
WO2019117450A1 (ko) * | 2017-12-13 | 2019-06-20 | 경북대학교 산학협력단 | 부품의 부분 파손을 유지보수하기 위한 부품 검색 및 수리 장치와 방법, 그리고 3d 프린팅 기반 부품 유지보수 시스템 |
WO2023041009A1 (zh) * | 2021-09-18 | 2023-03-23 | 广州黑格智造信息科技有限公司 | 用于光源模组拼接的标定方法、投影方法及3d打印方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150306824A1 (en) | 2015-10-29 |
AU2015201911A1 (en) | 2015-11-12 |
CA2888454A1 (en) | 2015-10-25 |
EP2940653A1 (en) | 2015-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015210267A (ja) | 3次元印刷フィギュアを作製するシステム、装置及び方法 | |
US11663732B2 (en) | System and method for using images from a commodity camera for object scanning, reverse engineering, metrology, assembly, and analysis | |
JP6951595B2 (ja) | 住宅のデータ収集およびモデル生成方法 | |
KR101833364B1 (ko) | 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템 | |
US10507002B2 (en) | X-ray system and method for standing subject | |
US10872467B2 (en) | Method for data collection and model generation of house | |
US10217281B2 (en) | Apparatus for reconstructing 3D model and method for using the same | |
US10008007B2 (en) | Method for generating an array of 3-D points | |
US9895131B2 (en) | Method and system of scanner automation for X-ray tube with 3D camera | |
CN111080804B (zh) | 三维图像生成方法及装置 | |
JP6485053B2 (ja) | 3次元モデルを生成するシステム、方法およびプログラム | |
CN103988048B (zh) | 在空间编码幻灯片图像上的模式的对准方法和系统 | |
JP6344050B2 (ja) | 画像処理システム、画像処理装置、プログラム | |
US11335456B2 (en) | Sensing device for medical facilities | |
US20170178392A1 (en) | 3d scanning apparatus including scanning sensor detachable from screen | |
WO2019067298A2 (en) | EXTRINSIC CALIBRATION OF CAMERA SYSTEMS | |
JP2015513679A5 (ja) | ||
US20170070653A1 (en) | Multiple Camera Photogrammetry System | |
JP4948552B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
JP2019536162A (ja) | シーンのポイントクラウドを表現するシステム及び方法 | |
JP2016100698A (ja) | 校正装置、校正方法、プログラム | |
RU2019112674A (ru) | Устройство обработки изображений, способ управления устройства обработки изображений и компьютерно-читаемый носитель хранения данных | |
JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
JP2009253715A (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
CN111742352A (zh) | 3d对象建模方法以及相关设备和计算机程序产品 |