JP2019039909A - 製造中または他の作業中における対象物のライブ計測 - Google Patents

製造中または他の作業中における対象物のライブ計測 Download PDF

Info

Publication number
JP2019039909A
JP2019039909A JP2018136443A JP2018136443A JP2019039909A JP 2019039909 A JP2019039909 A JP 2019039909A JP 2018136443 A JP2018136443 A JP 2018136443A JP 2018136443 A JP2018136443 A JP 2018136443A JP 2019039909 A JP2019039909 A JP 2019039909A
Authority
JP
Japan
Prior art keywords
sensors
point cloud
scan
sensor
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018136443A
Other languages
English (en)
Other versions
JP7294778B2 (ja
Inventor
リアム アントニオ ウィンガート，
Antonio Wingert Liam
リアム アントニオ ウィンガート，
クリス エー． カントレル，
A Cantrell Chris
クリス エー． カントレル，
アンソニー ダブリュ． ベーカー，
W Baker Anthony
アンソニー ダブリュ． ベーカー，
ケネス ポール， ザ サード バウワース，
Paul Bowers Kenneth Iii
ケネス ポール， ザ サード バウワース，
ジェームズ エー． グロスニクル，
A Grossnickle James
ジェームズ エー． グロスニクル，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2019039909A publication Critical patent/JP2019039909A/ja
Application granted granted Critical
Publication of JP7294778B2 publication Critical patent/JP7294778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

【課題】製造中または他の作業中における対象物のライブ計測のための方法を提供する。【解決手段】対象物のライブ計測のための方法は、複数のセンサによってスキャン動作を実行して、対象物の電子画像を収集する２０６ことを含む。電子画像は、対象物のライブ計測のための３Ｄ点群データを含み、各センサからの点群データは、対象物を表現する点群を規定する。本方法は、複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することを、さらに含む。本方法は、製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して２１４、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定する２１６ことを、さらに含む。【選択図】図２

Description

本開示は、対象物を検査すること、および対象物の測定または計測を実行することに関し、より詳細には、製造中または他の作業中における対象物のライブ計測またはほぼリアルタイムの計測に関する。
製造中または他のプロセス中に大きな構成要素または対象物を検査することは、時間および労力を要する作業であり、製造プロセスにコストおよび時間を追加する。製造中にそのような構成要素を測定することが不正確であると、製造上の非効率および品質欠陥が生じる可能性もある。したがって、これらの欠点を克服し、製造サイクルの早期に欠陥を検出し、検査時間を短縮し、製造、検査または他のプロセスの自動化に使用できるシステムおよび方法が必要とされている。
一例によれば、対象物のライブ計測のための方法は、複数のセンサによってスキャン動作を実行して、対象物の電子画像を収集することを含む。電子画像は、対象物のライブ計測のための３次元（３Ｄ）点群データを含み、各センサからの点群データは、対象物を表現する点群を規定する。本方法は、複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することを、さらに含む。本方法は、製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することを、さらに含む。
別の例によれば、対象物のライブ計測のためのシステムは、対象物の電子画像を収集するためにスキャン動作を実行するための複数のセンサを含む。電子画像は、対象物のライブ計測のための３Ｄ点群データを含む。各センサからの点群データは、対象物を表現する点群を規定する。本システムは、プロセッサと、プロセッサ上で動作するライブ計測モジュールとを、さらに含む。ライブ計測モジュールは、複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することを含む機能のセットを実行するように構成される。機能のセットは、製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することを、さらに含む。
さらなる例によれば、対象物のライブ計測のためのコンピュータプログラム製品は、それと共に具現化されているプログラム命令を有するコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は、それ自体、非一時的な媒体である。プログラム命令は、複数のセンサによってスキャン動作を実行して対象物の電子画像を収集することを含む方法を、デバイスに実行させるように、デバイスによって実行可能である。電子画像は、対象物のライブ計測のための３Ｄ点群データを含む。各センサからの点群データは、対象物を表現する点群を規定する。本方法は、複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することを、さらに含む。本方法は、製造時の対象物の再構成モデルを対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、複数のセンサを、種々のタイプのセンサの所定の１つのアレイまたは複数のアレイに配置することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、製造中に人間および機器からの干渉を避けるために、複数のセンサを対象物から所定の距離離して配置することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、スキャンされるべき対象物の表面または面がセンサに面している状態でスキャン動作を実行するために、選択された向きに対象物を配置することと、スキャン動作を実行した後に３Ｄ点群データを格納することとを、さらに含む。本方法または機能のセットは、対象物の他の表面または面をスキャンするために、他の選択された向きに対象物を再配置することと、各スキャン動作を実行した後に３Ｄ点群データを格納することとを、さらに含む。点群をスティッチングすることは、対象物の選択された向きの各々からの点群をスティッチングすることを含む。
別の例または前述の例のいずれかによれば、スキャン動作を実行することは、複数のセンサのうちの飛行時間型センサのグループを使用して深度マップを作成することを含む。深度マップは、飛行時間型センサから対象物までの距離を含む点群データの点群を含む。スキャン動作を実行することは、複数の偏光画像を収集するために深度マップを使用して複数のセンサのうちの複数の偏光センサまたはスキャンセンサを使用して対象物をスキャンすることを、さらに含む。各偏光画像は、各偏光センサによって生成された偏光点群を規定する。スキャン動作を実行することは、偏光画像をスティッチングして、結合された偏光センサマップを形成することを、さらに含む。スキャン動作を実行することは、複数のセンサのうちの複数の３Ｄスキャンセンサを使用して、対象物の複数の表面画像を取得することを、さらに含む。各表面画像は、３Ｄスキャンセンサに面する対象物の表面または面についての、３Ｄスキャンセンサの各々によって生成された表面画像点群を規定する。スキャン動作を実行することは、結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、深度マップを使用して複数のスキャン領域を照明することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、深度マップを使用して複数のスキャンエリアを決定することを、さらに含む。
別の例または前述の例のいずれかによれば、偏光画像をスティッチングすることは、偏光点群から対象物の表現を生成することを含む。対象物の表現は、解像度適応メッシュを含む。
別の例または前述の例のいずれかによれば、結合された偏光センサマップに表面画像をマッピングすることは、偏光点群および表面画像点群を使用して対象物の表現を生成することを含む。対象物の表面表現は、対象物の３Ｄ計測のための、対象物に対応する解像度適応メッシュを含む。
別の例または前述の例のいずれかによれば、表面表現を生成することは、各点群の中間陰的表現を使用して、偏光点群および表面画像点群にメッシュをフィッティングすることを含む。
別の例または前述の例のいずれかによれば、点群をスティッチングすることは、点群を使用して解像度適応メッシュを生成することを含む。解像度適応メッシュは、対象物の３Ｄ計測のための製造時の対象物の再構成モデルに対応する。
別の例または前述の例のいずれかによれば、点群をスティッチングすることは、各点群の中間陰的表現を使用して、点群にメッシュをフィッティングすることを含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、製造時の対象物の再構成モデルの精度が、実際の製造された対象物に対して約０．００３インチ以内である。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、機械の機械コントローラへの入力として、製造時の対象物の再構成モデルを提供して、機械による不用意な接触を回避することを、さらに含む。
別の例または前述の例のいずれかによれば、複数のセンサは、光検出と測距（ＬＩＤＡＲ）デバイスまたはシステムのアレイ、専用の位相イメージングセンサのアレイ、飛行時間型センサまたはカメラのアレイ、ステレオカメラのアレイ、ライトフィールドカメラのアレイ、および高解像度カメラのアレイ、または本明細書で説明される機能を実行することができる他のタイプのデバイスまたはセンサのアレイのうちの１つ以上を含む。
別の例または前述の例のいずれかによれば、製造時の対象物の再構成モデルは、スキャン動作を実行するのとほぼリアルタイムで生成される。
説明した特徴、機能、および利点は、様々な例で独立に達成することができ、またはさらに他の例で組み合わせてもよく、そのさらなる詳細は、以下の説明および図面を参照して理解することができる。
本開示の一例による、対象物のライブ計測を実行するためのシステムの一例のブロック概略図である。 本開示の一例による、対象物のライブ計測のための方法の一例のフローチャートである。 本開示の一例による、スキャン動作を実行して、対象物の表面表現を生成するための方法の一例のフローチャートである。 本開示の別の例による、対象物のライブ計測を実行するためのシステムの一例を示す図である。
実施例についての以下の詳細な説明は、本開示の具体的な実施例を示す添付の図面を参照する。異なる構造および動作を有する他の例が、本開示の範囲から逸脱するものではない。同様の参照番号が、異なる図面における同じ要素または構成要素を指すことがある。
本開示は、システム、方法、および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持し記憶することができる有形のデバイスであってもよい。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非包括的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードまたは命令が記録されたグルーブ内の隆起構造などの機械的にエンコードされたデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝搬する電磁波、導波管または他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通って流れる光パルス）、または電線を通って伝送される電気信号などの、それ自体一時的な信号であると解釈されるべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／または無線ネットワークを介して、コンピュータ可読記憶媒体から、または外部コンピュータもしくは外部記憶デバイスから、それぞれのコンピューティング／処理デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するために、コンピュータ可読プログラム命令を転送する。
本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で、実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または外部コンピュータへ（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続がなされてもよい。いくつかの例では、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本開示の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。
本開示の態様は、本開示の実施例による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して、本明細書に記載される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されよう。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能データ処理装置のプロセッサによって実行されるこれらの命令が、フローチャートおよび／またはブロック図のブロックに指定された機能／動作を実施するための手段を生成するような機械を製造することができる。これらのコンピュータ可読プログラム命令は、特定の仕方で機能するようにコンピュータ、プログラム可能データ処理装置、および／または他のデバイスに指示することができるコンピュータ可読記憶媒体に格納することもでき、格納された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図のブロックに指定された機能／動作の態様を実施する命令を含む製品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラム可能装置または他のデバイス上で一連の動作ステップを実行させて、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行される命令が、フローチャートおよび／またはブロック図のブロックに指定された機能／動作を実施するような、コンピュータ実行プロセスを生成することもできる。
図１は、本開示の一例による、対象物１０２のライブ計測を実行するためのシステム１００の一例のブロック概略図である。システム１００は、対象物１０２の電子画像１０６を収集するためにスキャン動作を実行するための複数のセンサ１０４を含む。本明細書で説明されるように、対象物１０２は、測定され、組み立てられ、製造されており、および／または製造時の対象物１０２の再構成モデル１１２を使用する何らかの他の作業が、対象物１０２に対して実行されている。システム１００によって実行可能なスキャン動作の一例が、図２および図３を参照して、より詳細に説明される。電子画像１０６は、対象物１０２のライブ計測またはライブ３Ｄ計測のための３次元（３Ｄ）点群データ１０８を含む。各センサ１０４からの点群データ１０８は、対象物１０２を表現する点群１１０を規定する。センサ１０４の例には、デジタルカメラ、光検出と測距（ｌｉｄａｒ）デバイスもしくはシステム、３Ｄレーザスキャンデバイス、飛行時間型（ＴＯＦ）カメラもしくはセンサ、専用の位相イメージングセンサ、ステレオカメラ、ライトフィールドカメラ、高解像度カメラもしくはセンサ、または同様の撮像デバイスが含まれるが、必ずしもこれらに限定されない。センサ１０４は、これらの異なるタイプのセンサの任意の組み合わせを含むことができ、異なるタイプのセンサ１０４は、図４を参照して説明されている例示的なシステム４００のものと同様に所定のアレイまたはグループで配列または配置されてもよい。さらに、人間または対象物１０２に関連する製造、組立もしくは他の機能において使用される機器１４２からの干渉を避けるために、複数のセンサ１０４およびストラクチャードライトプロジェクタ１２０は、対象物１０２から所定の距離だけ離れて配置される、または間隔を空けて配置される。
一例によれば、複数のセンサ１０４は、３次元（３Ｄ）スキャンセンサ１１４、ＴＯＦセンサ１１６、および偏光センサ１１８または他のタイプのスキャンセンサを含む。例示的なシステム１００は、スキャン動作のためにセンサ１０４に面する対象物１０２の表面１２４を照明するための複数のストラクチャードライトプロジェクタ１２０を、さらに含む。３Ｄスキャンセンサ１１４は、対象物１０２の３Ｄ電子画像１０６を収集する。電子画像１０６は、対象物１０２のライブ計測のための３次元（３Ｄ）点群データ１０８を含む。各センサ１０４からの点群データ１０８は、対象物１０２を表現する点群１１０を規定する。
ＴＯＦセンサ１１６は、スキャン動作中に、センサ１０４からの対象物１０２の表面１２４上の点１２２または３Ｄ位置の深度「Ｄ」または距離データを含む画像１０６を収集する。ＴＯＦセンサ１１６は、対象物１０２上で赤外光ビームを反射させ、光ビームを送ってから、対象物１０２からの反射された光ビームが戻って来るまでの時間を測定することによって、深度Ｄまたは距離を決定する。対象物１０２上の点１２２の深度情報を含む点群１１０が、各ＴＯＦセンサ１１６によって生成される。ＴＯＦセンサ１１６によって生成された点群１１０は、本明細書で説明されるように、製造時の対象物１０２の再構成モデル１１２を生成する際に使用される深度マップ１２６を規定する。
偏光センサ１１８または他のタイプのスキャンセンサは、偏光画像１２８または光が対象物１０２上の点１２２もしくは３Ｄ位置から反射されるベクトル情報を含む他の電子スキャン画像を収集する。各偏光センサ１１８からの偏光画像１２８または各スキャンセンサからの他の電子スキャン画像は、本明細書で説明されるように、製造時の対象物１０２の再構成モデル１１２を生成する際に使用される微視的レベルでの対象物１０２の３Ｄ形状情報を含む測定値を含む点群１１０を規定する。
電子画像１０６は、対象物１０２の３Ｄ点群データ１０８を含む。各センサ１０４からの点群データ１０８は、対象物１０２を表現する点群１１０を規定する。各点群１１０は、多数の点１３２を含み、各点１３２は、対象物１０２の表面１２４上の対応する点１２２に関する少なくとも位置情報を含む。各センサ１０４からの点群データ１０８または点群１１０は、データベース１３０または他のデータ記憶デバイスに格納される。一例によれば、対象物１０２は、航空機または航空機の一部であり、本明細書に記載されているように、製造時の対象物１０２の再構成モデル１１２は、組立もしくは製造中または他の目的のために、航空機または航空機の一部の３Ｄライブ計測に使用される。他の例では、対象物１０２は、任意の製品もしくは品目または製品もしくは品目の一部であり、本明細書で説明するように、再構成モデル１１２は、組立、製造または他の作業中にデバイスまたは機器上で３Ｄライブ計測を実施するために使用される。
システム１００は、プロセッサ１３４と、プロセッサ１３４上で動作するライブ計測モジュール１３６とを、さらに含む。例示的な一例によれば、ライブ計測モジュールは、図２および図３を参照して説明される動作または機能を実行するように構成されている。例えば、ライブ計測モジュール１３６は、複数のセンサ１０４からの点群１１０をスティッチングして、製造時の対象物１０２の再構成モデル１１２を生成し、再構成モデル１１２を、対象物１０２の設計時モデル１３８と比較して、対象物１０２が、対象物１０２の設計時モデル１３８に対する許容誤差１４０内で製造されていることを決定することを含むが、これに限定されない機能のセットを実行するように構成される。再構成モデル１１２は、図２および図３を参照して説明されるスキャン動作を実行するのとほぼリアルタイムで生成される。
一例によれば、システム１００は、スキャンのために様々な向きまたは位置に対象物１０２を配置するための装置１４４を、さらに含む。航空機または航空機の構成要素などの大きな対象物１０２の場合、対象物１０２は、完全なまたは全体の製造時の対象物１０２の再構成モデル１１２が生成または形成されることができるように、様々な表面または面がセンサ１０４に面するように配置される必要があり得る。一例によれば、装置１４４はまた、人間または対象物１０２に関連する製造、組立もしくは他の機能で使用される機器１４２が装置１４４に対して移動可能であるように、寸法決めされている。プロセッサ１３４は、３Ｄスキャンセンサ１１４、飛行時間型センサ１１６、偏光センサ１１８またはスキャンセンサ、およびストラクチャードライトプロジェクタ１２０の動作を制御する。別の例によれば、プロセッサ１３４または別のプロセッサは、スキャンのために対象物１０２を配置するための装置１４４を、さらに制御する。
図２は、本開示の一例による、対象物のライブ計測のための方法２００の一例のフローチャートである。一例によれば、方法２００は、図１のシステム１００によって具現化され実行される。ブロック２０２において、センサが、較正される。設計時の対象物に対して寸法が確認された既知または標準の対象物が、システム１００内に配置されて、センサを較正し、センサが正しく動作しており、正確な測定データを収集していることを確認してもよい。さらに、較正は、正しく動作するためにライブ計測モジュール１３６によって使用されるパラメータ（内部パラメータおよび外部パラメータ）を収集する。製造時の対象物の再構成モデルの精度は、測定されているまたは再構成モデルが生成されている実際の製造された対象物に対して約０．００３インチ以内であることが好ましい。
ブロック２０４において、対象物は、スキャンされるべき対象物の表面または面がセンサに面している状態でスキャン動作を実行するために、選択された向きに配置される。ブロック２０６において、スキャン動作が複数のセンサによって実行され、対象物の電子画像を収集する。電子画像は、対象物のライブ３Ｄ計測のための３Ｄ点群データを含む。各センサからの点群データは、先に説明したものと同様に、対象物を表現する点群を規定する。ブロック２０６で使用可能なスキャン動作の一例が、図３を参照して説明される。ブロック２０８において、スキャン動作を実行した後に、３Ｄ点群データが格納される。
ブロック２１０において、対象物の別の表面または面をスキャンするために、対象物の別の向きが選択されるべきかどうかの決定がなされる。別の向きが選択された場合、方法２００はブロック２０４に戻り、対象物は、対象物の別の表面または面をスキャンするために別の選択された向きに配置または再配置される。その後、方法２００は、先に説明したものと同様に続行する。このプロセスは、対象物のすべての所望の表面または面がスキャンされて、製造時の対象物の完全な再構成モデルを提供するまで続く。点群データまたは３Ｄ点群データは、各スキャン動作を実行した後に、格納される。
ブロック２１２において、全てのスキャン動作についての複数のセンサからの点群が、スティッチングされ、または融合されて、製造時の対象物の再構成モデルを生成する。点群をスティッチングすることは、対象物の選択された向きの各々からの点群をスティッチングすることを含む。一例によれば、点群をスティッチングまたは融合することは、点群を使用して解像度適応メッシュを生成することを含む。解像度適応メッシュは、対象物の３Ｄ計測のための製造時の対象物の再構成モデルに対応する。解像度適応メッシュを生成することによって点群をスティッチングまたは融合する例（以下、「解像度適応メッシュスティッチング技法」という）は、本明細書に記載されたものと同様に、複数のセンサまたは３Ｄスキャンシステムによって生成された点群データまたは３Ｄ点群データを表現および最適に組み合わせ、航空機などの対象物の製造または組立プロセス中に、例えば工場などの大きな空間容積内で対象物を測定および追跡する方法およびシステムを利用する。解像度適応メッシュスティッチング技法で使用されるシステムおよび方法は、同じ対象物を観察する複数のセンサの異なる方向において空間的に変化する解像度を考慮しながら、点群を計測に有用な表面表現に変換する。解像度適応メッシュスティッチング技法で使用されるシステムおよび方法は、点群内の点の予想される精度に応じて異なるように、表面表現への各点の寄与を重み付けすることによって、これを行う。これは、すべての点に均等に重み付けを行い、センサ解像度モデル、または対象物からの視線方向および距離の関数としてのセンサの予想される解像度に関する事前知識を組み入れない既存の表面再構成法とは対照的である。解像度適応メッシュスティッチング技法で使用されるシステムおよび方法は、対象物の、または同じ対象物を異なる方向と距離から観察する複数のセンサからの点群のスティッチングまたは融合から導き出された製造時の対象物の再構成モデルの３Ｄ表面表現を最適化する。
別の例によれば、点群をスティッチングすることは、各点群の中間陰的表現を使用して、点群にメッシュをフィッティングすることを含む。各点群の中間陰的表現を使用して点群をスティッチングまたは融合する例（以下、「中間陰的表現スティッチング技法」と呼ぶ）は、本明細書に記載されたものと同様に、複数のセンサまたは３Ｄスキャンシステムによって生成された点群データまたは３Ｄ点群データを表現および最適に組み合わせ、航空機のような対象物の組立または製造プロセス中に工場フロアなどの大きな空間容積内で対象物を測定および追跡するシステムおよび方法を利用する。中間陰的表現スティッチング技法で使用される方法またはシステムは、同じ対象物を観察する複数のセンサまたは３Ｄスキャンシステムの異なる方向において空間的に変化する解像度を考慮しながら、点群を計測に有用な表面表現に変換する。中間陰的表現スティッチング技法で使用される方法またはシステムは、点群を、３Ｄスキャンシステムのセンサの各々の解像度を考慮に入れた点群の中間陰的表現を使用してメッシュフィッティングするために最適化された点群に変換することによって、これを行う。中間陰的表現スティッチング技法で使用される方法またはシステムは、対象物の、または同じ対象物を異なる方向と距離から観察する複数のセンサからの点群のスティッチングまたは融合から導き出された製造時の対象物の再構成モデルの３Ｄ表面表現を最適化する。
ブロック２１４において、製造時の対象物の再構成モデルが、対象物の設計時モデルと比較されて、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定する。
ブロック２１６において、製造時の対象物の再構成モデルを使用して、製造時の対象物と設計時の対象物との間の偏差が決定される。再構成モデルを使用する製造作業などの作業が、対象物に対して実行されてもよい。例えば、一例によれば、製造時の対象物の再構成モデルが、機械の機械コントローラへの入力として使用され、機械による不用意な接触を回避する。
図３は、本開示の一例による、対象物の表面表現を生成するためにスキャン動作を実行する方法３００の一例のフローチャートである。一例によれば、方法３００は、図２のブロック２０６でスキャン動作を実行するために使用される。一例によれば、方法３００は、図１のシステム１００に具現化され、システム１００によって実行される。ブロック３０２において、複数のセンサの飛行時間型センサのグループを使用して、深度マップが作成される。深度マップは、飛行時間型センサから対象物までの距離を含む点群データの点群を含む。
ブロック３０４において、複数のスキャン領域が、深度マップを使用して照明される。図１の例示的な例によれば、スキャン領域は、ストラクチャードライトプロジェクタ１２０によって照明される。
ブロック３０６において、対象物は、複数の偏光画像を収集するために、深度マップを使用して、複数のセンサのうちの複数の偏光センサまたは他のスキャンセンサを使用して、スキャンされる。対象物上の複数のスキャンエリアが、深度マップを使用して、決定される。各偏光画像は、各偏光センサによって生成された偏光点群を規定する。一例によれば、偏光センサまたはスキャンセンサは、スキャンのために対象物に対して移動するようにエレベータに取り付けられる。エレベータに対応するエレベータゾーンが、スキャン動作中、エレベータゾーンによって画定されたエリアから対象物を取り除いておくための面積によって割り当てられる。センサはまた、スキャン動作を実行するためのパン／チルトユニットに取り付け可能であり、これらに対応するエリアもまた、スキャン中、対象物が取り除いておかれる。
ブロック３０８において、偏光画像が、完全な、結合されたまたは融合された偏光センサマップを形成するために、スティッチングまたは融合される。一例によれば、偏光画像は、上述した解像度適応メッシュスティッチング技法または中間陰的表現スティッチング技法を使用して、スティッチングまたは融合される。偏光画像をスティッチングすることは、偏光点群から対象物の表現を生成することを含む。対象物の表現は、解像度適応メッシュを含む。
ブロック３１０において、複数のセンサのうちの複数の３Ｄスキャンセンサを使用して、対象物の複数の表面画像が、取得または収集される。各表面画像は、３Ｄスキャンセンサに面する対象物の表面または面についての、３Ｄスキャンセンサの各々によって生成された表面画像点群を規定する。
ブロック３１２において、表面画像が、結合されたまたは完全な偏光センサマップにマッピングされ、複数のセンサに面する対象物の表面または面についての対象物の表面表現を生成する。一例によれば、対象物の表面画像および偏光画像を規定する点群が、上述した解像度適応メッシュスティッチング技法または中間陰的表現スティッチング技法を用いて、マッピングまたは融合される。結合されたまたは完全な偏光センサマップへ表面画像をマッピングすることは、偏光点群および表面画像点群を使用して、対象物の表面表現を生成することを含む。対象物の表面表現は、対象物の３Ｄライブ計測のための、対象物に対応する解像度適応メッシュを含む。一例によれば、表面表現を生成することは、各点群の中間陰的表現を使用して、偏光点群および表面画像点群にメッシュをフィッティングすることを含む。
図４は、本開示の別の例による、対象物４０４のライブ測定を実行するためのシステム４００の一例を示す図である。例示的な一例によれば、システム４００は、図１のシステム１００に使用される、または図１のシステム１００の一部である。システム４００は、スキャンのために対象物４０４を配置するための装置４０２を含む。装置４０２は、図１の装置１４４に使用されてもよい。対象物４０４を配置するための装置４０２は、ベース４０６と、ベース４０６から延びる一対の対向する側壁４０８および４１０とを含む。ガントリ４１２が、側壁４０８および４１０の頂部の間に延び、各側壁４０８および４１０上のトラック４１４に沿って移動する。ガントリ４１２は、本明細書で説明されるように、対象物４０４の様々な表面または面をスキャンするために対象物４０４を配置または再配置するためのクレーン４１６を含む。
システム４００は、スキャン動作を実行するための複数のセンサ４２０および照明プロジェクタ４２２を支持するための取り付け装置４１８を、さらに含む。一例によれば、取り付け装置４１８は、複数のトラス４２４、または垂直構造部材４２８の間に延びる、センサ４２０および照明プロジェクタ４２２を取り付けるための複数の水平構造部材４２６を含むはしご型構造を含む。前述と同様に、一例によれば、センサ４２０は、製造時の対象物の再構成モデルを生成するための様々なタイプのデータを収集するための様々なタイプのセンサまたはカメラを含む。センサ４２０は、特定のスキャン動作および／またはスキャンされる対象物に基づいて所定のアレイまたはグループに配置される。例えば、第１の水平構造部材４２６ａは、対象物４０４をスキャンし、製造時の対象物４０４の再構成モデルを生成するためのデータを含む電子画像を収集するためのパン／チルトユニット４３０の複数のアレイを含む。パン／チルトユニット４３０の例には、３Ｄスキャンセンサまたはデバイスが含まれるが、これに限定されない。第２の水平構造部材４２６ｂは、３Ｄスキャンセンサ４３２またはカメラの複数のアレイを含む。第３の水平構造部材４２６ｃは、飛行時間型センサ４３４の複数のアレイを含み、第４の水平構造部材４２６ｄは、複数の照明プロジェクタ４２２または赤外線照明プロジェクタを含む。図４の例示的な実施例は、システム４００の一方の側にある、または一方の側壁４０８に関連付けられている取り付け装置４１８およびセンサ４２０を示す。別の例では、取り付け装置４１８およびセンサ４２０は、システム４００の両側にあり、または両方の側壁４０８および４１０に関連付けられている。
一例によれば、方法２００および方法３００のうちのいずれかが、図１のコンピュータプログラム製品１４６などのコンピュータプログラム製品上に具体化されている。コンピュータプログラム製品１４６は、前述したものと同様のコンピュータ可読記憶媒体を含み、コンピュータプログラム命令１４８が、それと共に具体化されている。コンピュータ可読記憶媒体は、それ自体、一時的な媒体ではない。プログラム命令は、図１のプロセッサ１３４などのデバイスによって実行可能であり、デバイスに方法２００または方法３００を実行させる。一例によれば、コンピュータプログラム命令１４８は、プロセッサ１３４に関連した記憶デバイスに格納され、コンピュータプログラム製品１４６からダウンロード可能であるライブ計測モジュール１３６を規定する。
図のフローチャートおよびブロック図は、本開示の様々な例によるシステム、方法、およびコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または一部を表すことができる。いくつかの代替的な実施態様では、ブロックに記されている機能は、図に示された順序から外れて実施されてもよい。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、または、関連する機能に応じて、時には、逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能もしくは動作を実行する専用のハードウェアベースのシステムによって実行することができ、または専用のハードウェアとコンピュータ命令の組み合わせを実行するシステムによって実行することができる。
本明細書で使用する用語は、特定の例を説明するだけのためのものであり、本開示の例を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、そうでないことを文脈が明確に示さない限り、複数形も含むことが意図される。本明細書で使用される場合、用語「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、記載された特徴、整数、ステップ、動作、要素および／または構成要素の存在を明示するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しない。
以下の特許請求の範囲の全てのミーンズまたはステッププラスファンクション要素の対応する構造、材料、動作、および均等物は、明確に特許請求されている他の特許請求された要素と組み合わせて該機能を実行するための任意の構造、材料、または動作を含むことが意図される。本実施例の説明は、例示および説明のために提示されたものであり、網羅的であることを意図するものでも、開示された形態の実施例に限定されることを意図するものでもない。実施例の範囲および精神から逸脱することなく、多くの変更および変形が、当業者には明らかであろう。
さらに、本開示は、以下の条項による実施例を含む。
条項１．
対象物のライブ計測のための方法であって、
複数のセンサによってスキャン動作を実行して、対象物の電子画像を収集することであって、電子画像は、対象物のライブ計測のための３Ｄ点群データを含み、各センサからの点群データが、対象物を表現する点群を規定する、収集することと、
複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することと、
製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することと、を含む方法。
条項２．
複数のセンサを、種々のタイプのセンサの所定の１つのアレイまたは複数のアレイに配置することを、さらに含む、条項１に記載の方法。
条項３．
製造中に人間および機器からの干渉を避けるために、複数のセンサを対象物から所定の距離離して配置することを、さらに含む、条項１に記載の方法。
条項４．
スキャンされるべき対象物の表面または面がセンサに面している状態でスキャン動作を実行するための、選択された向きに対象物を配置することと、
スキャン動作を実行した後に、３Ｄ点群データを格納することと、
対象物の他の表面または面をスキャンするための、他の選択された向きに対象物を再配置することと、
各スキャン動作を実行した後に、３Ｄ点群データを格納することと、をさらに含み、点群をスティッチングすることは、対象物の選択された向きの各々からの点群をスティッチングすることを含む、条項１に記載の方法。
条項５．
スキャン動作を実行することが、
複数のセンサのうちの飛行時間型センサのグループを使用して、飛行時間型センサから対象物までの距離を含む点群データの点群を含む深度マップを作成することと、
深度マップを使用して、複数のセンサのうちの複数のスキャンセンサを使用して対象物をスキャンして、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像を収集することと、
偏光画像をスティッチングして、結合された偏光センサマップを形成することと、
複数のセンサのうちの複数の３Ｄスキャンセンサを使用して、対象物の複数の表面画像であって、各表面画像が、３Ｄスキャンセンサに面する対象物の表面または面についての、３Ｄスキャンセンサの各々によって生成された表面画像点群を規定する、複数の表面画像を取得することと、
結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することと、を含む、条項１に記載の方法。
条項６．
深度マップを使用して複数のスキャン領域を照明することを、さらに含む、条項５に記載の方法。
条項７．
深度マップを使用して複数のスキャンエリアを決定することを、さらに含む、条項５に記載の方法。
条項８．
偏光画像をスティッチングすることは、偏光点群から対象物の表現を生成することを含み、対象物の表現は、解像度適応メッシュを含む、条項５に記載の方法。
条項９．
結合された偏光センサマップに表面画像をマッピングすることは、偏光点群および表面画像点群を使用して対象物の表現を生成することを含み、対象物の表面表現は、対象物の３Ｄ計測のための、対象物に対応する解像度適応メッシュを含む、条項５に記載の方法。
条項１０．
表面表現を生成することは、各点群の中間陰的表現を使用して、偏光点群および表面画像点群にメッシュをフィッティングすることを含む、条項９に記載の方法。
条項１１．
点群をスティッチングすることは、点群を使用して解像度適応メッシュを生成することを含み、解像度適応メッシュが、対象物の３Ｄ計測のための製造時の対象物の再構成モデルに対応する、条項１に記載の方法。
条項１２．
点群をスティッチングすることは、各点群の中間陰的表現を使用して、点群にメッシュをフィッティングすることを含む、条項１に記載の方法。
条項１３．
製造時の対象物の再構成モデルの精度が、実際の製造された対象物に対して約０．００３インチ以内である、条項１に記載の方法。
条項１４．
機械の機械コントローラへの入力として、製造時の対象物の再構成モデルを提供して、機械による不用意な接触を回避することを、さらに含む、条項１に記載の方法。
条項１５．
対象物のライブ計測のためのシステムであって、
対象物の電子画像を収集するためにスキャン動作を実行するための複数のセンサであって、電子画像は、対象物のライブ計測のための３Ｄ点群データを含み、各センサからの点群データが、対象物を表現する点群を規定する、複数のセンサと、
プロセッサと、
プロセッサ上で動作するライブ計測モジュールと、を備え、ライブ計測モジュールは、
複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することと、
製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することと、を含む機能のセットを実行するように構成されている、システム。
条項１６．
複数のセンサが、光検出と測距（ＬＩＤＡＲ）デバイスまたはシステムのアレイ、専用の位相イメージングセンサのアレイ、飛行時間型センサまたはカメラのアレイ、ステレオカメラのアレイ、ライトフィールドカメラのアレイ、および高解像度カメラのアレイのうちの１つ以上を含む、条項１５に記載のシステム。
条項１７．
製造時の対象物の再構成モデルは、スキャン動作を実行するのとほぼリアルタイムで生成される、条項１５に記載のシステム。
条項１８．
スキャン動作が、
複数のセンサのうちの飛行時間型センサのグループを使用して、飛行時間型センサから対象物までの距離を含む点群データの点群を含む深度マップを作成することと、
深度マップを使用して、複数のセンサのうちの複数のスキャンセンサを使用して対象物をスキャンして、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像を収集することと、
偏光画像をスティッチングして、結合された偏光センサマップを形成することと、
複数のセンサのうちの複数の３Ｄスキャンセンサを使用して、対象物の複数の表面画像であって、各表面画像が、３Ｄスキャンセンサに面する対象物の表面または面についての、３Ｄスキャンセンサの各々によって生成された表面画像点群を規定する、複数の表面画像を取得することと、
結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することと、を含む機能のセットを含む、条項１５に記載のシステム。
条項１９．
対象物のライブ計測のためのコンピュータプログラム製品であって、コンピュータプログラム製品は、それと共に具現化されているプログラム命令を有するコンピュータ可読記憶媒体を含み、コンピュータ可読記憶媒体は、それ自体、非一時的な媒体であり、プログラム命令は、デバイスによって実行可能であり、
複数のセンサによってスキャン動作を実行して、対象物の電子画像を収集することであって、電子画像は、対象物のライブ計測のための３Ｄ点群データを含み、各センサからの点群データが、対象物を表現する点群を規定する、収集することと、
複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することと、
製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することと、を含む方法を、デバイスに実行させる、コンピュータプログラム製品。
条項２０．
スキャン動作を実行することが、
複数のセンサのうちの飛行時間型センサのグループを使用して、飛行時間型センサから対象物までの距離を含む点群データの点群を含む深度マップを作成することと、
深度マップを使用して、複数のセンサのうちの複数のスキャンセンサを使用して対象物をスキャンして、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像を収集することと、
偏光画像をスティッチングして、結合された偏光センサマップを形成することと、
複数のセンサのうちの複数の３Ｄスキャンセンサを使用して、対象物の複数の表面画像であって、各表面画像が、３Ｄスキャンセンサに面する対象物の表面または面についての、３Ｄスキャンセンサの各々によって生成された表面画像点群を規定する、複数の表面画像を取得することと、
結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することと、を含む、条項１９に記載のコンピュータプログラム製品。
特定の実施例が、本明細書で図解し説明されてきたが、同じ目的を達成するように意図された任意の構成が、示されている特定の実施例と置き換えられてもよく、これらの実施例は、他の環境においては他の応用を有することが、当業者であれば、わかる。この応用は、あらゆる改造または変形をカバーすることが意図されている。以下の特許請求の範囲は、本開示の実施例の範囲を、本明細書に記載の特定の実施例に限定するものではない。

Claims (15)

  1. 対象物のライブ計測のための方法（２００）であって、
    複数のセンサ（１０４）によってスキャン動作を実行して（２０６，３００）、各センサからの３Ｄ点群データが、前記対象物を表現する点群（１１０）を規定する、前記対象物のライブ計測のための３Ｄ点群データ（１０８）を含む、前記対象物（１０２）の電子画像（１０６）を収集することと、
    前記複数のセンサからの前記点群をスティッチングして（２１２）、製造時の対象物の再構成モデル（１１２）を生成することと、
    前記製造時の対象物の前記再構成モデルを、前記対象物の設計時モデル（１３８）と比較して（２１４）、前記対象物が前記対象物の前記設計時モデルに対する許容誤差（１４０）内で製造されていることを決定することと、
    を含む方法（２００）。
  2. 前記複数のセンサを、相異なるタイプのセンサ（４２０）の１つ以上の所定のアレイに配置することを、さらに含む、請求項１に記載の方法。
  3. 製造中に人間および機器からの干渉を回避するために、前記複数のセンサを、前記対象物から所定の距離離して配置することを、さらに含む、請求項１または２に記載の方法。
  4. スキャンされるべき前記対象物の表面（１２４）または面が前記センサに面している状態で前記スキャン動作を実行するための選択された向きに、前記対象物を配置すること（２０４）と、
    前記スキャン動作を実行した後に、前記３Ｄ点群データを格納すること（２０８）と、
    前記対象物の他の表面または面をスキャンするための他の選択された向きに、前記対象物を再配置すること（２１０，２０４）と、
    各スキャン動作を実行した後に、前記３Ｄ点群データを格納すること（２０８）と、
    をさらに含み、前記点群をスティッチングすることが、前記対象物の前記選択された向きの各々からの前記点群をスティッチングすることを含む、請求項１から３のいずれか一項に記載の方法。
  5. 前記スキャン動作を実行することが、
    前記複数のセンサのうちの飛行時間型センサ（１１６）のグループを使用して、前記飛行時間型センサから前記対象物までの距離を含む点群データの点群を含む深度マップを作成すること（３０２）と、
    前記深度マップを使用して、前記複数のセンサのうちの複数のスキャンセンサ（１０４，１１８）を使用して前記対象物をスキャンして（３０６）、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像（１２８）を収集することと、
    前記偏光画像をスティッチングして（３０８）、結合された偏光センサマップを形成することと、
    前記複数のセンサのうちの複数の３Ｄスキャンセンサ（１１４）を使用して、各表面画像が、前記３Ｄスキャンセンサに面する前記対象物の表面または面の、前記３Ｄスキャンセンサの各々によって生成された表面画像点群を規定する、前記対象物の複数の表面画像を取得すること（３１０）と、
    前記表面画像を、前記結合された偏光センサマップにマッピングして（３１２）、前記複数のセンサに面する前記対象物の前記表面または面についての、前記対象物の表面表現を生成することと、
    を含む、請求項１から４のいずれか一項に記載の方法。
  6. 前記深度マップを使用して、複数のスキャン領域を照明すること（３０４）を、さらに含む、請求項５に記載の方法。
  7. 前記深度マップを使用して、複数のスキャンエリアを決定すること（３０６）を、さらに含む、請求項５または６に記載の方法。
  8. 前記偏光画像をスティッチングすること（３０８）が、前記偏光点群から前記対象物の表現を生成することを含み、前記対象物の前記表現が、解像度適応メッシュを含む、請求項５から７のいずれか一項に記載の方法。
  9. 前記表面画像を、前記結合された偏光センサマップにマッピングすること（３１２）が、前記偏光点群および前記表面画像点群を使用して、前記対象物の表現を生成することを含み、前記対象物の前記表面表現が、前記対象物の３Ｄ計測のための、前記対象物に対応する解像度適応メッシュを含む、請求項５から７のいずれか一項に記載の方法。
  10. 前記表面表現を生成すること（３１２）が、各点群の中間陰的表現を使用して、前記偏光点群および前記表面画像点群にメッシュをフィッティングすることを含む、請求項９に記載の方法。
  11. 機械の機械コントローラへの入力として、前記製造時の対象物の前記再構成モデルを提供して（２１６）、前記機械による不用意な接触を回避することを、さらに含む、請求項１から１０のいずれか一項に記載の方法。
  12. 対象物のライブ計測のためのシステム（１００，４００）であって、
    複数のセンサ（１０４）であって、スキャン動作（２０６，３００）を実行して、各センサからの３Ｄ点群データが、前記対象物を表現する点群（１１０）を規定する、前記対象物のライブ計測のための３Ｄ点群データ（１０８）を含む、前記対象物（１０２）の電子画像（１０６）を収集するための複数のセンサ（１０４）と、
    プロセッサ（１３４）と、
    前記プロセッサ上で動作するライブ計測モジュール（１３６）と、
    を備え、前記ライブ計測モジュールが、
    前記複数のセンサからの前記点群をスティッチングして（２１２）、製造時の対象物の再構成モデル（１１２）を生成することと、
    前記製造時の対象物の前記再構成モデルを、前記対象物の設計時モデル（１３８）と比較して（２１４）、前記対象物が前記対象物の前記設計時モデルに対する許容誤差（１４０）内で製造されていることを決定することと、
    を含む機能のセットを実行するように構成されている、システム（１００，４００）。
  13. 前記複数のセンサ（１０４）が、光検出と測距（ＬＩＤＡＲ）デバイスまたはシステムのアレイ、専用の位相イメージングセンサのアレイ、飛行時間型センサまたはカメラのアレイ、ステレオカメラのアレイ、ライトフィールドカメラのアレイ、および高解像度カメラのアレイのうちの１つ以上を含む、請求項１２に記載のシステム。
  14. 前記スキャン動作（２０６，３００）が、
    前記複数のセンサのうちの飛行時間型センサ（１１６）のグループを使用して、前記飛行時間型センサから前記対象物までの距離を含む点群データの点群を含む深度マップを作成すること（３０２）と、
    前記深度マップを使用して、前記複数のセンサのうちの複数のスキャンセンサ（１０４）を使用して前記対象物をスキャンして（３０６）、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像（１２８）を収集することと、
    前記偏光画像をスティッチングして（３０８）、結合された偏光センサマップを形成することと、
    前記複数のセンサのうちの複数の３Ｄスキャンセンサ（１１４）を使用して、各表面画像が、前記３Ｄスキャンセンサに面する前記対象物の表面または面の、前記３Ｄスキャンセンサの各々によって生成された表面画像点群を規定する、前記対象物の複数の表面画像を取得すること（３１０）と、
    前記表面画像を、前記結合された偏光センサマップにマッピングして（３１２）、前記複数のセンサに面する前記対象物の前記表面または面についての、前記対象物の表面表現を生成することと、
    を含む機能のセットを含む、請求項１２または１３に記載のシステム。
  15. 対象物のライブ計測のためのコンピュータプログラム製品（１４６）であって、前記コンピュータプログラム製品が、それと共に具現化されたプログラム命令（１４８）を有するコンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体が、それ自体、非一時的な媒体であり、前記プログラム命令が、
    複数のセンサによってスキャン動作を実行して（２０６，３００）、各センサからの３Ｄ点群データが、前記対象物を表現する点群を規定する、前記対象物のライブ計測のための３Ｄ点群データを含む、前記対象物の電子画像を収集することと、
    前記複数のセンサからの前記点群をスティッチングして（２１２）、製造時の対象物の再構成モデル（１１２）を生成することと、
    前記製造時の対象物の前記再構成モデル（１１２）を、前記対象物の設計時モデル（１３８）と比較して（２１４）、前記対象物が前記対象物の前記設計時モデルに対する許容誤差（１４０）内で製造されていることを決定することと、
    を含む方法を、デバイスに実行させるように、前記デバイスによって実行可能である、コンピュータプログラム製品（１４６）。
JP2018136443A 2017-07-28 2018-07-20 製造中または他の作業中における対象物のライブ計測 Active JP7294778B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/663,397 2017-07-28
US15/663,397 US10732284B2 (en) 2017-07-28 2017-07-28 Live metrology of an object during manufacturing or other operations

Publications (2)

Publication Number Publication Date
JP2019039909A true JP2019039909A (ja) 2019-03-14
JP7294778B2 JP7294778B2 (ja) 2023-06-20

Family

ID=62597302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018136443A Active JP7294778B2 (ja) 2017-07-28 2018-07-20 製造中または他の作業中における対象物のライブ計測

Country Status (5)

Country Link
US (1) US10732284B2 (ja)
EP (1) EP3435028B1 (ja)
JP (1) JP7294778B2 (ja)
KR (1) KR102643295B1 (ja)
ES (1) ES2757561T3 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022552833A (ja) * 2019-10-07 2022-12-20 ボストン ポーラリメトリックス，インコーポレイティド 偏光による面法線計測のためのシステム及び方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3480626A1 (en) * 2017-11-02 2019-05-08 Koninklijke Philips N.V. Improved depth image reconstruction
CN112686949A (zh) * 2020-12-30 2021-04-20 深圳艾灵网络有限公司 一种车辆定位方法、系统及相关设备
CN113190772A (zh) * 2021-03-31 2021-07-30 广州朗国电子科技有限公司 一种智能云屏的信息发布及反馈方法、系统及存储介质
EP4198449A1 (en) * 2021-12-14 2023-06-21 Hexagon Technology Center GmbH Metrology system
CN116540255A (zh) * 2022-01-26 2023-08-04 上海飞机制造有限公司 利用多台激光雷达测量并获得飞机面型的系统和方法
US11875457B2 (en) * 2022-02-22 2024-01-16 Zebra Technologies Corporation 3D product reconstruction from multiple images collected at checkout lanes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009040991A1 (de) * 2009-09-10 2011-04-07 Carl Zeiss Ag Messanordnung und Verfahren zum Vermessen einer Oberfläche
JP2013186100A (ja) * 2012-03-12 2013-09-19 Hitachi Ltd 形状検査方法およびその装置
US20160261844A1 (en) * 2015-03-06 2016-09-08 Massachusetts Institute Of Technology Methods and Apparatus for Enhancing Depth Maps with Polarization Cues
WO2016194728A1 (ja) * 2015-06-01 2016-12-08 新日鐵住金株式会社 クランクシャフトの検査方法及び装置
US20170010087A1 (en) * 2015-07-07 2017-01-12 Quality Vision International, Inc. Method and apparatus for scanning object

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886702A (en) 1996-10-16 1999-03-23 Real-Time Geometry Corporation System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
US20050140670A1 (en) 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7593565B2 (en) 2004-12-08 2009-09-22 Rudolph Technologies, Inc. All surface data for use in substrate inspection
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
CN101464999B (zh) * 2007-12-19 2011-01-05 鸿富锦精密工业（深圳）有限公司 三维色阶比对系统及方法
US20110316978A1 (en) 2009-02-25 2011-12-29 Dimensional Photonics International, Inc. Intensity and color display for a three-dimensional metrology system
US8983794B1 (en) 2010-10-04 2015-03-17 The Boeing Company Methods and systems for non-destructive composite evaluation and repair verification
FR2992762B1 (fr) 2012-06-29 2014-07-11 Real Fusio France Procede de generation d’un maillage d’au moins un objet en trois dimensions
ES2780575T3 (es) 2013-01-21 2020-08-26 Vricon Systems Ab Un procedimiento y disposición para proporcionar un modelo 3d
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
EP2930691A1 (en) 2014-04-10 2015-10-14 Dassault Systèmes Fitting sample points with an isovalue surface
CN104063894B (zh) 2014-06-13 2017-02-22 中国科学院深圳先进技术研究院 点云三维模型重建方法及系统
US9646410B2 (en) 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009040991A1 (de) * 2009-09-10 2011-04-07 Carl Zeiss Ag Messanordnung und Verfahren zum Vermessen einer Oberfläche
JP2013186100A (ja) * 2012-03-12 2013-09-19 Hitachi Ltd 形状検査方法およびその装置
US20160261844A1 (en) * 2015-03-06 2016-09-08 Massachusetts Institute Of Technology Methods and Apparatus for Enhancing Depth Maps with Polarization Cues
WO2016194728A1 (ja) * 2015-06-01 2016-12-08 新日鐵住金株式会社 クランクシャフトの検査方法及び装置
US20170010087A1 (en) * 2015-07-07 2017-01-12 Quality Vision International, Inc. Method and apparatus for scanning object

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022552833A (ja) * 2019-10-07 2022-12-20 ボストン ポーラリメトリックス，インコーポレイティド 偏光による面法線計測のためのシステム及び方法
US12099148B2 (en) 2019-10-07 2024-09-24 Intrinsic Innovation Llc Systems and methods for surface normals sensing with polarization

Also Published As

Publication number Publication date
EP3435028B1 (en) 2019-08-21
KR20190013467A (ko) 2019-02-11
ES2757561T3 (es) 2020-04-29
JP7294778B2 (ja) 2023-06-20
US20190033461A1 (en) 2019-01-31
KR102643295B1 (ko) 2024-03-04
US10732284B2 (en) 2020-08-04
EP3435028A1 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
JP2019039909A (ja) 製造中または他の作業中における対象物のライブ計測
US10546373B2 (en) System and method for integrated laser scanning and signal processing
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
EP2183544B1 (en) Non-contact measurement apparatus and method
Soudarissanane et al. Optimizing terrestrial laser scanning measurement set-up
JP2017528727A (ja) ２ｄカメラ画像からの３ｄ画像の生成に当たり３ｄ計量器と併用される拡張現実カメラ
JP2015535337A (ja) 角度スキャン速度の動的調整を伴うレーザスキャナ
JP2016212086A (ja) シーン内の寸法を求める方法
EP2966401A1 (en) Shape examination method and device therefor
Cho et al. Target-focused local workspace modeling for construction automation applications
JP2019101000A (ja) 測距点群データ測定システム、および制御プログラム
FI131015B1 (fi) Mallinnusjärjestely ja menetelmät ja järjestelmä kolmiulotteisen pinnan topografian mallintamiseksi
Niola et al. A new real-time shape acquisition with a laser scanner: first test results
Sommer et al. Scan methods and tools for reconstruction of built environments as basis for digital twins
CN107883889A (zh) 基于激光散斑干涉的振动试验三维变形测量装置及方法
JP6035031B2 (ja) 複数の格子を用いた三次元形状計測装置
Rivas et al. Spatial data acquisition by laser scanning for robot or SHM task
Tu et al. Geometrical model of laser triangulation system based on synchronized scanners
Rossi et al. A robotic system to scan and reproduce object
Gražulis et al. The horizontal deformation analysis of high-rise buildings
Drouin et al. Characterizing the impact of optically induced blurring of a high-resolution phase-shift 3D scanner
WO2022080036A1 (ja) 制御装置、ロボット、制御方法、プログラム
CN117146710B (zh) 基于主动视觉的动态投影三维重建系统及方法
Zhou et al. The experiment study of image acquisition system based on 3D machine vision
Szczepański et al. Testing ToF Sensors for Use in Obstacle Detection Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7294778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150