JP2022506235A - 部品の一部又はサブアセンブリの３ｄポーズを測定するためのマシンビジョンベースの方法とシステム - Google Patents

Abstract

未知のポーズを有している部品または部品のサブアセンブリの3Dポーズを測定するためのマシンビジョンベースの方法およびシステムが開示される。方法とシステムの多数の異なるアプリケーションが開示されており、アプリケーションはロボットのような再プログラム可能な産業用オートメーションマシンを利用したものである。この方法は、既知の基準ポーズを有する基準部品または部品のサブアセンブリの基準表面を表す3Dボクセルの基準クラウドを提供する。少なくとも１つの2D/3Dハイブリッドセンサを用いることによって、基準部品やサブアセンブリのようにサンプル部品またはサブアセンブリの表面を対応して表す3Dボクセルのサンプルクラウドが得られる。サンプル部品またはサブアセンブリは、基準ポーズとは異なる実際のポーズを有している。サンプルクラウドと基準クラウドのボクセルをマッチングアルゴリズムで処理し、サンプル部品やサンプルサブアセンブリのポーズを決定する。【選択図】図1

Description

関連アプリケーションへのクロスリファレンス
本出願は、2017年11月27日に出願された同時係属特許出願であるシリアル番号15/822、683に関連しており、その開示内容は、参照によりその全体が本明細書に組み込まれる。

本発明の少なくとも1つの実施形態は、特に産業環境において、部品または部品のサブアセンブリの3Dポーズを測定するためのマシンビジョンに基づく方法およびシステムに関するものである。

オーバービュー
部品又は部品のサブアセンブリのポーズを非接触で測定することは、次のような多くの産業用途で有用である。

ラックピックアプリケーション

自動車の組み立て工場などの製造環境では、部品をストレージラックに置くことがある。ストレージラックは、一般的にスチール製であり、フォークリフトでピックアップされ、移動し、積み重ねることができる程度の剛性を有している。ラックの中では、部品は機械的な固定具に固定されたり、ぶら下がったりしている。部品は前後に平行に並んでいる。ラックの前側は開放されているので、物流ロボットは部品を1つずつラックから取り出して、別の場所に置くことができる。最初の部品をラックから取った後、ロボットは2番目の部品を取るためにラックのより奥に到達しなくてはならず、次に3番目の部品を取り、最後尾の部品を取るまでロボットはさらに奥に到達し続けなければならない。

産業用ロボットには視覚的なフィードバックが内蔵されていないため、ラック内の部品が、ロボットのモーションパスとして訓練された正確な位置と姿勢にない場合にはロボットが部品をピックアップに失敗するかもしれない。ロボットが部品に衝突したりすることさえありえるし、ロボットの衝突は高く付く。すなわち、衝突は、ロボットの修理や生産ダウンタイムの面で費用が発生する。

製造業で使用される産業用アームロボットは、動きのパターンを繰り返すように訓練されている。例えば、車両がロボットセルに移動すると、プログラマブルロジックコントローラがロボットをトリガして、その車両モデルに固有のプログラムを実行させることができる。ロボットのプログラムは、アームとグリッパーの一連の動作を行い、ある場所から車両の部品をピックアップし、別の場所に移動させる。ロボットは、ストレージラックから部品をピックアップする位置に移動し、グリッパーを閉じて部品を把持し、部品をグリッパーに入れたまま車両の位置に移動し、最後にグリッパーを開いて部品を解放する。ロボットの作業は、部品を掴んで動かすだけでなく、溶接やスプレー、サブアセンブリを大きなアセンブリに取り付けるなど、さまざまな作業がある。

統合されたセンサがないと、ロボットは衝突を避けるために停止することなく、また、ロボットが訓練されたノミナル位置と方向に無い部品を収容するために訓練されたパスを修正することなく、プログラムに従うことになる。

単純なフィードバックの問題は、単純なセンサで対処できる。ロボットに取り付けられた近接スイッチは、ロボットが近づきすぎた物体を検出し、ロボットを停止させるトリガとなる。重量センサは、ロボットがある既知の重量の部品をうまく拾ったかどうかを判断することができる。

ストレージラック内の車両部品の正確な位置と向きを決定するような、より複雑な感覚的フィードバックには、マシンビジョンが必要となる。

自動車の組み立て工場で使用されるストレージラックでは、一般的に部品は正確に固定されていない。部品はダンネージで固定されている場合がある。ダンネージとは、段ボールやその他の柔軟な廃材など、安価で簡単に交換できる素材のことである。ラックに部品を固定するために使用されるダンネージは、移動したり、緩んだり、押しつぶされたり、いつでも他のセットアップ材料と交換することができる。また、ラックごとにダンネージが異なる場合や、同じラックでも使用するたびにダンネージが異なる場合がある。このようなダンネージの不整合は、一般的に部品の固定方法に小さな変化をもたらす。ラックをあちこちに運ぶと、部品が沈んだり、ダンネージから滑り落ちたり、あるいはダンネージ自体が破損して部品が位置ずれしたりすることがある。

多くのマテリアルハンドリングのアプリケーションでは、部品は機械的な固定具に正確に保持されていない。ロボットは部品の位置と向きを正確に決定する必要があるが、正確な機械的な固定具を作成するには多大なリソースが必要である。望ましくは、部品は不正確であっても単純に固定され、ロボットは各部品の位置と向きを決定するためにセンサを統合するだろう。

マシンビジョンシステムは、ラック内の各部品のポーズに関する情報を供給し、それによってロボットの訓練されたパスに補正を与えるために使用することができる。物体のポーズとは、3D空間における物体の位置と姿勢のことである。適切にパラメータ化されたマシンビジョンシステムは、2D画像または3D深度情報を生データとして使用し、ラック内の部品の主要な特徴の3D空間における位置を抽出する。ノミナルポーズに対するこれらの特徴の3次元位置と、ピッキングする部品の特徴の3次元位置が与えられれば、マシンビジョンシステムは、マシンビジョンや3次元幾何学の専門家がよく知っている技術を用いて、ノミナルポーズに対する部品のポーズを推定することができる。しかし、ラックの状態は、既存のマシンビジョンシステムにとっていくつかの問題を抱えている。

物体のポーズとは、ある基準となる位置と方向に対する、空間内の物体の位置と方向のことである。物体の位置は、X、Y、Zで表現することができ、物体の姿勢は、開始時の姿勢に対するX軸周りの回転（以下、RX）、Y軸周りの回転（以下、RY）、Z軸周りの回転（以下、RZ）を表すオイラー角で表現することができる。物体のポーズを表す数学的座標系には、多くの等価なものがある。位置座標は、球座標ではなく直交座標で表されることもある。位置座標は、互いに直角な3軸の直交座標ではなく、球座標で表されるかもしれない。回転座標は、オイラー角ではなく、四元数のテンプレで表されるかもしれない。また、位置と回転の表現を組み合わせるために、4×4の同次行列が使用されるかもしれない。しかし、一般的には、3次元空間における剛体のポーズを表すには、X、Y、Z、RX、RY、RZの6つの変数があれば十分である。

サンプル部分のポーズオフセットは、基準ポーズに対する測定ポーズである。ポーズオフセットを4×4の同次行列で表し、ロボットのモーションパスの各ウェイポイントにこの行列を掛けることで、変換されたポイントが、調整されたモーションパスを定義し、基準ポーズで基準部分をアドレスするように学習されたのと同じようにサンプル部分がアドレスするようにロボットを動かす。

乗用車のセダンの運転席側フェンダーのように、ラック内の各部品が同じ種類であっても、部品の外観はラックの位置によって異なる場合がある。また、ラックの最前列と最後列では、照明条件が大きく変わる。開口部に近い最前列のラックは、工場の明るい照明に完全に晒されているのに対し、最後列のラックは、ラック自体の強い影に覆われていることがある。また、ストレージラックは完全に閉じた箱ではなく、上部や側面に開口部があり、そこから内部の部品に影のパターンを落とすこともある。このような照明条件の変化は、可視光に頼って画像を生成するマシンビジョンシステムにとって問題となる。

ラックから部品をピックアップするためのグリッパーは、ロボットのエンドオブアームツールとして取り付けられている。マシンビジョンシステムにとって、測定のロバスト性と再現性は、センサを検査対象の部品に可能な限り近づけて、後続の各部品測定のために部品から一定の距離を置いて取り付けることによって、最もよく達成される。ラックの場合、次にピックする部品はラックの奥の方にある。ロボットは部品を取るためにラックに入るので、ビジョンセンサはロボットのエンドオブアームツールに取り付けるのが好ましい。しかし、ロボットのアーム先端に取り付けられたグリッパー機構には、追加の部品を収納するための空きスペースが少ない場合がある。マシンビジョンセンサが大きすぎたり、重すぎたりして、ロボットのアームエンドツーリングに取り付けられない場合は、ラックの外側の固定された位置に取り付ける必要がある。マシンビジョンセンサをラックの外に設置すると、異なる距離にある部品を撮像しなければならず、3次元計測の誤差が距離に応じて大きくなるため、ロバスト性や計測の再現性が得られない。

多くのマシンビジョンシステムは、画像を生成するために可視光に部分的または全面的に依存しており、自動車の組立工場でのラックピックアプリケーションでは、ラック内の部品はフェンダーやフレームサブアセンブリ、または最長寸法が1メートル以上の他のボディ部品である可能性がある。可視光を利用したマシンビジョンシステムでは、周囲の光に照らされた大きな物体の検査をロバストなものにするのは難しい。

従来の2Dビジョンシステムでは、可視光や近赤外光を使ってシーンを照らしていた。照明の制御は、大型のターゲットよりも小さいターゲットの方が容易である。飛行機のような大きなターゲット、機体、車体、エンジン、大型車両のサブアセンブリなどを撮影する場合、工場の床には人間が作業するための照明が設置されている。しかし、このような高照度の照明は、マシンビジョンシステムにとって最適ではない。なぜなら、ターゲットを照らすための照明は、工場の照明よりもかなり明るくなければならないからである。 周囲の光を遮るためのシュラウドや、目的に応じて選択した照明をパーツに照射するための設計や取り付けには、エンジニアリングの時間が必要となる。また、ロボットを使ったセンシングでは、大きな部品を照らすのに十分な大きさの照明を取り付けるスペースがない場合がある。

このようなシステムのロバスト性は、場合によっては多大な費用をかけて達成されるかもしれないし、2Dビジョンシステムの照明要件に合わせてワークセルを設計するために多大な労力を費やすかもしれない。追加の照明を必要とせず、周囲の照明が強くても弱くても、正確な3Dデータを得ることができるセンサを設置することが望ましいであろう。

ラックピックアプリケーションに使用されるマシンビジョンシステムは、ラックの位置ごとに異なる測定基準を使用するように訓練する必要があるかもしれない。最前列から最後列のラック位置までの照明の変化に加えて、ラックの背景の外観は、各部品がピッキングされるにつれて変化する。背景に見えるパーツの数は、パーツがピックアップされるごとに変化する。次にピッキングされるパーツは、ラックの後ろの壁に近い位置にある。このように測定基準をラックごとに変えなければならないのは非効率的で、マシンビジョンシステムのセットアップやサポートも複雑になる。

穴やエッジなどの特徴の検出に依存するマシンビジョンシステムでは、導入作業を行う技術者は、どの特徴を選択するかについて一連の選択を行う必要がある。特徴の形状、サイズ、または外観の一貫性に応じて、設置技術者は、同じ部品の異なる特徴を検出するために異なるアルゴリズムを選択する必要があるかもしれない。このようにアプリケーション固有のパラメータを設定することは、ビジョンシステムのセットアップに必要であると一般的に考えられているが、マシンビジョンシステムの場当たり的なパラメータ設定は非効率的である。

従来、ビジョンシステムのパラメータ化には、技術者や訓練を受けたユーザが測定対象となる特徴を選択する必要があった。例えば、従来のビジョンシステムでは、車体に開いた貫通孔を見つけ、その位置を3次元空間で報告するように訓練する場合、ユーザは、孔を見つけることができる複数のアルゴリズムの中から1つを選択し、孔の中心を報告するオプションを選択し、次に、穴の中心座標をロボットが利用可能な座標に変換する幾何学的アルゴリズムを選択する。また、2つ目の穴の形状が異なる場合は、別の穴探しアルゴリズムが必要になることもある。このように、それぞれの機能について、ユーザはいくつかの選択をしなければならず、テストや修正が必要になることもある。

マシンビジョンシステムを正しくパラメータ化するためには、訓練と経験が必要である。この意味で、従来のマシンビジョンシステムは産業用アームロボットのようなものであり、ユーザが指示したプログラミングに従うことしかできない。ユーザは、訓練されたプログラムを失敗させる可能性のあるすべての条件を考慮しなければならない。

より効率的なアプローチは、その場限りの特徴の選択を必要とせず、ボタンをクリックするだけで訓練が可能なマシンビジョンシステムを採用することである。ユーザは、画像処理の特殊性や特徴の選択方法をチームで考える必要はない。

一部のシステムでは、2Dカメラで撮影した画像のエッジ情報を解析し、2Dエッジを基準画像のエッジの相対的な位置や向きと比較することで、ロボットのパスの補正を決定することができる。そして、サンプルエッジ画像と参照エッジ画像との相対的なポーズから、センサのポーズを推測することができる。このようなシステムには、Recognition Robotics社のCortex Recognitionシステムがある。米国特許第9,138,895号および同第9,990,685号がこれに該当する。部品のポーズを正確に測定する必要があるラックピックアプリケーションは、エッジの存在からポーズを推定するビジョンシステムにとっても困難な場合がある。なぜなら、エッジの相対的な位置から推定される3次元のポーズは、向きの測定において不正確な場合があるからである。

物体の3Dポーズは、その物体の画像内のエッジの相対的な位置から推測することができる。例えば、斜めに見た正方形の辺は、2D画像では台形になる。直線状の辺の相対的な位置や角度から、正方形の位置や向きを推測することができる。

車両のドアのようなより複雑な形状の3Dポーズも、エッジの相対的な位置から推測することができる。ドアのモデルは、ドアの参照画像からエッジを抽出することで取得される。

エッジ画像は、望ましくないエッジを除去するためにユーザが手動で編集する必要があるかもしれないが、ユーザによる参照データの手動編集は非効率的であり、再現するのが難しい場合がある。マシンビジョンシステムが、望ましくないデータを含む参照2D画像または参照3Dクラウドをキャプチャし、望ましくないデータがマシンビジョンシステムの機能を妨げる可能性がある場合、その画像またはクラウドをユーザに提示して編集させることができる。例えば、Recognition Robotics社のCortex Recognitionシステムは、参照画像を処理して画像のエッジデータを生成し、ユーザは参照画像を編集して、ユーザが重要でない、または無関係と考える特徴のエッジを削除したり、部品ではなく背景に属するエッジを削除したりすることができる。

ユーザが手動でデータを参照する必要があると、エンジニアリングのセットアップにその場限りのパラメータ化が加わる。どのようなエッジを除去すべきかを理解するために、ユーザはトレーニングを受ける必要があり、セットアップ時にはエッジを除去する必要がある。熟練したユーザがエッジ除去を迅速に行うことができたとしても、手動での処理を一切行わない方が望ましい。マシンビジョンシステムは、望ましくない画像やクラウドのデータを自動的に除去したり、望ましくないデータがあってもロバストに動作したりするのが望ましい。

さらに、マシンビジョンシステムのパラメータ化に関連するアドホックなセットアップの決定は、ユーザごとに異なる可能性がある。ユーザ間のセットアップが再現できなければ、システムの性能も再現できない可能性がある。マシンビジョンシステムの性能は、ユーザごとに異なることがないのが理想である。

参照データの手動編集は、アドホックなパラメータ化の一形態であり、マシンビジョンシステムのアドホックなパラメータ化は、前述のように非効率である。

「特徴ベース」のマシンビジョンシステムは、いずれも測定の不正確さに悩まされる。エッジや穴などの特徴は、空間内の個々のポイントの位置を決定するために使用されるかもしれないが、ポイントベースのポーズ測定精度は、測定されたポイントの数と精度によって制限される。図12-15に示すように、特徴ベースのマシンビジョンシステムは、3D空間における少なくとも3つの光学的に異なる特徴の位置を測定することで、物体のポーズを決定することができる。穴の中心、物体の境界線、光学的に異なる形状の幾何学的中心、その他の特徴は、空間内の3Dポイントをもたらす可能性がある。

個々の特徴点の位置によって物体のポーズを決定するマシンビジョンシステムの場合、ポーズ測定の精度は個々の点の測定精度によって決定される。例えば、部品上の1つの特徴が他のものよりも低い精度で測定できる場合、部品全体の表記測定の精度は、その1つの点の測定の不正確さによって全体的に決定される可能性がある。

幾何学や3D測定の技術を学んだ人にはよく知られているように、3D空間における物体のポーズを一意にかつ明確に決定するには、少なくとも3つの点が必要である。4つ以上の点を測定し、最小二乗法やその他の一般的な数学的手法を適用して最適なソリューションを見つけることで、測定のロバスト性を向上させることができる。しかし、特徴ベースのマシンビジョンシステムでは、より多くの点を測定するためには、特徴および特徴発見アルゴリズムについて多くの選択を行う必要があるため、ロバスト性の向上と引き換えに、セットアップがより複雑になる可能性がある。

3D空間の比較的限られた数の点から物体のポーズを決定するマシンビジョンシステムなどは、通常、物体が6つの自由度、具体的には3つの並進自由度と3つの回転自由度に限定されたポーズを持つ剛体であると想定している。しかし、固定時に部品が垂れ下がったり、たわんだりする場合は、さらに別の自由度が導入されます。特に、ストレージラックやその他の固定具では、部品の固定が緩く不正確であるため、部品ごとに変形が一致しない場合がある。限られた数の点を測定する場合、不正確な点の測定と、非剛体の変形を受けた点の正確な測定とを区別するのは困難である。数学に精通している人は、あるパーツのポーズから別のパーツのポーズにポイントを合わせるために、非剛体変換が必要かどうかを判断する技術を実装することができますが、非剛体変換を計算しても、パーツが垂れ下がっているかどうか、あるいは1つまたは2つのポイントが不正確に測定されたかどうかはわからない。

図１６～２０に示すように、特徴ベースのマシンビジョンシステムは、光学的に異なる特徴からオブジェクトのポーズを決定することができるが、垂れ下がった部品のポーズが、サンプルの垂れ下がった部品上の点から公称平坦な基準部品上の対応する点への剛体変換を用いて求められる場合、不正確な測定値となる。

特徴のない部品のポーズは、特徴ベースまたはエッジベースのマシンビジョンシステムでは測定できないという重大な問題がある。このようなシステムでは、測定値が全く得られない可能性がある。パーツが光学的に明確な特徴を持っているかどうか、あるいはパーツが実質的に特徴を持たず、滑らかな輪郭を持っているかどうかに関わらず、パーツのポーズを正確に決定できることが望ましい。

滑らかで緩やかな輪郭の部品は、特徴ベースのマシンビジョンシステムが部品の位置と向きを決定するのに必要な光学的に明確な特徴を持たない場合がある。例えば、スポーツカーのプレス加工された金属製の外装パネルの空力特性と美観のためには、穴や鋭いエッジ、表面の曲率の急激な変化を排除した滑らかな表面が必要となる場合がある。

3D空間における剛体のポーズを明確に決定するためには、最低でも3つの点が必要である。

カセットピックアプリケーション

自動車組立工場などの製造環境では、部品がカセットに入れられることがある。マテリアルハンドリングロボットは、カセットから部品をピックアップし、その部品を別の場所に配置する。

典型的なカセットは、個別に固定された複数の部品を保持している。ロボットは、訓練されたモーションパスを実行して、最前面の部品を再びピックする。このプロセスは、すべてのパーツがピックアップされ、カセットが空になるまで続けられる。

部品を緩く固定するために機械的な固定具とダンネージを使用するストレージラックとは対照的に、カセットの機械的な固定具は部品をより正確に提示することができる。通常の動作において、ロボットは、訓練されたパスに従うだけで、カセットから部品を選ぶことができ、ロボットの訓練されたモーションパスに調整を与えるために、追加のセンサフィードバックは必要ないかもしれない。また、カセットは、最前面の部品が空間にぶら下がるように提示することができる。カセットの構造上、ロボットが部品をピックアップする際にロボットとカセットが衝突する可能性は低くなる。

製造装置やプロセスには、さまざまな故障モードがある。ストレージラックでは、ポートの位置はそれほど正確ではないかもしれないが、部品がラックの位置から滑った場合、部品のポーズのシフトの大きさは、ラックのホルダまたはラックの壁によって拘束されるかもしれない。これに対して、部品がカセット内の機械的な固定からずれた場合、部品のポーズがカセットの壁によって拘束されないため、部品のポーズが大きくずれてしまう可能性がある。例えば、カセットに2本の水平な棒があり、2つの貫通孔で部品を支えている場合、部品が滑って棒の1本が貫通孔から外れてしまうと、部品は回転し、まだ支えている1本の棒にぶら下がってカセットの外に出てしまう可能性がある。さらには、部品が地面に落ちて破損し、ロボットがカセットから取り出すことができなくなってしまうかもしれない。

インデックスカセットは機械的に部品を移動させるので、機械的な故障が発生した場合、（最前面の）ポートが正しく提示されない可能性がある。機械的な障害が発生すると、インデックス移動が完了せず、部品とその固定具が意図した場所から外れてしまう可能性がある。メカニズムが詰まった場合、部品が全く動かなくなる可能性がある。カセットは、期待通りに部品を最前面の位置に割り出すことができるが、不適切な通信またはタイミングのために、ロボットプログラムが期待するときに部品が存在しない可能性がある。次にピックアップされる部品が、期待された位置、方向、時間で所定の位置に割り出されていないかどうかを検出するために、何らかの装置および方法が適用されることが望ましい。

最前面のパーツのポーズがロボットピックに適しているかどうかを検証するソリューションとして、マシンビジョンシステムが提供されてきた。しかし、カセットピックのロボットガイダンスは、カセットピックにいくつかの問題をもたらす。

カセットは、ピッキングのために比較的大きな部品またはサブアセンブリを提示することがある。カセットからピッキングされる部品は、通常、非常に明るい工場照明のような周囲の照明条件にさらされる。可視光を画像化するマシンビジョンシステムは、周囲光による大きな物体の検査のためにロバスト性を持たせることが難しい。

そのようなシステムの堅牢性は、場合によっては多大な費用をかけて達成されるかもしれないし、2Dビジョンシステムの照明要件に合わせてワークセルを設計するために多大な労力を費やすかもしれない。照明を必要とせず、周囲の明るさに関わらず正確な3Dデータが得られるセンサの設置が望ましいであろう。

ビジョンシステムが2D画像から部品のポーズを推定する場合、大きな部品を撮影するには複数のセンサが必要になることがあり、3Dデータを得るために複数の2Dセンサを使用するとセットアップが複雑になる。

複数の2Dセンサを使って3Dデータを生成するシステムのセットアップは、通常、アプリケーションごとにカスタマイズする必要があり、このセットアップは訓練を受けたエンジニアの判断に委ねられている。周囲の光や影などの環境条件は、2D画像処理アルゴリズムを混乱させる可能性がある。2Dカメラは、広い視野の中では距離を判定する能力に限界がある。2Dカメラは広い視野での距離計測に限界があるため、複数の2Dセンサを使って視野が重なる領域の3Dデータを取得するには、ハードウェアが必要となり、設置や設定が複雑になる。

物体のポーズの比較的小さな変化を推定するだけのマシンビジョンシステムは、カセットピックの用途には適していない。機械的な固定が失敗し、部品が自由に揺れると、部品は任意のポーズをとる可能性がある。

シーラント塗布アプリケーション

自動車製造では、内側と外側のプレス加工された金属部品を接合して、ドア、ボンネット、トランク、その他のクロージャを作るために、ヘム加工が行われる。ヘムフランジは、外側の金属プレス部品の縁を内側の金属プレス部品の縁に折り返すことによって形成される。一般的には、ロボットがヘムに液体シーラントを塗布して、トナーと外板の間に水密性のあるシールを作る。

ヘムフランジが、ロボットのモーションパスが訓練された正確なポーズをとっていない場合、ロボットがスプレーまたはディスペンスするシーラントは、ヘムをカバーできない可能性がある。スプレーはクロージャを完全に逃し、車体や作業中の他の物体に飛び散り、クロージャとそのヘムフランジが予想されたポーズでない場合、清掃のためのコストがかかるダウンタイムを必要とする混乱を生じさせ、ロボットはクロージャに衝突する可能性さえあり、ロボットの衝突はコストが発生する。

不正確に固定された部品のポーズを決定することは、多くの製造用途において解決すべき問題であるが、ヘムフランジのポーズを決定することは特に困難であり、制約がある。

既に車体に取り付けられているクロージャにシーラントを塗布する場合、ヘムフランジのポーズは、生産ラインに対する車両のポーズと、車体に対するクロージャのポーズとによって決定されることになる。このような複合的な影響により、ロボットの固定された位置に対してクロージャのポーズが大きく変化することがある。

ヘムフランジのポーズを決定する際に問題となるのは、部品のサイズと形状に対するポーズ測定に必要な精度である。ヘムフランジを備えたクロージャは、最長寸法が1メートル以上になることもあるが、ヘムに沿ったシーラントの配置には1mm以下の精度が求められることもある。特に複雑な形状の部品では、1000分の1の位置精度を実現することはラボ以外では困難である。また、1mm単位での測定精度は、部品の組み立て時の寸法差に匹敵し、場合によっては重力や機械的な固定力による非剛体の変形による部品のたわみに匹敵することもある。

自動車メーカーは、フランジ全体に沿って薄くて均一なビード状のシーラントを塗布することを望んでいるが、これはロボットの噴霧器またはアプリケータがヘムフランジに対して一定の距離と方向に維持される場合にのみ可能である。

もう一つの難点は、ドアやフードなどのクロージャの周りのヘムフランジは、3D空間を複雑な曲線でたどることができるため、アプリケーションは姿勢の測定におけるエラーに特に敏感になるということである。ポーズの測定が不正確で、クロージャの全体的な位置が不正確で、ヘムフランジ上のすべての点が実際の位置から離れていると測定された場合、シーラントスプレーの精度は低下しないかもしれないが、クロージャの姿勢の測定が不正確で、クロージャの上部が測定されたポーズから一方向に1ミリ以上ずれていた場合、クロージャの下部は測定されたポーズから1ミリ以上ずれている。また、クロージャの下部が反対方向に1mm以上ずれていると、ロボットがヘムフランジの複雑なカーブに正確に追従できず、シーラントビードの中心がヘムフランジに対して複雑なパターンで揺れる可能性がある。

部品の姿勢が不正確に測定され、その後測定されたポーズがロボットのモーションパスに適用された場合、ロボットの噴霧器が表面に対して斜めに向いてしまう可能性がある。斜めの角度でスプレーすると、図23に示すように、シーラントのビードが広がり、ビードの中心がヘムに対してずれてしまう。

クロージャの大きさに対して高い精度が要求され、3D測定誤差は距離とともに増加するため、センサをロボット自体に取り付けることが望ましい。ロボットに取り付けられたセンサは、センサからヘムフランジまでの距離を一貫して近く保つことが簡単にできる。

3D測定の誤差は、距離とともに大きくなる。カメラベースの3D距離の場合、遠くにあるオブジェクトは、カメラ画像で小さく見える。距離測定の精度は、通常、距離の二乗に比例する。例えば、1メートルの距離で1ミリの誤差で3D測定値が得られるセンサは、2メートルの距離で4ミリの誤差で3D測定値が得られるかもしれない。

クロージャやその他の大型車両のサブアセンブリのポーズ推定は、通常、クロージャが剛体であるという仮定に依存しており、この仮定は常に正しいとは限らない。

上述の問題に対するいくつかの解決策は、クロージャが想定し得る広い範囲のポーズを考慮すると、クロージャのポーズを沿って測定することができないかもしれない。代わりに、車体のポーズを最初に決定する必要があるかもしれない。車体のポーズを利用してポーズ計測センサを配置し、次にセンサが車体のポーズに対するクロージャのポーズを計測することができる。ロボット座標系におけるクロージャのポーズは、車両からロボットへのポーズと、車両からドアへのポーズの積である。

ロボットに搭載するセンサは小型軽量であるべきという制約があるため、ヘムフランジポーズ測定に十分な精度の深さ測定を行うことができる大型および／または重いセンサの使用が妨げられる。例えば、Zivid 3Dセンサは、最長寸法が226mmと比較的大きく、重量も2kgと比較的重い。

ロボットの腕先ツールは、塗料やシーリング材のスプレー、溶接ガンの保持、部品の把持など、主にロボットの作業タスクのために設計される。ロボットの腕先ツールに追加されるセンサは、腕先ツールの中でできるだけ少ない部分を占めるべきであり、大きなセンサや重いセンサを収容する腕先ツールを必ずしも設計するべきではない。

ロボットに搭載するセンサは、深度測定精度が同等であると仮定すると、大きくて重いセンサよりも、小さくて軽いセンサの方が好ましい。

マシンビジョンシステムは、穴やエッジなどの光学的に識別可能な特徴の3D空間内の位置を推定することで、ポーズを決定することができる。このようなシステムでは、ロボットに搭載されたセンサを使用することができるが、ロボットは、クロージャの複数の視点にセンサを移動させる必要がある場合がある。点ベースのポーズ計測の精度は、計測された点の数と精度によって制限される。また、クロージャとそのヘムフランジのポーズ計測には高い精度が要求されるため、個々の特徴とその3D空間における位置を高精度に計測する必要がある。

幾何学や3D測定の技術を学んだ人にはよく知られているように、3D空間における物体のポーズを一意にかつ明確に決定するためには、少なくとも3つの点が必要である。測定のロバスト性は、4つ以上の点を測定した後、最小二乗フィットまたは他の一般的な数学的手法を適用して、ベストフィットの解決策を見つけることで向上する場合がある。しかし、特徴ベースのマシンビジョンでは、より多くの点を測定するためには、特徴および特徴発見アルゴリズムについてより多くの選択を行う必要があるため、ロバスト性の向上と引き換えに、セットアップがより複雑になる可能性があります。

ロボットがセンサをクロージャに近づけた場合、特徴は十分な精度で決定されるかもしれない。しかし、近距離では、センサの視野は比較的小さく、典型的にはクロージャの小さな部分以上を画像化するには小さすぎる。クロージャのポーズを測定するためには、少なくとも3つの異なる場所の特徴を測定する必要があり、より正確なポーズを得るためには、特徴の場所が離れていることが望ましい。しかし、センサの視野が狭くてクロージャ全体を撮影できない場合は、必要な特徴を測定するために複数回のロボット移動が必要になる。ロボットの移動は、シーラント作業の全体的なサイクルタイムを増加させる。ロボットの移動回数を最小限にして、サイクルタイムを短縮することが望ましいと言える。

光学的に識別可能な特徴の3D空間における位置を測定することによってポーズを決定する特徴ベースの測定システムは、通常、クロージャが剛体であることを前提としている。測定精度が1mm以下であることが要求される場合、特徴ベースのマシンビジョンシステムは実現できない可能性がある。

車体アプリケーション

組立ライン上の車体がロボットのワークセルに移動すると、一般的に車体は、ロボットのモーションパスを訓練するために使用されたノミナルポーズに対してわずかにシフトする。物体のポーズとは、3次元空間における物体の位置と姿勢のことである。車体は一般的に固定されていないため、車体の姿勢を決定するには何らかの方法と装置が必要です。

組立ライン上の車両本体はカーキャリアに取り付けられ、カーキャリアは組立ライン上を走行する。ライン上の車両から車両へ、そのカーキャリアに対する車両の位置や姿勢が変化し、組立ラインに対するカーキャリアの位置や姿勢が変化する。

車体の長さは通常4メートル以上あるため、マシンビジョンシステムなどのセンサベースのシステムで車両のポーズを測定する場合、1つのセンサだけで車体のポーズを測定することは通常不可能である。また、光学的に識別可能な特徴の空間上の位置を測定してポーズを決定するシステムのように、各センサに固有のパラメータを設定しなければならない場合、複数のセンサの設置や電子化はさらに複雑なものとなる。

車体は複数のサブアセンブリから構成されている。現在の製造方法は一般的には組み立てられた車両の寸法が許容範囲内であることを保証するが、アセンブリがわずかに位置をずらして設置され、現在のボディのポーズが基準ポーズにおける基準ボディのポーズと一致するように剛体変換できなくなることがある。ポーズ測定システムが、ずれたサブアセンブリの特徴を車体のポーズの測定点の1つとして使用する場合、その点が不正確に測定されたのか、あるいはその点が見つかったサブアセンブリの位置がずれているのかを判断することが困難な場合がある。このような問題の原因を特定することが困難な場合、適切な是正措置を決定することも困難であり、ビジョンシステムを再訓練することで散発的な車両製作の問題を解決しようとしても無駄になる可能性がある。

車体を計測するセンサは、床や天井に静的に取り付けられることが多い。車体に対するセンサの位置は、車体の形状や外観によって部分的に決定されることがある。車体は、穴、突起、凹み、その他の鋭い特徴を持つサブアセンブリと、滑らかな曲線で実質的に特徴のないサブアセンブリの組み合わせで組み立てられることがある。特徴のないサブアセンブリは、特徴ベースのマシンビジョンシステムに基づいて測定することができない。表面に特徴のない物体の計測では、特徴の豊富な表面だけを撮影するようにセンサを取り付ける必要がありますが、その特徴は設置やメンテナンスに不便な場所でしか見ることができない場合がある。計測システムの制約上、特定の場所にしかセンサを設置できないよりむしろ、任意の場所にセンサを設置できることが望ましい。

車両のポーズは、Perception社のTricamセンサなどの複数のレーザー三角測量センサを用いて決定することができる。しかし、レーザー三角測量センサは、セットアップやサービスに大きな労力を要する。

レーザー三角測量センサは、正確に分かっている位置と姿勢で設置しなければならない。位置と姿勢は、通常、操作にかなりの専門知識を必要とする測距装置を用いて決定される。レーザー三角測量センサを設置し、センサの測定値を組立ラインの床に対して固定されたロボット座標系またはワールド座標系フレームに登録するには、数時間かかることがある。

三角測量センサがぶつけられたり、時間の経過とともにずれたりした場合には、通常、最初の設置に使用したのと同じ測距装置を使って再登録しなければならない。これは、3Dセンシングの技術に精通した人にとって、時間のかかるプロセスであることが知られている。

さらに、レーザー三角測量センサは、レーザーラインが表面を横切ってスキャンされない限り、比較的少ない表面データしか生成しない。

可視シーンの電子的表現から限定された一連の範囲データを計算するための装置も、先行技術でよく知られている。典型的には、これらのデバイスは、2Dセンサと、ビームの照射が2Dセンサの視野内の物体と交差するように構成された1つまたは複数のビームとを備え、それらのビームからの一部の放射がその物体によって反射されて2Dセンサに戻る。三角測量の技術を利用して、ビームによって照射されたピクセルの物体までの距離を計算する（例えば、US PATS 3,180,205および4,373,804）。当技術分野の用語を用いると、範囲データが知られているピクチャークレメント（イメージングアレイ内の水平および垂直座標によって指定される）は、ボリューム要素または「ボクセル」と呼ばれる。US PATS 3,180,205および4,373,804に開示されている技術に類似した技術は、比較的小さい範囲データのセットを生成する。

レーザー三角測量センサによって生成された限られたデータは、イメージングアレイ内のすべての、またはほぼすべての画像要素の距離データを生成する3次元センサの発明によって克服され、したがって、その視野内のオブジェクトのはるかに完全な距離データを生成することができる。例えば、飛行時間技術を利用した米国特許第4,195,221号、走査ビーム技術を利用した米国特許第5,081,530号、投影パターンを利用して広い視野のボクセルを得ることができる米国特許第6,751,344号などがある。近年では、これらの初期の特許のアイデアがさらに発展し、比較的安価な民生用3Dセンサが市販されている。例えば、飛行時間を利用した3Dセンサとしては、ソニーのDepthSenseがある。構造化された光を投影して深度を得る3Dセンサには、OrbbecのAstraがある。スキャニングビームの技術を利用した3Dセンサには、LMIのGocatorがある。

サーフェスでレーザーラインを機械的にスキャンして、より完全な3Dボクセルのクラウドを生成することができるが、機械的にスキャンされたレーザー三角測量センサは非効率的である。低コストの2D/3Dハイブリッドセンサの導入により、多くのアプリケーションでレーザート三角測量センサの必要性がなくなった。

三角測量センサは、ターゲットを横切って三角測量ビームを機械的に走査することにより、部品表面の3Dクラウドを得ることができる。しかし、センサを機械的にスキャンするのに必要な時間は、総サイクル時間に追加される。三角測量センサは、そのビームを移動させてもよいし、部品が固定されたビームに対して相対的に移動してもよいが、レーザビームの相対移動とデータ取得は同期させる必要がある。

三角測量センサがペンタプリズムなどを使って機械的に表面をスキャンする場合、繰り返し使用することで機械部品が故障することがある。

ハイブリッド2D/3Dセンサまたはカメラは、毎秒30回、数十万の3Dボクセルの完全なクラウドを取得する。機械的な走査は必要ないので、機械的な故障は予想されない。そのようなセンサミッドカメラの例は、米国特許文書2013／0329012；2018／0031364；2018／0120218および米国特許第10,049,443号に見出すことができる。

複数の2Dセンサとアプリケーション固有の照明で構成されるマシンビジョンシステムも、車体のポーズを決定するために使用することができる。しかし、3Dデータを得るために複数の2Dセンサを使用すると、セットアップが複雑になる。

車両のポーズはPerception Helix-Evoのような走査レーザー三角測量センサによって決定することができる。走査レーザート三角測量センサは、従来の固定位置式の三角測量センサよりも多くのデータを生成するが、機械的にスキャンされたレーザー三角測量センサは非効率的である。

車両のルーフディッチアプリケーション

自動車製造において、車両のルーフはルーフディッチを有することがある。ルーフディッチは、プレス加工された金属製のルーフに設けられた長さ方向の凹部である。ルーフディッチは、ルーフパネルを取り付けるためのものであるが、外観上の理由からモールディングを取り付けたり、荷物を運搬するためのルーフラックを取り付けたりすることもできる。

ルーフディッチは、穴やその他の光学的に識別可能な特徴があったとしてもほとんどない、緩やかな曲線の凹部であるかもしれない。光学的ポーズ測定システムは、通常、そのような光学的に区別可能な特徴を用いて、表面上の個々の点の位置を決定する。３つ又はそれよりも多い光学的に区別可能な特徴の位置が与えられれば、ルーフのポースは推定可能である。滑らかなルーフディッチのような「特徴のない」車両部品は、特徴ベースまたはエッジベースのマシンビジョンシステムでは、特徴のない部品の姿勢を測定できないため、ポーズ測定システムにとって問題となる。

ルーフディッチの幅は、ルーフの設置寸法に応じて変化することがある。ルーフとそのルーフディッチのポーズの測定がルーフディッチの幅に依存する場合、ルーフディッチの幅の変化はポーズの測定の不正確さにつながる可能性がある。

多くの組立ラインでは、複数のモデルの自動車を製造している。ルーフディッチのポーズを測定するシステムは、どのモデルに対してもポーズを測定しなければならない。穴やその他の光学的に識別可能な特徴がある場合、ルーフディッチを特徴ベースのマシンビジョンシステムで測定することができるが、それらの穴や光学的に識別可能な特徴の位置は、モデルごとに変わる可能性がある。 特徴ベースの測定システムは、識別可能な特徴の位置の違いに対応するために追加のセンサを設置するか、モデルごとに固有のパラメータを設定する必要がある。望ましいのは、計測システムが少数のセンサを使用することであり、異なる車種やルーフディッチの構成に対応するための場当たり的なパラメータ化は必要ないことである。

ルーフは左右の独立したルーフパネルで構成されている場合があるため、左のルーフパネルと右のルーフパネルの位置関係が許容範囲外になるような造形上の問題が発生した場合、各ルーフディッチのポーズを測定するまでこの問題は検出されない可能性がある。システムが各ルーフパネルの比較的少数のポイントを使用してポーズを決定する場合、ルーフディッチが互いに一貫した剛体の関係を維持していないと、特徴ベースのマシンビジョンシステムを使用して、左右のルーフパネル間の予期せぬポーズの違いが、測定の不正確さなのか構築の問題なのかを示すことが困難になる可能性がある。好ましくは、測定システムからのフィードバックにより、ルーフパネルが他のルーフパネルに対してシフトしているかどうかが即座に明らかになるべきである。

穴やエッジなどの特徴の検出に依存するマシンビジョンシステムでは、システムを設定する技術者が、どの特徴を選択するか、時にはこれらの特徴を見つけるためにどのようなアルゴリズムを使用するかについて、一連の選択を行う必要がある。これは、アプリケーションごと、時には部品の種類ごとに、場当たり的に一連の選択を行うことになり、マシンビジョンシステムの場当たり的なパラメータ化は非効率的である。

特徴ベースのマシンビジョンシステムの中には、ルーフディッチが一定の幅であると仮定して、ルーフディッチのポーズを測定するものがある。しかし、製造現場では、ルーフディッチの幅が変化することがあり、固定幅を前提としたマシンビジョンシステムでは問題となる。

本発明の少なくとも1つの実施形態の目的は、マシンビジョンシステムの場当たり的なパラメータ化を行うことなく、部品または部品のアセンブリのポーズを正確に、効率的に、測定するマシンビジョンベースの方法およびシステムを提供することである。

本発明の少なくとも1つの実施形態の別の目的は、マシンビジョンサブシステムを使用してポーズを測定することにより、未知のポーズを有する部品または部品のサブアセンブリに対して作業タスクを実行するように、ロボットなどの再プログラム可能な産業オートメーションマシンを制御するマシンビジョンベースの方法およびシステムを提供することである。

本発明の少なくとも1つの実施形態における上記の目的や他の目的を遂行するために、未知のポーズを持つ部品または部品のサブアセンブリに対してワークタスクを実行する再プログラム可能な産業用オートメーションマシンの制御のマシンビジョンベースの方法を提供する。この方法は、少なくとも1つの3Dセンサを産業用オートメーションマシンに取り付けて移動するステップを含む。マシンは、基準となる部品または部品のサブアセンブリの既知の基準ポーズに基づいたノミナルモーションパスをたどるようにプログラムされている。この方法は、既知の基準ポーズを有する基準部品または部品のサブアセンブリの基準表面を表す3Dボクセルの基準クラウドを提供することも含む。マシンと各3Dセンサは、基準部品またはサブアセンブリと同じタイプのサンプル部品またはサブアセンブリの対応する表面を表す3Dボクセルのサンプルクラウドを取得するために一緒に取り付けられる。サンプル部品またはサブアセンブリは、基準ポーズとは異なる実際のポーズを有している。サンプルクラウドと基準クラウドのボクセルをマッチングアルゴリズムで処理し、サンプル部品やサンプルサブアセンブリのポーズを決定する。基準からサンプルへの変換をノミナルモーションパスに適用して、マシンが基準ポーズと実際のポーズの違いを補正したモーションパスをたどるようにマシンを再プログラムする。

提供するステップは、少なくとも1つの取り付けられた3Dセンサによって少なくとも部分的に実行されてもよい。

部品またはサブアセンブリは、固定具に配置され、支持されていてもよい。

本方法は、基準クラウドとサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算し、整列クラウドと基準クラウドの3Dグラフィックを3Dディスプレイに表示することをさらに含むことができる。

3Dディスプレイは、部品のサブアセンブリが、サブアセンブリ本体の他のサブアセンブリに対して位置がずれているかどうかを識別するために使用することができる。

3Dディスプレイは、整列クラウドのポーズを基準クラウドのポーズと視覚的に比較するために使用することができる。

マシンは、少なくとも1つの3Dセンサが取り付けられているアームエンドツーリングを有するロボットであってもよい。ロボットは、補正されたモーションパスに基づいて、部品またはサブアセンブリを固定具から取り出すことが可能であってもよい。

マシンは、少なくとも1つの3Dセンサが取り付けられたアームエンドツーリングを有するロボットであってもよい。ロボットは、補正されたモーションパスに基づいて、部品を接合するために部品のサブアセンブリの継ぎ目にシーラントを塗布することが可能であってもよい。

固定具は、部品または部品のサブアセンブリで構成されていてもよい。

固定具は、移動可能なキャリアで構成されていてもよい。

キャリアは、同じ種類の個別に固定された複数の部品やサブアセンブリを支持するためのストレージラックであってもよい。

キャリアは、同じ種類の個別に固定された複数の部品またはサブアセンブリを配置して支持するためのストレージカセットであってもよい。

キャリアは、同一タイプの個別に固定された複数の車体を位置決めして支持するためのカーキャリアであってもよい。

各3Dセンサは、2D/3Dハイブリッドセンサで構成されていてもよい。

各センサは、部品またはサブアセンブリに照明を照射するために、既知のパターンの放射を投射してもよい。

照明は、可視光線のスペクトルの外側のパターンに集中していてもよい。

変換は、ベストフィット剛体変換であってもよい。部品またはサブアセンブリは非剛体であってもよく、本方法は、適用するステップの後に、ノミナルモーションパスにベストフィット非剛体変換を適用するステップを含んでいてもよい。

3Dボクセルのクラウドには、各ボクセルのカラーまたはグレースケール情報が含まれており、ポーズ測定を向上させることができる。

基準クラウドは、実質的に基準面全体を表すことができる。

提供するステップは、部品またはサブアセンブリのCADモデルを提供するステップと、CADモデルを基準クラウドに変換するステップとを含むことができる。

提供するステップは、構築されたままの部品を剛体的に固定するステップと、複数の3Dセンサを使用して複数の視点から3Dボクセルの複数の基準クラウドをキャプチャするステップとを含むことができる。

キャプチャするステップは、複数の3Dセンサをロボットのアームエンドツーリングに取り付けることと、ロボットのアーム先端に取り付けられた3Dセンサを複数の支店へ移動させることが少なくとも部分的に行われる。

さらに、本発明の少なくとも1つの実施形態の上記の目的および他の目的を実施する際に、未知のポーズを有する部品または部品のサブアセンブリの3Dポーズを測定するマシンビジョンベースの方法が提供される。この方法は、既知の基準ポーズを有する基準部品またはサブアセンブリの基準表面を表す3Dボクセルの基準クラウドを提供することを含む。本方法は、少なくとも1つの2D／3Dハイブリッドセンサを使用して、基準部品またはサブアセンブリと同じタイプのサンプル部品またはサブアセンブリの対応する表面を表す3Dボクセルのサンプルクラウドを取得することをさらに含む。サンプル部品やサブアセンブリは、基準とは異なる実際のポーズを有している。最後に、サンプルクラウドと基準クラウドのボクセルは、マッチングアルゴリズムを利用して処理され、サンプル部品またはサブアセンブリのポーズが決定される。

提供するステップは、少なくとも部分的に、少なくとも1つのセンサによって実行されてもよい。

部品またはサブアセンブリは、固定具に配置され、支持されてもよい。

本方法は、基準クラウドとサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算することと、整列クラウドと基準クラウドの3Dグラフィックを3Dディスプレイに表示することとをさらに含んでもよい。

3Dディスプレイは、部品のサブアセンブリがサブアセンブリ本体の他のサブアセンブリに対して位置がずれているかどうかを識別するために使用することができる。

3Dディスプレイは、整列クラウドのポーズを基準クラウドのポーズと視覚的に比較するために使用することができる。

固定具は、部品または部品のサブアセンブリで構成されていてもよい。

固定具は、移動可能なキャリアで構成されていてもよい。

キャリアは、同じ種類の個別に固定された複数の部品またはサブアセンブリを配置して支持するためのストレージラックであってもよい。

キャリアは、複数の同一タイプの固定された部品やサブアセンブリを配置して支持するためのストレージカセットであってもよい。

キャリアは、同一タイプの個別に固定された複数の車体を位置決めして支持するためのカーキャリアであってもよい。

各センサは、部品またはサブアセンブリに照明を照射するために、既知のパターンの放射を投影してもよい。

照明は、可視光線のスペクトルの外側のパターンに集中していてもよい。

3Dボクセルのクラウドは、ポーズ測定を向上させるために、各ボクセルのカラーまたはグレースケール情報を含んでいてもよい。

基準クラウドは、基準面全体を実質的に表していてもよい。

提供するステップは、部品またはサブアセンブリのCADモデルを提供するステップと、CADモデルを基準クラウドに変換するステップとを含んでもよい。

提供するステップは、構築されたままの部品を剛体的に固定するステップと、複数の3Dセンサを使用して複数の視点から3Dボクセルの複数の基準クラウドをキャプチャするステップとを含むことができる。

さらに本発明の少なくとも1つの実施形態の上述の目的および他の目的を遂行するためには、未知のポーズを有する部品または部品のサブアセンブリに作業タスクを実行する再プログラム可能な産業オートメーションマシンを制御するマシンビジョンベースのシステムが提供される。このシステムは、産業用オートメーションマシンに取り付けられて、それに伴って移動する少なくとも1つの3Dセンサを含む。マシンは、基準となる部品または部品のサブアセンブリの既知の基準ポーズに基づいて、ノミナルモーションパスをたどるようにプログラムされる。既知の基準ポーズを持つ基準部品またはサブアセンブリの基準表面を表す3Dボクセルの基準クラウドが含まれている。機構は、マシンと取り付けられた各3Dセンサを一緒に移動させて、基準部品またはサブアセンブリと同じタイプのサンプル部品またはサブアセンブリの対応する表面を表す3Dボクセルのサンプルクラウドを取得する。サンプル部品は、基準ポーズとは異なる実際のポーズを持っている。少なくとも1つのプロセッサは、サンプル部品またはサブアセンブリのポーズを決定するために、マッチングアルゴリズムを利用してサンプルクラウドおよび基準クラウドのボクセルを処理する。制御ロジックは、参照からサンプルへの変換をノミナルモーションパスに適用し、マシンが基準ポーズと実際のポーズの違いを補償するために補正されたモーションパスをたどるようにマシンを再プログラムする。

少なくとも1つの取り付けられた3Dセンサは、基準クラウドを提供することができる。

部品またはサブアセンブリは、固定具中に配置され、支持されてもよい。

少なくとも1つのプロセッサは、基準クラウドおよびサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算してもよく、システムは、整列クラウドおよび基準クラウドの3Dグラフィックを表示する3Dディスプレイをさらに備えてもよい。

3Dディスプレイは、部品のサブアセンブリがサブアセンブリ本体の他のサブアセンブリに対して位置がずれているかどうかを識別するために使用することができる。

3Dディスプレイは、整列クラウドのポーズを基準クラウドのポーズと視覚的に比較するために使用することができる。

マシンは、少なくとも1つの3Dセンサが搭載されたアームエンドツーリングを有するロボットであってもよい。

ロボットは、補正されたモーションパスに基づいて、部品またはサブアセンブリを固定具から取り出すことができるかもしれない。

マシンは、少なくとも1つの3Dセンサが搭載されたアームエンドツーリングを有するロボットであってもよい。

ロボットは、補正されたモーションパスに基づいて、部品のサブアセンブリの継ぎ目にシーラントを塗布して、部品を接合することができるようにしてもよい。

固定具は、部品または部品のサブアセンブリで構成されていてもよい。

固定具は、移動可能なキャリアで構成されていてもよい。

キャリアは、同じ種類の個別に固定された複数の部品またはサブアセンブリを配置して支持するためのストレージラックであってもよい。

キャリアは、同じ種類の個別に固定された複数の部品またはサブアセンブリを位置決めして支持するためのストレージカセットであってもよい。

キャリアは、同じ種類の個別に固定された複数の車体を位置決めして支持するためのカーキャリアであってもよい。

各3Dセンサは、2D/3Dハイブリッドセンサで構成されていてもよい。

各センサは、部品またはサブアセンブリに照明を照射するために、既知のパターンの放射を投影してもよい。

照明は、可視光線のスペクトルの外側のパターンに集中していてもよい。

変換は、ベストフィット剛体変換であってもよい。部品またはサブアセンブリは、非剛体であってもよく、制御ロジックがベストフィット剛体変換を適用した後に、ノミナルモーションパスにベストフィット非剛体変換を適用することを特徴とする。

3Dボクセルのクラウドは、ポーズ測定を向上させるために、各ボクセルのカラーまたはグレースケール情報を含んでいてもよい。

基準クラウドは、基準面全体を実質的に表していてもよい。

システムは、部品またはサブアセンブリのCADモデルをさらに含み、制御ロジックは、CADモデルを基準クラウドに変換することができる。

システムは、組み立てられた部品を剛体的に固定する固定具と、複数の視点から3Dボクセルの複数の基準クラウドをキャプチャする複数のセンサとをさらに備えてもよい。

複数の3Dセンサは、ロボットのアームエンドツーリングに取り付けられてそれと一緒に移動してもよく、機構は、ロボットに3Dセンサを複数の視点に移動させてもよい。

なお、本発明の少なくとも1つの実施形態の上記目的および他の目的を遂行する上でさらに、未知のポーズを有する部品または部品のサブアセンブリの3Dポーズを測定するマシンビジョンベースのシステムが提供される。このシステムは、既知の基準ポーズを有する基準部品またはサブアセンブリの基準表面を表す3Dボクセルの基準クラウドを含む。少なくとも1つの2D／3Dハイブリッドセンサは、基準部品またはサブアセンブリと同じタイプのサンプル部品またはサブアセンブリの対応する表面を表す3Dボクセルのサンプルクラウドを必要とする。サンプル部品またはサブアセンブリは、基準ポーズとは異なる実際のポーズを有している。少なくとも1つのプロセッサは、サンプル部品またはサブアセンブリのポーズを決定するために、マッチングアルゴリズムを利用してサンプルおよび基準クラウドのボクセルを処理する。

少なくとも1つのセンサは、基準クラウドを提供することができる。

部品またはサブアセンブリは、固定具に配置され、支持されてもよい。

少なくとも1つのプロセッサは、基準クラウドおよびサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算してもよく、システムは、整列クラウドおよび基準クラウドの3Dグラフィックを表示する3Dディスプレイをさらに備えていてもよい。

3Dディスプレイは、部品のサブアセンブリがサブアセンブリの本体の他のサブアセンブリに対して位置がずれているかどうかを識別するために使用することができる。

3Dディスプレイは、整列クラウドのポーズを基準クラウドのポーズと視覚的に比較するために使用することができる。

固定具は、部品または部品のサブアセンブリで構成されていてもよい。

固定具は、移動可能なキャリアを含んでいてもよい。

キャリアは、同じ種類の個別に固定された複数の部品またはサブアセンブリを配置して支持するためのストレージラックであってもよい。

キャリアは、同じ種類の個別に固定された複数の部品またはサブアセンブリを織って支持するための収納カセットであってもよい。

キャリアは、同じ種類の個別に固定された複数の車体を位置決めして支持するためのカーキャリアであってもよい。

各センサは、部品またはサブアセンブリに照明を照射するために、既知のパターンの放射を投影してもよい。

照明は、可視光線のスペクトルの外側のパターンに集中していてもよい。

3Dボクセルのクラウドは、ポーズ測定を向上させるために、各ボクセルのカラーまたはグレースケール情報を含んでいてもよい。

基準クラウドは、基準面全体を実質的に表していてもよい。

システムは、部品またはサブアセンブリのCADモデルをさらに含み、制御ロジックは、CADモデルを基準クラウドに変換してもよい。

システムは、組み立てられた部品を剛体的に固定する固定具と、複数の視点から3Dボクセルの複数の基準クラウドをキャプチャする複数のセンサとをさらに備えてもよい。

図1は、筐体に収められた、または筐体の中に収容され、ロボットアームのエンドツーリングに取り付けられた光学センサの、部分的に分解した透視図であり、センサの光学的に透明な窓が示されている。 図2は、3Dセンサやデプスセンサとその筐体、センサレール、温度制御回路が産業用作業環境で使用されている様子を示すブロック図である。 図3は、ドアなどの自動車部品を満載した従来のストレージラックと、ラックから部品を1つずつ取り出すロボットの全体概略透視図である。 図4は、図3の図と同様の図であるが、最前部の部品がラックから取り出され／拾われ、ロボットによって保持されている状態である。 図5は、プレス加工された金属部品の緩やかな湾曲した表面に対してキャプチャされたボクセルの3D基準クラウドを表すメッシュの上面模式透視図である。 図6は、ボクセルのサンプルクラウド（破線）のメッシュに隣接する図5のメッシュの図であり、サンプルクラウドは基準クラウドから並進シフトによりオフセットされている。 図7は、図5および6のメッシュ（実線）と、図6のサンプルクラウド（破線）を示す図であり、サンプルクラウドは、並進と回転の組み合わせによって基準クラウドからオフセットされている。 図8a～8dは、基準クラウドとサンプルクラウドの差を反復的に最小化する様子を示すメッシュビューで、左から右への画像は基準クラウド（実線）とサンプルクラウド（破線）を表し、メッシュラインの交点は3D空間の個々のボクセルを表している。 図9は、複数の突起を有する表面を撮像するセンサの視線を矢印で示したメッシュ図である。 図10は、ドアなどの自動車部品を満載した従来の収納カセットと、カセットの割り出し後にカセットから部品を1ライムずつ取り出すロボットの模式的な透視図である。 図11は、図10の図と似ているが、カセットに2つの部品しか残っておらず、ロボットが部品の1つを持っている状態の図である。 図12は、上の2つの画像で、立方体の部品を3次元空間で2つの異なる姿勢にしたもので、下の2つの画像は、3次元空間で、光学的に異なる角部に対応する点を示している。暗く塗りつぶされた円は、基準ポーズをとった部品上のポイントを表し、空の円はサンプルポーズをとった部品上のポイントを表している。 図13は、図12に関連する概略図である。光学的に明確なコーナーポイントが測定エラーなしに識別され、部品が剛体のままであれば、剛体変換によって、サンプルポーズの部品上のポイントが、基準ポーズの部品上のポイントに正確にマッピングされる。 図14は、図13に関連したもので、実測値には誤差があり、サンプル点から基準点への剛体変換の計算には、差が最小になるようなベストフィット変換を行う。サンプル部分を表す破線の図では、点の位置が少しずれていることがわかる。 図15は、図13および図14に関連している。ポイントとポイントの関係が、測定誤差のために変化しているのか、あるいはサンプリ部品の建築されたままの寸法のわずかな違いのために変化しているのかを判断するためには、ベストフィット剛体変換だけでは不十分である。図15の例では、下の破線の図は、ファイルの上の破線の図よりもわずかに大きくなっている。 図16は、光学的に異なる特徴を持つ実質的に平らな部品の上面概略図である。 図17は、光学的に明確な特徴を有する図16の平坦な部分の上面概略図であり、火災部分は重力により垂れ下がっている。 図18は、L字形と2つの長方形として識別される3つの光学的に明確な特徴を持つ平らな部品の上面概略図であり、これらの特徴の幾何学的中心は、部品の姿勢を推定するために使用され得る3D空間の点である。 図19は、重力によって垂れ下がった部分に3つの光学的に異なる特徴を持つ、図18の平らな部分の上面概略図である。垂れ下がった部分の3つの点から、名目上平らな部分の3つの点にベストフィット剛体変換を行うと、ポーズを誤認させるような並進や回転が生じる。 図20は平面部品の上面図であり、円は平面部品と重力によって垂れ下がった部品上の光学的に異なる特徴の幾何学的中心を表し、暗く塗りつぶした円は平面部品上の点を、空の円は垂れ下がった部品上の対応する点を表している。 図21は、産業環境に配置された、部品で満たされた一対のラックの、部分的に破断された透視概略図である。 図22は、ヘムにシーラントを塗布・噴霧するロボットの側面図（一部を破断した断面図）で、ノズルの向きは所望の表面に対して垂直で、ノズルの中心軸はヘムと一致し、シーラントのビードはヘムの中央に位置する。 図23は、図22と同様に、ロボットがヘムにシーラントを噴霧・吐出する様子を示す図で、ノズルの向きが斜めになっており、斜めになっている分、シーラントのビードの幅が大きくなっている。 図24は、2つのルーフディッチを有する車両ルーフのメッシュ表現の上面透視模式図である。

必要に応じて、本発明の詳細な実施形態が本明細書に開示されているが、開示された実施形態は、様々な代替形態で具現化することができる本発明の単なる例示であることを理解されたい。図は必ずしも縮尺通りではなく、特定の構成要素の詳細を示すために、いくつかの特徴が誇張されたり、最小化されたりしている。したがって、本明細書で開示されている特定の構造的および機能的な詳細は、限定的なものとして解釈されるべきではなく、単に、本発明を様々に採用することを当業者に教示するための代表的な根拠となるものである。

本発明の少なくとも1つの実施形態の方法およびシステムは、2.5Dボリュメトリックセンサまたは2D/3Dハイブリッドセンサなどの3Dセンサまたはデプスセンサを含むものである。図1は、ロボットアーム12の先端に取り付けられた、一般的に10で示されるこのようなセンサのハウジングまたは容器21を示す。図2は、産業作業環境において、車両キャリアに支持されたフード6を含む車両ボディ8の近くに配置されたセンサ10を示す。

センサ10は、好ましくは、ある波長'L'で動作するパターンプロジェクタまたはエミッタ32と、波長'L'の光を受信するように構成された1つまたは複数のカメラまたは検出器34と、可視波長の光を見るが、波長'L'付近の光を拒絶するように構成された、単色またはカラーカメラ30とを備える。パターンは、エミッタ32によって車両の表面に投影され、可視光カメラ30からの情報とともに、1つまたは複数の検出器34によって読み取られる。レーザー投光器32は、回折光学素子によって動作し、数万本のレーザーペンシルまたはビームを解析対象のシーンに投射する。検出器34は、波長Lでシーンを分析して、レーザーペンシルとシーンとの交点を特定し、幾何学的にシーン内のオブジェクトまでの距離を計算する。好ましい実施形態の可視光カメラ30は、分析された画像の各部分にカラーまたはモノクロの強度を関連付けるために使用される。

パターンエミッタ32は、830nmで発光する赤外レーザーダイオードと、一連の回折光学素子で構成されていてもよい。これらの構成要素は、協働してレーザーの「ドット」パターンを形成する。レーザーダイオードから出たレーザー光は、円形になるように整形された後、2つの回折光学素子に通されます。1つ目の素子はドットを含むドットパターンを作成し、2つ目の素子はこのドットパターンに格子を重畳させる。赤外線パターンが表面に投影されると、表面から散乱された赤外線が、830nm付近に感度を持つように構成された1つ以上の検出器34によって観測されます。

IRセンサ34に加えて、可視光に感度を持つように構成されたRGBセンサまたはカメラ30があってもよく、可視光、バンドパスフィルタが830nm付近の光を拒絶するように動作する。動作中、IRセンサ34は物体の深さを計算するために使用され、RGBセンサ30は物体の色と明るさを感知するために使用される。これにより、従来は2.5次元と呼ばれていた画像を解釈することができます。これは、センサ10が物理的に見える面しか感知できないため、真の3Dではない（つまり、物体を透過したり、物体の反対側の面を見たりすることはできない）。

複数のボリュメトリックセンサが、車両の周囲および上方の重要な位置に配置されることがある。これらのセンサの各々は、通常、空間内の数百、数千の個々の点を捕捉する。これらの点はそれぞれ、空間内のデカルト位置と、関連するRGBカラー値を有している。測定の前に、これらのセンサはそれぞれ共通の座標系に登録される。これにより、本システムは、センサの画像上の位置と実世界の位置を関連付けることができる。各センサから画像が取り込まれると、ピクセル情報は深度情報とともに、コンピュータ13（図2）によって「点群」と呼ばれる空間上の点の集まりに変換される。

点群とは、"ビジョン"センサを通して見たシーンを表すデータの集合体である。3次元では、このコレクションの各データは、例えば、データのX、Y、Z座標と、それらの座標でセンサ10が見た色の赤、緑、青の値から構成されるかもしれない。この場合、コレクションの各データは、６つの数字で記述されることになる。別の例を挙げると、2次元の場合、コレクション内の各データは、データのXおよびY座標と、それらの座標でセンサ10によって測定されたモノクロの強度とで構成されるかもしれない。この場合、コレクションの各データは3つの数値で表されることになる。

図2のコンピュータ13は、コントローラを制御し、そのコントローラが、センサ10のプロセッサ、温度コントローラ、カメラ30、エミッタ32、および検出器34を制御するようになっている。

本発明の少なくとも1つの実施形態では、ハイブリッド2D／3Dセンサ10を使用して、数十万のピクセルのそれぞれで色、明るさ、および深さを測定する。集合的な3D「点群」データは、3Dグラフィックとしてディスプレイ14（例えば、図2）のスクリーン16上に提示されてもよい。

2D/3Dセンサ10の視野は数メートルと広く、ユーザは車体8に対するドアやボンネットなどのヒンジ部分を3Dで見ることができ、スクリーン16上のグラフィックは、ユーザが現実世界で見る3D部分のように見えるかもしれない。

本発明の少なくとも1つの実施形態では、図3、図4、図21に示すように、ストレージラックから部品を適切にピックアップするために、ストレージラック内の固定が緩いまたは不適切な部品の姿勢を測定する方法および装置を提供する。本実施形態は、撮像、姿勢計測、システム設定、設置のしやすさなどを改良したものである。米国特許No.10,049,443に開示されている方法およびシステムは、ロボットと製造された物体との衝突を防止するために物体の有無を判断するために使用されるだけでなく、3D空間における部品の位置および姿勢が測定される前に部品が存在するかどうかを判断するために、姿勢測定システムのサブシステムとして採用することもできる。

小型ハイブリッド2D/3Dセンサは、自然界や構築環境では発生しない近赤外光の擬似ランダムパターンを用いて距離を測定する。これらの光の投影パターンは、周囲の可視光の影響を受けないため、最前列のラック位置と最後列のラック位置からの周囲の照明の変化は関係ありません。同様に、影はポーズ計測のための距離データに影響を与えません。

従来のマシンビジョンシステムは、2Dイメージセンサと工学的な照明を組み合わせたものである。照明は、2Dイメージセンサに検査対象物の一貫した外観を提供する。この照明は、用途に応じて、形状、強度、取り付け方法などが工夫されている。場合によっては、ビジョンシステムの占有スペースを減らすために、センサのハウジング自体に汎用の照明を組み込むこともある。

マシンビジョンシステムの照明は、工場の周囲の照明との兼ね合いがある。最長軸に沿って0.5メートル以上の大きなサブアセンブリを検査するマシンビジョンシステムでは、周囲の工場照明が変化しても一貫した照明を提供することが徐々に難しくなっている。大型部品を安定して照明するためには、一般的に大型のマシンビジョン用照明と、明るい工場照明の直接の干渉を防ぐシュラウドが必要です。このような照明を実現するためには、技術的なリソースが必要であり、また工場の貴重なスペースを占有することになる。

センサが独自の照明を提供し、この照明が可視光のスペクトル外の波長を使用し、照明が自然照明には存在しない人工的なパターンに集中している場合、センサは周囲の可視光の有無にかかわらず動作することができる。工場の周囲の照明条件は非常に明るいものから非常に暗いものまで大きく変化する可能性があり、周囲の照明の変化に影響されない場合、マシンビジョンシステムのロバスト性が向上する。

センサは小型で軽量なので、ロボットのアームエンドツーリングに簡単に取り付けることができる。1つまたは複数のセンサをアームエンドツーリングに取り付ければ、ロボットは各ノミナルラック位置から一定の距離に移動することができ、マシンビジョンセンサをストレージラックの外側に取り付けなければならない場合よりも、測定の精度と再現性を確保することができる。

この解決策により、部品の特徴に関する場当たり的なパラメータ化が不要になる。場当たり的なパラメータ化を排除することで、前述したように設置やサポートが容易になる。場当たり的なパラメータ化の代わりに、このソリューションでは、ピックする部品の表面を表すボクセルのクラウドを使用する。クラウドは数万個以上のボクセルで構成され、最前列のラック位置にある部品の基準クラウドがキャプチャされ、現在の部品のサンプルクラウドがキャプチャされる。現在の部品の姿勢は、そのクラウドが基準クラウドにベストフィットする姿勢として決定される。

点群のボクセルは、水平、垂直、深度、単色の強度を持つ（X,Y,Z,I）要素であるか、またはボクセルは、水平、垂直、深度、レッド、グリーン、ブルーの強度を持つ（X、Y、Z、R、G、B）要素であるか、またはボクセルは、（X、Y、Z、・・・）の値と追加の値の他の組み合わせを表すことができる。

アプリケーション固有の測定機能を選択する必要がなくなることで、多くのマシンビジョンシステムのセットアップで典型的なインストールのステップがなくなる。特徴の選択とパラメータ化は、学習に時間がかかるだけでなく、インストール中に実行するには専門家でも時間がかかることがある。

測定のための特定の部品の特徴の選択など、アプリケーション固有のパラメータの必要性をなくすことで、ビジョンシステムの操作とメンテナンスが簡素化される。設置されたビジョンシステムが新しい部品の姿勢を測定するために訓練されなければならない場合、部品の特徴を選択してパラメータ化しなければならないプロセスを見直したり、再学習したりする必要はない。好ましくは、ビジョンシステムに部品を提示し、ユーザがいくつかのボタンをクリックして訓練を実行するだけで、システムは新しい部品を測定する準備が整う。

基準クラウドとサンプルクラウドの間のベストフィットを見つけることは、それぞれが正方形、長方形、円形のポケットを持つ2つのランチトレイの間のベストフィットを見つけることと概念的には同じである。トレイ間の距離は、一方のトレイを姿勢を変え、スライドさせて、もう一方のトレイに重ねることで最小化できる。同様に、2つのクラウドが最適に配置されており、クラウドが互いに貫通させあった場合、サンプルクラウドのボクセルと基準クラウドの最も近いボクセルの間の距離は最小になる。

サンプルクラウドの基準クラウドへのベストフィットは、6つの自由度（3つの平行移動度と3つの回転度）における最適化問題である。最適化される変数は、すべてのボクセルについて、サンプルボクセルから最も近い参照ボクセルまでの距離の統計的尺度である。この統計的尺度は、全ボクセルの総距離、全ボクセルの平均距離、その他の尺度などが考えられる。6次元の変数を最適化する方法は、数学の専門家には知られている。図6a～6dは、差分の相互最小化を示すのに関連している。

図5-7および8a-8dに示すように、サンプルクラウドの各ボクセルと基準クラウドの最も近いボクセルとの間の差を最小化するために、サンプルクラウドに並進および回転が適用される。

図8A）サンプルクラウドは、基準クラウドに対して回転および並進される。

図8B）サンプルクラウドの並進は、垂直軸に沿って基準クラウドとサンプルクラウドの幾何学的中心を整列させるものである。

図8C）サンプルクラウドを回転させると、垂直軸に沿って山と谷が整列する。

図8D）垂直軸に沿った最後の平行移動で、サンプルクラウドが基準クラウドと重なるまで移動する。

追加の反復は、サンプルクラウドの各点から基準クラウドの最も近い点までの距離をさらに最小化することができる。各反復的な平行移動または回転は、同種の4x4変換である。初期サンプルポーズから基準ポーズへの変換は、すべての中間変換の積である。

実際には、反復ステップは、数学に精通した方法を用いた多次元最適化によって、並進と回転の変化を組み合わせることができる。

ソリューションは、サンプルクラウドから基準クラウドへの空間変換を計算することにより、ベストフィットを決定する。ソリューションは、基準ポーズからサンプルポーズへの逆変換を報告する。ロボットは、基準からサンプルへの変換を、その訓練されたパス内のすべての点に適用し、これにより、サンプル部品のモーションパスを生成する。

このソリューションは、剛体の6自由度を超える追加の自由度をもたらすわずかな変形を受ける可能性のある部品の測定に最適である。ポーズ計測に比較的限られた数のポイントを使用するシステムとは異なり、このソリューションでは表面全体を表す数万またはそれ以上のボクセルを使用する。垂れ下がり、たわみ、および同様の非剛体変形は、サンプルボクセルから最も近い基準ボクセルまでの距離を、すべてのボクセルについて統計的に決定することができる。例えば、長い長方形の部品の中心部において、サンプルから基準までの距離の統計的平均値がゼロミリメートルに近いが、サンプルから基準までの距離の平均値が中心部から部品に沿った距離に比例して増加する場合、その部品は垂れ下がっているか、または曲がっていると判断することができる。この非剛体性は、ベストフィット剛体変換の後に非剛体変換を適用したり、基準クラウドを複数のクラウドに分割してからサンプルから基準への複数のピースワイズ剛体ベストフィット変換を計算したり、あるいは数学に精通した他の手段によって対処することができる。

このソリューションは、基準クラウドとサンプルクラウドを3Dディスプレイに表示し、人間のオペレータが3D空間の任意の視点からクラウドの相互浸透の度合いを確認できるようにする。各測定後、本ソリューションは、基準クラウド、サンプルクラウド、中間の整列クラウドの3つのクラウドの3Dグラフィックスを提示する。整列クラウドは、サンプルクラウドの基準クラウドへのベストフィットを表しており、サンプルクラウドの各ボクセルにサンプルから基準への変換を適用することで算出される。各ボクセルは、そのボクセルが属するクラウドを識別するための色を割り当てられた立方体によって3Dディスプレイ上で表現されることがある。例えば、ある視点から見て、整列クラウドを表すボクセルがより近くに見え、重なり合ったキュボイドの色が整列クラウドの色に支配されている場合、ユーザは、整列クラウドがその視点に近いこと、整列クラウドを基準クラウドと一致させるためには追加の平行移動が必要であること、その平行移動はその視点からの視線方向に沿った成分を持つことを判断することができる。同様に、基準クラウドに対する整列クラウドの回転や非剛性変形は、典型的にはユーザが最小限の訓練で決定することができる。

部品のポーズ測定は、現在のクラウドの基準クラウドへのベストフィットとして決定されるので、このソリューションは、光学的に明確な特徴を持たない滑らかな曲線を持つ部品のポーズを見つけることができる。また、滑らかに湾曲した表面を持つ部品や、鋭い突起や凹みを持つ部品のポーズは、表面を表すクラウドのベストフィットを求めることで見つけることができる。

各ラック位置において、ロボットは、部品からそのノミナルポーズまでの距離が一定である測定位置に前進する。各ラック位置では同じ測定が行われるので、マシンビジョンシステムを変更したり、各ラック位置用に別のパラメータ化を行ったり、プログラムを作成したりする必要はない。

非常に大きな部品のためのクラウドは、より多くのセンサを使用してカバー率を上げることで生成できる。センサは、共通のロボット座標フレームまたはワールド座標フレームに登録され、すべてのセンサのクラウドの3Dボクセルが同じ座標で表現されます。複数の小さなクラウドからより大きなクラウドを作るには、単純に重ね合わせればよいが、クラウドが重なっている場合には、数学や画像処理に精通した技術を使ってクラウドをつなぎ合わせることができる。一般的に、センサはパーツの端にある表面の一部を捉えるように空間的に配置されているため、クラウドは重ならず、クラウドのつなぎ合わせは必要ないかもしれない。

複数のセンサからのクラウドを単一のより大きなクラウドに結合するために、追加のパラメータ化は必要ないので、センサを追加してもアルゴリズムのセットアップの複雑さは増加しない。このソリューションは任意の数のセンサに対応しているため、クラウドは任意に大きくできる可能性がある。

このソリューションは、部分的に欠落したデータや破損したデータの存在に対してもロバストである。特徴ベースのビジョンシステムでは、特徴が隠蔽された場合にポーズの測定が不可能になったり、特徴に関連するデータが破損した場合に測定が不正確になったりすることがある。本ソリューションでは、広い表面を表すボクセルのクラウドを使用している。部品の一部が隠されていてクラウドのデータが欠けていても、あるいはデータの一部が欠けていても、基準クラウドにフィットするボクセルが多数存在することになる。部品のデザイン、構築されている部品の外観、あるいは、構築されている部品の次元の小さな違いは、本ソリューションで取得されるクラウドは、変更されていない表面に対応するボクセルが大部分を占めるため、測定に与える影響はほとんどない。

図9を参照すると、メッシュは、その視点からセンサに見える表面の部分に対応するボクセルのクラウドを表している。メッシュの欠けた部分は、表面が隠れているか、表面がセンサの視野の外にあるために、特定の視点から見えない表面の領域を表す。表面の一部がどの視点からも見えない場合でも、表面の完全な表現を生成することができます。複数の視点から表面を撮影して、複数の視点固有のクラウドを生成し、それらのクラウドをつなぎ合わせることで、表面全体を表す1つのクラウドを形成することができる。

さらに優れた精度を必要とする特定のアプリケーションのために、本ソリューションでは、カラーまたはグレースケール情報を使用したポーズ測定の任意の精密化を採用している。3Dボクセルのクラウドは、各ボクセルのカラーまたはグレースケール情報を含み、ポーズ測定の二次チェックを可能にする。

2D/3Dハイブリッドセンサによって提供されるクラウドは、各ボクセルに対して、3D空間のx,y,z座標に関する情報と、カラーまたはグレースケールの情報を持っている。大きなクラウドは、多くの深度データだけでなく、多くのカラーまたはグレースケールデータも提供する。

初期のポーズ測定は、エッジの相対的な位置から推測される3Dポーズでは姿勢の測定が不正確になる可能性があることを考慮して、3Dの深度情報を使用して行われるが、カラーまたはグレースケール情報は、ポーズ測定を精密化するのに適している。深度情報だけでは、ラックなどの背景から前景となる部分を分離することができるため、カラーやグレースケール情報では、背景から前景をフィルタリングすることが可能となる。

ある視点から部品を撮像した場合、部品表面の突起や凹みによって、部品表面の一部が視線から隠されることがある。センサが移動したり、部品のポーズが変わったりして、部品の視点が変わると、隠れていた表面が見えるようになったり、以前は見えていた表面が見えなくなったりすることがある。サンプル部品のポーズは、通常、基準となる部品のポーズとは異なるため、センサが基準となる部品とサンプル部品の両方を同じ視点で撮影した場合、基準となる部品とサンプル部品の表面を表すボクセルのクラウドには、隠れた表面と見える表面の違いが生じることがある。これは、部品の突起や空洞が大きい場合や、サンプル部品のポーズが基準ポーズと大きく異なる場合に、部品表面のクラウド表現の違いが大きくなることがある。本ソリューションでは、この問題を軽減するためのいくつかのアプローチを提供する。

サンプルポーズが基準ポーズから大きく変化する可能性があり、センサがロボットのアームエンドツーリングに取り付けられている場合、ソリューションは繰り返しポーズを測定することができる。最初のポーズ測定では、ロボットはポーズ測定のためのデフォルト位置に移動する。この最初の測定で、サンプル部品のポーズが基準ポーズに対して大きな移動や回転をしていることがわかった場合、ソリューションは測定サイクルを繰り返して2回目の測定を行う。最初に測定されたポーズは、ロボットのポーズ測定位置に適用され、シフトされた測定位置が生成される。このシフトされた測定位置では、アームエンドツーリングに取り付けられたセンサは、基準クラウドが撮影されたときのパーツの視点に近い視点になるように方向付けられる。このシフトした視点から、新たに撮影されたサンプルクラウドは、基準クラウドの表面表現とより近い表面表現を持つことになり、2回目の測定が開始され、より正確なポーズ測定が可能になる。

視点固有の隠れた面や見える面を緩和するための別のアプローチとして、部品の表面全体を表す基準クラウドを生成する方法がある。例えば、部品の外面を完全に表す部品のCADモデルをソリューションのメモリにロードし、ボクセルの3Dクラウドに変換することができる。サンプルクラウドは、単一の視点からキャプチャされたものであり、センサの視点から隠された表面の表現が欠けている可能性があるが、CADの基準クラウドはすべての外面を表しており、サンプルクラウド内の表面のすべての部分には、CADモデルから得られる完全な表面クラウド内の表面の一致する部分があるため、サンプルクラウドのポーズを正確に見つけることができる。

実際に作られた部品は、寸法や外観がCADモデルとは異なる場合がある。また、設計の知的財産権を保護したい部品の製造者は、CADモデルを外部に提供することに躊躇する場合がある。構築されたパーツの完全な基準クラウドをキャプチャすることで、基準クラウドにCADモデルを使用する際の問題を解決することができます。完全な基準クラウドを作成するには、部品を固定した状態で、複数の視点からクラウドを撮影する。

構築された部品の完全な基準クラウドを生成する1つの方法は、ロボットにセンサを取り付け、ロボットを使用して複数のビューポイント、場合によっては数百のビューポイントを訪れることである。1つまたは複数のセンサがロボットのアームエンドツーリングに取り付けられる。センサは、センサクラウドの各ボクセルがロボット座標フレームに変換されるように、ロボット座標フレームに登録されます。その後、ロボットは複数の位置に移動するようにプログラムされており、各位置において、取り付けられたセンサが新たな視点から固定された部品を撮影します。ロボットの各位置で、この視点から見た部品の表面を表すクラウドが撮影される。ロボットの位置は正確に把握されているので、どの位置で撮影されたクラウドも共通のロボット座標系に変換することができる。すべての視点から撮影されたクラウドをつなぎ合わせることで、完全な基準クラウドが生成される。ある視点で隠れていた面が別の視点では見えるようになるので、完全な基準クラウドには隠れた面がないことになる。図9は、複数の視点から完全なクラウドを生成する様子を示している。

同様の手法は、部品を動かして、センサを固定された位置に配置し続けることによっても適用可能であり、3Dプリントやリバースエンジニアリングで使用される3Dスキャンの技術で、当業者にはよく知られている手法である。しかし、好ましい手法は、センサを部品に対して相対的に移動させ、プレス加工された金属部品を強固に固定することである。プレス加工された金属部品は、重力の影響を受けてたわみや垂れ下がりが生じ、部品に対する重力の方向に応じてたわみの方向や程度が変化する。強固に固定することは、完全な基準クラウドを生成する一定で剛性形状を維持し続けることを保証する。

このソリューションは、部品の姿勢の決定だけでなく、ロボットのパス設計を支援するために用いることができる。ロボットのアームエンドツーリングに取り付けられたセンサの全視野を表す大きなクラウドをキャプチャするので、クラウドは通常、ラック内の部品だけでなく、ラック自体の内面も表す。部品の姿勢を測定する際にはラックは無視されますが、ロボットがラックの壁に衝突しないようなモーションパスの設計を支援するために、ラック根胃壁をロボットに提供することができる。

次に、図10および11を参照すると、ラックに関するこれまでの議論は、図10および11のストレージカセットにも適用できる。本発明の少なくとも1つの実施形態では、明るい周囲の照明の存在下で部品の姿勢をしっかりと測定することができ、周囲の照明が全くない状態でも機能することができる。ハイブリッド2D/3Dセンサは、可視スペクトル外の近赤外光を用いて深度を決定するため、周囲の可視光の変化はシステムに影響を与えない。

ソリューションは、各軸について最大360度の回転を含む、任意に大きな並進および回転のポーズを決定することができる。ソリューションが、ロボットピックのための部品の正しい固定を表すポーズの限定された範囲内で測定値を提供するように構成されている場合、システムは、この範囲外のポーズに対して失敗した状態となる。しかし、このソリューションは、任意の大きな範囲のポーズを報告するように構成することもでき、その結果、不適切に固定された部品のポーズを報告することになる。

次に図22を参照すると、ラックおよびカセットに関連する先の議論は、図22のヘムフランジに適用される。本発明の少なくとも1つの実施形態は、1つまたは2つのロボット搭載センサを備える。自動車組立工場内のほとんどのアプリケーションでは、フードやドアなどのヘムを持つクロージャを表す3Dボクセルのクラウドを一度にキャプチャすることができ、センサが追加のデータをキャプチャできるようにロボットを移動させる必要がない。しかし、車体や飛行機の翼、胴体など、より大きな物体の場合は、ロボットが複数の場所に移動して、同じ1つまたは2つのロボットに搭載されたセンサで複数のクラウドを撮影し、一度に撮影できないほど大きな面積のクラウドを合成することができる。

本ソリューションは、クロージャの姿勢を決定するのに十分なデータを一度に取得し、センサをクロージャに対して複数の場所に移動させる必要がないため、サイクルタイムを短縮することで付加価値を得ることができ、従来のソリューションよりも有利である。

メーカーは、サイクルタイムを短縮することで生産性を向上させている。ロボットがドアのヘムにシーリング材を吹き付けたり塗布したりする時間を短縮することで、全体の時間を少しずつ短縮することができる。マシンビジョンシステムが、ロボットを誘導するためのサイクルタイムを短縮できれば、メーカーにとっての付加価値となる。

ヘムフランジのポーズ測定の精度要求は一般的に厳しいので、本ソリューションは、カラーまたはグレースケール情報を使用したオプションのポーズ測定精密化を採用することができる。3Dボクセルのクラウドは、各ボクセルのカラーまたはグレースケール情報を含み、ポーズ測定の二次チェックを可能にする。

各ボクセルの2D/3Dハイブリッドセンサが提供するクラウドは、3D空間のx,y,z座標の情報だけでなく、カラーまたはグレースケールの情報も持っている。大きなクラウドは、多数の深度データだけでなく、カラーまたはグレースケールデータも多数提供する。

初期のポーズ測定は、3Dボクセルを使用して行われ、エッジの相対的な位置から推測される姿勢は不正確である可能性があるが、カラーまたはグレースケールの情報は、ポーズ測定を改良するのに適している。

再び図2を参照すると、ラック、カセット、ヘムフランジに関連する先の議論が適用され得る。本発明の少なくとも1つの実施形態では、本ソリューションにセンサを追加することは、単にクラウドのサイズが大きくなるだけで、サブアセンブリ固有の場当たり的なパラメータ化は必要ない。その結果、本ソリューションは、大きな物体の測定に適している。このソリューションでは、任意の数のセンサを使用して、自動車の車体サイズの物体や、飛行機の胴体や翼などのさらに大きな物体を含む、さまざまなサイズの物体を測定することができる。

このソリューションには、1つのサブアセンブリが所定の位置からずれているかどうかを識別するために使用できる3Dディスプレイが含まれている。整列クラウドが、1つのサブアセンブリの位置を除くすべての位置で基準クラウドと密接に一致する場合、そのサブアセンブリは、車体内の他のサブアセンブリに対して場所がずれていることを迅速に識別することができる。

本ソリューションは、特徴のない表面を測定することができる。特徴のない表面を測定できることで、他のポーズ測定システムでは困難な車両サブアセンブリや車体の測定が可能になり、また、センサを様々な場所に配置することができる。

次に図24を参照すると、ラック、カセット、ヘムフランジおよび車体に関するこれまでの議論が適用される。本発明の少なくとも1つの実施形態では、「特徴のない」ルーフディッチを測定することができる。特徴ベースのマシンビジョンシステムでは、特徴が少なすぎる場合や特徴が不明瞭な場合、正確な測定ができないことがあるが、本ソリューションでは、ボクセルのクラウド全体を使用する。

このソリューションは、光学的に区別可能な特徴が存在する場合でも、特徴ベースのマシンビジョンシステムよりも優れている。同じセンサを使用して、任意の数のモデルに対するルーフディッチのポーズを測定することができる。各モデルでシステムを訓練するための場当たり的なパラメータ化は必要ない。

ソリューションは、左のルーフパネルとそのルーフディッチの位置を、右のルーフパネルとそのルーフディッチの位置と比較するために使用できる図2の3Dディスプレイを含む。回転によってルーフパネルとルーフディッチを表すボクセルのクラウドがキャプチャされるため、位置合わせされたクラウドの姿勢を基準クラウドの姿勢と視覚的に比較することができる。このクラウドは、通常、ルーフ全体またはその大部分を表しており、幾何学的な比較を行う際に、考慮するデータからルーフの一部が欠けていないことを保証する。

本発明の実施形態は、完全なハードウェアの実施形態、完全なソフトウェアの実施形態、またはハードウェアとソフトウェアの両方の要素を含む実施形態の形をとることができる。好ましい実施形態では、制御ロジックを含む本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されないソフトウェアで実装される。さらに、本発明は、計算機や任意の命令実行システムによって、またはこれらに関連して使用されるプログラムコードを提供する、コンピュータで使用可能なまたはコンピュータで読み取り可能な媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。

この説明の目的のために、コンピュータで使用可能なまたはコンピュータ読み取り可能な媒体は、プログラムを含む、通信する、伝播する、または使用するために輸送することができる任意の装置であり得て、実行システム、装置、または、デバイスに指令で接続されているものでもあり得る。媒体は、電子的、磁気的、光学的、電磁的、赤外線的、または半導体システム（または装置、デバイス）、または伝搬媒体とすることができる。コンピュータ読み取り可能な媒体の例としては、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、RAM（Random Access Memory）、ROM（Read Only Memory）、リジッド磁気ディスク、光ディスクなどがある。光ディスクの現在の例としては、CD-ROM（Compact Disk-Road Only Memory）、CD-R/W（Compact Disk-Read/Write）、DVDなどがある。

プログラムコードを格納および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に結合された少なくとも1つのプロセッサを含む。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、バルクストレージ、および実行中にバルクストレージからコードを取り出す回数を減らすために少なくとも一部のプログラムコードを一時的に保存するキャッシュメモリを含むことができる。入出力デバイス（キーボード、ディスプレイ、ポインティングデバイスなどを含むがこれらに限定されない）は、直接または介在するI/Oコントローラを介してシステムに結合することができる。また、ネットワークアダプタをシステムに接続することで、プライベートネットワークまたはパブリックネットワークを介してデータ処理システムを他のデータ処理システムや遠隔地にあるプリンタやストレージデバイスに接続することができる。ネットワークアダプタには、モデム、ケーブルモデム、イーサネットカードなどが現在使用可能ないくつかの形式として挙げられる。

例示的な実施形態を上述したが、これらの実施形態が本発明のすべての可能な形態を説明することを意図しているわけではない。むしろ、本明細書で使用されている言葉は、限定ではなく説明の言葉であり、本発明の精神および範囲から逸脱することなく様々な変更がなされるかもしれないことが理解される。さらに、様々な実施形態の特徴を組み合わせて、本発明のさらなる実施形態を形成してもよい。

Claims (78)

1. 再プログラム可能な産業用オートメーションマシンを制御して、未知の姿勢を有する部品または部品のサブアセンブリに対して作業タスクを実行するマシンビジョンベースの方法であって、以下のステップを含む；
   少なくとも1つの3Dセンサを産業用オートメーションマシンに取り付けて、それと一緒に移動させるステップと、装置は、基準となる部品または部品のサブアセンブリの既知の基準ポーズに基づいて、ノミナルモーションパスをたどるようにプログラムされている、
   既知の基準ポーズを持つ基準部品またはサブアセンブリの基準表面を表す3Dボクセルの基準クラウドを提供するステップと、
   マシンと取り付けられた各3Dセンサを一緒に移動させて、基準部品またはサブアセンブリと同じタイプで、基準ポーズとは異なる実際のポーズを持つサンプル部品またはサブアセンブリの対応する表面を表す3Dボクセルのサンプルクラウドを取得するステップと、
   マッチングアルゴリズムを利用して、サンプルクラウドと基準クラウドのボクセルを処理して、サンプル部品またはサブアセンブリのポーズを決定するステップと、
   ノミナルモーションパスに基準からサンプルへの変換を適用して、基準ポーズと実際のポーズの差を補正するための補正モーションパスをたどるようにマシンを再プログラムするステップと、を含む方法。
2. 請求項1に記載の方法であって、提供するステップは、少なくとも部分的に、少なくとも1つの取り付けられた3Dセンサによって実行される方法。
3. 請求項1に記載の方法で、部品またはサブアセンブリが固定具に配置され、支持されている方法。
4. 請求項1に記載の方法であって、基準クラウドとサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算し、整列クラウドと基準クラウドの3Dグラフィックを3Dディスプレイに表示することをさらに含む方法。
5. 請求項4に記載の方法であって、3Dディスプレイは、部品のサブアセンブリがサブアセンブリ本体の他のサブアセンブリに対してずれているかどうかを識別するために使用される方法。
6. 請求項4に記載の方法であって、3Dディスプレイは、整列クラウドのポーズと基準クラウドのポーズとを視覚的に比較するために使用される方法。
7. 請求項3に記載の方法であって、マシンは、少なくとも1つの3Dセンサが取り付けられたアームエンドツーリングを有するロボットであり、ロボットは、補正されたモーションパスに基づいて、部品またはサブアセンブリを固定具から取り出すことが可能な方法。
8. 請求項3に記載の方法であって、マシンは、少なくとも1つの3Dセンサが取り付けられたアームエンドツーリングを有するロボットであり、ロボットは、補正されたモーションパスに基づいて、部品を接合するために、部品のサブアセンブリのセム上にシーラントを塗布することが可能な方法。
9. 請求項3に記載の方法であって、固定具は、部品または部品のサブアセンブリからなる方法。
10. 請求項3に記載の方法であって、固定具は、移動可能なキャリアを備える方法。
11. 請求項10に記載の方法であって、キャリアは、同じ種類の複数の個別に固定された部品またはサブアセンブリを位置決めして支持するためのストレージラックである方法。
12. 請求項10に記載の方法であって、キャリアは、同じ種類の個別に固定された複数の部品またはサブアセンブリを位置決めして支持するためのストレージカセットであることを特徴とする方法。
13. 請求項10に記載の方法であって、キャリアを、同一タイプの個別に固定された複数の車体を位置決めして支持するカーキャリアである方法。
14. 請求項1に記載の方法において、各3Dセンサは、ハイブリッド2D/3Dセンサである方法。
15. 請求項14に記載の方法であって、各センサは、部品またはサブアセンブリに照明を照射するために、既知のパターンの放射を投影する方法。
16. 請求項15に記載の方法であって、照明が、可視放射線のスペクトルの外側のパターンに集中していることを特徴とする方法。
17. 請求項1に記載の方法であって、変換はベストフィット剛体変換であり、部品またはサブアセンブリは非剛体であり、方法は、前述したステップ適用後に、ノミナルモーションパスにベストフィット非剛体変換を適用するステップをさらに含む方法。
18. 請求項1に記載の方法であって、3Dボクセルのクラウドは、ポーズ測定を向上させるために各ボクセルのカラーまたはグレースケール情報を含む方法。
19. 請求項1に記載の方法であって、基準クラウドが実質的に基準面全体を表している方法。
20. 請求項19に記載の方法であって、提供するステップは、部品またはサブアセンブリのCADモデルを提供するステップと、CADモデルの情報を基準クラウドに変換するステップとを含む方法。
21. 請求項19に記載の方法であって、提供するステップは、構築されている部品を剛体的に固定するステップと、複数の3Dセンサを用いて複数の視点から3Dボクセルの複数の基準クラウドをキャプチャするステップとを含む方法。
22. 請求項21に記載の方法であって、キャプチャするステップは、複数の3Dセンサを、それと一緒に移動するロボットのアームエンドツーリングに取り付け、ロボットに3Dセンサを複数の視点に移動させることによって、少なくとも部分的に実行される方法。
23. 未知のポーズを有する部品または部品のサブアセンブリの3Dポーズを測定するマシンビジョンベースの方法であって、以下を含む、
    既知の基準ポーズを有する基準部品またはサブアセンブリの基準表面を表す3Dボクセルの基準クラウドを提供するステップと、
    少なくとも1つの2D／3Dハイブリッドセンサを使用して、基準部品またはサブアセンブリと同じタイプで、基準ポーズとは異なる実際のポーズを有するサンプル部品またはサブアセンブリの対応する表面を表す3Dボクセルのサンプルクラウドを取得するステップと、
    サンプルクラウドと基準クラウドのボクセルを、マッチングアルゴリズムを用いて処理し、サンプル部品またはサブアセンブリのポーズを決定するステップ。
24. 請求項23に記載の方法であって、提供するステップは、少なくとも部分的に少なくとも1つのセンサによって実行される方法。
25. 請求項23に記載の方法であって、部品またはサブアセンブリが固定具に位置決め、及び、支持されている方法。
26. 請求項23に記載の方法であって、基準クラウドとサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算し、整列クラウドと基準クラウドの3Dグラフィックを3Dディスプレイに表示することをさらに含む方法。
27. 請求項26に記載の方法であって、3Dディスプレイは、部品のサブアセンブリが、サブアセンブリ本体の他のサブアセンブリに対してずれているかどうかを識別するために使用される方法。
28. 請求項26に記載の方法であって、3Dディスプレイは、整列クラウドのポーズを基準クラウドのポーズと視覚的に比較するために使用される方法。
29. 請求項23に記載の方法であって、固定具は、部品または部品のサブアセンブリからなる方法。
30. 請求項25に記載の方法であって、固定具は、移動可能なキャリアを備える方法。
31. 請求項30に記載の方法であって、キャリアは、同じタイプの複数の個別に固定された部品またはサブアセンブリを位置決めして支持するためのストレージラックである方法。
32. 請求項30に記載の方法であって、キャリアが、同じタイプの個別に固定された複数の部品またはサブアセンブリを位置決めして支持するためのストレージカセットである方法。
33. 請求項30に記載の方法であって、キャリアは、同一タイプの個別に固定された複数の車体を位置決めして支持するためのカーキャリアである方法。
34. 請求項23に記載の方法であって、各センサは、部品またはサブアセンブリに照明を照射するために、既知のパターンの放射線を投射する方法。
35. 請求項34に記載の方法であって、照明が、可視放射線のスペクトルの外側のパターンに集中している方法。
36. 請求項23に記載の方法であって、3Dボクセルのクラウドは、ポーズ測定を改良するために、各ボクセルのカラーまたはグレースケール情報を含む方法。
37. 請求項23に記載の方法であって、基準クラウドが実質的に基準面全体を表す方法。
38. 請求項37に記載の方法であって、提供するステップは、部品またはサブアセンブリのCADモデルを提供するステップと、CADモデルを基準クラウドに変換するステップとを含む方法。
39. 請求項37に記載の方法であって、提供するステップは、構築されている部品を剛体的に固定するステップと、複数の3Dセンサを用いて複数の視点から3Dボクセルの複数の基準クラウドをキャプチャするステップとを含む方法。
40. 未知の姿勢を有する部品または部品のサブアセンブリに対して作業タスクを実行するために、再プログラム可能な産業用オートメーションマシンを制御するマシンビジョンベースのシステムであって、以下の構成を有する、
    産業用オートメーションマシンに搭載された少なくとも1つの3Dセンサで、マシンは基準となる部品の既知の基準ポーズに基づいたノミナルモーションパスをたどるようにプログラムされており、
    既知の基準ポーズを持つ基準部品またはサブアセンブリの基準表面を表す3Dボクセルの基準クラウドと、
    基準部品またはサブアセンブリと同じ種類のサンプル部品またはサブアセンブリであって、基準ポーズとは異なる実際のポーズを持つサンプル部品またはサブアセンブリの対応する表面を表す3Dボクセルのサンプルクラウドを取得するために、マシンと取り付けられた各3Dセンサを一緒に移動させる機構と、
    サンプル部品またはサブアセンブリのポーズを決定するために、マッチングアルゴリズムを利用して、サンプルおよび基準クラウドのボクセルを処理する少なくとも1つのプロセッサと、
    基準からサンプルへの変換をノミナルモーションパスに適用し、マシンが基準ポーズと実際のポーズの差を補正したモーションパスをたどるように、マシンを再プログラムする制御ロジックと、を備えたシステム。
41. 請求項40に記載のシステムであって、少なくとも1つの取り付けられた3Dセンサが、基準クラウドを提供するシステム。
42. 請求項40に記載のシステムであって、部品またはサブアセンブリは、固定具に位置決めされて支持されているシステム。
43. 請求項40に記載のシステムであって、少なくとも1つのプロセッサが、基準クラウドとサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算し、整列クラウドと基準クラウドの3Dグラフィックを表示する3Dディスプレイをさらに備えるシステム。
44. 請求項43に記載のシステムであって、3Dディスプレイは、部品のサブアセンブリがサブアセンブリ本体の他のサブアセンブリに対して所定の位置からずれているかどうかを識別するために使用されるシステム。
45. 請求項43に記載のシステムであって、3Dディスプレイは、整列クラウドのポーズを基準クラウドのポーズと視覚的に比較するために使用されるシステム。
    
46. 請求項42に記載のシステムであって、マシンは、少なくとも1つの3Dセンサが取り付けられたアームエンドツーリングを有するロボットであり、ロボットは、補正されたモーションパスに基づいて部品またはサブアセンブリを固定具から取り出すことが可能であるシステム。
47. 請求項42に記載のシステムであって、マシンは、少なくとも1つの3Dセンサが取り付けられたアームエンドツーリングを有するロボットであり、ロボットは、補正されたモーションパスに基づいて部品を接合するために、部品のサブアセンブリのセムにシーラントを塗布することが可能であるシステム。
48. 請求項42に記載のシステムであって、固定具は、部品または部品のサブアセンブリからなるシステム。
49. 請求項42に記載のシステムであって、固定具は、移動可能なキャリアを備えるシステム。
50. 請求項49に記載のシステムであって、キャリアは、同一タイプの複数の個別に固定された部品またはサブアセンブリを位置決めして支持するためのストレージラックであるシステム。
51. 請求項49に記載のシステムであって、キャリアは、同じタイプの複数の個別に固定された部品またはサブアセンブリを位置決めして支持するためのストレージカセットであるシステム。
52. 請求項49に記載のシステムであって、キャリアは、同じタイプの個別に固定された複数の車体を位置決めして支持するためのカーキャリアであるシステム。
53. 請求項40に記載のシステムであって、各3Dセンサは、ハイブリッド2D/3Dセンサを備えるシステム。
54. 請求項53に記載のシステムであって、各センサは、照明を用いて部品またはサブアセンブリに既知のパターンの放射を投影するシステム。
55. 請求項54に記載のシステムであって、照明は、可視放射線のスペクトルの外側のパターンに集中しているシステム。
56. 請求項40に記載のシステムであって、変換はベストフィット剛体変換であり、部品またはサブアセンブリは非剛体であり、制御ロジックは、ベストフィット剛体変換を適用した後に、ノミナルモーションパスにベストフィット非剛体変換を適用するシステム。
57. 請求項40に記載のシステムであって、3Dボクセルのクラウドは、ポーズ測定を改良するために、各ボクセルのカラーまたはグレースケール情報を含むシステム。
58. 請求項40に記載のシステムであって、基準クラウドは、基準表面全体を実質的に表しているシステム。
59. 請求項58に記載のシステムであって、部品またはサブアセンブリのCADモデルをさらに含み、制御ロジックは、CADモデルを基準クラウドに変換するシステム。
60. 請求項50に記載のシステムであって、構築された部品を剛体的に固定する固定具と、複数の視点から3Dボクセルの複数の基準クラウドを撮影する複数のセンサとをさらに備えるシステム。
61. 請求項60に記載のシステムであって、複数の3Dセンサは、それと一緒に移動するロボットのアームエンドツーリングに取り付けられ、機構は、ロボットに3Dセンサを複数の視点に移動させるシステム。
62. 未知のポーズを有する部品または部品のサブアセンブリの3Dポーズを測定するマシンビジョンベースのシステムであって
    既知の基準ポーズを持つ基準部品またはサブアセンブリの基準表面を表す3Dボクセルの基準クラウドと、
    基準部品またはサブアセンブリと同じ種類のサンプル部品またはサブアセンブリの対応する表面を表し、基準ポーズとは異なる実際のポーズを持つ3Dボクセルのサンプルクラウドを取得する少なくとも1つの2D/3Dハイブリッドセンサと、
    サンプルクラウドと基準クラウドのボクセルを、マッチングアルゴリズムを用いて処理し、サンプル部品またはサブアセンブリの姿勢を決定する、少なくとも1つのプロセッサと、を備えるシステム。
63. 請求項62に記載のシステムであって、少なくとも1つのセンサが、基準クラウドを提供することを特徴とするシステム。
64. 請求項62に記載のシステムであって、部品またはサブアセンブリは、固定具で位置決めされて支持されているシステム。
65. 請求項62に記載のシステムであって、少なくとも1つのプロセッサは、基準クラウドおよびサンプルクラウドのベストフィットを表す3Dボクセルの整列クラウドを計算し、システムは、整列クラウドおよび基準クラウドの3Dグラフィックを表示する3Dディスプレイをさらに備えるシステム。
66. 請求項65に記載のシステムであって、3Dディスプレイは、部品のサブアセンブリがサブアセンブリ本体の他のサブアセンブリに対してずれているかどうかを識別するために使用されるシステム。
67. 請求項65に記載のシステムであって、3Dディスプレイは、整列クラウドのポーズを基準クラウドのポーズと視覚的に比較するために使用されるシステム。
68. 請求項64に記載のシステムであって、固定具は、部品または部品のサブアセンブリからなるシステム。
69. 請求項64に記載のシステムであって、固定具は、移動可能なキャリアを備えるシステム。
70. 請求項69に記載のシステムであって、キャリアは、同一タイプの複数の個別に固定された部品またはサブアセンブリを位置決めして支持するためのストレージラックであるシステム。
71. 請求項69に記載のシステムであって、キャリアは、同じタイプの複数の個別に固定された部品またはサブアセンブリを位置決めして支持するためのストレージカセットであるシステム。
72. 請求項69に記載のシステムであって、キャリアは、同じタイプの複数の個別に固定された車体を位置決めして支持するカーキャリアであるシステム。
73. 請求項62に記載のシステムであって、各センサは、部品またはサブアセンブリに照明によって既知のパターンの放射を投射するシステム。
74. 請求項73に記載のシステムであって、照明は、可視放射線のスペクトルの外側のパターンに集中しているシステム。
75. 請求項62に記載のシステムであって、3Dボクセルのクラウドは、ポーズ測定を改良するために、各ボクセルのカラーまたはグレースケール情報を含むシステム。
76. 請求項62に記載のシステムであって、基準クラウドは、実質的に基準面全体を表しているシステム。
    
77. 請求項76に記載のシステムであって、部品またはサブアセンブリのCADモデルをさらに備え、制御ロジックがCADモデルを基準クラウドに変換するシステム。
78. 請求項76に記載のシステムであって、構築された部品を剛体的に固定する固定具と、複数の視点から3Dボクセルの複数の基準クラウドをキャプチャする複数のセンサとをさらに備えるシステム。
    
    

Images