JP2020509370A5

JP2020509370A5 -

Info

Publication number: JP2020509370A5
Application number: JP2019545948A
Authority: JP
Filing date: 2018-02-07
Publication date: 2020-05-07
Anticipated expiration: 2038-02-07

Description

本方法はさらに、シフトした第二位置において、隣接面によって覆われない試験点上のエッジのセット（集合）を有する、最小全域木を生成する工程を含んでいてよい。

３ＤのＣＡＤモデルの仮想輪郭エッジ（ここでは、シルエットエッジとも称する）の生成は、三角形エッジに関する三角形隣接情報に基づく。より具体的には、３Ｄモデルにおける各サーフェスの３Ｄ境界ポリラインを集める。ここで、各ポリラインは、頂点とこれら頂点間の線分の集合である。すなわち、ワイヤフレームポリラインからの全ての線分を集める。次に、３Ｄメッシュのシルエットエッジの全ての線分を集める。ある構成では、ＣＡＤモデルのメッシュは、例えば図４に示すＣＡＤモデルボウルのような、ＣＡＤモデルの表面を表わす三角形メッシュ４００であり、各三角形は３つの点とその間の３つの線分の集まりである。各三角形エッジに関する三角形隣接情報を用いて、可能性のあるシルエットエッジを認識する。２つの隣接する三角形について以下が真であれば、三角形エッジは可能性のあるシルエットエッジ４１０である。（ｉ）隣接する三角形の１つ（符号４０２で示す三角形Ａ）の法線ベクトルがカメラ視線方向（camera view direction）４０
４からやや離れた方向を向いている。（ｉｉ）隣接する三角形の他方(例えば符号４０６
で示す三角形Ｂ)の法線ベクトルがカメラ視線方向４０４とやや同じ方向を向いている。
候補となる輪郭線分は、３Ｄ境界のポリラインの線分であり、カメラ視線方向４０４を用いて２Ｄに投影された（平らになされた）シルエット線分の可能性がある。候補となる輪郭線分の全てが輪郭の一部を成す訳ではない。集められた候補の２Ｄ輪郭線分が真の輪郭線分であるか否かを判定するために、その線分上に所定の点生成密度で２Ｄの点を生成し、所定のカメラの方向と位置を用いて、３Ｄメッシュ三角形を２Ｄに投影し、いずれかの２Ｄ三角形によって覆われた２Ｄ点は除去する。線分上に生成された２Ｄ点間の距離は３ＤのＣＡＤモデルの最小のフィーチャよりも小さいことを理解されたい。２Ｄ点は、２Ｄ三角形領域内にあれば、輪郭だけを残して、２Ｄ三角形によって「覆われている」と見なされる。すなわち、３ＤのＣＡＤモデルの境界の内側にある点は、除去される。

より具体的には、図５〜図７に示すように、線分５０２に沿って候補の２Ｄ輪郭点５００の集合を生成する。この時点では、どの点が三角形エッジ上に生成され、どの点が２Ｄ三角形領域内に生成されたものであるかを判定するのは困難である。そのため、各点５００について、図６に示すシフト試験を行なうことができる。一例では、候補点５００から試験点５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６を生成する。試験点５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６をシフトして、試験点５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６が候補点５００の位置からシフトされたときに隣接面によって覆われるか否かを判定する。例えば、「Ａ面」のエッジにある点５１２、５１４をそれぞれ位置５１３、５１５にシフトさせた時、点５１２、５１４はいずれの隣接面によっても覆われることはない。同様に、「Ｂ面」のエッジにある点５１８、５２０をそれぞれ位置５１９、５２１にシフトさせた時、点５１８、５２０はいずれの隣接面によっても覆われることはない。したがって、２Ｄ点５１８、５２０は「真の」輪郭点であると判定される。「Ａ」面と「Ｂ」面の境界にある点５２２、５２４、５２６をそれぞれ位置５２８、５３０、５３２、または位置５３４、５３６、５３８にシフトさせた時、それぞれ「Ｂ」面および「Ａ」面によって覆われる。これらの２Ｄ点５２２、５２４、５２６は隣接面によって覆われるため、２Ｄ点５２２、５２４および５２６は「真の」輪郭点であるとは見なされない。図７に示すとおり、いかなる隣接面によっても覆われることのないシフトされた点は「真の」輪郭点５０６として示される（図７において若干大きく示す）。「Ａ」面および「Ｂ」面と境界を成す点５１６が位置５１７にシフトされた時、点５１６は隣接面によって覆われることはない。したがって、この２Ｄ点５１６は「真の」輪郭点であると判定される。

Claims

カメラの視軸を含む座標軸を有するマシンビジョンシステムにおいて３ＤのＣＡＤモデルを試験対象物にアライメントする方法であって、
測定したい試験対象物のフィーチャに対応するＣＡＤモデルのフィーチャを露出させるように、前記マシンビジョンシステムのモデルウィンドウにおいて前記３ＤのＣＡＤモデルを方向付ける工程と、
前記試験対象物を前記マシンビジョンシステムのステージ上に、前記３ＤのＣＡＤモデルの方向とほぼ一致する方向に載置する工程と、
前記ステージ上の試験対象物の画像を前記カメラで撮影し、前記カメラの視軸に垂直な基準面における周辺境界を抽出する工程と、
対応する基準面における前記３ＤのＣＡＤモデルのシルエット境界を抽出する工程と、
フィッティングアルゴリズムを用いて、前記３ＤのＣＡＤモデルの前記シルエット境界を、前記対応する基準面において前記試験対象物の前記周辺境界とマッチングするように、相対的に位置決めする工程と、
前記３ＤのＣＡＤモデルにおける点の座標を、前記対応する基準面内で前記視軸に沿って参照された前記試験対象物の対応する点の座標とマッチングさせる工程と、
を備え、
前記対応する基準面における前記３ＤのＣＡＤモデルのシルエット境界を抽出する工程が、さらに、
前記ＣＡＤモデルの３Ｄの三角形メッシュのうちの可能性を有するシルエットエッジから、全線分を集める工程と、
前記可能性を有するシルエットの線分を、前記カメラの視線方向を用いて２Ｄに投影する工程と、
前記線分に２Ｄの候補輪郭点を生成する工程と、
前記候補輪郭点と一致する第一位置から、第二のシフト位置へと移動可能な試験点を生成する工程と、
前記シフト位置にある各試験点が、前記ＣＡＤモデルの三角形メッシュの他の面によって覆われているか否かを判定し、前記第二のシフト位置にある試験点がいずれの他の面によっても覆われていない２Ｄの候補輪郭点を、真の輪郭点であるとする工程と、
を備えた方法。
前記シフトした第二位置において、いずれの他の面によっても覆われていない試験点上のエッジのセットを有する、最小全域木を生成する工程をさらに備えたことを特徴とする請求項１に記載の方法。
点生成密度よりも長い前記最小全域木のエッジのサブセットを捨てる工程をさらに備え、前記最小全域木のエッジの残りのサブセットが、前記３ＤのＣＡＤモデルの真の輪郭の線分であることを特徴とする請求項２に記載の方法。
フィッティングアルゴリズムを用いて、前記最小全域木のエッジの残りのサブセットを前記試験対象物の周辺境界にフィットさせる工程、をさらに備えたことを特徴とする請求項３に記載の方法。
前記３ＤのＣＡＤモデルが頂点によって結ばれた線を含み、前記シルエット境界を抽出する工程が、前記対応する基準面における前記３ＤのＣＡＤモデルの境界よりも内側にある線を除去する工程を含むことを特徴とする請求項１に記載の方法。
前記３ＤのＣＡＤモデル上で測定対象のフィーチャを選択する工程と、
前記対応する基準面内で視軸に沿って参照される前記試験対象物の対応する点の座標とマッチングする前記３ＤのＣＡＤモデルの点の座標に基づいて、前記ステージと前記カメラのうち少なくとも一方を所望の位置に自動的に平行移動させる工程と、
前記ＣＡＤモデルの選択されたフィーチャに対応する試験対象物のフィーチャを測定する工程と、
をさらに備えたことを特徴とする請求項１に記載の方法。
前記３ＤのＣＡＤモデル上で測定対象フィーチャを選択する工程と、
前記試験対象物の選択されたフィーチャを測定する前に、前記ＣＡＤモデルの選択されたフィーチャの１以上の点の座標に基づいて、前記カメラを前記試験対象物に対して自動的に焦点合わせする工程と、
をさらに備えたことを特徴とする請求項１に記載の方法。
前記ステージ上の試験対象物の画像を前記カメラで撮影する工程は、ビデオカメラを用いて、（ｉ）静止画像データ、および（ｉｉ）ビデオストリームからのフレームの画像データのうちの１つを提供する工程を含むことを特徴とする請求項１に記載の方法。
前記ステージ上の前記試験対象物の画像を前記カメラで撮影する前に、前記試験対象物に背後から照明を当てる工程をさらに備えたことを特徴とする請求項１に記載の方法。
前記３ＤのＣＡＤモデル上で測定対象フィーチャを選択する工程と、
前記対応する基準面内で視軸に沿って参照される前記試験対象物の対応する点の座標とマッチングする前記３ＤのＣＡＤモデルの点の座標に基づいて、前記ステージと前記カメラのうち少なくとも一方を所望の位置に自動的に平行移動させる工程と、
前記カメラを自動的に焦点合わせする工程と、
前記ＣＡＤモデルの前記選択されたフィーチャに対応する試験対象物のフィーチャを測定する工程と、
をさらに備えたことを特徴とする請求項１に記載の方法。
３ＤのＣＡＤモデルを参照しマシンビジョンシステムで試験対象物の異なるフィーチャを測定する方法であって、
前記３ＤのＣＡＤモデルをモデルウィンドウにおいて方向付ける工程と、
ビデオカメラで前記試験対象物のビデオ画像を取得する工程と、
前記ビデオカメラの視軸に垂直な基準面における撮像された試験対象物の周辺境界を抽出する工程と、
３ＤのＣＡＤモデルのシルエット境界を、対応する基準面において前記試験対象物の周辺境界とマッチングするように相対的に位置決めする工程と、
前記３ＤのＣＡＤモデルにおける点の座標を、前記対応する基準面内で前記視軸に沿って参照される前記試験対象物の対応する点の座標と、マッチングさせる工程と、
モデルウィンドウ内で前記ＣＡＤモデルのフィーチャを選択し、前記フィーチャの１以上の点の座標を同定する工程と、
前記モデルウィンドウ内で選択されたＣＡＤモデルのフィーチャに対応する試験対象物のフィーチャを測定する工程と、
を備えた方法。
前記試験対象物のフィーチャを測定する前に、前記視軸に沿って参照される前記ＣＡＤモデルの選択されたフィーチャの１以上の点の座標に基づいて、前記試験対象物に対する前記ビデオカメラの焦点を変える工程をさらに備えたことを特徴とする請求項１１に記載の方法。
前記対応する基準面内において前記視軸に沿って参照される前記ＣＡＤモデルの選択されたフィーチャの１以上の点の座標に基づいて、前記試験対象物の照明条件を変える工程をさらに備えたことを特徴とする請求項１１に記載の方法。
前記ビデオカメラの視野（ＦＯＶ）を調節して、測定すべき前記試験対象物の前記フィーチャが視野（ＦＯＶ）内に収まるようにする工程を、さらに備えたことを特徴とする請求項１１に記載の方法。
前記ビデオカメラの被写界深度（ＤＯＦ）を調節して、試験対象物の周辺境界が基準面に近いか否かにかかわらず、前記試験対象物の周辺境界全体が焦点内にとどまるようにする工程を、さらに備えたことを特徴とする請求項１１に記載の方法。
前記ビデオカメラの前記視野（ＦＯＶ）を調節する工程が自動的に行われることを特徴とする請求項１４に記載の方法。
前記ビデオカメラの前記被写界深度（ＤＯＦ）を調節する工程が自動的に行われることを特徴とする請求項１５に記載の方法。