JP2015170116A - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents

情報処理装置、情報処理装置の制御方法およびプログラム Download PDF

Info

Publication number
JP2015170116A
JP2015170116A JP2014044261A JP2014044261A JP2015170116A JP 2015170116 A JP2015170116 A JP 2015170116A JP 2014044261 A JP2014044261 A JP 2014044261A JP 2014044261 A JP2014044261 A JP 2014044261A JP 2015170116 A JP2015170116 A JP 2015170116A
Authority
JP
Japan
Prior art keywords
feature
viewpoint
processing apparatus
information processing
assembled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014044261A
Other languages
English (en)
Other versions
JP6306903B2 (ja
Inventor
その子 宮谷
Sonoko Miyatani
その子 宮谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014044261A priority Critical patent/JP6306903B2/ja
Priority to US14/624,474 priority patent/US9563816B2/en
Publication of JP2015170116A publication Critical patent/JP2015170116A/ja
Application granted granted Critical
Publication of JP6306903B2 publication Critical patent/JP6306903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】組み付け部品について、部品同士による隠れが生じる場合であっても、組み付け検査に適した視点を決定する技術を提供する。
【解決手段】情報処理装置であって、部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する第1の特徴抽出部と、部品の特徴を第2の特徴として視点ごとに抽出する第2の特徴抽出部と、第1の特徴と第2の特徴とに基づいて、部品の組み付け状態を検査するための視点を決定する決定部とを備える。
【選択図】 図3

Description

本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関し、特に、部品の組み付け検査のための視点位置を評価する技術に関する。
生産現場では、生産効率向上のため、ロボットによる自動化が進められている.その一つとして、部品の組み付けが正常に行われたかどうかを判定する組み付け検査の自動化がある。特許文献1では、予め撮影した組み付ける部品の基準となるマスタ画像と、部品の組み付け完了時に撮影した実画像との相関値に基づいて、正しい部品が組み付けられているか否かを判定する方法が開示されている。
また、検査に十分な情報が取得できる視点を、予め得られる事前情報から自動で決定する方法が提案されている。非特許文献1では、事前情報としてCADモデルを利用し、部品全体から抽出される特徴の数と視点ごとに観測される特徴の数との比を一つの指標として、部品の欠陥などを検査するための視点を決定する方法が開示されている。
特開2008-170331号公報
KonstAntinios A.,"A Survey of Sensor Planning in Computer Vision",IEEE TRANSACTION ON ROBOTICS AND AUTOMATION,VOL11,NO.1 FEBURUARY 1995
しかしながら、特許文献1及び非特許文献1に記載の技術では、組み付け部品について、部品同士による隠れから、視点によっては組み付け検査に十分な観測データが得られない恐れがある。
本発明は、以上の課題を鑑みてなされたものであり、部品同士による隠れが生じる場合であっても、組み付け検査に適した視点を決定する技術を提供することを目的とする。
上記の目的を達成する本発明に係る情報処理装置は、
部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する第1の特徴抽出手段と、
前記部品の特徴を第2の特徴として前記視点ごとに抽出する第2の特徴抽出手段と、
前記第1の特徴と前記第2の特徴とに基づいて、前記部品の組み付け状態を検査するための視点を決定する決定手段と
を備える。
本発明によれば、組み付け部品について、部品同士による隠れが生じる場合であっても、組み付け検査に適した視点を決定することができる。
第1実施形態における情報処理システムの構成を示した図。 部品及び組み付け部品をある視点から観察した結果を模擬的に示した図。 第1実施形態における可視度手順を示したフローチャート。 特徴の分布を示した図。 第2実施形態における情報処理システムの構成を示した図。 視点の設定方法を説明する図。 第2実施形態における検査視点決定手順を示したフローチャート。 第3実施形態における検査視点決定手順を示したフローチャート。 第3実施形態における検査視点決定部の構成を示した図。
以下、添付の図面を参照して、本発明の実施の形態について詳述する。
(第1実施形態;可視度は特徴数の比の部品ごとの総和)
第1実施形態では、組み付け部品の組み付け状態を検査する視点の良否を判定するための評価値として、組み付け部品を構成する各部品(以下、「単体部品」と呼ぶ)の観察可能な度合いを示す可視度を導出する例について説明する。検査方法として、各単体部品の3次元位置姿勢を推定し、その推定値を、3次元位置姿勢の正解値と比較することで組み付け状態を判定する例を想定する。
図1は、本実施形態における情報処理システムの構成例を示している。情報処理装置101は、第1の特徴抽出部102と、第2の特徴抽出部103と、評価値算出部104とを備えており、不図示のCPUがメモリからプログラムを読み出して実行することにより各処理部の動作を制御する。モデル情報保持部105は、情報処理装置101の外部に設けられており、第1の特徴抽出部102及び第2の特徴抽出部103と接続する。ただし、情報処理装置101がモデル情報保持部105を含む構成であってもよい。
モデル情報保持部105は、組み付け部品及び単体部品の3次元形状モデル(形状情報)を保持する。3次元形状モデルは、対象部品の形状を表す3次元的な幾何情報を保持してあれば何でも良く、表現形式に特に制限はない。例えば、3次元点で構成される面および線の集合で表されるポリゴン形式や、稜線を表す3次元ラインの集合、単純な3次元点の集合など、他の表現で表しても良い。また、組み付け部品の3次元形状モデルを保持する代わりに、単体部品同士の相対位置姿勢情報を保持していてもよい。この場合、単体部品の3次元形状モデル及び単体部品の相対位置姿勢情報から、組み付け部品の3次元形状モデルを生成する。
第1の特徴抽出部102は、モデル情報保持部105が保持する組み付け部品の3次元形状モデルから、評価対象となる視点で観測される幾何特徴を抽出する。例えば、幾何特徴としてエッジを抽出する。3次元形状モデルがポリゴン形式で表現されている場合には、評価対象となる視点で3次元形状モデルを2次元画面上に投影して生成した輝度画像から、隣接した画素の輝度値の差が閾値以上となる画素位置をエッジとして抽出する。なお、抽出する特徴は、3次元形状モデルから抽出できる幾何特徴であればエッジに限らず、他のものであってもよい。例えば、3次元形状モデルが3次元点の集合である場合には、評価対象となる視点で観測される3次元点を特徴として抽出してもよい。
第2の特徴抽出部103は、モデル情報保持部105が保持する単体部品の3次元形状モデルから、第1の特徴抽出部102と同じ視点またはその近傍となる視点で観測される幾何特徴を抽出する。抽出方法は、第1の特徴抽出部102と同様である。
評価値算出部104は、第1の特徴抽出部102により抽出された組み付け部品の幾何特徴と、第2の特徴抽出部103により抽出された単体部品の幾何特徴とに基づいて、組み付け状態における単体部品の観察可能な度合いを示す可視度(単体部品の3次元位置姿勢が確定可能な度合いを示す評価値)を算出する。可視度は、例えば各単体部品の幾何特徴の数に対する組み付け部品の当該単体部品の幾何特徴の数の比の総和とする。
以下、図2を参照して特徴数の比の総和の具体例を説明する。図2(a)は、部品A及び部品Bの3次元形状モデルから抽出したエッジ特徴を模擬的に示したものである。図2(b)は、組み付け部品の3次元形状モデルから抽出されるエッジ特徴、組み付け部品のエッジ特徴のうち部品A及び部品Bに該当するエッジ特徴をそれぞれ模擬的に示したものである。図2(b)に示した組み付け部品の部品A及び部品Bのエッジ特徴では、部品同士の隠れにより観測できない個所が存在している。部品A、組み付け部品の部品A、部品B及び組み付け部品の部品Bの特徴数をそれぞれNa、Na'、Nb、Nb'とすると、可視度は、Na'/Na+Nb'/Nbとなる。
次に、本実施形態の処理手順について説明する。図3は、本実施形態に係る情報処理装置101が実施する処理の手順を示すフローチャートである。
(ステップS301)
不図示の視点設定部は、評価対象とする視点を設定する。視点は、視点から組み付け部品までを結ぶベクトルで表現する。ベクトルの大きさと方向は、組み付け部品から視点までの距離と方向を示す。なお、視点を一意に示せれば何でもよく、表現方法に制限はない。例えば、組み付け部品の3次元形状モデルに設定された座標系から視点に設定された座標系への変換行列を視点として表現してもよい。
視点の設定方法も、視点が設定できれば何でもよく、設定方法に制限はない。例えば、情報処理装置101が評価する視点の設定を行うためのユーザインタフェースを備えており、当該ユーザインタフェースを介してユーザが任意に視点の設定を行ってもよい。
(ステップS302)
第1の特徴抽出部102は、ステップS301で設定した視点で、モデル情報保持部105が保持する組み付け部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
(ステップS303)
第2の特徴抽出部103は、ステップS301で設定した視点近傍で、モデル情報保持部105が保持する単体部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
(ステップS304)
評価値算出部104は、視点の評価値として、単体部品の観察可能な度合いを示す可視度を算出する。可視度の算出方法については、上述したとおりである。
以上説明したように、ステップS301〜ステップS304の一連の処理を実行することで、評価対象とする視点が、組み付け部品の組み付け状態を検査する視点として適切かどうかを判断するための評価値を算出することができる。
その後、ステップS304で算出された可視度に基づいて、組み付け検査に適した視点を決定する。例えば、可視度が閾値以上の視点を、組み付け検査に適した視点として決定する。その後、決定された視点を使用して、正しく部品が組み付けられているか、部品の欠陥などはないかといった検査が実行される。
<変形例1;特徴量は面積>
第1実施形態では特徴を幾何特徴としたが、これに限らず単体部品の観察可能な度合いを示す可視度を示すのに適した特徴であれば、別のものであってもよい。例えば、単体部品の可視領域の大きさとしても良い。可視領域の大きさは、画像面での画素数とする。算出方法は次の通りである。まず、組み付け部品の3次元形状モデルを評価対象となる視点に基づいて画像面に投影する。そして、画像面で各単体部品に該当する領域の画素数を算出する。
なお、特徴は単体部品の可視領域の画像面での画素数に限らず、可視領域の大きさを示すものであれば別のものであってもよい。例えば、算出した可視領域の画像面での領域を単体部品の3次元形状にマッピングすることで求めた、3次元形状モデル上での可視領域の面積を特徴として使用してもよい。あるいは、画像面または3次元形状モデル上での可視領域の輪郭線を抽出し、その輪郭線の長さを特徴としても良い。
<変形例2;可視度は面積の比または画素数の比>
第1実施形態では、可視度を、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比の総和とした。しかし、これに限らず、単体部品の観察可能な度合いを示す指標であれば別のものであってもよい。
例えば、変形例1で説明したように、特徴を単体部品の可視領域の大きさとした場合には、各単体部品の可視領域の大きさに対する組み付け部品における当該単体部品の可視領域の大きさの比の総和としてもよい。可視領域の大きさを面積または画素数とした場合には、各単体部品の可視領域の面積または画素数に対する、組み付け部品の当該単体部品の可視領域の面積または画素数の比の総和となる。
<変形例3;可視度は特徴数の比の最小値>
第1実施形態では、可視度を、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比の総和とした。また、変形例2では、各単体部品の可視領域の大きさに対する組み付け部品における当該単体部品の可視領域の大きさの比の総和とした。しかし、これに限らず、単体部品の観察可能な度合いを示す指標であれば別のものであってもよい。例えば、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比のうち、特徴の数の比の最小値を可視度としてもよい。
<変形例4;可視度は特徴ごとに重み付けして算出>
第1実施形態では、可視度を、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比の総和とした。また、変形例2では、各単体部品の可視領域の大きさに対する組み付け部品における当該単体部品の可視領域の大きさの比の総和とした。また、変形例3では第1実施形態と同様にして求めた特徴の数の比の最小値とした。しかし、これに限らず、組み付け状態における単体部品の観察可能な度合いを示す指標であれば別のものであってもよい。
例えば、特徴の数(または可視領域の大きさ)に重み付けをして特徴数(または可視領域の大きさ)の比を算出してもよい。重み付けは、部品ごとに設定してもよいし、部品の各部位ごとに設定してもよい。例えば、部品A、組み付け部品の部品A、部品B及び組み付け部品の部品Bの特徴数(または可視領域の大きさ)をそれぞれNa、Na'、Nb、Nb'とし、部品Aから抽出される特徴に関しては重みをWa、部品Bから抽出される特徴に関しては重みをWbと設定すると、可視度は、Wa×(Na'/Na)+Wb×(Nb'/Nb)となる。Wa=1.0、Wb=0.0とした場合には、部品Aのみに関する可視度が得られる。重み付けについては、組み付け検査への影響が大きい部品について大きな重みを付与し、組み付け検査への影響が小さい部品について小さな重みを付与するように構成してもよい。
<変形例5;特徴の分布度を考慮>
第1実施形態、変形例2〜4では、組み付け状態を検査する視点の評価値として、組み付け状態における単体部品の観察可能な度合いを示す可視度を算出した。しかし、これに限らず、単体部品の3次元位置姿勢の確定度合いを示す指標であれば、別のものであってもよい。
例えば、単体部品の特徴の空間的な分布の度合いを示す分布度を、視点の評価値として算出してもよい。分布度の求め方は次の通りである。まず、各単体部品の特徴の主軸方向を求める。そして、求めた主軸方向において、各単体部品の特徴の最大値と最小値の差に対する、組み付け状態における当該単体部品の特徴の最大値と最小値の差の比を算出する。単体部品の数をN、主軸方向の次元数をNとすると、最大値と最小値の差の比はN×N個算出される。そして、主軸方向ごとに、最大値と最小値の差の比の和を計算し、これを分布度とする。分布度は、最終的に、主軸方向の次元数であるN個算出される。
例として、特徴を画像から検出されるエッジとした場合について説明する。評価対象とする視点で観測される各エッジの画像上での位置をpi=(pix, piy)tとする。主軸は、各エッジを列ベクトルとする行列M=[ p, p, p,......]を固有値分解し、固有値が大きい上位2つの固有ベクトルとして得られる。そして、求めた主軸方向でのエッジ位置の最大値と最小値の差を計算する。図4は、主軸方向m,mと、各主軸方向でのエッジ位置の最大値と最小値の差が(d,d)となる例を模式的に示したものである。
単体部品の数をNとし、各単体部品の主軸方向でのエッジ位置の最大値と最小値の差を(d ,d )...(dNp ,dNp )とし、主軸方向での組み付け状態における当該単体部品のエッジ位置の最大値と最小値の差を(d' ,d' )...(d'Np ,d'Np )とすると、主軸方向ごとに和をとった(d /d' +...+dNp /d'Np ,d /d' +....+dNp /d'Np )が分布度となる。
なお、分布度は、上記に限らず、特徴の空間的な広がりを示す指標であれば何でもよい。例えば、主軸に代わって、任意に設定した方向における特徴の最大値と最小値の差から分布度を算出してもよい。
<変形例6;実環境で抽出>
第1実施形態では、モデル情報保持部105が保持する3次元形状モデルに基づいて特徴を抽出したが、これに限らず、実際の部品を撮影して得られた画像情報を取得し、当該画像情報に基づいて特徴を抽出してもよい。撮影画像が輝度画像の場合には、隣接する画素との輝度値の差が閾値以上となる画素をエッジ特徴として抽出する。また、撮影画像が距離画像の場合には、隣接する画素との距離値の差が閾値以上となる画素をエッジとして抽出する。なお、これに限らず抽出する特徴は、撮影画像から抽出できる幾何特徴であれば他のものであってもよい。例えば、距離画像の各画素に格納された距離値を単純に特徴として抽出してもよい。
<変形例7;評価結果を表示>
第1実施形態では、視点の評価値を算出する方法について説明したが、さらに、情報処理装置101が視点の評価結果を表示するためのユーザインタフェースを備えることで、視点の評価値をユーザに通知してもよい。また、情報処理装置101が、評価する視点を設定するためのユーザインタフェースを備えており、当該ユーザインタフェースを使用してユーザが任意に評価する視点を設定してもよい。
なお、本発明における第1の特徴抽出部102は、評価対象とする視点から観測される組み付け部品の特徴が抽出できるものであれば制限はない。第1実施形態で説明したように、組み付け部品の形状モデルに基づいて、評価対象とする視点から観察される組み付け部品の特徴を抽出してもよい。また、変形例6で説明したように、組み付け部品を撮影した画像に基づいて、評価対象とする視点から観察される組み付け部品の特徴を抽出してもよい。
また、本発明における第2の特徴抽出部103は、評価対象とする視点またはその近傍の視点から観測される単体部品の特徴が抽出できるものであれば制限はない。第1実施形態で説明したように、単体部品の形状モデルに基づいて、評価対象とする視点またはその近傍の視点から観察される単体部品の特徴を抽出してもよい。また、変形例6で説明したように、単体部品を撮影した画像に基づいて、評価対象とする視点またはその近傍の視点から観察される単体部品の特徴を抽出してもよい。
また、本発明における評価値算出部104は、単体部品の3次元位置姿勢が確定可能な度合を示す評価値を算出できるものであれば制限はない。第1実施形態で説明したように、単体部品の観察度合を示す可視度を評価値として算出してもよい。また、変形例5で説明したように、単体部品から抽出される特徴の空間的な広がり度合を示す分布度を評価値として算出してもよい。
第1実施形態によれば、当該視点で抽出される、単体部品の特徴数に対する組み付け状態における当該単体部品の特徴の数の比に基づいて算出した可視度を用いることで、組み付け部品の組み付け状態を検査する視点を評価することができる。また、単体部品の特徴の広がり度合に対する組み付け状態における当該単体部品の特徴の広がり度合の比に基づいて算出した分布度を用いることで、組み付け部品の組み付け状態を検査する視点を評価することができる。そのため、組み付け部品について、部品同士による隠れが生じる場合であっても、組み付け検査に適した視点を決定することができる。
(第2実施形態;可視度が最大となる視点を使用)
第2実施形態では、組み付け部品の組み付け状態を検査する視点の評価値を用いて、複数の視点候補の中から、検査に最適な視点を決定する方法について説明する。
図5は、本実施形態における情報処理システムの構成例を示している。情報処理装置101は、第1の特徴抽出部102と、第2の特徴抽出部103と、評価値算出部104とを備えている。
モデル情報保持部105、視点生成部501及び検査視点決定部502は、情報処理装置101の外部に設けられ、情報処理装置101と接続する。なお、視点生成部501及び検査視点決定部502は情報処理装置101の内部に設けられる構成であってもよい。第1の特徴抽出部102、第2の特徴抽出部103及び評価値算出部104は、第1実施形態で説明したものと同様であるため、以下では、視点生成部501及び検査視点決定部502を中心に説明する。
視点生成部501は、組み付け部品を観察する視点を複数生成する。例えば、図6に示すように、組み付け部品を原点に配置した球を正三角形の面で構成される多面体に近似し、各面の中点を視点位置する。視点の向きは、部品を観測する視線方向とする。なお、この方法に限らず複数の視点を設定できる方法であれば何でもよい。例えば、部品を観察する方向に制限がある場合には、前述した方法で生成した視点の中から実際に観察する可能性のある視点のみを設定してもよい。
評価値算出部104は、視点生成部501により生成された視点ごとに、視点の評価値を算出する。評価値は、第1実施形態、変形例2〜4で説明した可視度や、変形例5で説明した分布度を用いることができる。検査視点決定部502は、評価値算出部104で算出した評価値が最大となる視点を検査視点として決定する。
次に、本実施形態の処理手順について説明する。図7は、本実施形態に係る情報処理装置101が実施する処理の手順を示すフローチャートである。
(ステップS701)
視点生成部501は、組み付け部品を観察する視点を複数生成する。視点の生成方法は上述したとおりである。
(ステップS702)
第1の特徴抽出部102は、ステップS701で視点生成部501が生成した視点ごとに、モデル情報保持部105が保持する組み付け部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
(ステップS703)
第2の特徴抽出部103は、ステップS701で視点生成部501が生成した視点またはその近傍となる視点ごとに、モデル情報保持部105が保持する単体部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
(ステップS704)
評価値算出部104は、ステップS701で視点生成部501が生成した視点ごとに、視点の評価値を算出する。評価値の算出方法については、上述したとおりである。
(ステップS705)
検査視点決定部502は、ステップ504で算出した視点の評価値が最大となる視点を検査視点として決定する。なお、評価値として可視度と分布度との両方を同時に用いる場合には、まず、可視度または分布度が予め設定した閾値以上となる視点を選択し、選択した視点の中から分布度または可視度が最大となる視点を検査視点とする。
以上説明したように、ステップS701〜ステップS705の一連の処理を実行することで、組み付け部品の組み付け状態の検査に最適な視点を決定することができる。
第2実施形態によれば、組み付け部品の組み付け状態を検査する視点の評価値を算出し、この評価値に基づいて、検査に最適な視点を決定することができる。
<変形例8>
第2実施形態では、視点生成部501が生成した視点の中から、視点の評価値が最大となる視点を検査視点とした。しかし、これに限らず、視点生成部501が生成した視点の中から検査視点が決定できる方法であれば、別のものであってもよい。
例えば、情報処理装置101が備えるユーザインタフェースを介して、視点の評価値が高い視点を視点の候補としてユーザに通知し、情報処理装置101が備えるユーザインタフェースを介して、提示された視点候補の中から検査視点をユーザが任意に選択してもよい。視点の評価値が高い視点とは、評価値が全ての視点の評価値から求めた平均値以上となる視点とする。または、候補数を予め設定しておき、評価値が高い上位候補数の視点としてもよく、視点の評価値が高い視点を抽出できる方法であれば、制限はない。
(第3実施形態;視点の組み合わせを決定)
第2実施形態では、検査視点として1つの視点を決定する方法について説明した。しかし、部品の形状や部品同士の隠れなどの原因により、1つの視点で組み付け部品を観察した結果のみからでは、組み付け状態の判定ができない場合がある。このような場合には、複数の視点で組み付け部品を観察した結果を統合し、組み付け状態を判定する必要がある。
第3実施形態では、各単体部品の3次元位置姿勢を推定することで組み付け部品の組み付け状態を検査することを想定し、全ての単体部品の3次元位置姿勢が推定できる視点の組み合わせを決定する方法について説明する。
図9は、本実施形態における検査視点決定部502の構成を示す図である。検査視点決定部502は、第1の組み合わせ選択部901と第2の組み合わせ選択部902とを備えている。
第1の組み合わせ選択部901は、各視点の評価値の和に基づいて組み付け検査の視点を選択する。具体的には、各視点の評価値の和が予め設定した閾値以上となる視点の組み合わせを算出する。例として、視点V、V及びVといった3つの視点が存在する場合について説明する。視点の組み合わせとして、(V,V)、(V,V)、(V,V)、(V,V,V)が得られる。各視点の評価値をそれぞれE、E、Eとすると、各組み合わせにおける可視度の総和は、E+E、E+E、E+E、E+E+Eとなる。
閾値をTとし、E+E>T、E+E>T、E+E<T、E+E+E>Tとなる場合には、組み付け検査の視点として、(V,V)、(V,V)、(V,V,V)の組み合わせが選択される。なお、組み合わせの視点数には、予め上限を設定しておいてもよい。例えば、視点数の上限を2とした場合には、(V,V,V)の組み合わせが除外され、組み付け検査の視点として、(V,V)、(V,V)が選択される。
第2の組み合わせ選択部902は、第1の組み合わせ選択部901で選択した視点の組み合わせの中から、視点の数や視点間の距離の観点から、組み付け検査の視点に適した視点の組み合わせを選択する。具体的には、視点の数が最小となる視点の組み合わせや、視点間の距離の総和が最小となる視点の組み合わせを選択する。なお、視点の数や視点間の距離の観点から、検査に適した視点の組み合わせが選択できれば、他の方法で選択してもよい。例えば、視点間の距離の最大値が最小となる視点の組み合わせを選択してもよい。
次に、本実施形態における処理手順について説明する。第2の実施形態で説明した処理手順のうち、検査視点を決定する(ステップS705)方法のみが異なるため、以下では検査視点を決定する方法についてのみ説明する。
図8は、本実施形態における検査視点決定部502が検査視点を決定する処理手順を示すフローチャートである。
(ステップS801)
各視点の評価値の和に基づいて組み付け検査の視点を選択する。選択方法については、上述した通りである。
(ステップS802)
ステップS801で選択した視点の組み合わせの中から、視点の数や視点間の距離の観点から、組み付け検査の視点に適した視点の組み合わせを選択する。選択方法については、上述した通りである。
以上説明したように、ステップS701〜ステップS704及びステップS801〜ステップS802の一連の処理を実行することで、検査に最適な視点の組み合わせを決定することができる。
第3の実施形態によれば、組み付け部品の組み付け状態を検査する視点の評価値を算出し、この評価値に基づいて、検査に最適な視点の組み合わせを決定することができる。
<変形例9;第1の組み合わせ選択部901のみの例>
第3実施形態では、第1の組み合わせ選択部901及び第2の組み合わせ選択部902の両方を用いて、検査に最適な視点の組み合わせを算出した。しかし、第1の組み合わせ選択部901のみを用いて検査に最適な視点の組み合わせを算出してもよい。この場合、各視点の評価値の和が予め設定した閾値以上となる視点の組み合わせが検査視点とすればよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (15)

  1. 部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する第1の特徴抽出手段と、
    前記部品の特徴を第2の特徴として前記視点ごとに抽出する第2の特徴抽出手段と、
    前記第1の特徴と前記第2の特徴とに基づいて、前記部品の組み付け状態を検査するための視点を決定する決定手段と
    を備えることを特徴とする情報処理装置。
  2. 前記部品及び前記組み付け部品の形状情報を保持するモデル情報保持手段をさらに備え、
    前記第1の特徴抽出手段は、前記組み付け部品の形状情報に基づいて前記第1の特徴を抽出し、
    前記第2の特徴抽出手段は、前記部品の形状情報に基づいて前記第2の特徴を抽出することを特徴とする請求項1に記載の情報処理装置。
  3. 前記部品及び前記組み付け部品を撮影して得られた画像情報を取得する取得手段をさらに備え、
    前記第1の特徴抽出手段は、前記組み付け部品の画像情報に基づいて前記第1の特徴を抽出し、
    前記第2の特徴抽出手段は、前記部品の画像情報に基づいて前記第2の特徴を抽出することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記第1の特徴及び前記第2の特徴は、それぞれ前記組み付け部品の幾何特徴及び前記部品の幾何特徴であることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記第1の特徴及び前記第2の特徴は、それぞれ前記組み付け部品の可視領域の大きさ及び前記部品の可視領域の大きさであるとすることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  6. 前記組み付け状態における前記部品の3次元位置姿勢が確定可能な度合いを示す評価値を前記視点ごとに導出する導出手段を更に備え、
    前記決定手段は、前記導出される評価値に基づいて、視点を決定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 前記評価値は、特徴の空間的な広がり度合を示す分布度であることを特徴とする請求項6に記載の情報処理装置。
  8. 前記導出手段は、前記第2の特徴に対する前記第1の特徴の比に基づいて前記評価値を導出することを特徴とする請求項6に記載の情報処理装置
  9. 前記導出手段は、前記第2の特徴の数に対する前記第1の特徴の数の比に基づいて前記評価値を導出することを特徴とする請求項6に記載の情報処理装置。
  10. 前記組み付け部品を観察するための複数の視点の位置姿勢を生成する視点生成手段を更に備え、
    前記決定手段は、前記導出手段により導出された前記視点ごとの評価値に基づいて、前記組み付け部品の組み付け状態を検査するための視点を前記複数の視点から決定することを特徴とする請求項6乃至9の何れか1項に記載の情報処理装置。
  11. 前記決定手段は、前記評価値が最も高い視点を前記視点として決定することを特徴とする請求項10に記載の情報処理装置。
  12. 前記視点ごとに導出した視点の評価値の和に基づいて視点の組み合わせを選択する第1の組み合わせ選択手段をさらに備え、
    前記決定手段は、前記第1の組み合わせ選択手段により選択された視点の組み合わせを前記視点として決定することを特徴とする請求項10に記載の情報処理装置。
  13. 前記第1の組み合わせ選択手段により選択された視点の組み合わせの中から、視点の数または視点間の距離が最小となる視点の組み合わせを選択する第2の組み合わせ選択手段をさらに備え、
    前記決定手段は、前記第2の組み合わせ選択手段により選択された視点の組み合わせを前記視点として決定することを特徴とする請求項12に記載の情報処理装置。
  14. 情報処理装置の制御方法であって、
    第1の特徴抽出手段が、部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する工程と、
    第2の特徴抽出手段が、前記部品の特徴を第2の特徴として前記視点ごとに抽出する工程と、
    決定手段が、前記第1の特徴と前記第2の特徴とに基づいて、前記部品の組み付け状態を検査するための視点を決定する工程と
    を有することを特徴とする情報処理装置の制御方法。
  15. 請求項14に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2014044261A 2014-03-06 2014-03-06 情報処理装置、情報処理装置の制御方法およびプログラム Active JP6306903B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014044261A JP6306903B2 (ja) 2014-03-06 2014-03-06 情報処理装置、情報処理装置の制御方法およびプログラム
US14/624,474 US9563816B2 (en) 2014-03-06 2015-02-17 Information processing apparatus, method for controlling information processing apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014044261A JP6306903B2 (ja) 2014-03-06 2014-03-06 情報処理装置、情報処理装置の制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015170116A true JP2015170116A (ja) 2015-09-28
JP6306903B2 JP6306903B2 (ja) 2018-04-04

Family

ID=54017853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014044261A Active JP6306903B2 (ja) 2014-03-06 2014-03-06 情報処理装置、情報処理装置の制御方法およびプログラム

Country Status (2)

Country Link
US (1) US9563816B2 (ja)
JP (1) JP6306903B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162449A (ja) * 2016-03-02 2017-09-14 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10265850B2 (en) * 2016-11-03 2019-04-23 General Electric Company Robotic sensing apparatus and methods of sensor planning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051718A (ja) * 1999-08-06 2001-02-23 Hitachi Ltd プラント運転監視方法とその装置
JP2005052926A (ja) * 2003-08-04 2005-03-03 Denso Corp 視覚検査装置の教示装置及び教示方法
JP2005310020A (ja) * 2004-04-26 2005-11-04 Nintendo Co Ltd 3次元画像生成装置および3次元画像生成プログラム
JP2006171889A (ja) * 2004-12-13 2006-06-29 Ricoh Co Ltd 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム
JP2007200130A (ja) * 2006-01-27 2007-08-09 National Agriculture & Food Research Organization 景観解析方法とこの方法を実行するコンピュータプログラムおよびこのプログラムを格納した媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
US6675120B2 (en) * 2000-06-27 2004-01-06 Photon Dynamics, Inc. Color optical inspection system
JP4595705B2 (ja) * 2005-06-22 2010-12-08 オムロン株式会社 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2008170331A (ja) 2007-01-12 2008-07-24 Toyota Motor Corp 組み付け検査方法
US8131055B2 (en) * 2008-01-31 2012-03-06 Caterpillar Inc. System and method for assembly inspection
US9076195B2 (en) * 2013-08-29 2015-07-07 The Boeing Company Methods and apparatus to identify components from images of the components

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051718A (ja) * 1999-08-06 2001-02-23 Hitachi Ltd プラント運転監視方法とその装置
JP2005052926A (ja) * 2003-08-04 2005-03-03 Denso Corp 視覚検査装置の教示装置及び教示方法
JP2005310020A (ja) * 2004-04-26 2005-11-04 Nintendo Co Ltd 3次元画像生成装置および3次元画像生成プログラム
JP2006171889A (ja) * 2004-12-13 2006-06-29 Ricoh Co Ltd 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム
JP2007200130A (ja) * 2006-01-27 2007-08-09 National Agriculture & Food Research Organization 景観解析方法とこの方法を実行するコンピュータプログラムおよびこのプログラムを格納した媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
國枝 和雄: "仮想博物館における情報散策インタフェース", 情報処理学会論文誌 第40巻 NO.SIG3(TOD1), vol. Vol.40 No.SIG3(TOD1) Feb.1999, JPN6018004340, 15 February 1999 (1999-02-15), JP, pages 185 - 194, ISSN: 0003735271 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162449A (ja) * 2016-03-02 2017-09-14 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム

Also Published As

Publication number Publication date
US9563816B2 (en) 2017-02-07
JP6306903B2 (ja) 2018-04-04
US20150254831A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
JP5548482B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
JP2019534510A5 (ja)
CN102510506B (zh) 一种基于双目图像和距离信息的虚实遮挡处理方法
JP6054831B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JP2016109669A (ja) 情報処理装置、情報処理方法、プログラム
US11170246B2 (en) Recognition processing device, recognition processing method, and program
JP6185385B2 (ja) 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム
RU2013140835A (ru) Устройство обработки изображения, способ обработки изображения и программа
JP6723798B2 (ja) 情報処理装置、方法、プログラム
TWI671544B (zh) 氣象資料處理裝置、包含氣象資料處理裝置之系統、氣象資料處理方法及氣象資料處理程式
JP2017203701A (ja) 情報処理装置、計測システム、情報処理方法およびプログラム
JP2012141758A (ja) 三次元データ処理装置、方法及びプログラム
JP6306903B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP6770208B2 (ja) 情報処理装置
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10798360B2 (en) Information processing system, method for controlling same, and program
JP6768400B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6938201B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7433849B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20140104386A1 (en) Observation support device, observation support method and computer program product
JP2020017096A (ja) 計測装置、計測方法及び計測プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180309

R151 Written notification of patent or utility model registration

Ref document number: 6306903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151