JP2015170116A - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents
情報処理装置、情報処理装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2015170116A JP2015170116A JP2014044261A JP2014044261A JP2015170116A JP 2015170116 A JP2015170116 A JP 2015170116A JP 2014044261 A JP2014044261 A JP 2014044261A JP 2014044261 A JP2014044261 A JP 2014044261A JP 2015170116 A JP2015170116 A JP 2015170116A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- viewpoint
- processing apparatus
- information processing
- assembled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】情報処理装置であって、部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する第1の特徴抽出部と、部品の特徴を第2の特徴として視点ごとに抽出する第2の特徴抽出部と、第1の特徴と第2の特徴とに基づいて、部品の組み付け状態を検査するための視点を決定する決定部とを備える。
【選択図】 図3
Description
部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する第1の特徴抽出手段と、
前記部品の特徴を第2の特徴として前記視点ごとに抽出する第2の特徴抽出手段と、
前記第1の特徴と前記第2の特徴とに基づいて、前記部品の組み付け状態を検査するための視点を決定する決定手段と
を備える。
第1実施形態では、組み付け部品の組み付け状態を検査する視点の良否を判定するための評価値として、組み付け部品を構成する各部品(以下、「単体部品」と呼ぶ)の観察可能な度合いを示す可視度を導出する例について説明する。検査方法として、各単体部品の3次元位置姿勢を推定し、その推定値を、3次元位置姿勢の正解値と比較することで組み付け状態を判定する例を想定する。
不図示の視点設定部は、評価対象とする視点を設定する。視点は、視点から組み付け部品までを結ぶベクトルで表現する。ベクトルの大きさと方向は、組み付け部品から視点までの距離と方向を示す。なお、視点を一意に示せれば何でもよく、表現方法に制限はない。例えば、組み付け部品の3次元形状モデルに設定された座標系から視点に設定された座標系への変換行列を視点として表現してもよい。
第1の特徴抽出部102は、ステップS301で設定した視点で、モデル情報保持部105が保持する組み付け部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
第2の特徴抽出部103は、ステップS301で設定した視点近傍で、モデル情報保持部105が保持する単体部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
評価値算出部104は、視点の評価値として、単体部品の観察可能な度合いを示す可視度を算出する。可視度の算出方法については、上述したとおりである。
第1実施形態では特徴を幾何特徴としたが、これに限らず単体部品の観察可能な度合いを示す可視度を示すのに適した特徴であれば、別のものであってもよい。例えば、単体部品の可視領域の大きさとしても良い。可視領域の大きさは、画像面での画素数とする。算出方法は次の通りである。まず、組み付け部品の3次元形状モデルを評価対象となる視点に基づいて画像面に投影する。そして、画像面で各単体部品に該当する領域の画素数を算出する。
第1実施形態では、可視度を、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比の総和とした。しかし、これに限らず、単体部品の観察可能な度合いを示す指標であれば別のものであってもよい。
第1実施形態では、可視度を、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比の総和とした。また、変形例2では、各単体部品の可視領域の大きさに対する組み付け部品における当該単体部品の可視領域の大きさの比の総和とした。しかし、これに限らず、単体部品の観察可能な度合いを示す指標であれば別のものであってもよい。例えば、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比のうち、特徴の数の比の最小値を可視度としてもよい。
第1実施形態では、可視度を、各単体部品の特徴の数に対する組み付け状態における当該単体部品の特徴の数の比の総和とした。また、変形例2では、各単体部品の可視領域の大きさに対する組み付け部品における当該単体部品の可視領域の大きさの比の総和とした。また、変形例3では第1実施形態と同様にして求めた特徴の数の比の最小値とした。しかし、これに限らず、組み付け状態における単体部品の観察可能な度合いを示す指標であれば別のものであってもよい。
第1実施形態、変形例2〜4では、組み付け状態を検査する視点の評価値として、組み付け状態における単体部品の観察可能な度合いを示す可視度を算出した。しかし、これに限らず、単体部品の3次元位置姿勢の確定度合いを示す指標であれば、別のものであってもよい。
第1実施形態では、モデル情報保持部105が保持する3次元形状モデルに基づいて特徴を抽出したが、これに限らず、実際の部品を撮影して得られた画像情報を取得し、当該画像情報に基づいて特徴を抽出してもよい。撮影画像が輝度画像の場合には、隣接する画素との輝度値の差が閾値以上となる画素をエッジ特徴として抽出する。また、撮影画像が距離画像の場合には、隣接する画素との距離値の差が閾値以上となる画素をエッジとして抽出する。なお、これに限らず抽出する特徴は、撮影画像から抽出できる幾何特徴であれば他のものであってもよい。例えば、距離画像の各画素に格納された距離値を単純に特徴として抽出してもよい。
第1実施形態では、視点の評価値を算出する方法について説明したが、さらに、情報処理装置101が視点の評価結果を表示するためのユーザインタフェースを備えることで、視点の評価値をユーザに通知してもよい。また、情報処理装置101が、評価する視点を設定するためのユーザインタフェースを備えており、当該ユーザインタフェースを使用してユーザが任意に評価する視点を設定してもよい。
第2実施形態では、組み付け部品の組み付け状態を検査する視点の評価値を用いて、複数の視点候補の中から、検査に最適な視点を決定する方法について説明する。
視点生成部501は、組み付け部品を観察する視点を複数生成する。視点の生成方法は上述したとおりである。
第1の特徴抽出部102は、ステップS701で視点生成部501が生成した視点ごとに、モデル情報保持部105が保持する組み付け部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
第2の特徴抽出部103は、ステップS701で視点生成部501が生成した視点またはその近傍となる視点ごとに、モデル情報保持部105が保持する単体部品の3次元形状モデルから特徴を抽出する。特徴を抽出する方法については、上述したとおりである。
評価値算出部104は、ステップS701で視点生成部501が生成した視点ごとに、視点の評価値を算出する。評価値の算出方法については、上述したとおりである。
検査視点決定部502は、ステップ504で算出した視点の評価値が最大となる視点を検査視点として決定する。なお、評価値として可視度と分布度との両方を同時に用いる場合には、まず、可視度または分布度が予め設定した閾値以上となる視点を選択し、選択した視点の中から分布度または可視度が最大となる視点を検査視点とする。
第2実施形態では、視点生成部501が生成した視点の中から、視点の評価値が最大となる視点を検査視点とした。しかし、これに限らず、視点生成部501が生成した視点の中から検査視点が決定できる方法であれば、別のものであってもよい。
第2実施形態では、検査視点として1つの視点を決定する方法について説明した。しかし、部品の形状や部品同士の隠れなどの原因により、1つの視点で組み付け部品を観察した結果のみからでは、組み付け状態の判定ができない場合がある。このような場合には、複数の視点で組み付け部品を観察した結果を統合し、組み付け状態を判定する必要がある。
各視点の評価値の和に基づいて組み付け検査の視点を選択する。選択方法については、上述した通りである。
ステップS801で選択した視点の組み合わせの中から、視点の数や視点間の距離の観点から、組み付け検査の視点に適した視点の組み合わせを選択する。選択方法については、上述した通りである。
第3実施形態では、第1の組み合わせ選択部901及び第2の組み合わせ選択部902の両方を用いて、検査に最適な視点の組み合わせを算出した。しかし、第1の組み合わせ選択部901のみを用いて検査に最適な視点の組み合わせを算出してもよい。この場合、各視点の評価値の和が予め設定した閾値以上となる視点の組み合わせが検査視点とすればよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (15)
- 部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する第1の特徴抽出手段と、
前記部品の特徴を第2の特徴として前記視点ごとに抽出する第2の特徴抽出手段と、
前記第1の特徴と前記第2の特徴とに基づいて、前記部品の組み付け状態を検査するための視点を決定する決定手段と
を備えることを特徴とする情報処理装置。 - 前記部品及び前記組み付け部品の形状情報を保持するモデル情報保持手段をさらに備え、
前記第1の特徴抽出手段は、前記組み付け部品の形状情報に基づいて前記第1の特徴を抽出し、
前記第2の特徴抽出手段は、前記部品の形状情報に基づいて前記第2の特徴を抽出することを特徴とする請求項1に記載の情報処理装置。 - 前記部品及び前記組み付け部品を撮影して得られた画像情報を取得する取得手段をさらに備え、
前記第1の特徴抽出手段は、前記組み付け部品の画像情報に基づいて前記第1の特徴を抽出し、
前記第2の特徴抽出手段は、前記部品の画像情報に基づいて前記第2の特徴を抽出することを特徴とする請求項1または2に記載の情報処理装置。 - 前記第1の特徴及び前記第2の特徴は、それぞれ前記組み付け部品の幾何特徴及び前記部品の幾何特徴であることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記第1の特徴及び前記第2の特徴は、それぞれ前記組み付け部品の可視領域の大きさ及び前記部品の可視領域の大きさであるとすることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記組み付け状態における前記部品の3次元位置姿勢が確定可能な度合いを示す評価値を前記視点ごとに導出する導出手段を更に備え、
前記決定手段は、前記導出される評価値に基づいて、視点を決定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。 - 前記評価値は、特徴の空間的な広がり度合を示す分布度であることを特徴とする請求項6に記載の情報処理装置。
- 前記導出手段は、前記第2の特徴に対する前記第1の特徴の比に基づいて前記評価値を導出することを特徴とする請求項6に記載の情報処理装置
- 前記導出手段は、前記第2の特徴の数に対する前記第1の特徴の数の比に基づいて前記評価値を導出することを特徴とする請求項6に記載の情報処理装置。
- 前記組み付け部品を観察するための複数の視点の位置姿勢を生成する視点生成手段を更に備え、
前記決定手段は、前記導出手段により導出された前記視点ごとの評価値に基づいて、前記組み付け部品の組み付け状態を検査するための視点を前記複数の視点から決定することを特徴とする請求項6乃至9の何れか1項に記載の情報処理装置。 - 前記決定手段は、前記評価値が最も高い視点を前記視点として決定することを特徴とする請求項10に記載の情報処理装置。
- 前記視点ごとに導出した視点の評価値の和に基づいて視点の組み合わせを選択する第1の組み合わせ選択手段をさらに備え、
前記決定手段は、前記第1の組み合わせ選択手段により選択された視点の組み合わせを前記視点として決定することを特徴とする請求項10に記載の情報処理装置。 - 前記第1の組み合わせ選択手段により選択された視点の組み合わせの中から、視点の数または視点間の距離が最小となる視点の組み合わせを選択する第2の組み合わせ選択手段をさらに備え、
前記決定手段は、前記第2の組み合わせ選択手段により選択された視点の組み合わせを前記視点として決定することを特徴とする請求項12に記載の情報処理装置。 - 情報処理装置の制御方法であって、
第1の特徴抽出手段が、部品が組み付けられた組み付け部品の特徴を第1の特徴として視点ごとに抽出する工程と、
第2の特徴抽出手段が、前記部品の特徴を第2の特徴として前記視点ごとに抽出する工程と、
決定手段が、前記第1の特徴と前記第2の特徴とに基づいて、前記部品の組み付け状態を検査するための視点を決定する工程と
を有することを特徴とする情報処理装置の制御方法。 - 請求項14に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014044261A JP6306903B2 (ja) | 2014-03-06 | 2014-03-06 | 情報処理装置、情報処理装置の制御方法およびプログラム |
US14/624,474 US9563816B2 (en) | 2014-03-06 | 2015-02-17 | Information processing apparatus, method for controlling information processing apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014044261A JP6306903B2 (ja) | 2014-03-06 | 2014-03-06 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015170116A true JP2015170116A (ja) | 2015-09-28 |
JP6306903B2 JP6306903B2 (ja) | 2018-04-04 |
Family
ID=54017853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014044261A Active JP6306903B2 (ja) | 2014-03-06 | 2014-03-06 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9563816B2 (ja) |
JP (1) | JP6306903B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017162449A (ja) * | 2016-03-02 | 2017-09-14 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10265850B2 (en) | 2016-11-03 | 2019-04-23 | General Electric Company | Robotic sensing apparatus and methods of sensor planning |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051718A (ja) * | 1999-08-06 | 2001-02-23 | Hitachi Ltd | プラント運転監視方法とその装置 |
JP2005052926A (ja) * | 2003-08-04 | 2005-03-03 | Denso Corp | 視覚検査装置の教示装置及び教示方法 |
JP2005310020A (ja) * | 2004-04-26 | 2005-11-04 | Nintendo Co Ltd | 3次元画像生成装置および3次元画像生成プログラム |
JP2006171889A (ja) * | 2004-12-13 | 2006-06-29 | Ricoh Co Ltd | 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム |
JP2007200130A (ja) * | 2006-01-27 | 2007-08-09 | National Agriculture & Food Research Organization | 景観解析方法とこの方法を実行するコンピュータプログラムおよびこのプログラムを格納した媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064759A (en) * | 1996-11-08 | 2000-05-16 | Buckley; B. Shawn | Computer aided inspection machine |
US7796801B2 (en) * | 1999-08-26 | 2010-09-14 | Nanogeometry Research Inc. | Pattern inspection apparatus and method |
US6675120B2 (en) * | 2000-06-27 | 2004-01-06 | Photon Dynamics, Inc. | Color optical inspection system |
JP4595705B2 (ja) * | 2005-06-22 | 2010-12-08 | オムロン株式会社 | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 |
JP2008170331A (ja) | 2007-01-12 | 2008-07-24 | Toyota Motor Corp | 組み付け検査方法 |
US8131055B2 (en) * | 2008-01-31 | 2012-03-06 | Caterpillar Inc. | System and method for assembly inspection |
US9076195B2 (en) * | 2013-08-29 | 2015-07-07 | The Boeing Company | Methods and apparatus to identify components from images of the components |
-
2014
- 2014-03-06 JP JP2014044261A patent/JP6306903B2/ja active Active
-
2015
- 2015-02-17 US US14/624,474 patent/US9563816B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051718A (ja) * | 1999-08-06 | 2001-02-23 | Hitachi Ltd | プラント運転監視方法とその装置 |
JP2005052926A (ja) * | 2003-08-04 | 2005-03-03 | Denso Corp | 視覚検査装置の教示装置及び教示方法 |
JP2005310020A (ja) * | 2004-04-26 | 2005-11-04 | Nintendo Co Ltd | 3次元画像生成装置および3次元画像生成プログラム |
JP2006171889A (ja) * | 2004-12-13 | 2006-06-29 | Ricoh Co Ltd | 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム |
JP2007200130A (ja) * | 2006-01-27 | 2007-08-09 | National Agriculture & Food Research Organization | 景観解析方法とこの方法を実行するコンピュータプログラムおよびこのプログラムを格納した媒体 |
Non-Patent Citations (1)
Title |
---|
國枝 和雄: "仮想博物館における情報散策インタフェース", 情報処理学会論文誌 第40巻 NO.SIG3(TOD1), vol. Vol.40 No.SIG3(TOD1) Feb.1999, JPN6018004340, 15 February 1999 (1999-02-15), JP, pages 185 - 194, ISSN: 0003735271 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017162449A (ja) * | 2016-03-02 | 2017-09-14 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6306903B2 (ja) | 2018-04-04 |
US9563816B2 (en) | 2017-02-07 |
US20150254831A1 (en) | 2015-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2019534510A5 (ja) | ||
CN102510506B (zh) | 一种基于双目图像和距离信息的虚实遮挡处理方法 | |
EP3239931A1 (en) | Image processing apparatus and image processing method | |
JP6054831B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6352208B2 (ja) | 三次元モデル処理装置およびカメラ校正システム | |
JP2016109669A (ja) | 情報処理装置、情報処理方法、プログラム | |
US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
JP6185385B2 (ja) | 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム | |
RU2013140835A (ru) | Устройство обработки изображения, способ обработки изображения и программа | |
JP6723798B2 (ja) | 情報処理装置、方法、プログラム | |
TWI671544B (zh) | 氣象資料處理裝置、包含氣象資料處理裝置之系統、氣象資料處理方法及氣象資料處理程式 | |
JP2017203701A (ja) | 情報処理装置、計測システム、情報処理方法およびプログラム | |
JP2012141758A (ja) | 三次元データ処理装置、方法及びプログラム | |
JP6306903B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP6770208B2 (ja) | 情報処理装置 | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
CN112883920A (zh) | 基于点云深度学习的三维人脸扫描特征点检测方法和装置 | |
JP7341736B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10798360B2 (en) | Information processing system, method for controlling same, and program | |
JP6768400B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6938201B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7433849B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20140104386A1 (en) | Observation support device, observation support method and computer program product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180309 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6306903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |