JP2007183908A - 物体検出方法 - Google Patents
物体検出方法 Download PDFInfo
- Publication number
- JP2007183908A JP2007183908A JP2006158159A JP2006158159A JP2007183908A JP 2007183908 A JP2007183908 A JP 2007183908A JP 2006158159 A JP2006158159 A JP 2006158159A JP 2006158159 A JP2006158159 A JP 2006158159A JP 2007183908 A JP2007183908 A JP 2007183908A
- Authority
- JP
- Japan
- Prior art keywords
- corner
- coordinates
- distance image
- orientation
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】対象物の距離画像(101)から、対象物のコーナーのみを検出して(102)その姿勢を算出し(103)、算出したコーナーの位置姿勢座標と、予めデータベースに記憶した対象物の各コーナーから基準座標までの座標変換量と、から対象物の基準座標の候補を算出して、これを順次位置姿勢空間に投票し(107)、該空間上から最も得票の多かった位置姿勢を特定し(108)、これを対象物の位置と姿勢とする。
【選択図】図1
Description
先ず、ステップ101では計測対象物の距離画像を取得する。
次にステップ102では距離画像からコーナーを抽出する。コーナーでは、距離画像中では局所的にみて全方向へ大きな距離の変化がある。このような箇所を距離画像から探索することでコーナーの候補点を抽出することができる。図2〜4にコーナー候補点近辺の距離画像を示す。図では高さの違いによって高いものを白で、低いものを黒で、その間をグレースケールで表示している。図2のコーナー候補点P1に対して、円状にサーチしてエッジE11、E12を検出することでコーナーの判別を行うことが出来る。図3のように対象物の面S21とS22が重なってできたコーナー候補点P2では面S21のエッジE21とE22がジャンプエッジであり、双方のエッジに対して面S21が上に存在しているがエッジE21、E22とコーナーP2とが直線上に存在するためコーナーではない。また面S22ではエッジE22がジャンプエッジであり、面S22が下に相当するためコーナーとしては採用されない。また図4のように立体的な対象物のコーナーに対して2つの面が観測される場合、E32はルーフエッジであるため候補点P3は2つの面S31とS32に対して各々のコーナーを持つものとして採用する。
TC=TRTP −1
で表される。対象物の各コーナーP1〜4の位置姿勢座標から対象物の基準座標への座標変換量TCを全て算出し、コーナーの角度θとともにステップ105のデータベースに記憶する。データベースに記憶する値は変換行列を与えても良いが、姿勢情報としてオイラー角やロール・ピッチ・ヨー角のような軸周りの回転角を記憶すると、必要となる記憶領域を削減することが出来る。
次にステップ106では対象物の位置姿勢を推定する。コーナーPの位置姿勢TP’とデータベースに登録されている各コーナーの座標変換量TCより対象物は
TR’=TPTC
にあると推定できる。
そのためステップ107では対象物の位置姿勢の候補として位置姿勢空間上にTR’の結果を投票する。
この位置姿勢空間上で得票の最も多い箇所を探索することで、対象物の位置と姿勢を算出することができる(ステップ108)。 この方法を用いると対象物が山積み状態であった場合、最も隠れが少ない対象物に対し投票が集中するため、ロボットで把持し易い対象物を検出することができる。投票時において、位置姿勢の自由度は6自由度あるため、6次元の空間に投票すると膨大な計算量とメモリ空間が必要となる。そのため、3次元の位置空間と3次元の姿勢空間に分けて投票を行い、それぞれ最も得票の高い位置と姿勢とを採用すると計算量が少なくなる。
また、位置空間のみに投票して、最も高いと得票を得た位置に投票したTPとTCのペアに対して、最小2乗法を用いて姿勢を算出すれば、より少ない投票空間で対象物の検出が可能である。
図7は、第2の実施例の物体検出方法のフローを示す。第1実施例同様、物体検出を行うためには予め対象物となる物体の情報を装置に教示する必要があり、その手順を説明する。
図8に具体的な対象物を例にとって説明する。ロボットで対象物を把持することを目的とすると、対象物の基準点Rを把持するための作業点におき、把持する方向を考慮して対象物の基準座標系をとると簡単となる。ワールド座標Oからの対象物の基準座標Rまでの座標変換量TRを予め求めておく。ステップ703までの工程により対象物に対しコーナーPを抽出し、ワールド座標Oからコーナーまでの位置姿勢TPが得られる。TRおよびTPから、対象物のコーナーPにおける位置姿勢の座標から対象物の基準座標Rへの座標変換量TCを求める。このときTCは、TC=TRTP −1 で表される。
実作業時においては、先ずステップ701から702までの工程により距離画像からコーナーを抽出する。複数検出されたコーナーから任意のコーナーP’を選びステップ703、704の処理を行う。選択されたコーナーP’に対しコーナーの位置姿勢を算出し(ステップ703)、ステップ701で撮像された距離画像をコーナーの位置姿勢を基準として座標変換TP’を行い、コーナーP’を基準とした距離画像を生成する(ステップ704)。
ステップ706では、生成されたコーナー基準の距離画像とステップ705において記憶された距離画像とを比較し一致度の高い距離画像をもつコーナーをデータベースより探索する。このときコーナーの角度情報θ’とデータベースに記憶されている角度情報θとを比較し、角度の一致するコーナーにおいてのみ距離画像を比較すれば、より探索時間も短縮できる。
またデータベースより一致度の高いコーナーが見つからない場合には、ステップ702より検出されたコーナーから別のコーナーを選びステップ703から706までの処理を行う。ステップ706によりデータベースと一致度の高い距離画像をもつコーナーPが抽出されるなら、そのコーナーPから対象物の基準位置までの座標変換量TCをデータベースから求めることで、
TR’=TCTP’
の式によって対象物の位置姿勢R’を算出することができる(ステップ707)。
Claims (7)
- 三次元空間で対象物を撮像した距離画像から対象物の位置、姿勢を検出する物体検出方法であって、
前記対象物の各コーナーの位置姿勢座標から該対象物の基準座標までの座標変換量と、前記各コーナーの角度と、を予め記憶させてデータベース化し、
前記対象物を撮像した距離画像から複数のコーナーを検出し、
検出された前記複数のコーナーの各々の位置姿勢の座標を算出し、
該複数のコーナーの各々の位置姿勢座標と、前記座標変換量とから前記対象物の複数の基準座標の候補を算出し、
前記複数の基準座標の候補を、前記対象物の位置空間と姿勢空間とへ投票し、
前記位置空間と前記姿勢空間において、前記複数の基準座標の候補のうち最も多い基準座標を特定し、
該基準座標を前記対象物の位置、姿勢と認識することを特徴とした物体検出方法。 - 前記複数の基準座標の候補を、前記対象物の位置空間と姿勢空間とへ投票する際、
先ず前記位置空間のみへ投票し、
該位置空間で最も多い位置へ投票した前記コーナーを特定し、
該コーナーの姿勢座標と、前記座標変換量とから前記基準座標を算出し、
該基準座標を前記対象物の位置、姿勢と認識することを特徴とした請求項1記載の物体検出方法。 - 前記複数の基準座標の候補を、前記対象物の位置空間と姿勢空間とへ投票する際、
検出された前記複数のコーナーの角度を算出し、該角度が、前記データベースに記憶された角度と略一致するコーナーに対してのみ、該コーナーの姿勢座標と前記座標変換量とから前記基準座標の候補を算出させ、前記投票をおこなうことを特徴とした請求項1記載の物体検出方法。 - 前記対象物を撮像した距離画像から複数のコーナーを検出させる際、
前記距離画像と同一視点から観測される濃淡画像を取り込み、
前記濃淡画像において前記対象物の表面の模様から濃淡が異なる2方向以上に変化する濃淡変化点を検出し、
前記濃淡変化点もコーナーとして検出することを特徴とした請求項1記載の物体検出方法。 - 三次元空間で対象物を撮像した距離画像から対象物の位置、姿勢を検出する物体検出方法であって、
前記対象物の各コーナーの位置姿勢座標を検出し、前記位置姿勢座標から前記対象物の基準座標までの座標変換量と、前記距離画像を前記各コーナーの位置姿勢を基準とした座標へ変換した基準距離画像と、前記各コーナーの角度と、を前記各コーナー毎に予め記憶させてデータベース化し、
前記対象物を撮像した距離画像から複数のコーナーを検出し、
検出された前記複数のコーナーから選んだ任意のコーナーの位置姿勢座標を算出し、
前記距離画像を前記任意のコーナーの位置姿勢を基準として座標変換した変換距離画像を生成し、
前記変換距離画像と前記データベースに記憶された前記基準距離画像とを比較し、
一致したコーナーにおける前記対象物の前記基準座標からの座標変換量から前記対象物の位置、姿勢を認識することを特徴とした物体検出方法。 - 前記変換距離画像と前記データベースにより記憶された前記基準距離画像とを比較する際、
検出された前記任意のコーナーの角度を算出し、該角度が前記データベースに記憶された前記各コーナーの角度と略一致するコーナーに対してのみ前記比較を行うことを特徴とした請求項6記載の物体検出方法。 - 請求項1乃至6項のいずれかに記載の方法により物体の検出を行うことを特徴としたロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006158159A JP4793109B2 (ja) | 2005-12-05 | 2006-06-07 | 物体検出法およびロボット |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005350277 | 2005-12-05 | ||
JP2005350277 | 2005-12-05 | ||
JP2006158159A JP4793109B2 (ja) | 2005-12-05 | 2006-06-07 | 物体検出法およびロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007183908A true JP2007183908A (ja) | 2007-07-19 |
JP4793109B2 JP4793109B2 (ja) | 2011-10-12 |
Family
ID=38339922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006158159A Expired - Fee Related JP4793109B2 (ja) | 2005-12-05 | 2006-06-07 | 物体検出法およびロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4793109B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009028489A1 (ja) * | 2007-08-30 | 2009-03-05 | Kabushiki Kaisha Yaskawa Denki | 物体検出方法と物体検出装置およびロボットシステム |
JP2010146357A (ja) * | 2008-12-19 | 2010-07-01 | Panasonic Electric Works Co Ltd | 3次元画像処理方法および3次元画像処理装置 |
KR20120108497A (ko) * | 2011-03-24 | 2012-10-05 | 삼성테크윈 주식회사 | 비전 검사 장치 및 방법 |
KR101754401B1 (ko) * | 2016-04-14 | 2017-07-06 | 전남대학교산학협력단 | 민감도를 고려한 다차원 특징의 n차구 기반 앵귤라 보우팅 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0689341A (ja) * | 1992-09-07 | 1994-03-29 | Toshiba Corp | 部品位置検出方法 |
JPH0788791A (ja) * | 1993-09-20 | 1995-04-04 | Mitsubishi Electric Corp | ロボット装置およびその周辺装置 |
JPH0818290A (ja) * | 1994-04-26 | 1996-01-19 | Yamaha Motor Co Ltd | チップ部品の認識方法及び同装置 |
JP2001250122A (ja) * | 2000-03-06 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 物体の位置姿勢決定処理方法およびそのためのプログラム記録媒体 |
JP2003172605A (ja) * | 2001-12-10 | 2003-06-20 | Daifuku Co Ltd | 物品位置認識装置 |
-
2006
- 2006-06-07 JP JP2006158159A patent/JP4793109B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0689341A (ja) * | 1992-09-07 | 1994-03-29 | Toshiba Corp | 部品位置検出方法 |
JPH0788791A (ja) * | 1993-09-20 | 1995-04-04 | Mitsubishi Electric Corp | ロボット装置およびその周辺装置 |
JPH0818290A (ja) * | 1994-04-26 | 1996-01-19 | Yamaha Motor Co Ltd | チップ部品の認識方法及び同装置 |
JP2001250122A (ja) * | 2000-03-06 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 物体の位置姿勢決定処理方法およびそのためのプログラム記録媒体 |
JP2003172605A (ja) * | 2001-12-10 | 2003-06-20 | Daifuku Co Ltd | 物品位置認識装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009028489A1 (ja) * | 2007-08-30 | 2009-03-05 | Kabushiki Kaisha Yaskawa Denki | 物体検出方法と物体検出装置およびロボットシステム |
JP5458885B2 (ja) * | 2007-08-30 | 2014-04-02 | 株式会社安川電機 | 物体検出方法と物体検出装置およびロボットシステム |
JP2010146357A (ja) * | 2008-12-19 | 2010-07-01 | Panasonic Electric Works Co Ltd | 3次元画像処理方法および3次元画像処理装置 |
KR20120108497A (ko) * | 2011-03-24 | 2012-10-05 | 삼성테크윈 주식회사 | 비전 검사 장치 및 방법 |
KR101659309B1 (ko) * | 2011-03-24 | 2016-09-26 | 한화테크윈 주식회사 | 비전 검사 장치 및 방법 |
KR101754401B1 (ko) * | 2016-04-14 | 2017-07-06 | 전남대학교산학협력단 | 민감도를 고려한 다차원 특징의 n차구 기반 앵귤라 보우팅 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP4793109B2 (ja) | 2011-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7280687B2 (en) | Device for detecting position/orientation of object | |
JP5458885B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
JP3242108B2 (ja) | ターゲットマークの認識・追跡システム及び方法 | |
JP5088278B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
JP4766269B2 (ja) | 物体検出方法、物体検出装置、及びそれを備えたロボット | |
US9118823B2 (en) | Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image | |
KR102056664B1 (ko) | 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템 | |
US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
US20150262012A1 (en) | Object picking system, object detecting device, object detecting method | |
JP2016181183A (ja) | 情報処理装置、情報処理方法、プログラム | |
US8611672B2 (en) | Work piece shape estimation device and work piece shape estimation method | |
US20130058526A1 (en) | Device for automated detection of feature for calibration and method thereof | |
JPH08136220A (ja) | 物品の位置検出方法およびその装置 | |
JP5093591B2 (ja) | 三次元位置姿勢計測方法および装置 | |
JP4793109B2 (ja) | 物体検出法およびロボット | |
JP2009128192A (ja) | 物体認識装置およびロボット装置 | |
JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
JP6237122B2 (ja) | ロボット、画像処理方法及びロボットシステム | |
JP2010243405A (ja) | 画像処理用マーカー、それが表示された対象物の位置及び姿勢を検出するための画像処理装置及び画像処理プログラム | |
JP2010032258A (ja) | デパレタイズ用のワーク位置認識装置および方法 | |
JP2014106856A (ja) | 画像認識方法および画像認識装置 | |
JP2011174891A (ja) | 位置姿勢計測装置、位置姿勢計測方法、及びプログラム | |
JP6041710B2 (ja) | 画像認識方法 | |
JP3516668B2 (ja) | 3次元形状認識方法、装置およびプログラム | |
JPH1166321A (ja) | ワーク位置検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110314 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110609 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110628 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110711 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |