JP2000094374A - ピッキング装置 - Google Patents
ピッキング装置Info
- Publication number
- JP2000094374A JP2000094374A JP27215598A JP27215598A JP2000094374A JP 2000094374 A JP2000094374 A JP 2000094374A JP 27215598 A JP27215598 A JP 27215598A JP 27215598 A JP27215598 A JP 27215598A JP 2000094374 A JP2000094374 A JP 2000094374A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- image
- picking device
- dimensional
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】物体の３次元姿勢の傾きに依存せずに正確に摘
出手段を物体位置まで移動させることができるピックア
ップ装置を提供する。 【解決手段】少なくとも３つの異なる視点から共通視野
内に計測対象物体が含まれる視線方向で撮像された複数
の画像を取得する手段と、前記複数の画像のなかから選
ばれた複数対の画像により構成される複数のステレオ画
像を用いて計測対象物体の３次元計測を行う手段と、前
記計測対象物体の計測値と予め記憶している前記計測対
象物体の物体モデルとを照合して位置・姿勢の認識結果
を得る手段と、前記認識結果の計測信頼度を求める手段
とを備え、前記複数のステレオ画像毎に得られた同一の
計測対象物体の位置・姿勢についての複数の認識結果
と、各認識結果についての計測信頼度とに基づいて把持
物体を決定する。
出手段を物体位置まで移動させることができるピックア
ップ装置を提供する。 【解決手段】少なくとも３つの異なる視点から共通視野
内に計測対象物体が含まれる視線方向で撮像された複数
の画像を取得する手段と、前記複数の画像のなかから選
ばれた複数対の画像により構成される複数のステレオ画
像を用いて計測対象物体の３次元計測を行う手段と、前
記計測対象物体の計測値と予め記憶している前記計測対
象物体の物体モデルとを照合して位置・姿勢の認識結果
を得る手段と、前記認識結果の計測信頼度を求める手段
とを備え、前記複数のステレオ画像毎に得られた同一の
計測対象物体の位置・姿勢についての複数の認識結果
と、各認識結果についての計測信頼度とに基づいて把持
物体を決定する。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元空間中での
位置・姿勢が任意である物体の位置・姿勢を画像計測し
た結果により把持手段を制御して物体をピックアップす
るピッキング装置に関するものである。
位置・姿勢が任意である物体の位置・姿勢を画像計測し
た結果により把持手段を制御して物体をピックアップす
るピッキング装置に関するものである。
【０００２】
【従来の技術】従来、物体をピックアップする装置とし
て、特開平４−３３１０８１号の「物体摘出装置」が
あった。これは、異なる方向から光を順次照射し、それ
に同期して撮像した画像から物体同士の重なりを判定
し、物体候補領域の面積により物体の２次元位置を得る
ものであった。また、別の物体をピックアップする装置
として、特開平３−２０２２９０号の「ばら積み物体
の取出装置」があった。これは物体の上面の高さを計測
し、計測された上面の高さが所定の基準高さ以上の物体
の中からピックアップ物体を決定するものであった。
て、特開平４−３３１０８１号の「物体摘出装置」が
あった。これは、異なる方向から光を順次照射し、それ
に同期して撮像した画像から物体同士の重なりを判定
し、物体候補領域の面積により物体の２次元位置を得る
ものであった。また、別の物体をピックアップする装置
として、特開平３−２０２２９０号の「ばら積み物体
の取出装置」があった。これは物体の上面の高さを計測
し、計測された上面の高さが所定の基準高さ以上の物体
の中からピックアップ物体を決定するものであった。
【０００３】
【発明が解決しようとする課題】従来技術では、物体
の２次元位置は検出されるものの、物体を正確にピック
アップするために必要な３次元の位置・姿勢の情報を得
るには、別途、３次元計測手段が必要であるという問題
点があった。また、従来技術では、上面の高さが所定
の基準高さ以上の物体の中からピックアップすべき物体
を決定するものであるため、３次元姿勢の傾きが大きな
物体を検出することが困難であった。さらに、従来技術
，ともに、その計測結果に対する信頼度を考慮して
いないため、摘出手段（例えば、ロボット）を誤った位
置に移動させる恐れもあった。
の２次元位置は検出されるものの、物体を正確にピック
アップするために必要な３次元の位置・姿勢の情報を得
るには、別途、３次元計測手段が必要であるという問題
点があった。また、従来技術では、上面の高さが所定
の基準高さ以上の物体の中からピックアップすべき物体
を決定するものであるため、３次元姿勢の傾きが大きな
物体を検出することが困難であった。さらに、従来技術
，ともに、その計測結果に対する信頼度を考慮して
いないため、摘出手段（例えば、ロボット）を誤った位
置に移動させる恐れもあった。
【０００４】本発明は上述のような点に鑑みてなされた
ものであり、その目的とするところは、物体の３次元姿
勢の傾きに依存せずに正確に摘出手段を物体位置まで移
動させることができるピックアップ装置を提供すること
にある。
ものであり、その目的とするところは、物体の３次元姿
勢の傾きに依存せずに正確に摘出手段を物体位置まで移
動させることができるピックアップ装置を提供すること
にある。
【０００５】
【課題を解決するための手段】請求項１の発明では、上
記の課題を解決するために、図１に示すように、３次元
空間中での位置・姿勢が任意である物体１４の位置・姿
勢を検出する３次元計測手段１２と、物体の３次元計測
結果に基づいてピックアップすべき物体の位置・姿勢を
決定する把持物体決定手段１３と、物体１４をピックア
ップする把持手段１６と、前記把持物体決定手段１３に
より決定されたピックアップすべき物体の位置・姿勢に
基づいて前記把持手段１６を移動させる移動手段１５と
から成るピッキング装置において、前記３次元計測手段
１２は、少なくとも３つの異なる視点から共通視野内に
計測対象物体が含まれる視線方向で撮像された複数の画
像を取得する手段１１ａ〜１１ｃと、前記複数の画像の
なかから選ばれた複数対の画像により構成される複数の
ステレオ画像を用いて計測対象物体の３次元計測を行う
手段と、前記計測対象物体の計測値と予め記憶している
前記計測対象物体の物体モデルとを照合して位置・姿勢
の認識結果を得る手段と、前記認識結果の計測信頼度を
求める手段とを備え、前記把持物体決定手段１３は、前
記複数のステレオ画像毎に得られた同一の計測対象物体
の位置・姿勢についての複数の認識結果と各認識結果に
ついての計測信頼度とに基づいて把持物体を決定する手
段を備えることを特徴とするものである。
記の課題を解決するために、図１に示すように、３次元
空間中での位置・姿勢が任意である物体１４の位置・姿
勢を検出する３次元計測手段１２と、物体の３次元計測
結果に基づいてピックアップすべき物体の位置・姿勢を
決定する把持物体決定手段１３と、物体１４をピックア
ップする把持手段１６と、前記把持物体決定手段１３に
より決定されたピックアップすべき物体の位置・姿勢に
基づいて前記把持手段１６を移動させる移動手段１５と
から成るピッキング装置において、前記３次元計測手段
１２は、少なくとも３つの異なる視点から共通視野内に
計測対象物体が含まれる視線方向で撮像された複数の画
像を取得する手段１１ａ〜１１ｃと、前記複数の画像の
なかから選ばれた複数対の画像により構成される複数の
ステレオ画像を用いて計測対象物体の３次元計測を行う
手段と、前記計測対象物体の計測値と予め記憶している
前記計測対象物体の物体モデルとを照合して位置・姿勢
の認識結果を得る手段と、前記認識結果の計測信頼度を
求める手段とを備え、前記把持物体決定手段１３は、前
記複数のステレオ画像毎に得られた同一の計測対象物体
の位置・姿勢についての複数の認識結果と各認識結果に
ついての計測信頼度とに基づいて把持物体を決定する手
段を備えることを特徴とするものである。
【０００６】また、請求項２の発明では、請求項１にお
いて、前記視点の位置は、前記計測対象物体を構成する
面のうち前記物体モデルとして記憶している面が向き得
る方向により決定されることを特徴とするものである。
また、請求項３の発明では、請求項１において、前記３
次元計測手段は、前記複数のステレオ画像のうちでその
基線方向が前記計測対象物体を構成する直線線分のうち
３次元計測対象となる直線線分の画像上での方向と略平
行でないステレオ画像を用いて３次元計測を行うことを
特徴とするものである。
いて、前記視点の位置は、前記計測対象物体を構成する
面のうち前記物体モデルとして記憶している面が向き得
る方向により決定されることを特徴とするものである。
また、請求項３の発明では、請求項１において、前記３
次元計測手段は、前記複数のステレオ画像のうちでその
基線方向が前記計測対象物体を構成する直線線分のうち
３次元計測対象となる直線線分の画像上での方向と略平
行でないステレオ画像を用いて３次元計測を行うことを
特徴とするものである。
【０００７】また、請求項４の発明では、請求項１にお
いて、前記複数の画像は、複数の位置の鏡で反射した像
を１つの撮像装置で撮像して得ることを特徴とするもの
である。また、請求項５の発明では、請求項１におい
て、前記複数の画像は、１つの撮像装置を移動させて複
数の位置で撮像して得ることを特徴とするものである。
また、請求項６の発明では、請求項５において、前記撮
像装置の移動手段と前記把持手段の移動手段とが同一で
あることを特徴とするものである。
いて、前記複数の画像は、複数の位置の鏡で反射した像
を１つの撮像装置で撮像して得ることを特徴とするもの
である。また、請求項５の発明では、請求項１におい
て、前記複数の画像は、１つの撮像装置を移動させて複
数の位置で撮像して得ることを特徴とするものである。
また、請求項６の発明では、請求項５において、前記撮
像装置の移動手段と前記把持手段の移動手段とが同一で
あることを特徴とするものである。
【０００８】また、請求項７の発明では、請求項１にお
いて、前記計測信頼度は、ステレオマッチングにおける
類似度により求めることを特徴とするものである。ま
た、請求項８の発明では、請求項１において、前記計測
信頼度は、ステレオマッチングに利用した線分とステレ
オ画像の基線方向とのなす角度により求めることを特徴
とするものである。また、請求項９の発明では、請求項
１において、前記計測信頼度は、３次元計測値と前記物
体モデルとの整合度により求めることを特徴とするもの
である。
いて、前記計測信頼度は、ステレオマッチングにおける
類似度により求めることを特徴とするものである。ま
た、請求項８の発明では、請求項１において、前記計測
信頼度は、ステレオマッチングに利用した線分とステレ
オ画像の基線方向とのなす角度により求めることを特徴
とするものである。また、請求項９の発明では、請求項
１において、前記計測信頼度は、３次元計測値と前記物
体モデルとの整合度により求めることを特徴とするもの
である。
【０００９】また、請求項１０の発明では、請求項１に
おいて、前記３次元計測手段は、ステレオ画像を低解像
度の画像に変換した後、該画像を処理して得た前記計測
対象物体の画像中での概略位置に基づいて３次元計測を
行うことを特徴とするものである。また、請求項１１の
発明では、請求項１において、前記３次元計測手段は、
同一視点での前回のピックアップ動作時に得た画像と今
回得た画像とを比較して画像間で異なる部分を抽出し、
その異なる部分に基づいて３次元計測を行うことを特徴
とするものである。
おいて、前記３次元計測手段は、ステレオ画像を低解像
度の画像に変換した後、該画像を処理して得た前記計測
対象物体の画像中での概略位置に基づいて３次元計測を
行うことを特徴とするものである。また、請求項１１の
発明では、請求項１において、前記３次元計測手段は、
同一視点での前回のピックアップ動作時に得た画像と今
回得た画像とを比較して画像間で異なる部分を抽出し、
その異なる部分に基づいて３次元計測を行うことを特徴
とするものである。
【００１０】また、請求項１２の発明では、請求項１に
おいて、前記把持物体決定手段は、前回までのピックア
ップ動作時の認識結果と今回のピックアップ動作時の認
識結果とを比較し、同一物体に対する認識結果であれば
前記２つの認識結果をその計測信頼度に基づいて統合す
ることにより把持物体を決定することを特徴とするもの
である。また、請求項１３の発明では、請求項１２にお
いて、前記把持物体決定手段は、複数の物体に対する認
識結果のうち計測信頼度が最も高い認識結果を把持物体
の位置・姿勢として決定することを特徴とするものであ
る。
おいて、前記把持物体決定手段は、前回までのピックア
ップ動作時の認識結果と今回のピックアップ動作時の認
識結果とを比較し、同一物体に対する認識結果であれば
前記２つの認識結果をその計測信頼度に基づいて統合す
ることにより把持物体を決定することを特徴とするもの
である。また、請求項１３の発明では、請求項１２にお
いて、前記把持物体決定手段は、複数の物体に対する認
識結果のうち計測信頼度が最も高い認識結果を把持物体
の位置・姿勢として決定することを特徴とするものであ
る。
【００１１】また、請求項１４の発明では、請求項１２
において、前記把持物体決定手段は、複数の物体に対す
る認識結果のうち他の物体と接触していない物体に対す
る認識結果を把持物体の位置・姿勢として決定すること
を特徴とするものである。また、請求項１５の発明で
は、請求項１２において、前記把持物体決定手段は、複
数の物体に対する認識結果のうち最上位置の認識結果を
把持物体の位置・姿勢として決定することを特徴とする
ものである。
において、前記把持物体決定手段は、複数の物体に対す
る認識結果のうち他の物体と接触していない物体に対す
る認識結果を把持物体の位置・姿勢として決定すること
を特徴とするものである。また、請求項１５の発明で
は、請求項１２において、前記把持物体決定手段は、複
数の物体に対する認識結果のうち最上位置の認識結果を
把持物体の位置・姿勢として決定することを特徴とする
ものである。
【００１２】
【発明の実施の形態】（実施例１）図１に本発明のピッ
キング装置の概略構成を一例として示す。３つの異なる
位置に固定されたテレビカメラ１１ａ〜１１ｃにより対
象物体１４を撮像する。得られた画像は、３次元計測手
段１２により処理され、把持物体決定手段１３により把
持物体の位置・姿勢が求められる。その結果に基づき、
把持手段１６を移動手段１５により移動して物体１４を
ピックアップする。ここで、３次元計測手段１２及び把
持物体決定手段１３は、マイクロコンピュータにて構成
される。また、把持手段１６はロボットハンド、移動手
段１５は６軸多関節ロボットで構成される。
キング装置の概略構成を一例として示す。３つの異なる
位置に固定されたテレビカメラ１１ａ〜１１ｃにより対
象物体１４を撮像する。得られた画像は、３次元計測手
段１２により処理され、把持物体決定手段１３により把
持物体の位置・姿勢が求められる。その結果に基づき、
把持手段１６を移動手段１５により移動して物体１４を
ピックアップする。ここで、３次元計測手段１２及び把
持物体決定手段１３は、マイクロコンピュータにて構成
される。また、把持手段１６はロボットハンド、移動手
段１５は６軸多関節ロボットで構成される。
【００１３】３次元計測手段１２及び把持物体決定手段
１３では、具体的に以下の処理を行う。その処理の流れ
を図２に、具体例を図３〜図４に示す。テレビカメラ１
１ａ〜１１ｃにより得られた３つの異なる画像からステ
レオペアを３組作る。すなわち、テレビカメラ１１ａか
ら得た画像と１１ｂから得た画像、１１ｂから得た画像
と１１ｃから得た画像、１１ｃから得た画像と１１ａか
ら得た画像の３組のステレオペアを作る。以下の処理
は、各ステレオペア毎に行われる。
１３では、具体的に以下の処理を行う。その処理の流れ
を図２に、具体例を図３〜図４に示す。テレビカメラ１
１ａ〜１１ｃにより得られた３つの異なる画像からステ
レオペアを３組作る。すなわち、テレビカメラ１１ａか
ら得た画像と１１ｂから得た画像、１１ｂから得た画像
と１１ｃから得た画像、１１ｃから得た画像と１１ａか
ら得た画像の３組のステレオペアを作る。以下の処理
は、各ステレオペア毎に行われる。
【００１４】まず、ステレオ画像に対し、ステレオ画像
が同じ焦点距離・同じ光軸方向のカメラで撮像したのと
同様になるように、いわゆる平行ステレオ変換処理を施
し、平行ステレオ画像を得る。その変換に必要なパラメ
ータは、公知のキャリブレーション手法により予め求め
ておく。次に、平行ステレオ画像のうち片方の画像（以
降、「基準画像」と呼ぶ）の中から、図３に示すよう
に、直線３１ａ〜３１ｄを検出する。これは、画像中の
エッジ点をパラメータ空間に投票することにより画像中
の直線を検出する、いわゆるハフ変換の手法により行わ
れる。
が同じ焦点距離・同じ光軸方向のカメラで撮像したのと
同様になるように、いわゆる平行ステレオ変換処理を施
し、平行ステレオ画像を得る。その変換に必要なパラメ
ータは、公知のキャリブレーション手法により予め求め
ておく。次に、平行ステレオ画像のうち片方の画像（以
降、「基準画像」と呼ぶ）の中から、図３に示すよう
に、直線３１ａ〜３１ｄを検出する。これは、画像中の
エッジ点をパラメータ空間に投票することにより画像中
の直線を検出する、いわゆるハフ変換の手法により行わ
れる。
【００１５】次に、検出した各直線３１ａ〜３１ｄにつ
いてステレオ３次元計測を行う。ステレオ３次元計測
は、基準画像中から抽出した直線上に設定した小領域３
２ａ〜３２ｄに対応する領域が、もう一方の画像（以
降、「参照画像」と呼ぶ）の中のどこにあるかを求め
る、いわゆるエリアベースのステレオマッチングにより
行われ、各領域毎に３次元データが計測される。その際
に得られる対応する小領域同士の類似度を各領域毎に記
憶しておく。その後、直線３１上の各領域３次元データ
から、直線３１の３次元情報（位置・方向）を求めると
同時に、直線３１上の各領域のステレオマッチング時の
類似度を全て加算して、その直線の計測信頼度とする。
次に、直線３１ａ〜３１ｄが基準画像の水平方向となす
角度を各々求め、（式１）により算出される係数αを、
各々の直線の計測信頼度に乗じる。
いてステレオ３次元計測を行う。ステレオ３次元計測
は、基準画像中から抽出した直線上に設定した小領域３
２ａ〜３２ｄに対応する領域が、もう一方の画像（以
降、「参照画像」と呼ぶ）の中のどこにあるかを求め
る、いわゆるエリアベースのステレオマッチングにより
行われ、各領域毎に３次元データが計測される。その際
に得られる対応する小領域同士の類似度を各領域毎に記
憶しておく。その後、直線３１上の各領域３次元データ
から、直線３１の３次元情報（位置・方向）を求めると
同時に、直線３１上の各領域のステレオマッチング時の
類似度を全て加算して、その直線の計測信頼度とする。
次に、直線３１ａ〜３１ｄが基準画像の水平方向となす
角度を各々求め、（式１）により算出される係数αを、
各々の直線の計測信頼度に乗じる。
【００１６】 α＝１＋１００ｓｉｎ（θ） …（式１） θ：直線３１と基準画像水平方向とのなす角度 このようにして、基準画像中で検出した直線３１ａ〜３
１ｄに対する３次元情報（位置・方向）と計測信頼度を
求める。
１ｄに対する３次元情報（位置・方向）と計測信頼度を
求める。
【００１７】その後、各直線の３次元情報と予め登録さ
れているモデルデータ（図４）と照合して、（式２）に
よりモデルとの整合度を求める。 Ｍ＝｜（直線ａと直線ｂの距離）−Ｌ１｜ ＋｜（直線ｃと直線ｄの距離）−Ｌ２｜ ＋｜（直線ａと直線ｄのなす角）−θ１｜ ＋｜（直線ｂと直線ｃのなす角）−θ２｜ …（式２）
れているモデルデータ（図４）と照合して、（式２）に
よりモデルとの整合度を求める。 Ｍ＝｜（直線ａと直線ｂの距離）−Ｌ１｜ ＋｜（直線ｃと直線ｄの距離）−Ｌ２｜ ＋｜（直線ａと直線ｄのなす角）−θ１｜ ＋｜（直線ｂと直線ｃのなす角）−θ２｜ …（式２）
【００１８】画像から計測された直線の組み合わせによ
り複数のモデルとの整合度Ｍが（式２）により得られる
が、その中で最小の整合度となる直線の組み合わせよ
り、物体の位置・姿勢を求める。と同時に、その最小の
整合度と組み合わせた各直線の計測信頼度とを全て加算
して、その物体の計測信頼度とする。以上のようにし
て、各ステレオペア毎に物体の位置・姿勢と計測信頼度
とが求められる。
り複数のモデルとの整合度Ｍが（式２）により得られる
が、その中で最小の整合度となる直線の組み合わせよ
り、物体の位置・姿勢を求める。と同時に、その最小の
整合度と組み合わせた各直線の計測信頼度とを全て加算
して、その物体の計測信頼度とする。以上のようにし
て、各ステレオペア毎に物体の位置・姿勢と計測信頼度
とが求められる。
【００１９】さらに、各ステレオペア毎に得られた物体
の位置・姿勢と計測信頼度の中から、計測信頼度が最も
高い物体の位置・姿勢を把時物体の位置であるとして、
そのデータを移動手段（６軸多関節ロボット）１５に送
り、把持手段（ロボットハンド）１６を移動して物体１
４をピックアップする。
の位置・姿勢と計測信頼度の中から、計測信頼度が最も
高い物体の位置・姿勢を把時物体の位置であるとして、
そのデータを移動手段（６軸多関節ロボット）１５に送
り、把持手段（ロボットハンド）１６を移動して物体１
４をピックアップする。
【００２０】本実施例では、直線検出方法にハフ変換、
ステレオ３次元計測にエリアベースのステレオマッチン
グ方法を用いているが、他の手法を用いても同様の結果
が得られることは言うまでもない。
ステレオ３次元計測にエリアベースのステレオマッチン
グ方法を用いているが、他の手法を用いても同様の結果
が得られることは言うまでもない。
【００２１】（実施例２）本実施例は、実施例１と同様
の構成において、計測精度の向上を目的としたテレビカ
メラ１１ａ〜１１ｃの配置方法に関するものであり、請
求項２に対応する。計測に適した画像とは、図４に示し
た物体モデルとして登録した面４１を正面から撮像した
画像であるので、そのような画像が得られる位置にテレ
ビカメラ１１ａ〜１１ｃを配置することが望ましい。一
方、図５に示すように、物体１４が重なると、物体モデ
ルとして登録した面４１が矢印に示すように色々な方向
を向く。が、例えば物体１４のように厚みが小さい物体
であれば、その向き得る範囲は予測することができる。
の構成において、計測精度の向上を目的としたテレビカ
メラ１１ａ〜１１ｃの配置方法に関するものであり、請
求項２に対応する。計測に適した画像とは、図４に示し
た物体モデルとして登録した面４１を正面から撮像した
画像であるので、そのような画像が得られる位置にテレ
ビカメラ１１ａ〜１１ｃを配置することが望ましい。一
方、図５に示すように、物体１４が重なると、物体モデ
ルとして登録した面４１が矢印に示すように色々な方向
を向く。が、例えば物体１４のように厚みが小さい物体
であれば、その向き得る範囲は予測することができる。
【００２２】そこで、本実施例では、面４１の向き得る
方向が、図６に示すように頂角２θの円錐状である場
合、テレビカメラ１１ａ〜１１ｃを図６に示す６１ａ〜
６１ｃの位置に配置する。各位置６１ａ〜６１ｃは円錐
の頂点を中心として１２０度毎にθ／２の傾きで配置さ
れている。これにより、面４１をできるだけ計測に適し
た画像として撮像することができる。
方向が、図６に示すように頂角２θの円錐状である場
合、テレビカメラ１１ａ〜１１ｃを図６に示す６１ａ〜
６１ｃの位置に配置する。各位置６１ａ〜６１ｃは円錐
の頂点を中心として１２０度毎にθ／２の傾きで配置さ
れている。これにより、面４１をできるだけ計測に適し
た画像として撮像することができる。
【００２３】（実施例３）本実施例は、実施例１と同様
の構成において、計測精度を向上を目的として３次元計
測処理を行うステレオペアの選択方法に関するものであ
り、請求項３に対応する。本発明は、ステレオ３次元計
測を行うが、ステレオ３次元計測の短所として、ステレ
オペアの基線方向と略平行な直線の計測精度は悪いとい
う問題点がある。本実施例は、その問題点を回避するも
のである。
の構成において、計測精度を向上を目的として３次元計
測処理を行うステレオペアの選択方法に関するものであ
り、請求項３に対応する。本発明は、ステレオ３次元計
測を行うが、ステレオ３次元計測の短所として、ステレ
オペアの基線方向と略平行な直線の計測精度は悪いとい
う問題点がある。本実施例は、その問題点を回避するも
のである。
【００２４】本実施例の処理の流れを図７に示す。実施
例１と同様、各ステレオペア毎に平行ステレオ変換処理
を施し、平行ステレオ画像を得る。次に、基準画像中の
直線を検出する。その検出された直線の方向とステレオ
ペアの基線方向とのなす角度を求め、しきい値以下であ
ればそのステレオペアでの処理を行わない。これによ
り、計測精度の悪い直線については計測対象から除外す
ることができる。
例１と同様、各ステレオペア毎に平行ステレオ変換処理
を施し、平行ステレオ画像を得る。次に、基準画像中の
直線を検出する。その検出された直線の方向とステレオ
ペアの基線方向とのなす角度を求め、しきい値以下であ
ればそのステレオペアでの処理を行わない。これによ
り、計測精度の悪い直線については計測対象から除外す
ることができる。
【００２５】（実施例４）本実施例は、ステレオ画像を
得るための画像の撮像方法に関するものであり、請求項
４に対応する。本実施例では、異なる複数の位置から撮
像した画像を複数台のテレビカメラ１１ａ〜１１ｃによ
り得るのではなく、図８に示す構成の光学系により得
る。すなわち、１台のテレビカメラ１１ｄと反射鏡８１
ａ〜８１ｄにより、異なる３つの視点からの画像を得
る。画像の撮像方法以外は、実施例１と同様である。図
８において、反射鏡８１ａ〜８１ｃは固定されており、
反射鏡８１ｄは反射鏡８１ａ〜８１ｃからの反射像をテ
レビカメラ１１ｄに導くことができるように反射面の方
向が変えられる構造となっている。テレビカメラ１１ａ
で撮像した画像に相当する画像をテレビカメラ１１ｄで
得るには、反射鏡８１ａと反射鏡８１ｄにより物体の像
をテレビカメラ１１ｄに導き、画像を撮像する。同様
に、テレビカメラ１１ｂの画像、テレビカメラ１１ｃの
画像に相当する画像は、それぞれ反射鏡８１ｂと反射鏡
８１ｄ、反射鏡８１ｃと反射鏡８１ｄを用いることによ
り得られる。
得るための画像の撮像方法に関するものであり、請求項
４に対応する。本実施例では、異なる複数の位置から撮
像した画像を複数台のテレビカメラ１１ａ〜１１ｃによ
り得るのではなく、図８に示す構成の光学系により得
る。すなわち、１台のテレビカメラ１１ｄと反射鏡８１
ａ〜８１ｄにより、異なる３つの視点からの画像を得
る。画像の撮像方法以外は、実施例１と同様である。図
８において、反射鏡８１ａ〜８１ｃは固定されており、
反射鏡８１ｄは反射鏡８１ａ〜８１ｃからの反射像をテ
レビカメラ１１ｄに導くことができるように反射面の方
向が変えられる構造となっている。テレビカメラ１１ａ
で撮像した画像に相当する画像をテレビカメラ１１ｄで
得るには、反射鏡８１ａと反射鏡８１ｄにより物体の像
をテレビカメラ１１ｄに導き、画像を撮像する。同様
に、テレビカメラ１１ｂの画像、テレビカメラ１１ｃの
画像に相当する画像は、それぞれ反射鏡８１ｂと反射鏡
８１ｄ、反射鏡８１ｃと反射鏡８１ｄを用いることによ
り得られる。
【００２６】このようにして、１台のテレビカメラによ
り複数の視点からの画像を得ることにより、撮像系のパ
ラメータ（焦点距離など）を求める、いわゆるカメラキ
ャリブレーションを複数のカメラに対して行う必要がな
く、装置の使い勝手が向上する。
り複数の視点からの画像を得ることにより、撮像系のパ
ラメータ（焦点距離など）を求める、いわゆるカメラキ
ャリブレーションを複数のカメラに対して行う必要がな
く、装置の使い勝手が向上する。
【００２７】（実施例５）本実施例は、ステレオ画像を
得るための画像の撮像方法に関するものであり、請求項
５、６に対応する。本実施例では、異なる複数の位置か
ら撮像した画像を得るために、１台のテレビカメラを移
動させて撮像を行うものである。画像の撮像方法以外
は、実施例１と同様である。
得るための画像の撮像方法に関するものであり、請求項
５、６に対応する。本実施例では、異なる複数の位置か
ら撮像した画像を得るために、１台のテレビカメラを移
動させて撮像を行うものである。画像の撮像方法以外
は、実施例１と同様である。
【００２８】図９に示すように、把持手段１６の移動手
段１５にテレビカメラ１１を固定し、移動手段１５によ
りテレビカメラ１１を複数の視点位置へ移動させて、画
像を撮像する。このようにして、１台のテレビカメラに
より複数の視点からの画像を得ることにより、撮像系の
パラメータ（焦点距離など）を求める、いわゆるカメラ
キャリブレーションを複数のカメラに対して行う必要が
なく、装置の使い勝手が向上する。
段１５にテレビカメラ１１を固定し、移動手段１５によ
りテレビカメラ１１を複数の視点位置へ移動させて、画
像を撮像する。このようにして、１台のテレビカメラに
より複数の視点からの画像を得ることにより、撮像系の
パラメータ（焦点距離など）を求める、いわゆるカメラ
キャリブレーションを複数のカメラに対して行う必要が
なく、装置の使い勝手が向上する。
【００２９】（実施例６）本実施例は、実施例１と同様
の構成において、３次元計測を効率良く行うための画像
処理方法に関するものであり、請求項１０に対応する。
本実施例では、ステレオ画像を低分解能の画像に変換し
た後、その画像中での物体の概略位置を求め、その位置
を基準に３次元計測処理を行う。
の構成において、３次元計測を効率良く行うための画像
処理方法に関するものであり、請求項１０に対応する。
本実施例では、ステレオ画像を低分解能の画像に変換し
た後、その画像中での物体の概略位置を求め、その位置
を基準に３次元計測処理を行う。
【００３０】図１０に処理の流れを示す。まず、ステレ
オ画像に対し、１画素おきに画像をサンプリングして、
画素数を１／４に減少させた低分解能の画像を得る。そ
の画像に対してハフ変換処理を施し、直線を抽出する。
得られた直線（ｙ＝ａｘ＋ｂ）は、低分解能の画像にお
けるものなので、これを通常分解能の画像での直線（ｙ
＝ａｘ＋２ｂ）に変換する。その後、実施例１と同様
に、直線の３次元計測を行う。このようにすることによ
り、処理が効率良く行われ、高速に処理結果を得ること
ができる。
オ画像に対し、１画素おきに画像をサンプリングして、
画素数を１／４に減少させた低分解能の画像を得る。そ
の画像に対してハフ変換処理を施し、直線を抽出する。
得られた直線（ｙ＝ａｘ＋ｂ）は、低分解能の画像にお
けるものなので、これを通常分解能の画像での直線（ｙ
＝ａｘ＋２ｂ）に変換する。その後、実施例１と同様
に、直線の３次元計測を行う。このようにすることによ
り、処理が効率良く行われ、高速に処理結果を得ること
ができる。
【００３１】（実施例７）本実施例は、実施例１と同様
の構成において、３次元計測を効率良く行うための画像
処理方法に関するものであり、請求項１１に対応する。
図１２に示すように、前回のピックアップ時の画像（前
回画像と呼ぶ）と今回の画像（今回画像と呼ぶ）との差
は、ピックアップされた物体が存在していた部分に生じ
る。それ以外の部分は、前回のピックアップ時に計測済
みであるから、新たに計測すべき部分は、ピックアップ
された物体が存在していた部分であるので、そこだけ新
規に３次元計測処理を行うのである。
の構成において、３次元計測を効率良く行うための画像
処理方法に関するものであり、請求項１１に対応する。
図１２に示すように、前回のピックアップ時の画像（前
回画像と呼ぶ）と今回の画像（今回画像と呼ぶ）との差
は、ピックアップされた物体が存在していた部分に生じ
る。それ以外の部分は、前回のピックアップ時に計測済
みであるから、新たに計測すべき部分は、ピックアップ
された物体が存在していた部分であるので、そこだけ新
規に３次元計測処理を行うのである。
【００３２】図１１に処理の流れを示す。まず、前回画
像と今回画像とを画像間で減算をして差画像を得る。差
画像で画素値が０でない部分は、図１２に示すように、
ピックアップされた物体１２１が存在していたことによ
り変化が生じた部分である。その画素値が０でない部分
だけ３次元計測処理を行い、その結果を前回の計測３次
元データに追加するとともに、ピックアップした物体に
関する３次元データを削除する。その後、実施例１と同
様に処理が行われる。このようにすることにより、処理
が効率良く行われ、高速に処理結果を得ることができ
る。
像と今回画像とを画像間で減算をして差画像を得る。差
画像で画素値が０でない部分は、図１２に示すように、
ピックアップされた物体１２１が存在していたことによ
り変化が生じた部分である。その画素値が０でない部分
だけ３次元計測処理を行い、その結果を前回の計測３次
元データに追加するとともに、ピックアップした物体に
関する３次元データを削除する。その後、実施例１と同
様に処理が行われる。このようにすることにより、処理
が効率良く行われ、高速に処理結果を得ることができ
る。
【００３３】（実施例８）本実施例は、実施例１と同様
の構成において、最適な把持物体の決定方法に関するも
のであり、請求項１２、１３に対応する。図１３に処理
の流れを示す。まず、今回認識された物体と同一である
物体に対する認識結果が前回のピックアップ動作時の認
識結果のなかにあるかどうかを調べる。もし有れば、２
つの認識結果に対する計測信頼度を比較して、計測信頼
度の高い方の認識結果をその物体の認識結果とし、無け
れば、今回の認識結果を物体の認識結果とする。このよ
うにすることにより、精度の良い認識結果を用いること
ができるため、正確に把持手段を物体位置まで移動する
ことができる。
の構成において、最適な把持物体の決定方法に関するも
のであり、請求項１２、１３に対応する。図１３に処理
の流れを示す。まず、今回認識された物体と同一である
物体に対する認識結果が前回のピックアップ動作時の認
識結果のなかにあるかどうかを調べる。もし有れば、２
つの認識結果に対する計測信頼度を比較して、計測信頼
度の高い方の認識結果をその物体の認識結果とし、無け
れば、今回の認識結果を物体の認識結果とする。このよ
うにすることにより、精度の良い認識結果を用いること
ができるため、正確に把持手段を物体位置まで移動する
ことができる。
【００３４】（実施例９）本実施例は、実施例１と同様
の構成において、最適な把持物体の決定方法に関するも
のであり、請求項１４、１５に対応する。図１４に処理
の流れを示す。まず、認識結果を基に、全ての物体に対
して、他の物体と接触しているかどうかを調べる。も
し、他の物体と接触していない物体があれば、それを把
持物体として決定する。もし、全ての物体が他の物体と
接触していれば、最上位置にある物体を把持物体として
決定する。このようにすることにより、他の物体と干渉
することなく確実に物体を把持することができる。
の構成において、最適な把持物体の決定方法に関するも
のであり、請求項１４、１５に対応する。図１４に処理
の流れを示す。まず、認識結果を基に、全ての物体に対
して、他の物体と接触しているかどうかを調べる。も
し、他の物体と接触していない物体があれば、それを把
持物体として決定する。もし、全ての物体が他の物体と
接触していれば、最上位置にある物体を把持物体として
決定する。このようにすることにより、他の物体と干渉
することなく確実に物体を把持することができる。
【００３５】
【発明の効果】請求項１の発明によれば、物体の３次元
姿勢の傾きに依存せずに、正確に把持手段を物体位置ま
で移動させることができる。請求項２、３の発明によれ
ば、認識処理に好適な画像を得たり、認識処理に好適な
画像のみを処理することができ、計測精度が向上する。
姿勢の傾きに依存せずに、正確に把持手段を物体位置ま
で移動させることができる。請求項２、３の発明によれ
ば、認識処理に好適な画像を得たり、認識処理に好適な
画像のみを処理することができ、計測精度が向上する。
【００３６】請求項４〜６の発明によれば、１台の撮像
装置のみを使用することにより、３次元計測時に必要な
撮像装置固有のパラメータ（例えば、レンズ焦点距離）
を求める、いわゆるキャリブレーション作業を１台の撮
像装置に対して行うだけで良く、システムの使い勝手が
向上する。特に請求項６では、撮像装置を移動する手段
と把持手段を移動する手段とが同一であるので、特別の
装置を必要とせずに、システムの使い勝手を向上するこ
とができる。
装置のみを使用することにより、３次元計測時に必要な
撮像装置固有のパラメータ（例えば、レンズ焦点距離）
を求める、いわゆるキャリブレーション作業を１台の撮
像装置に対して行うだけで良く、システムの使い勝手が
向上する。特に請求項６では、撮像装置を移動する手段
と把持手段を移動する手段とが同一であるので、特別の
装置を必要とせずに、システムの使い勝手を向上するこ
とができる。
【００３７】請求項７〜９の発明によれば、認識結果の
計測信頼度を３次元計測あるいは認識時に得られる値か
ら簡便に求められるので、簡単に把持手段を物体位置ま
で正確に移動させることができる。請求項１０、１１の
発明によれば、低解像度の画像や前回のピックアップ動
作時の画像から３次元計測を行う部分を指定して計測処
理領域を限定するので、３次元計測あるいは認識処理を
効率良く行うことができる。
計測信頼度を３次元計測あるいは認識時に得られる値か
ら簡便に求められるので、簡単に把持手段を物体位置ま
で正確に移動させることができる。請求項１０、１１の
発明によれば、低解像度の画像や前回のピックアップ動
作時の画像から３次元計測を行う部分を指定して計測処
理領域を限定するので、３次元計測あるいは認識処理を
効率良く行うことができる。
【００３８】請求項１２、１３の発明によれば、認識結
果の計測信頼度を用いて、把持物体を決定するので、把
持手段を物体位置まで正確に移動させることができる。
請求項１４、１５の発明によれば、物体の位置や他の物
体との位置関係を用いて、把持物体を決定するので、他
の物体と干渉することなく確実に把持することができ
る。
果の計測信頼度を用いて、把持物体を決定するので、把
持手段を物体位置まで正確に移動させることができる。
請求項１４、１５の発明によれば、物体の位置や他の物
体との位置関係を用いて、把持物体を決定するので、他
の物体と干渉することなく確実に把持することができ
る。
【図１】本発明のピッキング装置の概略構成図である。
【図２】本発明の実施例１の処理の流れを示すフローチ
ャートである。
ャートである。
【図３】本発明の実施例１におけるステレオマッチング
の処理を示す説明図である。
の処理を示す説明図である。
【図４】本発明の実施例１に用いる物体モデルを示す説
明図である。
明図である。
【図５】本発明の実施例２における計測対象物体の姿勢
を示す説明図である。
を示す説明図である。
【図６】本発明の実施例２における複数の視点の位置を
示す説明図である。
示す説明図である。
【図７】本発明の実施例３の処理の流れを示すフローチ
ャートである。
ャートである。
【図８】本発明の実施例４に用いる光学系の概略構成図
である。
である。
【図９】本発明の実施例５のピッキング装置の概略構成
を示す正面図である。
を示す正面図である。
【図１０】本発明の実施例６の処理の流れを示すフロー
チャートである。
チャートである。
【図１１】本発明の実施例７の処理の流れを示すフロー
チャートである。
チャートである。
【図１２】本発明の実施例７の処理の内容を示す動作説
明図である。
明図である。
【図１３】本発明の実施例８の処理の流れを示すフロー
チャートである。
チャートである。
【図１４】本発明の実施例９の処理の流れを示すフロー
チャートである。
チャートである。
１１ａ〜１１ｃ テレビカメラ １２ ３次元計測手段 １３ 把持物体決定手段 １４ 物体 １５ 移動手段 １６ 把持手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 顧 海松 大阪府門真市大字門真1048番地 松下電工 株式会社内 (72)発明者 藤井 裕之 大阪府門真市大字門真1048番地 松下電工 株式会社内 Ｆターム(参考） 3F059 AA01 BA03 BA08 DA02 DB03 DB05 DB06 DB09 FB12
Claims (15)
- 【請求項１】 ３次元空間中での位置・姿勢が任意で
ある物体の位置・姿勢を検出する３次元計測手段と、物
体の３次元計測結果に基づいてピックアップすべき物体
の位置・姿勢を決定する把持物体決定手段と、物体をピ
ックアップする把持手段と、前記把持物体決定手段によ
り決定されたピックアップすべき物体の位置・姿勢に基
づいて前記把持手段を移動させる移動手段とから成るピ
ッキング装置において、 前記３次元計測手段は、少なくとも３つの異なる視点か
ら共通視野内に計測対象物体が含まれる視線方向で撮像
された複数の画像を取得する手段と、前記複数の画像の
なかから選ばれた複数対の画像により構成される複数の
ステレオ画像を用いて計測対象物体の３次元計測を行う
手段と、前記計測対象物体の計測値と予め記憶している
前記計測対象物体の物体モデルとを照合して位置・姿勢
の認識結果を得る手段と、前記認識結果の計測信頼度を
求める手段とを備え、 前記把持物体決定手段は、前記複数のステレオ画像毎に
得られた同一の計測対象物体の位置・姿勢についての複
数の認識結果と各認識結果についての計測信頼度とに基
づいて把持物体を決定する手段を備えることを特徴とす
るピッキング装置。 - 【請求項２】 請求項１において、前記視点の位置
は、前記計測対象物体を構成する面のうち前記物体モデ
ルとして記憶している面が向き得る方向により決定され
ることを特徴とするピッキング装置。 - 【請求項３】 請求項１において、前記３次元計測手
段は、前記複数のステレオ画像のうちでその基線方向が
前記計測対象物体を構成する直線線分のうち３次元計測
対象となる直線線分の画像上での方向と略平行でないス
テレオ画像を用いて３次元計測を行うことを特徴とする
ピッキング装置。 - 【請求項４】 請求項１において、前記複数の画像
は、複数の位置の鏡で反射した像を１つの撮像装置で撮
像して得ることを特徴とするピッキング装置。 - 【請求項５】 請求項１において、前記複数の画像
は、１つの撮像装置を移動させて複数の位置で撮像して
得ることを特徴とするピッキング装置。 - 【請求項６】 請求項５において、前記撮像装置の移
動手段と前記把持手段の移動手段とが同一であることを
特徴とするピッキング装置。 - 【請求項７】 請求項１において、前記計測信頼度
は、ステレオマッチングにおける類似度により求めるこ
とを特徴とするピッキング装置。 - 【請求項８】 請求項１において、前記計測信頼度
は、ステレオマッチングに利用した線分とステレオ画像
の基線方向とのなす角度により求めることを特徴とする
ピッキング装置。 - 【請求項９】 請求項１において、前記計測信頼度
は、３次元計測値と前記物体モデルとの整合度により求
めることを特徴とするピッキング装置。 - 【請求項１０】 請求項１において、前記３次元計測
手段は、ステレオ画像を低解像度の画像に変換した後、
該画像を処理して得た前記計測対象物体の画像中での概
略位置に基づいて３次元計測を行うことを特徴とするピ
ッキング装置。 - 【請求項１１】 請求項１において、前記３次元計測
手段は、同一視点での前回のピックアップ動作時に得た
画像と今回得た画像とを比較して画像間で異なる部分を
抽出し、その異なる部分に基づいて３次元計測を行うこ
とを特徴とするピッキング装置。 - 【請求項１２】 請求項１において、前記把持物体決
定手段は、前回までのピックアップ動作時の認識結果と
今回のピックアップ動作時の認識結果とを比較し、同一
物体に対する認識結果であれば前記２つの認識結果をそ
の計測信頼度に基づいて統合することにより把持物体を
決定することを特徴とするピッキング装置。 - 【請求項１３】 請求項１２において、前記把持物体
決定手段は、複数の物体に対する認識結果のうち計測信
頼度が最も高い認識結果を把持物体の位置・姿勢として
決定することを特徴とするピッキング装置。 - 【請求項１４】 請求項１２において、前記把持物体
決定手段は、複数の物体に対する認識結果のうち他の物
体と接触していない物体に対する認識結果を把持物体の
位置・姿勢として決定することを特徴とするピッキング
装置。 - 【請求項１５】 請求項１２において、前記把持物体
決定手段は、複数の物体に対する認識結果のうち最上位
置の認識結果を把持物体の位置・姿勢として決定するこ
とを特徴とするピッキング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27215598A JP3859371B2 (ja) | 1998-09-25 | 1998-09-25 | ピッキング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27215598A JP3859371B2 (ja) | 1998-09-25 | 1998-09-25 | ピッキング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000094374A true JP2000094374A (ja) | 2000-04-04 |
| JP3859371B2 JP3859371B2 (ja) | 2006-12-20 |
Family
ID=17509867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27215598A Expired - Fee Related JP3859371B2 (ja) | 1998-09-25 | 1998-09-25 | ピッキング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3859371B2 (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003266348A (ja) * | 2002-03-18 | 2003-09-24 | Sony Corp | ロボット装置及びその制御方法 |
| JP2004188562A (ja) * | 2002-12-13 | 2004-07-08 | Fanuc Ltd | ワーク取出し装置 |
| JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
| US8208718B2 (en) | 2009-03-12 | 2012-06-26 | Omron Corporation | Method for deriving parameter for three-dimensional measurement processing and three-dimensional visual sensor |
| US8280151B2 (en) | 2009-03-11 | 2012-10-02 | Omron Corporation | Method for displaying recognition result obtained by three-dimensional visual sensor and three-dimensional visual sensor |
| US8295588B2 (en) | 2009-03-12 | 2012-10-23 | Omron Corporation | Three-dimensional vision sensor |
| US8447097B2 (en) | 2009-03-12 | 2013-05-21 | Omron Corporation | Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement |
| JP2013186088A (ja) * | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
| US8565515B2 (en) | 2009-03-12 | 2013-10-22 | Omron Corporation | Three-dimensional recognition result displaying method and three-dimensional visual sensor |
| US8654193B2 (en) | 2009-03-13 | 2014-02-18 | Omron Corporation | Method for registering model data for optical recognition processing and optical sensor |
| JP2014185901A (ja) * | 2013-03-22 | 2014-10-02 | 3D Media Co Ltd | ３次元物体認識装置 |
| JP2016150428A (ja) * | 2015-02-19 | 2016-08-22 | ファナック株式会社 | 工作機械 |
| JP2016169989A (ja) * | 2015-03-11 | 2016-09-23 | 株式会社リコー | 視差画像生成システムおよび視差画像生成方法 |
| JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
| JP2017075891A (ja) * | 2015-10-16 | 2017-04-20 | キヤノン株式会社 | 計測装置、計測方法および物品の製造方法 |
| CN108127661A (zh) * | 2016-12-01 | 2018-06-08 | 发那科株式会社 | 机器人控制装置 |
| CN110348279A (zh) * | 2018-04-05 | 2019-10-18 | 欧姆龙株式会社 | 物体识别处理装置和方法、以及物体拣选装置和方法 |
| US10576526B2 (en) | 2018-07-03 | 2020-03-03 | Komatsu Industries Corporation | Workpiece conveying system, and workpiece conveying method |
| US10717196B2 (en) | 2015-07-31 | 2020-07-21 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning workpiece picking operation |
| US10807235B2 (en) | 2015-07-31 | 2020-10-20 | Fanuc Corporation | Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human |
| CN111985293A (zh) * | 2019-05-21 | 2020-11-24 | 丰田自动车株式会社 | 工件识别方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018051728A (ja) | 2016-09-30 | 2018-04-05 | ファナック株式会社 | 対象物の三次元位置を検出する検出方法および検出装置 |
-
1998
- 1998-09-25 JP JP27215598A patent/JP3859371B2/ja not_active Expired - Fee Related
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003266348A (ja) * | 2002-03-18 | 2003-09-24 | Sony Corp | ロボット装置及びその制御方法 |
| JP2004188562A (ja) * | 2002-12-13 | 2004-07-08 | Fanuc Ltd | ワーク取出し装置 |
| JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
| US8280151B2 (en) | 2009-03-11 | 2012-10-02 | Omron Corporation | Method for displaying recognition result obtained by three-dimensional visual sensor and three-dimensional visual sensor |
| US8447097B2 (en) | 2009-03-12 | 2013-05-21 | Omron Corporation | Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement |
| US8295588B2 (en) | 2009-03-12 | 2012-10-23 | Omron Corporation | Three-dimensional vision sensor |
| US8208718B2 (en) | 2009-03-12 | 2012-06-26 | Omron Corporation | Method for deriving parameter for three-dimensional measurement processing and three-dimensional visual sensor |
| US8559704B2 (en) | 2009-03-12 | 2013-10-15 | Omron Corporation | Three-dimensional vision sensor |
| US8565515B2 (en) | 2009-03-12 | 2013-10-22 | Omron Corporation | Three-dimensional recognition result displaying method and three-dimensional visual sensor |
| US8654193B2 (en) | 2009-03-13 | 2014-02-18 | Omron Corporation | Method for registering model data for optical recognition processing and optical sensor |
| JP2013186088A (ja) * | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
| JP2014185901A (ja) * | 2013-03-22 | 2014-10-02 | 3D Media Co Ltd | ３次元物体認識装置 |
| JP2016150428A (ja) * | 2015-02-19 | 2016-08-22 | ファナック株式会社 | 工作機械 |
| JP2016169989A (ja) * | 2015-03-11 | 2016-09-23 | 株式会社リコー | 視差画像生成システムおよび視差画像生成方法 |
| JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
| US11780095B2 (en) | 2015-07-31 | 2023-10-10 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning object picking operation |
| US10717196B2 (en) | 2015-07-31 | 2020-07-21 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning workpiece picking operation |
| US10807235B2 (en) | 2015-07-31 | 2020-10-20 | Fanuc Corporation | Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human |
| US11904469B2 (en) | 2015-07-31 | 2024-02-20 | Fanuc Corporation | Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human |
| JP2017075891A (ja) * | 2015-10-16 | 2017-04-20 | キヤノン株式会社 | 計測装置、計測方法および物品の製造方法 |
| CN108127661A (zh) * | 2016-12-01 | 2018-06-08 | 发那科株式会社 | 机器人控制装置 |
| JP2018089728A (ja) * | 2016-12-01 | 2018-06-14 | ファナック株式会社 | ロボットの干渉領域を自動で設定するロボット制御装置 |
| CN108127661B (zh) * | 2016-12-01 | 2019-09-10 | 发那科株式会社 | 机器人控制装置 |
| US10481571B2 (en) | 2016-12-01 | 2019-11-19 | Fanuc Corporation | Robot controller which automatically sets interference region for robot |
| CN110348279A (zh) * | 2018-04-05 | 2019-10-18 | 欧姆龙株式会社 | 物体识别处理装置和方法、以及物体拣选装置和方法 |
| US10576526B2 (en) | 2018-07-03 | 2020-03-03 | Komatsu Industries Corporation | Workpiece conveying system, and workpiece conveying method |
| JP7120153B2 (ja) | 2019-05-21 | 2022-08-17 | トヨタ自動車株式会社 | ワーク識別方法 |
| JP2020189356A (ja) * | 2019-05-21 | 2020-11-26 | トヨタ自動車株式会社 | ワーク識別方法 |
| CN111985293B (zh) * | 2019-05-21 | 2023-12-29 | 丰田自动车株式会社 | 工件识别方法 |
| CN111985293A (zh) * | 2019-05-21 | 2020-11-24 | 丰田自动车株式会社 | 工件识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3859371B2 (ja) | 2006-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000094374A (ja) | ピッキング装置 | |
| EP2543483B1 (en) | Information processing apparatus and information processing method | |
| US7283661B2 (en) | Image processing apparatus | |
| JP5282717B2 (ja) | ロボットシステム | |
| JP4226623B2 (ja) | ワーク取り出し装置 | |
| JP3242108B2 (ja) | ターゲットマークの認識・追跡システム及び方法 | |
| CN111151463B (zh) | 一种基于3d视觉的机械臂分拣抓取系统及方法 | |
| US20130230235A1 (en) | Information processing apparatus and information processing method | |
| JP2018176334A (ja) | 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法 | |
| CN112518748B (zh) | 面向运动物品的视觉机械臂自动抓取方法与系统 | |
| JP2903964B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JP3654042B2 (ja) | 物体特定方法及び装置 | |
| CN112775959A (zh) | 机械手的抓取位姿确定方法及系统、存储介质 | |
| JP3709879B2 (ja) | ステレオ画像処理装置 | |
| CN114341930A (zh) | 图像处理装置、拍摄装置、机器人以及机器人系统 | |
| JP2003136465A (ja) | 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ | |
| JP2004239791A (ja) | ズームによる位置計測方法 | |
| EP3748579A1 (en) | Object detection method and robot system | |
| JP3516668B2 (ja) | ３次元形状認識方法、装置およびプログラム | |
| JP2809348B2 (ja) | ３次元位置計測装置 | |
| Okada et al. | A parts picking system with a range finder and a camera system | |
| JPH05173644A (ja) | ３次元物体認識装置 | |
| JPH0371043B2 (ja) | ||
| JPH06180216A (ja) | 部品位置姿勢計測装置 | |
| Shen et al. | A trifocal tensor based camera-projector system for robot-human interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041221 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041227 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060919 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |