JP2022181174A - 回転補正付きの物体ビンピッキング - Google Patents
回転補正付きの物体ビンピッキング Download PDFInfo
- Publication number
- JP2022181174A JP2022181174A JP2022068119A JP2022068119A JP2022181174A JP 2022181174 A JP2022181174 A JP 2022181174A JP 2022068119 A JP2022068119 A JP 2022068119A JP 2022068119 A JP2022068119 A JP 2022068119A JP 2022181174 A JP2022181174 A JP 2022181174A
- Authority
- JP
- Japan
- Prior art keywords
- image
- picking
- identifying
- segmented image
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/49—Nc machine tool, till multiple
- G05B2219/49136—Vacuum pads hold workpiece during machining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
【課題】正確な深度マップ画像に依存することなく、ロボットによってピックアップされる物体を識別できるシステム及び方法の提供を図る。【解決手段】方法は、3Dカメラを使用して物体の2D赤緑青(RGB)カラー画像及び2D深度マップ画像を取得することを含み、深度マップ画像の中のピクセルにカメラから物体までの距離を識別する値が割り当てられる。方法は、RGB画像から特徴を抽出してセグメント化画像の中の物体が同じラベルを持つようにピクセルにラベルを割り当て、セグメント化画像の中の物体の方向を使用して物体を回転する画像セグメント化プロセスを実施するディープラーニングニュートラルネットワークを使用して、物体のセグメント化画像を生成する。方法は、その後、セグメント化画像及び深度マップ画像を使用して物体をピックアップするための場所を識別し、物体がピックアップされるとき物体を回転する。【選択図】図5
Description
本開示は、概略的にロボットによってピックアップされる物体を識別するためのシステム及び方法、特に物体の貯蔵容器からロボットによってピックアップされる透明物体などの物体を識別するためのシステム及び方法に関する。方法は、抽出特徴画像を与えるためにニュートラルネットワークを使用してカメラによって捕捉された画像から特徴を抽出する画像セグメント化プロセスを採用して、抽出特徴画像の中のピクセルのx及びy座標を識別し、セグメント化画像の中の物体の方向を識別する。
ロボットは、ピックアンドプレース作業を含む多数のタスクを実施する。ロボットは貯蔵容器など1つの場所から物体をピックアップし、ここからコンベアベルトなど別の場所へ物体を移動する。貯蔵容器からピックアップされる物体を識別するために、いくつかのロボットシステムは、貯蔵容器の2D赤緑青(RGB)カラー画像及び貯蔵容器の2Dグレースケール深度マップ画像を生成する3Dカメラを採用し、深度マップ画像の各ピクセルは、カメラから特定の物体までの距離を画定する値を持つ。即ち、ピクセルが物体に近いほど、その値は低くなる。深度マップ画像は、カメラの視野の中で点群の点までの距離測定値を識別する。点群は、特定の座標系によって画定されるデータ点の集合であり、各点はx、y及びz値を有する。
このために2タイプの点群分析がある。即ち、モデルフリー点群分析と、モデルベース点群分析である。モデルフリー点群分析は、カメラから直角方向に点群の中の点クラスタを識別し、クラスタを相互に対してセグメント化することを含み、各点群セグメントが物体として識別される。モデルベース点群分析は、物体のCADモデルからテンプレートを生成し、その後点群においてテンプレートを検索することを含む。但し、ロボットによってピックアップされる物体が透明である場合、光は物体を通過して伝播し、物体の表面から効果的に反射されない。したがって、カメラによって生成された点群は、物体の効果的な表現ではなく、深度マップ画像は信頼できず、ピックアップされる物体を適切に識別できない。
以下の考察では、物体の貯蔵容器からロボットによってピックアップされる物体を識別するためのシステム及び方法を開示し、説明する。方法は、3Dカメラを使用して物体の2D赤緑青(RGB)カラー画像及び2D深度マップ画像を取得することを含み、深度マップ画像の中のピクセルには、カメラから物体までの距離を識別する値が割り当てられる。方法は、RGB画像から特徴を抽出してセグメント化画像の中の物体が同じラベルを持つようにピクセルにラベルを割り当てて物体の方向を測定する画像セグメント化プロセスを実施する畳み込みニュートラルネットワークを使用して、物体のセグメント化画像を生成する。セグメント化画像を生成することは、様々なサイズを持ち様々な方向を向く複数のバウンディングボックスを与えることと、スライドウィンドウテンプレートを使用して抽出された特徴にバウンディングボックスを整列させることと、物体を取り囲みバウンディングボックスを含むバウンディングボックス画像を与えることと、1つの物体が各バウンディングボックスの中に存在する確率を測定することと、バウンディングボックスの中の各物体の中心ピクセルを識別することと、を含む。方法は、その後、セグメント化画像及び深度マップ画像を使用して物体をピックアップするための場所を識別して、セグメント化画像の中の物体の方向を使用して物体を回転する。カラー画像の取得、深度マップ画像の取得、セグメント化画像の生成及び物体をピックアップするための場所の識別は、ロボットによって物体群から物体がピックアップされるたびに実施される。
本開示の付加的特徴は、添付図面と一緒に下記の説明及び請求項から明らかになる。
本開示の実施形態についての以下の考察は、物体の貯蔵容器からロボットによってピックアップされる物体を識別するためのシステム及び方法に関するものであり、方法は、抽出特徴画像を与えるためにニュートラルネットワークを使用してRGB画像から特徴を抽出する画像セグメント化プロセスを採用して、抽出特徴画像の中のピクセルのx及びy座標を識別し、セグメント化画像の中の物体の方向を識別する。以下の考察は、単に例示的であり、本発明又はその応用又は使用を限定することを意図しない。例えば、システム及び方法は、ロボットによってピックアップされる透明物体を識別するための用途を有する。但し、システム及び方法は、他の用途を持つことができる。
図1は、図において物体16例えば透明ボトルを貯蔵容器18からピックアップしているエンドエフェクタ吸引カップ14を有するロボット12を含むロボットシステム10の図である。システム10は、本明細書の考察を利用できる任意のタイプのロボットシステムを表すことを意図し、ロボット12は、前記目的に適する任意のロボットとすることができる。3Dカメラ20は、貯蔵容器18の上から下までの画像を撮って、これをロボット12の動きを制御するロボットコントローラ22へ提供するように位置付けらる。物体16は透明である可能性があるので、コントローラ22は、貯蔵容器18の中の物体16の場所を識別するためにカメラ20によって提供された深度マップ画像を信頼できない可能性がある。この非限定的実施形態において、ロボット12は、多分特定の方向例えば真上にあるコンベア24の上に物体16を置く。
下でさらに詳しく論じるように、ロボットコントローラ22は、ロボット12が正確な深度マップ画像に依存する必要なく物体16をピックアップすることができるようにするアルゴリズムを採用する。より具体的には、アルゴリズムは、3Dカメラ20からのRGB画像の中のピクセルの様々な色を使用して画像セグメント化プロセスを実施する。画像セグメント化は、同じラベルを持つピクセルが特定の特性を共有するように画像の中のあらゆるピクセルにラベルを割り当てるプロセスである。したがって、セグメント化プロセスは、どのピクセルがどの物体16に属するかを予測する。
現代の画像セグメント化法は、ディープラーニングテクノロジーを採用できる。ディープラーニングは、特定の現実世界環境を増加する複合概念の階層として表すことによって、より大きな学習性能を与える特殊なタイプの機械学習である。ディープラーニングは、典型的に、非線形処理を実施する数層のニュートラルネットワークを含むソフトウェア構造を採用し、各連続層は、その前の層から出力を受け取る。概略的に、層は、センサから生データを受け取る入力層、データから抽象的特徴を抽出する多数の隠れた層、及び隠れた層からの特徴抽出に基づいて特定のものを識別する出力層、を含む。ニュートラルネットワークは、各々「重み」を持つニューロン又はノードを含み、「重み」に、あるものが正確か否かの確率を得るためにノードへの入力が掛けられる。より具体的には、ノードの各々は、浮動小数点数である重みを有し、これにノードへの入力が掛けられて、そのノードに関する出力(入力のある程度の割合である)を生成する。重みは、ネットワークが最高確率の正確な出力を取得できるようにするために、まず、監視された処理の下でコスト関数を最小限に抑えて既知のデータセットをニュートラルネットワークに分析させることによって、「トレーニングされる」又は設定される。
図2は、貯蔵容器18から物体16をピックアップをするために作動するロボットシステム10の中のコントローラ22の一部であるビンピッキングシステム30の概略的ブロック図である。システム30は、貯蔵容器18の上面からの2D(二次元)RGB画像32及び貯蔵容器18の上面からの2D深度マップ画像34を、カメラ20から受け取るが、深度マップ画像34は、物体16が透明である可能性があるので、信頼できない可能性がある。画像32は、画像セグメント化プロセスを実施するセグメント化モジュール36へ与えられ、ここで、画像32の中の各ピクセルに特定のラベルが割り当てられ、同じ物体16に関連付けられるピクセルは同じラベルを有する。
図3は、システム30から分離されたモジュール36の概略的ブロック図である。RGB画像32は、背景及びノイズを除去し画像32から重要な特徴を抽出するフィルタリングプロセスを実施する特徴抽出モジュール42へ与えられる。例えば、モジュール42は、画像32からグラディエント、エッジ、輪郭、基本形状などを抽出する学習ベースのニュートラルネットワークを含むことができ、モジュール42は、RGB画像32の抽出特徴画像44を既知の様式で与える。特徴画像44は、領域提案モジュール50へ与えられ、領域提案モジュールは、ニュートラルネットワークを使用して画像44の中の識別された特徴を分析し、画像44の中の物体16の場所を測定する。特に、モジュール50は、画像44の中の特定の場所に物体16が存在する確率を識別するために使用される、異なるサイズの即ち様々な長さ及び幅を有する50~100個のボックスなど多数のバウンディングボックスを与える訓練されたニュートラルネットワークを含む。この実施形態において、バウンディングボックスは、全て垂直ボックスであり、モジュール50の複雑さを減じるのに役立つ。領域提案モジュール50は、当事者には周知のスライドサーチウィンドウテンプレートを採用し、バウンディングボックスの全てを含むサーチウィンドウは、例えば画像44の上左から画像44の下右まで特徴画像44全体を移動して、物体16の1つの存在の可能性を識別する特徴を探す。
スライドウィンドウサーチは、各々が画像44の中の予測される物体を取り囲む多数のバウンディングボックス54を含むバウンディングボックス画像52を生成し、画像52の中のバウンディングボックス54の数は、ロボット12が貯蔵容器18から物体16を1つ取り除くごとに減少する。モジュール50は、各ボックス54の中心場所(x、y)幅(w)及び高さ(h)をパラメータ化して、物体16がボックス54の中に存在する0%~100%の予測確実度を示す。画像52は、ニュートラルネットワークを使用してピクセルがバウンディングボックス54の各々の中の物体16に属するか否かを推定して、物体16の一部ではないボックス54の中の背景ピクセルを推定するバイナリセグメント化モジュール56に与えられる。ボックス54の各々の画像52の中の残りのピクセルには、色などの様々な印によって物体16を識別する2Dセグメント化画像58が生成されるように、特定の物体16に関する値が割り当てられる。上述のような画像セグメント化プロセスは、ディープラーニングマスクR-CNN(畳み込みニュートラルネットワーク)の修正形である。
2Dセグメント化画像58は、その後、画像58の中のどのセグメント化物体が物体であると言う最高確実度を持つかを測定して、選択された物体16に関して中心ピクセルのx-y座標を提示する中心ピクセルモジュール60へ与えられる。選択された物体16の識別された中心ピクセルは、深度マップ画像34と一緒に、物体16の中心ピクセルのx-y-zデカルト座標を計算するデカルト座標モジュール62へ与えられる。深度マップ画像34は、z深度予測は非常に信頼できるものではないが、現実世界における各ピクセルの場所を推定又は予測する。前記物体16の中心ピクセルのx-y-z座標は、その後、吸引カップ14を位置付けるための把持位置モジュール64においてx-y-z把持位置を識別するために使用される。選択された物体16の中心ピクセルのx-y座標は、把持方向モジュール66へも送られ、把持方向モジュールは、例えば当業者には周知のピンホールカメラモデルを使用してカメラ20から物体16の中心ピクセルまでの光線方向に基づいて吸引カップ14の把持方向即ちロール、ピッチ及びヨーを測定する。物体16をピックアップするときの吸引カップ14の動きは、光線方向に沿って移動し、これと整列する。深度マップ画像34は、カメラ20と物体16との間の正確な距離を示すことができないので、カメラ20からの光線方向を測定する必要がある。
吸引カップ14の把持位置及び吸引カップ14の把持方向は、把持ポーズモジュール68において結合されて、吸引カップ14の把持ポーズを与える。把持ポーズは、光線方向に沿って物体16までの吸引カップ14のアプローチ方向を与えるために、吸引カップ14のx-y-z座標及びヨー、ピッチ及びロール位置を含む。衝突チェックモジュール70は、把持ポーズが、算定された光線方向に沿って貯蔵容器18の底部と吸引カップ14を衝突させるか否かを測定する。貯蔵容器18の底までの距離は既知である。把持ポーズが光線方向に沿って貯蔵容器18との衝突を生じる場合、安全バッファモジュール72において安全バッファが生成されて、光線方向に沿ったロボット12の移動を制限する。
吸引カップ14が光線方向に沿って移動するとき、 吸引カップは、最終的にピックアップされる物体16に接触する。接触検出モジュール74は、真空における圧力差を検出することによって、真空カップ14が物体16と接触したことを検出する。ロボット12は、その動きを停止し、ピックアップモジュール76において物体16をピックアップするか、又はバッファ距離に到達し、この場合物体16をピックアップしない。物体16がピックアップされロボット12によって移動されると、カメラ20は、次の物体16をピックアップするために貯蔵容器18の次の画像を撮る。次の画像は、すでにピックアップされた物体16を含まない。このプロセスは、貯蔵容器18から物体16の全てがピックアップされるまで継続される。
上で論じる貯蔵容器18から物体16をピックアップするための技法は、単に、吸引カップ14が物体16を把持する場所として画像58の中の物体16の中心ピクセルを測定するだけであり、ロボット12は、物体16をピックアップするために物体16の中心点までの線に沿って移動する又は物体16に接近する。但し、ロボット12は、中心点の周りの物体16の方向を知らないので、物体がピックアップされたら、ランダムな方向でしか物体16を置くことができない。言い換えると、セグメント化モジュール36は、物体16を構成するピクセルの群を識別するだけであり、物体16の方向又は回転を識別しない。但し、例えばコンベア24上で物体16を同じ方向に整列するなど特定の様式で物体16の方向を定めることが好ましい用途の場合があり、この場合、ロボット12は物体16をピックアップした後にその方向を変える又は回転する必要がある。このタイプのロボットシステムの場合、ピックアップされる物体16の中心を測定する必要があるだけでなく、ロボット12がコンベア24上に物体16を置くときにロボット12が物体16を回転して所望の方向にこれを整列できるように、ピックアップされる物体16の方向を測定する必要もある。このようにして、物体16の全ては、コンベア24上で同じ方向に整列できるか、又は直立して置くことさえできる。物体16の方向を測定することは、物体16の中心だけを測定するだけより複雑さを要するので、さらに多くのニュートラルネットワークトレーニングを必要とする。
図4は、セグメント化モジュール36と同様であるが、ピックアップされる物体16の方向も識別するセグメント化モジュール80の概略的ブロック図であり、モジュール36と同様の要素は同じ参照番号で識別される。画像32は、2Dカメラから得ることができ、この場合深度画像34は必要とされず、物体16の距離は事前に分かっている可能性がある。モジュール80は、上述のように画像32から重要な特徴を抽出して特徴画像44を提供するフィルタリングプロセスを実施する特徴抽出モジュール42を含む。但し、この実施形態において、特徴画像44は、モジュール50のニュートラルネットワークよりもっとずっと複雑な複合的ディープラーニングマスクR-CNNなどのニュートラルネットワークであり、ずっと多くのニュートラルネットワークトレーニングを必要とする、領域提案モジュール82へ与えられる。特に、画像44の中の物体16の場所を識別するために様々なサイズの数個の垂直バウンディングボックスを使用する代わりに、モジュール82は、異なるサイズ即ち幅及び長さを有する多数のバウンディングボックスを使用し、各サイズのボックスについて、数個の方向を持つ即ち0°、30°、45°、90°、120°、150°及び180°など多様な角度に回転されかつ様々な仰角を持つバウンディングボックスが与えられる。したがって、各サイズのバウンディングボックスについて、このサイズで様々な方向を有する数個のバウンディングボックスがある可能性がある。上述のように、領域提案モジュール80は、バウンディングボックスの1つを特徴画像44の中の物体16と整列させるために例えば画像44の左上から画像44の右下まで特徴画像44全体でバウンディングボックスを含むサーチウィンドウテンプレートを移動またはスライドすることによって、スライドウィンドウサーチを実施するが、様々な方向を持つ更に多くのボックスが存在するので、領域提案モジュール82は、モジュールが画像44の中で識別する物体16の方向を予測することができる。モジュール82の出力は、物体16の方向を示すバウンディングボックス86を持つバウンディングボックス画像84である。したがって、モジュール82は、各ボックス86の中心場所(x、y)、幅(w)及び高さ(h)に加えて方向(θ)をパラメータ化して、物体16がボックス86の中に存在する予測確実値を0%~100%で示す。このプロセスにおいて、バウンディングボックス86は、長方形であるが、ボックス86の角度によってボックスは物体16の周りにぴったりと嵌るので、バイナリセグメント化モジュール56によって実施される背景ピクセルを除去するためのプロセスは必要ない。
図5は、物体16がピックアップされた後に特定の方向になるようにロボット12が物体16を回転できるようにするために回転補正を採用する、図2に示すタイプのビンピッキングシステム90の概略的ブロック図であり、システム30と同様の要素は、同じ参照番号で識別される。この実施形態において、モジュール36は、モジュール80と置き換えられる。更に、システム90は、セグメント化モジュール80から回転パラメータθを受け取る物体回転モジュール92を含み、ロボット12が貯蔵容器18から選択された物体を16をピックアップし、他の物体16から離して特定の高さまでこれを持上げたら、x-y-zの全方向において回転パラメータθで測定された所望の量だけ物体16を回転する。
当業者には分かるように、本開示を説明するために本明細書において論じられるいくつかの様々なステップ及びプロセスは、電気現象を使用してデータを操作及び/又は変換するコンピュータ、プロセッサ又はその他の電子計算デバイスによって実施される作業を意味することができる。これらのコンピュータ及び電子デバイスは、各種コード又はコンピュータ又はプロセッサによって実施できる実行可能命令を含む実行可能なプログラムが記憶された非一時的コンピュータ可読媒体を含む様々な揮発性及び/又は非揮発性メモリを採用できる。メモリ及び/又はコンピュータ可読媒体は、あらゆる形式及びタイプのメモリ及び他のコンピュータ可読媒体を含むことができる。
前述の考察は、本開示の単なる例示的な実施形態を開示し説明される。当業者は、そのような考察及び添付の図面及び特許請求の範囲から、以下の特許請求の範囲で規定される開示の精神及び範囲から逸脱することなく、種々の変更、修正及び変形を施すことができることを容易に認識するであろう。
Claims (20)
- 物体群から1つの物体をピックアップする方法であって、前記方法が、
カメラを使用して前記物体の画像を取得することと、
前記画像から特徴を抽出して抽出特徴画像を与えるためにニュートラルベットワークを使用することと、前記抽出特徴画面の中のピクセルのx及びy座標を識別することと、前記抽出特徴画面の中の前記物体の方向を識別することと、を含む画像セグメント化プロセスを実行することによって、前記物体のセグメント化画像を生成することと、
前記セグメント化画像を使用して前記物体をピックアップするための場所を識別することと、
前記セグメント化画像の中の前記物体の前記方向を使用して前記物体を回転することと、
を含む方法。 - 前記ニュートラルネットワークが、ディープラーニングマスクR-畳み込みニュートラルネットワーク(CNN)である、請求項1に記載の方法。
- セグメント化画像を生成することが、複数のバウンディングボックスを与えることと、前記バウンディングボックスを前記抽出特徴に整列することと、前記物体を取り囲むバウンディングボックスを含むバウンディングボックス画像を与えることと、を含む、請求項1に記載の方法。
- 前記バウンディングボックスが様々なサイズを有し、各サイズの複数のバウンディングボックスが様々な方向を向く、請求項3に記載の方法。
- 様々な方向を向く同じサイズの前記バウンディングボックスが、相互に対して0°、30°、45°、90°、120°、150°及び180°を向く、請求項4に記載の方法。
- 前記バウンディングボックスを整列することが、スライドウィンドウテンプレートを使用することを含む、請求項3に記載の方法。
- セグメント化画像を生成することが、1つの物体が各バウンディングボックスの中に存在する確率を測定することを含む、請求項3に記載の方法。
- セグメント化画像を生成することが、前記セグメント化画像の中の各物体が同じラベルを持つように前記セグメント化画像のピクセルにラベルを割り当てることを含む、請求項1に記載の方法。
- セグメント化画像を生成することが、前記バウンディングボックスの中の各物体の中心ピクセルを識別することを含み、前記物体をピックアップするための場所を識別することが、前記セグメント化画像の中の前記物体の1つの中心ピクセルを識別することと、前記中心ピクセルの前記場所及び深度マップ画像を使用して前記中心ピクセルのx-y-z座標を計算することを含む、請求項1に記載の方法。
- 前記物体をピックアップするための場所を特定することが、前記物体をピックするためのx-y-z把持位置を測定することを含む、請求項9に記載の方法。
- 前記物体をピックアップするための場所を識別することが、前記カメラから前記中心ピクセルまでの光線方向によって画定される前記物体をピックアップするための把持方向を識別することを含む、請求項9に記載の方法。
- 前記光線方向が、ピンホールカメラモデルによって測定される、請求項11に記載の方法。
- 前記物体をピックアップするための場所を識別することが、前記把持位置及び前記把持方向を使用して前記物体をピックアップするための把持ポーズを測定することを含む、請求項11に記載の方法。
- 前記物体がロボットによってピックアップされ、前記把持ポーズがロボットエンドエフェクタのポーズを決定する、請求項13に記載の方法。
- 前記物体が透明である、請求項1に記載の方法。
- ロボットを使用して透明物体群から1つの透明物体をピックアップする方法であって、前記方法が、
3Dカメラを使用して前記物体の2D赤緑青(RGB)カラー画像を取得することと、
前記3Dカメラを使用して前記物体の2D深度マップ画像を取得することであって、前記深度マップ画像の中のピクセルに、前記カメラから前記物体までの距離を識別する値が割り当てられる、取得することと、
前記RGB画像から特徴を抽出して前記セグメント化画像の中の各物体が同じラベルを持つように前記セグメント化画像の中のピクセルにラベルを割り当てて前記物体の方向を測定するディープラーニングを使用する画像セグメント化プロセスを実施することによって、前記物体のセグメント化画像を生成することと、
前記セグメント化画像及び前記深度マップ画像を使用して前記物体をピックアップするための場所を識別することと、
前記セグメント化画像の中の前記物体の方向を使用して前記物体を回転することであって、カラー画像の取得、深度マップ画像の取得、セグメント化画像の生成、前記物体をピックアップするための場所の識別及び前記物体の回転が、前記ロボットによって前記物体群から1つの物体がピックアップされるごとに実施される、回転することと、
を含む、方法。 - セグメント化画像を生成することが、同じサイズを有する複数のバウンディングボックス及び様々な方向の同じサイズの複数のバウンディングボックスを与えることと、スライドウィンドウテンプレートを使用して前記バウンディングボックスを前記抽出された特徴に整列することと、前記物体を取り囲むバウンディングボックスを含むバウンディングボックス画像を与えることと、1つの物体が各バウンディングボックスの中に存在する確率を測定することと、前記バウンディングボックスの中の各物体の中心ピクセルを識別することと、を含む、請求項16に記載の方法。
- 前記物体をピックアップするための場所を識別することが、前記物体が存在する最高確率を有する前記セグメント化画像の中の前記物体の1つの中心ピクセルを識別することと、前記中心ピクセル及び前記深度マップ画像を使用して前記中心ピクセルのx-y-z座標を計算することと、前記物体をピックアップするための前記ロボットのx-y-z把持位置を測定することと、ピンホールカメラモデルを使用して前記カメラから前記中心ピクセルまでの光線方向によって画定される前記物体をピックアップするための前記ロボットの把持方向を識別することと、前記把持位置及び前記把持方向を使用して前記物体のピックアップするための前記ロボットの把持ポーズを測定することと、を含む、請求項16に記載の方法。
- ロボットを使用して物体群から1つの物体をピックアップするためのロボットシステムであって、前記システムが、
前記物体の画像を与えるカメラと、
前記RGB画像から特徴を抽出して前記セグメント化画像の中の各物体が同じラベルを持つように前記セグメント化画像の中のピクセルにラベルを割り当てる画像セグメント化プロセスを実施することによって、前記物体のセグメント化画像を生成するディープラーニングニュートラルネットワークと、
前記セグメント化画像を使用して前記物体をピックアップするための場所を識別するための手段と、
前記セグメント化画像の中の前記物体の方向を使用して前記物体を回転するための手段であって、画像の取得、セグメント化画像の生成、前記物体をピックアップするための場所の識別及び前記物体の回転が、前記ロボットによって前記物体群から1つの物体がピックアップされるごとに実施される、手段と、
を備える、システム。 - 前記ディープラーニングニュートラルネットワークが、同じ方向を有する複数のバウンディングボックスを与え、スライドウィンドウテンプレートを使用して前記バウンディングボックスを前記抽出された特徴に整列し、前記物体を取り囲むバウンディングボックスを含むバウンディングボックス画像を与え、1つの物体が各バウンディングボックスの中に存在する確率を測定し、前記バウンディングボックスの中の各物体の中心ピクセルを識別する、請求項19に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/329,530 US11875528B2 (en) | 2021-05-25 | 2021-05-25 | Object bin picking with rotation compensation |
US17/329,530 | 2021-05-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022181174A true JP2022181174A (ja) | 2022-12-07 |
Family
ID=83997637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022068119A Pending JP2022181174A (ja) | 2021-05-25 | 2022-04-18 | 回転補正付きの物体ビンピッキング |
Country Status (4)
Country | Link |
---|---|
US (1) | US11875528B2 (ja) |
JP (1) | JP2022181174A (ja) |
CN (1) | CN115393696A (ja) |
DE (1) | DE102022107228A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220405506A1 (en) * | 2021-06-22 | 2022-12-22 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019518297A (ja) * | 2016-05-19 | 2019-06-27 | ディープ ラーニング ロボティクス リミテッドDeep Learning Robotics Ltd. | ロボット支援型物体学習視覚システム |
US10055667B2 (en) * | 2016-08-03 | 2018-08-21 | X Development Llc | Generating a model for an object encountered by a robot |
US11341364B2 (en) * | 2017-09-20 | 2022-05-24 | Google Llc | Using simulation and domain adaptation for robotic control |
US11861480B2 (en) * | 2018-08-21 | 2024-01-02 | Siemens Mobility GmbH | Orientation detection in overhead line insulators |
JP7135749B2 (ja) * | 2018-11-12 | 2022-09-13 | 富士通株式会社 | 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置 |
US11433545B2 (en) * | 2019-02-17 | 2022-09-06 | Samsung Electronics Co., Ltd. | Robotic vision |
US11179852B2 (en) * | 2019-03-25 | 2021-11-23 | Dishcraft Robotics, Inc. | Automated manipulation of transparent vessels |
US11389304B1 (en) * | 2019-05-06 | 2022-07-19 | Smith & Nephew, Inc. | Devices, systems and methods for providing instrument orientation feedback |
EP4066001A4 (en) * | 2019-11-30 | 2024-01-24 | Boston Polarimetrics Inc | SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES |
JP2021146452A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社東芝 | ハンドリング装置、制御装置、および制御プログラム |
US11597078B2 (en) * | 2020-07-28 | 2023-03-07 | Nvidia Corporation | Machine learning control of object handovers |
US11954886B2 (en) * | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US20220375125A1 (en) * | 2021-05-07 | 2022-11-24 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
-
2021
- 2021-05-25 US US17/329,530 patent/US11875528B2/en active Active
-
2022
- 2022-03-28 DE DE102022107228.2A patent/DE102022107228A1/de active Pending
- 2022-04-18 JP JP2022068119A patent/JP2022181174A/ja active Pending
- 2022-05-11 CN CN202210511061.9A patent/CN115393696A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115393696A (zh) | 2022-11-25 |
DE102022107228A1 (de) | 2022-12-01 |
US11875528B2 (en) | 2024-01-16 |
US20220383538A1 (en) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112802105A (zh) | 对象抓取方法及装置 | |
JP2022181173A (ja) | 透明物体のビンピッキング | |
US11475589B2 (en) | 3D pose estimation by a 2D camera | |
JPWO2009028489A1 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
US20220084238A1 (en) | Multiple transparent objects 3d detection | |
Liu et al. | 6D pose estimation of occlusion-free objects for robotic Bin-Picking using PPF-MEAM with 2D images (occlusion-free PPF-MEAM) | |
CN113420746A (zh) | 机器人视觉分拣方法、装置、电子设备和存储介质 | |
JP2022181174A (ja) | 回転補正付きの物体ビンピッキング | |
US20220072712A1 (en) | Mix-size depalletizing | |
US11554496B2 (en) | Feature detection by deep learning and vector field estimation | |
CN113496526A (zh) | 通过多个2d相机的3d姿态检测 | |
CN113392747A (zh) | 一种用于立体仓库的货物包装箱识别方法及系统 | |
US11900652B2 (en) | Method and computing system for generating a safety volume list for object detection | |
Bhuyan et al. | Structure‐aware multiple salient region detection and localization for autonomous robotic manipulation | |
US20230169675A1 (en) | Algorithm for mix-size depalletizing | |
CN116572253B (zh) | 一种试管的抓取控制方法及装置 | |
CN113298866B (zh) | 物体分类方法及装置 | |
US20230245293A1 (en) | Failure detection and failure recovery for ai depalletizing | |
CN116228854B (zh) | 一种基于深度学习的包裹自动分拣方法 | |
JP7191352B2 (ja) | 物体検出を実施するための方法および計算システム | |
US20230286165A1 (en) | Systems and methods for robotic system with object handling | |
CN116385533A (zh) | 一种基于二维和三维成像的叉式agv目标位姿检测方法 | |
CN116228857A (zh) | 一种基于四边形拟合的纸箱检测方法和系统 | |
CN116551672A (zh) | 用于具有物体处置能力的机器人系统的系统和方法 | |
CN116883321A (zh) | 一种堆叠荧光免疫层析试剂卡的分拣整理方法及系统 |