JP2013101045A - 物品の3次元位置姿勢の認識装置及び認識方法 - Google Patents

物品の3次元位置姿勢の認識装置及び認識方法 Download PDF

Info

Publication number
JP2013101045A
JP2013101045A JP2011244761A JP2011244761A JP2013101045A JP 2013101045 A JP2013101045 A JP 2013101045A JP 2011244761 A JP2011244761 A JP 2011244761A JP 2011244761 A JP2011244761 A JP 2011244761A JP 2013101045 A JP2013101045 A JP 2013101045A
Authority
JP
Japan
Prior art keywords
dimensional
article
orientation
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011244761A
Other languages
English (en)
Inventor
Shota Takizawa
象太 滝澤
Original Assignee
Fanuc Ltd
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Ltd, ファナック株式会社 filed Critical Fanuc Ltd
Priority to JP2011244761A priority Critical patent/JP2013101045A/ja
Publication of JP2013101045A publication Critical patent/JP2013101045A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

【課題】製造現場で使われる汎用的な組み込み装置でも実施できるような、少ない計算コストで物品の3次元位置姿勢を認識できる認識装置及び認識方法の提供。
【解決手段】カメラ20で複数の物品22がバラ積みされた領域全体の2次元画像を取得し、レンジセンサ18でカメラ20と略同じ領域の3次元情報を取得する。取得した3次元情報から、取り出すべき物品が存在するであろう空間を対象空間として大まかに限定し、該対象空間に基づいて2次元画像処理で物品を探索するための探索条件を設定し、該探索条件に基づいて物品の画像上での2次元位置情報を取得する。次に該2次元位置情報を用いて、物品の3次元位置姿勢の認識に使用する3次元点データを選定し、カメラ20の焦点から該物品に向かう3次元空間上の視線を計算し、該3次元点データと視線とに基づいて物品の3次元の位置姿勢を計算する。
【選択図】図1

Description

本発明は、物品をロボットで取り出す際等に使用される、物品の3次元位置姿勢を認識する認識装置及び認識方法に関する。

ロボットを用いて物品の取り出しを行ういくつかのロボットシステムでは、情報処理装置又はロボット制御装置に接続されたカメラや3次元視覚センサを用いて物品に関する情報を取得し、物品を取り出すロボットの動作の補正や物品の検査に利用している。

3次元視覚センサとしては、例えば被計測対象物までの距離を計測可能な様々なレンジセンサが公知となっている。いくつかのレンジセンサは、比較的広い範囲の3次元情報を取得できる。これらのレンジセンサは、カメラなどの撮像装置では得られない物品の3次元形状に関する情報を、距離画像や高さマップといった形式で取得することができる。

スポット光走査型3次元視覚センサを開示する特許文献1には、「3次元視覚センサは、投光方向を2次元的なランダムスキャン制御により高速で自由に変えることの出来るスポット光投射手段と1次元位置検出機能を有する位置検出型の検出器(PSD;Position Sensing Detector の略称。以下、この略称を使用する。)を利用した光学式変位センサに相当する手段を組み合わせて計測系を構成することにより、被計測対象物の遠近、大きさ、形状や必要とする3次元位置情報に応じた自在な計測をより効率的に行えるようにしたものである」と記載されている。

また物品形状獲得方法を開示する特許文献2には、「測定対象物品Wにスリット光Iを照射するスリット光源2と前記スリット光Iの画像を撮影するカメラ3とからなる位置検出器1を用いて該位置検出器1のキャブリレーションと物品形状の獲得とを行うに当たって、前記測定対象物品Wの座標系を前記カメラ3による画像上の座標系に変換する透視変換式におけるカメラパラメータと、前記測定対象物品Wに照射されたスリット光Iの平面式におけるスリット光パラメータと、前記測定対象物品Wの形状を表現する形状表現式におけるモデルパラメータとを前記位置検出器1を所定回数移動させることにより決定するようにして、スリット光・カメラキャブリレーションと、測定対象物品Wの形状データの獲得とをロボットの座標系に対して一括して自動的に行い得るようにしている」と記載されている。

また物品形状測定装置を開示する特許文献3には、「プロジェクタ2により照射パターンが測定物体に照射され、カメラ8により照射パターンの測定物体1での反射撮像パターンが撮像され、形状演算部13により、反射パターンに基づき測定物体1の表面形状が演算され、信頼度演算部14により、照射パターンの光量下限値をPlb、光量上限値をPub、照射パターンの光量をIaとして、測定物体の測定信頼度を示すコントラスト比が、Ia/(Pub−Plb)により演算され、データ出力手段により表面形状データとコントラスト比データとが出力され、多重反射の影響を受ける測定物体1の形状測定データの信頼性を、各種のパターン投影法に広く適確に対応して高精度に検出し撮像画像の画素ごとに適確に把握可能になる」と記載されている。

さらに特許文献4には、レーザパルスを道路の幅方向に走査する走査手段と、上記走査手段がレーザパルスを道路の幅方向に走査したときの、このレーザパルスの反射光を検出する反射光検出手段と、上記走査手段がレーザパルスで道路を幅方向に走査した照射タイミングと、上記反射光検出手段が道路の幅方向に走査したレーザパルスの反射光を検出した検出タイミングと、の時間差を用いて、上記走査手段によるレーザパルスの走査ライン上に位置する物体の高さ、および幅を取得し、この物体の種類を判別する判別手段と、を備えた物体判別装置において、上記判別手段は、道路の側部に設定した所定幅の歩行者検知領域内において検出された物体の高さ、および幅が、それぞれ予め定められた範囲内であれば、この物体を歩行者であると判別する物体判別装置が開示されている。

一方、レンジセンサ(距離センサ)を用いて物品の位置姿勢を認識する方法も幾つか開示されている。例えば、物体認識装置およびロボット装置を開示する特許文献5には、「本発明の物体認識装置によれば、スピンイメージなどの特徴量ベースの高速な位置決めを行うことで、対象物体の三次元形状データ(モデル)と、距離センサから得られる距離データ(シーン)を照合して、対象物体の三次元的な位置姿勢を迅速に認識することができる」と記載されている。

3次元視覚センサを開示する特許文献6には、「センサ本体部110は、ロボット40の手先部に取り付けられた投光器130とビデオカメラ30で構成される。投光器130は、作業空間50内に置かれた対象物Wの面上にスリット光131を投射し、ビデオカメラ30か反射光を受光して画像処理装置2で解析し、スリット光131のあった面を求める。次に、ビデオカメラ30による通常撮影で画像を取得し、キャリブレーションデータを使って計測点Qを通る視線を求める」と記載されている。

さらに、画像から物品の位置を検出する手法がいくつか開示されている。例えば、放射線画像の位置合せ方法を開示する特許文献7には、「X線画像4aにテンプレート領域8、8′を、X線画像4bに基準領域9、9′を設定する。ここで、相関法を用いてテンプレート領域8、8′を基準領域9、9′に合せるテンプレートマッチングを行なう」と記載されている。

特開平7−270137号公報 特開平9−196636号公報 特開2005−62063号公報 特開2004−272841号公報 特開2009−128191号公報 特開2004−144557号公報 特開平6−165036号公報

レンジセンサ(距離センサ)を用いて物品の位置姿勢を認識する典型的な手法として、特許文献5に記載されているような、レンジセンサから得られた3次元情報と物品の3次元形状データをマッチングさせる方法がある。従来提案されている認識方法は、一般的に計算コストが非常に高く、高い処理能力を持つプロセッサと大容量のメモリを必要とする。実用的なレベルの短い時間でこのような認識処理を行うのは非常に困難というのが実情である。さらに、ロボットで適切な取り出し作業を行うには相応の精度で物品を認識する必要があるが、このためにはレンジセンサから得られる3次元情報の空間密度が高くなければならない。ところが、3次元情報の空間密度を高めようとすると、レンジセンサの計測時間が延びることになり、さらに物品の3次元形状データとのマッチング処理の計算コストも増大し、実用的な取り出しを実現することができなかった。

また、特許文献4に記載されるような、レーザパルスの飛行時間から3次元情報を求める方式のセンサは、概してその規模が大きく、実用的な価格でセンサを提供できなくなるという課題がある。このような理由から、現時点では、レンジセンサは製造現場、特にロボットでの対象物取り出し分野では実用化されていない。

一方で、特許文献6に記載されているような、3次元のセンサと2次元のセンサを組み合わせる方法は、レンジセンサの利用を想定した方法ではないが、上記のような認識処理に比べれば、比較的少ない計算コスト・メモリ量で物品の3次元位置姿勢の認識を可能にするものである。しかし、特許文献6に示された手法は、3次元情報を処理する計算コストは低減されるものの、特許文献7に記載されているような2次元画像を用いてセンサの計測範囲内から物品を見つけ出す処理が必要になるため、後者の処理の計算コストが増加することがあった。

特許文献7には、2次元画像から高さや傾きの異なる対象物の2次元位置を認識する方法が開示されていると解されるが、テンプレートを様々なサイズに拡大・縮小しながらテンプレートマッチングを行う必要があるため、処理に時間がかかり、やはり実用的な取り出しを実現することは難しかった。

そこで本発明は、上記の問題点を解消しつつ、製造現場で使われる汎用的な組み込み装置でも実施できるような、少ない計算コストで物品の3次元位置姿勢を認識できる認識装置及び認識方法を提供することを目的とする。

上記目的を達成するために、本願第1の発明は、同種の複数物品がバラ積みされた領域全体の2次元画像を取得するカメラと、前記カメラと略同じ範囲の3次元情報を取得するレンジセンサと、前記カメラにより取得された2次元画像及び前記レンジセンサにより取得された3次元情報の処理を行う情報処理装置と、を備え、前記情報処理装置は、前記3次元情報に基づいて、前記2次元画像上で物品の像を探索する領域を探索条件として設定する探索条件設定部と、設定された探索条件内で前記2次元画像の画像処理を行って物品の像を検出し、前記2次元画像上での物品の2次元位置情報を取得する2次元位置取得部と、取得された2次元位置情報に基づいて、前記カメラから物品へ向かう3次元空間上の視線を求める視線計算部と、取得された2次元位置情報又は求められた視線に基づいて、前記3次元情報から、該物品の3次元位置姿勢の認識に使用する第1の3次元点データを選定する3次元点データ選定部と、選定された第1の3次元点データ及び前記視線に基づいて、物品の3次元の位置及び姿勢の一方又は双方を計算する3次元位置姿勢計算部と、を有する、物品の3次元位置姿勢の認識装置を提供する。

第2の発明は、第1の発明において、前記レンジセンサは、少なくとも1つのカメラと、パターン光を投影する装置とから構成され、前記レンジセンサのカメラのうちの1つを2次元画像取得用のカメラとして兼用することを特徴とする、物品の3次元位置姿勢の認識装置を提供する。

第3の発明は、第1の発明において、前記レンジセンサは、複数のカメラと、パターン光を投影する装置とから構成され、該パターン光は前記複数のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためのみに用いられることを特徴とする、物品の3次元位置姿勢の認識装置を提供する。

第4の発明は、第1の発明において、前記レンジセンサは、少なくとも1つのカメラと、パターン光を投影する装置とから構成され、該パターン光の光源として赤外光を使用することを特徴とする、物品の3次元位置姿勢の認識装置を提供する。

第5の発明は、第1の発明において、前記探索条件設定部は、前記レンジセンサにより取得された3次元情報から、高さの値が予め定めた値より大きい第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する、前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、物品の3次元位置姿勢の認識装置を提供する。

第6の発明は、第5の発明において、前記探索条件設定部はさらに、前記予め定めた値によって定まる高さの値又は前記選定された第2の3次元点データが含まれる空間の高さの値の範囲に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、物品の3次元位置姿勢の認識装置を提供する。

第7の発明は、第1の発明において、前記探索条件設定部は、前記レンジセンサにより取得された3次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、物品の3次元位置姿勢の認識装置を提供する。

第8の発明は、第7の発明において、前記探索条件設定部はさらに、選定された前記第2の3次元点データの高さの値の範囲に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、物品の3次元位置姿勢の認識装置を提供する。

第9の発明は、同種の複数物品がバラ積みされた領域全体の2次元画像をカメラにより取得するステップと、前記カメラと略同じ範囲の3次元情報をレンジセンサにより取得するステップと、前記3次元情報に基づいて、前記2次元画像上で物品の像を探索する領域を探索条件として設定するステップと、設定された探索条件内で前記2次元画像の画像処理を行って物品の像を検出し、前記2次元画像上での物品の2次元位置情報を取得するステップと、前記2次元位置情報に基づいて、前記カメラから物品へ向かう3次元空間上の視線を求めるステップと、取得された2次元位置情報又は求められた視線に基づいて、前記3次元情報から、該物品の3次元位置姿勢の認識に使用する第1の3次元点データを選定するステップと、選定された第1の3次元点データと前記視線に基づいて、物品の3次元の位置及び姿勢の一方又は双方を計算するステップと、を含む、物品の3次元位置姿勢の認識方法を提供する。

第10の発明は、第9の発明において、前記探索条件を設定するステップは、前記レンジセンサにより取得された3次元情報から高さの値が予め定めた値より大きい第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する、前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、物品の3次元位置姿勢の認識方法を提供する。

第11の発明は、第10の発明において、前記探索条件を設定するステップはさらに、前記予め定めた値によって定まる高さの値又は前記選定された3次元点データが含まれる空間の高さの値の範囲に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、物品の3次元位置姿勢の認識方法を提供する。

第12の発明は、第9の発明において、前記探索条件を設定するステップは、前記レンジセンサにより取得された3次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する、前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、物品の3次元位置姿勢の認識方法を提供する。

第13の発明は、第12の発明において、前記探索条件を設定するステップはさらに、選定された第2の3次元点データの高さの値に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、物品の3次元位置姿勢の認識方法を提供する。

本発明によれば、3次元情報を元に物品の2次元位置を検出する探索条件を設定し、設定された探索条件内で検出された物品の2次元位置情報に基づいて、3次元空間上の物品の位置姿勢を計算するための3次元点データを選定することにより、2次元画像の処理、3次元情報の処理が共に少ない計算コストで行え、物品の3次元位置姿勢を求めることができるようになる。

本発明の一実施形態に係る認識装置を含むロボットシステムの概略構成を示す図である。 本発明に係る認識方法の処理を説明するフローチャートである。 カメラで取得された、物品を含む2次元画像の一例を示す図である。 図2のA−A’線に沿った断面図である。 カメラが取得した2次元画像のうち探索領域に相当する部分を白色で、他を黒色で表示した例を示す図である。 カメラの焦点から物品に向かう視線を算出する例を説明する図である。

図1は、本願発明の好適な実施形態に係る認識装置を含むロボットシステム10の概略構成を示す図である。ロボットシステム10は、ロボット12と、ロボット12を制御するロボット制御装置14と、ロボット制御装置14に接続された情報処理装置16と、情報処理装置16に接続されたレンジセンサ18及びカメラ20とを有し、複数の同種の物品22がバラ積みされた箱24から該物品22を取り出すために使用される。

ロボット12は、ロボットアーム26等の可動部と、ロボットアーム26の先端に取り付けられたロボットハンド28等の物品把持部とを有し、ロボットハンド28は箱14内の物品22を把持できるように構成されている。

レンジセンサ18は、箱24内の物品22の3次元情報を取得することができ、カメラ20は、箱24内の物品22の2次元画像を撮像することができる。得られた3次元情報及び2次元画像は、画像処理機能を備えた情報処理装置16に送られて処理される。なおレンジセンサ18及びカメラ20は、レンジセンサ18の計測範囲及びカメラ20の視野が、物品22を入れる箱24が占有する範囲と略同じになるように設置されることが望ましい。なお図示例では、レンジセンサ18及びカメラ20はいずれも専用の架台30に固定されているが、レンジセンサ18及びカメラ20の一方又は双方をロボット12の先端部に取り付けてもよい。

情報処理装置16とロボット制御装置14とは通信ケーブル等の通信手段によって互いに接続されており、互いに通信できるようになっている。なお図示例では情報処理装置16は、ロボット制御装置14と別の構成要素として図示されているが、情報処理装置16はロボット制御装置14に内蔵されてもよい。

レンジセンサ18としては種々の方式のものが利用可能であり、例えば、レーザスリット光を走査する方式、レーザスポット光で物品を走査する方式、プロジェクタ等の装置を用いて既知のパターン光を物品に投影する方式、光が投光器から出射されてから物品表面で反射し受光器に入射するまでの飛行時間を利用する方式等が挙げられる。パターン光を物品に投影する方式では、高圧水銀灯に代表される放電管光源や、レーザダイオードやLEDに代表される固体光源等の任意の光源を利用できるが、例えば赤外光源などの非可視光を使用することで、外来光や外乱光に影響され難い計測を実現できる。

レンジセンサ18の構成要素にカメラが含まれる場合は、そのカメラを、上述の2次元画像を取得するカメラ20として兼用することもできる。例えば、カメラ2台とプロジェクタ1台とでレンジセンサを構成し、2台のカメラの一方を用いて2次元画像を取得することができる。なお一般的にプロジェクタはカメラに比べて寿命が短いため、これを長期間使用する場合は定期的なプロジェクタの交換が避けられないが、2台のカメラを用いてレンジセンサを構成し、プロジェクタから投影されるパターン光を、2台のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためだけに用いることで、プロジェクタのキャリブレーションが不要になり、プロジェクタの交換が容易に実施できるようになる。

通常、レンジセンサは、取得した3次元情報を距離画像又は3次元マップといった形で表現する。距離画像とは、計測した範囲の3次元情報を画像の形で表現したものであり、画像の各画素の明るさや色が、その位置の高さ又はレンジセンサからの距離を表すようにすることが多い。一方、高さマップとは、計測した範囲の3次元情報を、計測された3次元点の座標値(x,y,z)の集合として表現したものである。本願発明では、これらのような表現形式に依らず、レンジセンサで取得した情報を「3次元情報」と称し、また3次元情報を構成する少なくとも1つの要素、すなわち距離画像における各画素や3次元マップにおける3次元点を「3次元点データ」と称するものとする。

次に、本願発明における物品の3次元位置姿勢の認識の手順について、図2のフローチャート及び関連する図面を参照しつつ説明する。
先ず、カメラ20で複数の物品がバラ積みされた領域全体の2次元画像を取得し(ステップS1)、次にレンジセンサ18でカメラ20と略同じ領域の3次元情報を取得する(ステップS2)。但し、2次元画像の取得と3次元情報の取得はどちらを先に行ってもよく、換言すればステップS1とS2の順序は入れ替えてもよい。

図3は、カメラ20で取得された2次元画像の一例を示す図であり、図4は、図2中のA−A’線に沿った断面図である。なお、図4中の黒丸32は、レンジセンサ18で計測された3次元点データを図示したものである。

次に、レンジセンサ18で取得した3次元情報から、取り出すべき物品が存在するであろう空間を、対象空間として大まかに限定する(ステップS3)。一般的に、物品がバラ積みされている場合は上にある物品から取り出していくので、取得した3次元情報において高さが高い、又はカメラに近い部分を限定することが好ましい。

対象空間の限定としては、以下のような方法が挙げられる。例えば、取得した3次元情報から予め定めた値よりも高い(またはカメラに近い)位置にある3次元点データを探し、その近傍の空間を対象空間として限定する。或いは、予め定めた値よりも高い(又はカメラに近い)3次元点データを複数選定し、それらの近傍空間の論理和(OR)を求めて対象空間としてもよい。或いは、取得した3次元情報に含まれる3次元点データの高さ(又はカメラからの距離)の平均値又は中央値を求め、該平均値又は中央値に近い領域を対象空間として限定してもよい。或いは、取得した3次元情報からある程度以上の面積を持つ平面、曲面又はこれらの組み合わせを検出し、検出された該平面、曲面又はこれらの組み合わせを囲む空間を対象空間として限定してもよい。さらに或いは、物品の3次元位置姿勢の認識とロボットによる物品の取り出しが繰り返し行われている場合は、前回の認識で認識された物品の最も高い高さ、又は物品の高さの平均値若しくは中央値に近い領域を、対象空間として限定してもよい。

次に、限定した対象空間に基づいて、2次元画像処理で物品を探索するための探索条件を設定する(ステップS4)。ここで探索条件とは、カメラ20によって得られた2次元画像上で物品を検出する領域や、検出すべき物品の2次元画像上での見た目の大きさの範囲等を指す。

上述の探索条件をより詳細に説明する。任意の3次元点を、カメラのキャリブレーションデータに基づいてカメラの受光面に投影することで、その3次元点が2次元画像のどこに結像するかを計算することができる。このような手法自体は、Tsai等の非特許文献(An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. Computer Vision and Pattern Recognition '86, pp.364-374, 1986)等により周知である。例えば、本願発明では、ステップS3で限定された空間内の3次元点データを、カメラ20のキャリブレーションデータに基づいてカメラ20の受光面に投影することで、その空間にある物品が写り得る2次元画像上の領域を限定することができる。

一例として、図4のような3次元点データ32が得られた場合に、箱24内部の3次元情報から頂点(局所的に高さが高くなっている場所の極大点)を検出し、検出した頂点の高さに近い領域を限定した場合の、限定された空間に対応する2次元画像の範囲34を白色で、それ以外の範囲36を黒色で表示した画像を図5に示す。この白色領域34を、2次元画像処理により物品の像を探索する探索条件として設定する。

なお2次元画像上での物品の見た目の大きさは、カメラから物品までの距離の逆数に比例するので、例えば、限定された空間に含まれる3次元点データの高さの値(又はカメラからの距離)の最大値及び最小値と、2次元画像処理で使うテンプレートを教示した時の物品の高さ(又はカメラからの距離)から、その空間にある物品が2次元画像上に写るであろう大きさの範囲を探索条件として設定することができる。

或いは、限定された空間に対応する2次元画像の範囲を複数の小領域に分割し、小領域毎に異なる大きさの範囲を探索条件として設定することもできる。さらに或いは、物品の3次元位置姿勢の認識とロボットによる物品の取り出しとが繰り返し行われている場合は、前回の認識で認識された物品の高さの平均値又は中央値に基づいて求めた大きさの範囲を探索条件として設定してもよい。

次に、設定された探索条件に基づいて、2次元画像処理を行って物品の像を検出し(ステップS5)、物品の画像上での2次元位置情報(例えばX−Y座標)を取得する(ステップS6)。ここでは、公知のテンプレートマッチングのような任意の2次元画像処理技法を利用することができる。物品に表裏の区別があって画像上での見た目が異なる場合や、形状の異なる複数種類の物品がある場合には、それらに合わせて複数のテンプレートを用意してマッチングを行うようにしてもよい。

次に、取得した2次元位置情報を用いて、物品の3次元位置姿勢の認識に使用する第1の3次元点データ(の集合)を選定する(ステップS7)。例えば図6に示すように、3次元情報に含まれる各3次元点データ32を、カメラ20のキャリブレーションデータに基づいてカメラ20の受光面38に投影し、受光面38に投影された投影点32’が2次元画像処理で検出した物品に対応するテンプレート40内に投影されれば、その3次元点データは2次元画像処理で検出した物品上にあると判断することができる。

またはカメラ20のキャリブレーションデータに基づいて、2次元画像処理で検出した物品に対応するテンプレートの境界線上の複数の点と、カメラ20の焦点とを通る3次元空間上の複数の直線を算出し、3次元情報に含まれる各3次元点データのうち、算出された該複数の直線から形成される錐体の内側にある3次元点データを、物品の3次元位置姿勢の認識に使用する3次元点データとして選定してもよい。

次に、ステップS6で取得した2次元位置情報とカメラ20のキャリブレーションデータとに基づいて、カメラ20のレンズ中心から該物品の2次元位置に対応する3次元位置に向かう3次元空間上の視線を計算する(ステップS8)。

最後に、選定された物品の第1の3次元点データと、ステップS8で求めた視線とに基づいて、物品の3次元の位置及び姿勢の一方又は双方を計算する(ステップS9)。例えば、選定された物品上の3次元点データに平面を当てはめて近似平面を計算し、求めた近似平面と該視線との交点を計算して、その交点を物品を代表する3次元位置とすることができる。その場合、物品の傾きには、近似平面の法線方向の情報が利用でき、また、物品の向き(法線周りの回転角度)には、2次元画像上で検出されたテンプレートの向きが利用できる。また平面に限らず、物品の形状が何らかの関数で表せる場合は、前記選定された物品上の3次元点データに該関数の当てはめを行うことで物品の3次元位置姿勢を求めてもよい。

或いは、物品の形状が、3次元CADデータ等の3次元形状として与えられている場合は、前記物品上にあるものとして選定された3次元点データと、物品の3次元形状のマッチングを行ってもよい。この場合、3次元CADデータとのマッチングであっても、マッチング対象となる3次元情報が限定されているため、視野全体からマッチングする位置姿勢を探すことに比べれば格段に少ない処理時間でマッチングを行うことができる。

以上述べたように、本願発明では、以下のような方法で物品の3次元位置姿勢を認識することができる。
(1)はじめに、カメラで複数の物品がバラ積みされた領域全体の2次元画像を取得し、さらにレンジセンサでカメラと略同じ領域から3次元情報を取得する。
(2)次に、レンジセンサで取得した3次元情報から、取り出すべき物品が存在するであろう空間を大まかに限定する。一般的に、物品がバラ積みされている場合、上にある物品から取り出していくので、例えば、3次元情報において高さの値が大きい空間を限定する。
(3)次に、限定した空間に基づいて、2次元画像処理で物品を探索する探索条件を設定する。ここで探索条件とは、2次元画像上で物品を検出する領域や、検出すべき物品の画像上での見た目の大きさの範囲等を指す。例えば、限定された空間内の点をカメラのキャリブレーションデータに基づいてカメラの受光面に投影することで、限定した空間に対応する2次元画像の領域に探索範囲を限定したり、限定した空間内の点とカメラとの距離から、物品が2次元画像に映る大きさの範囲を限定したりすることができる。
(4)次に、設定された探索条件に基づいて2次元画像処理を行い、物品の画像上での2次元位置情報を得る。ここでは、周知のテンプレートマッチングのような2次元画像処理技法を利用することができる。予め探索条件が限定されているので、極短時間で処理を完了することができる。
(5)次に、2次元位置情報を用いて物品の3次元位置姿勢の認識に使用する3次元情報を選定する。例えば、3次元領域内の各点をカメラのキャリブレーションデータに基づいてカメラの受光面に投影し、それが2次元画像処理で検出したテンプレート領域内に投影されれば、その3次元点は2次元画像処理で検出した物品上の3次元点である、とみなすことができる。
(6)最後に、前記2次元位置情報とカメラのキャリブレーションデータに基づいて、カメラの焦点から該物品に向かう3次元空間上の視線を計算し、該視線と、物品上にあるものとして選定された前記3次元点データに基づいて、物品の3次元空間上の位置、姿勢又はその双方を計算する。

10 ロボットシステム
12 ロボット
14 ロボット制御装置
16 情報処理装置
18 レンジセンサ
20 カメラ
22 物品
24 箱

Claims (13)

  1. 同種の複数物品がバラ積みされた領域全体の2次元画像を取得するカメラと、
    前記カメラと略同じ範囲の3次元情報を取得するレンジセンサと、
    前記カメラにより取得された2次元画像及び前記レンジセンサにより取得された3次元情報の処理を行う情報処理装置と、を備え、
    前記情報処理装置は、
    前記3次元情報に基づいて、前記2次元画像上で物品の像を探索する領域を探索条件として設定する探索条件設定部と、
    設定された探索条件内で前記2次元画像の画像処理を行って物品の像を検出し、前記2次元画像上での物品の2次元位置情報を取得する2次元位置取得部と、
    取得された2次元位置情報に基づいて、前記カメラから物品へ向かう3次元空間上の視線を求める視線計算部と、
    取得された2次元位置情報又は求められた視線に基づいて、前記3次元情報から、該物品の3次元位置姿勢の認識に使用する第1の3次元点データを選定する3次元点データ選定部と、
    選定された第1の3次元点データ及び前記視線に基づいて、物品の3次元の位置及び姿勢の一方又は双方を計算する3次元位置姿勢計算部と、
    を有する、物品の3次元位置姿勢の認識装置。
  2. 前記レンジセンサは、少なくとも1つのカメラと、パターン光を投影する装置とから構成され、前記レンジセンサのカメラのうちの1つを2次元画像取得用のカメラとして兼用することを特徴とする、請求項1に記載の物品の3次元位置姿勢の認識装置。
  3. 前記レンジセンサは、複数のカメラと、パターン光を投影する装置とから構成され、該パターン光は前記複数のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためのみに用いられることを特徴とする、請求項1に記載の物品の3次元位置姿勢の認識装置。
  4. 前記レンジセンサは、少なくとも1つのカメラと、パターン光を投影する装置とから構成され、該パターン光の光源として赤外光を使用することを特徴とする、請求項1に記載の物品の3次元位置姿勢の認識装置。
  5. 前記探索条件設定部は、前記レンジセンサにより取得された3次元情報から、高さの値が予め定めた値より大きい第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する、前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、請求項1に記載の物品の3次元位置姿勢の認識装置。
  6. 前記探索条件設定部はさらに、前記予め定めた値によって定まる高さの値又は前記選定された第2の3次元点データが含まれる空間の高さの値の範囲に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、請求項5に記載の物品の3次元位置姿勢の認識装置。
  7. 前記探索条件設定部は、前記レンジセンサにより取得された3次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、請求項1に記載の物品の3次元位置姿勢の認識装置。
  8. 前記探索条件設定部はさらに、選定された前記第2の3次元点データの高さの値の範囲に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、請求項7に記載の物品の3次元位置姿勢の認識装置。
  9. 同種の複数物品がバラ積みされた領域全体の2次元画像をカメラにより取得するステップと、
    前記カメラと略同じ範囲の3次元情報をレンジセンサにより取得するステップと、
    前記3次元情報に基づいて、前記2次元画像上で物品の像を探索する領域を探索条件として設定するステップと、
    設定された探索条件内で前記2次元画像の画像処理を行って物品の像を検出し、前記2次元画像上での物品の2次元位置情報を取得するステップと、
    前記2次元位置情報に基づいて、前記カメラから物品へ向かう3次元空間上の視線を求めるステップと、
    取得された2次元位置情報又は求められた視線に基づいて、前記3次元情報から、該物品の3次元位置姿勢の認識に使用する第1の3次元点データを選定するステップと、
    選定された第1の3次元点データと前記視線に基づいて、物品の3次元の位置及び姿勢の一方又は双方を計算するステップと、
    を含む、物品の3次元位置姿勢の認識方法。
  10. 前記探索条件を設定するステップは、前記レンジセンサにより取得された3次元情報から高さの値が予め定めた値より大きい第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する、前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、請求項9に記載の物品の3次元位置姿勢の認識方法。
  11. 前記探索条件を設定するステップはさらに、前記予め定めた値によって定まる高さの値又は前記選定された3次元点データが含まれる空間の高さの値の範囲に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、請求項10に記載の物品の3次元位置姿勢の認識方法。
  12. 前記探索条件を設定するステップは、前記レンジセンサにより取得された3次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第2の3次元点データを選定し、該第2の3次元点データが含まれる空間に対応する、前記カメラによって取得された2次元画像上の領域を求め、2次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、請求項9に記載の物品の3次元位置姿勢の認識方法。
  13. 前記探索条件を設定するステップはさらに、選定された第2の3次元点データの高さの値に基づいて、2次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、請求項12に記載の物品の3次元位置姿勢の認識方法。
JP2011244761A 2011-11-08 2011-11-08 物品の3次元位置姿勢の認識装置及び認識方法 Pending JP2013101045A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011244761A JP2013101045A (ja) 2011-11-08 2011-11-08 物品の3次元位置姿勢の認識装置及び認識方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011244761A JP2013101045A (ja) 2011-11-08 2011-11-08 物品の3次元位置姿勢の認識装置及び認識方法
DE102012021375.1A DE102012021375B4 (de) 2011-11-08 2012-10-31 Vorrichtung und Verfahren zum Erkennen einer dreidimensionalen Position und Orientierung eines Artikels
CN2012104347958A CN103085076A (zh) 2011-11-08 2012-11-02 物品的三维位置姿势的识别装置以及识别方法
US13/670,679 US8929608B2 (en) 2011-11-08 2012-11-07 Device and method for recognizing three-dimensional position and orientation of article

Publications (1)

Publication Number Publication Date
JP2013101045A true JP2013101045A (ja) 2013-05-23

Family

ID=48129020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011244761A Pending JP2013101045A (ja) 2011-11-08 2011-11-08 物品の3次元位置姿勢の認識装置及び認識方法

Country Status (4)

Country Link
US (1) US8929608B2 (ja)
JP (1) JP2013101045A (ja)
CN (1) CN103085076A (ja)
DE (1) DE102012021375B4 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013158873A (ja) * 2012-02-03 2013-08-19 Fanuc Ltd 検索ウィンドウを自動的に調整する機能を備えた画像処理装置
JP2014028415A (ja) * 2012-07-31 2014-02-13 Fanuc Ltd バラ積みされた物品をロボットで取出す装置
CN103925872A (zh) * 2013-12-23 2014-07-16 中国神华能源股份有限公司 一种用于获取目标物空间分布的激光扫描测量装置和方法
JP2015079374A (ja) * 2013-10-17 2015-04-23 セイコーエプソン株式会社 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP2015089589A (ja) * 2013-11-05 2015-05-11 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
DE102015002760A1 (de) 2014-03-12 2015-09-17 Fanuc Corporation Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE102015106936A1 (de) 2014-05-12 2015-11-12 Fanuc Corporation Anordnungsevaluierungsvorrichtung zur Evaluierung einer Anordungsposition eines Bereichssensors
JP2016020888A (ja) * 2014-06-20 2016-02-04 株式会社リコー 計測システム、物体取出システム、計測方法およびプログラム
DE102016000995A1 (de) 2015-02-06 2016-08-11 Fanuc Corporation Förderrobotersystem mit dreidimensionalem Sensor
JP2016148558A (ja) * 2015-02-10 2016-08-18 キヤノン株式会社 情報処理装置、情報処理方法
JP2017067758A (ja) * 2015-09-28 2017-04-06 株式会社リコー システム
JP2017075891A (ja) * 2015-10-16 2017-04-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
DE102017122362A1 (de) 2016-09-29 2018-03-29 Fanuc Corporation Objekterkennungsvorrichtung und Objekterkennungsverfahren
DE102018109309A1 (de) 2017-04-26 2018-10-31 Fanuc Corporation Objekterkennungsvorrichtung

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012064597A2 (en) * 2010-11-09 2012-05-18 Pioneer Hi-Bred International, Inc. System and method for sensor-based feedback control of a seed conditioning and production process
US9072929B1 (en) * 2011-12-01 2015-07-07 Nebraska Global Investment Company, LLC Image capture system
US9472005B1 (en) * 2012-04-18 2016-10-18 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
CN103307987A (zh) * 2013-06-27 2013-09-18 爱司帝光电科技(苏州)有限公司 组装物的组装方法
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP5897532B2 (ja) * 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
JP5788461B2 (ja) * 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
JP5877857B2 (ja) 2014-03-10 2016-03-08 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
EP2927944A1 (en) * 2014-04-04 2015-10-07 Nordson Corporation X-ray inspection apparatus for inspecting semiconductor wafers
CN103963058B (zh) * 2014-04-30 2016-01-06 重庆环视高科技有限公司 基于多方位视觉定位的机械手臂抓取控制系统及方法
US9256944B2 (en) * 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
US20160195390A1 (en) * 2015-01-05 2016-07-07 Bell Helicopter Textron Inc. Inspecting components using mobile robotic inspection systems
JP6208724B2 (ja) 2015-09-09 2017-10-04 ファナック株式会社 物体の姿勢算出システム
WO2017056479A1 (en) * 2015-09-28 2017-04-06 Ricoh Company, Ltd. System
US10025886B1 (en) 2015-09-30 2018-07-17 X Development Llc Methods and systems for using projected patterns to facilitate mapping of an environment
JP6348097B2 (ja) 2015-11-30 2018-06-27 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
JP2017100240A (ja) * 2015-12-01 2017-06-08 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2017187988A (ja) * 2016-04-07 2017-10-12 東芝テック株式会社 コード認識装置
JP2018091656A (ja) * 2016-11-30 2018-06-14 キヤノン株式会社 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
US10529128B1 (en) * 2018-04-27 2020-01-07 Facebook Technologies, Llc Apparatus, system, and method for mapping a 3D environment

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05173644A (ja) * 1991-12-19 1993-07-13 Pioneer Electron Corp 3次元物体認識装置
JPH07287756A (ja) * 1994-02-23 1995-10-31 Matsushita Electric Works Ltd 物体認識方法
JPH10118975A (ja) * 1996-10-18 1998-05-12 Komatsu Ltd ハンドリング位置認識方法および認識装置
JP2004144557A (ja) * 2002-10-23 2004-05-20 Fanuc Ltd 3次元視覚センサ
JP2007203406A (ja) * 2006-02-01 2007-08-16 Fanuc Ltd ワーク取り出し装置
JP2008246631A (ja) * 2007-03-30 2008-10-16 Fanuc Ltd 対象物取出装置
JP2010184308A (ja) * 2009-02-10 2010-08-26 Fanuc Ltd ワーク取り出し装置
JP2010205095A (ja) * 2009-03-05 2010-09-16 3D Media Co Ltd 3次元物体認識装置、並びに3次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
JP2011133313A (ja) * 2009-12-24 2011-07-07 Canon Inc センサ位置姿勢計測方法
JP2011174879A (ja) * 2010-02-25 2011-09-08 Canon Inc 位置姿勢推定装置及びその方法
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985846A (en) * 1989-05-11 1991-01-15 Fallon Patrick J Acoustical/optical bin picking system
JP2932022B2 (ja) 1992-11-27 1999-08-09 富士写真フイルム株式会社 放射線画像の位置合せ方法
JPH07270137A (ja) 1994-02-10 1995-10-20 Fanuc Ltd スポット光走査型3次元視覚センサ
JP3572775B2 (ja) 1996-01-22 2004-10-06 マツダ株式会社 物品形状獲得方法
JP4120430B2 (ja) 2003-03-12 2008-07-16 オムロン株式会社 物体判別装置
JP3996560B2 (ja) 2003-08-18 2007-10-24 株式会社リコー 物体形状測定装置
CN1984756B (zh) * 2004-07-13 2011-12-07 松下电器产业株式会社 物品保持系统、机器人以及机器人控制方法
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
JP5092711B2 (ja) 2007-11-22 2012-12-05 株式会社Ihi 物体認識装置およびロボット装置
US8107721B2 (en) * 2008-05-29 2012-01-31 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of semi-specular objects
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
JP5282717B2 (ja) * 2009-10-19 2013-09-04 株式会社安川電機 ロボットシステム
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05173644A (ja) * 1991-12-19 1993-07-13 Pioneer Electron Corp 3次元物体認識装置
JPH07287756A (ja) * 1994-02-23 1995-10-31 Matsushita Electric Works Ltd 物体認識方法
JPH10118975A (ja) * 1996-10-18 1998-05-12 Komatsu Ltd ハンドリング位置認識方法および認識装置
JP2004144557A (ja) * 2002-10-23 2004-05-20 Fanuc Ltd 3次元視覚センサ
JP2007203406A (ja) * 2006-02-01 2007-08-16 Fanuc Ltd ワーク取り出し装置
JP2008246631A (ja) * 2007-03-30 2008-10-16 Fanuc Ltd 対象物取出装置
JP2010184308A (ja) * 2009-02-10 2010-08-26 Fanuc Ltd ワーク取り出し装置
JP2010205095A (ja) * 2009-03-05 2010-09-16 3D Media Co Ltd 3次元物体認識装置、並びに3次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
JP2011133313A (ja) * 2009-12-24 2011-07-07 Canon Inc センサ位置姿勢計測方法
JP2011174879A (ja) * 2010-02-25 2011-09-08 Canon Inc 位置姿勢推定装置及びその方法
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013158873A (ja) * 2012-02-03 2013-08-19 Fanuc Ltd 検索ウィンドウを自動的に調整する機能を備えた画像処理装置
US9769428B2 (en) 2012-02-03 2017-09-19 Fanuc Corporation Image processing device with function for automatically adjusting search window
JP2014028415A (ja) * 2012-07-31 2014-02-13 Fanuc Ltd バラ積みされた物品をロボットで取出す装置
US8874270B2 (en) 2012-07-31 2014-10-28 Fanuc Corporation Apparatus for taking out bulk stored articles by robot
JP2015079374A (ja) * 2013-10-17 2015-04-23 セイコーエプソン株式会社 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP2015089589A (ja) * 2013-11-05 2015-05-11 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
US9415511B2 (en) 2013-11-05 2016-08-16 Fanuc Corporation Apparatus and method for picking up article randomly piled using robot
CN103925872A (zh) * 2013-12-23 2014-07-16 中国神华能源股份有限公司 一种用于获取目标物空间分布的激光扫描测量装置和方法
DE102015002760A1 (de) 2014-03-12 2015-09-17 Fanuc Corporation Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
US9529945B2 (en) 2014-03-12 2016-12-27 Fanuc Corporation Robot simulation system which simulates takeout process of workpieces
DE102015106936A1 (de) 2014-05-12 2015-11-12 Fanuc Corporation Anordnungsevaluierungsvorrichtung zur Evaluierung einer Anordungsposition eines Bereichssensors
JP2015215259A (ja) * 2014-05-12 2015-12-03 ファナック株式会社 レンジセンサの配置位置評価装置
US9470515B2 (en) 2014-05-12 2016-10-18 Fanuc Corporation Arrangement evaluation apparatus for evaluating arrangement position of range sensor
JP2016020888A (ja) * 2014-06-20 2016-02-04 株式会社リコー 計測システム、物体取出システム、計測方法およびプログラム
DE102016000995B4 (de) 2015-02-06 2019-01-31 Fanuc Corporation Förderrobotersystem mit dreidimensionalem Sensor
DE102016000995A1 (de) 2015-02-06 2016-08-11 Fanuc Corporation Förderrobotersystem mit dreidimensionalem Sensor
US9844882B2 (en) 2015-02-06 2017-12-19 Fanuc Corporation Conveyor robot system provided with three-dimensional sensor
JP2016148558A (ja) * 2015-02-10 2016-08-18 キヤノン株式会社 情報処理装置、情報処理方法
JP2017067758A (ja) * 2015-09-28 2017-04-06 株式会社リコー システム
JP2017075891A (ja) * 2015-10-16 2017-04-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
DE102017122362A1 (de) 2016-09-29 2018-03-29 Fanuc Corporation Objekterkennungsvorrichtung und Objekterkennungsverfahren
US10482341B2 (en) 2016-09-29 2019-11-19 Fanuc Corporation Object recognition device and object recognition method
DE102018109309A1 (de) 2017-04-26 2018-10-31 Fanuc Corporation Objekterkennungsvorrichtung
JP2018185219A (ja) * 2017-04-26 2018-11-22 ファナック株式会社 物体認識装置
US10339668B2 (en) 2017-04-26 2019-07-02 Fanuc Corporation Object recognition apparatus

Also Published As

Publication number Publication date
US20130114861A1 (en) 2013-05-09
CN103085076A (zh) 2013-05-08
DE102012021375A1 (de) 2013-05-08
US8929608B2 (en) 2015-01-06
DE102012021375B4 (de) 2017-03-02

Similar Documents

Publication Publication Date Title
US20190026878A1 (en) Image-stitching for dimensioning
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
JP6132275B2 (ja) サイズ測定装置及びサイズ測定方法
DE102012112322B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
US9965870B2 (en) Camera calibration method using a calibration target
US8446492B2 (en) Image capturing device, method of searching for occlusion region, and program
JP2016186488A (ja) 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム
JP3879848B2 (ja) 自律移動装置
JP5624394B2 (ja) 位置姿勢計測装置、その計測処理方法及びプログラム
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
CN101274432B (zh) 目标物取出装置
JP5745178B2 (ja) 3次元測定方法、装置及びシステム、並びに画像処理装置
DE112014001391T5 (de) Dreidimensionaler Koordinatenscanner und Betriebsverfahren
JP4811272B2 (ja) 3次元計測を行う画像処理装置および画像処理方法
EP2608536B1 (en) Method for counting objects and apparatus using a plurality of sensors
JP6045417B2 (ja) 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
JP5467404B2 (ja) 3d撮像システム
JP5043133B2 (ja) 移動ロボットの位置認識用ランドマーク、並びにこれを利用した位置認識装置及び方法
US8396284B2 (en) Smart picking in 3D point clouds
US20190195627A1 (en) Dual-resolution 3d scanner and method of using
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
JP4226550B2 (ja) 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
US20150015701A1 (en) Triangulation scanner having motorized elements
Scaramuzza et al. Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130806