JP2023010174A - ロボットビジョンシステム - Google Patents

Abstract

【課題】ロボットアームひいてはそれに取り付けられているカメラを移動させながらワークを撮像した場合であっても、ワークを正確に認識することが可能なロボットビジョンシステムを提供することを目的とする。【解決手段】本発明のロボットビジョンシステムの構成は、ロボットアーム１０２に取り付けられたカメラ１１０と、ロボットアームの姿勢ごとのワーク１０４のパターンを格納するパターンテーブル１２２と、カメラを用いてワークの画像を撮像する撮像部１２４と、ロボットアームの姿勢を取得するロボット姿勢取得部１２６と、撮像時のロボットアームの姿勢に対応するパターンを選択するパターン選択部１２８と、画像に写っているワークとパターンとを比較して認識スコアを算出する認識スコア算出部１３２と、認識スコアに基づいてワークの認識を行う認識部１３４とを有することを特徴とする。【選択図】図２

Description

本発明は、ロボットアームに取り付けられたカメラを有するロボットビジョンシステムに関する。

近年、工場等の生産現場において、ロボットアームやマニピュレータ等の産業用機械が用いられている。産業用機械においてピッキングするワークを識別する方法としては、例えば特許文献１にワーク識別方法およびワーク識別装置が開示されている。

特許文献１では、ワークＷｉには、外面Ｆごとに方向性を有する識別可能なマークＣ（矢印Ａｉ）が付与されている。一方、特許文献１のロボット１０は、マークＣが撮像されたマークマスタ画像Ｍを格納する第１マスタ画像格納手段４２と、ワークＷｉが撮像されたワークＷｉの姿勢ごとのワークマスタ画像Ｎを格納する第２マスタ画像格納手段４３とを有している。

そして、マーク画像Ｐを予め用意されている矢印Ａｉのマークマスタ画像Ｍと比較してワークＷｉの姿勢を認識し、姿勢ごとのワークマスタ画像Ｎと比較することによってワークＷｉの種類を認識することができる。その結果、複雑な演算処理を行わずにワークＷｉの種類や姿勢を認識することができると述べている。

特開２０１０－１２２７７７号公報

しかしながら特許文献１では、ワークに方向性を識別可能なマーク（矢印）が付与されていることが前提となっていて、一般的なワークに対しては適用することができないという問題がある。また特許文献１の技術では、カメラを位置決めした状態でワークを撮影している。このような手法であると、ロボットアームが移動した際には当然にしてカメラも移動することとなるため、撮像した画像におけるワークの見え方が変化する。このような場合、特許文献１のようにカメラを位置決めした画像を基に作成したマスタ画像をワークの認識の際のマッチングに用いることができない。

本発明は、このような課題に鑑み、ロボットアームひいてはそれに取り付けられているカメラを移動させながらワークを撮像した場合であっても、ワークを正確に認識することが可能なロボットビジョンシステムを提供することを目的としている。

上記課題を解決するために、本発明のロボットビジョンシステムの代表的な構成は、ロボットアームに取り付けられたカメラを有するロボットビジョンシステムにおいて、ロボットアームの姿勢ごとのワークのパターンを格納するパターンテーブルと、カメラを用いてワークの画像を撮像する撮像部と、ロボットアームの姿勢を取得するロボット姿勢取得部と、撮像時のロボットアームの姿勢に対応するパターンを選択するパターン選択部と、画像に写っているワークとパターンとを比較して認識スコアを算出する認識スコア算出部と、認識スコアに基づいてワークの認識を行う認識部とを有することを特徴とする。

本発明によれば、ロボットアームひいてはそれに取り付けられているカメラを移動させながらワークを撮像した場合であっても、ワークを正確に認識することが可能なロボットビジョンシステムを提供することができる。

本実施形態にかかるロボットビジョンシステムを説明する概略図である。 本実施形態のロボットビジョンシステムの機能構成を説明する機能ブロック図である。 パターンテーブルを説明する図である。 本実施形態のロボットビジョンシステムの動作を説明するフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、本実施形態にかかるロボットビジョンシステム１００を説明する概略図である。本実施形態のロボットビジョンシステム１００では、産業用機械としてロボットアーム１０２を例示している。ロボットアーム１０２は、ワークテーブル１０６の上に載置されたワーク１０４を把持（ピックアップ）し、かかるワーク１０４を所定の位置まで移動する。

図２は、本実施形態のロボットビジョンシステム１００の機能構成を説明する機能ブロック図である。図２に示すように、本実施形態のロボットビジョンシステム１００は、ワーク１０４を撮影するカメラ１１０および制御部１２０を含んで構成される。カメラ１１０はロボットアーム１０２に取り付けられている。制御部１２０は、パターンテーブル１２２、撮像部１２４、ロボット姿勢取得部１２６、パターン選択部１２８、認識スコア算出部１３２および認識部１３４を有する。

図３は、パターンテーブル１２２を説明する図である。パターンテーブル１２２には、ロボットアーム１０２の姿勢ごとのワーク１０４のパターンを格納されている。すなわち、ロボットアーム１０２の姿勢が変わるとワーク１０４の見え方が変わるので、ロボットアーム１０２の姿勢ごとにそのときのワーク１０４の形状をパターンとして格納する。パターンテーブル１２２を作成する際には、ロボットアーム１０２の姿勢すなわちエンドエフェクタ１０８（図１参照）の位置および向きを異ならせながらカメラ１１０によってワーク１０４を撮像する。

例えばロボットアームが姿勢Ａのとき、ワーク１０４に対するカメラ１１０の角度は９０°である。ロボットアーム１０２が姿勢Ｂのとき、ワーク１０４に対するカメラ１１０の角度は６０°である。ロボットアーム１０２が姿勢Ｃのとき、ワーク１０４に対するカメラ１１０の角度は３０°である。これにより、姿勢Ａ－Ｃに対応するパターンが生成される。

なお、本実施形態ではロボットアーム１０２の角度を変えた３つの姿勢に対応するパターンを生成する場合を例示したが、これに限定するものではなく、姿勢の数は角度および方向を変更した任意の数に決定してよい。また本実施形態では、カメラ１１０によってワーク１０４を撮像した画像からパターンを生成する構成を例示したが、これにおいても限定されず、例えばワーク１０４の３Ｄデータを用いて射影変換等によってパターンを生成してもよい。

図４は、本実施形態のロボットビジョンシステム１００の動作を説明するフローチャートである。本実施形態のロボットビジョンシステム１００では、まず撮像部１２４は、カメラ１１０を用いてワーク１０４の画像を撮像する（Ｓ２０２）。次にロボット姿勢取得部１２６は、Ｓ２０２でワーク１０４の画像を撮像した際のロボットアーム１０２の姿勢を取得する（Ｓ２０４）。

続いてパターン選択部１２８は、パターンテーブル１２２を参照し、撮像時のロボットアーム１０２の姿勢に対応するパターンを選択する（Ｓ２０６）。そして認識スコア算出部１３２は、撮像した画像に写っているワーク１０４とパターンとを比較して認識スコアを算出する（Ｓ２０８）。認識スコアが算出されたら、認識部１３４は、その認識スコアに基づいてワーク１０４の認識を行う（Ｓ２１０）。

上記説明したように本実施形態のロボットビジョンシステム１００では、ロボットアーム１０２ひいてはそれに取り付けられているカメラ１１０を移動させながらワーク１０４を撮像した場合において、撮像された画像のワーク１０４と、予めパターンテーブル１２２に格納されているロボットアーム１０２の姿勢ごとのパターンとを比較する。これにより、画像のワーク１０４とパターンとの認識スコアを算出することで、ワークテーブル１０６に載置されているワーク１０４を正確に認識することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、ロボットアームに取り付けられたカメラを有するロボットビジョンシステムとして利用することができる。

１００…ロボットビジョンシステム、１０２…ロボットアーム、１０４…ワーク、１０６…ワークテーブル、１０８…エンドエフェクタ、１１０…カメラ、１２０…制御部、１２２…パターンテーブル、１２４…撮像部、１２６…ロボット姿勢取得部、１２８…パターン選択部、１３２…認識スコア算出部、１３４…認識部

Claims (1)

1. ロボットアームに取り付けられたカメラを有するロボットビジョンシステムにおいて、
   前記ロボットアームの姿勢ごとのワークのパターンを格納するパターンテーブルと、
   前記カメラを用いて前記ワークの画像を撮像する撮像部と、
   前記ロボットアームの姿勢を取得するロボット姿勢取得部と、
   撮像時の前記ロボットアームの姿勢に対応するパターンを選択するパターン選択部と、
   前記画像に写っているワークと前記パターンとを比較して認識スコアを算出する認識スコア算出部と、
   前記認識スコアに基づいて前記ワークの認識を行う認識部とを有することを特徴とするロボットビジョンシステム。

Images