JP2021133458A

JP2021133458A - ３次元計測装置および３次元計測システム

Info

Publication number: JP2021133458A
Application number: JP2020031235A
Authority: JP
Inventors: 貴幸守澤; Takayuki Morisawa
Original assignee: Nachi Fujikoshi Corp
Current assignee: Nachi Fujikoshi Corp
Priority date: 2020-02-27
Filing date: 2020-02-27
Publication date: 2021-09-13

Abstract

【課題】簡単な構成で周辺環境の３次元計測およびバラ積みのワークのピッキングが可能な３次元計測装置を提供すること。【解決手段】３次元計測装置１４は、撮像装置１３で撮像したワークの画像を取得する撮像画像取得部２１２と、多関節ロボット１１の各関節部に取り付けられたエンコーダ１８のエンコーダ値を取得するエンコーダ値取得部２１１と、エンコーダ値取得部２１１で取得したエンコーダ値に基づいて、撮像装置１３の姿勢を演算する撮像装置姿勢演算部２２１と、撮像画像取得部２１２で取得したワークの画像および撮像装置姿勢演算部２２１で演算した撮像装置１３の姿勢に基づいて、ワークの３次元形状を演算する３次元形状演算部２２２と、を備える。【選択図】図２

Description

本発明は、３次元計測技術に関し、より詳細には、視覚装置を用いたロボットシステムによりワーク等の３次元位置を計測する３次元計測装置および３次元計測システムに関する。

従来から、工場設備等では、通い箱等の中にバラ積みされた状態のワークを産業用ロボットの先端部に取り付けられたハンドでピックアップする際に、カメラ等の視覚装置を用いてワークの位置を検出してピッキングを行うことが知られている。

このような視覚装置を用いてワークをピッキングする技術として、例えば特許文献１には、ワークをピッキングするハンドを有するロボットと、ロボットの先端部に取り付けられ、ワークを撮像するカメラと、カメラによって撮像されたワークの画像を入力し、ワークの位置姿勢を演算して出力する画像処理装置と、画像処理装置の出力に基づいてロボットをワークの位置に移動させハンドによってワークをピッキングさせるロボットコントローラと、を備えたロボットシステムが開示されている。

特開２０１１−８３８８２号公報

ここで、特許文献１に記載のロボットシステムでは、一枚の撮像画像から抽出した２次元特徴点の配置関係と３次元モデル（特徴点の配置関係）とを比較することで、対象物の位置姿勢を検出している。したがって、特許文献１のロボットシステムは、３次元特徴点を用いる場合に比べて対象物の位置姿勢を検出する精度が低く、検出精度に改善の余地がある。

一方、既知の技術である複数のカメラ（撮像画像）を用いるステレオビジョンでは、対象物の３次元点群を作成した上で３次元特徴点を抽出し、３次元モデル（ＣＡＤデータ、または点群）から抽出した３次元特徴点と比較することで、対象物の位置姿勢を検出している。しかしながら、このようなステレオビジョンは、複数のカメラを必要とするため、構成が複雑になりコストも高くなるという問題がある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、簡単な構成で周辺環境の３次元計測およびバラ積みのワークのピッキングが可能な３次元計測装置を提供することにある。

上記課題を解決するために本発明に係る３次元計測装置は、
撮像装置で撮像したワークの画像を取得する撮像画像取得部と、
多関節ロボットの各関節部に取り付けられたエンコーダのエンコーダ値を取得するエンコーダ値取得部と、
前記エンコーダ値取得部で取得したエンコーダ値に基づいて、前記撮像装置の姿勢を演算する撮像装置姿勢演算部と、
前記撮像画像取得部で取得した前記ワークの画像および前記撮像装置姿勢演算部で演算した前記撮像装置の姿勢に基づいて、前記ワークの３次元形状を演算する３次元形状演算部と、を備える。

また、本発明に係る３次元計測システムは、
各関節部にエンコーダを取り付けた多関節ロボットと、前記多関節ロボットに接続された制御装置と、前記多関節ロボットに取り付けられたワークの画像を撮像する撮像装置と、前記ワークの３次元形状を計測する３次元計測装置と、を備え、
前記３次元計測装置が、
前記撮像装置で撮像したワークの画像を取得する撮像画像取得部と、
前記エンコーダのエンコーダ値を取得するエンコーダ値取得部と、
前記エンコーダ値取得部で取得したエンコーダ値に基づいて、前記撮像装置の姿勢を演算する撮像装置姿勢演算部と、
前記撮像画像取得部で取得した前記ワークの画像および前記撮像装置姿勢演算部で演算した前記撮像装置の姿勢に基づいて、前記ワークの３次元形状を演算する３次元形状演算部と、
を有する。

本発明に係る３次元計測装置によれば、簡単な構成で周辺環境の３次元計測およびバラ積みのワークのピッキングを行うことができる。なお、ここに記載された効果は、必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。

本発明の一実施形態に係る３次元計測システムの構成例を示す模式図である。本発明の一実施形態に係る３次元計測装置の構成例を示すブロック図である。本発明の一実施形態に係る３次元計測システムによるワークの３次元計測の手順を示すフローチャートである。本発明の一実施形態に係る３次元計測装置による演算処理の例を示すフローチャートである。本発明の一実施形態に係る多関節ロボットの動作例を示す模式図である。

以下、本発明の実施形態について図面を参照しながら説明する。以下に説明する実施形態は、本発明の代表的な実施形態の一例を示したものであり、これにより本発明の範囲が狭く解釈されることはない。

まず、図１を用いて、多関節ロボットに適用された本発明の一実施形態に係る３次元計測システムについて説明する。図１は、本実施形態に係る３次元計測システムの構成例を示す模式図である。

図１に示すように、３次元計測システム１０は、例えば、多関節ロボット１１と、多関節ロボット１１の制御装置１２と、撮像装置である単一のカメラ１３と、３次元計測装置１４と、を備えている。

多関節ロボット１１は、ベース部１５と、ベース部１５に接続されたロボットアーム１６と、ロボットアーム１６の先端に取り付けられたロボットハンド１７と、各関節に取り付けられているエンコーダ（関節角度測定器）１８と、を備えている。

制御装置１２は、多関節ロボット１１のベース部１５と接続され、多関節ロボット１１の動作を制御するため、各関節に取り付けられているエンコーダ１８の各エンコーダ値を取得することができる。

カメラ１３は、ロボットアーム１６の先端またはロボットハンド１７に取り付けられ、３次元計測装置１４と接続されている。カメラ１３は、多関節ロボット１１でピックアップする対象物であるワークＷを複数視点で撮像し、ワークＷおよびその周辺環境を撮像することができる。

３次元計測装置１４は、多関節ロボット１１、制御装置１２およびカメラ１３と接続され、ワークＷの３次元形状を計測する。本実施形態では、３次元計測装置１４でワークＷの３次元形状を計測することにより、簡易な構成でワークＷのピッキング作業が可能となる。

エンコーダ１８は、ロボットアーム１６の各関節の角度を測定する。通常、単一カメラ１３を用いて３次元形状の計測を行う際には、一連の画像を撮像した際のカメラ１３の姿勢を推定することになる。そのため、原理的に周辺環境のスケールが不定であったり、時間経過とともにカメラ１３の姿勢の推定結果に誤差が累積したりするといった限界が生じる問題がある。したがって、一般的な単一カメラを用いたステレオビジョンでは、各撮影位置の位置関係を推定する必要があり、原理的に上記の問題が生じて検出精度に悪影響を及ぼすことが考えられる。

本実施形態に係る３次元計測システム１０は、ロボットアーム１６にカメラ１３を取り付けるものであり、カメラ１３が多関節ロボット１１の手先と一緒に動くものである。そのため、３次元計測システム１０によれば、エンコーダ値をもとにカメラ１３の姿勢を演算することにより、各撮影位置を多関節ロボット１１の手先の位置から知ることができるので、上記の従来の問題を解消することができる。

次に、本実施形態に係る３次元計測装置の詳細構成について説明する。図２は、本実施形態に係る３次元計測装置１４の構成例を示すブロック図である。

３次元計測装置１４は、例えば、制御装置１２およびカメラ１３から受信した情報を記憶する記憶部２１と、記憶部２１に記憶された各情報を用いてワークＷの３次元形状を演算する演算部２２と、を備えている。

記憶部２１は、エンコーダ値取得部２１１と、撮像画像取得部であるカメラ画像取得部２１２と、姿勢情報取得部２１３と、を有している。また、演算部２２は、撮像装置姿勢演算部であるカメラ姿勢演算部２２１と、３次元形状演算部２２２と、を有している。

エンコーダ値取得部２１１は、制御装置１２で取得した各関節のエンコーダ値を取得して記憶する。エンコーダ値取得部２１１は、演算部２２からの要求により、記憶したエンコーダ値をカメラ姿勢演算部２２１へ送信する。

カメラ画像取得部２１２は、カメラ１３で撮像したワークＷの画像を取得して記憶する。カメラ画像取得部２１２は、演算部２２からの要求により、記憶したワークＷの画像を３次元形状演算部２２２へ送信する。

カメラ姿勢演算部２２１は、エンコーダ値取得部２１１から各関節のエンコーダ値を取得し、それらのエンコーダ値に基づいて、撮像時のカメラ１３の姿勢を演算する。

３次元形状演算部２２２は、カメラ画像取得部２１２で取得したワークＷの画像およびカメラ姿勢演算部２２１で演算した撮像時のカメラ１３の姿勢に基づいて、ワークＷの３次元形状を演算する。３次元形状演算部２２２は、演算したワークＷの３次元形状の値を制御装置１２に送信する。制御装置１２は、受信したワークＷの３次元形状の値に基づいて、多関節ロボット１１の動作を制御する。

次に、図３を用いて、本実施形態に係る３次元計測システムによるワークの３次元計測の例について説明する。図３は、本実施形態に係る３次元計測システム１０によるワークＷの３次元計測の手順を示すフローチャートである。カメラ１３で把持対象であるワークＷの画像を撮像し、併せて各エンコーダ１８で撮影時の各ロボットアーム１６のエンコーダ値を記憶した後で、以下の処理を開始する。

まず、ステップＳ１０において、制御装置１２は、多関節ロボット１１に移動命令を送る。移動命令としては、例えば、「対象物の３次元点群を作成するために適切な位置」へ移動するための命令がある。

上記適切な位置の具体例としては、図５に示すように、検出対象エリア全体を捉えることができる位置であって、通い箱５１中心の垂直上方ｈの高さの位置を中心に、通い箱５１に水平な半径ｄの円軌道上にあり、カメラ１３の光軸が通い箱５１の中心を通る、カメラ１３の位置姿勢が異なる姿勢となる２以上のｎ個の位置がある。

その他、通い箱５１（の側面）による隠ぺいに配慮して、通い箱５１の側面付近にある対処物を捉えることが出来る位置や、対象物により近接した複数の位置（撮像画像としては検出対象を部分的に捉えたものになるので、複数枚をつなぎ合わせて全体を捉えることができる位置）、がある。なお、一般的には撮像画像の枚数が多い程検出精度は向上する一方で、移動コストと計算コストは増大するため、適切な位置は、適用環境（検出対象領域の大きさ、通い箱の深さ、レンズの焦点距離（固定焦点式／ＡＦ）の必要精度）をもとに決定することになると考えられる。

ステップＳ２０において、制御装置１２は、各エンコーダ１８から撮影時の各ロボットアーム１６のエンコーダ値を取得して記憶する。

ステップＳ３０において、制御装置１２は、３次元計測装置１４にワークＷの撮像命令を送る。

ステップＳ４０において、制御装置１２は、３次元計測装置１４がカメラ１３から撮像画像の取得を所定回数繰り返したかどうかを判定する。予め決定した２回以上の所定回数繰り返した場合はステップＳ５０へ進み、所定回数繰り返していない場合はステップＳ１０に戻る。

ステップＳ５０において、制御装置１２は、３次元計測装置１４に各エンコーダ１８のエンコーダ値のリストとともに３次元計測命令を送る。なお、ステップＳ５０とステップＳ４０の順序を入れ替えることにより、撮像回数を予め決定せずに、新しい画像を取り込む度に３次元計測を行うことで、計測結果の精度が予め定めた水準に達するまでカメラの移動、撮像および3次元計測を繰り返すこともできる。

ステップＳ６０において、３次元計測装置１４は、ロボットハンド１７の位置と角度を決定する。ロボットハンド１７の位置と角度の決定方法に関しては後述する。

ステップＳ７０において、制御装置１２は、多関節ロボット１１に移動命令とワークＷの把持命令を送信する。多関節ロボット１１が各命令を受信すると当該処理を終了する。当該処理終了後に、多関節ロボット１１は、各命令に従って移動し、ワークＷのピッキング作業を行う。

次に、図４を用いて、本実施形態に係る３次元計測装置による演算処理の例について説明する。図４は、ステップＳ６０における、本実施形態に係る３次元計測装置１４による演算処理の例を示すフローチャートである。

ステップＳ６０１において、３次元計測装置１４のカメラ姿勢演算部２２１は、エンコーダ値取得部２１１から送られてきたエンコーダ値より、撮像時のカメラ１３の姿勢を演算する。

ステップＳ６０２において、３次元計測装置１４の３次元形状演算部２２２は、カメラ画像取得部２１２で取得したワークＷの画像およびカメラ姿勢演算部２２１で演算した撮像時のカメラ１３の姿勢よりワークＷの３次元点群を生成する。

ステップＳ６０３において、３次元形状演算部２２２は、生成したワークＷの３次元点群と予登録したワークＷのＣＡＤデータとを照合し、その３次元点群よりワークＷの（複数個の）領域を特定する。このように、予め登録したＣＡＤデータを用いることで、３次元計測結果より任意の物体の形状を識別することができる。

ステップＳ６０４において、３次元計測装置１４は、複数のワークの中から特定したピック対象のワークＷを決定する。

ステップＳ６０５において、３次元計測装置１４は、ピック対象のワークＷを掴むためのアプローチ（ロボットハンド１７の位置および角度）を決定する。

ステップＳ６０６において、３次元計測装置１４は、制御装置１２にロボットハンド１７の位置および角度を送信する。その後、ステップ７０へ進む。

以上より、本実施形態に係る３次元計測装置１４は、単一カメラ１３と多関節ロボット１１の各関節に取り付けられたエンコーダ１８のエンコーダ値とを利用することで、複数カメラを用いたステレオビジョンと同等の精度で把持対象のワークＷの３次元形状を計測しているため、簡単な構成で周辺環境の３次元計測およびバラ積みのワークのピッキングを行うことができる。

３次元計測装置１４は、カメラを移動させて複数枚の撮像画像を作り出すことで、単一のカメラでありながらステレオビジョンを実現することができる。したがって、３次元計測装置１４は、３次元特徴点を用いた位置姿勢の検出ができるので、２次元特徴点を用いた従来の技術よりも説明力が高く、簡単な構成でより精度の高い位置姿勢の検出を行うことができる。

また、３次元計測装置１４は、カメラ１３の姿勢の推定結果とエンコーダ値とを相補的に用いて、カメラ１３の姿勢の推定精度を向上させることができる。

さらに、３次元計測装置１４によれば、対象物の撮影地点と、それを経由するロボットアーム１６の軌道を自動的に生成することができる。さらに、テクスチャの少ない対象物に対して、プロジェクタを用いたパターン投射を行うことによって特徴点検出を容易にすることもできる。

本発明は、産業用ロボットでワークのピッキング作業を行う際に、ワークの３次元形状を計測する３次元計測装置に関するものであり、産業上の利用可能性を有するものである。

１０３次元計測システム
１１多関節ロボット
１２制御装置
１３カメラ（撮像装置）
１４３次元計測装置
１５ベース部
１６ロボットアーム
１７ロボットハンド
１８エンコーダ
２１記憶部
２２演算部
５１通い箱
２１１エンコーダ値取得部
２１２カメラ画像取得部（撮像画像取得部）
２２１カメラ姿勢演算部（撮像装置姿勢演算部）
２２２３次元形状演算部
Ｗワーク

Claims

撮像装置で撮像したワークの画像を取得する撮像画像取得部と、
多関節ロボットの各関節部に取り付けられたエンコーダのエンコーダ値を取得するエンコーダ値取得部と、
前記エンコーダ値取得部で取得したエンコーダ値に基づいて、前記撮像装置の姿勢を演算する撮像装置姿勢演算部と、
前記撮像画像取得部で取得した前記ワークの画像および前記撮像装置姿勢演算部で演算した前記撮像装置の姿勢に基づいて、前記ワークの３次元形状を演算する３次元形状演算部と、
を備える３次元計測装置。
各関節部にエンコーダを取り付けた多関節ロボットと、前記多関節ロボットに接続された制御装置と、前記多関節ロボットに取り付けられたワークの画像を撮像する撮像装置と、前記ワークの３次元形状を計測する３次元計測装置と、を備え、
前記３次元計測装置が、
前記撮像装置で撮像したワークの画像を取得する撮像画像取得部と、
前記エンコーダのエンコーダ値を取得するエンコーダ値取得部と、
前記エンコーダ値取得部で取得したエンコーダ値に基づいて、前記撮像装置の姿勢を演算する撮像装置姿勢演算部と、
前記撮像画像取得部で取得した前記ワークの画像および前記撮像装置姿勢演算部で演算した前記撮像装置の姿勢に基づいて、前記ワークの３次元形状を演算する３次元形状演算部と、
を有する３次元計測システム。