JP2021135569A - 画像処理装置、ワーク認識システムおよびワーク情報登録方法 - Google Patents

Abstract

【課題】エッジの調整時間を短縮しつつ、ワークの認識精度を向上させることができる画像処理装置を提供する。【解決手段】ワークを撮像する撮像装置と、ワークを把持するマニピュレータと、マニピュレータの動作を制御するマニピュレータ制御装置と、を備えるワーク認識システムに適用する画像処理装置であって、画像処理装置は、ワークのモデルの生成パラメータ、モデルを生成する領域、モデルのエッジおよびモデルのエッジを生成しない領域、を記憶する記憶部と、指定された画像およびその画像内でモデルを生成する領域の情報からモデルのエッジを抽出する抽出部と、指定された画像からモデルのエッジを探索し、モデルのエッジの位置を算出する位置算出部と、算出したエッジ情報からモデルを生成する領域を演算する演算部と、を備える。【選択図】図２

Description

本発明は、画像処理技術に関し、より詳細には、マニピュレータによって把持するワークのエッジを検出して、そのワークの位置を認識する画像処理装置、ワーク認識システムおよびワーク情報登録方法に関する。

産業用ロボットの視覚機能等に適用される画像処理の分野において、画像からワーク等の物体の端面等を知るための画像処理方法としてエッジの検出が知られている。ここで、非検出対象エッジと検出対象エッジとが類似の形状を示すような場合は、特に検出対象エッジのみを検出することは困難となる。また、カメラの撮像に用いられる照明装置が劣化するなどで照明条件に変化が生じた場合には、入力画像の輝度変動が大きくなるため、検出対象エッジの検出が不安定になるという不都合を生じる。

そこで、従来から、検出対象エッジに対して類似形状の非検出対象エッジを持つような状況下で照明の変化が起こっても、検出対象エッジのみを安定して検出することが可能な画像処理技術が提案されている。

例えば、特許文献１には、予めワークを撮像した参照画像上の複数のエッジのそれぞれについて算出された、エッジに対して一定の位置関係にあるサンプリング領域の輝度値からなる特徴量の小関係を記憶する記憶部と、取得した入力画像上のワークのエッジを抽出するエッジ抽出部と、前記エッジ抽出部によって抽出された各エッジについて前記特徴量を算出する特徴量算出部と、算出された前記入力画像上の各エッジの特徴量から輝度値及び頻度の度数分布を示すヒストグラムを作成し、このヒストグラムの分布状態に基づいて求められた閾値により区分される特徴量の範囲により、前記エッジ抽出工程にて抽出されたエッジを区分するエッジ区分部と、前記閾値によって区分された特徴量の範囲の大小関係と前記記憶部に記憶された特徴量の大小関係とを比較して、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと前記参照画像上でのエッジとを対応付けるエッジ関係設定部と、を備えたことを特徴とする画像処理装置が開示されている。

すなわち、特許文献１の技術では、検出したいモデルのエッジを検出する際、検出したい検出対象エッジのみを選択するための教示の操作を、マウスを使用して行い、抽出したエッジに対し、手動操作で検出エッジに隣接する領域を選択している。そして、算出した検出対象エッジの領域と、非検出対象エッジの領域との輝度平均値を、それぞれのエッジの特徴量としている。

特許第５７６９５５９号公報

しかしながら、特許文献１に記載の技術では、検出対象エッジの領域と、非検出対象エッジの領域との輝度平均値を特徴量とするため、検出されたエッジが、輝度の大小関係である場合にしか用いることが出来ないという問題があった。また、一般的に輝度の大小関係によらないマッチング方法に関しては、不要なエッジを選択後、エッジの生成パラメータを変更した時、エッジの対応づけが変わり、再度不要なエッジを選択しなければならなかった。そのため、特許文献１に記載の技術では、エッジを調整するのに時間がかかるという問題があった。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、エッジの調整時間を短縮しつつ、ワークの認識精度を向上させることができる画像処理装置を提供することにある。

上記課題を解決するために本発明に係る画像処理装置は、ワークを撮像する撮像装置と、前記ワークを把持するマニピュレータと、前記マニピュレータの動作を制御するマニピュレータ制御装置と、を備えるワーク認識システムに適用する画像処理装置であって、
前記画像処理装置は、前記ワークのモデルの生成パラメータ、前記モデルを生成する領域、前記モデルのエッジおよび前記モデルのエッジを生成しない領域、を記憶する記憶部と、
指定された画像およびその画像内で前記モデルを生成する領域の情報から前記モデルのエッジを抽出する抽出部と、
前記指定された画像から前記モデルのエッジを探索し、前記モデルのエッジの位置を算出する位置算出部と、
算出したエッジ情報から前記モデルを生成する領域を演算する演算部と、
を備える画像処理装置。

また、本発明に係るワーク認識システムは、ワークを撮像する撮像装置と、前記ワークを把持するマニピュレータと、前記マニピュレータの動作を制御するマニピュレータ制御装置と、上記画像処理装置と、を備える。

また、本発明に係るワーク情報登録方法は、マニピュレータで把持するワークのエッジ情報を登録するワーク情報登録方法であって、
パラメータを設定する設定ステップと、
設定されたパラメータを元に前記ワークのモデルのエッジを生成する生成ステップと、
生成されたエッジから消去するエッジを選択する選択ステップと、
選択されたエッジを覆う領域を保存する保存ステップと、
保存した領域内のエッジを除外して前記モデルのエッジを更新する更新ステップと、を含む。

本発明に係る画像処理装置によれば、エッジの調整時間を短縮しつつ、ワークの認識精度を向上させることができる。なお、ここに記載された効果は、必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。

本発明の一実施形態に係るワーク認識システムの構成例を示す模式図である。 本発明の一実施形態に係る画像処理装置を示す模式図である。 本発明の一実施形態に係る画像処理装置を用いた画像処理の手順を示すフローチャートである。 本発明の一実施形態に係る不要なエッジの除去方法を示す模式図である。 本発明の一実施形態に係る不要なエッジの除去方法を示す模式図である。 本発明の一実施形態に係る不要なエッジの除去方法を示す模式図である。 本発明の一実施形態に係るエッジを領域化する部分の詳細を示す模式図である。

以下、本発明の実施形態について図面を参照しながら説明する。以下に説明する各実施形態は、本発明の代表的な実施形態の一例を示したものであり、これにより本発明の範囲が狭く解釈されることはない。

まず、図１を用いて、本発明の一実施形態に係るワーク認識システムの構成例について説明する。図１は、本実施形態に係るワーク認識システム１０の構成例を示す模式図である。

図１に示すように、ワーク認識システム１０は、一例として、マニピュレータ１１と、マニピュレータ１１に接続されるマニピュレータ制御装置１２と、マニピュレータ制御装置１２に接続される画像処理装置１３と、画像処理装置１３に接続されるカメラ１４と、を備えている。

カメラ１４は、マニピュレータ１１で認識して把持する対象物のワークＷを撮像し、撮像した撮像情報を画像処理装置１３へ送信する。画像処理装置１３は、受信した撮像情報に基づいてワークＷの画像を処理し、処理した処理情報をマニピュレータ制御装置１２へ送信する。マニピュレータ制御装置１２は、受信した処理情報に基づいてマニピュレータ１１にワークＷを把持する指令を送信する。マニピュレータ１１は、受信した指令に基づいてワークＷを把持する。

次に、図２を用いて、本実施形態に係る画像処理装置１３の内部構造について説明する。図２は、本実施形態に係る画像処理装置１３の内部構造例を示す模式図である。

画像処理装置１３は、抽出部２１と、位置算出部２２と、記憶部２３と、演算部２４と、を備えている。また、画像処理装置１３は、ＣＰＵ２５と接続され、ＣＰＵ２５は、複数のインタフェース３１、３２、３３と接続されている。一例として、インタフェース３１はカメラ１４に接続され、インタフェース３２はディスプレイ３４に接続され、インタフェース３３は入力装置としてのマウス３５およびキーボード３６に接続されている。

抽出部２１は、ワークＷ等の指定された画像およびその画像内で、教示するワークのエッジ（稜線）等のデータであるモデルを生成する領域の情報からモデルのエッジを抽出する。

位置算出部２２は、指定された画像からモデルのエッジを探索し、そのエッジの位置を算出する。

記憶部２３は、ワークＷ等のモデルの生成パラメータ、モデルを生成する領域、モデルのエッジおよびエッジを生成しない領域を記憶する。

演算部２４は、算出したエッジ情報からモデルを生成する領域を演算する。

マウス３５およびキーボード３６は、検出しないエッジの位置または検出しないエッジのラベルを入力することができる。

インタフェース３１から３３は、エッジ、領域、画像を表示することができる。

次に、図３を用いて、本実施形態に係る画像処理装置１３を用いた画像処理の手順について説明する。図７は、本実施形態に係る画像処理装置１３を用いた画像処理の手順を示すフローチャートである。

まず、ステップＳ１において、ユーザは、例えば、コントラストしきい値やエッジの長さのしきい値などのモデル生成パラメータを入力および／または変更する。モデル生成パラメータを入力および／または変更すると、ステップＳ２の処理に進む。

ステップＳ２において、抽出部２１は、設定されたパラメータを元にモデルのエッジを生成する。モデルのエッジが生成されたらステップＳ３に処理を進める。

ステップＳ３において、抽出部２１は、ユーザが消去したいエッジを選択する。エッジを選択されたらステップＳ４に処理を進める。

ステップＳ４において、記憶部２３は、選択されたエッジを覆う領域を保存する。エッジが保存されたらステップＳ５に処理を進める。

ステップＳ５において、演算部２４は、上の領域内のエッジを除外してモデルのエッジを更新する。エッジが更新されたらステップＳ６に処理を進める。

ステップＳ６において、マニピュレータ制御装置１２は、更新されたエッジ情報に基づいて、マニピュレータ１１を教示および運用する。教示および運用した後にステップＳ７に進む。
環境によって設定を調整する。

ステップＳ７において、マニピュレータ制御装置１２は、作成したモデルに問題があるか否かを判定する。問題がある場合は、ステップＳ１に戻る。問題がない場合は、処理を終了し、その後マニピュレータ１０でワークを把持する。

次に、図４から図６を用いて、不要なエッジの削除方法について説明する。図４から図６は、本実施形態に係る不要なエッジ削除方法の例の抽出方法を示す模式図である。

図４に示すように、例えば、ワークＷの輪郭の円弧上エッジＥを抽出したところ、ワークＷの輪郭ではない不要なエッジｅも抽出された場合に、不要なエッジｅを削除する方法について説明する。

まず、図４に示すように、エッジＥが複数に分割して抽出され、その中の一部としてエッジｅも抽出されている。ソフトウエア上では、例えば、三つに分割されている場合、第一エッジ、第二エッジおよび第三エッジとラベル付けされる。本実施形態では、第三エッジをエッジｅとする。

次に、図５に示すように、エッジｅをマスク領域Ｒでマスキングする。マスク領域Ｒの生成方法については、図７を用いて後述する。

その後、必要なエッジが不足していたり環境の変化があったりした場合に、コントラストしきい値や、長さしきい値等のエッジしきい値の設定を変更することがある。すると、エッジＥおよびエッジｅが新たに複数のエッジに分割される。例えば、エッジしきい値の設定変更後に、五つに分割されている場合、第一エッジ、第二エッジ、第三エッジ、第四エッジおよび第五エッジとラベル付けされる。本実施形態では、図６に示すように、エッジしきい値の設定変更後は、第四エッジおよび第五エッジがエッジｅとなる。

この場合、従来であれば、第三エッジを削除する予定であったところ、第四エッジおよび第五エッジを削除するように、ラベルの順番を指定し直さなければならない。

しかしながら、図６に示すように、エッジ生成しきい値の変更後の分割された複数のエッジｅは全てマスク領域Ｒ内に存在するため、エッジは生成されない。したがって、削除するエッジの設定を変更しなくて済む。

次に、図７を用いて、マスク領域Ｒの生成方法について説明する。図７Ａは、本実施形態に係る不要なエッジｅの一部を示す拡大模式図である。図７Ｂは、本実施形態に係るマスク領域Ｒを生成している様子を示す拡大模式図である。図７Ｃは、生成された本実施形態に係るマスク領域Ｒを示す拡大模式図である。

まず、図７Ａに示すように、不要なエッジｅの一部である折れ線エッジｅに注目する。

次に、図７Ｂに示すように、折れ線エッジｅの各部分を既存の技術により、延在方向の両側へ膨張させる。

すると、図７Ｃに示すように、折れ線エッジｅを覆うマスク領域Ｒが生成される。

従来は、エッジ生成のパラメータが変わるとエッジの対応付けが変わるため、エッジの選択し直しをしなければならなかった。また、不要なエッジが存在する場合、矩形の領域によってその不要なエッジをマスキングしていたため、直線のエッジには対応できるが、曲線のエッジには対応しにくい。また、曲線のエッジにマスキングする場合、この作業は繊細な技術が必要であり非常に手間がかかってしまう。さらに、従来は、領域でマスキングした後に設定変更すると、不要なエッジがその領域からはみ出してしまうことがあった。

これに対し、本実施形態に係るワーク認識装置１０によれば、画像上で抽出されたエッジ情報をラベル付けし、ラベル毎にエッジ情報を除去することができる。その際、エッジを含むマスク領域Ｒを登録することで、マスク領域Ｒで覆っているマスク領域Ｒ内のエッジｅを除外する。そのため、エッジのラベルと関係なく、削除したいエッジｅの部分をマスク領域Ｒとして保存することができ、モデルパラメータの設定変更によりエッジのラベルが変わっても所望のエッジを削除することができる。

また、不要なエッジを膨張させて領域を作るため、領域でマスキングした後に設定変更しても、不要なエッジがその領域からはみ出すことがない。したがって、ワーク認識装置１０は、マニピュレータで把持するワークＷのエッジを精度高く抽出することができ、精密さが要求されるロボットマシンビジョンの分野で有効に活用することができる。

以上、ワーク認識装置１０によれば、不要なエッジを簡易かつ効率的に削除してエッジの調整時間を短縮しつつ、ワークの認識精度を向上させることができる。また、ワーク認識装置１０によれば、設定変更による不要なエッジの管理が複雑であった点を容易に行うこともできる。

本発明は、例えば、産業用ロボットの視覚機能に適用される画像処理技術に関するものであり、産業上の利用可能性を有するものである。

１０ ワーク認識システム
１１ マニピュレータ
１２ マニピュレータ制御装置
１３ 画像処理装置
１４ カメラ
２１ 抽出部
２２ 位置算出部
２３ 記憶部
２４ 演算部
２５ ＣＰＵ
３１、３２、３３ インタフェース
３４ ディスプレイ
３５ マウス
３６ キーボード

Claims (3)

1. ワークを撮像する撮像装置と、前記ワークを把持するマニピュレータと、前記マニピュレータの動作を制御するマニピュレータ制御装置と、を備えるワーク認識システムに適用する画像処理装置であって、
   前記画像処理装置は、前記ワークのモデルの生成パラメータ、前記モデルを生成する領域、前記モデルのエッジおよび前記モデルのエッジを生成しない領域、を記憶する記憶部と、
   指定された画像およびその画像内で前記モデルを生成する領域の情報から前記モデルのエッジを抽出する抽出部と、
   前記指定された画像から前記モデルのエッジを探索し、前記モデルのエッジの位置を算出する位置算出部と、
   算出したエッジ情報から前記モデルを生成する領域を演算する演算部と、
   を備える画像処理装置。
2. ワークを撮像する撮像装置と、前記ワークを把持するマニピュレータと、前記マニピュレータの動作を制御するマニピュレータ制御装置と、
   請求項１に記載の画像処理装置と、を備えるワーク認識システム。
3. マニピュレータで把持するワークのエッジ情報を登録するワーク情報登録方法であって、
   パラメータを設定する設定ステップと、
   設定されたパラメータを元に前記ワークのモデルのエッジを生成する生成ステップと、
   生成されたエッジから消去するエッジを選択する選択ステップと、
   選択されたエッジを覆う領域を保存する保存ステップと、
   保存した領域内のエッジを除外して前記モデルのエッジを更新する更新ステップと、
   を含むワーク情報登録方法。
   本発明はワーク認識の方法ではなく、認識させたいワークのエッジ情報を登録する方法なので、その記述を変更しました。
   

Images