JP2016134044A

JP2016134044A - 物体認識方法及び物体認識装置

Info

Publication number: JP2016134044A
Application number: JP2015008992A
Authority: JP
Inventors: 護見浪; Mamoru Minami; 新太郎石山; Shintaro Ishiyama
Original assignee: Okayama University NUC
Current assignee: Okayama University NUC
Priority date: 2015-01-20
Filing date: 2015-01-20
Publication date: 2016-07-25

Abstract

【課題】不定形の物体の形状を認識可能とする物体認識方法及び物体認識装置を提供する。【解決手段】物体を撮影して画像データを生成する撮像手段と、画像データ中の物体の形状を認識する認識手段とを備えた物体認識装置及び物体認識方法において、認識手段はＣＰＵを備え、このＣＰＵを、画像データ中の物体のアウトラインを特定する演算手段と、特定されたアウトラインに内接する最大の楕円形を１次楕円として特定する演算手段と、１次楕円の円周上に中心を有するとともにアウトラインに内接する楕円形を２次楕円として特定する演算手段と、２次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形を３次楕円として特定する演算手段として機能させる。【選択図】図２

Description

本発明は、不定形の物体の形状を認識して、認識された物体のハンドリングを可能とする物体認識方法及び物体認識装置に関するものである。

昨今、被災地等の人が立ち入れない危険な場所や、特殊環境下で作業するロボットの開発が活発となっている。このようなロボットでは、適宜のカメラ等を用いて作業状況の情報収集を行い、収集された情報はロボットの操縦者によって判断され、適宜の操作信号が入力されることで、所定の操作が実行されることとなっている。

特に、マニピュレータが設けられたロボットでは、カメラ等によって撮影された画像を操縦者が確認しながらマニピュレータを操作することで、目的とする作業を可能としている。

ここで、作業対象となる物体の認識は操縦者が行い、ロボット自体で物体の認識処理を行うことはないが、いわゆる産業用ロボットでは、作業対象の物体の位置や形状が常に一定であり、初期設定として作業対象の物体の情報を入力しておくことで、操縦者による判断を必要とすることなく、作業対象の物体を正確に認識可能となっている。また、複数種類の物体を取り扱う場合には、物体の方にＩＣタグを取り付けておいて、ＩＣタグから得られた情報に基づいて当該物体の取り扱いに適した方法で処理を行うロボットも提案されている（例えば、特許文献１参照。）

特開２００６−１０２８８１号公報

ロボットを利用して行われる作業においては、予め設定されたルーチン通りの動作で実行可能な作業は問題なく実行可能であるが、不定形の物体を取り扱う場合には、当該不定形物体をロボットが正しく認識すること自体が困難であって、基本的には操縦者による判断に依らなければ作業ができなかった。

具体的には、伐採前の木材、ガレキ、石、あるいは山野に点在する放射能物質等を移動させる等の自然環境下での作業、特にロボット自身の作業によって対象物の形状が変化してしまう作業の場合には、従来型のロボットのみでの作業は不可能であった。これは、従来型のロボットが、不定形の物体を正確には認識できていないことに起因している。

そこで、本発明者らは、不定形の物体を正確に認識可能とすることで、自律的に目的作業を実行可能なロボットを開発すべく研究を行う中で、不定形の物体の形状を認識可能とする物体認識方法及び物体認識装置を発明するに至った。

本発明の物体認識装置は、物体を撮影して画像データを生成する撮像手段と、画像データ中の物体の形状を認識する認識手段とを備えた物体認識装置において、認識手段はＣＰＵを備え、このＣＰＵは、画像データ中の物体のアウトラインを特定する演算手段と、特定されたアウトラインに内接する最大の楕円形を１次楕円として特定する演算手段と、１次楕円の円周上に中心を有するとともにアウトラインに内接する楕円形を２次楕円として特定する演算手段と、２次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形を３次楕円として特定する演算手段とを備えている物体認識装置である。

さらに、本発明の物体認識装置では、ＣＰＵは、ｎを３より大きい正の整数として、ｎ次楕円の円周上に中心を有するとともにアウトラインに内接する楕円形をｎ＋１次楕円として特定する演算手段と、１次楕円からｎ次楕円までの和集合として表される面積を演算する演算手段と、１次楕円からｎ＋１次楕円までの和集合として表される面積を演算する演算手段と、１次楕円からｎ＋１次楕円までの和集合として表される面積と、１次楕円からｎ次楕円までの和集合として表される面積の差が所定の閾値より小さくなったところで、１次楕円からｎ次楕円までの和集合として表される形状を物体の形状として特定する演算手段とを備えていることにも特徴を有する。

さらには、本発明の物体認識装置では、撮像手段を複数設けて前記物体を立体形状としてアウトラインを特定した場合に、楕円形の代わりに楕円体または円柱体を用いることにも特徴を有する。

また、本発明の物体認識方法では、撮像手段で物体を撮影して生成した画像データを用いて、ＣＰＵを備えた電子計算機で画像データ中の物体の形状を認識する物体認識方法において、ＣＰＵを演算手段として機能させて、画像データ中の物体のアウトラインを特定させるステップと、ＣＰＵを演算手段として機能させて、特定されたアウトラインに内接する最大の楕円形を１次楕円として特定するステップと、ＣＰＵを演算手段として機能させて、１次楕円の円周上に中心を有するとともにアウトラインに内接する楕円形を２次楕円として特定するステップと、ＣＰＵを演算手段として機能させて、２次楕円の円周上に中心を有するとともにアウトラインに内接する楕円形を３次楕円として特定するステップとを有する物体認識方法である。

さらに、本発明の物体認識方法では、ｎを３より大きい正の整数とし、ＣＰＵを演算手段として機能させて、ｎ次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形をｎ＋１次楕円として特定するステップと、ＣＰＵを演算手段として機能させて、１次楕円からｎ次楕円までの和集合として表される面積を演算するステップと、ＣＰＵを演算手段として機能させて、１次楕円からｎ＋１次楕円までの和集合として表される面積を演算するステップと、ＣＰＵを演算手段として機能させて、１次楕円からｎ＋１次楕円までの和集合として表される面積と、１次楕円からｎ次楕円までの和集合として表される面積の差が所定の閾値より小さくなったところで、１次楕円からｎ次楕円までの和集合として表される形状を物体の形状として特定するステップとを有することにも特徴を有する。

さらには、物体を立体形状としてアウトラインを特定した場合に、楕円形の代わりに楕円体または円柱体を用いることにも特徴を有する。

本発明によれば、画像データ中の物体の形状を、３次以上の楕円、あるいは楕円体若しくは円柱体で近似することで、どのような不定形の物体であっても比較的適正な近似が可能であって、物体認識の精度を極めて向上させることができる。したがって、本発明の物体認識方法及び物体認識装置を備えたロボットでは、自律的に目的作業を実行可能なロボットとすることができる。

物体認識装置の概略模式図である。認識部で実行している認識処理のフローチャートである。認識部で実行している認識処理の説明図である。

本発明の物体認識方法及び物体認識装置では、ＣＣＤカメラ等の撮像素子を備えたデジタルスチルカメラまたはデジタルビデオカメラ等の撮像手段で不定形の物体を撮影することで物体の画像データを生成し、この物体の画像データに対して遺伝的アルゴリズムによって物体の形状を決定するものである。

ここで、遺伝的アルゴリズムとは、個体群の生物の進化は，生物の生活環境に最適化される方向に群として変化していくという考え方を取り入れた複数の解候補の個体群を用いた集団的最適化方法の一つである。

図１に示すように、本発明の物体認識装置Ａでは、不定形の物体の画像データを生成するためのカメラ10と、このカメラ10で生成した画像データが入力されて前記物体の認識処理を実行する認識部20とを備えている。さらに、本実施形態では、物体認識装置Ａは適宜の車輪やキャタピラ等の移動手段を備えた走行台30上に設けて移動可能としてもよく、また、適宜のマニピュレータ40を設けて所定の作業を実行可能としてもよい。図示していないが、電源としての適宜のバッテリを備えており、このバッテリからの給電によって駆動することとしている。バッテリの代わりに外部電源から給電可能としてもよい。

認識部20は電子計算機であって、所定の処理を実行するＣＰＵ21、カメラ10で生成した画像データ等を一時的に格納する記憶手段であるＲＡＭ22、及び物体認識のプログラムを格納する記憶手段であるＲＯＭ23を備えており、ＲＯＭ23に格納された物体認識のプログラムをＲＡＭ22に展開して、ＣＰＵ21で演算処理することで物体認識を行うこととしている。ＲＯＭ23には、物体認識のプログラムだけでなく必要な各種のプログラムを格納しており、必要に応じて適宜実行可能としている。また、図示していないが、外部からの命令信号を入力可能として、外部からの命令信号に基づいて適宜の動作を実行可能としてもよい。図１中、符号24はカメラ10用の入出力制御部であり、符号25は走行台30用の入出力制御部であり、符号26はマニピュレータ40用の入出力制御部である。

図２に、認識部20で実行している認識処理のフローチャートを示す。また、図３に認識部20で実行している認識処理の説明図を示す。

まず、認識部20では、カメラ10で生成された画像データを取り込みＲＡＭ22に記憶する（ステップＳ１）。

次いで、認識部20では、ＣＰＵ21を演算手段として機能させて、ＲＡＭ22に記憶した画像データ中の物体部分のアウトラインを特定する（ステップＳ２）。具体的には、色調の差を利用して物体部分のアウトラインを特定しているが、閉曲線としてのアウトラインの特定が困難な場合には、カメラ10による物体の撮影を再度行って、画像データを更新させてもよい。なお、アウトラインの特定の際には、画像データにおいてｘ−ｙ座標系を設定している。

アウトラインが特定された後、認識部20では、ＣＰＵ21を演算手段として機能させて、特定されたアウトラインに内接する最大の楕円形を１次楕円として特定する（ステップＳ３）。すなわち、アウトラインに内接する最大の楕円形の中心位置、姿勢、短長軸半径等の属性を特定している。この１次楕円として特定は、パーティクル・スワーム・アルゴリズム等の既知のアルゴリズムを用いている。

１次楕円が特定された後、認識部20では、ＣＰＵ21を演算手段として機能させて、１次楕円の円周上に中心を有するとともにアウトラインに内接する楕円形を２次楕円として特定する（ステップＳ４）。特に、２次楕円は１つだけでなく、図３に示すように、２次楕円同士が重なり合わない条件下で可能な限り特定する。

２次楕円が特定された後、認識部20では、ＣＰＵ21を演算手段として機能させて、２次楕円の円周上に中心を有するとともにアウトラインに内接する楕円形を３次楕円として特定する（ステップＳ５）。特に、３次楕円も１つだけでなく、図３に示すように、３次楕円同士が重なり合わない条件下で可能な限り特定する。

この特定処理を繰り返して、ｎを３より大きい正の整数として、ｎ＋１次楕円まで特定する（ステップＳ６）。

ｎ＋１次楕円が特定された後、認識部20では、ＣＰＵ21を演算手段として機能させて、１次楕円からｎ次楕円までの和集合として表される面積Ｓ_nを演算し（ステップＳ７）、さらに、１次楕円からｎ＋１次楕円までの和集合として表される面積Ｓ_n+1を演算する（ステップＳ８）。

そして、認識部20は、ＣＰＵを演算手段として機能させて、１次楕円からｎ＋１次楕円までの和集合として表される面積Ｓ_n+1と、１次楕円からｎ次楕円までの和集合として表される面積Ｓ_nの差が所定の閾値δより小さいか判定する（ステップＳ９）。

１次楕円からｎ＋１次楕円までの和集合として表される面積Ｓ_n+1と、１次楕円からｎ次楕円までの和集合として表される面積Ｓ_nの差が所定の閾値δより小さくない場合には（ステップＳ９：Ｎｏ）、認識部20は、ＣＰＵを演算手段として機能させて、ｎのインクリメントを行って（ステップＳ１０）、新たなｎ＋１次楕円の特定を行う（ステップＳ６）。

一方、１次楕円からｎ＋１次楕円までの和集合として表される面積Ｓ_n+1と、１次楕円からｎ次楕円までの和集合として表される面積Ｓ_nの差が所定の閾値δより小さい場合には（ステップＳ９：Ｙｅｓ）、認識部20は、１次楕円からｎ次楕円までの和集合として表される形状を物体の形状として特定する（ステップＳ１１）。

このように、遺伝的アルゴリズムによって物体の形状を決定することで、不定形状の物体の形状特定を比較的正確に行うことができる。

特に、物体を少なくとも２台以上のカメラ10で撮影して、あるいは１台のカメラ10を用いる場合であっても複数視点で物体を撮影することで、物体の立体形状としてのデータを生成した場合には、立体形状としてアウトラインを特定するとともに、楕円形の代わりに楕円体または円柱体を用いることで、物体形状の立体的近似が可能であり、物体の形状をより正しく認識することができる。

さらには、物体の色情報も利用することにより、物体の形状だけでなく、材質的な認識を可能とすることもでき、材質ごとの比重情報を設定しておくことで、重量情報を含めて物体の認識を可能とすることができる。

Ａ物体認識装置
10 カメラ
20 認識部
21 ＣＰＵ
22 ＲＡＭ
23 ＲＯＭ
24 入出力制御部
25 入出力制御部
26 入出力制御部
30 走行台
40 マニピュレータ

Claims

物体を撮影して画像データを生成する撮像手段と、
前記画像データ中の前記物体の形状を認識する認識手段と
を備えた物体認識装置において、
前記認識手段はＣＰＵを備え、このＣＰＵは、
前記画像データ中の前記物体のアウトラインを特定する演算手段と、
特定されたアウトラインに内接する最大の楕円形を１次楕円として特定する演算手段と、
前記１次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形を２次楕円として特定する演算手段と、
前記２次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形を３次楕円として特定する演算手段と
を備えている物体認識装置。
前記ＣＰＵは、
ｎを３より大きい正の整数として、ｎ次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形をｎ＋１次楕円として特定する演算手段と、
１次楕円からｎ次楕円までの和集合として表される面積を演算する演算手段と、
１次楕円からｎ＋１次楕円までの和集合として表される面積を演算する演算手段と、
１次楕円からｎ＋１次楕円までの和集合として表される面積と、１次楕円からｎ次楕円までの和集合として表される面積の差が所定の閾値より小さくなったところで、１次楕円からｎ次楕円までの和集合として表される形状を前記物体の形状として特定する演算手段と
を備えている請求項１に記載の物体認識装置。
前記撮像手段を複数設けて前記物体を立体形状として前記アウトラインを特定した場合に、前記楕円形の代わりに楕円体または円柱体を用いる請求項２に記載の物体認識装置。
撮像手段で物体を撮影して生成した画像データを用いて、ＣＰＵを備えた電子計算機で前記画像データ中の前記物体の形状を認識する物体認識方法において、
前記ＣＰＵを演算手段として機能させて、前記画像データ中の前記物体のアウトラインを特定させるステップと、
前記ＣＰＵを演算手段として機能させて、特定されたアウトラインに内接する最大の楕円形を１次楕円として特定するステップと、
前記ＣＰＵを演算手段として機能させて、前記１次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形を２次楕円として特定するステップと、
前記ＣＰＵを演算手段として機能させて、前記２次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形を３次楕円として特定するステップと
を有する物体認識方法。
ｎを３より大きい正の整数とし、
前記ＣＰＵを演算手段として機能させて、ｎ次楕円の円周上に中心を有するとともに前記アウトラインに内接する楕円形をｎ＋１次楕円として特定するステップと、
前記ＣＰＵを演算手段として機能させて、１次楕円からｎ次楕円までの和集合として表される面積を演算するステップと、
前記ＣＰＵを演算手段として機能させて、１次楕円からｎ＋１次楕円までの和集合として表される面積を演算するステップと、
前記ＣＰＵを演算手段として機能させて、１次楕円からｎ＋１次楕円までの和集合として表される面積と、１次楕円からｎ次楕円までの和集合として表される面積の差が所定の閾値より小さくとなったところで、１次楕円からｎ次楕円までの和集合として表される形状を前記物体の形状として特定するステップと
を有する請求項４に記載の物体認識方法。
前記物体を立体形状として前記アウトラインを特定した場合に、前記楕円形の代わりに楕円体または円柱体を用いる請求項５に記載の物体認識方法。