JP2006007390A - 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Abstract

【課題】 複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像する。
【解決手段】 ロボット１０は、ワーク１４を撮像するサブカメラ２４と、ワーク１４の背景の少なくとも一部を遮蔽する第４指４０〜第６指４４と、第４指４０〜第６指４４の少なくとも一部およびサブカメラ２４がワーク１４を挟んで向き合い、かつサブカメラ２４と向き合う第４指４０〜第６指４４の一部がワーク１４と障害物１６および障害物１８との間に在るように、サブカメラ２４および第４指４０〜第６指４４の配置を制御する制御用コンピュータとを含む。
【選択図】 図１

Description

本発明は、撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体に関し、特に対象物を確実に認識するロボットの視覚として動作する撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体に関する。

人が日常的に生活する環境下で介護や家事を代行できるロボットの実用化に対し、期待が高まっている。この期待の背景には、現代の社会における少子化および高齢化の進行と、近年のロボティクス技術の発展とがある。このような期待に応えるために、センシング技術が重要視され始めている。特に、センシング技術のうち、人が生活する環境下における作業のための技術が重要視され始めている。しかし、従来のセンシング技術が、多様かつ複雑な人の生活環境において、人の視覚と同様なセンシングを実現することは困難である。その理由は、従来のセンシング技術が、工場や実験室などといった、限定された環境下での適用を前提とした技術である点にある。ここでいう「限定された環境」とは、ワークおよび環境を制限することが可能な環境をいう。このような環境下での適用を前提とした理由は、従来、確実に作業を行なうことを主眼としていた点にある。

従来のセンシング技術の１つであるビジュアルフィードバックについて説明する。ワークの位置や姿勢が不確定な場合、ロボットがそのワークを把持したり操作したりするために、何らかの方法でワークの位置や姿勢を推定することが必要となる。単独あるいは複数のカメラを用いた認識処理は、ワークの位置や姿勢を推定する方法の１つである。このように、カメラが撮像した画像に基づいてグリッパあるいはマニピュレータの位置や姿勢などを制御する方法が、ビジュアルフィードバックである。ビジュアルフィードバックは、グリッパあるいはマニピュレータを有するロボットに対して採用例が多い方法である。ビジュアルフィードバックは、ロボティクス技術の一分野となっている。

ビジュアルフィードバックを行なう場合、画像を確実に処理できることが前提条件となる。この前提を満たすため、ワークとワークの背景とは容易に識別できることが望ましい。このことは、ワークの背景を作業台などに事実上制限してしまうことを意味する。

特許文献１は、この問題を解決する技術を開示する。特許文献１に開示された視覚装置は、カメラに固定され、かつワークの背後に一端が配置される既知の遮断板が、ワークの背景を遮断することを特徴とする。これにより、次の効果が生じる。その効果の第１は、ワークの背景を作業台などに制限する必要がなくなるという効果である。この効果が得られる理由は、ワークの背景が強制的に変更されるという点にある。その効果の第２は、物体の位置や姿勢を確実に計測できるという効果である。この効果が得られる理由は、画像が単純化されるという点にある。画像が単純化される理由は、ワークの背景が限定されている点にある。

しかしながら、特許文献１に開示されたように、カメラに固定された遮断板によってワークの背景を遮断する場合、日常的な環境下で利用することが困難であるという問題点がある。日常的な環境下で利用することが困難な理由は、ワークの形状や大きさも、特許文献１に開示された視覚装置が利用される場所も、日常的な環境下では不確定である点にある。
特開平６−２６２５６７号公報

本発明は上述の問題点を解決するためになされたものであって、その目的は、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像できる、撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体を提供することにある。

上記目的を達成するために、本発明のある局面にしたがうと、撮像装置は、対象物を撮像するカメラと、対象物の背景の少なくとも一部を遮蔽するための遮蔽手段と、遮蔽手段の少なくとも一部およびカメラが対象物を挟んで向き合い、かつカメラと向き合う遮蔽手段の一部が対象物と対象物以外の有形物との間に在るように、カメラおよび遮蔽手段の配置を制御するための制御手段とを含む。

すなわち、制御手段は、遮蔽手段の少なくとも一部およびカメラが対象物を挟んで向き合い、かつカメラと向き合う遮蔽手段の一部が対象物と対象物以外の有形物との間に在るように、カメラおよび遮蔽手段の配置を制御する。これにより、カメラは、遮蔽手段により、対象物以外の有形物を遮蔽した状態で対象物を撮像できる。対象物以外の有形物を遮蔽した状態で対象物を撮像できるので、不確定に映込む背景がなくなる。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像できる撮像装置を提供することができる。

また、上述の遮蔽手段は、対象物を把持する把持装置を含むことが望ましい。あわせて制御手段は、把持装置を構成する部材のいずれかの配置を制御するための手段を含むことが望ましい。

すなわち、把持装置が対象物の背景の少なくとも一部を遮蔽する。これにより、背景の遮蔽と、ワークの撮像と、ワークの把持とを順次行なうことができる。これらが順次行なわれるので、動作の無駄を削減できる。その結果、複雑で多様な環境下であっても、無駄を省きつつ、背景の影響を排除した状態で対象物を撮像できる撮像装置を提供することができる。

また、上述の把持装置は、屈曲可能な複数の部材により、対象物を把持する装置を含むことが望ましい。あわせて部材のいずれかの配置を制御するための手段は、複数の部材の配置をそれぞれ制御するための手段を含むことが望ましい。

すなわち、複数の部材は、屈曲することによって形状を変更できる。形状が変更されるので、把持装置は、周辺の環境に応じた背景の遮蔽方法を選択できる。これにより、多様な環境下においても背景を遮蔽できる。その結果、より複雑で多様な環境下であっても、無駄を省きつつ、背景の影響を排除した状態で対象物を撮像できる撮像装置を提供することができる。

また、上述の撮像装置は、対象物および有形物の配置を検出するための配置用の検出手段をさらに含むことが望ましい。あわせて制御手段は、配置用の検出手段が検出した配置に基づいて、カメラおよび遮蔽手段の配置を制御するための手段を含むことが望ましい。

すなわち、配置用の検出手段は、対象物および有形物の配置を検出する。制御手段は、配置用の検出手段が検出した配置に基づいて、カメラおよび遮蔽手段の配置を制御する。これにより、対象物と対象物以外の有形物とに接触することなく、遮蔽手段を対象物の背面に回りこませることができる。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で安全に対象物を撮像できる撮像装置を提供することができる。

また、上述の撮像装置は、カメラおよび遮蔽手段の配置の複数の候補を表わす情報を記録するための候補用の記録手段をさらに含むことが望ましい。あわせて制御手段は、配置用の検出手段が検出した配置に基づいて、複数の候補のいずれかを選択するための選択手段と、選択手段が選択した候補に対応するように、カメラおよび遮蔽手段の配置を制御するための手段とを含むことが望ましい。

すなわち、配置を制御するための手段は、選択手段が候補用の記録手段が記録した情報の中から選択した候補に対応するように、カメラおよび遮蔽手段の配置を制御する。これにより、比較的安全で確実な方法を選択して、カメラおよび遮蔽手段の配置を制御することができる。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で安全かつ確実に対象物を撮像できる撮像装置を提供することができる。

また、上述の撮像装置は、遮蔽手段の配置を表わす情報を記録するための配置用の記録手段と、制御手段の制御の後、遮蔽手段の配置を表わす情報を用いて計算した、カメラが撮像した画像における遮蔽手段の配置を、カメラが撮像した画像にマッピングすることにより、カメラが撮像した画像のうち、遮蔽手段が遮蔽した領域を検出するための領域用の検出手段をさらに含むことが望ましい。

すなわち、配置用の記録手段は、遮蔽手段の配置を表わす情報を記録する。領域用の検出手段は、制御手段の制御の後、遮蔽手段の配置を表わす情報を用いて計算した、カメラが撮像した画像における遮蔽手段の配置を、カメラが撮像した画像にマッピングすることにより、カメラが撮像した画像のうち、遮蔽手段が遮蔽した領域を検出する。これにより、遮蔽手段が遮蔽した領域では、対象物を表わす領域と遮蔽手段を表わす領域とが明確なので、対象物を認識することが容易になる。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像でき、かつ対象物を認識できる撮像装置を提供することができる。

また、上述の撮像装置は、領域用の検出手段が検出した領域が遮蔽手段か否かを、遮蔽手段の外面の色に基づいて確認するための確認手段をさらに含むことが望ましい。

すなわち、確認手段は、領域用の検出手段が検出した領域が遮蔽手段か否かを、遮蔽手段の外面の色に基づいて確認する。これにより、対象物を表わす領域と遮蔽手段を表わす領域とを認識できる上に、領域用の検出手段が検出した領域が遮蔽手段か否かを、遮蔽手段の外面の色に基づいて確認できる。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像でき、かつ対象物をより確実に認識できる撮像装置を提供することができる。

また、上述の遮蔽手段の外面の色は、第１の色、および第１の色より暗くかつ第１の色が占める面積より広い面積を占める第２の色を模様として含むことが望ましい。

すなわち、第１の色、および第１の色より暗くかつ第１の色が占める面積より広い面積を占める第２の色を模様として含む色は、対象物や有形物の模様として用いられることが少ない色である。これにより、確認手段は、領域用の検出手段が検出した領域が遮蔽手段か否かをさらに確実に確認できる。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像でき、かつ対象物をさらに確実に認識できる撮像装置を提供することができる。

本発明の他の局面にしたがうと、撮像方法は、カメラで対象物を撮像する撮像ステップと、マニピュレータの先端にある遮蔽物で、対象物の背景の少なくとも一部を遮蔽する遮蔽ステップと、カメラが対象物を撮像する前に、遮蔽物の少なくとも一部およびカメラが対象物を挟んで向き合い、かつカメラと向き合う遮蔽物の一部が対象物と対象物以外の有形物との間に在るように、カメラおよび遮蔽物の配置を制御する制御ステップとを含む。

すなわち、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像できる撮像方法を提供することができる。

本発明の他の局面にしたがうと、撮像プログラムは、カメラで対象物を撮像する撮像ステップと、遮蔽物で、対象物の背景の少なくとも一部を遮蔽する遮蔽ステップと、カメラが対象物を撮像する前に、遮蔽物の少なくとも一部およびカメラが対象物を挟んで向き合い、かつカメラと向き合う遮蔽物の一部が対象物と対象物以外の有形物との間に在るように、カメラおよび遮蔽物の配置を制御する制御ステップとを含む各ステップをコンピュータに実行させる。

すなわち、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像できる撮像プログラムを提供することができる。

本発明の他の局面にしたがうと、記録媒体は、撮像プログラムを記録したコンピュータ読取り可能な記録媒体である。記録媒体は、カメラで対象物を撮像する撮像ステップと、マニピュレータの先端にある遮蔽物で、対象物の背景の少なくとも一部を遮蔽する遮蔽ステップと、カメラが対象物を撮像する前に、遮蔽物の少なくとも一部およびカメラが対象物を挟んで向き合い、かつカメラと向き合う遮蔽物の一部が対象物と対象物以外の有形物との間に在るように、カメラおよび遮蔽物の配置を制御する制御ステップとを含む各ステップをコンピュータに実行させるための撮像プログラムを記録したコンピュータ読取り可能な記録媒体である。

すなわち、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像できる撮像プログラムを記録したコンピュータ読取り可能な記録媒体を提供することができる。

本発明に係る撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体は、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を撮像できる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。

図１を参照して、本実施の形態に係るロボット１０が、ワークを認識する状況を説明する。図１は、ロボット１０が白く塗装されたテーブル１２上のワーク１４、障害物１６、および障害物１８のうち、ワーク１４を後述する第４指４０〜第６指４４で掴んで移動させる作業を表わす図である。ロボット１０の手前に、テーブル１２に載せられた、ワーク１４、障害物１６、および障害物１８が存在する。ロボット１０は、ワーク１４を認識して、ワーク１４を把持する。ワーク１４および障害物１８は、円筒状の形状を有する。障害物１６は、直方体である。ワーク１４、障害物１６、および障害物１８は赤く塗装されている。障害物１８の直径よりもワーク１４の直径の方が小さい。障害物１８の高さよりもワーク１４の高さの方が高い。

ロボット１０は、ボディ部２０と、メインカメラ２２と、サブカメラ２４と、右アーム２６と、左アーム２８と、右ハンド３０と、左ハンド３２と、第１指３４と、第２指３６と、第３指３８と、第４指４０と、第５指４２と、第６指４４とを含む。ボディ部２０は、ロボット１０を制御する制御用コンピュータ１００を格納する。ボディ部２０は、メインカメラ２２、右アーム２６、および左アーム２８を取付ける構造体でもある。メインカメラ２２は、ボディ部２０の上（ロボット１０の頭に相当する位置）からテーブル１２の上に置かれたワーク１４、障害物１６、および障害物１８を撮像する。これにより、メインカメラ２２は、制御用コンピュータ１００と協調することによって、１つの装置として、ワーク１４、障害物１６、および障害物１８の配置を検出できる。サブカメラ２４は、第１指３４〜第３指３８の間から、対象物（撮像の対象となる物のこと。本実施の形態の場合、ワーク１４がこれにあたる。）などを撮像する。これにより、制御用コンピュータ１００は、サブカメラ２４が撮像した画像に基づき、ビジュアルフィードバックを用いて、ワーク１４、障害物１６、および障害物１８の正確な位置を認識できる。右アーム２６は、右ハンド３０を移動させる。右アーム２６は、図示しないリンク、駆動用アクチュエータ、および関節用の角度センサからなる。右アーム２６の自由度は「７」である。左アーム２８は、左ハンド３２を移動させる。左アーム２８も、図示しないリンク、駆動用アクチュエータ、および関節用の角度センサからなる。左アーム２８の自由度も「７」である。右ハンド３０は、サブカメラ２４および第１指３４〜第３指３８を移動させる。右ハンド３０も、図示しないリンク、駆動用アクチュエータ、および関節用の角度センサからなる。左ハンド３２は、第４指４０〜第６指４４を移動させる。左ハンド３２も、図示しないリンク、駆動用アクチュエータ、および関節用の角度センサからなる。第１指３４〜第３指３８は、それぞれ屈曲可能な複数の部材である。第１指３４〜第３指３８は、互いに協調して、ワーク１４を把持し、かつワーク１４の背景を遮蔽する。これらは全体として１つの把持装置である。第４指４０〜第６指４４も、同様である。第１指３４〜第６指４４も、図示しないリンク、駆動用アクチュエータ、および関節用の角度センサからなる。本実施の形態において、第１指３４〜第６指４４はいずれも黒く塗装されていることとする。

図２を参照して、上述の制御用コンピュータ１００は、制御用コンピュータ１００自体およびロボット１０の各部を集中的に管理し、かつ制御するＣＰＵ（Central Processing Unit）１０２と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）を含んで構成されるメモリ１０４と、固定ディスク１０６と、キーによる入力を受付けるキーボード１０８と、液晶からなるディスプレイ１１０と、ＦＤ（Flexible Disk）１２０が着脱自在に装着されて、装着されたＦＤ１２０にアクセスするＦＤ駆動装置１１２と、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）１２２が着脱自在に装着されて、装着されたＣＤ−ＲＯＭ１２２にアクセスするＣＤ−ＲＯＭ駆動装置１１４とを含む。これらの各部はバスを介して通信・接続される。

メモリ１０４は、一般部、配置部および候補部を含む。一般部は、一般的なデータを記録する。配置部は、右アーム２６、左アーム２８、右ハンド３０、左ハンド３２、第１指３４〜第３指３８、および第４指４０〜第６指４４のサイズ、ならびに右アーム２６、左アーム２８、右ハンド３０、左ハンド３２、第１指３４〜第３指３８、および第４指４０〜第６指４４の角度センサが取得した情報（角度を表わす情報）を記録する。これらの情報は、それぞれの配置を表わす情報である。候補部は、サブカメラ２４ならびに第１指３４〜第３指３８および第４指４０〜第６指４４の配置の複数の候補を表わす情報を記録する。

このロボット１０は、上述した各部材（制御用コンピュータ１００を含む）と、ＣＰＵ１０２により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、ＦＤ１２０やＣＤ−ＲＯＭ１２２などの記録媒体に格納されて流通し、ＦＤ駆動装置１１２やＣＤ−ＲＯＭ駆動装置１１４などにより記録媒体から読取られて固定ディスク１０６に一旦格納される。さらに固定ディスク１０６からメモリ１０４へ読出されて、上述したＣＰＵ１０２により実行される。上述した制御用コンピュータ１００のハードウェア自体は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭ１２２などの記録媒体に記録されたソフトウェアである。

図３および図４を参照して、ロボット１０で実行されるプログラムは、ワーク１４の識別に関し、以下のような制御構造を有する。

ステップ５０（以下、ステップをＳと略す。）にて、メインカメラ２２は、ワーク１４、障害物１６、および障害物１８の画像を撮像する。Ｓ５２にて、制御用コンピュータ１００は、メインカメラ２２の画像を処理する。この処理により、制御用コンピュータ１００は、ワーク１４、障害物１６、および障害物１８の位置や姿勢を認識する。

Ｓ５４にて、制御用コンピュータ１００は、ワーク１４を、障害物１６および障害物１８が映込むことなく撮像できる否かを判断する。撮像できると判断した場合（Ｓ５４にてＹＥＳ）、処理はＳ５６へと移される。もしそうでないと（Ｓ５４にてＮＯ）、処理はＳ６４へと移される。

Ｓ５６にて、制御用コンピュータ１００は、右アーム２６により、右ハンド３０および右ハンド３０に取付けられた部材を撮像用の位置に移動させる。Ｓ５８にて、制御用コンピュータ１００は、右ハンド３０および右ハンド３０に取付けられた部材を撮像用の姿勢（サブカメラ２４がワーク１４を撮像しやすい姿勢のこと。原則として第１指３４〜第３指３８を伸ばす姿勢をいう。ただし障害物１６および障害物１８の配置によっては、それらの指のいずれかを曲げた姿勢をいうこともある。）に変形させる。Ｓ６０にて、メインカメラ２２は、テーブル１２上のワーク１４の画像を撮像する。Ｓ６２にて、制御用コンピュータ１００は、マスク領域を利用しない画像処理（画像処理（１））を実行する。本実施の形態における画像処理（１）とは、テーブル１２の色（本実施の形態の場合、その色は「白」である）とワーク１４の色（本実施の形態の場合、その色は「赤」である）との色彩の差を利用して、ワーク１４を認識する処理のことである。

Ｓ６４にて、制御用コンピュータ１００は、ワーク１４と障害物１６および障害物１８との間に左ハンド３２および左ハンド３２に取付けられた部材が入るスペースがあるか否かを判断する。ＣＰＵ１０２は、メモリ１０４に記録された右アーム２６、左アーム２８、右ハンド３０、および左ハンド３２のサイズとＳ５０およびＳ５２の処理により取得した情報とに基づいて、そのようなスペースがあるか否かを判断する。この判断は、次の処理を経る。第１の処理は、制御用コンピュータ１００が、メインカメラ２２および制御用コンピュータ１００自身が検出した配置に基づいて、候補部に記録された複数の候補のいずれかを選択する処理である。第２の処理は、制御用コンピュータ１００が、左アーム２８および左ハンド３２の配置のうち、ワーク１４、障害物１６、および障害物１８と干渉しないものがあるか否かを判断する処理である。ただし、第４指４０〜第６指４４の配置が選択された候補の通りであると仮定する。これらの処理により、スペースがあると判断した場合（Ｓ６４にてＹＥＳ）、処理はＳ６６へと移される。もしそうでないと（Ｓ６４にてＮＯ）、処理はＳ８０へと移される。

Ｓ６６にて、制御用コンピュータ１００は、第１指３４〜第３指３８を、撮像用の姿勢に変形させる。Ｓ６８にて、制御用コンピュータ１００は、右アーム２６により、右ハンド３０および右ハンド３０に取付けられた部材を撮像用の位置に移動させる。

Ｓ７０にて、制御用コンピュータ１００は、第４指４０〜第６指４４を遮蔽用の姿勢（原則として指を伸ばす姿勢をいう。ただし障害物１６および障害物１８の配置によっては、第４指４０〜第６指４４のいずれかを曲げた姿勢をいうこともある。）に変形させる。

Ｓ７２にて、制御用コンピュータ１００は、左アーム２８により、左ハンド３２および左ハンド３２に取付けられた部材を遮蔽用の位置に移動させる。Ｓ７４にて、サブカメラ２４は、画像を撮像する。

Ｓ７６にて、制御用コンピュータ１００は、左ハンド３２および左ハンド３２に取付けられた部材のうち、どの部分が画像に写っているかを推定する。この推定には、右アーム２６、左アーム２８、右ハンド３０、および左ハンド３２内の角度センサが取得した情報と、順運動学上の計算とが用いられる。この推定の手順は次の処理を経る。第１の処理は、サブカメラ２４が撮像した画像における第４指４０〜第６指４４の配置を、第４指４０〜第６指４４の配置を表わす情報を用いて計算する処理である。第２の処理は、第４指４０〜第６指４４の配置を、サブカメラ２４が撮像した画像にマッピングする（サブカメラ２４が撮像した画像における、第４指４０〜第６指４４の配置を算出する）処理である。第３の処理は、サブカメラ２４が撮像した画像のうち、第４指４０〜第６指４４が遮蔽した領域を検出する処理である。

Ｓ７８にて、制御用コンピュータ１００は、画像のうち、左ハンド３２および左ハンド３２に取付けられた部材にあたる領域を物理的マスク領域（１）とする。制御用コンピュータ１００は、物理的マスク領域（１）をメモリ１０４に登録する。

Ｓ８０にて、制御用コンピュータ１００は、Ｓ５０およびＳ５２の処理により取得した情報に基づき、ワーク１４と障害物１６および障害物１８との間に第１指３４〜第３指３８が入るスペースがあるか否かを判断する。このステップでいう「第１指３４〜第３指３８が入るスペースがあるか否か」とは、次の２つの要件を満たすことを意味する。その第１の要件は、ワーク１４、障害物１６、および障害物１８と干渉しないという要件である。第２の要件は、サブカメラ２４から見てワーク１４の背後および側方にあたる場所に、第１指３４〜第３指３８を移動させることができるか否かという要件である。この判断は、次の処理を経る。第１の処理は、制御用コンピュータ１００が、メインカメラ２２および制御用コンピュータ１００自身が検出した配置に基づいて、候補部に記録された複数の候補のいずれかを選択する処理である。第２の処理は、制御用コンピュータ１００が、左アーム２８および左ハンド３２の配置のうち、ワーク１４、障害物１６、および障害物１８と干渉しないものがあるか否かを判断する処理である。ただし、第１指３４〜第３指３８の配置が、選択された候補の通りであると仮定する。これらの処理により、スペースがあると判断した場合（Ｓ８０にてＹＥＳ）、処理はＳ８２へと移される。もしそうでないと（Ｓ８０にてＮＯ）、処理はＳ９６へと移される。

Ｓ８２にて、制御用コンピュータ１００は、右アーム２６により、右ハンド３０および右ハンド３０に取付けられた部材を遮蔽用の位置に移動させる。Ｓ８４にて、制御用コンピュータ１００は、第１指３４〜第３指３８を遮蔽用の姿勢（この場合の第１指３４〜第３指３８の姿勢は後述する）に変形する。Ｓ８６にて、サブカメラ２４は、画像を撮像する。

Ｓ８８にて、制御用コンピュータ１００は、右ハンド３０に取付けられた部材のうち、どの部分が画像に写っているかを推定する。この推定には、右アーム２６、左アーム２８、右ハンド３０、および左ハンド３２内の角度センサが取得した情報（角度を表わす情報）と、順運動学上の計算とが用いられる。この推定の手順は次の処理を経る。第１の処理は、サブカメラ２４が撮像した画像における第１指３４〜第３指３８の配置を、第１指３４〜第３指３８の配置を表わす情報を用いて計算する処理である。第２の処理は、第１指３４〜第３指３８の配置を、サブカメラ２４が撮像した画像にマッピングする処理である。第３の処理は、サブカメラ２４が撮像した画像のうち、第１指３４〜第３指３８が遮蔽した領域を検出する処理である。

Ｓ９０にて、制御用コンピュータ１００は、画像のうち、右ハンド３０に取付けられた部材にあたる領域を物理的マスク領域（２）とする。制御用コンピュータ１００は、物理的マスク領域（２）をメモリ１０４に登録する。

Ｓ９２にて、メインカメラ２２は、画像を撮像する。Ｓ９４にて、制御用コンピュータ１００は、マスク領域を利用した画像処理（２）を実行する。すなわち、制御用コンピュータ１００は、自らがＳ８８にて検出した領域が第１指３４〜第３指３８か否かを、第１指３４〜第３指３８の外面の色（本実施の形態の場合、黒色である。）に基づいて確認する（本実施の形態の場合、確認の結果、エラーが検出されたならば、処理は中断する）。確認が終了すると、制御用コンピュータ１００は、自らがＳ８８にて検出した領域から、ワーク１４の位置を計測する。

Ｓ９６にて、メインカメラ２２は、画像を撮像する。Ｓ９８にて、制御用コンピュータ１００は、ワーク１４と障害物１６および障害物１８のいずれかとを区別するように、一般に広く用いられている画像処理（画像処理（３））を実行する。そのような処理を実行する理由は、制御用コンピュータ１００が、本実施の形態に係る発明を適用して画像処理を実施できない点にある。

以上のような構造およびフローチャートに基づく、ロボット１０の動作について説明する。

［左ハンドで背景を遮蔽する場合］
ロボット１０のメインカメラ２２は、テーブル１２上のワーク１４の状態を撮像する（Ｓ５０）。状態が撮像されると、制御用コンピュータ１００は、テーブル１２とワーク１４と障害物１６および障害物１８の色彩に基づき、ワーク１４、および障害物１６および障害物１８の位置や姿勢を認識する（Ｓ５２）。

位置が認識されると、制御用コンピュータ１００は、ワーク１４を、障害物１６および障害物１８が映込むことなく撮像できる否かを判断する（Ｓ５４）。この場合、障害物が映込むため（Ｓ５４にてＮＯ）、制御用コンピュータ１００は、予めボディ部２０の記録回路に記録された左ハンド３２のサイズに基づき、ワーク１４と障害物１６および障害物１８との間に左ハンド３２および左ハンド３２に取付けられた部材の入るスペースがあるか否かを判断する（Ｓ６４）。この場合、左ハンド３２および左ハンド３２に取付けられた部材の入るスペースがあるので（Ｓ６４にてＹＥＳ）、制御用コンピュータ１００は、第１指３４〜第３指３８を撮像用の姿勢に変形させる（Ｓ６６）。姿勢が変形されると、制御用コンピュータ１００は、右アーム２６により右ハンド３０および右ハンド３０に取付けられた部材を撮像用の位置に移動させる（Ｓ６８）。右ハンド３０および右ハンド３０に取付けられた部材が移動させられると、制御用コンピュータ１００は、第４指４０〜第６指４４を遮蔽用の姿勢に変形させる（Ｓ７０）。指が変形させられると、制御用コンピュータ１００は、左アーム２８により、左ハンド３２および左ハンド３２に取付けられた部材を遮蔽用の位置に移動させる（Ｓ７２）。図５に、このときの第１指３４〜第６指４４の配置を示す。この図は、上述の処理により、制御用コンピュータ１００が、制御用コンピュータ１００自身およびメインカメラ２２が検出した配置に基づいて、第４指４０〜第６指４４の少なくとも一部およびサブカメラ２４がワーク１４を挟んで向き合い、かつサブカメラ２４と向き合う第４指４０〜第６指４４がワーク１４と障害物１６および障害物１８との間に在るように、ワーク１４、障害物１６、および障害物１８の配置を制御することを裏付けている。しかも、制御用コンピュータ１００が選択した候補に対応するように、サブカメラ２４および第４指４０〜第６指４４の配置が制御されることをも裏付けている。左ハンド３２および左ハンド３２に取付けられた部材が移動させられると、サブカメラ２４は、画像を撮像する（Ｓ７４）。図６に、このときサブカメラ２４が撮像した画像を示す。ワーク１４、第４指４０〜第６指４４、障害物１６および障害物１８、およびテーブル１２が写っている。第４指４０〜第６指４４が、ワーク１４の背景の少なくとも一部を遮蔽していることが明らかである。図６において、点線で描かれている部分は、ワーク１４の背後にあって写っていない部分である。画像が撮像されると、制御用コンピュータ１００は、左ハンド３２および左ハンド３２に取付けられた部材のうち、どの部分が画像に写っているかを推定する（Ｓ７６）。推定が終了すると、制御用コンピュータ１００は、画像のうち、左ハンド３２および第４指４０〜第６指４４にあたる領域を物理的マスク領域（１）とする（Ｓ７８）。

マスクが設定されると、メインカメラ２２は画像を撮像する（Ｓ９２）。画像が撮像されると、制御用コンピュータ１００は、マスク領域を利用した画像処理（２）を実行する（Ｓ９４）。

［左ハンドが入らない場合］
制御用コンピュータ１００が、ワーク１４と障害物１６および障害物１８との間に左ハンド３２および左ハンド３２に取付けられた部材が入るスペースがないと判断した場合（Ｓ６４にてＮＯ）、制御用コンピュータ１００は、Ｓ５０およびＳ５２の処理により取得した情報に基づき、ワーク１４と障害物１６および障害物１８との間に第１指３４〜第３指３８が入るスペースがあるか否かを判断する（Ｓ８０）。この場合、指が入るスペースがあると判断されるので（Ｓ８０にてＹＥＳ）、制御用コンピュータ１００は、右アーム２６により、右ハンド３０および右ハンド３０に取付けられた部材を遮蔽用の位置に移動させる（Ｓ８２）。右ハンド３０などが移動させられると、制御用コンピュータ１００は、第１指３４〜第３指３８を遮蔽用の姿勢に変形させる（Ｓ８４）。図７に、このときの第１指３４〜第３指３８の状態を示す。この図は、上述の処理により、制御用コンピュータ１００が、制御用コンピュータ１００自身およびメインカメラ２２が検出した配置に基づいて、第１指３４〜第３指３８の少なくとも一部およびサブカメラ２４がワーク１４を挟んで向き合い、かつサブカメラ２４と向き合う第１指３４〜第３指３８がワーク１４と障害物１６および障害物１８との間に在るように、ワーク１４、障害物１６、および障害物１８の配置を制御することを裏付けている。しかも、制御用コンピュータ１００が選択した候補に対応するように、サブカメラ２４および第１指３４〜第３指３８の配置が制御されることをも裏付けている。指が移動させられると、サブカメラ２４は画像を撮像する（Ｓ８６）。図８は、このときサブカメラ２４が撮像した画像を示す図である。図６と同様に、ワーク１４と、第１指３４〜第３指３８と、障害物１６および障害物１８と、テーブル１２とが写っている。第１指３４〜第３指３８が、ワーク１４の背景の少なくとも一部を遮蔽していることが明らかである。点線で描かれている部分は、ワーク１４の背後にあって写っていない部分である。画像が撮像されると、制御用コンピュータ１００は、右ハンド３０および右ハンド３０に取付けられた部材のうち、どの部分が画像に写っているかを推定する（Ｓ８８）。推定が終了すると、制御用コンピュータ１００は、画像のうち、第１指３４〜第３指３８にあたる領域を物理的マスク領域（２）とする（Ｓ９０）。

以上のようにして、本実施の形態に係るロボットは、ワークの背景をロボットの指にあたる部材で遮蔽する。物理的マスク領域が表れるので、サブカメラが撮像した画像のうち黒く塗潰された領域を抽出すれば、メモリに記録されたデータから求めたハンドなどの位置と、画像上のハンドなどの位置とを比較できる。これらが比較できれば、メモリに記録されたデータから求めたハンドなどの位置が正確か否かを検証できる。ハンドなどの位置が正確とすれば、物理的マスク領域に存在するものはハンド、ハンドに取付けられた部材、およびワークのいずれかである。物理的マスク領域に存在するものがこれら限定されるので、物理的マスク領域の中で、障害物などの有形物を除外する作業が不要となる。その作業が不要となるので、画像処理の負担が軽くなり、かつ画像処理の結果の信頼性が向上する。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を認識でき、かつ信頼性が高いロボットを提供できる。また、工場や実験室のような場所であっても、画像処理の対象範囲をより拡大させることができる。

なお、ロボット１０の外面に、人の居住空間で通常使用されないパターンを付してもよい。図９は、そのようなパターンの一例を付したロボットの外観図である。図９のパターンは、第１の色（本変形例の場合は白色であるが、これに限定されない）、および第１の色より暗くかつ第１の色が占める面積より広い面積を占める第２の色（本変形例の場合は黒色であるが、これに限定されない）を模様として含む。具体的には、黒地にピッチが４ミリメートルで直径が２ミリメートルの斑点を付したパターンである。図９は、ロボット１０の外面にこのようなパターンが付されたことをあらわす図である。ロボットが使用される環境下の物のいずれかが、ハンドおよびハンドに取付けられた部材の色と同じ色を有する場合、ハンドなどの位置を検証することが困難になる。ハンドおよびハンドに取付けられた部材に、人の居住空間で通常使用されないパターンを付してあれば、位置を検証することが困難になる可能性は少なくなる。これにより、より信頼性が向上する。その結果、複雑で多様な環境下であっても背景の影響を排除した状態で対象物を認識でき、かつより信頼性が高いロボットを提供できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に係るロボットの外観や作業を表わす図である。 本発明の実施の形態に係る制御用コンピュータ１００のブロック構成図である。 本発明の実施の形態に係るワークの認識処理の制御の手順を示すフローチャート（その１）である。 本発明の実施の形態に係るワークの認識処理の制御の手順を示すフローチャート（その２）である。 本発明の実施の形態に係る指の配置の一例を示す図である。 本発明の実施の形態に係る画像の一例を示す図である。 本発明の実施の形態に係る指の配置の別の一例を示す図である。 本発明の実施の形態に係る画像の別の一例を示す図である。 本発明の実施の形態の変形例に係るロボットの外観を示す図である。

符号の説明

１０ ロボット、１２ テーブル、１４ ワーク、１６，１８ 障害物、２０ ボディ部、２２ メインカメラ、２４ サブカメラ、２６ 右アーム、２８ 左アーム、３０ 右ハンド、３２ 左ハンド、３４ 第１指、３６ 第２指、３８ 第３指、４０ 第４指、４２ 第５指、４４ 第６指、１００ 制御用コンピュータ、１０２ ＣＰＵ、１０４ メモリ、１０６ 固定ディスク、１０８ キーボード、１１０ ディスプレイ、１１２ ＦＤ駆動装置、１１４ ＣＤ-ＲＯＭ駆動装置、１２０ ＦＤ、１２２ ＣＤ-ＲＯＭ。

Claims (11)

1. 対象物を撮像するカメラと、
   前記対象物の背景の少なくとも一部を遮蔽するための遮蔽手段と、
   前記遮蔽手段の少なくとも一部およびカメラが前記対象物を挟んで向き合い、かつ前記カメラと向き合う遮蔽手段の一部が前記対象物と前記対象物以外の有形物との間に在るように、前記カメラおよび遮蔽手段の配置を制御するための制御手段とを含む、撮像装置。
2. 前記遮蔽手段は、前記対象物を把持する把持装置を含み、
   前記制御手段は、前記把持装置を構成する部材のいずれかの配置を制御するための手段を含む、請求項１に記載の撮像装置。
3. 前記把持装置は、屈曲可能な複数の部材により、前記対象物を把持する装置を含み、
   前記部材のいずれかの配置を制御するための手段は、前記複数の部材の配置をそれぞれ制御するための手段を含む、請求項２に記載の撮像装置。
4. 前記撮像装置は、前記対象物および有形物の配置を検出するための配置用の検出手段をさらに含み、
   前記制御手段は、前記配置用の検出手段が検出した配置に基づいて、前記カメラおよび遮蔽手段の配置を制御するための手段を含む、請求項１に記載の撮像装置。
5. 前記撮像装置は、前記カメラおよび遮蔽手段の配置の複数の候補を表わす情報を記録するための候補用の記録手段をさらに含み、
   前記制御手段は、
   前記配置用の検出手段が検出した配置に基づいて、前記複数の候補のいずれかを選択するための選択手段と、
   前記選択手段が選択した候補に対応するように、前記カメラおよび遮蔽手段の配置を制御するための手段とを含む、請求項４に記載の撮像装置。
6. 前記撮像装置は、
   前記遮蔽手段の配置を表わす情報を記録するための配置用の記録手段と、
   前記制御手段の制御の後、前記遮蔽手段の配置を表わす情報を用いて計算した、前記カメラが撮像した画像における遮蔽手段の配置を、前記カメラが撮像した画像にマッピングすることにより、前記カメラが撮像した画像のうち、前記遮蔽手段が遮蔽した領域を検出するための領域用の検出手段をさらに含む、請求項１に記載の撮像装置。
7. 前記撮像装置は、前記領域用の検出手段が検出した領域が前記遮蔽手段か否かを、前記遮蔽手段の外面の色に基づいて確認するための確認手段をさらに含む、請求項６に記載の撮像装置。
8. 前記遮蔽手段の外面の色は、第１の色、および前記第１の色より暗くかつ前記第１の色が占める面積より広い面積を占める第２の色を模様として含む、請求項７に記載の撮像装置。
9. カメラで対象物を撮像する撮像ステップと、
   マニピュレータの先端にある遮蔽物で、前記対象物の背景の少なくとも一部を遮蔽する遮蔽ステップと、
   前記カメラが前記対象物を撮像する前に、前記遮蔽物の少なくとも一部およびカメラが前記対象物を挟んで向き合い、かつ前記カメラと向き合う遮蔽物の一部が前記対象物と前記対象物以外の有形物との間に在るように、前記カメラおよび遮蔽物の配置を制御する制御ステップとを含む、撮像方法。
10. カメラで対象物を撮像する撮像ステップと、
    遮蔽物で、前記対象物の背景の少なくとも一部を遮蔽する遮蔽ステップと、
    前記カメラが前記対象物を撮像する前に、前記遮蔽物の少なくとも一部およびカメラが前記対象物を挟んで向き合い、かつ前記カメラと向き合う遮蔽物の一部が前記対象物と前記対象物以外の有形物との間に在るように、前記カメラおよび遮蔽物の配置を制御する制御ステップとを含む各ステップをコンピュータに実行させるための撮像プログラム。
11. 撮像プログラムを記録したコンピュータ読取り可能な記録媒体であって、
    カメラで対象物を撮像する撮像ステップと、
    マニピュレータの先端にある遮蔽物で、前記対象物の背景の少なくとも一部を遮蔽する遮蔽ステップと、
    前記カメラが前記対象物を撮像する前に、前記遮蔽物の少なくとも一部およびカメラが前記対象物を挟んで向き合い、かつ前記カメラと向き合う遮蔽物の一部が前記対象物と前記対象物以外の有形物との間に在るように、前記カメラおよび遮蔽物の配置を制御する制御ステップとを含む各ステップをコンピュータに実行させるための撮像プログラムを記録したコンピュータ読取り可能な記録媒体。

Images