JP2000254883A

JP2000254883A - 道具装置と道具認識方法および自動動作装置

Info

Publication number: JP2000254883A
Application number: JP11059314A
Authority: JP
Inventors: Takeshi Hayakawa; 健早川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-03-05
Filing date: 1999-03-05
Publication date: 2000-09-19

Abstract

(57)【要約】【課題】道具を正しく認識させると共に、正しく道具を
使用して作業を行わせる。【解決手段】認識用の二次元表示を表面に設けた道具を
視覚情報入力部１１で撮影し、得られた撮像信号を画像
信号処理部１３で処理して二次元表示を設けた道具の位
置等の認識を行う。命令通信部１６を介して供給された
命令をどのように実行するかを高次命令処理部１５で解
析し、認識された道具から作業に必要となる道具を選択
するための駆動信号を生成して駆動処理部１８に供給し
て、道具を選択する。選択された道具から道具情報通信
部１７を介して道具に関する情報を読み取り、この情報
を用いて選択した道具を正しく使用して作業を自動的に
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、道具装置と道具
認識方法および自動動作装置に関する。詳しくは、ロボ
ット等で作業を自動的に行わせる際に、認識用の二次元
表示を表面に設けた道具を撮影して道具の位置等の認識
を行い、供給された命令に応じた作業を行うために必要
とする道具を選択すると共に、選択した道具から供給さ
れた道具情報を用いることで、道具を正しく使用して作
業を自動的に行わせるものである。

【０００２】

【従来の技術】近年、種々の作業を人間の代わりに行う
ことができる自動動作装置、例えばロボットが実用化さ
れている。このようなロボットでは、種々の作業を行う
ための道具を予めロボットのアームに取り付けると共
に、取り付けられた道具をどのように用いるかを制御す
るためのプログラムをロボットに組み込み、所望の作業
を人間の代わりに行うことができるように成されてい
る。

【０００３】

【発明が解決しようとする課題】ところで、技術の進歩
に伴い視覚情報に基づいて動作を制御するロボットや自
立歩行可能なロボット等も実用化されている。このた
め、このようなロボットによって種々の作業を行わせる
場合には、作業に必要とされる道具の認識や、認識され
た道具をどのように使用するか等の判別が必要となる。

【０００４】そこで、この発明では道具を正しく認識で
きると共に、認識された道具を正しく使用して作業を行
わせることができる道具装置と道具認識方法および自動
動作装置を提供するものである。

【０００５】

【課題を解決するための手段】この発明に係る道具装置
は、認識用の二次元表示を道具表面に設けたものであ
る。また道具認識方法は、認識用の二次元表示を表面に
設けた道具を撮影し、得られた撮像信号を画像処理して
二次元表示を設けた道具の認識を行うものである。さら
に自動動作装置は、道具認識を行う道具認識手段と、道
具を使用して作業を行う駆動処理手段と、供給された命
令を解析し、道具認識手段で認識した道具から使用する
道具を選択すると共に、駆動処理手段を制御して選択し
た道具を使用して命令に応じた作業を行う制御手段とを
備えるものである。

【０００６】この発明においては、少なくとも４点以上
の発光素子を用いると共に発光素子の各々の発光パター
ンを異なるように点灯制御して、あるいは第１および第
２の画像ブロックを複数組み合わせて構成した二次元マ
トリクスコードを設けることで道具表面に二次元表示が
行われる。この二次元表示を設けた道具を撮影して道具
の位置やどのような道具であるかが認識されて、認識さ
れた道具から作業に使用する道具が選択される。また、
発光素子の点滅パターンを制御して道具に関する情報が
表示されて、あるいは画像ブロックの配列によって道具
に関する情報が表示される。この情報が情報取得手段で
取得されて、選択された道具を使用すると共に取得され
た情報を用いて命令に応じた作業が自動的に行われる。

【０００７】

【発明の実施の形態】以下、この発明について図面を参
照しながら詳細に説明する。図１は自動動作装置、例え
ばロボット１０の構成を示す図である。

【０００８】図１の視覚情報入力部１１は、撮像素子等
を用いて構成されており、視覚情報入力部１１で得られ
た画像信号は画像信号処理部１３に供給される。画像信
号処理部１３では、供給された画像信号に基づきロボッ
トの周囲の三次元認識や周囲の物体までの距離等の判別
等を行う。この画像信号処理部１３での認識結果や判別
結果は、高次命令処理部１５に供給される。

【０００９】高次命令処理部１５には、ロボットをどの
ように動作させるかの高次命令、例えば「料理をつく
れ」あるいは「掃除開始」等の次元の高い命令を受信す
る命令通信部１６や、後述する道具２０との通信を行っ
て道具に関する情報を得る道具情報通信部１７、アーム
等の可動部分を駆動すると共に可動部分がどの様な状態
であるかを検出するための駆動処理部１８等が接続され
ている。この高次命令処理部１５では、画像信号処理部
１３での認識結果や判別結果、駆動処理部１８からの可
動部分の動作状態を示す検出信号、道具情報通信部１７
を介して得られた道具に関する情報等に基づいて、命令
通信部１６で受信された高次命令をどのようにして実行
するかの解析を行うと共に、解析結果に基づいて駆動信
号を生成して所望の駆動処理部１８に供給する。この駆
動信号に基づき駆動処理部１８によって可動部分が駆動
されて高次命令に応じた動作を行う。

【００１０】図２はロボットで用いられる道具２０、例
えば包丁やフライパンの外観を示しており、道具２０に
は道具の位置やどのような道具であるか等の認識を行う
発光部２１や道具２０の使用方法等の道具に関する情報
の通信のための通信部２３が設けられている。この発光
部２１は、複数の発光素子例えば４つの発光素子２１
a，２１b，２１c，２１dを用いて構成されている。

【００１１】図３は、道具２０の構成を示している。発
光部２１は発光制御部２２と接続される。この発光制御
部２２には通信部２３や使用状態検出部２４および情報
記憶部２５が接続される。通信部２３では、後述するよ
うにロボット１０の命令通信部１６から出力された道具
認識開始命令を受信したり、情報記憶部２５に記憶され
ている道具２０に関する情報の通信等を行う。また、使
用状態検出部２４では、道具２０がロボット１０によっ
て使用されている状態であるか否かの判別を行う。例え
ば、圧力センサや近接センサ等を道具の握り手部分（把
持部分）に設けるものとし、ロボット１０によって握り
手部分が把持されたか否かをセンサ信号によって判別す
ることで、道具２０が使用状態であるか否かの判別を行
うことができる。また、使用状態検出部２４の機能を通
信部２３に持たせるものとして、ロボット１０側から道
具２０の使用を開始したことを示す信号を受信すること
で、道具２０が使用状態となったか否かの判別を行うこ
ともできる。

【００１２】さらに、道具２０に関する情報の通信は、
発光部２１の発光素子を情報に基づいて点滅表示させる
と共に、ロボット１０の道具情報通信部１７を受光素子
を用いて構成し、点滅表示された発光素子からの放射光
を受光素子で受光することで通信を行うこともできる。
また、通信部として例えばＩＥＥＥ−１３９４のような
高速シリアルインタフェースを用いるものとして、ロボ
ット１０と道具２０をコネクタを介して接続することに
より通信を行うものとしても良い。この場合、発光部２
１や通信部２３は、道具２０のロボット１０によって把
持される部分に設けるものとし、ロボット１０の道具情
報通信部１７を道具２０を把持する部分、例えばロボッ
ト１０の手のひらや指先等に設けるものとすれば、情報
の通信を確実に行うことができると共に、どのような形
状の把持部分に対しても対応させることができる。

【００１３】情報記憶部２５には、道具２０の形状や用
途、使用方法、使用後の処理方法や収納位置等に関する
情報が記憶されている。

【００１４】発光制御部２２では、通信部２３で道具認
識開始命令が受信されたことが判別されると共に、使用
状態検出部２４で道具２０が使用開始前であると判別さ
れたときには、発光部２１の各発光素子が異なる流し撮
り発光パターンで点滅されるように点滅制御信号を生成
して発光部２１に供給する。なお、流し撮り発光パター
ンの詳細については後述する。

【００１５】ここで、流し撮り発光パターンは道具２０
によっても異なるものとされる。例えば図４に示すよう
なデータフォーマットが準備されている。このデータフ
ォーマットは少なくとも２つの領域に分かれている。第
１のデータ領域には道具がどのような道具であるかを識
別するための道具識別コードが書き込まれ、第２のデー
タ領域には各発光素子の位置コードが書き込まれる。例
えば道具が包丁であるときには、道具識別コードは「０
０００」とされる。道具がフライパンであるときには、
道具識別コードは「０００１」とされる。さらに、各道
具に設けられた４つの発光素子２１a，２１b，２１c，
２１dは、位置コード「００」「０１」「１０」「１
１」によって判別することができる。このため、道具識
別コードと位置コードで流し撮り発光パターンを形成す
ることによって、この流し撮り発光パターンに基づき、
どのような道具のいずれの位置の発光素子であるかを判
別することができる。

【００１６】さらに、把持部形状コードを設けるものと
すれば、把持する部分（把持部）の形状が異なる場合で
あっても、この把持部形状コードによって把持部の形状
を認識することができる。このため、同じフライパンで
あっても把持部の形状が異なるときには、それぞれの形
状に応じた把持部形状コード、例えば「ｋｘ0」〜「ｋ
ｘ15」と「ｋｙ0」〜「ｋｙ15」のデータを発光パター
ンのデータフォーマットに加えることで、この１６ビッ
トの把持部形状コードに基づき、道具の取得操作を把持
部の形状に合わせて行うことができる。なお図４に示す
データフォーマットは、例示的なものであってどのよう
なコードを何ビットで書き込むかは、図４のデータフォ
ーマットに限定されるものでないことは勿論である。

【００１７】なお、新たな道具を使用する際には、高次
命令処理部１５が新たな道具に対して道具識別コード等
を割り当てるものとし、この割り当てられた道具識別コ
ード等が、ロボット内の記憶部（図示せず）に記憶され
ると共に通信部２３を介して道具内の記憶部（図示せ
ず）に記憶される。このため、新たな道具を用いる場合
であっても、正しく道具を認識することができる。

【００１８】このように、発光部２１での発光パターン
によって道具の識別や位置の認識等が行われて、その後
道具２０の使用が開始されたと判別されたときには、情
報記憶部２５に記憶されている道具２０の形状や用途、
使用方法、使用後の処理方法や収納位置等に関する情報
を読み出して通信部２３に供給する。なお、発光部２１
を介して通信を行う場合には、道具２０の形状や用途、
使用方法、使用後の処理方法や収納位置等に関する情報
を発光制御部２２に供給するものとしてもよい。さら
に、ロボット１０と道具２０との通信は、道具２０から
一方向に情報をロボット１０に供給したり、ロボット１
０と道具２０とで双方向に情報の通信を行うものとした
り、後述する種々の機能や動作が選択可能な道具を用い
る場合には、ロボット１０から道具２０に一方向に信号
を供給して、道具２０の機能や動作を制御することもで
きる。

【００１９】また道具２０には、図３に示すように発光
部２１や発光制御部２２、通信部２３、使用状態検出部
２４等を動作させるための電源２６が設けられている。
この電源２６は一次電池あるいは充電可能な二次電池が
用いられる。ここで、二次電池を用いた場合には、道具
２０がロボット１０によって把持されたときに、ロボッ
ト１０の道具を把持する部分から高周波信号を道具２０
側に出力して、この高周波信号を例えば通信部２３で受
信して電源２５を無接点充電すれば、充電作業を簡単に
効率良く行うことができる。さらに、この高周波信号を
利用してロボット１０と道具２０で通信を行うものとし
ても良い。

【００２０】ここで、道具２０の認識を行うために、ロ
ボット１０の視覚情報入力部１１は、通常のＣＣＤ撮像
部１１１と流し撮りＣＣＤ撮像部１１５を用いて構成さ
れており、ＣＣＤ撮像部１１１で周囲を撮影して三次元
認識等を行う。また流し撮りＣＣＤ撮像部１１５で周囲
を撮影して、道具２０の発光部２１の発光パターンから
道具２０の位置や種類を認識する。

【００２１】この流し撮りとは、流し撮りＣＣＤ撮像部
１１５において、同一フィールド期間中に複数回、後述
する光電変換素子（フォトダイオードなど）から信号電
荷を読み出して撮像信号を得る撮影モードをいう。この
流し撮りＣＣＤ撮像部１１５として、垂直転送部を有す
るインターライン転送方式の二次元撮像デバイスを使用
した場合には、同一フィールド期間中に複数回、光電変
換素子から垂直転送部に信号電荷が読み出される。ま
た、流し撮りＣＣＤ撮像部１１５として電荷蓄積部を有
するフレーム転送方式の二次元撮像デバイスを使用した
場合には、同一フィールド期間中に複数回、光電変換素
子から電荷蓄積部に信号電荷が読み出される。

【００２２】例えば、インターライン転送方式の流し撮
りＣＣＤ撮像部１１５は、図５に示すようにレンズ１１
６を有しており、撮影画像がレンズ１１６によって撮像
素子１２０の撮像面上に結像される。なお、レンズ１１
６として魚眼レンズを用いるものとすれば、ロボットの
周囲を広範囲に撮影することができ、道具を容易に検出
することができる。

【００２３】また、レンズ１１６の前面に薄膜フィルタ
１１７を取り付けて、この特定波長の光を透過させて撮
像素子１２０に照射するものとしてもよい。この薄膜フ
ィルタ１１７は、例えばＴｉＯ2膜又はＳｉＯ2膜を多層
に積み上げた構造とされており、各層の厚みを制御する
ことで、赤色、緑色、青色などを通す光透過帯域（透過
率対波長）を自由に設定することができる。

【００２４】図６は撮像素子１２０の構成を示してお
り、基板１２１上には、１画素を構成する光電変換素子
としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｐ、ｊ＝１
〜ｑ）がｐ行×ｑ列のマトリクス状に配置されている。

【００２５】この基板１２１の列方向には電荷転送部と
してｑ本の垂直転送部１２２が設けられ、フォトダイオ
ードＰＨｉｊから読み出した信号電荷が垂直読み出し信
号Ｓ１に基づいて垂直方向（流し撮り方向）に転送され
る。この垂直転送部１２２には水平転送部１２３が接続
され、その信号電荷が水平読み出し信号Ｓ２に基づいて
水平方向に転送されるので、出力端子１２４に流し撮り
撮像信号ＳOUTが出力される。この例では、流し撮りを
するために、少なくとも、同一フィールド期間中に複数
回、フォトダイオードＰＨｉｊから垂直転送部１２２に
信号電荷が読み出される。

【００２６】画像信号処理部１３では、流し撮りＣＣＤ
撮像部１１５からの流し撮り撮像信号ＳOUTに基づき、
道具２０の発光部２１の発光素子の発光パターンを利用
して道具２０の認識が行われる。

【００２７】ここで、道具２０の認識処理について説明
する。なお、説明を簡単とするため、道具２０の発光部
２１では４つの発光素子を用いるものとする。

【００２８】画像信号処理部１３では、流し撮りＣＣＤ
撮像部１１５から出力された流し撮り撮像信号ＳOUTか
ら、４つの発光素子の発光パターンが、図７に示すウイ
ンドウＷにより画定された画像領域内で、４つの流し撮
り輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パ
ターンに変換される。その後、その配置パターン上を走
査して、４つの発光素子に対応する４つの輝点Ｐ１〜Ｐ
４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ
３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。

【００２９】例えば、図８に示す配置パターン上で流し
撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸と
したときに、道具２０の発光部２１の各発光素子が道具
２０の使用前に図に示すように発光する場合、画像信号
処理部１３によって流し撮像方向と同一方向又はその反
対方向に輝度信号値を加算して加算値がＸ軸上にプロッ
トされる。このＸ軸にプロットされた輝度信号値のピー
ク値から、この４つの位置に対応するＸ座標値Ｘ１、Ｘ
２、Ｘ３、Ｘ４が求められる。また、その配置パターン
上で取得画像をＹ方向に走査したときに、そのＹ方向に
並んだ複数の輝点のうち、最初に発光した輝点位置が各
々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４
として求められる。さらに、輝度信号値の加算値によっ
て、実空間上の道具の４つの発光素子と撮影画像に基づ
いて判別された４つの光源位置を対応させることができ
る。

【００３０】実空間上の道具２０の４つの発光素子の位
置座標は既知であり、その位置座標は（ｘ１，ｙ１）、
（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）であ
る。従って、上述の実空間上の道具２０の位置は、発光
部２１の４つの発光素子で示される基準面は、４つの輝
点Ｐ１〜Ｐ４の位置を４つの発光素子の取付け位置に射
影する変換行列を演算することにより得られる。

【００３１】ここで、実空間中の平面上の点（ｘi，ｙ
i，０）と、並進や回転運動によって移動し、透視変換
で画像座標系に射影した点を（Ｘi，Ｙi）とすると、下
記に示す式（１）および式（２）の関係が成り立つ。な
お「ａ1」〜「ａ8」は係数であり、視覚入力部の位置や
方向、焦点距離等のパラメータを示している。

【００３２】

【数１】

【００３３】実空間中の道具２０の発光部２１の４つの
発光素子と、この発光素子と対応する画像座標系の輝点
が４組、すなわち実空間中の点（ｘ1，Ｙ1）（ｘ2，Ｙ
2）（ｘ3，Ｙ3）（ｘ4，Ｙ4）と、この点と対応する画
像座標系の点（Ｘ1，Ｙ1）（Ｘ2，Ｙ2）（Ｘ3，Ｙ3）
（Ｘ4，Ｙ4）が４組み存在すれば、式（３）の方程式を
解くことによって、係数「ａ1」〜「ａ8」を算出でき
る。

【００３４】

【数２】

【００３５】特に、（ｘ1，Ｙ1）（ｘ2，Ｙ2）（ｘ3，
Ｙ3）（ｘ4，Ｙ4）を一辺の長さ１の正方形の４つの頂
点とすると、求めた係数「ａ1」〜「ａ8」を用いて、画
面上の頂点を正方形の各頂点に射影することができる。

【００３６】この実空間上の道具２０の発光部２１の４
つの発光素子の位置座標をｗｉ（ｉ＝１〜４）とし、そ
の４つの発光素子ＰＬ１〜４の位置座標ｗｉのカメラ座
標系上での表現ベクトルをＣｉとし、流し撮り撮像信号
ＳOUTに基づくその４つの発光素子ＰＬ１〜４の画面上
での位置座標をＰｉとし、流し撮りＣＣＤ撮像部１１５
の回転マトリクスをＲ、その移動ベクトルをＴとする
と、（４）式、すなわち、Ｃｉ＝Ｒ・ｗｉ＋Ｔ・・・（４）但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）という関係がある。従って、回転マトリクスＲとその移
動ベクトルＴとを演算することで、道具２０に対する視
覚情報入力部１１の位置や姿勢を推定することができ
る。なお、道具２０では、道具の種類によって発光パタ
ーンが異なるものとされているので、輝度信号値の加算
値の違いによって道具の種類を判別することができる。

【００３７】次に、道具２０を用いる場合のロボット１
０の処理動作について図９のフローチャートを用いて説
明する。ロボット１０に対して種々の命令を行う制御側
から高次命令が出力されると、ステップＳＴ１では、こ
の高次命令が命令通信部１６で受信されて高次命令処理
部１５に供給される。なお、制御からロボット１０に対
しての高次命令の供給は、電波や赤外線等を利用して無
線で行うものとすれば、信号ケーブル等が作業の支障と
なることがない。また、赤外線等を用いた光通信を行う
ことにより、電波による障害が懸念されるような環境
下、例えば病院等においても、他の機器に影響を与える
ことなく安心してロボット１０を作業させることができ
る。

【００３８】高次命令を受信すると、ステップＳＴ２で
は、高次命令に基づく作業を開始するにあたり、各道具
を認識するため、各道具の発光部２１の発光素子を点滅
表示させる道具認識開始命令を命令通信部１６から出力
する。このとき、各道具では道具認識開始命令に基づき
道具の認識が出来るように、発光部２１の発光素子を道
具に応じた発光パターンで点滅表示させる。なお、各道
具で道具認識のための発光を常に行うものとした場合に
は、ステップＳＴ２の処理が不要となり、ステップＳＴ
１からステップＳＴ３に進む。

【００３９】ステップＳＴ３では、視覚情報入力部１１
で周囲を撮影し、各道具を流し撮りして、高度命令に基
づく作業に必要とされる道具を選択すると共に、選択さ
れた道具の発光部２１の発光素子の流し撮り発光パター
ン表示を利用して、上述した方法で道具の位置を取得す
る。また、把持部形状コードが設けられているときには
道具の把持部の形状の判別も行う。

【００４０】ステップＳＴ４では、道具の位置や把持部
の形状の判別結果に基づき駆動信号を生成して駆動処理
部１８に供給し、アーム等を移動させて選択した道具を
取得する。この場合、道具の認識とアーム等の移動を繰
り返し行い、道具とアーム等の位置の誤差をフィードバ
ックしてアーム等の制御を行い道具を取得する方法や、
道具の位置や種類等が判別されていることから、ロボッ
トのアーム等でつかむことができる範囲内に道具が位置
するものとされたときには、フィードバック制御を行う
ことなく、アーム等の位置制御だけで道具を取得する方
法が用いられる。

【００４１】また、道具を把持した状態となると、道具
から供給された道具の形状や用途、使用方法、使用後の
処理方法や収納位置等に関する道具情報を道具情報通信
部１７で受信して高次命令処理部１５に供給する。な
お、光通信で道具情報を供給するものとすれば、高次命
令の場合と同様に電波による障害が懸念されるような環
境下でも他の機器に影響を与えることなく情報を伝送す
ることができる。

【００４２】ステップＳＴ５では、道具情報通信部１７
からの道具情報を利用して、高次命令に応じた駆動信号
を生成して駆動処理部１８に供給することにより、この
取得した道具を使用して種々の作業を実施する。

【００４３】ところで、道具２０は図２に示すような包
丁やフライパン等のように単に一つの機能を有するだけ
でなく、図１０に示すコンピュータ装置や携帯電話機、
またロボット１０の一部が交換可能である場合に例えば
多機能な交換アーム等が用いられた場合、種々の機能や
動作が選択可能であって、選択された機能や動作に応じ
た操作を行うことにより種々の処理を行うことができる
ものもある。例えばコンピュータ装置では、メニュー画
面でアプリケーションを選択し、アプリケーションに応
じた操作を行うことで種々の処理を行うことができる。
また、携帯電話機では、単に通話を行うだけでなく、相
手先の電話番号の登録や選択等を行うことができる。さ
らに、ロボット１０の一部、例えばアーム交換等を行う
ことにより新たに装着された多機能な交換アームを使用
することで更に多くの作業を行うことができる。

【００４４】このような道具２０では、道具の形状や用
途、使用方法、使用後の処理方法や収納位置等に関する
情報が出力されるだけでなく、使用方法等の情報をツリ
ー構造に構築し、次にどのような処理が可能であるか等
の動作アルゴリズムを示す情報を順次選択可能として、
キー操作等によって必要な情報だけを道具２０からロボ
ット１０の道具情報通信部１７を介して高次命令処理部
１５にフィードバックすることもできる。この場合、ス
テップＳＴ６では、必要とされる情報だけがフィードバ
ックされて、このフィードバックされた動作アルゴリズ
ムの情報を用いて次の作業を行うことにより、効率良く
必要な情報だけを高次命令処理部１５で処理して種々の
高度な作業を効率よく行うことが可能となる。また、キ
ー操作等を行う前に、どのような処理が可能であるか等
の動作アルゴリズムを示す情報を道具からロボット１０
の道具情報通信部１７を介して高次命令処理部１５に供
給し、その後にキー操作等を行うものとしても良い。こ
の場合にも、キー操作等を行う前に供給された動作アル
ゴリズムの情報を用いて次の作業を行うことにより、種
々の高度な作業が可能となる。

【００４５】ステップＳＴ７で高次命令に基づく種々の
作業が完了したときには、道具からの情報で示された方
法で後片づけを行うと共に、道具からの情報で示された
場所に道具を片づけて処理が終了される。

【００４６】このように、上述の実施の形態によれば、
道具２０に発光部２１を設けるものとし、この発光部２
１の発光素子を点滅表示させるだけで、道具の位置やど
のような道具であるかの認識を簡単に行うことができ
る。また、道具に種々の情報を保持させて、この道具を
取得したときには、取得した道具に関する情報がロボッ
トに供給されるので、予め取得する道具に関する情報を
ロボット側で保持しておく必要がなく、汎用性の高い自
由なシステムを構築することができる。

【００４７】なお、高次命令だけでなく、道具２０とロ
ボット１０との道具情報の通信も、光や電波等を用いて
行うことができることは勿論である。

【００４８】ところで、上述の実施の形態では、道具２
０に発光部２１や通信部２３を設けるものとし、この発
光部２１の発光素子の発光パターンや通信部２３を制御
することで道具の認識や道具に関する情報の伝送を行う
ものとしたが、このように発光部２１等を設けるものと
すると道具の構成が複雑となってしまう。また、発光部
２１等を動作させるための電源が必要とされるだけでな
く、電源がバッテリー等であって電圧が低下したときに
は発光素子の輝度が低下して道具の認識等をおこなうこ
とが出来なくなってしまう。

【００４９】そこで、第２の実施の形態として、発光部
等を設けることなく道具の認識や道具に関する情報を読
み取ることができる構成を図１１を用いて説明する。

【００５０】道具２０には、道具２０に関する情報を示
す二次元マトリクスコード３０が設けられる。ロボット
１０では、視覚情報入力部１１の通常のＣＣＤ撮像部１
１１で周囲を撮影し、得られた信号を画像信号処理部１
３で処理して周囲の三次元認識を行うだけでなく、道具
２０に設けられている二次元マトリクスコード３０の撮
影画像から道具の認識等の処理を行う。

【００５１】ここで、通常のＣＣＤ撮像部１１１からの
撮像信号を用いた道具認識について説明する。画像信号
処理部１３では、まずＣＣＤ撮像部から供給された撮像
信号の二値化を行う。この二値化では、例えば二次元マ
トリクスコードが白と黒のように輝度差で表されている
場合には、輝度信号と適当な閾値とを比較して白と黒の
二値化画像とする。また、二次元マトリクスコードが色
の違いで表されているときには、薄膜フィルタ１１７で
一方の色の波長の光だけ透過させて得られた撮像信号を
用いるものとしたり、色信号の信号レベル差等によって
も二値化を行うことかできる。なお、説明を簡単とすた
め、二次元マトリクスコード３０は正方形の黒色の枠内
に白黒矩形マトリクスが設けられているものとする。ま
た、この白黒矩形マトリクスの白色の画像ブロックと黒
色の画像ブロックのブロック配列によって道具に関する
情報が示される。

【００５２】二値化処理の終了後に黒ピクセルの連結領
域毎にラベル付けを行うことにより、二次元マトリクス
コード画像はラベル付けされた連結領域のいずれかに含
まれることとなる。従って、連結領域の外接四角形の大
きさと縦横比を考慮して、二次元マトリクスコード画像
が含まれている可能性の低い背景画像を除去する。

【００５３】次に、このような前処理によって得られた
連結領域の各要素に対してマトリクスコード画像枠の当
てはめを行う。例えば、外接四角形の各辺から内側に向
かって、黒領域を探索して枠の点列を得る。この点列に
対して最小二乗法で線分を当てはめることにより、二次
元マトリクスコード画像枠の当てはめを行うことができ
る。

【００５４】その後、二次元バーコード画像枠の四隅の
４頂点を、正方形の頂点に射影する変換行列を求める。
この変換行列は、上述の実施の形態と同様にして求める
ことができ、この変換行列を用いて画面上の頂点を正方
形の各頂点に射影することができる。すなわち、撮影さ
れた二次元マトリクスコード画像のコード枠は、撮影姿
勢や撮影位置によって歪んで撮影されているが、これを
正方形に直すことができる。また、上述の回転マトリク
スＲと移動ベクトルＴに基づき二次元マトリクスコード
の位置、すなわち道具の位置を判別することができる。
さらに、二次元マトリクスコードの白黒矩形マトリクス
のブロック配列を読み取ることにより道具に関する各種
の情報を読み取ることができる。

【００５５】このようにして道具２０の認識が行われる
と、高次命令処理部１５では制御側から供給された高次
命令を処理する上で必要とされる道具を、認識された道
具の中から判別する。また、駆動信号を生成して駆動処
理部１８に供給することにより、必要とされる道具を取
得して、高次命令に応じた作業を行う。

【００５６】このように、二次元マトリクスコードを道
具に設けることで道具の認識や道具に関する情報を得る
ことができるので、道具の構成が簡単で安価とすること
ができると共に、電池交換等を行うことがないので取り
扱いを容易にできる。

【００５７】

【発明の効果】以上説明したように、この発明によれ
ば、認識用の二次元表示が道具表面に設けられて、この
二次元表示を利用して道具の認識が行われる。このた
め、道具の位置等を入力しなくともロボット等の自動動
作装置で道具を自動的に取得することができる。

【００５８】また、供給された命令を解析して、道具が
自動的に選択されると共に、この道具を使用して命令に
応じた作業が自動的に行われるので、高次命令を供給す
るだけで、自動動作装置で所望の作業を簡単に行うこと
ができる。

【００５９】さらに、道具に関する情報が道具から自動
動作装置に供給されて、この情報を用いて作業が行われ
るので、自動動作装置に道具に関する情報を記憶してお
く必要がないので、汎用性を高めることができる。

【図面の簡単な説明】

【図１】自動動作装置の構成を示す図である。

【図２】道具の外観を示す図である。

【図３】道具の構成を示す図である。

【図４】発光パターンのデータフォーマットを示す図で
ある。

【図５】流し撮りＣＣＤ撮像部の構成を示す図である。

【図６】撮像素子の構成を示す図である。

【図７】撮影画像を示す図である。

【図８】発光素子の位置座標の算出例を示す図である。

【図９】自動動作装置の動作を示すフローチャートであ
る。

【図１０】他の道具の外観を示す図である。

【図１１】二次元マトリクスコードを設けた道具を示す
図である。

【符号の説明】

１０・・・ロボット、１１・・・視覚情報入力部、１
３・・・画像信号処理部、１５・・・高次命令処理部、
１６・・・命令通信部、１７・・・道具情報通信部、１
８・・・駆動処理部、２０・・・道具、２１・・・発光
部、２２・・・発光制御部、２３・・・通信部、２４・
・・使用状態検出部、２５・・・情報記憶部、２６・・
・電源、３０・・・二次元マトリクスコード、１１１・
・・ＣＣＤ撮像部、１１５・・・流し撮りＣＣＤ撮像部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｋ 19/00 Ｇ０６Ｋ 19/00 Ｑ

Claims

【特許請求の範囲】

【請求項１】認識用の二次元表示を道具表面に設けた
ことを特徴とする道具装置。
【請求項２】前記二次元表示は、少なくとも４点以上
の発光素子を用いて形成し、前記発光素子の各々の発光パターンを異なるように点灯
制御する発光制御手段を備えたことを特徴とする請求項
１記載の道具装置。
【請求項３】前記発光制御手段では、発光素子の点滅
パターンを制御して、前記発光素子を設けた道具に関す
る情報を表示することを特徴とする請求項２記載の道具
装置。
【請求項４】前記二次元表示は、第１および第２の画
像ブロックを複数組み合わせて構成した二次元マトリク
スコードであることを特徴とする請求項１記載の道具装
置。
【請求項５】前記画像ブロックの配列によって、前記
二次元マトリクスコードを設けた道具に関する情報を表
示することを特徴とする請求項４記載の道具装置。
【請求項６】通信手段と情報記憶手段を有し、前記二次元表示は把持部分に設け、前記情報記憶手段には、少なくとも、把持部分の位置と
前記通信手段の位置を特定する位置情報と、前記通信手
段で送信する情報を記憶するものとし、前記道具に関する情報として、前記情報記憶手段に記憶
している位置情報を表示することを特徴とする請求項３
あるいは請求項５に記載の道具装置。
【請求項７】認識用の二次元表示を表面に設けた道具
を撮影し、得られた撮像信号を画像処理して前記二次元表示を設け
た道具の認識を行うことを特徴とする道具認識方法。
【請求項８】前記二次元表示は、少なくとも４点以上
の発光素子を用いると共に、前記発光素子の各々の発光
パターンを異なるように点灯制御するものとし、前記二次元表示を所定の撮像方向に流すように撮像し、得られた撮像信号を画像処理して前記発光素子の位置を
算出すると共に、算出された前記発光素子の位置から前
記二次元表示を設けた道具の位置の認識を行うことを特
徴とする請求項７記載の道具認識方法。
【請求項９】前記二次元表示は、二値の画像ブロック
を複数用いて構成した二次元マトリクスコードであり、前記二次元表示を撮像して得られた撮像信号を画像処理
して前記二次元マトリクスコードの外枠を判別すると共
に、判別された前記二次元マトリクスコードの外枠の形
状から前記二次元表示を設けた道具の位置の認識を行う
ことを特徴とする請求項７記載の道具認識方法。
【請求項１０】道具の認識を行う道具認識手段と、前記道具を使用して作業を行う駆動処理手段と、供給された命令を解析し、前記道具認識手段で認識した
道具から使用する道具を選択すると共に、前記駆動処理
手段を制御して前記選択した道具を使用して前記命令に
応じた作業を行う制御手段とを備えることを特徴とする
自動動作装置。
【請求項１１】前記道具は情報を保持するものとし、前記認識された道具を使用する際に、前記道具から保持
されている情報を得る情報取得手段を備え、前記制御手段では、前記情報取得手段で得られた情報を
用いて前記命令に応じた作業を行うことを特徴とする請
求項１０記載の自動動作装置。
【請求項１２】前記道具はツリー構造とされた情報を
保持するものとし、前記情報取得手段では、前記ツリー構造とされた情報か
ら必要な情報を順次選択して前記道具から得ることを特
徴とする請求項１１記載の自動動作装置。
【請求項１３】前記道具は把持される部分に通信手段
を有するものとし、前記認識された道具を使用する際に、前記道具の通信手
段との通信を行う通信手段を前記道具を把持する把持手
段に設けることを特徴とする請求項１０記載の自動動作
装置。
【請求項１４】前記道具は高周波信号を受信すること
で充電可能な電源をを有し、前記道具を把持する把持手段に前記高周波信号を出力す
る信号出力手段を設けるものとし、前記認識された道具を使用したときに、前記信号出力手
段から前記高周波信号を出力して前記道具の電源を充電
することを特徴とする請求項１０記載の自動動作装置。
【請求項１５】前記信号出力手段から出力する高周波
信号を利用して前記道具と通信を行うことを特徴とする
請求項１４記載の自動動作装置。
【請求項１６】撮像手段を有し、前記道具認識手段では、前記撮像手段で得られた画像信
号を処理して道具認識を行うことを特徴とする請求項１
０記載の自動動作装置。