JP2006281349A - コミュニケーションロボット - Google Patents

コミュニケーションロボット Download PDF

Info

Publication number
JP2006281349A
JP2006281349A JP2005103037A JP2005103037A JP2006281349A JP 2006281349 A JP2006281349 A JP 2006281349A JP 2005103037 A JP2005103037 A JP 2005103037A JP 2005103037 A JP2005103037 A JP 2005103037A JP 2006281349 A JP2006281349 A JP 2006281349A
Authority
JP
Japan
Prior art keywords
map
partner
robot
data
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005103037A
Other languages
English (en)
Other versions
JP4677585B2 (ja
Inventor
Keiko Miyashita
敬宏 宮下
Taichi Tachika
太一 田近
Hiroshi Ishiguro
浩 石黒
Kiyoshi Kogure
潔 小暮
Norihiro Hagita
紀博 萩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2005103037A priority Critical patent/JP4677585B2/ja
Publication of JP2006281349A publication Critical patent/JP2006281349A/ja
Application granted granted Critical
Publication of JP4677585B2 publication Critical patent/JP4677585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Toys (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Manipulator (AREA)

Abstract

【構成】コミュニケーションロボット10は、全身に分散配置された複数のピエゾセンサシートすなわち触覚センサ58を含み、触覚センサ58の出力のパターンと、コミュニケーション相手の位置および姿勢に関する情報とを対応付けた、登録相手ごとのマップを記憶するマップDB92を備える。マップDB92に記憶された複数の相手のマップを用いて、取得した触覚センサ出力ベクトルと、たとえば眼カメラ50で撮影した画像データから検出した相手の位置・姿勢とに基づいて、触行動をしている相手が誰であるかを特定する。ロボット10はたとえば認識相手に合わせた行動を実行する。
【効果】IDタグを装着させなくても触覚に基づいて個人認識を行うことができ、より自然なコミュニケーションを実現できる。
【選択図】 図4

Description

この発明はコミュニケーションロボットに関し、特にたとえば、全身に分布された触覚センサを備え、触覚に基づいて個人を認識するコミュニケーションロボットに関する。
日常環境の中で活動するロボットにとって表面の柔らかさと敏感さは、コミュニケーションの相手となる人間への安全性という面において重要である。さらに、スキンシップという言葉の通り、体の表面は最初に触れるインタフェースであることから、コミュニケーションの相手がどのようにどの場所に触れているかを知ることは、相手の状態を知ることに繋がる。たとえば強く握ったり、やさしくなでたりするという触行動は自分の意思や気持ちを相手に伝えるための行動であり、根本的なコミュニケーション行動の1つである。したがって、ロボットの全身の柔らかさと触覚は、日常環境の中で活動するコミュニケーションロボットにとって非常に重要である。
そこで、本件出願人は、たとえば特許文献1において、柔らかい皮膚を持ち、触覚情報を出力するピエゾセンサ(触覚センサまたは皮膚センサ)を全身に配置したコミュニケーションロボットを提案している。この特許文献1のコミュニケーションロボットでは、触覚センサの出力情報から圧力の強弱、持続時間、または変化の周波数などに着目することで、コミュニケーション相手である人間の触り方を区別することができることがわかっている。
また、人間の触行動には、人によって触る場所や触り方に違いがあるなど、個人的な特徴がある。たとえば、ペット(ぬいぐるみ)型ロボットを用いてペットに対する典型的な5種類の触行動の識別を行っている非特許文献1では、触り方の個人差が大きいことから、個人識別への適用の可能性があることが指摘され、今後の課題とされている。
コミュニケーションにおいて、相手が誰であるかを把握していることは重要である。本件出願人による特許文献2のコミュニケーションロボットでは、人間に無線タグや赤外線タグ等のようなIDタグを装着させて、その識別情報を無線タグリーダや赤外線センサ等で検出することによって、相手を特定するようにしていた。
特開2004−283975号公報 特開2004−216513号公報 納谷太,篠沢一彦,大和淳司,小暮潔、"ペット型ロボットのための全身触覚インタフェースによる人の触行動識別"、電子情報通信学会パターン認識・メディア理解研究会(PRMU)、2002年11月
しかしながら、IDタグが装着された場合、人間は構えてしまうので、自然なコミュニケーションが期待できないという問題がある。なお、撮影した正面顔画像に基づいて個人識別する技術もあったが、処理が膨大で負担が大きいなどの問題があった。
それゆえに、この発明の主たる目的は、より自然なコミュニケーションを実現できる、コミュニケーションロボットを提供することである。
請求項1の発明は、複数の触覚センサ、複数のコミュニケーションの相手ごとに、複数の触覚センサの出力のパターンと、触行動をしている当該相手の少なくとも位置または姿勢に関する情報とを対応付けたマップを記憶するマップ記憶手段、複数の触覚センサの出力データを取得する取得手段、取得手段によって出力データが取得されるときの相手の位置または姿勢を検出する検出手段、およびマップを用いて、取得手段によって取得された複数の触覚センサの出力データと検出手段によって検出された位置または姿勢とに基づいて、相手を特定する相手認識手段を備える、コミュニケーションロボットである。
請求項1の発明では、コミュニケーションロボットには、たとえば全身に分布して、複数の触覚センサが設けられる。マップ記憶手段には、複数のコミュニケーションの相手ごとに、複数の触覚センサの出力のパターンと、触行動をしている当該相手の少なくとも位置または姿勢に関する情報とを対応付けたマップが記憶されている。たとえば、複数の触覚センサの出力パターンは複数のクラスタとして記憶され、複数のクラスタのそれぞれに対応付けられて、相手の位置または姿勢に関する情報が記憶される。たとえば、相手の位置または姿勢に関する情報はコミュニケーションロボットのたとえば重心などの位置を基準とした少なくとも相手の指先および腰の位置に関する確率分布として記憶される。指先の位置とたとえば腰の位置から姿勢が把握され得る。どのような位置でどのように触っているかには個人差がある。つまり、触行動には個人的な特徴があるので、コミュニケーションロボットはこのマップを用いて触覚に基づいて個人認識を行う。コミュニケーションロボットに対して相手が触行動を行ったとき、取得手段は、複数の触覚センサの出力データを取得する。また、検出手段は、触覚センサの出力データが取得されるときの相手の位置または姿勢を検出する。検出手段は、実施例では、ロボットのたとえば頭部に設けられた眼カメラを含み、当該カメラで撮影された画像データに基づいて相手の位置または姿勢を検出する。そして、相手認識手段は、マップを用いて、取得された複数の触覚センサの出力データと、検出された位置または姿勢とに基づいて、当該相手を特定する。たとえば、相手候補のマップから判別木を作成して、触覚センサ出力や検出された位置または姿勢が、分類条件を満足するか否かに応じて、相手候補を絞り込んでいくようにしてよい。また、たとえば、あるマップを選択して、触行動がなされているときの触覚センサ出力と検出された位置または姿勢とが選択マップに適合するか否かを確認していくことによって、相手を特定するようにしてもよい。したがって、触覚センサの出力パターンと相手の位置または姿勢とを対応付けた複数の相手ごとのマップを用いることで、相手にIDタグを装着させなくても個人認識を行うことができるので、より自然なコミュニケーションを実現できる。
請求項2の発明は、請求項1の発明に従属し、相手認識手段は、マップから作成した複数の相手を判別対象とした判別木に基づいて、相手を特定する。
請求項2の発明では、相手認識手段は、マップから作成した判別木に基づいて個人認識を行う。取得した触覚センサの出力データや検出された位置または姿勢が判別木の分類条件を満足するか否かを判定していくことで、相手候補を絞り込んでいくことができ、触行動をしている相手が誰であるかを特定することができる。
請求項3の発明は、請求項1または2の発明に従属し、相手認識手段によって特定された当該相手に合わせた行動を実行する実行手段をさらに備える。
請求項3の発明では、実行手段は認識相手に合わせた行動を実行する。したがって、IDタグを装着させなくてもたとえば相手の名前を呼びかけるといった行動が可能になるので、個人的なコミュニケーションをより自然に実現することができる。
請求項4の発明は、請求項1ないし3のいずれかの発明に従属し、ロボット本体上に被せられる柔軟素材からなる皮膚をさらに備え、複数の触覚センサは皮膚中に分散配置される複数のピエゾセンサシートを含む。
請求項4の発明では、たとえば筐体などを含むロボット本体上には柔軟素材からなる皮膚が被せられ、この皮膚中に、複数の触覚センサとして複数のピエゾセンサシートが分散配置される。したがって、たとえば全身分布型皮膚センサを有するコミュニケーションロボットを実現することができ、また、柔らかい皮膚を介して触行動が行われるので、相手に対して安心感を与えて親和性と安全性を向上できるとともに、より自然で円滑な触覚コミュニケーションを実現できる。
この発明によれば、触覚センサの出力パターンとコミュニケーションの相手の位置または姿勢とを対応付けた複数の相手ごとのマップを備えるようにしたので、この複数の相手のマップを用いて、取得した触覚センサ出力データと検出されたコミュニケーション相手の位置または姿勢とに基づいて、当該相手を同定することができる。したがって、相手にIDタグを装着させなくても個人認識を行うことができるので、より自然なコミュニケーションを実現できる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のコミュニケーションロボット(以下、単に「ロボット」ということがある。)10は台車12を含み、この台車12の側面には、このロボット10を自律移動させる車輪14が設けられる。この車輪14は、車輪モータ(図4において参照番号「16」で示す。)によって駆動され、台車12すなわちロボット10を前後左右任意の方向に動かすことができる。なお、図示しないが、この台車12の前面には、衝突センサが取り付けられ、この衝突センサは、台車12への人間や他の障害物の接触を検知する。
台車12の上には、多角形柱状のセンサ取付パネル18が設けられ、このセンサ取付パネル18の各面には、超音波距離センサ20が取り付けられる。この実施例ではたとえば24個の超音波距離センサ20が周囲360度にわたるように設けられる。この超音波距離センサ20は、センサ取付パネル18すなわちロボット10の周囲の主として人間との距離を計測するものである。具体的には、超音波距離センサ20は超音波を発射し、その超音波が人から反射されて超音波距離センサ20に入射されたタイミングを測定して、人との間の距離情報を出力する。
台車12の上には、人体状部22が直立するように取り付けられる。このロボット本体としての人体状部22の全身は、後に詳しく説明するように、柔軟素材からなる皮膚24によって覆われる。人体状部22は、たとえば鉄板のような筐体(図示せず)を含み、その筐体にコンピュータやその他必要なコンポーネントを収容している。そして、皮膚24は、その筐体上に被せられる。皮膚24の下の筐体の上部ほぼ中央にはマイク26が設けられる。このマイク26は、周囲の音声、特に人間の声を収集するためものである。
人体状部22は、右腕28Rおよび左腕28Lを含み、右腕28Rおよび左腕28Lすなわち上腕30Rおよび30Lは、それぞれ、肩関節32Rおよび32Lによって、胴体部分に変位自在に取り付けられる。この肩関節32Rおよび32Lは、3軸の自由度を有する。上腕30Rおよび30Lには、1軸の肘関節34Rおよび34Lによって、前腕36Rおよび36Lが取り付けられ、この前腕36Rおよび36Lには、手38Rおよび38Lが取り付けられる。これら右腕28Rおよび左腕28Lの各関節における各軸はここでは図示しないモータによってそれぞれ制御される。すなわち、右腕28Rおよび左腕28Lのそれぞれ4個のモータが、図4において、それぞれ右腕モータ40および左腕モータ42として表される。
人体状部18の上部には首関節44を介して頭部46が、人間の頭と同様に俯仰・回転可能に取付けられる。この3軸の首関節44は、図4に示す頭部モータ48によって制御される。頭部46の前面の「目」に相当する位置には2つの眼カメラ50が設けられ、この眼カメラ50は、ロボット10に接近した人間の顔や他の部分を撮影してその映像信号を取り込む。頭部46の前面の目カメラ50の下方にはスピーカ52が設けられる。このスピーカ52は、ロボット10がそれの周囲の人間に対して音声によってコミュニケーションを図るために用いられる。
上で説明した人体状部22の胴体や頭部46および腕は上記したようにすべて柔軟な素材からなる皮膚24に覆われる。この皮膚24は、図2に示すように、下層のウレタンフォーム54と、その上に積層される比較的肉厚のシリコンゴム層56aおよび比較的肉薄のシリコンゴム層56bとを含む。そして、2つのシリコンゴム層56aおよび56bの間に、ピエゾセンサシート(皮膚センサ)58が埋め込まれる。このピエゾセンサシート58は、たとえば米国MSI社製、株式会社東京センサ販売のピエゾフィルムを用いる(http://www.t-sensor.co.jp/PIEZO/TOP/index.html)。実施例のロボットに使用したのはA4サイズ(型番:200×140×28)のピエゾフィルムを1/2、1/3、1/4、1/6の大きさにはさみでカットしたピエゾセンサシートである。このピエゾフィルムは、圧電フィルム(たとえばPVDF(ポリビニリデンフルオロイド))の両面に金属薄膜が形成された構造、つまり、圧電体が導体で挟まれた構造を有する。圧力等で変形すると両面金属薄膜間にピエゾ電気を発生し、すなわち、電荷があらわれて電位差が生じる。
実施例では、上述のように、発泡ウレタンとシリコンゴムとを使って皮膚24の柔らかさを得た。シリコンゴムだけである程度の厚みと柔らかさとを得ようとすると、重くなりすぎてエネルギ消費量が大きくなるだけでなく、裂傷に弱くなる。そこで、発明者等は、実験を重ねた結果、大まかな形と厚みはウレタンフォームで作り、その表面を約20mmのシリコンゴムで覆う形を採用することとした。そして、シリコンゴム層を2つにし、それらのシリコンゴム層56aおよび56bの間に、上述のピエゾセンサシート58を埋め込んだ。このとき、内側のシリコンゴム層56aを厚く(約15mm)し、表面側のシリコンゴム層56bを薄く(約5mm)した。このようにすると、ロボット10の振動や人間が表面を押したときに生じる高周波の振動をカットでき、なおかつフィルムが変形し易くなるので、圧力の計測が容易になる。つまり、シリコンゴム層の厚みはロボット10の構造やパワーによるが、なるべく薄く、しかし変形が伝わり易く、雑音となる振動が伝わり難いものが必要となる。また、この柔らかい皮膚を介して、人との間で触行動によるコミュニケーションを行うことができるので、人に対して安心感を与えて親和性を高めることができるし、触れたりぶつかったりした場合の人の怪我を防止して安全性も高めることができる。
なお、皮膚24の素材は軟性素材であればよく、上述のものに限定されずたとえば他のゴム素材等でもよい。ただし、ピエゾフィルムシートの表面金属薄膜が腐食しない材質である必要がある。また、皮膚24の厚み(各層の厚み)は、素材によって適宜変更され得る。
上述のピエゾセンサシートすなわち皮膚センサ(触覚センサ)58は人体状部22の全身にわたって埋め込まれ、それによって、人間等が接触することによって皮膚24に加えられた圧力を圧覚(触覚)情報として検知する。この実施例では、図3に示すように、ロボット10の全身にわたって48枚のピエゾセンサシート501−548を埋め込んだ。つまり、ロボット10は全身分布型皮膚センサを有するといえる。埋め込み状況(場所)に関しては、人間に触られやすい部位、たとえば頭頂や肩それに腕(手を含む)には、圧力を正確かつ確実に検知できるように、隙間なくピエゾセンサシートを埋め込み、あまり触られることを想定していない部位たとえば足あるいは脇腹には許容できる隙間を持ってピエゾセンサシートを埋め込んだ。それによって、検出精度と製造コストとのトレードオフを解決した。なお、これら48枚のピエゾセンサシート501−548は、場合によっては、参照番号58で区別なしに示されることがあることに留意されたい。
図1に示すロボット10の電気的構成が図4のブロック図に示される。図4に示すように、このロボット10は、全体の制御のためにマイクロコンピュータまたはCPU60を含み、このCPU60には、バス62を通して、メモリ64,モータ制御ボード66,センサ入力/出力ボード68およびサウンド入力/出力ボード70が接続される。
メモリ64は、図示しないが、ROMやHDD、RAMを含む。ROMやHDDにはこのロボット10の制御プログラムが予め書き込まれている。制御プログラムはたとえばコミュニケーション行動を実行するためのプログラム、外部のコンピュータと通信するためのプログラム等を含む。メモリ64にはまた、コミュニケーション行動を実行するためのデータが記憶され、そのデータは、たとえば、個々の行動を実行する際に、スピーカ52から発生すべき音声または声の音声データ(音声合成データ)、および所定の身振りを提示するための各関節軸の角度制御データ等を含む。RAMは、一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用される。
モータ制御ボード66は、たとえばDSP(Digital Signal Processor) で構成され、各腕や頭部などの各軸モータを制御する。すなわち、モータ制御ボード66は、CPU60からの制御データを受け、右肩関節32Rの3軸のそれぞれの角度を制御する3つのモータと右肘関節34Rの1軸の角度を制御する1つのモータとの計4つのモータ(図4ではまとめて、「右腕モータ」として示す。)40の回転角度を調節する。また、モータ制御ボード66は、左肩関節32Lの3軸と左肘関節34Lの1軸、計4つのモータ(図4ではまとめて、「左腕モータ」として示す。)42の回転角度を調節する。モータ制御ボード66は、また、頭部46の3軸のモータ(図4ではまとめて、「頭部モータ」として示す。)48の回転角度を調節する。そして、モータ制御ボード66は、車輪14を駆動する2つのモータ(図4ではまとめて、「車輪モータ」として示す。)16を制御する。
なお、この実施例の上述のモータは、車輪モータ16を除いて、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、車輪モータ16と同様に、直流モータであってよい。
センサ入力/出力ボード68も、同様に、DSPで構成され、各センサやカメラからの信号を取り込んでCPU60に与える。すなわち、図示しない衝突センサの各々からの接触に関するデータがこのセンサ入力/出力ボード68を通して、CPU60に入力される。また、眼カメラ50からの映像信号が、必要に応じてこのセンサ入力/出力ボード68で所定の処理が施された後、CPU60に入力される。
このセンサ入力/出力ボード68は、さらに、図5に示すように、複数(実施例では12枚)の基板72,72…を含み、各基板72には、それぞれ1つのPICマイコン74が設けられる。PICマイコン74はたとえばASICで構成され、同じく基板72に設けられたA/D変換器76からの電圧データ(たとえば10ビット)をビット直列信号として出力する。
皮膚センサ58は、図5に示すようにピエゾフィルム78を電極ないし導体80aおよび80bで挟んだものであり、圧力が加えられるとそのピエゾフィルム78が電圧を発生し、その電圧が2つの導体80aおよび80b間に現れる。ただし、このとき発生される電圧は電位は高いが電流が微弱なため、この発生電圧をそのまま長いケーブルでコンピュータ60(図4)に取り込むことは、ノイズが多く乗ってしまうので難しい。そこで、この実施例では、図5に示す基板72を皮膚センサ58に近い位置に配置し、その中に高インピーダンスの読み取り装置、すなわちA/D変換器76を配置し、このA/D変換器76で変換した電圧値をPICマイコン74で読み取ってシリアル信号として出力し、それをCPU60へ送るようにした。なお、ピエゾフィルムシートの電極の配置の一例として、導体80aは皮膚24の表面側に配置され、導体80bは筐体側に配置される。
A/D変換器76は、実施例では4チャネル10ビットのものを用いた。したがって、1つの基板72が4つの皮膚センサ58を受け持つことができる。基板72には、4つのピエゾセンサシートのために4対の端子82aおよび82bが設けられ、それぞれに電極80aおよび80bが接続される。端子82aおよび82b間にはノイズ除去用コンデンサ84が接続されている。したがって、端子82aおよび82b間に与えられた皮膚センサ58からの電圧は、ノイズ除去された後、オペアンプ86によって電流増幅され、上述のA/D変換器76の1つのチャネルに入力される。図5では1つの皮膚センサ58が示されるだけであるが、他の皮膚センサ58およびそれに関連する回路も同様に構成されるものである。
上述のように人体状部22の皮膚24中には48個のピエゾセンサシート501−548が全身にわたって埋め込まれているが、それらをすべてロボット制御用のCPUないしコンピュータ60で読み取ろうとすると、ノイズを拾い易いだけでなく、コンピュータのA/Dポートを非常に多く必要としてしまい、現実的ではない。そこで、上述のように読み取り装置(基板72、A/D変換器76)を皮膚センサ58の近傍に分散配置し、それぞれの出力を1本のシリアルケーブル、たとえばRS232C(商品名)で繋いだ、いわゆるデイジーチェーンを形成した。したがって、図5に示す1つの基板72のPICマイコン74から出力されたビットシリアル信号は、次段の基板72のPICマイコン74のシリアル入力ポートに与えられる。当該次段のPICマイコン74は、前段のPICマイコン74から送られてきたデータに自分が担当するA/D変換器76から読み込んだデータを加えて、ビット直列信号として出力する。したがって、コンピュータ60は、1つのシリアルポートで全身の皮膚センサ58からの検知情報を取り込めるようになっている。
なお、各PICマイコン74から出力される検知データは、図3に示す48個のピエゾセンサシート501−548のいずれであるかを示す識別子と、圧力値に関する情報とを含むので、コンピュータ60は、どの(部位の)ピエゾセンサシートがどの程度の圧力を受けているかを容易に特定できる。
ただし、この実施例では、左右の手先に設けられるそれぞれ5つのピエゾセンサシート535−539と544−548については、A/D変換器76の入力が4つであることから、便宜上、先端の1個(右手:539、左手:548)と外側の1個(右手:536、左手:545)の出力を並列にしている。したがって、この実施例では、左右の手先の皮膚センサ58は実質的にそれぞれ4個となるので、皮膚センサ58の出力データは46次元データとなる。
出力を読み取る場合、具体的には、コンピュータ60は、たとえば50msecの周期で、ビットシリアルデータを出力する最終段のPICマイコン74にポーリングをかけ、50msec周期ですべてのピエゾセンサシート501−548の検知データを読み取ることができる。検知データは、A/D変換器76(図5)からはたとえば正負32段階、合計64段階で出力される。つまり、10ビットのうち下位4ビットはノイズ成分として捨て、上位6ビットのデータだけが各PICマイコン74(図5)から出力される。
そして、コンピュータ60は、皮膚センサ58で検知した64段階のデータを用いて、たとえば触られ方の強弱、押された状態の持続時間または電圧変化の波形の周波数(圧力変化の周波数)などの接触状態を計測することができる。触られ方の強弱によってたとえば「ひどく叩かれたか」、「軽く叩かれたか」、「やさしく手を置かれたか」、「軽く触られたか」などを判断することができ、持続時間によってたとえば「叩かれたか」、「押されたか」などの継続状態を判断することができ、圧力変化の周波数によってたとえば「叩かれているのか」、「なでられているのか」、「くすぐられているのか」という触られ方の種類を判断することができる。そして、ロボット10は、触り方(接触状態)に応じて動作を制御することができる。このような動作制御は、本件出願人による特許文献1(特開2004−283975号)にも詳細に開示されるので参照されたい。
図4に戻って、スピーカ52にはサウンド入力/出力ボード70を介して、CPU60から、合成音声データが与えられ、それに応じて、スピーカ52からはそのデータに従った音声または声が出力される。また、マイク26からの音声入力が、サウンド入力/出力ボード70を介して、CPU60に取り込まれる。
また、CPU60には、バス62を介して通信LANボード88および無線通信装置90が接続される。通信LANボード88は、DSPで構成され、CPU60から送られる送信データを無線通信装置90に与え、無線通信装置90から送信データを、図示は省略するが、たとえば無線LANまたはインタネットのようなネットワークを介して外部のコンピュータに送信させる。また、通信LANボード88は、無線通信装置90を介してデータを受信し、受信したデータをCPU60に与える。つまり、この通信LANボード88および無線通信装置90によって、ロボット10は外部のコンピュータ等と無線通信を行うことができる。
さらに、CPU60は、バス62を介してマップデータベース(DB)92に接続される。ただし、このデータベースは、外部のコンピュータまたは外部のネットワーク上にアクセス可能に設けるようにしてもよい。
マップDB92には、コミュニケーションの相手ごとの、触覚センサすなわち皮膚センサ58の出力と、触覚コミュニケーション時における当該相手の位置・姿勢とを対応付けたマップが記憶される。各マップはたとえば相手IDに関連付けて記憶されている。
たとえば、ロボット10は、コミュニケーション時に皮膚センサ58の出力データを計測してこのマップデータを用いることで、触行動をしている相手がどのような位置に居てどのような姿勢であるかを把握することができる。人間は日常のインタラクションやスキンシップコミュニケーションにおいて皮膚感覚を通して様々な情報を得ており、たとえば後ろから抱き付かれてもどのような抱き付き方をされたのか把握することができる。このロボット10は、このマップデータによって、人間と同じように、目で見なくても触覚によって相手がどういった触行動をとっているのかを認識することが可能である。
ここで、マップDB92に格納される触覚センサ出力と相手の位置・姿勢との対応付けマップの作成方法について説明する。コミュニケーションを目的とした触行動としては握手や抱擁などが挙げられるが、代表的な行動は誰が見てもその行動の意味が伝わることから、定型的な行動が多いと考えられる。そこで、ロボット10の皮膚センサ58と3次元動作計測システムとを組み合わせることで、ロボット10と人間とのコミュニケーション時の皮膚センサ58の出力と、3次元動作計測システムで計測した人間の位置・姿勢とのマッピングを行う。
また、人間の触行動には、人によって触る場所や触り方に違いがあるなど、個人差があるので、後にこのロボット10とコミュニケーションを取ることになる複数の登録相手のそれぞれについて計測を行い、登録相手ごとのマップを作成する。
たとえば、図6に示すようなマップ作成システム94が用いられる。このマップ作成システム94はマップ作成用コンピュータ96を含み、マップ作成用コンピュータ96には複数のカメラ98が接続される。また、マップ作成用コンピュータ96には、その内部または外部に3次元動作計測データDB102、皮膚センサデータDB104およびマップDB92が設けられる。
マップ作成システム94はモーションキャプチャシステムとしての機能を備えるものであり、この実施例ではたとえばVICON社(http://www.vicon.com/)の光学式のモーションキャプチャシステムが適用される。なお、モーションキャプチャシステムは光学式のものに限られず、種々の公知のものが適用され得る。
ロボット10と人間100には、たとえば赤外線反射マーカが複数取り付けられ、カメラ98は赤外線ストロボ付きカメラが適用される。複数のカメラ98はロボット10および人間100に対して互いに異なる方向となるように設置され、原理的には少なくとも3台設けられればよい。この実施例では、たとえば12台のカメラ98が環境に設置された。
赤外線反射マーカは、図7に示すように、ロボット10および人間100共に、頭部に4箇所、腕部に6箇所×2(左右)、人差し指の指先に1箇所×2(左右)、胴体前部に2箇所、胴体後部に3箇所の合計23箇所に取り付けられる。コミュニケーション時の相手の位置をロボット10を基準とした座標系で得たいので、ロボット10の原点と向きを決めるためにロボット10にもマーカが取り付けられる。ロボット10の原点は任意に設定されてよいがたとえば中心(重心)位置に設定される。座標軸方向も任意であるがたとえば両肩方向がY軸、奥行き方向がX軸、上下方向がZ軸に設定される。
この実施例では、人間100がどこを触っているか、どういった姿勢であるかを把握するために、指先と腰部(胴体後部)の合計3箇所のマーカをマップ作成に使用した。指先の位置によって、人間100がどこを触っているのかが把握される。また、上半身のいずれかの位置と指先との相対位置関係から姿勢が決まる。そのうち腰の位置は、カメラ98から見えなくなり難いこと、腰から足が出ているため相手が立っているかしゃがんでいるかなどが分かること等によって、姿勢が分かり易いという利点があるので、この実施例では腰の位置を対応付けに採用した。したがって、指先の位置と腰の位置から姿勢が把握される。なお、その他頭や肩などの位置も対応付けマップに使用すれば、さらに詳しく相手100の位置や姿勢を把握することが可能になる。
また、データに個人情報(識別情報)を付加ないしラベリングするために、たとえば、計測時には相手100にはIDタグ110を装着してもらう。IDタグ110はたとえば赤外線タグであってよく、赤外線の点滅によってタグ固有識別情報(相手ID)を送信する。マップ作成用コンピュータ96は、取得した赤外線画像から赤外線タグ110を検出し、検出した赤外線タグ18の点滅状態から相手IDを検出する。なお、この赤外線タグ110を検知するための赤外線センサは、カメラ98とは別に、ロボット10などに設けられてもよい。
また、IDタグ110は無線タグであってもよい。この場合には、たとえばロボット10に無線タグ読取装置を搭載し、無線タグ110の発信する電波に重畳された相手IDを検出する。検出した相手IDは、ロボット10のCPU60が無線通信装置90を介してマップ作成用コンピュータ96に送信する。
そして、データ収集のために、カメラ98の環境中でロボット10と相手100との間でコミュニケーションをとる実験を、複数の相手100のそれぞれに個別に行ってもらう。具体的には握手や抱擁といった触行動を伴うコミュニケーションを行わせる。ロボット10の動作はそのメモリ64に登録されている制御プログラムおよびデータによって実行される。
図8に、このマップ作成システム94におけるマップ作成の動作が示される。まず、ステップS1で、マップ作成用コンピュータ96は、実験によりコミュニケーション時のデータを、当該相手100の相手IDに関連付けて蓄積する。取得されるデータは、皮膚センサ58の出力データと、3次元動作計測による相手100の指先および腰の位置データである。具体的には、コミュニケーション時の3次元動作データはたとえば60Hz(1秒間に60フレーム)で計測し、皮膚センサデータは20Hz(1秒間に20フレーム)で計測する。皮膚センサデータと位置データとの同期をとるために、実験の開始時に人間100によってロボット10の頭頂部などを叩いてもらい、そのときのデータを計測して両データの時間軸を合わせるようにする。
コミュニケーション時の動作は複数のカメラ98によって撮像され、マップ作成用コンピュータ96はそれぞれのカメラ98からの時系列画像データを取得する。取得したフレームごとの画像データの画像処理によって、各画像データにおける各マーカ(指先と腰を含む)の2次元座標データが抽出される。そして、その2次元座標データから各マーカの時系列の3次元座標データが三角測量の原理によって算出される。指先のマーカの座標は、ロボット10の胴体に原点を固定した直交座標系である胴体座標系と、ロボット10の頭部に原点を固定した直交座標系である頭部座標系の2種類で表現される。腰のマーカの座標は胴体座標系で表現される。こうして算出された各マーカの時系列の3次元座標データが3次元動作計側データDB102に格納される。動作計測データをフレームごとに見た場合には、フレームごとの指先と腰の3次元位置がわかるので、相手100がどういった姿勢であるか把握できる。また、動作計測データを時系列で見た場合には、指先と腰の位置の変化がわかるので、相手100がどのような触行動を行っているのか把握できる。
また、IDタグ110が赤外線タグの場合には、マップ作成用コンピュータ96は、上述のように、カメラ98で取得した画像データから赤外線タグ110を抽出し、当該赤外線タグの点滅状態から相手IDを検出する。
また、皮膚センサ58の時系列の出力データはロボット10からたとえば無線LANを介してマップ作成コンピュータ96に逐次または実験完了後にまとめて取り込まれ、皮膚センサデータDB104に格納される。皮膚センサデータは、上述のように48個の皮膚センサ501−548からの出力を含む46次元データであり、各要素が0〜32(−31〜32の絶対値)の値を有する。
また、IDタグ110が無線タグの場合には、相手IDは、上述のようにロボット10に設けられた無線タグ読取装置で検出されて、ロボット10からマップ作成用コンピュータ96に取り込まれる。
続いて、ステップS3で、皮膚センサ出力が閾値以上のフレームを選別する。閾値は48個の皮膚センサ501−548ごとに実験的に求められて予め設定されている。48個の皮膚センサ501−548のうちどれか1つでもその閾値を超えているものがあるかどうかを判断し、閾値を超えているものがある場合にはそのフレームをマップ作成のために採用する。
そして、ステップS5では、選別したフレームのデータを用いて、皮膚センサデータを元にISODATA法によってクラスタリングする。つまり、46次元の皮膚センサデータ空間において、パターンの分布が密になっている部分(クラスタ)を見つけ、または各パターンの中でよく似ているものどうしをまとめる。たとえば、まず、選別した各フレームにつき、閾値を超えたセンサを「1」、そうでないセンサを「0」とした46次元ベクトルを作る。これらのベクトルのうち、同じパターンを持つフレームの数が5に満たないものはノイズとして切り捨てられる。残ったパターンの各要素について、値が「1」のときはそのセンサの閾値の1.5倍の値を使い、値が「0」のときはそのセンサの閾値の0.5倍の値を使ったベクトルを生成し、ISODATAの初期クラスタ核とした。ISODATA法はクラスタリングの一手法であり、前段において生成したクラスタを一定基準に従って分割したり併合したりして最終的なクラスタを導く(参考文献:鳥脇純一郎、テレビジョン学会教科書シリーズ9「認識工学―パターン認識とその応用―」、コロナ社、1993)。導き出されたクラスタは、コミュニケーション時の代表的な触られ方を表している。
続いて、ステップS7で、指先データの処理を実行する。この指先データの処理は図9に詳細に示される。図9の最初のステップS21では、各クラスタにおける皮膚センサデータと対になった指先の座標(頭部・胴体座標系)について、各座標系での空間密度分布を求める。つまり、各クラスタにおける皮膚センサデータに対応する計測時刻ないしフレームの指先座標データについて処理する。たとえば座標系内を50×50×50[mm]のボクセルで分割し、各ボクセルに指先の座標が何個入っているかを数える。最後にクラスタ内の要素数でボクセル内要素数を割ることで密度を求める。
次に、ステップS23では、密度分布の最大値を座標系間で比較し、大きい方の座標系を採用する。つまり、頭と胴体のどちらが触られているのかを判別する。たとえばコミュニケーション時にはロボット10は首の関節を動作させ、頷く、傾げるなどの身体表現を行うが、その際に人間100の指先がロボット10の頭部に触れる場合、指先の位置は頭部の動きに合わせて変化する。その指先の位置は頭部座標系で表せば変化しないが、胴体座標系で表すと、ロボット10の同じ場所を触っているにもかかわらず変化してしまう。したがって、指先の座標が座標系内の広い範囲に拡がっている場合にはその座標系は不適切であり、指先の座標が座標系内のある範囲にかたまっている場合にはその座標系は適切である。密度分布の最大値について、頭部座標系の方が大きい場合には頭が触られており、胴体座標系の方が大きい場合には胴体が触られていることがわかる。
そして、ステップS25で、採用した座標系での密度ピーク値が閾値を超えたクラスタを有効なクラスタとして、当該相手100のマップに取り入れる。密度ピーク値は上記ボクセルの26近傍をまとめた際の密度であり、密度の26近傍和である。ピーク値の閾値は実験的に求められ、たとえば0.6に設定される。この閾値での選別によって、位置ないし姿勢が安定していて推定可能なものをクラスタとして採用する。たとえば片手でコミュニケーションをしているときに他方の手がぶらぶらしているものなどは姿勢が推定できないので切り捨てられる。このステップS25によって、有効なクラスタにおける皮膚センサ出力データと対になった指先の座標の確率分布を該有効なクラスタに対応付けてマップとして記憶する。マップは相手IDに関連付けられて記憶される。ステップS25を終了すると図8のステップS9へ戻る。
図8に戻って、ステップS9では、腰データの処理を実行する。この腰データの処理は図10に詳細に示される。図10の最初のステップS31では、各クラスタにおける皮膚センサデータと対になった腰の座標(胴体座標系)について、空間密度分布を求める。上述の指先データ処理と同様に、各クラスタにおける皮膚センサデータに対応するフレームの腰座標データについて、各ボクセル内に腰の座標が何個入っているかを数えてから、クラスタ内の要素数でボクセル内要素数を割る。そして、ステップS33で、密度ピーク値が閾値を超えたクラスタを有効なクラスタとして、当該相手100のマップに取り入れる。このステップS33によって、有効なクラスタにおける皮膚センサ出力データと対になった腰の座標の確率分布を該有効なクラスタに対応付けてマップとして記憶する。ステップS33を終了すると腰データ処理を終了し、マップ作成処理を終了する。
なお、指先と腰以外のたとえば肩や頭などの部位のマーカ位置をマップ作成に採用する場合には、同様にして各位置のデータの処理を実行すればよい。
このようにして、皮膚センサ出力のパターン(クラスタ)と相手の位置・姿勢とを対応付けた、複数の相手100ごとのマップデータが作成され、図6のマップDB92に相手IDに関連付けて格納される。相手100ごとのマップの概要は図11に示される。たとえば、クラスタ代表値が46次元の皮膚センサベクトルAであるクラスタと、コミュニケーション相手100の指先および/または腰の3次元位置に関する確率分布Aとが対応付けられている。つまり、ロボット10が皮膚センサベクトルAの触り方をされているとき、確率分布Aがその触り方に対応した、当該相手100の代表的な指先位置と姿勢(腰の位置)を表している。なお、クラスタ代表値は中心値であり、分散がそのクラスタの広がりを示す。
図12にはクラスタ代表値の一例が示される。つまり、46次元の皮膚センサベクトルであり、1つの触り方を表している。この図12のクラスタに対応する相手100の指先位置106と腰の位置108の3次元位置(分布の平均)の一例が図13に示される。この図13では同じ位置分布を異なる2つの視点で表示している。相手100の指先がロボット10の両肩に触れており、腰はロボット10の正面上方にあることが把握できる。つまり、この場合の相手100はロボット10の前に立っていて、その両手がロボット10の両肩に触っていることがわかる。
このようにして作成された、皮膚センサ出力パターンと触行動をしている相手100の位置および姿勢とを対応付けた、複数の相手100ごとのマップが格納されたマップDB92を、図4に示すように、ロボット10は備えている。
なお、マップデータは触覚センサ出力パターンと相手の位置および姿勢との対応付けマップであると表現しているが、この実施例では、相手の指先の位置とたとえば腰の位置との関係を姿勢として捉えるようにしているので、マップデータは、触覚センサ出力パターンと相手の位置との対応付けマップであり、または触覚センサ出力パターンと相手の姿勢との対応付けマップでもある。マップデータとしては、触覚センサ出力パターンと相手の位置または姿勢のいずれかとを対応付けたデータが記憶されればよい。
さらに、図4に示すように、CPU60は、バス62を介して相手DB112に接続される。ただし、このデータベースは、外部のコンピュータまたは外部のネットワーク上にアクセス可能に設けるようにしてもよい。
相手DB112には、図14に示すように、相手IDに関連付けて、複数の登録相手に関する情報が記憶されている。相手に関する情報としては、たとえば、名前、身長、性別等が記憶される。CPU60は、この相手の名前のテキストデータとメモリ64の音声合成データに基づいて、当該相手の名前の音声をスピーカ52から出力することができる。また、たとえば、CPU60は、この身長データを参照することによって、マップを用いて当該相手の位置や姿勢をより正確に把握することが可能になる。
上述のように、人間100の触り方には個人的な特徴があるので、相手100がどう触っているときにどこに位置しているかに基づいて、個人を同定することができる。つまり、このような相手100ごとの皮膚センサ出力と位置・姿勢対応付けマップを備えたロボット10は、その後、相手100がIDタグ110を装着していなくても、当該マップを用いて、触覚に基づいてコミュニケーション相手100を特定することが可能になる。
たとえば、マップから相手100を判別対象とした判別木(決定木)を作成して、個人認識を行う。ロボット10のメモリ64には、たとえばJ. Ross QuinlanによるC4.5またはC5.0等のような判別木自動生成アルゴリズムに基づく判別木作成プログラムが記憶されていて、このプログラムに従って判別木が作成される。クラス変数は相手IDであり、説明変数は、皮膚センサ出力ベクトル(クラスタ)と、相手100の位置・姿勢である。つまり、相手IDを分類対象とし、皮膚センサ出力ベクトルおよび相手の位置・姿勢を分類の条件とした判別木が作成される。したがって、皮膚センサ58の出力データから皮膚センサ出力ベクトルを取得し、触られているときのたとえば眼カメラ50の画像データから相手100の位置・姿勢を検出することによって、判別木に基づいて相手100を特定できる。
なお、全相手100のマップを作成した後に、マップ作成用コンピュータ96等の別のコンピュータで判別木を予め作成してメモリ64に記憶しておいてもよい。
ロボット10は、たとえば、静態でコミュニケーションの相手100から触られるのを待機していて、触られたときに当該相手100の認識を開始する。あるいは、ロボット10は、人間100の存在をたとえばカメラ画像に基づいて検知したときに、「触ってね」などと発話することによって当該相手100に触行動を促すようにしてもよい。
マップから判別木を作成して相手100を認識する場合のロボット10の動作の一例が図15に示される。この実施例では、たとえば判別の度に相手候補を絞り込んで新たに判別木を作成することによって、認識精度を上げるようにしている。
図15の最初のステップS41で、ロボット10のCPU60は、皮膚センサ58からの出力データが検出されたとき、皮膚センサ出力ベクトルを取得する。つまり、すべての皮膚センサ58で検知した圧力をセンサ入力/出力ボード68を介して圧力値データとして検出して、46次元の皮膚センサ出力ベクトルを生成して、メモリ64に記憶する。
次に、ステップS43で、マップDB92に記憶されている相手候補のマップ、および取得した皮膚センサ出力ベクトルに基づいて、相手候補の判別木を作成する。初期状態では、相手DB112に登録されている全相手IDが相手候補として設定されている。
続いて、ステップS45で、判別木の分類条件の位置に眼カメラ50を向けて画像データを取得する。たとえば、判別木で分類条件として設定された相手の位置・姿勢を示す位置座標を眼カメラ50で撮影可能になる頭部モータ48の角度制御データを生成し、モータ制御ボード66を介して頭部モータ48の回転角度を制御する。そして、センサ入力/出力ボード68を介して眼カメラ50からの画像データをメモリ64に取得する。
そして、ステップS47で、取得した画像データに基づいて、相手100の位置および姿勢の検出を試みる。ステップS45で眼カメラ50を向けた位置に相手100が存在している場合には、相手100の撮影された画像データを取得できるので、当該画像データと頭部モータ48の各軸の角度情報等を元に、相手100の位置および姿勢を推定する。一方、ステップS45で眼カメラ50を向けた位置に相手100が存在していない場合には、画像データには相手100が撮影されていないので、位置および姿勢は検出されない。
なお、処理を簡単にするために、取得した画像データからは相手100の位置または姿勢のいずれかを検出するようにしてもよい。あるいは、単に条件の位置に相手100が撮影されているか否かだけを検出するようにしてもよい。
ステップS49で、判別木に基づいて判定を行って相手候補を絞る。たとえば、ステップS41で取得された皮膚センサベクトルに対応するクラスタと、ステップS47で検出された相手100の位置および姿勢とが、判別木の分類条件を満たすか否かが判定され、その判定結果に基づいて相手候補が絞り込まれる。
ステップS51では、判別木に基づく判定結果の確度が閾値以上であったか否かを判定する。ステップS51で“NO”であれば、ステップS53で、ステップS49で絞り込まれた相手候補を1つ前に戻して、ステップS41に戻る。
一方、ステップS51で“YES”であれば、ステップS55で相手候補が1つに絞り込まれたか否かを判定する。ステップS55で“NO”であれば、ステップS41に戻り、残りの相手候補を判別対象として新たに作成された判別木に基づく相手100の判別が繰り返される。
ステップS55で“YES”であれば、つまり、相手100を認識できたときには、ステップS57で、当該認識された相手IDに対応する相手情報を相手DB112からメモリ64に取得する。
そして、ステップS59で、認識相手に合わせた行動を実行する。たとえば、相手の名前データに基づいて、認識された相手100の名前の音声を含んだ発話行動を実行して、「AAさん、こんにちは」といった音声をスピーカ52から出力する。このような個人的な行動を実行することによって、相手100にロボット10に対する親近感や安心感を与えることができ、より自然で円滑なコミュニケーションを実現することができる。
さらに、相手100を認識した後には、たとえば、ロボット10は、コミュニケーション時に皮膚センサデータを検出し、当該相手100のマップデータを使用することによって、相手100の位置や姿勢を把握することができる。したがって、たとえば、相手DB112に登録された相手情報の身長データ等も考慮することで、当該相手100の位置や姿勢をより正確に把握することが可能になる。そして、ロボット10は、把握した相手100の位置や姿勢に応じた行動を実行することができるので、危険回避が可能であり安全性を向上できる。
この実施例によれば、複数のコミュニケーション相手100ごとに、触覚センサ出力ベクトル(クラスタ)と当該相手の位置または姿勢とを対応付けたマップを予め準備するようにしたので、相手100にIDタグを装着させなくても、ロボット10は、触覚に基づいて当該触行動をしている相手100が誰であるかを認識することができる。したがって、相手100に平常心でロボット10に接してもらうことが可能になるので、より自然なコミュニケーションを実現できる。さらに、個人認識が可能であるので、当該認識相手100に合わせた、個人的なコミュニケーションをより自然に実現することができる。
なお、上述の実施例では、マップから判別木を作成して相手認識を行った。しかし、複数の相手候補のマップから1つのマップを選択し、当該選択されたマップが現在触行動をしている相手100のものであると判定されるまで1つ1つ確認していくことによって、相手100を認識するようにしてもよい。この手法は、たとえば登録相手数が比較的少数である場合に有用である。この手法で相手認識をする場合のロボット10の動作の一例が図16に示される。
図16の最初のステップS71で、ロボット10のCPU60は、マップDB92から1つのマップを選択してメモリ64に取得する。
次に、ステップS73で、図15のステップS41と同様にして、皮膚センサ58からの出力データが検出されたとき、皮膚センサ出力ベクトルを取得して、メモリ64に記憶する。
続いて、ステップS75で、取得した皮膚センサベクトルに最も近いクラスタをマップから選択する。たとえば、現在の皮膚センサ出力ベクトルと各クラスタとの距離は、マップの各クラスタ代表値および各クラスタ内要素の分散から算出される。
ステップS77では、当該選択されたクラスタに対応する位置および姿勢をマップから取得する。そして、図15のステップS45と同様にして、取得した位置に眼カメラ50を向けて画像データをメモリ64に取得する。続くステップS79で、図15のステップS47と同様にして、画像データから相手100の位置および/または姿勢を検出する。
そして、ステップS81で、マップに適合する位置および姿勢が検出されたか否かを判断する。ステップS81で“NO”であれば、ステップS83で、別のマップを選択して、マップDB92から当該マップをメモリ64に取得する。そして、ステップS73に戻って、当該別のマップに基づく識別を行う。
一方、ステップS81で“YES”であれば、ステップS85で、当該マップで確定してよいか否かを判断する。たとえば、ステップS81の判定における確度が閾値以上であるか否かを判断する。あるいは、検出された位置および姿勢がマップに適合するというステップS81の肯定的な判定が所定回数に達したか否かを判断する。ステップS85で“NO”であれば、ステップS73に戻って当該マップによる識別を繰り返す。
ステップS85で“YES”であれば、つまり、マップが正しいと判定される場合には、当該マップに対応する相手IDを認識相手IDとして取得し、当該相手IDに対応する相手情報を相手DB112からメモリ64に取得する。そして、ステップS89で、図15のステップS59と同様にして、認識相手にあわせた行動を実行する。
また、上述の各実施例では、認識された相手100に合わせた行動を実行するようにしているが、相手100を特定できた場合には、当該認識された相手IDに関連付けて、たとえば、ロボット10の実行している行動、各種センサの出力データ、検出時刻などをメモリ64や外部の記憶装置などに記憶することによって、相手100のコミュニケーションの履歴を記録するようにしてもよい。この場合には、相手100のより自然なコミュニケーションを記録することができる。
この発明の一実施例のコミュニケーションロボットを示す図解図である。 図1実施例のコミュニケーションロボットに用いる皮膚とその中に埋め込まれるピエゾセンサシートとを示す図解図である。 ピエゾセンサシートの配置位置を示す図解図である。 図1実施例のコミュニケーションロボットの電気的構成を示すブロック図である。 図1実施例のコミュニケーションロボットにおけるピエゾセンサシートから検知信号を入力するセンサ入力/出力ボードを部分的に示す図解図である。 図1実施例のコミュニケーションロボットに備えられるマップを作成するためのマップ作成システムの概要を示す図解図である。 マップ作成時の赤外線反射マーカの取付位置を示す図解図である。 図6のマップ作成用コンピュータの動作を示すフロー図である。 図8の指先データの処理の動作を示すフロー図である。 図8の腰データの処理の動作を示すフロー図である。 マップDBに記憶される相手ごとのマップデータの概要を示す図解図である。 クラスタ代表値の一例を示す図解図である。 図12のクラスタ代表値に対応する相手の指先と腰の位置の分布の概要を示す図解図である。 相手DBに記憶される相手情報の内容の一例を示す図解図である。 図1実施例のコミュニケーションロボットの相手認識処理における動作の一例を示すフロー図である。 他の実施例の相手認識処理における動作の一例を示すフロー図である。
符号の説明
10 …コミュニケーションロボット
22 …人体状部
24 …皮膚
50 …眼カメラ
58,501−548 …触覚センサ(ピエゾセンサシート)
60 …CPU
64 …メモリ
66 …モータ制御ボード
68 …センサ入力/出力ボード
70 …サウンド入力/出力ボード
92 …マップDB
94 …マップ作成システム
96 …マップ作成用コンピュータ
110 …IDタグ
112 …相手DB

Claims (4)

  1. 複数の触覚センサ、
    複数のコミュニケーションの相手ごとに、複数の触覚センサの出力のパターンと、触行動をしている当該相手の少なくとも位置または姿勢に関する情報とを対応付けたマップを記憶するマップ記憶手段、
    前記複数の触覚センサの出力データを取得する取得手段、
    前記取得手段によって前記出力データが取得されるときの相手の位置または姿勢を検出する検出手段、および
    前記マップを用いて、前記取得手段によって取得された前記複数の触覚センサの出力データと前記検出手段によって検出された位置または姿勢とに基づいて、前記相手を特定する相手認識手段を備える、コミュニケーションロボット。
  2. 前記相手認識手段は、前記マップから作成した前記複数の相手を判別対象とした判別木に基づいて、前記相手を特定する、請求項1記載のコミュニケーションロボット。
  3. 前記相手認識手段によって特定された当該相手に合わせた行動を実行する実行手段をさらに備える、請求項1または2記載のコミュニケーションロボット。
  4. ロボット本体上に被せられる柔軟素材からなる皮膚をさらに備え、
    前記複数の触覚センサは前記皮膚中に分散配置される複数のピエゾセンサシートを含む、請求項1ないし3のいずれかに記載のコミュニケーションロボット。
JP2005103037A 2005-03-31 2005-03-31 コミュニケーションロボット Active JP4677585B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005103037A JP4677585B2 (ja) 2005-03-31 2005-03-31 コミュニケーションロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005103037A JP4677585B2 (ja) 2005-03-31 2005-03-31 コミュニケーションロボット

Publications (2)

Publication Number Publication Date
JP2006281349A true JP2006281349A (ja) 2006-10-19
JP4677585B2 JP4677585B2 (ja) 2011-04-27

Family

ID=37403782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005103037A Active JP4677585B2 (ja) 2005-03-31 2005-03-31 コミュニケーションロボット

Country Status (1)

Country Link
JP (1) JP4677585B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256532A (ja) * 2007-04-05 2008-10-23 Sony Computer Entertainment Inc 姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体
JP2010112927A (ja) * 2008-11-10 2010-05-20 Sony Corp 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
JP2013132719A (ja) * 2011-12-27 2013-07-08 Advanced Telecommunication Research Institute International 同定装置、同定方法および同定プログラム
JP2017142198A (ja) * 2016-02-12 2017-08-17 株式会社サンノハシ 構造物の力学的状態を監視するためのシステム及び方法、並びに同システムのための分析システム
WO2018016461A1 (ja) * 2016-07-20 2018-01-25 Groove X株式会社 スキンシップを理解する自律行動型ロボット
WO2019130399A1 (ja) * 2017-12-25 2019-07-04 三菱電機株式会社 音声認識装置、音声認識システム及び音声認識方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283975A (ja) * 2003-03-24 2004-10-14 Advanced Telecommunication Research Institute International コミュニケーションロボット

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283975A (ja) * 2003-03-24 2004-10-14 Advanced Telecommunication Research Institute International コミュニケーションロボット

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256532A (ja) * 2007-04-05 2008-10-23 Sony Computer Entertainment Inc 姿勢検出装置、姿勢検出方法、プログラム及び情報記憶媒体
JP2010112927A (ja) * 2008-11-10 2010-05-20 Sony Corp 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
JP2013132719A (ja) * 2011-12-27 2013-07-08 Advanced Telecommunication Research Institute International 同定装置、同定方法および同定プログラム
JP2017142198A (ja) * 2016-02-12 2017-08-17 株式会社サンノハシ 構造物の力学的状態を監視するためのシステム及び方法、並びに同システムのための分析システム
WO2018016461A1 (ja) * 2016-07-20 2018-01-25 Groove X株式会社 スキンシップを理解する自律行動型ロボット
JPWO2018016461A1 (ja) * 2016-07-20 2018-07-26 Groove X株式会社 スキンシップを理解する自律行動型ロボット
GB2567586A (en) * 2016-07-20 2019-04-17 Groove X Inc Autonmous-behavior-type robot that understands emotional communication through physical contact
US11285614B2 (en) 2016-07-20 2022-03-29 Groove X, Inc. Autonomously acting robot that understands physical contact
WO2019130399A1 (ja) * 2017-12-25 2019-07-04 三菱電機株式会社 音声認識装置、音声認識システム及び音声認識方法
JPWO2019130399A1 (ja) * 2017-12-25 2020-04-23 三菱電機株式会社 音声認識装置、音声認識システム及び音声認識方法

Also Published As

Publication number Publication date
JP4677585B2 (ja) 2011-04-27

Similar Documents

Publication Publication Date Title
CN109141620B (zh) 声源分离信息检测装置、机器人、声源分离信息检测方法和存储介质
CN108665891B (zh) 声音检测装置、声音检测方法以及记录介质
JP4677585B2 (ja) コミュニケーションロボット
JP3706113B2 (ja) コミュニケーションロボット
US10877558B1 (en) Wearable gesture input device using electric impedance measurement
EP1477924A3 (en) Gesture recognition apparatus, method and program
JP2010112927A (ja) 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
JPWO2019138619A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4524435B2 (ja) コミュニケーションロボット
JP5007404B2 (ja) 性格判別装置、性格判別方法、コミュニケーションロボットおよび電子機器
CN113056315B (zh) 信息处理装置、信息处理方法和程序
JP3942586B2 (ja) コミュニケーションロボット
WO2021005878A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2006281348A (ja) コミュニケーションロボット
JP4271070B2 (ja) コミュニケーションロボット
JP4223426B2 (ja) コミュニケーションロボット
JP4753410B2 (ja) コミュニケーションロボット
WO2022194029A1 (zh) 一种机器人的反馈方法及机器人
JP4873607B2 (ja) 皮膚センサを有する電子機器
CN106726377A (zh) 基于人工智能的路面可行度指示器
JP4613284B2 (ja) コミュニケーションロボットおよびそれを用いた動作識別システム
JP5103589B2 (ja) コミュニケーションロボット
Ikeda et al. People tracking by cross modal association of vision sensors and acceleration sensors
WO2023202435A1 (zh) 非接触式按键触发方法
Alves de Oliveira Multimodal Bioinspired Artificial Skin Module for Tactile Sensing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110111

R150 Certificate of patent or registration of utility model

Ref document number: 4677585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250