JP2004230479A - コミュニケーションロボットおよびそれを用いたコミュニケーションシステム - Google Patents
コミュニケーションロボットおよびそれを用いたコミュニケーションシステム Download PDFInfo
- Publication number
- JP2004230479A JP2004230479A JP2003019054A JP2003019054A JP2004230479A JP 2004230479 A JP2004230479 A JP 2004230479A JP 2003019054 A JP2003019054 A JP 2003019054A JP 2003019054 A JP2003019054 A JP 2003019054A JP 2004230479 A JP2004230479 A JP 2004230479A
- Authority
- JP
- Japan
- Prior art keywords
- communication
- message
- robot
- user
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Abstract
【効果】音声だけでなく身体動作も再現されるので、ロボットを通して自然なコミュニケーションを図ることができる。
【選択図】 図1
Description
【産業上の利用分野】
この発明はコミュニケーションロボットおよびそれを用いたコミュニケーションシステムに関し、特にたとえば1または複数のコミュニケーション対象との間でコミュニケーション行動を実行する、コミュニケーションロボットおよびそれを用いたコミュニケーションシステムに関する。
【0002】
【従来の技術】
従来のこの種のコミュニケーションロボットの一例が特許文献1に開示される。この特許文献1に開示される意思伝達装置は、話し手又は聞き手として振る舞う共用ロボットと、話し手制御部、聞き手制御部および音声送受信部とから構成され、たとえば電話器に適用される。この意思伝達装置では、電話回線を通じて送受信される音声信号を時系列的な電気信号のON/OFFと捉え、この電気信号のON/OFFから頷き動作タイミングを判断し、ロボットの各部を動作させる。具体的には、話し手としてのロボットは、通話相手の音声信号に応じて、瞬きしたり、口を開閉したり、腕、腰等の身体部位を動かしたりしていた。一方、聞き手としてのロボットは、本人であるユーザの音声信号に応じて、頷き動作をしていた。
【0003】
また、この種のコミュニケーションロボットの他の一例が特許文献2に開示される。この特許文献2に開示される情報提供システムは、ネットワークを介して、複数のロボット装置と情報サーバとが接続されたものである。この情報提供システムでは、ロボット装置が、人物検出処理を実行し、検出した人物の識別を行い、識別したユーザのユーザIDを情報提供サーバに渡し、必要な情報を情報サーバから取得し、識別したユーザに対して、情報の提示を行っていた。また、識別したユーザから他のユーザに提供する情報があるときには、提供する情報の記録を行い、記録した情報を情報サーバに渡していた。
【0004】
【特許文献1】
特開2000−349920号(第5頁〜第6頁,第1図〜第5図)
【特許文献2】
特開2002−342759号(第7頁〜第9頁,第1図〜第8図)
【0005】
【発明が解決しようとする課題】
しかし、前者の場合には、音声信号に応じて、頷き動作、瞬き、身体動作を実行するだけであり、実際に通話相手がどのような身振りや手振りをしているかを知ることができなかった。
【0006】
また、後者の場合には、ユーザがロボット装置の配置される近傍或いはその周囲に存在すれば、情報の提示を受けたり、情報を提供したりすることができるが、やり取りされる情報は文字や音声のみであり、前者の場合と同様に、情報の提示元のユーザの身振りや手振りを知ることができなかった。
【0007】
つまり、いずれにしても、コミュニケーションの相手の身振りや手振りのような身体動作を知ることができず、電話や音声メールのような音声によるコミュニケーションまたは電子メールのような文字によるコミュニケーションの枠を超えることができなかった。
【0008】
それゆえに、この発明の主たる目的は、より自然なコミュニケーションを図ることができる、新規なコミュニケーションロボットおよびそれを用いたコミュニケーションシステムを提供することである。
【0009】
【課題を解決するための手段】
第1の発明は、1または複数のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットであって、1のコミュニケーション対象の身体動作を取得する身体動作取得手段、身体動作取得手段によって取得された身体動作を含むメッセージを作成する作成手段、メッセージを記録媒体に記録する記録手段、および記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボットである。
【0010】
第2の発明は、1または複数のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットであって、1のコミュニケーション対象から音声を取得する音声取得手段、音声に関連する当該コミュニケーション対象の身体動作を取得する身体動作取得手段、音声取得手段によって取得された音声および身体動作取得手段によって取得された身体動作の少なくとも一方を含むメッセージを作成する作成手段、メッセージを記録媒体に記録する記録手段、および記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボットである。
【0011】
第3の発明は、1または複数のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットであって、音声および身体動作の少なくとも一方を含むメッセージを受信するメッセージ受信手段、およびメッセージ受信手段によって受信されたメッセージに従うコミュニケーション行動を当該メッセージの宛先としてのコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボットである。
【0012】
第4の発明は、1または複数のコミュニケーション対象との間でコミュニケーション行動を実行する2以上のコミュニケーションロボットを互いに通信可能に設けたコミュニケーションシステムであって、コミュニケーションロボットは、1のコミュニケーション対象の身体動作を取得する身体動作取得手段、身体動作取得手段によって取得された身体動作を含むメッセージを作成する作成手段、メッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットに送信する送信手段、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するメッセージ受信手段、および記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションシステムである。
【0013】
第5の発明は、1または複数のコミュニケーション対象との間でコミュニケーション行動を実行する2以上のコミュニケーションロボットを互いに通信可能に設けたコミュニケーションシステムであって、コミュニケーションロボットは、1のコミュニケーション対象から音声を取得する音声取得手段、音声に関連する当該コミュニケーション対象の身体動作を取得する身体動作取得手段、音声取得手段によって取得された音声および身体動作取得手段によって取得された身体動作の少なくとも一方を含むメッセージを作成する作成手段、メッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットに送信する送信手段、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するメッセージ受信手段、および記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションシステムである。
【0014】
【作用】
第1の発明のコミュニケーションロボットは、人間(ユーザ)のような1または複数のコミュニケーション対象に対して、音および動作(身体動作)の少なくとも一方によるコミュニケーション行動を実行する。コミュニケーションロボットは、1のユーザから身振り手振りのような身体動作を取得する。作成手段は、取得した身体動作を含むメッセージを作成する。メッセージが作成されると、当該メッセージを記録媒体に記録する。実行手段は、記録媒体に記録されているメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達され、身振り手振りのような身体動作によるコミュニケーションがなされる。
【0015】
第2の発明のコミュニケーションロボットは、第1の発明のコミュニケーションロボットと略同じであるが、1のユーザから音声を取得し、当該ユーザが音声を発しているときの身振り手振りのような身体動作を取得する。また、作成手段は、取得した音声および身体動作の少なくとも一方を含むメッセージを作成する。このため、実行手段は、音声および身体動作の少なくとも一方を含むメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達される。音声のみまたは身体動作のみ或いはそれら両方を用いたコミュニケーションを図ることができる。
【0016】
たとえば、第1の発明および第2の発明のコミュニケーションロボットは、他のコミュニケーションロボットにメッセージを送信する送信手段をさらに備えるので、当該メッセージの宛先に応じて、メッセージを記録媒体に記録したり、宛先のユーザとの間でコミュニケーション行動を実行するコミュニケーションロボットにメッセージを送信したりすることができる。つまり、他のコミュニケーションロボットとの間でコミュニケーションを図るユーザとの間でもコミュニケートすることができる。
【0017】
また、メッセージ受信手段は、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するので、遠隔に離れたユーザが入力したメッセージに従うコミュニケーション行動を実行することができる。
【0018】
さらに、実行手段は、メッセージが記録されているとき、当該メッセージの宛先のユーザを探すためのコミュニケーション行動を実行するので、宛先のユーザは自分宛のメッセージが届いていることを知ることができる。
【0019】
たとえば、メッセージが秘匿性を有するとき、判別手段が当該メッセージの宛先以外のユーザが存在するか否かを判別する。したがって、当該メッセージの宛先以外のユーザが存在しないと判別されたときには、メッセージに従うコミュニケーション行動を当該宛先のユーザに対して実行することができる。
【0020】
また、当該メッセージの宛先以外のユーザが存在するときには、メッセージに従うコミュニケーション行動は実行せずに、秘匿性を有するメッセージがあることのみを当該宛先のユーザに知らせるので、秘密のメッセージが他に漏れることはない。
【0021】
さらに、秘匿性を有するメッセージに従うコミュニケーション行動の実行中に、宛先のユーザ以外のユーザの存在を確認した場合には、コミュニケーション行動を中断するので、このような場合であっても秘密のメッセージが他に漏れることはない。
【0022】
また、コミュニケーション対象の母国語情報をデータベースに記憶しておけば、メッセージを入力するユーザの母国語とメッセージの宛先としてのユーザの母国語とが一致するか否かに応じてメッセージを翻訳することができる。したがって、異なる母国語のユーザ同士であっても、簡単にコミュニケーションを取ることができる。
【0023】
たとえば、メッセージに含まれる音声を翻訳するとともに、身体動作を翻訳するので、国(地域)や文化の違いにより、言葉や身体動作が異なる場合であっても、コミュニケーションを取ることができる。
【0024】
第3の発明のコミュニケーションロボットは、人間(ユーザ)のような1または複数のコミュニケーション対象に対して、音および動作(身体動作)の少なくとも一方によるコミュニケーション行動を実行する。このコミュニケーションロボットでは、メッセージ受信手段が音声および身体動作の少なくとも一方を含むメッセージを受信し、実行手段が、受信したメッセージの宛先としてのユーザに対して、当該メッセージに従うコミュニケーション行動を実行する。つまり、メッセージがコミュニケーションロボットによって再現され、宛先のユーザに伝達される。
【0025】
第4の発明のコミュニケーションシステムは、2以上のコミュニケーションロボットを備え、たとえば、これらのコミュニケーションロボットを直接、または、電話回線、インターネット或いはLANのようなネットワークを介して通信可能に接続する。コミュニケーションロボットは、人間(ユーザ)のような1または複数のコミュニケーション対象に対して、音および動作(身体動作)の少なくとも一方によるコミュニケーション行動を実行する。また、コミュニケーションロボットは、1のユーザから身振り手振りのような身体動作を取得する。作成手段は、取得した身体動作を含むメッセージを作成する。メッセージが作成されると、当該メッセージを宛先のユーザとの間でコミュニケーション行動を実行するコミュニケーションロボット(他のコミュニケーションロボット)に対して送信する。また、メッセージ受信手段は、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録する。実行手段は、記録媒体に記録されているメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達される。このようにして、遠隔に存在するユーザ同士であっても、身振り手振りのような身体動作によるコミュニケーションを取ることができる。
【0026】
第5の発明のコミュニケーションシステムでは、第2の発明に記載のコミュニケーションロボットを用いるようにした以外は、第4の発明に記載のコミュニケーションシステムと同じであるため、重複した説明は省略する。つまり、第5の発明のコミュニケーションシステムでは、音声のみまたは身体動作のみ或いはそれら両方を用いたコミュニケーションを図ることができる。
【0027】
【発明の効果】
この発明によれば、ロボットが身振り手振りのような身体動作を再現することによりコミュニケーションを図ることができるので、ロボットを通して自然なコミュニケーションを図ることができる。
【0028】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0029】
【実施例】
図1を参照して、この実施例のコミュニケーションシステム(以下、単に「システム」という。)10は、コミュニケーションロボット(以下、単に「ロボット」ということがある。)12およびロボット14を含む。ロボット12およびロボット14は、電話回線、インターネット或いはLANのようなネットワーク16を介して互いに通信可能に設けられる。ロボット12およびロボット14は、主として人間のようなコミュニケーションの対象とコミュニケートすることを目的とした相互作用指向のコミュニケーションロボットである。
【0030】
ただし、コミュニケーションの対象としては、コミュニケーションロボット12(14)と同様に構成された他のコミュニケーションロボットであってもよい。
【0031】
なお、ロボット12とロボット14とは、ネットワーク16を介さずに、直接通信可能に設けるようにしてもよい。たとえば、赤外線を利用したIrDA方式,2.45GHz帯の電波を利用したブルートゥース(Bluetooth )方式,IEEE802.11,PHSのトランシーバ機能などを用いた無線通信が可能である。
【0032】
また、この実施例では、2台のロボットを設けるようにしてあるが、ロボットは3台以上設けられてもよい。
【0033】
図1に示すように、ロボット12の近傍或いは周囲には、人間ないしはユーザAおよびユーザBが存在し、ロボット14の近傍或いは周囲には、ユーザCが存在する。この実施例では、ユーザA、ユーザBおよびユーザCは、いずれも同じ母国語(たとえば、日本語)を話すユーザである。
【0034】
なお、この実施例では、1人または2人のユーザがロボットの近傍或いは周囲に存在する場合について示してあるが、ユーザは1人以上であれば3人以上の多数であってもよい。
【0035】
図2はロボット12の外観を示す正面図であり、この図2を参照して、ロボット12のハードウェアの構成について説明する。ただし、ロボット14は、ロボット12と同じ構成であるため、ここではロボット12についてのみ説明することとし、ロボット14についての説明は省略することにする。
【0036】
図2に示すように、ロボット12は台車20を含み、この台車20の下面にはロボット12を自律移動させる車輪22が設けられる。車輪22は車輪モータ(図3において参照番号「90」で示す。)によって駆動され、台車20すなわちロボット12を前後左右任意の方向に動かすことができる。
【0037】
なお、図2においては省略するが、台車20の前面には、衝突センサ(図3において参照暗号「94」で示す。)が取り付けられ、この衝突センサ94は台車20への人や他の障害物の接触を検知する。つまり、ロボット12の移動中に障害物との接触を検知すると、直ちに車輪22の駆動を停止してロボット12の移動を急停止させて、衝突を未然に防止する。
【0038】
また、この実施例では、ロボット12の背の高さは、人(ユーザ)、特に子供に威圧感を与えることのないように、100cm程度とされる。ただし、この背の高さは変更可能である。
【0039】
台車20の上には、多角形柱のセンサ取付パネル24が設けられ、このセンサ取付パネル24の各面には、超音波距離センサ26が取り付けられる。この超音波距離センサ26は、センサ取付パネル24すなわちロボット12の周囲の主としてユーザとの距離を計測するものである。
【0040】
また、台車20の上には、さらに、下部がセンサ取付パネル24に囲まれて、ロボット12の胴体が直立するように設けられる。この胴体は、下部胴体28と上部胴体30とによって構成され、下部胴体28および上部胴体30は、連結部32によって互いに連結される。図示は省略するが、連結部32には昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体30の高さすなわちロボット12の背の高さを変化させることができる。昇降機構は、後述するように、腰モータ(図3において参照番号「88」で示す。)によって駆動される。
【0041】
なお、上述したロボット12の背の高さは、上部胴体30をそれの最下位置にしたときのものである。したがって、ロボット12の背の高さは、100cm以上にすることができる。
【0042】
上部胴体30のほぼ中央には、1つの全方位カメラ34と1つのマイク36とが設けられる。全方位カメラ34は、ロボット12の周囲を撮影するものであり、後述する眼カメラ56とは区別される。この全方位カメラ34としては、たとえばCCDやCMOSのような固体撮像素子を用いるカメラを採用することができる。マイク36は、周囲の音、とりわけコミュニケーション対象であるユーザの声を取り込む。
【0043】
上部胴体30の両肩には、それぞれ、肩関節38Rおよび38Lによって、上腕40Rおよび40Lが設けられる。肩関節38Rおよび38Lは、それぞれ、3軸の自由度を有する。すなわち、肩関節38Rは、X軸、Y軸およびZ軸のそれぞれの軸廻りにおいて上腕40Rの角度を制御できる。Y軸は、上腕40Rの長手方向(または軸)に平行な軸であり、X軸およびZ軸は、そのY軸に対して、それぞれ異なる方向から直交する軸である。他方、肩関節38Lは、A軸、B軸およびC軸のそれぞれの軸廻りにおいて上腕40Lの角度を制御できる。B軸は、上腕40Lの長手方向(または軸)に平行な軸であり、A軸およびC軸は、そのB軸に対して、それぞれ異なる方向から直交する軸である。
【0044】
また、上腕40Rおよび40Lのそれぞれの先端には、肘関節42Rおよび42Lを介して、前腕44Rおよび44Lが設けられる。肘関節42Rおよび42Lは、それぞれ、W軸およびD軸の軸廻りにおいて、前腕44Rおよび44Lの角度を制御できる。
【0045】
なお、上腕40Rおよび40Lならびに前腕44Rおよび44Lの変位を制御するX軸,Y軸,Z軸,W軸およびA軸,B軸,C軸,D軸では、それぞれ、「0度」がホームポジションであり、このホームポジションでは、図2に示すように、上腕40Rおよび40Lならびに前腕44Rおよび44Lは下方に向けられる。
【0046】
また、図示は省略するが、上部胴体30の肩関節38Rおよび38Lを含む肩の部分や上述の上腕40Rおよび40Lならびに前腕44Rおよび44Lには、それぞれ、タッチセンサ(図3において包括的に参照番号「92」で示す。)が設けられていて、これらのタッチセンサ92は、ユーザがロボット12の当該各部位に触れたかどうかを検知する。
【0047】
前腕44Rおよび44Lのそれぞれの先端には、手に相当する球体46Rおよび46Lがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。
【0048】
なお、ロボット12の形状・寸法等は適宜設定されるが、他の例としては、たとえば、上部胴体30は、前面、背面、右側面、左側面、上面および底面を含み、右側面および左側面は表面が斜め前方に向くように形成してもよい。つまり、前面の横幅が背面の横幅よりも短く、上部胴体30を上から見た形状が台形になるように形成されてもよい。
【0049】
このような場合、肩関節38Rおよび38Lは、右側面および左側面に、その表面が左右両側面とそれぞれ平行である左右の支持部を介して設けられる。そして、上腕40Rおよび上腕40Lの回動範囲は、これら左右側面または支持部の表面(取り付け面)によって規制され、上腕40Rおよび40Lは取り付け面を超えて回動することはない。
【0050】
しかし、左右側面の傾斜角、B軸とY軸との間隔、上腕40Rおよび40Lの長さ、ならびに前腕44Rおよび44Lの長さ等を適宜に設定すれば、上腕40Rおよび40Lは前方を超えてより内側まで回動できるので、たとえW軸およびD軸による腕の自由度がなくてもロボット12の腕は前方で交差できる。したがって、腕の自由度が少ない場合でも正面に位置する人と抱き合うなどの密接なコミュニケーションを取ることができる。
【0051】
上部胴体30の中央上方には、首関節48を介して頭部50が設けられる。首関節48は、3軸の自由度を有し、S軸、T軸およびU軸の各軸廻りに角度制御可能である。S軸は首から真上(鉛直上向き)に向かう軸であり、T軸およびU軸は、それぞれ、そのS軸に対して異なる方向で直交する軸である。頭部50には、人の口に相当する位置に、スピーカ52が設けられる。スピーカ52は、ロボット12が、それの周囲(周辺)の人に対して音声(音を含む。)または声によってコミュニケーションを取るために用いられる。ただし、スピーカ52は、ロボット12の他の部位、たとえば胴体に設けられてもよい。
【0052】
また、頭部50には、目に相当する位置に眼球部54Rおよび54Lが設けられる。眼球部54Rおよび54Lは、それぞれ眼カメラ56Rおよび56Lを含む。以下、右の眼球部54Rと左の眼球部54Lとをまとめて眼球部54ということがあり、また、右の眼カメラ56Rと左の眼カメラ56Lとをまとめて眼カメラ56ということもある。
【0053】
眼カメラ56は、ロボット12に接近した人の顔や他の部分ないし物体等を撮影して、それに対応する映像信号を取り込む。眼カメラ56としては、上述した全方位カメラ34と同様のカメラを用いることができる。
【0054】
たとえば、眼カメラ56は眼球部54内に固定され、眼球部54は眼球支持部(図示せず)を介して頭部50内の所定位置に取り付けられる。眼球支持部は、2軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部50に対して設けられる軸であり、α軸は頭部50の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部50の正面側(顔)が向く方向に直交する方向の軸である。この実施例では、頭部50がホームポジションにあるとき、α軸はS軸と平行であり、β軸はU軸と平行であるように設定される。このような頭部50において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部54ないし眼カメラ56の先端(正面)側が変位され、カメラ軸すなわち視線方向が移動される。
【0055】
なお、眼カメラ56の変位を制御するα軸およびβ軸では、「0度」がホームポジションであり、このホームポジションでは、図2に示すように、眼カメラ56のカメラ軸は頭部50の正面側(顔)が向く方向に向けられ、視線は正視状態となる。
【0056】
図3はロボット12の電気的な構成を示すブロック図であり、この図3を参照して、ロボット12は、全体の制御を司るCPU60を含む。CPU60は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス62を介して、メモリ70、モータ制御ボード72、センサ入力/出力ボード74および音声入力/出力ボード76に接続される。
【0057】
なお、電気的な構成についても、ロボット12とロボット14とは同じであるため、ここではロボット12についてのみ説明し、ロボット14についての説明は省略することにする。
【0058】
メモリ70は、図示は省略するが、ROMやRAMを含み、ROMにはロボット12の制御プログラムが予め記憶されるとともに、コミュニケーション行動の実行の際にスピーカ52から発生すべき音声または声の音声データ(音声合成データ)および同じくコミュニケーション行動の際に所定の身振りや手振りのような身体動作(たとえば、“手を振る”、“握手をする”、“お辞儀をする”、“おいでおいでをする”、“抱きつく”などの動作)を提示するための角度データ(制御データ)等が記憶される。RAMは、ワークメモリやバッファメモリとして用いられる。
【0059】
なお、ROMに記録される角度データは、後述する身体動作(行動パターン)の識別子si に対応づけられている。
【0060】
モータ制御ボード72は、たとえばDSPで構成され、各腕や頭部および眼球部等の各軸モータの駆動を制御する。すなわち、モータ制御ボード72は、CPU60からの制御データを受け、右眼球部54Rのα軸およびβ軸のそれぞれの角度を制御する2つのモータ(図3では、まとめて「右眼球モータ」と示す。)78の回転角度を制御する。同様に、モータ制御ボード72は、CPU60からの制御データを受け、左眼球部54Lのα軸およびβ軸のそれぞれの角度を制御する2つのモータ(図3では、まとめて「左眼球モータ」と示す。)80の回転角度を制御する。
【0061】
また、モータ制御ボード72は、CPU60からの制御データを受け、右肩関節38RのX軸、Y軸およびZ軸のそれぞれの角度を制御する3つのモータと右肘関節42RのW軸の角度を制御する1つのモータとの計4つのモータ(図3では、まとめて「右腕モータ」と示す。)82の回転角度を調節する。同様に、モータ制御ボード72は、CPU60からの制御データを受け、左肩関節38LのA軸、B軸およびC軸のそれぞれの角度を制御する3つのモータと左肘関節42LのD軸の角度を制御する1つのモータとの計4つのモータ(図3では、まとめて「左腕モータ」と示す。)84の回転角度を調整する。
【0062】
さらに、モータ制御ボード72は、CPU60からの制御データを受け、頭部50のS軸、T軸およびU軸のそれぞれの角度を制御する3つのモータ(図3では、まとめて「頭部モータ」と示す。)86の回転角度を制御する。さらにまた、モータ制御ボード72は、CPU60からの制御データを受け、腰モータ88および車輪22を駆動する車輪モータ90の回転角度を制御する。
【0063】
なお、この実施例では、車輪モータ90を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ90と同様に、直流モータを用いるようにしてもよい。
【0064】
センサ入力/出力ボード74もまた、同様に、DSPで構成され、各センサからの信号を取り込んでCPU60に与える。すなわち、超音波距離センサ26のそれぞれからの反射時間に関するデータがこのセンサ入力/出力ボード74を通してCPU60に入力される。また、全方位カメラ34からの映像信号が、必要に応じてこのセンサ入力/出力ボード74で所定の処理を施された後、CPU60に入力される。眼カメラ56からの映像信号も、同様にして、CPU60に入力される。また、上述した複数のタッチセンサ92からの信号がセンサ入力/出力ボード74を介してCPU60に与えられる。さらに、上述した衝突センサ94からの信号も、同様にして、CPU60に与えられる。
【0065】
音声入力/出力ボード76もまた、同様に、DSPで構成され、CPU60から与えられる音声合成データに従った音声または声がスピーカ52から出力される。また、マイク36からの音声入力が、音声入力/出力ボード76を介してCPU60に取り込まれる。
【0066】
また、CPU60は、バス62を介して通信LANボード96に接続される。通信LANボード96は、DSPで構成され、CPU60から送られる送信データを無線通信装置98に与え、無線通信装置98から送信データを、ネットワーク16を介して接続される他のロボット(この実施例では、ロボット14)或いはコンピュータ(以下、「外部コンピュータ」という。)等に送信させる。また、通信LANボード96は、無線通信装置98を介してデータを受信し、受信したデータをCPU60に与える。つまり、この通信LANボード96および無線通信装置98によって、ロボット12は他のロボット14或いは外部コンピュータ等と無線通信を行うことができる。また、CPU60は、受信したデータをメモリ70に記録する。
【0067】
さらに、CPU60は、バス62を介して3つのデータベース100、102および104に接続される。ただし、これらのデータベースは、外部のネットワーク上にアクセス可能に設けるようにしてもよい。データベース100は、ユーザ情報を記憶するデータベース(以下、「ユーザDB」という。)であり、この実施例では、図4(A)に示すようなユーザ情報のテーブルを記録する。図4(A)から分かるように、ユーザ情報のテーブルには、ユーザ名(この実施例では、ユーザAおよびユーザBの名称)に対応して、それぞれを識別するための識別情報が記録される。ここで、識別情報は、ユーザを特定するための情報(データ)であり、この実施例では、後述するように、ユーザの顔を撮影した画像(顔画像)に基づいてユーザを特定するようにしてあるため、識別情報として、ユーザAおよびユーザBの顔画像のデータ(画像データ)がそれぞれ記憶される。
【0068】
ただし、ユーザを特定する方法としては、無線タグのようなタグを用いることも考えられる。このような場合には、無線タグをユーザに所持或いは装着して、当該無線タグからID(RFID)や周波数のようなタグ情報を取得して、ユーザを識別することもできる。また、顔画像による処理は、その処理が膨大であるため、各ユーザが着ている服に、色や形の異なるマークをつけて、当該マークを撮影画像から認識して、ユーザを識別することもできる。ただし、それぞれの態様に応じた識別情報(タグ情報やマークのデータ)をユーザDB100に登録しておく必要がある。
【0069】
なお、新たなユーザを追加する場合には、当該新しいユーザ等が外部コンピュータを操作して、ユーザDB100に登録することができる。他の例としては、ロボット12が備える音声認識機能を用いて、ロボット12と当該新しいユーザとが会話などのコミュニケーションを取ることにより取得したユーザ名およびそのとき取得した画像データを対応づけて、ロボット12(厳密には、CPU60)がユーザDB100に登録することもできる。
【0070】
また、データベース102は、メッセージの宛先情報を登録(記録)するデータベース(以下、「宛先DB」という。)であり、この実施例では、図4(B)に示すような、宛先情報のテーブルを記録する。図4(B)から分かるように、宛先情報のテーブルには、宛先のユーザ名(この実施例では、ユーザA、ユーザBおよびユーザC)に対応して、当該ユーザに対してコミュニケーション行動を行うロボット(この実施例では、ロボット12或いはロボット14)と通信するためのIPアドレスのようなアクセスポイントが記録される。
【0071】
なお、この実施例では、自身(ロボット12)がコミュニケーション行動を実行するユーザ(この実施例では、ユーザAおよびユーザB)についてもアクセスポイントを記録するようにしてあるが、当該ユーザについては、アクセスポイントを記録しないで空欄にしておくようにしてもよい。
【0072】
また、アクセスポイントに変えて、電子メールアドレスを記録するようにしてもよい。
【0073】
データベース104は、ユーザが発する言葉(音声)の内容を音声認識するための辞書(音声認識用辞書)およびユーザの身体動作(行動パターン)を特定するための辞書(行動パターン辞書)を記録するデータベース(以下、「辞書DB」という。)である。図示は省略するが、音声認識用辞書は、この実施例では、複数のユーザの日本語による日常会話を記録した音声データを複数記録したものである。また、行動パターン辞書は、図4(C)に示すように、人間の身振り手振りのような身体動作の名称のそれぞれに対応して、行動パターンの識別子si が記録される。行動パターンは、人間の様々な身体動作のそれぞれについてビデオカメラのようなイメージセンサで予め記録した映像信号を解析し、各関節(この実施例では、首、肩、肘および腰)についての角度の時間変化に分解したデータである。図4(C)からも分かるように、“手を振る”、“握手をする”、“お辞儀をする”、“おいでおいでをする”、“抱きつく”などの所定の身体動作について記録される。この行動パターンのデータは、各識別子si に対応づけて辞書DB104或いはメモリ70に記録される。
【0074】
なお、身体動作を取得する場合には、周知のモーションキャプチャシステムを用いることができる。
【0075】
たとえば、システム10では、ユーザA、ユーザBおよびユーザCは、それぞれがコミュニケーション行動を行うロボット12およびロボット14を通して、互いにコミュニケートすることができる。
【0076】
つまり、ロボット12のみを用いて、ユーザAはユーザBに対して、またはユーザBはユーザAに対してメッセージを伝達することができる。また、ユーザA或いはユーザBは、ロボット12およびロボット14を通してユーザCにメッセージを伝達することができる。逆に、ユーザCは、ロボット14およびロボット12を通してユーザAおよびユーザBの一方にメッセージを伝達することができる。または、ユーザCは、ロボット14およびロボット12を通してユーザAおよびユーザBの両方にメッセージを伝達することもできる。
【0077】
この実施例では、メッセージは音声および身体行動の少なくとも一方を含み、ロボットはメッセージに従うコミュニケーション行動を宛先のユーザに対して実行する。たとえば、ロボットは、ユーザに対して、“おはよう”と発話しながらお辞儀をしたり、“ばいばい”と発話しながら手を振ったりするなどの様々なコミュニケーション行動を取ることができる。ただし、音声のみのコミュニケーションや身体行動のみのコミュニケーションを図ることも可能である。
【0078】
ロボット12のみを用いて、ユーザAがユーザBに対してメッセージを伝達する場合には、まず、ユーザAはロボット12に対してメッセージの入力指示を与える。メッセージの入力指示は、ユーザAがロボット12に対して、ロボット12に設けられるボタン(図示しない)ないしは音声により入力することができ、また、外部コンピュータを操作することにより入力することもできる。次にユーザAは、音声や外部コンピュータにより、メッセージの宛名すなわち宛先のユーザBの名称を入力する。続いて、ユーザAは、ロボット12に対してコミュニケーション行動を実行し、伝達したいメッセージを入力する。
【0079】
一方、ロボット12は、ユーザAのメッセージの入力指示および宛先の入力に応じて、マイク36から入力される音声信号の記録を開始するとともに、カメラ34および56から入力される映像信号の記録を開始する。つまり、ユーザAが発話する内容(発話内容)を取得するとともに、ユーザAが発話しているときの身体動作を取得する。次にロボット12は、辞書DB104の音声認識用辞書内の音声データと取得した発話内容に対応する音声データとをDPマッチング或いはHMM(隠れマルコフモデル)の方法により比較し、当該発話内容を特定する。つまり、音声認識して、テキストデータに変換する。また、ロボット12は、辞書DB104或いはメモリ70に記録される行動パターンと取得した身体動作を解析した行動パターンとをDPマッチング或いはHMMの方法により比較し、当該身体行動の内容を特定する。つまり、身体動作を特定して、対応する識別子si を決定する。そして、ロボット12は、特定した発話内容と身体行動とを用いてメッセージを作成する。たとえば、宛先のユーザ名、発話内容に対応するテキストデータおよび身体行動に対応する識別子si を含むメッセージを作成する。
【0080】
なお、この実施例では、メッセージのデータ量を比較的少なくするために、入力された音声を音声認識してテキストデータに変換するようにしてあるが、音声データをそのままメッセージに含めるようにしてもよい。また、同様に、身体動作の識別子si に変えて身体動作(行動パターン)のデータをそのままメッセージに含めるようにしてもよい。
【0081】
また、ユーザの身体動作を取得する場合にも、周知のモーションキャプチャシステムを用いるようにすれば、比較的簡単に身体動作を特定することができる。
【0082】
次に、ロボット12は、ユーザAから指示された宛先に応じて、作成したメッセージの記録処理を実行したり、宛先への送信処理を実行したりする。ここでは、宛先はユーザBであり、他のロボット(この実施例では、ロボット14)にメッセージを送信する必要がないため、作成されたメッセージはメモリ70に記憶される。このような記録処理または送信処理を実行するか否かは、宛先DB102を参照して判断される。つまり、宛先のユーザのアクセスポイントが自身(この実施例では、ロボット12)のアクセスポイント(アクセスポイントP1)であれば、メッセージの記録処理を行い、他のロボット(この実施例では、ロボット14)のアクセスポイント(アクセスポイントP2)であれば、メッセージの送信処理を行う。
【0083】
メッセージがメモリ70に記録されると、ロボット12はユーザBを探して、ユーザBにメッセージを伝達する。つまり、ロボット12は、ユーザBを探すコミュニケーション行動を実行し、ユーザBを発見すると、ユーザBに対してメッセージに従うコミュニケーション行動を実行する。
【0084】
ユーザBを探すコミュニケーション行動としては、たとえば、ロボット12は頭部50を前方上方に傾けるとともに、“○○(ユーザB)さん宛のメッセージが届いているよ。”のような音声をマイク36から出力する。具体的には、CPU60は、角度データ(S軸0度、T軸0度、U軸+45度、X軸0度、Y軸0度、Z軸0度、W軸0度、A軸0度、B軸0度、C軸0度、D軸0度)をモータ制御ボード72に送るとともに、“○○さん宛のメッセージが届いているよ。”に相当する音声合成データをメモリ70から読み出して音声入力/出力ボード76に与える。すると、頭部モータ88(厳密には、U軸を制御するモータ)が駆動され、頭部50が前方上方に傾けられる。これと同時或いはほぼ同時に、“○○さん宛のメッセージが届いているよ。”という音声がスピーカ52から出力される。
【0085】
なお、音声に含まれる“○○さん”すなわちユーザBの名称は、メッセージに含まれる宛先のユーザ名から知ることができる。以下、同様である。
【0086】
次に、ロボット12は、その近傍或いは周囲にユーザBが存在するかどうかを判断する。ユーザBが存在するか否かの判断は、顔画像により行うことができる。つまり、CPU60は、ロボット12の近傍に存在するユーザの顔画像を撮影し、ユーザDB100に記録されるユーザBの識別情報(画像データB)と比較して、一致するか否かにより、ユーザBを判断する。
【0087】
ただし、ユーザBがRFIDのようなタグ情報を発信するタグを所持或いは装着する場合には、そのタグ情報を取得して、ユーザBの存在を認識するようにしてもよい。
【0088】
また、メッセージに従うコミュニケーション行動をユーザBに対して実行する場合には、CPU60はメッセージに含まれる識別子si に対応する角度データをモータ制御ボード72に送るとともに、テキストデータに対応する音声合成データをメモリ70から読み出し、音声入力/出力ボード76に与える。したがって、ユーザAが入力したメッセージ(音声および身体動作)がロボット12によって再現され、ユーザBに伝達される。
【0089】
たとえば、ユーザAが、お辞儀をしながら、“○○さん、こんにちは。”と発声し、次に右手を前に出して(握手をしながら)、“お元気ですか?”と発声するようなメッセージを入力した場合には、当該メッセージに従うコミュニケーション行動をユーザBに対して実行する。
【0090】
具体的には、CPU60は、まず、角度データ(S軸0度、T軸0度、U軸−45度、X軸0度、Y軸0度、Z軸0度、W軸0度、A軸0度、B軸0度、C軸0度、D軸0度)をモータ制御ボード72に送るとともに、“○○さん、こんにちは。”に相当する音声合成データをメモリ70から読み出して音声入力/出力ボード76に与える。すると、頭部モータ88(厳密には、U軸を制御するモータ)が駆動され、頭部50が前方下向きに傾けられる。これと同時或いはほぼ同時に、“○○さん、こんにちは。”という音声がスピーカ52から出力される。最初のメッセージに従うコミュニケーション動作を終了すると、各モータはホームポジションに戻され、次のコミュニケーション行動が実行される。
【0091】
つまり、CPU60は、角度データ(S軸0度、T軸0度、U軸0度、X軸+45度、Y軸0度、Z軸0度、W軸0度、A軸0度、B軸0度、C軸0度、D軸0度)をモータ制御ボード72に送るとともに、“お元気ですか?”に相当する音声合成データをメモリ70から読み出して音声入力/出力ボード76に与える。すると、台車20は右腕モータ82(厳密には、X軸を制御するモータ)が駆動され、右手すなわち右腕(40R、44R、46R)が前方に出される。これと同時或いはほぼ同時に、“お元気ですか?”という音声がスピーカ52から出力される。
【0092】
なお、このように、複数のコミュニケーション行動を含む場合には、各コミュニケーション行動の順番が番号等で識別可能にされる。
【0093】
また、この実施例では、比較的短い音声を入力した場合について説明してあるため、1つの文についての音声およびそのときの身体動作を1のコミュニケーション行動と考えてあるが、文が長い場合には、音声が途切れた時点や身体動作が停止した時点でコミュニケーション行動を区切るようにしてもよい。
【0094】
また、ロボット12のみを用いて、ユーザBがユーザAに対してメッセージを伝達する場合においても、上述した内容と同じであり、ユーザAとユーザBとを入れ変えればよい。
【0095】
また、ユーザAがユーザCに対して、ロボット12およびロボット14を通してメッセージを伝達する場合には、ユーザAがメッセージの入力指示を入力してからメッセージが作成されるまでの動作は、上述した内容と同じである。メッセージが作成されると、CPU60は、宛先DB102を参照して、ユーザCに対応するアクセスポイントP2を検出する。すると、自身のアクセスポイントP1と異なるため、他のロボット(ロボット14)に送信するメッセージであることが分かる。したがって、CPU60は、検出したアクセスポイントP2にアクセスして、ロボット14にメッセージを送信する。ロボット14に送信されたメッセージは、ロボット14が受信し、メモリ70に記録する。メモリ70にメッセージが記憶された後では、上述のロボット12がユーザBを探し、メッセージに従うコミュニケーション行動を実行するのと同様のコミュニケーション行動がロボット14によって実行される。つまり、上述のロボット12とロボット14とを置き換えるとともに、ユーザBをユーザCに置き換えればよい。
【0096】
さらに、ユーザCがロボット14およびロボット12を通してユーザAおよびユーザBのいずれか一方にメッセージを伝達する場合には、送信側と受信側とが逆になる以外は、ユーザAがロボット12およびロボット14を通してユーザCにメッセージを伝達する場合と同じであるため、重複した説明は省略することにする。
【0097】
また、ユーザCがロボット14およびロボット12を通してユーザAおよびユーザBの両方にメッセージを伝達することもできる。この場合には、ユーザCは、宛先としてユーザAおよびユーザBを入力し、ロボット14に対してコミュニケーション行動を実行して、メッセージを入力する。一方、当該メッセージを受信したロボット12は、ユーザAおよびユーザBの両方を探し、メッセージに従うコミュニケーション行動をユーザAおよびユーザBに対して実行する。
【0098】
上述したようなメッセージの入力および伝達では、メッセージが秘匿性を有しない場合について説明したが、メッセージを宛先のユーザ以外に知られたくない場合には、当該メッセージを秘密にすることもできる。たとえば、メッセージを入力するときに、当該メッセージが秘密であることを、音声または外部コンピュータにより入力することができる。すると、メッセージを作成するとき或いはメッセージを作成した後に、秘密であることを示すラベルがメッセージに付加される。したがって、メッセージを伝達する側のロボットでは、当該ラベルの付されたメッセージに従うコミュニケーション行動を宛先のユーザのみに対して実行する。つまり、宛先のユーザ以外のユーザがロボットの近傍或いは周囲に存在しないことを確認してから、メッセージを伝達し、メッセージの伝達中に宛先のユーザ以外のユーザがロボットの近傍或いは周囲に近づいた場合には、メッセージの伝達を中断する。
【0099】
具体的には、ロボット12のCPU60は、図5および図6に示すフロー図に従ってメッセージの送信/記録処理を実行し、図7〜図9に示すフロー図に従ってメッセージの伝達処理を実行する。
【0100】
なお、ロボット14のCPU60よって実行される処理は、ロボット12のCPU60によって実行される処理と同じであるため、ロボット12のCPU60によって実行される処理についてのみ説明し、ロボット14のCPU60によって実行される処理についての説明は省略する。
【0101】
ユーザ(ユーザAまたはユーザB)からメッセージの入力指示が入力され、宛先のユーザ名が入力されると、図5に示すように、メッセージの送信/記録処理を開始し、ステップS1で映像および音声を取得する。つまり、カメラ34および56からの映像信号をメモリ70に記録するとともに、マイク36からの音声信号をメモリ70に記録する。
【0102】
続くステップS3では、メッセージの入力が終了したかどうかを判断する。具体的には、ユーザからメッセージの入力終了が指示されたかどうかを判断する。ただし、音声が一定時間以上入力されない場合に、メッセージの入力が終了したと判断するようにしてもよい。ステップS3で“NO”であれば、つまりメッセージの入力が終了していなければ、そのままステップS1に戻る。
【0103】
一方、ステップS3で“YES”であれば、つまりメッセージの入力が終了すれば、ステップS5でマイク36を通して入力された音声について音声認識処理を実行する。次いで、ステップS7で、後述する身体動作の特定処理を実行し、ステップS9では、当該メッセージが秘密であるかどうかを判断する。つまり、ユーザがメッセージを秘密にすることを、音声または外部コンピュータにより入力したかどうかを判断する。
【0104】
ステップS9で“NO”であれば、つまり当該メッセージが秘密でなければ、ステップS11で、宛先のユーザ名、テキストデータおよび識別子si を含むメッセージを作成して、ステップS15に進む。一方、ステップS9で“YES”であれば、つまり当該メッセージが秘密であれば、ステップS13で、秘密メッセージを作成して、すなわち、宛先のユーザ名、テキストデータおよび識別子si を含むメッセージに秘密のラベルを付して、ステップS15に進む。
【0105】
続いて、ステップS15では、当該メッセージを他のロボット(この実施例では、ロボット14)に送信するかどうかを判断する。つまり、入力された宛先のユーザ名を宛先DB102に記録される宛先情報のテーブルから検索し、当該ユーザ名に対応して記録されるアクセスポイントが他のロボットへのアクセスポイントかどうかを判断する。
【0106】
ステップS15で“YES”であれば、つまり他のロボットへ送信するメッセージであれば、ステップS17で他のロボットにメッセージを送信して、処理を終了する。つまり、宛先のコミュニケーション対象としてのユーザとの間でコミュニケーション行動を実行するロボットにメッセージを送信する。一方、ステップS15で“NO”であれば、つまり他のロボットへ送信するメッセージでなければ、ステップS19でメッセージをメモリ70に記録して、処理を終了する。
【0107】
なお、この実施例では、メッセージの宛先としてのユーザが予め宛先DB102に登録されていることを前提として、メッセージを送信/記録するようにしてあるが、入力された宛先のユーザ名が宛先DB102に登録されていない場合には、メッセージの作成処理を実行する以前に、メッセージを入力したユーザに対して、メッセージの宛先のアクセスポイントを入力させるコミュニケーション行動を実行するようにすればよい。たとえば、“宛先のアクセスポイントを入力してください。”という音声をスピーカ52から出力すればよい。
【0108】
身体動作特定処理が開始されると、図6に示すように、ステップS21で取得した行動(身体動作)すなわち身体動作を撮影した映像信号を解析して、行動要素に分解する。つまり、各関節の角度の時間変化を抽出する。続くステップS23では、ステップS21において分解した行動要素と辞書DB104或いはメモリ70に記録される行動パターンとを比較し、一致度が一番高い行動パターンを検出する。そして、ステップS25では、ステップS23で検出した行動パターンに対応する識別子si を特定(取得)して、身体動作特定処理をリターンする。
【0109】
一方、CPU60は、上述したようなメッセージの送信/記録処理を実行していない間に所定の時間間隔或いはユーザの指示に従って図7〜図9に示すようなメッセージ伝達処理を実行する。メッセージ伝達処理を開始すると、図7に示すように、ステップS31で未伝達のメッセージがメモリ70に存在するかどうかを判断する。
【0110】
ステップS31で“NO”であれば、つまり未伝達のメッセージが存在しなければ、そのまま処理を終了する。ただし、ユーザの指示でメッセージ伝達処理を開始した場合には、“メッセージはありません。”のような音声をスピーカ52から出力して、処理を終了するようにしてもよい。一方、ステップS31で“YES”であれば、つまり未伝達のメッセージが存在すれば、ステップS33で1の未伝達メッセージを選択して、ステップS35に進む。ただし、未伝達メッセージが1つしか存在しない場合には、そのままステップS35に移行する。
【0111】
ステップS35では、周囲の人物(ユーザ)を検出するとともに、存在するユーザを特定する。上述したように、この実施例では、顔画像を撮影し、撮影した顔画像のデータとユーザDB100に記憶される識別情報(画像データ)とを比較して、ユーザを特定する。
【0112】
続くステップS37では、未伝達の人物が存在するかどうかを判断する。つまり、当該メッセージの宛先としてのユーザが当該ロボット12の近傍或いは周囲に存在するかどうかを判断する。ステップS37で“NO”であれば、つまり当該メッセージの宛先としてのユーザが存在しなければ、ステップS39でユーザを探すコミュニケーション行動を実行して、ステップS35に戻る。
【0113】
一方、ステップS37で“YES”であれば、つまり当該メッセージの宛先としてのユーザが存在すれば、ステップS41で当該メッセージが秘密か(秘匿性を有するか)どうかを判断する。ステップS41で“NO”であれば、つまり当該メッセージが秘密でなければ、図8に示すステップS47に進む。
【0114】
一方、ステップS41で“YES”であれば、つまり当該メッセージが秘密であれば、ステップS43で、ロボット12の近傍或いは周囲に当該メッセージの宛先としてのユーザ以外のユーザ等が存在するかどうかを判断する。他の人物が存在するか否かは、上述のステップS35の処理の結果に基づいて判断される。ただし、周囲に存在するユーザが誰であるかまでを特定する必要がないため、カメラ34および56からの映像信号に基づいて容易に判断することができ、また、超音波距離センサ26の入力に基づいて判断することもできる。或いは、これら両方のセンサを用いて判断するようにしてもよい。
【0115】
ステップS43で“NO”であれば、つまり他のユーザが存在しなければ、図9に示すステップS53に進む。一方、ステップS43で“YES”であれば、つまり他のユーザが存在すれば、ステップS45で当該宛先のユーザに秘密のメッセージが届いていることを伝達して、処理を終了する。たとえば、ステップS45では、ロボット12は、前方斜め上方を向いて、“○○(当該ユーザ名)さん、秘密(親展)のメッセージが届いているよ。”と発声する。具体的には、CPU60は、角度データ(S軸0度、T軸0度、U軸+45度、X軸0度、Y軸0度、Z軸0度、W軸0度、A軸0度、B軸0度、C軸0度、D軸0度)をモータ制御ボード72に送るとともに、“○○さん、秘密のメッセージが届いているよ。”に相当する音声合成データをメモリ70から読み出して音声入力/出力ボード76に与える。
【0116】
上述したように、ステップS41で“NO”であれば、図8に示すステップS47に進み、このステップS47では、メッセージ中の最初のコミュニケーション行動を実行する。たとえば、お辞儀をしながら、“○○さん、こんにちは。”と発声する。このコミュニケーション行動を実行するCPU60の詳細な処理については、上述したとおりであるため、ここでは詳細な説明は省略する。続くステップS49では、当該ユーザ宛のメッセージの伝達を終了したかどうかを判断する。ステップS49で“YES”であれば、つまり当該ユーザ宛のメッセージの伝達を終了すると、図7に示したように処理を終了する。
【0117】
一方、ステップS49で“NO”であれば、つまり当該ユーザ宛のメッセージの伝達を終了していなければ、ステップS51で、メッセージ中の次のコミュニケーション行動を実行して、ステップS49に戻る。たとえば、右手を前に出して(握手をしながら)、“お元気ですか?”と発声する。このコミュニケーション行動を実行するCPU60の詳細な処理については、上述したとおりであるため、ここでは詳細な説明は省略する。
【0118】
このように、ステップS49およびS51の処理が繰り返されて、当該ユーザ宛のメッセージがロボット12によって再現されて、当該ユーザに伝達される。
【0119】
上述したように、ステップS43で“NO”であれば、図9に示すステップS53に進み、このステップS53では、メッセージの伝達を開始することを伝えるコミュニケーション行動を実行する。たとえば、周囲を見渡しながら、“○○さん宛の秘密のメッセージを伝えるよ。”と発声する。具体的には、CPU60は、角度データ(S軸0度、T軸+45度、U軸0度、X軸0度、Y軸0度、Z軸0度、W軸0度、A軸0度、B軸0度、C軸0度、D軸0度)および角度データ(S軸0度、T軸−45度、U軸0度、X軸0度、Y軸0度、Z軸0度、W軸0度、A軸0度、B軸0度、C軸0度、D軸0度)を一定の周期で交互にモータ制御ボード72に送るとともに、“○○さん宛の秘密のメッセージを伝えるよ。”に相当する音声合成データをメモリ70から読み出して音声入力/出力ボード76に与える。
【0120】
続くステップS55では、メッセージ中の最初のコミュニケーション行動を実行する。次にステップS57では、当該ユーザ宛のメッセージの伝達を終了したかどうかを判断する。ステップS57で“YES”であれば、つまり当該ユーザ宛のメッセージの伝達を終了すると、図7に示したように処理を終了する。一方、ステップS57で“NO”であれば、つまり当該ユーザ宛のメッセージの伝達を終了していなければ、ステップS59で周囲の人物(ユーザ)を検出するとともに、周囲に存在するユーザを特定して、ステップS61に進む。
【0121】
ステップS61では、他の人物(ユーザ)が存在するかどうかを判断する。ステップS61で“NO”であれば、つまり他のユーザが存在しなければ、ステップS63で、メッセージ中の次のコミュニケーション行動を実行して、ステップS57に戻る。
【0122】
なお、ステップS55〜ステップS59の処理については、上述したステップS47〜ステップS51の処理と同じであり、また、ステップ59およびステップS61の処理は上述したステップS35およびステップS43の処理と同じであるため、具体的な説明については省略した。
【0123】
一方、ステップS61で“YES”であれば、つまり他のユーザが存在すれば、ステップS65で、他の人物が存在することを伝えるとともに、待ちを示すコミュニケーション行動を実行して、ステップS57に戻る。たとえば、待ちを示すコミュニケーション行動としては、両腕(40R、40L、44R、44L、46R、46L)を前方に出して、“周囲に他の人が居るので、ちょっと待ってね。”と発声する。具体的には、CPU60は、角度データ(S軸0度、T軸0度、U軸0度、X軸+45度、Y軸0度、Z軸0度、W軸0度、A軸+45度、B軸0度、C軸0度、D軸0度)をモータ制御ボード72に送るとともに、“周囲に他の人が居るので、ちょっと待ってね。”に相当する音声合成データをメモリ70から読み出して音声入力/出力ボード76に与える。
【0124】
この実施例によれば、ロボットが音声だけでなくコミュニケーションの相手の身振り手振りも再現するため、ロボットを通して親密なコミュニケーションを取ることができる。したがって、時間的距離或いは物理的距離を超えたコミュニケーションが可能である。
【0125】
なお、この実施例では、日本語を話すユーザ同士のコミュニケーションについて説明したが、他の言語を話すユーザ同士のコミュニケーションについても適用できることは言うまでもない。
【0126】
また、この実施例では、他のロボットのアクセスポイントにアクセスしてメッセージを送信するようにしたが、アクセスポイントに変えてメールアドレスを宛先DBに記録しておく場合には、電子メールでメッセージを送信することができる。たとえば、メッセージに含まれるテキストデータおよび身体動作の識別子si を電子メールの本文入力欄に記述するようにすればよい。
【0127】
他の実施例のシステム10は、コミュニケーション対象の母国語が異なるために、ロボット12或いはロボット14において、コミュニケーション行動の翻訳を実行するようにした以外は上述の実施例と同様であるため、重複する部分についは説明を省略することにする。
【0128】
他の実施例のロボット12およびロボット14では、メッセージの翻訳機能すなわち音声(テキストデータ)の翻訳機能および身体行動の翻訳機能を備えている。たとえば、音声認識機能を含む翻訳機能(翻訳システム)としては、本件出願人が研究開発した日英双方向音声翻訳システム「ATR−MATRIX」を用いることができる。この「ATR−MATRIX」については、「Reaves et al.,”ATR−MATRIX: A Speech Translation System between English and Japanese”, 情報処理学会論文集, Vol. 2, pp.87−88, 1999」に詳細に開示されている。
【0129】
また、ロボット12およびロボット14では、メッセージの翻訳に必要な情報等が追加される。図示は省略するが、メモリ70には、複数の言語に対応した音声合成データが記録される。また、図示は省略するが、辞書DB104の音声認識用辞書には、複数のユーザの複数の言語(この他の実施例では、日本語および英語)による日常会話を記録した音声データを複数記録したものであり、たとえば、各言語に分けて記録される。
【0130】
また、図10(A)に示すように、宛先情報のテーブルには、ユーザ名およびアクセスポイントに加えて、母国語の情報が記録される。ただし、他の実施例では、簡単のため、ユーザAおよびユーザBの母国語が日本語であり、ユーザCの母国語が英語である場合について示してあるが、これは単なる例示であり、これに限定されるべきでない。たとえば、ユーザAとユーザBとが異なる母国語である場合やユーザA、ユーザBおよびユーザCがそれぞれ互いに異なる母国語である場合についても考えることができる。また、母国語も日本語や英語に限定されるべきでなく、他の国等の言語であってもよいことはもちろんである。
【0131】
さらに、図10(B)に示すように、行動パターン辞書では、身体動作に対応する行動パターンの辞書として、一対の行動パターンが記録される。具体的には、識別子si は日本人(ここでは、日本国籍の人というよりは、日本で育った人を意味する。)の身体動作(行動パターン)の識別子であり、識別子ti はアメリカ人(同様に、アメリカで育った人を意味する。)の行動パターンの識別子である。
【0132】
このように、日本人の行動パターンとアメリカ人の行動パターンとを用意するのは、同じ身体動作であっても、国(地域)や文化が異なれば、それぞれ身振り手振りが異なる場合があるからである。たとえば、日本人がおいでおいでをする場合には、掌が下向きで手招きするが、アメリカ人がおいでおいでをする場合には、掌が上向きで手招きする。また、日本人が挨拶をする場合には、お辞儀をするが、外国においては、抱きついたり、キスをしたりする。
【0133】
したがって、辞書DB104(或いはメモリ70)には、識別子si および識別子ti に対応する行動パターンのデータが記録され、メモリ70のROMには識別子si および識別子ti に対応する角度データが記録される。
【0134】
たとえば、ユーザAとユーザCとが、ロボット12およびロボット14を通してコミュニケーションを取る場合には、ユーザAがロボット12に対してメッセージを入力すると、ロボット12は、入力された宛先のユーザ(ユーザC)の母国語の情報を宛先情報から取得して、翻訳の必要性を判断する。翻訳が必要な場合には、メッセージに含まれるテキストデータを翻訳するとともに、行動パターンを翻訳する。つまり、テキストデータを日本語から英語に翻訳するとともに、行動パターンの識別子si に対応する識別子ti に変更(翻訳)する。
【0135】
このように翻訳されたメッセージがロボット12からロボット14に送信され、ロボット14では受信したメッセージに従うコミュニケーション行動をユーザCに対して実行する。
【0136】
一方、ユーザCがロボット14に対してメッセージを入力すると、入力された宛先のユーザ(ユーザA)の母国語の情報を宛先情報から取得して、翻訳の必要性を判断する。翻訳が必要な場合には、メッセージに含まれるテキストデータを翻訳するとともに、行動パターンを翻訳する。つまり、テキストデータを英語から日本語に翻訳するとともに、行動パターンの識別子ti に対応する識別子si に翻訳する。
【0137】
このように翻訳されたメッセージがロボット14からロボット12に送信され、ロボット12では受信したメッセージに従うコミュニケーション行動をユーザAに対して実行する。
【0138】
具体的には、ロボット12(ロボット14)のCPU60が図11に示すフロー図に従ってメッセージの送信/記録処理を実行する。ただし、上述の実施例で示した処理と同じステップについては同じ参照番号を付し、その説明については省略することにする。また、メッセージ伝達処理は、上述の実施例と同じであるため、重複した説明は省略する。
【0139】
図11に示すように、ステップS11またはS13でメッセージを作成すると、ステップS101で当該メッセージについての翻訳が必要かどうかを判断する。具体的には、当該メッセージを入力したユーザの母国語と当該メッセージの宛先としてのユーザの母国語とを比較し、異なるか否かを判断する。
【0140】
ステップS101で“NO”であれば、つまり翻訳が必要でなければ、そのままステップS15に進む。一方、ステップS101で“YES”であれば、つまり翻訳が必要であれば、ステップS103でメッセージを翻訳してからステップS15に進む。
【0141】
他の実施例によれば、コミュニケートする相手に応じてロボットがメッセージを翻訳するので、異なる母国語のユーザ同士であってもロボットを通して簡単にコミュニケーションを図ることができる。
【0142】
なお、他の実施例では、異なる母国語のユーザにメッセージを送信する場合には、必ずメッセージを翻訳するようにしたが、身体動作については翻訳せずにそのままメッセージを送信するようにしてもよい。また、上述の実施例に示したように、メッセージを翻訳せずにそのまま送信するようにしてもよい。このようにすれば、他の国における言語や身振り手振りを知ることができ、外国語を習得したり、異文化交流したりできると考えられる。
【0143】
また、他の実施例では、メッセージの送信側でメッセージを翻訳するようにしたが、メッセージの受信側でメッセージを翻訳するようにしてもよい。
【図面の簡単な説明】
【図1】この発明の一実施例の構成を示す図解図である。
【図2】図1実施例のロボットのハードウェアを示す正面図である。
【図3】図1実施例のロボットの電気的な構成を示すブロック図である。
【図4】図3に示すデータベースの内容の一例を示す図解図である。
【図5】図3に示すCPUのメッセージの送信/記録処理を示すフロー図である。
【図6】図3に示すCPUの身体動作の特定処理を示すフロー図である。
【図7】図3に示すCPUのメッセージ伝達処理の一部を示すフロー図である。
【図8】図3に示すCPUのメッセージ伝達処理の他の一部を示すフロー図である。
【図9】図3に示すCPUのメッセージ伝達処理のその他の一部を示すフロー図である。
【図10】この発明の他の実施例のデータベースの内容を示す図解図である。
【図11】他の実施例のCPUのメッセージの送信/記録処理の一例を示すフロー図である。
【符号の説明】
10 …コミュニケーションシステム
12,14 …コミュニケーションロボット
60 …CPU
70 …メモリ
72 …モータ制御ボード
74 …センサ入力/出力ボード
76 …音声入力/出力ボード
100,102,104 …データベース
Claims (13)
- 1または複数のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットであって、
1の前記コミュニケーション対象の身体動作を取得する身体動作取得手段、
前記身体動作取得手段によって取得された身体動作を含むメッセージを作成する作成手段、
前記メッセージを記録媒体に記録する記録手段、および
前記記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボット。 - 1または複数のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットであって、
1の前記コミュニケーション対象から音声を取得する音声取得手段、
前記音声に関連する当該コミュニケーション対象の身体動作を取得する身体動作取得手段、
前記音声取得手段によって取得された音声および前記身体動作取得手段によって取得された身体動作の少なくとも一方を含むメッセージを作成する作成手段、
前記メッセージを記録媒体に記録する記録手段、および
前記記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボット。 - 前記メッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットに送信する送信手段、および前記作成手段によってメッセージが作成されたとき当該メッセージの宛先に応じて前記記録手段および前記送信手段のいずれか一方を能動化する能動化手段をさらに備える、請求項1または2記載のコミュニケーションロボット。
- 他のコミュニケーションロボットから送信されたメッセージを受信して前記記録媒体に記録するメッセージ受信手段をさらに備える、請求項3記載のコミュニケーションロボット。
- 前記実行手段は前記記録手段に前記メッセージが記録されているとき当該メッセージの宛先としてのコミュニケーション対象を探すためのコミュニケーション行動を実行する、請求項1ないし4のいずれかに記載のコミュニケーションロボット。
- 前記メッセージが秘匿性を有するとき、当該メッセージの宛先以外のコミュニケーション対象が存在するか否かを判別する判別手段をさらに備え、
前記判別手段によって当該メッセージの宛先以外のコミュニケーション対象が存在しないと判別されたとき、前記実行手段は当該メッセージに従うコミュニケーション行動を当該メッセージの宛先としてのコミュニケーション対象に対して実行する、請求項1ないし5のいずれかに記載のコミュニケーションロボット。 - 前記判別手段によって当該メッセージの宛先以外のコミュニケーション対象が存在すると判別されたとき、前記実行手段は当該メッセージの存在のみを当該メッセージの宛先としてのコミュニケーション対象に対して報知するコミュニケーション行動を実行する、請求項6記載のコミュニケーションロボット。
- 前記判別手段は、実行手段によって秘匿性を有するメッセージに従うコミュニケーション行動が実行されているとき、当該メッセージの宛先以外のコミュニケーション対象が存在するか否かをさらに判別し、
前記判別手段によって当該メッセージの宛先以外のコミュニケーション対象が存在すると判別されたとき、前記実行手段は当該メッセージに従うコミュニケーション行動を中断する、請求項6記載のコミュニケーションロボット。 - 少なくともコミュニケーション対象の母国語情報を記録するデータベース、
前記1のコミュニケーション対象の母国語と前記宛先のコミュニケーション対象の母国語とを比較する比較手段、および
前記比較手段の比較結果に基づいて前記メッセージを翻訳する翻訳手段をさらに備える、請求項1ないし8のいずれかに記載のコミュニケーションロボット。 - 前記翻訳手段は、前記メッセージに含まれる音声を翻訳する音声翻訳手段、および前記メッセージに含まれる身体行動を翻訳する身体行動翻訳手段を含む、請求項9記載のコミュニケーションロボット。
- 1または複数のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットであって、
音声および身体動作の少なくとも一方を含むメッセージを受信するメッセージ受信手段、および
前記メッセージ受信手段によって受信されたメッセージに従うコミュニケーション行動を当該メッセージの宛先としてのコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボット。 - 1または複数のコミュニケーション対象との間でコミュニケーション行動を実行する2以上のコミュニケーションロボットを互いに通信可能に設けたコミュニケーションシステムであって、
前記コミュニケーションロボットは、
1の前記コミュニケーション対象の身体動作を取得する身体動作取得手段、
前記身体動作取得手段によって取得された身体動作を含むメッセージを作成する作成手段、
前記メッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットに送信する送信手段、
他の前記コミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するメッセージ受信手段、および
前記記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションシステム。 - 1または複数のコミュニケーション対象との間でコミュニケーション行動を実行する2以上のコミュニケーションロボットを互いに通信可能に設けたコミュニケーションシステムであって、
前記コミュニケーションロボットは、
1の前記コミュニケーション対象から音声を取得する音声取得手段、
前記音声に関連する当該コミュニケーション対象の身体動作を取得する身体動作取得手段、
前記音声取得手段によって取得された音声および前記身体動作取得手段によって取得された身体動作の少なくとも一方を含むメッセージを作成する作成手段、
前記メッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行するコミュニケーションロボットに送信する送信手段、
他の前記コミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するメッセージ受信手段、および
前記記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003019054A JP4014044B2 (ja) | 2003-01-28 | 2003-01-28 | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003019054A JP4014044B2 (ja) | 2003-01-28 | 2003-01-28 | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004230479A true JP2004230479A (ja) | 2004-08-19 |
JP4014044B2 JP4014044B2 (ja) | 2007-11-28 |
Family
ID=32949030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003019054A Expired - Lifetime JP4014044B2 (ja) | 2003-01-28 | 2003-01-28 | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4014044B2 (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146435A (ja) * | 2004-11-17 | 2006-06-08 | Univ Waseda | 動作伝達システムおよび動作伝達方法 |
WO2006110011A1 (en) * | 2005-04-14 | 2006-10-19 | Sk Telecom Co., Ltd. | Multimedia message service by mobile robot |
JP2007160442A (ja) * | 2005-12-12 | 2007-06-28 | Honda Motor Co Ltd | 移動ロボット |
JP2007216363A (ja) * | 2006-02-20 | 2007-08-30 | Saitama Univ | コミュニケーションロボット |
JP2007260864A (ja) * | 2006-03-29 | 2007-10-11 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
WO2008129818A1 (ja) * | 2007-03-30 | 2008-10-30 | Sega Corporation | ロボットのモーション編集装置及びそのプログラム |
WO2009031486A1 (ja) * | 2007-09-06 | 2009-03-12 | Olympus Corporation | ロボット制御システム、ロボット、プログラム及び情報記憶媒体 |
JP2009241166A (ja) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | ロボット遠隔操作システム |
JP2010260141A (ja) * | 2009-05-08 | 2010-11-18 | Nec Corp | ロボット装置 |
JP2012179178A (ja) * | 2011-02-28 | 2012-09-20 | Digital Link Co Ltd | ロボット端末及びロボットシステム |
KR101548907B1 (ko) * | 2009-01-06 | 2015-09-02 | 삼성전자 주식회사 | 다중언어의 대화시스템 및 그 제어방법 |
JP2016109784A (ja) * | 2014-12-03 | 2016-06-20 | シャープ株式会社 | 情報処理装置、情報処理方法、対話システム、および制御プログラム |
CN106695786A (zh) * | 2016-12-12 | 2017-05-24 | 北京光年无限科技有限公司 | 一种用于智能机器人分工协作方法以及机器人 |
JP2017119337A (ja) * | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法およびロボットプログラム |
JP2017191390A (ja) * | 2016-04-12 | 2017-10-19 | ロボットスタート株式会社 | コミュニケーションシステム、会話ログ収集システム、サーバ及びコミュニケーション方法 |
JP2018075657A (ja) * | 2016-11-08 | 2018-05-17 | 富士通株式会社 | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム |
US10321065B2 (en) | 2017-06-23 | 2019-06-11 | Panasonic Intellectual Property Management Co., Ltd. | Remote communication method, remote communication system, and autonomous movement device |
JP2019101971A (ja) * | 2017-12-07 | 2019-06-24 | カシオ計算機株式会社 | 見守りロボット、見守り方法及びプログラム |
JP2019136481A (ja) * | 2018-02-13 | 2019-08-22 | カシオ計算機株式会社 | 会話出力システム、会話出力サーバ、会話出力方法及びプログラム |
US10397750B2 (en) | 2017-01-20 | 2019-08-27 | Panasonic Intellectual Property Management Co., Ltd. | Method, controller, telepresence robot, and storage medium for controlling communications between first communication device and second communication devices |
JP2020030477A (ja) * | 2018-08-20 | 2020-02-27 | 富士ゼロックス株式会社 | 自走式移動装置、情報処理装置及びプログラム |
US10691898B2 (en) | 2015-10-29 | 2020-06-23 | Hitachi, Ltd. | Synchronization method for visual information and auditory information and information processing device |
CN111736694A (zh) * | 2020-06-11 | 2020-10-02 | 上海境腾信息科技有限公司 | 一种远程会议的全息呈现方法、存储介质及系统 |
JP2020537206A (ja) * | 2017-10-09 | 2020-12-17 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ロボットインタラクションのための方法及びデバイス |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105082150B (zh) * | 2015-08-25 | 2017-04-05 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
-
2003
- 2003-01-28 JP JP2003019054A patent/JP4014044B2/ja not_active Expired - Lifetime
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146435A (ja) * | 2004-11-17 | 2006-06-08 | Univ Waseda | 動作伝達システムおよび動作伝達方法 |
WO2006110011A1 (en) * | 2005-04-14 | 2006-10-19 | Sk Telecom Co., Ltd. | Multimedia message service by mobile robot |
JP2007160442A (ja) * | 2005-12-12 | 2007-06-28 | Honda Motor Co Ltd | 移動ロボット |
JP4512830B2 (ja) * | 2006-02-20 | 2010-07-28 | 国立大学法人埼玉大学 | コミュニケーションロボット |
JP2007216363A (ja) * | 2006-02-20 | 2007-08-30 | Saitama Univ | コミュニケーションロボット |
JP2007260864A (ja) * | 2006-03-29 | 2007-10-11 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
WO2008129818A1 (ja) * | 2007-03-30 | 2008-10-30 | Sega Corporation | ロボットのモーション編集装置及びそのプログラム |
WO2009031486A1 (ja) * | 2007-09-06 | 2009-03-12 | Olympus Corporation | ロボット制御システム、ロボット、プログラム及び情報記憶媒体 |
JP2009241166A (ja) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | ロボット遠隔操作システム |
KR101548907B1 (ko) * | 2009-01-06 | 2015-09-02 | 삼성전자 주식회사 | 다중언어의 대화시스템 및 그 제어방법 |
JP2010260141A (ja) * | 2009-05-08 | 2010-11-18 | Nec Corp | ロボット装置 |
JP2012179178A (ja) * | 2011-02-28 | 2012-09-20 | Digital Link Co Ltd | ロボット端末及びロボットシステム |
JP2016109784A (ja) * | 2014-12-03 | 2016-06-20 | シャープ株式会社 | 情報処理装置、情報処理方法、対話システム、および制御プログラム |
US10691898B2 (en) | 2015-10-29 | 2020-06-23 | Hitachi, Ltd. | Synchronization method for visual information and auditory information and information processing device |
JP2017119337A (ja) * | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法およびロボットプログラム |
JP2017191390A (ja) * | 2016-04-12 | 2017-10-19 | ロボットスタート株式会社 | コミュニケーションシステム、会話ログ収集システム、サーバ及びコミュニケーション方法 |
JP2018075657A (ja) * | 2016-11-08 | 2018-05-17 | 富士通株式会社 | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム |
CN106695786B (zh) * | 2016-12-12 | 2020-03-31 | 北京光年无限科技有限公司 | 一种用于智能机器人分工协作方法以及机器人 |
CN106695786A (zh) * | 2016-12-12 | 2017-05-24 | 北京光年无限科技有限公司 | 一种用于智能机器人分工协作方法以及机器人 |
US10397750B2 (en) | 2017-01-20 | 2019-08-27 | Panasonic Intellectual Property Management Co., Ltd. | Method, controller, telepresence robot, and storage medium for controlling communications between first communication device and second communication devices |
US10321065B2 (en) | 2017-06-23 | 2019-06-11 | Panasonic Intellectual Property Management Co., Ltd. | Remote communication method, remote communication system, and autonomous movement device |
JP7254772B2 (ja) | 2017-10-09 | 2023-04-10 | アリババ・グループ・ホールディング・リミテッド | ロボットインタラクションのための方法及びデバイス |
JP2020537206A (ja) * | 2017-10-09 | 2020-12-17 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ロボットインタラクションのための方法及びデバイス |
JP2019101971A (ja) * | 2017-12-07 | 2019-06-24 | カシオ計算機株式会社 | 見守りロボット、見守り方法及びプログラム |
JP2019136481A (ja) * | 2018-02-13 | 2019-08-22 | カシオ計算機株式会社 | 会話出力システム、会話出力サーバ、会話出力方法及びプログラム |
JP7331349B2 (ja) | 2018-02-13 | 2023-08-23 | カシオ計算機株式会社 | 会話出力システム、サーバ、会話出力方法及びプログラム |
CN110858351A (zh) * | 2018-08-20 | 2020-03-03 | 富士施乐株式会社 | 自走式移动装置、信息处理装置及计算机可读取记录媒体 |
JP2020030477A (ja) * | 2018-08-20 | 2020-02-27 | 富士ゼロックス株式会社 | 自走式移動装置、情報処理装置及びプログラム |
JP7180198B2 (ja) | 2018-08-20 | 2022-11-30 | 富士フイルムビジネスイノベーション株式会社 | 自走式移動装置、情報処理装置及びプログラム |
US11559892B2 (en) | 2018-08-20 | 2023-01-24 | Fujifilm Business Innovation Corp. | Self-propelled travelling apparatus, information processing apparatus, and non-transitory computer readable medium |
CN110858351B (zh) * | 2018-08-20 | 2024-06-18 | 富士胶片商业创新有限公司 | 自走式移动装置、信息处理装置及计算机可读取记录媒体 |
CN111736694A (zh) * | 2020-06-11 | 2020-10-02 | 上海境腾信息科技有限公司 | 一种远程会议的全息呈现方法、存储介质及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4014044B2 (ja) | 2007-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4014044B2 (ja) | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム | |
JP5429462B2 (ja) | コミュニケーションロボット | |
JP3996015B2 (ja) | 姿勢認識装置及び自律ロボット | |
JP4024683B2 (ja) | コミュニケーションロボット | |
JP6505748B2 (ja) | 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット | |
US7689319B2 (en) | Communication robot control system | |
JP4718987B2 (ja) | インターフェース装置およびそれを備えた移動ロボット | |
JP5033994B2 (ja) | コミュニケーションロボット | |
JP5120745B2 (ja) | コミュニケーションロボット | |
JP5732632B2 (ja) | ロボットシステムおよびそれに用いる空間陣形認識装置 | |
JP4599522B2 (ja) | コミュニケーションロボット | |
CN106737760B (zh) | 一种人型智能机器人及人机交流系统 | |
US20190279529A1 (en) | Portable robot for two-way communication with the hearing-impaired | |
JP2009241166A (ja) | ロボット遠隔操作システム | |
JP4435212B2 (ja) | 姿勢認識装置及び自律ロボット | |
JP5145569B2 (ja) | 対象物特定方法および装置 | |
JP4677593B2 (ja) | コミュニケーションロボット | |
WO2022228068A1 (zh) | 电子设备的图像获取方法、装置、系统及电子设备 | |
JP4517086B2 (ja) | コミュニケーションロボットシステムおよびロボット制御装置 | |
JP4399603B2 (ja) | コミュニケーションロボット | |
KR102314710B1 (ko) | 청각장애인을 위한 수화 번역 서비스 시스템 | |
JP3942599B2 (ja) | コミュニケーションロボット | |
JP2005131713A (ja) | コミュニケーションロボット | |
JP2007130691A (ja) | コミュニケーションロボット | |
JP2008080431A (ja) | ロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070905 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4014044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |