JP2008307662A - ロボットシステム、エディタ端末、およびエディタプログラム - Google Patents

ロボットシステム、エディタ端末、およびエディタプログラム Download PDF

Info

Publication number
JP2008307662A
JP2008307662A JP2007159547A JP2007159547A JP2008307662A JP 2008307662 A JP2008307662 A JP 2008307662A JP 2007159547 A JP2007159547 A JP 2007159547A JP 2007159547 A JP2007159547 A JP 2007159547A JP 2008307662 A JP2008307662 A JP 2008307662A
Authority
JP
Japan
Prior art keywords
behavior
editor
robot
action
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007159547A
Other languages
English (en)
Other versions
JP5181541B2 (ja
Inventor
Ichiro Watanabe
一郎 渡辺
Kazuo Narita
一生 成田
Katashi Nagao
確 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007159547A priority Critical patent/JP5181541B2/ja
Publication of JP2008307662A publication Critical patent/JP2008307662A/ja
Application granted granted Critical
Publication of JP5181541B2 publication Critical patent/JP5181541B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】本発明は、ロボットの動作を記述したプログラムを作成してロボットを動作させるロボットシステム等に関し、ロボットの動作(ビヘイビア)の多様性を確保する。
【解決手段】多数のエディタ端末11、ビヘイビアサーバ12、および多数のロボット13がネットワーク14に接続されており、それら多数のエディタ端末11のそれぞれでロボット13の動作(ビヘイビア)を定義し、その定義されたビヘイビアをビヘイビアサーバ12に蓄積し、各ロボット13をそのビヘイビアサーバ12に蓄積されたビヘイビアで動作させる。
【選択図】 図1

Description

本発明は、ロボットの動作を記述したプログラムを作成してロボットを動作させるロボットシステム、ロボットの動作を記述したプログラムを作成するエディタ端末、およびコンピュータ等の情報処理装置をエディタ端末として動作させるエディタプログラムに関する。
近年、犬型やネコ型、あざらし型などのペットロボットに代表されるような、コミュニケーション可能な小型ロボット(以下では、コミュニケーションロボットと呼ぶ)の存在が一般家庭に受け入れられるようになってきた。このようなロボットは、生き物のような振る舞い(ビヘイビア)をすることで、ユーザに親近感を与えることができる。ビヘイビアはロボットの生き物らしさそのものであり、ビヘイビアの設計の良し悪しが、ロボットと人間の関係に大きく影響し、また、ロボットとユーザの間のインタラクションおよびコミュニケーションの質を左右すると考えられる。
コミュニケーションロボットは、人間とコミュニケーションを行うことを目的としたロボットである。ユーザを飽きさせずに、ユーザからの積極的なコミュニケーションを得るためには、ロボットの設計に工夫が必要である。その工夫の一つとしてあげられるのが、ロボットの成長やふるまいの経時変化である。従来のコミュニケーションロボットの成長は、ビヘイビアの実行制限の選択的解除によるアプローチが一般的である。つまり、ロボットの初期状態では全てのビヘイビアが実行可能ではなく、ロボットの起動時間や、ユーザとのインタラクションを経て、ビヘイビアの実行制限を選択的に解除していく。このようにすることで、ロボットがあたかも成長しているかのようにユーザに錯覚させることができるのである。しかし、このような従来手法では、ロボットは、(限られた人数の)開発者があらかじめ実装したビヘイビアの集合を徐々に「小出し」に実行していくのみで、あらかじめ用意されたもの以上のビヘイビアを覚えることはないため、ビヘイビアのパターンには限界があり、それがユーザの“飽き”の原因になるおそれがある。
このような事情は、物理的な身体を持った人形等のロボットに限られるものではなく、ソフトウエア上のエージェントや、アバター、ゲームキャラクタなど、物理的な身体は持たずにコンピュータ内に構築された仮想空間(仮想世界)で動作する人形等(ここでは、これらを含め、「ロボット」と称する)であっても同様である。
本発明は、上記事情に鑑み、ビヘイビアの多様性を確保したロボットシステム、そのロボットシステムに好適なエディタ端末およびエディタプログラムを提供することを目的とする。
上記目的を達成する本発明のロボットシステムは、ネットワークを介して接続された、複数台のエディタ端末、サーバ、および複数台のロボットからなるロボットシステムであって、
上記複数台のエディタ端末それぞれはロボットの一事象単位の振る舞いを記述したプログラム部品を、ユーザによる操作に応じて作成して前記サーバに向けて送信するものであり、
上記サーバは、複数台のエディタ端末それぞれから送信されてきたプログラム部品を蓄積し、該プログラム部品を、複数台のロボットそれぞれからの要求に応じて該ロボットに向けて送信するものであり、
上記複数台のロボットそれぞれは、サーバから送信を受けたプログラム部品に従って動作するものであることを特徴とする。
ここで、本発明における「ロボット」は、前述したとおり、物理的な身体を持ったロボットであってもよく、物理的な身体は持たずにコンピュータ上に構築された仮想世界で動作する、いわゆるソフトウエアロボットであってもよい。
近年、Wikipediaに代表されるように、マス・コラボレーションの考え方が一般的に受け入れられてきている。マス・コラボレーションは、不特定多数のユーザがそれぞれ独立に創造的作業をおこない、それぞれの成果物を統合し一つのコンテンツ(集合)を構築する。不特定多数のユーザが参加することにより、必然的に、コンテンツの量および多様性が高まり、また、参加者一人一人のコンテンツ作成能力が高くなくても、統合の過程で、第三者によって不備な点が発見・修正され、全体の質が保たれることが期待される。
本発明のロボットシステムは、上記の考え方の下、ロボットの動作を記述したプログラム部品を不特定多数のユーザによって作成・共有するシステムを構築したものであり、ビヘイビアのパターンの限界が取り去られ、ユーザが‘飽き’にくいシステムが実現する。
ここで、本発明のロボットシステムにおいて、上記サーバは、さらに、エディタ端末からの要求に応じて、そのエディタ端末に向けて、他のエディタ端末で作成されたプログラム部品も送信するものであることが好ましく、また、
上記エディタ端末は、サーバからのプログラム部品の送信を受け、ユーザによる操作に応じて、送信を受けたプログラム部品を基にした新たなプログラム部品を作成するものであることが好ましく、さらに、
上記エディタ端末は、ユーザ操作に応じて、プログラム部品に注釈を記入するものであることが好ましい。
各エディタ端末は、自分の1台のエディタ端末で作成したプログラム部品だけでなく、他のエディタ端末で作成したプログラム部品を基に新たなプログラム部品を作成できるようにすることで、自分にはなかった発想の動作を取り入れた新たなプログラム部品を作成することができるなど、プログラム部品のバリエーション、すなわちロボットの動作の多様性を一層広げることができる。
またプログラム部品に注釈を記入することができるようにしておくと、自分がそのプログラム部品を作成した意図や背景などを他のユーザ(他のエディタ端末)に知らせたり、あるいは他のユーザ(他のエディタ端末)で作成されたプログラム部品の矛盾点や改良点を指摘し、そのプログラム部品の設計者に修正や改良を促すことなどが可能となる。
また本発明のロボットシステムにおいて、上記サーバは、複数台のエディタ端末それぞれから送信されてきたプログラム部品に、プログラム部品を個別に識別するための個別のIDを付して蓄積するものであることが好ましく、さらにまた、上記複数台のロボットそれぞれは、サーバからプログラム部品の送信を受けるにあたり、上記IDに基づき、受信未了のプログラム部品のみ送信を受けるものであることが好ましい。
複数のエディタ端末から通信されてきた複数のプログラム部品に個別のIDを付与することにより、サーバにおけるプログラム部品の管理が容易となる。
また、ロボットは、このIDに基づいて、まだ受信していないプログラム部品のみ送信を受けることにより、通信量を減らすことができ、例えばロボットに電源を投入してから動作を開始するまでの立ち上がり時間の短縮を図ることなどが可能となる。
また、上記本発明のロボットシステムにおいて、上記エディタ端末は、優先度の情報が付されたプログラム部品を作成するものであって、上記ロボットは、複数のプログラム部品に従う複数の動作が互いに競合する場合に優先度の高いプログラム部品に従って動作するものであることが好ましい。
プログラム部品に優先度の情報を付与しておくことにより、動作の競合を避けることができる。
また、本発明のロボットシステムにおいて、上記複数台のエディタ端末それぞれは、
ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
ロボットの動作自体を記述したアクションを作成するアクションエディタと、
ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
上記コンディションとアクションとエフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
上記ビヘイビアが、そのビヘイビアに記述された、コンディション、アクション、およびエフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであることが好ましい。
コンディションと、アクションと、エフェクトとを分けて作成してそれらを結合する構成を採用することにより、それらの組合せが自由となり、ビヘイビアの多様性を大きく向上させることができる。
この場合に、上記アクションエディタは、
ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、そのタイムライン部で指定された時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
上記アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、第1の時刻では第1の姿勢をとり、第1の姿勢から姿勢を順次変化させて第2の時刻で第2の姿勢をとるアクションを作成するアクション作成手段とを有することが好ましい。
姿勢どうしを補間する構成を採用すると、ユーザによるアクションの指定が容易となる。
また、上記目的を達成する本発明のエディタ端末はロボットの一事象単位の振る舞いを記述したプログラム部品を、ユーザによる操作に応じて作成して、ネットワークを介して接続されたサーバに向けてそのプログラム部品を送信するエディタ端末であって、
ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
ロボットの動作自体を記述したアクションを作成するアクションエディタと、
ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
コンディションとアクションとエフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
上記ビヘイビアが、そのビヘイビアに記述された、コンディション、アクション、およびエフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであることを特徴とする。
この場合に、上記アクションエディタは、
ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、タイムライン部で指定された時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、第1の時刻では第1の姿勢をとり、第1の姿勢から姿勢を順次変化させて第2の時刻で該第2の姿勢をとるアクションを作成するアクション作成手段とを有することが好ましい。
さらに、上記目的を達成する本発明のエディタプログラムは、プログラムを実行する情報処理装置内で実行され、その情報処理装置を、ロボットの一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成して、ネットワークを介して接続されたサーバに向けてそのプログラム部品を送信するエディタ端末として動作させるエディタプログラムであって、上記情報処理装置を、
ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
ロボットの動作自体を記述したアクションを作成するアクションエディタと、
ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
コンディションとアクションとエフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
ビヘイビアが、そのビヘイビアに記述された、コンディション、アクション、およびエフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであるエディタ端末として動作させることを特徴とする。
この場合に、上記アクションエディタは、
ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、タイムライン部で指定した時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
上記アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、第1の時刻では第1の姿勢をとり、第1の姿勢から姿勢を順次変化させて第2の時刻で第2の姿勢をとるアクションを作成するアクション作成手段とを有することが好ましい。
以上の本発明によれば、ロボットの振る舞いを記述した多数のプログラム部品を不特定多数のユーザによって作成、共有することができ、ビヘイビア(振る舞い)の多様性が確保される。
以下、本発明の実施形態について説明する。
図1は、本発明のロボットシステムの全体構成図である。
この図1に示すロボットシステム10には、2台のエディタ端末11と、ビヘイビアサーバ12と、2台のロボット13と、それらを通信で繋ぐネットワーク14が示されている。
尚、ここでは、図示の煩雑さを避けるため、エディタ端末11およびロボット13は、いずれも2台ずつのみ示されているが、典型的にはこのロボットシステム10には、多数のエディタ端末11や多数のロボット13が参加している。
ここで、エディタ端末11は、ロボット13の一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成してビヘイビアサーバに向けて送信するものである。
また、ビヘイビアサーバ12は、エディタ端末11のそれぞれから送信されてきたプログラム部品を蓄積し、蓄積したプログラム部品を、ロボット13それぞれからの要求に応じて要求したロボットに向けて送信するものである。
また、ロボット13は、ビヘイビアサーバ12から送信を受けたプログラム部品に従って動作するものである。
ここでは、ロボット13のビヘイビア(振る舞い)の表現を一種のコンテンツとしてとらえてビヘイビアコンテンツと呼ぶことにする。このロボットシステム10では、エディタ端末11でビヘイビアコンテンツが作成されビヘイビアサーバ12にアップロードされて保存される。ここでは、このビヘイビアサーバ12に保存されているビヘイビアコンテンツ(プログラム部品)の集合をビヘイビア空間と呼んでいる。ロボット13は、ビヘイビアサーバ12と同期しており、ビヘイビアサーバ12上のビヘイビアコンテンツの集合がそのまま、ロボット13で利用可能なビヘイビアとなる。すなわち、ロボット13はビヘイビアサーバ12に対し定期的にビヘイビア空間の更新の有無について問い合わせを行ない、ビヘイビアサーバ12上のビヘイビア空間をロボット13の内部にコピーする。したがって、ビヘイビアサーバ12とのビヘイビアがあるユーザによって追加あるいは編集されたとき、全てのユーザがもつロボット13のビヘイビア空間(のコビー)が更新される。
図2は、図1に示すロボットシステムを構成するビヘイビアサーバとロボットの内部構成を示したブロック図である。
この図2では、ロボット13についての内部構成を中心に示しており、ビヘイビアサーバ12については概要を示し、エディタ端末11については、内部構成はこの図2では省略している。
各ユーザは、自分のエディタ端末11を用いてビヘイビアを作成する。このビヘイビアの作成方法については後で詳述する。
エディタ端末11は、TCPを用いてビヘイビアサーバ12と通信し、ビヘイビアサーバ12に接続して、ユーザが作成したビヘイビアをXML形成のテキストデータとして送信する。
ビヘイビアサーバ12は、エディタ端末11からの接続をTCPで待ち受け、エディタ端末11からの接続があった場合、ビヘイビアサーバ12のサーバモジュール121は、エディタ端末11が送信したテキスト形成のXMLを受け取り、その受け取ったXMLを構文解析してメモリ上にDOMツリーとして展開し、その展開したDOMツリーをXMLデータベース(XMLDB)122に格納する。この格納の際、新しいXMLは、そのXMLにユニークなIDが付され、既存のXMLの階層の最も高いルートノードに対して追加される(図20参照)。
また、ロボット13は、起動時、および起動後の一定時間間隔毎にビヘイビアサーバ12にTCPで接続しビヘイビア空間の更新の有無を問い合わせ、そのビヘイビア空間が更新されていたときは、ビヘイビアサーバ12から新たな追加等のあったビヘイビアのみをXMLでダウンロードし、そのダウンロードしたXMLをXMLパーザ131で構文解析し、メモリ上にビヘイビア制御プログラムとして展開する。
ビヘイビア制御部132は、センサ133をモニタし、あるビヘイビアを実行する条件が発生した場合に、そのビヘイビア実行用の制御プログラムを実行し、ロボット13のモータ等を制御するサーボ制御部134に指令を出してロボット13を動かし、また発音部に指令を出してロボット13に発音させる。
図3は、ビヘイビアサーバ12の内部構成図である。
このビヘイビアサーバ12は、図2にも示したように、サーバモジュール121とXMLDB122を備えており、サーバモジュール121には、XML受信モジュール121aと、XMLDBドライバ121bと、XML送信モジュール121cとが備えられている。
XML受信モジュール121では、エディタ端末11(図1、図2参照)から送られてくるXMLがTCPで受け取られ、XML受信モジュール121がXMLを受け取ると、XMLDBドライバ121bは、そのXMLを構文解析し、XMLDB122のクエリを作成してXMLDB122にそのXMLを登録する。
ロボット13(図1、図2参照)にXMLを送るにあたっては、XMLDBドライバ121bがXMLDB122に対してクエリを発行し、ロボット13に送信すべきXMLを得てXML送信モジュール121cに渡し、XML送信モジュール121cは、要求のあったロボット13に対しそのXMLをTCPで送信する。
尚、XMLDB122に登録されているXMLは、エディタ端末11から新たなビヘイビアの作成等の参照用として送信要求を受ける場合もあり、その場合は、XML送信モジュール121は、XMLDBドライバ121bから受け取ったXMLをその要求があったエディタ端末11に向けて送信する。エディタ端末11は、そのエディタ端末11以外の別のエディタ端末11で作成されたXMLであっても送信要求が可能である。
図4は、エディタ端末の内部構成を示したブロック図である。
このエディタ端末11は、コンディション編集用GUI11、アクション編集用GUI112、エフェクト編集用GUI113、およびビヘイビア編集用GUI114と、さらにビヘイビア記述XML生成・解釈手段115と、通信手段116とから構成されている。
尚、ビヘイビア記述XMLファイル115aは、ビヘイビア記述XML生成・解釈手段115で取り扱われるファイルを明示的に示したものである。
ここでは、ロボット13の一事象の振る舞いを記述した全体をビヘイビアと呼んでいるが、そのビヘイビアは、ロボット13がその事象の振る舞いを開始する契機を記述したコンディションと、ロボット13のその一事象の振る舞い(動きや発声など)自体を記述したアクションと、そのアクションが実行された結果生じる、ロボット13の内部パラメータの変化を記述したエフェクトから構成されている。
ロボット13の内部パラメータの値もコンディションの一部として記述することができ、したがって同じセンサが作動した場合であっても、内部パラメータの値に応じて、あるロボットではあるアクションが実行され、別のロボットではそのアクションは実行されずに別のアクションが実行されるなど、ロボットに応じて別々の行動を生じさせることも可能である。例えば機嫌の良し悪しを表わす内部パラメータを定義しておき、ユーザから「こんにちは」と話しかけられたときに、その機嫌の良し悪しを表わす内部パラメータが機嫌がよいことを表わす値にあったときは「こんにちは」と返答し、機嫌が悪いことを表わす値にあったときは、返答せずにそっぽを向く、といったアクションが可能である。
図4に示すコンディション用GUI111、アクション用GUI112、エフェクト用GUI113は、それぞれ、コンディション、アクション、エフェクトを定義するためのGUI(Graphical User Interface)である。また、ビヘイビア編集用GUI114は、コンディション、アクション、およびエフェクトの結合を定義することによってビヘイビアを定義するためのGUIである。
ビヘイビア記述XML生成・解釈手段115は、4つの編集用GUI111〜114からの入力をXMLに変換したり、ビヘイビアサーバ12(図1参照)から通信手段116を介してダウンロードしたビヘイビア記述XML115aを解釈して各GIU111〜114に表示情報を与える。コンディション、アクション、エフェクト、ビヘイビアのそれぞれには、ビヘイビアサーバ12により各IDが与えられている。
図5は、本実施形態におけるロボットの外観斜視図である。
このロボット13は、クマの人形の外形を有し、複数のサーボモータ、センサ、スピーカなどが内蔵されている。
このロボット13は、内蔵された各サーボモータ(図示せず)によって、両耳がa−a′の方向に移動し、両目の瞼がb−b′の方向に開閉し、口がc−c′の方向に開閉し、首がd−d′方向に傾動し、左手がe−e′の方向(上下方向)およびf−f′の方向(前後方向)に移動し、右手がg−g′の方向(上下方向)およびh−h′の方向(前後方向)に移動し、左足がi−i′の方向に移動し、右足がj−j′の方向に移動する。これらのサーボモータは、各サーボモータを駆動する駆動回路も合わせて、図2ではサーボ制御部134という1つのブロックで表現されている。
また、額には目立たないように小型のマイクロホンが埋め込まれており、口の直ぐ内部には発声用のスピーカが備えられている。図2との関係では、マイクロホンが図2のセンサ133に相当し、スピーカが図2の発音部135に相当する。
本実施形態では、以上のように構成されたロボットを前提にして説明するが、更には、両目にカメラを備えたり、両手の掌にユーザによる握手を検出するスイッチを備える構成なども考えられる。
以下では、エディタ端末における編集用GUIを中心に説明する。
図6は、エディタ端末でエディタプログラムを立ち上げたときに表示されるメインメュー画面である。
ここには、「Condition Editor」、「Action Editor」、」「Effect Editor」、および「Behavior Editor」のボタンが並んでおり、コンディション、アクション、エフェクト、およびビヘイビアのうちの、これから編集を行なおうとしているもののボタンをマウスクリックすることにより、それらのうちのいずれかの編集画面に移行する。「終了」ボタンをマウスクリックすると、このエディタプログラムが終了する。
図7は、コンディション編集画面を示す図である。
図6のメインメニュー画面上で「Condition Editor」のボタンをマウスクリックすると、図7のコンディション編集画面が表示される。
この図7のコンディション編集画面は、上半分のツリー部31と下半分の条件部32とからなり、このコンディション編集画面の初期画面では、ツリー部は、1つのマーク311のみが表示される。
このマーク311上でマウスを右クリックすると「and」、「or」、「Condition」、「終了」の選択肢が表示され、ここでは、「and」を選択するとマーク311の右に「and」の文字があらわれるとともに、2つのマーク312a,312bがあらわれる。マーク312cについては後述する。
次に同様にしてマーク312aの上のマウスを右クリックして、今度は「or」を選択すると、マーク312aの右に「or」の文字があらわれるとともに、2つのマーク313a,313bがあらわれる。2つのマーク313a,313bの右側には、条件部32を使って条件を記入するが、その条件部32の使い方の説明は後に譲り、ここではマーク313aに対応して「flag=1」という条件が記入され、マーク313bに対応して「flag=2」という条件が記入されている。この2つ目のマーク313bに対応する条件を記入すると、もう1つのマーク313cがあらわれ、「or」の条件をさらに記入することができる。「or」に対する条件が「flag=1」と「flag=2」の2つのときは、マーク313cで右クリックして「終了」を選択するとマーク313cが消え、「or」の条件が「flag=1」と「flag=2」その2つに確定する。
これと同様に、「and」の条件を表わす2つのマーク312a,312bの双方に条件を記入すると(図7に示す例では、マーク312aに対応して条件「or」が記入され、マーク312bに対応して条件「dictation:こんにちは」が記入されている)、3つ目のマーク312cがあらわれ、「and」の条件を3つ(あるいはさらにそれ以上)に増やすことができる。マーク312cで右クリックして「終了」を選択すると、マーク312cが消え「and」の条件(ここでは、「or」と「dictation:こんにちは」)が確定する。
条件部32には、図7ではマーク313bに対応する「flag=2」の指定方法が示されている。
プルダウンメニュー321では、「変数比較」と「dictation」のいずれかを選択することができ、プルダウンメニュー322では、変数として、「flag」、「arousal」「pleasure」のいずれかを選択することができる。「flag」は、一般的な様々な条件が数値で定義された変数であり、「arousal」は、目覚めの程度を表わす変数であり、「pleasure」は機嫌の良さを表わす変数である。
また、プルダウンメニュー323では、図7に示す「=」(等しい)、のほか、より大きい、より小さい、以上、以下の中からいずれか1つを指定することができる。
ここでは、先ずツリー部31のマーク313bを指定し、プルダウンメニューで「変数比較」を選択し、プルダウンメニュー322で「flag」を選択し、プルダウンメニュー323で「=」を選択し、記入欄324に「2」を記入して「決定」ボタンをマウスクリックすると、マーク313bの右に「flag=2」が記入される。
マーク312bについては、そのマーク312bをクリックしてプルダウンメニュー321で「dictation」を選択すると、マーク312bの右に「dictation:」が記入され、その右にキーボード(図示せず)を使って、ここに示す例では、「こんにちは」と記入する。
この図7に示したコンディションは、「flag」が「1」又は「2」の値をとり、かつ、「こんにちは」という音声が認識されたことを条件として、図5のロボット13が動作を開始することを表わしている。
また、条件部32には、このコンディションに名付ける名前の記入欄と、このコンディションの解説や不具合の指摘(このコンディションの作者とは違うユーザ(別のエディタ端末)によって書き込まれる場合もある)などを記入するコメントの記入欄が設けられている。
尚、ここでは条件として、「and」、「or」のほかは、「変数比較」と「dictation」(音声認識)のみ説明したが、このほかにも、一定時間が経過したことや、図5に示すロボット13の構造によるが、手のひらのスイッチが押されたこと、あるいは、カメラの映像に基づいて顔認識に成功したことなどを条件に含めてもよい。
以上のようなコンディションを作成して「登録」ボタンを押すと、ここで編集したコンディションを表わすXMLテキストデータが作成されてこのエディタ端末11からビヘイビアサーバ12(図1参照)に送信され、そのXMLにIDが付されてビヘイビアサーバ12のXMLDB122(図2参照)に登録される。
図7に示す「新規」のボタンは、途中まで作成しかけたコンディションを初期状態にクリアするためのボタンであり、「流用」のボタンは、過去に作成されてビヘイビアサーバ12のXMLDB122に蓄積されているコンディションXMLをダウンロードし、そのダウンロードしたコンディションXMLを基に新たなコンディションを作成する場合に押されるボタンである。また、「終了」ボタンは、このコンディション編集画面を閉じて図6のメインメニュー画面に戻るためのボタンである。
図8は、コンディションリストを示す図である。
このコンディションリストは、図7に示すコンディション編集画面上で、「流用」ボタンが押されたときに表示される画面である。
「流用」ボタンが押されると、このエディタ端末11(図1参照)からビヘイビアサーバ12に向けてコンディションの一覧を送信するよう要求が出され、ビヘイビアサーバ12では、XMLDB122に登録されているコンディションがサーチされ図8に示すようなコンディションリスト作成されてエディタ端末ボタンが送信され、エディタ端末では、このコンディションリストが表示される。
このコンディションリストでは、そのコンディションが登録された月日を表わす「月日」、そのコンディションを特定する「ID」、そのコンディションの「名前」、そのコンディションの「コメント」により、1つのコンディションが特定されており、このコンディションリストには、そのエディタ端末が作成されたコンディションのみではなく、他のエディタ端末で作成されたコンディションも並んでいる。
このコンディションリスト上で、特定のコンディションにマウスカーソルを当ててダブルクリックすると、そのダブルクリックされたコンディションの送信要求がビヘイビアサーバ12に送信され、ビヘイビアサーバ12からそのコンディションXMLがその送信要求を行なったエディタ端末に送信されて、そのコンディションが図7に示すコンディション編集画面上に表示される。ユーザは、その表示されたコンディションを編集して新たなコンディションを作成することができる。新たなコンディションを作成して「登録」ボタンを押すとその新たなコンディションを表わすXMLデータが作成されてビヘイビアサーバ12に送信され、ビヘイビアサーバ12では、その新たなコンディションXMLに新たなIDが付されてXMLDB122に登録される。
但し、図7のコンディション編集画面上で「コメント」欄のみ訂正あるいは追記したときは、新たなIDは付されずに、XMLDB122の、同じIDのコンディションXMLに上書きされる。
図9は、コンディションXMLの一例を示す図である。
ここには、図7と同様、ロボット13が動作を関係する条件として、「flag」が「1」か「2」であって、かつ、「こんにちは」という音声が認識されるという条件がなされている。
図7のコンディション編集画面上でコンディションを編集して「登録」ボタンが押されると、例えば図9に示すようなコンディションXMLが作成されてビヘイビアサーバ12に送信される。ビヘイビアサーバ12では、IDとして、ここでは「CND01」が付されて、XMLDB122に登録される。
尚、この図9では、このコンディションに付した名前やコメントの図示は省略している。
図10は、アクション編集画面を示す図である。
図6のメインメニュー画面上で「Action Editor」のボタンをクリックすると図10のアクション編集画面が表示される。
この図10のアクション編集画面は、上半分のタイムライン部41と、下半分の動作入力部42とからなる。
ロボット13は、内部的に、時間を離散的に分別した、フレームという時間単位を持っており、ここでは、1フレームは100msec.に設定されている。タイムライン部41ではこの1フレームが方眼の1マスとして表現されており、横軸に動作開始からの経過時間、縦軸に動作の部位等が並んでいる。
図5に示すロボットとの対比で説明すると、「NECK」はロボットの首のd−d′方向の動き、「LEFT_ARM_SIDE」は左手のe−e′方向の動き、「LEFT_ARM_FRONT」は左手のf−f′方向の動き、「LEFT_LEG」は左足のi−i′方向の動き、「RIGHT_ARM_SIDE」は右手のg−g′方向の動き、「RIGHT_ARM_FRONT」は右手のh−h′方向の動き、「RIGHT_LEG」は右足のj−j′方向の動き、「EAR」は両耳のa−a′方向の動き、「EYELID」は両目の瞼のb−b′方向の動き、「MOUTH」は口のc−c′方向の動きを表わしている。
タイムライン部41に示されたいずれかのフレーム(縦に一列に並ぶ方眼)にマウスカーソルを合わせてクリックすると、そのフレームに、そのフレームが選択されたことを表わす枠411が表示される。ここでは、この枠411が表示されたフレームをキーフレームと称する。
このようにしてキーフレームを指定し、動作入力部42ではそのキーフレームの時点におけるロボットの姿勢を指定する。
この動作入力部42では、指定したキーフレームにおける姿勢を指定する部位等を指定する。この図10では「NECK」と「LEFT_ARM_SIDE」と「RIGHT_ARM_SIDE」にチェックが付されており、これら3つのサーボモータによる姿勢を指定することが示されている。
このようにしてチェックを付した後、スライドバー421により、そのチェックを付したサーボモータによる姿勢が指定される。例えば「NECK」に対応するスライドバーは左端が頷いた姿勢、右端が頭を持ち上げた姿勢を表わしており、図10の場合、タイムライン部41で指定したキーフレームの時点では、頭を持ち上げた姿勢をとるべきことが指定されている。
間を空けた2つのフレームで異なる姿勢が指定されると、それらの2つのフレームの間では、それら2つのフレームの姿勢が補間される。すなわち、ある部位について以降のフレームで姿勢が指定されていないときは、それまでの姿勢がそのまま維持され、また、以降のいずれかのフレームで姿勢が指定されているときは、指定されたフレームまで時間が経過した時点でその姿勢となるようになめらかに補間されて動作する。
例えば、図10のように指定すると、タイムライン部41に示すフレーム412aでは、このロボットが初期状態でどのような姿勢にあっても、動作開始から時刻がこのフレーム412aまで進む間に各部位が移動して、このフレーム412aに至った時点ではこのフレーム412aで指定された姿勢となり、その後はフレーム412bでは首の姿勢が指定されているため、そのフレーム412bの時点で首がそのフレーム412bで指定された姿勢となるように、フレーム412aからフレーム412bにかけて連続的に移動し、フレーム412cでは、首と、左手(サイド)と、右手(サイド)とが指定されているため、首はフレーム412bで指定された姿勢からフレーム412cで指定された姿勢に向かって移動してフレーム412bの時点ではそのフレーム412bで指定した姿勢となる。また、これと同様に、左手(サイド)と右手(サイド)は、フレーム412aで指定された姿勢から移動してフレーム412cではそのフレーム412cで指定された姿勢となる。首、左手(サイド)、右手(サイド)以外の各部位については、フレーム412aの時点以降は、そのフレーム412aで指定された姿勢がそのまま維持される。
発声部422には、ここで指定した動作とともにロボットに発声させるべき文字(この図10に示す例では「こんにちは」)が記入される。
図1では、エディタ端末11とロボット13は、それぞれ別々にネットワーク14に接続されているように示されており、概念的にはこれでよいが、実際のシステムでは、パーソナルコンピュータ(以下、「PC」と略記する)がネットワークに接続され、そのPC内でここで説明しているようなエディタプログラムが実行されてそのPCがエディタ端末として動作し、またそのPCにロボット13が接続されて、そのロボット13はそのPCを介してネットワーク14に接続されるような運用形態が考えられる。
図10に示す「再生」ボタンは、上記のような運用形態で有用なボタンであり、この「再生」ボタンを押すと、このエディタプログラムが実行されているPCに接続されている「自分の」ロボットに、ここで編集したアクションの動作および発声をさせることができ、その編集したアクションを実際の動作や発声で確認することができる。
また、図10の「名前」の欄は、ここで編集したアクションに付ける名前を入力する欄、「コメント」の欄は、ここで編集した(又は、ビヘイビアサーバからダウンロードした)アクションに付けるコメントを記入する欄である。
また、図10の「新規」、「流用」、「登録」、「終了」の各ボタンは、図7に示す同一名称の各ボタンと同じである。すなわち、「新規」ボタンは作成中のアクションが消されてアクションを最初から作成する状態に示すボタンであり、「流用」ボタンは、過去に作成されてビヘイビアサーバ12のXMLDB122に蓄積されているアクションXMLをダウンロードしてそのダウンロードしたアクションXMLを基に新たなアクションを作成する場合に押されるボタンであり、「登録」ボタンは、ここで編集したアクションを登録するときに押されるボタンである。すなわち、この「登録」ボタンが押されると、ここで編集されたアクションを表わすアクションXMLが作成され、ビヘイビアサーバ12に送信され、IDが付されてXMLDB122に登録される。
「終了」ボタンは、このアクション編集画面を閉じて図6のメインメニュー画面に戻るためのボタンである。
図11は、アクションリストを示す図である。
このアクションリストは、図10に示すアクション編集画面上で、「流用」ボタンが押されたときに表示される画面である。
「流用」ボタンが押されると、このエディタ端末11(図1参照)からビヘイビアサーバ12に向けてアクションの一覧を送信するよう要求が出され、ビヘイビアサーバ12では、XMLDB122に登録されているアクションがサーチされて図11に示すようなアクションリスト作成されてエディタ端末に送信され、エディタ端末では、このアクションリストが表示される。
このアクションリストでは、そのアクションが登録された月日を表わす「月日」、そのアクションを特定する「ID」、そのアクションの「名前」、そのアクションの「コメント」により、1つのアクションが表現されており、このアクションリストには、そのエディタ端末で編集されたアクションのみではなく、他のエディタ端末で編集されたアクションも並んでいる。
このアクションリスト上で、特定のアクションにマウスカーソルを当ててダブルクリックすると、そのダブルクリックされたアクションの送信要求がビヘイビアサーバに送信され、ビヘイビアサーバからそのアクションXMLがエディタ端末に送信され、エディタ端末ではそのアクションが図10に示すアクション編集画面上に表示される。ユーザは、その表示されたアクションを編集して新たなアクションを作成することができる。新たなアクションを作成して「登録」ボタンを押すとその新たなアクションを表わすXMLデータが作成されてビヘイビアサーバ12に送信され、ビヘイビアサーバ12では、その新たなアクションXMLに新たなIDが付されてXMLDB122に登録される。
但し、図10のアクション編集画面上で「コメント」欄のみ訂正あるいは追記したときは、新たなIDは付されずに、XMLDB122の、同じIDのアクションXMLに上書きされる。
図12は、アクションXMLの一例を示す図である。
ここに示す例は、左手を上に挙げ、左右に振りながら「こんにちは」と発話するアクションを示している。尚、ここでは、ビヘイビアサーバでこのアクションに付されるID=「ACT01」が示されており、一方、この図12では、このアクションに付された名前やコメントは図示省略されている。
図13は、エフェクト編集画面を示す図である。
図6のメインメニュー画面上で「Effect Editor」のボタンをクリックすると図13のエフェクト編集画面が表示される。
このエフェクト編集画面10には、「flag」、「arousal」、「pleasure」の各変数と、アクションの実行による各変数の変化量が指定される。例えば、図13では「arousal」、が指定されており、何らかのアクションを行った結果、その変数「arousal」が0.1だけプラスされることを意味している。「arousal」は、前述したように目覚めの程度を表わす変数であり、0.0〜1.0の間の値をとる変数である。ここでは、その変数「arousal」が0.1だけプラスされるということは、このエフェクトと結合されるアクションが実行されると、値0.1に相当する分だけ目が覚めることを意味している。
また、このエフェクト編集画面にも、ここで編集したエフェクトに付けられる名前の記入欄とコメントの記入欄が設けられている。
「新規」、「流用」、「登録」、「終了」の各ボタンの意味は、図7,図10に示す同一名称の各ボタンと同じである。
すなわち、「新規」ボタンは、編集中のエフェクトが消され、エフェクトの編集を最初からもう一度開始する状態に戻すボタンであり、「流用」のボタンは、過去に作成されてビヘイビアサーバ12のXMLDB122に蓄積されているエフェクトXMLをダウンロードし、そのダウンロードしたエフェクトXMLを基に新たなエフェクトを作成する場合に押されるボタンであり、「登録」ボタンは、ここで編集したエフェクトを登録すると押されるボタンである。すなわち、この「登録」ボタンが押されると、ここで編集されたエフェクトを表わすエフェクトXMLが作成され、ビヘイビアサーバ12に送信され、IDが付されてXMLDB122に蓄積される。「終了」ボタンは、このエフェクト編集画面を閉じて図6のメインメニュー画面に戻るためのボタンである。
図13のエフェクト表示画面に並ぶ各変数の意味が不明のときは、その変数にマウスカーソルを当ててダブルクリックするとそのダブルクリックされた変数の意味が表示される。
図14は、図13のエフェクト表示画面上で変数「arousal」がダブルクリックされたときに表示される、その変数「arousal」の意味が記入されたコメント画面を示す図である。
「編集」ボタンを押すと、このコメントを編集することができ、「終了」ボタンを押すとこのコメント画面が消去される。
図15は、エフェクトリストを示す図である。
このエフェクトリストは、図13に示すエフェクト編集画面上で、「流用」ボタンが押されたときに表示される画面である。
「流用」ボタンが押されると、このエディタ端末11(図1参照)からビヘイビアサーバ12に向けてエフェクトの一覧を送信するよう要求が出され、ビヘイビアサーバ12では、XMLDB122に登録されているエフェクトがサーチされて図15に示すようなエフェクトリスト作成されてエディタ端末に送信され、エディタ端末では、このエフェクトリストが表示される。
このエフェクトリストでは、そのエフェクトが登録された月日を表わす「月日」、そのエフェクトを特定する「ID」、そのエフェクトの「名前」、そのエフェクトの「コメント」により、1つのエフェクトが表現されており、このエフェクトリストには、そのエディタ端末で編集したエフェクトのみではなく、他のエディタ端末で編集されたエフェクトも並んでいる。
このエフェクトリスト上で、特定のエフェクトにマウスカーソルを当ててダブルクリックすると、ビヘイビアサーバに向けて、そのダブルクリックされたエフェクトの送信要求が出され、ビヘイビアサーバからそのエフェクトの送信を受けてそのエフェクトが図13に示すエフェクト編集画面上に表示され、ユーザは、その表示されたエフェクトを編集して新たなエフェクトを作成することができる。新たなエフェクトを作成して「登録」ボタンを押すとその新たなエフェクトを表わすXMLデータが作成されてビヘイビアサーバ12に送信され、ビヘイビアサーバ12では、その新たなエフェクトXMLに新たなIDが付されてXMLDB122に登録される。
但し、図13のエフェクト編集画面上で「コメント」欄のみ訂正あるいは追記したときは、新たなIDは付されずに、XMLDB122の同じIDのエフェクトXMLに上書きされる。
図16は、エフェクトXMLの一例を示す図である。
この図16に示すエフェクトXMLは、図13に示すエフェクトと同じ内容のものであり、このエフェクトと対応付けられたアクションが実行されると変数「arousal」が0.1だけ加算されることを意味している。
この図16に示すエフェクトXMLには、ビヘイビアサーバ12で付されたID「EF01」が示されており、一方、この図16では、このエフェクトに付された名前やコメントは図示を省略してある。
図17は、ビヘイビア編集画面を示す図である。
図6に示すメインメニュー画面上で「Behavior Editor」ボタンをクリックすると図17のビヘイビア編集画面が表示される。
このビヘイビア編集画面には「Condition ID」(コンディションのID)の記入欄と、「Action ID」(アクションのID)の記入欄と、「Effect ID」(エフェクトのID)の記入欄と、「Priority」(優先度)の記入欄があり、これらの記入欄に各IDや優先度の数値(0〜100)を記入し、このビヘイビアに名前を付けコメントを記入すればビヘイビアが完成する。ただし、IDを直接的に知らないときは、以下のようにして編集する。
「Condition ID」記入欄の左にある「流用」ボタンを押すと、図8に示すコンディションリストが表示され、マウスカーソルをいずれかのコンディションに合わせてマウスをダブルクリックすると、図7に示すコンディション表示画面が表示され、そのコンディション表示画面上に、マウスのダブルクリックにより指定されコンディションが表示される。
そこに表示されたコンディションでよければ、そのまま、その図7のコンディション編集画面上の「登録」ボタンを押すとそのコンディション編集画面が消え、そのコンディション編集画面上に表示されていたコンディションのIDが、図17のビヘイビア編集画面上の「Condition ID」の記入欄に表示される。
図7に示すコンディション表示画面上に表示されたコンディションを基にコンディションを再編集した後「登録」ボタンを押すと、そのコンディション編集画面上で再編集されたコンディションにIDが付されてビヘイビアサーバ12に登録され、図7のコンディション表示画面が消去され、その新たに付されたIDが、図17のビヘイビア編集画面上の「Condition ID」の記入欄に表示される。
図17のビヘイビア編集画面上の「Condition ID」の記入欄の右に並ぶ「流用」ボタンのさらに右に並ぶ「編集」ボタンを押すと、「Condition ID」の欄がまだ空欄の場合、図8のコンディションリストは経由せずに直接に図7に示すコンディション編集画面が初期状態のまま表示され、コンディションが最初から編集される。コンディションを編集した後、そのコンディション編集画面上の「登録」ボタンを押すと、そのコンディションにIDが付されてビヘイビアサーバ12に登録され、図7のコンディション表示画面が消去され、そのコンディションIDが図17のビヘイビア編集画面上の「Condition ID」の記入欄に表示される。
「Condition ID」の記入欄にコンディションIDが記入されている状態で、その右に並ぶ「編集」ボタンが押されると、図7に示すコンディション編集画面が表示されるとともに、そのコンディション編集画面上に「Condition ID」の記入欄に表示されていたコンディションIDを持ったコンディションが表示される。
「Action ID」の記入欄、その右に並ぶ「流用」ボタン、「編集」ボタンも、コンディションではなくアクションを取り扱うことを除き同様であり、また、「Effect ID」の記入欄、その右に並ぶ「流用」ボタン、「編集」ボタンも、コンディションではなくエフェクトを取り扱うことを除き同様であり、重複説明になるため説明は省略する。
以上のようにして、ビヘイビアは、1つのコンディションと1つのアクションと1つのエフェクトの結合により定義される。このビヘイビアは、このビヘイビアに記述されたコンディション、アクション、およびエフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用する。
このビヘイビア編集画面にも、ここで指定したビヘイビアに付けられる名前の記入欄とコメントの記入欄が設けられている。
このビヘイビア編集画面の下部に並ぶ、「新規」、「流用」、「登録」、「終了」の各ボタンの意味は、図7,図10,図13に示す同一名称の各ボタンと同じである。
すなわち、「新規」ボタンは、編集中のビヘイビアが消され、ビヘイビアを最初からもう一度編集開始する状態に戻すボタンであり、「流用」のボタンは、過去に編集されてビヘイビアサーバ12のXMLDB122に蓄積されているビヘイビアXMLをダウンロードし、そのダウンロードしたビヘイビアXMLを基に新たなビヘイビアを編集し直す場合に押されるボタンであり、「登録」ボタンは、ここで編集したビヘイビアを登録するときに押されるボタンである。すなわち、この「登録」ボタンが押されると、ここで編集されたビヘイビアを表わすビヘイビアXMLが作成され、ビヘイビアサーバ12に送信され、IDが付されてXMLDB122に登録される。「終了」ボタンは、このビヘイビア編集画面を閉じて図6のメインメニュー画面に戻るためのボタンである。
図18は、ビヘイビアリストを示す図である。
このビヘイビアリストは、図17に示すビヘイビア編集画面上で、「流用」ボタンが押されたときに表示される画面である。
「流用」ボタンが押されると、このエディタ端末11(図1参照)からビヘイビアサーバ12に向けてビヘイビアの一覧を送信するよう要求が出され、ビヘイビアサーバ12では、XMLDB122に登録されているビヘイビアがサーチされて図15に示すようなビヘイビアリストが作成されてエディタ端末に送信され、エディタ端末では、このビヘイビアリストが表示される。
このビヘイビアリストでは、そのビヘイビアが登録された月日を表わす「月日」、そのビヘイビアを特定する「ID」、そのビヘイビアの「名前」、そのビヘイビアの「コメント」により、1つのビヘイビアが表現されており、このビヘイビアリストには、そのエディタ端末で編集されたビヘイビアのみではなく、他のエディタ端末で編集されたビヘイビアも並んでいる。
このビヘイビアリスト上で、特定のビヘイビアにマウスカーソルを当ててダブルクリックすると、ビヘイビアサーバに向けて、そのダブルクリックされたビヘイビアの送信要求が出され、ビヘイビアサーバからそのビヘイビアを表わすXMLが受信され、そのビヘイビアが図17に示すビヘイビア編集画面上に表示される。すなわち、ビヘイビアは、コンディションとアクションとエフェクトとの組合せであり、図17のビヘイビア編集画面上には、それらコンディションとアクションとエフェクトの各IDが表示される。ユーザは、その表示されたビヘイビアを編集して新たなビヘイビアを作成することができる。新たなビヘイビアを作成して「登録」ボタンを押すとその新たなビヘイビアを表わすXMLデータが作成されてビヘイビアサーバ12に送信され、ビヘイビアサーバ12では、その新たなビヘイビアXMLに新たなIDが付されてXMLDB122に登録される。
但し、図17のビヘイビア編集画面上で「コメント」欄のみ訂正あるいは追記したときは、新たなIDは付されずに、XMLDB122の同じIDのビヘイビアXMLに上書きされる。
図19は、ビヘイビアXMLの一例を示す図である。
この図19に示すビヘイビアXMLは、コンディションID=CND01のコンディションと、アクションID=ACT01のアクションと、エフェクトID=EF01のエフェクトとの組合せであって、優先度が「100」であることを表わしている。
この図19に示すビヘイビアXMLには、ビヘイビアサーバ12で付されたビヘイビアID「B01」も示されている。一方、この図19では、このビヘイビアに付された名前やコメントは図示省略されている。
図20は、ビヘイビアサーバ12内のXMLDB122のデータ構造を示す図である。
ここでは、過去に、ビヘイビアID=B01のビヘイビアと、コンディションID=CND01のコンディションと、アクションID=ACT01のアクションと、エフェクトID=EF01のエフェクトが格納されており、今回新たに、ビヘイビアID=B02のビヘイビアと、コンディションID=CND02のコンディションと、エフェクトID=EF02のエフェクトが登録されたものとする。ここで、ビヘイビアID=B02のビヘイビアは、今回登録されたコンディションID=CND02のコンディションと、過去に登録されているアクションID=ACT01のアクションと、今回登録されたエフェクトID=EF02のエフェクトとの組合せである。
XMLDB122に新たなXMLを追加する際は、過去に登録されているXMLのルートノードと同じルートノードに対して追加され、これにより、ビヘイビアXMLは、過去に登録されているコンディションXML、アクションXML、エフェクトXMLも参照可能となっている。
図21は、ロボットにおけるビヘイビアの実行の手順を示したフローチャートである。
ここでは、先ず、そのロボットの内部状態(内部パラメータ(変数)の値、センサ入力、タイマ等)が調査され(ステップS01)、現在の内部状態がコンディションの記述に合致するビヘイビアが列挙される(ステップS02)。合致するコンディションが存在しなければステップS01に戻る。合致したコンディションが存在するときは、列挙されたビヘイビアのうちの、優先度の最も高いビヘイビアが選択され(ステップS03)、その選択されたビヘイビアが実行される(ステップS04)。ただし、そのビヘイビアのアクションで使用されるサーボモータが現在動作中であったときは、そのビヘイビアは実行されずにステップS03に戻り、ステップS02で列挙されたビヘイビアのうち、サーボモータが使用中であった優先度の高いビヘイビアを除く、優先度が次に高いビヘイビアが選択されて実行される。ビヘイビア実行後は一定時間待機し(ステップS05)、ステップS01の調査に戻る。
本実施形態では、このようにして、不特定多数のユーザによって作成されたビヘイビアによってロボットが動作する。
尚、上記では、優先度は固定的に設定されているが、時間の経過とともに優先度を下げていってもよく、あるいは、優先度をランダムに変化させてもよい。
また、所定期間経過したビヘイビアや、ほとんど実行されていないビヘイビアを自動的に削除するようにしてもよい。
あるいは、ビヘイビアどうしの近似度を評価し、近似するビヘイビアを1つに統合するなど、ビヘイビアが増え過ぎず、かつ新陳代謝が行われるようにすることが好ましい。
尚、以上では、物理的な身体を持ったロボット(図5参照)を念頭に置いた実施形態について説明したが、本発明にいうロボットは、物理的な身体を持たずに、コンピュータ内に構築された仮想空間内で動作する、例えばエージェント、アバター、ゲームキャラクタ等と呼ばれるような論理上のロボットであってもよい。
以下、本発明の各種形態を付記する。
(付記1)
ネットワークを介して接続された、複数台のエディタ端末、サーバ、および複数台のロボットからなるロボットシステムであって、
前記複数台のエディタ端末それぞれは、ロボットの一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成して前記サーバに向けて送信するものであり、
前記サーバは、前記複数台のエディタ端末それぞれから送信されてきたプログラム部品を蓄積し、該プログラム部品を、前記複数台のロボットそれぞれからの要求に応じて該ロボットに向けて送信するものであり、
前記複数台のロボットそれぞれは、前記サーバから送信を受けたプログラム部品に従って動作するものであることを特徴とするロボットシステム。
(付記2)
前記サーバは、さらに、前記エディタ端末からの要求に応じて、該エディタ端末に向けて、他のエディタ端末で作成されたプログラム部品も送信するものであることを特徴とする付記1記載のロボットシステム。
(付記3)
前記エディタ端末は、前記サーバからのプログラム部品の送信を受け、ユーザによる操作に応じて、送信を受けたプログラム部品を基にした新たなプログラム部品を作成するものであることを特徴とする付記2記載のロボットシステム。
(付記4)
前記エディタ端末は、ユーザ操作に応じて、プログラム部品に注釈を記入するものであることを特徴とする付記1から3のうちいずれか1項記載のロボットシステム。
(付記5)
前記サーバは、前記複数台のエディタ端末それぞれから送信されてきたプログラム部品に、該プログラム部品を個別に識別するための個別のIDを付して蓄積するものであることを特徴とする付記1から4のうちいずれか1項記載のロボットシステム。
(付記6)
前記複数台のロボットそれぞれは、前記サーバからプログラム部品の送信を受けるにあたり、前記IDに基づき、受信未了のプログラム部品のみ送信を受けるものであることを特徴とする付記5記載のロボットシステム。
(付記7)
前記エディタ端末は、優先度の情報が付されたプログラム部品を作成するものであって、
前記ロボットは、複数のプログラム部品に従う複数の動作が互いに競合する場合に優先度の高いプログラム部品に従って動作するものであることを特徴とする付記1から6のうちいずれか1項記載のロボットシステム。
(付記8)
前記複数台のエディタ端末それぞれは、
ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
ロボットの動作自体を記述したアクションを作成するアクションエディタと、
ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
前記コンディションと前記アクションと前記エフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
前記ビヘイビアが、該ビヘイビアに記述された、前記コンディション、前記アクション、および前記エフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであることを特徴とする付記1から7のうちのいずれか1項記載のロボットシステム。
(付記9)
前記アクションエディタは、
ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、該タイムライン部で指定された時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
前記アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、該第1の時刻では該第1の姿勢をとり、該第1の姿勢から姿勢を順次変化させて該第2の時刻で該第2の姿勢をとるアクションを作成するアクション作成手段とを有することを特徴とする付記8記載のロボットシステム。
(付記10)
前記複数台のロボットそれぞれは、前記サーバから送信を受けたプログラム部品と、実行済みのプログラム部品の実行により変化した内部パタメータの値との双方に従って動作するものであることを特徴とする付記8又は9記載のロボットシステム。
(付記11)
ロボットの一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成して、ネットワークを介して接続されたサーバに向けて該プログラム部品を送信するエディタ端末であって、
ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
ロボットの動作自体を記述したアクションを作成するアクションエディタと、
ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
前記コンディションと前記アクションと前記エフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
前記ビヘイビアが、該ビヘイビアに記述された、前記コンディション、前記アクション、および前記エフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであることを特徴とするエディタ端末。
(付記12)
前記アクションエディタは、
ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、該タイムライン部で指定された時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
前記アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、該第1の時刻では該第1の姿勢をとり、該第1の姿勢から姿勢を順次変化させて該第2の時刻で該第2の姿勢をとるアクションを作成するアクション作成手段とを有することを特徴とする付記11記載のエディタ端末。
(付記13)
プログラムを実行する情報処理装置内で実行され、該情報処理装置を、ロボットの一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成して、ネットワークを介して接続されたサーバに向けて該プログラム部品を送信するエディタ端末として動作させるエディタプログラムであって、
前記情報処理装置を、
ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
ロボットの動作自体を記述したアクションを作成するアクションエディタと、
ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
前記コンディションと前記アクションと前記エフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
前記ビヘイビアが、該ビヘイビアに記述された、前記コンディション、前記アクション、および前記エフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであるエディタ端末として動作させることを特徴とするエディタプログラム。
(付記14)
前記アクションエディタは、
ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、該タイムライン部で指定した時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
前記アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、該第1の時刻では該第1の姿勢をとり、該第1の姿勢から姿勢を順次変化させて該第2の時刻で該第2の姿勢をとるアクションを作成するアクション作成手段とを有することを特徴とする付記13記載のエディタプログラム。
本発明のロボットシステムの全体構成図である。 ビヘイビアサーバとロボットの内部構成を示したブロック図である。 ビヘイビアサーバの内部構成図である。 エディタ端末の内部構成を示したブロック図である。 本実施形態におけるロボットの外観斜視図である。 エディタ端末でエディタプログラムを立ち上げたときに表示されるメインメュー画面を示す図である。 コンディション編集画面を示す図である。 コンディションリストを示す図である。 コンディションXMLの一例を示す図である。 アクション編集画面を示す図である。 アクションリストを示す図である。 アクションXMLの一例を示す図である。 エフェクト編集画面を示す図である。 変数「arousal」の意味が記入されたコメント画面を示す図である。 エフェクトリストを示す図である。 エフェクトXMLの一例を示す図である。 ビヘイビア編集画面を示す図である。 ビヘイビアリストを示す図である。 ビヘイビアXMLの一例を示す図である。 ビヘイビアサーバ内のXMLDBのデータ構造を示す図である。 ロボットにおけるビヘイビアの実行の手順を示したフローチャートである。
符号の説明
10 エフェクト編集画面
11 エディタ端末
12 ビヘイビアサーバ
13 ロボット
111 コンディション編集用GUI
112 アクション編集用GUI
113 エフェクト編集用GUI
114 ビヘイビア編集用GUI
115 ビヘイビア記述XML生成解釈手段
115a ビヘイビア記述XMLファイル
116 通信手段
121 XML受信モジュール
121a XML受信モジュール
121b XMLDBドライバ
121c XML送信モジュール
122 XMLDB
131 XMLパーザ
132 ビヘイビア制御部
133 センサ
134 サーボ制御部
135 発音部

Claims (6)

  1. ネットワークを介して接続された、複数台のエディタ端末、サーバ、および複数台のロボットからなるロボットシステムであって、
    前記複数台のエディタ端末それぞれは、ロボットの一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成して前記サーバに向けて送信するものであり、
    前記サーバは、前記複数台のエディタ端末それぞれから送信されてきたプログラム部品を蓄積し、該プログラム部品を、前記複数台のロボットそれぞれからの要求に応じて該ロボットに向けて送信するものであり、
    前記複数台のロボットそれぞれは、前記サーバから送信を受けたプログラム部品に従って動作するものであることを特徴とするロボットシステム。
  2. 前記複数台のエディタ端末それぞれは、
    ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
    ロボットの動作自体を記述したアクションを作成するアクションエディタと、
    ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
    前記コンディションと前記アクションと前記エフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
    前記ビヘイビアが、該ビヘイビアに記述された、前記コンディション、前記アクション、および前記エフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであることを特徴とする請求項1記載のロボットシステム。
  3. ロボットの一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成して、ネットワークを介して接続されたサーバに向けて該プログラム部品を送信するエディタ端末であって、
    ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
    ロボットの動作自体を記述したアクションを作成するアクションエディタと、
    ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
    前記コンディションと前記アクションと前記エフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
    前記ビヘイビアが、該ビヘイビアに記述された、前記コンディション、前記アクション、および前記エフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであることを特徴とするエディタ端末。
  4. 前記アクションエディタは、
    ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、該タイムライン部で指定された時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
    前記アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、該第1の時刻では該第1の姿勢をとり、該第1の姿勢から姿勢を順次変化させて該第2の時刻で該第2の姿勢をとるアクションを作成するアクション作成手段とを有することを特徴とする請求項3記載のエディタ端末。
  5. プログラムを実行する情報処理装置内で実行され、該情報処理装置を、ロボットの一事象単位の振る舞いを記述したプログラム部品をユーザによる操作に応じて作成して、ネットワークを介して接続されたサーバに向けて該プログラム部品を送信するエディタ端末として動作させるエディタプログラムであって、
    前記情報処理装置を、
    ロボットが動作を開始する契機を記述したコンディションを作成するコンディションエディタと、
    ロボットの動作自体を記述したアクションを作成するアクションエディタと、
    ロボットが動作した結果生じる内部パラメータの変化を記述したエフェクトを作成するエフェクトエディタと、
    前記コンディションと前記アクションと前記エフェクトとの結合を記述したビヘイビアを作成するビヘイビアエディタとを備え、
    前記ビヘイビアが、該ビヘイビアに記述された前記コンディション、前記アクション、および前記エフェクトと連携して、ロボットの一事象の振る舞いを記述したプログラム部品として作用するものであるエディタ端末として動作させることを特徴とするエディタプログラム。
  6. 前記アクションエディタは、
    ロボットの一事象の動作開始からの経過時刻の指定を受けるタイムライン部と、該タイムライン部で指定された時刻におけるロボットの姿勢の指定を受けるサーボ部とを有するアクションエディタ画面を表示する画面表示手段と、
    前記アクションエディタ画面上でそれぞれ指定された第1の時刻における第1の姿勢と第2の時刻における第2の姿勢との間を補間して、該第1の時刻では該第1の姿勢をとり、該第1の姿勢から姿勢を順次変化させて該第2の時刻で該第2の姿勢をとるアクションを作成するアクション作成手段とを有することを特徴とする請求項5記載のエディタプログラム。
JP2007159547A 2007-06-15 2007-06-15 ロボットシステム、エディタ端末、およびエディタプログラム Expired - Fee Related JP5181541B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007159547A JP5181541B2 (ja) 2007-06-15 2007-06-15 ロボットシステム、エディタ端末、およびエディタプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007159547A JP5181541B2 (ja) 2007-06-15 2007-06-15 ロボットシステム、エディタ端末、およびエディタプログラム

Publications (2)

Publication Number Publication Date
JP2008307662A true JP2008307662A (ja) 2008-12-25
JP5181541B2 JP5181541B2 (ja) 2013-04-10

Family

ID=40235729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007159547A Expired - Fee Related JP5181541B2 (ja) 2007-06-15 2007-06-15 ロボットシステム、エディタ端末、およびエディタプログラム

Country Status (1)

Country Link
JP (1) JP5181541B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012066376A (ja) * 2010-09-22 2012-04-05 Gm Global Technology Operations Inc 1つ以上の人間型ロボットの同時経路検討
JP2012528015A (ja) * 2009-05-26 2012-11-12 オルドウバラン、ロボティクス 移動ロボットの挙動を編集及び制御するためのシステムと方法
WO2012172721A1 (ja) * 2011-06-14 2012-12-20 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
WO2013150599A1 (ja) * 2012-04-02 2013-10-10 株式会社安川電機 ロボットシステム及び作業設備
JP2015164757A (ja) * 2010-07-23 2015-09-17 株式会社国際電気通信基礎技術研究所 遠隔操作ロボット
JP2016093869A (ja) * 2014-11-14 2016-05-26 株式会社クリエイティブマシン 教示データの作成方法、作成装置、及び作成プログラム、並びに、教示データのデータ構造、記録媒体
JP2020534567A (ja) * 2017-09-20 2020-11-26 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited ロボット対話方法およびデバイス

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002066156A (ja) * 2000-05-12 2002-03-05 Fujitsu Ltd ロボット連携装置、ロボット連携プログラム記憶媒体、およびロボット連携プログラム
JP2002103258A (ja) * 2000-09-28 2002-04-09 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002120174A (ja) * 2000-10-11 2002-04-23 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002123394A (ja) * 2000-10-16 2002-04-26 Denso Corp ロボット装置のプログラム登録システム
JP2002346958A (ja) * 2001-05-24 2002-12-04 Sony Corp 脚式移動ロボットのための制御装置及び制御方法
JP2004237392A (ja) * 2003-02-05 2004-08-26 Sony Corp ロボット装置、及びロボット装置の表現方法
WO2005011926A1 (ja) * 2003-08-04 2005-02-10 Matsushita Electric Industrial Co., Ltd. 生活支援システム
WO2005014242A1 (ja) * 2003-08-12 2005-02-17 Advanced Telecommunications Research Institute International コミュニケーションロボット用制御システム
JP2005202609A (ja) * 2004-01-14 2005-07-28 Sony Corp コンテンツ管理装置及び方法並びにロボット装置及びその制御方法
JP2006110707A (ja) * 2004-09-14 2006-04-27 Sony Corp ロボット装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002066156A (ja) * 2000-05-12 2002-03-05 Fujitsu Ltd ロボット連携装置、ロボット連携プログラム記憶媒体、およびロボット連携プログラム
JP2002103258A (ja) * 2000-09-28 2002-04-09 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002120174A (ja) * 2000-10-11 2002-04-23 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002123394A (ja) * 2000-10-16 2002-04-26 Denso Corp ロボット装置のプログラム登録システム
JP2002346958A (ja) * 2001-05-24 2002-12-04 Sony Corp 脚式移動ロボットのための制御装置及び制御方法
JP2004237392A (ja) * 2003-02-05 2004-08-26 Sony Corp ロボット装置、及びロボット装置の表現方法
WO2005011926A1 (ja) * 2003-08-04 2005-02-10 Matsushita Electric Industrial Co., Ltd. 生活支援システム
WO2005014242A1 (ja) * 2003-08-12 2005-02-17 Advanced Telecommunications Research Institute International コミュニケーションロボット用制御システム
JP2005202609A (ja) * 2004-01-14 2005-07-28 Sony Corp コンテンツ管理装置及び方法並びにロボット装置及びその制御方法
JP2006110707A (ja) * 2004-09-14 2006-04-27 Sony Corp ロボット装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012528015A (ja) * 2009-05-26 2012-11-12 オルドウバラン、ロボティクス 移動ロボットの挙動を編集及び制御するためのシステムと方法
JP2015164757A (ja) * 2010-07-23 2015-09-17 株式会社国際電気通信基礎技術研究所 遠隔操作ロボット
US8731714B2 (en) 2010-09-22 2014-05-20 GM Global Technology Operations LLC Concurrent path planning with one or more humanoid robots
JP2012066376A (ja) * 2010-09-22 2012-04-05 Gm Global Technology Operations Inc 1つ以上の人間型ロボットの同時経路検討
JP5172049B2 (ja) * 2011-06-14 2013-03-27 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
US8583287B2 (en) 2011-06-14 2013-11-12 Panasonic Corporation Robotic system, robot control method and robot control program
WO2012172721A1 (ja) * 2011-06-14 2012-12-20 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
WO2013150599A1 (ja) * 2012-04-02 2013-10-10 株式会社安川電機 ロボットシステム及び作業設備
JPWO2013150599A1 (ja) * 2012-04-02 2015-12-14 株式会社安川電機 ロボットシステム及び作業設備
JP2016093869A (ja) * 2014-11-14 2016-05-26 株式会社クリエイティブマシン 教示データの作成方法、作成装置、及び作成プログラム、並びに、教示データのデータ構造、記録媒体
JP2020534567A (ja) * 2017-09-20 2020-11-26 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited ロボット対話方法およびデバイス
US11548147B2 (en) 2017-09-20 2023-01-10 Alibaba Group Holding Limited Method and device for robot interactions
JP7260221B2 (ja) 2017-09-20 2023-04-18 アリババ・グループ・ホールディング・リミテッド ロボット対話方法およびデバイス

Also Published As

Publication number Publication date
JP5181541B2 (ja) 2013-04-10

Similar Documents

Publication Publication Date Title
JP5181541B2 (ja) ロボットシステム、エディタ端末、およびエディタプログラム
CN103119644B (zh) 装备自然对话接口的类人机器人、用于控制机器人的方法和对应程序
KR101106002B1 (ko) 객체에서의 행동을 생성하는 장치 및 방법
US10181268B2 (en) System and method for toy visual programming
Cassell et al. Fully embodied conversational avatars: Making communicative behaviors autonomous
AU2020201118A1 (en) Methods and systems for managing dialogs of a robot
JP2019521449A (ja) 永続的コンパニオンデバイス構成及び配備プラットフォーム
JP2003205483A (ja) ロボットシステム及びロボット装置の制御方法
EP1321248A1 (en) Authoring system and authoring method, and storage medium
US20020109719A1 (en) Information processing device and method, and recording medium
US20100131080A1 (en) Event Driven Motion Systems
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
JP2020531999A (ja) 自律パーソナルコンパニオンによってユーザの人工知能モデルが実行するためのユーザのコンテクスト環境を記述する識別タグに基づくシナリオの継続的選択
JP2012528015A (ja) 移動ロボットの挙動を編集及び制御するためのシステムと方法
JP2006528381A (ja) 仮想環境制御装置
JP2007520005A (ja) 仮想代理を用いた電気通信の方法及びシステム
CN101411948A (zh) 电子玩具
JP2007312848A (ja) キャラクタ育成ゲームプログラム
Prendinger et al. MPML3D: Scripting agents for the 3D internet
US20020008704A1 (en) Interactive behavioral authoring of deterministic animation
US20230124765A1 (en) Machine learning-based dialogue authoring environment
KR100880613B1 (ko) 지능형로봇의 감정표현지원시스템과 지원방법 및 이를이용한 지능형 로봇 시스템
WO2017145908A1 (ja) イベント管理サーバー、情報処理装置、情報処理システム、およびイベント実現方法
WO2002030629A1 (fr) Appareil robot, systeme d"affichage d"information et procede d"affichage d"information
US20200254358A1 (en) Terminal for action robot and method of operating the same

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100408

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121231

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees