JP2015525137A - リアルタイムで行われる移動ロボットの脈絡ある挙動を生成する方法およびシステム - Google Patents

リアルタイムで行われる移動ロボットの脈絡ある挙動を生成する方法およびシステム Download PDF

Info

Publication number
JP2015525137A
JP2015525137A JP2015514502A JP2015514502A JP2015525137A JP 2015525137 A JP2015525137 A JP 2015525137A JP 2015514502 A JP2015514502 A JP 2015514502A JP 2015514502 A JP2015514502 A JP 2015514502A JP 2015525137 A JP2015525137 A JP 2015525137A
Authority
JP
Japan
Prior art keywords
behavior
module
robot
editing
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015514502A
Other languages
English (en)
Other versions
JP2015525137A5 (ja
JP6319772B2 (ja
Inventor
パレオローグ,ビクトル
モリセット,マクシム
ブリアン,フローラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Robotics Europe SAS
Original Assignee
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Robotics Europe SAS filed Critical SoftBank Robotics Europe SAS
Publication of JP2015525137A publication Critical patent/JP2015525137A/ja
Publication of JP2015525137A5 publication Critical patent/JP2015525137A5/ja
Application granted granted Critical
Publication of JP6319772B2 publication Critical patent/JP6319772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40099Graphical user interface for robotics, visual robot user interface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40392Programming, visual robot programming language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Stored Programmes (AREA)
  • Toys (AREA)

Abstract

本発明は、コンピュータの専門家でないユーザーがロボットの脈絡ある挙動(リアルタイムで実行され得る)を生成することを可能にするシステムおよび方法に関する。この目的のために、本発明は、前記ロボットが感情(5430)を表現しながら吹き出し(5210, …, 5620)に挿入されているテキストを朗読している間に前記ロボットにより実行されるべき挙動のグラフィック表現(5310, …, 5610)を挿入することができるビネット(510, …, 570)を編集するモジュール(210)を開示する。一般的に音符を備えるバナー580は、前記シナリオの同期進行を確保する。ロボット上に設けられるビネット解釈モジュール(220)は、挙動、テキストおよび音楽の識別、コンパイル、プレローディングおよび同期を可能にする。

Description

本発明は、ロボットをプログラムするシステムの分野に属する。より正確には、それは、ロボット、特に人または動物の形として現れ、自己を表現し、関節でつながれているかまたはつながれていない手足を使って移動するロボットの脈絡に合致する挙動の制御に適用される。ロボットは、ある程度の人間の外観および機能の属性をもつや否や人型と表現されることがある:頭、胴体、2本の腕、おそらく2つの手、2本の脚、2つの足等。ロボットに人間のような外観および挙動を与えると思われる機能性の1つは、身振り表現と口頭表現間の高度の一致を与える可能性である。特に、この結果に直感的に到達できるならば、多数のユーザーグループが人型ロボット挙動のプログラミングを利用できるようになる。
(特許文献1)は、この一般的課題に応えるシステムおよび方法を開示している。前記出願により開示された発明は、専門プログラマーのみ利用できる特殊化されたプログラミング言語を利用する先行技術の短所の一部の克服を可能にする。仮想エージェントおよびアバターの分野において、FML(ファンクションマークアップ言語)などの機能的または意図的レベル(物理作用とは無関係の)における挙動のプログラミングを行う特殊化言語またはBML(挙動マークアップ言語)などの挙動それ自身のレベルにおける挙動のプログラミングを行う特殊化言語も(それは、機能を実行するためにバーチャルキャラクターの複数の部分を含む)、専門プログラマーのみ利用可能の状態に留まっており、通常の言語で書かれたスクリプトと統合することはできない。この発明は、先行技術のこれらの限界を乗り越えることを可能にする。
しかし、引用した特許出願に含まれている発明は、ロボットのリアルタイム制御を可能にしない。それは、「ストリーミング」を使用してコマンドをロボットに直接送ることができないエディタを使用するからである。ストリーミングとは、これらのコマンドがロボットの環境の進展に従って行われるであろうロボットの挙動とリアルタイムで相互作用できることである。特に、前記先行技術のロボットの場合、コマンドシナリオ中で予期していない事象が発生した場合、シナリオを最初からリプレーする必要がある。
コミックストリップにより枠組みの与えられるグラフィックな方法によりシナリオが定義され得る文脈内においてこの問題を解決するために、出願人は、多数行の記述により示される「ビネット」コンセプトに依存した。それは、本出願において、(非特許文献1)により与えられる意味の1つ、「コマにより区切られるコミックストリップ中の図形のそれぞれ」で使用される。
本発明は、上述した先行技術の問題の解決を可能にする。特に、本発明のロボットは、送り込まれたときに直ちに実行され得るシナリオからのテキストおよび挙動をグループ化するビネット内にグラフィックな方法により組み込むことができるエディタおよびコマンドインタープリータを備えている。
国際公開第2011/003628号
辞書"Tresor de la langue francaise informatise"(http://atilf.atilf.fr/dendien/scripts/tlfiv5/visusel.exe?12;s=2774157495;r=1;nat=;sol=1;)
この目的のために、本発明は、少なくとも1つのシナリオを編集および制御するシステムを開示する。前記の少なくとも1つのシナリオは、モーターおよび発話機能を備えた少なくとも1つのロボットにより少なくとも1つの行われるべき挙動および話されるべきテキストを含む。また、前記システムは、前記挙動およびテキストを編集するモジュールを含み、前記編集モジュールは前記ロボットとの関係において自律的であり、また、ロボットにより話されるべき前記テキストの入力のためのサブモジュールおよび前記挙動を管理するサブモジュールを含み、前記編集モジュールはさらに前記の少なくとも1つの挙動および少なくとも1つのテキストの複合表示のための少なくとも1つの領域における前記の少なくとも1つの挙動および前記の少なくとも1つのテキストの表現およびグラフィックな結合のためのサブモジュールを含み、前記複合表示領域はビネットを構成し、前記ビネットは前記ロボット上で実行されるためにコンパイルされ得るコンピュータオブジェクトを構成する。
有利な結果をもたらすように、前記の少なくとも1つのビネットは、ウェイティングアイコン、ロボット挙動アイコンおよび少なくとも1語を含むテキスト吹き出しを含むグループに属する少なくとも1つのグラフィックオブジェクトを含んでおり、前記テキストはロボットにより話されることを目的としている。
有利な結果をもたらすように、ビネットの前記挙動アイコンは、ビネットにおいて少なくとも1つのテキスト吹き出しと関連付けられるロボットの個性および/または感情を表すグラフィックマークを含んでいる。
有利な結果をもたらすように、前記シナリオの前記グラフィック表現は、さらに、前記の少なくとも1つのビネットにより表されるアクションの進行を同期させるための少なくとも1つのバナーを含んでいる。
有利な結果をもたらすように、本発明の編集および制御システムは、さらに、前記シナリオを解釈するモジュールを含んでおり、前記解釈モジュールは前記の少なくとも1つのロボットに搭載されており、かつ、編集モジュールとストリーミングモードで通信する。
有利な結果をもたらすように、前記シナリオを解釈するモジュールは、少なくとも1つのシナリオを条件付けるサブモジュールを含んでおり、前記サブモジュールは入力において前記の少なくとも1つのシナリオに識別子およびタイプを与えるように構成されている。
有利な結果をもたらすように、前記シナリオを解釈するモジュールは、前記の少なくとも1つの挙動をコンパイルするサブモジュールを含んでおり、前記サブモジュールはオブジェクト構造の属性を前記挙動に関係付けるように構成されている。
有利な結果をもたらすように、前記コンパイルサブモジュールは、前記シナリオを句読点または行端により区切られるサブアセンブリに分割するように構成されている。
有利な結果をもたらすように、前記シナリオを解釈するモジュールは、前記挙動実行モジュールによる実行のために、前記の少なくとも1つの挙動のロボットのメモリへのプレローディングを制御するサブモジュールを含んでいる。
有利な結果をもたらすように、前記シナリオを解釈するモジュールは、前記の少なくとも1つのテキストを前記の少なくとも1つの挙動に同期させるサブモジュールを含んでいる。
本発明は、その上に、少なくとも1つのシナリオを編集および制御する方法を開示する。前記の少なくとも1つのシナリオは、モーターおよび発話機能を備える少なくとも1つのロボットにより実行されるべき少なくとも1つの挙動および話されるべきテキストを含んでおり、前記の方法は前記の挙動およびテキストを編集するステップを含んでおり、前記の編集ステップは前記ロボットとの関係において自律的であり、かつ、ロボットにより話されるべき前記テキストの入力のサブステップおよび挙動の管理のサブステップを含んでおり、前記編集ステップは、さらに、少なくとも1つのビネットにおける前記の少なくとも1つの挙動および前記の少なくとも1つのテキストの表現およびグラフィックな関連付けのサブステップを含んでいる。
本発明は、その上に、当該プログラムがコンピュータ上で実行されたときに本発明の方法の実行を可能にするプログラムコード命令を含むコンピュータプログラムを開示する。前記プログラムは少なくとも1つのシナリオの編集を可能にするように構成され、前記の少なくとも1つのシナリオはモーターおよび発話機能を備える少なくとも1つのロボットにより実行されるべき少なくとも1つの挙動および話されるべき少なくとも1つのテキストを含み、前記コンピュータプログラムは前記の挙動およびテキストを編集するモジュールを含み、前記編集モジュールは前記ロボットとの関係において自律的であり、かつ、ロボットにより話されるべき前記テキストの入力のためのサブモジュールおよび挙動を管理するサブモジュールを含んでおり、前記編集モジュールは、さらに、少なくとも1つのビネットにおける前記の少なくとも1つの挙動および前記の少なくとも1つのテキストの表現およびグラフィックな関連付けのためのサブモジュールを含んでいる。
本発明は、その上に、当該プログラムがコンピュータ上で実行されたときに本発明による方法の実行を可能にするプログラムコード命令を含むコンピュータプログラムを開示する。前記プログラムは少なくとも1つのシナリオの解釈を可能にするように構成され、前記の少なくとも1つのシナリオはモーターおよび発話機能を備える少なくとも1つのロボットにより実行されるべき少なくとも1つの挙動および話されるべき少なくとも1つのテキストを含み、前記コンピュータプログラムは前記シナリオを解釈するモジュールを含み、前記解釈モジュールは前記の少なくとも1つのロボットに搭載され、かつ、外部プラットフォームとストリーミングモードで通信する。
有利な結果をもたらすように、前記シナリオを解釈するモジュールは前記の少なくとも1つの挙動をコンパイルするサブモジュールを含み、前記サブモジュールはオブジェクト構造の属性を前記挙動に関係づけるように構成されている。
有利な結果をもたらすように、前記シナリオを解釈するモジュールは、前記挙動実行モジュール(460)による実行のために、前記の少なくとも1つの挙動のロボットのメモリへのプレローディングを制御するサブモジュールを含んでいる。
有利な結果をもたらすように、前記シナリオを解釈するモジュールは、前記の少なくとも1つのテキストを前記の少なくとも1つの挙動に同期させるサブモジュールを含んでいる。
本発明は、挙動ライブラリの作成およびロボットにより演じられるシーンのスクリプトへのそれの容易な挿入を可能にする。挙動は、各ビネットにおいてロボットの身振り挙動および感動挙動、およびその言葉と環境的要素(音楽、映像、他のキャラクタの言葉等)を表現するグラフィックなビネットによりモデル化される。このシナリオ作成インターフェースは直感的であり、リアルタイムで適合され得る複雑なシナリオのユーザによる容易な作成を可能にする。
本発明は、その上に、移動ロボットの挙動を編集および制御するシステムおよび方法に関する本件出願人の仏国特許第09/53434号明細書に対する適切な補完を提供する。前記出願は、ロボットに挙動を実行させる手段を与える。前記挙動は、プログラマーの利用可能な特殊化されたスクリプト言語を使用することにより、またはあらかじめプログラムされたライブラリ(これらのライブラリは、選択した後に、事象により接続される一連の挙動ボックスに挿入することができる)を呼び出すことによりグラフィックな方法により制御することができる。本発明は、ロボットの挙動をプログラムするインターフェースの単純化も可能にする。
複数の例示実施形態の記述および添付図から本発明がより良く理解され、また、その種々の特徴および長所も明らかとなるであろう。添付図の内容は以下のとおりである:
複数の実施形態により本発明を実施するシステムの物理的構造を示す。 本発明の複数の実施形態による処理動作の概要流れ図を示す。 本発明の複数の実施形態によるコマンド編集モジュールにおいて行われる処理動作の流れ図を示す。 本発明の複数の実施形態によるコマンド解釈モジュールにおいて行われる処理動作の流れ図を示す。 本発明の実施形態においてロボットにより実行されるシナリオを構成するビネットを示す。 本発明の実施形態においてロボットにより実行されるシナリオを構成するビネットを示す。
図1は、複数の実施形態に従って本発明を実施するシステムの物理構造を示す。
人型ロボット110は、本発明の1つの実施形態における形状で示されている。このようなロボットは、特に、2009年10月15日に公開された国際公開第2009/124951号パンフレットにおいて開示されている。このプラットフォームは、本発明に通じた改良の基礎として採用された。本出願の以下の記述において、前記人型ロボットは、この一般名またはその商標であるNAO(商標)により、その言及の一般性を変ずることなく、無差別に示されることがある。
前記ロボットは、関節を駆動するセンサおよびアクチュエータを制御するための約24枚の電子ボードを含んでいる。この電子制御ボードは、市販マイクロコントローラを備えている。これは、たとえば、Microchip社のDSPIC(商標)でよい。これは、DSPと結合される16ビットMCUである。前記MCUは、1msのループサーボ制御サイクルをもっている。
このロボットは、他のタイプのアクチュエータ、特にLED(発光ダイオード)も備えることができる。LEDの色および強度は、ロボットの感情を表すことができる。ロボットは、他のタイプの位置センサ、特に慣性装置、FSR(接地圧センサ)等を備えることもできる。
頭部は、ロボットの知能、特に、高レベルの機能を実行するボードを備えており、この機能は、ロボットに与えられた任務、特に、本発明の脈絡の中では、専門プログラマーでないユーザーにより作成されたシナリオを実行するための任務をロボットが果たすことを可能にする。頭部は、特に言葉または映像を処理するかまたは同様に広域ネットワークWAN上の遠隔通信を設定する際にポートを開くために必要な符号化などのサービス入力/出力を処理することを目的として特殊化されたボードを備えることもできる。このボードのプロセッサは、市販x86プロセッサでよい。好ましくは、低消費プロセッサ、たとえばIntel社のATOM(商標)(32ビット、1600MHz)を選択する。このボードは、一組のRAMおよびフラッシュメモリも備えている。前記ボードは、ロボットの外界(挙動サーバ、他のロボット等)との通信の管理も行う。この通信は、通常はWiFiまたはWiMax通信レイヤ上、場合によってはおそらくVPN中にカプセル化されている標準プロコトルにより公衆移動データ通信ネットワーク上で行われる。このプロセッサは、通常、通常の高レベル言語(C、C++、Python等)または高レベル機能プログラム用のURBI(ロボット工学用特殊人工知能言語)などの特殊人工知能言語の使用を可能にする標準OSにより駆動される。
ロボット110は、それに事前にプログラムにしておくことが可能な挙動を、特に仏国特許出願第09/53434号明細書(すでに引用した)において開示された発明に従って生成されたコードの手段により、実行することができる。前記のコードは、プログラマーによりグラフィックインターフェース上で作成されたものである。前記挙動は、同様に、専門プログラマーでないユーザーにより作成されたシナリオ中で国際公開第2011/003628号パンフレット(やはりすでに引用された)において開示された発明を使用して前もって準備しておくことができる。第1の場合、これらは、比較的複雑な論理に従って結合された挙動とすることができる。この論理中の挙動の順序は、ロボットの環境で発生する事象により調整される。この場合、ユーザーは、最低限のプログラマー技能を持たなければならないが、Choregraphe(商標)スタジオを使用することができる。このスタジオの活動の主な方法は、引用された出願中で記述されている。第2の場合、シナリオの進行論理は原則として適応性をもたない。
本発明では、専門プログラマーでないユーザー、120が身振りおよび種々の運動、音声または可視信号、質問および回答を形成する言葉の発出を含む数組の挙動を含む複雑なシナリオを作成することができる。前記の種々の要素は、すべて、一連のビネット上のアイコンによりグラフィックな方法により表現される(図5参照)。以下において示すように、これらのビネットは、ロボットにより演じられるストーリーをプログラムするためのインターフェースを構成する。
図2は、本発明の複数の実施形態による動作を処理する概要流れ図を示す。
本発明の手順に従ってシナリオを作成するために、PC120は、ロボットに与えられるコマンドをグラフィックな方法により編集するソフトウェアモジュール210を含んでいる。アーキテクチャおよび動作について図3を参照しつつ詳しく説明する。
PCはロボットと通信し、それにビネットを送る。ビネットは、実行されるために、ビネット220を解釈するソフトウェアモジュールにより解釈される。前記モジュール220のアーキテクチャおよび動作について図4を参照しつつ詳しく説明する。
ユーザーのPCは、有線インターフェースまたは無線により、またはロボットとユーザーが離れた場所に位置しており、広域ネットワーク経由で通信する場合には両方により、ロボットと通信する。後者のケースは図に示されていないが、それは本発明の可能な実施形態の1つである。
複数のロボットが単一のユーザーによりプログラムされるかまたは1個のロボットが複数のユーザーによりプログラムされるかまたは複数のロボットが複数のユーザーによりプログラムされる本発明の実施形態は図に示されていないが、これらのケースは、本発明の範囲内において全面的に可能である。
図3は、本発明の複数の実施形態に従ってコマンド編集モジュールにおいて行われる処理動作の流れ図を示す。
処理モジュール210は、シナリオファイル3110と通信するシナリオコレクタ310を含んでいる。このシナリオは、複数のシナリオ3210をメモリ中に同時にもつことができるシナリオエディタ320において可視的に表示され、かつ、変更され得る。シナリオは一般的にテキストに対応し、かつ、一連のビネットにより構成される。
本発明を実行するために、編集モジュールは、ビネットエディタ330を含んでいる。ビネットは、その中に挿入される基本挙動のためのコマンド(アイコンにより表される)をもっている。前記挙動は、ロボットにより再現され得る。テキストを挿入することも可能である(図5に関連して説明するように吹き出し中に挿入される)。前記テキストは、やはりロボットにより音声的に再現される。
編集モジュールは、通常、シナリオを定義するテキストを入力として受け取る。前記入力は、単にコンピュータキーボードを使用して直接に、またはテキスト型(*.doc、*.txt等)のファイルまたはhtmlファイル(おそらくそのURLアドレスにより示される)をシステムにロードすることにより行うことができる。前記ファイルは、遠隔サイトから、たとえばメッセージングシステム経由で受け取ることもできる。
この読み上げを行うために、システムまたはロボットは、音を出すためにスクリプトエディタからのテキストを解釈することができる合成装置を備えている。この音は、人型ロボットの場合の言葉または動物の挙動を表す音響のいずれでもよい。音響合成装置は、背景音、たとえば、場合により遠隔コンピュータ上で再生することができる環境音楽を再生することもできる。
ストーリーの読み上げは、次のようなロボット外部の事象の受領により開始することができる:
− 電子メッセージ(eメール、SMS、電話呼またはその他のメッセージ)の受領
− ホームオートメーション事象(たとえば、誰かがドアを開ける、誰かが照明のスイッチを入れる、またはその他の事象)
− ユーザーによる動作−これを行うためにプログラムされるロボットのタッチセンサー領域(たとえばロボットの頭)に触れること、身振りまたは単語などでよい。
挙動コマンドは、前記挙動を示すアイコンによりビネット中に表される。非制限的な例示であるが、挙動コマンドは以下を生成することができる:
− ロボットにより再現されるロボットの手足による運動(腕をあげること、移動等)
− ロボット上に配置されるLEDにより生成される照明効果
− ロボットにより合成される音響
− ロボットにより再現されるテキストの朗読方法を調整する音声設定(速度、音声、言語等)。
挙動コマンドは、選択した挙動制御アイコンをライブラリ3410からビネット編集モジュール330中に置かれているビネットにスライドすることにより挙動管理モジュール340の中に挿入することができる。編集モジュール330は、テキストのコピーおよび貼り付けも可能にする。ロボットに搭載されている解釈モジュールは、外部アプリケーションからの注釈テキストを解釈することができる。
有利な結果をもたらすように、本発明の範囲内において、外部アプリケーションは、Choregraphe(商標)ボックスとすることができるが、前記アプリケーションは、特に、すでに引用した仏国特許第09/53434号明細書において記述されたNAOロボットをプログラムするソフトウェアである。前記注釈テキストは、同様にウェブページ、eメール、ショート・インスタント・メッセージ(SMS)とすることができ、または、他のアプリケーションから到来することも可能である(モジュール330がそれらのアプリケーションを含めるために必要なインターフェースをもっている場合に)。
編修モジュール210は、ロボットをPCに接続する物理レイヤ上で送られるXMLストリームを条件付ける通信管理モジュール370経由でロボットと通信する。解釈マネージャー350および通信マネージャー360は、編修モジュールを補完する。解釈マネージャー350は、テキストの解釈を開始するため、それを中止するため、および解釈に関する情報(たとえば、解釈がなされるテキスト中の一節)を与えるために使用される。通信マネージャー360は、ロボットに接続するため、切断するため、および接続に関する情報(たとえば、接続または不時の切断の状態)を受け取るために使用される。
図4は、本発明の複数の実施形態によるコマンド解釈モジュールにおいて行われる処理動作の流れ図を示す。
eメールボックスまたは移動電話からの注釈テキストなどの編集モジュール210のXMLストリームおよびその他のストリームは、ビネット解釈モジュール220のサブモジュール4110による識別子(ID)およびタイプを備えている。キュー410中の識別されており、かつ、タイプの付されたストリームは、次にコンパイルスレッド420により挙動などの解釈可能なオブジェクトに変換される。文脈を離れており必ずしも明確でない挙動に対する参照は、それが記憶されている場所に対する経路の手段による挙動への直接参照に結合される同期タグにより置き換えられる。前記スレッドは、ビネットエディタ210の挙動管理モジュール340とやりとりする。このやりとりは、テキスト中の挙動に対する参照の検出を可能にする。コンパイルスレッドは、挙動に対応する可能性のあるタグを知らないので、それは、先ず第1に、テキスト中のそれらを検出することができるようにするために、挙動管理モジュールに対しすべてのこれらのタグを要求する必要がある。次に、それがテキスト中のタグを検出したとき、それは、挙動管理モジュールに対し、前記タグに対応する挙動が何であるか(たとえば、“lol”)問い合わせる。挙動管理モジュールは、それに対応する挙動への経路を与えることによりそれに応える(たとえば、“Animations/Positive/Laugh”)。これらのやりとりは、コンパイルスレッドと同期して行われる。
コンパイルスレッドが文の終わり(それは、句読点、行端等により定義されているであろう)を検出したとき、それは、その文をキュー4210に送る。シナリオの実行を速めるため、キュー4210からキュー4310へプレロードするスレッド430が設けられており、挙動への経路の形態のアドレスをもつ挙動が挙動実行モジュール460に直接送られる。したがって、識別子IDによりプログラムされた呼び出しは、シナリオにより実行が必要になるや否や、隣接して存在している。これを行うために、実行モジュールは、次に挙動をプレロードし、そして実行準備ができている挙動のインスタンスの固有IDを返す。したがって、実行モジュールは、前記挙動の実行が必要になったとき、直ちにそれを実行することができ、したがってテキストと挙動の同期が大幅に改善される。
同期スレッド440は、音声合成モジュール450により発話されるテキストと挙動実行モジュール460により実行される挙動が時間的に結合されることを可能にする。同期タグをもつテキストは音声合成モジュール450に送られるのに対し、同期のテンポに対応する挙動識別子IDは挙動実行モジュール460に送られ、それにより実行されるべき挙動のIDに対応するプレロードされた挙動の呼出しが行われる。
前記ビネット解釈モジュールにおける処理動作の組織化は、ローディングの実現およびロボットにより実行されるべきシナリオの流れに乗った実行を可能にする。これは、ユーザーとロボット間の非常に滑らかな相互作用を可能とし、ユーザーは、たとえば、順次シナリオを作成し、自分の望むときにそれをロボットに送り込むことができる。そして前記ロボットは、シナリオのシーケンスを受け取った後に殆ど直ちにそれを実行することができる。
図5aおよび5bは、本発明の1つの実施形態においてロボットにより実行されるシナリオを構成するビネットを示している。
完全に例示のためであるが、この図のシナリオは、16枚のビネットを含んでいる。シナリオは、任意の枚数のビネットを含むことができる。第1のビネット510において、ロボットは、その頭5120上に置かれている触覚センサー5110が作動することを待機している。第2のビネット520において、ロボットは、触覚センサに対するタッチ動作から所定の時間5220の経過を待ち合わせている。第3のビネット530において、ロボットは第1キャラクタであり、ナレーターは5310であり、そしてキャラクタのグラフィック表現により記号化されている第1挙動を実行する。これは、吹き出し5320に書かれているテキストを前記第1キャラクターを特徴付ける声で読みながら1回転を行うことを含む。第4のビネット540において、ロボットは第2キャラクタ5410であり(例のシナリオでは、グラフィック記号5430により表されるバッタ)、そして、このキャラクタのグラフィック表示により記号化されている第2の挙動を行う。これは、ナレーターの声とは異なり、かつ、第2のキャラクタを特徴付ける声で吹き出し5420中に書かれているテキストを読みながら右腕を上方に振ることを含む。第5のビネット550において、ナレーターロボットはキャラクタ5510により表される静止位置にあり、そして吹き出し5520中に書かれているテキストを読む。第6のビネット560において、バッタロボット5610は、同じく、5510と同様に表される静止位置にあり、そして吹き出し5620中に書かれているテキストを読む。第7のビネット570において、ロボットは第3のキャラクタであり(例のシナリオにおいて、グラフィック記号5730により記号化されるアリ)、そしてテキスト5720を話す。
したがって、この図により示されているシナリオ例では、3種類の異なるキャラクタ5310、5410および5710が介在する。このキャラクタ個数は、制限されない。
挙動および感情の個数も制限されない。挙動は、Choregraphe、専門挙動エディタまたはその他のツールにおいて作成される挙動のベース3410から取り出すことができる。これらの挙動は、場合によっては、挙動ベース3410を管理する編集モジュール210の挙動管理モジュール340において変更することができる。本発明の実施の範囲内において、挙動オブジェクトは、名称、カテゴリ、場合によりサブカテゴリ、表現、場合により1つ以上のパラメータ、場合により1つ以上のファイルの結合(オーディオまたはその他)により定義される。ビネットは、ビネット5A0に示すように複数の吹き出し、または最小限1語を含む吹き出しを含むことができる。
シナリオは、楽譜に対応してもしなくてもよいバナー5H0により特徴付けることもでき、前記楽譜は、ビネット/吹き出しのツリー構造に同期される。前記同期は、条件付きで実行される複数のレベルのビネットのインターリービングを容易にする。複数のバナーは、図においてバナー5I0により示されているように平行して進行することできる。
テキストは、種々の韻律(速度、音量、話しぶり、音声等)を使用して種々の言語により読まれ得る。本発明のシステムにおいて使用できる挙動および感情の種類は、制限されない。例として、音声は、男声、女声または子供の声でよい。音質は、多かれ少なかれ高くても低くてもよい。速度は、多かれ少なかれ速くてよい。抑揚は、ロボットがスクリプトのテキストに基づいてもつと思われる感情(愛情、驚き、怒り、喜び、小言等)に応じて選択することができる。スクリプトに伴う身振りは、例示であるが、スクリプトに関連して伝える必要のある感銘に従って、腕の上げ下げの動き、地団駄を踏むこと、頭を上下または左右に振ることなどとすることができる。
ロボットは、同様に非常に多様な方法により、たとえば、言葉、身振り、接触、光信号の発射などにより、その環境およびその対話者と相互作用することができる。例示であるが、ロボットが発光ダイオード(LED)を備えている場合、テキストを読んだときにロボットにより「感覚される」強い感情を表すために、または話し方の形式と速度に適した点滅を発生させるために発光ダイオードを作動させることができる。
ビネット510および520に示すように、一部のコマンドは、ロボットにより尋ねられた質問に応ずる動きなどの外部事象の中断のためおよび待機のためのコマンドとすることができる。
一部のコマンドは、ロボットのその環境に対する反応、たとえば、カメラまたは超音波センサにより捉えられた反応に依存することができる。
上述した例は、本発明の実施形態の説明のために与えたものである。それは、以下の請求項により定義される本発明の分野を決して制限しない。

Claims (16)

  1. 少なくとも1つのシナリオを編集および制御するシステムであって、前記少なくとも1つのシナリオがモータおよび発話機能を備える少なくとも1つのロボットにより実行されるべき少なくとも1つの挙動および話されるべきテキストを含み、前記システムが前記の挙動およびテキストを編集するモジュール(210)を含み、前記編集モジュールが前記ロボットに関して自律的であり、かつ、前記ロボットにより話されるべき前記テキストの入力のためのサブモジュールおよび前記挙動を管理するサブモジュール(340)を含み、前記編集モジュールが、さらに、前記少なくとも1つの挙動および前記1つのテキストの複合表示のための少なくとも1つの領域における前記1つの挙動および前記少なくとも1つのテキストの表現およびグラフィックな方法による結合のためのサブモジュールを含み、前記複合表示領域がビネット(510、520、530、540、550、560、570)を構成し、前記ビネットが前記ロボット上で実行されるためにコンパイルされ得るコンピュータオブジェクトを構成する編集および制御システム。
  2. 請求項1に記載の編集および制御システムであって、前記少なくとも1つのビネットがウェイティングアイコン(5110,5210)、ロボット挙動アイコン(5310、5410、5510、5610、5710)および少なくとも1つの単語を含むテキスト吹き出し(5320、5420、5520、5620、5720)を含むグループに属する少なくとも1つのグラフィックオブジェクトを含み、前記テキストが前記ロボットにより話されることを意図されている編集および制御システム。
  3. 請求項2に記載の編集および制御システムであって、ビネット(540、570)の前記挙動アイコン(5410、5710)が前記ビネット(540、570)中の少なくとも1つのテキスト吹き出し(5420、5720)に関連付けられる前記ロボットの個性および/または感情を表すグラフィックマーク(5430、5730)を含む編集および制御システム。
  4. 請求項2に記載の編集および制御システムであって、前記シナリオの前記グラフィック表現が、さらに、前記少なくとも1つのビネットにより表されるアクションの進行を同期させる少なくとも1つのバナー(5H0)を含む編集制御システム。
  5. 請求項1に記載の編集および制御システムであって、さらに、前記シナリオを解釈するモジュール(220)を含み、前記解釈モジュールが前記少なくとも1つのロボットに搭載され、かつ、前記編集モジュール(210)とストリーミングモードで通信する編集および制御システム。
  6. 請求項5に記載の編集および制御システムであって、前記シナリオを解釈する前記モジュールが少なくとも1つのシナリオを条件付けるサブモジュール(410)を含み、前記サブモジュールが前記少なくとも1つのシナリオに入力において識別子およびタイプを与えるように構成される編集および制御システム。
  7. 請求項5に記載の編集および制御システムであって、前記シナリオを解釈する前記モジュールが前記少なくとも1つの挙動をコンパイルするサブモジュール(420)を含み、前記サブモジュールがオブジェクト構造の属性を前記挙動に関連付けるように構成される編集および制御システム。
  8. 請求項7に記載の編集および制御システムであって、前記コンパイルサブモジュールが前記シナリオを句読点または行端により区切られるサブアセンブリに分割するように構成される編集および制御システム。
  9. 請求項5に記載の編集および制御システムであって、前記シナリオを解釈する前記モジュールが前記挙動実行モジュール(460)による実行のために前記少なくとも1つの挙動の前記ロボットのメモリへのプレローディングを制御するサブモジュール(430)を含む編集制御システム。
  10. 請求項5に記載の編集および制御システムであって、前記シナリオを解釈する前記モジュールが前記少なくとも1つのテキストを前記少なくとも1つの挙動に同期させるサブモジュール(440)を含む編集および制御システム。
  11. 少なくとも1つのシナリオを編集および制御する方法であって、前記少なくとも1つのシナリオがモータおよび発話機能を備える少なくとも1つのロボットにより実行されるべき少なくとも1つの挙動および話されるべきテキストを含み、前記方法が前記の挙動およびテキストを編集するステップを含み、前記編集ステップが前記ロボットに関して自律的であり、かつ、前記ロボットにより話されるべき前記テキストの入力のサブステップおよび前記挙動の管理のサブステップを含み、前記編集ステップが、さらに、前記少なくとも1つの挙動および前記1つのテキストの複合表示のための少なくとも1つの領域における前記1つの挙動および前記1つのテキストの表現およびグラフィックな方法による結合のためのサブステップを含み、前記複合表示領域がビネットを構成し、前記ビネットが前記ロボット上で実行されるためにコンパイルされ得るコンピュータオブジェクトを構成する方法。
  12. プログラムコード命令を含むコンピュータプログラムであって、前記プログラムが少なくとも1つのシナリオの編集を可能とするように構成され、前記少なくとも1つのシナリオがモータおよび発話機能を備える少なくとも1つのロボットにより実行されるべき少なくとも1つの挙動および話されるべきテキストを含み、前記コンピュータプログラムが前記の挙動およびテキストを編集するモジュールを含み、前記編集モジュールが前記ロボットに関して自律的であり、かつ、前記ロボットにより話されるべき前記テキストの入力のサブモジュールおよび前記挙動の管理のサブモジュールを含み、前記コンピュータプログラムが(前記編集モジュールが、さらに、前記少なくとも1つの挙動および前記1つのテキストの複合表示のための少なくとも1つの領域における前記1つの挙動および前記1つのテキストの表現およびグラフィックな方法による結合のためのサブモジュールを含むこと)により特徴付けられ、前記複合表示領域がビネットを構成し、前記ビネットが前記ロボット上で実行されるためにコンパイルされ得るコンピュータオブジェクトを構成するコンピュータプログラム。
  13. プログラムコード命令を含むコンピュータプログラムであって、前記プログラムが少なくとも1つのシナリオの解釈を可能とするように構成され、前記少なくとも1つのシナリオがモータおよび発話機能を備える少なくとも1つのロボットにより実行されるべき少なくとも1つの挙動および話されるべきテキストを含み、前記コンピュータプログラムが前記シナリオを解釈するモジュールを含み、前記解釈モジュールが前記少なくとも1つのロボットに搭載され、かつ、前記ロボットにより話されるべきテキストおよび実行されるべき挙動の関連を含むコンパイルされたコンピュータオブジェクトを外部プラットフォームからストリーミングモードで受け取るように構成されるコンピュータプログラム。
  14. 請求項13に記載のコンピュータプログラムであって、前記シナリオを解釈する前記モジュールが前記少なくとも1つの挙動をコンパイルするサブモジュールを含み、前記サブモジュールがオブジェクト構造の属性を前記挙動に関連付けるように構成されるコンピュータプログラム。
  15. 請求項13に記載のコンピュータプログラムであって、前記シナリオを解釈する前記モジュールが前記挙動実行モジュール(460)による実行のための前記少なくとも1つの挙動の前記ロボットのメモリへのプレローディングを制御するサブモジュールを含むコンピュータプログラム。
  16. 請求項13に記載のコンピュータプログラムであって、前記シナリオを解釈する前記モジュールが前記少なくとも1つのテキストを前記少なくとも1つの挙動に同期させるサブモジュールをむコンピュータプログラム。
JP2015514502A 2012-06-01 2013-05-30 リアルタイムで行われる移動ロボットの脈絡ある挙動を生成する方法およびシステム Active JP6319772B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1255105 2012-06-01
FR1255105A FR2991222B1 (fr) 2012-06-01 2012-06-01 Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel
PCT/EP2013/061180 WO2013178741A1 (fr) 2012-06-01 2013-05-30 Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel

Publications (3)

Publication Number Publication Date
JP2015525137A true JP2015525137A (ja) 2015-09-03
JP2015525137A5 JP2015525137A5 (ja) 2016-06-16
JP6319772B2 JP6319772B2 (ja) 2018-05-09

Family

ID=47080621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015514502A Active JP6319772B2 (ja) 2012-06-01 2013-05-30 リアルタイムで行われる移動ロボットの脈絡ある挙動を生成する方法およびシステム

Country Status (7)

Country Link
US (1) US20150290807A1 (ja)
EP (1) EP2855105A1 (ja)
JP (1) JP6319772B2 (ja)
CN (1) CN104470686B (ja)
BR (1) BR112014030043A2 (ja)
FR (1) FR2991222B1 (ja)
WO (1) WO2013178741A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017119336A (ja) * 2015-12-28 2017-07-06 ヴイストン株式会社 ロボット、ロボット制御方法並びにロボットプログラム
JP2017226051A (ja) * 2016-06-23 2017-12-28 日本電信電話株式会社 発話動作提示装置、方法およびプログラム
JP2019036029A (ja) * 2017-08-10 2019-03-07 学校法人慶應義塾 知能ロボットシステム及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594646B2 (ja) * 2015-04-10 2019-10-23 ヴイストン株式会社 ロボット及びロボット制御方法並びにロボットシステム
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
CN108932167B (zh) * 2017-05-22 2023-08-08 中兴通讯股份有限公司 一种智能问答同步显示方法、装置、系统及存储介质
US11325263B2 (en) * 2018-06-29 2022-05-10 Teradyne, Inc. System and method for real-time robotic control
US11153238B2 (en) * 2019-01-08 2021-10-19 Snap Inc. Dynamic application configuration
CN110543144B (zh) * 2019-08-30 2021-06-01 天津施格自动化科技有限公司 图形化编程控制机器人的方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261820A (ja) * 1994-03-25 1995-10-13 Nippon Telegr & Teleph Corp <Ntt> 産業用ロボット作業のソフトウェア構成方法及び制御装置
JP2000210886A (ja) * 1999-01-25 2000-08-02 Sony Corp ロボット装置
JP2002120174A (ja) * 2000-10-11 2002-04-23 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2005051778A (ja) * 2003-07-28 2005-02-24 Fuji Xerox Co Ltd 共用インタラクティブ環境を提供する統合システム、および、コンピュータデータ信号、プログラム、システム、および、共用インタラクティブ環境で情報を交換するための方法、ライブビデオ画像に注釈するための方法
JP2009025224A (ja) * 2007-07-23 2009-02-05 Clarion Co Ltd ナビゲーション装置、および、ナビゲーション装置の制御方法
WO2010136427A1 (fr) * 2009-05-26 2010-12-02 Aldebaran Robotics Systeme et procede pour editer et commander des comportements d'un robot mobile
US20110071676A1 (en) * 2009-09-22 2011-03-24 Gm Global Technology Operations, Inc. Interactive robot control system and method of use
US20120122059A1 (en) * 2009-07-24 2012-05-17 Modular Robotics Llc Modular Robotics

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2496160A1 (fr) * 1980-12-11 1982-06-18 Lamothe Andre Raccord etanche pour l'utilisation des outils conventionnels de forage en circulation inverse
GB2385954A (en) * 2002-02-04 2003-09-03 Magenta Corp Ltd Managing a Virtual Environment
JP4744847B2 (ja) * 2004-11-02 2011-08-10 株式会社安川電機 ロボット制御装置およびロボットシステム
FR2929873B1 (fr) * 2008-04-09 2010-09-03 Aldebaran Robotics Architecture de controle-commande d'un robot mobile utilisant des membres articules
FR2947923B1 (fr) * 2009-07-10 2016-02-05 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile
DE102010004476A1 (de) * 2010-01-13 2011-07-14 KUKA Laboratories GmbH, 86165 Verfahren und Vorrichtung zum Kontrollieren einer Roboterapplikation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261820A (ja) * 1994-03-25 1995-10-13 Nippon Telegr & Teleph Corp <Ntt> 産業用ロボット作業のソフトウェア構成方法及び制御装置
JP2000210886A (ja) * 1999-01-25 2000-08-02 Sony Corp ロボット装置
JP2002120174A (ja) * 2000-10-11 2002-04-23 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2005051778A (ja) * 2003-07-28 2005-02-24 Fuji Xerox Co Ltd 共用インタラクティブ環境を提供する統合システム、および、コンピュータデータ信号、プログラム、システム、および、共用インタラクティブ環境で情報を交換するための方法、ライブビデオ画像に注釈するための方法
JP2009025224A (ja) * 2007-07-23 2009-02-05 Clarion Co Ltd ナビゲーション装置、および、ナビゲーション装置の制御方法
WO2010136427A1 (fr) * 2009-05-26 2010-12-02 Aldebaran Robotics Systeme et procede pour editer et commander des comportements d'un robot mobile
US20120122059A1 (en) * 2009-07-24 2012-05-17 Modular Robotics Llc Modular Robotics
US20110071676A1 (en) * 2009-09-22 2011-03-24 Gm Global Technology Operations, Inc. Interactive robot control system and method of use
JP2011067943A (ja) * 2009-09-22 2011-04-07 Gm Global Technology Operations Inc インターアクティブロボット制御システム及び使用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
E.POT ほか: "Choregraphe: a Graphical Tool for Humanoid Robot Programming", THE 18TH IEEE INTERNATIONAL SYMPOSIUM ON ROBOT AND HUMAN INTERACTIVE COMMUNICATION, vol. DOI: 10.1109/ROMAN.2009.5326209, JPN6017007659, 10 November 2009 (2009-11-10), US, pages 46 - 51, ISSN: 0003511760 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017119336A (ja) * 2015-12-28 2017-07-06 ヴイストン株式会社 ロボット、ロボット制御方法並びにロボットプログラム
JP2017226051A (ja) * 2016-06-23 2017-12-28 日本電信電話株式会社 発話動作提示装置、方法およびプログラム
JP2019036029A (ja) * 2017-08-10 2019-03-07 学校法人慶應義塾 知能ロボットシステム及びプログラム

Also Published As

Publication number Publication date
WO2013178741A1 (fr) 2013-12-05
EP2855105A1 (fr) 2015-04-08
FR2991222A1 (fr) 2013-12-06
JP6319772B2 (ja) 2018-05-09
CN104470686A (zh) 2015-03-25
CN104470686B (zh) 2017-08-29
US20150290807A1 (en) 2015-10-15
BR112014030043A2 (pt) 2017-06-27
FR2991222B1 (fr) 2015-02-27

Similar Documents

Publication Publication Date Title
JP6319772B2 (ja) リアルタイムで行われる移動ロボットの脈絡ある挙動を生成する方法およびシステム
US9205557B2 (en) System and method for generating contextual behaviors of a mobile robot
US10052769B2 (en) Robot capable of incorporating natural dialogues with a user into the behaviour of same, and methods of programming and using said robot
US10929759B2 (en) Intelligent robot software platform
US8942849B2 (en) Humanoid robot equipped with a natural dialogue interface, method for controlling the robot and corresponding program
KR20030007685A (ko) 로봇 장치 및 그 제어 방법과 기억 매체
US20160071302A1 (en) Systems and methods for cinematic direction and dynamic character control via natural language output
KR100880613B1 (ko) 지능형로봇의 감정표현지원시스템과 지원방법 및 이를이용한 지능형 로봇 시스템
Porfirio et al. Figaro: A tabletop authoring environment for human-robot interaction
Gris et al. Virtual agent interaction framework (VAIF): a tool for rapid development of social agents
KR20050031525A (ko) 지능형 로봇의 컨텐츠 제작용 저작툴 및 이를 이용한지능형 로봇의 컨텐츠 제작 방법
Blumendorf Multimodal interaction in smart environments: a model-based runtime system for ubiquitous user interfaces
Giunchi et al. DreamCodeVR: Towards Democratizing Behavior Design in Virtual Reality with Speech-Driven Programming
Hanser et al. Scenemaker: Intelligent multimodal visualisation of natural language scripts
Feng et al. A platform for building mobile virtual humans
Rouillard et al. Facilitating the design of multi-channel interfaces for ambient computing
US20230236575A1 (en) Computer-automated scripted electronic actor control
Novick et al. A mark-up language and interpreter for interactive scenes for embodied conversational agents
Hacker et al. Interacting with Robots-Tooling and Framework for Advanced Speech User Interfaces
Rizzo et al. UDOO App Inventor: Introducing Novices to the internet of things
Lee et al. From Keyboard to Chatbot: An AI-powered Integration Platform with Large-Language Models for Teaching Computational Thinking for Young Children
Bhutada Universal Event and Motion Editor for Robots' Theatre
Pettersson et al. Perspectives on Ozlab in the cloud: A literature review of tools supporting Wizard-of-Oz experimentation, including an historical overview of 1971-2013 and notes on methodological issues and supporting generic tools
Saerbeck Software architecture for social robots
Vargas MASTER’S DEGREE IN AUTOMATIC CONTROL AND ROBOTICS

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180328

R150 Certificate of patent or registration of utility model

Ref document number: 6319772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150