JP2019523714A - 多重相互作用人格ロボット - Google Patents

多重相互作用人格ロボット Download PDF

Info

Publication number
JP2019523714A
JP2019523714A JP2018556965A JP2018556965A JP2019523714A JP 2019523714 A JP2019523714 A JP 2019523714A JP 2018556965 A JP2018556965 A JP 2018556965A JP 2018556965 A JP2018556965 A JP 2018556965A JP 2019523714 A JP2019523714 A JP 2019523714A
Authority
JP
Japan
Prior art keywords
robot
user
personality
users
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018556965A
Other languages
English (en)
Inventor
ファビス,ステファン
スリバスタバ,ディーパック
Original Assignee
タキオン ロボティクス コーポレーション
タキオン ロボティクス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タキオン ロボティクス コーポレーション, タキオン ロボティクス コーポレーション filed Critical タキオン ロボティクス コーポレーション
Publication of JP2019523714A publication Critical patent/JP2019523714A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input

Abstract

状況によって、ユーザ、ユーザのグループ、または他のロボットとの連続的な相互作用の間に、MIP(例えば、ロボットの人格を表す合成されたデジタル音声、人間の人格を表すデジタル的に録音された人間の音声)の間で前後に切り換わることができるロボットの多重相互作用人格(MIP)を生成して示すための方法およびシステムが提供される。ロボットのMIPは、複数の適切な表情を伴う音声タイプ、アクセント、および感情で話すロボットにより示される。ユーザのグループのためのクラウドソーシング方法および個別ユーザのためのカスタム化を用いてMIPを訓練するためにウェブ/モバイルインターフェースを使用する、対応する生き生きした多重相互作用人格(AMIP)チャットボットおよびチャッターボット・ソフトウェアも提供される。 訓練されたMIPは、娯楽、社交、教育および訓練、およびカスタマーサービス・アプリケーションを含む用途のために、MIPロボット、AMIPチャットボットおよび/またはAMIPチャッターボットにダウンロード可能である。【選択図】図1

Description

本願は、2016年4月26日に出願された米国仮特許出願第62/327934号に対する優先権およびそれの利益を主張するものであり、それの開示全体を参照によって本願明細書に引用したものとする。
本発明は、一般にロボットの分野、詳細には、定期的に人間のユーザと相互作用して、社会ロボットと呼ばれているロボットに関する。本発明は、インターネットまたはモバイル接続のウェブまたはモバイル機器を通じて、ユーザと相互作用できるロボットのソフトウェアベースの人格も含む。そのソフトウェアは、チャットボットまたはチャッターボットと呼ばれる。
伝統的に、ロボットは、様々な工業生産、包装、輸送および配達、防衛、健康管理、ならびに農業分野において最近の数十年にわたって開発され展開されて、所定のシナリオで反復作業および通信の多くを置き換えることを主な目的とした。ロボットシステムは、ある程度の自動制御によって同じ作業を実行する。近年の人工知能および機械学習能力の進歩によって、ロボットは、商業的な、産業的な、および研究室レベルの所定のシナリオから様々なアプリケーション分野における人間のユーザとの相互作用、通信、および共同作業さえにも向けて動き始めた。
社会ロボットは、幼児および高齢者の看護、受付係、歓迎者、およびガイドアプリケーション、および多機能ホームアシスタント等の様々なアプリケーション分野で人間のユーザと相互作用して通信するために、ロボットシステムおよびロボットチャットボットまたはチャッターボットを含むそれらの純粋にソフトウェアカウンターパートに対して提案されて、開発されている。それらのソフトウェアベースのカウンターパートは、チャットボットまたはチャッターボットとそれぞれ呼ばれる人間のユーザとの書かれた(チャット)または口頭のことばの(チャッター)通信を実行するために作成される。これらは、伝統的に、多数のソフトウェア、例えば、始めにイライザ、そして最近では、オープンソースで利用可能であるA.L.I.C.E(AIML ―Artificial Intelligent Markup Languageに基づく)に基づいている。人間のユーザとの通信能力を向上させるのに加えて、社会ロボットは、また、人間のユーザまたはユーザのグループとの相互作用の間に典型的ロボット様式の機械的、検索、分析、および応答機能の多くを実行するために必要な搭載センサ、アクチュエータ、コントローラ、記憶、論理、および処理能力から成る全セットを所有する。
ロボットアプリケーションが、定期的に人間のユーザのより近づいてしてきたので、典型的ロボット様式の特徴および機能によって人間のユーザと相互作用するロボットの人格は重要になった。ロボットの人格は、アクセス可能な知識データベースおよびロボットがユーザまたはユーザのグループに応答し、通信して、相互作用するために選択するのに用いる規則のセットとして見なされる。Watson、Siri、Pepper、Buddy、Jibo、およびEchoは、この種の人間とインターフェースする社会チャットボット、チャッターボット、および人格特性のような典型的ロボットにおいて応答するロボットの数少ない顕著な例である。用語「ロボットの多重人格」は、多くのチャットボットまたはロボットの特徴または人格を同時に管理するために、クライアント・サーバモデルの中央コンピュータベースのロボット管理システムに照会された。構造上、これは、同時に多くのロボットの人格をアップロードし、分散し、または管理することをより容易にし、そして多くのロボットの間の通信も可能である。さらにまた、最近類似ラインに沿って、遠隔クラウドベースのアーキテクチャの管理システムも提案された。そこでは、ロボットシステムの多くの人格タイプが、クラウドコンピューティング機能を効率的に使用して開発、変更、更新、アップロード、ダウンロード、または格納できる。記憶データおよび規則セットに基づくロボットの複数の人格タイプの感覚は、ロボットによって、またはユーザに関連した状況に依存するかまたはユーザの気分を表すユーザによって選択できる。クラウド・コンピューティング・ベースのアーキテクチャまたは機能というアイデアは、この種の多重人格を格納、分散、変更、および管理することを安易にすることである。
一つの声で表されるロボット様式人格特性、およびユーザとの連続的な相互作用または通信の間に前後に切り換わることができる適切な表情を伴う別の声の「内側人間様式」人格特性の両方とも含むことができる多重相互作用人格(MIP)またはそれらのソフトウェアバージョンの生き生きした多重相互作用人格(AMIP)チャットボットおよびチャッターボットを示すことができるロボットまたはロボットシステムはない。MIPおよびAMIPタイプのロボット、チャットおよびチャッターボットの方法、システム、およびアプリケーションが、本発明の開示に提示される。
本発明の開示の目的は、ロボットが状況によってユーザとの連続的な相互作用または通信の間に前後に切り換わることができる多重相互作用人格(MIP)を作成して示すための方法およびシステムを提供することである。具体的には、ロボットのMIPは、ユーザとの連続的な相互作用または通信の間に状況によって適切な表情を伴う複数の音声タイプ、アクセント、および感情で話すことができるロボットにより示される。以前の開発および発明とは対照的に、この種のMIPロボットは、複数または多重の音声タイプおよび不随する表情を使用して、そしてユーザ、ユーザのグループ、または他のロボットとの連続的な相互作用または通信の間に多重人格の中で前後に切り換わることができるすべての多重人格の挙動を明確に示すことができる。この種のMIPタイプロボットは、状況コメディ、カラオケ、ゲーム、教示および訓練、挨拶、ガイド、および典型的「ロボット様式」人格特性およびこの分野で現在一般的である限界に加えて「人間様式」人格特性のタッチを備えた顧客サービスタイプのアプリケーションを含むがこれに限らない社会ロボットとして用いることができる。
本発明の一態様によれば、MIPロボットの多重相互作用人格は、デジタル録音された人間の音声が人間様式人格特性を表すのに対して、ロボット様式人格特性を典型的に表すコンピュータ合成音声によって示すことができる。「人間様式」人格特性は、いかなる限界もなしに、典型的人間のユーザのそれらのように、質問をし、感情を表明し、冗談を言い、辛辣な意見を言い、生命および宗教などの意味に関する冷静な回答をする能力を含む。ロボットの適切な表情を備えた多重相互作用音声は、そこに表されるいろいろな音声と人格の間のいかなる重複または不一致なしにユーザ、ユーザのグループ、または他のロボットと相互作用するかまたは通信する。別の態様によれば、人間の音声または特定の人間の音声を適切な表情にマッチさせるように設計された適切なコンピュータ合成音声は、この種のMIPロボットで「人間様式」人格特性を示すために用いることもできる。
別の態様によれば、MIPロボットで多重音声に伴う適切な表情は、目、眼瞼、口、および唇の形の適切な変化を含むことにより生成されるが、これに限らない。現在の状況を決定するための入力は、以前の状況の入力データの評価および分析に基づいてユーザからの直接の質問を求めるMIPロボットによってアクセスされる。MIPロボットは、いかなる制限もなしに、状況によって人間様式の音声または人格のカスタマイズされた事前に準備された応答をユーザに提供できるか、または状況によってロボット様式の音声または人格の人工知能(Al)ベースの質問されたか分析されたロボット様式応答を提供できる。質問およびMIPロボットによって、必要な典型的ユーザ入力データへの事前に準備された応答のセットは、ロボット内でオンボードで格納され、処理され、そして変更され、ウェブインタフェースまたはモバイルインタフェースを使用してロボット内でダウンロードされ、クラウドベースの記憶装置およびコンピュータシステムからロボット内でダウンロードされることができるか、あるいは連続的なロボット・ユーザの相互作用または通信の間に別のロボットから得るかまたは交換できる。
本発明の一態様によれば、MIPロボットのまったくのソフトウェアベースの生き生きしたバージョンも作成されて、それは、いかなる制限もなしに、ウェブインタフェースまたはモバイルインタフェースを介してユーザと相互作用できる。複数の人格特性とテキストベースのチャットができる生き生きしたMIPロボットのソフトウェアバージョンは、生き生きしたMIP(AMIP)チャットボットと呼ばれている。「人間様式」および「ロボット様式」の人格を備えた多重相互作用音声でユーザとの言葉または口頭の通信が可能である、生き生きしたMIPロボットのソフトウェアバージョンは、生き生きしたMIP(AMIP)チャッターボットと呼ばれている。
本発明の別の態様において、AMIPチャットボットおよびチャッターボットは、ウェブインタフェースまたはモバイルインタフェースを通じての連続的な相互作用または会話の間にロボット様式方法で典型的「ロボット様式」人格特性と相互作用もすると共に、「人間様式」方法における人間様式人格特性でユーザと相互作用することが可能である。別の態様において、AMIPチャットボットおよびチャッターボットのウェブバージョンおよびモバイルバージョンは、インターネットベースのクラウドソーシング環境内のロボット応答に関する、ユーザの質問、コメント、シナリオ、およびフィードバックなどを含むがこれに限らない、ユーザ指定された入力データを集めるために遠隔に位置するユーザまたはユーザのグループとの連続的な相互作用または通信が可能である。
別の態様において、ユーザのグループのためのインターネットベースのクラウドソーシング環境は、AMIPチャットボットおよびAMIPチャッターボットと相互作用する遠隔に位置するユーザのために、ユーザ連絡、性、年齢グループ、収入グループ、教育、ジオロケーション、関心、好み、および嫌いなどを含むがこれに限らない、ユーザに関するデータを与えることもできる。方法は、また、質問、質問に対する追加および変更、およびデフォルト多重人格タイプを生成するためのウェブまたはモバイルベースのクラウドソーシング環境からの質問に対する返答、およびユーザの選択によるAMIPチャットおよびチャッターボットのための人格タイプの変化のセットを取得することを提供する。別の態様において、AMIPチャットボットおよびチャッターボットのウェブバージョンおよびモバイルバージョンは、また、フィードバックループを介してユーザの選択による多重相互作用人格のカスタム化を提供する。フィードバックループを使用したユーザの選択によるAMIPチャットボットおよびチャッターボットを用いて作られるカスタマイズされた人格は、それから、MIPロボット・ユーザ相互作用の間に使用のためにMIPロボットまたはロボットシステムにダウンロードできる。
一つの態様では、方法は、また、ユーザとのMIPロボット、あるいはAMIPチャットボットまたはチャッターボットの連続的な相互作用または通信のために上記に伴う典型的なアルゴリズムを提供する。典型的なアルゴリズムは、いかなる制限もなしに、以下を備えたユーザ・ロボット相互作用を含む。すなわち、(a)対話中の多重相互作用人格の応答および切換えの際の重複または不一致がない、(b)クラウドソーシング環境を用いたユーザの選択による多重相互作用人格のカスタム化、および(c)ユーザの選択によるMIPロボット内の、またはAMIPチャットボットまたはチャッターボット内の上記のロボット様式人格特性と人間様式人格特性の比率のカスタム化。
上記の概要は例示に過ぎず、いかなる形であれ制限的なことを目的としていない。本発明の開示の一つ以上の実施態様の詳細は、添付の図面および下記の詳細な説明に記載される。本発明の他の特徴、目的、および利点は、説明および図面から、そして請求項から明らかである。
主要構成要素を備えたMIPロボットの例示的な略図である。 図2A−図2B。ユーザと相互作用するMIPロボットの例示的な略図であり、そこにおいて、ユーザは立っており(図2A)、そしてユーザは座っていて、別のユーザは立っている(図2B)。 ユーザと多重相互作用音声で話すことができるMIPロボットの典型的なアルゴリズムの主要構成要素のブロック図および手順フローである。 多重相互作用音声でのユーザとのMIPロボット対話の典型的なアルゴリズムのブロック図および手順フローである。 多重相互作用音声でのユーザとのMIPロボット対話におけるロボット応答に関するユーザフィードバックを取り入れる典型的なアルゴリズムのブロック図および手順フローである。 図6A-図6B。ウェブインターフェース(図6A)またはモバイルインタフェース(図6B)を通じてユーザと相互作用するAMIPチャットボットまたはチャッターボットの例示的な略図である。 図7A−図7B。ユーザにより提示されるフィードバックおよび代わりのロボット応答トランスクリプトのクラウドソーシングを使用したユーザの選択によるAMIPチャットボットまたはチャッターボットの人格を訓練するためのブロック図および手順フローである。 コンピュータまたはモバイル機器を走行するAMIPの例示的なビデオ・スクリーン・キャプチャである。 図9A−図9B。ユーザの選択によるMIPロボットの「人間様式」または「ロボット様式」の応答の比率、またはAMIPチャットボットおよびチャッターボットをカスタマイズするための例示的なアルゴリズムである。 ロボットシステム内に処理、記憶、メモリ、センサ、コントローラ、I/O、接続性、および電力ユニットおよびポートを備えた例示的なMIPロボットである。 図11A−図11C。いろいろな動きのためのロボットシャシーのアニマトロニクスの頭部配置の例示的な図である。 図12A−図12B。アニマトロニクスの頭部回転(図12A)およびロボットシャシーのアニマトロニクスの眼瞼位置(図12B)の例示的な図である。
本発明の詳細は、本発明の開示の彫像要件を満たすために図示例とともに記載される。しかしながら、記述自体および図示例は、本発明の開示の範囲を制限することを意図しない。発明者は、本発明の内容が、現在および将来の技術的前進に関連して、この文書に記載されているものと類似の異なるステップまたは異なるステップの組合せを含むために他の方法で実施されることもありえると予測した。いろいろな例証を示す図において使用する類似の記号は、文脈上別段の記載がない限り,類似の構成要素を識別する。本願明細書における用語「ステップ」、「ブロック」、および「フロー」は、使用される方法のいろいろな要素を説明するために、以下で使われて、いかなる特定の順序も本発明の実施形態のために明確に記載されない限り、いろいろなステップの中でいかなる特定の順序も意味すると解釈してはならない。
本発明の実施形態は、ユーザとの連続的な相互作用または通信の間に状況によっていろいろな人格の中で前後に切り換わる能力を備えた多重相互作用人格(MIP)を生成して示すためにロボット用の方法およびシステムを提供することを目的とする。具体的には、ロボットのMIPは、ユーザとの連続的な相互作用または通信の間に状況によって、複数の適切な表情を伴う音声タイプ、アクセント、および感情において話すことができるロボットにより示される。デジタル録音された人間の音声が、同じロボットの「人間様式人格」を表すことができるのに対して、合成されたデジタル音声は、ロボット様式人格を表すことができる。一態様によれば、現在の将来の技術的進歩によって、人間の音声またはいかなる特定の人間の音声も適切な表情にマッチするように設計された適切なコンピュータ合成音声は、いかなる制限もなしに、この種のMIPロボットで「人間様式」人格特性を示すために用いることもできる。以前の開発および発明とは対照的に、この種のMIPロボットは、複数の音声タイプおよび付随する表情を用いてすべての多重人格応答を明確に示して、ユーザ、ユーザのグループ、または他のロボットとの連続的な相互作用または通信の間に前後に切り換わることができる。
本発明の実施形態に基づいて、MIPロボットは、ユーザとの連続的な相互作用または通信の間に「人間様式」音声を備えた「人間様式」方法で、感情を表明し、直接に質問し、冗談を言い、辛辣な意見を言い、拍手し、そして冷静に答え、その一方で、また、いかなる重複または不一致もなしに同じユーザとの同じ連続的な相互作用または通信の間に「ロボット様式」方法および「ロボット様式」音声で相互作用して、話すことが可能である。この種のMIPロボットは、状況または独演コメディ、カラオケ、ゲーム、教示および訓練、挨拶、ガイド、ならびにカスタマーサービス・タイプのアプリケーションを含むがこれに限らない面白い社会ロボットとして用いることができる。
別の実施形態によれば、状況を決定するための入力は、ユーザ用の各種の搭載センサ、ユーザの背景、およびその時の相互作用環境による状況から得られる入力データにアクセスして、分析することに加えて、「人間が通常行う」ようにユーザへ直接の質問をするMIPロボットによって、アクセスされる。MIPロボットは、現在の状況に適している人格タイプに基づいてユーザにカスタマイズした応答を提供できる。状況を評価して、状況に応じてユーザの気分を決定するためにMIPロボットの多重人格によって必要とされる質問および事前に準備された応答のセットは、ユーザとの連続的な相互作用または通信の間にロボット内でオンボードで格納され、処理されて、変更され、ウェブまたはモバイル・ベースのインタフェースを使用してMIPロボット内にダウンロードされ、クラウド・コンピューティング・ベースのシステムからダウンロードされることができるか、または別のロボットから得るかまたは交換できる。
別の実施形態によれば、MIPロボットのソフトウェアベースの生き生きしたバージョンも作成されて、それは、いかなる制限もなしに、パソコン、タブレット、およびスマートフォンでサポートされるウェブまたはモバイル・インタフェースを介してユーザと相互作用できる。ユーザとの連続的な相互作用または通信の間に「人間様式」および「ロボット様式」人格でウェブまたはモバイル・インタフェースを用いてユーザとチャットすることができる、そして切り換えることができるMIPロボットの生き生きしたバージョンは、生き生きしたMIP(AMIP)チャットボットと呼ばれる。「人間およびロボット様式」相互作用人格の多重音声でユーザと言葉で話すか意見を述べることができる、そしてユーザとの連続的な相互作用または通信の間に切り換えることができるMIPロボットの生き生きしたバージョンは、生き生きしたMIP(AMIP)チャッターボットと呼ばれる。AMIPチャットボットおよびチャッターボットは、ユーザとの連続的な相互作用または通信の間に人間様式方法で、直接の質問をすることによって、ユーザの気分および状況を評価して応答し、感情を表明し、冗談を言い、辛辣な意見を言い、拍手し、そして冷静に答え、その一方で、同じユーザとの同じ連続的な相互作用または通信の間にロボット様式人格で評価して応答することも可能である。
別の実施形態によれば、ウェブまたはモバイル・インタフェースを使用して遠隔に位置するユーザまたはユーザのグループと相互作用できるAMIPチャットボットおよびチャッターボットは、ユーザの質問、コメント、およびコメディーシナリオとゲームシナリオに関する入力、カラオケ歌のリクエスト、およびインターネットベースのクラウドソーシング環境内の他の示唆を含むが、それらに限らない、ユーザ指定のチャットおよびチャッターボット入力データを集めるために用いる。ユーザのグループのためのインターネットベースのクラウドソーシング環境は、相互作用環境に関するユーザ連絡、ジオロケーション、関心、およびユーザの好みと嫌いなど、多重相互作用人格の応答、ならびに現在の状況を含むが、これに限らない、ユーザ入力データを集めることを含むこともできる。
別の実施形態では、ユーザの入力データは、AMIPチャットボットおよびチャッターボットの多重相互作用人格の訓練を受けてカスタマイズして、ユーザ自身の好みに合うために、調節されたフィードバックループで使われる。AMIPチャットボットおよびチャッターボットのユーザが好むカスタマイズした人格は、それから、USB、HDMI(登録商標)、タッチスクリーン、マウス、キーボード、および移動無線データ接続のためのSIMカードを含むがこれに限らない、ウェブインタフェースおよびモバイルインタフェース、クラウドコンピューティング環境、ならびに多数のハードウェア入力装置ポートを使用して、遠隔で接続されるMIPロボットで使用するためにダウンロードされる。別の実施形態では、ユーザのクラウドソースのグループは、一般のユーザのためにAMIPチャットボットおよびチャッターボットおよびMIPロボットの多重人格を訓練することができ、そしてユーザはまた、ユーザの自身の好みに従ってAMIPチャットボットおよびチャッターボットおよびMIPロボットの訓練を受けて、カスタマイズすることができる。クラウドソーシング実施形態の調整されたフィードバックループは、AMIPチャットボットおよびチャッターボットおよびMIPロボットを使用して、国家、人種、性的好み、カラー、および宗教的な起源関連の参照および区別を含むがこれに限らない、ユーザまたはユーザのグループが望ましくないか不正な多重相互作用人格を生成することを防止して、制限するために用いる。
別の実施形態では、物理的な位置でウェブインタフェースおよびモバイルインタフェースおよびMIPロボットを用いるユーザが好んでカスタマイズしたAMIPチャットボットおよびチャッターボットは、典型的ロボットまたは社会ロボットのすべての役立つ機能を提供すると共に、教育的な訓練および教示、育児、ゲーム、状況および独演コメディ、カラオケ歌唱、および他の娯楽ルーチンを含むがこれに限らない、アプリケーションのために用いる。
本発明の実施形態の典型的な概要を簡単に説明したが、本発明の実施形態を実施できる典型的なMIPロボットシステムおよび構成要素は、本発明のさまざまな態様の一般的状況を提供するために後述される。ここで図1を参照すると、本発明の実施形態を実施する典型的なMIPロボットシステムが示されて、一般にMIPロボット装置100と呼ばれる。本願明細書に記載されているMIPロボット装置100および他の装置は、実施例として記載されたに過ぎず、本発明の使用および機能の範囲に関していかなる制限も示唆する意図はないことを理解すべきである。他の装置および要素(例えば、機械、インタフェース、機能、順序、およびグループ化など)は、示されるものの代わりに用いることができて、いくつかの要素は、全く省略することができて、いくつかの新規な要素は、本発明の実施形態を変えずに関連技術の現在および将来の状態によって加えることができる。さらにまた、本開示に記載されているブロック、ステップ、方法、装置、および実体は、別々であるか分散された構成要素として、または他の構成要素と連動して、そしていかなる好適な組み合わせおよび位置でも実施できる。図に示されるブロックにより実行されるとして本願明細書に記載されているさまざまな機能は、ハードウェア、ファームウェア、および/またはソフトウェアによって実行できる。
図1のMIPロボット装置100は、いかなる制限もなしに、ベース104、胴106、および頭部108を含む。ベース104は、ロボットを支持して、ベース104の中にある移動のための車輪(図示せず)を含む。ベース104は、内部電源、充電機構、および電池を含む。一実施形態において、ベース104は、MIPロボット用の車輪を備えた別の可動プラットフォーム102でそれ自体支えられて、MIPロボットと相互作用するように構成されるユーザまたはグループユーザを含む環境において動き回ることができる。胴106は、ビデオカメラ105、タッチスクリーン・ディスプレイ103、左側101および右側107スピーカー、サブウーファ・スピーカー110、および外部装置109に接続するためのI/Oポートを含む(典型的な位置が示される)。一実施形態において、ディスプレイ103は、スピーカにより話される「人間様式」特性または人格を表すために「人間様式」音声のテキスト形式表示、およびMIPロボットの「ロボット様式」人格を表すためにスピーカにより話される合成されたロボット音声の音波形式表示を示すために用いる。頭部108は、6次の動作、上、下、ピッチ、ロール、ヨー、左、右の前後の動作を伴う首112を含む(図11A〜Cおよび12A参照)。変更表情は、アニマトロニックな上眼瞼116および下眼瞼117を開閉する、RGB LED114で点灯される目により達成される(眼瞼構成について図12B参照)。一般的な構成要素およびそれらの機能の上記リストに加えて、典型的ロボットは、電源ユニット、充電、計算、または処理ユニット、記憶ユニット、メモリ装置、接続性装置およびポート、ならびに様々なセンサおよびコントローラも含む。MIPロボットのこれらの構造および構成要素成形ブロックは、MIPロボットの典型的な論理、処理、センサ、ディスプレイ、検出、制御、記憶、メモリ、電源、入出力、および必ずしも実際ではない構成要素を表す。例えば、表示装置ユニットは、マウスおよびキーボードの有無にかかわらず、USB、HDMIと接触するかまたは接触しないことができて、イーサネット・ケーブル・ポートは、キーI/O構成要素を表すことができて、プロセッサユニットは、最先端技術に従ってメモリおよび記憶を有することもできる。図1は、本発明の一つ以上の実施形態によって用いることができるMIPロボット装置の例証となる実施例である。
本発明は、搭載センサ、スピーカ、コンピュータ、電源ユニット、ディスプレイ、および様々なI/Oポートを備えたロボットについて一般的な文脈で記載される。そこにおいて、コンピュータまたはコンピューティングユニットは、いかなる制限もなしに、ユーザまたはユーザのグループと相互作用して、人間様式およびロボット様式の人格特性を含む切り替え可能な多重相互作用人格(MIP)を表す多重相互作用音声による出力応答を生成するように構成されるMIPロボットから発生する入力データを処理して解釈するために、コンピュータによって実行可能なコンピュータ可読プログラムモジュールを含む、コンピュータコードまたは機械読み取り可能な命令を含む。通常、プログラムモジュールは、入力データをとり、特定のタスクを遂行して、ロボットによる適切な応答をもたらすコンピュータコードを参照する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。USB、イーサネット(登録商標)、WIFI、モデム、HDMIポートを通じて、MIPロボットは、クラウドコンピューティングおよび記憶環境、MIPロボットと直接相互作用するように構成されるユーザまたユーザのグループ、および相互作用環境内の他のロボット等の遠隔ソースからまたはそれへの人格、質問、ユーザ応答フィードバック、および変更された人格のアップロードおよびダウンロードが可能であるインターネットおよびクラウドコンピューティング環境にも接続している。
図2Aおよび2Bは、いかなる制限もなしに、ユーザ202と相互作用するように構成されるMIPロボットの典型的な環境であり、そこにおいて、ユーザ202は、立っていて(図2A)、そこにおいて、MIPロボットは、座っている(例えば、ソファーに)そして/または同じか類似の環境に立っているユーザまたは他のユーザのグループ202の前に位置する(図2B)。典型的なMIPロボット装置200は、図1のMIPロボット装置100に詳述されるそれである。ロボット装置200は、典型的なタッチ・スクリーン・ディスプレイ、キーボード、マウス、ゲームコントローラなどを含むがそれに限らない、搭載コンピュータ、ユーザからの直接の入力により処理される顔面および音声認識アルゴリズムと連動して搭載センサ、カメラ、マイクロホンを用いてユーザ202から入力データをとることができる。ユーザまたはユーザのグループ202は、この典型的な環境内でMIPロボット200と相互作用するように構成されて、直接話す、泣く、笑う、歌う、そして冗談を言うことを含むがそれに限らない、話す、キーボードにテキストをタイプし、ゲームコントローラを介してゲーム制御信号を送り、そして感情を表明することによって、MIPロボット200と通信できる。MIPロボットにより受信される入力データに応答して、ロボットは、人間様式音声および記録されたシナリオで人間様式人格と、またはロボット様式音声および応答でロボット様式人格と応答することを選択できる。
ロボット様式音声または人間様式音声でユーザと話して、いかなる人格間の重複または不一致もなしに人格間で切り換わることができるMIPロボットの相互作用の典型的なアルゴリズムおよびプロセスフロー図は、図3〜5に記載されている。図3のこれを達成する全体のシステム・フローチャート300は、2つの主要なステップが手順フローにあることを示す。ユーザ−ロボット対話400のステップ1は、以前の相互作用または通信に基づいてユーザから入力302をとり、ロボットが話すかまたはユーザが続けることができるかどうか決める。話すことがロボットの回転である場合、入力データに基づいて、MIPロボットは、状況を分析して、ロボットがロボット様式人格で、または人間様式人格で話すかどうか決める。カスタム化500のためのユーザフィードバックのステップ2は、ユーザフィードバックを行って、適切な応答をする。図3に示すように、ステップ400および500は、それぞれ、図4および5に更に記載される。
ロボットが、ユーザあるいはロボットまたは人間様式人格を有するロボットが応答するかどうか決定する、以前の相互作用または通信に基づいてユーザから入力をとるための典型的なアルゴリズムおよび手順フローが示される。以前の相互作用または通信からの入力は、302で受信される。入力302の分析は、ユーザが話しているかまたは入力をタイプしているかどうか決めるために402で行われる。ユーザが話していないかまたは入力をタイプしていない場合、ステップ404は、ロボットが話しているかまたはタイプしているかどうか調べる。ロボットが話しているかまたはタイプしている場合、ステップ406は、現在作動中の音声およびテキスト出力を完了させて、更なるユーザ入力がなされるのを待つ。ロボットが、ステップ405で話したり、タイプしたりしていない場合、ロボットは、更なる入力または相互作用を待つかまたはアイドリングする。一方では分析および決定ボックス402において、ユーザが話しているかまたはタイプしている場合、ボックス408は、ロボットが話しているかまたはタイプしているかどうか調べる。ロボットがボックス408において話している場合、ボックス410はロボットのスピーチを中止し、そしてユーザから入力した音声は、テキストに変換されて、ボックス414のロボットのディスプレイスクリーンに入力されて、ユーザがロボットがユーザから何を聞いているか確認することをより容易にする。ユーザは、従って、それらの音声がロボットのディスプレイ・スクリーンにテキストとして表示されるのを見ることができて、表示されたテキストは、ユーザ・ログ・データベースに418によっても記録される。ユーザの声またはテキスト入力が、418でデータベースに記録されたあと、データベースは、ボックス420において問い合わせられ、ユーザープロファイルは、ボックス424において更新されて、問合わせは決定のために分析されて、ボックス28において応答のために実行される。418のユーザの現在の入力または問合わせに対するボックス428の事前に記録された応答がある場合、事前に記録された応答は、出力で再生されて、ボックス428においてロボットの表情変化および他の動作を伴う。決定ボックス418においてユーザの現在の入力に対する事前に記録された応答がない場合、ユーザデータベースは、ボックス424において更新されて、ユーザは、ユーザ相互作用を取り入れて、ユーザを保持して、係合するために、スコア、バッジ、クーポン、証明書等のデジタル報酬をユーザに与える事前に記録されたゲーム化応答で報いられる。ユーザがボックス424において報いられたあと、ロボット様式音声の典型的ロボット応答またはロボットチャット応答は、ユーザに与えられる。これは、400に詳述されて図4に示されるユーザ−ロボット対話相互作用アルゴリズムの出力428に対する第3の潜在的結果である。
上記のユーザ対話アルゴリズムの手順フローは、いかなる制限もなしに、ボックス302のユーザの現在の入力に対して、出力428が、いずれのロボットも事前に記録された応答を話し/入力する、すなわち、ロボットが適切な表情変化および他の動作を伴うデータベースからの事前に記録された「人間様式」応答を再生するか、またはロボットがボックス420からのロボット様式応答の合成チャッター音声で応答することを確実にする。ボックス418は、将来の分析および更に段階的な機械学習および人工知能駆動改良のためにユーザの声またはテキスト入力をログインする。見られる適切な応答がない場合、ボックス424は、ユーザにゲーム化d応答で報いて、ユーザが、MIPおよびAMIPタイプのロボットおよびチャットボットの更なる改良のために、それぞれ、フィードバック、入力、事前に準備されたシナリオを与えるのを促すために、ポイント、クーポン、バッジ、および証明書などを与える。出力応答428に関してユーザによってされるフィードバックは、図5に記載されているフィードバックアルゴリズムに記載される。
ユーザフィードバック500の手順フローは、図5に示される。ロボットによる出力応答428は、ユーザにより受信され、そしてユーザは、ボックス502において、単純な親指の上下、音声、キーボード、またはマウスクリック・タイプの応答の形でフィードバックを促される。フィードバックが不適当である場合、ユーザは、ボックス504において、ロボットの予め録音してあるメッセージを聞く。フィードバックが良好である場合、ユーザは、プロセスを再びユーザの次の入力ステップ402に続けるために、ボックス506において、入力として別の質問をされる。ユーザによるフィードバックがない場合、別の予め録音してあるロボットの応答は、ボックス508に与えられて、再びユーザフィードバックを求める。結果として生じるフィードバックが不適当である場合、ユーザは、ボックス504の予め録音してある答えをされ、しかしながら、フィードバックが良好である場合、ユーザは、ボックス506に導かれて、予め録音してある質問を聞いて、次のユーザ入力ステップ402でプロセスを続ける。
実施形態によれば、MIPロボットのまったくのソフトウェアベースの生き生きしたバージョンも作成されて、それは、いかなる制限もなしに、それぞれ、インターネット接続したウェブまたはモバイル機器でウェブまたはモバイルインタフェースを介してユーザと相互作用できる。ウェブまたはモバイルインタフェースを使用してユーザとチャットすることができるMIPロボット600の生き生きしたバージョンは、生き生きしたMIP(AMIP)チャットボットと呼ばれている。人間およびロボット様式の人格の多重音声でユーザと話すことができる、MIPロボット600の生き生きしたバージョンは、生き生きしたMIP(AMIP)チャッターボットと呼ばれている。ウェブインターフェース602上のAMIPチャットボットまたはチャッターボット600の典型的なスケッチは、図6Aに示され、そこで、モバイル・タブレット・インタフェース604またはスマートフォン・インターフェース606上のAMIPチャットまたはチャッターボット600の典型的なスケッチとして図6Bに示される。AMIPチャットボットおよびチャッターボットは、同じユーザとの同じ連続的な相互作用または通信の間にロボット様式の方法でも応答すると共に、ユーザとの連続的な相互作用または通信の間に人間様式の方法で、直接に質問し、感情を表明し、冗談を言い、辛辣な意見を言い、拍手して、冷静に答えることによって、ユーザの気分および状況を評価することが可能である。
別の実施形態によれば、ウェブインタフェースまたはモバイルインタフェースを用いて遠隔接続されたユーザまたはユーザのグループと相互作用するAMIPチャットボットおよびチャッターボットは、ウェブおよびモバイルベースのクラウドソーシング環境内のAMIPチャットボットおよびチャッターボット応答における、ユーザ接触、性、年齢層、収入層、教育、ジオロケーション、関心、好き嫌い、ならびにユーザの質問、コメント、事前に準備されたシナリオ、およびフィードバックなどを含むがこれに限らない、ユーザ指定のチャットおよびチャッター入力データを集めるために用いる。
実施形態によれば、訓練入力データのクラウドソーシング、およびAMIPチャットボットまたはチャッターボットの応答に関するユーザのフィードバックを得るために、ユーザまたはユーザのグループとのAMIPチャットまたはチャッターボットの対話のための、いかなる制限もない、典型的なアルゴリズムおよび手順フローは、図7Aの700に記載されて、図7Bにおいて続けられる。手順フローは、以前のロボットチャットとチャッター応答の現在のデータベースおよびユーザ入力702で始まる。記録されたロボット応答の新しいコピーは、ユーザのために再生されて、ユーザのフィードバックは、ボックス704において得られる。ユーザが、ボックス706において不適当なまたは負のフィードバックを与える場合、データベース内の新しいコピーに関する応答フィードバックは、ボックス710に減少または負の評価を与えられる。ユーザが、ボックス706において良好なまたは正のフィードバックを与える場合、データベース内の新しいコピーに関する応答フィードバックは、ボックス710において増加または正の評価を与えられる。ボックス710においてユーザの不適当なまたは負のフィードバックの場合は、ユーザは、ユーザが代わりの応答を提案することを望むかどうかボックス712において尋ねられる。ユーザの答えがはいである場合、ユーザは、代わりの応答714を提示するよう依頼されて、ユーザは、ボックス716において代わりの応答を開発ライターのポータルに通知するよう指示される。ユーザの答えがいいえである場合、ユーザは、次のステップとしてボックス716において開発ライターのポータルに更に導かれる。ボックス708の新しいコピーに関するユーザの良好なフィードバックおよび増加評価の場合は、新しいコピーは、次のステップとしてボックス716において開発ライターのポータルに通知される。ボックス718において開発ライターのコミュニティは、ボックス708からの通知された新しいコピーまたはボックス714からユーザにより提示される代わりの応答コピーをアップボートするか、またはダウンボートする。調節器は、ボックス720において新しいコピーまたは代わりの応答コピーを受け入れるかまたは拒絶する。ソフトウェア応答データベースは、ボックス722において更新されて、更新された応答データベースは、ボックス724において改良型MIPロボットまたはAMIPチャットまたはチャッターボットにダウンロードすることができる。
本発明の実施形態として、デスクトップ・コンピュータ・スクリーンのウェブインタフェースのスクリーンに表示される、AMIPチャッターボット800の典型的なワーキングバージョンは、図8に示される。このAMIPチャッターボット800は、両者の間の重複または不一致なしに、そして「人間様式」と「ロボット様式」の音声、表情、および人格の間のオンデマンド切り換えによって、「ロボット様式」および「人間様式」の人格特性の両方で人間のユーザと通信して相互作用するために使われて、試験された。本発明の別の実施形態として、図8のAMIPチャッターボット800は、図7Aおよび7Bに上記したクラウドソーシング方法のシミュレーションで、ユーザフィードバック、評価、および代わりの事前に準備されたシナリオを得るためにも用いた。
実施形態によれば、MIPロボットあるいはAMIPチャットボットまたはチャッターボット内の「ロボット様式」人格特性に対する「人間様式」人格特性の比率は、ユーザまたはユーザグループの選択によって変化して、カスタマイズすることができる。これは、図4〜5に記載されているユーザ−ロボット対話アルゴリズムの間に追加の見込みに基づくか確率的な構成要素を含むことによってなされる。これを達成する典型的なアルゴリズムは、いかなる制限もなしに、図9A〜9Bに記載されている。ボックス428においてユーザー入力に対する予め記録してある「人間様式」ロボット応答がある場合、ユーザiの見込みに基づく重量Wi(0<Wi<1)は、ロボットが「人間様式」人格特性または「ロボット様式」人格特性で応答するかどうか選択するために用いる(図9A)。図9Bにおいて、乱数0<Ri<1は、ボックス902において発生して、ボックス904においてWiと比較される。Wi>Riの場合は、MIPロボットまたはAMIPチャットボットまたはチャッターボットは、ボックス906において「人間様式人格」特性で応答する。さもなければ、MIPロボットあるいはAMIPチャットボットまたはチャッターボットは、ボックス908において「ロボット様式」人格特性で応答する。ユーザの見込みに基づく重み因子Wiまたはユーザのグループの見込みに基づく重み因子Wgは、図7A〜7Bに記載されているクラウドソーシング・ユーザ入力およびフィードバック方法を使用してロボットの訓練の間に典型的な定常状態モンテカルロ・タイプ・アルゴリズムによって生成できる。
別の実施形態によれば、ユーザの見込みに基づく重み因子Wiまたはユーザのグループの見込みに基づく重み因子Wgは、MIPロボットあるいはAMIPチャットボットまたはチャッターボットによって、陽気な、ロマンチックな、ビジネスタイプ、事実を基礎とした、冷静な、教師タイプの応答に対するユーザの好みと関連する。一旦十分な「人間様式」応答が、ロボット応答データベース内にデータを読み込まれると、一部のユーザは、陽気な応答を好むことがありえる。その一方で、一部の他のユーザは、ロマンチックな応答を好むことがありえる。その一方で、一部の他のユーザは、ビジネス様または事実を基礎とした応答を好むことがありえる。その一方で、更なる一部の他のユーザは、冷静な、教師タイプ、または気持ちのこもった応答を好むことがありえる。例えば、1により近い確率重み因子Wiは、「人間様式」応答を主に好むことがありえて、そこにおいて、0により近い確率重み因子Wiは、「ロボット様式」応答を主に好むことがありえる(図9A)。典型的なクラスタリングおよび相関タイププロットは、陽気なまたは滑稽な、感情的またはロマンチックな、ビジネスまたは事実を基礎とした、冷静な、インスピレーションを与える、宗教的または教師タイプの応答をいかなる制限もなしに好むサブグループにユーザのグループを分離できる。
本発明の実施形態の典型的な概要を簡単に説明したが、MIPロボットの実施形態が実施されることができる典型的な動作環境、システム、および構成要素は、本発明の様々な態様の一般的ロボット状況を提供するために後述する。ロボット動作環境および本願明細書に記載されている1000および他の装置の構成要素が、実施例として記載されたに過ぎず、本発明の使用および機能の範囲に関していかなる制限も示唆する意図はないことを理解すべきである。図10のロボット装置1000は、メモリ/記憶装置1002、一つ以上のプロセッサ1004、センサおよびコントローラ1006、入出力ポート1008、入出力構成要素1010、および図示する電源1012、および1014のサーボとモーターを直接または間接的に連結する複数のバスを含む。これらのブロックは、論理的な、必ずしも実際でない構成要素を表す。例えば、表示装置は、I/O構成要素でありえて、プロセッサは、技術の性質に従ってメモリを備えることもできる。図10は、本発明の一つ以上の実施形態で用いることができる、環境、コンピューティング、処理、記憶、表示、センサ、およびコントローラ装置の例示的な実施例である。
最後に、本発明の実施形態として、図11A〜11Cおよび12A〜12Bで、我々は、本発明に記載されている多重相互作用音声および人格に伴う適切な表情を生成するために、頭部の6次動作および付随する目および目蓋の変化を示す。図11A〜11Cおよび12Aは、胴106に関する頭部108の典型的な6次の動作を示す。さまざまな態様において、6次の動作は、ピッチ(図11A、下へ回転/下を見る、および上へ回転/上を見る)、ヨー(図12A、右へ回転/右を見る、および左へ回転/左を見る)、およびロール(図11B、図の方向で右へ回転し、および左へ回転する)を含む。一つの代わりの態様において、動作の次は、胴106に関する頭部108の並進(図11C、図の方向で右へ並進/シフト、および左へ並進/シフト)を含む。さらに別の代わりの態様において、動作の次は、胴106に関する頭部108の更なる並進(図示せず、図の方向で前に並進/シフト、および後方に並進/シフト)を含む。図12Bは、眼瞼116および/または117(例えば、全開、部分的に閉、閉)ならびにバックグラウンドにLED光114を用いて可能な目の動作を示す。
本発明で使用する構成要素およびツールは、ソフトウェア命令を実行する一つ以上のコンピュータで実施できる。本発明の一実施形態によれば、使用するツールは、コンピュータネットワークあるいはファイバーまたは銅ベースの電気通信ネットワークを通じてデータを送受信するサーバおよびクライアント・コンピュータ・システムと通信できる。データにアクセスし、ダウンロードして、操作するステップ、ならびに本発明の他の態様は、サーバおよびメモリに保存される命令のシーケンスを実行するクライアントコンピュータにおいて中央演算処理装置(CPU)により実施される。メモリは、ランダム・アクセス・メモリ(RAM)、読出し専用メモリ(ROM)、永続記憶装置、例えば、大量記憶装置、またはこれらの装置のいかなる組合せでもありえる。命令のシーケンスの実行により、CPUは、本発明の実施形態に従ってステップを実行する。
命令は、記憶装置から、またはネットワーク接続を通じて複数の他のコンピュータシステムからサーバまたはクライアントコンピュータのメモリにロードすることができる。例えば、クライアントコンピュータは、サーバによってネットワークを通じてクライアントに送信されるメッセージに応答して、一連の命令をサーバコンピュータに送信できる。サーバがネットワーク接続を通じて命令を受信すると、それは命令をメモリに格納する。サーバは、後の実行のために命令を格納できるか、またはそれらがネットワーク接続を通じて到達すると、それは命令を実行できる。場合によっては、CPUは、ダウンロードされた命令を直接サポートすることができる。他の場合には、命令は、CPUによって直接実行可能でなくて、その代わりに、命令を解釈するインタプリタによって実行できる。他の実施形態において、ハードウェアに組み込まれた回路は、本発明を実施するために、ソフトウェア命令の代わりに、またはそれと組み合わせて用いることができる。このように、本発明において使用するツールは、ハードウェア回路およびソフトウェアのいかなる特定の組み合わせにも、あるいは、サーバまたはクライアントコンピュータにより実行される命令のいかなる特定のソースにも限られていない。ある場合には、クライアントおよびサーバ機能は、単一のコンピュータプラットフォームで実施できる。
このように、本発明は、本願明細書に記載されている実施形態に限られておらず、そして本発明の組成の要素は、本発明の精神と範囲から逸脱することなくさまざまな方法で変更できる。本発明のさまざまな態様は、実施形態において開示される複数の組成の要素のいかなる適切な組合せからも抽出することもできる。いくつかの組成の要素は、実施形態に開示される組成の要素の全てにおいて削除できる。いろいろな実施形態に記載されている組成の要素は、任意に組み合わせることができる。
本発明の実施形態は、添付の図面を参照して以下より完全に記載されている。図面は、この一部を形成し、そしてそれは、実例として、本発明を実施できる特定の例示的実施形態を示す。本発明は、しかしながら、多くのいろいろな形で実施することができて、本願明細書に記載された実施形態に限られるように解釈してはならない。むしろ、開示された実施形態は、この開示が完璧で完全であるように提供されて、本発明の範囲を当業者に十分に伝える。
本明細書と請求項の全体にわたって、以下の用語は、文脈が別に明確に記述しない限り、本願明細書において明確に関連する意味をとる。本明細書で用いられるフレーズ「一実施形態において」は、同じ実施形態を必ずしも指すというわけではないが、それもありえる。さらにまた、本明細書で用いられるフレーズ「別の実施形態において」は、異なる実施形態を必ずしも指すというわけではないが、それもありえる。このように、後述するように、本発明のさまざまな実施形態は、本発明の範囲または精神を逸脱せずに容易に組み合わせることができる。さまざまな実施形態が、以下の番号を付した条項に記載されている。
1.一つ以上の人格タイプをロボットに提供する方法であって、
ユーザまたはユーザのグループとの連続的な相互作用または通信の間にいろいろな人格の中で前後に切り換わることができる一つ以上の相互作用人格タイプを示すために、一つ以上の適切な表情を伴う音声タイプ、アクセント、言語、および感情で話す能力をロボットに提供するステップと、
直接に質問して、ロボットの音声、スピーチ、および顔認識センサに限らないセンサを用いて、そして接続装置を用いて付加的情報を得る能力をロボットに提供するステップであって、情報は、ユーザまたはユーザのグループと互いに相互作用するロボット装置の間の相互作用または通信に関するステップと、
ユーザとの連続的な相互作用または通信の間に人格を切り換わる能力を有する多重相互作用人格をロボットに与えるように、選ばれた、付随的表情を伴うアクセント、言語、および感情でロボットが一つ以上の声のタイプで応答して話すことを可能にするようにデータを生成するために情報を処理する能力をロボットに提供するステップであって、得られた情報の処理は、ロボットの多重人格または音声の間のいかなる重複または不一致もなしにユーザに対するロボットによるより速い速度の瞬間的な応答のためにロボット装置内のボード上で発生するステップと、
一つ以上の相互作用人格タイプを示して、ロボットとユーザまたはユーザのグループとの間の連続的な相互作用または通信の間にそれらを切り換える能力をロボットに提供するステップと、
を含む方法。
2.ロボットは、デフォルトロボット様式人格を表すために、デフォルト合成またはコンピュータ生成の合成音声で話す能力を含む条項1に記載の方法。
3.ユーザまたはユーザのグループとのロボットの連続的な相互作用の間に「人間様式」多重人格を表すために、一つ以上のデジタル的に録音された人間の声で話す能力も含む条項1に記載の方法。
4.デジタル的に録音した人間の音声または合成された「人間様式音声」で話す一つ以上の「人間様式」人格は、ユーザまたはユーザのグループとの相互作用の間に質問して、感情を表し、その一方で、条項2のデフォルトロボット様式人格は、ユーザまたはユーザのグループとの同じ連続的な相互作用または通信の間に合成されたロボット様式音声で話す条項3に記載の方法。
5.合成されたロボット様式音声で話すロボット様式人格は、ユーザまたはユーザのグループとの同じ連続的な相互作用または通信の間に事実および数字を学んで分析する人工知能(Al)で、そしていかなる感情も表さずに、またはいかなる質問もせずに応答できる条項4に記載の方法。
6.一つ以上の「人間様式」人格は、ユーザまたはユーザのグループとの連続的な相互作用または通信の間に質問して感情を表す能力を有する特定の人または人格の人間様式音声をまねるために、コンピュータ合成された音声を処理した音声で話すこともできる条項4に記載の方法。
7.言語は、いかなる制限もなしに、英語、フランス語、スペイン語、ドイツ語、ポルトガル語、中国標準語、中国広東語、韓国語、日本語、および主要な南アジアとインドの言語、例えば、ヒンディー語、ウルドゥー語、パンジャブ語、ベンガル語、グジャラート語、マラーティー語、タミル語、テルグ語、マラーヤラム語、およびコンカニ語を含む主要な話し言葉のどれか一つまたは組合せを含む条項1に記載の方法。
8.許容されたアクセントは、いかなる制限もなしに、条項7の主要な話し言葉のどれか一つまたは組合せの局所的な話すスタイルまたは方言を含む条項1に記載の方法。
9.口頭の言葉またはスピ−チの感情は、いかなる制限もなしに、デジタル的に録音された人間の音声と一般に関連した感情を表すために、トーン、ピッチ、およびボリュームの変化を含むことができる条項1に記載の方法。
10.ロボットの音声または人格タイプを伴う適切な表情は、目の形状の変化、ミニチュアLEDライトを使用する目の変色、および眼瞼の形状、それに胴に関する頭部の6次の動作により生成される条項1に記載の方法。
11.ロボット装置の音声または人格タイプを伴う適切な表情は、ミニチュアLEDライトを使用する口および唇の形状の変化により生成される条項1に記載の方法。
12.ロボット装置の適切な表情を備えた音声または人格タイプは、いかなる制限もなしに、ロボットの手の動きまたはジェスチャを伴う条項1に記載の方法。
13.ロボットの適切な表情を備えた多重人格タイプは、互いと、そしてロボットと相互作用するように構成されるユーザまたはユーザのグループの、いかなる制限もない、相互作用範囲または通信範囲内のロボットの動作を伴う条項1に記載の方法。
14.ロボットは、ボード上でコンピューティングができて、ユーザまたはユーザのグループがいない周囲環境と相互作用するように構成される条項1に記載の方法。
15.ロボットは、いかなるユーザまたはユーザのグループもいない周囲環境内で条項1に記載の方法の別のロボットと相互作用するように構成される条項1に記載の方法。
16.ロボットは、ユーザまたはユーザのグループが環境の中にいる状態で周囲環境の中で条項1に記載の方法の別のロボットと相互作用するように構成される条項1に記載の方法。
17.接続装置は、いかなる制限もなしに、キーボード、タッチスクリーン、HDMIケーブル、パソコン、移動多機能電話、タブレット型コンピュータ、電話線、ワイヤレス携帯、イーサネットケーブル、またはWi−Fi接続を含むことができる条項1に記載の方法。
18.ロボットの条項4および6に記載の人間様式人格は、いかなる制限もなしに、局所的な地理的位置、局地気象、その日の現地時間、およびロボット装置と相互作用するように構成されるユーザまたはユーザのグループの記録された歴史的な情報の背景に基づくことができる条項1に記載の方法。
19.ロボットの条項4および6に記載の人間様式人格は、いかなる制限もなしに、ユーザまたはユーザのグループとロボットの連続的な相互作用または通信の間にユーザまたはユーザのグループの娯楽のために、冗談を言い、幸せな感情および悲しい感情を表明し、歌を歌い、音楽を演奏し、激励の意見を述べ、インスピレーションを与える意見を述べ、辛辣な意見を述べ、記録されたコメディルーチンを実行するなどができる条項1に記載の方法。
20.条項5に記載のロボット様式デフォルト人格は、ユーザまたはユーザのグループのためにロボットにより実行される機能的に有用な作業をさらに実行することができて、同じ連続的な相互作用または通信の間に、ユーザまたはユーザのグループは、条項19に記載の人間様式人格でも楽しむ条項19に記載の方法。
21.条項5に記載のロボット様式デフォルト人格および条項4と6に記載の人間様式人格は、ロボットと相互作用するように構成されるユーザまたはユーザのグループの娯楽のために、いかなる制限もなしに、冗談を言い、幸せな感情および悲しい感情を表明し、歌を歌い、音楽を演奏し、激励の意見を述べ、精神的であるかインスピレーションを与える意見を述べ、辛辣な意見を述べ、自然発生的なおよび記録されたコメディルーチンを実行し、そして典型的なロボット機能的作業をするルーチンに参加するために、いかなる制限もなしに、相前後して協力できる条項19に記載の方法。
22.条項4〜6に記載の人間様式およびデフォルトロボット様式の人格は、それぞれ、いかなる制限もなしに、娯楽、教育、訓練、挨拶、ガイド、カスタマーサービス、およびいかなる他のためにも、ユーザまたはユーザのグループと相互作用して、通信するために相前後して協力することができて、デフォルトロボット様式人格は、機能的に有用なロボット作業をさらに実行できる条項21に記載の方法。
23.条項4〜6の人間様式およびデフォルトロボット様式の人格は、ウェブインタフェースまたはモバイルインタフェースおよびそれらをサポートする装置を通じてユーザまたはユーザのグループと相互作用するように構成される生き生きした多重相互作用人格(AMIP)チャットボットおよびチャッターボット・ソフトウエアバージョンで実施される条項22に記載の方法。
24.AMIPチャットボットおよびチャッターボットは、「人間様式」方法で人間様式人格特性を備えたユーザと相互作用し、その一方で、ウェブインタフェースまたはモバイルインタフェースおよびそれらをサポートする装置を通じてユーザとの連続的な相互作用または会話の間にロボット様式方法でロボット様式人格特性を備えたユーザとも相互作用する条項23に記載の方法。
25.AMIPチャットボットおよびチャッターボットのウェブおよびモバイルバージョンは、遠隔に位置するユーザまたはユーザのグループと相互作用するかまたは通信して、ウェブおよびモバイルベースのクラウドソーシング環境内のAMIPチャットボットおよびチャッターボット応答上で、ユーザ接触、性、年齢層、収入層、教育、ジオロケーション、関心、好き嫌い、ならびにユーザの質問、コメント、シナリオ、およびフィードバックなどを含むがこれに限らない、データをユーザから集める条項23に記載の方法。
26.ウェブおよびモバイルベースのクラウドソーシング環境を通じてAMIPチャットボットおよびチャッターボットと相互作用する遠隔で接続するユーザから集められるデータは、デフォルト多重相互作用人格、および相互作用フィードバックループを介してユーザの選択による多重相互作用人格のカスタム化を生成するために使われる条項25に記載の方法。ユーザの選択によるカスタマイズされた人格は、それから、ダウンロードできて、条項1に記載の方法を使用して作られる多重相互作用人格ロボットとして使用する。
27.クラウドソーシング環境でウェブインタフェースおよびモバイルインタフェースを介して遠隔に位置するユーザに対するAMIPチャットボットおよびチャッターボットによる人間様式応答とロボット様式応答の比率は、ユーザの選択によってAMIPチャットボットおよびチャッターボットで多重相互作用人格をカスタマイズするためにフィードバックループを用いて、いかなる制限もなしに、適切なアルゴリズムを使用して調整される条項25に記載の方法。ユーザの選択によるカスタマイズされた人格は、それから、ダウンロードできて、条項1に記載の方法を使用して作られる多重相互作用人格ロボットとして使用する。
28.条項1に記載の複数の人格タイプを示すことができるロボット装置システムであって、
物理的なロボット装置システムと、
中央演算処理装置(cpu)と、
ロボットの相互作用範囲の中でユーザから入力データを集めるセンサと、
前記ロボットの頭部、顔面、目、眼瞼、唇、口、およびベースの動きを制御するコントローラと、
インターネット、モバイル、クラウド・コンピューティング・システム、キーボード、USB、HDMIケーブル、パソコン、移動多機能電話、タブレット型コンピュータ、電話線、ワイヤレスモバイル、イーサネットケーブル、およびWi−Fi接続に接続するポートを備えた他のロボットと接続する有線または無線能力と、
適切なポートを介してキーボード、マウス、ゲームコントローラに接続するタッチ・センシティブまたは非タッチ・センシティブ・ディスプレイと、
単一または多重キャリアSIMカードがデータおよびVOIP通信のために直接無線モバイル・データ・ラインに接続するためのPCIスロットと、
有線および誘導充電ステーションを備えた搭載電池または電力システムと、
ロボットの人格に関する格納された以前のデータならびにロボットが以下の機能をいかなる制限もなしに実行するために収集した入力データを処理するためにプロセッサにより実行される命令を含むメモリであって、以下の機能は、
センサ入力データから情報を得ることと、
多重人格タイプのどれが応答の方法およびタイプに応答するかについて決定することと、
多重人格の間にいかなる重複または不一致もなしにロボットによって応答を実行することと、
ロボットのどれか一つまたはすべての格納された多重人格を変えるために、ロボットの多重人格を変えること関連する情報を格納することと、
ロボットの格納された以前の人格を削除することと、
ロボットの新しい人格を生成することと、
を含むメモリと、
を備えるロボット装置システム。
29.条項28に記載のロボットシステムであって、
ロボットおよびユーザまたはユーザのグループを含む相互作用範囲の周辺の入力データは、
ユーザとロボットの間の書面および口頭の通信に関する一つ以上の通信された文字、言葉、および文と、
ユーザとロボットの間の視覚および光通信に関する一つ以上の通信された画像、ライト、ビデオと、
ユーザとロボットの間の通信に関する一つ以上の通信された音声と、
条項1によってユーザまたはユーザのグループの以前の気分を決定することに関連した情報を伝達するために、ユーザとロボットの間の通信に関する一つ以上の通信されたタッチと、
を含むロボットシステム。
30.コンピュータ装置により実行されるときに、コンピュータ装置により、入力データを受信するために条項1に記載の方法を実行し、データを処理して、情報をロボット装置に提供して、ロボットが応答してユーザまたはユーザのグループと通信するために、2つ以上の相互作用人格の一つを選択する条項28の格納された実行可能命令を備えたコンピュータ可読媒体。
また更に、本発明の特定の実施形態が記載されたが、これらの実施形態は、例証として示されただけであり、本発明の範囲を制限することを目的としない。実際、本願明細書に記載されている新規な方法およびシステムは、様々な他の形で実施することができて、さらに、本願明細書に記載されている方法およびシステムの形の各種の省略、置換、および変化は、本発明の精神を逸脱せずに行うことができる。
本明細書と請求項において用いられているように、用語「例えば」、「たとえば」、「ような」、および「様」、ならびに動詞「備える」、「有する」、「含む」、ならびにそれらの他の動詞形は、一つ以上の構成要素または他の品目のリストに関連して用いられるときに、制約がないと各々解釈されるべきであり、リストが他の追加構成要素または品目を除外するとみなすべきではないことを意味する。他の用語が異なる解釈を必要とする文脈において、使われない限り、それらは、それらの最も幅広い合理的な意味を使用して解釈されるべきである。

Claims (30)

  1. 複数の人格をロボットに提供する方法であって、
    複数の相互作用人格を示すために、複数の適切な表情を伴う音声、アクセント、言語、および感情で話す能力をロボットに提供するステップであって、前記複数の人格は、少なくとも一つのロボット人格および少なくとも一つの人間人格を含むステップと、
    いろいろな人格の間にいかなる重複または不一致もなしにユーザとの同じ連続的な相互作用または通信の間に前記複数の人格の前記いろいろな人格の中で前後に切り換わる能力を前記ロボットに提供するステップと、
    前記ユーザについて直接に質問して、接続装置および前記ロボットの音声、スピーチ、または顔認識センサの少なくとも一つを用いて付加的情報を得る能力を前記ロボットに提供するステップであって、前記付加的情報は、前記ユーザとの同じ記連続的な相互作用または通信に関するステップと、
    前記付加的情報を処理して、データを生成して、前記ロボットが、前記複数の適切な表情を伴う音声、アクセント、言語、および感情のいずれかで応答して話すことを可能にする能力を前記ロボットに提供するステップであって、前記付加的情報の前記処理は、前記ユーザに対する前記ロボットによるより速い瞬間的な応答のために前記ロボット内のボード上で行われるステップと、
    を含む方法。
  2. 前記複数の音声は、前記少なくとも一つのロボットの人格を示すために、少なくとも一つのデフォルト合成デジタル音声またはコンピュータ生成の合成音声を含む請求項1に記載の方法。
  3. 前記複数の音声は、前記少なくとも一つの人間人格を示すために、少なくとも一つのデジタル的に記録された人間の音声を含む請求項2に記載の方法。
  4. 前記ユーザとの同じ連続的な相互作用または通信の間に前記少なくとも一つのデジタル的に記録された人間の音声を用いて質問して、感情を表す能力を前記ロボットに提供するステップと、
    前記ユーザとの前記同じ連続的な相互作用または通信の間に前記少なくとも一つのデフォルト合成デジタル音声で話す能力を前記ロボットに提供するステップと、
    をさらに含む請求項3に記載の方法。
  5. いかなる感情も表さずに、またはいかなる質問もせずに、事実および数字を学んで分析する人工知能で、前記少なくとも一つのデフォルト合成デジタル音声を用いて応答する能力を前記ロボットに提供するステップをさらに含む請求項4に記載の方法。
  6. 前記複数の音声は、特定の人または人格と関連した人間の人格を示すために、前記特定の人または人格の人間の音声をまねるために処理した少なくとも一つのコンピュータ合成された音声を含む請求項3に記載の方法。
  7. 前記複数の言語は、英語、フランス語、スペイン語、ドイツ語、ポルトガル語、中国標準語、中国広東語、韓国語、日本語、ヒンディー語、ウルドゥー語、パンジャブ語、ベンガル語、グジャラート語、マラーティー語、タミル語、テルグ語、マラーヤラム語、またはコンカニ語の少なくとも一つを含む請求項1に記載の方法。
  8. 前記複数のアクセントは、前記複数の言語と関連した局所的な話すスタイルまたは方言を含む請求項7に記載の方法。
  9. 前記複数の感情は、少なくとも一つのデジタル的に録音された人間の音声と関連した感情を表すために、トーン、ピッチ、およびボリュームの少なくとも一つの変化を含む口頭の言葉またはスピ−チを含む請求項1に記載の方法。
  10. 前記付随的な適切な表情を生成するために、その目の形状、その目の色、その眼瞼の位置、またはその胴に関するその頭部の位置の少なくとも一つを変化させる能力を前記ロボットに提供するステップをさらに含む請求項1に記載の方法。
  11. 前記付随的な適切な表情を生成するために、ミニチュアLEDライトによって、その口および唇の形状を変化させる能力を前記ロボットに提供するステップをさらに含む請求項1に記載の方法。
  12. 前記複数の相互作用人格を伴うために、一つ以上の手の動きまたはジェスチャを実行する能力を前記ロボットに提供するステップをさらに含む請求項1に記載の方法。
  13. 前記いろいろな人格の多くに対して、前記ユーザまたはユーザのグループの相互作用範囲または通信範囲内で移動する能力を前記ロボットに提供するステップであって、前記ユーザのグループは互いと、そして前記ロボットと相互作用するステップをさらに含む請求項1に記載の方法。
  14. 前記ロボットは、前記ユーザまたはユーザのグループが周囲環境の中にいない状態で前記周囲環境と相互作用するように構成される請求項1に記載の方法。
  15. 前記ロボットは、前記ユーザまたはユーザのグループが周囲環境の中にいない状態で前記周囲環境の中で別のロボットと相互作用するように構成される請求項1に記載の方法。
  16. 前記ロボットは、前記ユーザまたはユーザのグループが周囲環境の中にいる状態で前記周囲環境の中で別のロボットと相互作用するように構成される請求項1に記載の方法。
  17. 前記接続装置は、キーボード、タッチスクリーン、HDMIケーブル、パソコン、移動多機能電話、タブレット型コンピュータ、電話線、ワイヤレス携帯、イーサネットケーブル、またはWi−Fi接続の少なくとも一つを含む請求項1に記載の方法。
  18. 前記少なくとも一つの人間の人格は、局所的な地理的位置、局地気象、およびその日の現地時間と関連した状況、または前記ロボットと相互作用するように構成される前記ユーザまたはユーザのグループと関連した記録された歴史的な情報の一つ以上に基づいている請求項3に記載の方法。
  19. 前記少なくとも一つの人間の人格が、前記ユーザまたはユーザのグループと前記ロボットの同じ連続的な相互作用または通信の間に前記ユーザまたはユーザのグループのために、冗談を言い、幸せな感情または悲しい感情を表明し、歌を歌い、音楽を演奏し、激励の意見を述べ、精神的またはインスピレーションを与える意見を述べ、辛辣な意見を述べ、または自然発生的または記録されたコメディルーチンを実行することの少なくとも一つができる能力を前記ロボットに提供するステップをさらに含む請求項3に記載の方法。
  20. 前記少なくとも一つのロボットの人格が、前記ユーザまたはユーザのグループとの同じ連続的な相互作用または通信の間に前記ユーザまたはユーザのグループのために機能的に有用な作業を実行するように、前記少なくとも一つのロボットの人格が、いかなる感情も示さず、またはいかなる質問もせずに、事実および数字を学んで分析する人工知能で応答する能力を前記ロボットに提供するステップをさらに含む請求項19に記載の方法。
  21. 前記少なくとも一つの人間の人格および前記少なくとも一つのロボットの人格が、前記ユーザまたはユーザのグループとの同じ連続的な相互作用または通信の間に相前後して協力するように、前記少なくとも一つの人間の人格と前記少なくとも一つのロボットの人格の間で前後に切り換わる能力を前記ロボットに提供するステップをさらに含む請求項20に記載の方法。
  22. 前記少なくとも一つの人間の人格および前記少なくとも一つのロボットの人格が、前記ユーザまたはユーザのグループとの同じ連続的な相互作用または通信の間に、娯楽、教育、訓練、挨拶、ガイドの少なくとも一つに対して相前後して協力するか、または前記ユーザまたはユーザのグループにカスタマーサービスを提供するように、前記少なくとも一つの人間の人格と前記少なくとも一つのロボットの人格の間で前後に切り換わる能力を前記ロボットに提供するステップをさらに含む請求項20に記載の方法。
  23. 前記ロボットは、AMIPチャットボットまたはチャッターボット・ソフトウエアを介して提供される生き生きした多重相互作用人格(AMIP)チャットボットまたはチャッターボットであり、そして前記ユーザまたはユーザのグループは、ウェブインタフェース装置またはモバイルインタフェース装置を通じてAMIPチャットボットまたはチャッターボットと相互作用または通信する請求項22に記載の方法。
  24. 前記AMIPチャットボットまたはチャッターボットは、前記ウェブインタフェースまたは前記モバイルインタフェースを通じて前記ユーザまたはユーザのグループとの同じ連続的な相互作用または通信の間に、人間の方法で前記少なくとも一つの人間の人格、そしてロボットの方法で前記少なくとも一つのロボットの人格を用いて前記ユーザまたはユーザのグループと相互作用する請求項23に記載の方法。
  25. 前記ユーザまたはユーザのグループは遠隔に位置し、そして前記付加的情報は、ユーザ接触、性、年齢層、収入層、教育、ジオロケーション、関心、好き、嫌い、ユーザの質問、ユーザのコメント、シナリオ、およびウェブベースまたはモバイルベースのクラウドソーシング環境内の応答に関するフィードバックの一つ以上を含む請求項23に記載の方法。
  26. 多重相互作用人格を生成し、そして相互作用フィードバックループを介してユーザの選択に基づいて前記多重相互作用人格をカスタム化するために前記付加的情報を使用するステップと、
    ダウンロードしてAMIPチャットボットまたはチャッターボットで利用できる前記カスタマイズされた多重相互作用人格を作成するステップと、
    をさらに含む請求項25に記載の方法。
  27. 前記少なくとも一つのロボットの人格によってロボットの方法でなされる応答に対する前記少なくとも一つの人間の人格によって人間の方法でなされる応答の比率を調整するためにアルゴリズムを用いるステップと、
    多重相互作用人格をカスタマイズするためにフィードバックループを用いるステップと、
    ダウンロードしてAMIPチャットボットまたはチャッターボットで利用できる前記カスタマイズされた多重相互作用人格を作成するステップと、
    をさらに含む請求項23に記載の方法。
  28. 複数の人格を示すことができるロボットシステムであって、
    物理的なロボットは、
    中央演算処理装置と、
    前記ロボットの相互作用範囲の中でユーザから入力データを集める少なくとも一つのセンサであって、音声、スピ−チ、および顔認識センサの一つ以上を含むセンサと、
    前記ロボットの頭部、顔面、目、眼瞼、唇、口、およびベースの動きを制御する少なくとも一つのコントローラと、
    インターネット、モバイルシステム、クラウド・コンピューティング・システム、または別のロボットの少なくとも一つに接続するように構成される有線または無線ネットワーク接続と、
    キーボード、USB、HDMIケーブル、パソコン、移動多機能電話、タブレット型コンピュータ、電話線、ワイヤレスモバイル装置、イーサネットケーブル、およびWi−Fi接続の一つ以上に接続するように構成される少なくとも一つのポートと、
    タッチ・センシティブまたは非タッチ・センシティブ・ディスプレイと、
    単一または多重キャリアSIMカードがデータおよびVOIP通信のために直接無線モバイル・データ・ラインに接続するためのPCIスロットと、
    有線および誘導充電ステーションのために構成される搭載電池または電力システムと、
    前記ロボットの前記複数の人格に関する以前に格納されたデータであって、前記複数の人格は少なくとも一つのロボットの人格および少なくとも一つの人間の人格を含むデータと、
    前記少なくとも一つのセンサおよび前記少なくとも一つのポートを介して付加的情報を得るためにユーザについて質問するステップであって、前記付加的情報は前記ユーザとの同じ連続的な相互作用または通信に関するステップと、
    前記複数の人格の多重の異なる人格のどれが前記ユーザとの同じ連続的な相互作用または通信の間に応答するかについて決定するステップであって、各異なる人格は、適切な表情を伴う音声、アクセント、言語、および感情により示されるステップと、
    前記応答の方法とタイプを決定するステップと、
    前記多重の異なる人格の間のいかなる重複または不一致もなしに、前記ユーザとの同じ連続的な相互作用または通信の間に前記多重の異なる人格の中で前後に切り換えることによって前記応答を実行するステップと、
    前記多重の異なる人格を管理するステップであって、前記管理は、
    前記多重の異なる人格のいずれかの変化に関する情報を格納することと、
    前記複数の人格の前に格納された人格を削除することと、
    新規な人格を作成することと、
    を含むステップと、
    を含む機能を実行するために前記中央演算処理装置によって実行可能であるソフトウェア命令と、
    を含むメモリと、
    を備えるロボットシステム。
  29. 前記付加的情報は、
    前記ユーザと前記ロボットの間の書面および口頭の通信に関する一つ以上の通信された文字、語、および文と、
    前記ユーザと前記ロボットの間の視覚および光通信に関する一つ以上の通信された画像、ライト、ビデオと、
    前記ユーザと前記ロボットの間の前記通信に関する一つ以上の通信された音声、または
    前記ユーザと前記ロボットの間の前記通信に関する一つ以上の通信されたタッチと、
    の少なくとも一つを含み、前記付加的情報は、前記ユーザの気分を決定して、前記応答の前記方法および前記タイプを決定するために用いられる請求項28に記載のロボットシステム。
  30. 実行可能命令を保存するコンピュータ可読媒体であって、
    前記命令がロボットのコンピュータプロセッサによって実行されるときに、前記コンピュータプロセッサは、
    前記ロボットとユーザの間の同じ連続的な相互作用または通信に関した付加的情報を含む入力データを受信し、そこにおいて、前記付加的情報は、前記ユーザの前記ロボットによって尋ねられる質問に応答して受信されて、
    前記付加的情報を処理して、同じ連続的な相互作用または通信の間に前記ユーザに応答するために前記ロボットの複数の相互作用人格を決定し、そこにおいて、各相互作用人格は、適切な表情が伴う音声、アクセント、言語、および感情により示されて、そして
    前記ロボットのいろいろな人格の間にいかなる重複または不一致もなしに、同じ連続的な相互作用または通信の間に前記複数の人格の前記いろいろな人格の中で前後に切り換えることによって前記ユーザに応答するコンピュータ可読媒体。
JP2018556965A 2016-04-26 2017-04-25 多重相互作用人格ロボット Pending JP2019523714A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662327934P 2016-04-26 2016-04-26
US62/327,934 2016-04-26
PCT/US2017/029385 WO2017189559A1 (en) 2016-04-26 2017-04-25 Multiple interactive personalities robot

Publications (1)

Publication Number Publication Date
JP2019523714A true JP2019523714A (ja) 2019-08-29

Family

ID=60160051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556965A Pending JP2019523714A (ja) 2016-04-26 2017-04-25 多重相互作用人格ロボット

Country Status (5)

Country Link
US (1) US20190143527A1 (ja)
JP (1) JP2019523714A (ja)
CN (1) CN109416701A (ja)
SG (1) SG11201809397TA (ja)
WO (1) WO2017189559A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10157342B1 (en) * 2010-07-11 2018-12-18 Nam Kim Systems and methods for transforming sensory input into actions by a machine having self-awareness
JP2019523714A (ja) * 2016-04-26 2019-08-29 タキオン ロボティクス コーポレーション 多重相互作用人格ロボット
US11108708B2 (en) * 2016-06-06 2021-08-31 Global Tel*Link Corporation Personalized chatbots for inmates
WO2018022808A1 (en) * 2016-07-27 2018-02-01 Warner Bros. Entertainment Inc. Control of social robot based on prior character portrayal in fiction or performance
JP2019057093A (ja) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置及びプログラム
KR102060777B1 (ko) 2017-11-22 2019-12-30 주식회사 이르테크 화행 제어를 이용한 대화 처리 시스템 및 그 동작 방법
CN108109620A (zh) * 2017-11-24 2018-06-01 北京物灵智能科技有限公司 一种机器人智能交互方法及系统
CN108098796A (zh) * 2018-02-11 2018-06-01 国网福建省电力有限公司宁德供电公司 电力营业厅智能服务机器人装置及控制方法
JP7140984B2 (ja) * 2018-02-16 2022-09-22 日本電信電話株式会社 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
US20200401794A1 (en) * 2018-02-16 2020-12-24 Nippon Telegraph And Telephone Corporation Nonverbal information generation apparatus, nonverbal information generation model learning apparatus, methods, and programs
US10832118B2 (en) * 2018-02-23 2020-11-10 International Business Machines Corporation System and method for cognitive customer interaction
CN108481334A (zh) * 2018-03-29 2018-09-04 吉林省允升科技有限公司 智能服务机器人
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
CN108833941A (zh) * 2018-06-29 2018-11-16 北京百度网讯科技有限公司 人机交互处理方法、装置、用户终端、处理服务器及系统
JP2020009337A (ja) * 2018-07-11 2020-01-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、ai制御方法およびai制御プログラム
US11134308B2 (en) 2018-08-06 2021-09-28 Sony Corporation Adapting interactions with a television user
US11090806B2 (en) * 2018-08-17 2021-08-17 Disney Enterprises, Inc. Synchronized robot orientation
KR102252195B1 (ko) * 2018-09-14 2021-05-13 엘지전자 주식회사 감성 인식기 및 이를 포함하는 로봇, 서버
CA3018060C (en) 2018-09-20 2023-03-14 The Toronto-Dominion Bank Chat bot conversation manager
US20220055224A1 (en) * 2018-11-05 2022-02-24 DMAI, Inc. Configurable and Interactive Robotic Systems
DE102018130462A1 (de) * 2018-11-30 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System und Computerprogramm zum Betreiben eines oder mehrerer Roboters, eines Robotersystems und/oder eines Roboterschwarms
WO2020191310A1 (en) * 2019-03-21 2020-09-24 Life-Dash, LLC Bot systems and methods
CN110103238A (zh) * 2019-05-13 2019-08-09 深圳电通信息技术有限公司 一种远程体感交互系统、方法及存储介质
WO2020256163A1 (ko) * 2019-06-17 2020-12-24 엘지전자 주식회사 인공지능 이동 로봇과 그의 제어 방법
CN110363278B (zh) * 2019-07-23 2023-01-17 广东小天才科技有限公司 一种亲子互动方法、机器人、服务器及亲子互动系统
CN110427472A (zh) * 2019-08-02 2019-11-08 深圳追一科技有限公司 智能客服匹配的方法、装置、终端设备及存储介质
US11783224B2 (en) 2019-12-06 2023-10-10 International Business Machines Corporation Trait-modeled chatbots
US11380094B2 (en) 2019-12-12 2022-07-05 At&T Intellectual Property I, L.P. Systems and methods for applied machine cognition
CN111541908A (zh) * 2020-02-27 2020-08-14 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
CN111611384A (zh) * 2020-05-26 2020-09-01 天津市微卡科技有限公司 一种用于机器人的语言情绪感知应答方法
DE102020114737A1 (de) 2020-06-03 2021-12-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System sowie Computerprogramm zum Betreiben eines oder mehrerer Roboter, eines Robotersystems und/oder eines Roboterschwarms
DE102020114738A1 (de) 2020-06-03 2021-12-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System sowie Computerprogramm zum Betreiben eines oder mehrerer Roboter, eines Robotersystems und/oder eines Roboterschwarms
CN112060084A (zh) * 2020-08-20 2020-12-11 江门龙浩智能装备有限公司 一种智能互动系统
CN112380330A (zh) * 2020-11-13 2021-02-19 四川大学 一种精分阴性症状背景下的训练用机器人系统和方法
CN112380231A (zh) * 2020-11-13 2021-02-19 四川大学 一种具有抑郁障碍特征的训练用机器人系统和方法
CN112380329A (zh) * 2020-11-13 2021-02-19 四川大学 一种精分阳性症状背景下的训练用机器人系统和方法
CN112395399A (zh) * 2020-11-13 2021-02-23 四川大学 一种基于人工智能的特定人格对话机器人训练方法
CN113459100B (zh) * 2021-07-05 2023-02-17 上海仙塔智能科技有限公司 基于机器人人格的处理方法、装置、设备以及介质
CN114179083B (zh) * 2021-12-10 2024-03-15 北京云迹科技股份有限公司 一种引领机器人语音信息的生成方法、装置和引领机器人
US20230214822A1 (en) * 2022-01-05 2023-07-06 Mastercard International Incorporated Computer-implemented methods and systems for authentic user-merchant association and services
CN114260916B (zh) * 2022-01-05 2024-02-27 森家展览展示如皋有限公司 一种交互式展会展览智能型机器人
CN114422583A (zh) * 2022-01-21 2022-04-29 耀维(深圳)科技有限公司 一种巡检机器人与智能终端间的交互系统
CN115086257B (zh) * 2022-06-16 2023-07-14 平安银行股份有限公司 一种人机客服互动方法、装置、终端设备和存储介质
CN115617169B (zh) * 2022-10-11 2023-05-30 深圳琪乐科技有限公司 一种语音控制机器人及基于角色关系的机器人控制方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002232928A1 (en) * 2000-11-03 2002-05-15 Zoesis, Inc. Interactive character system
US6584375B2 (en) * 2001-05-04 2003-06-24 Intellibot, Llc System for a retail environment
US20070233318A1 (en) * 2006-03-29 2007-10-04 Tianmo Lei Follow Robot
KR101028814B1 (ko) * 2007-02-08 2011-04-12 삼성전자주식회사 소프트웨어 로봇 장치와 그 장치에서 소프트웨어 로봇의행동 발현 방법
US8601386B2 (en) * 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US20080262910A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People via Virtual Reality for Real Time Communications
US8447303B2 (en) * 2008-02-07 2013-05-21 Research In Motion Limited Method and system for automatic seamless mobility
US8548613B2 (en) * 2009-04-20 2013-10-01 Disney Enterprises, Inc. System and method for an interactive device for use with a media device
US9155961B2 (en) * 2009-05-28 2015-10-13 Anki, Inc. Mobile agents for manipulating, moving, and/or reorienting components
US8996429B1 (en) * 2011-05-06 2015-03-31 Google Inc. Methods and systems for robot personality development
US20130054021A1 (en) * 2011-08-26 2013-02-28 Disney Enterprises, Inc. Robotic controller that realizes human-like responses to unexpected disturbances
US9535577B2 (en) * 2012-07-16 2017-01-03 Questionmine, LLC Apparatus, method, and computer program product for synchronizing interactive content with multimedia
US9796095B1 (en) * 2012-08-15 2017-10-24 Hanson Robokind And Intelligent Bots, Llc System and method for controlling intelligent animated characters
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
AU2014236686B2 (en) * 2013-03-15 2017-06-15 Ntt Disruption Us, Inc. Apparatus and methods for providing a persistent companion device
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US20160031081A1 (en) * 2014-08-01 2016-02-04 Brian David Johnson Systems and methods for the modular configuration of robots
US11269891B2 (en) * 2014-08-21 2022-03-08 Affectomatics Ltd. Crowd-based scores for experiences from measurements of affective response
CN105345818B (zh) * 2015-11-04 2018-02-09 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
JP2019523714A (ja) * 2016-04-26 2019-08-29 タキオン ロボティクス コーポレーション 多重相互作用人格ロボット

Also Published As

Publication number Publication date
SG11201809397TA (en) 2018-11-29
CN109416701A (zh) 2019-03-01
WO2017189559A1 (en) 2017-11-02
US20190143527A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
JP2019523714A (ja) 多重相互作用人格ロボット
US20190193273A1 (en) Robots for interactive comedy and companionship
US20220284896A1 (en) Electronic personal interactive device
US20220020360A1 (en) System and method for dialogue management
US11468885B2 (en) System and method for conversational agent via adaptive caching of dialogue tree
US11922934B2 (en) Generating response in conversation
US20190206402A1 (en) System and Method for Artificial Intelligence Driven Automated Companion
US20230145369A1 (en) Multi-modal model for dynamically responsive virtual characters
US11003860B2 (en) System and method for learning preferences in dialogue personalization
WO2018093806A1 (en) Embodied dialog and embodied speech authoring tools for use with an expressive social robot
CN112074899A (zh) 基于多模态传感输入的人机对话的智能发起的系统和方法
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
US20190251957A1 (en) System and method for prediction based preemptive generation of dialogue content
JP2018008316A (ja) 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
CN112204563A (zh) 用于基于用户通信的视觉场景构建的系统和方法
DeMara et al. Towards interactive training with an avatar-based human-computer interface
KLæRKE-OLSEN Imagining Life with AI Robots
van Dijk NON-VERBAL COMMUNICATION IN INSTANT MESSAGING: CONVEYING EMOTION THROUGH VOICE INTERFACES

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200427