JP2016509301A - ユーザーが生成した知識による協調学習 - Google Patents

ユーザーが生成した知識による協調学習 Download PDF

Info

Publication number
JP2016509301A
JP2016509301A JP2015553774A JP2015553774A JP2016509301A JP 2016509301 A JP2016509301 A JP 2016509301A JP 2015553774 A JP2015553774 A JP 2015553774A JP 2015553774 A JP2015553774 A JP 2015553774A JP 2016509301 A JP2016509301 A JP 2016509301A
Authority
JP
Japan
Prior art keywords
task
personal assistant
learned
user
personal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015553774A
Other languages
English (en)
Inventor
ヘック,ラリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2016509301A publication Critical patent/JP2016509301A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

様々なユーザーから情報を取得し、学習した情報を他のユーザーに配信するために、中央知識マネージャーによってフィードバックループが使用される。各ユーザーが、時間とともにユーザーから学習するパーソナルアシスタント使用する。ユーザーは、ユーザーのパーソナルアシスタントに、ナチュラルユーザーインターフェイス(NUI)および/またはその他のインターフェイスにより新しい知識を教えることができる。例えば、自然言語対話およびインテントを表す他の非言語モダリティ(ジェスチャー、タッチ、視線、画像/映像、発話の韻律など)の組合せを使用して、パーソナルアシスタントとインタラクトすることができる。知識が学習されるにつれて、各パーソナルアシスタントが、新しく学習した知識を知識マネージャーに送り返す。パーソナルアシスタントから取得された知識は結合されて、集合的知能を形成する。この集合的知能は、次にもとの個々のパーソナルアシスタントのそれぞれに転送される。このようにして、1つのパーソナルアシスタントの知識が、フィードバックループにより他のパーソナルアシスタントのためになる。

Description

[0001]人工知能(AI)システムは、限られた範囲/幅の知識を有する。AIシステムに使用されるコンピューティングマシンを設計し、トレーニングするには、多大な人の努力を必要とする。一般的には、特定の領域/タスクの知識の深さを増大させると、多くの領域/タスクにわたる知識の幅を減少させる。逆に、多くの領域/タスクにわたる知識の幅を増大させると、特定の領域/タスクの知識の深さを減少させる。今日、多くのAIシステムが、限定された数の領域における知識の深さのために犠牲にされることが多い知識の幅を犠牲にしている。こうしたAIシステムの知能のスケーリングが困難である。
[0002]この節は、以下の発明を実施するための形態にさらに記載する概念の抜粋を簡略化して紹介するために提供される。この節は、特許請求の範囲に記載する主題の主要な特徴または本質的特徴を断定することを目的とせず、特許請求の範囲に記載する主題の範囲を決定する際の助けとして使用されることもまた目的としない。
[0003]様々なユーザーから情報を取得し、学習した情報を他のユーザーに配信するために、中央知識マネージャーによってフィードバックループが使用される。各ユーザーが、時間とともにユーザーから学習するパーソナルアシスタント使用する。ユーザーは、ユーザーのパーソナルアシスタントに、ナチュラルユーザーインターフェイス(NUI)および/またはその他のインターフェイスにより新しい知識(例えばタスク)を教えることができる。例えば、自然言語対話およびインテントを表す他の非言語モダリティ(ジェスチャー、タッチ、視線(gaze)、画像/映像、発話の韻律など)の組合せを使用して、パーソナルアシスタントとインタラクト(interact;対話、相互作用)することができる。知識が学習されるにつれて、各パーソナルアシスタントが、新しく学習した知識を知識マネージャーに送り返す。様々なパーソナルアシスタントから得られた知識は結合されて、集合的知能(collective intelligence)を形成する。この集合的知能は、次にもとの個々のパーソナルアシスタントのそれぞれに転送される。このようにして、1つのパーソナルアシスタントの知識は、フィードバックループにより他のパーソナルアシスタントのためになる。
[0004]様々なユーザーから学習するパーソナルアシスタントを使用した協調学習のためのシステムを示す図である。 [0005]パーソナルアシスタントおよび中央知識ベースとのインタラクション(interaction;対話、相互作用)のためのプロセスを示す図である。 [0006]パーソナルアシスタントを使用して得られる情報を学習し、格納するためのプロセスを示す図である。 [0007]マルチモーダルシステムにおいて様々なユーザーおよびパーソナルアシスタントから学習された情報を使用する協調学習のための例示的なシステムを示す図である。 [0008]本発明の実施形態を実践することができる動作環境を説明する図である。 本発明の実施形態を実践することができる動作環境を説明する図である。 本発明の実施形態を実践することができる動作環境を説明する図である。 本発明の実施形態を実践することができる動作環境を説明する図である。 [0009]インテント検出器およびインテントモデルを示す図である。
[0010]次に同様の参照符号が同様の要素を表す図面を参照して、様々な実施形態を説明する。
[0011]図1は、様々なユーザーから学習するパーソナルアシスタントを使用した協調学習のためのシステムを示す。図のように、システム100は、知識マネージャー26と、集合的ユーザー知識160と、パーソナルアシスタント1〜Nと、(1つまたは複数の)ログ130と、(1つまたは複数の)理解モデル150と、アプリケーション110と、タッチスクリーン入力デバイス/ディスプレイ115とを含む。
[0012]知識マネージャー26との通信を容易にするために、1つまたは複数のコールバックルーチンが実行されることが可能である。1つの実施形態によれば、アプリケーションプログラム110は、音声入力ならびにタッチセンサー式の入力デバイス115および/または他の入力デバイスからの入力を受信するように構成されたマルチモーダルアプリケーションである。例えば、ボイス入力、キーボード入力(例えば物理キーボードおよび/またはSIP)、映像による入力など。アプリケーションプログラム110はまた、マルチモーダル出力(例えば、発話、グラフィックス、振動、音、...)を提供することもできる。知識マネージャー26が、ユーザー入力(例えば、発話/ジェスチャー)に応答して、アプリケーション110へ/アプリケーション110から情報を提供することができる。例えば、アプリケーション110によって行うタスク(例えば、映画を選択すること、アイテムを買うこと、製品を識別すること、...)を識別するために、ユーザーが言葉を言うことができる。ジェスチャーは、ピンチジェスチャー、ストレッチジェスチャー、選択ジェスチャー(例えば、表示された要素上のタップアクション)、選択および保留ジェスチャー(例えば、表示された要素上で受信される、タップしたまま押さえるジェスチャー)、スワイプアクション、および/またはドラッグアクションなどを含むことができるが、これらに限定されない。
[0013]図示したシステム100は、タッチ入力が受信された(例えば、指がタッチスクリーンに触れるまたはほとんど教示する)とき検出するタッチスクリーン入力デバイス/ディスプレイ115を備える。ユーザーのタッチ入力を検出するいかなるタイプのタッチスクリーンが利用されてもよい。例えば、タッチスクリーンは、タッチ入力を検出する1つまたは複数の層の静電容量性の物質を含むことができる。静電容量性の物質に加えて、またはこれに代えて、他のセンサーが使用されてもよい。例えば、赤外線(IR)センサーが使用されてもよい。一実施形態によれば、タッチスクリーンは、触れることができる表面と接触している、または触れることができる表面の上方にあるオブジェクトを検出するように構成される。この説明では「上方に」という用語が使用されるが、タッチパネルシステムの向きは重要でないことを理解されたい。「上方に」という用語は、このようなすべての向きに適用できるものとする。タッチスクリーンは、タッチ入力が受信される場所の位置(例えば、開始点、中間点、および終了点)を決定するように構成されることが可能である。触れることができる表面とオブジェクトとの間の実際の接触が、例えば、タッチパネルに結合された振動センサーまたはマイクによるなど、任意の好適な手段によって検出されることが可能である。接触を検出するセンサーの例の包括的でないリストは、圧力ベースの機構、マイクロマシニングによる加速度計、圧電デバイス、容量センサー、抵抗センサー、誘導センサー、レーザー振動計、およびLED振動計を含む。
[0014]フィードバックループが、知識マネージャー26によって使用されて、パーソナルアシスタント(例えばパーソナルアシスタント1〜N)によって取得された様々なユーザーからの情報を取得し、次に学習した情報を、様々なユーザーと関連付けられ、新しく学習した情報をまだ含んでいない他のパーソナルアシスタントに配信する。各ユーザーが、時間とともにユーザーから学習するパーソナルアシスタント使用する。例えば、デバイス115(および/または他のデバイス)を使用しているユーザーが、パーソナルアシスタント1と関連付けられ、異なるユーザーが、パーソナルアシスタント2と関連付けられ、さらに異なるユーザーが、異なるパーソナルアシスタントと関連付けられてもよい。
[0015]ユーザーが、ユーザーのパーソナルアシスタントに、ナチュラルユーザーインターフェイス(NUI)および/またはその他のインターフェイスにより新しい知識を教えることができる。例えば、自然言語対話およびインテントを表す他の非言語モダリティ(ジェスチャー、タッチ、視線、画像/映像、発話の韻律など)の組合せが、パーソナルアシスタントとインタラクトするために使用されてもよい。知識マネージャー26およびパーソナルアシスタントは、パーソナルアシスタントおよび/または他のアプリケーションとインタラクトしているとき使用される理解モデル(例えば、音声言語理解(Spoken Language Understanding:SLU)モデルおよび/または理解モデル150などのマルチモーダル理解モデル)を使用することができる。
[0016]パーソナルアシスタントによって知識が学習されるにつれて、パーソナルアシスタントは新しく学習した知識を知識マネージャー26に送り返す。知識マネージャー26は、学習した情報を結合して集約化された集合的知識ベース(KB)160にする。様々なパーソナルアシスタントから取得された知識は、集約化されたKBに結合されて、KB160と関連付けられる様々なユーザーのための集合的知能を形成する。この集合的知能は、次にもとの個々のパーソナルアシスタントマシンのそれぞれに転送される。このようにして、1つのパーソナルアシスタントの知識が、フィードバックループにより他のパーソナルアシスタントのためになる。
[0017]知識マネージャー26が、(例えば、パーソナルアシスタントからの)学習した知識を(1つまたは複数の)理解モデル150に組み込むことができ、その後システムにおいて入力を受信し、(例えば、音声による/非音声による)応答を配信する、ならびに出力を表示されるとき、これが使用される。以下でさらなる詳細を説明する。
[0018]図2および図3は、ユーザーが生成した知識による協調学習のための例示的プロセス(200、300)を示す。本明細書で提示されるルーチンについての説明を読むとき、様々な実施形態の論理演算は、(1)一連のコンピューター実行可能な行為またはコンピューティングシステムで作動するプログラムモジュールとして、および/または(2)コンピューティングシステム内の相互接続された機械論理回路または回路モジュールとして、実行されるということを理解されたい。この実行は、本発明を実行するコンピューティングシステムの性能要件に応じて選択できるものである。したがって、例示した、本明細書に記載する実施形態を構成する論理演算は、演算、構造デバイス、行為、またはモジュールと様々に呼ばれる。これらの演算、構造デバイス、行為、およびモジュールは、ソフトウェアで、ファームウェアで、特殊用途デジタル論理で、およびそのいかなる組合せでも実行されることが可能である。
[0019]図2は、パーソナルアシスタントおよび中央知識ベースとのインタラクションのためのプロセス200を示す。
[0020]開始操作後、プロセスは操作210に移り、タスクを実行するためのユーザーインタラクション(user interaction)が受信される。ユーザーインタラクションは、ユーザーと関連付けられたパーソナルアシスタントによってタスクを実行すること(例えば、いくつかのアクション/アクションのセットを実行すること)に向けられる。ナチュラルユーザーインターフェイス(NUI)および/またはその他のインターフェイスが、ユーザーインタラクションを受信するために使用される。例えば、自然言語対話およびインテントを表す他の非言語モダリティ(ジェスチャー、タッチ、視線、画像/映像、発話の韻律、印刷されたテキスト入力、手書きテキストなど)の組合せを使用して、パーソナルアシスタントとインタラクトすることができる。理解モデルを備えた音声対話システムを使用して、パーソナルアシスタントアプリケーションとインタラクトすることもできる。
[0021]操作220に入ると、パーソナルアシスタントがタスクを実行する方法を知っているかどうかについて、およびパーソナルアシスタントがタスクを実行する方法を知らないときについて、判断が行われる。例えば、パーソナルアシスタントが、タスクを実行する方法をすでに学習していることがある。パーソナルアシスタントは、ユーザーがパーソナルアシスタントにない知識に言及するときを判断し、例えばタスクを完了する方法を理解する、またはユーザーの特定のインテントがまだパーソナルアシスタントの知識の一部ではないことを理解する。
[0022]一実施形態によれば、未知の知識(例えば、未知のインテント)を判断するには、尤度比検出器が使用される(図8参照)。図8に示すインテントモデルは、パーソナルアシスタントおよび中央知識ベースに対する既知のインテントを表し、機械が学習した統計モデルである。図8に示す背景モデルは、未知のインテントを表す。パーソナルアシスタントによる未知の知識は、エンティティ/スロット、エンティティ/スロット間の関係、インテント、概念、領域、タスクモデル、その他など、様々なタイプである可能性がある。
[0023]パーソナルアシスタントがタスクを実行する方法を知らないとき、プロセスは操作222に進む。パーソナルアシスタントがタスクを実行する方法を知っているとき、タスクは実行され、プロセスは終了ブロックに進む。
[0024]操作222では、パーソナルアシスタントはタスクを学習する。パーソナルアシスタントがタスクの実行方法を知らないとき、パーソナルアシスタントは、ユーザーからこの情報を受信する。一実施形態によれば、この新しい知識(例えば、新しいタスク)をその知識ベースに追加するために、ユーザーとの対話(dialog)インタラクションが開始される。例えば、ユーザーは「ハリーポッターの映画のチケットを買って」とパーソナルアシスタントに言う。パーソナルアシスタントは、パーソナルアシスタントが「映画チケットを買う」というインテントを持っていないことを認識する。しかしながらパーソナルアシスタントは、映画の領域および概念、ならびに「買う」ためのアクションを理解する。この理解を用いて、パーソナルアシスタントは、「映画のチケットの買い方がわかりません。教えてくれませんか」と応答する。情報は、タスクを実行するためのユーザーのアクションを記録することにより、および/または他のモダリティ(例えば、発話、ジェスチャー、...)により、学習されることが可能である。学習された情報(例えば、タスク)は、様々な方法を用いて格納されることが可能である。一実施形態によれば、知識ベース(例えば、FREEBASE、DBpediaなど)が取得され、その後パーソナルアシスタントとインタラクトしているユーザーから取得される知識で拡張される。グラフは、新しいノードおよびこれらのノードを既存のノードにつなぐエッジを追加することによって拡張される。これらの拡張が、学習された新しい知識を表す。知識ベースの拡張は、暗黙的にまたは明示的に学習されることが可能である(詳細については図3および関連する説明を参照)。
[0025]操作224において、学習された情報(例えば、タスク)は、パーソナルアシスタントによって中央知識ベースに送信される。一実施形態によれば、知識ベースに追加されたグラフのノードは、知識マネージャーに送信される。
[0026]操作230に進むと、学習された情報は、中央知識ベースに追加される。中央知識ベースは、様々なユーザーおよび/または様々なコンピューティングデバイスとそれぞれ関連付けられる様々なパーソナルアシスタントのそれぞれから学習された情報を含む。一実施形態によれば、パーソナルアシスタントから受信されたノードは、知識ベースに組み込まれる。
[0027]操作240に移ると、パーソナルアシスタントの1つからの新しく学習された情報は、他のパーソナルアシスタントと共有される。パーソナルアシスタントの全部/一部が、新しい情報を受信することができる。例えば、パーソナルアシスタントが企業の従業員と関連付けられるとき、1人の従業員からの学習された情報は、この企業の他の従業員に送信されてもよい。学習された情報を企業の従業員のそれぞれに送信する代わりに、情報は、決定された基準(例えば、チーム、部門などの一部)に基づいて配信されてもよい。
[0028]操作250に入ると、中央マネージャーからの取得された情報は、情報を受信するパーソナルアシスタントのそれぞれによって組み込まれる。このようにして、別のパーソナルアシスタントから学習された情報が、他のパーソナルアシスタントによって使用されることが可能である。
[0029]プロセスは次に、終了操作に進み、他のアクションの処理に戻る。
[0030]図3は、パーソナルアシスタントを使用して得られる情報を学習し、格納するためのプロセス300を示す。
[0031]開始操作の後、プロセスは操作310に進み、学習するタスクは、パーソナルアシスタントによってすでに知られている情報に基づいて一般化される。例えば、上に提示した例では、パーソナルアシスタントは、パーソナルアシスタントが「映画チケットを買う」というインテントを持っていないことを認識するが、パーソナルアシスタントは映画の領域および概念、ならびに「買う」ためのアクションを理解する。この理解を用いて、パーソナルアシスタントは、適切な知識ベースおよび/または知識ベース内の場所にアクセスすることができる。
[0032]操作320に入ると、一般的に学習するタスクに一致する(1つの実施形態ではグラフとしての)知識ベースがアクセスされる。一実施形態によれば、ユーザーから独立した知識ベース(例えば、FREEBASE、DBPEDIA、その他など)がアクセスされる。一般的には、知識ベースが、一意の識別子をそれぞれ有する様々なトピック/エンティティに関連する構造化データを含む。例えばFREEBASEは、現在、ほぼ2300万エンティティを含む。データは、検索/クエリを行う、ならびに新しいデータを書き込む(例えば、新しいエンティティを追加する、新しいエンティティを拡張する、...)ために使用されることが可能であるアプリケーションプログラミングインターフェイス(API)によってアクセスされてもよい。
[0033]操作330に移ると、タスクを実行するための情報がユーザーから学習される。情報は、タスクを実行するためのユーザーのアクションを記録することにより、および/または他のモダリティ(例えば、発話、ジェスチャー、...)により学習されることが可能である。1つまたは複数のユーザーインターフェイスが、アクションを受信するおよび/または情報を提示するために表示されることが可能である。
[0034]操作340に進むと、新しく学習された情報(例えば、タスク)は格納される。一実施形態によれば、知識ベース(例えば、FREEBASE、DBPEDIAなど)は、パーソナルアシスタントとインタラクトしているユーザーから取得される知識で拡張される。グラフは、新しいノードおよびこれらのノードを既存のノードにつなぐエッジを追加することによって拡張される。これらの拡張が、学習された新しい知識を表す。知識ベースの拡張は、暗黙的にまたは明示的に学習されることが可能である。一実施形態によれば、タスクモデルを表すために、隠れマルコフモデル(hidden Markov model:HMM)が使用され、ここではHMMの各状態がインテントである。ログ(例えば、クエリ、クリック、ページビュー、滞留時間などの検索および閲覧ログ)からのデータが、HMMを開始するために使用されてもよい。個々のユーザーがパーソナルアシスタントに、パーソナルアシスタントが見たことのない、および実行方法を知らない新しいタスクを導入するとき、パーソナルアシスタントは、パーソナルアシスタントがデータから構築したタスクモデルの大きなセットからこのタスクを識別する。このモデルは次に、ユーザーの例示データ上でこれを適合させることによってユーザーがシステムに教示している新しいタスクを一般化するために使用される。一実施形態によれば、下位レベルの知識が、連結グラフ、一般的には重み付けされたトリプルまたはクアッドストアによって表される。グラフのノードは、エンティティ(人、場所、またはもの)である。グラフのエッジは、エンティティ間の関係である。下位レベルの概念サブグラフを上位レベルのインテント/タスク(例えば、アクション)にマップすることによって、インテント/タスクグラフが構築されてもよい。単純な場合には、単一の概念グラフノード(エンティティ)が、関連インテント/アクションをこれと関連付けられる。
[0035]操作350に入ると、知識ベースが格納される。プロセスは次に、終了操作に進み、他のアクションの処理に戻る。
[0036]図4は、マルチモーダルシステムにおいて様々なユーザーおよびパーソナルアシスタントから学習された情報を使用する協調学習のための例示的なシステムを示す。図のように、システム1000は、サービス1010と、データストア1045と、タッチスクリーン入力デバイス/ディスプレイ1050(例えば、スレート)と、スマートフォン1030とを含む。
[0037]図のように、サービス1010は、様々なアプリケーション(例えば、ゲーム、ブラウジング、検索(locating)、生産性サービス(例えば、スプレッドシート、文書、プレゼンテーション、チャート、メッセージなど))に関連するマルチモーダルサービスなど、サービスを提供するように構成されることが可能である、クラウドベースおよび/または企業ベースのサービスである。サービスは、様々なタイプの入力/出力を使用してインタラクトされることが可能である。例えばユーザーが、音声入力、タッチ入力、ハードウェアによる入力などを使用することができる。サービスは、あらかじめ録音された音声および合成音声を組み合わせた音声出力を提供することができる。サービス1010によって提供されるサービス/アプリケーションの1つまたは複数の機能が、クライアント/サーバーベースのアプリケーションとして構成されてもよい。システム1000がマルチモーダルアプリケーションに関連するサービスを示しているが、他のサービス/アプリケーションが、知識マネージャー26およびパーソナルアシスタント(例えば、パーソナルアシスタント1031およびパーソナルアシスタント1051)から学習された情報を使用するように構成されてもよい。
[0038]図のように、サービス1010は、任意の数のテナント(例えばテナント1〜N)にリソース1015およびサービスを提供するマルチテナントサービスである。マルチテナントサービス1010は、サービスに加入したテナントにリソース/サービス1015を提供し、各テナントのデータを個々に管理し、他のテナントデータから保護するクラウドベースのサービスである。
[0039]図のようにシステム1000は、タッチスクリーン入力デバイス/ディスプレイ1050(例えば、スレート/タブレットデバイス)と、タッチ入力が受信された(例えば、指がタッチスクリーンに触れるまたはほとんど触れる)とき検出するスマートフォン1030とを備える。ユーザーのタッチ入力を検出するいかなるタイプのタッチスクリーンが利用されてもよい。例えば、タッチスクリーンは、タッチ入力を検出する1つまたは複数の層の静電容量性の物質を含むことができる。静電容量性の物質に加えて、またはこれに代えて、他のセンサーが使用されてもよい。例えば、赤外線(IR)センサーが使用されてもよい。一実施形態によれば、タッチスクリーンは、触れることができる表面と接触している、または触れることができる表面の上方にあるオブジェクトを検出するように構成される。この説明では「上方に」という用語が使用されるが、タッチパネルシステムの向きは重要でないことを理解されたい。「上方に」という用語は、このようなすべての向きに適用できるものとする。タッチスクリーンは、タッチ入力が受信される場所の位置(例えば、開始点、中間点、および終了点)を決定するように構成されることが可能である。触れることができる表面とオブジェクトとの間の実際の接触が、例えば、タッチパネルに結合された振動センサーまたはマイクによるなど、任意の好適な手段によって検出されることが可能である。接触を検出するセンサーの例の包括的でないリストは、圧力ベースの機構、マイクロマシニングによる加速度計、圧電デバイス、容量センサー、抵抗センサー、誘導センサー、レーザー振動計、およびLED振動計を含む。
[0040]一実施形態によれば、スマートフォン1030およびタッチスクリーン入力デバイス/ディスプレイ1050が、マルチモーダルアプリケーションを備えて構成され、それぞれがパーソナルアシスタント(1031、1051)を含む。
[0041]図のように、タッチスクリーン入力デバイス/ディスプレイ1050およびスマートフォン1030が、パーソナルアシスタントのユーザーを含めたアプリケーションの利用およびマルチモーダル入力/出力を使用していることを示している例示的なディスプレイ1052/1032を示す。データが、デバイス(例えば、スマートフォン1030、スレート1050、および/またはその他の場所(例えば、ネットワークデータストア1045)に)に格納されてもよい。データストア1054は、様々なパーソナルアシスタントのそれぞれから学習された情報を含む中央知識ベースを格納するために使用されてもよい。デバイスによって使用されるアプリケーションは、クライアントベースのアプリケーション、サーバーベースのアプリケーション、クラウドベースのアプリケーション、および/または何らかの組合せであってもよい。
[0042]知識マネージャー26は、本明細書に記載するようにパーソナルアシスタントにより協調学習に関連する操作を行うように構成される。マネージャー26はサービス1010内に示されているが、マネージャーの機能は、他の場所に(例えば、スマートフォン1030および/またはスレートデバイス1050に)組み込まれてもよい。
[0043]本明細書に記載する実施形態および機能は、有線および無線コンピューティングシステム、モバイルコンピューティングシステム(例えば、携帯電話、タブレットもしくはスレート型コンピューター、ラップトップコンピューターなど)を含めた数多くのコンピューティングシステムにより動作することができる。さらに、本明細書に記載する実施形態および機能は、分散システムにわたって動作することができ、アプリケーション機能、メモリ、データ記憶および検索、ならびに様々な処理機能は、インターネットまたはイントラネットなど、分散コンピューティングネットワークを通じて互いからリモートで操作されることが可能である。様々なタイプのユーザーインターフェイスおよび情報が、オンボードコンピューティングデバイスディスプレイにより、または1つもしくは複数のコンピューティングデバイスと関連付けられたリモートディスプレイユニットにより、表示されることが可能である。例えば、様々なタイプのユーザーインターフェイスおよび情報が映し出される壁の表面に、様々なタイプのユーザーインターフェイスおよび情報が表示され、インタラクトされることが可能である。本発明の諸実施形態が実践されることが可能である多数のコンピューティングシステムとのインタラクションは、キーストロークエントリ、タッチスクリーンエントリ、声または他の音声エントリ、関連付けられるコンピューティングデバイスがコンピューティングデバイスの機能を制御するためにユーザーのジェスチャーを取り込んで解釈するための検出(例えば、カメラ)機能を備えたジェスチャーエントリなどを含む。
[0044]図5から7および関連する説明は、本発明の諸実施形態が実践されることが可能である様々な動作環境の考察を提供する。しかしながら、図5から7について例示して説明するデバイスおよびシステムは、例として説明するためであり、本明細書に記載する本発明の諸実施形態を実践するために使用されることが可能である膨大な数のコンピューティングデバイス構成を制限するものではない。
[0045]図5は、本発明の諸実施形態が実践されることが可能であるコンピューティングデバイス1100の物理的構成要素例を示すブロック図である。以下に記載するコンピューティングデバイス構成要素は、上述のコンピューティングデバイスに適しているものとすることができる。基本的な構成では、コンピューティングデバイス1100は、少なくとも1つの処理ユニット1102と、システムメモリ1104とを含むことができる。コンピューティングデバイスの構成およびタイプに応じて、システムメモリ1104は、揮発性(例えば、ランダムアクセスメモリ(RAM))、不揮発性(例えば、読み取り専用メモリ(ROM))、フラッシュメモリ、または任意の組合せを含むことができるが、これらに限定されない。システムメモリ1104は、オペレーティングシステム1105と、1つまたは複数のプログラミングモジュール1106とを含むことができ、また、ウェブブラウザアプリケーション1120を含むことができる。例えばオペレーティングシステム1105は、コンピューティングデバイス1100の動作を制御するのに好適であってもよい。1つの実施形態では、プログラミングモジュール1106は、上述のように、コンピューティングデバイス1100にインストールされた知識マネージャー26を含むことができる。さらに、本発明の諸実施形態は、グラフィックスライブラリ、他のオペレーティングシステム、または任意の他のアプリケーションプログラムと併せて実践されることが可能であり、いかなる特定のアプリケーションまたはシステムにも限定されない。この基本的な構成は、破線1108内のこれらの構成要素によって図5に示されている。
[0046]コンピューティングデバイス1100は、追加の特徴および機能を有することができる。例えば、コンピューティングデバイス1100は、例えば磁気ディスク、光ディスク、またはテープなど、追加のデータ記憶装置(storage)(リムーバブルおよび/または非リムーバブル)を含むこともできる。このような追加の記憶装置は、リムーバブル記憶装置1109および非リムーバブル記憶装置1110で示している。
[0047]上述のように、いくつかのプログラムモジュールおよびデータファイルが、オペレーティングシステム1105など、システムメモリ1104に格納されることが可能である。処理ユニット1102で実行しながら、マネージャーなどのプログラミングモジュール1106が、例えば上述の方法に関連する操作などのプロセスを行うことができる。上述のプロセスは一例であり、処理ユニット1102は、他のプロセスを行うことができる。本発明の諸実施形態に従って使用されることが可能である他のプログラミングモジュールは、電子メールおよび連絡先アプリケーション、文書処理アプリケーション、スプレッドシートアプリケーション、データベースアプリケーション、スライドプレゼンテーションアプリケーション、描画またはコンピューター支援アプリケーションプログラムなどを含むことができる。
[0048]一般に、本発明の諸実施形態と一致してプログラムモジュールは、特定のタスクを実行することができるまたは特定の抽象データ型を実装することができるルーチン、プログラム、コンポーネント、データ構造、および他の型の構造を含むことができる。さらに、本発明の諸実施形態は、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサを用いたまたはプログラム制御の家庭電化製品、ミニコンピューター、メインフレームコンピューターなどを含む他のコンピューターシステム構成で実践されることが可能である。本発明の諸実施形態は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される分散コンピューティング環境で実践されることも可能である。分散コンピューティング環境では、プログラムモジュールは、ローカルとリモートの両方のメモリ記憶装置に配置されることが可能である。
[0049]さらに、本発明の諸実施形態は、個別電子素子、論理ゲートを含むパッケージ化されたもしくは集積された電子チップ、マイクロプロセッサを使用する回路を備えた電気回路で、または電子素子もしくはマイクロプロセッサを含んだ単一のチップ上で、実践されることが可能である。例えば、本発明の諸実施形態は、システムオンチップ(SOC)により実践されることが可能であり、図5に示される構成要素のそれぞれまたは多くが単一の集積回路上に集積されることが可能である。このようなSOCデバイスは、1つまたは複数の処理ユニット、グラフィックスユニット、通信ユニット、システム仮想化ユニット、および様々なアプリケーション機能を含むことができ、これらのすべてが、単一の集積回路としてチップ基板上に集積される(または、「焼かれる」)。SOCにより動作するとき、マネージャー26に関する、本明細書に記載する機能は、単一集積回路(チップ)上にコンピューティングデバイス/システム1100の他の構成要素と集積された特定用途向けロジック(application-specific logic)により作動されることが可能である。本発明の諸実施形態は、機械工学技術、光学技術、流体技術、および量子技術を含む、ただしこれらに限定されない、例えば、AND、OR、およびNOTなどの論理演算を行うことができる他の技術を使用して実践されることも可能である。さらに、本発明の諸実施形態は、汎用コンピューター内で、またはいかなる他の回路もしくはシステムにおいても、実践されることが可能である。
[0050]本発明の諸実施形態は、例えば、コンピュータープロセス(方法)、コンピューティングシステムとして、またはコンピュータープログラム製品もしくはコンピューター可読媒体などの製品として、実装されることが可能である。コンピュータープログラム製品は、コンピューターシステムにより読み取り可能なコンピューター記憶媒体であって、コンピュータープロセスを実行するための命令のコンピュータープログラムをエンコードするコンピューター記憶媒体であってもよい。
[0051]本明細書で使用するコンピューター可読媒体という用語は、コンピューター記憶媒体を含むことができる。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実現される、揮発性および不揮発性の、リムーバブルおよび非リムーバブル媒体を含むことができる。システムメモリ1104、リムーバブル記憶装置1109、および非リムーバブル記憶装置1110は、すべてコンピューター記憶媒体(すなわち、メモリ記憶装置)の例である。コンピューター記憶媒体には、RAM、ROM、電気的消去可能な読み取り専用メモリ(EEPROM)、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または情報を保存するために使用されることが可能であり、コンピューティングデバイス1100によってアクセスされることが可能である任意の他の媒体が含まれることがあるが、これらに限定されない。このようなコンピューター記憶媒体は、デバイス1100の一部であってもよい。コンピューティングデバイス1100は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなどのような(1つまたは複数の)入力デバイス1112を有することもできる。ディスプレイ、スピーカー、プリンターなどの(1つまたは複数の)出力デバイス1114が含まれることもある。前述のデバイスは例であり、他のものが使用されてもよい。
[0052]カメラおよび/またはその他の検知装置が、1人または複数のユーザーを記録する、ならびにコンピューティングデバイスのユーザーによって行われるモーションおよび/またはジェスチャーを取り込むように機能してもよい。検知装置はさらに、例えばマイクによって話された言葉を取り込む、ならびに/または例えばキーボードおよび/もしくはマウス(図示せず)によってユーザーからの他の入力を取り込むように機能してもよい。検知デバイスは、ユーザーの動きを検出することができるいかなるモーション検出装置も含むことができる。例えば、カメラが、複数のカメラと複数のマイクとを備えたMICROSOFT KINECT(登録商標)モーションキャプチャ装置を含むことができる。
[0053]本明細書で使用するコンピューター可読媒体という用語は、通信媒体を含むこともできる。通信媒体は、搬送波または他の伝送機構などの変調されたデータ信号中の、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータによって具体化されることが可能であり、いかなる情報配信媒体も含む。「変調されたデータ信号」という用語は、信号中の情報を符号化するような方法で設定されたまたは変更された1つまたは複数の特徴を有する信号を意味する。一例として、限定ではないが、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、無線周波数(RF)、赤外線、およびその他の無線媒体などの無線媒体を含むことができる。
[0054]図6Aおよび6Bは、例えば携帯電話、スマートフォン、タブレットパーソナルコンピューター、ラップトップコンピューターなど、好適なモバイルコンピューティング環境を示し、これを用いて本発明の諸実施形態が実践されることが可能である。図6Aを参照すると、諸実施形態を実行するための例示的なモバイルコンピューティングデバイス1200が示されている。基本的な構成では、モバイルコンピューティングデバイス1200は、入力要素と出力要素の両方を有するハンドヘルドコンピューターである。入力要素は、ユーザーがモバイルコンピューティングデバイス1200に情報を入力できるようにするタッチスクリーンディスプレイ1205および入力ボタン1215を含むことができる。モバイルコンピューティングデバイス1200は、さらなるユーザー入力を可能にするオプションのサイド入力要素1215を組み込むこともできる。オプションのサイド入力要素1215は、ロータリースイッチ、ボタン、または任意の他のタイプの手動入力要素であってもよい。代替的実施形態では、モバイルコンピューティングデバイス1200は、より多くのまたはより少ない入力要素を組み込むことができる。例えば、ディスプレイ1205は、一部の実施形態ではタッチスクリーンではないことがある。さらに別の代替的実施形態では、モバイルコンピューティングデバイスは、ディスプレイ1205と、入力ボタン1215とを有するセルラー電話など、携帯電話システムである。モバイルコンピューティングデバイス1200は、オプションのキーパッド1235を含むこともある。オプションのキーパッド1215は、物理キーパッドまたはタッチスクリーンディスプレイ上に生成される「ソフト」キーパッドとすることができる。
[0055]モバイルコンピューティングデバイス1200が、グラフィカルユーザーインターフェイス(GUI)を表示することができる、ディスプレイ1205などの出力要素を組み込む。他の出力要素は、スピーカー1225と、LED光1220とを含む。さらに、モバイルコンピューティングデバイス1200は、モバイルコンピューティングデバイス1200を振動させてイベントをユーザーに知らせる振動モジュール(図示せず)を組み込むことができる。さらに別の実施形態では、モバイルコンピューティングデバイス1200は、出力信号を提供する別の手段を提供するためのヘッドホンジャック(図示せず)を組み込むことができる。
[0056]本明細書ではモバイルコンピューティングデバイス1200と組み合わせて説明するが、代替的実施形態では本発明は、デスクトップ環境で、ラップトップまたはノートブックコンピューターシステム、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラム制御の家庭電化製品、ネットワークPC、ミニコンピューター、メインフレームコンピューターなど、任意の数のコンピューターシステムと組み合わせて使用される。本発明の諸実施形態は、分散コンピューティング環境で通信ネットワークを介してリンクされたリモート処理装置によってタスクが行われる分散コンピューティング環境において実践されることも可能であり、プログラムは、ローカルとリモートの両方のメモリ記憶装置に配置されることが可能である。要約すると、複数の環境センサーと、ユーザーに通知を行う複数の出力要素と、複数の通知イベントタイプとを有するいかなるコンピューターシステムも、本発明の諸実施形態を組み込むことができる。
[0057]図6Bは、図6Aに示すコンピューティングデバイスなど、1つの実施形態で使用されるモバイルコンピューティングデバイスの構成要素を示すブロック図である。すなわち、モバイルコンピューティングデバイス1200は、システム1202を組み込んで、一部の実施形態を実行することができる。例えば、システム1202は、例えばプレゼンテーションアプリケーション、ブラウザ、電子メール、スケジューリング、インスタントメッセージング、およびメディアプレーヤーアプリケーションなど、デスクトップまたはノートブックコンピューターのアプリケーションと同様の1つまたは複数のアプリケーションを実行することができる「スマートフォン」を実現する際に使用されることが可能である。一部の実施形態では、システム1202は、統合された携帯情報端末(PDA)および無線電話など、コンピューティングデバイスとして統合される。
[0058]1つまたは複数のアプリケーションプログラム1266は、メモリ1262にロードされ、オペレーティングシステム1264上で、またはオペレーティングシステム1264と関連して動作することができる。アプリケーションプログラムの例は、電話ダイヤラプログラム、電子メールプログラム、PIM(個人情報管理)プログラム、文書処理プログラム、スプレッドシートプログラム、インターネットブラウザプログラム、メッセージングプログラムなどを含む。システム1202はまた、メモリ1262内に不揮発性記憶装置1268を含む。不揮発性記憶装置1268は、システム1202の電源が切られた場合に失われるべきではない永続的な情報を格納するために使用されることが可能である。アプリケーション1266は、電子メールアプリケーションなどによって使用される電子メールまたは他のメッセージなど、不揮発性記憶装置1268において情報を使用し、格納することができる。同期アプリケーション(図示せず)もまた、システム1202に存在し、ホストコンピューターに常駐する対応する同期アプリケーションとインタラクトして、不揮発性記憶装置1268に格納された情報が、ホストコンピューターに格納された対応する情報と同期された状態を保つようにプログラムされる。当然ながら、他のアプリケーションがメモリ1262にロードされ、上述の知識マネージャー26を含む、デバイス1200上で実行されることもある。
[0059]システム1202は、電力供給装置1270を有し、これは1つまたは複数のバッテリーとして実装されてもよい。電力供給装置1270は、バッテリーを補充するまたは再充電するACアダプターまたは電源付ドッキングクレードル(powered docking cradle)など、外部電源をさらに含むことができる。
[0060]システム1202は、無線周波数通信を送受信する機能を行う無線機1272を含むこともできる。無線機1272は、通信キャリアまたはサービスプロバイダーによる、システム1202と「外界」との間の無線接続を容易にする。無線機1272への伝送および無線機1272からの伝送は、OS1264の制御下で行われる。言い換えれば、無線機1272によって受信された通信は、OS1264によりアプリケーションプログラム1266に広められることが可能であり、および逆もまた同様である。
[0061]無線機1272は、システム1202が例えばネットワークを通じて、他のコンピューティングデバイスと通信できるようにする。無線機1272は、通信媒体の一例である。通信媒体は、一般的に、搬送波または他の伝送機構などの変調されたデータ信号中の、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータによって具体化されることが可能であり、いかなる情報配信媒体も含む。「変調されたデータ信号」という用語は、信号の中の情報を符号化するような方法で特性の1つまたは複数が設定されたまたは変更された信号を意味する。一例として、限定ではないが、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、RF、赤外線、およびその他の無線媒体などの無線媒体を含む。本明細書で使用するコンピューター可読媒体という用語は、記憶媒体と通信媒体の両方を含む。
[0062]システム1202のこの実施形態は、2つのタイプの通知出力デバイス、すなわち視覚的通知を提供するために使用されることが可能であるLED1220と、音声通知を提供するためにスピーカー1225と共に使用されることが可能である音声インターフェイス1274とを備えて示される。これらのデバイスは、アクティブ化されるとき、たとえプロセッサ1260および他の構成要素がバッテリー電力を節約するためにシャットダウンされたとしても、これらのデバイスは通知機構によって命令される期間にオンのままであるように、電力供給装置1270に直接結合されることが可能である。LED1220は、デバイスの電源が入っている状態を示すためにユーザーがアクションをとるまで無限にオンのままであるようにプログラムされることが可能である。音声インターフェイス1274は、ユーザーに音響信号を提供し、ユーザーから音響信号を受信するために使用される。例えば、スピーカー1225に結合されることに加えて、音声インターフェイス1274は、音響入力を受信するマイク1220にも結合されて、例えば電話の会話を容易にすることも可能である。本発明の諸実施形態に従って、マイク1220は、以下に記載するように、音声センサーとして機能して、通知の制御を容易にすることもできる。システム1202は、静止画像、映像ストリームなどを記録するためにオンボードカメラ1230の操作を可能にする映像インターフェイス1276をさらに含むことができる。
[0063]システム1202を実装するモバイルコンピューティングデバイスは、追加の特徴または機能を有することができる。例えばデバイスは、磁気ディスク、光ディスク、またはテープなど、追加のデータ記憶装置(リムーバブルおよび/または非リムーバブル)を含むこともできる。このような追加の記憶装置は、図8Bの記憶装置1268で示される。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を格納するための任意の方法または技術で実現される、揮発性および不揮発性の、リムーバブルおよび非リムーバブル媒体を含むことができる。
[0064]デバイス1200によって生成され、もしくは取り込まれ、システム1202により格納されるデータ/情報は、上述のように、デバイス1200上にローカルに格納されることが可能である、またはデータは、デバイス1200と、デバイス1200と関連付けられる別個のコンピューティングデバイス、例えばインターネットなどの分散コンピューティングネットワークのサーバーコンピューターとの間で、無線機1272により、もしくは有線接続により、デバイスによってアクセスされることが可能である任意の数の記憶媒体に格納されることが可能である。当然ながら、このようなデータ/情報は、デバイス1200により、無線機1272により、または分散コンピューティングネットワークにより、アクセスされることが可能である。同様に、このようなデータ/情報は、電子メールおよび協調データ/情報共有システム(collaborative data/information sharing system)など、よく知られたデータ/情報転送および保存手段に従って保存し、使用するために、コンピューティングデバイス間で容易に転送されることが可能である。
[0065]図7は、パーソナルアシスタントを使用した協調学習のためのシステムアーキテクチャを示す。
[0066]知識マネージャー26により管理される構成要素は、様々な通信チャネルまたは他の記憶装置タイプに格納されることが可能である。例えば、構成要素は、構成要素が開発される元の情報と併せて、ディレクトリサービス1322、ウェブポータル1324、メールボックスサービス1326、インスタントメッセージングストア1328、およびソーシャルネットワーキングサイト1330を使用して格納されてもよい。システム/アプリケーション26、1320は、ストア1316における構成要素の管理および格納を可能にするために、これらのタイプのシステムまたは同様のシステムのいずれかを使用することができる。サーバー1332は、バリエーションを使用し、決定することに関連して、通信およびサービスを提供することができる。サーバー1332は、ネットワーク1308を介してクライアントにウェブを通じたサービスおよびコンテンツを提供することができる。サーバー1332を利用することができるクライアントの例には、汎用パーソナルコンピューターを含むことができるコンピューティングデバイス1302、タブレットコンピューティングデバイス1304、および/またはスマートフォンを含むことができるモバイルコンピューティングデバイス1306が含まれる。これらのデバイスのいずれも、ストア1316から表示構成要素管理通信およびコンテンツを取得することができる。
[0067]本発明の諸実施形態が、本発明の諸実施形態による方法、システム、およびコンピュータープログラム製品のブロック図および/または動作説明図を参照して上に記載される。ブロックに記された機能/行為は、フローチャートに示される順序を外れて行われることがある。例えば、連続して示した2つのブロックは、実際には実質的に同時に行われることがあり、またはブロックは、関与する機能/行為に応じて、時には逆の順序で行われることがある。
[0068]上記の明細書、例、およびデータは、本発明の構成物の製作および使用についての包括的な説明を提供する。本発明の多くの実施形態が、本発明の趣旨および範囲から逸脱することなく作成可能であるので、本発明は以下に添付する特許請求の範囲に属する。

Claims (10)

  1. パーソナルアシスタントを使用する協調学習のための方法であって、
    タスクを実行することに向けられたパーソナルアシスタントでユーザーインタラクションを受けるステップと、
    前記パーソナルアシスタントが前記タスクの実行方法を知っているとき、および前記パーソナルアシスタントが前記タスクの実行方法を知らないときを判定し、
    前記パーソナルアシスタントを使用して前記タスクを実行する命令を学習することと、
    様々なユーザーと関連付けられた様々なパーソナルアシスタントから、学習された命令を受け、前記パーソナルアシスタントと共有されるタスクを含む集合的ユーザー知識ベースを作成する知識マネージャーに、学習された前記命令を送ることと
    を含む操作を行うステップと、
    他のユーザーから学習されたパーソナルアシスタントとのインタラクションから学習された前記集合的ユーザー知識ベースから情報を受信するステップと
    を含む、方法。
  2. 請求項1に記載の方法であって、前記タスクを実行することに向けられた前記パーソナルアシスタントで前記ユーザーインタラクションを受けるステップは、音声入力および少なくとも1つの他の形式の入力を含むマルチモーダルユーザー入力を受けるステップを含む、方法。
  3. 請求項1に記載の方法であって、ユーザーから独立した知識ベースにアクセスするステップと、前記ユーザーから独立した知識ベースを学習された前記タスクで拡張するステップとをさらに含む方法。
  4. 請求項1に記載の方法であって、前記パーソナルアシスタントを使用して前記タスクを実行するための前記命令を学習するステップは、下位レベルの概念サブグラフを上位レベルのアクションにマップすることによって構築されるグラフであるタスクモデルを作成するステップを含む、方法。
  5. 請求項4に記載の方法であって、パターン認識分類器、時系列パターン認識分類器、および隠れマルコフモデル(HMM)のうちの少なくとも1つを使用して、前記タスクモデルを表すステップをさらに含む方法。
  6. 請求項5に記載の方法であって、前記タスクモデルは、クエリ、クリック、ページビュー、および滞留時間のうちの2つ以上を含む検索および閲覧ログから初期化される、方法。
  7. 請求項3に記載の方法であって、前記タスクの一般化を決定するステップと、前記ユーザーから学習された例示データに基づいて前記知識ベースを拡張するステップとをさらに含む方法。
  8. 請求項1に記載の方法であって、前記知識ベースのノードは、人、場所、およびアイテムを含むエンティティであり、前記知識ベースのエッジは、前記エンティティ間の関係である、方法。
  9. パーソナルアシスタントを使用する協調学習のためのコンピューター実行可能命令を格納したコンピューター可読媒体であって、該命令は、
    タスクを実行することに向けられたパーソナルアシスタントでユーザーインタラクションを受けるステップと、
    前記パーソナルアシスタントが前記タスクの実行方法を知っているとき、および前記パーソナルアシスタントが前記タスクの実行方法を知らないときを判定し、
    前記パーソナルアシスタントを使用して前記タスクを実行する命令を学習することと、
    知識ベースにアクセスし、前記タスクを実行するために、学習された前記命令を使用して前記ユーザーから独立した知識ベースを拡張することと、
    様々なユーザーと関連付けられた様々なパーソナルアシスタントから、学習された命令を受け、前記パーソナルアシスタントと共有されるタスクを含む集合的ユーザー知識ベースを作成する知識マネージャーに、学習された前記命令を送信することと
    を含む操作を行うステップと、
    他のユーザーから学習されたパーソナルアシスタントとのインタラクションから学習された前記集合的ユーザー知識ベースから情報を受けるステップと
    を含む、コンピューター可読媒体。
  10. パーソナルアシスタントを使用する協調学習のためのシステムであって、
    プロセッサおよびメモリと、
    前記プロセッサを使用して実行される動作環境と、
    ディスプレイと、
    アクションを実行するように構成された知識マネージャーと
    を含み、前記アクションは、
    タスクを実行することに向けられたパーソナルアシスタントでユーザーインタラクションを受けるステップと、
    前記パーソナルアシスタントが前記タスクの実行方法を知っているとき、および前記パーソナルアシスタントが前記タスクの実行方法を知らないときを判定し、
    前記パーソナルアシスタントを使用して前記タスクを実行する命令を学習することと、
    前記タスクの決定された一般化に基づいて知識ベースにアクセスし、前記タスクを実行するために、学習された前記命令を使用して前記ユーザーから独立した知識ベースを拡張することと、
    様々なユーザーと関連付けられた様々なパーソナルアシスタントから、学習された命令を受け、前記パーソナルアシスタントと共有されるタスクを含む集合的ユーザー知識ベースを作成する知識マネージャーに、学習された前記命令を送ることと
    を含む操作を行うステップと、
    他のユーザーから学習されたパーソナルアシスタントとのインタラクションから学習された前記集合的ユーザー知識ベースから情報を受けるステップと
    を含む、システム。
JP2015553774A 2013-01-17 2014-01-14 ユーザーが生成した知識による協調学習 Pending JP2016509301A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/743,511 US20140201629A1 (en) 2013-01-17 2013-01-17 Collaborative learning through user generated knowledge
US13/743,511 2013-01-17
PCT/US2014/011377 WO2014113349A1 (en) 2013-01-17 2014-01-14 Collaborative learning through user generated knowledge

Publications (1)

Publication Number Publication Date
JP2016509301A true JP2016509301A (ja) 2016-03-24

Family

ID=50073446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015553774A Pending JP2016509301A (ja) 2013-01-17 2014-01-14 ユーザーが生成した知識による協調学習

Country Status (6)

Country Link
US (1) US20140201629A1 (ja)
EP (1) EP2946346A1 (ja)
JP (1) JP2016509301A (ja)
KR (1) KR20150107754A (ja)
CN (1) CN104937612A (ja)
WO (1) WO2014113349A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10416933B2 (en) 2017-09-11 2019-09-17 Fuji Xerox Co.,Ltd. Information processing device and non-transitory computer readable medium for notification of linkage function
JP2020129359A (ja) * 2019-02-11 2020-08-27 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 知識ベースを管理するための方法、装置、設備及び媒体
JP2020197995A (ja) * 2019-06-04 2020-12-10 キヤノン株式会社 情報管理装置、情報処理装置、制御方法、並びにプログラム

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10446142B2 (en) 2015-05-20 2019-10-15 Microsoft Technology Licensing, Llc Crafting feedback dialogue with a digital assistant
US10686738B2 (en) 2015-07-24 2020-06-16 Facebook, Inc. Providing personal assistant service via messaging
CN106126584A (zh) * 2016-06-20 2016-11-16 陈�胜 一种在互联网上生成个人知识地图的系统
EP3482344B1 (en) * 2016-07-07 2022-08-31 Harman International Industries, Incorporated Portable personalization
US10217462B2 (en) 2016-08-31 2019-02-26 Microsoft Technology Licensing, Llc Automating natural language task/dialog authoring by leveraging existing content
US11288574B2 (en) 2016-10-20 2022-03-29 Microsoft Technology Licensing, Llc Systems and methods for building and utilizing artificial intelligence that models human memory
ES2765415T3 (es) 2016-10-21 2020-06-09 Fujitsu Ltd Aparato, método y programa de procesamiento de datos basado en microservicios
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
US11348475B2 (en) * 2016-12-09 2022-05-31 The Boeing Company System and method for interactive cognitive task assistance
US10649739B2 (en) * 2016-12-20 2020-05-12 Microsoft Technology Licensing, Llc Facilitating application development
US10140286B2 (en) 2017-02-22 2018-11-27 Google Llc Optimized graph traversal
US10535342B2 (en) * 2017-04-10 2020-01-14 Microsoft Technology Licensing, Llc Automatic learning of language models
US11025566B2 (en) * 2017-04-12 2021-06-01 Facebook, Inc. Techniques for intent-based search for bots
US10860587B2 (en) * 2017-06-14 2020-12-08 Microsoft Technology Licensing, Llc Conversationally-relevant content requests
US11436469B2 (en) 2017-07-31 2022-09-06 Microsoft Technology Licensing, Llc Knowledge graph for conversational semantic search
US20190129749A1 (en) * 2017-11-01 2019-05-02 Microsoft Technology Licensing, Llc Automated extraction and application of conditional tasks
US10497004B2 (en) * 2017-12-08 2019-12-03 Asapp, Inc. Automating communications using an intent classifier
US11593413B2 (en) * 2018-04-12 2023-02-28 Microsoft Technology Licensing, Llc Computerized assistance using artificial intelligence knowledge base
US20190354851A1 (en) * 2018-05-17 2019-11-21 International Business Machines Corporation Construction of a machine learning model for structured inputs
US11436215B2 (en) 2018-08-20 2022-09-06 Samsung Electronics Co., Ltd. Server and control method thereof
US11361767B2 (en) 2018-10-31 2022-06-14 Samsung Electronics Co., Ltd Method and apparatus for capability-based processing of voice queries in a multi-assistant environment
US11468881B2 (en) * 2019-03-29 2022-10-11 Samsung Electronics Co., Ltd. Method and system for semantic intelligent task learning and adaptive execution
US11501753B2 (en) 2019-06-26 2022-11-15 Samsung Electronics Co., Ltd. System and method for automating natural language understanding (NLU) in skill development
US11875231B2 (en) 2019-06-26 2024-01-16 Samsung Electronics Co., Ltd. System and method for complex task machine learning
US11176147B2 (en) 2019-07-25 2021-11-16 Microsoft Technology Licensing, Llc Querying a relational knowledgebase that provides data extracted from plural sources
JP7302127B2 (ja) * 2019-08-28 2023-07-04 Toyo Tire株式会社 タイヤ用ゴム組成物、及びそれを用いたウィンタータイヤ
KR20210026962A (ko) 2019-09-02 2021-03-10 삼성전자주식회사 보이스 어시스턴트 서비스를 제공하는 장치 및 방법
CN111177335B (zh) * 2019-11-29 2023-11-21 广东轩辕网络科技股份有限公司 一种基于知识图谱的智能助理的信息处理方法及装置
US10999440B1 (en) * 2020-01-02 2021-05-04 Avaya Inc. Method to augment routing delivery systems with intuitive human knowledge, expertise, and iterative artificial intelligence and machine learning in contact center environments
US11914650B2 (en) * 2020-07-22 2024-02-27 International Business Machines Corporation Data amalgamation management between multiple digital personal assistants
CN112104734B (zh) * 2020-09-15 2022-09-02 北京百度网讯科技有限公司 用于推送信息的方法、装置、设备以及存储介质
US20240029726A1 (en) * 2022-07-21 2024-01-25 Sony Interactive Entertainment LLC Intent Identification for Dialogue Support

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231571A (en) * 1990-08-14 1993-07-27 Personal Financial Assistant, Inc. Personal financial assistant computer method
US7242988B1 (en) * 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5727950A (en) * 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US5909679A (en) * 1996-11-08 1999-06-01 At&T Corp Knowledge-based moderator for electronic mail help lists
CA2239666A1 (en) * 1998-06-04 1999-12-04 Hsin-Kuo Lee Digital traffic signal device
US6484155B1 (en) * 1998-07-21 2002-11-19 Sentar, Inc. Knowledge management system for performing dynamic distributed problem solving
WO2000008547A1 (en) * 1998-08-05 2000-02-17 British Telecommunications Public Limited Company Multimodal user interface
US7036128B1 (en) * 1999-01-05 2006-04-25 Sri International Offices Using a community of distributed electronic agents to support a highly mobile, ambient computing environment
US6708163B1 (en) * 1999-02-24 2004-03-16 Hillol Kargupta Collective data mining from distributed, vertically partitioned feature space
WO2001020521A2 (en) * 1999-09-14 2001-03-22 Inventions, Inc. Training, certifying, assigning and collaborating agents among multiple users
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7099855B1 (en) * 2000-01-13 2006-08-29 International Business Machines Corporation System and method for electronic communication management
US20010047270A1 (en) * 2000-02-16 2001-11-29 Gusick David L. Customer service system and method
US7149347B1 (en) * 2000-03-02 2006-12-12 Science Applications International Corporation Machine learning of document templates for data extraction
US6757362B1 (en) * 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US6466654B1 (en) * 2000-03-06 2002-10-15 Avaya Technology Corp. Personal virtual assistant with semantic tagging
US7644057B2 (en) * 2001-01-03 2010-01-05 International Business Machines Corporation System and method for electronic communication management
US20030046273A1 (en) * 2001-08-28 2003-03-06 Intel Corporation Personal assistance service with instant messaging
US20030083923A1 (en) * 2001-10-29 2003-05-01 Diego Guicciardi Collaboration-enabled enterprise
US7257455B1 (en) * 2001-12-19 2007-08-14 Discovery Machine, Inc. System and method for collecting and representing knowledge using task-method-knowledge with structure-behavior-function in a computer system
AU2003214975A1 (en) * 2002-02-01 2003-09-02 John Fairweather System and method for navigating data
CN1437131A (zh) * 2002-02-07 2003-08-20 明日工作室股份有限公司 一种登录系统及其方法
US7023979B1 (en) * 2002-03-07 2006-04-04 Wai Wu Telephony control system with intelligent call routing
US7031918B2 (en) * 2002-03-20 2006-04-18 Microsoft Corporation Generating a task-adapted acoustic model from one or more supervised and/or unsupervised corpora
US20030190593A1 (en) * 2002-04-05 2003-10-09 Wisnosky Dennis E. Systems and methods for the automated generation of individual transition plans
US8015143B2 (en) * 2002-05-22 2011-09-06 Estes Timothy W Knowledge discovery agent system and method
EP1634195A1 (en) * 2003-06-18 2006-03-15 ZI Corporation Configurable information identification system and method
CN1570901A (zh) * 2003-07-23 2005-01-26 台达电子工业股份有限公司 手持交互式字典查询装置及其方法
JP4411900B2 (ja) * 2003-08-08 2010-02-10 ソニー株式会社 電子機器間の相互成長システム、電子機器及びロボット装置
US7450567B1 (en) * 2003-09-08 2008-11-11 Avaya Inc. Web-based personal assistant
US8442839B2 (en) * 2004-07-16 2013-05-14 The Penn State Research Foundation Agent-based collaborative recognition-primed decision-making
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
US7370022B2 (en) * 2005-07-08 2008-05-06 Honda Motor Co. Building plans for household tasks from distributed knowledge
US8666928B2 (en) * 2005-08-01 2014-03-04 Evi Technologies Limited Knowledge repository
US20070043687A1 (en) * 2005-08-19 2007-02-22 Accenture Llp Virtual assistant
US8677377B2 (en) * 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7962479B2 (en) * 2005-11-09 2011-06-14 Yahoo! Inc. System and method for generating substitutable queries
US7606700B2 (en) * 2005-11-09 2009-10-20 Microsoft Corporation Adaptive task framework
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US7933914B2 (en) * 2005-12-05 2011-04-26 Microsoft Corporation Automatic task creation and execution using browser helper objects
US8131718B2 (en) * 2005-12-13 2012-03-06 Muse Green Investments LLC Intelligent data retrieval system
US7809665B2 (en) * 2006-03-22 2010-10-05 Sony Corporation Method and system for transitioning from a case-based classifier system to a rule-based classifier system
US20080019575A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Digital image cropping using a blended map
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080086290A1 (en) * 2006-10-04 2008-04-10 Wilson Ian A Method for modeling task and workload
US20080140786A1 (en) * 2006-12-07 2008-06-12 Bao Tran Systems and methods for commercializing ideas or inventions
US7885913B2 (en) * 2007-03-28 2011-02-08 Yahoo! Inc. Distributed collaborative knowledge generation system wherein students perform queries using a dynamic knowledge database and retrieved subsets of data are shared with multiple users on the web
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
US20090043749A1 (en) * 2007-08-06 2009-02-12 Garg Priyank S Extracting query intent from query logs
JP2009053303A (ja) * 2007-08-24 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 議論知識グラフ構築方法、議論知識グラフ構築装置、議論知識グラフ構築プログラムおよびそのプログラムを記録した記録媒体
US8065173B2 (en) * 2007-10-29 2011-11-22 Suhayya Abu-Hakima Collaborative multi-agent system for dynamic management of electronic services in a mobile global network environment
US7877389B2 (en) * 2007-12-14 2011-01-25 Yahoo, Inc. Segmentation of search topics in query logs
US8326998B2 (en) * 2007-12-20 2012-12-04 Verizon Patent And Licensing Inc. Multimedia personal assistant
EP2231007A1 (en) * 2008-01-11 2010-09-29 Oregon Health and Science University Rapid serial presentation communication systems and methods
GB2458461A (en) * 2008-03-17 2009-09-23 Kai Yu Spoken language learning system
US20090240539A1 (en) * 2008-03-21 2009-09-24 Microsoft Corporation Machine learning system for a task brokerage system
US8694355B2 (en) * 2008-05-30 2014-04-08 Sri International Method and apparatus for automated assistance with task management
US20100223212A1 (en) * 2009-02-27 2010-09-02 Microsoft Corporation Task-related electronic coaching
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9039419B2 (en) * 2009-11-06 2015-05-26 International Business Machines Corporation Method and system for controlling skill acquisition interfaces
US20110119269A1 (en) * 2009-11-18 2011-05-19 Rakesh Agrawal Concept Discovery in Search Logs
US8762374B1 (en) * 2010-03-08 2014-06-24 Emc Corporation Task driven context-aware search
US8694304B2 (en) * 2010-03-26 2014-04-08 Virtuoz Sa Semantic clustering and user interfaces
US8386929B2 (en) * 2010-06-22 2013-02-26 Microsoft Corporation Personal assistant for task utilization
US8676583B2 (en) * 2010-08-30 2014-03-18 Honda Motor Co., Ltd. Belief tracking and action selection in spoken dialog systems
KR101891138B1 (ko) * 2010-11-11 2018-08-23 더 존스 홉킨스 유니버시티 인간-기계 협력 로봇 시스템
US9575776B2 (en) * 2010-12-30 2017-02-21 Samsung Electrônica da Amazônia Ltda. System for organizing and guiding a user in the experience of browsing different applications based on contexts
US9785242B2 (en) * 2011-03-12 2017-10-10 Uday Parshionikar Multipurpose controllers and methods
US20120290509A1 (en) * 2011-05-13 2012-11-15 Microsoft Corporation Training Statistical Dialog Managers in Spoken Dialog Systems With Web Data
KR20120132716A (ko) * 2011-05-30 2012-12-10 주식회사 크레듀 소셜 네트워크 서비스를 이용한 협력 학습 시스템
US9082402B2 (en) * 2011-12-08 2015-07-14 Sri International Generic virtual personal assistant platform
US20130159377A1 (en) * 2011-12-15 2013-06-20 AsystMe, LLC Proactive automated personal assistant
US20130231990A1 (en) * 2012-03-01 2013-09-05 Sears Brands, Llc Methods and systems for providing personal shopping services
US20130254139A1 (en) * 2012-03-21 2013-09-26 Xiaoguang Lei Systems and methods for building a universal intelligent assistant with learning capabilities
US9489636B2 (en) * 2012-04-18 2016-11-08 Tagasauris, Inc. Task-agnostic integration of human and machine intelligence
US8990128B2 (en) * 2012-06-05 2015-03-24 International Business Machines Corporation Graph-based framework for multi-task multi-view learning
US9390174B2 (en) * 2012-08-08 2016-07-12 Google Inc. Search result ranking and presentation
US9085303B2 (en) * 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
WO2014088588A1 (en) * 2012-12-07 2014-06-12 Empire Technology Development Llc Personal assistant context building
US20150121203A1 (en) * 2013-10-25 2015-04-30 Palo Alto Research Center Incorporated System and method for generating uniform format pages for a system for composing messages
US10296570B2 (en) * 2013-10-25 2019-05-21 Palo Alto Research Center Incorporated Reflow narrative text objects in a document having text objects and graphical objects, wherein text object are classified as either narrative text object or annotative text object based on the distance from a left edge of a canvas of display
US20150121202A1 (en) * 2013-10-25 2015-04-30 Palo Alto Research Center Incorporated System and method for transmitting mixed content type messages
US9659279B2 (en) * 2013-10-25 2017-05-23 Palo Alto Research Center Incorporated Method and system for enhanced inferred mode user interface operations
US20150121179A1 (en) * 2013-10-25 2015-04-30 Palo Alto Research Center Incorporated System and method for creating graphically rich messages incorporating shared docments

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10416933B2 (en) 2017-09-11 2019-09-17 Fuji Xerox Co.,Ltd. Information processing device and non-transitory computer readable medium for notification of linkage function
JP2020129359A (ja) * 2019-02-11 2020-08-27 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 知識ベースを管理するための方法、装置、設備及び媒体
JP7082105B2 (ja) 2019-02-11 2022-06-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 知識ベースを管理するための方法、装置、設備及び媒体
US11900269B2 (en) 2019-02-11 2024-02-13 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for managing knowledge base, device and medium
JP2020197995A (ja) * 2019-06-04 2020-12-10 キヤノン株式会社 情報管理装置、情報処理装置、制御方法、並びにプログラム
JP7292980B2 (ja) 2019-06-04 2023-06-19 キヤノン株式会社 情報管理装置、撮像装置、制御方法、並びにプログラム

Also Published As

Publication number Publication date
WO2014113349A1 (en) 2014-07-24
US20140201629A1 (en) 2014-07-17
EP2946346A1 (en) 2015-11-25
CN104937612A (zh) 2015-09-23
KR20150107754A (ko) 2015-09-23

Similar Documents

Publication Publication Date Title
JP2016509301A (ja) ユーザーが生成した知識による協調学習
AU2019208255B2 (en) Environmentally aware dialog policies and response generation
US9292492B2 (en) Scaling statistical language understanding systems across domains and intents
US10705783B2 (en) Showing interactions as they occur on a whiteboard
US9875237B2 (en) Using human perception in building language understanding models
US20130339831A1 (en) Dynamic reports connected to project data
US20140281868A1 (en) Semantic zoom-based navigation of displayed content
US9830039B2 (en) Using human wizards in a conversational understanding system
US20140129910A1 (en) Dynamic layout of content in a grid based application
US20140350931A1 (en) Language model trained using predicted queries from statistical machine translation
US20140068547A1 (en) Sharing application code across platforms
US20130262105A1 (en) Dynamic long-distance dependency with conditional random fields