JP2018525691A - 知識マップに基づくヒューマンコンピュータインタラクション方法及びシステム - Google Patents

Abstract

本発明は、知識マップに基づくヒューマンコンピュータインタラクション方法及びシステムを提供する。本発明は、知識マップによりユーザの入力意図を識別し、且つ意図識別結果を解析して解析結果を取得することによって、曖昧な意味を解消し、多回の対話を実現することができる。知識マップに基づくヒューマンコンピュータインタラクション方法は、ユーザからのマルチモードの入力記録を取得することと、知識マップによりマルチモードの入力記録を意図モジュールに関連付けることと、関連付けられた意図モジュールが唯一である場合には、その意図モジュールの解析結果を取得し、その解析結果を出力する一方、関連付けられた意図モジュールが唯一でない場合には、それぞれの意図モジュールの解析結果を取得し、複数の解析結果を評価し、最適な解析結果を取得して出力することとを含む。【選択図】図１

Description

本発明は、人工知能の技術分野に関し、特に、知識マップに基づくヒューマンコンピュータインタラクション方法及びシステムに関する。

従来の知識マップに基づくヒューマンコンピュータインタラクション技術では、多回の対話をスムーズに実現できなく、例えば、ユーザが「音声を大きくする」を入力する場合には、ロボットは、再生された音楽の音声を大きくするか、又は、ロボットの音声を大きくするかを識別することができないため、曖昧な意味が発生し、多回の対話を継続できなくなってしまう。

本発明の目的は、従来の知識マップに基づくヒューマンコンピュータインタラクション技術では、ユーザからの指令に曖昧な意味が発生した場合には、多回の対話を継続できなくなる課題を解決した、知識マップに基づくヒューマンコンピュータインタラクション方法及びシステムを提供することにある。

その技術課題を解決するために、本発明は以下の技術的解決手段を採用した。

ユーザからのマルチモードの入力記録を取得して処理することと、
知識マップによりマルチモードの入力記録を意図モジュールに関連付け、マルチモードの入力記録及び関連付けられた意図モジュールを含む関連記録を取得することと、
関連付けられた意図モジュールが唯一である場合には、その意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップにより、マルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてその意図モジュールの解析結果を取得する一方、関連付けられた意図モジュールが唯一でない場合には、それぞれの意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップによりマルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてそれぞれの意図モジュールの解析結果を取得することと、
マルチモードの入力記録の解析結果が唯一である場合には、その解析結果を出力する一方、マルチモードの入力記録の解析結果が唯一でない場合には、複数の解析結果を評価し、最適なな解析結果を取得して出力することと、を含む知識マップに基づくヒューマンコンピュータインタラクション方法。

これに基づき、更に、前記マルチモードの入力記録は、文字や音声、動画、表情、動作、手振り、画像、ビデオである。

前記したいずれかの実施例に基づき、更に、マルチモードの入力記録の解析結果が唯一である場合には、マルチモードの入力記録及びその解析結果により知識マップを更新する一方、マルチモードの入力記録の解析結果が唯一でない場合には、マルチモードの入力記録及びその最適な解析結果により知識マップを更新することを更に含む。

これに基づき、更に、クラウドサーバーに知識マップの更新記録を格納することを更に含む。

前記したいずれかの実施例に基づき、更に、前記意図モジュール及び知識マップがクラウドサーバーに格納されている。

ユーザからのマルチモードの入力記録を取得して処理するための入力モジュールと、
知識マップによりマルチモードの入力記録を意図モジュールに関連付け、マルチモードの入力記録及び関連付けられた意図モジュールを含む関連記録を取得するための意図識別モジュールと、
関連付けられた意図モジュールが唯一である場合には、その意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップにより、マルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてその意図モジュールの解析結果を取得する一方、関連付けられた意図モジュールが唯一でない場合には、それぞれの意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップによりマルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてそれぞれの意図モジュールの解析結果を取得するための解析モジュールと、
マルチモードの入力記録の解析結果が唯一である場合には、その解析結果を出力する一方、マルチモードの入力記録の解析結果が唯一でない場合には、複数の解析結果を評価し、最適な解析結果を取得して出力するための出力モジュールと、を含む知識マップに基づくヒューマンコンピュータインタラクションシステム。

これに基づき、更に、前記マルチモードの入力記録は、文字や音声、動画、表情、動作、手振り、画像、ビデオである。

前記したいずれかの実施例に基づき、更に、前記出力モジュールは、更に、マルチモードの入力記録の解析結果が唯一である場合には、マルチモードの入力記録及びその解析結果により知識マップを更新する一方、マルチモードの入力記録の解析結果が唯一でない場合には、マルチモードの入力記録及びその最適な解析結果により知識マップを更新するためのものである。

これに基づき、更に、クラウドサーバーに知識マップの更新記録を格納するための更新記録モジュールを更に含む。

前記したいずれかの実施例に基づき、更に、前記意図モジュール及び知識マップがクラウドサーバーに格納されている。

本発明によれば、知識マップによりユーザの入力意図を識別し、且つ意図識別結果を解析して解析結果を取得することによって、曖昧な意味を解消し、多回の対話を実現する知識マップに基づくヒューマンコンピュータインタラクション方法及びシステムを提供したという有益な効果がある。

以下、図面及び実施例を参照して本発明をより一層説明する。

図１は本発明の実施例に係る知識マップに基づくヒューマンコンピュータインタラクション方法を示すフローチャートである。

図２は本発明の実施例に係る知識マップに基づくヒューマンコンピュータインタラクションシステムの構成の模式図である。

以下、本発明の目的、技術的解決手段及び長所をより明瞭にさせるために、図面及び実施例を参照して本発明をより一層詳細に説明する。ここで説明した具体的な実施例は、本発明を説明するだけで、本発明を限定するものではないと理解すべきである。

実施例１
図１に示すように、本発明の実施例１に係る知識マップに基づくヒューマンコンピュータインタラクション方法は、
ユーザからのマルチモードの入力記録を取得して処理するステップＳ１０１と、
知識マップによりマルチモードの入力記録を意図モジュールに関連付け、マルチモードの入力記録及び関連付けられた意図モジュールを含む関連記録を取得するステップＳ１０２と、
関連付けられた意図モジュールが唯一である場合には、その意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップにより、マルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてその意図モジュールの解析結果を取得する一方、関連付けられた意図モジュールが唯一でない場合には、それぞれの意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップによりマルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてそれぞれの意図モジュールの解析結果を取得するステップＳ１０３と、
マルチモードの入力記録の解析結果が唯一である場合には、その解析結果を出力する一方、マルチモードの入力記録の解析結果が唯一でない場合には、複数の解析結果を評価し、最適な解析結果を取得して出力するステップＳ１０４と、を含む。

ステップＳ１０１では、出力された情報が多様化（画像や文字、音声、動作、手振り、ビデオ等）であるため、意図識別モジュールに直接利用されることができるように、多種の入力を処理する必要がある。

ステップＳ１０２では、入力情報を対応する意図（シーン、状態、ある技能等として理解できる）に関連付ける。説明すべきのは、入力された情報が複数の意図に関連付けられた可能性があり、例えば、「音量の増加」について、「テレビの音量の増加」という可能性もあり、「機器自体の音量の増加」という可能性もある。なお、入力情報だけで意図を識別できない場合があり、このような場合には、知識マップ（ここでの知識マップは、長期に変化しなく異なるユーザに汎用される静態的な一部と、持続に更新されるか、又は異なるユーザや異なる時間によって変化する動態的な一部とに簡単に分けられている）に合わせて識別してよい。

ステップＳ１０３では、意図が識別された後、マルチモードの入力記録を１つ又は複数の意図モジュールに関連付け、関連付けられた意図モジュールが自己の状態、シーン、定義されたテンプレート、トレイニングのモデル、方法等に基づいてそれぞれ解析する。異なる意図モジュールでは、解析の方式がそれぞれ異なり、入力情報及び知識マップにより解析してよい。

ステップＳ１０４では、意図が識別された後、１つ又は複数の意図モジュールに関連付けられた可能性がある。１つの意図モジュールに関連付けられた場合には、解析結果が唯一であるため、出力モジュールはその意図モジュールの解析結果だけを出力する一方、意図が識別された後に複数の意図モジュールに関連付けられた場合には、複数の解析結果になり、出力モジュールは、複数の解析結果を評価し、１つの最適な解析結果を選択して出力する必要がある。

本発明の実施例における知識マップは、全てのユーザに汎用される知識によって構築される公有知識マップと、ユーザの個人に所有され、異なるユーザ同士に汎用されない私有知識マップとに分けられてよい。

本発明の実施例では、知識マップによりユーザの入力意図を識別し、且つ意図識別結果を解析して解析結果を取得することによって、曖昧な意味を解消し、多回の対話を実現することになる。

本発明の実施例では、ステップＳ１０１におけるマルチモードの入力記録の形式が限定されない。前記マルチモードの入力記録は、文字や音声、動画、表情、動作、手振り、画像、ビデオであることが好ましい。

前記したいずれかの実施例に基づき、本発明の実施例は、マルチモードの入力記録の解析結果が唯一である場合には、マルチモードの入力記録及びその解析結果により知識マップを更新する一方、マルチモードの入力記録の解析結果が唯一でない場合には、マルチモードの入力記録及びその最適な解析結果により知識マップを更新することを更に含むことが好ましい。

本発明の実施例では、出力の同時に、知識マップが更新・学習されるように、知識マップにいくつかのデータを引き写す。

前記実施例に基づき、本発明の実施例は、クラウドサーバーに知識マップの更新記録を格納することを更に含むことが好ましい。このようにすると、ユーザが履歴更新記録を便利に検索できるようになっている。

本発明の実施例では、意図モジュール及び知識マップの格納位置が限定されない。前記したいずれかの実施例に基づき、前記意図モジュール及び知識マップがクラウドサーバーに格納されていることが好ましい。意図モジュール及び知識マップがクラウドサーバーに格納されることによって、ユーザが異なる設備を用いる時の情報共有を実現できるようになっている。

実施例２
図２に示すように、本発明の実施例２に係る知識マップに基づくヒューマンコンピュータインタラクションシステムは、
ユーザからのマルチモードの入力記録を取得して処理するための入力モジュールと、
知識マップによりマルチモードの入力記録を意図モジュールに関連付け、マルチモードの入力記録及び関連付けられた意図モジュールを含む関連記録を取得するための意図識別モジュールと、
関連付けられた意図モジュールが唯一である場合には、その意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップにより、マルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてその意図モジュールの解析結果を取得する一方、関連付けられた意図モジュールが唯一でない場合には、それぞれの意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップによりマルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてそれぞれの意図モジュールの解析結果を取得するための解析モジュールと、
マルチモードの入力記録の解析結果が唯一である場合には、その解析結果を出力する一方、マルチモードの入力記録の解析結果が唯一でない場合には、複数の解析結果を評価し、最適な解析結果を取得して出力するための出力モジュールと、を含む。

「入力」モジュールにおいて、出力された情報が多様化（画像や文字、音声、動作、手振り、ビデオ等）であるため、このモジュールは、意図識別モジュールに直接利用されることができるように、多種の入力を処理するものとして機能する。

意図識別モジュールは、主に、入力情報を対応する意図（シーン、状態、ある技能等として理解できる）に関連付ける役割を奏する。説明すべきのは、入力された情報が複数の意図に関連付けられた可能性があり、例えば、「音量の増加」について、「テレビの音量の増加」という可能性もあり、「機器自体の音量の増加」という可能性もある。なお、入力情報だけで意図を識別できない場合があり、このような場合には、知識マップ（ここでの知識マップは、長期に変化しなく異なるユーザに汎用される静態的な一部と、持続に更新されるか、又は異なるユーザや異なる時間によって変化する動態的な一部とに簡単に分けられている）に合わせて識別してよい。

解析モジュールは多回対話の核心として機能する。意図識別モジュールは、マルチモードの入力記録の意図を識別した後、マルチモードの入力記録を１つ又は複数の意図モジュールに関連付け、関連付けられた意図モジュールが自己の状態、シーン、定義されたテンプレート、トレイニングのモデル、方法等に基づいてそれぞれ解析する。異なる意図モジュールでは、解析の方式がそれぞれ異なるが、入力情報及び知識マップにより解析するのは汎用なやり方である。

出力モジュールにおいて、意図が識別された後、１つ又は複数の意図モジュールに関連付けられた可能性があり、１つの意図モジュールに関連付けられた場合には、解析結果が唯一であるため、出力モジュールはその意図モジュールの解析結果だけを出力する一方、意図が識別された後に複数の意図モジュールに関連付けられた場合には、複数の解析結果になり、出力モジュールは、複数の解析結果を評価し、１つの最適な解析結果を選択して出力する必要がある。

本発明の実施例における知識マップは、全てのユーザに汎用される知識によって構築される公有知識マップと、ユーザの個人に所有され、異なるユーザ同士に汎用されない私有知識マップとに分けられてよい。

本発明の実施例では、知識マップによりユーザの入力意図を識別し、且つ意図識別結果を解析して解析結果を取得することによって、曖昧な意味を解消し、多回の対話を実現することになる。

本発明の実施例では、入力モジュールにおけるマルチモードの入力記録の形式が限定されない。前記マルチモードの入力記録は、文字や音声、動画、表情、動作、手振り、画像、ビデオであることが好ましい。

前記したいずれかの実施例に基づき、本発明の実施例では、前記出力モジュールは、更に、マルチモードの入力記録の解析結果が唯一である場合には、マルチモードの入力記録及びその解析結果により知識マップを更新する一方、マルチモードの入力記録の解析結果が唯一でない場合には、マルチモードの入力記録及びその最適な解析結果により知識マップを更新するためのものであることが好ましい。本発明の実施例では、出力の同時に、知識マップが更新・学習されるように、知識マップにいくつかのデータを引き写す。

前記実施例に基づき、本発明の実施例は、クラウドサーバーに知識マップの更新記録を格納するための更新記録モジュールを更に含むことが好ましい。このようにすると、ユーザが履歴更新記録を便利に検索できるようになっている。

本発明の実施例では、意図モジュール及び知識マップの格納位置が限定されない。前記したいずれかの実施例に基づき、前記意図モジュール及び知識マップがクラウドサーバーに格納されていることが好ましい。意図モジュール及び知識マップがクラウドサーバーに格納されることによって、ユーザが異なる設備を用いる時の情報共有を実現できるようになっている。

本発明についてはある程度に説明されたが、本発明の精神及び範囲から離脱しない限り、各条件を適当に変更できることが明らかになる。本発明は、前記実施の形態に限定されなく特許請求の範囲に含まれ、それぞれの要素の同等の置き換えを含むと理解すべきである。

Claims (10)

1. ユーザからのマルチモードの入力記録を取得して処理することと、
   知識マップによりマルチモードの入力記録を意図モジュールに関連付け、マルチモードの入力記録及び関連付けられた意図モジュールを含む関連記録を取得することと、
   関連付けられた意図モジュールが唯一である場合には、その意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップにより、マルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてその意図モジュールの解析結果を取得する一方、関連付けられた意図モジュールが唯一でない場合には、それぞれの意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップによりマルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてそれぞれの意図モジュールの解析結果を取得することと、
   マルチモードの入力記録の解析結果が唯一である場合には、その解析結果を出力する一方、マルチモードの入力記録の解析結果が唯一でない場合には、複数の解析結果を評価し、最適な解析結果を取得して出力することと、を含むことを特徴とする知識マップに基づくヒューマンコンピュータインタラクション方法。
2. 前記マルチモードの入力記録は、文字や音声、動画、表情、動作、手振り、画像、ビデオであることを特徴とする請求項１に記載の知識マップに基づくヒューマンコンピュータインタラクション方法。
3. マルチモードの入力記録の解析結果が唯一である場合には、マルチモードの入力記録及びその解析結果により知識マップを更新する一方、マルチモードの入力記録の解析結果が唯一でない場合には、マルチモードの入力記録及びその最適な解析結果により知識マップを更新することを更に含むことを特徴とする請求項１又は２に記載の知識マップに基づくヒューマンコンピュータインタラクション方法。
4. クラウドサーバーに知識マップの更新記録を格納することを更に含むことを特徴とする請求項３に記載の知識マップに基づくヒューマンコンピュータインタラクション方法。
5. 前記意図モジュール及び知識マップがクラウドサーバーに格納されていることを特徴とする請求項１又は２に記載の知識マップに基づくヒューマンコンピュータインタラクション方法。
6. ユーザからのマルチモードの入力記録を取得して処理するための入力モジュールと、
   知識マップによりマルチモードの入力記録を意図モジュールに関連付け、マルチモードの入力記録及び関連付けられた意図モジュールを含む関連記録を取得するための意図識別モジュールと、
   関連付けられた意図モジュールが唯一である場合には、その意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップによりマルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてその意図モジュールの解析結果を取得する一方、関連付けられた意図モジュールが唯一でない場合には、それぞれの意図モジュールにおける状態、シーン、テンプレート、モデル及び方法に基づき、入力情報及び知識マップによりマルチモードの入力記録を解析し、マルチモードの入力記録の解析結果としてそれぞれの意図モジュールの解析結果を取得するための解析モジュールと、
   マルチモードの入力記録の解析結果が唯一である場合には、その解析結果を出力する一方、マルチモードの入力記録の解析結果が唯一でない場合には、複数の解析結果を評価し、最適な解析結果を取得して出力するための出力モジュールと、を含むことを特徴とする知識マップに基づくヒューマンコンピュータインタラクションシステム。
7. 前記マルチモードの入力記録は、文字や音声、動画、表情、動作、手振り、画像、ビデオであることを特徴とする請求項６に記載の知識マップに基づくヒューマンコンピュータインタラクションシステム。
8. 前記出力モジュールは、更に、マルチモードの入力記録の解析結果が唯一である場合には、マルチモードの入力記録及びその解析結果により知識マップを更新する一方、マルチモードの入力記録の解析結果が唯一でない場合には、マルチモードの入力記録及びその最適な解析結果により知識マップを更新するためのものであることを特徴とする請求項６又は７に記載の知識マップに基づくヒューマンコンピュータインタラクションシステム。
9. クラウドサーバーに知識マップの更新記録を格納するための更新記録モジュールを更に含むことを特徴とする請求項８に記載の知識マップに基づくヒューマンコンピュータインタラクションシステム。
10. 前記意図モジュール及び知識マップがクラウドサーバーに格納されていることを特徴とする請求項６又は７に記載の知識マップに基づくヒューマンコンピュータインタラクションシステム。
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

Images