JP2019185360A - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP2019185360A
JP2019185360A JP2018075017A JP2018075017A JP2019185360A JP 2019185360 A JP2019185360 A JP 2019185360A JP 2018075017 A JP2018075017 A JP 2018075017A JP 2018075017 A JP2018075017 A JP 2018075017A JP 2019185360 A JP2019185360 A JP 2019185360A
Authority
JP
Japan
Prior art keywords
information
instruction
past
command
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018075017A
Other languages
English (en)
Inventor
乂凡 張
Yifan Zhang
乂凡 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2018075017A priority Critical patent/JP2019185360A/ja
Publication of JP2019185360A publication Critical patent/JP2019185360A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】命令の実行に必要な情報のうちの一部の情報がユーザから提供されない場合でも、命令を実行できるようにする。【解決手段】ユーザによる命令を取得する命令取得手段と、ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得手段と、状況情報取得手段により取得された状況情報である取得状況情報に基づき、命令の実行に必要となる情報のうちの不足している情報を取得する不足情報取得手段と、を備える情報処理装置。【選択図】図1

Description

本発明は、情報処理装置およびプログラムに関する。
特許文献1には、抽出された単位表現が明確となるように抽出された単位表現に関連された使用者に対して明確化質疑を提供する処理が開示されている。
特開2017−58673号公報
ユーザからの命令を受けて処理を実行するにあたり、この命令が不完全な場合も想定され、この場合、命令の実行に必要な情報の一部が不足する。このように、情報の一部が不足すると、命令の実行が困難になる。
本発明の目的は、命令の実行に必要な情報のうちの一部の情報がユーザから提供されない場合でも、命令を実行できるようにすることにある。
請求項1に記載の発明は、ユーザによる命令を取得する命令取得手段と、ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得手段と、前記状況情報取得手段により取得された状況情報である取得状況情報に基づき、命令の実行に必要となる情報のうちの不足している情報を取得する不足情報取得手段と、を備える情報処理装置である。
請求項2に記載の発明は、前記状況情報取得手段は、ユーザが命令を行った際の当該ユーザの周辺の状況についての情報を取得し、前記不足情報取得手段は、前記周辺の状況についての情報に基づき、不足情報を取得する請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記状況情報取得手段は、前記周辺の状況についての情報として、前記ユーザの周辺にある機器についての状況を取得し、前記不足情報取得手段は、前記ユーザの周辺にある機器についての状況に基づき、前記不足情報を取得する請求項2に記載の情報処理装置である。
請求項4に記載の発明は、前記状況情報取得手段は、命令を行った前記ユーザの状況についての情報を取得し、前記不足情報取得手段は、命令を行った前記ユーザの状況についての情報に基づき、不足情報を取得する請求項1に記載の情報処理装置である。
請求項5に記載の発明は、実行済みの命令である実行済み命令と、当該実行済み命令が実行された際の状況情報である過去状況情報とを対応付けて保持する保持手段をさらに備え、前記不足情報取得手段は、前記取得状況情報と前記過去状況情報の各々との類似度に基づき特定された一部の過去状況情報に対応付けられた前記実行済み命令に基づき、前記不足している情報を取得する請求項1に記載の情報処理装置である。
請求項6に記載の発明は、前記不足情報取得手段は、類似度に基づき特定された前記一部の前記過去状況情報に対応付けられた実行済み命令であって、前記ユーザによる前記命令に含まれる情報を含んだ実行済み命令に基づき、前記不足している情報を取得する請求項5に記載の情報処理装置である。
請求項7に記載の発明は、前記不足情報取得手段は、前記取得状況情報との類似度が最も大きい前記過去状況情報に対応付けられた前記実行済み命令に基づき、前記不足している情報を取得する請求項5に記載の情報処理装置である。
請求項8に記載の発明は、前記不足情報取得手段は、前記一部の過去状況情報に対応付けられた前記実行済み命令に含まれる情報と、前記命令取得手段により取得されたユーザの命令であるユーザ命令に含まれる情報とを比較して、前記不足している情報を取得する請求項5に記載の情報処理装置である。
請求項9に記載の発明は、前記取得状況情報と前記過去状況情報の各々との類似度を把握する類似度把握手段を更に備え、前記類似度把握手段は、前記取得状況情報に含まれる個々の情報である取得個別情報の各々と、前記過去状況情報に含まれる個々の情報である過去個別情報の各々との一致、不一致に基づき、当該取得状況情報と当該過去状況情報の各々との類似度を把握する請求項5に記載の情報処理装置である。
請求項10に記載の発明は、前記類似度把握手段は、前記取得個別情報と前記過去個別情報との一致数に応じて加算点の加算回数が増える加算処理を行って、前記過去状況情報毎に、加算結果を取得し、取得した当該加算結果に基づき、当該過去状況情報の各々と前記取得状況情報との類似度を把握する請求項9に記載の情報処理装置である。
請求項11に記載の発明は、前記取得個別情報と前記過去個別情報とが一致する場合に加算される前記加算点を設定する設定手段を更に備える請求項10に記載の情報処理装置である。
請求項12に記載の発明は、前記設定手段は、前記過去状況情報を構成する前記過去個別情報毎に、当該過去個別情報と前記取得個別情報とが一致した場合の前記加算点を設定する請求項11に記載の情報処理装置である。
請求項13に記載の発明は、前記設定手段は、前記実行済み命令が複数回実行されることにより得られた複数回分の前記過去状況情報における、前記過去個別情報の出現頻度に基づき、当該過去個別情報についての前記加算点を設定する請求項12に記載の情報処理装置である。
請求項14に記載の発明は、前記設定手段は、前記出現頻度が大きい前記過去個別情報ほど、前記加算点が大きくなるように、当該過去個別情報についての当該加算点を設定する請求項13に記載の情報処理装置である。
請求項15に記載の発明は、前記保持手段は、前記実行済み命令と前記過去状況情報とを対応付けて保持するとともに、当該実行済み命令と、当該過去状況情報を構成する前記過去個別情報の各々とを対応付けて保持し、前記設定手段は、前記過去個別情報毎に、当該過去個別情報に対応付けられた前記実行済み命令の数である命令数を把握し、把握した当該命令数に基づき、当該過去個別情報についての前記加算点を設定する請求項12に記載の情報処理装置である。
請求項16に記載の発明は、前記設定手段は、把握した前記命令数が小さくなるに応じて前記加算点が大きくなるように、当該加算点を設定する請求項15に記載の情報処理装置である。
請求項17に記載の発明は、前記不足情報取得手段により取得された情報を用い、新たな命令を生成する生成手段を備える請求項1に記載の情報処理装置である。
請求項18に記載の発明は、ユーザによる命令を取得する命令取得手段と、ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得手段と、前記命令取得手段により取得された命令の内容と、前記状況情報取得手段により取得された状況情報である取得状況情報とに基づき、ユーザによる前記命令に基づき行う処理の内容を決定する決定手段と、を備える情報処理装置である。
請求項19に記載の発明は、前記決定手段は、前記命令取得手段により取得された前記ユーザの前記命令の内容を含んだ実行済みの命令に基づき、前記処理の内容を決定する請求項18に記載の情報処理装置である。
請求項20に記載の発明は、実行済みの命令と、当該実行済みの命令が実行された際の状況情報である過去状況情報とを対応付けて保持する保持手段をさらに備え、前記決定手段は、前記ユーザの前記命令の内容を含んだ実行済みの命令であって、前記取得状況情報と前記過去状況情報の各々との類似度に基づき特定された一部の過去状況情報に対応付けられた実行済みの命令に基づき、前記処理の内容を決定する請求項19に記載の情報処理装置である。
請求項21に記載の発明は、ユーザによる命令を取得する命令取得機能と、ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得機能と、前記状況情報取得機能により取得された状況情報である取得状況情報に基づき、命令の実行に必要となる情報のうちの不足している情報を取得する不足情報取得機能と、をコンピュータに実現させるためのプログラムである。
請求項22に記載の発明は、ユーザによる命令を取得する命令取得機能と、ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得機能と、前記命令取得機能により取得された命令の内容と、前記状況情報取得機能により取得された状況情報である取得状況情報とに基づき、ユーザによる前記命令に基づき行う処理の内容を決定する決定機能と、をコンピュータに実現させるためのプログラムである。
請求項1の発明によれば、命令の実行に必要な情報のうちの一部の情報がユーザから提供されない場合でも、命令を実行できるようにすることが可能となる。
請求項2の発明によれば、ユーザの周辺の状況についての情報を利用して、命令の実行に必要となる情報のうちの不足している情報を取得することが可能になる。
請求項3の発明によれば、ユーザの周辺にある機器についての状況に基づき、命令の実行に必要となる情報のうちの不足している情報を得ることが可能になる。
請求項4の発明によれば、命令を行ったユーザの状況についての情報に基づき、命令の実行に必要となる情報のうちの不足している情報を取得することが可能になる。
請求項5の発明によれば、実行済み命令と実行済み命令が実行された際の状況情報である過去状況情報とを利用して、命令の実行に必要となる情報のうちの不足している情報を取得することが可能になる。
請求項6の発明によれば、ユーザの命令に含まれる情報を含まない実行済み命令に基づき、不足している情報を取得する場合に比べ、ユーザが意図する命令が実行される可能性を高めることができる。
請求項7の発明によれば、取得状況情報との類似度が小さい過去状況情報に対応付けられた実行済み命令に基づき、不足している情報を取得する場合に比べ、ユーザが意図する命令が実行される可能性を高めることができる。
請求項8の発明によれば、ユーザの命令の実行にあたって必要となる情報を、実行済み命令から得ることができる。
請求項9の発明によれば、取得状況情報に含まれる取得個別情報および過去状況情報に含まれる過去個別情報を用いて、取得状況情報と過去状況情報の各々との類似度を把握することができる。
請求項10の発明によれば、過去状況情報毎の加算結果を用い、過去状況情報の各々と取得状況情報との類似度を把握することができるようになる。
請求項11の発明によれば、取得個別情報と過去個別情報とが一致する場合に加算される加算点を、変更することが可能になる。
請求項12の発明によれば、取得個別情報と過去個別情報とが一致する場合に加算される加算点を、過去個別情報毎に設定することができる。
請求項13の発明によれば、過去個別情報の出現頻度に応じて、この過去個別情報についての加算点を変更できるようになる。
請求項14の発明によれば、出現頻度が大きい過去個別情報ほど、加算点をより大きなものにできる。
請求項15の発明によれば、過去個別情報に対応付けられた実行済み命令の数である命令数に応じて、過去個別情報についての加算点を変更することができるようになる。
請求項16の発明によれば、対応する実行済み命令の数が少ない過去個別情報ほど、加算点をより大きなものにすることができる。
請求項17の発明によれば、ユーザの当初の命令とは異なる、情報が追加された新たな命令を生成することができる。
請求項18の発明によれば、命令の実行に必要な情報のうちの一部の情報がユーザから提供されない場合でも、命令を実行できるようにすることが可能となる。
請求項19の発明によれば、ユーザの命令の内容を含まない実行済みの命令に基づき、処理の内容を決定する場合に比べ、ユーザが意図した命令が実行される可能性を高めることができる。
請求項20の発明によれば、取得状況情報との類似度に基づかずに特定された過去状況情報に対応付けられた実行済みの命令に基づき、処理の内容を決定する場合に比べ、ユーザが意図した命令が実行される可能性を高めることができる。
請求項21の発明によれば、命令の実行に必要な情報のうちの一部の情報がユーザから提供されない場合でも、命令を実行できるようにすることが可能となる。
請求項22の発明によれば、命令の実行に必要な情報のうちの一部の情報がユーザから提供されない場合でも、命令を実行できるようにすることが可能となる。
情報処理システムの全体構成を示した図である。 情報処理装置のハードウエアの構成を示した図である。 命令取得部による処理を説明する図である。 情報処理システムにて実行される処理の一例を示した図である。 ステップ107にて実行される処理の詳細を示した図である。 処理の具体例を示した図である。 処理の他の具体例を示した図である。 比較例を示した図である。 過去個別情報の各々への重み付けを行う際の処理の具体例を示した図である。 過去個別情報の各々への重み付けを行う際の処理の具体例を示した図である。
以下、添付図面を参照して、本発明の実施の形態について説明する。
図1は、情報処理システム1の全体構成を示した図である。
情報処理システム1には、音声を取得する音声取得部100、音声取得部100により得られた情報を処理する情報処理装置200、情報処理装置200による処理結果を音声で出力する音声出力部300が設けられている。さらに、情報処理システム1には、取得装置400が設けられている。
ここで、音声取得部100、音声出力部300、取得装置400は、同一の会議室内など、一つの居室内に設置されている。
情報処理装置200については、音声取得部100、音声出力部300、取得装置400が設置されている居室と同じ居室に設置してもよいし、この居室とは別の箇所に設置してもよい。
音声取得部100は、マイクロフォンなどにより構成され、居室内のユーザの音声を取得する。
情報処理装置200は、音声取得部100および取得装置400からの情報を取得し、この情報に対する処理を行う。さらに、情報処理装置200は、処理結果を、音声出力部300を通じてユーザへ出力する。
具体的には、情報処理装置200は、ユーザが音声取得部100に対して行った命令を、この音声取得部100から取得する。また、情報処理装置200は、取得装置400からの情報を取得する。
そして、情報処理装置200は、取得した命令の実行に必要となる情報が不足している場合、取得装置400から取得した情報に基づき、不足している情報を得る。
そして、情報処理装置200は、不足している情報を得た後、取得した命令に対してこの情報を追加し(情報の補完を行い)、新たな命令(情報の不足がない命令)(以下、「補完後命令」と称する)を生成する。
そして、情報処理装置200は、この補完後命令を、音声出力部300を通じて、ユーザに通知する。そして、情報処理装置200は、ユーザから、この補完後命令を実行してよいことを示す回答があった場合、この補完後命令を実行する。
音声出力部300は、スピーカーなどの公知の技術により構成され、情報処理装置200が生成した補完後命令を出力するなど、ユーザに対する情報の出力を行う。
なお、本実施形態では、ユーザによる命令が、音声が用いられて行われる場合を一例に説明するが、ユーザによる命令は、タッチパネルディスプレイ、マウス、キーボードなど、ユーザが操作する操作機器を介して行われるようにしてもよい。
ユーザへの情報の出力についても、音声に限らず、ディスプレイなどの表示装置を介して行ってもよい。
取得装置400は、居室内についての情報を取得する。
より具体的には、取得装置400は、例えば、カメラなどにより構成され、居室内の状況を撮像して、撮像結果を、情報処理装置200に出力する。
そして、本実施形態では、情報処理装置200が、この撮像結果を解析し、状況情報として、例えば、居室内のユーザの状況を取得する。
より具体的には、情報処理装置200は、命令を行ったユーザの状況についての情報を取得する。より具体的には、情報処理装置200は、例えば、命令を行ったユーザの視線の先についての情報(ユーザが見ている対象についての情報)を取得する。
また、情報処理装置200は、上記撮像結果を解析し、状況情報として、例えば、居室内のユーザの各々を特定するための情報を得る。より具体的には、情報処理装置200は、公知の顔認証処理などを行い、居室内にいるユーザの名前など、居室内のユーザの各々を特定するための情報を得る。
これにより、本実施形態では、例えば、居室内にて行われる会議の出席者の各々を特定するための情報が得られる。
なお、本実施形態では、顔認証により、ユーザの各々を特定するための情報を得たが、他の方法により、ユーザの各々を特定するための情報を得てもよい。
例えば、ユーザの各々が有するIDカードを読み取る装置を、居室の入り口等に設置し、情報処理装置200は、この装置からの出力に基づき、居室内のユーザの各々を特定するための情報を得てもよい。
さらに、本実施形態では、情報処理装置200は、居室内に設置されたカメラからの出力を解析し、状況情報として、例えば、居室内にいるユーザの所有物(持参物)についての情報を得る。
さらに、情報処理装置200は、居室内に設置されている機器からの情報を取得する。
具体的には、情報処理装置200は、例えば、居室内に設置されている機器に接続され、これらの機器から、各機器の状況を示す情報を得る。付言すると、情報処理装置200は、命令を行ったユーザの周辺にある機器についての情報を取得する。
より具体的には、本実施形態における居室内には、「Display」、「前列ライト」、「後列ライト」などが設置され、情報処理装置200は、これらの機器からの情報を取得する。
これにより、本実施形態では、情報処理装置200が、状況情報として、居室内に設置されている各機器の状況を示す情報を得る。
即ち、本実施形態の情報処理装置200は、ユーザが命令を行った際のこのユーザの周辺の状況についての情報を取得する。
そして、本実施形態では、後述するように、この周辺の状況についての情報に基づき、命令の実行にあたり不足している情報である不足情報を取得する。
図2は、情報処理装置200のハードウエアの構成を示した図である。
情報処理装置200は、コンピュータ装置により構成され、情報処理装置200には、CPU(Central Processing Unit)301、RAM(Random Access Memory)302、ROM(Read Only Memory)303が設けられている。また、ハードディスク装置などにより構成される記憶装置304が設けられている。さらに、情報処理装置200には、外部との通信を行うための通信インタフェース(通信I/F)305が設けられている。
CPU301によって実行されるプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、情報処理装置200へ提供しうる。
また、CPU301によって実行されるプログラムは、インターネットなどの通信手段を用いて情報処理装置200へダウンロードしてもよい。
図1を参照し、情報処理装置200が有する各機能部を説明する。
なお、情報処理装置200が有する機能部の一部は、情報処理装置200のCPU301が、ROM303や記憶装置304に格納されているプログラムを実行することで実現される。また、データベースなど、情報処理装置200が有する他の機能部は、記憶装置304等により実現される。
図1に示すように、情報処理装置200は、音声認識部201、テキスト解析部202、命令取得部203、状況情報取得部204、不足情報取得部205、質問生成部206、音声合成部207、設定部211を備える。
さらに、情報処理装置200は、処理実行部208、命令要素データベース209、命令データベース210を備える。
音声認識部201は、音声取得部100からの情報を得て、ユーザの音声を取得する。
また、音声認識部201は、取得した音声をテキスト化し、音声に含まれる発話内容を表すテキストを生成する。このテキストの生成は、公知に技術を用いて行われる。
テキスト解析部202は、音声認識部201により生成されたテキストを解析し、このテキストから、このテキストを構成する単語の各々を抽出する。なお、この抽出には、形態素解析、構文解析など公知の手法が用いられる。
命令取得手段の一例としての命令取得部203は、テキスト解析部202により抽出された単語と、命令要素データベース209に格納されている情報とに基づき、ユーザにより行われた命令(命令の候補)を取得する。
より具体的には、命令取得部203は、まず、テキストに含まれている単語と、命令要素データベース209に登録されている単語とのマッチング処理を行い、ユーザが行った命令に含まれる単語であって、命令要素データベース209に登録されている単語を抽出する。
そして、命令取得部203は、抽出したこの単語に基づき、ユーザが行った命令(命令の候補)を取得する。
より具体的には、命令要素データベース209には、居室内にて実行可能な複数の命令の各々と、各命令に必要な命令要素(命令要素を表す単語)とが対応付けて登録されている。
命令取得部203は、命令要素データベース209に登録されている複数の命令の中から、上記マッチング処理により抽出した上記単語を含む命令を抽出して、抽出したこの命令を、命令の候補として取得する。
状況情報取得手段の一例としての状況情報取得部204は、ユーザが上記の命令を行った際の居室についての状況である状況情報を取得する。
付言すると、状況情報取得部204は、取得装置400および居室内に設置されている機器(「Display」、「前列ライト」、「後列ライト」などの機器)からの情報に基づき、ユーザが上記の命令を行った際の、このユーザの周囲の状況を示す状況情報を取得する。
具体的には、状況情報取得部204は、状況情報として、居室内に設置されている機器の状況についての情報、命令を行ったユーザの状況についての情報、居室内にいるユーザの各々を特定するための情報、居室内にいるユーザの各々の持ち物(持参物)などの情報を取得する。
不足情報取得手段の一例としての不足情報取得部205は、状況情報取得部204により取得された状況情報に基づき、ユーザが行った命令(音声取得部100を介して取得した命令)(以下、「ユーザ命令」と称する)の実行に必要な情報のうちの、不足している情報を取得する。
ここで、ユーザ命令を実行するにあたり、このユーザ命令が不完全な場合も想定される。この場合、ユーザ命令の実行に必要な情報の一部が不足し、ユーザ命令の実行が困難になる。
この場合、本実施形態では、不足情報取得部205が、ユーザ命令の実行に必要となる情報のうちの不足している情報(不足している命令要素)を取得し、情報の補完を行う。これにより、ユーザ命令が、実行可能なものとなる。
言い換えると、本実施形態では、ユーザ命令に含まれる命令要素が不足している場合、不足している命令要素を補完して、最終的な処理の内容を決定する。
付言すると、本実施形態では、ユーザ命令に含まれる命令要素が不足している場合、ユーザ命令の内容のみで、最終的な処理の内容を決定しない。
本実施形態では、ユーザ命令の内容と、状況情報取得部204により取得された状況情報とに基づき、ユーザ命令に基づき行う最終的な処理の内容を決定する(詳細は後述)。
言い換えると、本実施形態では、決定手段の一例としての不足情報取得部205が、取得されたユーザ命令の内容と、状況情報取得部204により取得された状況情報とに基づき、ユーザ命令に基づき行う処理の内容を決定する。
質問生成部206は、ユーザ命令に当初から含まれていた命令要素と、不足情報取得部205により補完された命令要素とを用いて、新たな命令(補完後命令)を生成する。
より具体的には、質問生成部206は、ユーザ命令に当初から含まれている命令要素、不足情報取得部205により補完された命令要素に、助詞などを加え、補完後命令を生成する。
音声合成部207は、質問生成部206が生成した補完後命令を、音声化する。なお、この音声化は、公知の技術を用いて行えばよい。
そして、本実施形態では、音声化された補完後命令が、音声出力部300から出力される。これにより、ユーザに対して、この補完後命令が通知される。
そして、例えば、この補完後命令を実行してもよいことを示すユーザからの回答が、例えば音声取得部100に対してあった場合、処理実行部208が、この補完後命令に対応した処理を実行する。
設定部211は、現在個別情報(後述)と過去個別情報(後述)とが一致する場合に加算される加算点を設定する。
図3は、命令取得部203による処理を説明する図である。
本実施形態では、上記のとおり、命令取得部203が、テキスト解析部202が抽出した単語(ユーザ命令から抽出した単語)と、命令要素データベース209に登録されている単語(命令要素)とのマッチング処理を行い、ユーザ命令に含まれている命令要素を抽出する。
より具体的には、本実施形態では、図3に示すように、居室内にて実行可能な複数の命令(居室内の機器を用いて実行可能な複数の命令)(図中、「命令1」〜「命令7」で示す各命令)と、各々の命令の実行に必要な命令要素とが、対応付けられた状態で、命令要素データベース209に予め登録されている。
本実施形態では、ユーザ命令があった場合、図3にて示すこの命令要素データベース209が参照されて、ユーザ命令に含まれる命令要素を含む命令(命令の候補)が、この命令要素データベース209から抽出される。
例えば、ユーザ命令が、「Displayの明るさを調整して」であった場合、本実施形態では、このユーザ命令に、「Display」、「明るさ」という命令要素が含まれているため、命令要素データベース209からは、この2つの命令要素を含む「命令5」〜「命令7」が抽出される。
図3についてさらに説明すると、「命令1」は、「Display」を「起動」する命令を示しており、本実施形態の命令要素データベース209には、「Display」、「起動」という二つの命令要素と、「命令1」とが、対応付けられて登録されている。
また、「命令2」は、「Display」を「切る」命令を示しており、命令要素データベース209には、「Display」、「切る」という2つの命令要素と、「命令2」とが、対応付けられて登録されている。
また、「命令3」は、「Display」への入力を「HDMI(登録商標)」に「切り替え」る命令を示しており、命令要素データベース209には、「Display」、「切り替え」、「HDMI」という3つの命令要素と、「命令3」とが、対応付けられて登録されている。
また、「命令4」は、「Display」への入力を「AppleTV(登録商標)」に「切り替え」る命令を示しており、命令要素データベース209には、「Display」、「切り替え」、「AppleTV」という3つの命令要素と、「命令4」とが、対応付けられて登録されている。
また、「命令5」は、「Display」の明るさを、「Default」にする命令を示しており、命令要素データベース209には、「Display」、「明るさ」、「Default」という3つの命令要素と、「命令5」とが、対応付けられて登録されている。
また、「命令6」は、「Display」の明るさを、「20%」にする命令を示しており、命令要素データベース209には、「Display」、「明るさ」、「20%」という3つの命令要素と、「命令6」とが、対応付けられて登録されている。
また、「命令7」は、「Display」の明るさを、「40%」にする命令を示しており、命令要素データベース209には、「Display」、「明るさ」、「40%」という3つの命令要素と、「命令7」とが、対応付けられて登録されている。
図4は、情報処理システム1にて実行される処理の一例を示した図である。
本実施形態の情報処理システム1では、音声によるユーザ命令があった場合、音声取得部100が、この音声を取得する。
次いで、音声認識部201が、このユーザ命令をテキスト化し、ユーザ命令のテキストを生成する(ステップ101)。
次いで、テキスト解析部202が、このテキストを解析し、このテキストに含まれる単語を抽出する(ステップ102)。
その後、命令取得部203が、命令要素データベース209を参照し、テキストに含まれる単語に対応する命令要素を含んだ命令を抽出する。
より具体的には、命令取得部203は、テキストに含まれる単語と、命令要素データベース209に登録されている命令要素との照合処理を行い、命令要素データベース209から、単語に対応する命令要素を抽出する。
そして、命令取得部203は、命令要素データベース209から、抽出したこの命令要素を含む命令(命令の候補)(以下、「候補命令」と称する)を抽出する(ステップ103)。
そして、本実施形態では、不足情報取得部205が、ユーザ命令に含まれる命令要素が全て揃っているか否かを判断し(明確な命令であるか否かを判断し)(ステップ104)、全て揃っている場合には、処理実行部208が、ユーザ命令をそのまま実行する(ステップ105)。
より具体的には、ステップ104では、不足情報取得部205は、ユーザ命令に含まれる命令要素と、ステップ103にて抽出した候補命令に含まれる命令要素とを比較し、ユーザ命令に含まれる命令要素が全て揃っているか否かを判断する。
そして、揃っている場合には、ステップ105にて、ユーザ命令がそのまま実行される。
そして、本実施形態では、命令が実行されると、処理実行部208が、実行したこの命令(以下、「実行済み命令」と称する)と、この実行済み命令が実行された際における状況情報(以下、「過去状況情報」と称する)とを、命令データベース210に格納(登録)する(ステップ106)。
付言すると、本実施形態では、命令データベース210が保持手段として機能し、命令が実行されると、命令データベース210が、実行済みの命令である実行済み命令と、実行済み命令が実行された際の状況情報である過去状況情報とを対応付けて保持する。
具体的には、本実施形態では、ステップ105にて、処理実行部208が、ユーザ命令を実行すると、処理実行部208は、このユーザ命令(実行済み命令)が実行された際における状況情報(過去状況情報)を、状況情報取得部204(図1参照)から取得し、実行済み命令および取得した過去状況情報を、命令データベース210に格納する。
より具体的には、処理実行部208は、実行済み命令と、この実行済み命令が実行された際における過去状況情報とを互いに対応付けた状態で、命令データベース210に登録する。
本実施形態では、命令が実際に実行される度に、この登録処理が行われ、これにより、実行済み命令と、この実行済み命令が実行された際における過去状況情報とが、命令データベース210に蓄積される。
一方、ステップ104にて、ユーザ命令の命令要素が全て揃っていないと判断された場合は、上記の補完後命令を生成して(情報の補完を行って新たな命令を生成して)、この補完後命令を、ユーザに提示する(ステップ107)。
具体的には、本実施形態では、ステップ104にて、ユーザ命令の命令要素が全て揃っていないと判断された場合、不足情報取得部205が、不足している命令要素を補完し、補完後命令を生成する。そして、音声出力部300(図1参照)が、生成されたこの補完後命令をユーザに提示する。その後、ユーザからの回答を待つ。
図5は、ステップ107にて実行される処理の詳細を示した図である。
ステップ104(図4参照)にて、命令要素が全て揃っていないと判断された場合、不足情報取得部205が、まず、現在の状況情報(取得状況情報の一例)を取得する(ステップ201)。
具体的には、不足情報取得部205は、状況情報取得部204からの情報を得ることで、ユーザ命令がなされたときにおける、居室内の機器の状況、命令を行ったユーザの状況、ユーザの各々を特定するための情報、ユーザの持参物などの情報を取得する。
次いで、不足情報取得部205は、上記ステップ103にて抽出された候補命令の各々についての情報を取得する(ステップ202)。
次いで、不足情報取得部205は、命令データベース210を参照し、格納されている実行済み命令の中から、候補命令の各々に対応する実行済み命令を特定する。言い換えると、不足情報取得部205は、格納されている実行済み命令の中から、候補命令の各々が有する命令要素と同じ命令要素を有する実行済み命令を特定する。
次いで、不足情報取得部205は、特定した実行済み命令の各々に対応した過去状況情報を、命令データベース210から取得する(ステップ203)。
具体的には、不足情報取得部205は、命令データベース210を参照し、特定した実行済み命令毎に、実行済み命令が過去に実際に実行されたときの状況情報(過去状況情報)を取得する。
次いで、不足情報取得部205は、ステップ203にて取得した過去状況情報の各々と、ステップ201にて取得された現在の状況情報(取得状況情報の一例)(ユーザ命令がなされた際の直近の状況情報)(以下、「現在状況情報」と称する)との類似度を算出する(ステップ204)。
そして、不足情報取得部205は、過去状況情報の中から、現在状況情報に最も類似している過去状況情報を特定する。次いで、不足情報取得部205は、特定したこの過去状況情報に対応付けられている実行済み命令(命令データベース210に登録されている実行済み命令)を特定する(ステップ205)。
言い換えると、本実施形態では、現在状況情報と過去状況情報の各々との類似度に基づき、過去状況情報の中から、一部の過去状況情報を特定する。そして、この一部の過去状況情報に対応付けられている実行済み命令を特定する。
そして、不足情報取得部205は、特定したこの実行済み命令に含まれている命令要素の中から、ユーザ命令には含まれていない命令要素を抽出し、抽出した命令要素を、ユーザ命令に追加する。
これにより、本実施形態では、命令要素の補完が行われ、ユーザ命令を構成する命令要素が揃うようになる。
言い換えると、本実施形態では、上記の一部の過去状況情報に対応付けられた実行済み命令に基づき、不足している情報を取得する。そして、本実施形態では、この不足している情報の補完が行われ、ユーザ命令を構成する命令要素が揃うようになる。
付言すると、本実施形態では、一部の過去状況情報に対応付けられた実行済み命令に含まれる情報と、ユーザ命令に含まれる情報とを比較して、不足している情報を取得する。
そして、本実施形態では、生成手段の一例としての質問生成部206が、取得したこの情報を、ユーザ命令に追加する。これにより、本実施形態では、命令要素の補完が行われ、ユーザ命令を構成する命令要素が揃うようになる。
付言すると、本実施形態では、質問生成部206が、不足情報取得部205により取得された情報を用い、新たな命令を生成する。
その後、本実施形態では、命令要素の補完を行った後のユーザ命令(命令要素の補完を行った後の新たな命令)を、音声出力部300を介してユーザに通知する(ステップ206)。
そして、このユーザからの回答を待つ。そして、命令を実行してもよいことを示す回答がユーザからあった場合、処理実行部208が、命令要素が補完された後のユーザ命令を実行する。
なお、本実施形態では、このように、ユーザ命令に不足している命令要素を抽出したうで、抽出したこの命令要素をユーザ命令に追加し、新たなユーザ命令としたが、不足している命令要素の抽出を行わずに、新たなユーザ命令を生成してもよい。
具体的には、上記の実行済み命令そのものを、新たなユーザ命令としてもよい。
付言すると、本実施形態では、上記のとおり、現在状況情報に最も類似している過去状況情報に対応付けられている実行済み命令を特定し、特定したこの実行済み命令を用いて命令要素の補完を行うが、この補完を行わずに、この特定した実行済み命令そのものを、新たなユーザ命令としてもよい。
言い換えると、本実施形態では、現在状況情報との類似度が最も大きい過去状況情報に対応付けられた実行済み命令に基づき、不足している情報を取得し、この情報を補完するが、この補完を行わずに、この実行済み命令そのものを、新たなユーザ命令としてもよい。
この場合も、実質的には、ユーザ命令に対する命令要素の補完が行われた形となり、ユーザ命令が完全なものとなり、命令の実行が可能になる。
なお、ステップ206の処理の後に行われる、ユーザからの回答が、補完後命令の実行を認めないことを示す内容の回答であった場合は、例えば、次に類似度が高い過去状況情報に対応した実行済み命令に基づき、新たなユーザ命令を生成し、この新たなユーザ命令を、ユーザに通知するようにしてもよい。
図6は、処理の具体例を示した図である。
この処理例では、符号6Aで示すように、ユーザによって、最初に、「ライトの明るさを調整して」というユーザ命令がなされた場合を例示している。
この場合、まず、上記のとおり、テキスト解析部202が、このユーザ命令に含まれている単語を抽出する。この処理例では、「ライト」、「明るさ」などの単語が抽出される。
次いで、命令取得部203が、命令要素データベース209を参照し、抽出した上記単語が含まれる候補命令を抽出する。この処理例では、「ライト」、「明るさ」という2つの単語を含んだ、「命令1」〜「命令3」の3つの候補命令が抽出される(符号6B参照)。
次いで、この処理例では、ユーザ命令の実行に必要な命令要素が不足しているため、不足情報取得部205が、命令データベース210を参照し、この3つの候補命令の各々が、実際に過去に実行された際の過去状況情報を取得する。
次いで、不足情報取得部205が、取得した複数のこの過去状況情報の各々と、現在状況情報とを比較し、この過去状況情報の中から、現在状況情報に最も類似している過去状況情報を特定する。
より具体的には、本実施形態では、まず、類似度把握手段としても機能する不足情報取得部205が、現在状況情報と過去状況情報の各々との類似度を把握(算出)する。次いで、不足情報取得部205は、この類似度に基づき、現在状況情報に最も類似している過去状況情報を特定する。
類似度の算出にあたっては、本実施形態では、現在状況情報に含まれる状況要素の各々と、過去状況情報に含まれる状況要素の各々とを比較し、内容が一致する状況要素については点数を加算し、内容が異なっている状況要素については、点数を加算しない。
そして、最終的に、過去状況情報毎に加算結果を得て、この加算結果が最も大きい過去状況情報を、現在状況情報に最も類似している過去状況情報とする。
言い換えると、本実施形態の不足情報取得部205は、現在状況情報に含まれる個々の情報である現在個別情報(取得個別情報の一例)の各々と、過去状況情報に含まれる個々の情報である過去個別情報の各々との一致、不一致に基づき、現在状況情報と過去状況情報の各々との類似度を把握する。
より具体的には、不足情報取得部205は、現在個別情報と過去個別情報との一致数に応じて加算点の加算回数が増える加算処理を行って、過去状況情報毎に、加算結果を取得する。
そして、不足情報取得部205は、取得したこの加算結果に基づき、現在状況情報と過去状況情報の各々との類似度を把握する。
ここで、図6にて示す処理例では、図中、種類1で示す過去状況情報と、現在状況情報(不図示)との類似度が高いと判定された場合を例示している。
この場合、この処理例では、命令データベース210から、この種類1で示す過去状況情報に対応付けられた実行済み命令を取得する。具体的には、この例では、「前列、ライト、明るさ、20%」という命令要素を含んだ実行済み命令1を取得する。
そして、本実施形態では、不足情報取得部205が、取得したこの実行済み命令1に含まれる命令要素「前列、ライト、明るさ、20%」と、ユーザ命令に含まれる命令要素「ライト、明るさ」と比較し、不足した命令要素である、「前列」、「20%」を取得する。
そして、質問生成部206が、この取得したこの命令要素を、ユーザ命令に追加し、命令要素の補完を行う。これにより、「前列、ライト、明るさ、20%」の4つの要素を含んだ、新たなユーザ命令が生成される。
その後、本実施形態では、新たなこのユーザ命令が、音声出力部300を介してユーザへ出力される。具体的には、図6の符号6Cで示すように、「これから前列のライトの明るさを20%に調整します。よろしいでしょうか?」という問い合わせが、ユーザに対して行われる。
そして、この例では、「はい」という肯定する回答がユーザからあった場合を例示しており、この場合、処理実行部208が、前列のライトの明るさを20%に調整する処理を行う。
図7は、処理の他の具体例を示した図である。
この処理例では、まず、符号7Aで示すように、「Displayを切ってください」とのユーザ命令が、ユーザによりなされている。
また、この処理例では、現在状況情報として、中央のDisplayが起動され、さらに、ユーザがこの中央のDisplayを見ている、という情報が得られている。
この処理例では、ユーザ命令に、「Display」、「切る」という2つの命令要素が入っており、上記と同様、命令要素データベース209から、この2つの命令要素を含む候補命令が抽出される。この処理例では、符号7Bで示すように、「命令1」〜「命令3」の3つの候補命令が抽出される。
その後、上記と同様、この3つの候補命令の各々が実際に過去に実行されたときの過去状況情報(実行済み命令の各々に対応付けられている過去状況情報))(命令データベース210に格納されている過去状況情報)と、現在状況情報とを比較し、最も類似度が大きい過去状況情報を抽出する。
そして、上記と同様、最も類似度が大きい過去状況情報に対応付けられている実行済み命令を特定する。
そして、特定したこの実行済み命令に含まれる命令要素と、ユーザ命令に含まれる命令要素とを比較して、不足している命令要素を抽出する。そして、抽出したこの命令要素を、ユーザ命令に追加する。これにより、命令要素の不足の無い新たなユーザ命令が生成される。
そして、上記と同様、この新たなユーザ命令をユーザに提示し、そして、この新たなユーザ命令を実行してもよいとの回答がユーザからあった場合、処理実行部208が、この新たなユーザ命令を実行する。
本処理例では、符号7Cで示すように、「中央のDisplayを切ります。よろしいでしょうか?」という、新たなユーザ命令がユーザに提示される場合を例示しており、肯定の返事がユーザからあると、処理実行部208が、中央のDisplayを切る処理を行う。
なお、本実施形態では、このように、命令要素を補完した後のユーザ命令を提示した後に、このユーザ命令を実行する場合を一例に説明したが、この提示は、必ずしも必須ではなく、この提示を行わずに、ユーザ命令を実行してもよい。
また、上記では、現在状況情報、過去状況情報、および、過去に実際に実行された実行済み命令に基づき、新たなユーザ命令を生成したが(不足している命令要素の補完を行ったが)、これに限らず、現在状況情報のみに基づいて、新たなユーザ命令を生成してもよい(命令要素の補完を行ってもよい)。
具体的には、例えば、図7にて示した例では、ユーザの視線の先が、中央のDisplayにあり、この場合、ユーザは、中央のDisplayを切りたがっていることが想定される。
この場合、現在状況情報のみに基づいて、新たなユーザ命令(例えば、「中央のDisplayを切る」という新たなユーザ命令)を生成しても、ユーザの意図した命令が実行されるようになる。
このため、過去状況情報、および、この過去状況情報に対応付けられた実行済み命令は、必須ではなく、現在状況情報のみに基づいて、新たなユーザ命令を生成してもよい。
また、上記では、ユーザ命令に含まれる命令要素に基づき、この命令要素を含む候補命令を命令要素データベース209から抽出し、次いで、抽出したこの候補命令が実際に過去に実行された際の過去状況情報と、現在状況情報とを比較した。
すなわち、上記では、命令データベース210に登録されている複数の過去状況情報の中から、過去状況情報の絞り込みを行い、絞り込み後の過去状況情報と、現在状況情報とを比較した。
言い換えると、上記では、類似度に基づき特定された一部の過去状況情報に対応付けられた実行済み命令であって、ユーザ命令に含まれる情報(命令要素)を含んだ実行済み命令に基づき、不足している情報を取得した。
付言すると、一部の過去状況情報に対応付けられ且つユーザ命令に含まれる情報を含んだ実行済み命令と、ユーザ命令とを比較して、不足している情報(命令要素)を取得した。
ここで、この絞り込みを行わず、命令データベース210に登録されている全ての過去状況情報の各々と、現在状況情報とを比較する処理も考えられるが、この場合は、ユーザ命令に含まれる命令要素(情報)を全く含まない、新たなユーザ命令が生成されるおそれがある。
本実施形態のように、現在状況情報との比較の対象とする過去状況情報を、ユーザ命令に含まれる命令要素を含んだ候補命令(実行済み命令)に対応付けられた過去状況情報に絞り込むことで、このような事態(元のユーザ命令に含まれる命令要素を全く含まない新たなユーザ命令が生成される事態)は避けられる。
図8は、比較例を示した図である。
この比較例でも、まず、上記と同様、符号8Aで示すように、「Displayを切ってください」とのユーザ命令がユーザによりなされている。
そして、この場合、切る対象のDisplayが不明であり、この比較例では、符号8Bで示すように、「左側、中央、右側のDisplayがあります。どちらを切りますか?」との問い合わせが行われる。
そして、この比較例では、符号8Cで示すように、「中央」という回答がなされ、次いで、符号8Dで示すように、「中央のDisplayを切ります。よろしいでしょうか?」との問い合わせが行われる。
そして、符号8Eで示すように、肯定する回答がユーザからあると、中央のDisplayが切られる。
この比較例では、切る対象となるDisplayを選択させるための質問がユーザに対してなされる形となり、ユーザへの質問数、ユーザによる回答数が増える。
これに対し、本実施形態では、Displayの選択のための質問、および、この質問に対する回答が省略される形となり、ユーザは、より少ない手順で、自身の希望する処理を行える。
なお、本実施形態では、上記のように、過去状況情報の各々と現在状況情報との類似度の判断では、個別情報同士(状況要素同士)を比較する。より具体的には、過去状況情報に含まれる過去個別情報と、現在状況情報に含まれる現在個別情報とを比較する。
そして、内容が一致する個別情報がある場合には点数を加算し、最終的に、加算結果が最も大きい過去状況情報を、現在状況情報に最も類似している過去状況情報とする。
ところで、このように、加算結果に基づき類似度を判断する場合、特定の命令への関連度が高い一部の個別情報については、加算点を大きくし、この一部の個別情報については、その重みを大きくすることが好ましい。
加算点が一定であると、加算後の点数に差がつきにくく、何れの過去状況情報が、現在状況情報に最も類似しているかの判別が難しくなるおそれがある。
上記のように、一部の個別情報について加算点を大きくすると(個別情報毎の加算点を異ならせると)、加算結果に差が生じやすくなり、何れの過去状況情報が、現在状況情報に最も類似しているかの判別を行いやすくなる。
より具体的には、本実施形態では、過去状況情報の各々と現在状況情報との類似度の判断では、上記のように、各個別情報同士を比較するとともに、内容が一致する個別情報があると、点数を加算する。言い換えると、現在状況情報に含まれている現在個別情報と同じ個別情報が、過去状況情報に含まれていると、点数を加算する。
そして、加算結果が最も大きくなる過去状況情報を、現在状況情報に最も類似している過去状況情報とする。
ところで、このような処理において、加算点が一律であると、最終的な加算結果に差がつきにくく、この場合、何れの過去状況情報が、現在状況情報に最も類似しているかの判別を行いにくくなるおそれがある。
そこで、現在状況情報と比較される対象となる過去状況情報を構成する各過去個別情報については、予め重み付けを行い、一部の過去個別情報については、より多くの点数が加算されるようにすることが好ましい。これにより、加算結果に差が生じやすくなる。
ここで、本実施形態では、設定手段の一例としての設定部211(図1参照)が、加算点を設定する。
より具体的には、設定部211が、現在状況情報を構成する現在個別情報と、過去状況情報を構成する過去個別情報とが一致する場合に加算される加算点を設定する。
より具体的には、本実施形態では、設定部211が、過去状況情報を構成する過去個別情報毎に、過去個別情報と現在個別情報とが一致した場合の加算点を設定する。
ここで、実行されるユーザ命令のうちの、ある特定のユーザ命令が実行される際、ある特定の個別情報が現れることがある。
この場合、この個別情報と、特定のユーザ命令との関連度が高いと言え、この個別情報が現れる場合には、特定のユーザ命令をユーザが望んでいる可能性が高いと言える。
この場合、この個別情報についての加算点を大きくすれば、この特定のユーザ命令が、新たなユーザ命令とされる可能性が高まり、ユーザが意図する命令が実行される可能性が高まる。
付言すると、重み付けを行うと、特定の個別情報が現れていることが、最終的な加算結果により大きく現れるようになり、この特定の個別情報との関連度が高いユーザ命令が、新たなユーザ命令とされる可能性が高まる。
ここで、重み付けにあたっては、複数の過去個別情報のうちの、一部の過去個別情報の重みを大きくする(加算点を大きくする)。言い換えると、過去個別情報と現在個別情報とが一致した場合の加算点を大きくする。
これにより、一部の特定の個別情報が現れた場合、加算結果が大きくなり、特定の個別情報が現れたことが、加算結果に大きく現れるようになる。
図9、図10は、過去個別情報の各々への重み付けを行う際の処理の具体例を示した図である。言い換えると、図9、図10は、設定部211が加算点の設定を行う際の処理の一例を示した図である。
図9では、実行済み命令1が過去に実際に実行されたときにおける2つの過去状況情報を示している。
付言すると、図9では、過去に、「前列、ライト、明るさ、20%」という要素を含んだ「実行済み命令1」が2回実行され、さらに、1回目の実行済み命令1が実行されたときには、符号9Aで示す過去状況情報が得られ、また、2回目の実行済み命令1が実行されたときには、符号9Bで示す過去状況情報が得られた場合を例示している。
この例では、1回目の命令実行時における過去状況情報、および、2回目の命令実行時における過去状況情報の双方において、「Display on」という過去個別情報が得られている。
このような場合、現在状況情報に、「Display on」という現在個別情報が現れると、「前列、ライト、明るさ、20%」という命令をユーザは望んでいる可能性が高いと考えることができる。
付言すると、1回目の命令実行時における過去状況情報、および、2回目の命令実行時における過去状況情報の各々では、その他の、共通の過去個別情報は少なく、「Display on」という過去個別情報が、「前列、ライト、明るさ、20%」という命令に強く関連していると言える。
付言すると、この例では、実行済み命令1が2回実行された場合を例示しているが、例えば、この実行済み命令1が、数多く実行された場合において得られる複数回分の過去状況情報において、「Display on」という過去個別情報が多数現れた場合(出現頻度が大きい場合)、「Display on」が、「前列、ライト、明るさ、20%」という命令に強く関連していると言える。
このような場合、本実施形態では、「Display on」という過去個別情報については、他の過去個別情報よりも重みを大きくし、現在状況情報にて、「Display on」という現在個別情報が現れた場合の加算点を、他の過去個別情報に対応付けられる加算点よりも大きくする。
これにより、現在状況情報に、「Display on」という現在個別情報が含まれている場合には(現在状況情報に含まれる「Display on」という現在個別情報と、実行済み命令1に対応付けられている、「Display on」という過去個別情報とが一致した場合には)、「前列、ライト、明るさ、20%」という実行済み命令1が抽出される可能性が高まるようになる。
付言すると、図9にて示した例では、同一の実行済み命令が複数回実行されることにより得られた複数回分の過去状況情報を示している。そして、この複数回分の過去状況情報では、過去個別情報の出現頻度が、過去個別情報毎に異なるようになる。
本実施形態では、設定部211は、この過去個別情報毎の出現頻度に基づき、過去個別情報の各々についての加算点を設定する(重み付けを行う)。
より具体的には、設定部211は、出現頻度が大きい過去個別情報ほど、加算点が大きくなるように、この過去個別情報についての加算点を設定する。
そして、設定部211は、設定した加算点を、命令データベース210に登録する。より具体的には、設定部211は、過去個別情報、および、この過去個別情報に対応付けられている実行済み命令に対して、この加算点を対応付けたうえで、この加算点を命令データベース210に登録する。
付言すると、本実施形態の命令データベース210は、実行済み命令と過去状況情報とを対応付けて保持している。言い換えると、命令データベース210は、実行済み命令と、この実行済み命令に対応付けられた過去状況情報を構成する複数の過去個別情報とを対応付けて保持している。
本実施形態では、設定部211は、加算点を設定すると、この加算点を、対応する過去個別情報、および、この過去個別情報に対応付けられている実行済み命令に対応付けたうえで、この加算点を命令データベース210に登録する。
また、過去個別情報についての重み付け(過去個別情報についての加算点の設定)は、過去個別情報が現れる実行済み命令の数に基づき行ってもよい。
図10では、他の命令である実行済み命令2が実行された際における2つの過去状況情報を示している。具体的には、「前列、ライト、ON」という命令要素を含んだ実行済み命令2が、2回実行されることにより得られた2つの過去状況情報を示している。
この2つの過去状況情報では、「Display on」という過去個別情報が得られていない。
この結果を踏まえると、「Display on」という過去個別情報は、上記図9にて示した「前列、ライト、明るさ、20%」という実行済み命令1への関連が高いといえる。
このような状況下では、「Display on」という現在個別情報が得られた場合、ユーザが希望している命令は、図9にて示した実行済み命令1(「前列、ライト、明るさ、20%」という命令)である可能性が高いと言える。
言い換えると、多数の実行済み命令において現れる過去個別情報については、特定の実行済み命令への関連度が高くなく、特定の実行済み命令を特定するための過去個別情報にはなりにくい。
これに対し、一部の実行済み命令にて現れる過去個別情報については、この一部の実行済み命令への関連度が高い過去個別情報と考えることができ、実行済み命令を特定するための過去個別情報となりやすい。
このため、過去個別情報についての重み付け(加算点の設定)は、過去個別情報が現れる実行済み命令の数に基づき行ってもよい。より具体的には、この場合、過去個別情報が現れる実行済み命令の数が少ないほど、この過去個別情報についての重み(加算点)を大きくする。
具体的には、この場合は、まず、設定部211が、過去個別情報毎に、過去個別情報に対応付けられた実行済み命令(過去個別情報が現れた実行済み命令)の数である命令数を把握する。そして、設定部211は、把握した命令数に基づき、過去個別情報についての加算点を設定する。より具体的には、設定部211は、把握した命令数が小さくなるに応じて加算点が大きくなるように、加算点を設定する。
そして、この場合、設定部211は、上記と同様、設定した加算点を、命令データベース210に登録する。具体的には、設定部211は、設定した加算点を、対応する過去個別情報、および、この過去個別情報に対応付けられている実行済み命令に対応付けたうえで、この加算点を命令データベース210に登録する。
また、その他に、過去個別情報についての重み付け(加算点の設定)は、過去個別情報の出現頻度、および、過去個別情報が現れた命令数の両者に基づき行ってもよい。
以下、この両者に基づき重み付けを行う場合の具体例を説明する。より具体的には、上記実行済み命令1(図9参照)が実行されることにより得られた「Display on」という過去個別情報についての重み付けを行う際の処理例を説明する。
「Display on」についての重み付けにあたっては、まず、上記実行済み命令1を複数回実行することにより得られた複数回分の過去状況情報における、「Display on」の出現頻度を把握する。
より具体的には、上記の例では、1回目の命令実行時、2回目の命令実行時の両者にて、「Display on」という過去個別情報が得られており、この場合、「Display on」の出現頻度は、「2」となる。
なお、ここでは、実行済み命令1が2回実行された場合を例示したが、実行済み命令1が更に実行された場合において、そのほとんどの実行時に、「Display on」という過去個別情報が現れる場合には、「Display on」の出現頻度はさらに大きくなる。
次に、「Display on」が対応付けられた実行済み命令の命令数(「Display on」という過去個別情報が現れた実行済み命令の数)を把握する。そして、この命令数および次の(式1)を用い、算出結果を得る。
(式1)=log(総命令数/命令数(「Display on」が現れた命令数)+1)+1
図9、10にて示した例では、「Display on」が現れた実行済み命令は、実行済み命令1のみであり、「Display on」が対応付けられた実行済み命令の数(命令数)は、1となる。
また、図9、10にて示した例では、実行済み命令1、実行済み命令2の2つの命令が実行されているため、総命令数は2となる。
そして、この場合、上記(式1)に基づく算出結果は、1(=log(2/2)+1)となる。
その後、この例では、上記の出現頻度(=2)と、命令数に基づき算出された値(=1)との積(=2)を得る。
ここで、この例では、過去個別情報の出現頻度が大きいほど、この積が大きくなり、また、命令数が小さいほど、この積が大きくなる。
そして、設定部211は、この「2」に基づき、「Display on」についての加算点を設定する。
次いで、設定部211は、設定した加算点を、「Display on」という過去個別情報に対応付け、さらに、この「Display on」という過去個別情報に対応付けられている実行済み命令1に対応付けたうえで、この加算点を命令データベース210に登録する。
ここで、本実施形態では、上記のように、候補命令の各々が過去に実際に実行された命令である実行済み命令の各々に対応付けられた過去状況情報と、現在状況情報とを比較する。
本実施形態では、この際に、命令データベース210から、実行済み命令の各々に対応付けられた過去個別情報と、この過去個別情報に対応付けられた加算点とを読み出す。
そして、本実施形態では、過去個別情報と現在個別情報とが一致した場合、この過去個別情報に対応付けられ且つ命令データベース210から読みだされた上記の加算点(重み付けが行われている加算点)を加算する。
そして、最終的な加算結果を得て、複数の過去状況情報の中から、一部の過去状況情報を特定する。
200…情報処理装置、203…命令取得部、204…状況情報取得部、205…不足情報取得部、206…質問生成部、210…命令データベース、211…設定部

Claims (22)

  1. ユーザによる命令を取得する命令取得手段と、
    ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得手段と、
    前記状況情報取得手段により取得された状況情報である取得状況情報に基づき、命令の実行に必要となる情報のうちの不足している情報を取得する不足情報取得手段と、
    を備える情報処理装置。
  2. 前記状況情報取得手段は、ユーザが命令を行った際の当該ユーザの周辺の状況についての情報を取得し、
    前記不足情報取得手段は、前記周辺の状況についての情報に基づき、不足情報を取得する請求項1に記載の情報処理装置。
  3. 前記状況情報取得手段は、前記周辺の状況についての情報として、前記ユーザの周辺にある機器についての状況を取得し、
    前記不足情報取得手段は、前記ユーザの周辺にある機器についての状況に基づき、前記不足情報を取得する請求項2に記載の情報処理装置。
  4. 前記状況情報取得手段は、命令を行った前記ユーザの状況についての情報を取得し、
    前記不足情報取得手段は、命令を行った前記ユーザの状況についての情報に基づき、不足情報を取得する請求項1に記載の情報処理装置。
  5. 実行済みの命令である実行済み命令と、当該実行済み命令が実行された際の状況情報である過去状況情報とを対応付けて保持する保持手段をさらに備え、
    前記不足情報取得手段は、前記取得状況情報と前記過去状況情報の各々との類似度に基づき特定された一部の過去状況情報に対応付けられた前記実行済み命令に基づき、前記不足している情報を取得する請求項1に記載の情報処理装置。
  6. 前記不足情報取得手段は、類似度に基づき特定された前記一部の前記過去状況情報に対応付けられた実行済み命令であって、前記ユーザによる前記命令に含まれる情報を含んだ実行済み命令に基づき、前記不足している情報を取得する請求項5に記載の情報処理装置。
  7. 前記不足情報取得手段は、前記取得状況情報との類似度が最も大きい前記過去状況情報に対応付けられた前記実行済み命令に基づき、前記不足している情報を取得する請求項5に記載の情報処理装置。
  8. 前記不足情報取得手段は、前記一部の過去状況情報に対応付けられた前記実行済み命令に含まれる情報と、前記命令取得手段により取得されたユーザの命令であるユーザ命令に含まれる情報とを比較して、前記不足している情報を取得する請求項5に記載の情報処理装置。
  9. 前記取得状況情報と前記過去状況情報の各々との類似度を把握する類似度把握手段を更に備え、
    前記類似度把握手段は、前記取得状況情報に含まれる個々の情報である取得個別情報の各々と、前記過去状況情報に含まれる個々の情報である過去個別情報の各々との一致、不一致に基づき、当該取得状況情報と当該過去状況情報の各々との類似度を把握する請求項5に記載の情報処理装置。
  10. 前記類似度把握手段は、前記取得個別情報と前記過去個別情報との一致数に応じて加算点の加算回数が増える加算処理を行って、前記過去状況情報毎に、加算結果を取得し、取得した当該加算結果に基づき、当該過去状況情報の各々と前記取得状況情報との類似度を把握する請求項9に記載の情報処理装置。
  11. 前記取得個別情報と前記過去個別情報とが一致する場合に加算される前記加算点を設定する設定手段を更に備える請求項10に記載の情報処理装置。
  12. 前記設定手段は、前記過去状況情報を構成する前記過去個別情報毎に、当該過去個別情報と前記取得個別情報とが一致した場合の前記加算点を設定する請求項11に記載の情報処理装置。
  13. 前記設定手段は、前記実行済み命令が複数回実行されることにより得られた複数回分の前記過去状況情報における、前記過去個別情報の出現頻度に基づき、当該過去個別情報についての前記加算点を設定する請求項12に記載の情報処理装置。
  14. 前記設定手段は、前記出現頻度が大きい前記過去個別情報ほど、前記加算点が大きくなるように、当該過去個別情報についての当該加算点を設定する請求項13に記載の情報処理装置。
  15. 前記保持手段は、前記実行済み命令と前記過去状況情報とを対応付けて保持するとともに、当該実行済み命令と、当該過去状況情報を構成する前記過去個別情報の各々とを対応付けて保持し、
    前記設定手段は、前記過去個別情報毎に、当該過去個別情報に対応付けられた前記実行済み命令の数である命令数を把握し、把握した当該命令数に基づき、当該過去個別情報についての前記加算点を設定する請求項12に記載の情報処理装置。
  16. 前記設定手段は、把握した前記命令数が小さくなるに応じて前記加算点が大きくなるように、当該加算点を設定する請求項15に記載の情報処理装置。
  17. 前記不足情報取得手段により取得された情報を用い、新たな命令を生成する生成手段を備える請求項1に記載の情報処理装置。
  18. ユーザによる命令を取得する命令取得手段と、
    ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得手段と、
    前記命令取得手段により取得された命令の内容と、前記状況情報取得手段により取得された状況情報である取得状況情報とに基づき、ユーザによる前記命令に基づき行う処理の内容を決定する決定手段と、
    を備える情報処理装置。
  19. 前記決定手段は、前記命令取得手段により取得された前記ユーザの前記命令の内容を含んだ実行済みの命令に基づき、前記処理の内容を決定する請求項18に記載の情報処理装置。
  20. 実行済みの命令と、当該実行済みの命令が実行された際の状況情報である過去状況情報とを対応付けて保持する保持手段をさらに備え、
    前記決定手段は、前記ユーザの前記命令の内容を含んだ実行済みの命令であって、前記取得状況情報と前記過去状況情報の各々との類似度に基づき特定された一部の過去状況情報に対応付けられた実行済みの命令に基づき、前記処理の内容を決定する請求項19に記載の情報処理装置。
  21. ユーザによる命令を取得する命令取得機能と、
    ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得機能と、
    前記状況情報取得機能により取得された状況情報である取得状況情報に基づき、命令の実行に必要となる情報のうちの不足している情報を取得する不足情報取得機能と、
    をコンピュータに実現させるためのプログラム。
  22. ユーザによる命令を取得する命令取得機能と、
    ユーザが命令を行った際の状況についての情報である状況情報を取得する状況情報取得機能と、
    前記命令取得機能により取得された命令の内容と、前記状況情報取得機能により取得された状況情報である取得状況情報とに基づき、ユーザによる前記命令に基づき行う処理の内容を決定する決定機能と、
    をコンピュータに実現させるためのプログラム。
JP2018075017A 2018-04-09 2018-04-09 情報処理装置およびプログラム Pending JP2019185360A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018075017A JP2019185360A (ja) 2018-04-09 2018-04-09 情報処理装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018075017A JP2019185360A (ja) 2018-04-09 2018-04-09 情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2019185360A true JP2019185360A (ja) 2019-10-24

Family

ID=68341306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018075017A Pending JP2019185360A (ja) 2018-04-09 2018-04-09 情報処理装置およびプログラム

Country Status (1)

Country Link
JP (1) JP2019185360A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034289A (ja) * 1999-07-16 2001-02-09 Nec Corp 自然言語を用いた対話システム
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2005059185A (ja) * 2003-08-19 2005-03-10 Sony Corp ロボット装置及びその制御方法
JP2006137366A (ja) * 2004-11-15 2006-06-01 Honda Motor Co Ltd 車両用機器制御装置
JP2009237786A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd 情報提示装置及びコンピュータプログラム、並びに情報提示方法
US20140214415A1 (en) * 2013-01-25 2014-07-31 Microsoft Corporation Using visual cues to disambiguate speech inputs
US20150161997A1 (en) * 2013-12-05 2015-06-11 Lenovo (Singapore) Pte. Ltd. Using context to interpret natural language speech recognition commands

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034289A (ja) * 1999-07-16 2001-02-09 Nec Corp 自然言語を用いた対話システム
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2005059185A (ja) * 2003-08-19 2005-03-10 Sony Corp ロボット装置及びその制御方法
JP2006137366A (ja) * 2004-11-15 2006-06-01 Honda Motor Co Ltd 車両用機器制御装置
JP2009237786A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd 情報提示装置及びコンピュータプログラム、並びに情報提示方法
US20140214415A1 (en) * 2013-01-25 2014-07-31 Microsoft Corporation Using visual cues to disambiguate speech inputs
US20150161997A1 (en) * 2013-12-05 2015-06-11 Lenovo (Singapore) Pte. Ltd. Using context to interpret natural language speech recognition commands

Similar Documents

Publication Publication Date Title
US10747798B2 (en) Control method, processing apparatus, and recording medium
Hassan et al. Classification of emotional speech using 3DEC hierarchical classifier
JP6019604B2 (ja) 音声認識装置、音声認識方法、及びプログラム
Ringeval et al. Emotion recognition in the wild: Incorporating voice and lip activity in multimodal decision-level fusion
US11276403B2 (en) Natural language speech processing application selection
US10600419B1 (en) System command processing
US20220262345A1 (en) Training Keyword Spotters
CN109920409B (zh) 一种声音检索方法、装置、系统及存储介质
EP3829161A1 (en) Information processing device and method, and program
KR20180025634A (ko) 음성 인식 장치 및 방법
Alam et al. Comparative study of speaker personality traits recognition in conversational and broadcast news speech.
US20180075395A1 (en) Conversation member optimization apparatus, conversation member optimization method, and program
US10957313B1 (en) System command processing
Al-Talabani et al. Emotion recognition from speech: tools and challenges
JP2011248444A (ja) 表示制御装置およびそれを用いたプレゼンテーション方法
US10978076B2 (en) Speaker retrieval device, speaker retrieval method, and computer program product
JP2016062333A (ja) 検索サーバ、及び検索方法
US11404064B2 (en) Information processing apparatus and speech analysis method
JP2019185360A (ja) 情報処理装置およびプログラム
JP6571231B1 (ja) 検索装置および方法
JP5196114B2 (ja) 音声認識装置およびプログラム
Berdos et al. Discovering the Optimal Setup for Speech Emotion Recognition Model Incorporating Different CNN Architectures
Chimthankar Speech Emotion Recognition using Deep Learning
EP3846164B1 (en) Method and apparatus for processing voice, electronic device, storage medium, and computer program product
Saunders et al. Detecting Deep Fakes With Mice: Machines vs Biology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220816