JP2017220089A - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017220089A JP2017220089A JP2016115290A JP2016115290A JP2017220089A JP 2017220089 A JP2017220089 A JP 2017220089A JP 2016115290 A JP2016115290 A JP 2016115290A JP 2016115290 A JP2016115290 A JP 2016115290A JP 2017220089 A JP2017220089 A JP 2017220089A
- Authority
- JP
- Japan
- Prior art keywords
- context data
- control command
- control
- user
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
【課題】ユーザの所望の操作指示で制御対象を自在に制御可能にすること。
【解決手段】対応付け実行部813は、登録対象のコンテクストデータと登録対象の制御コマンドとを対応付ける。対応付け結果保持部71は、対応付け実行部813により対応付けられた制御コマンドとコンテクストデータとの組を1以上登録して保持する。コンテクストデータ取得部101は、ユーザが特定装置2に対して指示を出すためにコントローラ装置1に入力した、所定のコンテクストデータを取得する。制御コマンド抽出部102は、対応付け結果保持部71により登録されて保持されている1以上の組の中から、コンテクストデータ取得部101により取得されたコンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する。制御コマンド発行部103は、制御コマンド抽出部102により抽出された制御コマンドを特定装置2に対して発行する。
【選択図】図4
【解決手段】対応付け実行部813は、登録対象のコンテクストデータと登録対象の制御コマンドとを対応付ける。対応付け結果保持部71は、対応付け実行部813により対応付けられた制御コマンドとコンテクストデータとの組を1以上登録して保持する。コンテクストデータ取得部101は、ユーザが特定装置2に対して指示を出すためにコントローラ装置1に入力した、所定のコンテクストデータを取得する。制御コマンド抽出部102は、対応付け結果保持部71により登録されて保持されている1以上の組の中から、コンテクストデータ取得部101により取得されたコンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する。制御コマンド発行部103は、制御コマンド抽出部102により抽出された制御コマンドを特定装置2に対して発行する。
【選択図】図4
Description
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
従来より、予め与えられた制御コマンドで制御される機器等に対して、予め決められた操作で制御コマンドを発行する専用のコントローラ装置が存在する(例えば、特許文献1参照)。
このように、特許文献1を含め従来の技術では、全てのユーザは、同一の操作で機器等を制御する必要がある。
しかしながら、ユーザの中には(例えば幼児)、その同一の操作を困難等であると感じる者や、別の操作で機器等を制御したいと望む者も存在する。
しかしながら、ユーザの中には(例えば幼児)、その同一の操作を困難等であると感じる者や、別の操作で機器等を制御したいと望む者も存在する。
本発明は、このような状況に鑑みてなされたものであり、ユーザの所望の操作指示で制御対象を自在に制御可能にする技術を確立することを目的とする。
上記目的を達成するため、本発明の一態様の情報システムは、
1以上の制御コマンドを用いて制御対象を制御する制御装置を少なくとも含む情報処理システムにおいて、
ユーザが前記制御対象に対して所定の指示をするためのコンテクストデータと、当該所定の指示に対応する制御コマンドとの組を1以上登録する登録手段と、
ユーザが前記制御対象に対して指示を出すために、所定のコンテクストデータを前記制御装置に入力した場合、前記登録手段の登録結果に基づいて、当該所定のコンテクストデータと同一組に属する制御コマンドを発行することで、前記制御対象を制御する制御手段と、
を備え
前記登録手段は、
登録対象のコンテクストデータを取得する第1コンテクストデータ取得手段と、
登録対象の制御コマンドを取得する制御コマンド取得手段と、
前記登録対象のコンテクストデータと前記登録対象の制御コマンドとを対応付ける対応付け手段と、
前記対応付け手段により対応付けられた前記制御コマンドと前記コンテクストデータとの組を1以上登録して保持する保持手段と、
を含み、
前記制御手段は、
ユーザが前記制御対象に対して指示を出すために前記制御装置に入力した所定のコンテクストデータを取得する第2コンテクストデータ取得手段と、
前記保持手段により登録されて保持されている1以上の前記組の中から、前記第2コンテクストデータ取得手段により取得された前記コンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する抽出手段と、
前記抽出手段により抽出された前記制御コマンドを前記制御対象に対して発行するコマンド発行手段と、
を含む。
1以上の制御コマンドを用いて制御対象を制御する制御装置を少なくとも含む情報処理システムにおいて、
ユーザが前記制御対象に対して所定の指示をするためのコンテクストデータと、当該所定の指示に対応する制御コマンドとの組を1以上登録する登録手段と、
ユーザが前記制御対象に対して指示を出すために、所定のコンテクストデータを前記制御装置に入力した場合、前記登録手段の登録結果に基づいて、当該所定のコンテクストデータと同一組に属する制御コマンドを発行することで、前記制御対象を制御する制御手段と、
を備え
前記登録手段は、
登録対象のコンテクストデータを取得する第1コンテクストデータ取得手段と、
登録対象の制御コマンドを取得する制御コマンド取得手段と、
前記登録対象のコンテクストデータと前記登録対象の制御コマンドとを対応付ける対応付け手段と、
前記対応付け手段により対応付けられた前記制御コマンドと前記コンテクストデータとの組を1以上登録して保持する保持手段と、
を含み、
前記制御手段は、
ユーザが前記制御対象に対して指示を出すために前記制御装置に入力した所定のコンテクストデータを取得する第2コンテクストデータ取得手段と、
前記保持手段により登録されて保持されている1以上の前記組の中から、前記第2コンテクストデータ取得手段により取得された前記コンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する抽出手段と、
前記抽出手段により抽出された前記制御コマンドを前記制御対象に対して発行するコマンド発行手段と、
を含む。
本発明の一態様としての情報処理方法及びプログラムの夫々は、上述の本発明の一態様の情報処理装置に対応する方法及びプログラムの夫々である。
本発明によれば、ユーザの所望の操作指示で制御対象を自在に制御可能にすることができる。
以下、本発明の実施形態について図面を用いて説明する。
図1は、本発明の一実施形態に係る情報処理システムの構成を示している。
図1に示す情報処理システムは、コントローラ装置1と、特定装置2と、モニタ装置3とを含むように構成されている。
図1に示す情報処理システムは、コントローラ装置1と、特定装置2と、モニタ装置3とを含むように構成されている。
コントローラ装置1は、例えば、ユーザが片手で把持可能な形状を有し、一以上の制御コマンドを用いて、制御対象たる特定装置2を制御する装置である。
このコントローラ装置1は、特に限定されず、ユーザが片手で操作できる任意の情報処理端末であってもよい。
コントローラ装置1は、ユーザによる特定装置2に対する駆動等の指示操作として、ユーザの音声やジェスチャーの入力を受け付けることができる。
この指示操作としてコントローラ装置1に入力されるものは、特に限定されず、他のコンテクストであってもよい。
ここで「コンテクスト」とは、ユーザの内的状態と外的状態との全てを含む概念をいう。
ユーザの内的状態とは、ユーザの身体や脳の働きに起因する状態、例えばユーザの、行動、体調、情動(気分や心理状態)等を指す。例えば、ユーザが発する音声(発話内容)や、ユーザが実行する所定のジェスチャーは、コンテクストの一例である。
また、ユーザの外的状態とは、ユーザの空間的又は時間的な配置位置(時間的な配置位置とは、例えば、現在時刻を指す)の他、ユーザの周囲の空間方向もしくは時間方向又は全方向に分布する所定の状態(周囲環境の状態)も指す。
つまり、コントローラ装置1は、所定のコンテクストを示すデータ(以下、「コンテクストデータ」と呼ぶ)を、ユーザによる特定装置2に対する駆動等の指示操作として受け付ける。
コントローラ装置1は、受け付けたコンテクストデータに対応付けられた制御コマンドを特定装置2に対して発行する。
即ち、詳細については後述するが、ユーザは、所望のコンテクストデータと所望の制御コマンドを対応付けする操作をすることができる。このように対応付けられたコンテクストデータと制御コマンドとの組は、複数組コントローラ装置において管理されている。
コントローラ装置1は、複数組のうち、受け付けたコンテクストデータを含む組を特定し、特定した組に属する制御コマンドを抽出する。コントローラ装置1は、抽出した制御コマンドを特定装置2に対して発行する。
このコントローラ装置1は、特に限定されず、ユーザが片手で操作できる任意の情報処理端末であってもよい。
コントローラ装置1は、ユーザによる特定装置2に対する駆動等の指示操作として、ユーザの音声やジェスチャーの入力を受け付けることができる。
この指示操作としてコントローラ装置1に入力されるものは、特に限定されず、他のコンテクストであってもよい。
ここで「コンテクスト」とは、ユーザの内的状態と外的状態との全てを含む概念をいう。
ユーザの内的状態とは、ユーザの身体や脳の働きに起因する状態、例えばユーザの、行動、体調、情動(気分や心理状態)等を指す。例えば、ユーザが発する音声(発話内容)や、ユーザが実行する所定のジェスチャーは、コンテクストの一例である。
また、ユーザの外的状態とは、ユーザの空間的又は時間的な配置位置(時間的な配置位置とは、例えば、現在時刻を指す)の他、ユーザの周囲の空間方向もしくは時間方向又は全方向に分布する所定の状態(周囲環境の状態)も指す。
つまり、コントローラ装置1は、所定のコンテクストを示すデータ(以下、「コンテクストデータ」と呼ぶ)を、ユーザによる特定装置2に対する駆動等の指示操作として受け付ける。
コントローラ装置1は、受け付けたコンテクストデータに対応付けられた制御コマンドを特定装置2に対して発行する。
即ち、詳細については後述するが、ユーザは、所望のコンテクストデータと所望の制御コマンドを対応付けする操作をすることができる。このように対応付けられたコンテクストデータと制御コマンドとの組は、複数組コントローラ装置において管理されている。
コントローラ装置1は、複数組のうち、受け付けたコンテクストデータを含む組を特定し、特定した組に属する制御コマンドを抽出する。コントローラ装置1は、抽出した制御コマンドを特定装置2に対して発行する。
特定装置2は、コントローラ装置1からの制御コマンドを受信すると、当該制御コマンドに対してコマンド実行処理を施す。
例えば、「上昇」という制御コマンドを受信した特定装置2は、コマンド実行処理として、特定装置2自身を上昇させる処理を実行する。
例えば、「上昇」という制御コマンドを受信した特定装置2は、コマンド実行処理として、特定装置2自身を上昇させる処理を実行する。
図2は、図1の情報処理システムのうち、コントローラ装置1のハードウェアの構成を示すブロック図である。
コントローラ装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、マイクロフォン16と、センサ群17と、記憶部18と、通信部19と、を備えている。
コントローラ装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、マイクロフォン16と、センサ群17と、記憶部18と、通信部19と、を備えている。
CPU11は、ROM12に記録されているプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、マイクロフォン16と、センサ群17と、記憶部18と、通信部19が接続されている。
マイクロフォン16は、ユーザの発話等による音声データとして入力する。
センサ群17は、所定のコンテクストを検出するセンサの集合体である。
なお、かならずしも1のコンテクストは、1のセンサにより検出されるとは限らず、複数のセンサにより検出される場合もある。
例えば、ユーザによる所定のジェスチャー(コンテクストの一例)は、加速度センサ、ジャイロセンサ等の複数のセンサの出力結果に基づいて検出される。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、他の装置(本実施形態では主に図1の特定装置2又はモニタ装置3)との間で行う通信を制御する。
センサ群17は、所定のコンテクストを検出するセンサの集合体である。
なお、かならずしも1のコンテクストは、1のセンサにより検出されるとは限らず、複数のセンサにより検出される場合もある。
例えば、ユーザによる所定のジェスチャー(コンテクストの一例)は、加速度センサ、ジャイロセンサ等の複数のセンサの出力結果に基づいて検出される。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、他の装置(本実施形態では主に図1の特定装置2又はモニタ装置3)との間で行う通信を制御する。
図3は、図1の情報処理システムのうち、モニタ装置3のハードウェアの構成を示すブロック図である。
モニタ装置3は、CPU31と、ROM32と、RAM33と、バス34と、入出力インターフェース35と、入力部36と、記憶部37と、通信部38と、表示部39と、ドライブ40と、を備えている。
モニタ装置3は、CPU31と、ROM32と、RAM33と、バス34と、入出力インターフェース35と、入力部36と、記憶部37と、通信部38と、表示部39と、ドライブ40と、を備えている。
図3のモニタ装置3は、図2のコントローラ装置1と基本的に同様のハードウェア構成を有している。したがって、以下コントローラ装置1との差異点のみ説明する。
入力部36は、電源ボタン、操作ボタン等各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部37は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部38は、他の装置(本実施形態では主に図1のコントローラ装置1)との間で行う通信を制御する。
表示部39は、ディスプレイにより構成され、各種画像を表示する。
記憶部37は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部38は、他の装置(本実施形態では主に図1のコントローラ装置1)との間で行う通信を制御する。
表示部39は、ディスプレイにより構成され、各種画像を表示する。
ドライブ40には、必要に応じて、リムーバブルメディア51が適宜装着される。ドライブ40によってリムーバブルメディア51から読み出されたプログラムは、必要に応じて記憶部37にインストールされる。また、リムーバブルメディア51は、記憶部37に記憶されている各種データも、記憶部37と同様に記憶することができる。
図4は、このようなコントローラ装置1及びモニタ装置3の機能的構成のうち、制御コマンド登録処理を実行するための機能的構成を示す機能ブロック図である。
制御コマンド登録処理とは、特定装置2を操作するための処理であって、登録対象のコンテクストデータと、登録対象の制御コマンドとを対応付けして、対応付け結果を登録する一連の処理をいう。
制御コマンド登録処理とは、特定装置2を操作するための処理であって、登録対象のコンテクストデータと、登録対象の制御コマンドとを対応付けして、対応付け結果を登録する一連の処理をいう。
制御コマンド登録処理が実行される場合には、コントローラ装置1のCPU11においては、図4に示すように、コンテクストデータ取得部61と、対応付け結果取得部62と、モニタ装置遠隔操作部63とが機能する。また、記憶部18の一領域には、対応付け結果保持部71が設けられる。
コントローラ装置1のコンテクストデータ取得部61は、登録対象のコンテクストデータを取得する。例えば、ユーザがマイクロフォン16に対して所定の音声を発生すると、コンテクストデータ取得部61は、マイクロフォン16から音声データをコンテクストデータとして取得する。また、例えば、ユーザがコントローラ装置1を把持して所定のジェスチャーをした場合、コンテクストデータ取得部61は、センサ群17の1以上のセンサ(例えば、加速度センサやジャイロセンサ)の検出結果に基づいて、所定のジェスチャーを示すデータを、コンテクストデータとして取得する。
コンテクストデータ取得部61によって取得されたコンテクストデータは、通信部19を介してモニタ装置3に送信される。
詳細については、後述するが、モニタ装置3は、コントローラ装置1から送信されたコンテクストデータを登録対象として、所定の制御コマンドを登録対象とする。そして、モニタ装置3は、登録対象のコンテクストデータと、登録対象の制御コマンドとを対応付け、その対応付け結果を保持するとともに、コントローラ装置1に対して送信する。
詳細については、後述するが、モニタ装置3は、コントローラ装置1から送信されたコンテクストデータを登録対象として、所定の制御コマンドを登録対象とする。そして、モニタ装置3は、登録対象のコンテクストデータと、登録対象の制御コマンドとを対応付け、その対応付け結果を保持するとともに、コントローラ装置1に対して送信する。
そこで、コントローラ装置1の対応付け結果取得部62は、モニタ装置3から送信されてきた対応付け結果、即ちコンテクストデータと制御コマンドとの組を通信部19を介して取得し、対応付け結果保持部71に保持する。
対応付け結果取得部62は、対応付け結果提供部814から通知された対応付けられた
制御コマンドを取得し、対応付け結果保持部71に通知する。
対応付け結果取得部62は、対応付け結果提供部814から通知された対応付けられた
制御コマンドを取得し、対応付け結果保持部71に通知する。
モニタ装置遠隔操作部63は、モニタ装置3を遠隔操作する。例えば、モニタ装置遠隔操作部63は、マイクロフォン16から入力された音声データや、センサ群17の検出結果に基づいて、ユーザによるモニタ装置の遠隔指示操作の内容を認識し、その認識結果に基づいて、所定のコマンドを通信部19を介してモニタ装置3に対して発行する等して、モニタ装置3を遠隔操作する。
以上、制御コマンド登録処理が実行される場合のコントローラ装置1の機能的構成について説明した。次に、制御コマンド登録処理が実行される場合のモニタ装置3の機能的構成について説明する。
モニタ装置3のCPU31においては、図4に示すように、対応付け部81と、操作部82と、表示制御部83とが機能する。また、記憶部37の一領域には、制御コマンドリスト保持部91が設けられる。
モニタ装置3のCPU31においては、図4に示すように、対応付け部81と、操作部82と、表示制御部83とが機能する。また、記憶部37の一領域には、制御コマンドリスト保持部91が設けられる。
対応付け部81は、登録対象のコンテクストデータと登録対象の制御コマンドとを対応付ける。
ここで、対応付け部81は、コンテクストデータ取得部811と、制御コマンド取得部812と、対応付け実行部813と、対応付け結果提供部814と、を備えている。
ここで、対応付け部81は、コンテクストデータ取得部811と、制御コマンド取得部812と、対応付け実行部813と、対応付け結果提供部814と、を備えている。
コンテクストデータ取得部811は、コントローラ装置1から送信されて、通信部38において受信されたコンテクストデータを登録対象として取得し、対応付け実行部813に提供する。
ここで、制御コマンドリスト保持部91は、特定装置2に対する制御コマンドを複数個羅列したリスト(以下、「制御コマンドリスト」と呼ぶ。)を保持している。後述する操作部82によりコントローラ装置1からの遠隔操作に基づいて、ユーザにより指定された登録対象の制御コマンドが制御コマンド取得部812に通知される。
そこで、制御コマンド取得部812は、登録対象の制御コマンドを制御コマンドリスト保持部91から取得し、対応付け実行部813に提供する。
そこで、制御コマンド取得部812は、登録対象の制御コマンドを制御コマンドリスト保持部91から取得し、対応付け実行部813に提供する。
対応付け実行部813は、コンテクストデータ取得部811から提供された登録対象のコンテクストデータと、制御コマンド取得部812から提供された登録対象の制御コマンドとを、対応付けし、その対応付け結果を、対応付け結果提供部814に通知する。
対応付け結果提供部814は、対応付け実行部813から通知された対応付け結果を、通信部38を介してコントローラ装置1に提供する。
これにより、上述したように、対応付け結果、即ちコンテクストデータと制御コマンドとの組は、コントローラ装置1の対応付け結果取得部62により取得され、対応付け結果保持部71に保持される。
これにより、上述したように、対応付け結果、即ちコンテクストデータと制御コマンドとの組は、コントローラ装置1の対応付け結果取得部62により取得され、対応付け結果保持部71に保持される。
また、操作部82は、コントローラ装置1からの遠隔操作に基づいて、対応付け部81や表示制御部83を制御する。
例えば、ユーザにより指示された登録対象の制御コマンドが、コントローラ装置1から通知されるので、操作部82は、その登録対象の制御コマンドを制御コマンド取得部812に通知する。すると、上述したように、制御コマンド取得部812は、通知された登録対象の制御コマンドを制御コマンドリスト保持部91から取得する。
例えば、ユーザにより指示された登録対象の制御コマンドが、コントローラ装置1から通知されるので、操作部82は、その登録対象の制御コマンドを制御コマンド取得部812に通知する。すると、上述したように、制御コマンド取得部812は、通知された登録対象の制御コマンドを制御コマンドリスト保持部91から取得する。
表示制御部83は、所定の画像を表示部39に表示させる制御を実行する。例えば、所定の画像としては、登録対象のコンテクストデータと登録対象の制御コマンドとの対応付けをする対応付け部81の処理を支援するための画像、例えば、後述する図8乃至図12に示す画像が存在する。
なお、対応付け部81の処理を支援するための画像が表示されている際に、ユーザからの操作(選択操作や決定操作等)を受け付ける場合がある。この場合、ユーザは、コントローラ装置1を用いて、モニタ装置3に対して遠隔操作をする。すると操作部82は、この遠隔操作を受け付けて、対応付け部81や表示制御部83を制御する。
なお、対応付け部81の処理を支援するための画像が表示されている際に、ユーザからの操作(選択操作や決定操作等)を受け付ける場合がある。この場合、ユーザは、コントローラ装置1を用いて、モニタ装置3に対して遠隔操作をする。すると操作部82は、この遠隔操作を受け付けて、対応付け部81や表示制御部83を制御する。
図5は、コントローラ装置1の機能的構成のうち、操作実行処理を実行するための機能的構成を示す機能ブロック図である。
操作実行処理とは、特定装置2を操作するための処理であって、ユーザに関するコンテクストデータ(ユーザから発せられた音声やユーザによるジェスチャー)を受け付け、そのコンテクストデータに対応付けられた制御コマンドを抽出し、抽出した制御コマンドを発行するまでの一連の処理をいう。
操作実行処理とは、特定装置2を操作するための処理であって、ユーザに関するコンテクストデータ(ユーザから発せられた音声やユーザによるジェスチャー)を受け付け、そのコンテクストデータに対応付けられた制御コマンドを抽出し、抽出した制御コマンドを発行するまでの一連の処理をいう。
操作実行処理が実行される場合には、CPU11においては、図5に示すように、コンテクストデータ取得部101と、制御コマンド抽出部102と、制御コマンド発行部103とが機能する。また、記憶部18の一領域には、対応付け結果保持部71が設けられる。
コンテクストデータ取得部101は、特定装置2に対して指示を出すためのコンテクストデータを取得する。例えば、ユーザがマイクロフォン16に対して所定の音声を発生すると、コンテクストデータ取得部101は、マイクロフォン16から音声データをコンテクストデータとして取得する。また、例えば、ユーザがコントローラ装置1を把持して所定のジェスチャーをした場合、コンテクストデータ取得部101は、センサ群17の1以上のセンサ(例えば、加速度センサやジャイロセンサ)の検出結果に基づいて、所定のジェスチャーを示すデータを、コンテクストデータとして取得する。
そして、取得されたコンテクストデータは、制御コマンド抽出部102に提供される。
そして、取得されたコンテクストデータは、制御コマンド抽出部102に提供される。
制御コマンド抽出部102は、対応付け結果保持部71が保持する、コンテクストデータと制御コマンドとの1以上の組の中から、コンテクストデータ取得部101により提供されたコンテクストデータを含む組を特定し、当該組に属する制御コマンドを抽出する。
そして、抽出された制御コマンドは、制御コマンド発行部103に提供される。
そして、抽出された制御コマンドは、制御コマンド発行部103に提供される。
制御コマンド発行部103は、制御コマンド抽出部102から提供された制御コマンドを、通信部19を介して特定装置2に発行する。
すると、特定装置2は、コントローラ装置1からの制御コマンドを受信し、当該制御コマンドに対してコマンド実行処理を施す。
すると、特定装置2は、コントローラ装置1からの制御コマンドを受信し、当該制御コマンドに対してコマンド実行処理を施す。
以上、図4と図5を用いて、本実施形態の情報処理システムの機能的構成例について説明した。次に、図6と図7を用いて、本実施形態の情報処理システムの処理(制御コマンド登録処理と操作実行処理)の流れの一例について説明する。
図6は、図4の情報処理システムを構成するコントローラ装置1及びモニタ装置3が制御コマンド登録処理を実行する場合における、相互の処理の関係について説明するアローチャートである。
ステップS11において、コントローラ装置1のコンテクストデータ取得部61は、登録対象のコンテクストデータを取得する。
ステップS12において、コンテクストデータ取得部61は、ステップS11において取得したコンテクストデータを通信部19を介してモニタ装置3へ送信する。
ステップS21において、モニタ装置3のコンテクストデータ取得部811は、ステップS12においてコントローラ装置1から送信されたコンテクストデータを登録対象として取得する。
ステップS22において、制御コマンド取得部812は、制御コマンドリスト保持部91から登録対象の制御コマンドを取得する。
ステップS23において、対応付け実行部813は、ステップS21において取得された登録対象のコンテクストデータと、ステップS22において取得された登録対象の制御コマンドとの対応付けを実行する。
ステップS24において、対応付け結果提供部814は、ステップS23の対応付け結果(コンテクストデータと制御コマンドとの組)をコントローラ装置1に送信する。
ステップS13において、コントローラ装置1の対応付け結果取得部62は、ステップS24においてモニタ装置3から送信された対応付け結果を取得する。
ステップS14において、対応付け結果取得部62は、ステップS13において取得した対応付け結果を、対応付け結果保持部71に登録する。
以上、図6を用いて制御コマンド登録処理の流れについて説明した。次に、図7を用いて操作実行処理の流れについて説明する。
図7は、図5の情報処理システムを構成するコントローラ装置1及び特定装置2が操作実行処理を実行する場合における、相互の処理の関係について説明するアローチャートである。
ステップS31において、コントローラ装置1のコンテクストデータ取得部101は、特定装置2に対して指示を出すためのコンテクストデータを取得する。
ステップS32において、制御コマンド抽出部102は、ステップS31において取得されたコンテクストデータに対応付けられた制御コマンドを、対応付け結果保持部71から抽出する。
ステップS33において、制御コマンド発行部103は、ステップS32において抽出された制御コマンドを、通信部19を介して特定装置2に発行する。
ステップS41において、特定装置2は、ステップS33において発行された制御コマンドを受信する。
ステップS42において、特定装置2は、ステップS41において受信した制御コマンドを実行する。
以上、図6と図7を用いて、制御コマンド登録処理と操作実行処理との夫々の流れの例について説明した。
さらに以下、図8乃至図13を用いて、制御コマンド登録処理と操作実行処理との夫々について、具体例を参照しつつ詳細に説明する。まず、図8乃至図12を用いて制御コマンド登録処理について説明する。
さらに以下、図8乃至図13を用いて、制御コマンド登録処理と操作実行処理との夫々について、具体例を参照しつつ詳細に説明する。まず、図8乃至図12を用いて制御コマンド登録処理について説明する。
図8乃至図12は、図4の機能的構成を有する図2のコントローラ装置1及び図3のモニタ装置3により実行される、制御コマンド登録処理を説明する図である。
本例では、ユーザが、最終的に図12に示すようなモニタ装置3に表示される制御コマンドリスト200を完成させるまでの制御コマンド登録処理の各ステップの結果の例が、図8乃至図11の夫々に示されている。
モニタ装置3においては、制御コマンド登録処理は、所定のアプリケーション対応付けソフトウェアプログラム(以下、「対応付けソフトウェア」と呼ぶ。)により実行されるものとする。即ち、対応付けソフトウェアが起動されると、先ず図8の制御コマンドリスト200が表示されるものとする。
制御コマンドリスト200において、所定の一行は、対応付け結果保持部71に保持された、コンテクストデータ(図8の例では、音声又はジェスチャーのデータ)と制御コマンドの所定の1つの組を示している。
つまり、所定の一行のうち、左から1列目の項目には、当該行の組の番号「No.」が表示される。左から2列目の項目には、当該行の組に属する制御コマンドの名称「制御コマンド名」が表示される。左から3列目の項目には、当該行の組に属するコンテクストデータを示す「音声/ジェスチャー」が表示される。
つまり、所定の一行のうち、左から1列目の項目には、当該行の組の番号「No.」が表示される。左から2列目の項目には、当該行の組に属する制御コマンドの名称「制御コマンド名」が表示される。左から3列目の項目には、当該行の組に属するコンテクストデータを示す「音声/ジェスチャー」が表示される。
制御コマンドリスト200のうちの上から4行目(No.4)には、制御コマンドとコンテクストデータ(音声/ジェスチャー)との組は、未だ登録がされていない。そこで、上から4行目(No.4)に対して、制御コマンドとコンテクストデータ(音声/ジェスチャー)との新たな組を登録するものとする。
ここで、ユーザがコントローラ装置1を用いて所定の操作をすることで、制御コマンド登録処理が開始され、図9に示すような画面がモニタ装置3に表示される。
即ち、図9の画面のうち、左方にはメッセージ表示領域400が表示され、右方にはコンテクスト選択領域500が表示される。
メッセージ表示領域400とは、制御コマンド登録処理の進捗内容や、必要な操作の説明等のメッセージが表示される領域である。
コンテクスト選択領域500とは、登録対象のコンテクストデータの種類(本例では、音声又はジェスチャー)をユーザに選択させるための画像が表示される領域である。
即ち、図9の画面のうち、左方にはメッセージ表示領域400が表示され、右方にはコンテクスト選択領域500が表示される。
メッセージ表示領域400とは、制御コマンド登録処理の進捗内容や、必要な操作の説明等のメッセージが表示される領域である。
コンテクスト選択領域500とは、登録対象のコンテクストデータの種類(本例では、音声又はジェスチャー)をユーザに選択させるための画像が表示される領域である。
図9の例では、「音声とジェスチャーどっちにする??」というメッセージが記されたメッセージ表示領域400が表示される。ユーザはこのメッセージを視認すると、登録対象のコンテクストデータの種類として「音声」を選択するために、コントローラ装置1に対して「音声」と発話をするものとする。
これにより、図4のモニタ装置遠隔操作部63は、マイクロフォン16から入力された「音声」という音声データに基づいて、登録対象のコンテクストデータの種類として「音声」をユーザが選択したことを認識し、その旨をモニタ装置3に通知する。
モニタ装置3の操作部82は、コントローラ装置1からの通知を受けて、ユーザが「音声」を選択したことを認識し、表示制御部83に通知する。すると、表示制御部83は、図9に示すように、「音声」が選択されたことを示す画像501(コンテクスト選択領域500に表示された「音声」を囲む丸印を示す画像501)を表示させる。
これにより、図4のモニタ装置遠隔操作部63は、マイクロフォン16から入力された「音声」という音声データに基づいて、登録対象のコンテクストデータの種類として「音声」をユーザが選択したことを認識し、その旨をモニタ装置3に通知する。
モニタ装置3の操作部82は、コントローラ装置1からの通知を受けて、ユーザが「音声」を選択したことを認識し、表示制御部83に通知する。すると、表示制御部83は、図9に示すように、「音声」が選択されたことを示す画像501(コンテクスト選択領域500に表示された「音声」を囲む丸印を示す画像501)を表示させる。
次に、表示制御部83は、図10に示すような画面をモニタ装置3に表示させる。
即ち、図10に示すように、「どんな音声にする??」というメッセージが記されたメッセージ表示領域400が表示される。ユーザはこのメッセージを視認すると、登録対象のコンテクストとして「右に曲がれ」という音声をコントローラ装置1に対して発話する。
これにより、図6のステップS11において、コントローラ装置1のコンテクストデータ取得部61は、登録対象のコンテクストデータとして、「右に曲がれ」という音声データを取得する。
ステップS12において、コンテクストデータ取得部61は、「右に曲がれ」という音声データを、モニタ装置3へ送信する。
ステップS21において、モニタ装置3のコンテクストデータ取得部811は、「右に曲がれ」という音声データを、登録対象のコンテクストデータとして取得する。
即ち、図10に示すように、「どんな音声にする??」というメッセージが記されたメッセージ表示領域400が表示される。ユーザはこのメッセージを視認すると、登録対象のコンテクストとして「右に曲がれ」という音声をコントローラ装置1に対して発話する。
これにより、図6のステップS11において、コントローラ装置1のコンテクストデータ取得部61は、登録対象のコンテクストデータとして、「右に曲がれ」という音声データを取得する。
ステップS12において、コンテクストデータ取得部61は、「右に曲がれ」という音声データを、モニタ装置3へ送信する。
ステップS21において、モニタ装置3のコンテクストデータ取得部811は、「右に曲がれ」という音声データを、登録対象のコンテクストデータとして取得する。
次に、表示制御部83は、図11に示すような画面をモニタ装置3に表示させる。
即ち、図11の画面のうち、左方にはメッセージ表示領域400が表示され、右方には制御コマンド選択領域600が表示される。
制御コマンド選択領域600とは、特定装置2に対して発行され得る全ての制御コマンドのうち、登録対象の制御コマンドをユーザに選択させるための画像が表示される領域である。図11の例では、全ての制御コマンドのうち4つの制御コマンド、即ち「前進」、「ブレーキ」、「左折」、「右折」のみが表示されている。5つ以上の制御コマンドがある場合には、スクロール操作により全ての制御コマンドが表示可能なようになされている。
即ち、図11の画面のうち、左方にはメッセージ表示領域400が表示され、右方には制御コマンド選択領域600が表示される。
制御コマンド選択領域600とは、特定装置2に対して発行され得る全ての制御コマンドのうち、登録対象の制御コマンドをユーザに選択させるための画像が表示される領域である。図11の例では、全ての制御コマンドのうち4つの制御コマンド、即ち「前進」、「ブレーキ」、「左折」、「右折」のみが表示されている。5つ以上の制御コマンドがある場合には、スクロール操作により全ての制御コマンドが表示可能なようになされている。
即ち、図11に示すように、「制御コマンドはどれにする??」というメッセージが記されたメッセージ表示領域400が表示される。ユーザはこのメッセージを視認すると、登録対象の制御コマンドとして「右折」という音声をコントローラ装置1に対して発話する。
これにより、図4のモニタ装置遠隔操作部63は、マイクロフォン16から入力された「右折」という音声データに基づいて、登録対象の制御コマンドとして「右折」をユーザが選択したことを認識し、その旨をモニタ装置3に通知する。
モニタ装置3の操作部82は、コントローラ装置1からの通知を受けて、ユーザが「右折」を選択したことを認識し、表示制御部83に通知する。すると、表示制御部83は、図11に示すように、「右折」が選択されたことを示す画像601(制御コマンド選択領域600に表示された「右折」を囲む丸印を示す画像601)を表示させる。
さらに、図6のステップS22において、制御コマンド取得部812は、制御コマンドリスト保持部91から登録対象の制御コマンドとして「右折」を取得する。
これにより、図4のモニタ装置遠隔操作部63は、マイクロフォン16から入力された「右折」という音声データに基づいて、登録対象の制御コマンドとして「右折」をユーザが選択したことを認識し、その旨をモニタ装置3に通知する。
モニタ装置3の操作部82は、コントローラ装置1からの通知を受けて、ユーザが「右折」を選択したことを認識し、表示制御部83に通知する。すると、表示制御部83は、図11に示すように、「右折」が選択されたことを示す画像601(制御コマンド選択領域600に表示された「右折」を囲む丸印を示す画像601)を表示させる。
さらに、図6のステップS22において、制御コマンド取得部812は、制御コマンドリスト保持部91から登録対象の制御コマンドとして「右折」を取得する。
次に、ステップS23において、対応付け実行部813は、ステップS21において取得された登録対象のコンテクストデータ「右に曲がれ」と、ステップS22において取得された登録対象の制御コマンド「右折」との対応付けを実行する。
ステップS24において、対応付け結果提供部814は、ステップS23の対応付け結果をコントローラ装置1に送信する。
ステップS13において、コントローラ装置1の対応付け結果取得部62は、ステップS24においてモニタ装置3から送信された対応付け結果として、「右に曲がれ」と「右折」との組を取得する。
ステップS14において、対応付け結果取得部62は、ステップS13において取得した対応付け結果「右に曲がれ」と「右折」との組を、対応付け結果保持部71に登録する。
ステップS24において、対応付け結果提供部814は、ステップS23の対応付け結果をコントローラ装置1に送信する。
ステップS13において、コントローラ装置1の対応付け結果取得部62は、ステップS24においてモニタ装置3から送信された対応付け結果として、「右に曲がれ」と「右折」との組を取得する。
ステップS14において、対応付け結果取得部62は、ステップS13において取得した対応付け結果「右に曲がれ」と「右折」との組を、対応付け結果保持部71に登録する。
この間、モニタ装置3の表示制御部83は、図12に示す画面を表示させる。
即ち、制御コマンドリスト200のうちの上から4行目(No.4)に、コンテクストデータ「右に曲がれ」と制御コマンド「右折」との組が新たに登録されたことを示す内容が表示される。
また、メッセージ表示領域400には、「コマンドを登録したよ!!」と記されたメッセージが表示される。
即ち、制御コマンドリスト200のうちの上から4行目(No.4)に、コンテクストデータ「右に曲がれ」と制御コマンド「右折」との組が新たに登録されたことを示す内容が表示される。
また、メッセージ表示領域400には、「コマンドを登録したよ!!」と記されたメッセージが表示される。
以上、図8乃至図12を用いて、制御コマンド登録処理の流れの例について説明した。
さらに以下、図13を用いて、操作実行処理の具体例について説明する。
さらに以下、図13を用いて、操作実行処理の具体例について説明する。
図13は、図5の機能的構成を有する図2のコントローラ装置1により実行される操作実行処理を説明する図である。
本例では、ユーザは特定装置2を操作する必要があり、例えば、特定装置2を右折させるべく、コントローラ装置1に対して、「右に曲がれ」と発話をする。
これにより、図7のステップS31において、コントローラ装置1のコンテクストデータ取得部101は、特定装置2に対して指示を出すためのコンテクストデータとして、「右に曲がれ」という音声データを取得する。
ステップS32において、制御コマンド抽出部102は、ステップS31において取得されたコンテクストデータ「右に曲がれ」を含む組、即ち「右に曲がれ」と「右折」との組を対応付け結果保持部71から検索し、検索した組に含まれる制御コマンド「右折」を対応付け結果保持部71から抽出する。
ステップS33において、制御コマンド発行部103は、ステップS32において抽出された制御コマンド「右折」を、特定装置2に発行する。
ステップS41において、特定装置2は、ステップS33において発行された制御コマンド「右折」を受信する。
ステップS42において、特定装置2は、ステップS41において受信した制御コマンド「右折」に基づき、当該制御コマンド「右折」に対してコマンド実行処理として、特定装置2自身を右折させるように駆動する処理を実行する。
これにより、図7のステップS31において、コントローラ装置1のコンテクストデータ取得部101は、特定装置2に対して指示を出すためのコンテクストデータとして、「右に曲がれ」という音声データを取得する。
ステップS32において、制御コマンド抽出部102は、ステップS31において取得されたコンテクストデータ「右に曲がれ」を含む組、即ち「右に曲がれ」と「右折」との組を対応付け結果保持部71から検索し、検索した組に含まれる制御コマンド「右折」を対応付け結果保持部71から抽出する。
ステップS33において、制御コマンド発行部103は、ステップS32において抽出された制御コマンド「右折」を、特定装置2に発行する。
ステップS41において、特定装置2は、ステップS33において発行された制御コマンド「右折」を受信する。
ステップS42において、特定装置2は、ステップS41において受信した制御コマンド「右折」に基づき、当該制御コマンド「右折」に対してコマンド実行処理として、特定装置2自身を右折させるように駆動する処理を実行する。
以上本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
例えば、制御コマンドと対応付けられるものは、上述の実施形態では音声又はジェスチャーとされたが、特にこれに限定されず、上述した様に任意のコンテクストデータでよい。
また、制御コマンドと対応付けられるコンテクストデータは、1つに限定されず、任意の種類の任意の個数のコンテクストを採用することができる。例えば、「右折」という制御コマンドに対して、「曲がれ」という音声データと、コントローラ装置1を左から右に振るジェスチャー(それを示すデータ)とを組み合わせたものを対応付けてもよい。
さらに、コンテクストデータと対応付けられる制御コマンドは、1つに限定されず、任意の種類の任意の制御コマンドを採用することができる。例えば、「ジグザグ」という音声データに対して、「右折」という制御コマンドと、「左折」という制御コマンドとを夫々対応付けて、操作時には所定間隔毎に、「右折」と「左折」とを交互に発行させるようにしてもよい。
上記より、N個の制御コマンドとM個のコンテクストデータとを対応付けてもよい。
また、制御コマンドと対応付けられるコンテクストデータは、1つに限定されず、任意の種類の任意の個数のコンテクストを採用することができる。例えば、「右折」という制御コマンドに対して、「曲がれ」という音声データと、コントローラ装置1を左から右に振るジェスチャー(それを示すデータ)とを組み合わせたものを対応付けてもよい。
さらに、コンテクストデータと対応付けられる制御コマンドは、1つに限定されず、任意の種類の任意の制御コマンドを採用することができる。例えば、「ジグザグ」という音声データに対して、「右折」という制御コマンドと、「左折」という制御コマンドとを夫々対応付けて、操作時には所定間隔毎に、「右折」と「左折」とを交互に発行させるようにしてもよい。
上記より、N個の制御コマンドとM個のコンテクストデータとを対応付けてもよい。
例えば、コントローラ装置1の制御対象は、上述の実施形態では、特定装置2が採用されていた。
この特定装置2は、制御コマンドにより駆動が制御されるものであれば特に限定されず、例えばラジオコントロールにより駆動される模型や玩具、スマートフォン等の携帯端末、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム、デジタルカメラ、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ等でもよい。
さらに、コントローラ装置1の制御対象は、特定装置2に限定されず任意でよく、仮想空間内に存在するオブジェクトであってもよいし、レストランの予約等のシステムであってもよい。
この特定装置2は、制御コマンドにより駆動が制御されるものであれば特に限定されず、例えばラジオコントロールにより駆動される模型や玩具、スマートフォン等の携帯端末、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム、デジタルカメラ、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ等でもよい。
さらに、コントローラ装置1の制御対象は、特定装置2に限定されず任意でよく、仮想空間内に存在するオブジェクトであってもよいし、レストランの予約等のシステムであってもよい。
例えば、コンテクストデータと制御コマンドとの対応付けの手法は、上述した実施形態では、ユーザがコントローラ装置1を用いてモニタ装置3を遠隔操作し、その遠隔操作の内容に基づいて対応付けをする手法であったが、特にこれに限定されない。
例えば、ユーザはモニタ装置3を直接操作し、その直接操作の内容に基づいて対応付けをする手法を採用してもよい。
逆に、後述するように、対応付け部81(図4参照)をコントローラ装置1に設けることで、モニタ装置3を用いずに、ユーザはコントローラ装置1を直接操作し、その直接操作の内容に基づいて対応付けをする手法を採用することもできる。
例えば、ユーザはモニタ装置3を直接操作し、その直接操作の内容に基づいて対応付けをする手法を採用してもよい。
逆に、後述するように、対応付け部81(図4参照)をコントローラ装置1に設けることで、モニタ装置3を用いずに、ユーザはコントローラ装置1を直接操作し、その直接操作の内容に基づいて対応付けをする手法を採用することもできる。
このようなユーザによる明示的な操作を用いて、コンテクストデータと制御コマンドとを対応付ける場合、ユーザが幼児等であるときは、対応付けのための操作を飽きさせずに楽しんで行わせる工夫や、直感的かつ簡易な操作となる工夫があると好適である。
例えば、上述の例では単に、コンテクストデータと制御コマンドとの組の登録操作時においては、操作の進捗状況等が単にメッセージとしてメッセージ表示領域400に表示されるのみであった。これを、チャットボット機能を利用して、ユーザと対話をさせながら、ユーザに、登録操作に必要な操作をさせるようにすることもできる。
このチャットボット機能にAIを導入する等すると、例えば、次のような対話も成立するようになり、ユーザにとって便宜である。
例えばコンテクストデータ「止まれ」と制御コマンド「ブレーキ」との組が未だ登録されていないものとする。この場合、コンテクストデータ「進め」と制御コマンド「前進」との組が登録された後、ユーザが対応付け操作を終了しようとする際に、「ブレーキの制御コマンドは登録しないの??」等と話しかけるようにすることもできる。
例えば、上述の例では単に、コンテクストデータと制御コマンドとの組の登録操作時においては、操作の進捗状況等が単にメッセージとしてメッセージ表示領域400に表示されるのみであった。これを、チャットボット機能を利用して、ユーザと対話をさせながら、ユーザに、登録操作に必要な操作をさせるようにすることもできる。
このチャットボット機能にAIを導入する等すると、例えば、次のような対話も成立するようになり、ユーザにとって便宜である。
例えばコンテクストデータ「止まれ」と制御コマンド「ブレーキ」との組が未だ登録されていないものとする。この場合、コンテクストデータ「進め」と制御コマンド「前進」との組が登録された後、ユーザが対応付け操作を終了しようとする際に、「ブレーキの制御コマンドは登録しないの??」等と話しかけるようにすることもできる。
さらにいえば、コンテクストデータと制御コマンドとの対応付けの手法は、ユーザによる明示的な操作を用いる手法を採用する必要は特になく、自動的に対応付けをする手法を採用してもよい。
例えば、コントローラ装置1はコンテクストデータ取得部61を有している。
このコンテクストデータ取得部61を、コンテクストデータと制御コマンドとの組の登録時以外にも機能させておき、履歴データを蓄積することもできる。
そこで、対応付け部81は、この履歴データに基づいて、所定のコンテクストデータ(登録対象としてユーザが明示的に入力したものである必要は特にない)と、制御コマンドとの対応付けを自動的に行うことができる。
例えば、ユーザは、毎日帰宅すると、「ただいま」と発話し、室内照明とテレビジョン受像機の夫々のスイッチをつける傾向があるとする。
したがって、コンテクストデータ取得部61は、「ただいま」という音声データ(第1のコンテクストデータ)と、室内照明とテレビジョン受像機の夫々のスイッチが入ったという状態を示すデータ(第2のコンテクストデータ)とを、毎日繰り返し履歴データとして取得することになる。
そこで、対応付け部81は、第2のコンテクストデータに基づいて、室内照明に対する「スイッチオン」という制御コマンド(第1の制御コマンド)と、テレビジョン受像機に対する「スイッチオン」という制御コマンド(第2の制御コマンド)とを認識することができる。これにより、対応付け部81は、第1のコンテクストデータと、第1の制御コマンド及び第2の制御コマンドとの対応付けを自動的に行うことができる。
これにより、操作時において、ユーザは毎日帰宅して「ただいま」と発話すると、その「ただいま」という音声データ(第1のコンテクストデータ)に対応付けられた第1の制御コマンド及び第2の制御コマンドが発行される。その結果、ユーザが「ただいま」と発話するだけで、室内照明とテレビジョン受像機の夫々のスイッチが自動的にオン状態になる。
このコンテクストデータ取得部61を、コンテクストデータと制御コマンドとの組の登録時以外にも機能させておき、履歴データを蓄積することもできる。
そこで、対応付け部81は、この履歴データに基づいて、所定のコンテクストデータ(登録対象としてユーザが明示的に入力したものである必要は特にない)と、制御コマンドとの対応付けを自動的に行うことができる。
例えば、ユーザは、毎日帰宅すると、「ただいま」と発話し、室内照明とテレビジョン受像機の夫々のスイッチをつける傾向があるとする。
したがって、コンテクストデータ取得部61は、「ただいま」という音声データ(第1のコンテクストデータ)と、室内照明とテレビジョン受像機の夫々のスイッチが入ったという状態を示すデータ(第2のコンテクストデータ)とを、毎日繰り返し履歴データとして取得することになる。
そこで、対応付け部81は、第2のコンテクストデータに基づいて、室内照明に対する「スイッチオン」という制御コマンド(第1の制御コマンド)と、テレビジョン受像機に対する「スイッチオン」という制御コマンド(第2の制御コマンド)とを認識することができる。これにより、対応付け部81は、第1のコンテクストデータと、第1の制御コマンド及び第2の制御コマンドとの対応付けを自動的に行うことができる。
これにより、操作時において、ユーザは毎日帰宅して「ただいま」と発話すると、その「ただいま」という音声データ(第1のコンテクストデータ)に対応付けられた第1の制御コマンド及び第2の制御コマンドが発行される。その結果、ユーザが「ただいま」と発話するだけで、室内照明とテレビジョン受像機の夫々のスイッチが自動的にオン状態になる。
なお、第1の制御コマンドと第2の制御コマンドとの発行タイミングは、特に限定されず、同時であってもよいし、所定の順番であってもよい。
この場合の「所定の順番」は、任意でよいが、上述の第2のコンテクストデータの履歴に基づいて、ユーザが手動で行う順番を学習し、その順番を採用することで、ユーザにとって違和感のない自動操作が実現できる。
この場合の「所定の順番」は、任意でよいが、上述の第2のコンテクストデータの履歴に基づいて、ユーザが手動で行う順番を学習し、その順番を採用することで、ユーザにとって違和感のない自動操作が実現できる。
逆に、自動的に行われた対応付けの結果(自動的に生成された組)に基づいて、制御対象に対する自動操作が行われた場合、ユーザが何らかの取り消しや、やり直しの動作をした場合、コンテクストデータ取得部61は、その動作を示すデータ(第3のコンテクストデータ)を取得する。対応付け部81は、この第3のコンテクストデータの履歴に基づいて学習し、既存の対応付け結果を更新等することもできる。
具体的には例えば、ユーザは、この頃毎日帰宅すると、「ただいま」と発話し、室内照明とテレビジョン受像機の夫々のスイッチをつけるだけでなく、さらに、パーソナルコンピュータのスイッチをつける傾向に変化したとする。
この場合、上述の例では、「ただいま」と発話されると、室内照明とテレビジョン受像機のスイッチは自動的にON状態となるが、パーソナルコンピュータについては、ユーザが手動でスイッチをつけていることを示す第3のコンテクストデータが履歴として得られるはずである。
そこで、対応付け部81は、この第3のコンテクストデータの履歴に基づいて学習し、「ただいま」という音声データ(第1のコンテクストデータ)に対して、室内照明に対する「スイッチオン」という制御コマンド(第1の制御コマンド)と、テレビジョン受像機に対する「スイッチオン」という制御コマンド(第2の制御コマンド)とを対応付けるのみならず、さらに、パーソナルコンピュータに対する「スイッチオン」という制御コマンド(第3の制御コマンド)を対応付けることができる。
つまり、第1のコンテクストデータと、第1の制御コマンド及び第2の制御コマンドとの既存の組が、第1のコンテクストデータと、第1の制御コマンド、第2の制御コマンド及び第3の制御コマンドとの既存の組に更新される。
この場合、上述の例では、「ただいま」と発話されると、室内照明とテレビジョン受像機のスイッチは自動的にON状態となるが、パーソナルコンピュータについては、ユーザが手動でスイッチをつけていることを示す第3のコンテクストデータが履歴として得られるはずである。
そこで、対応付け部81は、この第3のコンテクストデータの履歴に基づいて学習し、「ただいま」という音声データ(第1のコンテクストデータ)に対して、室内照明に対する「スイッチオン」という制御コマンド(第1の制御コマンド)と、テレビジョン受像機に対する「スイッチオン」という制御コマンド(第2の制御コマンド)とを対応付けるのみならず、さらに、パーソナルコンピュータに対する「スイッチオン」という制御コマンド(第3の制御コマンド)を対応付けることができる。
つまり、第1のコンテクストデータと、第1の制御コマンド及び第2の制御コマンドとの既存の組が、第1のコンテクストデータと、第1の制御コマンド、第2の制御コマンド及び第3の制御コマンドとの既存の組に更新される。
例えば、ユーザにより予め登録されたコンテクストデータと、受け付けたコンテクストデータとを照合することで認証を行う認証機能を有していてもよい。
具体的には、例えば、ユーザにより予め「起動せよ」という音声データがコントローラ装置1に登録されている場合、コントローラ装置1は、改めてユーザにより発話された「起動せよ」という音声データと登録された音声データとを照合することで認証を行うことができてもよい。
具体的には、例えば、ユーザにより予め「起動せよ」という音声データがコントローラ装置1に登録されている場合、コントローラ装置1は、改めてユーザにより発話された「起動せよ」という音声データと登録された音声データとを照合することで認証を行うことができてもよい。
例えば、受け付けたコンテクストデータに対して、ユーザの所望の登録対象の制御コマンドが制御コマンドリストからは見当たらない場合、外部データベースサーバから、適当な制御コマンドを検索し、ユーザに提供する検索機能を有していてもよい。
具体的には、例えば、「左に回れ」という音声データに対して、制御コマンド「左旋回」が見当たらない場合、外部データベースサーバから、制御コマンド「左旋回」を検索して、ユーザに提供する機能を有していてもよい。
具体的には、例えば、「左に回れ」という音声データに対して、制御コマンド「左旋回」が見当たらない場合、外部データベースサーバから、制御コマンド「左旋回」を検索して、ユーザに提供する機能を有していてもよい。
例えば、上述の実施形態では、モニタ装置3はパーソナルコンピュータで構成されていたが、パーソナルコンピュータだけでなく、タブレットや今後の新しいデバイスを含めた任意の装置で構成することもできる。
図2及び図3の夫々に示す各ハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
また、図4及び図5に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図4及び図5の例に限定されない。
さらに、機能ブロックの存在場所も、図4及び図5に限定されず、任意でよい。
例えばモニタ装置3側の機能ブロックの少なくとも一部をコントローラ装置1側に設けてもよいし、その逆でもよい。
具体的には例えば、対応付け部81は、上述の実施形態ではモニタ装置3側に設けられているが(図4参照)、特にこれに限定されず、コントローラ装置1側に設けてもよい。
そして、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体との組み合わせで構成してもよい。
例えばモニタ装置3側の機能ブロックの少なくとも一部をコントローラ装置1側に設けてもよいし、その逆でもよい。
具体的には例えば、対応付け部81は、上述の実施形態ではモニタ装置3側に設けられているが(図4参照)、特にこれに限定されず、コントローラ装置1側に設けてもよい。
そして、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体との組み合わせで構成してもよい。
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図3のリムーバブルメディア51により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア51は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図3のROM32や、図3の記憶部37に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
1以上の制御コマンドを用いて制御対象(例えば図5等の特定装置2)を制御する制御装置(例えば図4等のコントローラ装置1)を少なくとも含む情報処理システムであって、
ユーザが前記制御対象に対して所定の指示をするためのコンテクストデータと、当該所定の指示に対応する制御コマンドとの組を1以上登録する登録手段(例えば図4の機能ブロックが機能しているCPU11)と、
ユーザが前記制御対象に対して指示を出すために、所定のコンテクストデータを前記制御装置に入力した場合、前記登録手段の登録結果に基づいて、当該所定のコンテクストデータと同一組に属する制御コマンドを発行することで、前記制御対象を制御する制御手段(例えば図5の機能ブロックが機能しているCPU11)と、
を備え
前記登録手段は、
登録対象のコンテクストデータを取得する第1コンテクストデータ取得手段(例えば図4のコンテクストデータ取得部811)と、
登録対象の制御コマンドを取得する制御コマンド取得手段(例えば図4の制御コマンド取得部812)と、
前記登録対象のコンテクストデータと前記登録対象の制御コマンドとを対応付ける対応付け手段(例えば図4の対応付け実行部813)と、
前記対応付け手段により対応付けられた前記制御コマンドと前記コンテクストデータとの組を1以上登録して保持する保持手段(例えば図4の対応付け結果保持部71)と、
を含み、
前記制御手段は、
ユーザが前記制御対象に対して指示を出すために前記制御装置に入力した所定のコンテクストデータを取得する第2コンテクストデータ取得手段(例えば図5のコンテクストデータ取得部101)と、
前記保持手段により登録されて保持されている1以上の前記組の中から、前記第2コンテクストデータ取得手段により取得された前記コンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する抽出手段(例えば図5の制御コマンド抽出部102)と、
前記抽出手段により抽出された前記制御コマンドを前記制御対象に対して発行するコマンド発行手段(例えば図5の制御コマンド発行部103)と、
を備える、
情報処理システムであれば足りる。
このような情報処理システムを適用することで、ユーザの所望の操作指示で制御対象を自在に制御可能にすることができる。
即ち、本発明が適用される情報処理システムは、
1以上の制御コマンドを用いて制御対象(例えば図5等の特定装置2)を制御する制御装置(例えば図4等のコントローラ装置1)を少なくとも含む情報処理システムであって、
ユーザが前記制御対象に対して所定の指示をするためのコンテクストデータと、当該所定の指示に対応する制御コマンドとの組を1以上登録する登録手段(例えば図4の機能ブロックが機能しているCPU11)と、
ユーザが前記制御対象に対して指示を出すために、所定のコンテクストデータを前記制御装置に入力した場合、前記登録手段の登録結果に基づいて、当該所定のコンテクストデータと同一組に属する制御コマンドを発行することで、前記制御対象を制御する制御手段(例えば図5の機能ブロックが機能しているCPU11)と、
を備え
前記登録手段は、
登録対象のコンテクストデータを取得する第1コンテクストデータ取得手段(例えば図4のコンテクストデータ取得部811)と、
登録対象の制御コマンドを取得する制御コマンド取得手段(例えば図4の制御コマンド取得部812)と、
前記登録対象のコンテクストデータと前記登録対象の制御コマンドとを対応付ける対応付け手段(例えば図4の対応付け実行部813)と、
前記対応付け手段により対応付けられた前記制御コマンドと前記コンテクストデータとの組を1以上登録して保持する保持手段(例えば図4の対応付け結果保持部71)と、
を含み、
前記制御手段は、
ユーザが前記制御対象に対して指示を出すために前記制御装置に入力した所定のコンテクストデータを取得する第2コンテクストデータ取得手段(例えば図5のコンテクストデータ取得部101)と、
前記保持手段により登録されて保持されている1以上の前記組の中から、前記第2コンテクストデータ取得手段により取得された前記コンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する抽出手段(例えば図5の制御コマンド抽出部102)と、
前記抽出手段により抽出された前記制御コマンドを前記制御対象に対して発行するコマンド発行手段(例えば図5の制御コマンド発行部103)と、
を備える、
情報処理システムであれば足りる。
このような情報処理システムを適用することで、ユーザの所望の操作指示で制御対象を自在に制御可能にすることができる。
また、情報処理システムは、
前記コンテクストデータと前記制御コマンドとの対応付けの処理を支援するための画像を、所定の表示部デバイスに表示させる表示制御手段(例えば図4の表示制御部83)と、
前記ユーザによる当該処理の実行に必要な指示操作を受け付ける受付手段(例えば図4のモニタ装置遠隔操作部63)と、
をさらに備えるようにしてもよい。
これにより、ユーザが所望のコンテクストデータと所望の制御コマンドを対応付けする操作を直感的に、かつ、楽しみながら行うことができる。
前記コンテクストデータと前記制御コマンドとの対応付けの処理を支援するための画像を、所定の表示部デバイスに表示させる表示制御手段(例えば図4の表示制御部83)と、
前記ユーザによる当該処理の実行に必要な指示操作を受け付ける受付手段(例えば図4のモニタ装置遠隔操作部63)と、
をさらに備えるようにしてもよい。
これにより、ユーザが所望のコンテクストデータと所望の制御コマンドを対応付けする操作を直感的に、かつ、楽しみながら行うことができる。
1・・・コントローラ装置,2・・・特定装置,3・・・モニタ装置,11・・・CPU,16・・・マイクロフォン,17・・・センサ群,18・・・記憶部,19・・・通信部,61・・・コンテクストデータ取得部、62・・・対応付け結果取得部、63・・・モニタ装置遠隔操作部,71・・・対応付け結果保持部,31・・・CPU,37・・・記憶部,38・・・通信部,39・・・表示部,81・・・対応付け部、82・・・操作部、83・・・表示制御部、811・・・コンテクストデータ取得部、812・・・制御コマンド取得部、813・・・対応付け実行部、814・・・対応付け結果提供部,91・・・制御コマンドリスト保持部,101・・・コンテクストデータ取得部、102・・・制御コマンド抽出部、103・・・制御コマンド発行部
Claims (4)
- 1以上の制御コマンドを用いて制御対象を制御する制御装置を少なくとも含む情報処理システムにおいて、
ユーザが前記制御対象に対して所定の指示をするためのコンテクストデータと、当該所定の指示に対応する制御コマンドとの組を1以上登録する登録手段と、
ユーザが前記制御対象に対して指示を出すために、所定のコンテクストデータを前記制御装置に入力した場合、前記登録手段の登録結果に基づいて、当該所定のコンテクストデータと同一組に属する制御コマンドを発行することで、前記制御対象を制御する制御手段と、
を備え
前記登録手段は、
登録対象のコンテクストデータを取得する第1コンテクストデータ取得手段と、
登録対象の制御コマンドを取得する制御コマンド取得手段と、
前記登録対象のコンテクストデータと前記登録対象の制御コマンドとを対応付ける対応付け手段と、
前記対応付け手段により対応付けられた前記制御コマンドと前記コンテクストデータとの組を1以上登録して保持する保持手段と、
を含み、
前記制御手段は、
ユーザが前記制御対象に対して指示を出すために前記制御装置に入力した所定のコンテクストデータを取得する第2コンテクストデータ取得手段と、
前記保持手段により登録されて保持されている1以上の前記組の中から、前記第2コンテクストデータ取得手段により取得された前記コンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する抽出手段と、
前記抽出手段により抽出された前記制御コマンドを前記制御対象に対して発行するコマンド発行手段と、
を含む情報処理システム。 - 前記コンテクストデータと前記制御コマンドとの対応付けの処理を支援するための画像を、所定の表示部デバイスに表示させる表示制御手段と、
前記ユーザによる当該処理の実行に必要な指示操作を受け付ける受付手段と、
をさらに備える請求項1に記載の情報処理システム。 - ユーザによる操作を受け付ける情報処理システムが実行する情報処理方法であって、
前記ユーザが前記制御対象に対して所定の指示をするためのコンテクストデータと、当該所定の指示に対応する制御コマンドとの組を1以上登録する登録ステップと、
ユーザが前記制御対象に対して指示を出すために、所定のコンテクストデータを前記制御装置に入力した場合、前記登録ステップの登録結果に基づいて、当該所定のコンテクストデータと同一組に属する制御コマンドを発行することで、前記制御対象を制御する制御ステップと、
を含み、
前記登録ステップは、
登録対象のコンテクストデータを取得する第1コンテクストデータ取得ステップと、
登録対象の制御コマンドを取得する制御コマンド取得ステップと、
前記登録対象のコンテクストデータと前記登録対象の制御コマンドとを対応付ける対応付けステップと、
前記対応付けステップにより対応付けられた前記制御コマンドと前記コンテクストデータとの組を1以上登録して保持する保持ステップと、
を含み、
前記制御ステップは、
ユーザが前記制御対象に対して指示を出すために前記制御装置に入力した所定のコンテクストデータを取得する第2コンテクストデータ取得ステップと、
前記保持ステップにより登録されて保持されている1以上の前記組の中から、前記第2コンテクストデータ取得ステップにより取得された前記コンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する抽出ステップと、
前記抽出ステップにより抽出された前記制御コマンドを前記制御対象に対して発行するコマンド発行する、
ステップを含む、
情報処理方法。 - ユーザによる操作を受け付けるコンピュータを、
前記ユーザが前記制御対象に対して所定の指示をするためのコンテクストデータと、当該所定の指示に対応する制御コマンドとの組を1以上登録する登録手段、
ユーザが前記制御対象に対して指示を出すために、所定のコンテクストデータを前記制御装置に入力した場合、前記登録手段の登録結果に基づいて、当該所定のコンテクストデータと同一組に属する制御コマンドを発行することで、前記制御対象を制御する制御手段、
として機能させ、
前記登録手段は、
登録対象のコンテクストデータを取得する第1コンテクストデータ取得手段、
登録対象の制御コマンドを取得する制御コマンド取得手段、
前記登録対象のコンテクストデータと前記登録対象の制御コマンドとを対応付ける対応付け手段、
前記対応付け手段により対応付けられた前記制御コマンドと前記コンテクストデータとの組を1以上登録して保持する保持手段、
を含み、
前記制御手段は、
ユーザが前記制御対象に対して指示を出すために前記制御装置に入力した所定のコンテクストデータを取得する第2コンテクストデータ取得手段、
前記保持手段により登録されて保持されている1以上の前記組の中から、前記第2コンテクストデータ取得手段により取得された前記コンテクストデータを含む組を特定し、特定した当該組に属する制御コマンドを抽出する抽出手段、
前記抽出手段により抽出された前記制御コマンドを前記制御対象に対して発行するコマンド発行する、
ように機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016115290A JP2017220089A (ja) | 2016-06-09 | 2016-06-09 | 情報処理システム、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016115290A JP2017220089A (ja) | 2016-06-09 | 2016-06-09 | 情報処理システム、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017220089A true JP2017220089A (ja) | 2017-12-14 |
Family
ID=60658013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016115290A Pending JP2017220089A (ja) | 2016-06-09 | 2016-06-09 | 情報処理システム、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017220089A (ja) |
-
2016
- 2016-06-09 JP JP2016115290A patent/JP2017220089A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10244293B2 (en) | Information processing apparatus, information processing method, and program | |
JP6752870B2 (ja) | 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム | |
WO2016185809A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR101992676B1 (ko) | 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치 | |
US9992642B1 (en) | Automated messaging | |
JP6440513B2 (ja) | 音声認識機能を用いた情報提供方法および機器の制御方法 | |
US20170010859A1 (en) | User interface system, user interface control device, user interface control method, and user interface control program | |
JP2016519805A (ja) | 複数のデバイス上でコンテンツを提供すること | |
US12003804B2 (en) | Information processing device, information processing method, and computer program | |
US10241753B2 (en) | Apparatus and method for controlling the apparatus by a user | |
US20190129517A1 (en) | Remote control by way of sequences of keyboard codes | |
WO2018105373A1 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
WO2016152200A1 (ja) | 情報処理システムおよび情報処理方法 | |
JP6229071B2 (ja) | 制御装置、制御方法、プログラム及び情報記憶媒体 | |
US11978252B2 (en) | Communication system, display apparatus, and display control method | |
JPWO2017175442A1 (ja) | 情報処理装置、および情報処理方法 | |
CN109951741A (zh) | 数据对象信息展示方法、装置及电子设备 | |
JP6670364B2 (ja) | 音声認識機能を用いた情報提供方法および機器の制御方法 | |
JP6950708B2 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
JP2017220089A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2016071177A (ja) | カラオケ管理システム | |
EP3809712A1 (en) | Information processing device and information processing method | |
JP2016062071A (ja) | 電子機器、方法およびプログラム | |
JP2017068592A (ja) | ロボット、ロボット制御装置、ロボット制御方法、及びプログラム | |
KR20180133359A (ko) | 게임 플레이어 매칭 방법 및 장치 |