次に、本発明の一実施形態について、図面を参照しながら説明する。本実施形態は、テレビ番組やインターネットのオンデマンドコンテンツなどといったコンテンツを再生させたユーザー(視聴者)が、例えばスマートフォン等の装置(語彙リスト利用装置5)を用いてアクション(文字入力等)を起こす場合に、再生したコンテンツに関連したアクションが(例えば予測の上位に)提示されるように、アクションリストを作成して提供するものである。上記の語彙リスト利用装置5は、例えば、文字入力を補助する機能であるIME等を稼働させる。語彙リスト提供装置1は、そのような語彙リスト利用装置5に、番組に関連したアクションを持つアクションリストを提供する。
本実施形態では、語彙リスト提供装置1や語彙リストサーバー装置2やコンテンツ再生装置3や機器管理装置4や語彙リスト利用装置5やIoT機器7が、通信ネットワークやその他の通信手段によって相互に接続される。所定のトリガーに基づき、語彙リスト提供装置1は、コンテンツ再生装置3で再生されたコンテンツを特定するための情報を取得する。ここでの所定のトリガーは、例えば、設定されたタイマーの満了や、コンテンツ再生装置3側でのコンテンツ選択(例えば、テレビのチャンネル選択や、番組の切り替え等を含む)がなされることや、語彙リスト利用装置5からの要求等を含む。コンテンツを特定する情報とは、放送のサービスを特定する情報や、放送におけるイベントを特定する情報や、インターネット等でアクセス可能な情報資源を特定する情報(URL、URI等)や、コンテンツ配信時刻に関する情報を含む。語彙リスト提供装置1は、コンテンツを特定する情報を、視聴履歴としてデータベース等に蓄積してよい。また、語彙リスト提供装置1は、コンテンツを特定する情報を語彙リストサーバー装置2に送信するとともに、その情報によって特定されるコンテンツに応じたアクション候補のリストを、語彙リストサーバー装置2から受信する。アクション候補は、IoT機器7(デバイス)を制御するためのアクションであってもよい。アクション候補がIoT機器7を制御するものである場合、語彙リスト提供装置1は、アクション候補に含まれる情報の一部を、当該ユーザーが実際に保持するIoT機器7の情報で置換することができる。より一般的には、アクション候補がIoT機器7を制御するものである場合、語彙リスト提供装置1は、アクション候補を当該ユーザーが実際に保持するIoT機器7に応じてカスタマイズすることができる。ユーザーが実際に保持するIoT機器7のリストの情報を、確定IoT機器リストと呼ぶことができる。また、語彙リスト提供装置1が語彙リストサーバー装置2から受信した語彙リストを、「抽出語彙リスト」と呼ぶことができる。また、抽出語彙リストを基に、確定IoT機器リストの情報を用いてカスタマイズした結果の語彙リストを、確定語彙リストと呼ぶことができる。語彙リスト提供装置1は語彙リスト利用装置5へ確定語彙リストを送信する。語彙リスト利用装置5は、受信した確定語彙リストに基づいて、ユーザーによる操作を補助することができる。つまり、本実施形態では、再生されたコンテンツの特定情報に応じて、確定語彙リストを用いて、ユーザーによる操作を補助することができる。
上述した語彙リストを一般化したものは、アクションリストである。つまり、抽出語彙リストは、より一般的には抽出アクションリストと呼ばれる。また、確定語彙リストは、より一般的には確定アクションリストと呼ばれる。本実施形態では、入力補助(いわゆる「かな漢変換」)のための文字列(あるいはその文字列の確定動作)や、特定の情報資源にアクセスするための動作(あるいはその情報)や、機器(デバイス)を制御するための指令等が、アクションの例である。つまり、アクションとは、変換後文字列や、特定のURLへのアクセスや、機器制御の動作を含む。なお、本実施形態において、わかりやすさのために、アクションリストを語彙リストと呼ぶ場合がある。
本実施形態において用いるその他の用語について、ここにまとめる。「URL」は「ユニフォームリソースロケーター」の略である。「アプリケーションプログラム」のことを「アプリ」と呼ぶ場合がある。on_id、ts_id、sv_id、ev_idは、それぞれ、オリジナルネットワークID(original_network_id)、トランスポートストリームID(transport_stream_id)、サービスID(service_id)、イベントID(event_id)を表す。これらのIDは、ARIB TR-B14およびARIB TR-B15の規格において規定される。「IoT」は、「Internet of Things」(もののインターネット)の略である。「GPS」は、「グローバルポジショニングシステム」の略である。「LAN」は、「ローカルエリアネットワーク」の略である。
図1は、本実施形態によるシステムの全体的な機能構成を示すブロック図である。図示するように、システム1000は、語彙リスト提供装置1と、語彙リストサーバー装置2と、コンテンツ再生装置3と、機器管理装置4と、語彙リスト利用装置5と、データ供給元装置6と、IoT機器7とを含んで構成される。これらの各装置は、少なくとも一部において電子回路を用いることによって、情報を処理する機能を持つ。また、各装置の機能の少なくとも一部は、汎用のコンピューターとプログラムとを用いて実現されてもよい。システム1000のこれらの構成要素のうち、語彙リスト提供装置1と、コンテンツ再生装置3と、機器管理装置4と、語彙リスト利用装置5と、IoT機器7とを含む範囲を、ユーザーシステム900と呼んでもよい。なお、システム1000を構成する各装置は、通信ネットワークを介して、他の装置との間で相互に通信を行うことができる。なお、図1において、1ユーザー分のユーザーシステム900だけを示している。実際には、例えば、1台の語彙リストサーバー装置2が、多数のユーザーシステム900(語彙リスト提供装置1)に対して語彙リストを提供することが可能である。
語彙リスト提供装置1は、アクションリスト提供装置とも呼ばれる。語彙リストサーバー装置2は、アクションリストサーバー装置とも呼ばれる。語彙リスト利用装置5は、アクションリスト利用装置とも呼ばれる。
図1に示した装置のうちの複数を、1つの装置としてまとめてもよい。例えば、語彙リスト提供装置1と、語彙リスト利用装置5との機能を、まとめて、1つの装置として実現してもよい。また、例えば、語彙リスト提供装置1と、コンテンツ再生装置3との機能を、まとめて、1つの装置として実現してもよい。また、例えば、語彙リスト提供装置1と、機器管理装置4との機能を、まとめて、1つの装置として実現してもよい。さらに、図1に示す3つ以上の装置の機能をまとめて1つの装置として実現してもよい。1つの装置としてまとめたものは、例えば、スマートフォンや、PC(パーソナルコンピューター)や、タブレット端末装置や、腕時計型端末装置や、その他のウェアラブル端末装置などとして実現可能である。
語彙リスト提供装置1は、コンテンツ再生装置3におけるコンテンツの再生(視聴)履歴に基づく語彙リスト(アクションリスト)を、語彙リスト利用装置5に提供する。そのために、語彙リスト提供装置1は、コンテンツ再生装置3から、再生されたコンテンツを特定するための情報を受信する。語彙リスト提供装置1は、コンテンツを特定するための情報を、履歴として蓄積することができる。語彙リスト提供装置1は、蓄積されたデータに基づくコンテンツ視聴履歴を、語彙リストサーバー装置2に送信する。語彙リスト提供装置1は、そのコンテンツ視聴履歴に応じた語彙リストを、語彙リストサーバー装置2から受け取る。語彙リスト提供装置1は、語彙リストサーバー装置2から受信した語彙リスト内の、デバイス(機器、IoT機器7)に関する情報を、自ユーザーシステム900用にカスタマイズする機能を有する。そのために、語彙リスト提供装置1は、機器管理装置4に対して問い合わせを行うことによって、自ユーザーシステム900において管理するIoT機器7のリストの情報を受信する。これにより、語彙リスト提供装置1は、語彙リストが持つ機器の情報を、自ユーザーシステム900が持つ具体的な機器の情報にあわせて具体化することができる。機器の情報を用いた具体化については、後で詳述する。語彙リスト提供装置1は、機器管理装置4から受け取った機器リストに基づいて確定させた確定語彙リストを、語彙リスト利用装置5に提供する。
なお、語彙リスト提供装置1上で稼働するアプリは、必要な場合に、ハイブリッドキャストコネクトの機能を用いて、コンテンツ再生装置3上で稼働するアプリと連係動作することができる。
語彙リストサーバー装置2は、語彙リスト提供装置1に、語彙リストのデータを渡す機能を備える。語彙リストサーバー装置2は、語彙リスト提供装置1からコンテンツの視聴履歴に関するデータを受信し、その視聴履歴に関連するアクションの候補を、語彙リストとして語彙リスト提供装置1に送信する。語彙リストのデータの詳細については、後述する。語彙リストサーバー装置2は、単体のサーバー装置ではなくてもよい。例えば、複数の事業者らがサーバーを分散配置する構成(分散データベースや、クラウドサーバーの技術を利用)で、語彙リストサーバー装置2を実現するようにしてもよい。
コンテンツ再生装置3は、主として映像と音声で構成されるコンテンツを再生する装置である。具体的には、コンテンツ再生装置3は、テレビ放送信号を受信してテレビ番組の映像等を提示するテレビ受像機や、インターネット等の通信回線を介して動画コンテンツを受信しその動画を再生するPCやスマートフォンやタブレット端末装置等のいずれかであってもよい。コンテンツ再生装置3は、テレビの放送信号を受信する際には、特定のサービス(チャンネル)を選局する。また、コンテンツ再生装置3は、例えば特定のURLを指定することによって、インターネット経由で、動画コンテンツを再生してもよい。コンテンツ再生装置3がテレビ受像機である場合、そのテレビ受像機が持つ機能として本実施形態で必要とされる機能を実現してもよいし、そのテレビ受像機上で稼働するアプリの機能として本実施形態で必要とされる機能を実現してもよい。なお、コンテンツ再生装置3は、ハイブリッドキャスト機能を備えたテレビ受像機であってもよい。コンテンツ再生装置3は、ハイブリッドキャスト機能を備える場合、ハイブリッドキャストコネクト等の通信手段を用いることによって、自装置上で稼働するアプリと、他装置(例えば、語彙リスト提供装置1)上で稼働するアプリとを連携させることができる。
機器管理装置4は、ユーザー等が保有する機器の情報を管理する。機器管理装置4は、例えば、ホームサーバーコンピューターや、PCや、スマートフォン等の装置を用いて実現される。機器管理装置4は、例えば、ユーザーの家庭内あるいは事業所内等に存在するすべてのIoT機器の情報を管理する。
語彙リスト利用装置5は、語彙リスト提供装置1が提供する語彙リストを利用するための装置である。語彙リスト利用装置5は、語彙リストを利用するための機能を持つ。例えば、語彙リスト利用装置5上で稼働するアプリが、提供された語彙リストを利用することができる。語彙リスト利用装置5において語彙リストを利用するアプリの典型例は、文字入力補助機能であるIMEである。IMEは、Input method editorあるいはInput method engineの略である。
データ供給元装置6は、語彙リストデータベース210に登録するためのデータを供給する装置である。例えば、データ供給元装置6は、所定の書式で作成されたデータを、インターネット等を介して、語彙リストサーバー装置2にアップロードする。語彙リストサーバー装置2は、データ供給元装置6から受信したデータの確認処理等を必要に応じて行ったうえで、そのデータを語彙リストデータベース210にインポートする。データ供給元装置6は、例えば、テレビ放送を行う放送局や、インターネットでのコンテンツ配信を行う配信事業者や、それらの番組等を制作する制作会社や、サードパーティーの会社や、ユーザー(視聴者)等によって保持され、運営される。データ供給元装置6がデータを供給することにより、語彙リストデータベース210のデータは、コンテンツの内容等に応じて随時アップデートされる。
IoT機器7は、無線LAN等の手段を介して他の装置との間で通信を行うことが可能な機器である。IoT機器7は、例えば、無線LANを介して、語彙リスト利用装置5から制御されたり、語彙リスト利用装置5に対して情報を送ったりする。また、IoT機器7は、無線LAN等を用いて、機器管理装置4との間で通信を行う。これにより、機器管理装置4は、近傍(例えば、家屋内等)に存在するIoT機器7を発見し、その情報を収集することができる。なお、IoT機器7は、具体的には、あらゆる種類の機器であり得る。限られた例を列挙すると、IoT機器7は、シャッターや、掃除機や、洗濯機や、空調機や、冷蔵庫や、調理器具や、施錠装置や、温度計や、湿度計や、風量計等である。ただし、IoT機器7は、ここに例示列挙したものには限られない。1ユーザーのユーザーシステム900内に、任意の数のIoT機器7が存在していてもよい。
図1に示す各装置内の機能構成についてさらに説明する。
語彙リスト提供装置1は、コンテンツ視聴履歴データベース110(コンテンツ履歴データベース)と、コンテンツ特定情報取得部111と、語彙リスト取得部112(アクションリスト取得部)と、機器情報取得部113(デバイス情報取得部)と、語彙リスト提供部114(アクションリスト提供部)とを含んで構成される。
コンテンツ視聴履歴データベース110は、再生されたコンテンツを特定したコンテンツ特定情報の履歴であるコンテンツ履歴を保持するデータベースである。
コンテンツ特定情報取得部111は、再生されたコンテンツを特定する情報であるコンテンツ特定情報を、コンテンツ再生装置3から取得する。コンテンツ特定情報取得部111は、取得したコンテンツ特定情報をコンテンツ視聴履歴データベース110に書き込む。これにより、コンテンツ視聴履歴データベース110には、視聴されたコンテンツのコンテンツ特定情報が蓄積される。つまり、コンテンツ視聴履歴データベース110は、コンテンツの視聴履歴を保持する。
なお、コンテンツ特定情報取得部111が取得するコンテンツ特定情報は、(1)放送信号のオリジナルネットワークIDとトランスポートストリームIDとサービスIDとの組である放送信号特定情報、または(2)インターネットでアクセス可能なURL、の少なくともいずれかを含む。(1)の場合の放送信号のオリジナルネットワークIDとトランスポートストリームIDとサービスIDの組は、テレビ放送の編成サービス(チャンネル)を特定する。これにより、コンテンツ特定情報取得部111は、編成サービスを特定した視聴履歴を取得できる。なお、(1)の場合、上記の放送信号特定情報は、放送信号のイベントIDをさらに含むようにしてもよい。これにより、コンテンツ特定情報取得部111は、イベントIDを用いて、テレビ放送におけるイベント(特定の番組等)を特定する。これらのような視聴履歴に基づいて、語彙リスト提供装置1が、アクションリストを提供するようにしてもよい。(2)の場合のURLは、インターネットでアクセス可能なコンテンツ(例えば、オンデマンドの動画コンテンツ)を特定する。これにより、コンテンツ特定情報取得部111は、URLを特定した視聴履歴を取得できる。このような視聴履歴に基づいて、語彙リスト提供装置1が、アクションリストを提供するようにしてもよい。
語彙リスト取得部112は、コンテンツ履歴を語彙リストサーバー装置2に対して送信して、そのコンテンツ履歴に関連して抽出されたアクションの候補のリストである抽出語彙リスト(抽出アクションリスト)を取得する。
本実施形態においては、上記のアクションは、文字列を入力する際の確定文字列の候補(テキスト)と、特定の情報リソースにアクセスするためのURL(およびそのURLへのハイパーリンク)と、デバイス(IoT機器7)を制御する処理であるデバイス制御の、それぞれのアクションを含む。アクションが前記デバイス制御のアクションである場合に、前記抽出語彙リストはデバイスタイプの情報を含む。デバイスタイプの情報は、後述するように、例えば「IoTシャッター」などといったデバイスの種類を表す情報である。また、抽出語彙リストは、語彙リスト利用装置5(確定語彙リストを利用する装置)が画面に表示するための表示情報の項目を持つようにしてもよい。また、その表示情報の項目の一部を、確定機器リストに含まれる情報(例えば、デバイス名)で置換する(つまり、情報を埋め込む)ようにしてもよい。
機器情報取得部113は、機器管理装置4に対してデバイス(IoT機器7)に関する条件を送信し、その条件に合うデバイスの情報を機器リスト(確定機器リスト)として受信する。機器情報取得部113は、受信された抽出語彙リストに含まれる特定のデバイスタイプに関する条件を、前記の条件として、機器管理装置4に対して送信してもよい。また、機器情報取得部113は、受信された抽出語彙リストに含まれる特定の動作名に関する条件を、前記の条件として、機器管理装置4に対して送信してもよい。また、機器情報取得部113は、複数のデータ項目に関する複合的な条件(例えば、デバイスタイプに関する条件と、動作名に関する条件の、複合条件)を、前記の条件として、機器管理装置4に対して送信してもよい。
語彙リスト提供部114は、抽出語彙リスト(抽出アクションリスト)に基づく確定語彙リスト(確定アクションリスト)を作成する。具体的には、語彙リスト提供部114は、機器情報取得部113が受信する確定機器リストの情報に含まれる個別のデバイスの情報を反映した前記確定アクションリストを作成してよい。また、アクションがデバイス制御のアクションである場合に、語彙リスト提供部114は、機器情報取得部113が受信した機器リストの情報に含まれる個別のデバイスのデバイス名を、表示情報の項目内に埋め込むことによって確定語彙リストを作成してもよい。そして、語彙リスト提供部114は、作成した確定語彙リストを語彙リスト利用装置5に提供する。
語彙リストサーバー装置2は、内部に語彙リストデータベース210(アクションリストデータベース)を含むように構成される。語彙リストデータベース210は、再生されたコンテンツと関連付けられたアクションに関するデータを記憶する。語彙リストデータベース210の、より具体的な構成については、後述する。
また、機器管理装置4は、内部に機器管理データベース410を含むように構成される。機器管理データベース410は、当該ユーザーシステム900内に含まれるIoT機器7を管理するためのデータを記憶する。機器管理データベース410の、より具体的な構成については、後述する。
なお、データベースは、必ずしも各装置の内部だけに存在しなくてもよい。例えば、コンテンツ視聴履歴データベース110の少なくとも一部は、語彙リスト提供装置1の外部に存在してもよい。また、語彙リストデータベース210の少なくとも一部は、語彙リストサーバー装置2の外部に存在してもよい。また、機器管理データベース410の少なくとも一部は、機器管理装置4の外部に存在してもよい。具体的には、各データベースのデータの実体の一部が、外部のストレージ(クラウドストレージを含む)に記憶されていてもよい。
語彙リスト利用装置5は、語彙リスト取得部501(アクションリスト取得部)と、語彙リスト利用機能部502(アクションリスト利用機能部)とを含んで構成される。
語彙リスト取得部501は、語彙リスト提供装置1の語彙リスト提供部114が提供する確定語彙リストを取得する。
語彙リスト利用機能部502は、取得された確定語彙リストを利用する機能を持つ。語彙リスト利用機能部502は、例えば、語彙リスト取得部501によって取得された確定語彙リストに含まれるアクションの候補を提示してユーザーからの選択指示を受け付ける機能を持つ。語彙リスト利用機能部502が持つ機能は、例えば、IME機能である。つまり、確定語彙リストは、読み(アクションの読み方)の項目を含むものである。そして、語彙リスト利用機能部502は、ユーザーが入力した読みの少なくとも一部に対応付く前記候補を、提示する。なお、語彙リスト利用機能部502による語彙リストの利用のしかたは、ここに例示したものには限られない。
図2は、システム1000を構成する主要な装置間での相互作用の手順を示すシーケンス図である。以下では、このシーケンス図に沿って、システム1000内の処理を説明する。
ステップS1において、コンテンツ再生装置3は、語彙リスト提供装置1に対して、語彙リストの更新を要求する。例えば、コンテンツ再生装置3は、再生するコンテンツが切り替わったときなどに、語彙リスト提供装置1に対して、語彙リストの更新を要求してよい。具体的には、コンテンツ再生装置3は、受信しているテレビ放送のチャンネルが切り替えられたときや、受信しているテレビ放送の番組が切り替わったときや、新たな動画をインターネット経由で受信・再生し始めたときや、その他、状況の変化等(コンテンツの内容に関わるものであってもよい)が起こったときなどに、上記の語彙リストの更新を要求してよい。なお、ステップS1の、コンテンツ再生装置3による語彙リストの更新の要求の処理は、省略されてもよい。
ステップS2において、語彙リスト提供装置1は、コンテンツ再生装置3に対して、コンテンツ特定情報を要求する。語彙リスト提供装置1がコンテンツ再生装置3に対してコンテンツ特定情報を要求するのは、例えば、語彙リスト利用装置5から語彙リストの要求があった場合や、コンテンツ再生装置3から語彙リストの更新の要求(ステップS1)があった場合や、前回のコンテンツ特定情報の取得から所定時間(この時間長が予め設定されていてもよい)経過した場合などである。
ステップS3において、コンテンツ再生装置3は、ステップS2における語彙リスト提供装置1側からの要求に応じて、コンテンツ特定情報を提供する。コンテンツがテレビ放送の番組である場合、コンテンツ特定情報は、サービスを特定する情報である。より具体的には、テレビに関するコンテンツ特定情報は、例えば、on_id、ts_id、sv_id、ev_idである。また、コンテンツがインターネットの動画コンテンツ等である場合、コンテンツ特定情報は、例えば、URLである。また、コンテンツ特定情報が、日時情報(放送日時あるいは視聴開始および終了日時や、インターネット経由での配信日時)を含んでいてもよい。語彙リスト提供装置1は、このコンテンツ特定情報を受信する。語彙リスト提供装置1は、コンテンツ再生装置3から受信したコンテンツ特定情報に基づいて、コンテンツ視聴履歴のデータを作成し、コンテンツ視聴履歴データベース110に書き込む。語彙リスト提供装置1は、コンテンツ再生装置3から受信したコンテンツ特定情報自体を記憶手段に保存してもよい。
ステップS3におけるコンテンツ再生装置3によるコンテンツ特定情報の提供は、語彙リスト提供装置1側からの要求に基づくものでなくてもよい。例えば、コンテンツの切り替えがあったタイミングで、コンテンツ再生装置3が、自主的にコンテンツ特定情報を語彙リスト提供装置1に送信してもよい。また、例えば、テレビの放送信号内あるいはインターネットでのストリーミング信号内に、語彙リストの更新を要求する信号を加えるようにして、その信号に基づいて、コンテンツ再生装置3コンテンツ特定情報を語彙リスト提供装置1に送信するようにしてもよい。例えば、テレビの生放送中や、インターネットでの生配信中に、コンテンツ提供者側からのこのようなトリガーを与えることができる。
ステップS4において、語彙リスト提供装置1は、語彙リストサーバー装置2に対して、語彙リスト(抽出語彙リスト)のデータを要求する。語彙リスト提供装置1は、語彙リストを要求する際には、コンテンツ特定情報、コンテンツ視聴履歴データ、および必要に応じて付加情報を、語彙リストサーバー装置2に送信する。付加情報は、例えば、装置の位置情報や、加速度の情報や、傾きの情報や、装置に関連する場所等における気象情報などを含んでいてもよい。例えば、スマートフォン等を用いてユーザーシステム900(あるいはその一部)を実現する場合、スマートフォン等が持つ位置測定機能(GPS等)や加速度センサーおよび傾きセンサーを利用して付加情報を取得することができる。また、装置が持つ湿度および気圧のセンサーを用いたり、ネットワークを介して気象情報提供機関から気象情報を受信したりすることによって、付加情報を取得することができる。
なお、ステップS4において、語彙リスト提供装置1が語彙リストサーバー装置2にコンテンツ視聴履歴データを送信する際には、例えば、コンテンツ視聴履歴データベース110内に記録されているすべての視聴履歴データを送信してもよい。また、前回の視聴履歴データの送信時からの差分(追加分)のみを語彙リストサーバー装置2に送信するようにしてもよい。また、あらかじめ設定された値に基づき、あるいは語彙リスト提供装置1による何らかの処理結果についての判定に基づき、所定の期間内に相当する視聴履歴データのみを語彙リストサーバー装置2に送信するようにしてもよい。
ステップS5において、語彙リストサーバー装置2は、語彙リスト提供装置1側から受信したコンテンツ特定情報や、コンテンツ視聴履歴や、付加情報に基づいて、所定の条件によって、語彙リストデータベース210から語彙リストを抽出する。語彙リストサーバー装置2は、抽出された語彙リスト(抽出語彙リスト)を、語彙リスト提供装置1に送信する。なお、本ステップにおいて語彙リストデータベース210から抽出される語彙リストは、主として、コンテンツ再生装置3で再生されたコンテンツの内容や視聴履歴に含まれるコンテンツの内容等に関連する語句、あるいはその語句に関連するアクションである。語彙リスト提供装置1は、語彙リストサーバー装置2から渡される抽出語彙リストを受信し、必要に応じてそのデータの内容を確認する。語彙リスト提供装置1は、例えば、渡された抽出語彙リストに、機器(IoT機器等)に関する制御のアクションが含まれるか否かを確認する。
ステップS6において、語彙リスト提供装置1は、機器管理装置4に対して、機器の情報を問い合わせる。例えば、語彙リスト提供装置1が取得した抽出語彙リストの中に「デバイス制御」の処理(この「デバイス制御」については、後で説明する。)が含まれる場合、該当するデバイスタイプのIoT機器の情報を、機器管理装置4が管理しているか否かを問い合わせる。語彙リスト提供装置1は、この問い合わせを行う際に、抽出語彙リストに基づいて、特定のデバイスタイプ(例えば、IoTシャッター)だけに限定した問い合わせを行ってもよい。語彙リスト提供装置1がこの問い合わせを行うのは、抽出語彙リスト中に含まれるアクションを、その時の状況においてユーザーに提示すべきかどうかを判定するためである。つまり、例えば、そもそも家庭内等に存在しないタイプのIoT機器の制御について、そのアクションをユーザーに提示する必要がない。
ステップS7において、機器管理装置4は、ステップS6における問い合わせに対する応答として、機器(IoT機器)のリストを、語彙リスト提供装置1に送信する。この機器のリストは、機器管理データベース410から抽出されるものであり、ステップS6での問い合わせに関係する機器のみのリストである。このとき、機器管理装置4は、語彙リスト提供装置1側から指定されたデバイスタイプや動作名(これらの項目を有する機器管理データベース410については後述する。)といった項目の検索条件により、機器管理データベース410を検索する。本ステップにおいて機器管理装置4が送信するリストは「確定IoT機器リスト」あるいは「確定機器リスト」とも呼ばれる。
ステップS8において、語彙リスト利用装置5は、語彙リスト提供装置1に対して、確定語彙リストを要求する。なお、ステップS8の、確定語彙リストの要求の処理は、省略されてもよい。
ステップS9において、語彙リスト提供装置1は、語彙リスト利用装置5に対して、確定語彙リストのデータを送信する。語彙リスト提供装置1によるこの確定語彙リストの送信は、例えば、ステップS8の語彙リスト利用装置5からの要求に基づくものであってもよいし、他のトリガーに基づくものであってもよい。本ステップにおいて語彙リスト提供装置1が送信する確定語彙リストは、次の手順により作成されるものである。即ち、語彙リスト提供装置1は、ステップS5で語彙リストサーバー装置2から受信した抽出語彙リストの、デバイス制御に関する情報を、ステップS7で機器管理装置4から受信した確定機器リストで得られる値で置き換えることにより、上記の確定語彙リストを作成する。言い換えれば、抽出語彙リストの情報を、当該ユーザーシステム900における機器管理データベース410のデータによってカスタマイズしたものが、この確定語彙リストである。
ここで説明した手順に関して、ステップS1からS9までの処理を、必ずしもシーケンシャルにこの順序通りに実行する必要はない。例えば、語彙リスト提供装置1が、コンテンツ再生装置3からコンテンツ特定情報等を受信するための処理と、語彙リストサーバー装置2から語彙リスト(抽出語彙リスト)を受信するための処理と、機器管理装置4から機器リストのデータを受信するための処理と、語彙リスト利用装置5に対して語彙リスト(確定語彙リスト)を送信するための処理とを、非同期に、あるいは互いに異なる頻度で、実行するようにしてもよい。
図2で説明した手順によると、語彙リスト提供装置1が作成して管理するコンテンツ視聴履歴は、語彙リスト提供装置1ごとに(つまり、ユーザーごとに)異なるものである。したがって、語彙リスト提供装置1が語彙リストサーバー装置2から受け取る抽出語彙リスト、および語彙リスト提供装置1が語彙リスト利用装置5に提供する確定語彙リストは、そのユーザーに固有のものである。また、その確定語彙リストは、当該ユーザーが保持して管理する(機器管理装置4が持つデータによる管理)機器の集合に固有のものである。つまり、説明した手順によると、語彙リスト利用装置5は、コンテンツ視聴履歴や機器管理データベース等に基づいてユーザーに固有の確定語彙リストを受信し、利用することができる。
図3,図4,図5は、システム1000における、ユーザーによる語彙リストの利用までをも含んだ、処理の手順を示すシーケンス図である。以下では、図3,図4,図5に記載された処理手順を、順に説明する。
まず図3のステップS20において、機器管理装置4とIoT機器7とが、無線LAN等による通信を用いて、相互に相手を発見する。機器管理装置4は、発見したIoT機器7の情報を機器管理データベース410に書き込んで管理する。ここでは、1台のIoT機器7についての手順のみを記載しているが、実際には、機器管理装置4が複数のIoT機器7を発見してデータベースに登録するようにしてもよい。なお、このステップS20の処理は、ステップS21以後の各ステップの処理とは独立且つ非同期に実行可能である。
ステップS21において、コンテンツ再生装置3は、語彙リスト提供装置1に対して、語彙リストの更新を要求する。この処理については、図2のステップS1で説明したとおりである。このステップS21の処理は、省略可能である。
ステップS22において、語彙リスト提供装置1は、コンテンツ再生装置3に対して、コンテンツ特定情報を要求する。コンテンツ特定情報は、テレビ放送におけるon_id、ts_id、sv_id、ev_idの識別情報、あるいはインターネット上でアクセス可能な情報資源を識別するURLである。本ステップの処理については、図2のステップS2で説明したとおりである。
ステップS23において、コンテンツ再生装置3は、ステップS22におけるコンテンツ特定情報要求への応答として、コンテンツ特定情報を、語彙リスト提供装置1に送信する。本ステップの処理については、図2のステップS3で説明したとおりである。
ステップS24において、語彙リスト提供装置1は、コンテンツ視聴履歴等の情報を、語彙リストサーバー装置2に送信する。この処理は、図2のステップS4で説明した、語彙リストサーバー装置2への語彙リストの要求の処理である。
ステップS25において、語彙リストサーバー装置2は、ステップS24における語彙リスト提供装置1からの要求に対応して、抽出語彙リストを、語彙リスト提供装置1に送信する。この処理は、図2のステップS5の処理である。
図4に移って、ステップS26において、語彙リスト提供装置1は、機器管理装置4に対して、機器リストの要求を行う。このとき、語彙リスト提供装置1は、要求する機器に関連するデバイスタイプおよび動作名のデータを、送信する。語彙リスト提供装置1は、ステップS25で取得した抽出語彙リストにデバイス制御のアクションが含まれる場合に、配下の該当する機器を特定するために、上記の通りデバイスタイプおよび動作名を送信するものである。この処理は、図2のステップS6の処理である。
ステップS27において、機器管理装置4は、ステップS26における要求に対応して、語彙リスト提供装置1に、確定機器リストを送信する。この処理は、図2のステップS7の処理である。
ステップS28において、語彙リスト利用装置5が、語彙リスト提供装置1に対して、確定語彙リストの要求を行う。この処理は、図2のステップS8の処理である。
ステップS29において、語彙リスト提供装置1は、ステップS28における要求への応答として、語彙リスト利用装置5に、確定語彙リストを送信する。この処理は、図2のステップS9の処理である。
図5に移って、ステップS30において、語彙リスト利用装置5の例えばIME機能が、ユーザーからの文字列の入力を受け取る。この文字列は、ユーザーが、例えばキーボード(画面上に表示された仮想的なキーボードを含む)から入力するものである。なお、文字列の入力の途中の状態(例えば、「たいふう」の「たい」のみが既に入力された状態)で、次のステップの処理に進んでもよい。また、入力されている文字列がその時点でヌル文字列(長さ0の文字列)である状態で、次のステップの処理に進んでもよい。
ステップS31において、語彙リスト利用装置5のIME機能は、ステップS30における入力に対応する、アクションの候補のリストを提示する。アクションの候補は、例えば、ステップS30で入力された文字列に対応する別の文字列である。アクションの候補は、また、例えば、ステップS30で入力された文字列に対応する機器制御であってもよい。
ステップS32において、語彙リスト利用装置5は、ステップS31において提示した候補の中からのユーザーによる選択を受け付ける。なお、ステップS33以後の処理は、文字確定が選択された場合と、機器制御が選択された場合とで、処理が分岐する。文字確定が選択された場合には、ステップS33が実行される。機器制御が選択された場合には、ステップS34およびS35の処理が実行される。
ステップS33において、語彙リスト利用装置5のIME機能は、ステップS32で選択された候補である文字列を確定する処理を行う。文字確定が選択された場合の処理は、本ステップで終了する。
ステップS34において、語彙リスト利用装置5のIME機能は、ステップS32で選択された候補である機器制御を行う。具体的には、語彙リスト利用装置5は、対象のIoT機器7に対して、制御のための信号を送信する。次に、ステップS35に移る。
ステップS35において、ステップS34における制御信号を受信したIoT機器7は、受信した制御信号に応じた処理あるいは動作を行う。そして、そのIoT機器7は、当該処理あるいは動作の結果を表す信号を、語彙リスト利用装置5に送信する。機器制御が選択された場合の処理は、本ステップで終了する。
次に、システム1000が扱う各種データの構成について説明する。
図6は、コンテンツ視聴履歴データベース110の構成例を示す概略図である。図示するように、コンテンツ視聴履歴データベース110は、例えば、表形式のデータ(リレーショナルデータ)として構成してよい。コンテンツ視聴履歴データベース110は、on_id、ts_id、sv_id、ev_id、URL、視聴開始日時、コンテンツ再生開始位置、視聴継続時間の各項目を有している。図示する表の各行が実体に対応するものである。このデータでは、各行は、1件の再生コンテンツ視聴に対応する。それぞれのデータ項目の意味は、次の通りである。
on_id、ts_id、sv_id、ev_idの組み合わせは、コンテンツがテレビで放送されたものである場合に、そのサービス(チャンネル)およびイベント(番組等)を特定する。ただし、ev_idは空欄であってもよい。なお、コンテンツがインターネットで配信されたものである場合、on_id、ts_id、sv_id、ev_idの各欄は空欄であってよい。
URLは、コンテンツがインターネットで配信されたものである場合、そのコンテンツの所在を示すものである。URLは、ユニークな情報資源(コンテンツ)を特定する。なお、コンテンツがテレビ放送として配信されたものである場合、URLの欄は空欄であってよい。
視聴開始日時は、そのコンテンツの視聴が開始された時点の日付および時刻を表す。コンテンツ再生開始位置は、時間の長さを有するコンテンツ内における、再生が開始された位置の相対時刻である。例えば、1本のテレビ番組の開始時点からそのコンテンツが視聴(再生)された場合には、コンテンツ再生開始位置は「00:00:00」(時・分・秒の形式)である。例えば、あるテレビ番組の放送開始から14分32秒の時点から視聴(再生)された場合には、コンテンツの再生開始位置は「00:14:32」である。視聴継続時間は、そのコンテンツが視聴(再生)された継続時間の長さである。例えば、あるコンテンツが、現時点もなお再生途中であって最終的な継続時間を確定できない場合には、その時点における視聴継続時間が、この欄に記録される。
語彙リスト提供装置1は、装置稼働後のすべてのコンテンツ視聴履歴をコンテンツ視聴履歴データベース110内に保持してもよい。また、例えば記憶容量等に応じて、適宜、不要となった古い視聴履歴の行を削除していってもよい。また、視聴継続時間が所定の長さ未満の視聴履歴については、無視できるものであるとの判断から、コンテンツ視聴履歴データベース110内には保持せず捨てる(記録しない)ようにしてもよい。
図7,図8は、語彙リストデータベース210の構成例を示す概略図である。図示するように、語彙リストデータベース210は、例えば、表形式のデータ(リレーショナルデータ)として構成してよい。語彙リストデータベース210のデータ項目数(列数)が多いため、ここでは、図7,図8の2図に渡って語彙リストデータベース210の構成を示している。図では、便宜的に、列に、AからRまでの通しの記号を付けている。語彙リストデータベース210は、表示情報の種類、表示情報、処理の種類、処理内容、デバイスタイプ、動作名、読み、優先度ID、開始時刻、有効期間、on_id、ts_id、sv_id、ev_id、URL、コンテンツ提供開始日時、語彙リスト提供開始日時、語彙リスト提供期間の各項目を有している。図示する表の各行が実体に対応するものである。このデータでは、各行は、1件のアクション候補に対応する。それぞれのデータ項目の意味は、次の通りである。
語彙リストデータベース210が持つ各行のデータ(アクション候補)は、例えば、コンテンツ(テレビのコンテンツや、インターネット配信のコンテンツ)に関連付けられていてよい。アクション候補がテレビのコンテンツに関連付けられる場合、その行のデータは、on_id、ts_id、sv_id、ev_idの値によって特定のコンテンツに関連付くものであることを表す。アクション候補がインターネット配信のコンテンツに関連付けられる場合、その行のデータは、URLの値によって特定のコンテンツに関連付くものであることを表す。アクション候補が放送の編成サービス(チャンネル)に関連付く(特定の番組等には関連付けられない)場合、その行のデータは、on_id、ts_id、sv_idの値によって(つまり、ev_idは空欄であってもよい)、特定の編成サービスに関連付く。
(A)表示情報の種類は、表示情報の形式を表す。表示情報の種類は、例えば、「テキスト」、「リンク」のいずれかの値をとり得る。
(B)表示情報は、ユーザーに対して表示される形の文字、画像、リンク(ハイパーリンク)等である。処理の種類が「デバイス制御」である行については、表示情報は、置換文字を含んでいてもよい。表示情報の欄における置換文字は、語彙リスト提供装置によって確定文字列に置換される。確定文字列は、例えば、機器管理データベース410から取得されるデバイス名等の文字列である。置換文字を用いた実際の例については、後で説明する。
(C)処理の種類は、処理内容の形式を表すものである。処理の種類は、例えば、「テキスト」、「URL」、「デバイス制御」といった値をとり得る。
(D)処理内容は、実際のアクションの内容である。例えば、処理の種類が「テキスト」であるとき、処理内容は候補として選択され得る文字列である。また、例えば、処理の種類が「URL」であるとき、処理内容は、実際のURL自身である。なお、処理の種類が「デバイス制御」であるとき、処理内容の欄は空欄であってよい。
(E)デバイスタイプは、処理の種類が「デバイス制御」である場合にのみ用いられる欄である。デバイスタイプは、デバイス(IoT機器7)のタイプを表す。デバイスタイプは、例えば、「IoTシャッター」、「ロボット掃除機」、「洗濯機」などといった値をとり得る。デバイスタイプについては、後でも、機器管理データベース410に関連して説明する。処理の種類が「デバイス制御」以外の場合には、デバイスタイプの欄は空欄であってよい。
(F)動作名は、処理の種類が「デバイス制御」である場合にのみ用いられる欄である。動作名は、制御対象とするデバイス(IoT機器7)の動作を表す名称である。例えば、処理の種類が「デバイス制御」であって、デバイスタイプが「IoTシャッター」である場合、動作名は、「開ける」、「閉める」などといった値をとり得る。動作名については、後で、機器動作表にも関連して説明する。処理の種類が「デバイス制御」以外の場合には、動作名の欄は空欄であってよい。
(G)読みは、当該アクション候補が関連付けられる読みを表す。言い換えれば、例えばIME機能においてユーザーによって入力される文字列が、当欄の読みに関連する。読みは、例えば、「たい」、「たいふう」、「たいやき」などといった文字列であり得る。
(H)優先度IDは、アクション候補の優先度に関する識別情報である。優先度IDは、優先度表に基づいて、実際の優先度の値に置き換えられるものである。優先度IDについては、後で、優先度表と関連付けてさらに説明する。
(I)開始時刻は、その行のデータが有効となる期間の開始時刻を表す。
(J)有効期間は、その行のデータが有効となる期間の長さ(時間長)を表す。
(K)から(N)までのon_id、ts_id、sv_id、ev_idは、テレビ放送において、サービス(チャンネル)や番組を識別するための識別情報である。つまり、当該行のアクション候補がテレビ放送のコンテンツに関連付けられるものである場合に、これらのon_id、ts_id、sv_id、ev_idは、そのコンテンツを特定するための少なくとも一部の情報である。
(O)URLは、インターネット経由で配信されるコンテンツの所在を特定する情報である。つまり、当該行のアクション候補がインターネットで配信されるコンテンツに関連付けられるものである場合に、このURLは、そのコンテンツを特定するための少なくとも一部の情報である。
(P)コンテンツ提供開始日時は、そのアクション候補に関連するコンテンツが提供される開始日時である。コンテンツがテレビ放送の番組である場合、その番組の放送開始時刻がコンテンツ提供開始日時である。コンテンツがインターネットで配信されるライブ動画である場合、その動画の開始時刻がコンテンツ提供開始日時である。コンテンツがインターネットで配信されるオンデマンドの動画コンテンツである場合、その動画コンテンツがアップロードされてユーザーが再生可能となった時刻がコンテンツ提供開始日時である。アクション候補が、特定のコンテンツに関連付けられておらず、テレビ放送のサービス(チャンネル選局)に関連付けられている場合には、コンテンツ提供開始日時は明示されなくてもよい。
(Q)語彙リスト提供開始日時は、そのアクション候補の提供が開始される日時である。
(R)語彙リスト提供期間は、そのアクション候補の提供期間(長さ)である。
図9は、アクション候補の優先度を扱うための優先度表の構成を示す概略図である。この優先度表における優先度IDは、語彙リストデータベース210の優先度ID(図7の列Hの項目)と関連付けられる。優先度表は、優先度IDごとの、期間(時間帯)別の優先度の数値の集合の情報を持つ。図示するように、優先度表は、表形式のデータ(リレーショナルデータ)として構成されている。優先度表は、優先度ID、優先度、開始時刻(相対時刻)、有効期間の各項目を有している。図示する表の各行が、ある優先度IDの、ある期間(この期間は、開始時刻と有効期間によってあらわされる)における優先度を表す。それぞれのデータ項目の意味は、次の通りである。
(A)優先度IDは、優先度を扱うための識別情報である。前述の通り、この表の優先度IDは、語彙リストデータベース210における優先度IDと関連付けられる。
(B)優先度は、その優先度IDのその期間における優先度を表す数値である。例えば、優先度を表す数値としては、整数を用い、数が大きいほど優先度が高い。この優先度は、語彙リスト利用装置5において、複数のアクション候補(たとえば、かな漢字変換文字列候補)を表示する際に使用される。優先度が高いアクション候補ほど、複数のアクション候補の中の上位の位置に表示される。
(C)開始時刻(相対時刻)は、その期間の開始の時点を、対象とするコンテンツを再生する際の相対時刻として表すものである。
(D)有効期間は、その期間の長さを表す。例えば、開始時刻が「00:15:00」(時・分・秒)であって有効期間が「00:35:00」である場合(図9の第2行目のエントリー)、その期間は、対象とするコンテンツの相対時刻00:15:00から始まって00:50:00に終了することを表す。
なお、オンデマンド動画配信のコンテンツを対象とする場合には、実際の日時を用いるよりも、上記のように相対時刻を用いるほうが、データを単純化できる利点がある。放送日時が万人に共通であるテレビ放送の場合にも、相対時刻を用いることに特に不都合はない。
優先度表は、上述したように、語彙リストデータベース210(図7,図8)を補助する表として用いられる。例えば、語彙リストサーバー装置2は、語彙リストデータベース210とともに、この優先度表を保持する。語彙リストサーバー装置2が抽出語彙リストを語彙リスト提供装置1に対して送る際には、語彙リストデータベース210から抽出されたレコード(行)と、優先度表とをJOIN(ジョイン)する操作を行うことによって、抽出語彙リストを作成する。JOINは、リレーショナルデータにおける表を対象とした基本演算の一つである。
図9の例では、優先度表は、優先度IDが1,2,3,4,5のそれぞれの場合について、期間ごとの優先度の数値を保持している。
図10は、機器管理データベース410の構成例を示す概略図である。機器管理データベース410は、1つのユーザーシステム900において管理するデバイス(IoT機器7)の情報をすべて網羅的に保持するものである。図示するように、機器管理データベース410は、例えば、表形式のデータ(リレーショナルデータ)として構成してよい。機器管理データベース410は、デバイス名、デバイスタイプ、動作IDの各項目を有している。このデータでは、各行は、1個のデバイス個体に対応する。それぞれのデータ項目の意味は、次の通りである。
(A)デバイス名は、デバイス個体を特定するための名称である。図示する例では、デバイス名は、「シャッターA」、「シャッターB」、「ロボット掃除機C」、「洗濯機D」といったものである。
(B)デバイスタイプは、デバイス(IoT機器7)のタイプを表す。デバイスタイプは、語彙リストデータベース210における項目デバイスタイプと関連付けられる。図示する例では、「シャッターA」および「シャッターB」のデバイスタイプは、ともに「IoTシャッター」である。「ロボット掃除機C」のデバイスタイプは「ロボット掃除機」である。「洗濯機D」のデバイスタイプは「洗濯機」である。
(C)動作IDは、後述する機器動作表に記録される動作の集合と関連付けるために用いられる識別情報である。
前述の通り、語彙リスト提供装置1が語彙リストサーバー装置2から抽出語彙リストを受け取った際に、抽出語彙リストの中にデバイス制御のアクション候補が含まれていれば、語彙リスト提供装置1は、機器管理装置4に問い合わせを行う。その問い合わせに応答するために、機器管理装置4は、項目デバイスタイプをキーとして、上記の機器管理データベース410を検索する。
図11は、機器ごとの動作の種類を規定する機器動作表(IoT機器動作表)の構成を示す概略図である。この機器動作表における動作IDは、機器管理データベース410の動作ID(図10の列Cの項目)と関連付けられる。機器動作表は、動作IDごとの、動作の集合の情報を持つ。図示するように、機器動作表は、表形式のデータ(リレーショナルデータ)として構成されている。機器動作表は、動作ID、動作名、処理内容の各項目を有している。図示する表の各行が、特定の動作度IDに属する1つの動作に対応する。それぞれのデータ項目の意味は、次の通りである。
(A)動作IDは、機器管理データベース410の動作ID(図10の列Cの項目)と関連付けられる識別情報である。
(B)動作名は、動作の名称である。図示する例では、例えば、デバイスタイプが「IoTシャッター」であるデバイス(動作IDとして1および2が該当)に関しては、動作名は、「閉める」、「開ける」といったものである。また例えば、デバイスタイプが「ロボット掃除機」であるデバイス(動作IDとして3が該当)に関しては、動作名は、「動く」、「止める」、「充電する」といったものである。
(C)処理内容は、その動作をデバイスに行わせるための処理である。図示する例では、処理内容として、POSTメソッドと、そのメソッドに渡す引数であるURLとが記述されている。例えば、動作IDが1で、動作名が「閉める」である動作の処理は、「POST(http://AAA/close)」である。語彙リスト利用装置5は、特定のデバイスに特定の動作を行わせるように制御する場合に、この(C)処理内容に記述されている処理を実行する。
以下では、システム1000の4つのユースケースについて、データ例を参照しながら説明する。
[第1ユースケース]
第1ユースケースでは、2019/01/01(年/月/日を表す。以下同様。)に、ユーザーがコンテンツ再生装置3(テレビ受像機)でテレビ番組を視聴する。ニュースの番組の放送時間が、2019/01/01の10:00:00(時:分:秒を表す。以下同様。)から11:00:00までである。このニュース番組のうちの、10:00:00から10:15:00までと、10:50:00から11:00:00までの時間帯に、台風情報のニュースが放送される。その間の、10:35:00から10:50:00までには、別のニュースが放送される。
ユーザーは、10:03:00から台風情報に関するニュースの番組を視聴していた。ユーザーがニュース番組を視聴している(コンテンツ再生装置3がそのニュース番組を再生している)ことにより、そのユーザーの語彙リスト提供装置1は、所定のタイミングで、視聴履歴をコンテンツ視聴履歴データベースに書き込み、視聴履歴を語彙リストサーバー装置2に送信し、抽出語彙リストを語彙リストサーバー装置2から受信し、機器管理装置4への問い合わせを行って当該ユーザーの配下の機器の情報を取得し、確定語彙リストを語彙リスト利用装置5に提供している。
ユーザーは、10:10:00に、語彙リスト利用装置5(スマートフォン)を用いて、そのIME機能(語彙リスト利用機能部502)で文字を入力しようとした。ユーザーが、IME機能で「たい」と入力した時点で、IME機能は、語彙リスト提供装置1から提供された確定語彙リストにも基づいて、複数のアクションの候補をユーザーに提示する。そのアクションの候補には、確定文字列の候補や、特定のURL(例えば、台風情報を提供する機関のウェブサイトのURL)や、IoTシャッターを閉じるための機器制御の処理が含まれる。
第1ユースケースの上記のような状況における、システム1000内のデータについて、次に説明する。
図12は、第1ユースケースにおけるコンテンツ視聴履歴データベース110が持つデータ例を示す概略図である。
図12における列Aから列Dまでのon_id、ts_id、sv_id、ev_idは、コンテンツ再生装置3(テレビ受像機)によって取得され、コンテンツ特定情報の一部として、語彙リスト提供装置1に渡されたものである。コンテンツ再生装置3と語彙リスト提供装置1とは、ハイブリッドキャストコネクトで接続される。ハイブリッドキャストコネクトは、IPTVフォーラムの、[IPTVFJ STD-0010、放送通信連携システム仕様2.2版、2018年09月21日改定]や、[IPTVFJ STD-0011、HTML5 ブラウザ仕様2.5版、2019年5月14日改定]で規定される。なお、テレビのコンテンツの再生であるため、列EのURLは空欄である。
図12における、列Fの視聴開始日時、列Gのコンテンツ再生開始位置、列Hの視聴継続時間も、上と同様に、コンテンツ再生装置3から語彙リスト提供装置1に渡されたデータに基づく。当該ニュース番組の放送開始日時が2019/01/01の10:00:00であり、列Fの視聴開始日時が同日の10:03:00である。よって、列Gのコンテンツ再生開始位置には、当該番組内の相対時刻である「0:03:00」が格納される。また、10:10:00の時点において、当該ニュース番組は依然再生中である。よって、10:10:00の時点の状況に基づいて作成されたコンテンツ視聴履歴のデータでは、列Hの視聴継続時間は00:07:00である。
図13,図14は、第1ユースケースにおける抽出語彙リストの一部分のデータ例を示す概略図である。この図に示す列Aから列Rまでの各項目については、図7,図8で説明した通りである。ここで示すのは、行1から行9までの9行のデータである。この行1から行9までのデータは、図12で示した視聴履歴に基づいて、2019/01/01の10:00:00から放送されたニュース番組に関連する検索条件で、語彙リストデータベース210から抽出されたデータの一部である。さらに具体的には、図13,図14の行1から行9までのデータは、いずれも、特定のon_id、ts_id、sv_idを持つものである。また、それらのうちの行1−3と行5−7のデータは、特定のev_idを持つものである。このev_idは、当該ユーザーによって再生されたニュース番組を識別するものである。なお、行4と行8と行9のデータに関しては、ev_idが空欄である。これらは、特定の番組(イベント)に関連付けられたエントリーではなく、編成サービス(チャンネル)に関連付けられたエントリーである。
なお、行9のデータにおいて、列Cの処理の種類は「デバイス制御」である。また、その列Eのデバイスタイプは「IoTシャッター」であり、列Fの動作名は「閉じる」である。この行9のデータがあるため、語彙リスト提供装置1は、デバイスタイプ「IoTシャッター」且つ動作名「閉じる」で、機器管理装置4への問い合わせを行う。この語彙リスト提供装置1からの問い合わせに応じて、機器管理装置4は、機器管理データベース410(図10を参照)を検索し、該当するデータである「シャッターA」および「シャッターB」の情報(確定IoT機器リスト)を、語彙リスト提供装置1に渡す。語彙リスト提供装置1は、機器管理装置4から受け取った確定IoT機器リストの情報を用いて、抽出語彙リスト内の一部の情報を置換する。具体的には、行9のデバイス制御についてのアクション候補を、具体的なデバイス個体に対する制御である、「シャッターAを閉じる」というアクション候補および「シャッターBを閉じる」というアクション候補の2つに展開する。
また、このとき、語彙リスト提供装置1は、抽出語彙リスト内の置換文字を、具体的なデバイス名で置換する。例えば、抽出リスト内のデバイス制御のエントリーに含まれる置換文字(図13の行9のデータにおける列Bの「[置換文字]を閉める」)は、条件に該当する具体的なデバイス名である「シャッターA」と「シャッターB」(図10を参照)の2通りに置換される。即ち、「シャッターAを閉める」および「シャッターBを閉める」の2通りの表示情報に置き換えられる。また、それとともに、語彙リスト提供装置1は、抽出語彙リスト内の処理内容を、具体的な処理内容で置換する。例えば、抽出リスト内のデバイス制御のエントリーに含まれる処理内容(図13の行9の列Dの欄)は、機器動作表(図11を参照)に記録され、且つシャッターAおよびシャッターBにそれぞれ関連付けられる、「POST(http://AAA/close)」および「POST(http://BBB/close)」という処理で置き換えられる。
語彙リスト提供装置1は、語彙リストサーバー装置2から受け取った抽出語彙リストを、機器管理装置4から受け取った確定IoT機器リストの情報で具体化した結果を、確定語彙リストとして、語彙リスト利用装置5に提供する。これにより、語彙リスト利用装置5は、語彙リスト提供装置1から受け取った確定語彙リストを利用した処理を行うことができる。具体的には、語彙リスト利用装置5のIME機能(語彙リスト利用機能部502)は、その確定語彙リストを参照しながら、ユーザーが入力する文字列(例えば、「たい」)に対応して、各候補の優先度にしたがって、複数のアクション候補を表示する。
この抽出語彙リストにおいて、列Nのev_idが値を持つ行(すなわち、行1、行2、行3、行5、行6、行7)は、特定の放送番組の視聴に関連付けられたデータである。行1から行3までは、「2019/01/01 10:00:00」から同日の「11:00:00」までのニュース番組の中の、3つの期間(時間帯)に対応する。行1は、時刻「10:00:00」(すなわち、列Iの相対的な開始時刻が「00:00:00」)からの15分間の、台風情報の期間に対応する。行2は、時刻「10:15:00」(すなわち、列Iの相対的な開始時刻が「00:15:00」)からの35分間の、台風情報以外の期間に対応する。行3は、時刻「10:50:00」(すなわち、列Iの相対的な開始時刻が「00:50:00」)からの10分間の、台風情報の期間に対応する。台風情報の期間に対応する行1と行3に関しては、列Hの優先度の値が「10」(すなわち、相対的に高い)である。台風情報以外の機関に対応する行2に関しては、列Hの優先度の値が「5」(すなわち、相対的に低い)である。
なお、行5から行7までの、期間および優先度に関しても同様である。
行4や行8に関しては、列Jの有効期間が「12:59:59」であり、番組放送の終了後も、これらの行のアクションが有効であることを表している。
行9のデバイス制御の行に関しては、台風情報の放送に関連付けて、IoTシャッター(列Eを参照)を閉じる(列Fを参照)という制御を、アクション候補とするものである。行9に関しては、列Hの優先度が「20」であり、同図に示す優先度の数値の中では最高(最も優先度が高い)である。
図15は、第1ユースケースにおいて、語彙リスト利用装置5が、語彙リスト提供装置1から受け取った確定語彙リストに基づいて表示するアクション候補の表示順を示す概略図である。同図は、1番から4番までの4つのアクション候補を含む。また、それら4つのアクション候補の表示情報(図13の列Bに対応する)は、「シャッターAを閉める」(処理の種類は、デバイス制御)、「シャッターBを閉める」(処理の種類は、デバイス制御)、「気象庁台風情報」(処理の種類は、URLで示される情報へのアクセス)、「台風??号」(処理の種類は、テキスト)である。
図16は、図15に示した表示順で語彙リスト利用装置5が複数のアクション候補をユーザーに提示する際の画面表示の例を示す概略図である。図示する画面は、スマートフォン(語彙リスト利用装置5)の画面である。この画面は、かな入力用の仮想キーボード(あ、か、さ、た、な、・・・)を表示している。図示する状況は、ユーザーが、IME機能(語彙リスト利用機能部502)を用いて「たい」と入力したところである。画面の左上の入力用小窓には「たい」と表示されている。この状況で、IME機能が持つ予測変換機能が作動する。その結果、IME機能は、語彙リスト提供装置1から提供された確定語彙リストにも基づき、読みがな「たい」に関連するアクション候補のリストを画面に表示する。それらのアクション候補の表示情報は、図15に示した「シャッターAを閉める」、「シャッターBを閉める」、「気象庁台風情報」、「台風??号」という4つである。ユーザーは、この状況で、アクション候補の中の1つを選択して実行することもできるし、上記入力用小窓へのさらなるかな入力を続けていくこともできる。
以上、説明したように、第1ユースケースでは、ユーザーが再生していた台風情報のニュースのコンテンツに基づいて、関連性の高いアクション候補が、優先度にしたがった順序で、語彙リスト利用装置5において表示された。
[第2ユースケース]
第2ユースケースでは、ユーザーは、コンテンツ再生装置3(スマートフォン)を用いて、2019/01/01の10:03:00から、店舗「たいやき砧」に関するオンデマンドのコンテンツを、インターネット経由で再生した。そのユーザーは、その後、10:10:00に、語彙リスト利用装置5(スマートフォン)を用いて、IME機能(語彙リスト利用機能部502)で文字を入力しようとした。ユーザーが、IME機能で「たい」と入力した時点で、IME機能は、語彙リスト提供装置1から提供された確定語彙リストにも基づいて、複数のアクションの候補をユーザーに提示する。そのアクションの候補には、文字列の候補としてテキスト「たいやき砧」が含まれる。
図17は、第2ユースケースにおけるコンテンツ視聴履歴データベース110が持つデータ例を示す概略図である。このデータの行1は、2019/01/01の09:15:00から10:03:00までの48分間の視聴についての記録である。そして、行2は、同日の10:03:00から10:04:00までの1分間の視聴の記録であり、そのURLは「https://www.yyy」である。この行2の記録は、上記の店舗「たいやき砧」に関するオンデマンドのコンテンツの視聴の記録である。この図に示すコンテンツ視聴履歴は、コンテンツ再生装置3から語彙リスト提供装置1に渡されたコンテンツ特定情報に基づくものである。
図18,図19は、第2ユースケースにおける抽出語彙リストの一部分のデータ例を示す概略図である。この図に示す列Aから列Rまでの各項目については、図7,図8で説明した通りである。図18,図19に示す行1のデータは、列OのURLが示す通り、インターネットで配信されるhttps://www.yyyのコンテンツに関連付けられたアクション候補を表す。この行のデータにおいて、列Aの表示情報の種類は「テキスト」である。列Bの表示情報は「たいやき砧」である。列Cの処理の種類は「テキスト」である。処理内容は「たいやき砧」である。列Gの読みは「たいやききぬた」である。列Hの優先度は「10」である。列Pのコンテンツ提供開始日時は「2019/01/01 10:00:00」である。列Gの語彙リスト提供開始日時は「2019/01/01 10:00:00」である。
第2ユースケースにおいて、語彙リスト提供装置1は、図18,図19に示した抽出語彙リストに基づいて、確定語彙リストを作成し、語彙リスト利用装置5に提供する。これにより、語彙リスト利用装置5のIME機能(語彙リスト利用機能部502)は、ユーザーからの例えば「たい」という入力に対して、「たいやき砧」というテキストを、優先度10のアクション候補(つまり、他の候補の優先度に応じて、比較的上位のアクション候補)として提示することができる。
なお、抽出語彙リストの中にデバイス制御のエントリーが含まれない場合には、語彙リスト提供装置1は、機器管理装置4に対してデバイス(IoT機器7)について問い合わせる必要はない。また、その場合には、語彙リスト提供装置1は、表示情報内の置換文字をデバイス名で置換したり、デバイス個体ごとの処理内容を語彙リスト内に埋めたりする必要はない。
[第3ユースケース]
第3ユースケースでは、ユーザーは、2019/01/01に、コンテンツ再生装置3(テレビ受像機)を用いてコンテンツを視聴(再生)する。ユーザーは、10:03:00から11:00:00までの57分間、台風情報を含むニュース番組を視聴する。ユーザーは、その後、11:00:00から、サッカー中継の番組を視聴する。そのサッカー中継の視聴中の11:15:00に、語彙リスト利用装置5(スマートフォン)のIME機能を用いて入力を行う。第3ユースケースにおいては、抽出語彙リストにはIoTシャッターについてのデバイス制御が含まれるが、当該ユーザーは該当するデバイスを持っていない。
図20は、第3ユースケースにおけるコンテンツ視聴履歴データベース110が持つデータ例を示す概略図である。このデータの行1および行2は、ともに同一の編成サービス(on_id、ts_id、sv_id)によるテレビ放送のコンテンツの視聴(再生)の記録である。行1において列Dのev_idは「12345」であり、行2において列Dのev_idは「67890」である。行1において、列Fの視聴開始日時は「2019/01/01 10:03:00」であり、列Gのコンテンツ再生開始位置は「00:03:00」であり、列Hの視聴継続時間は「00:57:00」である。つまり、行1のデータは、このユーザーが、番組開始後3分経過した10:03:00から57分間このニュース番組を視聴したことを表している。行2において、列Fの視聴開始日時は「2019/01/01 11:00:00」であり、列Gのコンテンツ再生開始位置は「00:00:00」であり、列Hの視聴継続時間は「00:15:00」である。つまり、行2のデータは、このユーザーが、番組開始と同時に11:00:00から15分間このサッカー中継の番組を視聴したことを表している。
図21,図22は、第3ユースケースにおける抽出語彙リストの一部分のデータ例を示す概略図である。この図に示す列Aから列Rまでの各項目については、図7,図8で説明した通りである。図21,図22に示す行1から行7までのデータに関して、列Kから列Mまでのon_id、ts_id、sv_idは同一である。即ち、on_idは「32736」であり、ts_idは「32736」であり、sv_idは「1024」である。これらの行のうち、行1から行3までについては、列Nのev_idが空欄である。これは、行1から行3までのアクション候補が、特定の番組に関連付けられたものではなく編成サービス(チャンネル)に関連付けられたものであることを表している。一方、行4から行7までについては、列Nのev_idが「67890」である。このev_idは、コンテンツ視聴履歴データベース110(図20を参照)の行2の列Dに記録されたev_idに対応する。即ち、図21,図22の行4から行7までのアクション候補は、前述のサッカー中継の番組に関連付けられたものであることを表している。
図21,図22の行3は、デバイス制御に関するデータである。語彙リスト提供装置1は、この行3のデータに基づき、機器管理装置4に対して、デバイスタイプが「IoTシャッター」且つ動作名が「閉じる」を条件として、機器の問い合わせを行う。前述の通り、この第3ユースケースでは、ユーザーシステム900はIoT機器7を持たない。言い換えれば、機器管理データベース410にはIoT機器は登録されていない。したがって、語彙リスト提供装置1が機器管理装置4から受信する確定機器リストは、行を含まない(空のリストである)。したがって、語彙リスト提供装置1は、抽出語彙リストを基に確定語彙リストを作成する際には、デバイス制御のアクション候補を含めない。
図21,図22の行1から行3は、いずれも、台風に関連するアクション候補である。一方、行4から行7までは、前述の通り、サッカー中継の番組に関連付けられたものである。これら行4から行7までの各々の処理の種類は、いずれも、「テキスト」である。行4に関して、列Bの表示情報および列Dの処理内容は、「チームA」である。行5に関して、列Bの表示情報および列Dの処理内容は、「チームB」である。行6に関して、列Bの表示情報および列Dの処理内容は、「田口C介」である。行7に関して、列Bの表示情報および列Dの処理内容は、「選手D」である。
語彙リスト提供装置1は、図21,図22の抽出語彙リストに基づいて作成した確定語彙リストを、語彙リスト利用装置5に提供する。
図23は、第3ユースケースにおいて、語彙リスト利用装置5が、語彙リスト提供装置1から受け取った確定語彙リストに基づいて表示するアクション候補の表示順を示す概略図である。図23に示すアクション候補のリストは、ユーザーが語彙リスト利用装置5(スマートフォン)のIME機能(語彙リスト利用機能部502)を用いて「た」と入力した時点のものである。即ち、図21,図22に示すアクション候補のうち、列Gの読みが「た」に該当するものだけがリストされる。その結果、順番が1、2、3の表示情報は、それぞれ、「田口C介」、「気象庁台風情報」、「台風??号」である。これら3つのアクション候補のうち、「田口C介」の優先度が10で、図21,図22にも示したように、他の2つの候補の優先度よりも高いために、「田口C介」が1番目に表示される。
なお、IME機能からのユーザーの入力が「た」の後に続いて例えば「たい」となった場合には、語彙リスト利用装置5は、この新たな入力に基づいて、再度、アクション候補を選びなおして表示することができる。
[第4ユースケース]
第4ユースケースでは、ユーザーは、2019/01/01に、コンテンツ再生装置3(テレビ受像機)を用いてコンテンツを視聴(再生)する。ユーザーは、10:03:00から11:00:00までの57分間、台風情報を含むニュース番組を視聴する。ユーザーは、その後、11:00:00から、サッカー中継の番組を視聴する。ここまでの状況は、前述の第3ユースケースの状況と同様である。第4ユースケースにおいても、第3ユースケースの場合と同様に、機器管理データベース410にはデバイス(IoT機器7)は登録されていない。第4ユースケースでは、11:30:00にサッカーの試合に出場している選手Dがゴールを決めて、これに伴い、コンテンツ再生装置3(テレビ受像機)はイベントメッセージを受信する。そして、コンテンツ再生装置3は、語彙リスト提供装置1に、語彙リストの更新を要求する。また、選手Dの上記のゴールに伴い、データ供給元装置6から語彙リストサーバー装置2に、選手Dに関連するデータの更新(優先度の変更であってもよい)の情報が送られる。語彙リストサーバー装置2は、受信した更新情報を、所定のタイミングで語彙リストデータベース210に反映させる。そして、語彙リスト提供装置1は、語彙リストサーバー装置2から新たな抽出語彙リストを受信する。語彙リスト提供装置1は、新たに受信した抽出語彙リストにも基づき、確定語彙リストを作成し、語彙リスト利用装置5に提供する。ユーザーは、11:35:00に語彙リスト利用装置5(スマートフォン)のIME機能(語彙リスト利用機能部502)を用いて、文字列を入力しようとする。その時点では、IME機能が参照する語彙リストには、上記の選手Dのゴールをきっかけとした更新が、既に反映されている。
図24は、第4ユースケースにおけるコンテンツ視聴履歴データベース110が持つデータ例を示す概略図である。このデータの行1および行2は、ともに同一の編成サービス(on_id、ts_id、sv_id)によるテレビ放送のコンテンツの視聴(再生)の記録である。行1において列Dのev_idは「12345」であり、行2において列Dのev_idは「67890」である。行1において、列Fの視聴開始日時は「2019/01/01 10:03:00」であり、列Gのコンテンツ再生開始位置は「00:03:00」であり、列Hの視聴継続時間は「00:57:00」である。つまり、行1のデータは、このユーザーが、番組開始後3分経過した10:03:00から57分間このニュース番組を視聴したことを表している。行2において、列Fの視聴開始日時は「2019/01/01 11:00:00」であり、列Gのコンテンツ再生開始位置は「00:00:00」であり、列Hの視聴継続時間は「00:35:00」である。つまり、行2のデータは、このユーザーが、番組開始と同時に11:00:00から35分間このサッカー中継の番組を視聴したことを表している。
図25,図26は、第4ユースケースにおける抽出語彙リストの一部分のデータ例を示す概略図である。この図に示す列Aから列Rまでの各項目については、図7,図8で説明した通りである。図25,図26に示す行1から行6までのデータは、第3ユースケースにおいて説明した図21,図22の行1から行6までのデータと同様のものである。
第4ユースケースにおける図25,図26のデータの特徴は、「選手D」のテキストのデータに関して、優先度「20」のデータが追加されている点である。具体的には、図25,図26の行8のデータは、列Cの処理の種類が「テキスト」であり、列Dの処理内容が「選手D」である。そして、列Hの優先度が「20」、列Iの開始時刻が「00:30:00」(放送開始時刻である11:00から30分後)、列Jの有効期間が「01:30:00」である。このように抽出語彙リストにおいて優先度のデータが追加される理由は、語彙リストサーバー装置2側において優先度表の中に行が追加されるためである。つまり、前述の通り選手Dによるゴールがあったことにより、データ供給元装置6が、「選手D」についての優先度を変更する情報を、語彙リストサーバー装置2に渡したためである。
以上の通り、ユーザーが語彙リスト利用装置5のIME機能(語彙リスト利用機能部502)を用いて入力しようとした時点(2019/01/01 11:35:00)では、「選手D」の優先度が20となっている。
なお、第4ユースケースにおいても、ユーザーシステム900はIoT機器7を持たないため、確定語彙リスト内にはデバイス制御のアクション候補は作成されない。
図27は、ユーザーが上記の語彙リスト利用装置5のIME機能に文字を入力しようとした時点(ユーザーはまだかな入力をしていない段階)で、アクション候補として語彙リスト利用装置5の画面に表示される表示情報の順序を示す概略図である。図示するように、順番は、1から6までである。これらの順序のそれぞれに対応する表示情報は、「選手D」(優先度は20)、「チームA」(優先度は10)、「チームB」(優先度は10)、「田口C介」(優先度は10)、「気象庁台風情報」(優先度は5)、「台風??号」(優先度は5)である。つまり、語彙リストサーバー装置2の語彙リストデータベース210において「選手D」の優先度に関する更新があったことにより、「選手D」の優先度が上がり、ユーザーの語彙リスト利用装置5において上位に表示されることとなる。
以上、説明したように、本実施形態では、語彙リスト提供装置1が作成して管理するコンテンツ視聴履歴は、語彙リスト提供装置1ごとに(つまり、ユーザーごとに)異なるものである。したがって、語彙リスト提供装置1が語彙リストサーバー装置2から受け取る抽出語彙リスト、および語彙リスト提供装置1が語彙リスト利用装置5に提供する確定語彙リストは、そのユーザーに固有のものである。また、その確定語彙リストは、当該ユーザーが保持して管理する(機器管理装置4が持つデータによる管理)機器の集合に固有のものである。つまり、説明した手順によると、語彙リスト利用装置5は、コンテンツ視聴履歴や機器管理データベース等に基づいてユーザーに固有の確定語彙リストを受信し、利用することができる。
つまり、本実施形態では、ユーザーが視聴したコンテンツに応じてその文脈においてのみ特定のアクション候補がユーザーに対して提示される。つまり、本実施形態における語彙リスト利用装置5を使用するユーザーにとっては、視聴したコンテンツに応じたテキストが入力しやすくなったり、視聴したコンテンツに関連したURLの情報リソースにアクセスしやすくなったり、視聴したコンテンツに関連した機器の制御を行うことができたりする。アクション候補が文字列(テキスト)である場合には、コンテンツの内容についてユーザーが検索エンジンを検索したり、コンテンツの内容に関連するSNS投稿を入力したりすることが容易になる。
なお、上述した実施形態における語彙リスト提供装置1、語彙リストサーバー装置2、コンテンツ再生装置3、機器管理装置4、語彙リスト利用装置5、データ供給元装置6、およびIoT機器7の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM、DVD−ROM、USBメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
[変形例1]
例えば、システム1000が、コンテンツ再生装置3を含まない形態としてもよい。その場合にも、語彙リスト提供装置1は、コンテンツ視聴履歴データベース110を有し、そのデータベース内にコンテンツ視聴履歴の情報を保持している。例えば、ユーザーの手入力によってコンテンツ視聴履歴データベース110へのデータの蓄積が行われてもよい。また、過去において語彙リスト提供装置1とコンテンツ再生装置3との間の通信接続があったときに、コンテンツ再生装置3から渡された情報がコンテンツ視聴履歴データベース110に蓄積されていてもよい。また、他の手段で、他の装置から渡されたコンテンツ視聴履歴のデータが、コンテンツ視聴履歴データベース110に蓄積されていてもよい。このような変形例1においても、語彙リスト提供装置1は、視聴履歴データを語彙リストサーバー装置2に送信することができ、語彙リストサーバー装置2からは視聴履歴データに応じた語彙リストを受信することができる。また、語彙リスト提供装置1は、受信した語彙リストに基づいて作成した確定語彙リストを、語彙リスト利用装置5に提供することができる。
[変形例2]
例えば、システム1000が、機器管理装置4を含まない形態としてもよい。したがって、変形例2においては、ユーザーシステム900は、自システム内のIoT機器7の情報を管理しない。このような場合にも、語彙リスト提供装置1は、カスタマイズ済みのデバイス制御のデータ以外の、アクション候補のリストの情報を、語彙リスト利用装置5に対して提供することが可能となる。つまり、語彙リスト提供装置1は、処理の種類が「URL」である場合や「テキスト」である場合のアクションの候補を、語彙リスト利用装置5に提供することが可能となる。
変形例2では、システム1000は、機器管理装置4を持たない。したがって、語彙リスト提供装置1は、機器情報取得部113を持つ必要がない。また、変形例2では、語彙リスト提供部114が作成する確定語彙リストは、語彙リストサーバー装置2から受信する抽出語彙リストと同一のリストであってもよい。つまり、変形例2では、語彙リスト提供装置1は、受信した抽出語彙リストをカスタマイズする必要がない。
以上、この発明の実施形態とその変形例について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。