JP2019036837A - オブジェクト特定装置、オブジェクト特定システム、オブジェクト特定方法及びプログラム - Google Patents

Abstract

【課題】本発明は、アシスタントデバイスを用いたサービスにおいて、端末で視聴されるコンテンツで表示、紹介されている又は関連付けられている商品やサービス等のオブジェクトを正確に特定することができる技術を提供することにある。
【解決手段】ユーザが視聴しているコンテンツのコンテンツ視聴データを取得して記録する視聴データ記録部と、ユーザよりアシスタントデバイスに与えられた所定のユーザコマンドをトリガとして取得された時刻情報を取得し、コンテンツ視聴データと時刻情報とコンテンツのメタデータとに基づいて、時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定するオブジェクト特定部と、オブジェクト特定部で特定されたオブジェクトに関するオブジェクト情報を、ユーザと関連付けて記録するオブジェクト情報記録部とを有するオブジェクト特定装置である。
【選択図】図１

Description

本発明はオブジェクト特定装置、オブジェクト特定システム、オブジェクト特定方法及びプログラムに関し、特に、コンテンツで表示、紹介された又は関連付けられた商品又はサービス等のオブジェクトのうち、ユーザが興味を持った商品又はサービス等のオブジェクトを特定して記録するオブジェクト特定システム、オブジェクト特定方法及びプログラムに関する。

特許文献１には、以下の技術が記載されている。家庭内に設置され、マイクロフォン等でユーザの音声を取得するアシスタントデバイスなるものがある。アシスタントデバイスは、ユーザからの口頭のコマンドを受信し、これをクラウドに送信し、コマンドに基づきオペレーションを行うように構成される。例えば、ユーザは食料品の注文を口頭ですると、この口頭による注文は音声認識機能を用いて解釈され、解釈が終了すると、配達のために食料品店に送信されるか、または単にユーザが食料品店で買い物時にスマートフォンで見ることができる買い物リストとして記録される。

公表特許公報２０１４−５０７０３０号

しかし、アシスタントデバイスによる音声等の取得だけでは、端末で視聴されるコンテンツで表示、紹介された又は関連付けられた商品やサービス等を正確に特定することはできなかった。

そこで、本発明は、アシスタントデバイスを用いたサービスにおいて、端末で視聴されるコンテンツで表示、紹介された又は関連付けられた商品やサービス等のオブジェクトのうち、ユーザが興味を持った商品又はサービス等のオブジェクトを正確に特定することができるオブジェクト特定装置、オブジェクト特定システム、オブジェクト特定方法及びプログラムを提供することにある。

本発明の一態様は、ユーザが視聴しているコンテンツのコンテンツ視聴データを取得して記録する視聴データ記録部と、前記ユーザよりアシスタントデバイスに与えられた所定のユーザコマンドをトリガとして取得された時刻情報を取得し、前記コンテンツ視聴データと、前記時刻情報と、前記コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定するオブジェクト特定部と、前記オブジェクト特定部で特定されたオブジェクトに関するオブジェクト情報を、前記ユーザと関連付けて記録するオブジェクト情報記録部とを有するオブジェクト特定装置である。

本発明の一態様は、コンテンツを視聴するコンテンツ視聴端末を識別するコンテンツ視聴端末識別情報と、ユーザを識別する第１のユーザ識別情報とが関連付けられて記憶されている第１のデータベースと、アシスタントデバイスを識別するアシスタントデバイス識別情報又は第２のユーザ識別情報と、前記第１のユーザ識別情報とが関連付けられて記憶されている第２のデータベースと、前記アシスタントデバイスから送信されるコマンドデータと、アシスタントデバイス識別情報又は第２のユーザ識別情報を受信し、前記コマンドデータに基づいて前記アシスタントデバイスにユーザより与えられたユーザコマンドを識別し、前記ユーザコマンドをトリガとして時刻情報を取得し、前記アシスタントデバイス識別情報又は第２のユーザ識別情報に関連付けられている第１のユーザ識別情報を第２のデータベースから取得し、前記時刻情報と前記第１のユーザ識別情報とを関連付けて送信するサービス処理部と、前記コンテンツ視聴端末に表示されているコンテンツを視聴しているユーザのコンテンツ視聴データと、前記コンテンツ視聴端末のコンテンツ視聴端末識別情報とを取得し、取得したコンテンツ視聴端末識別情報に関連付けられている第１のユーザ識別情報を前記第１のデータベースから取得し、取得した第１のユーザ識別情報とコンテンツ視聴データとを関連付けて記録する視聴データ記録部と、前記サービス処理部から前記第１のユーザ識別情報及び前記時刻情報を受信し、前記第１のユーザ識別情報に関連付けられているコンテンツ視聴データを前記視聴データ記録部から取得し、前記第１のユーザ識別情報に関連付けられているコンテンツ視聴データ及び時刻情報と、コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定するオブジェクト特定部と、前記オブジェクト特定部で特定されたオブジェクトに関するオブジェクト情報と前記第１のユーザ識別情報とを関連付けて記録するオブジェクト情報記録部とを有するオブジェクト特定システムである。

本発明の一態様は、ユーザが視聴しているコンテンツのコンテンツ視聴データを取得して記録し、前記ユーザよりアシスタントデバイスに与えられた所定のユーザコマンドをトリガとして取得された時刻情報を取得し、前記コンテンツ視聴データと、前記時刻情報と、前記コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定し、前記特定されたオブジェクトに関するオブジェクト情報を、前記ユーザと関連付けて記録するオブジェクト特定方法である。

本発明の一態様は、ユーザが視聴しているコンテンツのコンテンツ視聴データを取得して記録する処理と、前記ユーザよりアシスタントデバイスに与えられた所定のユーザコマンドをトリガとして取得された時刻情報を取得する処理と、前記コンテンツ視聴データと、前記時刻情報と、前記コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定する処理と、前記特定されたオブジェクトに関するオブジェクト情報を、前記ユーザと関連付けて記録する処理とをコンピュータに実行させるプログラムである。

本発明は、アシスタントデバイスを用いたサービスにおいて、端末等で視聴されるコンテンツで表示紹介された又は関連付けられた商品やサービス等のオブジェクトのうち、ユーザが興味を持った商品又はサービス等のオブジェクトを正確に特定することができる。

図１は本発明の実施の形態におけるオブジェクト特定システムの概略構成図である。 図２はオブジェクト特定システムの具体的な実施の形態の概略構成図である。 図３はアシスタント処理装置３０のブロック図である。 図４はアシスタント側ユーザ識別情報データベース３０６の一例を示した図である。 図５はオブジェクト特定装置４０のブロック図である。 図６は、オブジェクト特定側ユーザ識別情報データベース４０６の一例を示す図である。 図７は視聴データ記録部４０７の一例を示す図である。 図８は、テレビメタデータデータベース４０８の一例を示す図である。 図９はオブジェクト情報記録部４０９の一例を示す図である。 図１０は各装置間のシーケンス図である。 図１１は本実施の形態の動作を説明するための図である。 図１２はアシスタント処理装置３０で行われるサービス実行処理（Ｓ４）のフローチャートである。 図１３はオブジェクト特定装置４０で行われるオブジェクト特定処理（Ｓ５）のフローチャートである。 図１４はユーザが閲覧することができるオブジェクト情報の一例を示した図である。

本発明の実施の形態を説明する。

図１は本発明の実施の形態におけるオブジェクト特定システムの概略構成図である。

本実施の形態のオブジェクト特定システムは、コンテンツ視聴端末１と、アシスタントデバイス２と、アシスタント処理装置３と、オブジェクト特定装置４とを備える。

コンテンツ視聴端末１は、コンテンツを視聴する端末であり、例えば、据え置き型テレビ受信機、スマートフォン、ヘッドマウントディスプレイ等がある。また、コンテンツの代表的な例として、放送局から放送される放送番組があるが、放送番組に限られない。例えば、ビデオオンデマンド（ＶＯＤ）によるビデオコンテンツ、ラジオ放送によるラジオ番組などでもよい。また、番組は、ドラマ、バラエティー番組、紹介番組等だけでなく、宣伝（コマーシャル：ＣＭ）番組も含む。

アシスタントデバイス２は、アシスタント処理装置３と連携し、ユーザＡからの所定のユーザコマンドをトリガとして、ユーザＡの質問又は要求等に対する回答やコンテンツの提供を行うものである。アシスタントデバイス２は、アシスタントスピーカとも呼ばれ、代表的な例としては、”Amazon Echo”や、”Google Home”等がある。

ユーザコマンドの代表的なものとして、音声によるコマンドがある。例えば、「ＡＡＡ」という用語をユーザコマンドと規定し、ユーザＡが「ＡＡＡ」と発話し、「ＡＡＡ」を検出した場合、その後に続く、ユーザＡの質問又は要求等に対する回答やコンテンツの提供を行う。但し、ユーザコマンドは、音声に限ることなく、ユーザのジェスチャ（動作）や、物理的なスイッチの押下等でも良い。

アシスタントデバイス２は、通常、音声を集音するマイクや、音声を出力するスピーカ、集音した音声をネットワークに送信したり、また、ネットワークからデータを受信する送受信部等を有するが、アシスタントデバイス２自体は、データの解析等の処理機能は有しておらず、データの解析等の処理機能はアシスタント処理装置３が行われる場合が多い。但し、これに限定するものではなく、データの解析等の処理機能を有するスマートフォン等でも良いことはいうまでもない。

更に、アシスタントデバイス２が有するのはマイクに限らず、ユーザや周囲を撮影することができるカメラを有していても良い。また、アシスタントデバイス２は、コンテンツ視聴端末１に内蔵されていても良い。

アシスタント処理装置３はサービス処理部３１を有する。サービス処理部３１はアシスタントデバイス２から送信されてきた音声を、テキスト等に変換し、変換したテキスト等に対するサービス処理を実行する機能を有する。本実施の形態では、サービス処理部３１は、アシスタントデバイス２から送信されてきた音声をテキストに変換し、変換したテキストが所定のユーザコマンド、例えば、予め定められた用語（「ＨＨＨＧＯ、これ欲しい」等）である場合、そのユーザコマンドをトリガにして、ユーザコマンドの識別時の時刻情報を取得する。そして、ユーザＡを識別する情報とともに、時刻情報を、オブジェクト特定装置４に送信する。尚、時刻情報は、ユーザコマンドの識別時と同一時刻に限られるわけではなく、本発明の趣旨を逸脱しない範囲で、時刻情報を取得するタイミングを定めればよい。

オブジェクト特定装置４は、ユーザＡがコンテンツ視聴端末１により、コンテンツを視聴中に、アシスタントデバイス２に対して所定のユーザコマンドを与えた時、コンテンツのシーンに表示、紹介されている又は関連付けられているオブジェクトを特定し、そのオブジェクトのオブジェクト情報をユーザＡに関連付けて記録する機能を有する。ここで、オブジェクトとは、ユーザが興味を持った対象であり、例えば、商品又はサービス等が代表的な例であるが、これに限られない。

オブジェクト特定装置４は、視聴データ記録部４１と、オブジェクト特定部４２と、オブジェクト情報記録部４３とを備える。

視聴データ記録部４１は、ユーザＡがコンテンツ視聴端末１により視聴しているコンテンツの視聴データ（例えば、視聴履歴）を取得して記録する。記録される視聴データは、少なくとも、視聴しているコンテンツの識別情報、コンテンツの視聴の開始、コンテンツの視聴継続又は終了時刻の情報があれば良いが、他の視聴の情報を記録しても良い。取得した視聴データは、ユーザＡと関連付けられて記録される。尚、視聴データ記録の方法は、データ放送、ハイブリットキャスト等のプログラムによるインターネットを介しての双方通信による方法があるが、これに限られない。視聴データを記録することが出来る手法であれば良い。

オブジェクト特定部４２は、アシスタント処理装置３から送信されるユーザＡを識別する情報及び時刻情報を受信する。そして、そのユーザＡの視聴データを視聴データ記録部４１から取得する。取得したユーザＡの視聴データから対応するコンテンツのメタデータを特定する。特定したメタデーと、アシスタント処理装置３から受信したユーザＡの時刻情報とを突合し、その時刻情報で特定される時刻のシーンに表示、紹介されていた又は関連付けられたオブジェクトを特定する。すなわち、コンテンツに表示、コンテンツで紹介されていた又は関連付けられたオブジェクトのうち、ユーザＡが興味を持って所定のユーザコマンドを発した時のオブジェクトを特定するのである。

ここで、コンテンツのメタデータは、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、OA内容番組ID、番組名、放送局ID、OA日、OA曜日、番組ジャンル等の番組の基本情報である番組基本情報と、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、紹介商品名、販売店舗名、紹介商品等の番組で紹介された商品に関する紹介商品情報と、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、紹介店舗名、取扱商品、店舗住所等の番組で紹介された店舗に関する紹介店舗情報と、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、場所、リゾート、温泉などのキーワードから成るリゾート情報から構成される。OA内容のヘッドラインには出演者も含まれる。

オブジェクト情報記録部４３は、オブジェクト特定部４２で特定されたオブジェクトのオブジェクト情報を、ユーザＡと関連付けて記録する。オブジェクト情報は、特定されたオブジェクトの名称（例えば、商品名、サービス名）、販売店等があるが、これらに限られない。オブジェクト情報は、上記のコンテンツのメタデータから取得できるものであれば良い。

上述したアシスタント処理装置３及びオブジェクト特定装置４が各動作を行うためには、ユーザＡと、コンテンツ視聴端末１と、アシスタントデバイス２とが直接又は間接的に関連付けられている必要がある。ユーザＡと、コンテンツ視聴端末１と、アシスタントデバイス２とを直接又は間接的に関連付ける方法として、ユーザＡとコンテンツ視聴端末１とアシスタントデバイス２とに同一の識別情報を付与する方法がある。また、ユーザＡとコンテンツ視聴端末１とアシスタントデバイス２とに異なる識別情報を付与し、その関連付けの情報（例えば、識別情報の関連付けのデータベース）を介して互いに関連付ける方法でも良い。また、ユーザＡと、コンテンツ視聴端末１と、アシスタントデバイス２とに異なる識別情報を与え、それらの識別情報を他のキーとなる識別情報に関連付ける方法でも良い。すなわち、何らかの方法で、ユーザＡと、コンテンツ視聴端末１と、アシスタントデバイス２とが互いに関連付けられていれば良い。また、ユーザＡ、コンテンツ視聴端末１及びアシスタントデバイス２を識別する各識別情報は、ユーザＩＤのようにユーザが能動的にログインする識別情報のみならず、例えばＩＰアドレスのように、ユーザにとって能動的ではないが、個々を識別できる識別情報も含む概念である。

このように、構成することにより、アシスタントデバイスを用いたサービスにおいて、端末で視聴されるコンテンツで表示、紹介され又は関連付けられている商品やサービス等のオブジェクトのうち、ユーザが興味を持った商品やサービス等のオブジェクトを正確に特定することができる。

更に、上記構成において、ユーザＡが、オブジェクト情報記録部４３に記録されているオブジェクト情報を閲覧することができるように、オブジェクト情報提示部を設けても良い。オブジェクト情報提示部は、記録されているオブジェクト情報を提示することができれば、アシスタント処理装置３又はオブジェクト特定装置４のいずれに設置されていても良い。

次に、具体的な実施の形態を説明する。

図２は、オブジェクト特定システムの具体的な実施の形態の概略構成図である。

以下の具体的な実施の形態では、コンテンツ視聴端末をテレビ受信機とし、オブジェクトを商品又はサービスとする例を説明する。

本実施の形態のオブジェクト特定システムは、テレビ受信機１０と、アシスタントデバイス２０と、アシスタント処理装置３０と、オブジェクト特定装置４０とを備える。

テレビ受信機１０は、放送局から放送されるデータ放送を含むデジタルテレビジョン信号を受信し、放送番組を表示する。また、データ放送も受信することができ、データ放送による双方向通信機能により、オブジェクト特定装置４０と情報の送受信が可能である。尚、本例では、双方向通信機能として、データ放送の例を説明するが、これに限られず、例えば、ハイブリットキャスト等の他の方法でも良い。

テレビ受信機１０はオブジェクト特定装置４０が保持する第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）と関連付けするために、テレビ受信機１０にはテレビ受信機識別情報が付与される。第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）とテレビ受信機識別情報との関連付けについては後述する。

アシスタントデバイス２０は、アシスタント処理装置３０と連携し、ユーザＡからの所定のユーザコマンドをトリガとして、ユーザＡの質問又は要求等に対する回答やコンテンツの提供を行うものである。アシスタントデバイス２０は、種々の機能を有するものがあるが、本実施の形態では、音声を集音するマイク、音声を出力するスピーカ、集音した音声信号をネットワークに送信したり、また、ネットワークからデータを受信する送受信部等を有する機能を持ち、ユーザＡの指示に対する具体的な処理はアシスタント処理装置３０が行う例を説明する。

アシスタント処理装置３０は、アシスタントデバイス２０から送信されてきた音声を、テキスト等に変換し、変換したテキスト等に対する処理を実行する機能を有する。そして、アシスタント処理装置３０は、図３に示す如く、プロセッサ３００、メモリ（ＲＯＭやＲＡＭ）３０１、記憶装置（ハードディスク、半導体ディスクなど）３０２、入力装置（キーボード、マウス、タッチパネルなど）３０３、表示装置３０４、通信装置３０５、アシスタント側ユーザ識別情報データベース３０６などのハードウェア資源を有する汎用のコンピュータにより構成することができる。

アシスタント側ユーザ識別情報データベース３０６は、上述したオブジェクト特定装置４０が保持する第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）と、アシスタント側のサービスで用いられる第２のユーザ識別情報（アシスタント側ユーザ識別情報）との関連付けが記憶されているデータベースである。第１のユーザ識別情報と第２のユーザ識別情報とは、基本的に同一のユーザ（例えば、ユーザＡ）に付与される識別情報である。また、第２のユーザ識別情報は、アシスタントデバイス２０を識別する識別情報としても利用される。第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）と、第２のユーザ識別情報（アシスタント側ユーザ識別情報）との関連付ける方法であるが、一例として、サービス利用時に、後述するように、ユーザ登録されて第１のユーザ識別情報が発行されるタイミングで、オブジェクト特定装置４０から第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）と、第２のユーザ識別情報（アシスタント側ユーザ識別情報）との関連付けの情報を得ることで、アシスタント側ユーザ識別情報データベース３０６を作成することができる。図４は、アシスタント側ユーザ識別情報データベース３０６の一例を示した図である。図４では、例えば、第１のユーザ識別情報“Ｈ１００”と第２のユーザ識別情報“Ａ２００”とが関連付けられている。

尚、アシスタント側ユーザ識別情報データベース３０６は、アシスタント処理装置３０が備えていても良いが、アシスタント処理装置３０と物理的に外部に設けられ、ＬＡＮを介してアシスタント処理装置３０と接続されていても良い。

アシスタント処理装置３０は、記憶装置３０２に格納されたプログラムがメモリ３０１にロードされ、プロセッサ３００によりプログラムが実行されることにより、送受信処理と、認識処理と、判定処理と、サービス実行処理とが実現されるものである。

送受信処理は、アシスタントデバイス２０、又は、オブジェクト特定装置４０との間で情報の送受信を行う処理である。

認識処理は、アシスタントデバイス２０から送信された音声に対して音声認識処理を行い、テキストに変換する処理である。

判定処理は、認識処理により変換されたテキストを用いて、所定のユーザコマンドであるかを判定する処理である。ユーザコマンドは、予め登録されており、いずれのユーザコマンドに該当するかを判定、検出する。本実施の形態では、ユーザコマンドのひとつとして、「ＨＨＨＧＯ、これ欲しい」が登録されているものとする。

サービス実行処理は、判定処理により、所定のユーザコマンドが検出された場合、そのユーザコマンドに対応したサービスを実行する処理である。本実施の形態では、判定処理において、ユーザコマンド「ＨＨＨＧＯ、これ欲しい」が検出された場合、その検出時の時刻情報を取得する。更に、「ＨＨＨＧＯ、これ欲しい」を送信したアシスタントデバイス２０に付与されている第２のユーザ識別情報に関連付けられている第１のユーザ識別情報を、アシスタント側ユーザ識別情報データベース３０６から検索し、検索した第１のユーザ識別情報及び取得した時刻情報を、オブジェクト特定装置４０に送信する処理を実行する。尚、サービス実行処理が行うサービスは、前述した時刻情報の取得等のサービスに限らず、他のユーザコマンドに対応したサービスを実行してもかまわない。

オブジェクト特定装置４０は、ユーザＡがテレビ受信機１０により、テレビ放送番組を視聴中に、アシスタントデバイス２０に対して所定のユーザコマンドを与えた時、テレビ放送番組のシーンに表示、紹介されている又は関連付けられている商品又はサービスを特定し、商品又はサービスの情報をユーザＡに関連付けて記録する機能を有する。

オブジェクト特定装置４０は、図５に示す如く、プロセッサ４００、メモリ（ＲＯＭやＲＡＭ）４０１、記憶装置（ハードディスク、半導体ディスクなど）４０２、入力装置（キーボード、マウス、タッチパネルなど）４０３、表示装置４０４、通信装置４０５、オブジェクト特定側ユーザ識別情報データベース４０６、視聴データ記録部４０７と、テレビメタデータデータベース４０８と、オブジェクト情報記録部４０９などのハードウェア資源を有する汎用のコンピュータにより構成することができる。

尚、オブジェクト特定側ユーザ識別情報データベース４０６と、視聴データ記録部４０７と、テレビメタデータデータベース４０８と、オブジェクト情報記録部４０９とは、オブジェクト特定装置４０が備えていても良いが、オブジェクト特定装置４０と物理的に外部に設けられ、ＬＡＮを介してオブジェクト特定装置４０と接続されていても良い。また、オブジェクト特定側ユーザ識別情報データベース４０６と、視聴データ記録部４０７と、テレビメタデータデータベース４０８と、オブジェクト情報記録部４０９との一部又は全部は、一体に構成されていても良い。

まず、オブジェクト特定側ユーザ識別情報データベース４０６と、視聴データ記録部４０７と、テレビメタデータデータベース４０８と、オブジェクト情報記録部４０９について説明する。

オブジェクト特定側ユーザ識別情報データベース４０６は、テレビ受信機１０のテレビ受信機識別情報と、第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）と、第２のユーザ識別情報（オブジェクト特定側ユーザ識別情報）とが関連付けて記憶されたデータベースである。図６は、オブジェクト特定側ユーザ識別情報データベース４０６の一例を示す図である。図６では、例えば、第１のユーザ識別情報“Ｈ１００”と第２のユーザ識別情報“Ａ２００”と、テレビ受信機識別情報“ＴＶ１００”とが関連付けられている。

視聴データ記録部４０７は、第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）と、視聴データとが関連付けて記憶されたデータベースである。視聴データは、番組ＩＤ（番組識別情報）、その番組の視聴を開始した開始時刻と、その番組の視聴継続中又は視聴を終了した終了時刻とが、少なくとも記録されるが、他の情報を含んでも良い。図７は、視聴データ記録部４０７の一例を示す図である。図７では、例えば、第１のユーザ識別情報“Ｈ１００”と、番組ＩＤ（番組識別情報）、その番組の視聴を開始した開始時刻、その番組の視聴継続中又その番組の視聴を終了した終了時刻とが関連付けられている。

テレビメタデータデータベース４０８は、放送番組のメタデータである。このメタデータは、放送局から直接入力されても良いし、サーバから入力されるようにしても良い。図８は、テレビメタデータデータベース４０８の一例を示す図である。蓄積されるメタデータは、例えば、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、OA内容番組ID、番組名、放送局ID、OA日、OA曜日、番組ジャンル等の番組の基本情報である番組基本情報と、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、紹介商品名、販売店舗名、紹介商品等の番組で紹介された商品に関する紹介商品情報と、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、紹介店舗名、取扱商品、店舗住所等の番組で紹介された店舗に関する紹介店舗情報と、シーンID、OA開始時刻、OA終了時刻、シーン分類、OA内容のヘッドライン、場所、リゾート、温泉などのキーワードから成るリゾート情報から構成される。OA内容のヘッドラインには出演者も含まれる。

尚、上述した内容は一例であり、これに限定されるものではない。例えば録画再生やVODであれば、個人視聴率などをもとにした、性別や年代などの視聴属性を、メタデータとして付してもよい。または、テレビ画面上に表示される地図、テロップや、出演者の顔などの座標情報をメタデータとして付してもよい。更に、字幕のデータでも良い。このように、シーンに関するメタデータは、そのシーンに関する情報であれば、その種類は問わない。

オブジェクト情報記録部４０９は、オブジェクト特定装置４０が特定した商品又はサービスのオブジェクト情報と、第１のユーザ識別情報（オブジェクト特定側ユーザ識別情報）とが関連付けられて記憶されるデータベースである。図９は、オブジェクト情報記録部４０９の一例を示す図である。図９では、例えば、第１のユーザ識別情報“Ｈ１００”と、オブジェクト情報である商品「スマートフォン」及び商品名「ＸＸＸＸ」とが関連付けられている。

オブジェクト特定装置４０は、記憶装置３０２に格納されたプログラムがメモリ３０１にロードされ、プロセッサ３００によりプログラムが実行されることにより、送受信処理、視聴データ記録処理、オブジェクト特定処理、オブジェクト情報記録処理、オブジェクト情報提示処理が実現されるものである。

送受信処理は、テレビ受信機１０、又は、アシスタント処理装置３０との間で情報の送受信を行う処理である。

視聴データ記録処理は、テレビ受信機１で視聴されている放送番組の視聴データを取得し、視聴データ記録部４０７に、第１のユーザ識別情報と関連付けて視聴データを記録する処理を行う。

視聴データを取得するためには、テレビ受信機識別情報と第１のユーザ識別情報とを関連付ける必要がある。ここで、テレビ受信機識別情報と第１の識別情報との関連付けであるが、例えば、以下の方法がある。

まず、初回のサービス利用時に、データ放送の双方向通信機能を用いて、テレビ受信機１０からサービスの利用開始を要求する。この時、テレビ受信機１０は、テレビ受信機１０のB-CASの識別番号及びテレビメーカの識別情報を送信する。オブジェクト特定装置４０では、受信したB-CASの識別番号及びテレビメーカの識別情報から、所定の方法によりテレビ受信機識別情報を生成し、このテレビ受信機識別情報を識別できるＱＲコード（登録商標）等をテレビ受信機１０に送信して表示させる。

ユーザＡは、テレビ受信機１０に表示されたＱＲコード（登録商標）等を用いて、パーソナルコンピュータやスマートフォンからユーザ登録するためのオブジェクト特定装置４０のＷｅｂサイトにアクセスし、ユーザＡの第２の識別情報を含むユーザ情報等を入力する。そして、このユーザ情報に対応する第１のユーザ識別情報を発行し、オブジェクト特定側ユーザ識別情報データベース４０６と視聴データ記録部４０７とに登録する。また、発行した第１のユーザ識別情報と第２のユーザ識別情報との関連付けの情報を、アシスタント処理装置３０に送信する。

これにより、テレビ受信機１０において、チャンネルの変更、電源断等により、テレビ受信機１０とオブジェクト特定装置４０との間でセッションが切断されても、次回のテレビ受信機１０とオブジェクト特定装置４０との接続確立時に、B-CASの識別番号及びテレビメーカの識別情報を送信すれば、オブジェクト特定装置４０はB-CASの識別番号及びテレビメーカの識別情報からテレビ受信機識別情報を所定の方法により求めることができ、テレビ受信機識１０が視聴データを記録する対象であるかを判定することができる。

視聴データ記録処理は、テレビ受信機１０とオブジェクト特定装置４０との接続確立している間、データ放送等の機能を用いて、テレビ受信機１０から、放送番組ＩＤ（番組識別情報）、その番組の視聴を開始した開始時刻と、その番組の視聴を終了した終了時刻とを、少なくとも取得する処理を行う。そして、取得した視聴データのテレビ受信機１０のテレビ受信機識別情報に関連付けられている第１のユーザ識別情報を、オブジェクト特定側ユーザ識別情報データベース４０６から取得し、取得した第１のユーザ識別情報に関連付けて視聴データを視聴データ記録部４０７に記録する処理を行う。

オブジェクト特定処理は、アシスタント処理装置３０から第１のユーザ識別情報及び時刻情報を受信し、視聴データ記録部４０７から、第１のユーザ識別情報に対応する視聴データのうち、受信した時刻情報が開始時刻と終了時刻（又は視聴継続中）との間にある放送番組の番組ＩＤを検索する処理を行う。そして、テレビメタデータデータベース４０８を用いて、取得した番組ＩＤのメタデータから、取得した時刻情報に該当するシーンで紹介された商品又はサービスを特定する処理を行う。そして、特定した商品又はサービスの商品名やサービス名等のオブジェクト情報を、テレビメタデータデータベース４０８から取得する処理を行う。

尚、上述のオブジェクト特定処理は、オブジェクト特定装置４０がテレビメタデータデータベース４０８を備える場合を説明した。しかし、これに限られない。例えば、番組ＩＤ及び時刻情報等を取得することにより、商品又はサービスを特定できるようなテレビメタデータＡＰＩ（Application Programming Interface）等が外部に存在する場合、オブジェクト特定装置４０がテレビメタデータデータベース４０８を有さず、オブジェクト特定装置４０が、番組ＩＤ及び時刻情報等の必要な情報を送信し、テレビメタデータＡＰＩから商品又はサービスを取得するように構成しても良い。

オブジェクト情報記録処理は、オブジェクト特定処理で取得したオブジェクト情報を、第１のユーザ識別情報に関連付けて、オブジェクト情報記録部４０９に記録する処理を行う。

オブジェクト情報提示処理は、スマートフォン等の端末を用いてユーザＡから送信されるオブジェクト情報の提示要求に応じて、ユーザＡの第１のユーザ識別情報に関連付けられているオブジェクト情報を、オブジェクト情報記録部４０９から取得する処理を行う。そして、ユーザＡのスマートフォン等の端末に、ユーザＡの第１のユーザ識別情報に関連付けられているオブジェクト情報を送信する処理を行う。

次に、上述した構成における動作を、具体例を用いて説明する。

以下の説明においては、ユーザＡを例にとり、所定のユーザコマンドを「ＨＨＨＧＯ、これ欲しい」とする。また、ユーザＡは、サービスの利用するための初期登録は済んでおり、上述した各データベース及び記録部に、ユーザＡの第１の識別情報（Ｈ１００）及び第２の識別情報（Ａ２００）、テレビ受信機１０のテレビ受信機識別情報（ＴＶ１００）が登録されているものとする。また、テレビメタデータデータベース４０８には、図８に示すテレビメタデータが記憶されているものとする。

図１０は、各装置間のシーケンス図である。

まず、テレビ受信機１０は、放送局から放送されるデータ放送を含むデジタルテレビジョン信号を受信し、ユーザＡは放送番組を視聴する（Ｓ１）。このとき、テレビ受信機１０とオブジェクト特定装置４０との接続は確立されているものとする。

オブジェクト特定装置４０は、ユーザＡの視聴データを取得し、取得した視聴データを第１のユーザ識別情報と関連付けて視聴データ記録部４０７に記録する処理を行う（Ｓ２）。本例では、オブジェクト特定装置４０が、テレビ受信機識別情報”ＴＶ１００”のテレビ受信機１０より、視聴データとして番組ＩＤ“ＴＶ０１”と、視聴開始時刻”１５:００”とを取得したものとする。すると、オブジェクト特定装置４０は、オブジェクト特定側ユーザ識別情報データベース４０６を用いて、テレビ受信機識別情報”ＴＶ１００”に関連付けられているユーザＡの第１の識別情報“Ｈ１００”を取得し、第１の識別情報“Ｈ１００”と、視聴データとして番組ＩＤ“ＴＶ０１”及び視聴開始時刻”１５:００”とを関連付けて視聴データ記録部４０７に記録する。尚、視聴終了時刻は、ユーザＡの視聴が終了した時点で取得するが、それまでは視聴継続中とする。

ここで、図１１に示すように、ユーザＡが放送番組を視聴中、スマートフォンを紹介するシーンで、ユーザＡが「ＨＨＨＧＯ、これ欲しい」とアシスタントデバイス２０に発話したとする。

すると、アシスタントデバイス２０は、音声を検出し、その音声をコマンドデータとして第２のユーザ識別情報とともに、アシスタント処理装置３０に送信する（Ｓ３）。

アシスタント処理装置３０は、コマンドデータ（音声）及び第２のユーザ識別情報を受信し、サービスの実行処理を行う（Ｓ４）。ここで、アシスタント処理装置３０で行われるサービス実行処理（Ｓ４）を、図１２のフローチャートを用いて説明する。

まず、アシスタント処理装置３０は、コマンドデータ及び第２のユーザ識別情報を受信する（Ｓ１００）。本例では、「ＨＨＨＧＯ、これ欲しい」の音声と第２のユーザ識別情報“Ａ２００”とである。

次に、音声の音声認識を行い、テキストに変換する（Ｓ１０１）。ここでは、「ＨＨＨＧＯ、これ欲しい」のテキストが得られる。

得られたテキストが、所定のユーザコマンドであるかを判定する（Ｓ１０２）。得られたテキストが所定のユーザコマンドである場合は（Ｓ１０３）、時刻情報を取得する（Ｓ１０４）。一方、得られたテキストが所定のユーザコマンドでない場合は（Ｓ１０３）、それ以外のサービス処理を行う（Ｓ１０７）。本例では、「ＨＨＨＧＯ、これ欲しい」は、所定のユーザコマンドである。従って、時刻情報の取得を行う。ここでは、取得した時刻情報が“１５：１５”とする。

続いて、第２のユーザ識別情報に関連付けられている第１の識別情報を、アシスタント側ユーザ識別情報データベース３０６から取得する（Ｓ１０５）。本例では、第２のユーザ識別情報“Ａ２００”に関連付けられている第１の識別情報は、”Ｈ１００”である。

最後に、取得した第１の識別情報及び時刻情報を、オブジェクト特定装置４０に送信する（Ｓ１０６）。本例では、第１の識別情報”Ｈ１００”及び時刻情報“１５：１５”を、オブジェクト特定装置４０に送信する。

図１０の各装置間のシーケンス図の説明に戻る。

第１の識別情報及び時刻情報を受信したオブジェクト特定装置４０は、オブジェクト特定処理（Ｓ５）を行う。ここで、オブジェクト特定装置４０で行われるオブジェクト特定処理（Ｓ５）を、図１３のフローチャートを用いて説明する。

まず、オブジェクト特定装置４０は、第１の識別情報及び時刻情報を受信する（Ｓ２００）。本例では、第１の識別情報”Ｈ１００”及び時刻情報“１５：１５”である。

次に、オブジェクト特定装置４０は、第１の識別情報及び時刻情報を用いて、テレビメタデータデータベース４０８から該当する商品又はサービスを特定する（Ｓ２０１、Ｓ２０２）。本例では、第１の識別情報が”Ｈ１００”であるので、第１の識別情報が”Ｈ１００”の視聴データを、視聴データ記録部４０７から取得する。取得される視聴データは、番組ＩＤ“ＴＶ０１”と、視聴開始時刻”１５:００”及び視聴継続中である。これらの情報から、ユーザＡは、現在、番組ＩＤ“ＴＶ０１”で特定される放送番組を視聴していることがわかる。テレビメタデータデータベース４０８を見ると、番組ＩＤ“ＴＶ０１”のテレビ放送番組の時刻“１５：１５”を含むシーン（シーンＩＤ：Ｓ２）において、商品名「ＸＸＸＸ」のスマートフォンを紹介しており、商品名「ＸＸＸＸ」のスマートフォンを特定することができる。すなわち、ユーザＡが、テレビ放送番組を視聴中、「ＨＨＨＧＯ、これ欲しい」とアシスタントデバイス２０に発話した時に、テレビ放送番組で表示、紹介されていた又は関連付けられていた対象物は、商品名「ＸＸＸＸ」のスマートフォンであることを特定できる。

オブジェクト特定装置４０は、商品又はサービスを特定できた場合（Ｓ２０３）、そのオブジェクト情報を、テレビメタデータデータベース４０８から取得する（Ｓ２０４）。そして、取得したオブジェクト情報を第１のユーザ識別情報に関連付けて、オブジェクト情報記録部４０９に記録する。本例では、商品「スマートフォン」及び商品名「ＸＸＸＸ」を、第１の識別情報が”Ｈ１００”に関連付けてオブジェクト情報記録部４０９に記録する。

一方、該当する商品又はサービスを特定できない場合（Ｓ２０３）、終了する。

このように、アシスタントデバイスを用いたサービスにおいて、テレビ受信機で視聴されるコンテンツで表示、紹介されている又は関連付けられている商品やサービス等のうち、ユーザが興味を持った商品やサービス等を、簡単に正確に特定することができる。すなわち、ユーザが、具体的な商品名等を発話する必要はなく、テレビ受信機でテレビ放送番組を視聴中、そのテレビ放送番組で、気に入った商品等や、興味がある商品等が表示、紹介された又は関連付けられている時に、簡単なユーザコマンドを発話するだけで、気に入った商品や、興味がある商品等を特定することができ、それらのオブジェクト情報を記録しておきことができる。

更に、ユーザは、後日、オブジェクト特定装置４０に、第１の識別情報を用いてスマートフォン等の端末により、オブジェクト情報の提示を要求することができる。そして、オブジェクト特定装置４０は、オブジェクト情報提示処理を行い、例えば、図１４に示すように、今までに記録されているオブジェクト情報を、閲覧を要求してきたスマートフォン等の端末に送信する。これにより、スマートフォン等の端末は、自己のオブジェクト情報を閲覧することもできる。尚、オブジェクト情報を送信する際、オブジェクト情報以外にクーポン等の特典も付加するようにしても良い。

また、オブジェクト情報の閲覧は、第２のユーザ識別情報を用いて、アシスタント処理装置３０又は他のサーバ等から、閲覧できるように構成しても良い。

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ コンテンツ視聴端末
２ アシスタントデバイス
３ アシスタント処理装置
４ オブジェクト特定装置
１０ テレビ受信機
２０ アシスタントデバイス
３０ アシスタント処理装置
３１ サービス処理部
４０ オブジェクト特定装置
４１ 視聴データ記録部
４２ オブジェクト特定部
４３ オブジェクト情報記録部
３００ プロセッサ
３０１ メモリ
３０２ 記憶装置
３０３ 入力装置
３０４ 表示装置
３０５ 通信装置
３０６ アシスタント側ユーザ識別情報データベース
４００ プロセッサ
４０１ メモリ
４０２ 記憶装置
４０３ 入力装置
４０４ 表示装置
４０５ 通信装置
４０６ オブジェクト特定側ユーザ識別情報データベース
４０７ 視聴データ記録部
４０８ テレビメタデータデータベース
４０９ オブジェクト情報記録部

Claims (14)

1. ユーザが視聴しているコンテンツのコンテンツ視聴データを取得して記録する視聴データ記録部と、
   前記ユーザよりアシスタントデバイスに与えられた所定のユーザコマンドをトリガとして取得された時刻情報を取得し、前記コンテンツ視聴データと、前記時刻情報と、前記コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定するオブジェクト特定部と、
   前記オブジェクト特定部で特定されたオブジェクトに関するオブジェクト情報を、前記ユーザと関連付けて記録するオブジェクト情報記録部と
   を有するオブジェクト特定装置。
2. 前記視聴データ記録部は、前記ユーザのコンテンツ視聴データを、前記ユーザを識別するユーザ識別情報に関連付けて取得して記録し、
   前記オブジェクト特定部は、前記時刻情報と前記アシスタントデバイスと関連付けられた前記ユーザ識別情報とを取得し、前記ユーザ識別情報に関連付けられた前記コンテンツの視聴データ及び前記時刻情報と、前記コンテンツのメタデータとに基づいて、前記ユーザ識別情報のユーザが前記アシスタントデバイスに与えた前記ユーザコマンド発生時にコンテンツのシーンに表示、紹介された又は関連付けられたオブジェクトを特定し、
   前記オブジェクト情報記録部は、前記オブジェクト特定部で特定されたオブジェクトに関するオブジェクト情報と前記ユーザ識別情報とを関連付けて記録する
   請求項１に記載のオブジェクト特定装置。
3. 前記コンテンツのメタデータは、シーンの時刻情報、前記シーンに表示、紹介され又は関連付けられるオブジェクトのオブジェクト情報を少なくとも含む
   請求項１又は請求項２に記載のオブジェクト特定装置。
4. 前記ユーザからの要求に応答して、前記ユーザに関連付けられているオブジェクト情報を、前記ユーザに提示するオブジェクト情報提示部を有する
   請求項１から請求項３のいずれかに記載のオブジェクト特定装置。
5. 前記オブジェクトが、前記コンテンツのシーンで表示、紹介された又は関連付けられた商品又はサービスである
   請求項１から請求項４のいずれかに記載のオブジェクト特定装置。
6. 前記コンテンツが、テレビ放送の番組である
   請求項１から請求項５のいずれかに記載のオブジェクト特定装置。
7. 前記ユーザコマンドが、前記ユーザから発せられる音声コマンド及びジェスチャーの少なくともいずれか含む
   請求項１から請求項６のいずれかに記載のオブジェクト特定装置。
8. コンテンツを視聴するコンテンツ視聴端末を識別するコンテンツ視聴端末識別情報と、ユーザを識別する第１のユーザ識別情報とが関連付けられて記憶されている第１のデータベースと、
   アシスタントデバイスを識別するアシスタントデバイス識別情報又は第２のユーザ識別情報と、前記第１のユーザ識別情報とが関連付けられて記憶されている第２のデータベースと、
   前記アシスタントデバイスから送信されるコマンドデータと、アシスタントデバイス識別情報又は第２のユーザ識別情報を受信し、前記コマンドデータに基づいて前記アシスタントデバイスにユーザより与えられたユーザコマンドを識別し、前記ユーザコマンドをトリガとして時刻情報を取得し、前記アシスタントデバイス識別情報又は第２のユーザ識別情報に関連付けられている第１のユーザ識別情報を第２のデータベースから取得し、前記時刻情報と前記第１のユーザ識別情報とを関連付けて送信するサービス処理部と、
   前記コンテンツ視聴端末に表示されているコンテンツを視聴しているユーザのコンテンツ視聴データと、前記コンテンツ視聴端末のコンテンツ視聴端末識別情報とを取得し、取得したコンテンツ視聴端末識別情報に関連付けられている第１のユーザ識別情報を前記第１のデータベースから取得し、取得した第１のユーザ識別情報とコンテンツ視聴データとを関連付けて記録する視聴データ記録部と、
   前記サービス処理部から前記第１のユーザ識別情報及び前記時刻情報を受信し、前記第１のユーザ識別情報に関連付けられているコンテンツ視聴データを前記視聴データ記録部から取得し、前記第１のユーザ識別情報に関連付けられているコンテンツ視聴データ及び時刻情報と、コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定するオブジェクト特定部と、
   前記オブジェクト特定部で特定されたオブジェクトに関するオブジェクト情報と前記第１のユーザ識別情報とを関連付けて記録するオブジェクト情報記録部と
   を有するオブジェクト特定システム。
9. 前記サービス処理部は、認識したユーザコマンドが所定の条件を満たした場合に、前記時刻情報と前記第１のユーザ識別情報とを関連付けて送信する
   請求項８に記載のオブジェクト特定システム。
10. 前記コンテンツのメタデータは、シーンの時刻情報、前記シーンに表示されるオブジェクトのオブジェクト情報を少なくとも含む
    請求項８又は請求項９に記載のオブジェクト特定システム。
11. 前記ユーザからの要求に応答して、前記ユーザのユーザ識別情報に関連付けられているオブジェクト情報を、前記ユーザに提示するオブジェクト情報提示部を
    有する請求項８から請求項１０のいずれかに記載のオブジェクト特定システム。
12. 前記オブジェクトが、前記コンテンツのシーンで表示、紹介された又は関連付けられた商品又はサービスである
    請求項８から請求項１１のいずれかに記載のオブジェクト特定システム。
13. ユーザが視聴しているコンテンツのコンテンツ視聴データを取得して記録し、
    前記ユーザよりアシスタントデバイスに与えられた所定のユーザコマンドをトリガとして取得された時刻情報を取得し、
    前記コンテンツ視聴データと、前記時刻情報と、前記コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定し、
    前記特定されたオブジェクトに関するオブジェクト情報を、前記ユーザと関連付けて記録する
    オブジェクト特定方法。
14. ユーザが視聴しているコンテンツのコンテンツ視聴データを取得して記録する処理と、
    前記ユーザよりアシスタントデバイスに与えられた所定のユーザコマンドをトリガとして取得された時刻情報を取得する処理と、
    前記コンテンツ視聴データと、前記時刻情報と、前記コンテンツのメタデータとに基づいて、前記時刻情報で特定されるコンテンツのシーンで表示、紹介された又は関連付けられたオブジェクトを特定する処理と、
    前記特定されたオブジェクトに関するオブジェクト情報を、前記ユーザと関連付けて記録する処理と
    をコンピュータに実行させるプログラム。

Images