JP2023060977A - 情報提供装置、アプリケーションプログラム、情報提供方法、およびプログラム - Google Patents

Abstract

【課題】コンテンツを視聴する上での利便性を高めること。【解決手段】ユーザが保持する端末装置が動画を再生している間における前記ユーザによる前記端末装置の操作状況に基づいて、前記ユーザが、前記動画のある時間区画に対して関心を有するか否かを判定する関心判定部と、前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画に関連する関連情報を前記端末装置に提供する情報提供部と、を備える、情報提供装置。【選択図】図１

Description

本発明は、情報提供装置、アプリケーションプログラム、情報提供方法、およびプログラムに関する。

従来、ユーザによるテレビや動画などのコンテンツの視聴状況を管理する技術が知られている。例えば、特許文献１には、ユーザによる再生機器の視聴時間を計測し、計測した視聴時間が上限に達した場合に、当該ユーザに通知を行う技術が開示されている。

特開２００９－２９６３８５号公報

特許文献１に記載の技術は、再生機器の視聴時間が上限に達した事実をユーザに通知し、当該ユーザによる再生機器の更なる視聴を制限するものである。しかしながら、従来技術では、コンテンツの視聴状況が、ユーザによるコンテンツの視聴を促進するために好適に活用されていない場合があった。その結果、ユーザにとって、コンテンツを視聴する上での利便性が低い場合があった。

本発明は、このような事情を考慮してなされたものであり、ユーザにとって、コンテンツを視聴する上での利便性を高めることができる、情報提供装置、アプリケーションプログラム、情報提供方法、およびプログラムを提供することを目的の一つとする。

本発明の一態様は、ユーザが保持する端末装置が動画を再生している間における前記ユーザによる前記端末装置の操作状況に基づいて、前記ユーザが、前記動画のある時間区画に対して関心を有するか否かを判定する関心判定部と、前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画に関連する関連情報を前記端末装置に提供する情報提供部と、を備える、情報提供装置。

本発明の一態様によれば、ユーザにとって、コンテンツを視聴する上での利便性を高めることができる。

動画配信サーバ１００の構成および使用環境の一例を示す図である。 動画情報１５２の構成の一例を示す図である。 動画配信部１２０から配信された動画が端末装置１０上で再生される画面の一例を示す図である。 動画配信部１２０から配信された動画が端末装置１０上で再生される画面の別の例を示す図である。 動画視聴アプリ１８１によって再生される動画の再生設定を変更するための画面の一例を示す図である。 ユーザ情報１６０の構成の一例を示す図である。 関心判定部１３０がユーザの関心を判定する方法の一例を示す図である。 関心判定部１３０がユーザの関心を判定する方法の別の例を示す図である。 関心判定部１３０がユーザの関心を判定する方法の別の例を示す図である。 関心判定部１３０がユーザの関心を判定する方法の別の例を示す図である。 情報提供部１４０が提供する関連情報を決定するために用いるシーン／関連情報対応テーブル１５６の構成の一例を示す図である。 情報提供部１４０が提供した関連情報へのリンクを端末装置１０が表示する画面の一例を示す図である。 関心判定部１３０によって、ユーザが関心を有するオブジェクトを判定する方法の一例を示す図である。 情報提供部１４０が提供する関連情報を決定するために用いるオブジェクト／関連情報対応テーブル１５８の構成の一例を示す図である。 情報提供部１４０が提供した関連情報を端末装置１０が表示する画面の別の例を示す図である。 ユーザ情報１６０の構成の一例を示す図である。 情報提供部１４０がユーザ情報１６０に基づいて提供する関連情報を決定する方法の一例を示す図である。 統計情報１６２の構成の一例を示す図である。 動画配信サーバ１００と動画視聴アプリ１８１との協働によって実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の情報提供装置、アプリケーションプログラム、情報提供方法、およびプログラムの実施形態について説明する。図１は、動画配信サーバ１００の構成および使用環境の一例を示す図である。動画配信サーバ１００は、端末装置１０と協働して以下で説明する処理を行う。

［端末装置］
端末装置１０は、例えば、通信部１２と、入出力部１４と、制御部１６と、記憶部１８と、を含む。記憶部１８には、例えば、動画視聴アプリ１８１が記憶されている。記憶部１８には、さらに、動画配信サーバ１００により提供された情報が記憶されている。

通信部１２は、無線通信機やネットワークカード等の通信インターフェースを含む。通信部１２は、動画配信サーバ１００とネットワークＮＷを介して互いに通信する。ネットワークＮＷは、インターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、セルラー網などを含む。入出力部１４は、端末装置１０がスマートフォンやタブレット端末である場合、例えば、表示部と操作部とが一体化されたタッチパネルを含む。端末装置１０がパーソナルコンピュータである場合、入出力部１４は、例えば、操作ボタンやキーボードなどの入力部と、画像を表示する表示部とを含む。

制御部１６は、ＣＰＵ（Central Processing Unit）などのプロセッサが動画視聴アプリ１８１を実行することで実現される。制御部１６は、動画配信サーバ１００と協働して、後述する動画配信サービスに関する処理を実行する。本実施形態において、動画視聴アプリ１８１は、動画配信サーバ１００が配信する動画を再生するためのクライアントアプリ（ネイティブアプリ）であるものとして説明するが、動画視聴アプリ１８１は、Ｗｅｂブラウザであっても良い。

［動画配信サーバ］
動画配信サーバ１００は、端末装置１０の制御部１６と協働して、端末装置１０に動画配信サイトとしてのサービスを提供する装置である。動画配信サーバ１００は、例えば、取得部１１０と、動画配信部１２０と、関心判定部１３０と、情報提供部１４０と、記憶部１５０と、を含む。取得部１１０、動画配信部１２０、関心判定部１３０、及び情報提供部１４０は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。取得部１１０、動画配信部１２０、関心判定部１３０、及び情報提供部１４０は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されても良いし、ソフトウェアとハードウェアの協働によって実現されても良い。記憶部１５０は、例えば、ＲＯＭ、フラッシュメモリ、ＳＤカード、ＲＡＭ、ＨＤＤ、レジスタ等によって実現される。記憶部１５０は、例えば、動画情報１５２と、操作履歴情報１５４と、シーン／関連情報対応テーブル１５６と、オブジェクト／関連情報対応テーブル１５８と、ユーザ情報１６０と、統計情報１６２と、を格納する。

取得部１１０は、端末装置１０から、動画視聴アプリ１８１を介して、端末装置１０のユーザが視聴を希望する動画の配信リクエスト情報を受け付ける。より具体的には、例えば、端末装置１０のユーザは、動画視聴アプリ１８１を起動した後に、動画視聴アプリ１８１のインターフェース画面上で、視聴を希望する動画のＵＲＬ（Uniform Resource Locator）を直接入力し、取得部１１０は、当該ＵＲＬ情報を動画の配信リクエスト情報として受け付ける。また、例えば、端末装置１０のユーザは、動画視聴アプリ１８１の検索画面上で、検索キーワードを入力することによって、動画視聴アプリ１８１は、ユーザが視聴可能な動画の一覧画面を表示し、ユーザが視聴を希望する動画をクリックすることによって、取得部１１０は、クリックされた動画のＵＲＬ情報を配信リクエスト情報として受け付ける。

動画配信部１２０は、取得部１１０によって取得された、ユーザが視聴を希望する動画の配信リクエスト情報に基づいて、動画情報１５２を検索し、特定された動画をストリーミング形式またはダウンロード形式で動画視聴アプリ１８１に配信する。図２は、動画情報１５２の構成の一例を示す図である。図２に示す通り、動画情報１５２は、動画ＩＤに対して、タイトル、ＵＲＬ、カテゴリ、アップロード者、アップロード日、シーン１、シーン１の時間区間、シーン２、シーン２の時間区間、・・・シーンｎ、シーンｎの時間区間などの情報が対応付けられたものである。

タイトルは、動画ＩＤに対応する動画に付されたタイトルを表す情報である。ＵＲＬは、動画ＩＤに対応する動画が動画配信サーバ１００において格納されている格納場所を示す情報である。アップロード者は、動画ＩＤに対応する動画を動画配信サーバ１００にアップロードした人物又は組織を特定する情報である。本実施形態では、動画配信サービスに登録する複数の第三者が動画配信サーバ１００に動画をアップロードするものとして説明するが、本発明は、例えば、動画配信サーバ１００の運営者のみが動画をアップロードする場合に対しても同様に適用することができる。

アップロード日は、動画ＩＤに対応する動画をアップロード者が動画配信サーバ１００にアップロードした日付を示す情報である。カテゴリは、動画ＩＤに対応する動画が属するジャンルや種類を指定する情報である。カテゴリは、アップロード者が動画配信サーバ１００に動画をアップロードする際に手動で指定しても良いし、動画配信サーバ１００が、例えば、ディープラーニングなどの機械学習手法を用いて動画の内容を解析することによって、解析した内容に対応するカテゴリを自動的に指定しても良い。シーンは、動画ＩＤに対応する動画において、特定の意味を有する場面を示す情報である。例えば、図２の動画情報１５２に示す通り、自動車を紹介する動画は、内装を紹介するシーン、外装を紹介するシーン、装備内容を紹介するシーンなど、特定の意味を有する複数の区間に分割され得る。シーンの時間区間は、動画におけるシーンの開始点と終了点とを含む時間区間を示す情報である。シーン及びシーンの時間区間は、アップロード者が動画配信サーバ１００に動画をアップロードする際に手動で指定しても良いし、動画配信サーバ１００が、例えば、ディープラーニングなどの機械学習手法を用いて動画の内容を解析することによって、シーンを自動的に指定しても良い。

なお、図２では、一例として、動画情報１５２が、タイトル、ＵＲＬ、カテゴリ、アップロード者、アップロード日、シーン１、シーン１の時間区間、シーン２、シーン２の時間区間、・・・シーンｎ、シーンｎの時間区間などの情報を含むものとして説明したが、動画情報１５２の構成はそれに限定されない。例えば、動画情報１５２は、動画の長さ（尺）、総再生回数、総再生時間、平均滞在時間、直帰率、高評価数、低評価数などの情報をさらに含んでも良い。

図３は、動画配信部１２０から配信された動画が端末装置１０上で再生される画面の一例を示す図である。図３は、端末装置１０の動画視聴アプリ１８１が、動画配信部１２０から配信された動画を端末装置１０の縦方向（ポートレイトモード）で再生している場合を表している。図３において、符号Ａ１は、動画が再生される端末装置の画面領域を表す。符号Ａ２は、後述する動画の再生設定を変更するためのメニューを表す。符号Ａ３は、動画の再生時点および当該再生時点に対応するシーンを表す。符号Ａ４は、動画の再生時点（すなわち、動画の開始点を基準とする経過時間）を視覚的に表すプログレスバーを表す。ユーザは、例えば、端末装置１０上でプログレスバーを左に動かすことによって再生時点を戻したり、プログレスバーを右に動かすことによって再生時点を進めることができる。符号Ａ５は、再生されている動画のタイトルを表す。符号Ａ６は、再生されている動画の総再生回数およびアップロード日を表す。符号Ａ７は、再生されている動画のアップロード者を表す。プログレスバーは、「操作部」の一例である。

図４は、動画配信部１２０から配信された動画が端末装置１０上で再生される画面の別の例を示す図である。図４は、端末装置１０の動画視聴アプリ１８１が、動画配信部１２０から配信された動画を端末装置１０の横方向（ランドスケープモード）で再生している場合を表している。端末装置１０の動画視聴アプリ１８１は、例えば、端末装置１０に搭載された不図示の重力加速度センサから出力された値に基づいて、端末装置１０の姿勢を推定し、端末装置１０が地面に対して縦向きの姿勢であると推定された場合には、動画をポートレイトモードで再生する。一方、端末装置１０が地面に対して横向きの姿勢であると推定された場合には、端末装置１０の動画視聴アプリ１８１は、動画をランドスケープモードで再生する。

図５は、動画視聴アプリ１８１によって再生される動画の再生設定を変更するための画面の一例を示す図である。図５は、図２の符号Ａ２によって示されるハンバーガーメニューをクリックすることによって表示されたメニュー項目の一覧を表している。解像度は、端末装置１０の画面に表示される動画の縦横のピクセル数を示す情報である。図５において、例えば、６４０×３６０は、縦６４０ｐｘ、横３６０ｐｘのピクセル数で動画を再生することを意味している。ユーザは、例えば、メニュー項目として表示された解像度をクリックすることによって、２５６×１４４、６４０×３６０、１２８０×７２０などの解像度を任意に選択することができる。

再生速度は、動画視聴アプリ１８１によって動画が再生される速度を示す情報である。図５において、例えば、１．５倍速は、通常速度の１．５倍の速度で動画を再生することを意味している。ユーザは、例えば、メニュー項目として表示された再生速度をクリックすることによって、０．５倍速、１倍速（通常速度）、１．５倍速、２倍速などの再生速度を任意に選択することができる。

字幕は、動画に登場する人物によって発言された内容を表す文字情報を、動画の再生と同時に表示させるか否かを示す情報である。図５において、例えば、字幕（ＯＦＦ）は、動画視聴アプリ１８１が動画を再生する際に、字幕を表示させないことを意味し、一方、字幕（ＯＮ）は、動画視聴アプリ１８１が動画を再生する際に、字幕を表示させることを意味している。ユーザは、例えば、メニュー項目として表示された字幕をクリックすることによって、字幕のＯＮとＯＦＦとを任意に切り替えることができる。

画面ロックは、端末装置１０のポートレイトモードでの動画再生、又は端末装置１０のランドスケープモードでの動画再生をロック（固定化）するか否かを示す情報である。図５において、例えば、動画視聴アプリ１８１がポートレイトモードで動画を再生している際に、ユーザが画面ロック（ＯＮ）をクリックした場合、ポートレイトモードでの動画再生がロックされる。すなわち、ポートレイトモードでの動画再生がロックされると、端末装置１０が地面に対して横向きの姿勢であると推定された場合にも、ランドスケープモードではなく、ポートレイトモードでの動画再生が継続される。ユーザは、例えば、メニュー項目として表示された画面ロックをクリックすることによって、画面ロックのＯＮとＯＦＦとを任意に切り替えることができる。この機能により、端末装置１０の姿勢が変化することに起因して、ユーザの意図に反して動画の表示モードが切り替わることが抑制される。

［情報提供装置の処理］
関心判定部１３０は、動画視聴アプリ１８１が動画を再生中に、ユーザが実行した端末装置１０の操作内容に基づいて、ユーザが当該動画のある時間区画に対して関心を有するか否かを判定する。情報提供部１４０は、ユーザが関心を有すると判定された時間区画に基づいて、当該動画の関連情報（より詳細には、関連情報へのリンク）を端末装置１０に提供し、動画視聴アプリ１８１は、提供された関連情報へのリンクを再生中の動画に合わせて（例えば、動画に重畳させて）表示させる。関心判定部１３０と情報提供部１４０は、「情報提供装置」の一例である。関心判定部１３０と情報提供部１４０は、動画配信サーバ１００とは別体の装置として実装されていても良いし、動画視聴アプリ１８１の機能として実装されていても良い。以下、関心判定部１３０および情報提供部１４０によって実行される処理について詳細に説明する。

図６は、操作履歴情報１５４の構成の一例を示す図である。操作履歴情報１５４は、動画の再生中、端末装置１０に実行された操作内容をユーザごとに記録したテーブル情報である。図６に示す通り、操作履歴情報１５４は、タイムスタンプと、動画ＩＤと、操作内容などの情報が対応付けられたものである。タイムスタンプは、ユーザが端末装置１０を操作した時刻を示す情報である。動画ＩＤは、ユーザが端末装置１０を操作した際に再生されていた動画のＩＤ情報である。操作内容は、ユーザが端末装置１０に実行した操作の内容を示す情報である。これらの情報は、例えば、動画の再生中、ユーザが端末装置１０を操作する都度、動画視聴アプリ１８１がその内容を記録して動画配信サーバ１００に送信し、動画配信サーバ１００の取得部１１０は、受信した内容を記憶部１５０に格納することによって記録されるものである。

関心判定部１３０は、操作履歴情報１５４に基づいて、ユーザが再生中の動画のある時間区画に対して関心を有するか否かを判定する。関心判定部１３０は、例えば、ユーザがプログレスバーを操作して、再生中の動画のある再生時点に遷移し、当該再生時点を起点とする動画のある時間区画をスキップせずに再生していると判定した場合、ユーザが当該時間区画に対して高い関心を有すると判定する。

図７は、関心判定部１３０がユーザの関心を判定する方法の一例を示す図である。図７は、例えば、ユーザが動画ＩＤ「０００１」の動画の視聴を開始してすぐにプログレスバーを操作して再生時点２：００に遷移した後に、再生時点２：００から再生時点３：００まで動画を再生させた場面を表している。このとき、関心判定部１３０は、ユーザが、動画ＩＤ「０００１」の動画のうち、再生時点２：００から再生時点３：００までの時間区画をスキップせずに再生していると判定するため、ユーザが再生時点２：００から再生時点３：００までの時間区画に対して高い関心を有すると判定する。

次に、関心判定部１３０は、ユーザがある時間区画に対して関心を有すると判定した場合、当該時間区画と動画のうちの特定のシーンとがマッチするか否かを判定する。より具体的には、例えば、関心判定部１３０は、動画情報１５２を参照し、ユーザが関心を有すると判定された時間区画と、動画情報１５２に指定されたシーンの時間区間とが一致するか否かを判定する。例えば、図７の場合、ユーザは再生時点２：００から再生時点３：００までの時間区画に対して関心を有すると判定され、かつ、動画情報１５２の動画ＩＤ「０００１」のレコードには、シーン２（すなわち、外装のシーン）の時間区間として「２：００～３：００」が設定されている。そのため、関心判定部１３０は、再生時点２：００から再生時点３：００までの時間区画と、シーン２とがマッチすると判定する。換言すると、関心判定部１３０は、ユーザがシーン２に関心を有すると判定する。

なお、上記では、関心判定部１３０は、ユーザが関心を有すると判定された時間区画とシーンの時間区間とが一致するか否かを判定しているが、本発明はそのような構成に限定されない。例えば、関心判定部１３０は、ユーザが関心を有すると判定された時間区画がシーンの時間区間を包含する場合に、当該時間区画とシーンとがマッチすると判定しても良い。また、例えば、関心判定部１３０は、ユーザが関心を有すると判定された時間区画がシーンの時間区間を所定割合（例えば、８０％）以上含む場合に、当該時間区画とシーンとがマッチすると判定しても良い。

図８は、関心判定部１３０がユーザの関心を判定する方法の別の例を示す図である。図８は、例えば、ユーザが動画ＩＤ「０００１」の動画の視聴を開始して再生時点３：００まで動画を再生させ、その後、プログレスバーを操作して再生時点を２：００に戻した後に、再生時点３：００まで動画を再生させた場面を表している。このとき、関心判定部１３０は、ユーザが、動画ＩＤ「０００１」の動画のうち、再生時点２：００から再生時点３：００までの時間区画を繰り返し（すなわち、図８の場面では２回）再生していると判定するため、ユーザが再生時点２：００から再生時点３：００までの時間区画に対して高い関心を有すると判定する。次に、関心判定部１３０は、図７の場合と同様に、動画情報１５２を参照して、当該時間区画とシーン２とがマッチすると判定する。

図９は、関心判定部１３０がユーザの関心を判定する方法の別の例を示す図である。図９は、例えば、ユーザが動画ＩＤ「０００１」の動画の視聴を開始して、プログレスバーを操作することなく再生時点１：３０を超えて動画を再生している場面を表している。このとき、関心判定部１３０は、操作履歴情報１５４に基づいて、ユーザが、所定時間（例えば、９０秒）以上、プログレスバーを操作せず、動画を視聴していると判定するため、ユーザが再生時点０：００から現在の再生時点までの時間区画に対して高い関心を有すると判定する。次に、関心判定部１３０は、図７の場合と同様に、動画情報１５２を参照して、当該時間区画とシーン１とがマッチすると判定する。

なお、図９においては、一例として、動画の開始時点（すなわち、再生時点０：００）からの連続再生時間が所定時間を超えた場合について説明しているが、本発明はそのような構成に限定されず、動画の途中時点（すなわち、再生時点が０：００よりも大きい時点）からの連続再生時間が所定時間を超えた場合にも、ユーザは当該途中時点から現在の再生時点までの時間区画に対して高い関心を有すると判定する。さらに、ユーザの関心を判定するための閾値として用いられる所定時間は、共通の値ではなく、動画ごとやユーザごとに設定されてもよい。例えば、各動画について、プログレスバーを操作せず視聴された連続再生時間の平均値などの統計値を計測し、所定時間を、動画ごとの平均値＋所定値などと設定してもよい。また、例えば、各ユーザについて、プログレスバーを操作せず動画を視聴した連続再生時間の平均値などの統計値を計測し、所定時間を、ユーザごとの平均値＋所定値などと設定してもよい。これにより、動画やユーザごとの傾向に応じた閾値を用いてユーザの関心を判定することができる。

図１０は、関心判定部１３０がユーザの関心を判定する方法の別の例を示す図である。図１０は、例えば、ユーザが動画ＩＤ「０００１」の動画の再生時点２：００において、端末装置１０の姿勢を変化させることによってポートレイトモードをランドスケープモードに変更し、再生時点３：００まで動画を再生した例を表している。このとき、関心判定部１３０は、ユーザが、再生時点２：００から再生時点３：００までの時間区画において、ランドスケープモード、すなわち、より大きな画面で動画を視聴していると判定するため、ユーザが再生時点２：００から再生時点３：００までの時間区画に対して高い関心を有すると判定する。次に、関心判定部１３０は、図７の場合と同様に、動画情報１５２を参照して、当該時間区画とシーン２とがマッチすると判定する。

なお、上記の説明においては、関心判定部１３０は、ランドスケープモードで動画が再生された時間区画を計測し、計測された時間区画を、ユーザが関心を有する時間区画として判定しているが、本発明はそのような構成に限定されない。例えば、関心判定部１３０は、ユーザが、ポートレイトモードをランドスケープモードに変更し、画面ロックの設定をＯＦＦからＯＮに切り替えた後にランドスケープモードで動画が再生された時間区画を、ユーザが関心を有する時間区画として判定しても良い。これは、ユーザの意図に反して端末装置１０の姿勢が変わることに起因して、ポートレイトモードがランドスケープモードに変更された場合、ランドスケープモードでの動画再生は、必ずしも、ユーザが意図したものではないからである。画面ロックの設定がＯＦＦからＯＮに切り替えた後にランドスケープモードで動画が再生された時間区画を判定基準とすることにより、ユーザの意図しないモード変更を関心の判定から除外することができる。

さらに、関心判定部１３０は、ポートレイトモードからランドスケープモードへの設定変更に加えて、他の設定変更に基づいて、ユーザが関心を有する時間区画を判定しても良い。例えば、関心判定部１３０は、動画の解像度がデフォルト値（例えば、６４０×３６０）よりも高い値に設定変更された場合、高い解像度で動画が再生された時間区画を、ユーザが関心を有する時間区画として判定しても良い。

また、例えば、関心判定部１３０は、動画の再生速度がデフォルト値（例えば、１倍速）よりも低い値に設定変更された場合、低い再生速度で動画が再生された時間区画を、ユーザが関心を有する時間区画として判定しても良い。また、例えば、関心判定部１３０は、動画の字幕設定がＯＦＦからＯＮに切替された場合、字幕設定がＯＮの状態で動画が再生された時間区画を、ユーザが関心を有する時間区画として判定しても良い。

情報提供部１４０は、関心判定部１３０によって、ユーザが再生中の動画のある時間区画に対して関心を有すると判定された場合、当該時間区画に関連する関連情報へのリンクを端末装置１０に提供する。ここで、関連情報とは、例えば、動画配信サービスへの他の動画や、外部サイトの記事を意味する。端末装置１０が情報提供部１４０から関連情報へのリンクを受信すると、動画視聴アプリ１８１は、例えば、提供された関連情報へのリンクを再生中の動画に重畳させて表示させる。

図１１は、情報提供部１４０が提供する関連情報を決定するために用いるシーン／関連情報対応テーブル１５６の構成の一例を示す図である。図１１に示す通り、シーン／関連情報対応テーブル１５６は、対応ＩＤに対して、シーン、リンク先、リンク先タイトルなどの情報が対応付けられたものである。

シーンは、関連情報を提供する条件を規定する情報である。例えば、図１１の対応ＩＤ「０１０１」のレコードの場合、カテゴリ「車」の動画のうち「外装」のワードを含むシーンに対応して、関連情報を提供することが規定されている。リンク先は、動画配信サービスへの他の動画や、外部サイトの記事などの関連情報へのリンクを示す情報である。リンク先タイトルは、関連情報のタイトルを示す情報である。リンク先およびリンク先タイトルは、動画配信サーバ１００の運営者が事前に設定しても良いし、動画配信サーバ１００が、例えば、シーンに含まれるワードをキーワードとして動画配信サービス内の動画を検索し、ユーザによる高評価数や滞在時間などの評価が高い動画を自動的に設定しても良い。また、本実施形態では、説明の便宜上、シーンと関連情報とを対応付けるシーン／関連情報対応テーブル１５６をテーブル形式にて記載しているが、より一般的に、情報提供部１４０が、シーンに対応付けて、提供する関連情報を決定する構成を有すれば良い。

情報提供部１４０は、関心判定部１３０によって、ユーザが関心を有すると判定された時間区画と、動画のうちの特定のシーンとがマッチすると判定された場合、当該シーンに含まれるキーワードを用いてシーン／関連情報対応テーブル１５６を検索することによって、端末装置１０に提供する関連情報を特定する。例えば、図７から図１０の例の場合、動画ＩＤ「０００１」の動画の再生時点２：００から再生時点３：００までの時間区画と、外装のシーンとがマッチすると判定され、かつシーン／関連情報対応テーブル１５６の対応ＩＤ「０１０１」のレコードは、シーンとして「外装」のワードを含むことを規定しているため、情報提供部１４０は、対応ＩＤ「０１０１」のレコードに対応する関連情報を提供することを決定する。

図１２は、情報提供部１４０が提供した関連情報へのリンクを端末装置１０が表示する画面の一例を示す図である。図１２において、符号Ａ８は、端末装置１０の動画視聴アプリ１８１が表示した関連情報へのリンクを表す。図１２に示す通り、関心判定部１３０によって、ユーザは車の外装に興味を有することが判定されているため、情報提供部１４０は、それに応じて、車の外装に関する関連情報へのリンクを提供している。ユーザが、リンクをクリックすると、動画視聴アプリ１８１は、例えば、リンク先の関連動画を表示させたり、又は、端末装置１０に搭載されたＷｅｂブラウザを呼び出すことによって外部サイトの記事を表示させる。これにより、ユーザが興味を有すると想定されるシーンに関連する関連情報を提供し、ユーザにとって、コンテンツを視聴する上での利便性を高めることができる。

以上の通り説明した処理によると、関心判定部１３０は、ユーザがある時間区画に対して関心を有すると判定した場合、当該時間区画と動画のうちの特定のシーンとがマッチするか否かを判定し、情報提供部１４０は、マッチしたシーンに対応する関連情報を提供している。しかしながら、動画配信サービスにアップロードされる動画には、必ずしもシーンに関する情報が設定されるとは限らず、また、ディープラーニングなどの機械学習手法を用いて適切にシーンを設定できるとも限らない。

そのため、関心判定部１３０は、さらに、ユーザがある時間区画に対して関心を有すると判定した場合、当該時間区画に対する画像解析を行うことによって、当該時間区画に写されたオブジェクトを認識する。より具体的には、例えば、関心判定部１３０は、ユーザが関心を有すると判定された時間区画の中から、複数のフレームを抽出し、抽出した複数のフレームに対して、例えば、ディープラーニングなどの機械学習手法を用いて、各フレームに含まれるオブジェクトを認識する。関心判定部１３０は、認識されたオブジェクトのうち、複数のフレームにわたって共通するオブジェクトを、ユーザが関心を有するオブジェクトとして判定する。

図１３は、関心判定部１３０によって、ユーザが関心を有するオブジェクトを判定する方法の一例を示す図である。図１３において、関心判定部１３０は、ユーザが、再生中の動画の再生時点０：３０から再生時点１：３０までの時間区画に関心を有すると判定したと仮定する。次に、関心判定部１３０は、例えば、当該時間区画の中から、所定の数のフレーム（例えば、１０秒ごと）を抽出して、各フレームに含まれるオブジェクトを認識する。図１３の場合、関心判定部１３０は、抽出した各フレームにおいて座席を認識し、さらに、座席は、複数のフレームにわたって共通するオブジェクトであることを認識する。これにより、関心判定部１３０は、座席をユーザが関心を有するオブジェクトとして判定する。

図１４は、情報提供部１４０が提供する関連情報を決定するために用いるオブジェクト／関連情報対応テーブル１５８の構成の一例を示す図である。図１４に示す通り、オブジェクト／関連情報対応テーブル１５８は、対応ＩＤに対して、オブジェクト、リンク先、リンク先タイトルなどの情報が対応付けられたものである。

オブジェクトは、関連情報を提供する条件を規定する情報である。例えば、図１４の対応ＩＤ「０２０１」のレコードの場合、車の座席に類似するオブジェクトに対応して、関連情報を提供することが規定されている。リンク先は、動画配信サービスへの他の動画や、外部サイトの記事などの関連情報へのリンクを示す情報である。リンク先タイトルは、関連情報のタイトルを示す情報である。図１１の場合と同様に、リンク先およびリンク先タイトルは、動画配信サーバ１００の運営者が事前に設定しても良いし、動画配信サーバ１００が、例えば、オブジェクトの名称をキーワードとして動画配信サービス内の動画を検索し、ユーザによる高評価数や滞在時間などの評価が高い動画を自動的に設定しても良い。また、本実施形態では、説明の便宜上、オブジェクトと関連情報とを対応付けるオブジェクト／関連情報対応テーブル１５８をテーブル形式にて記載しているが、より一般的に、情報提供部１４０が、オブジェクトに対応付けて、提供する関連情報を決定する構成を有すれば良い。

情報提供部１４０は、関心判定部１３０によって、ユーザが特定のオブジェクトに対して関心を有すると判定された場合、当該オブジェクトを示すキーワードを用いてオブジェクト／関連情報対応テーブル１５８を検索することによって、端末装置１０に提供する関連情報を特定する。例えば、図１３の例の場合、関心判定部１３０はユーザが車の座席に興味を有すると判定するため、情報提供部１４０は、「座席」又は「車 座席」をキーワードとしてオブジェクト／関連情報対応テーブル１５８を検索し、対応ＩＤ「０２０１」のレコードに対応する関連情報を提供することを決定する。

図１５は、情報提供部１４０が提供した関連情報を端末装置１０が表示する画面の別の例を示す図である。図１２に示す通り、関心判定部１３０によって、ユーザは車の座席に興味を有することが判定されているため、情報提供部１４０は、それに応じて、車の座席に関する関連情報へのリンクを提供している。これにより、ユーザが興味を有すると想定されるオブジェクトに関連する関連情報を提供し、ユーザにとって、コンテンツを視聴する上での利便性を高めることができる。

情報提供部１４０は、さらに、ユーザの属性情報に基づいて、端末装置１０に提供する関連情報を決定しても良い。図１６は、ユーザ情報１６０の構成の一例を示す図である。図１６に示す通り、ユーザ情報１６０は、ユーザＩＤに対して、メールアドレス、電話番号、登録日、興味、自動車販売サイト利用履歴などの情報が対応付けられたものである。

メールアドレスおよび電話番号は、ユーザが動画配信サービスへの登録時に設定する連絡先としてのメールアドレスおよび電話番号である。登録日は、ユーザが動画配信サービスに登録した日付を示す情報である。興味は、ユーザが動画配信サービスへの登録時に設定した、当該ユーザの興味内容を示す情報である。自動車販売サイト利用履歴は、動画配信サービスと連動する自動車販売サイトをユーザが利用した利用履歴を示す情報である。

情報提供部１４０は、例えば、ユーザ情報１６０に格納されている興味に関する情報や、自動車販売サイト利用履歴に基づいて、端末装置１０に提供する関連情報を決定しても良い。図１７は、情報提供部１４０がユーザ情報１６０に基づいて提供する関連情報を決定する方法の一例を示す図である。図１７（ａ）は、図１６のユーザＩＤ「ＡＡＡ」のユーザに提供される関連情報へのリンクを表し、図１７（ｂ）は、図１６のユーザＩＤ「ＢＢＢ」のユーザに提供される関連情報へのリンクを表す。

情報提供部１４０は、例えば、関心判定部１３０が、ユーザが「〇〇社ＺＺモデル」のオブジェクトに興味を有すると判定した場合、「〇〇社ＺＺモデル」のオブジェクトを示すキーワードと、ユーザが設定した興味を示すキーワードとに基づいて、オブジェクト／関連情報対応テーブル１５８を検索し、ユーザに提供する関連情報を決定しても良い。図１６の場合、ユーザＩＤ「ＡＡＡ」のユーザは、興味として「車購入」を設定しているため、情報提供部１４０は、「〇〇社ＺＺモデル」及び「車購入」を組み合わせてオブジェクト／関連情報対応テーブル１５８を検索し、例えば、「〇〇社ＺＺモデル」の販売店へのリンクを関連情報として提供する。一方、ユーザＩＤ「ＢＢＢ」のユーザは、興味として「プラモデル」を設定しているため、情報提供部１４０は、「〇〇社ＺＺモデル」及び「プラモデル」を組み合わせてオブジェクト／関連情報対応テーブル１５８を検索し、例えば、「〇〇社ＺＺモデル」のプラモデル動画へのリンクを関連情報として提供する。

また、情報提供部１４０は、例えば、関心判定部１３０が、ユーザが「〇〇社ＺＺモデル」のオブジェクトに興味を有すると判定した場合、「〇〇社ＺＺモデル」のオブジェクトを示すキーワードと、ユーザの自動車販売サイト利用履歴とに基づいて、ユーザに提供する関連情報を決定しても良い。図１６の場合、ユーザＩＤ「ＡＡＡ」のユーザは、自動車販売サイト利用履歴として、８５０万円の新車を購入した履歴を有し、一方、ユーザＩＤ「ＢＢＢ」のユーザは、１２０万円の中古車を購入した履歴を有する。そのため、情報提供部１４０は、例えば、「〇〇社ＺＺモデル」の価格と、自動車販売サイト利用履歴の決済金額との差額を算出し、算出した差額が閾値以内である場合に、販売店へのリンクを関連情報として提供しても良い。換言すると、各ユーザについて算出された差額が閾値以内であるか否かに応じて、提供する関連情報を切り替えてもよい。このように、ユーザの属性情報に応じた関連情報を提供することにより、ユーザにとって、コンテンツを視聴する上での利便性を高めることができる。

情報提供部１４０は、さらに、ユーザが実行した端末装置１０の操作内容の履歴に基づいて、関連情報を端末装置１０に提供するタイミングを決定しても良い。すなわち、情報提供部１４０は、ユーザが実行した端末装置１０の操作内容に関する統計情報に基づいて、ユーザが関連情報を参照する可能性が高いと想定されるタイミングで当該関連情報を提供することを決定しても良い。

図１８は、統計情報１６２の構成の一例を示す図である。統計情報１６２はユーザごとに記録されるものであり、図１８に示す通り、統計情報１６２は、タイムスタンプに対して、動画ＩＤ、クリック再生時点、リンク先、リンク先タイトルなどの情報が対応付けられたものである。クリック再生時点は、ユーザが動画ＩＤに対応する動画を視聴した際に、情報提供部１４０によって提供された関連情報へのリンクをクリックした動画の再生時点を示す。

例えば、情報提供部１４０は、統計情報１６２のタイムスタンプに基づいて、ユーザが関連情報へのリンクを特定の時間帯（例えば、２０時から２３時など）に頻繁に（例えば、クリック数全体の８０％以上など）クリックしていることを判定した場合、当該時間帯に動画が再生された場合にのみ、ユーザに関連情報へのリンクを提供しても良い。また、例えば、情報提供部１４０は、統計情報１６２のクリック再生時点に基づいて、ユーザが関連情報へのリンクを特定の再生時点（例えば、動画の末尾やシーンの切れ目など）に頻繁にクリックしていることを判定した場合、他の動画の再生時には当該再生時点に到達した場合にのみ、ユーザに関連情報へのリンクを提供しても良い。このように、個々のユーザの操作履歴に応じたタイミングで関連情報を提供することにより、ユーザにとって、コンテンツを視聴する上での利便性をさらに高めることができる。

次に、図１９を参照して、動画配信サーバ１００と端末装置１０の動画視聴アプリ１８１との協働によって実行される処理の流れについて説明する。図１９は、動画配信サーバ１００と動画視聴アプリ１８１との協働によって実行される処理の流れの一例を示すフローチャートである。

まず、ユーザは、端末装置１０上で、例えば、動画視聴アプリ１８１を表すアイコンをクリックすることによって動画視聴アプリ１８１を起動させる（ステップＳ１０）。次に、ユーザは、動画視聴アプリ１８１上で、例えば、ユーザが視聴を希望する動画のＵＲＬを指定し、動画視聴アプリ１８１は、ユーザによって指定された動画のＵＲＬ情報を、動画の配信リクエスト情報として動画配信サーバ１００に送信する（ステップＳ１２）。

次に、動画配信サーバ１００は、受信した動画のＵＲＬ情報に基づいて、動画情報１５２を検索し、当該ＵＲＬ情報に対応する動画を取得する。動画配信サーバ１００は、取得した動画を、例えば、ストリーミング形式で動画視聴アプリ１８１に配信する（ステップＳ１４）。次に、動画視聴アプリ１８１は、配信された動画を再生する（ステップＳ１６）。次に、動画視聴アプリ１８１は、動画を再生中に、ユーザからの操作（例えば、プログレスバーの操作や再生設定の変更操作など）を受け付ける（ステップＳ１８）。

次に、動画視聴アプリ１８１は、ユーザから受け付けた操作を動画再生に反映しつつ、当該操作の操作内容を示す情報を動画配信サーバ１００に送信する（ステップＳ２０）。次に、動画配信サーバ１００は、受信したユーザの操作内容を操作履歴情報１５４に格納するとともに、当該操作内容に基づいて、ユーザが関心を有する時間区画を判定する（ステップＳ２２）。次に、動画配信サーバ１００は、ユーザが関心を有すると判定した時間区画にマッチするシーン又は当該時間区画におけるオブジェクトを特定する（ステップＳ２４）。

次に、動画配信サーバ１００は、ユーザの属性を表すユーザ情報１６０を考慮しつつ、特定したシーン又はオブジェクトに基づいて、動画視聴アプリ１８１に提供する関連情報を決定し、決定した関連情報へのリンクを動画視聴アプリ１８１に提供する（ステップＳ２６）。このとき、動画配信サーバ１００は、統計情報１６２に基づいて、関連情報を動画視聴アプリ１８１に表示させるタイミングを指定する情報も合わせて動画視聴アプリ１８１に提供する。次に、動画視聴アプリ１８１は、提供された関連情報へのリンクを動画に重畳させて表示させる（ステップＳ２８）。

次に、動画視聴アプリ１８１は、ユーザから関連情報へのリンクのクリックを受け付け、リンク先の関連動画を表示させたり、又は、端末装置１０に搭載されたＷｅｂブラウザを呼び出すことによって外部サイトの記事を表示させる（ステップＳ３０）。同時に、動画視聴アプリ１８１は、関連情報へのリンクがクリックされたことを示すクリック情報（クリックされた事実に加えて、タイムスタンプおよびクリックされた動画の再生時点などの情報を含む）を、動画視聴アプリ１８１に送信する（ステップＳ３２）。次に、動画配信サーバ１００は、受信したクリック情報を統計情報１６２に記録する。これにより、本フローチャートの処理が終了する。

以上の通り説明した処理によれば、ユーザが動画を視聴している際に実行した操作の内容に基づいて、ユーザが興味を有すると想定されるシーンやオブジェクトを判定し、判定したシーンやオブジェクトに対応する関連情報をユーザに提供する。これにより、ユーザにとって、コンテンツを視聴する上での利便性をさらに高めることができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ 端末装置
１２ 通信部
１４ 入出力部
１６ 制御部
１８ 記憶部
１００ 動画配信サーバ
１１０ 取得部
１２０ 動画配信部
１３０ 関心判定部
１４０ 情報提供部
１５０ 記憶部
１５２ 動画情報
１５４ 操作履歴情報
１５６ シーン／関連情報対応テーブル
１５８ オブジェクト／関連情報対応テーブル
１６０ ユーザ情報
１６２ 統計情報
１８１ 動画視聴アプリ

Claims (17)

1. ユーザが保持する端末装置が動画を再生している間における前記ユーザによる前記端末装置の操作状況に基づいて、前記ユーザが、前記動画のある時間区画に対して関心を有するか否かを判定する関心判定部と、
   前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画に関連する関連情報を前記端末装置に提供する情報提供部と、を備える、
   情報提供装置。
2. 前記動画を、前記端末装置に配信する動画配信部をさらに備える、
   請求項１に記載の情報提供装置。
3. 前記関心判定部は、前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画と前記動画のうちの特定のシーンとがマッチするか否かを判定し、
   前記情報提供部は、前記時間区画と前記動画のうちの特定のシーンとがマッチすると判定された場合、シーンと関連情報との対応関係を示す対応情報を参照することによって、前記特定のシーンに関連する前記関連情報を前記端末装置に提供する、
   請求項１又は２に記載の情報提供装置。
4. 前記関心判定部は、前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画に対する画像解析を行うことによって、前記時間区画に写された特定のオブジェクトを認識し、
   前記情報提供部は、オブジェクトと関連情報との対応関係を示す対応情報を参照することによって、前記特定のオブジェクトに関連する前記関連情報を前記端末装置に提供する、
   請求項１から３のいずれか１項に記載の情報提供装置。
5. 前記操作状況は、前記動画の再生開始時点を指定する操作を行うための操作部に対する操作内容を含み、
   前記関心判定部は、前記ユーザが、前記操作部を操作して、前記動画のある時点を前記再生開始時点として指定し、前記時点を起点とする前記動画のある時間区画をスキップせずに再生していると判定した場合、前記ユーザが前記時間区画に対して高い関心を有すると判定する、
   請求項１から４のいずれか１項に記載の情報提供装置。
6. 前記操作状況は、前記動画の再生開始時点を指定する操作を行うための操作部に対する操作内容を含み、
   前記関心判定部は、前記ユーザが、前記操作部を操作して、前記動画のある時間区画を繰り返し再生していると判定した場合、前記ユーザが前記時間区画に対して高い関心を有すると判定する、
   請求項１から５のいずれか１項に記載の情報提供装置。
7. 前記操作状況は、前記動画の再生開始時点を指定する操作を行うための操作部に対する操作の実行有無に関する情報を含み、
   前記関心判定部は、前記ユーザが、前記操作部を所定時間以上、操作していないと判定した場合、前記ユーザが前記所定時間以上、前記操作部を操作していない時間区画に対して高い関心を有すると判定する、
   請求項１から６のいずれか１項に記載の情報提供装置。
8. 前記操作状況は、前記動画のスクリーン表示を縦型又は横型のいずれかに設定するための操作部に対する操作内容を含み、
   前記関心判定部は、前記ユーザが、前記操作部を操作して、前記動画のスクリーン表示を横型に設定していると判定した場合、前記ユーザが、前記スクリーン表示が横型に設定されている前記動画の時間区画に対して高い関心を有すると判定する、
   請求項１から７のいずれか１項に記載の情報提供装置。
9. 前記情報提供部は、前記ユーザの属性情報にさらに基づいて、前記端末装置に提供する前記関連情報を決定する、
   請求項１から８のいずれか１項に記載の情報提供装置。
10. 前記情報提供部は、前記ユーザが実行した前記端末装置の操作内容の履歴に基づいて、前記関連情報を前記端末装置に提供するタイミングを決定する、
    請求項１から９のいずれか１項に記載の情報提供装置。
11. ユーザによる操作を受け付ける操作受付部と、動画を再生する再生部とを有する端末装置において実行されるアプリケーションプログラムであって、
    前記端末装置に、前記再生部が動画を再生している間における前記ユーザによる前記端末装置の操作状況に基づいて、前記ユーザが、前記動画のある時間区画に対して関心を有するか否かを判定させ、
    前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画に関連する関連情報を前記端末装置に提供させる、
    アプリケーションプログラム。
12. 前記操作状況は、前記動画の再生開始時点を指定する操作を行うための操作部に対する操作内容を含み、
    前記端末装置に、前記ユーザが、前記操作部を操作して、前記動画のある時点を前記再生開始時点として指定し、前記時点を起点とする前記動画のある時間区画をスキップせずに再生していると判定した場合、前記ユーザが前記時間区画に対して高い関心を有すると判定させる、
    請求項１１に記載のアプリケーションプログラム。
13. 前記操作状況は、前記動画の再生開始時点を指定する操作を行うための操作部に対する操作内容を含み、
    前記端末装置に、前記ユーザが、前記操作部を操作して、前記動画のある時間区画を繰り返し再生していると判定した場合、前記ユーザが前記時間区画に対して高い関心を有すると判定させる、
    請求項１１又は１２に記載のアプリケーションプログラム。
14. 前記操作状況は、前記動画の再生開始時点を指定する操作を行うための操作部に対する操作の実行有無に関する情報を含み、
    前記端末装置に、前記ユーザが、前記操作部を所定時間以上、操作していないと判定した場合、前記ユーザが前記所定時間以上、前記操作部を操作していない時間区画に対して高い関心を有すると判定させる、
    請求項１１から１３のいずれか１項に記載のアプリケーションプログラム。
15. 前記操作状況は、前記動画のスクリーン表示を縦型又は横型のいずれかに設定するための操作部に対する操作内容を含み、
    前記端末装置に、前記ユーザが、前記操作部を操作して、前記動画のスクリーン表示を横型に設定していると判定した場合、前記ユーザが、前記スクリーン表示が横型に設定されている前記動画の時間区画に対して高い関心を有すると判定させる、
    請求項１１から１４のいずれか１項に記載のアプリケーションプログラム。
16. コンピュータが、
    ユーザが保持する端末装置が動画を再生している間における前記ユーザによる前記端末装置の操作状況に基づいて、前記ユーザが、前記動画のある時間区画に対して関心を有するか否かを判定し、
    前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画に関連する関連情報を前記端末装置に提供する、
    情報提供方法。
17. コンピュータに、
    ユーザが保持する端末装置が動画を再生している間における前記ユーザによる前記端末装置の操作状況に基づいて、前記ユーザが、前記動画のある時間区画に対して関心を有するか否かを判定させ、
    前記ユーザが、前記時間区画に対して関心を有すると判定された場合、前記時間区画に関連する関連情報を前記端末装置に提供させる、
    プログラム。

Images