JP2014072826A - 視聴領域推定装置、視聴領域推定方法、及びプログラム - Google Patents
視聴領域推定装置、視聴領域推定方法、及びプログラム Download PDFInfo
- Publication number
- JP2014072826A JP2014072826A JP2012219350A JP2012219350A JP2014072826A JP 2014072826 A JP2014072826 A JP 2014072826A JP 2012219350 A JP2012219350 A JP 2012219350A JP 2012219350 A JP2012219350 A JP 2012219350A JP 2014072826 A JP2014072826 A JP 2014072826A
- Authority
- JP
- Japan
- Prior art keywords
- video
- viewing area
- viewing
- user
- area estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】ユーザが自ら視聴領域を指定せずとも、視聴する映像に応じた視聴領域を取得する。
【解決手段】視聴領域推定装置は、映像操作情報と該映像操作情報に対応する映像とに基づいて、映像内の視聴領域における画像の特徴を学習し、学習結果を示す視聴領域推定ルールを生成する視聴領域特徴学習部と、ユーザがこれから視聴する映像内の各部分領域の画像の特徴と視聴領域推定ルールとに基づいて、該ユーザが視聴する該映像における視聴領域を推定する視聴領域推定部とを備える。
【選択図】図２
【解決手段】視聴領域推定装置は、映像操作情報と該映像操作情報に対応する映像とに基づいて、映像内の視聴領域における画像の特徴を学習し、学習結果を示す視聴領域推定ルールを生成する視聴領域特徴学習部と、ユーザがこれから視聴する映像内の各部分領域の画像の特徴と視聴領域推定ルールとに基づいて、該ユーザが視聴する該映像における視聴領域を推定する視聴領域推定部とを備える。
【選択図】図２
Description
本発明は、視聴領域推定装置、視聴領域推定方法、及びプログラムに関する。
サッカー・野球・ラグビー・アメリカンフットボール・コンサートなど広い会場において行われるスポーツやイベントでは、人それぞれ視聴したい対象が異なることが想像される。広く一般に普及しているテレビでは、万人に合わせた視点・視聴領域により放送が行われており、視聴したい領域を見ることができない場合がある。そこで、会場全体を撮影し、視聴者の指定により好みの領域を表示する視聴形態が提案されている（例えば、非特許文献１）。
非特許文献１に記載の技術で提案される視聴形態の場合、好みの領域が視聴可能となるものの、好みの領域を指定することが必要となる。これに対して、好みが類似する他者と視聴領域を共有することにより、領域を指定する手間を軽減する方法が提案されている（例えば、非特許文献２）。
H. Kimata, M. Isogai, H. Noto, M. Inoue, K. Fukazawa, and N. Matsuura, "Interactive Panorama Video Distribution System," Proceedings of Telecom World 2011 Technical Symposium at ITU, pp.45-50, 2011.
越智大介、木全英明、能登肇、小島明、「インタラクティブなパノラマ映像視聴からのカメラワーク生成に関する一検討」、ＶＲ学研報Ｖｏｌ．１７、Ｎｏ．ＣＳ−１、ｐｐ．７−１０、２０１２年
しかしながら、非特許文献２に記載の方法は、他者による視聴の履歴が既に存在し蓄積されていれば利用可能であるが、他者がまだ視聴していない映像（コンテンツ）に対して適用することができない。そのため、生中継のような映像には適用が困難であるという問題がある。
本発明は、上記問題を解決すべくなされたもので、ユーザ（視聴者）が自ら視聴領域を指定せずとも、視聴する映像に応じた視聴領域を得ることができる視聴領域推定装置、視聴領域推定方法、及びプログラムを提供することを目的とする。
上記問題を解決するために、本発明の視聴領域推定装置は、ユーザが視聴可能な映像を予め記憶している映像記憶装置と、前記映像を視聴した際にユーザが選択した視聴領域を示す映像操作情報を映像ごとに予め記憶している映像操作記憶装置と、ユーザが前記映像を視聴する際の視聴領域を推定する視聴領域推定装置とを具備する映像視聴システムにおける視聴領域推定装置であって、前記映像操作情報と該映像操作情報に対応する前記映像とに基づいて、前記映像内の視聴領域における画像の特徴を学習し、学習結果を示す視聴領域推定ルールを生成する視聴領域特徴学習部と、ユーザがこれから視聴する映像内の各部分領域の画像の特徴と前記視聴領域推定ルールとに基づいて、該ユーザが視聴する該映像における視聴領域を推定する視聴領域推定部とを備えることを特徴とする。
また、本発明は、上記の視聴領域推定装置において、前記映像操作記憶装置に記憶されている映像操作情報のうち、これから前記映像を視聴するユーザと志向が類似するユーザに対応する映像操作情報、又は、これから視聴する前記映像と類似する映像に対応する映像操作情報を選択する学習対象選択部を更に備え、前記視聴領域特徴学習部は、前記学習対象選択部が選択した映像操作情報と該映像操作情報に対応する映像とに基づいて、前記映像内の視聴領域における画像の特徴を学習することを特徴とする。
また、本発明は、上記の視聴領域推定装置において、前記映像記憶装置に記憶されている映像のうち視聴した映像のリストをユーザごとに予め記憶しているユーザ情報記憶装置を更に備え、前記学習対象選択部は、これから映像を視聴するユーザが既に視聴した映像と重複する映像を視聴した他のユーザの映像操作情報を選択することを特徴とする。
また、本発明は、上記の視聴領域推定装置において、前記映像記憶装置に記憶されている映像ごとにそれぞれのジャンルを予め記憶している映像情報記憶装置を更に備え、前記学習対象選択部は、これから映像を視聴するユーザが既に視聴した映像と重複する映像を視聴した他のユーザの映像操作情報のうち、これから視聴する映像に類似した映像に対応する映像操作情報を選択することを特徴とする。
また、本発明は、上記の視聴領域推定装置において、パーティクルフィルタを用いて映像内における視聴領域に対する確率分布を算出する視聴領域事前確率分布予測部を更に備え、前記視聴領域推定部は、ユーザがこれから視聴する前記映像内の各部分領域の画像の特徴と、前記視聴領域推定ルールと、前記視聴領域事前確率分布予測部が算出した確率分布とに基づいて、該ユーザが視聴する該映像における視聴領域を推定することを特徴とする。
また、本発明の視聴領域推定方法は、ユーザが視聴可能な映像を予め記憶している映像記憶装置と、前記映像を視聴した際にユーザが選択した視聴領域を示す映像操作情報を映像ごとに予め記憶している映像操作記憶装置と、ユーザが前記映像を視聴する際の視聴領域を推定する視聴領域推定装置とを具備する映像視聴システムにおける視聴領域推定装置が行う視聴領域推定方法であって、前記映像操作情報と該映像操作情報に対応する前記映像とに基づいて、前記映像内の視聴領域における画像の特徴を学習し、学習結果を示す視聴領域推定ルールを生成する視聴領域特徴学習ステップと、ユーザがこれから視聴する映像内の各部分領域の画像の特徴と前記視聴領域推定ルールとに基づいて、該ユーザが視聴する該映像における視聴領域を推定する視聴領域推定ステップとを有することを特徴とする。
また、本発明のプログラムは、上記の視聴領域推定装置としてコンピュータを機能させる。
この発明によれば、映像が視聴された際に選択された視聴領域における画像の特徴に基づいて視聴領域の特徴を学習し、学習結果に基づいて、これから視聴される映像内の空間的な一部の領域（部分領域）のうち視聴領域として選択される可能性の高い部分領域を視聴領域に選択する。
これにより、他のユーザがまだ視聴していない映像を視聴する場合であっても、ユーザが視聴領域を指定することなく、該ユーザが視聴する映像に応じた視聴領域を取得することができる。
これにより、他のユーザがまだ視聴していない映像を視聴する場合であっても、ユーザが視聴領域を指定することなく、該ユーザが視聴する映像に応じた視聴領域を取得することができる。
（関連技術）
本発明に係る実施形態について説明する前に、本発明の視聴領域推定装置に関連する技術における映像視聴装置について説明する。
図１は、本発明の関連技術における映像視聴システム１００の構成例を示す概略ブロック図である。映像視聴システム１００は、ユーザによる操作を受け付けて、蓄積されている映像のうち特定の領域の映像を表示する。映像視聴システム１００は、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。
本発明に係る実施形態について説明する前に、本発明の視聴領域推定装置に関連する技術における映像視聴装置について説明する。
図１は、本発明の関連技術における映像視聴システム１００の構成例を示す概略ブロック図である。映像視聴システム１００は、ユーザによる操作を受け付けて、蓄積されている映像のうち特定の領域の映像を表示する。映像視聴システム１００は、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。
映像記憶装置１０１には、スポーツやコンサートなどのイベントが行われる広い会場全体を撮影した映像（コンテンツ）が記憶されている。映像操作記憶装置１０２には、映像記憶装置１０１に記憶されている映像ごとに、当該映像が視聴された際に、会場全体を撮影した映像のうち視聴者が選択した領域である視聴領域を示す情報を含む映像操作情報が映像に対応付けられて記憶されている。なお、視聴者が選択した視聴領域は、例えば、映像内のフレームや先頭からの経過時間などに対応付けられていてもよい。以下、映像は時系列に連続する画像から構成されるものとして説明する。
操作入力部１０３は、ユーザの操作を受け付けて、選択された映像や、当該映像を視聴するユーザが視聴したい視聴領域などを示す視聴情報を入力する。視聴インタフェース部１０４は、操作入力部１０３に入力された情報を制御部１０６に出力する。また、視聴インタフェース部１０４は、制御部１０６から入力される映像を表示部１０５に出力する。表示部１０５は、例えば、ディスプレイなどの表示装置やプロジェクタなどの投影装置であり、視聴インタフェース部１０４が出力する映像を表示する。
制御部１０６は、視聴インタフェース部１０４から出力される視聴情報に基づいて、ユーザが選択した映像を映像記憶装置１０１から読み出す。制御部１０６は、読み出した映像においてユーザが視聴したい視聴領域の映像を選択し、選択した領域の映像を視聴インタフェース部１０４に出力する。制御部１０６は、視聴情報に含まれる情報であってユーザが映像において選択した視聴領域を示す情報を映像操作情報として映像操作記憶装置１０２に記憶させる。
なお、ユーザが視聴したい視聴領域を示す情報として、他のユーザの映像操作情報を指定する情報が視聴情報に含まれていてもよい。この場合、制御部１０６は、ユーザが指定した他のユーザの操作履歴情報を映像操作記憶装置１０２から読み出し、読み出した操作履歴情報が示す視聴領域の映像を選択し、選択した領域の映像を視聴インタフェース部１０４に出力する。
なお、ユーザが視聴したい視聴領域を示す情報として、他のユーザの映像操作情報を指定する情報が視聴情報に含まれていてもよい。この場合、制御部１０６は、ユーザが指定した他のユーザの操作履歴情報を映像操作記憶装置１０２から読み出し、読み出した操作履歴情報が示す視聴領域の映像を選択し、選択した領域の映像を視聴インタフェース部１０４に出力する。
映像視聴システム１００は上述の構成を備えることでユーザの操作に応じた映像を出力する。ユーザは映像視聴システム１００を操作することにより、視聴する映像において自らが視聴したい視聴領域を指定して視聴することが可能となる。
（第１の実施形態）
以下、上述の関連技術における映像視聴システム１００に基づいて、本発明に係る各実施形態における視聴領域推定装置を図面を参照して説明する。
図２は、本発明の第１の実施形態における視聴領域推定装置１０を含む映像視聴システム１の構成例を示す概略ブロック図である。映像視聴システム１は、視聴領域推定装置１０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。本実施形態の映像視聴システム１は、関連技術において示した映像視聴システム１００（図１）の構成に加えて、視聴領域推定装置１０を更に具備している。視聴領域推定装置１０は、視聴領域特徴学習部１１、視聴領域推定ルール記憶装置１２、及び、視聴領域推定部１３を備えることを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６それぞれの構成及び動作は、関連技術において説明した構成及び動作と同じであるので、その説明を省略する。
以下、上述の関連技術における映像視聴システム１００に基づいて、本発明に係る各実施形態における視聴領域推定装置を図面を参照して説明する。
図２は、本発明の第１の実施形態における視聴領域推定装置１０を含む映像視聴システム１の構成例を示す概略ブロック図である。映像視聴システム１は、視聴領域推定装置１０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。本実施形態の映像視聴システム１は、関連技術において示した映像視聴システム１００（図１）の構成に加えて、視聴領域推定装置１０を更に具備している。視聴領域推定装置１０は、視聴領域特徴学習部１１、視聴領域推定ルール記憶装置１２、及び、視聴領域推定部１３を備えることを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６それぞれの構成及び動作は、関連技術において説明した構成及び動作と同じであるので、その説明を省略する。
ここで、映像操作記憶装置１０２に記憶される映像操作情報の例を説明する。図３は、本実施形態における映像操作記憶装置１０２が記憶する映像操作テーブルの一例を示す図である。映像操作テーブルは、ユーザＩＤ、コンテンツＩＤ、視聴回数、及び、視聴行動ファイル名の各項目の列を有する。ユーザＩＤは、映像を視聴するユーザを一意に識別する情報である。コンテンツＩＤは、映像記憶装置１０１に記憶されている映像（コンテンツ）を一意に識別する情報である。視聴回数は、ユーザＩＤで識別されるユーザが、コンテンツＩＤで識別される映像を視聴した回数である。視聴行動ファイル名は、ユーザが選択した視聴領域を示す情報が含まれる視聴行動ファイルを特定するファイル名である。映像操作テーブルにおける各行は、映像操作情報に対応し、ユーザＩＤとコンテンツＩＤとの組み合わせごとに存在する。
図４は、本実施形態における視聴行動ファイル（PlayLog_i_j_k.txt）の一例を示す図である。視聴行動ファイルは、時刻、視聴中心、及び、ズームの各項目の列を有する。時刻は、映像の視聴時刻を示す情報である。視聴中心は、ユーザが選択した視聴領域の中心を示す情報である。ズームは、ユーザが選択した視聴領域の画角又は視聴領域の大きさを示す情報である。視聴中心及びズームの各項目の値は時刻に対応付けられている。すなわち、映像が始まる開始時刻「１」から映像が終了する終了時刻「Ｍａｘ（ｊ）」までの各時刻に視聴中心及びズームの値が対応付けられている。
図５は、本実施形態における視聴行動ファイルに含まれる情報の一例を示す概略図である。同図に示すように、時刻ごとに、会場全体映像においてユーザが指定する視聴領域の中心（時刻ｔの例では、（ｘｔ，ｙｔ））とその視聴領域の大きさ（時刻ｔの例ではＦｔ）とが対応付けられている。なお、視聴領域は、時刻ごとに定めるようにしてもよいし、映像のフレームごと、又は複数のフレームごとに定めるようにしてもよい。
視聴領域特徴学習部１１は、映像操作記憶装置１０２に記憶されている映像操作情報と、映像記憶装置１０１に記憶されている映像とに基づいて、ユーザが視聴した映像における視聴領域の映像（又は画像）の特徴（以下、視聴領域特徴という。）を学習する。視聴領域特徴学習部１１は、例えば、ＳＶＭ（Support Vector Machine）やニューラルネットワークなどの識別器を用いて構成し、視聴領域特徴を学習する。視聴領域特徴学習部１１は、学習した視聴領域特徴を視聴領域推定ルールとして視聴領域推定ルール記憶装置１２に記憶させる。
視聴領域推定ルール記憶装置１２は、視聴領域推定ルールをユーザと映像との組み合わせごとに対応付けて記憶する。視聴領域推定ルールは、例えば、条件と当該条件が成立した場合に実行される動作との組み合わせからなるＩＦ−ＴＨＥＮルールのような形式で定めるようにしてもよい。また、視聴領域推定ルールは、ユーザが認識可能なルールとして定めずともよく、ニューラルネットワークによる識別器などにおけるルールのようにブラックボックス化されていてもよい。
視聴領域推定部１３は、視聴領域推定ルール記憶装置１２に記憶される視聴領域推定ルールを読み出す。視聴領域推定部１３は、読み出した視聴領域推定ルールと、映像記憶装置１０１に記憶されている映像であってユーザが視聴する映像とに基づいて、ユーザの視聴領域を推定する。視聴領域推定部１３は、推定した視聴領域を示す情報を制御部１０６に出力する。
以下、視聴領域特徴学習部１１の処理を説明する。図６は、本実施形態における視聴領域特徴学習部１１の学習の処理を示すフローチャートである。
視聴領域特徴学習部１１は、学習の処理を開始すると、視聴領域特徴の学習対象となる各ユーザの映像操作情報を映像操作記憶装置１０２から検出して読み出し、読み出した映像操作情報に対応する映像を映像記憶装置１０１から読み出す（ステップＳ１０１）。
視聴領域特徴学習部１１は、学習の処理を開始すると、視聴領域特徴の学習対象となる各ユーザの映像操作情報を映像操作記憶装置１０２から検出して読み出し、読み出した映像操作情報に対応する映像を映像記憶装置１０１から読み出す（ステップＳ１０１）。
視聴領域特徴学習部１１は、読み出した映像操作情報に含まれる視聴領域の画像を当該映像操作情報に対応する映像から取得し、取得した視聴領域の画像を正例にする（ステップＳ１０２）。視聴領域特徴学習部１１は、読み出した各映像における時刻ごとに正例を定める。
視聴領域特徴学習部１１は、読み出した映像操作情報に含まれる視聴領域以外の領域をランダムに選択し、選択した領域の画像を当該映像操作情報に対応する映像から取得し、取得した領域の画像を負例にする（ステップＳ１０３）。すなわち、各映像においてユーザに視聴されなかった領域が負例となる。視聴領域特徴学習部１１は、正例と同様に、読み出した各映像における時刻ごとに負例を定める。
視聴領域特徴学習部１１は、読み出した映像操作情報に含まれる視聴領域以外の領域をランダムに選択し、選択した領域の画像を当該映像操作情報に対応する映像から取得し、取得した領域の画像を負例にする（ステップＳ１０３）。すなわち、各映像においてユーザに視聴されなかった領域が負例となる。視聴領域特徴学習部１１は、正例と同様に、読み出した各映像における時刻ごとに負例を定める。
視聴領域特徴学習部１１は、正例の画像を予め定められたサイズ（Ｋ［ピクセル］×Ｋ［ピクセル］）のブロックに分割する（ステップＳ１０４）。
視聴領域特徴学習部１１は、分割した正例の各ブロックについて平均色ＲＧＢを算出する（ステップＳ１０５）。
視聴領域特徴学習部１１は、算出したすべての正例のブロックの平均色ＲＧＢを並べたものを正例の特徴ベクトルにする（ステップＳ１０６）。
視聴領域特徴学習部１１は、分割した正例の各ブロックについて平均色ＲＧＢを算出する（ステップＳ１０５）。
視聴領域特徴学習部１１は、算出したすべての正例のブロックの平均色ＲＧＢを並べたものを正例の特徴ベクトルにする（ステップＳ１０６）。
視聴領域特徴学習部１１は、負例の画像を上述のサイズ（Ｋ［ピクセル］×Ｋ［ピクセル］）のブロックに分割する（ステップＳ１０７）。
視聴領域特徴学習部１１は、分割した負例の各ブロックについて平均色ＲＧＢを算出する（ステップＳ１０８）。
視聴領域特徴学習部１１は、算出したすべての負例のブロックの平均色ＲＧＢを並べたものを負例の特徴ベクトルにする（ステップＳ１０９）。
視聴領域特徴学習部１１は、分割した負例の各ブロックについて平均色ＲＧＢを算出する（ステップＳ１０８）。
視聴領域特徴学習部１１は、算出したすべての負例のブロックの平均色ＲＧＢを並べたものを負例の特徴ベクトルにする（ステップＳ１０９）。
視聴領域特徴学習部１１は、ステップＳ１０６において生成した正例の特徴ベクトルと、ステップＳ１０９において生成した負例の特徴ベクトルとに基づいた学習を行う（ステップＳ１１０）。
視聴領域特徴学習部１１は、ステップＳ１１０における学習により得られた学習結果を視聴領域推定ルールとして視聴領域推定ルール記憶装置１２に記憶させる（ステップＳ１１１）。
視聴領域特徴学習部１１は、ステップＳ１１０における学習により得られた学習結果を視聴領域推定ルールとして視聴領域推定ルール記憶装置１２に記憶させる（ステップＳ１１１）。
視聴領域特徴学習部１１は、上述のようにして、映像操作情報と映像とに基づいて視聴領域特徴を学習し、学習結果として視聴領域推定ルールを視聴領域推定ルール記憶装置１２に記憶させる。
なお、図６に示されたフローチャートでは、特徴としてＲＧＢ色空間での平均色を用いた場合を例にして説明したが、特徴はＲＧＢ空間での平均色に限ることなく、他のものであってもよい。例えば、ブロックの色ヒストグラムを利用してもよいし、ＲＧＢ色空間ではなくＨＳＶ色空間で特徴を算出するようにしてもよい。また、色以外の特徴として、部分領域の画像においてエッジ抽出を行い、エッジの量や方向等を特徴量とするようにしてもよい。また、これらを単独で利用するのではなく、組み合わせて一つの特徴量とするようにしてもよい。また、これら以外の特徴量を用いるようにしてもよい。視聴領域特徴学習部１１では、さまざまな特徴が学習において特徴選択され、状況に応じて重み付けされて利用されることを想定している。
なお、図６に示されたフローチャートでは、特徴としてＲＧＢ色空間での平均色を用いた場合を例にして説明したが、特徴はＲＧＢ空間での平均色に限ることなく、他のものであってもよい。例えば、ブロックの色ヒストグラムを利用してもよいし、ＲＧＢ色空間ではなくＨＳＶ色空間で特徴を算出するようにしてもよい。また、色以外の特徴として、部分領域の画像においてエッジ抽出を行い、エッジの量や方向等を特徴量とするようにしてもよい。また、これらを単独で利用するのではなく、組み合わせて一つの特徴量とするようにしてもよい。また、これら以外の特徴量を用いるようにしてもよい。視聴領域特徴学習部１１では、さまざまな特徴が学習において特徴選択され、状況に応じて重み付けされて利用されることを想定している。
次に、視聴領域推定部１３の処理を説明する。図７は、本実施形態における視聴領域推定部１３の推定の処理を示すフローチャートである。
視聴領域推定部１３は、推定の処理を開始すると、視聴領域の推定対象となるユーザが視聴する映像を映像記憶装置１０１から読み出す（ステップＳ１２１）。
視聴領域推定部１３は、視聴領域の推定対象となるユーザに対応する視聴領域推定ルールを視聴領域推定ルール記憶装置１２から読み出す（ステップＳ１２２）。
視聴領域推定部１３は、推定の処理を開始すると、視聴領域の推定対象となるユーザが視聴する映像を映像記憶装置１０１から読み出す（ステップＳ１２１）。
視聴領域推定部１３は、視聴領域の推定対象となるユーザに対応する視聴領域推定ルールを視聴領域推定ルール記憶装置１２から読み出す（ステップＳ１２２）。
視聴領域推定部１３は、以下に説明するステップＳ１２３からステップＳ１２６までの処理を、ステップＳ１２１において読み出した映像の時刻ごとに繰り返して行う。
視聴領域推定部１３は、映像の時刻ｉ（ｉ＝１，２，…，Ｍａｘ（ｊ））における画像の各部分領域の特徴抽出を行う（ステップＳ１２３）。ここで、部分領域は、例えば、画像内の空間的な一部の領域であって予め定められた大きさの領域であり、画像をラスタスキャン（左上から右下にかけて水平方向に順に走査）することにより得られる領域である。また、部分領域の特徴抽出は、視聴領域特徴学習部１１が視聴領域特徴を学習する際に用いた特徴（例えば、ＲＧＢ色空間での平均色）を算出することである。
視聴領域推定部１３は、映像の時刻ｉ（ｉ＝１，２，…，Ｍａｘ（ｊ））における画像の各部分領域の特徴抽出を行う（ステップＳ１２３）。ここで、部分領域は、例えば、画像内の空間的な一部の領域であって予め定められた大きさの領域であり、画像をラスタスキャン（左上から右下にかけて水平方向に順に走査）することにより得られる領域である。また、部分領域の特徴抽出は、視聴領域特徴学習部１１が視聴領域特徴を学習する際に用いた特徴（例えば、ＲＧＢ色空間での平均色）を算出することである。
視聴領域推定部１３は、ステップＳ１２２において読み出した視聴領域推定ルールと、各部分領域の抽出した特徴とを用いて、各部分領域が視聴領域であることの確からしさを算出する（ステップＳ１２４）。例えば、視聴領域推定ルールを生成する際にＳＶＭを用いた場合、視聴領域推定部１３は、ＳＶＭにより部分領域が視聴領域であることの確からしさ、すなわち視聴領域らしさを算出する。ＳＶＭの判定では、現在評価する対象の部分領域について、正例：視聴領域であるか、又は負例：非視聴領域であるかのいずれかに分類する。更に、識別境界からの距離により、その度合い、すなわち視聴領域らしさを表すものとする。
視聴領域推定部１３は、各部分領域に対して算出した視聴領域らしさのうち、最も視聴領域らしい部分領域を視聴領域の推定結果とする（ステップＳ１２５）。
視聴領域推定部１３は、視聴領域の推定結果、すなわち視聴領域と推定した部分領域を示す情報を制御部１０６に出力する（ステップＳ１２６）。
視聴領域推定部１３は、視聴領域の推定結果、すなわち視聴領域と推定した部分領域を示す情報を制御部１０６に出力する（ステップＳ１２６）。
上述のように、本実施形態における映像視聴システム１では、映像操作記憶装置１０２に記憶されているユーザの映像操作情報と、映像記憶装置１０１に記憶されている映像であって当該映像操作情報に対応する映像とに基づいて、ユーザが映像を視聴した際の視聴領域から該ユーザの好みの視聴領域を視聴領域推定装置１０が逐次的に推定する。これにより、ユーザが映像記憶装置１０１に記憶されている映像、又はライブ放送や生中継などの映像を視聴する際に、他のユーザの映像操作情報が存在しない場合であっても、ユーザ自ら視聴領域を指定せずに、該ユーザの好みの視聴領域で映像を視聴することができる。
（第２の実施形態）
図８は、第２の実施形態における視聴領域推定装置２０を含む映像視聴システム２の構成例を示す概略ブロック図である。映像視聴システム２は、視聴領域推定装置２０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置２０は、視聴領域特徴学習部２１、視聴領域推定ルール記憶装置１２、及び、視聴領域推定部１３を備えている。本実施形態の映像視聴システム２は、第１の実施形態において示した映像視聴システム１における視聴領域特徴学習部１１を視聴領域特徴学習部２１に代えた構成となっている。視聴領域特徴学習部２１は、学習対象選択部２１１、及び、学習部２１２を有することを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域推定ルール記憶装置１２、視聴領域推定部１３それぞれの構成及び動作は、関連技術又は第１の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
図８は、第２の実施形態における視聴領域推定装置２０を含む映像視聴システム２の構成例を示す概略ブロック図である。映像視聴システム２は、視聴領域推定装置２０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置２０は、視聴領域特徴学習部２１、視聴領域推定ルール記憶装置１２、及び、視聴領域推定部１３を備えている。本実施形態の映像視聴システム２は、第１の実施形態において示した映像視聴システム１における視聴領域特徴学習部１１を視聴領域特徴学習部２１に代えた構成となっている。視聴領域特徴学習部２１は、学習対象選択部２１１、及び、学習部２１２を有することを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域推定ルール記憶装置１２、視聴領域推定部１３それぞれの構成及び動作は、関連技術又は第１の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
学習対象選択部２１１は、ユーザ、映像、映像中の時刻（映像再生開始からの経過時間）などの類似度に従って、映像操作記憶装置１０２に記憶されている映像操作情報のうち学習対象にする映像操作情報を選択する。
学習部２１２は、学習対象選択部２１１が選択した映像操作情報と、映像記憶装置１０１に記憶されている映像であって当該映像操作情報に対応する映像とに基づいて、ユーザが視聴している領域の映像特徴（視聴領域特徴）を学習する。学習部２１２の動作は、第１の実施形態における視聴領域特徴学習部１１の動作と同様である。
学習部２１２は、学習対象選択部２１１が選択した映像操作情報と、映像記憶装置１０１に記憶されている映像であって当該映像操作情報に対応する映像とに基づいて、ユーザが視聴している領域の映像特徴（視聴領域特徴）を学習する。学習部２１２の動作は、第１の実施形態における視聴領域特徴学習部１１の動作と同様である。
本実施形態における映像視聴システム２では、学習部２１２が視聴領域特徴を学習する際に、学習対象となる映像操作情報を学習対象選択部２１１が映像操作記憶装置１０２に記憶されている映像操作情報から選択する。このとき、学習対象選択部２１１が、ユーザ、映像、映像中の時刻の類似度に従って、映像操作情報を選択する。例えば、同一ユーザの映像操作情報を学習対象にしたり、同一映像に対応する映像操作情報を学習対象にしたりする。これにより、視聴領域推定装置２０は、よりユーザの好みの視聴領域を適切に推定することが可能となる。
（第３の実施形態）
図９は、第３の実施形態における視聴領域推定装置３０を含む映像視聴システム３の構成を示す概略ブロック図である。映像視聴システム３は、視聴領域推定装置３０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置３０は、視聴領域特徴学習部３１、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、及び、ユーザ情報記憶装置３５を備えている。本実施形態の映像視聴システム３は、第２の実施形態において示した映像視聴システム２における視聴領域特徴学習部２１を視聴領域特徴学習部３１に代え、ユーザ情報記憶装置３５を加えた構成となっている。視聴領域特徴学習部３１は、学習対象選択部３１１、及び、学習部２１２を有することを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、学習部２１２それぞれの構成及び動作は、関連技術や第１又は第２の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
図９は、第３の実施形態における視聴領域推定装置３０を含む映像視聴システム３の構成を示す概略ブロック図である。映像視聴システム３は、視聴領域推定装置３０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置３０は、視聴領域特徴学習部３１、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、及び、ユーザ情報記憶装置３５を備えている。本実施形態の映像視聴システム３は、第２の実施形態において示した映像視聴システム２における視聴領域特徴学習部２１を視聴領域特徴学習部３１に代え、ユーザ情報記憶装置３５を加えた構成となっている。視聴領域特徴学習部３１は、学習対象選択部３１１、及び、学習部２１２を有することを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、学習部２１２それぞれの構成及び動作は、関連技術や第１又は第２の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
ユーザ情報記憶装置３５には、映像記憶装置１０１に記憶されている映像のうち、ユーザが視聴した映像を示す視聴映像リストがユーザごとに記憶されている。図１０は、本実施形態におけるユーザ情報記憶装置３５が記憶している視聴映像テーブルの一例を示す図である。同図に示すように、視聴映像テーブルは、ユーザＩＤ、及び、視聴映像リストの項目の列を有している。各行はユーザごとに存在し、当該ユーザを識別するユーザＩＤと当該ユーザが視聴した映像のリストである視聴映像リストとが対応付けられて視聴映像テーブルに記憶されている。視聴映像リストは映像を識別するコンテンツＩＤが含まれる。
学習対象選択部３１１は、ユーザ情報記憶装置３５に記憶されている各ユーザの視聴映像リストに基づいてユーザ間の類似度を算出し、算出した類似度に従って、映像操作記憶装置１０２に記憶されている映像操作情報のうち、学習対象にする映像操作情報を選択する。
学習対象選択部３１１は、ユーザ情報記憶装置３５に記憶されている各ユーザの視聴映像リストに基づいてユーザ間の類似度を算出し、算出した類似度に従って、映像操作記憶装置１０２に記憶されている映像操作情報のうち、学習対象にする映像操作情報を選択する。
図１１は、本実施形態における学習対象選択部３１１が学習の対象とする映像操作情報を選択する処理を示すフローチャートである。
学習対象選択部３１１は、映像操作情報の選択を開始すると、視聴領域特徴の学習対象となるユーザの視聴映像リストをユーザ情報記憶装置３５から読み出す（ステップＳ３０１）。
学習対象選択部３１１は、ステップＳ３０１で読み出した視聴映像リストと、ユーザ情報記憶装置３５に記憶されている他のユーザそれぞれの視聴映像リストとの重複度合いを算出し、算出した重複度合いを類似度とする（ステップＳ３０２）。重複度合いを表す値としてはＦ値などを利用することができる。
学習対象選択部３１１は、映像操作情報の選択を開始すると、視聴領域特徴の学習対象となるユーザの視聴映像リストをユーザ情報記憶装置３５から読み出す（ステップＳ３０１）。
学習対象選択部３１１は、ステップＳ３０１で読み出した視聴映像リストと、ユーザ情報記憶装置３５に記憶されている他のユーザそれぞれの視聴映像リストとの重複度合いを算出し、算出した重複度合いを類似度とする（ステップＳ３０２）。重複度合いを表す値としてはＦ値などを利用することができる。
例えば、図１０に示した視聴映像リストを用いて重複度合いの算出方法を説明する。ここでは、視聴領域特徴の学習対象となるユーザのユーザＩＤを「ｍ」として説明する。
ユーザｍの視聴映像リスト「５，ｌ，ｋ，Ｍ」と、ユーザ１の視聴映像リスト「１，２，５，ｌ，ｋ」との重複度合いを求める。ユーザｍの視聴映像リストに含まれる４つのコンテンツＩＤのうち３つのコンテンツＩＤがユーザ１の視聴映像リストに含まれるコンテンツＩＤと重複する。一方、ユーザ１の視聴映像リストに含まれる５つのコンテンツＩＤのうち３つのコンテンツＩＤがユーザｍの視聴映像リストに含まれるコンテンツＩＤと重複する。この場合、重複度合いＦ値＝２×（３／４）×（３／５）÷（３／４＋３／５）＝２／３となる。
また、ユーザｍの視聴映像リストと、ユーザＭの視聴映像リストとの重複度合いＦ値は、同様に求められる。ユーザｍの映像視聴リストに含まれる４つのコンテンツＩＤのうち３つのコンテンツＩＤがユーザＭの映像視聴リストに含まれるコンテンツＩＤと重複する。一方、ユーザＭの映像視聴リストに含まれる１２のコンテンツＩＤのうち３つのコンテンツＩＤがユーザｍの映像視聴リストに含まれるコンテンツＩＤと重複する。すなわち、この場、Ｆ値＝２×（３／４）×（３／１２）÷（３／４＋３／１２）＝３／８となる。
ユーザｍの視聴映像リスト「５，ｌ，ｋ，Ｍ」と、ユーザ１の視聴映像リスト「１，２，５，ｌ，ｋ」との重複度合いを求める。ユーザｍの視聴映像リストに含まれる４つのコンテンツＩＤのうち３つのコンテンツＩＤがユーザ１の視聴映像リストに含まれるコンテンツＩＤと重複する。一方、ユーザ１の視聴映像リストに含まれる５つのコンテンツＩＤのうち３つのコンテンツＩＤがユーザｍの視聴映像リストに含まれるコンテンツＩＤと重複する。この場合、重複度合いＦ値＝２×（３／４）×（３／５）÷（３／４＋３／５）＝２／３となる。
また、ユーザｍの視聴映像リストと、ユーザＭの視聴映像リストとの重複度合いＦ値は、同様に求められる。ユーザｍの映像視聴リストに含まれる４つのコンテンツＩＤのうち３つのコンテンツＩＤがユーザＭの映像視聴リストに含まれるコンテンツＩＤと重複する。一方、ユーザＭの映像視聴リストに含まれる１２のコンテンツＩＤのうち３つのコンテンツＩＤがユーザｍの映像視聴リストに含まれるコンテンツＩＤと重複する。すなわち、この場、Ｆ値＝２×（３／４）×（３／１２）÷（３／４＋３／１２）＝３／８となる。
学習対象選択部３１１は、ステップＳ３０２において算出した各ユーザの視聴映像リストに対する類似度のうち、予め定められた閾値以上の類似度のユーザを選択し、選択したユーザの映像操作情報を学習対象として決定する（ステップＳ３０３）。
学習対象選択部３１１は、ステップＳ３０３において決定したユーザの映像操作情報を映像操作記憶装置１０２から読み出し、読み出した映像操作情報を学習部２１２に出力する（ステップＳ３０４）。
学習対象選択部３１１は、ステップＳ３０３において決定したユーザの映像操作情報を映像操作記憶装置１０２から読み出し、読み出した映像操作情報を学習部２１２に出力する（ステップＳ３０４）。
上述のように、本実施形態における映像視聴システム３では、視聴した映像の類似度が高いユーザ、すなわち似た志向を持つユーザの映像操作情報を学習対象選択部３１１が選択する。学習部２１２は、学習対象選択部３１１が選択した映像操作情報、及び映像記憶装置１０１に記憶されている映像のうち当該映像操作情報に対応する映像に基づいて視聴領域特徴を学習する。
同様な志向を持つユーザ同士の視聴領域は互いに類似する可能性が高いので、同様の志向を持つユーザの映像操作情報に基づいて映像視聴特徴を学習し、視聴領域を推定することにより、より高精度な視聴領域の推定が可能となる。
同様な志向を持つユーザ同士の視聴領域は互いに類似する可能性が高いので、同様の志向を持つユーザの映像操作情報に基づいて映像視聴特徴を学習し、視聴領域を推定することにより、より高精度な視聴領域の推定が可能となる。
なお、図１１に示されたフローチャートでは、ステップＳ３０２において他のユーザの映像視聴リストとの類似度を算出すると説明したが、視聴領域特徴の学習対象となるユーザの映像視聴リストに対しても類似度を算出するようにしてもよい。この場合、学習対象となるユーザの映像操作情報も学習に含まれることになり、視聴領域の推定精度が向上する。
（第４の実施形態）
図１２は、第４の実施形態における視聴領域推定装置４０を含む映像視聴システム４の構成を示す概略ブロック図である。映像視聴システム４は、視聴領域推定装置４０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置４０は、視聴領域特徴学習部４１、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、ユーザ情報記憶装置３５、及び、映像情報記憶装置４６を備えている。本実施形態の映像視聴システム４は、第３の実施形態において示した映像視聴システム３における視聴領域特徴学習部３１を視聴領域特徴学習部４１に代え、映像情報記憶装置４６を加えた構成となっている。視聴領域特徴学習部４１は、学習対象選択部４１１、及び、学習部２１２を有することを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、学習部２１２、ユーザ情報記憶装置３５それぞれの構成及び動作は、関連技術や第１〜第３の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
図１２は、第４の実施形態における視聴領域推定装置４０を含む映像視聴システム４の構成を示す概略ブロック図である。映像視聴システム４は、視聴領域推定装置４０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置４０は、視聴領域特徴学習部４１、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、ユーザ情報記憶装置３５、及び、映像情報記憶装置４６を備えている。本実施形態の映像視聴システム４は、第３の実施形態において示した映像視聴システム３における視聴領域特徴学習部３１を視聴領域特徴学習部４１に代え、映像情報記憶装置４６を加えた構成となっている。視聴領域特徴学習部４１は、学習対象選択部４１１、及び、学習部２１２を有することを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域推定ルール記憶装置１２、視聴領域推定部１３、学習部２１２、ユーザ情報記憶装置３５それぞれの構成及び動作は、関連技術や第１〜第３の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
映像情報記憶装置４６には、映像記憶装置１０１に記憶されている映像ごとに、当該映像のジャンル、当該映像のシリーズ名、及び、当該映像の視聴時間の長さを含む映像情報が記憶されている。図１３は、本実施形態における映像情報記憶装置４６が記憶している映像情報テーブルの一例を示す図である。同図に示すように、映像情報テーブルは、コンテンツＩＤ、ジャンル、シリーズ、及び、長さの各項目の列を有している。各行は映像（コンテンツ）ごとに存在し、当該映像を識別するコンテンツＩＤ、ジャンル、シリーズ、及び、長さそれぞれの項目値が対応付けられた映像情報が映像情報テーブルに記憶されている。
学習対象選択部４１１は、ユーザ情報記憶装置３５に記憶されている各ユーザの視聴映像リストと、映像情報記憶装置４６に記憶されている各映像の映像情報とに基づいて、映像操作記憶装置１０２に記憶されている映像操作情報のうち学習対象にする映像操作情報を選択する。
学習対象選択部４１１は、ユーザ情報記憶装置３５に記憶されている各ユーザの視聴映像リストと、映像情報記憶装置４６に記憶されている各映像の映像情報とに基づいて、映像操作記憶装置１０２に記憶されている映像操作情報のうち学習対象にする映像操作情報を選択する。
図１４は、本実施形態における学習対象選択部４１１が学習の対象とする映像操作情報を選択する処理を示すフローチャートである。
学習対象選択部４１１は、映像操作情報の選択を開始すると、視聴領域特徴の学習対象となるユーザの視聴映像リストをユーザ情報記憶装置３５から読み出す（ステップＳ４０１）。
学習対象選択部４１１は、ステップＳ４０１で読み出した視聴映像リストと、ユーザ情報記憶装置３５に記憶されている他のユーザそれぞれの視聴映像リストとの重複度合いを算出し、算出した重複度合いを類似度とする（ステップＳ４０２）。学習対象選択部４１１が重複度合いを算出する手順は、第３の実施形態における学習対象選択部３１１が重複度合いを算出する手順と同様である。
学習対象選択部４１１は、映像操作情報の選択を開始すると、視聴領域特徴の学習対象となるユーザの視聴映像リストをユーザ情報記憶装置３５から読み出す（ステップＳ４０１）。
学習対象選択部４１１は、ステップＳ４０１で読み出した視聴映像リストと、ユーザ情報記憶装置３５に記憶されている他のユーザそれぞれの視聴映像リストとの重複度合いを算出し、算出した重複度合いを類似度とする（ステップＳ４０２）。学習対象選択部４１１が重複度合いを算出する手順は、第３の実施形態における学習対象選択部３１１が重複度合いを算出する手順と同様である。
学習対象選択部４１１は、ステップＳ４０２において算出した各ユーザの視聴映像リストに対する類似度のうち、予め定められた閾値以上の類似度のユーザを選択する（ステップＳ４０３）。
学習対象選択部４１１は、選択したユーザの視聴映像リストに含まれる映像のジャンルを映像情報記憶装置４６から読み出し、視聴領域特徴の学習対象となるユーザがこれから視聴する映像のジャンルと同じ又は類似するジャンルの映像を選択する。学習対象選択部４１１は、選択した映像に対応する映像操作情報を映像操作記憶装置１０２から読み出し、読み出した映像操作情報を学習対象の映像操作情報に決定する（ステップＳ４０４）。
学習対象選択部４１１は、ステップＳ４０４において決定した映像操作情報を学習部２１２に出力する（ステップＳ４０５）。
学習対象選択部４１１は、選択したユーザの視聴映像リストに含まれる映像のジャンルを映像情報記憶装置４６から読み出し、視聴領域特徴の学習対象となるユーザがこれから視聴する映像のジャンルと同じ又は類似するジャンルの映像を選択する。学習対象選択部４１１は、選択した映像に対応する映像操作情報を映像操作記憶装置１０２から読み出し、読み出した映像操作情報を学習対象の映像操作情報に決定する（ステップＳ４０４）。
学習対象選択部４１１は、ステップＳ４０４において決定した映像操作情報を学習部２１２に出力する（ステップＳ４０５）。
上述のように、本実施形態における映像視聴システム４では、学習対象選択部４１１が視聴した映像の類似度が高いユーザの映像操作情報のうち、これからユーザが視聴する映像と同じジャンルの映像に対応する映像操作情報を選択する。学習部２１２は、学習対象選択部４１１が選択した映像操作情報、及び当該映像操作情報に対応する映像に基づいて視聴領域特徴を学習する。
同様な志向を持つユーザ同士の視聴領域は互いに類似する可能性が高く、更に同一ジャンルの映像では視聴領域が類似するので、上述のようにして選択した映像操作情報及び当該映像操作情報に対応する映像に基づいた学習により、視聴領域の推定の精度を更に高精度にすることが可能となる。
同様な志向を持つユーザ同士の視聴領域は互いに類似する可能性が高く、更に同一ジャンルの映像では視聴領域が類似するので、上述のようにして選択した映像操作情報及び当該映像操作情報に対応する映像に基づいた学習により、視聴領域の推定の精度を更に高精度にすることが可能となる。
（第５の実施形態）
図１５は、第５の実施形態における視聴領域推定装置５０を含む映像視聴システム５の構成を示す概略ブロック図である。映像視聴システム５は、視聴領域推定装置５０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置５０は、視聴領域特徴学習部１１、視聴領域推定ルール記憶装置１２、視聴領域推定部５３、及び、視聴領域事前確率分布予測部５７を備えている。本実施形態の映像視聴システム５は、第１の実施形態において示した映像視聴システム１における視聴領域推定部１３を視聴領域推定部５３に代え、視聴領域事前確率分布予測部５７を加えた構成となっている。視聴領域推定装置５０は、視聴領域推定部５３、及び、視聴領域事前確率分布予測部５７を備えることを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域特徴学習部１１、視聴領域推定ルール記憶装置１２それぞれの構成及び動作は、関連技術や第１の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
図１５は、第５の実施形態における視聴領域推定装置５０を含む映像視聴システム５の構成を示す概略ブロック図である。映像視聴システム５は、視聴領域推定装置５０、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、及び、制御部１０６を具備している。視聴領域推定装置５０は、視聴領域特徴学習部１１、視聴領域推定ルール記憶装置１２、視聴領域推定部５３、及び、視聴領域事前確率分布予測部５７を備えている。本実施形態の映像視聴システム５は、第１の実施形態において示した映像視聴システム１における視聴領域推定部１３を視聴領域推定部５３に代え、視聴領域事前確率分布予測部５７を加えた構成となっている。視聴領域推定装置５０は、視聴領域推定部５３、及び、視聴領域事前確率分布予測部５７を備えることを特徴としている。
なお、映像記憶装置１０１、映像操作記憶装置１０２、操作入力部１０３、視聴インタフェース部１０４、表示部１０５、制御部１０６、視聴領域特徴学習部１１、視聴領域推定ルール記憶装置１２それぞれの構成及び動作は、関連技術や第１の実施形態において説明した構成及び動作と同じであるので、その説明を省略する。
第１の実施形態における視聴領域推定部１３では、「候補となる部分領域すべてについて」、視聴領域らしさを算出し、算出した視聴領域らしさが最も高い部分領域を視聴領域としている。この場合、一時刻ごとに視聴領域が大きく変化して視聴しにくくなることがある。
そこで、本実施形態の映像視聴システム５では、視聴領域事前確率分布予測部５７を設け、視聴領域事前確率分布予測部５７がパーティクルフィルタを用いて視聴領域の位置及びサイズに対する確率分布を算出する。
視聴領域推定部５３は、視聴領域推定ルール記憶装置１２に記憶される視聴領域推定ルールと、映像記憶装置１０１に記憶されている映像であってユーザが視聴する映像と、視聴領域事前確率分布予測部５７が算出する確率分布に基づいて、ユーザの視聴領域を推定する。具体的には、視聴領域推定部５３は、各部分領域の視聴領域らしさに対する重み付け平均により視聴領域を推定する。
そこで、本実施形態の映像視聴システム５では、視聴領域事前確率分布予測部５７を設け、視聴領域事前確率分布予測部５７がパーティクルフィルタを用いて視聴領域の位置及びサイズに対する確率分布を算出する。
視聴領域推定部５３は、視聴領域推定ルール記憶装置１２に記憶される視聴領域推定ルールと、映像記憶装置１０１に記憶されている映像であってユーザが視聴する映像と、視聴領域事前確率分布予測部５７が算出する確率分布に基づいて、ユーザの視聴領域を推定する。具体的には、視聴領域推定部５３は、各部分領域の視聴領域らしさに対する重み付け平均により視聴領域を推定する。
図１６は、本実施形態における視聴領域推定部５３と視聴領域事前確率分布予測部５７とによる視聴領域の推定の処理を示すフローチャートである。
視聴領域推定部５３は、推定の処理を開始すると、視聴領域の推定対象となるユーザが視聴する映像を映像記憶装置１０１から読み出す（ステップＳ５０１）。
視聴領域推定部５３は、視聴領域の推定対象となるユーザに対応する視聴領域推定ルールを視聴領域推定ルール記憶装置１２から読み出す（ステップＳ５０２）。
視聴領域推定部５３は、推定の処理を開始すると、視聴領域の推定対象となるユーザが視聴する映像を映像記憶装置１０１から読み出す（ステップＳ５０１）。
視聴領域推定部５３は、視聴領域の推定対象となるユーザに対応する視聴領域推定ルールを視聴領域推定ルール記憶装置１２から読み出す（ステップＳ５０２）。
視聴領域推定部５３及び視聴領域事前確率分布予測部５７は、以下に説明するステップＳ５０３からステップＳ５０７までの処理を、ステップＳ５０１において読み出した映像の時刻ごとに繰り返して行う。
視聴領域事前確率分布予測部５７は、次の時刻において視聴される視聴領域の位置及びサイズ（画角又は焦点距離）を予測する（ステップＳ５０３）。視聴領域の位置及びサイズのダイナミクスが既知の場合には、視聴領域事前確率分布予測部５７は当該ダイナミクスに従って、視聴領域の位置及びサイズを予測する。ダイナミクスが不明である場合には、ランダムウォークモデルに従った状態遷移に基づいて、視聴領域の位置及びサイズを予測する。パーティクルフィルタでは、パーティクルと呼ばれる状態仮説の密度により確率分布を表現する。したがって、ステップＳ５０３では視聴領域事前確率分布予測部５７が複数の状態仮説を生成することになる。
視聴領域事前確率分布予測部５７は、次の時刻において視聴される視聴領域の位置及びサイズ（画角又は焦点距離）を予測する（ステップＳ５０３）。視聴領域の位置及びサイズのダイナミクスが既知の場合には、視聴領域事前確率分布予測部５７は当該ダイナミクスに従って、視聴領域の位置及びサイズを予測する。ダイナミクスが不明である場合には、ランダムウォークモデルに従った状態遷移に基づいて、視聴領域の位置及びサイズを予測する。パーティクルフィルタでは、パーティクルと呼ばれる状態仮説の密度により確率分布を表現する。したがって、ステップＳ５０３では視聴領域事前確率分布予測部５７が複数の状態仮説を生成することになる。
視聴領域推定部５３は、ステップＳ５０３において視聴領域事前確率分布予測部５７が生成した状態仮説ごとに、以下のステップＳ５０４とステップＳ５０５の各処理を行う。
視聴領域推定部５３は、ステップＳ５０１において読み出した映像と現在の視聴位置とに基づいて、状態仮説に対応する視聴領域候補の画像を取得する（ステップＳ５０４）。
視聴領域推定部５３は、取得した各画像について特徴抽出を行い、ステップＳ５０２において読み出した視聴領域推定ルールに基づいて視聴領域らしさを算出する（ステップＳ５０５）。本実施形態における特徴抽出は、第１の実施形態において説明した特徴抽出と同様の処理である。
視聴領域推定部５３は、ステップＳ５０１において読み出した映像と現在の視聴位置とに基づいて、状態仮説に対応する視聴領域候補の画像を取得する（ステップＳ５０４）。
視聴領域推定部５３は、取得した各画像について特徴抽出を行い、ステップＳ５０２において読み出した視聴領域推定ルールに基づいて視聴領域らしさを算出する（ステップＳ５０５）。本実施形態における特徴抽出は、第１の実施形態において説明した特徴抽出と同様の処理である。
視聴領域推定部５３は、状態仮説ごとに算出した視聴領域らしさに対する重み付け平均を行うことにより視聴領域を算出する（ステップＳ５０６）。
視聴領域推定部５３は、算出した視聴領域を制御部１０６に出力する（ステップＳ５０７）。
視聴領域推定部５３は、算出した視聴領域を制御部１０６に出力する（ステップＳ５０７）。
上述のように、本実施形態における映像視聴システム５では、パーティクルフィルタを用いて視聴領域を推定することにより、時刻ごとに視聴領域が大きく変化して視聴しにくくなることを抑えることができる。
なお、上述の第２から第４の実施形態における視聴領域推定装置に対して、第５の実施形態における視聴領域推定装置５０が有する視聴領域事前確率分布予測部５７を設けるようにしてもよい。
なお、上述の第２から第４の実施形態における視聴領域推定装置に対して、第５の実施形態における視聴領域推定装置５０が有する視聴領域事前確率分布予測部５７を設けるようにしてもよい。
なお、本発明における視聴領域推定装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより視聴領域特徴学習部、視聴領域推定ルール記憶装置、視聴領域推定部、ユーザ情報記憶装置、映像情報記憶装置、視聴領域事前確率分布予測部５７などが行う処理を行わせるようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
１、２、３、４、５、１００…映像視聴システム
１０、２０、３０、４０、５０…視聴領域推定装置
１１、２１、３１、４１…視聴領域特徴学習部
１２…視聴領域推定ルール記憶装置
１３、５３…視聴領域推定部
３５…ユーザ情報記憶装置
４６…映像情報記憶装置
５７…視聴領域事前確率分布予測部
１０１…映像記憶装置
１０２…映像操作記憶装置
１０３…操作入力部
１０４…視聴インタフェース部
１０５…表示部
１０６…制御部
２１１、３１１、４１１…学習対象選択部
２１２…学習部
１０、２０、３０、４０、５０…視聴領域推定装置
１１、２１、３１、４１…視聴領域特徴学習部
１２…視聴領域推定ルール記憶装置
１３、５３…視聴領域推定部
３５…ユーザ情報記憶装置
４６…映像情報記憶装置
５７…視聴領域事前確率分布予測部
１０１…映像記憶装置
１０２…映像操作記憶装置
１０３…操作入力部
１０４…視聴インタフェース部
１０５…表示部
１０６…制御部
２１１、３１１、４１１…学習対象選択部
２１２…学習部
Claims (7)
- ユーザが視聴可能な映像を予め記憶している映像記憶装置と、前記映像を視聴した際にユーザが選択した視聴領域を示す映像操作情報を映像ごとに予め記憶している映像操作記憶装置と、ユーザが前記映像を視聴する際の視聴領域を推定する視聴領域推定装置とを具備する映像視聴システムにおける視聴領域推定装置であって、
前記映像操作情報と該映像操作情報に対応する前記映像とに基づいて、前記映像内の視聴領域における画像の特徴を学習し、学習結果を示す視聴領域推定ルールを生成する視聴領域特徴学習部と、
ユーザがこれから視聴する映像内の各部分領域の画像の特徴と前記視聴領域推定ルールとに基づいて、該ユーザが視聴する該映像における視聴領域を推定する視聴領域推定部と
を備えることを特徴とする視聴領域推定装置。 - 請求項１に記載の視聴領域推定装置であって、
前記映像操作記憶装置に記憶されている映像操作情報のうち、これから前記映像を視聴するユーザと志向が類似するユーザに対応する映像操作情報、又は、これから視聴する前記映像と類似する映像に対応する映像操作情報を選択する学習対象選択部を更に備え、
前記視聴領域特徴学習部は、
前記学習対象選択部が選択した映像操作情報と該映像操作情報に対応する映像とに基づいて、前記映像内の視聴領域における画像の特徴を学習する
ことを特徴とする視聴領域推定装置。 - 請求項２に記載の視聴領域推定装置であって、
前記映像記憶装置に記憶されている映像のうち視聴した映像のリストをユーザごとに予め記憶しているユーザ情報記憶装置を更に備え、
前記学習対象選択部は、
これから映像を視聴するユーザが既に視聴した映像と重複する映像を視聴した他のユーザの映像操作情報を選択する
ことを特徴とする視聴領域推定装置。 - 請求項３に記載の視聴領域推定装置であって、
前記映像記憶装置に記憶されている映像ごとにそれぞれのジャンルを予め記憶している映像情報記憶装置を更に備え、
前記学習対象選択部は、
これから映像を視聴するユーザが既に視聴した映像と重複する映像を視聴した他のユーザの映像操作情報のうち、これから視聴する映像に類似した映像に対応する映像操作情報を選択する
ことを特徴とする視聴領域推定装置。 - 請求項１から請求項４のいずれか一項に記載の視聴領域推定装置であって、
パーティクルフィルタを用いて映像内における視聴領域に対する確率分布を算出する視聴領域事前確率分布予測部を更に備え、
前記視聴領域推定部は、
ユーザがこれから視聴する前記映像内の各部分領域の画像の特徴と、前記視聴領域推定ルールと、前記視聴領域事前確率分布予測部が算出した確率分布とに基づいて、該ユーザが視聴する該映像における視聴領域を推定する
ことを特徴とする視聴領域推定装置。 - ユーザが視聴可能な映像を予め記憶している映像記憶装置と、前記映像を視聴した際にユーザが選択した視聴領域を示す映像操作情報を映像ごとに予め記憶している映像操作記憶装置と、ユーザが前記映像を視聴する際の視聴領域を推定する視聴領域推定装置とを具備する映像視聴システムにおける視聴領域推定装置が行う視聴領域推定方法であって、
前記映像操作情報と該映像操作情報に対応する前記映像とに基づいて、前記映像内の視聴領域における画像の特徴を学習し、学習結果を示す視聴領域推定ルールを生成する視聴領域特徴学習ステップと、
ユーザがこれから視聴する映像内の各部分領域の画像の特徴と前記視聴領域推定ルールとに基づいて、該ユーザが視聴する該映像における視聴領域を推定する視聴領域推定ステップと
を有することを特徴とする視聴領域推定方法。 - 請求項１から請求項５のいずれか一項に記載の視聴領域推定装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012219350A JP5918098B2 (ja) | 2012-10-01 | 2012-10-01 | 視聴領域推定装置、視聴領域推定方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012219350A JP5918098B2 (ja) | 2012-10-01 | 2012-10-01 | 視聴領域推定装置、視聴領域推定方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014072826A true JP2014072826A (ja) | 2014-04-21 |
| JP5918098B2 JP5918098B2 (ja) | 2016-05-18 |
Family
ID=50747618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012219350A Expired - Fee Related JP5918098B2 (ja) | 2012-10-01 | 2012-10-01 | 視聴領域推定装置、視聴領域推定方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5918098B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020520489A (ja) * | 2017-04-21 | 2020-07-09 | サムスン エレクトロニクス カンパニー リミテッド | 映像表示装置及び映像表示方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004172671A (ja) * | 2002-11-15 | 2004-06-17 | Toshiba Corp | 動画像加工方法及び装置 |
| JP2012088787A (ja) * | 2010-10-15 | 2012-05-10 | Canon Inc | 画像処理装置、画像処理方法 |
-
2012
- 2012-10-01 JP JP2012219350A patent/JP5918098B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004172671A (ja) * | 2002-11-15 | 2004-06-17 | Toshiba Corp | 動画像加工方法及び装置 |
| JP2012088787A (ja) * | 2010-10-15 | 2012-05-10 | Canon Inc | 画像処理装置、画像処理方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020520489A (ja) * | 2017-04-21 | 2020-07-09 | サムスン エレクトロニクス カンパニー リミテッド | 映像表示装置及び映像表示方法 |
| JP7090642B2 (ja) | 2017-04-21 | 2022-06-24 | サムスン エレクトロニクス カンパニー リミテッド | 映像表示装置及び映像表示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5918098B2 (ja) | 2016-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019174458A1 (en) | An intelligent video interaction method | |
| JP4462334B2 (ja) | 情報処理装置、情報処理方法、プログラム及び情報共有システム | |
| CN108293140B (zh) | 公共媒体段的检测 | |
| CN103392343B (zh) | 显示装置、显示方法与播放系统 | |
| US20110202523A1 (en) | Image searching apparatus and image searching method | |
| JP2009110460A (ja) | 人物画像検索装置 | |
| KR101895846B1 (ko) | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 | |
| EP3513326B1 (en) | Methods, systems, and media for detecting stereoscopic videos by generating fingerprints for multiple portions of a video frame | |
| US20190335154A1 (en) | Image processing apparatus, image processing method, and storage medium storing program | |
| US10509965B2 (en) | Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere | |
| TW201143367A (en) | System and method for combining 3D text with 3D content | |
| WO2022199441A1 (zh) | 全景视频的播放方法、装置、计算机设备和存储介质 | |
| JP2016046642A (ja) | 情報処理システム、情報処理方法及びプログラム | |
| KR101690366B1 (ko) | 컨텐츠에 대한 사용자 반응을 고려한 컨텐츠 추천 방법 | |
| JP6424339B2 (ja) | 表示制御装置、および表示制御方法 | |
| CN112291634B (zh) | 视频处理方法及装置 | |
| KR102105510B1 (ko) | 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말 | |
| JP5918098B2 (ja) | 視聴領域推定装置、視聴領域推定方法、及びプログラム | |
| JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP5070179B2 (ja) | シーン類似判定装置、そのプログラム及びサマリ映像生成システム | |
| CN112752110A (zh) | 视频呈现方法及装置、计算设备、存储介质 | |
| JP6632134B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
| JP6623905B2 (ja) | サーバ装置、情報処理方法およびプログラム | |
| KR102161705B1 (ko) | 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법 | |
| Zhou et al. | 360TripleView: 360-Degree Video View Management System Driven by Convergence Value of Viewing Preferences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160407 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5918098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |