JP2014215828A - 画像データ再生装置、および視点情報生成装置 - Google Patents

Abstract

【課題】ユーザが自由視点画像で個別に選択した視点を他のユーザと共有化ができ、場の共有を感じることができる装置を提供すること。
【解決手段】本発明において、分離部（２）は、コンテンツデータから、少なくとも１つ以上の画像データと、少なくとも１つ以上の画像データのうちのいずれか１つに指定された画像データを用いて、どの視点で画像を生成するかを示す個別視点情報を含む視点情報とを分離して出力する。視点決定部（５）は、視点情報に含まれる個別視点情報のうちの１つを視点選択情報として生成する。視点画像生成部（３）は、少なくとも１つ以上の画像データのうちの、視点選択情報により指定された画像データを用いて、視点選択情報が示す視点の画像を視点画像として生成する。個別視点情報生成部（６）は、視点選択情報に対し、ユーザの属性を表すユーザ属性情報を付加して、ユーザ属性付加個別視点情報を生成する。
【選択図】図１

Description

本発明は、画像データ再生装置と、視点情報生成装置に関する。

近年、任意の視点位置から見ることのできる自由視点画像を表示するために、複数台のカメラで異なる視点位置から同一シーンを撮影し、様々な方法でそれらの画像を再生して見せる手法が存在する。例えば、特許文献１では、複数のカメラにより撮影された画像から補間した中間視点画像を生成する技術が開示されている。

また、複数台のカメラによる撮影画像から、画像内の特定オブジェクトを識別し、そのオブジェクトの軌跡を抽出する手法が存在する。例えば、特許文献２では、オブジェクトを識別する技術として、１つ又は複数のビデオ画像から生成されたシーンのビューから、スポーツの競技場の選手等のオブジェクトの画像特徴を抽出し、想定されるオブジェクトのサンプル画像の特徴と比較し、オブジェクトを識別する技術が開示されている。また、特許文献２で開示されている技術においては、経時的な位置を示すオブジェクト経路データを生成し、各オブジェクトの高さに関する所定の推定値を用いて、オブジェクト経路データに基づくオブジェクトの位置を、競技場に提示することができる。

特開２００８−２１７２４３号公報 特開２００９−６４４４５号公報

上記特許文献１では、自由視点画像の生成に必要な視点情報として、ユーザが任意に指定した位置を入力している。しかしながら、上記特許文献１では、この仮想視点は、いつ、誰が、入力した情報であるのかが不明であり、特に、自由視点画像を複数のユーザに放送・配信する場合、ユーザ間で仮想視点の情報を共有化することができないことから、自分の見ている仮想視点の画像を、他の人に伝えることができず、場の共有感が減じるといった問題があった。また、スポーツ中継などにおいて、そのシーンの解説を行なう際、ユーザが選択した仮想視点からの画像を表示した場合に、表示画像と、解説の内容とがそぐわない可能性が生じるといった問題があった。

一方、特許文献２の手法では、複数の撮影画像から、競技場の選手を識別し、３次元モデルで構成した競技場の上に、選手位置や選手名などを投影表示しているが、各選手のアップ画像を自由な仮想視点で表示できないという問題があった。

本発明は、このような問題に鑑みてなされたもので、その目的は、コンテンツデータから、個別視点情報を用いた視点で画像を表示することができ、コンテンツデータに対して、ユーザが、どの個別視点情報による視点で表示を行なうかを選択することができる画像データ再生装置、および視点情報生成装置を提供することにある。

上記の課題を解決するために、本発明の一態様によれば、入力されたコンテンツデータに対し、任意の視点からの画像を再生する画像データ再生装置において、外部から入力されたコンテンツデータから、少なくとも１つ以上の画像データと、前記少なくとも１つ以上の画像データのうちのいずれか１つに指定された画像データを用いて、どの視点で画像を生成するかを示す、少なくとも１つ以上の個別視点情報を含む視点情報とを分離して出力する分離部と、前記視点情報に含まれる前記個別視点情報のうちのいずれか１つを視点選択情報として生成する視点決定部と、前記少なくとも１つ以上の画像データのうちの、前記視点選択情報により指定された画像データを用いて、前記視点選択情報が示す視点の画像を視点画像として生成し、出力する視点画像生成部と、前記視点選択情報に対し、ユーザの属性を表す情報であるユーザ属性情報を付加して、ユーザ属性付加個別視点情報を生成する個別視点情報生成部と、を具備することを特徴とする。

本発明の別の一態様によれば、本発明にかかる画像データ再生装置において、前記ユーザ属性情報は、前記個別視点情報が、個人で生成された視点であるのか、所定のグループで生成された視点であるかを示す、視点種別情報を含む、ことを特徴とする。

本発明の別の一態様によれば、本発明にかかる画像データ再生装置において、前記分離部から出力された前記視点情報を解析し、ユーザにより指定されない場合に指定される１つの個別視点情報を示す解析結果と、前記視点情報に含まれる前記個別視点情報とを出力する視点情報解析部、を更に具備し、前記視点決定部は、前記視点情報解析部から出力された前記個別視点情報のうちの、前記視点情報解析部から出力された前記解析結果に基づく１つの個別視点情報、または、ユーザにより任意に指定された１つの個別視点情報を前記視点選択情報として生成することを特徴とする。

本発明の別の一態様によれば、本発明にかかる視点情報生成装置において、上記画像データ再生装置から出力されたユーザ属性付加個別視点情報を受け取る個別視点情報入力部と、前記個別視点情報入力部からの前記ユーザ属性付加個別視点情報を蓄積する個別視点情報記憶部と、前記個別視点情報記憶部に蓄積された複数の前記ユーザ属性付加個別視点情報の中から、第１の所定の条件に合致する少なくとも１つ以上のユーザ属性付加個別視点情報をグループ単位個別視点情報として抽出し、前記グループ単位個別視点情報に対して、所定の範囲に含まれる視点毎に集計をとることにより複数の分類個別視点情報に分類し、前記複数の分類個別視点情報の中から、第２の所定の条件に合致する分類個別視点情報を含む視点情報を統計視点情報として生成する統計視点情報生成部と、入力されたコンテンツデータから視点情報以外の情報を抽出して、視点情報除外コンテンツデータを出力するコンテンツ抽出部と、前記視点情報除外コンテンツデータと、前記統計視点情報とを多重化する多重化部と、を具備することを特徴とする。

本発明の別の一態様によれば、本発明にかかる視点情報生成装置において、前記第１の所定の条件は、その個別視点情報が、現在、再生しているコンテンツの再生時刻と同じであること、もしくは、前記再生時刻の前後所定の時間内の時刻であることを示す時刻情報をもつこと、もしくは、個別視点情報に含まれるユーザ属性情報を構成する各項目のうちの少なくとも１つ以上の項目が一致すること、もしくは、各条件の組みあわせであることであり、前記第２の所定の条件は、前記所定の範囲に含まれる視点毎に集計された個別視点情報の数のうち、最も集計数の多い視点とする、ことを特徴とする。

本発明の画像データ再生装置によれば、少なくとも１つ以上の個別視点情報から構成される視点情報を含むコンテンツデータから、個別視点情報を用いた視点で画像を表示することができる。
また、コンテンツデータに対して、ユーザは、どの個別視点情報による視点で表示を行なうかを選択することができる。
そのため、ユーザは、自由視点画像で個別に選択した視点を他のユーザと共有化ができ、場の共有を感じることができる。

さらに、本発明の画像データ再生装置を、同じく本発明の視点情報生成装置と組み合わせることにより、画像データ再生装置において、ユーザが変更した視点の情報を、ユーザの属性を示すユーザ属性情報とともに、個別視点情報として生成し、生成した個別視点情報を、その都度、インターネット等の通信網を通じて、クラウド上の視点情報生成装置に集計し、視点情報生成装置において、集計した個別視点情報を母集団とし、特定の時刻ごとに、最もよく視聴されている視点を示す視聴ランキングデータを集計することができる。
また、このとき、個別視点情報のユーザ属性情報の内容を参照し、特定の条件ごとに抽出し、抽出した個別視点情報を母集団とし、特定の時刻ごとに、特定の条件の下で、最もよく視聴されている視点を示す視聴ランキングデータを集計することができる。

また、視聴時、各種視聴ランキングデータを、お勧め視点として、ユーザに表示することにより、他のユーザと視点を共有することができ、他のユーザと一体感を感じながら、視聴することができる。

本発明の実施形態に係る画像データ再生装置の構成を示すブロック図である。 視点情報付きコンテンツデータの構成の一例を示す図である。 アップ画面の一例を示す図である。 スタジアム画面の一例を示す図である。 ゴール前画面の一例を示す図である。 視点情報の一例を示す図である。 カメラ位置を表すための世界座標の一例を示す図である。 個別視点情報の一例を示す図である。 個別視点情報Ｉ１が示すカメラ位置を説明するための図である。 属性情報の一例を示す図である。 画像データ再生装置１の動作を示すフローチャート図である。 視点決定部５の動作を示すフローチャートである。 ユーザが任意の注視点を入力する際の様子を説明する図である。 ユーザが任意のカメラ位置を入力する際の様子を説明する図である。 カメラ位置の一例を示す図である。 個別視点情報の一例を示す図である。 属性情報の一例を示す図である。 ユーザが任意の注視点を入力する際の様子を説明する図である。 ユーザが任意のカメラ位置を入力する際の様子を説明する図である。 入力されたユーザ注視点情報とユーザカメラ位置情報に基づいた、カメラ位置を説明するための図である。 注視点の指定がない場合の、ユーザ注視点情報と、ユーザカメラ位置情報を入力する際の様子を説明した図である。 本発明の実施形態に係る視点情報生成装置１００の構成を示すブロック図である。 視点情報生成装置１００の動作を示すフローチャート図である。 スタジアム上のカメラの注視点の位置を説明する図である。 スタジアム上におけるカメラの方向を説明する図である。 個別視点情報の一例を示す図である。 個別視点情報の一例を示す図である。 個別視点情報の一例を示す図である。 画像データ再生装置１の動作を示すフローチャート図である。 画像データ再生装置１が、視点画像の選択、および表示の切り替えを行なう際の動作について説明するフローチャート図である。 画像データ再生装置１が、各個別視点情報の視点に表示を切り替える際の様子について説明する図である。 画像データ再生装置１の画面表示の一例を示す図である。 画像データ再生装置１の画面表示の一例を示す図である。 画像データ再生装置１の画面表示の一例を示す図である。 画像データ再生装置１の画面表示の一例を示す図である。 本発明の実施形態に係る画像データ再生装置１と、視点情報生成装置１００とが一体化された画像処理システムの構成を示すブロック図である。

以下に添付図面を参照して、本発明に係る画像データ再生装置の好適な実施形態を詳細に説明する。以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。

以下で述べる画像とは、静止画像と動画像の両方を示すものとし、この画像データを含んだものを、コンテンツデータとする。また、コンテンツデータは、音声データや、視点情報を含んでも構わない。視点情報については後述する。

＜１．本発明の実施形態に係る画像データ再生装置の構成の概略＞
図１は、本発明の実施形態に係る画像データ再生装置１の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る画像データ再生装置１の構成の概略を説明する。画像データ再生装置１は、分離部２と、視点画像生成部３と、視点情報解析部４と、視点決定部５と、個別視点情報生成部６とを具備している。

なお、画像データ再生装置１の具体的な例として、例えば、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなどに代表される光磁気ディスク、ＵＳＢメモリやＳＤ（登録商標）カードなどに代表される半導体メモリ等の電子媒体から、コンテンツデータを読み込み、再生する装置であってもよい。また、ＴＶ放送の放送波を受信するテレビ信号受信装置、インターネットや、その他の通信回線から配信されるコンテンツデータを受信する装置であってもよい。あるいは、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなどの外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）レシーバなどで構成しても構わない。すなわち、外部からコンテンツデータの入力を受け、入力されたコンテンツデータを再生するための装置であれば、どのような装置であっても構わない。

＜２．本発明の実施形態に係る画像データ再生装置の構成要素の詳細な説明＞
分離部２は、画像データ再生装置１に、外部からコンテンツデータの入力を受け付け、そのコンテンツデータから、アップ画面用データと、ゴール前画面用データと、スタジアム画面用データと、視点情報とを分離して出力するための装置である。

ここで、分離部２が受け付けるコンテンツデータについて図面を用いて詳細に説明する。図２は、コンテンツデータの構成の一例を示す図である。図２において、コンテンツデータは、例えば、アップ画面用データ、ゴール前画面用データ、スタジアム画面用データのうちの少なくとも１つ以上の画像データと、視点情報とを含んで構成されている。なお、アップ画面用データと、ゴール前画面用データと、スタジアム画面用データと、視点情報については後述する。分離部２は、入力されたコンテンツデータから、視点情報を視点情報解析部４に出力し、少なくとも１つ以上の画像データ（アップ画面用データ、ゴール前画面用データ、スタジアム画面用データ）を視点画像生成部３に出力する。

ここで、視点画像生成部３は、分離部２から出力された少なくとも１つ以上の画像データ（アップ画面用データ、ゴール前画面用データ、スタジアム画面用データ）のうちの、視点決定部５から出力された視点選択情報により指定された画像データを用いて、後述の視点画像を生成し、その視点画像を出力する。視点選択情報の詳細については後述するが、少なくとも１つ以上の画像データ（アップ画面用データ、ゴール前画面用データ、スタジアム画面用データ）のうち、どの画像データを用いて、どのような視点で画像を生成するかを指定する情報であり、ユーザにより外部から入力される。

ここで、画像データ再生装置１において、アップ画面用データを再生したときに表示される表示画面をアップ画面とし、また、ゴール前画面用データを再生したときに表示される表示画面をゴール前画面とし、さらに、スタジアム画面用データを再生したときに表示される表示画面をスタジアム画面とする。

次に、アップ画面について図面を用いて説明する。図３は、アップ画面の一例を示す図である。図３において、アップ画面８の一部分、例えばアップ画面８の右上に表示される表示エリア９には、現在の表示画面の名称を表す「アップ画面」が表示されている。このとき、アップ画面８の他の一部分、例えばアップ画面８の右下に表示される表示選択画面ダイアログ１０には、切り替え可能な表示画面の名称を表す「スタジアム画面」と「ゴール前画面」とが表示されており、ユーザが外部から切り替えの指示を入力することにより、スタジアム画面、またはゴール前画面に、表示を切り替えることができる。

ここで、アップ画面用データについて説明する。アップ画面用データは、例えば、カメラの画角内に存在する、被写体の３次元モデルとそのテクスチャを含んで構成されている。このときのアップ画面用データに含まれるテクスチャ付きの３次元モデルは、コンピュータグラフィック（以下、ＣＧと呼ぶ）で作成されたものであっても構わないし、複数のカメラを用いて、被写体を複数の方向から撮影した画像から、特徴点を算出し、特徴点マッチングを行ない、３次元モデルを生成し、生成した３次元モデルにテクスチャを張り付けるといった一般的な手法で生成されたものであっても構わない。

例えば、近年、被写体を複数の方向から撮影した画像を、クラウド上のサーバにアップロードし、テクスチャ付きの３次元モデルを生成・配信するサービスが始まっており、分離部２が取り扱うコンテンツデータを、そのような配信サービスで取り扱っているデータとしても構わないし、その他のフォーマットのデータであっても構わない。
なお、これらアップ画面用データのフォーマットについては、本発明とは直接関係がないため、その詳細な説明は省略する。

例えば、視点選択情報が、アップ画面データを用いた視点情報を示す場合、視点画像生成部３は、アップ画面用データを用いて、カメラの視点を指定し、レンダリングを行ない、アップ画面を生成する。

また、このときの３次元モデルは、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式などのデプスカメラで撮影した点群のデプスデータや、２枚の画像からステレオマッチングにより算出した視差マップ画像から、それぞれ、もしくはそれらを組み合わせることにより、生成しても構わない。

さらに、このアップ画面用データの別の構成例として、３次元モデルとテクスチャ以外の構成として、もっと簡易な構成であっても構わない。例えば、被写体を複数の方向から撮影した多視点画像を含んで構成されたものでも構わない。この場合のアップ画面は、カメラの視点を指定して、カメラの視点に最も近い視点の画像を、多視点画像から選択することにより、または、多視点画像から視点補間を行なって新たに生成することにより、生成する。

次に、スタジアム画面について図面を用いて説明する。図４は、スタジアム画面の一例を示す図である。図４において、スタジアム画面１１の一部分、例えばスタジアム画面１１の右上に表示される表示エリア９には、現在の表示画面の名称を表す「スタジアム画面」が表示されている。このとき、スタジアム画面１１の他の一部分、例えばスタジアム画面１１の右下に表示される表示選択画面ダイアログ１０には、切り替え可能な表示画面の名称を表す「アップ画面」と「ゴール前画面」とが表示されており、ユーザが外部から切り替えの指示を入力することにより、アップ画面、またはゴール前画面に、表示を切り替えることができる。

ここで、スタジアム画面用データについて説明する。スタジアム画面用データは、スタジアムを上から俯瞰したスタジアム俯瞰画像と、スタジアム上にいる各選手や、ボールの位置で構成されている。

例えば、視点選択情報が、スタジアム画面データを用いた視点情報を示す場合、視点画像生成部３は、スタジアム画面用データを用いて、スタジアム画面を生成する。このとき、スタジアム画面は、スタジアム俯瞰画像上に、スタジアム上にいる各選手の位置に選手名や、選手の写真を、ボールの位置にボールの画像を、それぞれ重畳することにより生成される。

また、スタジアム画面用データの別の構成例として、あらかじめ構築しておいた、スタジアムのテクスチャ付きの３次元モデルと、スタジアム上にいる各選手や、ボールの位置で構成しても構わない。さらに、これらに加え、同じくあらかじめ構築しておいた、スタジアム上にいる各選手、または、ボールのテクスチャ付きの３次元モデル、もしくはその両方を追加して、構成しても構わない。このとき、各選手の３次元モデルは、板状のモデルに選手の画像を張り付けた簡単なものでも構わない。

この場合においても、視点画像生成部３は、上記で説明したスタジアム画面用データを用いて、カメラの視点を指定して、レンダリングを行なうことにより、スタジアム画面を生成する。

次に、ゴール前画面について図面を用いて説明する。図５は、ゴール前画面の一例を示す図である。図５において、ゴール前画面１２の一部分、例えばゴール前画面１２の右上に表示される表示エリア９には、現在の表示画面の名称を表す「ゴール前画面」が表示されている。このとき、ゴール前画面１２の他の一部分、例えばゴール前画面１２の右下に表示される表示選択画面ダイアログ１０には、切り替え可能な表示画面の名称を表す「スタジアム画面」と「アップ画面」とが表示されており、ユーザが外部から切り替えの指示を入力することにより、スタジアム画面、またはアップ画面に、表示を切り替えることができる。

ここで、ゴール前画面用データについて説明する。ゴール前画面用データは、ゴール付近で撮影された複数の撮影画像を結合して生成されたパノラマ画像である。なお、このときのパノラマ画像の生成については、複数の撮影画像の特徴点を抽出する等により、画像のサイズや位置合わせなどを行ない、生成するといった、汎用の手法で構わず、本発明とは直接関係がないため、その詳細な説明は省略する。

例えば、視点選択情報が、ゴール前画面データを用いた視点情報を示す場合、視点画像生成部３は、ゴール前画面用データを用いて、ゴール前画面を生成する。このときのゴール前画面は、指定されたカメラの視点に合わせ、ゴール前画面用データの一部を切り出したり、全体が映るように縮小したりすることにより、生成される。

なお、各画面の生成の際に述べたカメラの視点は、視点選択情報の示す視点である。このときの視点選択情報に含まれる視点は、画像データ再生装置１であらかじめ決められた視点でもよいし、ユーザが外部から別途入力した視点や、コンテンツデータ内の視点情報で指定された視点を用いても構わない。

このとき、各画面を切り替えても、視点選択情報の示す視点は同じであるため、視点画像を作り出す素材は異なるが、同じ視点からの画像が表示される。ここで、切り替え時刻の後の特定の期間の間に表示する画像として、切り替え時刻を起点に、フェードアウトさせた切り替え前の画像と、フェードインさせた切り替え後の画像とを、オーバーラップ表示させて、作成した画像を表示しても構わない。このようにすることにより、画面の切り替え時の違和感を減らすことができる。

ここで、視点情報とは、各画面の生成の際に必要となる視点を示す情報であり、以下に図面を用いて詳細に説明する。図６は視点情報の一例を示す図である。図６に示すように、視点情報は、少なくともｎ個以上（ｎは１以上の整数）の個別視点情報を含んで構成される。

ここで、個別視点情報とは、コンテンツデータ内の指定時刻における１つの視点を示す情報であり、時刻情報、画面情報、カメラ情報、属性情報を、それぞれ含んで構成される。

ここで、時刻情報は、コンテンツデータ再生時に、指定した時刻に、個別視点情報に含まれる視点で表示することを指定する情報である。

ここで、画面情報は、コンテンツデータに含まれる少なくとも１つ以上の画像データ（アップ画面用データ、スタジアム画面用データ、ゴール前画面用データ）のうち、画面表示するために指定された画像データを示す情報である。

ここで、カメラ情報は、各画面の生成の際に述べたカメラの視点位置を示す情報であり、例えば、カメラの注視点の位置を示す注視点位置情報と、カメラのある位置を示すカメラ位置情報、カメラの上方向の向きを示すカメラ上方向情報から構成されており、その詳細は後述する。

ここで、属性情報は、個別視点情報の属性に関する情報を示し、その詳細は後述する。

次に、カメラ情報について、図面を用いて詳細に説明する。

図７は、カメラ位置を表すための世界座標の一例を示す。例えば、スタジアム１３の中央の点１４を原点とし、世界座標のＸ、Ｙ、Ｚ軸を、それぞれ図７に示すように設定する。また、カメラ情報を構成する、注視点位置情報、カメラ位置情報、カメラ上方向情報は、一般的なＣＧにおいて取り扱われるカメラ情報と同じものであり、注視点位置情報は、カメラの注視点の位置の情報を、カメラ位置情報はカメラの位置の情報を、カメラ上方向情報は、カメラの上方向を示す単位ベクトルであり、視線方向と直交する平面において、カメラがどれだけ回転しているかを示す。カメラ上方向情報は、通常、（０，１，０）というベクトルの値がよく使われるが、カメラの縦撮り等、回転させて使う場合、設定したいカメラの回転角に合わせ、その値を変えて使用する。

図８は、個別視点情報Ｉ１の一例を示す図である。図８の個別視点情報Ｉ１において、例えば、時刻情報には、コンテンツデータの先頭から３０秒後の再生時刻を示す値「００：００：３０：００」が設定され、画面情報にはアップ画面を示す情報が設定されている。また、個別視点情報Ｉ１のカメラ情報において、例えば、注視点位置情報には座標を示す値（０，１，０）が設定され、カメラ位置情報には座標を示す値（−５，１，１０）が設定され、カメラ上方向情報には座標を示す値（０，１，０）が設定されている。また、個別視点情報Ｉ１の属性情報において、例えば、視点種別情報がデフォルトであることを示す情報が設定されている。なお、カメラ情報の座標の単位はメートルとする。

ここで、カメラ情報について図面を用いて説明する。図９は、個別視点情報Ｉ１が示すカメラ位置を説明するための図である。図９において、スタジアム１５は世界座標系のＸＺ平面状に位置しており、点１６は、カメラ１７の注視点であり、スタジアム１５の中心位置を示している。また、点１８は、カメラ１７のカメラ位置を示している。また、カメラ１７の注視点と、カメラ位置を示すＹ座標は、スタジアムからの高さを示しており、図８の例では、それぞれ地面から１ｍの高さにあることを示している。

次に属性情報について図面を用いて説明する。図１０は、個別視点情報Ｉ１の属性情報の一例を示す図である。属性情報は、個別視点情報の属性に関する情報を示し、視点種別情報と、ユーザ属性情報とを含んで構成される。

まず、視点種別情報について説明する。視点種別情報は、その個別視点情報の示す視点が、デフォルトの視点なのか、ユーザがカスタムで作成した視点なのか、複数のユーザが選択した視点なのかを示す情報であり、値により表される。視点種別情報の値が「デフォルト」を示す値である場合、個別視点情報の示す視点は、デフォルトで使用されることを示し、視点種別情報の値が「カスタム」を示す値である場合、個別視点情報の示す視点は、ユーザが任意に指定した視点であることを示し、視点種別情報の値が「グループ」を示す値である場合、個別視点情報の示す視点は、複数のユーザから構成されたグループで選択された視点であることを示す。

また、視点種別情報の別の例として、「強制固定視点」を示す値を設定し、その視点以外の視点に切り替えられないようにしても構わない。このようにすることにより、視点の切り替えの制御を送信側で行なうことができ、例えば、緊急放送など、ユーザに正しい情報を緊急に伝えたい場合は、有効である。

また、視点種別情報の別の例として、「お勧め視点」を示す値を設定し、受信側で、例えば、視点種別情報が、「お勧め視点」を示す値である場合、お勧め視点で表示するというような設定をしていると、お勧め視点で表示することができ、視点を選択するのが面倒な場合や、他の人のお勧めの視点を視聴したい場合に便利である。

次に、ユーザ属性情報について説明する。ユーザ属性情報は、個別視点情報を入力した際のユーザの属性に関する情報であり、例えば、そのユーザのユーザ名や、性別、年齢、お気に入りのチーム名や選手名、また、そのユーザが、一般の人であるのか、もしくは、現在見ている映像の解説者等のエキスパートであるのかを示すエキスパート情報を含んで構成してもよい。

例えば、図１０に示すユーザ属性情報は、ユーザ名が「Ａ」、性別が「女性」、年齢が「２０歳」、お気に入りチーム名が「赤チーム」、お気に入りの選手名が「Ｂ」、エキスパート情報は「一般」を示す情報となる。

なお、ユーザ属性情報は、あらかじめ画像データ再生装置１にユーザが入力している情報であっても構わないし、その場で入力しても構わない。また、ユーザ属性情報には、ユーザが任意のキーワードを入力して生成したキーワード情報を含んでも構わない。

ここで、視点情報解析部４は、分離部２から出力された視点情報に対して、どのような個別視点情報が含まれるかを解析し、ユーザにより指定されない場合に指定される１つの個別視点情報を示す解析結果と、視点情報に含まれる個別視点情報とを視点決定部５に出力する。

視点決定部５は、視点情報解析部４から出力された個別視点情報のうちの、視点情報解析部４から出力された解析結果に基づく１つの個別視点情報、または、ユーザにより任意に指定された１つの個別視点情報を選択する。視点決定部５は、選択された個別視点情報を視点選択情報として生成し、視点画像生成部３と個別視点情報生成部６とに出力する。具体的には、視点選択情報は、選択された個別視点情報に含まれる画面情報とカメラ情報により構成される。

個別視点情報生成部６は、入力された視点選択情報に対してユーザ属性情報を追加した新たな個別視点情報を生成し、ユーザ属性付加個別視点情報として出力する。このときのユーザ属性情報は、現在、視点画像生成部３で生成された視点画像の視点選択情報を生成したユーザの属性情報となる。

なお、画像データ再生装置１の出力に、例えば表示装置７（図１参照）を設置して、ユーザは、視点画像生成部３で生成された視点画像を視聴することができる。

＜３．本発明の実施形態に係る画像データ再生装置１の動作＞
次に、本発明の実施形態に係る画像データ再生装置１の動作について説明する。

＜３−１．全体動作＞
図１１は、画像データ再生装置１の動作を示すフローチャートである。

ステップＳ１において、画像データ再生装置１の分離部２に、コンテンツデータが入力される。分離部２は、入力されたコンテンツデータから、少なくとも１つ以上の画像データ（アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ）を分離し、視点画像生成部３に出力する。これと同時に、分離部２は、入力されたコンテンツデータから、視点情報を分離し、視点情報解析部４に出力する。次に、画像データ再生装置１の動作はステップＳ２に移行する。

ステップＳ２において、視点情報解析部４は、分離部２から出力された視点情報を解析し、その視点情報に含まれる、少なくとも１つ以上の個別視点情報を抽出し、視点種別情報がデフォルトである個別視点情報を示す解析結果と、視点情報に含まれる個別視点情報とを視点決定部５に出力する。次に、画像データ再生装置１の動作はステップＳ３に移行する。

ステップＳ３において、視点決定部５は、視点情報解析部４から出力された個別視点情報の中から、視点情報解析部４から出力された解析結果に基づく１つの個別視点情報を選択する。この場合、視点決定部５は、視点情報解析部４から出力された個別視点情報の中から、視点種別情報がデフォルトである個別視点情報を選択する。視点決定部５は、選択された個別視点情報を視点選択情報として生成し、視点画像生成部３に出力する。次に、画像データ再生装置１の動作はステップＳ４に移行する。

ステップＳ４において、視点画像生成部３は、分離部２から出力された少なくとも１つ以上の画像データ（アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ）と、視点決定部５から出力された視点選択情報とを入力し、少なくとも１つ以上の画像データ（アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ）のうちの、視点選択情報により指定された１つの画像データを用いて、そのときの視点選択情報の示す視点の画像を視点画像として生成し、出力する。次に、画像データ再生装置１の動作は判定ステップＳ５に移行する。

なお、ユーザは、画像データ再生装置１の出力に表示装置７を接続することにより、このとき生成された視点画像を視聴することができる。

判定ステップＳ５において、視点決定部５は、少なくとも１つ以上の画像データ（アップ画面用データ、ゴール前用画面データ、スタジアム画面用データ）のうち、いずれか１つの画像データを選択し、選択した画像データを用いて作成した画面を表示することを示す表示指定情報を、ユーザが入力したか否かを判定する。ここで、ユーザが、表示指定情報を入力した場合は、画像データ再生装置１の動作はステップＳ６に移行し、そうでない場合、画像データ再生装置１の動作は判定ステップＳ７に移行する。

ステップＳ６において、視点決定部５は、表示指定情報の示すデータの種類に合わせ、視点選択情報の画面情報を修正し、修正された視点選択情報を出力して、画像データ再生装置１の動作は判定ステップＳ７に移行する。

判定ステップＳ７において、視点決定部５は、現在の視点を任意に変更するためのカスタム視点を、ユーザが入力したか否かを判定する。ここで、ユーザが、カスタム視点を入力した場合は、画像データ再生装置１の動作はステップＳ８に移行し、そうでない場合、画像データ再生装置１の動作はステップＳ９に移行する。

ステップＳ８において、視点決定部５は、ユーザが入力したカスタム視点の情報（後述のユーザ注視点情報、ユーザカメラ位置情報、ユーザカメラ上方向情報）に合わせ、視点選択情報に含まれるカメラ情報を修正し、修正された視点選択情報を個別視点情報生成部６に出力する。次に、画像データ再生装置１の動作はステップＳ９に移行する。なお、ユーザ注視点情報と、ユーザカメラ位置情報と、ユーザカメラ上方向情報については後述する。

ステップＳ９において、個別視点情報生成部６に視点選択情報が入力され、個別視点情報生成部６は、入力された視点選択情報に対して、現在の時刻情報と、視点を入力したユーザ属性情報とを追加することにより、新たに個別視点情報Ｉ２を生成し、ユーザ属性付加個別視点情報として出力する。次に、画像データ再生装置１の動作は判定ステップＳ１０に移行する。個別視点情報Ｉ２については、後述する。

このとき、個別視点情報生成部６から出力されたユーザ属性付加個別視点情報は、画像データ再生装置１内に含まれる図示しない記憶装置に、蓄積、記憶しても構わないし、インターネット等の通信網を介して、ユーザ属性付加個別視点情報を集計するクラウド上のサーバである視点情報生成装置に送信しても構わない。視点情報生成装置は、各ユーザから送信、蓄積されたユーザ属性付加個別視点情報のデータベースを構築して、集計されたユーザ属性付加個別視点情報に対して分析を行ない、各種統計をとった後、特定のグループ単位で生成したユーザ属性付加個別視点情報を生成する装置であり、視点情報生成装置は、新たに生成したユーザ属性付加個別視点情報を、コンテンツデータ内の視点情報に新たに追加して送信する。視点情報生成装置については後述する。

このようにして、ユーザは、コンテンツデータが、複数の個別視点情報を持つ場合、ユーザは、どの個別視点情報による視点で表示を行なうかを選択することができる。

また、ユーザ属性付加個別視点情報を、クラウドサーバに集約し、統計を取って生成した個別視点情報を、新たな個別視点情報として、リアルタイムで追加することができる。

判定ステップＳ１０において、画像データ再生装置１の分離部２は、入力されたコンテンツデータの最終フレームを再生したか否かを判定する。ここで、最終フレームを再生した場合は、画像データ再生装置１の動作は終了し、そうでない場合、画像データ再生装置１の動作はステップＳ４に移行する。

＜３−２．判定ステップＳ７の処理＞
次に、判定ステップＳ７について詳細に説明する。

図１２は、判定ステップＳ７において、視点決定部５の動作を示すフローチャートである。

判定ステップＳ１１において、視点決定部５は、ユーザがカスタム視点の入力を開始したか否かを判定する。ここで、ユーザが、カスタム視点を入力した場合は、視点決定部５の動作は、判定ステップＳ１２に移行し、そうでない場合、視点決定部５の動作はステップＳ８に移行する。

判定ステップＳ１２において、視点決定部５は、ユーザが注視点を選択したか否かを判定する。ここで、注視点を選択した場合は、視点決定部５の動作は、ステップＳ１３に移行し、そうでない場合、視点決定部５の動作はステップＳ１４に移行する。

ステップＳ１３において、視点決定部５は、ユーザは注視点を入力し、視点決定部５の動作はステップＳ１５に移行する。

ここで、ユーザが注視点を入力する際の方法について説明する。注視点とは、視点を切り替える際の中心となる点である。例えば、ユーザが視点を回転させたい場合、注視点を中心に、視点を回転させる。図１３は、アップ画面において、ユーザが任意の注視点を入力する際の様子を説明する図である。

ここで、説明の簡略化のため、例えば、スマートフォンやタブレットのようなタッチパネル機能を持つ表示機器に画像が表示されている場合について説明する。

またここで、カメラの初期位置は、図９のカメラ１７と同じ位置とする。図１３において、ユーザは、アップ画面１９内のボール２０を、指先２１でタッチして、注視点としたい場所を画面上で選択する。ここで、世界座標における、画面上の選択された位置にある被写体であるボール２０の位置が、ユーザ注視点情報として生成される。ユーザ注視点情報は、ユーザによりカスタマイズ化された注視点位置情報であり、視点選択情報内のカメラ情報における注視点位置情報を修正する際に用いられる。

なお、このとき、選択された注視点が、ユーザに目で見て分かるように、注視点の周りの領域を点線２２のように囲って表示しても構わない。このようにして、ユーザは注視点を選択する。

ステップＳ１５において、視点決定部５は、ユーザは回転角を入力し、視点決定部５の動作は判定ステップＳ１６に移行する。

ここで、ユーザが回転角を入力する際の方法について説明する。

下記の説明では、簡略化のため、回転方向を水平方向のみとした場合について説明する。回転角とは、ユーザが注視点を中心にして、注視点からカメラまでの距離を変えずに、カメラの位置を回転させる場合の回転の角度であり、視点を回転させる場合は、注視点を中心に視点を回転させる。図１４は、アップ画面において、ユーザが任意のカメラ位置を入力する際の様子を説明する図である。図１４において、ユーザは、指先２１で、アップ画面１９上の点２３にタッチして、点２４の位置まで、水平に、左から右に動かすよう、画面をフリックする。このときのフリックの量にあわせて、回転角を生成設定し、ボール２０を注視点として、設定した回転角で回転させた場合の画面を表示する。

画面上を、水平に、左から右にフリックした場合は、真上から見て、カメラは反時計回りに回転させ、画面上を、右から左にフリックした場合は、真上から見て、カメラは時計回りに回転させる（これをインターフェース１とする）。このとき、画面上を、左から右にフリックした場合は、真上から見て、カメラは時計回りに回転し、画面上を、右から左にフリックした場合は、真上から見て、カメラは反時計回りに回転させても構わない（これをインターフェース２とする）。インターフェース１と、インターフェース２は、インターフェースの設計の違いであり、フリックの向きに合わせて、カメラを動かしたかのようにユーザに見せたい場合はインターフェース１を、オブジェクト全体を動かしたかのようにユーザに見せたい場合はインターフェース２を選択すればよく、それらをユーザの好みに合わせ、切り替えられるようにしても構わない。

図１５は、このとき入力されたユーザ注視点情報と、ユーザカメラ位置情報に基づいて変更されたカメラ位置を説明するための図である。図１５のスタジアム画面２５において、カメラ２６を初期位置にあるカメラとした場合、カメラ２７は、このとき入力されたユーザ注視点情報と、ユーザカメラ位置情報に基づいて変更されたカメラ位置、つまり、ボール２０を中心として、反時計回りに回転した位置となる。

このときの回転角から、世界座標におけるカメラ位置を算出し、ユーザカメラ位置情報として生成する。ユーザカメラ位置情報は、ユーザによりカスタマイズ化されたカメラ位置情報であり、視点選択情報内のカメラ情報におけるカメラ位置情報を修正する際に用いられる。

なお、もし回転方向を垂直方向に拡張したい場合は、上記で説明した水平方向の回転の方法を、垂直方向に置き換えて使用すればよい。またこのとき、水平方向の回転と、垂直方向の回転とが同時に行なわれる場合では、入力が複雑になるとユーザが感じることが考えられるため、水平方向と、垂直方向の回転角の入力を、別々に行なうようにしても構わない。

また、上記では、注視点からカメラまでの距離を変えずに、カメラの位置を回転させる場合について説明したが、注視点からカメラまでの距離は、別途入力により、変更しても構わない。

ステップＳ１４において、視点決定部５は、カメラ位置を入力し、視点決定部５の動作は判定ステップＳ１６に移行する。このとき、注視点の指定がないため、カメラの向きを変えずに、単純に、入力されたカメラ位置にカメラが移動した際の視点となる。

なお、このとき、ユーザ注視点情報と、ユーザカメラ位置情報が算出される。これらの値は、変更前の値に対して、単純に、ユーザが入力した上下左右方向の平行移動量を足し合わせることにより生成する。

判定ステップＳ１６において、視点決定部５は、ユーザがカメラの上方向の入力を開始したか否かを判定する。ここで、ユーザが、カメラの上方向を入力した場合は、視点決定部５の動作は、ステップＳ１７に移行し、そうでない場合、視点決定部５の動作はステップＳ８に移行する。

ステップＳ１７において、ユーザは、カメラの上方向を入力し、視点決定部５の動作はステップＳ８に移行する。このとき、ユーザは、カメラの上方向を指定する情報を、数値で直接入力してもよいし、もしくは、カメラの上方向を画面上に示し、傾けたい向きとなるように、画面をフリックして、カメラの上方向の向きを変え、そのときのカメラの上方向情報を、ユーザカメラ上方向情報として生成する。

上記で説明したようにして、視点選択情報に対し、ユーザがカスタマイズ入力を行ない、生成したユーザ注視点情報と、ユーザカメラ位置情報と、ユーザカメラ上方向情報とを、それぞれ、新たな注視点情報と、カメラ位置情報と、カメラ上方向情報とし、視点選択情報を修正する（ステップＳ８）。

以下に、上述のユーザ属性付加個別視点情報として、個別視点情報Ｉ２について説明する。図１６は、個別視点情報Ｉ２の一例を示す図である。ここで、個別視点情報Ｉ２は、個別視点情報Ｉ１に対し、図１５で示したカメラ位置となるよう、ユーザが入力した場合に生成された個別視点情報である。

このとき、注視点の位置や、カメラの上方向は変えていないため、個別視点情報Ｉ２において、個別視点情報Ｉ１から変更された情報は、時刻情報と、カメラ位置情報と、視点種別情報となる。ここで、時刻情報は現在の入力時刻に、カメラ位置情報は（５，１，１０）という値に、視点種別情報はカスタムという値に、それぞれ変更されている。

またこのときの個別視点情報Ｉ２の属性情報には、個別視点情報Ｉ２を入力したユーザの属性情報であるユーザ属性情報を含んで構成されている。図１７に、個別視点情報Ｉ２の属性情報の一例について示す。

例えば、図１７に示すユーザ属性情報は、ユーザ名が「Ｃ」、性別が「男性」、年齢が「４０歳」、お気に入りチーム名が「白チーム」、お気に入りの選手名が「Ｄ」、エキスパート情報は「解説者」を示す情報となる。

また、上記で説明した、ユーザ注視点位置情報と、ユーザカメラ位置情報と、ユーザカメラ上方向情報の入力は、スタジアム画面で入力しても構わない。

図１８は、スタジアム画面における、ユーザ注視点情報を入力する際の様子を説明した図である。例えば、図１８のスタジアム画面２８において、ユーザは、指先２９で、ボール３０の位置をタッチし、タッチしたボール３０のある位置をユーザ注視点情報として入力する。

図１９は、スタジアム画面における、ユーザカメラ位置情報を入力する際の様子を説明した図である。図１９のスタジアム画面２８において、ユーザは、指先２９で、点３１の位置をタッチし、その位置をユーザ注視点情報として入力する。

図２０は、スタジアム画面上における、ユーザ注視点情報とユーザカメラ位置情報に基づいた、カメラ位置を説明するための図である。図２０のスタジアム画面２８において、ボール３０のある位置が注視点として、点３１の位置にカメラ３２が配置される。この時のカメラの視点による画像を、子画面３３に表示しても構わない。ユーザは、子画面３３を通じて、カメラ位置を調整することができる。

また、注視点の指定がない場合について説明する。

図２１は、スタジアム画面における、注視点の指定がない場合における、ユーザ注視点情報と、ユーザカメラ位置情報を入力する際の様子を説明した図である。図２１のスタジアム画面２８において、ユーザは、例えば指先のタッチ入力等により、初期位置にあるカメラ３４を、移動後の位置にあるカメラ３５に移動するよう指示する。

このとき、注視点の入力がないため、カメラの向きは変わらず、入力された位置に合わせ、スタジアム上での位置が変化する。

またここで、スタジアム画面自体を回転させても構わない。こうすることにより、カメラの高さを変えたい場合等、別の角度から被写体とカメラの位置を確認しながら、カメラ位置を調整することができる。

以上のようにして、本発明の画像データ再生装置１によれば、少なくとも１つ以上の個別視点情報から構成される視点情報を含むコンテンツデータから、個別視点情報を解析することにより、個別視点情報を用いた視点で画像を表示することができる。

また、コンテンツデータに対して、ユーザは、どの個別視点情報による視点で表示を行なうかを選択することができる。そのため、ユーザは、自由視点画像で個別に選択した視点を他のユーザと共有化ができ、場の共有を感じることができる。

また、ユーザは、カスタマイズ化した視点の表示を行なうことができ、カスタマイズした視点は、個別視点情報として、ユーザ属性情報とともに、保存することができる。

また、その視点が、例えば、デフォルトで表示する視点であることを示す値や、個人がカスタマイズ化された視点であることを示す値や、グループでカスタマイズ化された視点であることを示す値や、特定の視点を強制表示することを示す値や、お勧めの視点であることを示す値等、どのような意図でもって生成された視点であるかを説明する情報として、送信側で視点種別情報を生成することにより、受信側の視点表示を制御することができる。

また、本発明は、上記で説明した、例えばテレビや、デジタルビデオレコーダーのような画像データ再生装置だけでなく、デジタルカメラ、デジタルムービー、携帯型ムービープレイヤー、携帯電話、カーナビゲーションシステム、携帯型ＤＶＤプレイヤー、ＰＣ等、画像データを扱う装置に広く適用可能である。また、これらの装置は、装置自体が画像表示部を備えず、外部の画像表示装置を用いる、画像データ再生装置であっても構わない。

また、画像データ処理装置と外部の画像表示装置を含む、画像データ表示システムであってもよい。また、本発明は、画像データ表示方法や画像データ処理方法にも適用可能である。

＜４．本発明の実施形態に係る視点情報生成装置の構成の概略＞
続いて、本発明の実施形態に係る視点情報生成装置１００について、図面を用いて詳細に説明する。

図２２は、本発明の実施形態に係る視点情報生成装置１００の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る視点情報生成装置１００の構成の概略を説明する。

視点情報生成装置１００は、個別視点情報入力部１０１と、個別視点情報記憶部１０２と、統計視点情報生成部１０３と、コンテンツ抽出部１０４と、多重化部１０５とを具備している。視点情報生成装置１００の具体的な例として、クラウド上のサーバ等が挙げられる。

個別視点情報入力部１０１は、外部からのユーザ属性付加個別視点情報（画像データ再生装置１から出力されたユーザ属性付加個別視点情報）を受け付け、個別視点情報記憶部１０２に出力するための装置である。

個別視点情報記憶部１０２は、個別視点情報入力部１０１からのユーザ属性付加個別視点情報を蓄積するための装置である。ここで、個別視点情報記憶部１０２は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを示す。さらに個別視点情報記憶部１０２は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

統計視点情報生成部１０３は、個別視点情報記憶部１０２に蓄積された複数のユーザ属性付加個別視点情報を分析し、複数のユーザ属性付加個別視点情報の中から、第１の所定の条件（特定の時刻ごとや、特定のカテゴリーごと）に合致する少なくとも１つ以上のユーザ属性付加個別視点情報を抽出し、特定のグループ単位で構成したグループ単位個別視点情報として生成する。また、統計視点情報生成部１０３は、グループ単位個別視点情報に対して、所定の範囲に含まれる視点毎に集計をとることにより、グループ単位個別視点情報を複数の分類個別視点情報に分類し、複数の分類個別視点情報の中から、第２の所定の条件に合致する分類個別視点情報を含む１つの視点情報を統計視点情報として生成し、多重化部１０５に出力する。統計視点情報生成部１０３の詳細な動作については後述する。

コンテンツ抽出部１０４は、視点情報生成装置１００に入力される個別視点情報の対象となるコンテンツデータを受け付け、そのコンテンツデータに視点情報が含まれる場合は、そのコンテンツデータから、視点情報以外の情報を抽出して、視点情報除外コンテンツデータとして多重化部１０５に出力する装置である。

多重化部１０５は、統計視点情報生成部１０３から出力された統計視点情報と、コンテンツ抽出部１０４から出力された視点情報除外コンテンツデータを多重化し、統計視点情報を含んだコンテンツデータを生成し、出力するための装置である。

＜５．本発明の実施形態に係る視点情報生成装置の構成の概略＞
次に、本発明の実施形態に係る視点情報生成装置１００の動作について説明する。図２３は、視点情報生成装置１００の動作を示すフローチャートである。

判定ステップＳ１００において、個別視点情報入力部１０１は、ユーザ属性付加個別視点情報の入力があるか否かを判定する。ここで、外部からユーザ属性付加個別視点情報の入力があった場合は、視点情報生成装置１００の動作はステップＳ１０１に移行し、そうでない場合、視点情報生成装置１００の動作は判定ステップＳ１０４に移行する。

ステップＳ１０１において、個別視点情報入力部１０１は、入力されたユーザ属性付加個別視点情報を、個別視点情報記憶部１０２に出力し、個別視点情報記憶部１０２は、入力されたユーザ属性付加個別視点情報を用いて、データベースを更新する。次に、視点情報生成装置１００の動作はステップＳ１０２に移行する。

ステップＳ１０２において、統計視点情報生成部１０３は、個別視点情報記憶部１０２から、複数のユーザ属性付加個別視点情報を読み取り、所定の条件に基づいて分類を行なった後、各視点の視聴者数について統計をとり、その結果に基づいて、新たに個別視点情報として、上述のグループ単位個別視点情報を経由して、上述の分類個別視点情報を生成する。このとき、複数の分類条件を用いて、複数の分類個別視点情報を生成しても構わない。ここで求めた分類個別視点情報を含む１つの視点情報を統計視点情報として、多重化部１０５に出力する。次に、視点情報生成装置１００の動作はステップＳ１０３に移行する。

ここで、統計視点情報生成部１０３が生成する統計視点情報は、特定の抽出条件（第１の所定の条件）に基づいて抽出を行なった後、各視点の視聴者数の統計に基づいて生成される。このときの抽出条件と、その条件のもとで、新たに生成される個別視点情報について、以下で説明する。

例えば、抽出条件は、現在、再生しているコンテンツの再生時刻、もしくは、その再生時刻の前後所定の時間内の時刻におけるユーザ属性付加個別視点情報に含まれるカメラ情報であるものとする。このとき、統計視点情報生成部１０３は、個別視点情報記憶部１０２から読み出した複数のユーザ属性付加個別視点情報の中から、この抽出条件にあうカメラ情報を含むユーザ属性付加個別視点情報を抽出し、特定のグループ単位で構成したグループ単位個別視点情報として生成する。また、統計視点情報生成部１０３は、グループ単位個別視点情報の中から、もっとも数の多いカメラ情報を含むユーザ属性付加個別視点情報を分類個別視点情報として選択し、その分類個別視点情報を含む新たな視点情報を統計視点情報として生成する。なお、以下の説明における抽出条件には、基本的に、この時刻に関する抽出条件が含まれるものとする。

また、このときの集計対象のカメラ情報を、その値が完全に一致するものだけではなく、第２の所定の条件として、ある程度の範囲（所定の範囲）内に納まるものとしても構わない。この場合、統計視点情報生成部１０３は、グループ単位個別視点情報に対して、ある程度似ている視点を集計することにより、グループ単位個別視点情報を複数の分類個別視点情報に分類し、複数の分類個別視点情報の中から、それらの値の平均値、もしくは中央値、最頻値のうちのいずれかに合致するカメラ情報を含む分類個別視点情報を選択して、その分類個別視点情報を含む新たな視点情報を統計視点情報として生成する。ユーザが自由に視点を指定する場合、その際に生成されるカメラ情報は完全に一致せず、僅かに値が異なっている可能性が高いため、このように類似した視点位置のカメラ情報を、同じ集計対象とすると、より精度の高い結果が得られる可能性が高くなる。

以下に、その方法について説明する。

図２４は、スタジアム上のカメラの注視点の位置を説明する図である。図２４において、例えば、スタジアム１０６を、競技場のフィールド外とフィールド内を別のエリアに分け、さらにフィールド内を水平垂直均等の９つのエリアに分け、それぞれのエリアを注視点エリアｍ（ｍは１から１０までの整数）とする。例えば、カメラ１０７の注視点１０８は、注視点エリア５内の点となり、このカメラ１０７のカメラ情報は、注視点エリア５のカメラ情報として分類される。

ここで、各分類個別視点情報の注視点位置情報を参照して、各分類個別視点情報をエリア毎で分類し、エリア毎で、注視点位置情報とカメラ位置情報と、カメラ上方向情報のそれぞれにおいて、平均値、もしくは中央値、最頻値のうちのいずれかに合致するカメラ情報を含む分類個別視点情報を選択しても構わない。なお、ここでは、スタジアム上の注視点について着目して分類しているため、注視点位置情報のＸ座標とＺ座標のみに着目し、Ｙ座標では分類していないが、Ｙ座標を用いて３次元空間内で、さらに分類しても構わない。

また、上記では、フィールドを均等に９つのエリアに分類する場合について説明したが、いくつに分類しても構わないし、また、フィールド内の各エリアのサイズを均等に分けなくても構わず、例えば、ゴール前や、センターや、コーナー等において、それぞれ異なるサイズのエリアを設定しても構わない。

このように、ある程度の範囲内に含まれる注視点を用いて、カメラ情報を生成することにより、ユーザが自由に指定して生成した、僅かに異なる値を持つカメラ情報が対象であっても、より多くの視聴者の好みを反映したカメラ情報を取得することができる。

また、上記では、注視点位置情報がスタジアム上のどこに位置するかにより、カメラ情報を集計したが、これに加え、さらにカメラ位置情報毎に、集計しても構わない。

図２５は、スタジアム上におけるカメラの方向を説明する図である。図２５において、注視点エリア５にあるカメラ１０７の注視点位置情報が示す注視点１０８を中心とし、カメラ位置情報の示す座標にある点１０９を含む円を円１１０とし、円１１０内のどのエリアに、点１０９が存在するかによって、カメラ１０７の方向は判別できる。

ここで、例えば円１１０を、上下左右均等に４つのカメラ方向エリアに分け、エリア毎で、カメラ情報を集計しても構わない。ここで、点１０９は、カメラ方向エリア１内の点となり、このカメラ１０７のカメラ情報は、注視点エリア５内のカメラ方向エリア１のカメラ情報として集計される。
また、このときのカメラ方向エリアは４つ以外のエリアに分けてもよく、各エリアのサイズは均等でなくても構わないし、注視点エリア毎に、カメラ方向エリアの数やサイズが異なっていても構わない。

このようにして、注視点情報とカメラ位置情報の２つのパラメータでカメラ情報を分類することにより、より多くの視聴者の好みを、より精度を高く反映したカメラ情報を取得することができる。

図２６に、このときに選択される分類個別視点情報の一例を示す。統計視点情報生成部１０３が複数のユーザ属性付加個別視点情報に対してグループ単位個別視点情報を生成したときの個別視点情報については、個別視点情報Ｊ１と称する。図２６において、個別視点情報Ｊ１は、時刻情報が３０秒、画面情報がアップ画面となっており、また、カメラ情報は、注視点位置情報が（０，１，０）、カメラ位置情報が（４，１，−２）、カメラ上方向情報が（０，１，０）を示す値となっている。また、個別視点情報Ｊ１の属性情報については、視点種別情報がグループを示す値となっている。

ここで、個別視点情報Ｊ１のユーザ属性情報について説明する。個別視点情報Ｊ１に含まれるユーザ属性情報は、グループ名、視聴者数を含んで構成される。グループ名とは、個別視点情報のカメラ情報を用いた視点で視聴しているグループの特長を表す名前を示す。視聴者数とは、グループの構成人数であり、その視点で視聴している視聴者数を示す。

図２６に示す個別視点情報Ｊ１の例では、ユーザ属性情報の、グループ名が「全体視聴ランキング１位」、視聴者数が「３５０人」を示す値となり、この場合のユーザ属性情報は、個別視点情報Ｊ１が、全視聴者の中で最も人気のある視点であることを示し、その視点での視聴者数が３５０人であることを示す。

なお、このときの抽出条件は、前述した時刻に関する条件のみとなる。

また、個別視点情報Ｊ１のユーザ属性情報の別の構成例について説明する。図２７、図２８は、個別視点情報Ｊ１のユーザ属性情報の別の構成例を示す。

図２７において、ユーザ属性情報は、グループ名が「赤チーム応援Ｇｒ視聴ランキング１位」、視聴者数が「１５０人」を示す値となる。
この場合の個別視点情報Ｊ１は、データベース上の各ユーザ属性付加個別視点情報のユーザ属性情報を参照し、お気に入りチームとして、赤チームの情報が登録されているユーザ属性情報を持つカメラ情報を抽出するという抽出条件に基づき、形成された母集団から、同様にしてカメラ情報を生成する。この場合のユーザ属性情報は、個別視点情報Ｊ１が、赤チームをお気に入りとしている視聴者グループの中で最も人気のある視点であることを示し、その視点での視聴者数が１５０人であることを示す。

図２８において、ユーザ属性情報は、グループ名が「Ｂ選手ファンＧｒ視聴ランキング１位」、視聴者数が「１００人」を示す値となる。この場合の個別視点情報Ｊ１は、データベース上の各ユーザ属性付加個別視点情報のユーザ属性情報を参照し、お気に入り選手として、Ｂ選手の情報が登録されているユーザ属性情報を持つカメラ情報を抽出するという抽出条件に基づき、形成された母集団から、同様にしてカメラ情報を生成する。この場合のユーザ属性情報は、個別視点情報Ｊ１が、Ｂ選手をお気に入りとしている視聴者グループの中で最も人気のある視点であることを示し、その視点での視聴者数が１００人であることを示す。

なお、上記では、リアルタイム放送ではない場合について説明したが、スポーツ中継などのライブ放送の場合は、現在の時刻における最新の視点ランキングを表示しても構わない。

ステップＳ１０３において、コンテンツ抽出部１０４に、コンテンツデータが入力され、入力されたコンテンツデータから、視点情報を含まない部分を抽出し、多重化部１０５に出力し、多重化部１０５は、入力された視点情報と、視点情報を持たないコンテンツデータを多重化して、新たな視点情報を持つコンテンツデータを生成し、出力する。次に、視点情報生成装置１００の動作は判定ステップＳ１０４に移行する。

判定ステップＳ１０４において、視点情報生成装置１００のコンテンツ抽出部１０４は、入力されたコンテンツデータの最終フレームを再生したか否かを判定する。次に、最終フレームを再生した場合は、視点情報生成装置１００の動作は終了し、そうでない場合、視点情報生成装置１００の動作は、判定ステップＳ１００に移行する。

以上の説明により、本発明の視点情報生成装置１００によれば、入力された複数のユーザ属性付加個別視点情報から、時刻情報や、カメラ情報、属性情報の内容を参照し、特定の抽出条件にあったカメラ情報を抽出し、抽出した複数のカメラ情報に対して、類似した視点毎に集計を行ない、その結果から、最も視聴数の多いカメラ情報を算出することにより、全ユーザに対し、最もよく視聴されている視点の個別視点情報を生成することができる。

また、抽出条件を変えることにより、種々の抽出条件に応じた個別視点情報を生成することができる。例えば、特定のチームを応援しているユーザの中で最も人気のある視点や、特定の選手を応援しているユーザの中で最も人気のある視点等の個別視点情報を生成すること等が可能となる。

＜６．本発明の実施形態に係る画像データ再生装置の別の実施例＞
また、ここで、上記で述べた、新たに生成されたユーザ属性付加個別視点情報は、再度コンテンツデータ内に多重化されて配信され、画像データ再生装置１は、このコンテンツデータを受信し、再生する。このとき、コンテンツデータに含まれる複数の個別視点情報を、ユーザが選択して、表示を切り替えても構わず、以下に、そのときの画像データ再生装置の動作について、図面を用いて説明する。

図２９は、このときの画像データ再生装置１の動作を示すフローチャート図である。画像データ再生装置１は、図１１で説明したときと、ほぼ同じ動作であり、図２９において、ステップＳ４と判定ステップＳ５の間に、視点画像の選択、および表示の切り替えを行なうためのステップＳ２００が挿入される点が異なっているため、以下ではステップＳ２００の説明を行なうものとする。

図３０は、画像データ再生装置１が、視点画像の選択、および表示の切り替えを行なう際の動作について説明するフローチャート図である。

判定ステップＳ２０１において、視点決定部５は、コンテンツデータ内に、個別視点情報が複数存在するか否かを判定する。ここで、複数存在する場合は、画像データ再生装置１の動作はステップＳ２０２に移行し、そうでない場合、画像データ再生装置１の動作は判定ステップＳ５に移行する。

ステップＳ２０２において、視点決定部５は、コンテンツデータに含まれる複数の個別視点情報のユーザ属性情報を参照し、ユーザ属性情報に含まれるグループ名やユーザ名を用いて、各個別視点情報の視点に表示を切り替えるためのボタンを画面上に重畳表示した視点画像を生成するよう、視点画像生成部３に指示し、視点画像生成部３は、指示された内容に従って視点画像を生成し、出力する。次に、画像データ再生装置１の動作は判定ステップＳ２０３に移行する。

図３１は、このときの各個別視点情報の視点に表示を切り替える際の様子について説明する図である。図３１において、画面１１１には、デフォルトの視点画像が表示されており、視点選択ダイアログ１１２内に、例えば、４つの個別視点情報に切り替えるためのボタンが表示されている。

このとき、ボタン１１３は、図２６で説明した個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上に、個別視点情報のグループ名である「全体視聴ランキング１位」と、視聴者数である「３５０人」という数字をもとに、「３５０人視聴」というテキストが表示されている。

また、ボタン１１４は、図２７で説明したユーザ属性情報を持つ個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上に、個別視点情報のグループ名である「赤チーム応援Ｇｒ視聴ランキング１位」と、視聴者数である「１５０人」という数字をもとに、「１５０人視聴」というテキストが表示されている。

また、ボタン１１５は、図２８で説明したユーザ属性情報を持つ個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上に、個別視点情報のグループ名である「Ｂ選手ファンＧｒ視聴ランキング１位」と、視聴者数である「１００人」という数字をもとに、「１００人視聴」というテキストが表示されている。

また、ボタン１１６は、図１０で説明したユーザ属性情報を持つ個別視点情報の示す視点に切り替えるためのボタンであり、ボタン上には、個別視点情報のユーザ名である「Ａさん」という情報をもとに、「Ａさんの視点」というテキストが表示されている。

判定ステップＳ２０３において、視点決定部５は、ユーザが、視点を選択するためにボタンを押したか否かを判定する。ここで、ユーザが、ボタンを押した場合は、画像データ再生装置１の動作はステップＳ２０４に移行し、そうでない場合、画像データ再生装置１の動作は判定ステップＳ５に移行する。

ステップＳ２０４において、視点決定部５は、ユーザが選択した個別視点情報から、上記で説明した場合と同様にして、視点選択情報を生成し、視点画像生成部３に送信し、視点画像生成部３は、その情報に従って、視点画像を生成し、出力する。次に、画像データ再生装置１の動作は判定ステップＳ５に移行する。

以上のようにすることにより、本発明の実施形態に係る画像データ再生装置１は、入力されたコンテンツデータ内に、複数の個別視点情報がある場合、それぞれの視点情報を表示し、切り換えることにより、ユーザはより多彩な種類の視点から、映像を視聴することができる。また、同じチームや選手を応援しているグループの視点を選択することにより、他のユーザとの一体感や、場の共有感を感じることができる。

また、本発明の実施形態に係る画像データ再生装置１は、例えば自分の知人や、お気に入りの有名人など、特定ユーザの視点を視聴することにより、そのユーザとの一体感や、場の共有感を感じることができる。さらにまた、エキスパート情報が解説者となっている個別視点情報による視点を選択した場合、例えばゴールシーンなどにおいて、解説者の視点で視聴することにより、そのシーンの状況をより正確に把握することができる可能性がある。

上記では、アップ画面における、複数の個別視点情報の表示について説明したが、ゴール前画面や、スタジアム画面に切り替えても同様にして、視点選択ダイアログ１１２を表示しても構わない。

また、ここで、複数の個別視点情報に含まれる注視点位置情報とカメラ位置情報を用いて、スタジアム画面上に、各個別視点情報の示す視点の注視点とカメラの向きを示す指標画像を表示しても構わない。

図３２は、画像データ再生装置１が、各個別視点情報の示す視点の注視点と向きをスタジアム画面上に表示した際の例を示す図である。

図３２において、指標画像１１７は、全体における視聴ランキング１位の視点を示し、指標画像１１８は、赤チーム応援Ｇｒにおける視聴ランキング１位の視点を示し、指標画像１１９は、Ｂ選手ファンＧｒにおける視聴ランキング１位の視点を示し、指標画像１２０は、Ａさんの視点をそれぞれ示す。

このようにすることにより、各個別視点情報の示す視点が、スタジアム画面上で、どのカメラ位置からをどの位置を注視しているのかが、ユーザに明示できるため、ユーザは、視点を選択する際に、非常に分かりやすい。

また、アップ画面やゴール前画面を、子画面にして、スタジアム画面上に表示しても構わない。図３３は、アップ画面、およびゴール前画面を子画面にして、スタジアム画面上に表示した際の画面について説明する図である。

図３３において、斜め方向から見たスタジアム上に、アップ画面１２１と、ゴール前画面１２２をそれぞれ、各画面に対応する個別視点情報の注視点位置情報の示す位置に、板状のモデルを設置し、その板状のモデルの上に対応するアップ画面、およびゴール前画面の映像を張り付ける。このときの板状のモデルの向きは、各画面に対応する個別視点情報が示す視点の向きに垂直となるように設置する。ここで、この板状のモデルを逆方向から見た場合も、同じ映像を表示しても構わないし、映像の左右を反転させて表示しても構わない。

さらにまた、視点の切り替え時に、スタジアム画面を真上から見た画像を表示し、どの視点から、どの視点に遷移するかをユーザに示してから切り替えるようにしても構わない。

このようにすることにより、ユーザは混乱することなく、視点の切り替えができる。

また、画像データ再生装置１から、クラウド上にある視点情報生成装置１００に対して、インターネット回線を介して、コンテンツデータに含む個別視点情報をどのような抽出条件で生成するかを指示しても構わない。

このようにすることにより、ユーザは、自分の好みの個別視点情報をコンテンツデータに含ませることができる。例えば、自分の、現在見たい視点に合わせ、お気に入りのチームや、お気に入り選手の指定や、自分の知人、有名人などの特定のユーザ名の指定や、エキスパート情報が解説者である人の視点の抽出等が可能である。

さらにまた、スタジアム上を複数の注視点エリアに分割し、視点情報生成装置１００の個別視点情報記憶部１０２内にある複数のユーザ属性付加個別視点情報のうち、分割した各注視点エリアに位置する注視点位置情報を持つユーザ属性付加個別視点情報の数を、エリア別注視点情報として集計し、集計したエリア別注視点情報を、画像データ再生装置１に送信しても構わない。

図３４は、入力されたエリア別注視点情報に基づき、画像データ再生装置１が、注視点エリア毎に、何人の視聴者がいるかをスタジアム画面上に表示する際の様子について説明した図である。図３４において、注視点エリア１は４０人、注視点エリア２は３０人、注視点エリア３は１０人、注視点エリア４は２０人、注視点エリア５は３５０人、注視点エリア６は５人、注視点エリア７は３人、注視点エリア８は７０人、注視点エリア９は８人、注視点エリア１０は１のユーザがそれぞれ視聴している。

以上のようにすることにより、全視聴者が最も注視しているスタジアム上の位置を、ユーザは簡単に目に見える形で理解することができ、そのユーザが自分で視点を選択する際の参考にすることができる。

また、上記の各注視点エリアを、さらに複数のカメラ方向エリアに分割し、視点情報生成装置１００の個別視点情報記憶部１０２内にある複数のユーザ属性付加個別視点情報のうち、その注視点エリアに存在することを示す注視点位置情報を持つユーザ属性付加個別視点情報から、分割した各カメラ方向エリアに位置するカメラ位置情報を持つユーザ属性付加個別視点情報の数を、カメラ方向別視点情報として集計し、集計したカメラ方向別視点情報を、画像データ再生装置１に送信しても構わない。

図３５は、入力されたカメラ方向別視点情報に基づき、画像データ再生装置１が、カメラ方向エリア毎に、何人の視聴者がいるかをスタジアム画面上に表示する際の様子について説明した図である。図３５において、カメラ方向エリア１は５０人、カメラ方向エリア２は８０人、カメラ方向エリア３は２０人、カメラ方向エリア４は２００人のユーザがそれぞれ視聴している。

以上のようにすることにより、全視聴者が最も注視しているスタジアム上の位置、および、そのときのカメラの向きを、ユーザは簡単に目に見える形で理解することができ、そのユーザが自分で視点を選択する際の参考にすることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本発明では、ユーザが、画像データ再生装置１（画像データ再生方法）を利用して、画像データの再生と視点情報の入力を行ない、視点情報生成装置１００（視点情報生成方法）を利用して、画像データ再生装置１で入力された視点情報をインターネットなどの通信網を利用して集計し、集計した視点情報から、新たな視点情報を生成し、画像データ再生装置１に送信を行なっているが、これに限定されない。

本発明は、図３６に示されるように、画像データ再生装置１と、視点情報生成装置１００とが一体化されてもよい。すなわち、本発明に係る画像処理システム２００は、画像データ再生装置１と、視点情報生成装置１００とを具備している。

この場合、第１のユーザ、および第２のユーザは、画像処理システム２００を共有または個別に所有し、第１のユーザは、画像処理システム２００の画像データ再生装置１を利用して、画像データの再生を行ない、第２のユーザは、画像処理システム２００の視点情報生成装置１００を利用して、新たな視点情報を生成し、生成した視点情報に基づき、画像データの再生を行なっても構わない。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行なってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ 画像データ再生装置
２ 分離部
３ 視点画像生成部
４ 視点情報解析部
５ 視点決定部
６ 個別視点情報生成部
７ 表示装置
８ アップ画面
９ 表示エリア
１０ 表示選択画面ダイアログ
１１ スタジアム画面
１２ ゴール前画面
１３ スタジアム
１４ 点
１５ スタジアム
１６ 点
１７ カメラ
１８ 点
１９ アップ画面
２０ ボール
２１ 指先
２２ 点線
２３ 点
２４ 点
２５ スタジアム画面
２６ カメラ
２７ カメラ
２８ スタジアム画面
２９ 指先
３０ ボール
３１ 点
３２ カメラ
３３ 子画面
３４ カメラ
３５ カメラ
１００ 視点情報生成装置
１０１ 個別視点情報入力部
１０２ 個別視点情報記憶部
１０３ 統計視点情報生成部
１０４ コンテンツ抽出部
１０５ 多重化部
１０６ スタジアム
１０７ カメラ
１０８ 注視点
１０９ 点
１１０ 円
１１１ 画面
１１２ 視点選択ダイアログ
１１３、１１４、１１５、１１６ ボタン
１１７、１１８、１１９、１２０ 指標画像
１２１ アップ画面
１２２ ゴール前画面
２００ 画像処理システム

Claims (5)

1. 入力されたコンテンツデータに対し、任意の視点からの画像を再生する画像データ再生装置において、
   外部から入力されたコンテンツデータから、少なくとも１つ以上の画像データと、前記少なくとも１つ以上の画像データのうちのいずれか１つに指定された画像データを用いて、どの視点で画像を生成するかを示す、少なくとも１つ以上の個別視点情報を含む視点情報とを分離して出力する分離部と、
   前記視点情報に含まれる前記個別視点情報のうちのいずれか１つを視点選択情報として生成する視点決定部と、
   前記少なくとも１つ以上の画像データのうちの、前記視点選択情報により指定された画像データを用いて、前記視点選択情報が示す視点の画像を視点画像として生成し、出力する視点画像生成部と、
   前記視点選択情報に対し、ユーザの属性を表す情報であるユーザ属性情報を付加して、ユーザ属性付加個別視点情報を生成する個別視点情報生成部と、
   を具備することを特徴とする画像データ再生装置。
2. 前記ユーザ属性情報は、前記個別視点情報が、個人で生成された視点であるのか、所定のグループで生成された視点であるかを示す、視点種別情報を含むことを特徴とする請求項１に記載の画像データ再生装置。
3. 前記分離部から出力された前記視点情報を解析し、ユーザにより指定されない場合に指定される１つの個別視点情報を示す解析結果と、前記視点情報に含まれる前記個別視点情報とを出力する視点情報解析部、
   を更に具備し、
   前記視点決定部は、前記視点情報解析部から出力された前記個別視点情報のうちの、前記視点情報解析部から出力された前記解析結果に基づく１つの個別視点情報、または、ユーザにより任意に指定された１つの個別視点情報を前記視点選択情報として生成することを特徴とする請求項１に記載の画像データ再生装置。
4. 請求項１から３のいずれかに記載の画像データ再生装置から出力されたユーザ属性付加個別視点情報を受け取る個別視点情報入力部と、
   前記個別視点情報入力部からの前記ユーザ属性付加個別視点情報を蓄積する個別視点情報記憶部と、
   前記個別視点情報記憶部に蓄積された複数の前記ユーザ属性付加個別視点情報の中から、第１の所定の条件に合致する少なくとも１つ以上のユーザ属性付加個別視点情報をグループ単位個別視点情報として抽出し、前記グループ単位個別視点情報に対して、所定の範囲に含まれる視点毎に集計をとることにより複数の分類個別視点情報に分類し、前記複数の分類個別視点情報の中から、第２の所定の条件に合致する分類個別視点情報を含む視点情報を統計視点情報として生成する統計視点情報生成部と、
   入力されたコンテンツデータから視点情報以外の情報を抽出して、視点情報除外コンテンツデータを出力するコンテンツ抽出部と、
   前記視点情報除外コンテンツデータと、前記統計視点情報とを多重化する多重化部と、
   を具備することを特徴とする視点情報生成装置。
5. 前記第１の所定の条件は、
   その個別視点情報が、現在、再生しているコンテンツの再生時刻と同じであること、もしくは、
   前記再生時刻の前後所定の時間内の時刻であることを示す時刻情報をもつこと、もしくは、
   個別視点情報に含まれるユーザ属性情報を構成する各項目のうちの少なくとも１つ以上の項目が一致すること、もしくは、
   各条件の組みあわせであることであり、
   前記第２の所定の条件は、
   前記所定の範囲に含まれる視点毎に集計された個別視点情報の数のうち、最も集計数の多い視点とすることを特徴とする請求項４に記載の視点情報生成装置。

Images