JP2007215097A - 表示データ生成装置 - Google Patents

Abstract

【課題】各映像にそれぞれ適したテロップ表示用データを生成することができる表示データ生成装置を提供する。
【解決手段】視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定部１０５と、被写体判定部１０５の判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断部１０６と、複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出部１０７と、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成部１０８と、を有する。
【選択図】図１

Description

本発明は、映像に付加するテロップ表示用データを生成する表示データ生成装置に関する。

近年、高精細デジタル大画面テレビや、映像の圧縮技術、大量データの伝送技術の進展に伴ってテレビ番組や映像情報などの視聴形態も多様化している。その一例として、「好みの視点から映画や野球を見たい」というニーズを満たす、任意視点映像配信システムが提案されている。任意視点映像配信システムとは、複数の視点位置で撮影した画像データやそれらを元に生成された任意視点画像データを視聴者に伝送するものである。視聴者は、受信した任意視点映像データから好みの視点に対応する視点映像を選択して視聴することが可能である。任意視点映像配信システムにより、複数の視聴者のそれぞれが、同時刻において、同じ番組の異なる映像を視聴することができる。このような技術として、複数の領域の部分画像に分割された画像データの内、センターが予測した利用者の所望する視点位置の画像を生成するのに必要な部分画像を選択して伝送するものがある（例えば、特許文献１参照）。

ところで、テレビ映像にテロップなどの説明情報を付加することにより、視聴者は映像に関連する情報を即座に取得できる。また、視聴者がテロップを同時に参照することにより、視聴中の映像をより理解しやすくなる。テロップは、視聴画面の状況に応じて、例えば、被写体に対する説明情報を提示することもあるし、得点や時間等の全体情報を提示することもある。つまり、映像に合成されるテロップの目的は、映像画面に対する説明情報をより分かりやすく、速やかに、視聴者に提供することである。従来、テレビ映像に情報を付加する手法としては、作成したテロップを放送局側の編集者が手動で映像に合成する方法が一般的であった。これは、情報を付加する対象となる映像が１つであったためである。

一方、任意視点映像に情報を付加して表示する技術として、地図ナビゲーションシステムに関するものがある。このナビゲーションシステムにおいて、サービスセンター側は、ユーザー側から受信した視点情報（視点位置、縮尺情報）に応じて、表示する地図画像を再生成するとともに、画面範囲内に含まれる全ての地図案内情報をＧＩＳ（地図情報システム）から取得し、地図画像に重畳して表示するものである（例えば、特許文献２参照）。
特開２００４−１９３９４１号公報 第８頁〜第２０頁 図１ 特開２００２−２１３９８４号公報 第９頁〜第１４頁 図１

上記の任意視点映像配信システムにおいて、従来のテロップ付加技術を用いた場合、放送局側の編集者が、あらゆる視点の視点映像データのそれぞれに適したテロップを選択して、各視点映像に合成することになる。しかし、視点数が無限になり得るので、実現できない。また、リアルタイムで行うことも現実的ではない。

また、任意視点映像配信システムにおいて、上記特許文献２に開示される情報付加技術を適用した場合、図２０（a）に示すように、任意視点映像に、その画面範囲に含まれる全ての被写体に関する説明情報が表示されることになる。この結果、上述したテロップ表示の目的（映像画面に対する説明情報をより分かりやすく、速やかに、視聴者に提供すること）に反した、不適切なテロップ表示となる。それぞれの被写体がどういうふうに映像画面に映っているのかという画面状況を判断しなければ、テロップの内容の選択やレイアウト（画面配置）を決めることができない。適切なテロップ表示としては、図２０（b）に示すような画面表示が好ましい。

本発明は、上記従来の事情に鑑みてなされたものであって、各映像にそれぞれ適したテロップ表示用データを生成することができる表示データ生成装置を提供することを目的とする。

本発明の表示データ生成装置は、視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定部と、前記被写体判定部の判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断部と、複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出部と、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成部と、を有することを特徴とする。
上記構成によれば、画面の被写体構成に応じた適切なレイアウトを選出することができるため、各映像にそれぞれ適したテロップ表示用データを生成することができる。これにより、任意視点映像を配信するシステムにおいても、視聴者側端末毎に、映像画面に対する説明情報をより分かりやすく、速やかに、視聴者に提供することができる。

また、本発明の表示データ生成装置は、前記重要被写体判断部が、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用いて、前記重要被写体の判断を行うことを特徴とする。
上記構成によれば、説明情報（テロップ）を付加すべき重要被写体を的確に判断することができる。

また、本発明の表示データ生成装置は、前記重要被写体判断部が、前記視点位置と被写体との距離が一番短い被写体を前記重要被写体と判断することを特徴とする。
上記構成によれば、説明情報（テロップ）を付加すべき重要被写体を的確に判断することができる。

また、本発明の表示データ生成装置は、前記重要被写体判断部が、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し、前記レイアウト選出部が、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする。
上記構成によれば、説明情報（テロップ）を付加すべき対象と判断された重要被写体に対して、適切なレイアウトでテロップを表示させることができる。

また、本発明の表示データ生成装置は、前記被写体情報が、被写体属性を有し、前記レイアウトテンプレートが持つ選択条件が、被写体属性を有し、前記レイアウト選出部が、前記重要被写体の被写体属性と合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする。
上記構成によれば、被写体属性に応じた適切な情報を含むテロップを適切なレイアウトで表示させることができる。

また、本発明の表示データ生成方法は、視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定ステップと、判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断ステップと、複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出ステップと、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成ステップと、を有する。

また、本発明の表示データ生成方法は、前記重要被写体判断ステップが、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用いて、前記重要被写体の判断を行うことを特徴とするものである。

また、本発明の表示データ生成方法は、前記重要被写体判断ステップが、前記視点位置と被写体との距離が一番短い被写体を前記重要被写体と判断することを特徴とするものである。

また、本発明の表示データ生成方法は、前記重要被写体判断ステップが、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し、前記レイアウト選出ステップは、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とするものである。

また、本発明の表示データ生成方法は、前記被写体情報が、被写体属性を有し、前記レイアウトテンプレートが持つ選択条件が、被写体属性を有し、前記レイアウト選出ステップが、前記重要被写体の被写体属性と合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とするものである。

さらに、本発明の表示データ生成プログラムは、コンピュータを視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定手段、前記被写体判定部の判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断手段、複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出手段、前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成手段、として機能させるためのプログラムである。

本発明によれば、画面の被写体構成に応じた適切なレイアウトを選出することができるため、各任意視点映像に、それぞれ適したテロップを合成した表示データを生成することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

［実施の形態１］
図１は、本発明の実施の形態１における表示データ生成装置の内部構成を示す図である。表示データ生成装置１００は、視点情報入力部１０１、任意視点映像受信部１０２、任意視点映像再生部１０３、付加情報受信部１０４、被写体判定部１０５、重要被写体判断部１０６、レイアウト選出部１０７、テロップ生成部１０８、映像重畳部１０９を備えて構成される。これらは、任意視点映像の表示制御を行う任意視点映像制御系ブロックと、テロップの表示制御を行う付加情報制御系ブロックとに大別される。

はじめに、任意視点映像制御系ブロックについて説明する。任意視点映像制御系ブロックは、視点情報入力部１０１、任意視点映像受信部１０２、任意視点映像再生部１０３を含む。視点情報入力部１０１は、リモコンなどの入力手段によって視点情報を取得し、任意視点映像の選択を指示するものである。視点情報は、任意視点映像受信部１０２に出力されるとともに、被写体判定部１０５と、重要被写体判断部１０６にも出力される。尚、視点情報は、操作履歴から取得する等、入力以外の方法で取得してもよい。

任意視点映像受信部１０２は、視点情報に基づいて、映像の配信を行う配信センター（以下、センターと称する）から配信された、任意視点映像を生成する元となる複数の視点位置から撮影された映像データから、視点情報に合致する映像データを選択受信する。受信した映像データは、任意視点映像再生部１０３で再生される。ここで、任意視点映像データを提供する手法としては、例えば、特許文献１に開示された任意視点映像配信システムにより、センターが任意視点映像を生成する元となる複数の視点位置から撮影された映像データを配信し、受信側が必要な視点映像が含まれた映像データを選択受信する方法などが考えられる。

次に、付加情報制御系ブロックについて説明する。付加情報制御系ブロックは、付加情報受信部１０４、被写体判定部１０５、重要被写体判断部１０６、レイアウト選出部１０７、テロップ生成部１０８を含む。付加情報受信部１０４は、被写体情報、テロップ説明内容素材、レイアウトテンプレートの最新データを随時受信し、受信した被写体情報を被写体判定部１０５へ、テロップ説明内容素材をテロップ生成部１０８へ、レイアウトテンプレートをレイアウト選出部１０７へそれぞれ提供する。尚、被写体情報、テロップ説明内容素材、レイアウトテンプレートといった付加情報の取得方法は、センターにより映像データと多重化して配信された付加情報を、受信することに限定されるものではない。例えば、表示データ生成装置内部に蓄積されている付加情報を取得してもよいし、センターが映像データと多重化して放送により伝送した付加情報を取得してもよい。尚、付加情報の提供元は、センターに限定されるものではない。例えば、センターでない第３者が付加情報を提供してもよい。尚、付加情報を提供する伝送路については、限定しない。

被写体情報とは、被写体を特定し、被写体の特徴を記述するための情報である。被写体情報は、センター（撮影側）で生成され、表示データ生成装置１００へ送信される。被写体には、表示データ生成装置１００に接続する映像表示端末（図示省略）の画面に表示されている被写体だけでなく、映像表示端末の画面に表示されていない被写体も含まれる。また、被写体情報は、単体の被写体に関する情報を送信単位として配信される。被写体情報の伝送頻度は、本実施の形態では、特に限定しない。一映像フレームごとに送出されてもよいし、一映像フレーム以外の間隔で送出されてもよい。例えば、映像送信スピードが毎秒３０フレームの場合、それに合わせて１／３０秒ごとに被写体情報が送出されてもよいし、１／２秒の間隔（１５フレーム間隔）で被写体情報が送出されてもよい。尚、被写体情報の生成は、センター（撮影側）だけでなく、表示データ生成装置１００で生成してもよい。

テロップ説明内容素材とは、画面に付加するテロップの説明内容の素材である。テロップ説明内容素材は、センターの編集者により入力される。センターは、予め作成したテロップ説明内容素材を表示データ生成装置１００へ送信し、その後は、更新された差分情報のみを随時送信する。また、テロップ説明内容素材は、テロップ説明内容素材を特定する情報を用いて区切られたデータを送信単位として配信してもよい。

レイアウトテンプレートとは、テロップの説明内容の画面デザインを形成するために必要とされる情報である。レイアウトテンプレートは、センターで生成され、表示データ生成装置１００へ送信される。センターは、予め作成したレイアウトテンプレートを表示データ生成装置１００へ送信し、その後は、更新された情報を随時送信する。また、レイアウトテンプレートは、レイアウトテンプレートを選択する情報を用いて区切られたデータを送信単位として配信してもよい。

尚、上記において付加情報受信部１０４は、常時独立して処理を行ってもよいが、これに限定されるものではない。また、非同期処理を行ってもよいが、これも限定されるものではない。更に、付加情報受信部１０４は、任意視点映像受信部１０２と同一の機能部として構成してもよい。

被写体判定部１０５は、取得した被写体情報に係る被写体が、画面に表示されているか否かを判定する。重要被写体判断部１０６は、画面に表示されている被写体の中から、視聴者が注目しているであろう重要被写体を特定し、当該重要被写体の特徴情報を生成する。レイアウト選出部１０７は、重要被写体の特徴情報と、付加情報受信部１０４で受信したレイアウトテンプレートが有する選択条件とを比較し、合致した選択条件を有するレイアウトテンプレートを選出する。
テロップ生成部１０８は、選出されたレイアウトテンプレートに基づいてテロップ表示用データを生成する。

次に、上記構成の表示データ生成装置１００の動作について説明する。

はじめに、テロップの表示制御動作について説明する。被写体判定部１０５は、視点情報入力部１０１から入力された視点情報に基づいて、付加情報受信部１０４で受信した被写体情報の中から、画面に表示されている被写体を抽出する。次に、重要被写体判断部１０６は、画面に表示されている被写体の中から、視聴者が注目しているであろう重要被写体を判断し、当該重要被写体の特徴情報を生成する。更に、レイアウト選出部１０７は、重要被写体の特徴情報と付加情報受信部１０４で受信したレイアウトテンプレートに関する選択条件とを比較し、合致するレイアウトテンプレートを選出する。

次に、テロップ生成部１０８は、選出されたレイアウトテンプレートに基づいて、付加情報受信部１０４で受信したテロップ説明内容素材から、テンプレートの各パーツにあてはまる必要な情報を選択する。そして、テロップ生成部１０８は、選出されたレイアウトテンプレートと、選択したテロップ説明内容とを用いて、テロップ表示用データを生成する。最後に、映像重畳部１０９は、任意視点映像と生成されたテロップ表示用データとを重畳して、図示しない映像表示装置へ出力する。

ここで、被写体情報と視点情報の定義について詳細に説明する。

図２は、本発明の実施の形態１における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図である。図２（ａ）に示すように、被写体情報Ｄ８１００は、被写体識別情報Ｄ８１０１と被写体位置Ｄ８１０２で構成される。被写体識別情報Ｄ８１０１は、名前や被写体ＩＤを表し、被写体位置Ｄ８１０２は、被写体の現在位置を示す。被写体位置の座標データは、ＧＰＳ、超音波レーダ、画像認識などにより測定可能である。尚、被写体は、座標点として認識される。例えば、図２（ｂ）に示すように、Ａ、Ｂ、Ｃの３つの被写体について、Ａの被写体情報として、被写体識別情報：Ａさん、被写体位置：（−１２ｍ，０ｍ，１６ｍ）、Ｂの被写体情報として、被写体識別情報：Ｂさん、被写体位置：（−３６ｍ，０ｍ，４８ｍ）、Ｃの被写体情報として、被写体識別情報：Ｃさん、被写体位置：（６０ｍ，０ｍ，８０ｍ）という被写体情報が生成されている。

次に、視点情報について説明する。任意視点映像受信部１０２は、センターから配信された、複数の視点位置から撮影された映像データを元にして、視聴者が所望する位置にある仮想的カメラに対するパラメータを用いて、視聴者が所望する任意視点映像を生成する。図３は、本発明の実施の形態１における表示データ生成装置で使用する視点情報のデータ構造を概念的に示す図である。本実施の形態では、視点情報は、仮想的カメラに対するパラメータ、すなわち、視点位置、視線方向、視野角（画角）を特定するための情報である。図に示すように、視点情報Ｄ８２００は、視点位置Ｄ８２０１、視線方向Ｄ８２０２、画角Ｄ８２０３で構成される。図４は、視点情報の項目を説明するための模式図である。視点位置は、任意視点画面を生成するために使用した仮想カメラの位置であり、仮想カメラの３次元的な位置座標（ｘ，ｙ，ｚ）で表される。視線方向は、仮想カメラの撮影方向であり、水平成分と垂直成分の２つのパラメータ（パン角度α、チルト角度β）で表される。視野角は、仮想カメラが撮影する映像の範囲、即ち画角θで表される。画角は、一般には水平画角、垂直画角の２つのパラメータで表されるが、本実施の形態では撮影映像のアスペクト比が１６：９などの値に事前に固定されていることを前提として、水平画角のみを用いて表すこととする。尚、視点情報のパラメータは、必ずしも本実施の形態で示した７つのパラメータで表現される必要はなく、撮影位置、撮影方向、画角が特定できる情報であればどのようなものでもかまわない。

次に、テロップの表示制御動作における各部の処理について詳細に説明する。

はじめに、被写体判定部１０４の被写体判定処理について説明する。図５は、被写体判定方法を説明するための模式図である。図に示すように、仮想カメラ位置を頂点とし、視線方向で決定された仮想カメラの向きに沿って仮想カメラの水平画角θ１と垂直画角θ２により、四角錐の３次元視野領域が形成される。被写体判定部１０４は、任意の被写体（点）がその視野領域に存在すれば、当該被写体は視点情報によって構成された画面に表示されていると判定する。例えば、図中の被写体Ｐ１は３次元視野領域に存在しているので、被写体判定部１０４は、被写体Ｐ１が画面に表示されていると判定する。一方、Ｐ２は３次元視野領域に存在していないので、被写体判定部１０４は、被写体Ｐ２は画面に表示されていないと判定する。

同様に、図６は、被写体判定部１０４で複数の被写体が認識される様子を説明するための模式図である。図６（ａ）は、Ｙ軸に沿って俯瞰する際、ある仮想カメラで構成される視野領域を示す図である。被写体判定部１０４は、各オブジェクトが３次元視野領域に存在するか否かに応じて、視野領域に存在しているオブジェクトＡ、Ｂ、Ｃが画面に表示され、視野領域に存在していないオブジェクトＤ、Ｅは画面に表示されないと判定する。図６（ｂ）は、図６（ａ）の状況で撮影された任意視点画面を示す模式図である。オブジェクトＡ、Ｂ、Ｃが画面に映っていて、オブジェクトＤ、Ｅは画面に映っていない。

次に、重要被写体判断部１０６の重要被写体判断処理について説明する。図７は、重要被写体判断方法を説明するための模式図である。視聴者が注目しているであろう重要被写体の特定は、重要被写体の判定ルールによって判断する。ここで、本実施の形態においては、重要被写体の判定ルールを、「画面に表示されている被写体の中で、仮想カメラ（視点位置）に対して最も近距離にある被写体を、視聴者が注目しているであろう重要被写体と判断する」と定義する。

図７に示すように、画面に映っている３つの被写体Ａ、Ｂ、Ｃに対応する被写体位置は、仮想カメラの位置、即ち視点位置（０ｍ，０ｍ，０ｍ）に対して、それぞれ（−１２ｍ，０ｍ，１６ｍ）、（−３６ｍ，０ｍ，４８ｍ）、（６０ｍ，０ｍ，８０ｍ）である。空間における２点間の距離計算により、被写体Ａ、Ｂ、Ｃと仮想カメラとの距離Ｌ１、Ｌ２、Ｌ３は、それぞれ、２０ｍ、６０ｍ、１００ｍと算出される。従って、重要被写体判断部１０６は、仮想カメラに最も近い被写体Ａが重要被写体であると判断する。

尚、本実施の形態では、視聴者が注目しているであろう重要被写体を特定する判断方法として被写体と仮想カメラとの距離を用いたが、これに限定されるものではない。

次に、重要被写体判断部１０６で行われるもう一つの処理である重要被写体の特徴情報生成処理について説明する。被写体の特徴情報とは、被写体がどのように映っているのかを表す情報である。ここでは被写体の特徴情報として、視聴者が被写体をどれぐらいの大きさで見ているのかを特定する被写体の画面占有率を用いる。図８は、被写体の画面占有率の算出方法を説明するための模式図である。本実施の形態では、（式１）に示すように、画面上に映されている被写体のサイズを画面サイズで除した値を被写体の画面占有率とする。正確には、画面上に映されている被写体のサイズは、画面上に映されている被写体の面積で表示すべきであるが、本実施形態では、図示のように、被写体をＸＺ平面に射影し、さらに、Ｘ軸に射影して得た長さを、画面上に映されている被写体のサイズとみなす。

ここで、ρは被写体の画面占有率、K’は画面上の被写体サイズ、H’は画面サイズを表す。更に、Kは実際の被写体サイズ、Hは画面と平行して被写体と認識されている点を通る相似形のサイズを表す。相似の原理によりK’/H’= K/Hであるから、それを（式１）に代入すると、（式２）が得られる。

また、図８に示すように、Lは仮想カメラ位置に対する被写体の距離であり、三角関数により（式３）が得られる。

（式３）を変換した後、（式４）が得られる。

（式４）を（式２）に代入して変換すると、（式５）が得られる。

ここで、Ｋは被写体の実サイズであり、例えば、選手の横幅などで表され、個人差を近似的に無視し、定数として予め付与される。このように、被写体の画面占有率は、（式５）で近似的に算出される。（式５）によれば、カメラに近ければ近いほど、または画角が狭ければ狭いほど、画面占有率が大きくなる。

次に、前述の図７の例を用いて重要被写体の画面占有率を具体的に算出する。図７の例では、Ａが重要被写体である。さらに、仮想カメラに対する被写体Ａの距離は２０ｍ、カメラ位置は（０ｍ，０ｍ，０ｍ）、水平画角は５度である。仮に、被写体の実サイズ（選手の横幅）が一定値の０．８０ｍの場合、（式５）により重要被写体Ａの画面占有率ρは、０．４５８となる。次に、記述を簡略化するため、生成した重要被写体の特徴情報と、受信した重要被写体の被写体識別情報とから構成される情報を重要被写体情報とする。従って、図７の例では、重要被写体情報は、被写体識別情報：Ａ、画面占有率：０．４５８、で構成される。尚、本実施の形態では、特徴情報に被写体の画面占有率を用いたが、これに限定されるものではない。

次に、レイアウト選出部１０７のレイアウト選出処理について説明する。レイアウト選出部１０７は、重要被写体判断部１０６で生成された重要被写体情報に基づいて、現在の映像画面の被写体構成にあった適切な表示用のテロップのレイアウトテンプレートを選出し、選出したレイアウトテンプレートをテロップ生成部１０８へ提供する。具体的には、レイアウト選出部１０７は、付加情報受信部１０４で受信したレイアウトテンプレートから、重要被写体判断部１０６で抽出した重要被写体の画面占有率を満足する選択条件を有するレイアウトテンプレートを選出する。

図９は、本発明の実施の形態１における表示データ生成装置で使用するレイアウトテンプレートのデータ構造を概念的に示す図である。図に示すように、レイアウトテンプレートＤ８４００は、選択条件Ｄ８４０１、レイアウト項目Ｄ８４０２で構成される。選択条件Ｄ８４０１として、レイアウトテンプレートを選択するための条件が記述され、本実施形態では、画面占有率下限と画面占有率上限で定義される。被写体の画面占有率が下限と上限の範囲内にあれば、レイアウトテンプレートの選択条件が満足される。レイアウト項目Ｄ８４０２は、テロップを配置するための情報であり、項目位置、素材種別、内容項目属性などのデータで構成される。但し、内容項目属性は必須のものではない。

図１０は、レイアウトテンプレートの選出方法を説明するための模式図である。図では、付加情報受信部１０４で３つのレイアウトテンプレートＤ１０２、Ｄ１０３、Ｄ１０４が提供された場合について説明している。レイアウトテンプレートＤ１０２は、選択条件が画面占有率：０．４以上０．８未満のものであり、選手の名前、打率、年齢などを紹介する項目と、対戦状態（対戦両チーム名と得点）を紹介する項目を配置するものである。一方、レイアウトテンプレートＤ１０３は、選択条件が画面占有率：０．０５以上０．４未満のものであり、対戦チーム名と得点表示を配置するものである。更に、レイアウトテンプレートＤ１０４は、選択条件が画面占有率：０以上０．０５未満のものであり、対戦チーム毎回得点表示を配置するものである。

図１０に示すように、重要被写体判断部１０６で抽出した重要被写体情報Ｄ１０１に含まれている重要被写体の画面占有率は０．４５８であるので、レイアウト選出部１０７は、選択条件が合致するのは、画面占有率：０．４以上０．８未満のレイアウトテンプレートＤ１０２であると判断する。従って、レイアウト選出部１０７は、レイアウトテンプレートＤ１０２を抽出して表示用レイアウトテンプレートとする。

次に、図１１は、レイアウトテンプレートの表示例を示す模式図である。この表示例は、図１０に示したレイアウトテンプレートＤ１０２の表示を具体化したものである。レイアウトテンプレートでは画面左上の位置座標が（０，０）で、画面の横幅１６００ピクセル、高さ１２００ピクセルとしている。図に示すように、レイアウトテンプレートのパーツは、固定表示パーツ、全体共通パーツ、被写体関連パーツで構成される。

固定表示パーツは、レイアウトテンプレートにおいて、項目位置と表示内容が決定されたパーツであり、主に影の背景やラベルなどから構成される。固定表示パーツは、「項目位置」により画面上のレイアウトが決定される。さらに、固定表示パーツは、レイアウト項目に含まれる「表示内容」により表示内容が決定される。例えば、図１１に示すように、背景Ｄ２０１、背景Ｄ２０２、名前ラベルＤ２０５、年齢ラベル、打率ラベルなどが固定表示パーツである。背景２０２は、背景２０２の項目位置、即ち左上位置(２０，９００）と右下位置(１５８０，１１８０）により画面上のレイアウトが決定される。背景２０２と同様に、名前ラベルＤ２０５は、名前ラベルＤ２０５の項目位置、即ち左上位置（１００，１０２０）と右下位置（２７０，１１００）により画面上のレイアウトが決定される。また、図中のその他の固定表示パーツについても、同様に画面上の配置を決定することができる。

全体共通パーツは、レイアウトテンプレートにおいて、特定の被写体に依存しないパーツである。全体共通パーツは、主にチームの情報や得点情報などで構成される。全体共通パーツも、「項目位置」により画面上のレイアウトが決定される。例えば、図１１に示すように、レイアウトテンプレートのパーツＤ２０３には、対戦両チームのチーム１のチーム名が配置される。パーツＤ２０３は、パーツＤ２０３の項目位置、即ち左上位置（３０，３０）と右下位置（１６０，１３０）により画面上のレイアウトが決定される。また、パーツＤ２０３の特定情報は、レイアウト項目に含まれる「素材種別」の「チーム情報／チーム１」、「内容項目属性」の「チーム名」で構成される。特定情報によるテロップ説明内容の抽出方法については後述する。同様に、レイアウトテンプレートのパーツＤ２０４は、対戦両チームのチーム１の得点が配置される。パーツＤ２０４は、パーツＤ２０４の項目位置、即ち左上位置（３０，１５０）と右下位置（１６０，２００）により画面上のレイアウトが決定される。

また、パーツＤ２０４の特定情報は、レイアウト項目に含まれる「素材種別」の「チーム情報／チーム１」、「内容項目属性」の「得点」で構成される。特定情報によるテロップ説明内容の充填方法についても後述する。また、図中のその他の全体共通パーツについても、同様に画面上の配置を決定することができる

被写体関連パーツは、レイアウトテンプレートにおいて、特定の被写体に依存するパーツである。被写体関連パーツは、主に選手関連説明情報などで構成される。被写体関連パーツも、項目位置により画面上のレイアウトが決定される。例えば、図１１に示すように、パーツＤ２０６には、任意の選手の名前が配置される。パーツＤ２０６は、パーツＤ２０６の項目位置、即ち左上位置(２９０，１０２０）と右下位置（７６０，１１００）により画面上のレイアウトが決定される。また、パーツＤ２０６の特定情報については、レイアウト項目に含まれる「素材種別」の「選手」、「内容項目属性」の「選手名前」で構成される。特定情報によるテロップ説明内容の抽出方法については後述する。また、図中のその他の被写体関連パーツについても、同様に画面上の配置を決定することができる。また、レイアウトテンプレートの各パーツについては、画面上の前後重畳順を示す情報を付加してもよい。例えば、ラベルのパーツを背景のパーツより前に表示させるような配置が可能である。

次に、テロップ生成部１０８のテロップ生成処理について説明する。テロップ生成部１０８は、抽出されたレイアウトテンプレートに基づいて、付加情報受信部１０４で受信したテロップ説明内容素材からテロップ説明内容を選択し、テロップ表示用データを生成する。

図１２および図１３は、テロップ説明内容素材のデータ構造を概念的に示す図である。図１２に示すように、テロップ説明内容素材Ｄ８５００は、素材種別Ｄ８５０１とテロップ説明内容項目Ｄ８５０２で構成される。テロップ説明内容項目Ｄ８５０２は、内容項目属性とテロップ説明内容で構成される。素材種別Ｄ８５０１は、テロップ説明内容素材を特定するための情報である。素材種別Ｄ８５０１の具体的な形態については、階層型記述方法での記述が可能である。例えば、図１３（ａ）に示すように、素材種別は、「選手／Ａ」と記述される。また、図１３（ｂ）に示すように、素材種別は、「チーム情報／チーム１」と記述される。

次に、テロップ表示用データの生成手順について説明する。図１４は、本発明の実施の形態１における表示データ生成装置の、テロップ表示用データ生成処理手順を示すフローチャートである。はじめに、テロップ生成部１０８は、レイアウト選出部１０７で選出されたレイアウトテンプレートに、任意の影の背景やラベルなど、既に表示内容と画面配置位置が決定されている固定表示パーツをテロップ表示用データに充填する（ステップＳ００１）。

次に、テロップ生成部１０８は、レイアウト選出部１０７で選出されたレイアウトテンプレートにある全体共通パーツに含まれる第１の素材種別と第１の内容項目属性をそれぞれ取得する（ステップＳ００２）。第１の素材種別と付加情報受信部１０４で受信したテロップ説明内容素材に含まれる第２の素材種別とが一致し、且つ第１の内容項目属性と付加情報受信部１０４で受信したテロップ説明内容素材に含まれる第２の内容項目属性とが一致する場合、テロップ生成部１０８は、第２の素材種別と第２の内容項目属性に応じたテロップ説明内容を抽出する。そして、テロップ生成部１０８は、抽出したテロップ説明内容を、全体共通パーツに含まれた項目位置にしたがってテロップ表示用データに充填する。

次に、テロップ生成部１０８は、レイアウト選出部１０７で選出されたレイアウトテンプレートにある、被写体関連パーツに含まれる第３の素材種別と第３の内容項目属性を取得する（ステップＳ００３）。テロップ生成部１０８は、第３の素材種別と、更に重要被写体判断部１０６で抽出した重要被写体情報に含まれる被写体識別情報とを組み合わせて第４の素材種別を生成する。また、第４素材種別と付加情報受信部１０４で受信したテロップ説明内容素材に含まれる第５の素材種別とが一致し、且つ、第３の内容項目属性と付加情報受信部１０４で受信したテロップ説明内容素材に含まれる第５の内容項目属性とが一致する場合、テロップ生成部１０８は、第５の素材種別と第５の内容項目属性に応じたテロップ説明内容を抽出する。そして、テロップ生成部１０８は、抽出したテロップ説明内容を、被写体関連パーツに含まれる項目位置にしたがってテロップ表示用データに充填する。

次に、抽出したレイアウトテンプレートにおける各パーツの前後重畳順の情報により、テロップ生成部１０８は、テロップ表示用データにある各パーツの前後重畳関係を調整する（ステップＳ００４）。テロップ表示用データにあるパーツに対して、どのパーツをより前に表示し、どのパーツをより後ろに表示するかを決定できる。

図１５は、テロップ表示用データ生成の具体例を説明するための図である。この例では、図１０に示したレイアウト選出部１０７で選出されたレイアウトテンプレートを用いて説明する。

図１５に示すように、はじめにレイアウトテンプレートにある固定表示パーツ（背景やラベルなど）がテロップ表示用データとして充填される。テンプレートＤ３００に配置されたラベルＤ３０１の内容は「名前」である。ラベルＤ３０１をラベルＤ３０１の項目位置によりテロップ表示用データＤ４００の同座標位置に充填する。これにより「名前」という内容のパーツＤ４０１がテロップ表示用データＤ４００として生成される。同様の処理により、レイアウトテンプレートＤ３００にあるその他の固定表示パーツをテロップ表示用データＤ４００として生成することができる。

また、レイアウトテンプレートにある特定な被写体に依存しない全体共通パーツ（チーム全体情報や得点情報など）がテロップ表示用データとして充填される。テンプレートＤ３００に配置されたパーツＤ３０２に含まれる素材種別Ｄ３０２１は「チーム情報／チーム１」であり、内容項目属性Ｄ３０２２は「チーム名」である。一方、付加情報受信部１０８で受信したテロップ説明内容素材Ｄ５００において、素材種別Ｄ５０１の内容は「チーム情報／チーム１」、内容項目属性Ｄ５０２の内容は「チーム名」である。従って、素材種別Ｄ３０２１が素材種別Ｄ５０１と一致し、且つ内容項目属性Ｄ３０２２が内容項目属性Ｄ５０２と一致するので、素材種別Ｄ５０１と説明内容素材Ｄ５０２に応じたテロップ説明内容Ｄ５０３（値は「日本」）が、パーツＤ３０２と同座標位置でテロップ表示用データ４００に充填される。これにより「日本」という内容のパーツＤ４０２がテロップ表示用データＤ４００として生成される。同様の処理により、レイアウトテンプレートＤ３００にあるその他の全体共通パーツをテロップ表示用データＤ４００として生成することができる。

また、レイアウトテンプレートにある特定の被写体に依存する被写体関連パーツ（選手の紹介など）が、テロップ表示用データとして充填される。テンプレートＤ３００に配置されたパーツＤ３０３に含まれる素材種別Ｄ３０３１は「選手」であり、内容項目属性Ｄ３０３２は「選手名前」である。更に、重要被写体判断部１０６で抽出された重要被写体情報Ｄ３０４に含まれる被写体識別情報Ｄ３０４１は「Ａ」である。素材種別Ｄ３０３１と重要被写体の被写体識別情報Ｄ３０４１とを組み合わせて新たな素材種別Ｄ３０５を生成する。素材種別Ｄ３０５の内容は「選手／Ａ」となる。一方、テロップ説明内容素材Ｄ５００において、素材種別Ｄ５０４の内容は「選手／Ａ」、内容項目属性Ｄ５０５の内容は「選手名前」である。従って、素材種別Ｄ３０５が素材種別Ｄ５０４と一致し、且つ、内容項目属性Ｄ３０３２が内容項目属性Ｄ５０５と一致するので、素材種別Ｄ５０４と説明内容素材Ｄ５０５に応じたテロップ説明内容Ｄ５０６（値は「日本一郎」）が、パーツＤ３０３と同座標位置でテロップ表示用データD４００に充填される。これにより、「日本一郎」という内容のパーツＤ４０３がテロップ表示用データＤ４００として生成される。同様の処理により、レイアウトテンプレートＤ３００にあるその他の被写体関連パーツをテロップ表示用データＤ４００として生成することができる。

また、レイアウトテンプレートＤ３００にある全てのパーツの前後重畳順の情報により、生成したテロップ表示用データＤ４００にある全てのパーツの前後重畳関係が調整される。

以上のように、本発明の実施の形態１における表示データ生成装置によれば、画面に表示された被写体について視聴者が注目しているであろう重要被写体を判断し、画面上における被写体像の大きさなど、重要被写体の特徴によってテロップの表示内容を切り替えることができる。様々な任意視点映像画面に対して同時に、画面の表示状態に応じて、重要な被写体に関する情報を適切に選択し、適切なレイアウトでテロップ表示するので、視聴者は注目しやすく、また表示されたテロップの内容を的確に理解することができる。

［実施の形態２］
実施の形態１の表示データ生成装置では、カメラとの距離によって重要被写体を選出し、当該被写体の画面上におけるサイズによって唯一の被写体に関するテロップレイアウトテンプレートを選出した。これに対し、実施の形態２では、被写体（選手など）の種類が複数である場合、それぞれ異なった被写体関連（個人紹介など）のテロップのレイアウトテンプレートを選出する必要がある場合について説明する。

図１６は、被写体の種類が複数である場合の課題について説明するための図である。前述の実施の形態１における表示データ生成装置によれば、図１６（ａ）に示すように、画面の重要被写体とした選手がバッターの場合、選手の種類が野手か投手かに関わらず、画面占有率だけに応じて適切なテロップのレイアウトテンプレートが選出される。その後、図１６（ｂ）に示すように、画面の重要被写体とした選手が他の種類の選手、例えば投手に変わると、図１６（ｃ）に示すように投手に応じたテロップレイアウトテンプレートが選出されることが好ましい。しかし、実施の形態１における表示データ生成装置では、選手の画面占有率だけがレイアウトテンプレートの選択条件と照合されるので、図１６（ｂ）に示すように、図１６（ａ）に示した画面占有率に応じた同様のバッターのテロップレイアウトテンプレートが選出されてしまう。

更に、図１６に示した例と同様に、同じ選手が異なる状態に変化する場合でも同様の課題が生じる。例えば、図１６（ａ）に示すように任意の選手がバッターボックスに入ってバッター状態になると、バッター状態に応じたテロップのレイアウトテンプレートが選出される。しかし、図１６（ｂ）に示すように同一の選手が投手エリアに入って投手状態になると、図１６（ｃ）に示すように投手状態に応じたテロップのレイアウトテンプレートに切り替えられることが好ましい。しかし、実施の形態１における表示データ生成装置では、選手の画面占有率だけがレイアウトテンプレートの選択条件と照合されるので、図１６（ｂ）に示すようにバッターのテロップレイアウトテンプレートが選出されてしまう。また、サッカーなど他の場合も同様に、選手がフォワードの場合とゴールキーパーの場合では、それぞれ違った紹介テロップレイアウトテンプレートが選出されることが好ましい。

そこで、実施の形態２における表示データ生成装置では、レイアウト選出部１０７において、レイアウトテンプレートの選出条件に、例えば、投手か野手かなどの被写体属性を更に追加し、被写体情報にさらに被写体属性を追加することで、被写体の画面大きさ（画面占有率）で選出したレイアウトテンプレートをもとに、重要被写体の被写体属性と選出条件に一致したレイアウトを選出する。従って、重要被写体とした被写体の種別（例えば、投手か野手か、ゴールキーパーかフォワードか、など）が変化するとそれに応じたテロップに切り替えることが可能となる。尚、実施の形態２における表示データ生成装置の内部構成は、実施の形態１のそれと同じであるので、説明は省略する。

図１７は、本発明の実施の形態２における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図である。図１７（ａ）に示すように、被写体情報Ｄ９１００は、図２（ａ）に示す実施の形態１の表示データ生成装置で使用する被写体情報Ｄ８１００と異なり、被写体属性Ｄ９１０３が被写体情報Ｄ９１００に追加されている。被写体属性Ｄ９１０３は、被写体の状態や種類を識別する被写体に関する属性である。図１７（ｂ）に示すように、被写体情報Ｄ９９０１の被写体識別情報は「Ａ」、被写体属性は「バッター状態」である。図１７（ｃ）に示すように、被写体情報Ｄ９９０２の被写体識別情報は「Ｂ」、被写体属性は「投手状態」である。

図１８は、本発明の実施の形態２における表示データ生成装置で使用するレイアウトテンプレートのデータ構造を概念的に示す図である。レイアウトテンプレートＤ９４００は、図９に示す実施の形態１における表示データ生成装置で使用するレイアウトテンプレートＤ８４００と異なり、被写体属性Ｄ９４０３が選択条件Ｄ９４０１に追加されている。被写体属性Ｄ９４０３は、被写体の状態や種類を判断する条件である。

次に、実施の形態２における表示データ生成装置の、レイアウト選出部１０７のレイアウト選出処理について説明する。レイアウト選出部１０７は、付加情報受信部１０４で受信したレイアウトテンプレートから、重要被写体判断部１０６で抽出した重要被写体の画面占有率と被写体属性とを共に満足するレイアウトテンプレートの選択条件を検索し、選択条件に応じたレイアウトテンプレートを選出する。ここで、レイアウトテンプレートの選択条件としては、被写体の画面占有率が、図１８に示した選択条件Ｄ９４０１にある画面占有率下限と画面占有率上限の範囲内にあるという第１の選択条件と、被写体の被写体属性が選択条件Ｄ９４０１にある被写体属性と一致するという第２の選択条件とを用いる。

図１９は、本発明の実施の形態２における表示データ生成装置の、レイアウト選出部１０７の動作を説明するための図である。

図に示すように、重要被写体情報Ｄ９９１０に含まれる被写体属性Ｄ９９１１の内容は「投手状態」、画面占有率Ｄ９９１２は「０．４５８」である。例えば、任意のレイアウトテンプレートの選択条件Ｄ９９２０に含まれる画面占有率下限は「０．４」、画面占有率上限は「０．８」、被写体属性は「投手状態」である。この場合、画面占有率Ｄ９９１２が選択条件Ｄ９９２０の画面占有率下限超且つ選択条件Ｄ９９２０の画面占有率上限以下という第１の選択条件を満足し、且つ被写体属性Ｄ９９１１が選択条件Ｄ９９２０の被写体属性と一致するという第２の選択条件も満足することから、レイアウト選出部１０７は、重要被写体Ｄ９９１０が選択条件Ｄ９９２０を満足すると判断する。従ってレイアウト選出部１０７は、選択条件Ｄ９９２０に応じたレイアウトテンプレートを選出する。一方、例えば、もう一つのレイアウトテンプレートの選択条件Ｄ９９３０に含まれる画面占有率下限は「０．４」、画面占有率上限は「０．８」、被写体属性は「バッター状態」である。この場合、画面占有率Ｄ９９１２は選択条件Ｄ９９３０の画面占有率下限超かつ選択条件Ｄ９９３０の画面占有率上限以下という第１の選択条件を満足するが、被写体属性Ｄ９９１１は選択条件Ｄ９９３０の被写体属性と一致するという第２の選択条件を満足しないことから、レイアウト選出部１０７は、重要被写体Ｄ９９１０が選択条件Ｄ９９３０を満足しないと判断する。従って、レイアウト選出部１０７は、選択条件Ｄ９９３０に応じたレイアウトテンプレートを選出しない。

レイアウト選出部１０７で選出されたレイアウトテンプレートに基づくテロップの生成については、実施の形態１の表示データ生成装置におけるテロップ生成処理と同様であるため、説明を省略する。

以上のように、本発明の実施の形態２における表示データ生成装置によれば、被写体に関連するテロップを表示する際、異なる被写体の種類によってテロップを切り替えることが可能となる。また、同一の被写体の状態が変化したような場合（例えば、被写体である野球選手が投球状態からバッティング状態に変わる場合など）でも、テロップを適切に切り替えることができる。このように、様々な任意視点映像視聴に相応しい情報を提供することができる。表示される被写体の変化に応じてテロップの表示も適切に変更されるので、視聴者は被写体に関する情報を的確に取得することができる。

尚、上記の実施の形態における表示データ生成装置は、視聴者が視点を切り替えて視聴選択可能な視点映像を提供するその他の映像配信システムでも適用可能なことは言うまでもない。例えば、多数のカメラを用いて撮影した多視点映像を同時配信する多視点映像配信システム（マルチアングル配信システム）、超広角・超高解像度の映像を撮影し、その一部分の映像（視点画像）を切り出して視聴者に提示できる自由視点映像配信システムなどに適用可能である。

本発明の表示データ生成装置は、画面の被写体構成に応じた適切なレイアウトを選出することができるため、各映像にそれぞれ適したテロップ表示用データを生成することができるという効果を有し、映像に付加するテロップ表示用データを生成する表示データ生成装置等に有用である。

本発明の実施の形態１における表示データ生成装置の内部構成を示す図 本発明の実施の形態１における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図 本発明の実施の形態１における表示データ生成装置で使用する視点情報のデータ構造を概念的に示す図 視点情報の項目を説明するための模式図 被写体判定方法を説明するための模式図 被写体判定部で複数の被写体が認識される様子を説明するための模式図 重要被写体判断方法を説明するための模式図 被写体の画面占有率の算出方法を説明するための模式図 本発明の実施の形態１における表示データ生成装置で使用するレイアウトテンプレートのデータ構造を概念的に示す図 レイアウトテンプレートの選出方法を説明するための模式図 レイアウトテンプレートの表示例を示す模式図 テロップ説明内容素材のデータ構造を概念的に示す図 テロップ説明内容素材のデータ構造を概念的に示す図 本発明の実施の形態１における表示データ生成装置の、テロップ表示用データ生成処理手順を示すフローチャート テロップ表示用データ生成の具体例を説明するための図 被写体の種類が複数である場合の課題について説明するための図 本発明の実施の形態２における表示データ生成装置で使用する被写体情報のデータ構造を概念的に示す図 本発明の実施の形態２における表示データ生成装置で使用するレイアウトテンプレートのデータ構造を概念的に示す図 本発明の実施の形態２における表示データ生成装置の、レイアウト選出部の動作を説明するための図 従来技術の課題を説明するための図

符号の説明

１００ 表示データ生成装置
１０１ 視点情報入力部
１０２ 任意視点映像受信部
１０３ 任意視点映像再生部
１０４ 付加情報受信部
１０５ 被写体判定部
１０６ 重要被写体判断部
１０７ レイアウト選出部
１０８ テロップ生成部
１０９ 映像重畳部

Claims (11)

1. 視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定部と、
   前記被写体判定部の判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断部と、
   複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出部と、
   前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成部と、を有することを特徴とする表示データ生成装置。
2. 前記重要被写体判断部は、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用いて、前記重要被写体の判断を行うことを特徴とする請求項１記載の表示データ生成装置。
3. 前記重要被写体判断部は、前記視点位置と被写体との距離が一番短い被写体を前記重要被写体と判断することを特徴とする請求項２記載の表示データ生成装置。
4. 前記重要被写体判断部は、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し、
   前記レイアウト選出部は、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする請求項１、請求項２または請求項３記載の表示データ生成装置。
5. 前記被写体情報は、被写体属性を有し、
   前記レイアウトテンプレートが持つ選択条件は、被写体属性を有し、
   前記レイアウト選出部は、前記重要被写体の被写体属性と合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする請求項４記載の表示データ生成装置。
6. 視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定ステップと、
   判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断ステップと、
   複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出ステップと、
   前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成ステップと、
   を有する表示データ生成方法。
7. 前記重要被写体判断ステップは、前記視点情報に含まれる視点位置と前記被写体情報に含まれる被写体位置との距離を用いて、前記重要被写体の判断を行うことを特徴とする請求項６記載の表示データ生成方法。
8. 前記重要被写体判断ステップは、前記視点位置と被写体との距離が一番短い被写体を前記重要被写体と判断することを特徴とする請求項７記載の表示データ生成方法。
9. 前記重要被写体判断ステップは、前記重要被写体の特徴情報を、前記視点情報および前記被写体情報に基づいて、前記重要被写体の画面上の大きさとして生成し、
   前記レイアウト選出ステップは、前記重要被写体の画面上の大きさと合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする請求項６、請求項７または請求項８記載の表示データ生成方法。
10. 前記被写体情報は、被写体属性を有し、
    前記レイアウトテンプレートが持つ選択条件は、被写体属性を有し、
    前記レイアウト選出ステップは、前記重要被写体の被写体属性と合致した選択条件を持ったレイアウトテンプレートを選出することを特徴とする請求項９記載の表示データ生成方法。
11. コンピュータを
    視点情報および被写体情報に基づいて、画面に映されている被写体を判定する被写体判定手段、
    前記被写体判定部の判定結果および前記被写体情報に基づいて、視聴者が注目しているであろう重要被写体を判断し、前記重要被写体の特徴情報を生成する重要被写体判断手段、
    複数のレイアウトテンプレートの中から、前記重要被写体の特徴情報と合致した選択条件を持ったレイアウトテンプレートを選出するレイアウト選出手段、
    前記選出されたレイアウトテンプレートに基づいて、テロップ表示用データを生成するテロップ生成手段、
    として機能させるための表示データ生成プログラム。