JP2016082473A - 映像再生装置および映像再生方法 - Google Patents

Abstract

【課題】視聴者にとって好適な情報提供を行う映像再生装置および映像再生方法を提供する。【解決手段】映像再生装置１００は、操作している視聴者の属性情報を示す視聴者情報と、映像音声出力性能を示す映像音声性能ポリシーとを取得する情報取得部と、視聴者情報と映像音声性能ポリシーとに基づいて、放送番組に関する番組付加情報を通信伝送路から取得するストリーム制御部１１０と、放送番組と時刻同期して番組付加情報を再生し副映像信号として出力する副映像デコーダ部１１３と、放送番組に係る映像信号と副映像信号とを重畳し、かつ、視聴者情報に基づいて、副映像信号の映像加工または画質調整を行う映像加工調整部１１７とを備えている。【選択図】図１

Description

本発明は、映像再生装置および映像再生方法に関するものである。

近年、放送局側から放送される放送番組を視聴しながら、サービス事業者側からインターネット等の通信伝送路を介してアプリケーションおよび配信コンテンツを受信し、前記アプリケーションを実行することで前記放送番組と配信コンテンツを連携させて再生する放送通信連携サービスが普及している。従来方式では、現在視聴しているオンエア中の番組に関する放送通信連携サービスが知られている（例えば、特許文献１参照）。

特許文献１に記載の従来の放送番組受信装置は、現在放送中の番組表示を行っている間、放送通信連携サービスから緊急放送用画像などをダウンロードし、放送番組に重畳して表示するモデルとして知られている。

特開２０１２−２５７２２１号公報

しかしながら、特許文献１に記載の従来の放送番組受信装置は、放送番組再生中に放送通信連携サービスから取得した緊急放送用画像を合成表示するモデルであり、特許文献１には、視聴者属性情報に基づいて、副映像画像の取得、および加工調整する技術については開示されていない。そのため、特許文献１に記載の従来の放送番組受信装置では、視聴者にとって好適な情報提供を行うことは難しい。

そこで、本発明は、視聴者にとって好適な情報提供を行うことが可能な映像再生装置および映像再生方法を提供することを目的とする。

本発明に係る映像再生装置は、放送伝送路から受信した放送番組を再生可能な映像再生装置であって、前記映像再生装置を操作している視聴者の属性情報を示す視聴者情報と、前記映像再生装置の映像音声出力性能を示す映像音声性能ポリシーとを取得する情報取得部と、前記視聴者情報と前記映像音声性能ポリシーとに基づいて、前記放送番組に関する番組付加情報を通信伝送路から取得するストリーム制御部と、前記放送番組と時刻同期して前記番組付加情報を再生し副映像信号として出力する副映像デコーダ部と、前記放送番組に係る映像信号と前記副映像信号とを重畳し、かつ、前記視聴者情報に基づいて、前記副映像信号の映像加工または画質調整を行う映像加工調整部とを備えるものである。

本発明に係る映像再生方法は、放送伝送路から受信した放送番組を再生可能な映像再生方法であって、視聴者の属性情報を示す視聴者情報と、映像音声出力性能を示す映像音声性能ポリシーとを取得するステップ（ａ）と、前記視聴者情報と前記映像音声性能ポリシーとに基づいて、前記放送番組に関する番組付加情報を通信伝送路から取得するステップ（ｂ）と、前記放送番組と時刻同期して前記番組付加情報を再生し副映像信号として出力するステップ（ｃ）と、前記放送番組に係る映像信号と前記副映像信号とを重畳し、かつ、前記視聴者情報に基づいて、前記副映像信号の映像加工または画質調整を行うステップ（ｄ）とを備えるものである。

本発明によれば、情報取得部は、映像再生装置を操作している視聴者の属性情報を示す視聴者情報と、映像再生装置の映像音声出力性能を示す映像音声性能ポリシーとを取得し、ストリーム制御部は、視聴者情報と映像音声性能ポリシーとに基づいて、放送番組に関する番組付加情報を通信伝送路から取得する。副映像デコーダ部は、放送番組と時刻同期して番組付加情報を再生し副映像信号として出力し、映像加工調整部は、放送番組に係る映像信号と副映像信号とを重畳し、かつ、視聴者情報に基づいて、副映像信号の映像加工または画質調整を行う。このように、視聴者に合わせて番組付加情報を映像加工または画質調整することで、視聴者にとって好適な情報提供を行うことができる。ここで、番組付加情報とは、放送番組に関連した字幕または緊急放送用の画像情報等を含む副映像付加情報を有する情報である。

実施の形態に係る映像再生装置のシステムブロック図である。 放送番組の解像度についての説明図である。 映像音声性能ポリシーのデータ構造例の図である。 映像表示部への表示画面例とプレーン構造の説明図である。 放送通信連携の概念図である。 放送番組の映像ストリームのデータ構造の説明図である。 副映像付加情報の内部データ構造の説明図である。 副音声付加情報の内部データ構造の説明図である。 番組付加情報の取得手順を示すフローチャートである。 番組付加情報の加工調整手順を示すフローチャートである。

＜実施の形態＞
本発明の実施の形態について、図面を用いて以下に説明する。図１は、実施の形態に係る映像再生装置１００のシステムブロック図である。

図１に示すように、映像再生装置１００は、システム制御部１０１、メモリ部１２０、デコーダブロック１５０、操作部１３０、および外部環境入力部１３２を備えている。システム制御部１０１は、点線矢印で示す通信制御およびデコーダ制御によりデコーダブロック１５０を制御することで、映像再生装置１００全体を統合制御している。なお、システム制御部１０１の詳細については後述する。

デコーダブロック１５０は、チューナー部１０２、ネットワークインターフェース部１０３、ストリーム制御部１１０、映像デコーダ部１１１、音声デコーダ部１１２、副映像デコーダ部１１３、副音声デコーダ部１１４、映像表示部１１５、音声出力部１１６、映像加工調整部１１７、および音声加工調整部１１８を備えている。

チューナー部１０２は、放送伝送路から伝送される放送波を取得し、放送波を例えばＭＰＥＧ−２トランスポートストリームに復号する。ストリーム制御部１１０は、ＭＰＥＧ−２トランスポートストリーム（放送ストリーム）から、符号化圧縮された映像ストリームまたは音声ストリームに分離して取り出すためにデマルチプレクサを行う。本実施の形態では、放送波をＭＰＥＧ−２トランスポートストリームで多重化されているものとして説明を進めるが、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）と呼ばれる方式で多重化されていても構わない。

映像デコーダ部１１１は、ストリーム制御部１１０にて分離したＭＰＥＧ−２などで符号化された映像ストリームをデコード処理し映像信号に復号する。音声デコーダ部１１２は、ストリーム制御部１１０にて分離したＡＣ−３などで符号化された音声ストリームをデコード処理して出力音声信号に復号する。副映像デコーダ部１１３は、符号化圧縮されている副映像信号を復号化する。副音声デコーダ部１１４は、符号化圧縮されている副音声信号を復号化する。映像加工調整部１１７は、映像デコーダ部１１１から出力される映像信号と副映像デコーダ部１１３から出力される副映像信号とを重畳し、かつ後述する映像音声加工制御部１５３からの指示に基づき、映像信号の映像加工または画質調整を行う。

音声加工調整部１１８は、音声デコーダ部１１２と副音声デコーダ部１１４の音声信号をミキシングし、かつ後述する映像音声加工制御部１５３からの指示に基づき、音声出力調整を行う。映像表示部１１５は、映像加工調整部１１７からの出力映像信号に基づいて生成した映像を表示する。音声出力部１１６は、音声加工調整部１１８からの出力音声信号に基づいて生成した音声を出力する。

操作部１３０は、視聴者などによってなされた操作に基づいて映像再生装置１００に対して要求を行う。一般に操作部１３０は、映像再生装置１００のフロントパネルに配置される操作パネルまたはリモコンなどである。映像再生装置１００は、操作部１３０から要求された命令の内容を解釈し、デコーダブロック１５０を制御することで任意の放送ストリームを再生する。

操作部１３０が操作パネルである場合、携帯端末１３１で映像再生装置１００の再生制御が可能なアプリケーションを実行することで、操作部１３０に対して映像再生装置１００の再生制御を行わせる。ここで、携帯端末１３１は、例えばスマートフォンである。外部環境入力部１３２は、映像再生装置１００の視聴環境を示す情報（設置場所での外光の有無情報）を、後述する視聴環境特定部１５４に入力する。

メモリ部１２０は、システム制御部１０１に接続され、後述する視聴者特定部１５２が取得した視聴者情報１４０、および映像再生装置１００の映像音声出力に関する性能（映像音声出力性能）を示す映像音声性能ポリシー１４１が記録される不揮発性メモリである。映像音声性能ポリシー１４１はメモリ部１２０に予め記録されている。

ここで、後述する番組付加情報を取得するために、視聴者情報１４０および映像音声性能ポリシー１４１の２つの情報が必要である。これらの情報は情報取得部によって取得され、メモリ部１２０は情報取得部の一例として機能する。視聴者情報１４０および映像音声性能ポリシー１４１は、メモリ部１２０に予め記録されていてもよいし、外部から入力される都度メモリ部１２０に記録されてもよい。なお、情報取得部は、必ずしもメモリ部１２０によって構成される必要はなく、視聴者情報１４０および映像音声性能ポリシー１４１を外部から取得できるように構成されていればよい。

次に、システム制御部１０１について説明する。システム制御部１０１は、放送ストリーム解析制御部１５１、視聴者特定部１５２、映像音声加工制御部１５３、および視聴環境特定部１５４を備えている。放送ストリーム解析制御部１５１、視聴者特定部１５２、映像音声加工制御部１５３、および視聴環境特定部１５４は、システム制御部１０１内のファームウェアなどで構成されている。

放送ストリーム解析制御部１５１は、ストリーム制御部１１０内でデマルチプレクスする際に、放送ストリームを解析し、当該放送ストリームに関連付けられた番組付加情報に対する通信伝送路上の取得先情報を得る。番組付加情報が通信伝送路上にある場合、放送ストリーム解析制御部１５１は、ネットワークインターフェース部１０３を介して番組付加情報を取得するようにストリーム制御部１１０を制御する。なお、番組付加情報は、各国言語に対応する字幕情報または緊急放送用画像などをはじめとする副映像付加情報５１１（図５参照）と、各国言語に対応する音声情報をはじめとする副音声付加情報５１２（図５参照）とを示すものとして説明を進める。

視聴者特定部１５２は、映像再生装置１００にて番組視聴する視聴者に関する情報、すなわち、映像再生装置１００を操作している視聴者の属性情報を示す視聴者情報１４０を取得する。より具体的には、視聴者特定部１５２は、視聴者の年齢、国籍、性別および嗜好性などの視聴者情報１４０を取得する。ここで、視聴者情報１４０は携帯端末１３１から提供されてもよいし、映像再生装置１００自身で視聴者情報１４０を取得してもよい。

視聴者特定部１５２は、携帯端末１３１から視聴者情報１４０を取得する場合、携帯端末１３１に内蔵されているカメラで操作者（視聴者）の顔画像を解析することで、視聴者情報１４０のうち性別、年齢、および国籍を示す情報を取得する。本実施の形態では顔画像を解析することで視聴者情報１４０を取得する例について示したが、例えば操作者が音声を通じて再生制御を行う場合には、操作者の音声解析を行うことで視聴者情報１４０を取得してもよい。または、携帯端末１３１の利用者情報または言語設定情報から視聴者情報１４０を取得してもよい。なお、視聴者情報１４０のうち嗜好性を示す情報は、携帯端末１３１でブラウジングした履歴またはＳＮＳの利用履歴などから取得するものとして説明を進める。

一方、視聴者情報１４０を映像再生装置１００で取得する場合、図示しない映像再生装置１００に具備したカメラまたはマイクから、携帯端末１３１と同様の手法で年齢、性別、および国籍を示す情報を取得する。なお、映像再生装置１００の言語設定内容から国籍を判断してもよい。また、放送番組の視聴履歴から視聴者の嗜好性を示す情報を取得してもよい。

なお、視聴者情報１４０は、前述した年齢、国籍、性別、および嗜好性を示す全ての情報、またはその一部だけでも構わない。また、視聴者情報１４０を、映像再生装置１００および携帯端末１３１のいずれか一方から取得する例について示したが、映像再生装置１００および携帯端末１３１の両方から得られた情報を組み合わせることで構成しても構わない。

映像音声加工制御部１５３は、視聴者情報１４０に基づいて映像加工調整部１１７を制御することで、映像出力設定、映像加工または画質調整を行う。また、映像音声加工制御部１５３は、視聴者情報１４０に基づいて音声加工調整部１１８を制御することで、音声出力設定、音声加工または音質調整を行う。

より具体的には、映像音声加工制御部１５３は、映像加工調整部１１７を制御し、映像デコーダ部１１１からの主映像出力と副映像デコーダ部１１３からの副映像出力を重畳させる。なお、その際、副映像信号のスケーリング、色域調整、ＨＤＲ（ハイダイナミックレンジ）対応、および表示更新速度調整が行われる。また、映像音声加工制御部１５３は、音声加工調整部１１８を制御し、音声デコーダ部１１２からの主音声出力と副音声デコーダ部１１４からの副音声出力のマージを行わせる。その際、最大音量レベル調整および主副音声出力バランス調整などが行われる。

視聴環境特定部１５４は、外部環境入力部１３２からの情報取得を行う。視聴環境特定部１５４は、外光状況および映像出力信号の輝度状況に合わせて、副映像出力の輝度および色域調整を行う。

なお、本実施の形態では、放送ストリーム解析制御部１５１、視聴者特定部１５２、映像音声加工制御部１５３、および視聴環境特定部１５４は、システム制御部１０１内のファームウェアなどで構成される例を示しているが、これらはシステム制御部１０１の外部に存在しても構わないし、当該機能を有するハードウェアであっても構わない。また、放送ストリーム解析制御部１５１、視聴者特定部１５２、映像音声加工制御部１５３、および視聴環境特定部１５４を別機能ブロックとして説明したが、これらの機能を統合していてもよいし、さらに細分化した機能ブロックであっても構わない。

次に、放送番組の解像度について説明する。図２は、放送番組の解像度についての説明図である。現行放送の解像度は２Ｋ放送２０１と呼ばれ、横１９２０ピクセル×縦１０８０ピクセルの解像度を持つ。しかしながら近年、放送番組として超高精細映像が放送されはじめ、４Ｋ放送２０２および８Ｋ放送２０３の標準化が進められている。

４Ｋ放送２０２は、２Ｋ放送２０１の解像度の４倍となる横３８４０ピクセル×縦２１６０ピクセルの解像度を持つ。また、８Ｋ放送２０３は、４Ｋ放送２０２の４倍となる横７６８０ピクセル×縦４３２０ピクセルの解像度を持つ。８Ｋ放送２０３になると従来放送規格と比較して情報量が膨大になるため、映像再生装置１００の通信負荷および復号負荷が大きくなるといった問題がある。

次に、映像音声性能ポリシーのデータ構造について説明する。図３は、映像音声性能ポリシーのデータ構造例の図である。映像音声性能ポリシー１４１とは、表示性能項目３０１毎に、当該映像再生装置１００の映像音声性能設定値３０２をまとめたものである。本実施の形態では、表示性能項目３０１は、表示可能解像度（主映像）３１０、表示可能解像度（副映像）３１１、ＰＶフラグ３１２、副映像出力有無フラグ３１３、副音声出力有無フラグ３１４、副映像出力情報３１５、および副音声出力情報３１６から構成される。

表示可能解像度（主映像）３１０は、設定可能項目として、「８Ｋ（７６８０×４３２０ピクセル）／４Ｋ（３８４０×２１６０ピクセル）／２Ｋ（１９２０×１０８０ピクセル）」がある。本実施の形態では、映像音声性能設定値３０２が、「８Ｋ（７６８０×４３２０ピクセル）」に設定されているものとして説明を進める。この場合、放送映像を表示するための主映像プレーンの表示解像度が８Ｋ（７６８０×４３２０ピクセル）であることを示す。

表示可能解像度（副映像）３１１は、設定可能項目として、「８Ｋ（７６８０×４３２０ピクセル）／４Ｋ（３８４０×２１６０ピクセル）／２Ｋ（１９２０×１０８０ピクセル）」がある。本実施の形態では、映像音声性能設定値３０２が、「４Ｋ（３８４０×２１６０ピクセル）」に設定されているものとして説明を進める。この場合、字幕などの副映像を表示するための副映像プレーンの表示解像度が４Ｋ（３８４０×２１６６０ピクセル）であることを示す。

ＰＶフラグ３１２は、当該映像再生装置１００が公共スペースに置かれているか否かを示すフラグ情報である。ＰＶフラグ３１２は、設定可能項目として、「ＯＮ／ＯＦＦ」である。本実施の形態では、映像音声性能設定値３０２が、「ＯＦＦ」に設定されているものとして説明を進める。公共スペースに置かれている場合、不特定多数の視聴者が存在することとして判定するため、ＰＶフラグ３１２は、操作者の国籍を判定するための閾値を厳しくするように制御するために利用される。また、公共スペースは雑音が多く存在することも多いため、ＰＶフラグ３１２は、音声認識時のノイズフィルターの感度を高めるなどの制御を行うために利用される。

副映像出力有無フラグ３１３は、当該映像再生装置１００が副映像を出力できる機能を具備しているか否かを示すフラグ情報である。副映像出力有無フラグ３１３は、設定可能項目として、「ＯＮ／ＯＦＦ」である。本実施の形態では、映像音声性能設定値３０２が、「ＯＮ」に設定されているものとして説明を進める。副映像出力有無フラグ３１３がＯＦＦの場合には、放送映像に重畳した字幕映像およびグラフィックの表示ができないことを示すため、放送波に関連付けられた番組付加情報の副映像付加情報５１１が存在したとしても、取得しないように制御できるため、不要な通信を行うことがないよう制御できる。

副音声出力有無フラグ３１４は、当該映像再生装置１００が副音声を出力できる機能を具備しているか否かを示すフラグ情報である。副音声出力有無フラグ３１４は、設定可能項目として、「ＯＮ／ＯＦＦ」である。本実施の形態では、映像音声性能設定値３０２が、「ＯＮ」に設定されているものとして説明を進める。副音声出力有無フラグ３１４がＯＦＦの場合には、放送映像に重畳した副音声情報の音声出力ができないことを示すため、放送波に関連付けられた番組付加情報の副音声付加情報５１２が存在したとしても、取得しないように制御できるため、不要な通信を行うことがないよう制御できる。

副映像出力情報３１５は、当該映像再生装置１００が副映像を出力できる場合に、副映像表示に関する表示情報の有無を示す。副映像出力情報３１５は、設定可能項目として、「有／無」である。本実施の形態では、映像音声性能設定値３０２が、「有」に設定されているものとして説明を進める。副映像出力情報３１５を有する場合、例えば副映像プレーンで表示可能な色域範囲、色域調整機能有無、輝度深度、ＨＤＲ対応有無、表示可能な副映像プレーン数、スケーリング可否、および副映像表示更新速度情報などがあることを示す。

副音声出力情報３１６は、当該映像再生装置１００が副音声を出力できる場合に、副音声再生に関する出力情報の有無を示す。副音声出力情報３１６は、設定可能項目として、「有／無」である。本実施の形態では、映像音声性能設定値３０２が、「有」に設定されているものとして説明を進める。副音声出力情報３１６を有する場合、例えば最大音量レベルおよび主副音声の音量レベル調整機能の有無などがあることを示す。

なお、映像音声性能ポリシー１４１は、あらかじめ固定値として決定することができる情報であるため、メモリ部１２０内に保持せず、映像再生装置１００自身のファームウェアであるプログラム上に情報を記録しておいてもよい。

図４は、映像表示部１１５への表示画面例とプレーン構造の説明図である。表示画面はプレーン構造を採用しており、主映像が再生される主映像プレーン４０１と、主映像プレーン４０１の前面に配置されかつ副映像が再生される副映像プレーン４０２とを有する。主映像プレーン４０１および副映像プレーン４０２を重畳表示することで、映像表示部１１５への出力映像４００となる。

なお、主映像プレーン４０１の解像度と副映像プレーン４０２の解像度は異なっていてもよい。本実施の形態では、主映像プレーン４０１は８Ｋ解像度（７６８０×４３２０ピクセル）、副映像プレーン４０２は４Ｋ解像度（３８４０×２１６０ピクセル）であるものとして説明を進める。このように主映像プレーン４０１と副映像プレーン４０２の解像度が異なっている場合には、通信伝送路から取得する番組付加情報の副映像付加情報５１１は、副映像プレーン４０２に表示されるため、４Ｋ解像度（３８４０×２１６０ピクセル）の副映像付加情報５１１が取得される。

次に、放送通信連携について説明する。図５は、放送通信連携の概念図である。これからの放送規格では、放送伝送路と通信伝送路とを同様に取り扱うことができる。図５は、放送伝送路と通信伝送路の両方のデータを用いるサービスの構成例を示している。

放送波の物理チャンネル５００には、映像アセット５０１、音声＃１アセット５０２、字幕＃１アセット５０３、および字幕＃２アセット５０４が含まれる。放送伝送路のみでサービス（チャンネル）を選択すれば、物理チャンネル５００に含まれるアセットだけが視聴できる。

また、通信伝送路から、当該サービス（チャンネル）に対応した番組付加情報を取得することができる。本実施の形態では、通信伝送路から副映像付加情報アセット５１１（以下、「副映像付加情報５１１」ともいう）および副音声付加情報アセット５１２（以下、「副音声付加情報５１２」ともいう）を取得できる。これらの情報は放送波の物理チャンネル５００に紐づけられた情報であり、放送波の映像と同期して再生が行なわれる。なお、副映像付加情報アセット５１１および副音声付加情報アセット５１２で伝送される情報量が小さい場合には、データ放送のようにカルーセル巡回データ形式で伝送されても構わない。この場合にこれらの情報は、ＩＰデータフロー５１０として伝送される。

視聴者が、あるイベント（番組）５２０を選択すると、図５の鎖線で囲まれたデータを取得し、映像再生装置１００内で時刻同期がとられて放送伝送路と通信伝送路の情報が組み合わされ、映像表示部１１５でイベント（番組）を視聴することができる。

本実施の形態では、通信伝送路上から、視聴者の国籍に合わせた言語設定がなされ、かつ映像再生装置１００で表示可能な適切な解像度の番組付加情報を取得する例として説明を行う。例えば、日本の放送番組を受信している場合には、放送波として音声（＃１）５０２は日本語音声、字幕（＃１）５０３は日本語字幕、字幕（＃２）は英語字幕などが一般に用いられている。ここで視聴者がフランス人である場合、放送通信路にはフランス語の字幕および音声は含まれていないため、放送がどのような内容かを理解することは困難である。

そこで、通信伝送路上に、複数言語の番組付加情報を用意しておき、映像再生装置１００は視聴者情報１４０を参照し、操作者（視聴者）の国籍がフランスであると判断すると、複数言語の番組付加情報の中からフランス語が言語設定されている副映像付加情報アセット５１１および副音声付加情報アセット５１２を取得するよう制御する。

また、副映像付加情報５１１を取得するにあたり、通信伝送路上には様々な解像度の副映像付加情報５１１が用意されているものとする。映像再生装置１００は、自身の副映像プレーン４０２の解像度で表現可能な最大の解像度を持った副映像付加情報５１１を選択して取得する。このように構成することで、副映像プレーン４０２が４Ｋ解像度までしか表現できない状態で、８Ｋ解像度の副映像付加情報５１１を取得するなど、無駄なデータを通信することを防ぐことができ、通信負荷およびＣＰＵ負荷を抑えることができる。

次に、放送番組の映像ストリームのデータ構造について説明する。図６は、放送番組の映像ストリームのデータ構造の説明図であり、ストリーム制御部１１０でデマルチプレクスすることで生成される符号化圧縮された映像ストリーム６００のデータ構造を示す図である。

図６に示すように、映像ストリーム６００は、符号化圧縮単位となるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）６０１単位で情報圧縮される。ＧＯＰ６０１は、フレーム内でデータ圧縮されたＩピクチャ６１０と、時間的に前方向のＩピクチャによる動き補償を加えてデータ圧縮されたＰピクチャ６１１と、時間的に前後方向のＩピクチャ６１０またはＰピクチャ６１１による動き補償を加えてデータ圧縮されたＢピクチャ６１２から構成されている。符号化圧縮は、例えば約０．５秒の再生時間ごとに行われている。

Ｉピクチャ６１０はＧＯＰ６０１の先頭に位置しており、ＧＯＰ６０１の中で最初にデコードされる。また、Ｉピクチャ６１０は、表示時刻情報６２０、映像属性情報６３０、および符号化映像データ６４０（スライス６４１）から構成されている。

表示時刻情報６２０は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が付与されており、映像表示部１１５への提示時間情報が記録される。なお、表示時刻情報６２０は、映像および音声が同期可能な時刻情報であればよく、ＰＴＳではなくＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）で定義される時刻情報でも構わない。

映像属性情報６３０は、ＡＵＤ（Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ）６３１、ＳＰＳ６３２、およびＰＰＳ６３３から構成されている。ＡＵＤ６３１は、映像のアクセスユニットの先頭を示す識別子情報を示しているとともに、当該アクセスユニットに含まれるスライスの種類を示す情報を有している。また、ＳＰＳ（Ｓｙｓｔｅｍ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）６３２には、ＧＯＰ６０１全体の符号化に関わるプロファイル、レベル、解像度、フレームレート、およびビットレート上限値などの情報が記録される。ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）６３３は、ピクチャ全体の符号化に関わる情報を持ち、ＰＰＳ６３３には、エントロピー符号化モードおよびピクチャ単位の量子化パラメータ等の情報が記録される。

なお、図６に示すように、Ｉピクチャ６１０以外のＰピクチャ６１１およびＢピクチャ６１２はＳＰＳ６３２を含んでいない。

次に、副映像付加情報５１１の内部データ構造について説明する。図７は、副映像付加情報５１１の内部データ構造の説明図である。副映像付加情報５１１は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）７００として記録される。ＳＥＩ７００は、ピクチャ単位で副映像付加情報５１１が記録されている複数のピクチャ差分７１０から構成されている。ピクチャ差分７１０は、表示時刻情報７２０、国コード７３０、緊急度情報７４０、副映像属性情報７５０、および副映像グラフィックス情報７６０から構成されている。

表示時刻情報７２０は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が付与されており、映像表示部１１５への提示時間情報が記録される。なお、表示時刻情報７２０は、映像および音声が同期可能な時刻情報であればよく、ＰＴＳではなくＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）で定義される時刻情報でも構わない。この表示時刻情報７２０は副映像付加情報５１１の再生タイミングを規定しており、映像アセット５０１と同じタイムスタンプを設定することで、主映像と副映像の同期再生が行われる。

なお、当該副映像付加情報５１１が、地震または津波などの緊急速報を示す画像情報である場合、必ずしも主映像に同期させる必要がない。その場合は表示時刻情報７２０として、時刻情報を持つのではなく、“非同期”を示す識別子を持たせることで、主映像と時刻同期させることなく、当該ピクチャ差分７１０をフレーム毎に順次表示させるように構成しても構わない。

国コード７３０は、当該ＳＥＩ７００の情報の言語設定値をコード化したものである。国コード７３０は、例えばＩＳＯ６３９で定義されている言語コードを示し、日本語の場合「ＪＰＮ」のような３文字の英語表記で表わされる。

緊急度情報７４０は、当該副映像付加情報５１１の表示緊急度を示す。緊急度情報７４０として、例えば１から５までの数字が割り振られ、数字が大きいほど緊急度が高いことを示す。なお、本実施の形態では、このように緊急度情報７４０は５段階に分類された例を示すが、さらに細分化したり、さらに数値範囲を統合したりしていても構わない。

副映像属性情報７５０には、当該副映像の解像度、文字サイズ、色域、ＨＤＲ有無、色域変換テーブル、輝度深度、漢字使用レベル、描画更新速度、および符号化圧縮方式などの情報が記録される。

副映像グラフィックス情報７６０は、符号化圧縮された副映像の画像情報である。当該副映像画像は、副映像デコーダ部１１３で復号化処理され、副映像プレーン４０２に表示される。

次に、副音声付加情報５１２の内部データ構造について説明する。図８は、副音声付加情報５１２の内部データ構造の説明図である。副音声付加情報５１２は、副映像付加情報５１１と同様に、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）７００として記録する。なお、副映像付加情報５１１の場合と同様の意味を持つデータは同じ符号を付し、説明を省略する。

ＳＥＩ７００は、副音声付加情報５１２を記録しており、複数のアクセスユニット８１０から構成される。アクセスユニット８１０は、例えば３３ミリ秒などの所定時間幅を持つ符号化圧縮された音声情報であり、表示時刻情報７２０、国コード７３０、緊急度情報７４０、副音声属性情報８５０、および副音声情報８６０から構成されている。

副音声属性情報８５０には、最大音声レベル、音声周波数、主副音声レベル調整可否、および符号化圧縮方法などの情報が記録される。

副音声情報８６０は、符号化圧縮情報であり、当該副音声情報８６０は副音声デコーダ部１１４で復号化処理され、音声出力部１１６に出力される。

次に、番組付加情報の取得手順について説明する。図９は、番組付加情報の取得手順を示すフローチャートである。

まず、ストリーム制御部１１０が放送番組をデマルチプレクスする際に、放送ストリーム解析制御部１５１は、放送ストリームを解析することで、当該放送に係る通信伝送路からの番組付加情報の有無を確認する（ステップＳ１０１）。番組付加情報がない場合は（ステップＳ１０１においてＮＯ）、映像再生装置１００は、ステップＳ１０２に遷移して、通常の放送映像を再生する。

他方、番組付加情報がある場合（ステップＳ１０１においてＹＥＳ）、放送ストリーム解析制御部１５１は、メモリ部１２０に保持されている映像音声性能ポリシー１４１を取得し（ステップＳ１０３）、その後視聴者情報１４０を取得する（ステップＳ１０４）。

放送ストリーム解析制御部１５１は、映像音声性能ポリシー１４１から、副映像プレーンで表現可能な解像度情報である表示可能解像度（副映像）３１１と、色域範囲、色域調整機能の有無、輝度深度、ＨＤＲ対応の有無、副映像プレーン数、スケーリング可否、および副映像表示更新速度情報などの副映像出力情報３１５とを取得する。また、放送ストリーム解析制御部１５１は、副音声の最大音量レベル、および主副音声の音量レベル調整機能の有無などの副音声出力情報３１６を取得する。これらの情報によって、通信伝送路上に副映像性能情報または副音声性能情報が異なる同一コンテンツの番組付加情報があった場合には、映像再生装置１００の表現可能な範囲内で最小の情報量を持つ番組付加情報を取得することができる。一例として、副映像プレーン４０２が４Ｋ解像度までしか対応していなければ、放送ストリーム解析制御部１５１は、４Ｋ解像度用の副映像付加情報５１１を取得する。

また、放送ストリーム解析制御部１５１は、視聴者情報１４０から、操作者の国籍および年齢情報を取得する。これらの情報によって、通信伝送路上に表示言語、文字サイズ、字幕更新速度、漢字使用レベル、文字表示色、音声言語、または音声速度が異なる同一コンテンツの番組付加情報があった場合には、当該映像再生装置１００が視聴者にとって好適な副映像付加情報５１１を選択取得することができる。映像再生装置１００は、一例として、視聴者の国籍がフランス、かつ年齢が子供であった場合、表示言語はフランス語、文字サイズが大きく、字幕更新速度がゆっくり、かつ文字表示色の輝度が抑え目になるような副映像付加情報５１１を取得する。他にも国籍が日本、かつ年齢が子供であった場合などは、漢字の使用を抑えた字幕表示を行うよう映像再生装置１００を制御してもよい。

その後、放送ストリーム解析制御部１５１からの指示で、ストリーム制御部１１０は、通信伝送路からかつ映像再生装置１００の表現可能な範囲内、かつ視聴者にとって好適な番組付加情報を取得する（ステップＳ１０５）。すなわち、ストリーム制御部１１０は、視聴者情報１４０と映像音声性能ポリシー１４１とに基づいて番組付加情報を取得する。その際、放送番組全体の番組付加情報を取得しても構わないし、現在視聴している放送番組の表示時刻情報以降の番組付加情報を取得しても構わない。このように構成することで、余分な情報を取得しないようにすることができるため、さらに通信量を削減することができる。

本実施の形態では、放送番組の表示時刻情報以降を取得しないよう構成しているが、その際には映像再生装置１００の映像音声再生時、通信時のバッファリング時間、または後続データが安定処理できるようにあらかじめ決められた閾値よりも前の時刻情報から番組付加情報を取得しても構わない。このようにして番組付加情報を取得した後は、放送映像と同期して当該番組付加情報の副映像付加情報５１１を組み合わせた放送映像が再生される（ステップＳ１０６）。

次に、番組付加情報の加工調整手順について説明する。図１０は、番組付加情報の加工調整手順を示すフローチャートである。このフローチャートでは、通信伝送路から取得した番組付加情報をそのまま表示するのではなく、視聴者に応じた映像音声加工調整を行う。

まず、映像デコーダ部１１１は符号化圧縮された映像を復号化する（ステップＳ２０１）。その後、システム制御部１０１からの指示のもと、副映像デコーダ部１１３および副音声デコーダ部１１４は、通信伝送路から取得した番組付加情報について、映像デコーダ部１１１で復号化する映像ピクチャに対するＰＴＳ（表示時刻）と同一のＰＴＳを持つ副映像付加情報５１１、または副音声付加情報５１２を特定し再生する（ステップＳ２０２）。その後、映像音声加工制御部１５３は、メモリ部１２０に保持している視聴者情報１４０を取得する（ステップＳ２０３）。

映像音声加工制御部１５３からの指示のもと、映像加工調整部１１７は、当該視聴者情報１４０に基づいて映像加工または画質調整を行う（ステップＳ２０４）。具体的な加工調整方法について、いくつかの具体例を挙げて説明を行う。例えば、視聴者情報１４０の年齢が子供である場合には、目の発達の未熟であるため、高輝度部分を抑えたり、点滅または鮮明な画像を少し抑えるなどしたりして行う。また、副映像が字幕情報であった場合には、文字を大きくしたり、更新速度を遅くしたりするなどの制御が行われる。また、年齢に合わせた漢字レベル以上の文字をひらがなに変換することで読みやすくするなどの制御が行われる。逆に視聴者情報１４０の年齢が年配であった場合には、年齢とともに目の水晶体が黄色くなり純粋な色が知覚することができなくなるため、色補正をかけることで自然に近い色を表現してもよい。

他の具体例として、視聴者情報１４０の国籍がヨーロッパ系であった場合、赤の見分けにくい特性を持つ。そのため赤成分を鮮明にすることで、自然色に近い色認識を行うことができる。また、国籍が米国である場合、赤または黄色のソリッドカラーが好まれる。そのため、映像加工調整部１１７は、字幕色も赤または黄色成分を強くするよう調整することで、国籍で好まれる色成分で副映像表示を行うことができる。

なお、緊急度情報７４０を参照し緊急性が高いと判定された場合、映像加工調整部１１７は、副映像付加情報５１１の高輝度、かつ注意をひくような色設定を行う。また、映像加工調整部１１７は、副映像付加情報５１１の文字サイズを大きくするように調整しても構わない。

また、映像音声加工制御部１５３からの指示のもと、音声加工調整部１１８は、当該視聴者情報１４０に基づいて、音声加工または音質調整を行う（ステップＳ２０５）。また、副映像の場合と同様に、緊急度情報７４０を参照し緊急性が高いと判定された場合、音声加工調整部１１８は、副音声の音量レベルを上げるとともに、主音声の音量レベルを下げるように調整してもよい。

なお、映像音声性能ポリシー１４１にて副音声出力有無フラグ３１４がＯＦＦに設定されていた場合は、副音声付加情報５１２を字幕のような副映像付加情報５１１に変換してもよい。逆に映像音声性能ポリシー１４１にて副映像出力有無フラグ３１３がＯＦＦに設定されていた場合は、字幕のような副映像付加情報５１１を副音声付加情報５１２に変換してもよい。

また、映像音声性能ポリシー１４１のＰＶフラグ３１２がＯＮに設定、かつ副映像出力情報３１５として複数の副映像プレーン４０２が存在する場合は、複数言語の副映像付加情報５１１を同時に表示するなど行ってもよい。

以上のように、実施の形態に係る映像再生装置１００では、情報取得部は、映像再生装置１００を操作している視聴者の属性情報を示す視聴者情報１４０と、映像再生装置１００の映像音声出力性能を示す映像音声性能ポリシー１４１とを取得し、ストリーム制御部１１０は、視聴者情報１４０と映像音声性能ポリシー１４１とに基づいて、放送番組に関する番組付加情報を通信伝送路から取得する。副映像デコーダ部１１３は、放送番組と時刻同期して番組付加情報を再生し副映像信号として出力し、映像加工調整部１１７は、放送番組に係る映像信号と副映像信号とを重畳し、かつ、視聴者情報１４０に基づいて、副映像信号の映像加工または画質調整を行う。このように、視聴者に合わせて番組付加情報を映像加工または画質調整することで、視聴者にとって好適な情報提供を行うことができる。

また、通信伝送路から視聴者および映像再生装置１００の性能に合った番組付加情報を選択的に取得できるため、例えば視聴者の国籍に応じた番組付加情報だけを選択的に取得することができる。また、映像再生装置１００の表現可能な解像度、色空間および輝度深度などを考慮した番組付加情報を取得できるため、不必要な通信情報量を削減できるといった効果を奏する。

視聴者情報は視聴者の国籍を示す情報であるため、視聴者に適した個別の字幕言語または音声言語の情報を通信伝送路から適宜取得できる。これにより、視聴者にとって好適な情報提供を行うことができる。また、全ての情報を放送波に載せなくてもよく、通信情報量を節約することができる。

また、映像再生装置１００の副映像プレーンの解像度に合わせて、副映像付加情報５１１を取得できるため、不要な情報を通信しなくてもよい。また、通信伝送路から番組付加情報を取得する際には、映像再生装置１００が表現可能な最小サイズの番組付加情報を取得できるため、無駄な通信を行うことがなく、通信負荷およびＣＰＵ負荷を抑えることができる。

視聴者情報は視聴者の年齢を示す情報であるため、例えば、視聴者の年齢が子供であった場合、文字サイズが大きく、字幕更新速度がゆっくり、かつ文字表示色の輝度が抑えめになるような副映像付加情報５１１を取得することができる。これにより、視聴者にとって好適な情報提供を行うことができる。

番組付加情報は緊急放送レベル情報を含み、映像加工調整部１１７は、さらに緊急放送レベル情報に基づいて、副映像信号の映像加工または画質調整を行うため、緊急度に応じて情報提供表示内容を変更することができる。

また、本発明は、映像再生装置１００が備える特徴的な構成部の動作をステップとする映像再生方法として実現してもよい。また、本発明は、そのような映像再生方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

上記実施の形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施の形態で用いた各数値に制限されない。

また、本発明に係る映像再生方法は、図９と図１０の処理の一部またはすべてに相当する。図９と図１０における、対応する全てのステップを必ずしも含む必要はない。すなわち、本発明に係る映像再生方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。

また、映像再生方法における各ステップの実行される順序は、本発明を具体的に説明するための一例であり、上記以外の順序であってもよい。また、映像再生方法におけるステップの一部と、他のステップとは、互いに独立して並列に実行されてもよい。

また、映像再生装置１００の各構成要素の一部は典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。例えば、システム制御部１０１は、集積回路として実現されてもよい。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

１００ 映像再生装置、１１０ ストリーム制御部、１１３ 副映像デコーダ部、１１７ 映像加工調整部。

Claims (8)

1. 放送伝送路から受信した放送番組を再生可能な映像再生装置であって、
   前記映像再生装置を操作している視聴者の属性情報を示す視聴者情報と、前記映像再生装置の映像音声出力性能を示す映像音声性能ポリシーとを取得する情報取得部と、
   前記視聴者情報と前記映像音声性能ポリシーとに基づいて、前記放送番組に関する番組付加情報を通信伝送路から取得するストリーム制御部と、
   前記放送番組と時刻同期して前記番組付加情報を再生し副映像信号として出力する副映像デコーダ部と、
   前記放送番組に係る映像信号と前記副映像信号とを重畳し、かつ、前記視聴者情報に基づいて、前記副映像信号の映像加工または画質調整を行う映像加工調整部と、
   を備える、映像再生装置。
2. 請求項１記載の映像再生装置であって、
   前記視聴者情報は前記視聴者の国籍を示す情報である、映像再生装置。
3. 請求項１記載の映像再生装置であって、
   前記視聴者情報は前記視聴者の年齢を示す情報である、映像再生装置。
4. 請求項１から３のいずれか１つに記載の映像再生装置であって、
   前記番組付加情報は緊急放送レベル情報を含み、
   前記映像加工調整部は、さらに前記緊急放送レベル情報に基づいて、前記副映像信号の映像加工または画質調整を行う、映像再生装置。
5. 放送伝送路から受信した放送番組を再生可能な映像再生方法であって、
   （ａ）視聴者の属性情報を示す視聴者情報と、映像音声出力性能を示す映像音声性能ポリシーとを取得するステップと、
   （ｂ）前記視聴者情報と前記映像音声性能ポリシーとに基づいて、前記放送番組に関する番組付加情報を通信伝送路から取得するステップと、
   （ｃ）前記放送番組と時刻同期して前記番組付加情報を再生し副映像信号として出力するステップと、
   （ｄ）前記放送番組に係る映像信号と前記副映像信号とを重畳し、かつ、前記視聴者情報に基づいて、前記副映像信号の映像加工または画質調整を行うステップと、
   を備える、映像再生方法。
6. 請求項５記載の映像再生方法であって、
   前記視聴者情報は前記視聴者の国籍を示す情報である、映像再生方法。
7. 請求項５記載の映像再生方法であって、
   前記視聴者情報は前記視聴者の年齢を示す情報である、映像再生方法。
8. 請求項５から７のいずれか１つに記載の映像再生方法であって、
   前記番組付加情報は緊急放送レベル情報を含み、
   前記ステップ（ｄ）は、さらに前記緊急放送レベル情報に基づいて、前記副映像信号の映像加工または画質調整を行うステップである、映像再生方法。