JP2009116421A - 映像再生装置 - Google Patents

Abstract

【課題】データ放送等の技術と超解像処理技術とを組み合わせた技術において、処理負荷等の増加を抑えつつ、高画質の映像等を提供する。
【解決手段】本映像再生装置１０は、複数の素材から構成される映像データ１を入力する入力部１０１と、各素材のデータを、表示画面に対応する１つの映像データ２へ合成する合成部１０２と、映像データ２に対する超解像処理を行う超解像処理部１０４と、合成後の映像データ２に対する超解像処理の適用を、当該映像の画面内の領域ごとに切り替え制御する制御部２０と、処理後の映像データ３を、表示装置３０へ出力する出力部１０６と、を有する。制御部２０は、例えば、画面内の領域のうち特定の領域に対して超解像処理を適用するように制御する。
【選択図】図１

Description

本発明は、映像を再生する機能を備える映像再生装置（動画表示装置）に関し、特に、超解像表示技術に関する。

高品質の映像（動画像）を得るための画像処理技術として、公知の超解像処理（超解像表示、あるいは単に超解像などとも称する）の技術がある。超解像処理技術については、例えば特開平８−３３６０４６号公報（特許文献１）に記載されている。

超解像処理技術とは、簡単に言えば、動画における複数の画像（例えば３つのフレーム）から、それらの解像度よりも高解像度の１つの画像（例えば縦横２倍の解像度のフレーム）を生成する技術である。超解像処理の一般的な動作原理としては、以下である。動画における複数のフレーム（そのうちの被写体（動く部分））を正確に位置合わせして１枚の画像に合成する。これは、フレーム間の動きベクトル情報を用いる。画素の微小な位置ずれ（位相差）を利用して、高精細化を実現するものである。例えば、動画における時間的に連続する４つのフレーム（ｆ１〜ｆ４）が存在し、その４番目のフレーム（現在フレーム）ｆ４に対して超解像を適用して高解像度のフレームｆ４’を得る場合を考える。この場合、超解像処理に必要なフレーム数が３である場合（現在フレームｆ４に対して過去２フレームｆ２，ｆ３を用いる場合）には、２番目〜４番目のフレームｆ２〜ｆ４の画像（画素群）データを使用して、超解像処理を施す。なお、超解像処理では、フレーム間の画素の位置ずれを利用するので、動きが無い場合には効果が無い。また、従来、超解像処理は、動画データ（フレーム）単位での処理である。

また、映像等のデジタルデータ放送（通信、コンテンツ配信など）の技術として、例えば、地上デジタル放送、及びＢＳ（放送衛星）放送／ＣＳ（通信衛星）放送などがある。上記放送を視聴するためのデジタル受信機（映像再生装置）が備える映像表示機能は以下の通りである。上記データ放送及び映像表示の規格（形式）において、画面全体は、動画プレーン、静止画プレーン、文字図形プレーン、字幕プレーン（及び動画・静止画切替プレーン（制御用プレーン））といった、少なくとも４種類（制御用プレーンを含め５種類）のプレーンにより構成される。動画プレーンは、ビデオデコーダで復号化された動画像を表示するプレーンであり、静止画プレーンは、データ放送で静止画を表示するためのプレーンであり、文字図形プレーンは、データ放送で使用する文字情報や図形情報を表示するためのプレーンであり、字幕プレーンは、字幕・文字スーパーを表示するためのプレーンである。動画プレーンは、一般に毎秒２９．９７フレームの速度で更新される。その一方、それ以外のプレーンは、早くても数秒単位で更新されることが殆どである。上記各プレーンをスケーリングして合成（混合）した画像（データ）が出力され、このデータが表示装置で表示（再生）される。

また、表示画面で、動画領域内にもう１つ動画領域を重ねて表示するような場合（いわゆるＰinＰ（ピクチャ・イン・ピクチャ）表示）がある。例えば表示画面全体を第１の動画表示領域とし、その領域内の一部に、当該動画または別の動画を縮小した動画等を表示する第２の動画表示領域を配置する場合等である。例えば、２つのデジタルテレビの動画を表示する場合、テレビ会議システム等で２つの動画を表示する場合などがある。
特開平８−３３６０４６号公報

前記データ放送等のシステムに対し、前記超解像処理技術を適用して、高品質の表示映像（高解像度の動画）等を提供することが考えられる。しかしながら、前記従来技術（超解像処理、データ放送）及び単なるその組み合わせの技術では、以下のような問題点がある。

通常のデータ放送の表示（再生）では、映像再生装置の表示画面（最大領域）において、動画像を縮小させて表示し、それ以外の領域に、静止画、文字図形等を表示させる。その際、全体のうち大部分の領域では動きが無いので、その箇所も含めて表示全体イメージに対して超解像処理を適用すると、不必要な処理により処理量（処理負荷等）が増加してしまい、また消費電力が増加してしまう。

通常のＴＶサービス、ワンセグサービス、どちらも動画領域とそれ以外の領域（動きの無いまたは少ない領域）とのレイアウトが異なるが、上記問題点は共通である。

また、前記ＰinＰ表示に対して超解像処理を適用する場合、ＰinＰ表示の動画データに対し、従来にならって単に表示画面全体の動画データ単位に対して超解像処理を適用しても、全体の中の小さいサイズ等の動画領域では、高解像度化の効果はあまり得られない。またその領域の分、不必要な処理により処理量が増加してしまい、また消費電力が増加してしまう。

本発明は以上のような問題に鑑みてなされたものであり、その主な目的は、デジタルデータ放送等の技術と超解像処理技術とを組み合わせた技術において、処理負荷や消費電力の増加を抑えつつ、高画質の映像等を提供することができる技術を提供することである。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。前記目的を達成するために、本発明の代表的な実施の形態は、デジタルデータ放送等の映像データ再生の技術と超解像処理技術とを組み合わせた映像再生装置等の技術であって、以下のような構成を有することを特徴とする。

本形態では、データ放送等の映像再生装置での映像再生処理において、再生対象の映像データを受信し、当該映像データを構成する、複数の映像等の素材（前記各プレーン等のデータ）から、１つの映像データ（表示装置への表示出力データ）へと合成して映像表示を行うが、その際、合成した後の映像データに対して、超解像処理の適用（オン）／非適用（オフ）の制御（指定）のための情報をもとに、表示画面（最大領域）内の領域ごと（これら各領域は素材（プレーン）の違いと関係している）に、超解像処理の適用／非適用を切り替えるように制御する。

例えば、データ放送の映像再生装置の場合、動画プレーン（動きの有るまたは多い領域）の映像（データ）が表示される領域に対しては、超解像処理を適用（実行）し、それ以外のプレーン（動きの無いまたは少ない領域）の映像（データ）が表示される領域に対しては、超解像処理を非適用（非実行）、というように切り替え制御する。

また他の構成例として、本装置は、ＰinＰ表示などにより２つの動画を１つの画面または領域内に表示する際、縮小表示させる等の動画の領域（元の解像度よりも小さくして表示する領域）あるいはサイズが小さい動画の領域に対しては、超解像処理を適用しない、というように制御する。

また、上記制御のための情報（領域情報）は、例えば、受信したストリームを解析して抽出した情報より、例えば、メタデータ、ヘッダ情報等の形で、構成することができる。

また、本装置は、上記制御に従い超解像処理の非適用（オフ）の動作モード時には、超解像処理の専用回路を停止させることにより、低消費電力を実現する。

例えば、本映像再生装置は、複数の素材のデータから構成される映像データを入力する入力部と、前記入力の映像データの各素材のデータを、表示画面に対応する１つのまとまりの映像データへ合成する合成部と、前記映像データに対し、元の解像度の画像よりも高い解像度の画像を生成する超解像処理を行う超解像処理部と、前記合成後の映像データに対する前記超解像処理部による超解像処理の適用を、当該映像の画面内の領域ごとに切り替え制御する制御部と、前記超解像処理を適用または非適用した前記映像データを、表示装置へ出力して表示させる出力部と、を有し、前記制御部は、前記画面内の領域のうち特定の領域に対して前記超解像処理を適用するように制御すること、を特徴とする。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。本発明の代表的な実施の形態によれば、デジタルデータ放送等の技術と超解像処理技術とを組み合わせた技術において、処理負荷や消費電力の増加を抑えつつ、高画質の映像等を提供することができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。図１〜図８を用いて、本発明の一実施の形態の映像再生装置及びシステムについて説明する。

＜映像再生装置＞
図１において、本映像再生装置１０及びシステムにおける主要部のブロック構成を示している。本システムにおいて、映像再生装置１０には、表示装置３０が外部接続されている。映像再生装置１０は、映像（動画像）その他を再生（表示）するための処理・制御を行う装置であり、例えば、デジタルデータ放送による映像の受信機能を備える装置である。表示装置３０は、映像再生装置１０からの入力データをもとに、画面に映像を表示する。

映像再生装置１０は、入力部１０１、合成部１０２、切り替え部１０３、超解像処理部１０４、遅延部１０５、出力部１０６、及び制御部２０等の処理部を備える。また、処理データとして、入力（合成前）の映像データ１、合成後の映像データ２、出力（超解像処理後）の映像データ３等を有する。また、制御系の情報として、メタデータ４、領域情報５等を有する。

なお、映像再生装置１０は、表示装置３０を含んで構成されてもよい。例えば、出力部１０６が表示装置３０であってもよい。

入力部１０１は、外部から映像データ１を入力する処理、例えば無線受信処理、デコード処理等を行う。入力データである映像データ１は、第１の映像データ１−１〜第ｍの映像データ１−ｍといった複数（ｍ）のデータ（素材）から構成されている。

合成部１０２は、入力された複数の映像データ１−１〜１−ｍを、１つのまとまりの映像データ２へと合成する処理を行う。この合成処理は、例えば、映像データ１の各データ（素材）の大きさを合わせるスケーリング処理等を含む。

合成後の映像データ２は、メタデータ４と関係付けられている。例えば、映像データ２内部またはその直前に、ヘッダ情報として、メタデータ４を含んでいる。メタデータ４は、映像データ２の構成（合成内容等）を表す情報を含んでいる。メタデータ４は、合成部１０２で作成されるか、あるいは、入力の映像データ１にメタデータ４相当を含んでいる場合はそれを用いることができる。

切り替え部１０３は、合成後の映像データ２を入力し、その後段の超解像処理部１０４または遅延部１０５への出力を切り替える。

超解像処理部１０４は、入力の映像データ２に対する超解像処理を実行する。即ち、入力の映像データ２のフレーム群から、当該フレームの解像度よりも高い解像度を持つフレームを生成する処理を行う。また、遅延部１０５は、入力の映像データ２を一時的に保持してから、そのまま出力するメモリ等である。遅延部１０５は、遅延により超解像処理部１０４の処理とのタイミングを合わせるために用いる。

切り替え部１０３、超解像処理部１０４、及び遅延部１０５は、上位の制御部２０により、切り替えのタイミング及び対象データ等が制御される。

超解像処理部１０４から出力される所定処理後のデータ、または遅延部１０５から出力されるデータ、からなる映像データ３は、出力部１０６へ入力される。出力部１０６は、映像データ３を、表示装置３０へ出力する処理を行う。これにより実際に表示装置３０の画面で映像を表示させる。

なお、本構成として、処理部（各機能）が回路によりハードウェアで実装される場合、例えば、切り替え部１０３は、スイッチ回路等であり、超解像処理部１０４は、専用処理回路であり、遅延部１０５は、メモリ回路等である。また、本構成として、プログラム制御によりソフトウェアで実現される場合、例えば、超解像処理部１０４は、プロセッサによるメモリ上の制御プログラム実行による超解像処理（メモリ上の映像データに対する処理）であり、切り替え部１０３は、その超解像処理に対する切り替え制御処理であり、タイミングを合わせるための遅延部１０５は必要無い。

また、本装置１０は、超解像表示処理の制御のための特徴的な処理を行う制御部（超解像制御部）２０を備える。本制御は、画面に表示する映像（映像データ）の領域ごとに超解像処理の適用（実行）を切り替える制御である。制御部２０は、合成後の映像データ２と関連付けられるメタデータ４を入力または参照する。そして、制御部２０は、メタデータ４に基づき、当該映像データ２による映像の画面（最大領域）内の領域毎に超解像処理の適用のオンオフを切り替え制御するための情報である、領域情報５（超解像適用範囲情報）を生成する。そして、制御部２０は、領域情報５をもとに、切り替え部１０３、超解像処理部１０４、及び遅延部１０５等の動作を切り替え制御する。例えば、制御部２０から領域情報５に対応した切り替えタイミング及び処理対象領域を指定する制御信号を各部へ入力することにより制御する。

説明のために、入力部１０１及び合成部１０２を含む部分を、入力合成部４０と称する。

＜入力合成部＞
図２において、デジタルデータ放送の受信機能に対応する場合の映像再生装置１０における入力合成部４０の詳細な構成例を示している。本構成例において、入力合成部４０は、チューナ２０１、ＴＳデコーダ２０２、ビデオデコーダ２０３、文字図形・静止画デコーダ２０４、字幕デコーダ２０５、合成部２０６等を有する。また、処理データ等として、受信データ６、デジタルデータ放送の規格におけるプレーン形式のデータ７（ないしその制御情報）、ＢＭＬ文書８等を有する。

チューナ２０１は、無線処理により、データ放送の映像データの信号を受信する。受信データ６（ストリーム）は、ＴＳ（トランスポートストリーム）デコーダ２０２に入力され、デコード処理される。デコード処理は、各データ（素材）（映像データ１に対応する）への振り分け処理を含む。デコード処理により振り分け（分離）された各データ（素材）は、それぞれ対応するデコーダ等の処理部へ入力され、所定の形式のデータが生成される。

受信データに含まれるＢＭＬ文書８は、受信データから取り出された後、合成部２０６へ入力される。ビデオデコーダ２０３では、動画プレーン７Ａのデータが生成される。文字図形・静止画デコーダ２０４では、静止画プレーン７Ｂのデータと、文字図形プレーン７Ｃのデータとが生成される。字幕デコーダ２０５では、字幕プレーン７Ｄのデータが生成される。各プレーン（７Ａ〜７Ｄ）のデータは、合成部２０６に入力される。また、これら各プレーン（７Ａ〜７Ｄ）のデータ７と合わせて、制御用である動画・静止画切替プレーン７Ｅのデータが生成され、合成部２０６へ入力される。各プレーン（７Ａ〜７Ｅ）は、公知のデジタルデータ放送の規格に従ったものである。画面及びデータにおけるプレーンの重なりにおいて、動画・静止画切替プレーン７Ｅで指定された動画プレーン７Ａまたは静止画プレーン７Ｂが一番後ろ側で、後ろから前へ、文字図形プレーン７Ｃ、字幕プレーン７Ｄ、の順で重ねられる。

合成部２０６は、各プレーン（７Ａ〜７Ｄ，７Ｅ）のデータを入力し、画面に対応する１つのまとまりの映像データ（映像データ２に対応する）へと合成する。映像データ２の画面表示例は、後述の図４等に示される。

＜超解像処理＞
図３において、超解像処理部１０４による超解像処理（公知技術）の概念を示している。入力画像３００（映像データ１に対応する）において、時間（ｔ）方向に複数のフレーム（画像）を有する。入力画像３００内には、被写体（動き部）を有する。入力画像３００から処理対象の複数のフレームを取り出す（Ａ）。例えば第１の解像度を持つ第１のフレーム３０１及び第２のフレーム３０２を有する。四角や三角の点は、画素を示している。これらのフレーム間での動き部（被写体）に関して、位置合わせ処理（Ｂ）が行われる（処理後のフレーム３０３）。そして、画素の補間等による、高精細化処理（Ｃ）が行われる（処理後のフレーム３０４）。処理後のフレーム３０４は、元の第１の解像度のフレームよりも高い解像度（第２の解像度）を持つ。このようなフレーム３０４を時間軸で並べることにより（Ｄ）、元の入力画像３００よりも高い解像度を持つ超解像画像（映像データ３に対応する）３０５が得られる。

＜領域構成例＞
図４において、対象の映像データ２（映像データ３）における、表示装置３０の表示画面６０（及びそれに対応する最大（全体）の領域）における領域構成例を示している。なお、当該領域構成例は、画面６０に表示する前の映像データの段階での構成を考えている（実際の画面表示も同様になる）。また、領域の形状、サイズ、及び位置などは一例である。

図４（ａ）で、表示画面６０内において、右上の矩形の領域６１は、動画を表示する領域（動画プレーン７Ａに対応）であり、左上の矩形の領域６２は、静止画を表示する領域（静止画プレーン７Ｂに対応）であり、その下の領域６３は、文字図形を表示する領域（文字図形プレーン７Ｃに対応）であり、下辺側の領域６４は、字幕スーパーを表示する領域（字幕プレーン７Ｄに対応）である。各領域の背景は静止画（例えば黒色）の領域である。画面６０内の動画の領域６１とそれ以外の領域は、制御情報、例えば動画・静止画切替プレーン７Ｅにより、区別及び制御される。

図４（ｂ）では、他の例として、表示画面６０内において、画面６０全体と対応する静止画の領域９２上に、２つの矩形の動画（＃１，＃２）の領域（９１，９２）が別々に含まれている場合である。

図４（ｃ）では、他の例として、ＰinＰ表示の場合を示している。ＰinＰ表示時、画面６０のうち、画面６０全体と対応する大きな動画＃１の領域９４内に、小さな矩形の動画＃２の領域９５を重ねるようにして表示する場合である。ＰinＰ表示は、例えば、２つのデジタルテレビの動画を同時に表示する場合や、テレビ会議システム等で２つの動画を表示する場合などである。また、同じ動画の一方を縮小して重ねて表示する場合などもある。この場合、一方の動画＃１を例えば画面６０全体に表示させ、もう一方の動画＃２を縮小して表示させる。

＜メタデータ例＞
図５（ａ）において、ＢＭＬ文書８（メタデータ４）の内容記述例について示している。また、図５（ｂ）において、図５（ａ）の記述に対応する表示画面６０での領域構成例を示している。ＢＭＬ（ブロードキャスト・マークアップ言語）文書８は、前記メタデータ４に相当する、データ放送用記述言語形式のテキストデータである。ＢＭＬ形式については公知技術である。

静止画記述部８１では、表示画面６０の全領域を静止画（背景イメージ、例えばＪＰＥＧ形式）の領域７２として指定している。動画記述部８２では、画面６０における左上の矩形（座標：（０，０）−（３５９，２３９））を、動画（例えばＭＰＥＧ形式のビデオストリーム）の領域７１として指定している。文字図形記述部８３では、画面６０における動画の領域７１の下側の矩形（座標：（０，３００）−（２９４，５３５））を、文字図形（例えばＰＮＧ形式）の領域７３として指定している。

図６において、同様にメタデータ４の一例である、字幕プレーン７Ｄに関する制御情報データ（字幕領域指定情報８５）の例を、公知技術にならって示している。字幕領域指定情報８５は、映像データ２に関連付けられて、ＢＭＬ文書８とは別に、あるいはそれと統合された形で、提供される。

字幕領域指定情報８５において、図４（ａ）の領域６４のような字幕の領域の表示位置または表示サイズを指定する形式を示している。当該形式及び記述例は以下である。画面６０における字幕領域の表示位置を指定する場合において、ＣＳＩは、拡張制御符号（０ｘ９ｂ）、ｐ１１〜ｐ１ｉは、水平方向の座標（例：３６８の場合、０ｘ３３，０ｘ３６，０ｘ３８）、ｐ２１〜ｐ２ｊは、垂直方向の座標（例：２７０の場合、０ｘ３２，０ｘ３７，０ｘ３０）、Ｉ１は、中間文字（０ｘ３ｂ）、Ｉ２は、中間文字（０ｘ２０）、Ｆは、終端文字（０ｘ５ｆ）、である。同様に、表示サイズを指定する場合において、ＣＳＩは、拡張制御符号（０ｘ９ｂ）、ｐ１１〜ｐ１ｉは、水平方向のドット数（例：３６８の場合、０ｘ３３，０ｘ３６，０ｘ３８）、ｐ２１〜ｐ２ｊは、垂直方向のドット数（例：２７０の場合、０ｘ３２，０ｘ３７，０ｘ３０）、Ｉ１は、中間文字（０ｘ３ｂ）、Ｉ２は、中間文字（０ｘ２０）、Ｆは、終端文字（０ｘ５６）、である。

＜制御例＞
図７において、本映像再生装置１０の制御部２０による制御例として、表示データ（映像データ１，２，３）に対する超解像処理の適用の制御内容（制御条件）を示している。画面６０に対応する映像データ２（例：図４（ａ））の領域のうち、動きを含む動画の領域（例：領域６１）では、超解像処理部１０４による超解像処理を適用（オン：○印）する。それ以外の領域（例：領域６２，６３，６４を含む、領域６１以外の領域）では、超解像処理部１０４による超解像処理を非適用（オフ：×印）する。

制御部２０は、メタデータ４の参照または解析等により、上記制御内容に従う判定を行い、その結果、領域情報５を生成する。領域情報（超解像適用範囲情報）５は、例えば、画面６０に対応する領域のうち、図７の動画領域（超解像処理適用領域）に該当する領域を指定する座標情報、サイズ情報や、あるいは、適用オンオフの区分を示すビットマップデータ等である。

上記オフとした領域では、超解像処理部１０４による超解像処理が省略される（遅延部１０５を経由する）。これにより、全体の処理量及び負荷が低減される。

＜制御例（２）＞
図８（ａ）において、例えば前記図４（ｂ）の領域構成例に対する制御例（及び領域情報５例）を示している。この例では、表示画面６０全体で静止画の領域９３が指定されており、図７の制御に従い、当該領域９３に対する超解像処理を非適用（オフ）とする。そして、かつ、その全体の領域９３の中に含まれている２つの矩形の動画（＃１，＃２）の領域（９１，９２）に対する超解像処理を適用（オン）する。

＜制御例（３）＞
また、図８（ｂ）において、例えば前記図４（ｂ）同様で但しその動画と静止画の配置が逆な場合の領域構成例に対する制御例（及び領域情報５例）を示している。この例では、表示画面６０全体で動画が指定されており、図７の制御に従い、超解像処理を適用（オン）する。そして、その全体の領域の中に含まれている２つの矩形の静止画の領域に対する超解像処理を非適用（オフ）とする。

＜ＰinＰ表示時の制御例＞
また、図８（ｃ）において、例えば前記図４（ｃ）の領域構成例（ＰinＰ表示）に対する制御例（及び領域情報５例）を示している。この例では、表示画面６０の全体において、動画＃１の領域９４が指定されており、図７の制御に従い、超解像処理を適用（オン）する。そして、動画＃１の領域９４の中に含まれている１つの小さい矩形の動画＃２の領域９５に対する超解像処理を、非適用（オフ）とする。

ここで、本制御例では、図８（ａ）のような制御例とは異なり、上記２つの動画のうち、小さい方の動画＃２の領域９５に対しては非適用とする。ＰinＰ表示のように小さい動画の領域を表示する際、小さい動画＃２の領域９５に対して超解像処理を適用しても、効果があまり無い。また、適用した結果、不必要な処理により処理量及び負荷が増加してしまい、また、消費電力が増加してしまうことになる。よって、本制御例では、サイズが小さい動画または縮小率が大きい動画の領域に対しては、超解像処理を非適用と決定する。

制御部２０の処理としては、小さい動画＃２の領域９５のサイズまたは縮小率を判定する。例えばメタデータ４をもとに、当該領域のサイズまたは縮小率を閾値と比較して判定する。当該領域が所定サイズ以下である場合、あるいは所定縮小率以上である場合、超解像処理の適用の効果があまり無いと判断して、超解像処理を非適用と決定する。

このように小さい動画＃２の領域９５に対して超解像処理を非適用とすることにより、処理量や消費電力が減少できる。

＜回路制御＞
本映像再生装置１０では、上記構成及び制御と合わせて、超解像処理を非適用とする領域を有する時に、当該領域の処理タイミングで、超解像処理部１０４の回路動作（超解像処理部１０４が専用回路構成である場合）を一時停止させる。例えば制御部２０から制御線Ａにより超解像処理部１０４の回路動作を停止させる信号を入力する。これにより、消費電力が減少できる。

以上のように、本実施の形態では、映像データが複数のデータ（素材）の合成によりなる場合に、合成後の映像データ２に対する超解像処理を、画面６０内の領域の種別、サイズ等により適用を制御することにより、処理負荷等を抑えつつ、高画質の映像を提供することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明は、映像再生機能を備える表示装置、情報処理機器、受像機、並びに、映像を配信するデータ放送や通信等のシステムに利用可能である。

本発明の一実施の形態である映像再生装置及びシステムにおける主要部のブロック構成を示す図である。 本発明の一実施の形態の映像再生装置及びシステムにおいて、デジタルデータ放送の受信機能に対応する場合の映像再生装置における入力合成部の詳細な構成例を示す図である。 本発明の一実施の形態の映像再生装置及びシステムにおいて、超解像処理部による超解像処理の概念を示す図である。 本発明の一実施の形態の映像再生装置及びシステムにおいて、対象の映像データにおける、表示装置の表示画面における領域構成例を示す図である。 本発明の一実施の形態の映像再生装置及びシステムにおいて、メタデータについて説明するための図であり、（ａ）は、ＢＭＬ文書の内容記述例を、（ｂ）は、（ａ）の記述に対応する表示画面での領域構成例を示す。 本発明の一実施の形態の映像再生装置及びシステムにおいて、同様にメタデータの一例である、字幕プレーンに関する制御情報データの例を示す図である。 本発明の一実施の形態の映像再生装置及びシステムにおいて、映像再生装置の制御部による制御例として、表示データ（映像データ）に対する超解像処理の適用の制御内容（制御条件）を示す図である。 本発明の一実施の形態の映像再生装置及びシステムにおいて、制御例を示す図であり、（ａ）は、例えば前記図４（ｂ）の領域構成例に対する制御例を、（ｂ）は、例えば前記図４（ｂ）同様で但しその動画と静止画の配置が逆な場合の領域構成例に対する制御例を示す。

符号の説明

１，１−１〜１−ｍ…映像データ、２…映像データ、３…映像データ、４…メタデータ、５…領域情報、６…受信データ、７…データ、７Ａ…動画プレーン、７Ｂ…静止画プレーン、７Ｃ…文字図形プレーン、７Ｄ…字幕プレーン、７Ｅ…動画・静止画切替プレーン、８…ＢＭＬ文書、１０…映像再生装置、２０…制御部、３０…表示装置、４０…入力合成部、６０…画面、６１〜６４…領域、７１〜７３…領域、８１…静止画記述部、８２…動画記述部、８３…文字図形記述部、８５…字幕領域指定情報、９１〜９５…領域、１０１…入力部、１０２…合成部、１０３…切り替え部、１０４…超解像処理部、１０５…遅延部、１０６…出力部、２０１…チューナ、２０２…ＴＳデコーダ、２０３…ビデオデコーダ、２０４…文字図形・静止画デコーダ、２０５…字幕デコーダ、２０６…合成部。

Claims (8)

1. 複数の素材のデータから構成される映像データを入力する入力部と、
   前記入力の映像データにおける複数の素材のデータを、表示画面に対応する１つのまとまりの映像データへ合成する合成部と、
   前記映像データに対し、元の解像度の画像よりも高い解像度の画像を生成する超解像処理を行う超解像処理部と、
   前記合成後の映像データに対する前記超解像処理部による超解像処理の適用を、当該映像の画面内の領域ごとに切り替え制御する制御部と、
   前記超解像処理を前記領域ごとに適用または非適用した後の前記映像データを、表示装置へ出力して表示させる出力部と、を有し、
   前記制御部は、前記画面内の領域のうち特定の領域に対して前記超解像処理を適用するように制御すること、を特徴とする映像再生装置。
2. 請求項１記載の映像再生装置において、
   前記制御部が前記超解像処理を適用する特定の領域を動画領域とすること、を特徴とする映像再生装置。
3. 請求項１記載の映像再生装置において、
   前記制御部は、前記合成後の映像データと関係付けられるメタデータを参照または解析して、前記超解像処理を適用または非適用する領域を判定し、当該領域ごとに切り替え制御するための情報を生成し、当該情報に従い前記超解像処理部を含む各部を切り替え制御すること、を特徴とする映像再生装置。
4. 請求項３記載の映像再生装置において、
   前記メタデータは、前記入力部または前記合成部で前記入力の映像データを処理した結果から取り出されること、を特徴とする映像再生装置。
5. 請求項３記載の映像再生装置において、
   前記入力部と前記合成部とを含む処理部では、デジタルデータ放送のストリームを受信する処理と、当該受信したストリームから前記各素材のデータを得る処理と、当該各素材のデータを、少なくとも動画プレーン及び静止画プレーンを含むプレーン形式のデータへデコードする処理と、前記メタデータに対応する、前記画面内の領域の構成を表す情報を含む情報データを取り出す処理と、前記プレーン形式のデータを合成する処理と、を行い、
   前記制御部は、少なくとも前記動画プレーンに対応する領域に対して前記超解像処理を適用するように制御すること、を特徴とする映像再生装置。
6. 請求項１記載の映像再生装置において、
   前記制御部は、前記画面内の領域のうち、座標またはサイズで指定される領域を単位として前記適用を切り替え制御すること、を特徴とする映像再生装置。
7. 請求項１記載の映像再生装置において、
   前記制御部は、前記合成後の映像データに対し、前記画面内でサイズが小さいまたは縮小率が大きい動画領域を含む場合、当該動画領域に対して前記超解像処理を非適用とするように制御すること、を特徴とする映像再生装置。
8. 請求項１記載の映像再生装置において、
   前記超解像処理部は、専用回路で構成され、
   前記超解像処理部による超解像処理を非適用とするように制御する時に、当該専用回路の動作を一時停止させること、を特徴とする映像再生装置。

Images