JP2009296285A - 映像再生装置 - Google Patents

Abstract

【課題】映像再生装置において、電波が弱い等の場合でも高品質（高解像度）の映像等の再生（視聴）を維持することができる技術を提供する。
【解決手段】本映像再生装置は、高解像度映像の入力処理（Ｓ１１）と、高解像度映像に対応付けられる低解像度映像の入力処理（Ｓ２１）と、低解像度映像を高解像度映像に合わせるように超解像処理または拡大処理等を施す処理（Ｓ２２）と、高解像度映像のフレームの一部が破損等している場合に、当該フレームを上記処理が施されたフレームを用いて修正等する処理（Ｓ１２）と、高解像度映像における正常フレームと上記修正されたフレームとを出力する処理（Ｓ１３）とを有する。
【選択図】図１

Description

本発明は、デジタル放送等の映像（動画像）を受信（入力）や再生（表示）する機能を備える映像再生装置の技術に関し、特に、高解像度映像の再生の技術に関する。

モバイルデジタル放送受信機などにおいて、いわゆるフルセグ等の高画質（高解像度）の映像を受信・再生する機能や、いわゆるワンセグ等の低画質（低解像度）の映像を受信・再生する機能がある。

ユーザ（視聴者）が映像等のコンテンツを視聴するシステムの例としては、地上デジタル放送（サイマル放送）、ＢＳやＣＳ放送、携帯電話網、無線ＬＡＮなど、無線を用いた映像送受信システム、インターネット等の情報ネットワークを用いた映像送受信システムなどがある。

従来の映像再生装置では、フルセグ等の高画質（高解像度）の映像を視聴（再生）中に、電波が弱くなると、映像の乱れや正しく表示されないといったことが発生する場合がある。デジタル放送等で用いられている映像フォーマット、例えばＭＰＥＧ等のフォーマットでは、例えばＩフレームが欠落すると、一定期間映像が表示されなくなる場合や、マクロブロック単位で映像に穴が開く場合がある。

そのため、映像のフレームの一部または全部が欠落した場合、過去フレームを用いて修正する従来手法がある。この手法では、映像に動きがある場合や、画面が切り替わる場合は、映像が乱れ、不具合になる。

また、高品質の映像を得るための画像処理技術として、例えば、超解像処理（超解像表示、あるいは単に超解像などとも称する）の技術がある。このような技術については、例えば特開平８−３３６０４６号公報（特許文献１）に記載されている。
特開平８−３３６０４６号公報 特開２００３−２７４３０２号公報

前記映像再生装置における映像の乱れ等を解決するための従来技術として、例えば上記電波が弱くなると、ワンセグ等の低画質（低解像度）の映像に切り替えて当該映像を超解像処理して用いることで出力を継続させる、という手法が考えられる（特開２００３−２７４３０２号公報（特許文献２））。

しかしながら、このようにワンセグ等の低解像度の映像を超解像処理して出力する場合、フルセグ等のような高品質（高解像度）の映像を取得することは難しい。

本発明は以上のような問題に鑑みてなされたものであり、その主な目的は、映像再生装置において、電波が弱い等の場合でも高品質（高解像度）の映像等の再生（視聴）を維持することができる技術を提供することである。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。前記目的を達成するために、本発明の代表的な実施の形態は、デジタル放送等の映像等を再生する機能を備える映像再生装置などの技術であって、以下に示す構成を有することを特徴とする。

本形態では、前記フルセグ等の高解像度（相対的に高い品質）の映像（第１のデータ）を受信等（入力）して再生（出力）するが、その際、無線受信の電波が弱くなって一時的に映像が乱れることや通信ネットワークのパケット欠落などによって、高解像度の映像（第１のデータ）の一部のフレーム（フレーム全体またはフレーム内の一部）が破損・欠落した場合、以下のように対処する。即ち、本形態では、上記第１のデータに対応付けられる前記ワンセグ等の低解像度（相対的に低い品質）の映像（第２のデータ）を用いて上記第１のデータの一部のフレームを修正・補完して出力（再生）する。例えば第２のデータを超解像処理または拡大処理等の所定の処理を施し、その処理した第２のデータを用いて、上記破損・欠落した第１のデータのフレーム（破損・欠落した部分）を、上書き（当て嵌め）等により修正・補完する。また、破損・欠落していない第１のデータのフレームについてはそのまま出力（再生）し続ける。これにより、高画質（高解像度）の映像の出力（ユーザによる視聴）を維持できる。

本形態は、例えば、高解像度映像を入力する第１の入力部と、前記高解像度映像に対応付けられる低解像度映像を入力する第２の入力部と、前記高解像度映像のフレームの破損または欠落の範囲を判定する判定部と、前記低解像度映像のフレームを前記高解像度映像のフレームに合わせるように第１の処理を施す第１の処理部と、前記高解像度映像におけるフレームの一部が破損または欠落している場合に、当該フレームを前記第１の処理が施されたフレームを用いて修正または補完する修正部と、前記高解像度映像における正常なフレームと前記修正されたフレームとを時間方向で順に出力する出力部と、を有する。

また、本形態は、更に、前記高解像度映像の過去フレームを記憶する記憶部と、前記高解像度映像の過去フレームと、前記低解像度映像の第１の処理後のフレームとを比較して、当該フレーム間での動き範囲を検出する動き範囲検出部と、を有し、前記修正部では、前記動き範囲検出部での結果に応じて、当該フレームで動きが無い部分については前記過去フレームを用い、動きがある部分については前記第１の処理後のフレームを用いて、修正または補完する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。本発明の代表的な実施の形態によれば、映像再生装置において、電波が弱い等の場合でも高品質（高解像度）の映像等の再生（視聴）を維持することができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。なお以下、映像の場合で説明し、音声等の処理は省略する。

＜従来技術＞
図１０を用いて、前提となる従来技術について簡単に説明する。図１０において、従来技術の手法では、例えば高解像度のＭＰＥＧフォーマットの映像フレーム（ピクチャ）群（Ｉフレーム、Ｐフレーム、Ｂフレームを含む）において、フレームが破損・欠落した場合、正しく表示できない。例えば、破損フレームでは、フレーム内に、マクロブロック単位での欠落（黒矩形で示す）が生じる。特に、Ｉフレームが破損・欠落した場合には、一定期間映像が壊れたままの状態になってしまう。ここで、従来手法で、破損・欠落した部分に対して、過去フレームの部位を使用（当て嵌め等）した場合、当該映像に動きがある場合や、映像が切り替わる場合などには、不具合となる。即ちユーザにとって自然な表示・視聴ができない。

なお、動画像のフレーム間予測方式において、Ｉフレームはフレーム間予測を用いずに符号化されるフレーム、Ｐフレームは前方向予測のみを用いて符号化されるフレーム、Ｂフレームは前方向予測、後方向予測、両方向予測のうちいずれかで符号化されるフレームである。

フルセグ等の高解像度の映像におけるフレームの破損・欠落としては、フレーム全体である場合や、フレームの一部（マクロブロック単位など）である場合がある。更に、上記破損・欠落したフレームの前後では正常なフレームであるという場合がある。しかしながら、従来手法によって高解像度映像から低解像度映像に切り替えると、たとえ正常なフレームを取得していても使用されない。

＜特徴構成＞
図１において、本実施の形態（実施の形態１等）での特徴構成などについて簡単に示している。互いに対応付けられる高解像度映像（第１のデータ：Ｄ１）と低解像度映像（第２のデータ：Ｄ２）とを用意して本装置にそれぞれ入力処理（Ｓ１１，Ｓ２１）する。高解像度映像（Ｄ１）において正しく表示（デコード等）できる場合（正常フレーム：Ｆ１）と、フレームの破損・欠落（マクロブロック欠落など）により正しく表示（デコード等）できない場合（破損フレーム：Ｆ２）とがある。正しく表示できる場合はその正常フレーム（Ｆ１）をそのまま出力処理（Ｓ１３）できる。一方、正しく表示できない場合には、当該破損フレーム（Ｆ２）に対し、当該高解像度映像（Ｄ１）に対応付けられる低解像度映像（Ｄ２）を超解像処理又は拡大処理等（Ｓ２２）したものを用いて修正・補完処理（Ｓ１２）する。

超解像処理又は拡大処理等（Ｓ２２）では、例えば、低解像度映像（Ｄ２）における対応する正常フレーム（Ｆ３）を、高解像度映像（Ｄ１）における対応する破損フレーム（Ｆ２）の大きさに合わせるように超解像処理、もしくは拡大処理等する。この処理は、公知技術である所定の処理を用いることができる。その処理後フレーム（Ｆ４）を用いて、修正・補完処理（Ｓ１２）では、例えば、破損フレーム（Ｆ２）の欠落部位（マクロブロック等）に対し、処理後フレーム（Ｆ４）の対応部位を上書き（当て嵌め）等処理することにより、修正フレーム（Ｆ５）を得る。そして、その修正フレーム（Ｆ５）、及び正常フレーム（Ｆ１）を用いて、時系列上で高画質（高解像度）の映像を再生（Ｓ１３）及び再生維持する。

適用対象として、ユーザが映像等のコンテンツを視聴するシステムの例としては、例えば、前述の地上デジタル放送（サイマル放送）、無線を用いた映像送受信システム、情報ネットワークを用いた映像送受信システムなどがある。

（実施の形態１）
図２等を用いて、本発明の実施の形態１の映像再生装置について説明する。実施の形態１では、低解像度映像側の所定の処理として超解像処理を行い、また、修正の際に過去フレームを用いない場合であり、制御部から修正範囲を指定して修正する。

図２において、実施の形態１の映像再生装置のブロック構成を示している。本映像再生装置は、例えばデジタル放送受信機能を備えるモバイル機器である。

本映像再生装置は、制御部１０（修正範囲判定部１９を含む）、高解像度映像入力部１１、低解像度映像入力部１２、高解像度映像デコード部１３、低解像度映像デコード部１４、スイッチ（切替部）１５、超解像処理部１６、修正部（破損映像修正・補完部）１７、映像出力部１８等を有する。また本装置は、プロセッサ（ＣＰＵ）及びメモリ等のＩＣ、入力装置、出力装置（表示装置２０等）、外部記憶装置、通信インタフェース装置などが内蔵または接続されてもよい。

本装置構成における各部は、例えば専用の回路部、あるいはソフトウェア的なモジュールなどにより実現される。本構成は、映像出力等のためのリアルタイム性（十分に高速な処理速度）を満たす。例えば専用回路構成の場合、超解像処理部１６等が専用回路で実装され、各回路部に必要に応じてメモリないしバッファ等が内蔵される。また例えばプログラム制御構成の場合、超解像処理部１６等は、プロセッサによるメモリ上の制御プログラム実行によるメモリ上のデータに対する処理として実現される。

制御部１０は、本特徴に係わる制御を行うものであり、修正範囲判定部１９では、映像の修正範囲などを判定する。

高解像度映像入力部１１は、高解像度映像（第１のデータ：Ｄ１）を入力する。低解像度映像入力部１２は、低解像度映像（第２のデータ：Ｄ２）を入力する。例えば、高解像度映像（Ｄ１）及び低解像度映像（Ｄ２）は、ＭＰＥＧ等の映像データであり、高解像度映像（Ｄ１）はフルセグ映像の番組、低解像度映像（Ｄ２）は対応するワンセグ映像の番組である。

高解像度映像デコード部１３は、入力された高解像度映像（第１のデータ：Ｄ１）をデコード処理する。低解像度映像デコード部１４は、入力された低解像度映像（第２のデータ：Ｄ２）をデコード処理する。デコード処理は例えば前述のＭＰＥＧフォーマットのＩフレーム、Ｐフレーム、Ｂフレーム等の生成の処理を含む。高解像度映像デコード部１３でデコードされたデータ（ｄ１）は、スイッチ１５へ入力される。低解像度映像デコード部１４でデコードされたデータ（ｄ２）は、超解像処理部１６へ入力される。

高解像度デコード部１３及び低解像度デコード部１４は、自身でのデコード処理状態をみることで、当該フレームの破損・欠落の状態がわかる。高解像度デコード部１３及び低解像度デコード部１４のそれぞれは、フレームの破損・欠落を検出した場合は、制御部１０の修正範囲判定部１９へ通知する（ｃ１）。

高解像度デコード部１３は、自身でデコード処理状態をみることで、当該フレームの破損・欠落の状態がわかるので、高解像度デコード部１３からスイッチ１５へ、当該フレーム（ｄ１）の破損または正常の状態に応じて切り替え指示（ｃ２）を入力する。

スイッチ１５からは、切り替え制御（ｃ２）に応じて、一方の出力である正常フレームのデータ（ｄ３）は、映像出力部１８へ入力される。また他方の出力である破損・欠落フレームのデータ（ｄ４）は、修正部１７へ入力される。

一方、超解像処理部１６は、低解像度デコード部１４でデコードされたデータ（ｄ２）に超解像処理を施す。超解像処理されたデータ（ｄ５）は、修正部１７へ入力される。超解像処理は、公知技術を用いることができる。

修正部１７は、破損・欠落フレームのデータ（ｄ４）に対し、超解像処理されたデータ（ｄ５）を用いて、修正（修復）・補完処理を施す。これにより作成された修正フレームのデータ（ｄ６）は、映像出力部１８へ入力される。また、修正フレームのデータ（ｄ６）は、過去フレームとして高解像度デコード部１３へ入力され、高解像度デコード部１３で過去フレームを用いたデコード処理を行う場合に使用される。なお修正（修復）・補完とは、元の高解像度のフレームと完全に同じものを取得する必要は無く、視聴上十分に高品質なフレームとなるようにすることである。

なお修正部１７等は、図示しないがメモリ（ないしバッファ）を内蔵し、フレームデータを一旦当該メモリに蓄積してそれに対し所定の処理を施す。また例えば正常フレーム側のデータ（ｄ３）を蓄積して低解像度側とタイミングを合わせるためのメモリ（ないしバッファ）を映像出力部１８の前段などに設けてもよい。

映像出力部１８は、正常フレーム（ｄ３）または修正フレーム（ｄ６）を用いて、出力映像データのフレーム群を時系列で順次、表示装置２０（例えば液晶ディスプレイ）へ出力する。

修正範囲判定部１９は、高解像度デコード部１３及び低解像度デコード部１４からの破損・欠落の通知（ｃ１）に基づき、映像の修正範囲を判定し、当該修正範囲を修正部へ指示する（ｃ３）。この修正範囲（ｃ３）は、例えば、フレーム内のマクロブロック単位で指定される。

修正部１７は、修正範囲の指示（ｃ３）に従い、破損・欠落フレームのデータ（ｄ４）における指示された修正範囲に、超解像処理されたフレームのデータ（ｄ５）における該当範囲（フレーム内の同じ位置）のデータを合成（上書きで当て嵌め等）する処理等を行う。

基本的な制御の概要、処理手順の流れとしては以下である。まず、第１に、低解像度デコード部１４から出力された映像（ｄ２）を、超解像処理部１６により超解像処理しておく。低解像度映像データの方が高解像度映像データよりも早く処理できるので、その時間差を活用する。第２に、高解像度映像のフレーム（ｄ１）が破損・欠落している場合、修正範囲判定部１９は、正しく表示できない部分（修正範囲）を修正部１７へ指示し（ｃ３）、修正部１７では、当該破損フレーム（ｄ４）を、超解像処理されたデータ（ｄ５）と合成することで修正・補完し、修正されたフレーム（ｄ６）を出力する。第３に、高解像度のフレームで破損・欠落していない正常フレーム（ｄ３）についてはそのまま出力する。これにより、高画質の再生を維持する。

以上のような実施の形態１の構成により、モバイルデジタル放送受信機などの映像再生装置において、電波状態悪化等による高解像度映像の劣化が発生した場合でも、高品質の映像再生（視聴）を維持することができる。

なお上記で、超解像処理部１６を拡大処理部に変えた形態としてもよい。また、スイッチ１５の切り替えを制御部１０から実行する形態としてもよい。また、制御部１０の機能を高解像度デコード部１３に備えることで高解像度デコード部１３中心に制御する形態としてもよい。また、制御部１０（修正範囲判定部１９）から修正部１７へ、修正範囲ではなく破損・欠落範囲を通知し、修正部１７で修正範囲を決定する形態としてもよい。なお、例えばＭＰＥＧのＩ，Ｐ，Ｂフレームのいずれで破損・欠落が発生するかによって映像の破損・欠落の程度が異なるが、いずれの場合に対しても適用可能である。

＜通信ネットワークのパケット欠落＞
次に、図３において、通信ネットワークにおけるパケットの欠落と本発明（本実施の形態）の構成との関係について示している。

図３（ａ）において、パケット出力手段（ないし送信手段）２０１からパケット入力手段（ないし受信手段）２０２へ、通信ネットワーク２０３（経路、リンクなど）上で、高解像度映像のフレームｆ１を構成するパケットデータ群（パケットｐ１等）が流されるとする。通信ネットワーク２０３（経路、リンクなど）は、相対的に高いビットレート及び低い信頼度とする。通信ネットワーク２０３上での外乱２０４などにより、パケットのロスが発生する（例えばパケットｐ２）。この場合、パケット入力手段２０２側（映像再生側）では、受信フレームｆ１’において、パケットロスした部分（ｐ２）のマクロブロックが欠落する（前述の破損フレーム（Ｆ２）に対応）。

一方、図３（ｂ）において、同一又は同様特性の通信ネットワーク２０７上で、パケット出力手段２０５からパケット入力手段２０６へ、図３（ａ）の高解像映像と同じ映像コンテンツに関する低解像度映像のフレームｆ２を構成するパケットデータ群が流されるとする。通信ネットワーク２０７（経路、リンクなど）は、相対的に低いビットレート及び高い信頼度とする。通信ネットワーク２０７上での外乱２０８（外乱２０４と同様）などに対し、こちら側では、高い信頼度により、パケットロスなどは発生し難い。パケットロスなどが発生しなかった場合、パケット入力手段２０６側での受信フレームｆ２’において、マクロブロックの欠落も発生しない（前述の低解像度側の正常フレーム（Ｆ３）に対応）。

本実施の形態では、前記入力部（１１，１２）は、例えば、通信ネットワークから映像データ（Ｄ１，Ｄ２）を受信する。本実施の形態では、上記のように高・低の２系統のデータの入力を利用して、入力の際に高解像度側で一部のデータに破損・欠落が発生したとしても、前述の図１のように、低解像度側の映像データを用いて修正して表示することができる。

（実施の形態２）
次に、図４，図５等を用いて、本発明の実施の形態２の映像再生装置について説明する。実施の形態２では、低解像度側の所定の処理として超解像処理を行い、また、修正の際に過去フレームを選択的に用いる場合であり、制御部から修正範囲指定または過去フレーム指定して修正する。修正の際、フレーム間で動きが無い部分については過去フレームを用いるものである。実施の形態２では、マクロブロック処理例を示す。

図４において、実施の形態２の基本的な構成を示している。高解像度映像入力部３０１で高解像度映像（Ｄ１）のフレームを入力する。このフレーム（ｆ１１）において、例えば、ＰフレームやＢフレームの中のスライスデータ直後のデータ（マクロブロック）が破損した場合とする。高解像度映像（Ｄ１）のフレーム（破損有りの場合）（ｄ１１）は、修正部３０５に入力される。

低解像度映像入力部３０２で低解像度映像（Ｄ２）のフレームを入力する。このフレーム（ｆ２１）では例えば破損が無い場合とする。前述同様に、低解像度映像（Ｄ２）のフレーム（ｄ１２）は、例えば超解像処理部３０４で処理され、その処理されたフレーム（ｄ１５）は、動き範囲検出部３０６に入力される。

フレーム記憶部３０３では、現在フレームに対して少なくとも１つ過去（前）のフレームを記憶する。例えば、フレーム記憶部３０３は、高解像度映像入力部３０１からのフレーム（ｄ１３）を入力、記憶する。このフレーム（ｆ１２）では例えば破損・欠落が無い場合とする。フレーム記憶部３０３から、過去フレーム（ｄ１４）を、動き範囲検出部３０６へ入力する。

動き範囲検出部３０６は、超解像処理されたフレーム（ｄ１５）と、過去フレーム（ｄ１４）とを比較し、当該フレーム間における動き範囲を検出する。この検出は、公知のフレーム間差分比較による動き検出処理等による。上記比較、検出により、当該フレームにおける破損した範囲（箇所）の映像が、フレーム間でほぼ同じ（動きがほとんど無い）場合、修正部３０５では、過去フレーム（ｄ１３）のデータを用いて修正・補完処理を行う。例えばフレーム記憶部３０３（または動き範囲検出部３０６）から過去フレーム（ｄ１３）を修正部３０５へ入力して、動き範囲検出部３０６からの指示（ｄ１６）に従って処理する。また、上記比較、検出により、当該フレームにおける破損した範囲（箇所）の映像で、フレーム間で動きがある（違いがある）場合、修正部３０５では、超解像処理されたフレーム（ｄ１５）のデータを用いて修正・補完処理を行う。例えば超解像処理部３０４（または動き範囲検出部３０６）から超解像処理されたフレーム（ｄ１５）を修正部３０５へ入力して、動き範囲検出部３０６からの指示（ｄ１６）に従って処理する。映像出力部３０７では、修正部３０５からのデータ（ｄ１７）における修正された高解像度映像フレーム（ｆ１３）を用いて出力処理する。修正された高解像度映像フレーム（ｆ１３）は、少なくとも入力時の高解像度映像フレーム（ｆ１１）よりも修正されており、品質が向上している。

図５において、図４の実施の形態２の構成をより詳しくした構成を示している。図２の実施の形態１の構成と異なる部分として、フレーム記憶部３０３に相当する過去フレームメモリ２１と、動き範囲検出部３０６に相当する動き検出部２２と、を有する。

過去フレームメモリ２１は、高解像度映像デコード部１３からのフレームデータ（過去フレーム）を記憶し、修正部１７及び動き検出部２２へ出力する。動き検出部２２は、超解像処理部１６からのデータ（ｄ６）と過去フレームメモリ２１からのデータ（ｄ７）とを入力し、当該フレーム間での動き範囲を検出し、その結果に応じて、前述の制御の指示（ｃ４）を修正部１７へ入力する。修正部１７は、制御の指示（ｃ４）に従い、当該フレームの部位で動き無しの場合は、過去フレーム（前フレーム）のデータ（ｄ７）を用い、動き有りの場合は、超解像処理されたフレーム（ｄ５）を用いて、修正処理を行う。

実施の形態２によれば、過去フレームを用いることで処理を効率化できる。

なお、実施の形態２のマクロブロック処理例において、高解像度映像（Ｄ１）のフレームを縮小処理して、そのフレームと低解像度映像のフレームとを比較して、動き検出・判定する、といった形態も可能である。

（実施の形態３）
次に、図６，図７等を用いて、本発明の実施の形態３の映像再生装置（及びシステム）について説明する。実施の形態３では、更に、入力手段である無線受信部における受信状態ないし電波状態を判定し、それに応じて制御するものである。

図６，図７において、実施の形態３の装置及びシステム構成を示している。図６は、映像の配信（送信）側のシステムを示し、図７は、映像の受信側のシステム（本映像再生装置）を示す。詳しくは一例として、配信（送信）側のシステムは無線監視カメラ装置であり、受信側のシステムはそのモニタ装置であり、無線監視カメラ装置での撮影映像をモニタ装置で表示するものである。

まず、図６に示す映像の配信（送信）側のシステムにおいて、高解像度映像と低解像度映像とを無線通信ネットワークを通じて配信（送信）する。映像入力部４００は、元となる映像または映像データ（Ｄ０）を入力する。高解像度エンコード部４０１は、入力された映像（Ｄ０）を高解像度でエンコード処理し、高解像度映像データ（Ｄ１相当）を得る。同様に、低解像度エンコード部４０３は、入力された映像（Ｄ０）を低解像度でエンコード処理し、低解像度映像データ（Ｄ２相当）を得る。高速無線送信部４０２は、高解像度映像データ（Ｄ１相当）を、高速無線送信処理する。この送信出力は、前記通信ネットワーク２０３（高いビットレート、低い信頼度）上の出力に相当する。低速無線送信部４０４は、低解像度映像データ（Ｄ２相当）を、低速無線送信処理する。この送信出力は、前記通信ネットワーク２０７（低いビットレート、高い信頼度）上の出力に相当する。

一方、図７に示す映像の受信側のシステム（本映像再生装置）において、配信側のシステムから、無線通信ネットワークを通じて、高解像度映像（Ｄ１）と低解像度映像（Ｄ２）とを受信する。本装置は、例えば無線ＩＣ部３０を備え、無線ＩＣ部３０は、高速無線受信部３１と低速無線受信部３２とを有する。無線ＩＣ部３０は、例えば、デジタルデータ放送のストリームを受信する。また、本装置の制御部１０は、無線安定判定部３３を有する。高速無線受信部３１は、無線により例えばフルセグ映像などの高解像度映像（Ｄ１）を受信する。低速無線受信部３２は、無線により例えばワンセグ映像などの低解像度映像（Ｄ２）を受信する。受信された各データ（ｄ３１，ｄ３２）は、前述のデコード部（１３，１４）へ入力される。

無線安定判定部３３は、高速無線受信部３１における無線受信の状態、安定性を、電波ないし信号の強度などに基づき判定する（ｃ５）。なお、無線安定判定部３３は、無線ＩＣ部３０内、高速無線受信部３１などに備えることとしてもよい。

本制御においては、第１に、無線安定判定部３３での判定により、高速無線受信部３１で受ける信号の強度が強く、安定して無線受信できていると判定された場合は、無線安定判定部３３から、低解像度映像（Ｄ２）を用いる処理に係わる各部位、即ち、低解像度映像デコード部１４、超解像処理部１６、修正部１７などに対して、本制御（機能）のオフ（一時休止）の指示（ｃ６）を入力する。これに従い、各部位（１４，１６，１７）は動作をオフする。これにより、省電力の効果が得られる。

第２に、無線安定判定部３３での判定により、高速無線受信部３１で受ける信号の強度が弱くなり、安定した無線受信が難しくなってきたと判定された場合（例えば部屋の扉が閉められた場合や雨や霧など）は、映像データが破損する可能性があるので、無線安定判定部３３から、上記各部位（１４，１６，１７）へ、制御（機能）のオン（再開）の指示（ｃ６）を入力する。これに従い、各部位（１４，１６，１７）は動作をオンする。

（実施の形態４）
次に、図８，図９等を用いて、本発明の実施の形態４の映像再生装置（及びシステム）について説明する。実施の形態４では、更に、入力手段であるネットワークインタフェース部におけるデータ授受及びバッファの状態を監視・判定し、それに応じて高・低の解像度の映像データの受信の状態を制御、調整するものである。また、実施の形態４では、高・低の解像度の映像（Ｄ１，Ｄ２）をネットワーク上で同時並行的に受信する。

図８，図９において、実施の形態４の装置及びシステム構成を示している。図８は、映像コンテンツの配信（送信）側のシステムを示し、図９は、映像コンテンツの受信側及び受信側を含むシステムを示す。詳しくは一例として、インターネット上の映像コンテンツ配信・受信システムであり、配信（送信）側はインターネット５０３に接続されるサーバ装置８１などであり、受信側はユーザ装置８２（ＰＣやネットワークＴＶ、モバイル機器など）などである。

配信側のサーバ装置８１において、高解像度コンテンツ配信部５０１と低解像度コンテンツ配信部５０２とを有し、インターネット５０３等を通じて、それぞれ対応する映像コンテンツ（Ｄ１，Ｄ２）を配信（送信）する。なお高解像度コンテンツ配信部５０１と低解像度コンテンツ配信部５０２とで個別のサーバ装置などから配信してもよい。

ユーザ装置８２のコンテンツ受信部５０４は、インターネット５０３等を通じて、サーバ装置８１の映像コンテンツにアクセスし、高解像度映像（Ｄ１）と低解像度映像（Ｄ２）を取得する。コンテンツ受信部５０４は、例えばネットワークインタフェース（Ｉ/Ｆ）部及びコンテンツ受信プログラムなどである。コンテンツ受信部５０４では、例えば同時並行的に高・低の解像度の映像コンテンツ（Ｄ１，Ｄ２）を受信する。なお、ユーザ装置８２からサーバ装置８１の高解像度コンテンツ配信部５０１にアクセス要求した場合に、高解像度コンテンツ配信部５０１から高解像度映像（Ｄ１）を配信（送信）するのみではなく、それと対応付けて自動的に、低解像度コンテンツ配信部５０２から低解像度映像（Ｄ２）を配信（送信）するようにしてもよい。

インターネット５０３上では、例えば、高解像度映像（Ｄ１）を構成するパケットが、ＵＤＰプロトコル（相対的に高速で低信頼度）などを用いて送信される。また、低解像度映像（Ｄ２）を構成するパケットが、ＴＣＰプロトコル（相対的に低速で高信頼度）などを用いて送信される。これにより、前述の図３のように、各解像度のデータの入力（受信）における特性の違いが大きくなる。

一方、図９に示す映像コンテンツの受信側のシステム（ユーザ装置８２である本映像再生装置）において、配信側のシステムから、インターネット５０３を通じて、高解像度映像（Ｄ１）のデータと低解像度映像（Ｄ２）のデータとを受信する。本装置は、例えばネットワークＩ/Ｆ部４０を備え、ネットワークＩ/Ｆ部４０は、高速ネットワーク受信部４１と低速ネットワーク受信部４２とネットワーク送信部４７とを有する。ネットワークＩ/Ｆ部４０は、例えば、所定のプロトコルを用いて、コンテンツデータ等を構成するパケット群を授受する。また、本装置は、同期用入力バッファ４３、入力バッファ４４、出力バッファ４５などのバッファを有する。また、本装置の制御部１０は、バッファ容量監視部４６、コンテンツ確認部４８、効果設定部４９などを有する。各バッファにより高・低の解像度のデータにおける処理タイミングの差を吸収、調整する。

高速ネットワーク受信部４１は、高速ネットワークＩ/Ｆにより、高解像度映像（Ｄ１）のデータを受信処理する。低速ネットワーク受信部４２は、低速ネットワークＩ/Ｆにより、低解像度映像（Ｄ２）のデータを受信処理する。受信された各データ（ｄ４１，ｄ４２）は、バッファ（４３，４４）を介して、前述のデコード部（１３，１４）へ入力される。

受信された高解像度映像（Ｄ１）のデータ（ｄ４１）は、同期用入力バッファ４３に一旦格納される。同期用入力バッファ４３のデータ（ｄ４３）が高解像度映像デコード部１３へ入力される。また、受信された低解像度映像（Ｄ２）のデータ（ｄ４２）は、入力バッファ４４に一旦格納される。入力バッファ４４のデータ（ｄ４４）が低解像度映像デコード部１４へ入力される。また、低解像度映像デコード部１４からのデータ（ｄ２）は、出力バッファ４５に一旦格納される。出力バッファ４５のデータ（ｄ４５）が超解像処理部１５へ入力される。

本制御において、第１に、低解像度映像デコード部１４は、処理中のフレーム（現在フレーム）の情報（ｃ１３）を、同期用入力バッファ３４に送り、これにより高・低の解像度における映像の同期をとる。

第２に、バッファ容量監視部４６は、高・低における各入力側のバッファ（４３，４４）の容量（フレームデータ格納量）を確認し、溢れそうになったら、指示（ｃ１４）により、ネットワーク送信部４７を用いて、コンテンツ配信側のサーバ装置８１等へ通知する。これにより高・低におけるデータ受信量を調整し、それにより高・低における処理のタイミングを調整または同期させる。

第３に、低解像映像デコード部１４は、低解像度映像（Ｄ２，ｄ４４）をデコード処理し、当該データ（ｄ２）を出力バッファ４５に保存しておく。そして、高解像度映像（Ｄ１）が破損・欠落した場合には、出力バッファ４５のデータを、超解像処理部１６を介して、修正部１７へ送る。なお、出力バッファ４５は、超解像処理部１６の後段に設けることもできる。

第４に、低解像映像デコード部１４が高解像度映像デコード部１３より少し早くデコード処理を行っている。よって、その時間的な余裕を利用して、高解像度映像（Ｄ１）を出力する前に、コンテンツ確認部４８により低解像度映像の参照（ｃ１５）により映像コンテンツの内容を確認できる。また更に、コンテンツ確認部４８からの情報（ｃ１６）に基づき、効果設定部４９により、映像出力部１８に対し映像効果（音響効果等）を早めに設定し、これにより適した映像・音声等を出力する。

上記第４の処理では、特に、低解像度側では、高解像度側よりも時間的に先行して低解像度映像（Ｄ２）データを受信し入力バッファ４４へ蓄積する（これにより前述の時間的な余裕が確保される）。また、上記先行受信しない場合であっても、低解像度映像（Ｄ２）データなので高解像度側よりもデータ量及び処理量が少なくなり、ネットワーク受信が早くなる傾向があるので、上記場合と同様に、少し早目にデコード処理できる余裕があり、以後同様に処理できる。

効果設定部４９からは、例えば、映像出力部１８の映像データへ、効果設定のためのデータ加工等の指示制御（ｃ１７）を行う。

コンテンツ確認部４８では、内容確認として、例えば輝度を判断し、その輝度の状態に応じて、効果設定部４９から設定する映像効果では、コントラスト調整などの映像加工制御（ｃ１７）を実行する。

なお、上記実施の形態３，４などにおいて、無線ＩＣ部３０や通信ネットワークＩ/Ｆ部４０などに関して、高・低の解像度の映像（Ｄ１，Ｄ２）の受信を２系統（複数系統）の入力部（受信部）で個別に行う形態に限らず、１系統の入力部（受信部）で共通にまとめて行う形態なども可能である。無線ＩＣ部３０やネットワークＩ/Ｆ部４０を、高・低の解像度の処理に応じて個別化する形態も可能である。また、時間軸上で、高・低の解像度の映像（Ｄ１，Ｄ２）の同時並行的な受信の形態、低側の映像を高側よりも少し早目に受信する形態、例えば低側、高側の順で続けて受信する形態、また予め低側を受信しておき高側の受信の際に利用する形態なども可能である。

＜超解像処理＞
図１１において、補足として、超解像処理部１６による超解像処理（公知技術）の概念について簡単に示している。超解像処理は、映像の複数のフレーム（画像）間の動きを利用して、元の解像度の画像よりも高い解像度（例えば縦横の長さが２倍となる解像度）のフレーム（画像）を生成する処理である。

入力画像（映像）９００において、時間（ｔ）方向に連続する複数のフレーム（画像）を有する。入力画像９００内には、被写体（動き部）を有する。入力画像９００から処理対象の複数のフレームを取り出す（Ａ）。例えば第１の解像度を持つ第１のフレーム９０１及び第２のフレーム９０２を有する。フレーム内の四角や三角の点は、画素を示している。これらのフレーム間での動き部（被写体）に関して、位置合わせ処理（Ｂ）が行われる（処理後のフレーム９０３）。ここでは、フレーム間の動きベクトル情報が用いられる。そして、画素の補完等による高精細化処理（Ｃ）が行われる（処理後のフレーム９０４）。ここでは、画素の位置ずれを利用して高精細化を実現する。なお、動きが無い場合には効果が無い。この処理後のフレーム９０４は、元の第１の解像度のフレーム（９０１等）よりも高い解像度（第２の解像度）を持つ。このようなフレーム９０４を時間（ｔ）方向で並べることにより（Ｄ）、元の入力画像９００よりも高い解像度を持つ超解像画像（映像）９０５が得られる。

また、前述の拡大処理（公知技術）は、最近傍法や、線形補間法などを用いる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明は、表示装置、受像機、情報処理装置など、映像再生機能を備える各種の装置、及び放送や通信等のシステムなどに利用可能である。

本発明の一実施の形態における映像再生装置における特徴構成、代表的な処理、映像フレーム例などを示す図である。 本発明の実施の形態１における映像再生装置における主要部のブロック構成を示す図である。 （ａ）．（ｂ）は、本実施の形態の構成と関係して、通信ネットワークにおけるパケットの欠落などについて示す図であり、（ａ）は高解像度映像側のパケット入力、（ｂ）は低解像度映像側のパケット入力を示す。 本発明の実施の形態２における映像再生装置における基本的な構成を示す図である。 本発明の実施の形態２における映像再生装置における主要部のブロック構成を示す図である。 本発明の実施の形態３における映像再生装置及びシステムにおける配信側のシステムの構成を示す図である。 本発明の実施の形態３における映像再生装置及びシステムにおける受信側のシステム及び映像再生装置の主要部のブロック構成を示す図である。 本発明の実施の形態４における映像再生装置及びシステムにおける配信側及び受信側のシステムの構成を示す図である。 本発明の実施の形態４における映像再生装置及びシステムにおける受信側のシステム及び映像再生装置の主要部のブロック構成を示す図である。 本実施の形態に対して前提となる従来技術として、ＭＰＥＧフォーマットの高解像度映像の再生、及びフレーム破損の場合について示す図である。 本実施の形態に対して前提となる従来技術として、超解像処理の概要について示す図である。

符号の説明

１０…制御部、１１，３０１…高解像度映像入力部、１２，３０２…低解像度映像入力部、１３…高解像度映像デコード部、１４…低解像度映像デコード部、１５…スイッチ、１６，３０４…超解像処理部、１７，３０５…修正部（破損映像修正・補完部）、１８，３０７…映像出力部、１９…修正範囲判定部、２０…表示装置、２１…過去フレームメモリ、２２…動き検出部、３０…無線ＩＣ部、３１…高速無線受信部、３２…低速無線受信部、３３…無線安定判定部、４０…ネットワークＩ/Ｆ部、４１…高速ネットワーク受信部、４２…低速ネットワーク受信部、４３…同期用入力バッファ、４４…入力バッファ、４５…出力バッファ、４６…バッファ容量監視部、４７…ネットワーク送信部、４８…コンテンツ確認部、４９…効果設定部、８１…サーバ装置、８２…ユーザ装置、２０１，２０５…パケット出力手段、２０２，２０６…パケット入力手段、２０３，２０７…通信ネットワーク、２０４，２０８…外乱、３０３…フレーム記憶部、３０６…動き範囲検出部、４００…映像入力部、４０１…高解像度エンコード部、４０２…高速無線送信部、４０３…低解像度エンコード部、４０４…低速無線送信部、５０１…高解像度コンテンツ配信部、５０２…低解像度コンテンツ配信部、５０３…インターネット、５０４…コンテンツ受信部、９００…入力画像（映像）、９０１〜９０４…フレーム、９０５…超解像画像（映像）、Ｄ１…高解像度映像、Ｄ２…低解像度映像。

Claims (11)

1. 高解像度映像を入力する第１の入力部と、前記高解像度映像に対応付けられる低解像度映像を入力する第２の入力部と、
   前記高解像度映像のフレームの破損または欠落の範囲を判定する判定部と、
   前記低解像度映像のフレームを前記高解像度映像のフレームに合わせるように第１の処理を施す第１の処理部と、
   前記高解像度映像におけるフレームの一部が破損または欠落している場合に、当該フレームを前記第１の処理が施されたフレームを用いて修正または補完する修正部と、
   前記高解像度映像における正常なフレームと前記修正されたフレームとを時間方向で順に出力する出力部と、を有すること、を特徴とする映像再生装置。
2. 請求項１記載の映像再生装置において、
   前記高解像度映像の過去フレームを記憶する記憶部と、
   前記高解像度映像の過去フレームと、前記低解像度映像の第１の処理後のフレームとを比較して、当該フレーム間での動き範囲を検出する動き範囲検出部と、を有し、
   前記修正部では、前記動き範囲検出部での結果に応じて、当該フレームで動きが無い部分については前記過去フレームを用い、動きがある部分については前記第１の処理後のフレームを用いて、修正または補完すること、を特徴とする映像再生装置。
3. 請求項１または２に記載の映像再生装置において、
   前記第１の処理は、前記低解像度映像のフレームの超解像処理であること、を特徴とする映像再生装置。
4. 請求項１または２に記載の映像再生装置において、
   前記第１の処理は、前記低解像度映像のフレームの拡大処理であること、を特徴とする映像再生装置。
5. 請求項１〜４のいずれか一項に記載の映像再生装置において、
   前記入力された高解像度映像をデコード処理する第１のデコード部と、前記入力された低解像度映像をデコード処理する第２のデコード部と、を有し、
   前記判定部は、前記デコードされた高解像度映像のフレームの破損または欠落の範囲を判定して修正範囲を指示し、
   前記第１の処理部は、前記デコードされた低解像度映像のフレームを前記高解像度映像に合わせるように第１の処理を施し、
   前記修正部は、前記デコードされた高解像度映像におけるフレームの一部が破損または欠落している場合に、前記修正範囲の指示に従い、当該フレームの破損または欠落している部分に、前記第１の処理が施されたフレームの対応部分を合成することで、当該フレームを修正または補完すること、を特徴とする映像再生装置。
6. 請求項１〜５のいずれか一項に記載の映像再生装置において、
   前記判定部では、前記フレーム内のブロック単位で破損または欠落の範囲を判定し、
   前記修正部では、当該フレーム内の破損または欠落のブロックを前記第１の処理が施されたフレーム内のブロックを用いて修正または補完すること、を特徴とする映像再生装置。
7. 請求項１記載の映像再生装置において、
   前記第１の入力部は、前記高解像度映像を無線受信する第１の無線受信部を有し、
   前記第２の入力部は、前記低解像度映像を無線受信する第２の無線受信部を有し、
   前記第１の無線受信部による前記高解像度映像の無線受信の状態または安定性を判定する無線判定部を有し、
   前記無線判定部での前記無線受信の状態または安定性の判定結果に応じて、前記第２の入力部、前記第１の処理部、及び前記修正部の動作のオンオフを切り替えること、を特徴とする映像再生装置。
8. 請求項１記載の映像再生装置において、
   前記第１の入力部は、通信ネットワークを通じて前記高解像度映像のデータを受信処理する第１のネットワーク受信部を有し、
   前記第２の入力部は、通信ネットワークを通じて前記低解像度映像のデータを受信処理する第２のネットワーク受信部を有し、
   通信ネットワークを通じて前記高解像度映像または低解像度映像のデータの配信側の装置へ情報を送信するネットワーク送信部と、
   前記第１のネットワーク受信部で受信したデータを格納する第１のバッファと、
   前記第２のネットワーク受信部で受信したデータを格納する第２のバッファと、
   前記第１のバッファ及び第２のバッファのデータ容量を監視する監視部と、
   前記監視部での前記データ容量の監視結果に応じて、前記ネットワーク送信部を用いて、前記配信側の装置へ、前記高解像度映像のデータと前記低解像度映像のデータの受信のタイミングを調整するための情報を送信し、これにより前記高解像度映像と前記低解像度映像の処理のタイミングを調整すること、を特徴とする映像再生装置。
9. 請求項７または８に記載の映像再生装置において、
   前記第１と第２の入力部において、前記高解像度映像と前記低解像度映像とを同時並行的に入力すること、を特徴とする映像再生装置。
10. 請求項８記載の映像再生装置において、
    前記第１と第２の入力部において、前記高解像度映像のデータよりも前記低解像度映像のデータを先行して受信し、前記低解像度映像のデータに対し前記第１の処理を早目に施しておくこと、を特徴とする映像再生装置。
11. 請求項８記載の映像再生装置において、
    前記低解像度映像のデータを参照して内容を確認し、それに応じて、前記出力部から出力する映像に対して所定の映像効果を設定する処理を行うこと、を特徴とする映像再生装置。

Images