JP2009296081A - 映像再生装置 - Google Patents

Abstract

【課題】
ハードウェア増加量を抑えつつ、一時停止再生映像を高解像度化して出力する表示技術および録画再生装置を提供する。
【解決手段】
本発明では、複数の画像フレームを用いた高解像度化処理において、映像の一時停止再生で表示画像フレームと同一のフレームが出力され続けるために超解像処理が困難になる場合において、表示画像フレームに対して、参照するフレームの選択を変更し、未来の画像フレームを先読みすることで高解像度化処理を実現し、高解像度映像を得る方法を提供する。また、一時停止時に過去のフレームを参照することで高解像度映像を得るようにする。また、一時停止期間の時間制約の緩さを利用して、一時停止中の前記超解像処理を繰り返すことで解像度をさらに高めることも可能にする。
【選択図】図２

Description

本発明は、画像の高解像度処理技術に関し、特に映像再生装置における表示制御技術に関する。

近年、テレビ受像機に代表される映像表示装置は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数などによって画素数を増やすだけでは、解像度を上げることはできない。

そこで、特許文献１、特許文献２に記載されているように、入力された複数の画像フレームを合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす処理技術が提案されている。以降ではこのような高解像度化処理を超解像処理と呼ぶ。

また、ＤＶＤレコーダに代表されるような映像録画・再生装置においては、スロー再生、早送りなどコンテンツの特殊再生や、一時停止画像の表示がサポートされている。これらの機能のうち、一時停止画像の表示は、通常、利用者がその映像シーンを注視するために用いられることが多い。

このとき、静止画像の解像度は通常再生時の解像度と同じなので、目の解像度特性のために、コンテンツの画質の悪さが目立つ傾向にある。そのため、特殊再生時の画質を向上させる技術が提案されている。例えば、特許文献３では、スロー再生時に、各フィールドの表示時間を制御することにより、表示される映像の画質を向上させている。

特開平８−３３６０４６号公報 特開平９−０６９７５５号公報 特開平１１−２７６３３号公報

特許文献１、特許文献２に記載されているように、超解像処理では入力された複数の画像フレームを合成して１枚のフレームとすることにより、高解像度化している。しかし、ＤＶＤレコーダ等の映像録画再生装置の一時停止時に超解像処理を適用しようとしても、一時停止状態に入ると後続のフレームの供給が停止して同一の表示画像フレームの出力が継続するので、表示画像フレームに対する超解像処理が困難になり、高解像度化できない。

たとえば、表示画像フレーム内に新しいオブジェクトが現れる映像シーンでは、表示画像フレームに対して未来の画像フレームが取得できないので、当該オブジェクトを含む領域が参照画像フレーム内に存在しないために超解像処理が困難となる。

本発明の目的は、映像録画再生装置の一時停止表示時に、高解像度表示可能な映像録画再生装置を提供することにある。

本発明では、複数の画像フレームを用いた高解像度化処理において、映像の一時停止再生で表示画像フレームと同一のフレームが出力され続けるために超解像処理が困難になる場合において、表示画像フレームに対して、参照するフレームの選択を変更し、未来の画像フレームを先読みすることで高解像度化処理を実現し、高解像度映像を得る方法を提供する。また、一時停止時に過去のフレームを参照することで高解像度映像を得ることも可能にする。

本発明では、超解像処理の困難さが映像再生装置の一時停止要求の存在で識別できるため、超解像処理自体の結果の成否を参照することなく、超解像処理の外部からのイベントである一時停止要求をトリガーに、参照するフレームを変更することが本発明の手段に特徴的である。

また、一時停止期間の時間制約の緩さを利用して、一時停止中の前記超解像処理を繰り返すことで解像度をさらに高めることも可能にする。また、一回あたりの参照フレーム数を増やすことで、解像度をさらに高めることも可能にする。

本発明によれば、記憶領域などのハードウェア増加量を抑制しつつ、一時停止時の映像を高解像度化することが可能となる。

以下、本発明の実施形態について、図面を用いて説明する。

図１は本実施例に係る公知の映像再生装置１のブロック図を示す。映像再生装置１は、例えばＤＶＤレコーダなどに代表される映像録画・再生装置である。

図１を用いて、映像再生の流れを説明する。映像再生装置１は、入力部１０、録画再生部２０、超解像処理部３０、バッファ４０、制御部５０、操作部６０、コンテンツ蓄積部７０から構成され、その出力は表示装置８０の入力へ接続される。

入力部１０には、例えばテレビ放送信号などの動画像コンテンツが入力される。コンテンツ蓄積部７０では、動画像などのコンテンツが、ＭＰＥＧ−２など何らかの符号化方法で圧縮された形式によって、あるいは画像フレーム列のまま保存される。

録画再生部２０は、入力部１０から入力されたコンテンツを処理し、超解像処理部３０へ出力する、あるいは処理したコンテンツをそのまま、もしくは再処理し、コンテンツ蓄積部７０へ蓄積する。また録画再生部２０は、コンテンツ蓄積部７０からコンテンツを読み出し、そのコンテンツの保存形式に応じて復号処理などを行い、超解像処理部３０へ出力する。例えば入力部１０にデジタルテレビ放送コンテンツストリームが入力された場合、録画再生部２０はＭＰＥＧ−２で符号化されたコンテンツを復号して画像フレーム列を生成し、バッファ４０へ出力する。

バッファ４０に出力された画像フレームは順に領域n+2, 領域n+1, 領域n, 領域n-1, 領域n-2と移動していく。領域nに格状態の画像フレームが、表示フレームとして利用される。領域n+1、領域n+2に存在するフレームは、表示フレームに対して未来のフレームに相当し、領域n-1、領域n-2に存在するフレームは、表示フレームに対して過去のフレームに相当する。

超解像処理部３０は、バッファ４０に格納されたフレーム列に対して超解像処理を行う。領域nに格納されているフレームを表示フレームとして読み出すとともに、領域n＋１に格納されている後続のフレームを参照フレームとして読み出すものとする。超解像処理は大きく分けると二つの段階に分けられる。第一段階は動きベクトルを生成する処理であり、第二段階は動きベクトルを利用し高解像度の画像を生成する処理である。

第一段階の動きベクトル生成処理では、高解像度化する画像フレームと前後数枚の画像フレームを比較し、画素毎に動きベクトルを計算する。第二段階の高解像度映像生成処理では、第一段階で生成された画素毎の動きベクトルを用いて、画像フレームから高解像度の画像を生成する。

高解像度化された映像データは、出力処理部２１９が表示装置８０へ規定の周期で出力することで、表示装置８０上に表示される。表示装置８０として、例えば液晶表示パネル、プラズマディスプレイパネルなどが用いられる。

出力処理部２１９は、超解像処理部３０から送られた高解像化された映像データ、あるいは、超解像処理部３０から映像データが送られてこない場合はバッファ４０に書き込まれている映像データを、表示装置８０の特性に合わせて画質、例えば輝度や色合いなどに調整する。画質調整された画像は、モニタ２２３に送られ、利用者に提示される。

制御部５０は、映像の再生、録画、再生の一時停止や映像再生装置１の停止、起動など映像再生装置の動作を制御し、例えばＣＰＵとソフトウェアプログラムにより構成される。
ここで、再生の一時停止（以降、一時停止状態と称する）では録画再生部20からの出力が同一のフレームの連続となる。結果として、同一の画像がバッファ４０から表示装置80へ規定の周期で繰り返し出力され、表示装置80上に表示され続けるので、ユーザから映像が静止した状態に見える。

操作部６０はユーザが映像再生装置を操作するためのユーザインタフェース部である。操作部６０は、例えばリモートコントローラ、映像再生装置上の操作ボタン群などであり、ユーザ操作に伴う制御信号は制御部５０に送られる。

図２は本実施例に係る映像再生装置のブロック図を示す。図１との差分は一時停止時超解像制御部１４０の存在であり、一時停止時超解像制御部１４０が、本発明に特徴的な構成である。一時停止時超解像制御部１４０は、制御部５０から一時停止中を示す信号を受けて、一時停止中固有の超解像処理が行われるように超解像処理部１１０を制御する。

一時停止時超解像制御部１４０は、映像の一時停止再生で表示画像フレームと同一のフレームが出力され続けるために超解像処理が困難になる場合において高解像度化処理を実現するために、表示画像フレームに対して、参照するフレームの選択を変更し、録画再生部２０から未来の画像フレームの先読みを行い、超解像処理部に供給する。また、一時停止時に録画再生部２０から送出済みの過去のフレームを超解像処理部に参照させるよう制御することで高解像度映像を得ることも可能にする。

さらに、一時停止時超解像制御部１４０は、一時停止中にさらに解像度を上げるために、一時停止期間における前記超解像処理を繰り返したり、一回あたりの参照フレーム数を増やすように超解像処理部を制御する。

図３に示すフローチャートを用いて、一時停止時の超解像を実現するために、一時停止時に新たなフレームの供給が途絶えた状態で、録画再生部２０から送出済みのフレームから参照フレームを取得する処理を説明する。これは、本発明に特徴的なフローである。

図３に示すフローチャートは、映像コンテンツに対して、録画再生部２０がデコード処理を行い画像フレームに変換した後、画像フレームがバッファ４０に書き出された状態でフローは開始する。まず、超解像処理部が表示フレームを読み込む（ステップ３００１）。

つぎに、一時停止状態を確認して（ステップ３００２）、参照フレームの読み込み前に一時停止が解除されて通常再生時であれば、一時停止制御部１４０は、バッファ４０の領域n+1から参照フレームを読み込む（ステップ３００３）。一時停止中であるならばバッファ４０の領域n−１から参照フレームを読み込む（ステップ３００４）。ステップ３００３とステップ３００４は、通常再生時に未来のフレームに設定している参照フレームを、一時停止時には過去フレームに変更することを意味する。

超解像処理部３０が、参照フレームを用いて表示フレームの高解像度化を行い、高解像度化された画像を出力処理部２１９に送出する（ステップ３００５）。出力処理部２１９が高解像度化された画像をモニタ２２３に表示する(ステップ３００６)。一時停止期間が継続している間は、高解像の画像を表示し続ける（ステップ３００７）。

ところで、一時停止時には、時間的余裕があるので、参照フレーム数を増やすことも可能である。図４を用いてこれを説明する。図４のステップ４００１から４００７は図３のステップ３００１から３００７と同等な処理である。図４では、バッファの領域n−１に加えて、一時停止中であるならばバッファn−2を参照フレームとして読み込む処理（ステップ４００８）が加わっている。

図５に示すフローチャートを用いて、本発明を用いた第２の実施例について説明する。実施例２においても。図２のシステム構成が同等に利用できる。

図５に示すフローチャートは、一時停止時の超解像を実現するために、一時停止時に新たなフレームの供給が途絶えた状態で、録画再生部２０に新たなフレームの送出を要求して参照フレームを取得する処理を説明する。これは、本発明に特徴的なフローである。
映像コンテンツに対して、録画再生部２０がデコード処理を行い画像フレームに変換した後、画像フレームがバッファ４０に書き出された状態でフローは開始する。

超解像処理部が表示フレームを読み込む（ステップ５００１）。参照フレームの読み込み前に、一時停止制御部１４０は、一時停止要求が存在するか否かを確認する（ステップ５００２）。一時停止が解除されて通常再生時であれば、バッファの領域n+1から参照フレームを読み込む（ステップ５００３）。

一時停止中であれば一時停止制御部１４０は、表示フレームとは異なるフレームを、一時停止制御部１４０は、新たに読み出す参照フレームとして、制御部５０に対して要求し（ステップ５００４）、制御部５０は録画再生部２０に対して、当該参照フレームを再生して超解像処理部３０へ出力する（ステップ５００５）。

超解像処理部３０は、参照フレームを用いて表示フレームの高解像度化を行い、高解像度化された画像を出力処理部２１９に送出する（ステップ５００６）。出力処理部２１９が高解像度化された画像をモニタ２２３に表示する(ステップ５００７)。一時停止期間が継続している間は、高解像の画像を表示し続ける（ステップ５００８）。

一時停止時には、時間的余裕があるので、参照フレーム数を増やすことも可能である。図６を用いてこれを詳細に説明する。図６のステップ６００１から６００８は図５のステップ５００１から５００８と同等な処理である。

超解像処理部が表示フレームを読み込む（ステップ６００１）。参照フレームの読み込み前に、一時停止制御部１４０は、一時停止要求が存在するか否かを確認する（ステップ６００２）。一時停止が解除されて通常再生時であれば、バッファの領域n+1から参照フレームを読み込む（ステップ６００３）。

一時停止中であれば一時停止制御部１４０は、表示フレームとは異なるフレームを、一時停止制御部１４０は、新たに読み出す参照フレームとして、制御部５０に対して要求し（ステップ６００４）、制御部５０は録画再生部２０に対して、当該参照フレームを再生して超解像処理部３０へ出力する（ステップ６００５）。

超解像処理部３０は、参照フレームを用いて表示フレームの高解像度化を行い、高解像度化された画像を出力処理部２１９に送出する（ステップ６００６）。一時停止制御部１４０は、新たに読み出す参照フレームとして、ステップ６００４で要求した参照フレームとは異なる画像フレーム、たとえばステップ６００４で要求した参照フレームの次のフレームを制御部５０に対して要求し（ステップ６００９）、制御部５０は録画再生部２０に対して、当該参照フレームを再生して超解像処理部３０へ出力する（ステップ６０１０）。

出力処理部２１９が高解像度化された画像をモニタ２２３に表示する(ステップ６００７)。一時停止期間が継続している間は、高解像の画像を表示し続ける（ステップ６００８）。

図７に示すフローチャートを用いて、本発明を用いた第３の実施例について説明する。実施例２においては図２の構成が実施例１と同等に利用できる。図７に示すフローチャートでは、一時停止時におけるフレーム単位での高解像度化処理を繰り返す流れを説明する。

図４、図６が一時停止中にさらに解像度を上げるために、一回あたりの参照フレーム数を増やす処理フローであるのに対して、図７のフローは、１枚の表示フレームに対して、超解像処理を複数回行う処理に相当する。

ユーザの操作により、通常再生状態から、一時停止の状態に移行した場合、まず一次停止時制御部１４０は、制御部５０に制御信号を送り、録画再生部２０から合成用の参照フレームを読み出す（ステップ７００１）。つぎに、一次停止時制御部１４０は、新たに読み出す参照フレームを、制御部５０に対して出力し、制御部５０は録画再生部２０に対して、当該参照フレームを再生して超解像処理部３０へ出力するように制御信号を出力する。

次に、高解像度化処理を行い（ステップ７００２）、繰返し処理判定を行う（ステップ７００３）。一時停止状態が解除されていなければ、新たな後続のフレームを読み出すために７００１に戻る。一時停止が解除されていた場合は、当該表示フレームの高解像度化処理を終了する。

以上において、ユーザが操作部６０の一時停止ボタン押下中は、高解像度化処理を繰り返す形態で示したが、一時停止時は、ユーザが指定する時間だけ超解像処理を繰り返す形態であってもよい。また、繰り返しの設定を、それぞれの再生モードに例えばあらかじめいくつかのモードを用意しておき、操作部６０からユーザが切り替えられるように構成してもよい。

例えば、一時停止中は常に高解像度化処理を繰り返す「高画質モード」、ユーザが指定する時間だけ超解像処理を繰り返す「低消費電力モード」を設け、ユーザがこれらの設定を切り替えられるようにしてよい。また繰返し回数を０回と設定できるようにすることで、一時停止時の超解像処理を行わないようにも設定できる。

上述の実施形態（実施例１、実施例２、実施例３）においては、ＤＶＤレコーダのような映像録画再生装置について挙げたが、スロー再生と一時停止、あるいはそのいずれかの映像再生モードをサポートする装置についても、同様に本発明で示した処理を適用できる。

本発明に関わる従来技術を表すブロック図である。 本発明の第１の実施例を表すブロック図である。 本発明の第１の実施例で、一時停止時に新たなフレームの供給が途絶えた状態で、録画再生部２０から送出済みのフレームを参照フレームとして取得する処理の一例を示すフローチャートである。 第１の実施例による、一時停止時に新たなフレームの供給が途絶えた状態で、録画再生部２０から送出済みのフレームを参照フレームとして取得する処理において、参照フレーム数を増やす処理の一例を示すフローチャートである。 第１の実施例による、一時停止時に新たなフレームの供給が途絶えた状態で、録画再生部２０から送出済みのフレームを参照フレームとして取得する処理において、参照フレーム数を増やす処理の一例を示すフローチャートである。 第２の実施例による、一時停止時に新たなフレームの供給が途絶えた状態で、録画再生部２０に新たなフレームの送出を要求して参照フレームを取得する処理において、参照フレーム数を増やす処理の一例を示すフローチャートである。 第２の実施例による、１枚の表示フレームに対して、超解像処理を複数回行う処理の一例を示すフローチャートである。

符号の説明

１…映像再生装置、１０…入力部、２０…録画再生部、３０…超解像処理部、４０…バッファ、５０…制御部、６０…操作部、７０…コンテンツ蓄積部、８０…表示装置、１４０…一時停止時超解像制御部、２１９…出力処理部

Claims (5)

1. 映像再生装置において、
   映像コンテンツを処理して画像を出力する再生部と、
   前記再生部から出力された画像を一時的に保存する記憶部と、
   前記記憶部に保存された複数の画像から解像度を増加させてひとつの高解像度画像を生成する超解像処理部と、
   前記超解像処理部で高解像度処理された画像を出力する表示部と、
   前記再生部が同一の画像を出力し続ける一時停止状態において前記超解像処理部が合成に用いる画像を一時停止時の画像とそれと異なる少なくともひとつの画像を参照するように変更する一時停止時超解像制御部を備えたことを特徴とする映像再生装置。
2. 請求項１の映像再生装置において、
   前記一時停止時超解像制御部は、一時停止状態で、前記超解像処理部が参照する画像を順次ふやして、１枚の高解像度化画像を得るようにすることを特徴とする映像再生装置。
3. 映像再生装置において、
   映像コンテンツを処理してフレーム画像を出力する再生部と、
   前記再生部から出力されたフレーム画像を一時的に保存する記憶部と、
   前記記録部に記録された複数のフレーム画像を参照してひとつの超解像画像を生成する超解像処理部と、
   前記超解像処理部が参照するフレーム画像を制御する超解像処理制御部と、
   前記超解像処理部により高解像度化された画像を出力する出力処理部を有し、
   前記超解像処理制御部は、通常再生時には、つぎのフレーム画像を参照するように制御し、一時停止時には、表示中のフレーム画像と当該フレーム画像より前あるいは後の少なくともひとつのフレーム画像参照するように制御することを特徴とする映像再生装置。
4. 請求項３の映像再生装置において、
   前記超解像処理制御部は、一時停止状態に、前記超解像処理部が参照するフレーム画像を順次ふやして、１枚の高解像度化画像を得るようにすることを特徴とする映像再生装置。
5. 請求項１から請求項４のいずれかに記載の映像再生装置において、
   前記超解像処理制御部は、一時停止状態か否かを操作指示に基づいて判定することを特徴とする映像再生装置。

Images