JP2010039150A - 画像表示装置 - Google Patents

Abstract

【課題】画像情報を表示出力するためのウィンドウ領域のサイズに応じて元の画像情報に超解像処理を施すに際し、メモリの使用量を最適化することが可能な画像表示装置を提供する。
【解決手段】画像保持部１５は、制御部１３により指定され、通知された倍率Nを入力すると、現時点で画像表示装置１００に入力された画像フレームから連続するN個の画像フレームを読み込んで、それらを主記憶部３へ格納する。主記憶部３へ格納した画像フレームを、超解像処理部１７へ出力する。超解像処理部１７は、制御部１３により指定され、通知された倍率Nを入力すると共に、画像保持部１５からN個分の画像フレームを入力し、現画像フレームのN倍の画素数を持つ画像フレームを１枚生成する。生成した１枚の画像フレームを、画像縮小部１９へ出力する。
【選択図】図２

Description

本発明は、画像情報の表示領域のサイズが可変調整される表示部を備える画像表示装置に関する。

従来、画像信号、特に動画像に係わる画像信号を、少ない（画像）フレーム数で好適に高解像度化することを目的とした画像信号処理技術が提案されている。該提案に係わる画像信号処理装置では、各入力画像フレームの画像データを、推定されたサンプリング位相差の情報を用いて動き補償を行うと共に、各入力画像フレームの画素数をn倍に増加させ、高密度化させた各画像フレームの画像データを、一定量だけ位相シフトさせる。そして、位相シフトさせた前後の各画像データに、サンプリング位相差の情報を用いて決定した係数を乗じて加重加算することにより（n−1）個の折返し成分を除去した画像フレームを出力する（例えば特許文献１参照）。

特開2007-324789号公報

近年、画像表示装置に係わる技術の改良により、画像情報を、例えば横1920画素、縦1080画素のような高画素数で表示出力することが可能になっている。しかし、放送局から送出される画像情報のサイズ（画素数）は、横720画素、縦480画素程度のものが多く、市販されているDVD（Digital Versatile Disk）から再生可能な画像情報のサイズ（画素数）も、最大で横720画素、縦480画素である。上述したように、現在においては、多くの一般的な画像情報のサイズ（画素数）より、画像表示装置における表示可能な画像情報のサイズ（画素数）の方が大きいというのが実情である。そのため、サイズの小さい（画素数の少ない）画像情報からサイズの大きな（画素数の多い）画像情報を生成する技術開発の必要性が高まっている。

そこで、上記に鑑みて、例えば特許文献１に開示されているような、画素数の少ない（低画素数の）画像情報から、画素数の多い（高画素数の）画像情報を生成する技術、即ち、超解像技術が提案されるに到った。

ところで、ウィンドウシステムにおいて画像情報を表示する場合、該画像情報を、表示出力するウィンドウ領域に適合するように１枚の画像フレームに拡大／縮小処理を施す（１枚の画像フレームの画素数を増／減する処理を施す）。一般的なウィンドウシステムでは、ウィンドウ領域のサイズは、マウス等の入力機器を介して、ユーザにより自由に変更可能である。特許文献１に開示されている技術では、例えば、上記ウィンドウ領域の最大サイズ（上記ウィンドウ領域の持つ画素数）が、上記画像情報の持つ画素数（サイズ）のN倍である場合、上記画像情報のサイズをウィンドウ領域の最大サイズにまで拡大するためには、画像表示装置のメモリに、常時（N−1）枚の画像フレームを保持しておく必要が生じる。

しかし、特許文献１に開示されているような方法では、上記ウィンドウ領域のサイズ（上記ウィンドウ領域の持つ画素数）が、上記画像情報の持つ画素数のN倍に満たない場合にも、常に（N−1）枚の画像フレームを保持することになるので、メモリを無駄使いすることになり、その結果として装置コストの増大を招来するという問題が生じる。

従って本発明の目的は、画像情報を表示出力するためのウィンドウ領域のサイズに応じて元の画像情報に超解像処理を施すに際し、メモリの使用量を最適化することが可能な画像表示装置を提供することにある。

本発明に従う画像表示装置は、画像情報の表示領域のサイズが可変調整される表示部を備えるもので、入力された画像情報を構成する画像フレームを、所定数だけ保持する画像フレーム保持部と、上記可変調整された表示領域において、画像情報の表示可能な最大画素数を算出する最大画素数算出部と、上記画像フレームの持つ画素数と、上記最大画素数算出部により算出された最大画素数との比率から、上記画像フレームに超解像処理を行うのに用いる画素数の倍率を決定する倍率決定部と、上記倍率決定部により決定された倍率に基づき、上記画像フレーム保持部に保持すべき画像フレームの数を調整する画像フレーム保持数調整部と、を有する。

本発明に係る好適な実施形態では、上記超解像処理が施された後の画像フレームの持つ画素数と、上記最大画素数算出部により算出された最大画素数との比較に基づき、上記画像フレームの縮小率を算出する縮小率算出部、を更に備える。

上記とは別の実施形態では、上記縮小率算出部により算出された縮小率が、予め決められている閾値以下であるかどうか判断する判断部、を更に備え、上記判断部が、上記縮小率が上記閾値以下であると判断した場合には、上記倍率決定部により決定された倍率に１を加算した値を、上記画像フレーム保持部に通知するようにしている。

また、上記とは別の実施形態では、上記表示領域が、画像表示装置に組み込まれているウィンドウシステムのウィンドウ領域である。

また、上記とは別の実施形態では、上記超解像処理後の画像フレームが、上記表示領域のサイズに適合するよう調整された状態で出力されている間に、上記表示領域のサイズが短時間で拡大された場合には、上記画像フレームに対し、その拡大された表示領域のサイズに適合するような新たな超解像処理が行われる。

また、上記とは別の実施形態では、上記新たな超解像処理において、それより前の超解像処理時の画像フレームの数より１つ多い画像フレームが必要になった場合には、上記画像フレームのうちから任意の１枚の画像フレームのコピーを作成して、そのコピーの画像フレームをも含めた画像フレームを用いて、上記新たな超解像処理を行うようにしている。

更に、上記とは別の実施形態では、上記新たな超解像処理において、それより前の超解像処理時の画像フレームの数より１つ多い画像フレームが必要になった場合には、上記前の超解像処理が施された後の画像フレームの持つ画素数を、sinc関数を用いた補間ローパスフィルタやスプライン関数により、上記拡大された後の表示領域に表示可能な最大画素数にまで増大させるようにしている。

本発明によれば、画像情報を表示出力するためのウィンドウ領域のサイズに応じて元の画像情報に超解像処理を施すに際し、メモリの使用量を最適化することが可能な画像表示装置を提供することができる。

以下、本発明の実施の形態を、図面により詳細に説明する。

図１は、本発明の一実施形態に係る画像表示装置の全体構成を示す機能ブロック図である。

図１に示すように、上記画像表示装置１００は、CPU（Central Processing Unit）１と、主記憶部３と、入力部５と、補助記憶部７と、表示部９と、を備え、これら各部が、バスライン１１を通じて接続される構成になっている。主記憶部３は、ワークエリアとして機能するRAM（Random Access Memory）、及び画像表示装置１００の有する諸機能を実現するのに必要なプログラム（例えば、各種のアプリケーション・プログラム）を格納するためのROM（Read Only Memory）の双方を含む。主記憶部３には、CPU１の制御下で、バスライン１１を通じてCPU１から与えられる画像情報を始めとする各種の情報が記憶される。また、バスライン１１を通じてCPU１から与えられる情報読み出し指令が主記憶部３に入力されることで、主記憶部３に記憶されている各種の情報中から該指令に対応する情報が、バスライン１１を通じてCPU１へ出力される。

補助記憶部７は、CPU１が、画像表示装置１００を構成する各部の動作を制御するためのプログラム（制御プログラム）を内蔵するのみならず、表示部９へ表示出力するための画像情報を格納するものである。補助記憶部７には、例えば、HDD（Hard Disk Drive）、光ディスクドライブ（DVD（Digital Versatile Disc）ドライブ）、Blue-Ray Discドライブ、CD-R（Compact Disc-Rewritableドライブ）、磁気記録媒体ドライブ（フロッピー（登録商標）ディスクドライブ等）、光磁気ディスクドライブ（MO（Magneto-Optical
Disk）ドライブ等）が採用される。或いは、上記に代えて、ROM、RAM等の半導体記憶デバイスを、補助記憶部７として用いることにしても差し支えない。補助記憶部７は、CPU１の制御下で、バスライン１１を通じてCPU１から与えられる画像情報等を所定の記憶領域に格納すると共に、バスライン１１を通じてCPU１から与えられる情報読み出し指令に応じて、格納している情報中より上記情報読み出し指令に対応する情報を、バスライン１１を通じてCPU１へ出力する。

入力部５は、画像表示装置１００と、ユーザとの間に介在するマン・マシンインタフェースとしての機能を有するものである。換言すれば、入力部５は、ユーザが画像表示装置１００（のCPU１）に対し、所望の処理動作を要求するに際しての指令を入力したり、各種の情報を入力するに際して操作される。入力部５には、例えば、TV（テレビジョン）受像機等で使用されるリモコン（リモートコントローラ）や、PC（パーソナル・コンピュータ）で使用されるキーボード、マウス、及びタッチパネル等が用いられる。

表示部９は、CPU１の制御下で、補助記憶部７に格納されている画像情報を表示出力するのに必要なウィンドウ領域が設定される。表示部９には、例えば、ブラウン管（電子管：CRT）、液晶ディスプレイ、PDP（Plasma Display Panel）、プロジェクタ、EL（Electro
Luminescence）ディスプレイ等が用いられる。表示部９において、ウィンドウ領域が設定されることにより、所望の画像情報が表示出力される。

上述した画像表示装置１００を構成する各部のうちの、該装置１００への各種情報の入力、及びプログラムの入力（インストール）に直接関係の無いものが存在する場合には、該装置１００から取り外すことも可能である。

図２は、図１に記載のCPU１上で動作するプログラムの処理機能を示すブロック図である。図２に示すプログラムは、図示のように、制御部としての機能を果す処理プログラム１３、画像保持部としての機能を果す処理プログラム１５、超解像処理部としての機能を果す処理プログラム１７、及び画像縮小部としての機能を果す処理プログラム１９である。以下では、図示と説明の都合上、上記各処理プログラムを、制御部１３、画像保持部１５、超解像処理部１７、及び画像縮小部１９と表記する。上記各処理プログラム（１３乃至１９）は、何れも図１で示した主記憶部３、或いは、補助記憶部７に搭載される。上記各処理プログラム（１３乃至１９）は、何らかの事象、例えば、ユーザから上記入力部５を通じて（画像表示装置１００へ）入力される画像情報の再生指令や、図１で示したバスライン１１に接続されるディジタルTV（テレビジョン）受像機（図示しない）がTV放送信号を受信したこと等を契機として、CPU１上で起動することになる。

上記各処理プログラム（１３乃至１９）の処理対象になる画像情報としては、例えば、補助記憶部７に格納されている画像情報、ディジタルTV受像機（図示しない）から図１に示したバスライン１１を通じて画像表示装置１００へ入力されるTV画像情報、通信ネットワーク（図示しない）に接続される通信制御装置（図示しない）から上記バスライン１１を通じて画像表示装置１００へ入力される画像情報等が挙げられる。

画像保持部１５は、制御部１３の制御下で、処理対象である上記画像情報のサイズを決定するため、制御部１３により指定され、通知された（該画像情報の）倍率Nを入力すると、現時点で画像表示装置１００に入力された上記画像情報を構成する画像フレームから連続するN個の画像フレームを読み込んで、それら（N個分の画像フレーム）を主記憶部３へ格納する。画像保持部１５は、また、主記憶部３へ格納した上記画像フレームを、超解像処理部１７へ出力する。

超解像処理部１７は、制御部１３の制御下で、制御部１３により指定され、通知された（上記画像情報の）倍率Nを入力すると共に、画像保持部１５から上記N個分の画像フレームを入力する。そして、入力した上記N個分の画像フレームから、現画像フレームのN倍の画素数を持つ画像フレームを１枚生成すると共に、該生成した１枚の画像フレームを、画像縮小部１９へ出力する。ここで、超解像処理部１７による、N個の画像フレームから、現画像フレームのN倍の画素数を持つ１枚の画像フレームを生成する手法としては、例えば、特許文献１に開示されているような技術が適用可能である。

画像縮小部１９は、制御部１３の制御下で、超解像処理部１７から出力される上記（N倍の画素数を持つ１枚の）画像フレームを、制御部１３により指定され、通知された（画像フレームの）縮小率に合わせて縮小する処理を施した後、図１で示した（バスライン１１を通じて）表示部９へ表示出力する。

制御部１３は、画像保持部１５、超解像処理部１７、及び画像縮小部１９をその管理下に置く。制御部１３は、図１で示したバスライン１１を通じてCPU１に読み込まれる画像情報を構成する各画像フレームの持つ画素数と、上述したウィンドウ領域のサイズ（ウィンドウ領域の持つ画素数）とから、上記各画像フレームの倍率（サイズ）を決定し、該決定した倍率を、画像保持部１５、及び超解像処理部１７へ夫々通知する。制御部１３は、また、上記倍率と、上記ウィンドウ領域のサイズ（画素数）とから、上記各画像フレームの縮小率を算出すると共に、該算出した縮小率を、画像縮小部１９へ通知する。

図３は、図１に記載の表示部９に表示出力される画像情報の表示態様の一例を示す模式図である。

図３において、矩形状の外枠２１は、表示画面であり、その内側領域に上述したウィンドウ領域（２３、２５、２７）が設定される。既述のように、一般的なウィンドウシステムでは、ウィンドウ領域のサイズは、マウス等の入力機器を介して、ユーザにより自由に変更可能である。よって、図３で示した各ウィンドウ領域２３、２５、２７は、ユーザによる入力部５の操作により選択的に設定される。

図４は、本発明の一実施形態に係る画像表示装置１００における画像情報再生処理（即ち、画像情報表示処理）に際しての画像表示装置１００を構成する各部の処理動作を示すフローチャートである。

図４において、まず、図２で示した制御部１３が、（図１で示した）バスライン１１を通じて（図１で示した）CPU１に入力される画像情報の各画像フレームの持つ画素数と、図３で示したウィンドウ領域２３（最小のウィンドウ領域）に表示可能な画素数（該ウィンドウ領域２３が持つ画素数）とから、上記各画像フレームのサイズ（画素数）を、該ウィンドウ領域２３に表示出力するのに最適な画素数に設定するための倍率Nを決定する。例えば、上記画像情報を構成する各画像フレームが持つ画素数が1000画素であり、該ウィンドウ領域２３に表示可能な画素数が2200画素であるとすれば、制御部１３は、上記倍率Nを“３”と算出することになる（ステップS３１）。

次に、制御部１３は、算出した上記倍率（N）を、画像保持部１５、及び超解像処理部１７へ夫々通知すると共に、上記倍率（N）と、上記ウィンドウ領域のサイズ（画素数）とから、上記各画像フレームの縮小率を算出する。そして、該算出した縮小率を、画像縮小部１９へ通知する。上記例では、縮小率は、26.7%（（3000-2200/3000））となる（ステップS３２）。

次に、画像保持部１５が、制御部１３により指定され、通知された倍率Nを入力すると、上記画像情報を構成する画像フレームから連続するN個の画像フレームを読み込んで、それらを主記憶部３へ格納すると共に、格納した上記画像フレームを、超解像処理部１７へ出力する。上記画像情報が符号化された画像情報、若しくは、暗号化された画像情報である場合には、画像保持部１５が該画像情報の各画像フレームを入力するのに先立ち、上記画像情報の復号化処理等が施されることになる。或いは、画像保持部１５が、上記画像情報を、符号化されたままの状態、又は暗号化されたままの状態で主記憶部３へ一旦格納しておき、上記画像情報を超解像処理部１７へ出力する際に、復号化処理等を施すことにしても差し支えない（ステップS３３）。

上記画像フレームが、画像保持部１５から出力されると、超解像処理部１７は、入力した上記N個分の画像フレームから、（制御部１３により指定された倍率Nに基づき）現画像フレームのN倍の画素数を持つ画像フレームを１枚生成すると共に、該生成した１枚の画像フレームを、画像縮小部１９へ出力する（ステップS３４）。

超解像処理部１７から上記生成された１枚の画像フレームが出力されると、画像縮小部１９は、上記１枚の画像フレームを、制御部１３により指定され、通知された縮小率に合わせて縮小する処理を施した後、表示部９へ表示出力する（ステップS３５）。上述したステップS３１乃至ステップS３５で夫々示した処理動作は、画像表示装置１００に与えられた画像情報の再生処理動作が終了したと判断されるまで継続される（ステップS３６）。

ところで、図１乃至図４で示した本発明の一実施形態では、画像表示装置１００に入力される画像情報の各画像フレームの画素数が1000画素で、図３で示したウィンドウ領域２３に表示可能な画素数が2200画素である場合には、上述した倍率Nは“３”となり、画像保持部１５は、常時３枚の画像フレームを（主記憶部３を介して）保持することになる。上述したように、ウィンドウシステムにおいては、通常、ユーザがマウス等の入力部（５）を操作して、画像情報を表示部（９）に表示しつつウィンドウ領域（２３）のサイズを徐々に変更するようなことも行われる。例えば、図３において、ウィンドウ領域が、ユーザ等の入力部（５）の操作により、符号２３で示したサイズから符号２７で示したサイズに拡大したとする。

該ウィンドウ領域２７において表示可能な画素数が3200画素であるとすれば、該ウィンドウ領域２７の画素数の、元の画像情報の画素数（1000画素）に対する倍率Nは“４”となる。換言すれば、画像保持部１５が（主記憶部３を介して）保持する３枚分の画像フレームの画素数（合計3000画素）だけでは、（超解像処理部１７による）超解像処理は行えない。そのため、画像表示装置１００に入力された画像情報が、表示部９に表示出力されている際に、上述したウィンドウ領域（２３）のサイズが変更されることを想定した、（超解像処理部１７による）超解像処理に用いる画像フレーム数の事前予測処理の必要性が生じる。該事前予測処理は、図２で示した制御部１３により実行される。

図５は、本発明の一実施形態の第１の変形例に係る、超解像処理に用いる画像フレーム数の制御部１３による事前予測処理の処理流れの一例を示すフローチャートである。図５で示すフローチャートは、画像表示装置１００に入力された画像情報が、表示部９に表示出力されている際に、上述したウィンドウ領域（２３）のサイズが、ユーザにより倍率（N）３から倍率（N）４に変更された場合における制御部１３の処理動作である。

図５において、制御部１３は、まず、表示部９に設定されている現在のウィンドウ領域２３における表示可能な画素数を取得すると共に、上記ウィンドウ領域２３のサイズがユーザにより変更された場合に対処し得る、変更後のウィンドウ領域に表示可能な画素数の倍率（N）を算出する（ステップS４１）。次に、前回の倍率（N）、即ち、元の画像情報の画像フレームの画素数に対する現在のウィンドウ領域２３の表示可能な画素数の倍率（N）と、今回算出した倍率（N）とを比較する（ステップS４２）。該比較の結果、今回算出した倍率（N）が、前回の倍率（N）よりも“１”大きければ、制御部１３は、倍率（N＋1）を、画像保持部１５、及び超解像処理部１７へ夫々通知し（ステップS４３）、次の処理動作であるステップS４４に移行する。一方、該比較の結果、今回算出した倍率（N）と、前回の倍率（N）とが等しければ、上述したステップS４３で示した処理動作は実行せずに、直ちにステップS４４に移行する。

次に、制御部１３は、今回算出した倍率（N）（今回算出した倍率（N）が、前回の倍率（N）に等しい場合も含む。）から求まる画素数と、上記ウィンドウ領域２３における表示可能な画素数とから、（各画像フレームの）縮小率を求める（ステップS４４）。そして、該求めた縮小率と、ステップS４１で求めた新たな（今回算出した）倍率（N）とを、主記憶部３等に記憶させる。例えば、上述した（図３で示した）ウィンドウ領域が、ユーザにより、符号２３で示した領域（表示可能な画素数が1000）から符号２７で示した領域（表示可能な画素数が3200）に変更（拡大）された場合には、上記新たな（今回算出した）倍率（N）は、“４”となり、上記縮小率は“20%”となる（ステップS４５）。

次に、制御部１３は、ステップS４４で求め、ステップS４５で主記憶部３等に記憶させた縮小率（上記具体例では、“20%”）が、予め設定されている縮小率の閾値以下になったかどうかチェックする（ステップS４６）。該チェックの結果、上記縮小率が上記閾値以下になったと判断すれば、制御部１３は、ステップS４５で主記憶部３等に記憶させた上記倍率（今回の倍率）N＋1を、画像保持部１５へ通知する（ステップS４７）。そして、次のステップS４８で示す処理動作に移行する。一方、該チェックの結果、上記縮小率が上記閾値以下になっていないと判断すれば、直ちにステップS４８で示す処理動作に移行することになる。

ステップS４１乃至ステップS４７で示した処理動作は、画像表示装置１００に入力された画像情報の再生処理が、制御部１３により終了した（ステップS４８でYES）と判断されるまでの間、継続される。換言すれば、上記画像情報の再生処理が終了しない（ステップS４８でNO）うちは、制御部１３による図５で示した一連の処理動作は終了しない。

なお、ステップS４７で示した処理動作が終了した後は、画像保持部１５は、制御部１３から通知された倍率（N＋1）を（主記憶部３を介して）保持することになる。しかし、制御部１３がステップS４３で示した処理動作を実行しなかった場合、即ち、ステップS４２において、今回算出した倍率（N）と、前回の倍率（N）とが等しいと判断された場合には、超解像処理部１７は、前回の倍率（N）に基づく超解像処理、即ち、N枚の画像フレームから（元の画像フレームの）N倍の画素数を持つ画像フレームを生成する処理を実行することになる。

例えば、図３で示したウィンドウ領域２３が、ユーザにより図３で示したウィンドウ領域２５に変更（拡大）された場合、上述した縮小率の閾値が10%、変更（拡大）後のウィンドウ領域２５に表示可能な画素数が2800であるとすれば、上記縮小率は6.67%となって上記縮小率の閾値である10%よりも小さい数値になる。よって、制御部１３は、画像保持部１５に対し、倍率（N）“４”を通知することになる。

次に、制御部１３から上記通知を受けた場合の、画像保持部１５、及び超解像処理部１７における処理動作について説明する。

図６は、図５で示した第１の変形例に係る各画像フレームの、図１に記載した主記憶部３への格納状態の一例を示す模式図である。

図６において、図６（a）は、制御部１３が、図５のステップS４１の処理動作において倍率（N）“３”（即ち、画像表示装置１００に入力された各画像フレームが持つ画素数に対する、ウィンドウ領域２３に表示可能な画素数の倍率）を取得した時点での、主記憶部３における記憶内容を示す。即ち、上記画像情報を構成する各画像フレームのうちの、時間的に連続する３枚の画像フレーム（画像フレーム１、画像フレーム２、及び画像フレーム３）が、図示の態様で、画像保持部１５により主記憶部３へ格納される。上記３枚の画像フレーム（画像フレーム１、画像フレーム２、及び画像フレーム３）が、超解像処理部１７に出力されることで、超解像処理部１７において、上記３枚の画像フレームから、画像フレーム１に対する超解像処理が実行される。

該超解像処理の実行中に、例えば、図３で示したウィンドウ領域２３が、ユーザによりウィンドウ領域２５に変更（拡大）された状態で、制御部１３により、図５に示したステップS４７の処理動作が実行されたとすると、既述のように、制御部１３は画像保持部１５に対し、倍率（N）“４”を通知することになる。画像保持部１５は、画像表示装置１００に入力された画像情報における各画像フレームの中から、上記３枚の画像フレーム（画像フレーム１、画像フレーム２、及び画像フレーム３）と時間的に連続する画像フレームである画像フレーム４を読み出し、該画像フレーム４を主記憶部３へ格納する。図６（b）は、上述した３枚の画像フレーム（画像フレーム１、画像フレーム２、及び画像フレーム３）に加えて、画像フレーム４（即ち、画像フレーム１、画像フレーム２、画像フレーム３、及び画像フレーム４の合計で４枚の画像フレーム）が、主記憶部３へ格納されたときの主記憶部３における記憶内容を示す。

しかし、超解像処理部１７については、制御部１３から倍率（N）“３”が通知された状態のままであるので、超解像処理部１７は、上述した３枚の画像フレーム（画像フレーム１、画像フレーム２、及び画像フレーム３）のみを使用して、上記画像フレーム１に対する超解像処理を実行することになる。そして、現に表示出力されている画像フレームの次の画像フレームが、上記ウィンドウ領域２５に表示出力されるに際しては、画像保持部１５が上記入力画像情報中から上記画像フレーム４と時間的に連続する画像フレームである画像フレーム５を読み出し、該画像フレーム５を主記憶部３へ格納する。図６（c）は、上述した画像フレーム１を除く４枚の画像フレーム（即ち、画像フレーム２、画像フレーム３、画像フレーム４、及び画像フレーム５）が、主記憶部３へ格納されたときの主記憶部３における記憶内容を示す。この場合、超解像処理部１７は、画像フレーム５を除く３枚の画像フレーム（画像フレーム２、画像フレーム３、及び画像フレーム４のみを使用して、上記画像フレーム２に対する超解像処理を実行することになる。

上述した事前予測処理においては、画像表示装置１００に入力され画像情報の再生処理中に、ユーザにより表示部９に設定されるウィンドウ領域が変更（拡大）されるに際して、上記倍率（N）が“１”大きくなる前に、予め画像保持部１５が（主記憶部３を介して）保持する画像フレームの枚数を１枚多く保持することができるので、画像表示装置１００に入力された画像情報が、表示部９に表示出力されている際に、上述したウィンドウ領域（２３）のサイズが変更されたとしても、該変更された時点におけるウィンドウ領域（のサイズ）に最適な画素数で、上記画像情報の各画像フレームを表示出力することができる。この場合、縮小率の閾値を最適な値に設定することにより、超解像処理に必要な画像フレームの数を必要最低限度の数に抑制することができるため、画像フレームの保持に必要なメモリの使用量を必要最低限度の量に抑制することが可能になる。

上述した第１の変形例においては、図３で示したウィンドウ領域（２３）が徐々に拡大される場合を想定したが、該ウィンドウ領域（２３）が急速に拡大される場合もあり得る。例えば、ウィンドウ領域２３が、ウィンドウ領域２７に急速に変更（拡大）された場合には、ウィンドウ領域２７における表示可能な画素数が、ウィンドウ領域２３における表示可能な画素数の４倍であるため、画像保持部１５が、（主記憶部３を介して）保持しておく必要のある画像フレームの枚数は“４”である。

しかし、ウィンドウ領域２３が設定されている状態で、元の画像情報の画像フレームを該ウィンドウ領域２３に表示している場合には、（主記憶部３を介して）画像保持部１５が保持している画像フレームの枚数は、“３”である。そのため、超解像処理部１７は、表示可能な画素数がウィンドウ領域２３の表示可能な画素数の４倍であるウィンドウ領域２７に表示出力することが可能な画素数を持つ画像フレームを生成することはできない。

そこで、制御部１３は、図５のステップS４３で示した処理動作において、画像保持部１５が（主記憶部３を介して）前回保持した倍率が“N”で、且つ、上記縮小率が上述した閾値を超えている場合には、倍率“N＋1”と、ハイブリッド拡大モード情報とを、超解像処理部１５に通知する。超解像処理部１５では、画像表示装置１００がハイブリッド拡大モードに設定されている場合には、主記憶部３に格納されているN枚の画像フレームのうちの、何れか１枚の画像フレームのコピーを作成する。そして、上記１枚の画像フレームのコピーを含む、合計で“N＋1”枚の画像フレームから、上記コピーの対象とされた１枚の画像フレームの画素数を、“N＋1”倍の画素数に増加させる超解像処理（拡大処理）を実行する。ここでは、該処理を実行するモードを、擬似超解像拡大モードと称する。

この擬似超解像拡大モードに代えて、併用モードと称する処理動作を実行することも可能である。即ち、併用モードでは、超解像処理部１７が、主記憶部３に格納されている１枚の画像フレームから、該画像フレームの持つ画素数のN倍の画素数を持つ画像フレームを生成し、更に、該画像フレームの画素数を、上記ウィンドウ領域に表示可能な画素数まで、sinc関数を用いた補間ローパスフィルタや、スプライン関数等により単純拡大する処理が実行される。この場合、超解像処理部１７から出力される画像フレームの画素数は、上述したウィンドウ領域に表示可能な画素数と同一であるので、画像縮小部１９が実行する処理動作についてはスキップされる。

図７は、本発明の一実施形態の第２の変形例に係る、超解像処理に用いる画像フレーム数の制御部１３による事前予測処理の処理流れの一例を示すフローチャートである。

図７で示すフローチャートは、図５で示したフローチャートと同様に、画像表示装置１００に入力された画像情報が、表示部９に表示出力されている際に、上述したウィンドウ領域（２３）のサイズが、ユーザにより変更される場合における制御部１３の処理動作である。

図７において、ステップS５１で示す処理動作は、図５においてステップS４１で示した処理動作と、ステップS５２で示す処理動作は、図５においてステップS４２で示した処理動作と、夫々同一である。また、図７において、ステップS５７で示す処理動作は、図５においてステップS４４で示した処理動作と、図７において、ステップS５８で示す処理動作は、図５においてステップS４５で示した処理動作と、図７において、ステップS５９で示す処理動作は、図５においてステップS４６で示した処理動作と、夫々同一である。更に、図７において、ステップS６０で示す処理動作は、図５においてステップS４７で示した処理動作と、図７において、ステップS６１で示す処理動作は、図５においてステップS４８で示した処理動作と、夫々同一である。

今回算出した倍率（N）の方が、前回の倍率（N）、即ち、元の画像情報の画像フレームの画素数に対する現在のウィンドウ領域２３の表示可能な画素数の倍率（N）よりも大きければ（ステップS５２）、制御部１３は、今回算出した倍率（N）で拡大された画像フレームの画素数と、ウィンドウ領域（２３）に表示可能な画素数とから、縮小率を算出し（ステップS５３）、次いで、算出した縮小率が、予め決められた縮小率の閾値よりも大きいかどうかチェックする（ステップS５４）。該チェックの結果、上記縮小率が、上記閾値よりも大きいと判断すると、制御部１３は、ステップS５１で求めた新たな倍率（N）を画像保持部１５に、該新たな倍率（N）と、ハイブリッド拡大情報とを超解像処理部１７に、上記縮小率を画像縮小部１９に、夫々通知する。なお、ハイブリッド拡大モード時に、超解像処理部１７が擬似超解像モードで（超解像）処理を行うのであれば、上記縮小率を画像縮小部１９に通知する必要はない（ステップS５５）。

次に、画像保持部１５が、上記新たな倍率（N）を、（主記憶部３を介して）保持する処理動作を行うと（ステップS５６）、画像表示装置１００に入力された画像情報の再生処理が、制御部１３により終了した（ステップS６１でYES）と判断されるまでの間、ステップS５１乃至ステップS６０で示した処理動作が継続される。

上述したように、ウィンドウ領域（２３）が急速に拡大される場合を考慮すると、ウィンドウ領域に表示出力すべき画像フレームを（主記憶部３を介して）保持して、該ウィンドウ領域が拡大されて最大となったときの、該ウィンドウ領域に表示可能な画素数と同一の画素数を持ち得るように、上記画像フレームに対し超解像処理を施しておく。そして、実際に設定が変更されたウィンドウ領域の大きさに合わせて上記超解像処理を施した後の画像フレームに対し、縮小処理を施すことになる。しかし、本変形例によれば、ウィンドウ領域が急速に拡大された場合にも、画像フレームを記憶するためのメモリ使用量を、必要最低限度に抑制した上で、画像フレームの持つ画素数を、該ウィンドウ領域に適合する画素数に調整して、該ウィンドウ領域に表示出力することができる。

本発明の一実施形態、その第１の変形例、及びその第２の変形例では、何れも、ウィンドウシステムが搭載された画像表示装置１００を例に挙げて説明したが、本発明は、ウィンドウシステムが搭載されていない画像表示装置にも適用可能である。

図８は、本発明の他の実施形態に係る画像表示装置における画像表示領域のサイズ変更に関する説明図である。

図８において、図８（a）は、ディジタルTV（テレビジョン）放送受信装置が受信した、放送局からTV映像信号と共にディジタルTV放送波に重畳されて送信されてくるデータ放送の表示画面の一例を示す。図８（a）では、上記ディジタルTV放送受信装置の表示画面７１において、該表示画面７１中に設定されるテレビ映像表示領域７３にテレビ映像が、同じく該表示画面７１中に設定されるデータ表示領域７５にデータ放送により送信されてくるデータが、夫々表示される。図８（a）で示した状態において、ユーザが例えばリモコン等の入力機器を操作してデータ放送の表示を止めた場合には、図８（c）で示すように、表示画面７１の全域がテレビ映像表示領域７３になる。そして、表示画面７１の表示態様が、図８（a）から図８（c）に遷移するに際して、図８（b）に示すように、上記テレビ映像表示領域７３の、上記表示画面７１に占める割合が徐々に拡大するような変化を所望する場合に、本発明の一実施形態、その第１の変形例、及びその第２の変形例に係わる手法が適用されることになる。

以上、本発明の好適な実施形態や、これらの変形例を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。

本発明の一実施形態に係る画像表示装置の全体構成を示す機能ブロック図。 図１に記載したCPU上で動作するプログラムの処理機能を示すブロック図。 図１に記載した表示部に表示出力される画像情報の表示態様の一例を示す模式図。 本発明の一実施形態に係る画像表示装置における画像情報再生処理に際しての画像表示装置を構成する各部の処理動作を示すフローチャート。 本発明の一実施形態の第１の変形例に係る、超解像処理に用いる画像フレーム数の制御部による事前予測処理の処理流れの一例を示すフローチャート。 図５で示した第１の変形例に係る（画像情報を構成する）各画像フレームの、図１に記載した主記憶部への格納状態の一例を示す模式図。 本発明の一実施形態の第２の変形例に係る、超解像処理に用いる画像フレーム数の制御部による事前予測処理の処理流れの一例を示すフローチャート。 本発明の他の実施形態に係る画像表示装置における画像表示領域のサイズ変更に関する説明図。

符号の説明

１ CPU
３ 主記憶部
５ 入力部
７ 補助記憶部
９ 表示部
１１ バスライン
１３ 制御部
１５ 画像保持部
１７ 超解像処理部
１９ 画像縮小部
１００ 画像表示装置

Claims (7)

1. 画像情報の表示領域のサイズが可変調整される表示部を備える画像表示装置において、
   入力された画像情報を構成する画像フレームを、所定数だけ保持する画像フレーム保持部と、
   前記可変調整された表示領域において、画像情報の表示可能な最大画素数を算出する最大画素数算出部と、
   前記画像フレームの持つ画素数と、前記最大画素数算出部により算出された最大画素数との比率から、前記画像フレームに超解像処理を行うのに用いる画素数の倍率を決定する倍率決定部と、
   前記倍率決定部により決定された倍率に基づき、前記画像フレーム保持部に保持すべき画像フレームの数を調整する画像フレーム保持数調整部と、
   を有する画像表示装置。
2. 請求項１記載の画像表示装置において、
   前記超解像処理が施された後の画像フレームの持つ画素数と、前記最大画素数算出部により算出された最大画素数との比較に基づき、前記画像フレームの縮小率を算出する縮小率算出部、
   を更に備える画像表示装置。
3. 請求項２記載の画像表示装置において、
   前記縮小率算出部により算出された縮小率が、予め決められている閾値以下であるかどうか判断する判断部、
   を更に備え、
   前記判断部が、前記縮小率が前記閾値以下であると判断した場合には、前記倍率決定部により決定された倍率に１を加算した値を、前記画像フレーム保持部に通知するようにした画像表示装置。
4. 請求項１記載の画像表示装置において、
   前記表示領域が、画像表示装置に組み込まれているウィンドウシステムのウィンドウ領域である画像表示装置。
5. 請求項１記載の画像表示装置において、
   前記超解像処理後の画像フレームが、前記表示領域のサイズに適合するよう調整された状態で出力されている間に、前記表示領域のサイズが短時間で拡大された場合には、前記画像フレームに対し、該拡大された表示領域のサイズに適合するような新たな超解像処理が行われる画像表示装置。
6. 請求項５記載の画像表示装置において、
   前記新たな超解像処理において、それより前の超解像処理時の画像フレームの数より１つ多い画像フレームが必要になった場合には、前記画像フレームのうちから任意の１枚の画像フレームのコピーを作成して、該コピーの画像フレームをも含めた画像フレームを用いて、前記新たな超解像処理を行うようにした画像表示装置。
7. 請求項５記載の画像表示装置において、
   前記新たな超解像処理において、それより前の超解像処理時の画像フレームの数より１つ多い画像フレームが必要になった場合には、前記前の超解像処理が施された後の画像フレームの持つ画素数を、sinc関数を用いた補間ローパスフィルタやスプライン関数により、前記拡大された後の表示領域に表示可能な最大画素数にまで増大させるようにした画像表示装置。

Images