JP2010130497A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】１フレームあたりの所要時間が目標時間を越えないように高解像度化処理を制御することを実現した情報処理装置を提供する。
【解決手段】エッジ判定部２０１は、エッジ判定基準値に従って動画像信号のフレーム内のエッジを検出する。テクスチャ判定部２０２は、テクスチャ判定基準値に従って動画像信号のフレーム内のテクスチャを検出する。エッジ数計測部３０７は、エッジ判定部２０１によって検出されたエッジであって、テクスチャ判定部２０２によって検出されたテクスチャ上に位置しないエッジの数を計数する。そして、負荷判定・パラメータ変更部３０８は、エッジ数計測部３０７によって計数されたエッジの数が、情報処理装置が目標処理時間内に１フレーム分の高解像度化処理を完了可能な最大エッジ数よりも多い場合、テクスチャを増加させるべくテクスチャ判定基準値を減少する。
【選択図】 図２

Description

この発明は、例えばＤＶＤ（Digital Versatile Disc）に格納されたＳＤ（Standard Definition）画像をＨＤ（High Definition）画像に変換して拡大表示する特殊再生機能を有するパーソナルコンピュータ等に適用して好適な動画像データの高解像度化処理制御技術に関する。

近年、ノートブックタイプやデスクトップタイプ等、様々なタイプのパーソナルコンピュータが広く普及している。この種のパーソナルコンピュータの中には、動画像データをソフトウェアで再生するものも多く、最近では、入力された画像データよりも高い解像度の画像データを生成する高解像度化機能を有するソフトウェアも出現してきている。このようなことから、この高解像度化に関わる仕組みが種々提案され始めている（例えば特許文献１等参照）。
特開２００６−２２１２２１号公報

ところで、これまでの高解像度化処理においては、１フレーム内のエッジ（輝度値が急峻に変化している領域）情報の数またはエッジ情報から得られた高画質処理画素の数がそのまま高画質画像処理の実施回数となっていた。よって、エッジ情報の大小で処理時間が変動し、エッジが多い場合には、処理時間が目標とする処理時間を越えてしまい、コマ落ちや表示遅延などを発生させるという問題があった。

同様に、平坦部（輝度値の変化が少ない領域）についても、その多少により、処理時間の変動が起こる仕組みとなっており、場合によっては、処理時間が目標とする処理時間を越えてしまっていた。

この発明は、このような事情を考慮してなされたものであり、１フレームあたりの所要時間が目標時間を越えないように高解像度化処理を制御することを実現した情報処理装置およびプログラムを提供することを目的とする。

前述した目的を達成するために、この発明は、第１解像度の動画像信号から前記第１解像度よりも高い第２解像度の動画像信号を生成する高解像度化処理を実行する情報処理装置であって、前記第１解像度の動画像信号の処理対象フレーム内において輝度値が所定のエッジ判定基準値を越えて変化しているエッジ領域を検出するエッジ検出手段と、所定のテクスチャ判定基準値に従って、前記処理対象フレーム内において輝度値の変化が規則的に連続して発生しているテクスチャ領域を検出するテクスチャ検出手段と、前記処理対象フレーム内において輝度値の変化が所定の平坦部判定基準値を下回っている平坦部領域を検出する平坦部検出手段と、前記処理対象フレームの解像度を前記第１解像度から前記第２解像度に変換して、前記第２解像度を有する仮高解像度画像を生成する解像度変換手段と、前記平坦部検出手段によって検出された平坦部領域以外の領域に対応する前記仮高解像度画像内の対応画素の各々に対して高画質化のための第１の画質改善処理を施し、前記エッジ検出手段によって検出されたエッジ領域であって前記テクスチャ検出手段によって検出されたテクスチャ領域上に位置しないエッジ領域に対応する前記仮高解像度画像内の対応画素の各々に対して鮮鋭化のための第２の画質改善処理を施す画質改善処理手段と、前記テクスチャ検出手段に適用される前記テクスチャ判定基準値または前記平坦部検出手段に適用される前記平坦部判定基準値の少なくとも一方を所定の規則に従って変更する制御手段と、を具備することを特徴とする。

この発明によれば、１フレームあたりの所要時間が目標時間を越えないように高解像度化処理を制御することが実現される。

以下、図面を参照して、本発明の実施形態を説明する。

（第１実施形態）
図１に、本実施形態に係る情報処理装置の構成を示す。この情報処理装置は、例えばバッテリ駆動可能なノートブック型パーソナルコンピュータとして実現されている。

このコンピュータは、図１に示したように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、グラフィックスコントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、液晶表示装置（ＬＣＤ）１５、サウスブリッジ１６、ＢＩＯＳ−ＲＯＭ１７、ハードディスクドライブ（ＨＤＤ）１８、ＵＳＢコントローラ１９、サウンドコントローラ２０、スピーカ２１、デジタルＴＶチューナ２２、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）２３、キーボード２４、タッチパッド２５、電源回路２６、バッテリ２７、ネットワークコントローラ２８、ビデオプロセッサ２９等を備えている。

ＣＰＵ１１は、本コンピュータ内の各部の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ１８から主メモリ１３にロードされるオペレーティングシステム（ＯＳ）１０１および各種アプリケーションプログラムを実行する。この各種アプリケーションプログラムの中には、高解像度化アプリケーションプログラム１０２が含まれている。また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、各種ハードウェア制御のためのプログラムである。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２は、バスを介してグラフィックスコントローラ１４との通信を実行する機能を有している。また、ノースブリッジ１２は、主メモリ１３をアクセス制御するメモリコントローラも内蔵している。グラフィックスコントローラ１４は、本コンピュータのディスプレイモニタとして使用されるＬＣＤ１５を制御する表示コントローラである。ＬＣＤ１５の画素数は、例えば1920×1080画素である。グラフィックスコントローラ１４は、ＶＲＡＭ１４Ａに書き込まれた画像データからＬＣＤ１５に送出すべき表示信号を生成する。

サウスブリッジ１６は、ＰＣＩバスおよびＬＰＣバス上の各種デバイスを制御するコントローラである。また、このサウスブリッジ１６には、ＢＩＯＳ−ＲＯＭ１７、ＨＤＤ１８、ＵＳＢコントローラ１９、サウンドコントローラ２０およびデジタルＴＶチューナ２２が接続されている。ＨＤＤ１８は、各種ソフトウェアおよびデータを格納する記憶装置である。ＵＳＢコントローラ１９は、ケーブルを介して本コンピュータに接続される各種ＵＳＢデバイスを制御するコントローラである。サウンドコントローラ２０は、音源デバイスであり、スピーカ２１にオーディオ信号を出力する。デジタルＴＶチューナ２２は、放送信号によって放送されるデジタルＴＶ放送番組データを受信するための受信装置である。

さらに、サウスブリッジ１６は、ＬＰＣ（Low Pin Count）バス上の各デバイスおよびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する機能を有している。またさらに、サウスブリッジ１６には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ２９が接続されている。

ビデオプロセッサ２９は、高解像度化アプリケーションプログラム１０２の制御の下、高解像度化処理を実行するプロセッサである。高解像度化処理は、動画像信号の解像度を高解像化するための処理である。この高解像度化処理は、例えばＳＤ（標準解像度）規格の解像度（水平７２０画素、垂直４８０画素）を有する動画像信号からＨＤ（高解像度）規格の解像度（水平１４４０画素、垂直９６０画素）を有する動画像信号を生成するために使用される。メモリ２９Ａは、ビデオプロセッサ２９の作業メモリとして用いられる。

高解像度化処理を実行するためには、多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１１とは異なる専用のプロセッサであるビデオプロセッサ２９がバックエンドプロセッサとして使用され、このビデオプロセッサ２９によって高解像度化処理が実行される。よって、ＣＰＵ１１の負荷の増加を招くことなく、高解像度化処理を実行することが出来る。

ＥＣ／ＫＢＣ２３は、電力管理のためのエンベデッドコントローラと、キーボード２４およびタッチパッド２５を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ２３は、電源回路２６と協働して、バッテリ２７または外部ＡＣ電源からの電力を各部に供給する。ネットワークコントローラ２８は、インターネットなどの外部ネットワークとの通信を実行する通信装置である。

高解像度化アプリケーションプログラム１０２は、ビデオプロセッサ２９を用いることによって、表示対象の動画像信号の解像度をＳＤ解像度からＨＤ解像度に変換する処理を実行する。よって、高解像度化アプリケーションプログラム１０２およびビデオプロセッサ２９は、高解像度化処理を実行するための高解像度化装置として機能し得る。

図２は、この高解像度化アプリケーションプログラム１０２およびビデオプロセッサ２９によって実現される高解像度化装置２００の基本構成を示している。

この高解像度化装置２００は、低解像度画像３０１を拡大し、さらに拡大された画像に対して鮮鋭化などの高画質処理を施すことによって高解像度画像３０２を生成する。低解像度画像３０１は、例えば、テレビ放送番組データやインターネット配信映像データのようなＳＤ解像度の動画像信号である。高解像度画像３０２は、例えば、ＨＤ解像度の動画像信号である。この高解像度化装置２００は、エッジ判定部２０１、テクスチャ判定部２０２、平坦部判定部２０３、対応点抽出・絞込み部２０４、仮高解像度画像生成部２０５および高画質処理部２０６を備えている。

エッジ判定部２０１は、低解像度画像３０１として入力される動画像信号のフレーム毎に、当該フレームに含まれるエッジ（エッジ領域）を検出する。エッジとは、画像内において画素値（輝度値）が急峻に変化している領域である。エッジ検出は、所定のエッジ判定基準値に従って実行される。エッジ検出には、例えば、Sobelフィルタを用いることができる。エッジ判定部２０１は、エッジ検出結果である位置情報をエッジ情報として出力する。

また、テクスチャ判定部２０２は、低解像度画像３０１として入力される動画像信号のフレーム毎に、当該フレームに含まれるテクスチャ領域を検出する。テクスチャとは、画像内において輝度値の変化が規則的に連続して発生している領域である。テクスチャ検出は、所定のテクスチャ判定基準値に従って実行される。テクスチャ判定部２０２は、テクスチャ検出結果である位置情報をテクスチャ情報として出力する。

さらに、平坦部判定部２０３は、低解像度画像３０１として入力される動画像信号のフレーム毎に、当該フレームに含まれる平坦部領域を検出する。平坦部とは、画像内において輝度値の変化が少なく、エッジ成分もテクスチャ成分も持たない領域である。平坦部検出は、所定の平坦部判定基準値に従って実行される。平坦部判定部２０３は、平坦部検出結果である位置情報を平坦部情報として出力する。

対応点抽出・絞込み部２０４は、エッジ判定部２０１によって得られるエッジ情報と、テクスチャ判定部２０２によって得られるテクスチャ情報および平坦部判定部２０３によって得られる平坦部情報とを用いて、後述する仮解像度画像の内から、後段の画質改善処理（第２の画質改善処理）を施すべき対応画素（対応点）の位置を抽出する。まず、エッジ成分について、エッジ情報から後段の画質改善処理に利用する画素を抽出する処理を行う。この時、テクスチャ情報を利用することにより、テクスチャ領域に存在するエッジ成分から抽出される対応点は後段の画質改善処理には利用しない絞り込みを行う。

また、本高解像度化装置２００では、エッジに由来する対応点とは別に、元となる低解像度画像全体の画素位置について、前段の画質改善処理（第１の画質改善処理）を施す。これをベース部の高画質化処理と呼ぶ。そこで、対応点抽出・絞込み部２０４は、平坦部情報を利用して、このベース部の高画質化処理を、その適用が有効であると期待される平坦部領域以外の部分のみに施すための絞り込みも併せて行う。つまり、対応点抽出・絞込み部２０４は、高画質化処理を施す画素の位置を、エッジ、テクスチャ、平坦部の各種情報から選別する処理を実行する。

仮高解像度画像生成部２０５は、高画質処理を施す前の拡大画像である仮高解像度画像を生成する。即ち、仮高解像度画像生成部２０５は、低解像度画像２０１として入力される動画像信号のフレーム毎に、当該フレームの解像度をＳＤ解像度からＨＤ解像度に変換して、ＨＤ解像度を有する仮高解像度画像を生成する。画像拡大方法としては、例えば、３次元畳み込み法(Cubic Conbolution)を利用することができる。

そして、高画質処理部２０６は、対応点抽出・絞込み部２０４によって選別された対応点およびベース部分に相当する仮高解像度画像内の画素に対して、前述の画質改善処理をそれぞれ施す。ここでの処理を鮮鋭化と呼び、仮高解像度画像生成部２０５によって得られた仮高解像度画像をより鮮鋭な画像に変換するものである。この高画質処理部２０６による画質改善処理によって得られる画像が高解像度画像３０２である。以上の手順で、低解像度画像３０１として入力される動画像信号の各フレームから高解像度画像３０２が生成され、この高解像度画像３０２がＬＣＤ１５等の表示装置に表示されることになる。

ところで、高画質処理部２０６によって画質改善処理を施すべき画素数は、対応点抽出・絞込み部２０４のによって決定される対応画素の数に応じて変動する。よって、画質改善処理を施すべき画素数は、エッジ判定部２０１によって検出されたエッジ数の影響を受ける。同様に、このエッジ数に影響を与えるテクスチャ判定部２０２によるテクスチャ判定結果であるテクスチャ領域、ベース部の高画質化処理に影響を与える平坦部判定部２０３による平坦部判定結果である平坦部領域も、画質改善処理を施すべき画素数に影響を与えることとなる。

即ち、仮高解像度画像生成部２０５によって生成された仮高解像度画像内の１画素に対する高画質処理部２０６による画質改善処理のための演算量は一定であるが、エッジ判定部２０１、テクスチャ判定部２０２、平坦部判定部２０３および対応点抽出・絞込み部２０４の処理によって決定される対応画素の数の増加に応じて、１フレームあたりの画質改善処理に要する処理時間は増加する。エッジ成分を例とするならば、図３に示すように、低解像度画像３０１がエッジの少ない画像である場合においては（エッジ数＝Ｅ１）、１フレームの高解像度化処理にかかる処理時間はＴ１であるが、低解像度画像３０１がエッジの多い画像である場合においては（エッジ数＝Ｅ２）、１フレームの高解像度化処理にかかる処理時間はＴ２（Ｔ２＞Ｔ１）に増加する。

一方、本高解像度化装置２００によって得られた動画像信号を表示装置に表示する場合には、一定時間内に１フレームの高解像度画像３０２を生成する必要がある。例えば、３０フレーム／秒の動画像信号を再生する場合においては、１フレームの高解像度画像３０２を生成するのに利用可能な時間は約３３msecである。エッジ数の多い動画像信号が本高解像度化装置２００に入力されたならば、１フレームの高解像度画像３０２を生成するのに要する時間が３３msecを超過してしまうことも考えられる。この場合、表示装置においては、コマ落ちや、表示遅延などの問題が発生する。

図４は、改良された本第１実施形態の高解像度化装置２００の構成を示している。

この高解像度化装置２００は、図２で説明したエッジ判定部２０１、テクスチャ判定部２０２、平坦部判定部２０３、対応点抽出・絞込み部２０４、仮高解像度画像生成部２０５および高画質処理部２０６に加え、さらに、エッジ数計測部２０７および負荷判定・パラメータ変更部２０８を備えている。

本高解像度化装置２００が１フレームの処理に利用できる最大処理時間は、以下の式１で表すことができる。

Tmax = Ec × Tsearch_squeze + Ec × Tsharpen + Bc × Tsharpen…… 式１
Tmax : 高解像度化装置が1フレームの処理に利用できる最大処理時間
Ec : 処理対象フレーム内のエッジ数
Bc : ベース部となる画素数
Tsearch_squeze : １エッジ当たりの対応点抽出・絞込み処理に要する時間
Tsharpen： １画素当たりの高画質化処理に要する時間
Ecは、最終的にTserch_squezeおよびTsharpenを行うエッジである。本高解像度化装置２００では、エッジ判定部２０１のエッジ判定結果とテクスチャ判定部２０２のテクスチャ判定結果を複合した結果となる対応点の数となる。また、Bcは、ベース部の画素数を示しており、ベース部の高画質化処理に必要な処理時間は、この値とTsharpenを乗算した時間である。

３０フレーム／秒の映像出力の場合、Tmaxは３３msecとなる。Tsearch_squezeおよびTsharpenの各々の値は、本コンピュータのプログラム実行速度によって決定される。つまり、Tsearch_squezeおよびTsharpenの各々の値は、本コンピュータの処理性能によって決定される固定値である。よって上記式１から、Tmaxを満たす最大エッジ数、つまり本コンピュータが目標処理時間内に１フレーム分の高解像度化処理を完了可能な最大エッジ数を算出することができる。この最大エッジ数をEnとする。

この最大エッジ数Enを利用することで、エッジ判定結果から得られるエッジ数を調整して処理負荷を制御することができる。エッジ判定部２０１におけるエッジ数調整については、本願出願人出願の特願２００８−１７０１６７に記載した内容であるためここでは省略する。ここでは、最大エッジ数Enとテクスチャ判定部２０２のテクスチャ領域判定機能とを利用した負荷制御について説明する。

テクスチャ判定部２０２においては、テクスチャ判定パラメータthTextureを前述のテクスチャ判定基準値（テクスチャ強度のしきい値）としてフレーム内のテクスチャ領域を検出する。テクスチャ判定パラメータthTextureを大きな値とすると、注目画素はテクスチャ強度が大きくなければテクスチャと判定されない。従って、thTextureを大きくすることで、テクスチャ領域は減少し、thTextureを小さくすることで、テクスチャ領域は増加することとなる。

本高解像度化装置２００では、対応点抽出・絞込み部２０４が、テクスチャ判定部２０２によってテクスチャと判定された領域に存在するエッジ成分は高画質化処理の対応点から除外する処理を行う。従って、thTexture値を小さくしてテクスチャ領域を増加させることによって高画質化処理の対象となる対応点数は減少することになる。

エッジ数計測部２０７は、エッジ判定部２０１で検出され、対応点抽出・絞込み部２０４による選別を経た各フレームの対応点となるエッジ数を計測する。エッジ数計測部２０７で得られるエッジ数は、既にテクスチャ判定部２０２でテクスチャ判定した結果によるものであるため、負荷判定・パラメータ変更部２０８で調整するthTexture値は同一フレームには反映できない。従って、負荷判定・パラメータ変更部２０８が変更したthTextureパラメータは、次のフレームにおいて有効となる。

負荷判定・パラメータ変更部２０８は、エッジ数計測部２０７の計測結果とTmaxを満たすエッジ最大数Enとを用いてテクスチャ判定部２０２におけるテクスチャ判定パラメータthTextureを調整する制御部となっている。テクスチャ判定パラメータthTextureを増減させる調整は、そのフレームの対応点となったエッジ数Ecに対して、
Ec ＞ En
の場合となる。このときthTexture値を減少させることで、Ecを減少させる（ただし次のフレーム）制御を行う。一方、EcがEn以下の場合、thTextureを適正な値に戻す(増加させる)ことで、テクスチャ判定パラメータthTextureとエッジ数とを適正に制御する。

図５に、この負荷判定・パラメータ変更部２０８による制御の原理を説明するための各フレームの構成を表す概念図を示す。

各フレームａ１は、平坦部判定部２０３によって、輝度値の変化が少なく、エッジ成分もテクスチャ成分も持たない平坦部領域ａ１１が検出される。この平坦部領域ａ１１は、ベース部の高画質化処理の対象から外される。また、各フレームａ１は、テクスチャ判定部２０２によって、輝度値の変化が規則的に連続して発生しているテクスチャ領域ａ１２が検出される。エッジ判定部２０１によって検出される、画素値が急峻に変化しているエッジ領域のうち、このテクスチャ領域ａ１２上に存在するエッジ領域は、後段の高画質化処理の対象から外される。よって、このテクスチャ領域ａ１２の増減を左右するテクスチャ判定基準値thTextureを調整することで（パラメータ調整ｂ１）、後段の高画質化処理の対象となるエッジ領域ａ１３の増減を調整する。

次に、図６のフローチャートを参照して、負荷判定・パラメータ変更部２０８によって実行されるthTexture調整処理を説明する。

ステップＡ１では、エッジ判定部２０１およびエッジ数計測部２０７によってエッジの検出およびエッジ数Ecの計測が行われる。負荷判定・パラメータ変更部２０８は、エッジ数Ecと最大エッジ数Enとを比較して、エッジ数Ecが最大エッジ数Enよりも多いか否かを判定する（ステップＡ２）。

Ec>Enである場合、つまりエッジ数Ecが最大エッジ数Enよりも多いならば（ステップＡ２のＹＥＳ）、負荷判定・パラメータ変更部２０８は、次フレームのエッジ数Ecが低減されるように、テクスチャ判定パラメータthTextureの値を増加する（ステップＡ３）。Ec>Enでない場合は（ステップＡ２のＮＯ）、負荷判定・パラメータ変更部２０８は何もしない。

次に、負荷判定・パラメータ変更部２０８は、エッジ数Ecが最大エッジ数Enよりも十分に下回り（Ec<<En）、かつ、現在のテクスチャ判定パラメータthTextureの値が初期設定値を上回っているか否かを判定する（ステップＡ４）。Ec<<En、かつ、現在のテクスチャ判定パラメータthTextureの値が初期設定値を上回っているという条件が満たされているならば（ステップＡ４のＹＥＳ）、負荷判定・パラメータ変更部２０８は、テクスチャ判定パラメータthTextureの値を減少させる（ステップＡ５）。ステップＡ５では、例えば、テクスチャ判定パラメータthTextureの値を初期設定値に戻す処理が行われる。

なお、図６中のステップＡ４において使用される判定条件としては、Ec<<Enの条件の代わりに、Ec≦Enの条件を使用しても良い。

以上のように、本実施形態の高解像度化装置２００は、テクスチャ判定によりエッジ数を制御し、高解像度化処理に要する時間が目標処理時間を超過するような動画像信号においても、処理負荷を低減でき、これによって高解像度化処理に要する時間を適正な値に調整することが可能となる。よって、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができ、コマ落ち等を招くことなく、高解像度化された動画像信号を高解像度のディスプレイにリアルタイムに表示する処理等が可能となる。

（第２実施形態）
次に、本発明の第２実施形態を説明する。

図７は、改良された本第２実施形態の高解像度化装置２００の構成を示している。

この高解像度化装置２００は、図２で説明したエッジ判定部２０１、テクスチャ判定部２０２、平坦部判定部２０３、対応点抽出・絞込み部２０４、仮高解像度画像生成部２０５および高画質処理部２０６に加え、さらに、平坦部数計測部２０９および負荷判定・パラメータ変更部２１０を備えている。

前述したように、本高解像度化装置２００では、ベース部の高画質化処理として、元画像の画素数に相当する高画質化処理を行う。しかしながら、平坦部判定部２０３において判定した平坦部領域については、対応点抽出部・絞込み部２０４において選別を行い、高画質処理部２０６によるベース部の高画質化処理から除外をする。第１実施形態でも述べたように、処理時間Tmaxには、このベース部の処理である
Bc × Tsharpen
の処理時間が含まれている。Bcは、最大が元画像の画素数に相当する。フレーム単位では平坦部判定部２０３による平坦部判定によりその値は増減する。Bc × Tsharpenの処理時間について、Tmaxの値を一定の処理時間と制御するために定めた最大の画素数をBnとする。Bnの値は、システムにより異なる。また、エッジ部の処理時間との比率も含めてシステム別に定義しなくてはならない。以下、本高解像度化装置２００による平坦部判定の調整手法について説明する。

平坦部判定部２０３においては、平坦部判定パラメータthFlatを前述の平坦部判定基準値（平坦部検出のしきい値）としてフレーム内の平坦部領域を検出する。平坦部判定パラメータthFlatを大きな値とすると、注目画素は輝度値の変化が大きくても平坦部と判定される。つまり、平坦部領域が拡大する。一方、thFlatを小さくすると、平坦部領域は減少する。

本高解像度化装置２００では、対応点抽出・絞込み部２０４が、平坦部判定部２０３によって平坦部領域と判定された領域をベース部の高画質化処理から除外する処理を行う。従って、thFlatを増加させることによって、ベース部の高画質化処理は減少することになる。

平坦部計測部２０９は、平坦部判定部２０３で検出された画素数を計数する。平坦部計測部２０９で計数した値を基に、次のフレームにおける平坦部判定パラメータthFlatが算出される。

負荷判定・パラメータ変更部２１０は、平坦部計測部２０９の計測結果とTmaxを満たすベース条件の最大処理画素数であるBnを用いて平坦部判定部２０３における平坦部判定パラメータthFlatを調整する制御部となる。平坦部判定パラメータthFlatを増減させる調整は、そのフレームにおけるベース部の処理画素数Bcに対して、
Bc ＞ Bn
の場合となる。このときthFlatの値を増加させることで、Bcを減少させる(ただし次のフレーム)制御を行う。一方、BcがBn以下の場合、thFlatは適正な値に戻す（減少させる）ことで、平坦部判定パラメータthFlatとベース部処理画素数Bcとを適正に制御する。

図８に、この負荷判定・パラメータ変更部２１０による制御の原理を説明するための各フレームの構成を表す概念図を示す。

前述の第１実施形態では、テクスチャ領域ａ１２の増減を左右するテクスチャ判定基準値thTextureを調整することで、後段の高画質化処理の対象となるエッジ領域ａ１３の増減を調整した。これに対して、本第２実施形態では、ベース部の高画質化処理の対象から外される平坦部領域ａ１１の増減を左右する平坦部判定基準値thFlatを調整する（パラメータ調整ｂ２）。

次に、図９のフローチャートを参照して、負荷判定・パラメータ変更部２０８によって実行されるthTexture調整処理を説明する。

ステップＢ１では、平坦部判定部２０３および平坦部数計測部２０９によって平坦部の検出および平坦部数Bcの計測が行われる。負荷判定・パラメータ変更部２１０は、平坦部数Bcと最大画素数Bnとを比較して、ベース部処理画素数Bcが最大画素数Bnよりも多いか否かを判定する（ステップＢ２）。

Bc>Bnである場合、つまりベース部処理画素数Bcが最大画素数Bnよりも多いならば（ステップＢ２のＹＥＳ）、負荷判定・パラメータ変更部２１０は、次フレームのベース部処理画素数Bcが低減されるように、平坦部判定パラメータthFlatの値を増加する（ステップＢ３）。Bc>Bnでない場合は（ステップＢ２のＮＯ）、負荷判定・パラメータ変更部２１０は何もしない。

次に、負荷判定・パラメータ変更部２１８は、ベース部処理画素数Bcが最大画素数Bnよりも十分に下回り（Bc<<Bn）、かつ、現在の平坦部判定パラメータthFlatの値が初期設定値を上回っているか否かを判定する（ステップＢ４）。Bc<<Bn、かつ、現在の平坦部判定パラメータthFlatの値が初期設定値を上回っているという条件が満たされているならば（ステップＢ４のＹＥＳ）、負荷判定・パラメータ変更部２１０は、平坦部判定パラメータthFlatの値を減少させる（ステップＢ５）。ステップＢ５では、例えば、平坦部判定パラメータthFlatの値を初期設定値に戻す処理が行われる。

なお、図９中のステップＢ４において使用される判定条件としては、Bc<<Bnの条件の代わりに、Bc≦Bnの条件を使用しても良い。

以上のように、本実施形態の高解像度化装置２００は、平坦部判定により平坦部数を制御し、高解像度化処理に要する時間が目標処理時間を超過するような動画像信号においても、処理負荷を低減でき、これによって高解像度化処理に要する時間を適正な値に調整することが可能となる。よって、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができ、コマ落ち等を招くことなく、高解像度化された動画像信号を高解像度のディスプレイにリアルタイムに表示する処理等が可能となる。

（第３実施形態）
次に、本発明の第３実施形態を説明する。

図１０は、改良された本第３実施形態の高解像度化装置２００の構成を示している。

前述の第１実施形態では、最大エッジ数を利用することで、エッジ判定結果から得られるエッジ数を調整して処理負荷を制御する例を説明した。これに対して、本第３実施形態では、低解像度画像３０１が入力されてから対応する高解像度画像３０２が出力されるまでの所要時間を利用することで、エッジ判定結果から得られるエッジ数を調整して処理負荷を制御する。そして、そのために、本第３実施形態の高解像度化装置２００は、図４に示した第１実施形態の高解像度化装置２００のエッジ数計測部２０７に代えて、上記低解像度画像３０１が入力されてから対応する高解像度画像３０２が出力されるまでの所要時間を計測する所要時間計測部２１１を備える。

本第３実施形態における負荷判定・パラメータ変更部２０８は、この所要時間計測部２１１の計測結果（Tc）を用いてテクスチャ判定部２０２におけるテクスチャ判定パラメータthTextureを調整する制御部となる。高解像度化処理の目標処理時間をTnとする。以下、図１１のフローチャートを参照して、所要時間計測部２１１の計測結果を利用した負荷制御、つまり負荷判定・パラメータ変更部２０８によって実行されるthTexture調整処理を説明する。

ステップＣ１では、所要時間計測部２１１によって所要時間Tcの計測が行われる。負荷判定・パラメータ変更部２０８は、所要時間Tcと目標処理時間Tnとを比較して、所要時間Tcが目標処理時間Tnよりも多いか否かを判定する（ステップＣ２）。

Tc>Tnである場合、つまり所要時間Tcが目標処理時間Tnよりも多いならば（ステップＣ２のＹＥＳ）、負荷判定・パラメータ変更部２０８は、次フレームのエッジ数が低減されるように、テクスチャ判定パラメータthTextureの値を増加する（ステップＣ３）。Tc>Tnでない場合は（ステップＣ２のＮＯ）、負荷判定・パラメータ変更部２０８は何もしない。

次に、負荷判定・パラメータ変更部２０８は、所要時間Tcが目標処理時間Tnよりも十分に下回り（Tc<<Tn）、かつ、現在のテクスチャ判定パラメータthTextureの値が初期設定値を上回っているか否かを判定する（ステップＣ４）。Tc<<Tn、かつ、現在のテクスチャ判定パラメータthTextureの値が初期設定値を上回っているという条件が満たされているならば（ステップＣ４のＹＥＳ）、負荷判定・パラメータ変更部２０８は、テクスチャ判定パラメータthTextureの値を減少させる（ステップＣ５）。ステップＣ５では、例えば、テクスチャ判定パラメータthTextureの値を初期設定値に戻す処理が行われる。

なお、図１１中のステップＣ４において使用される判定条件としては、Tc<<Tnの条件の代わりに、Tc≦Tnの条件を使用しても良い。

以上のように、本実施形態の高解像度化装置２００は、所要時間の監視を介して、テクスチャ判定によりエッジ数を制御し、高解像度化処理に要する時間が目標処理時間を超過するような動画像信号においても、処理負荷を低減でき、これによって高解像度化処理に要する時間を適正な値に調整することが可能となる。よって、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができ、コマ落ち等を招くことなく、高解像度化された動画像信号を高解像度のディスプレイにリアルタイムに表示する処理等が可能となる。

（第４実施形態）
次に、本発明の第４実施形態を説明する。

図１２は、改良された本第４実施形態の高解像度化装置２００の構成を示している。

前述の第２実施形態では、最大ベース画素数を利用することで、平坦部判定結果から得られる平坦部数を調整して処理負荷を制御する例を説明した。これに対して、本第４実施形態では、低解像度画像３０１が入力されてから対応する高解像度画像３０２が出力されるまでの所要時間を利用することで、平坦部判定結果から得られる平坦部数を調整して処理負荷を制御する。そして、そのために、本第４実施形態の高解像度化装置２００は、図７に示した第２実施形態の高解像度化装置２００の平坦部数計測部２０９に代えて、上記低解像度画像３０１が入力されてから対応する高解像度画像３０２が出力されるまでの所要時間を計測する所要時間計測部２１１を備える。

本第４実施形態における負荷判定・パラメータ変更部２１０は、この所要時間計測部２１１の計測結果（Tc）を用いて平坦部判定部２０３における平坦部判定パラメータthFlatを調整する制御部となる。高解像度化処理の目標処理時間をTnとする。以下、図１３のフローチャートを参照して、所要時間計測部２１１の計測結果を利用した負荷制御、つまり負荷判定・パラメータ変更部２１０によって実行されるthFlat調整処理を説明する。

ステップＤ１では、所要時間計測部２１１によって所要時間Tcの計測が行われる。負荷判定・パラメータ変更部２１０は、所要時間Tcと目標処理時間Tnとを比較して、所要時間Tcが目標処理時間Tnよりも多いか否かを判定する（ステップＤ２）。

Tc>Tnである場合、つまり所要時間Tcが目標処理時間Tnよりも多いならば（ステップＤ２のＹＥＳ）、負荷判定・パラメータ変更部２１０は、次フレームのベース部処理画素数が低減されるように、平坦部判定パラメータthFlatの値を増加する（ステップＣ３）。Tc>Tnでない場合は（ステップＤ２のＮＯ）、負荷判定・パラメータ変更部２０８は何もしない。

次に、負荷判定・パラメータ変更部２０８は、所要時間Tcが目標処理時間Tnよりも十分に下回り（Tc<<Tn）、かつ、現在の平坦部判定パラメータthFlatの値が初期設定値を上回っているか否かを判定する（ステップＤ４）。Tc<<Tn、かつ、現在の平坦部判定パラメータthFlatの値が初期設定値を上回っているという条件が満たされているならば（ステップＤ４のＹＥＳ）、負荷判定・パラメータ変更部２０８は、平坦部判定パラメータthFlatの値を減少させる（ステップＤ５）。ステップＤ５では、例えば、平坦部判定パラメータthFlatの値を初期設定値に戻す処理が行われる。

なお、図１３中のステップＤ４において使用される判定条件としては、Tc<<Tnの条件の代わりに、Tc≦Tnの条件を使用しても良い。

以上のように、本実施形態の高解像度化装置２００は、所要時間の監視を介して、平坦部判定により平坦部数を制御し、高解像度化処理に要する時間が目標処理時間を超過するような動画像信号においても、処理負荷を低減でき、これによって高解像度化処理に要する時間を適正な値に調整することが可能となる。よって、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができ、コマ落ち等を招くことなく、高解像度化された動画像信号を高解像度のディスプレイにリアルタイムに表示する処理等が可能となる。

なお、以上では、情報処理理装置としてコンピュータを例示して説明したが、情報処理理装置はコンピュータに限られるものではなく、デジタルＴＶ、セットトップボックス等であってもよい。また、高解像度化装置の処理は全てプログラムによって実行することもできる。この場合、このプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

この発明の実施形態に係る情報処理装置の構成例を示すブロック図 同実施形態の情報処理装置に適用される高解像度化装置の基本構成例を示すブロック図 同第１実施形態の情報処理装置に適用される、改良された高解像度化装置の構成例を示すブロック図 同第１実施形態の情報処理装置における、動画像信号のエッジ数と高解像度化処理に要する処理時間との関係を示す図 同第１実施形態の情報処理装置によって実行されるテクスチャ判定パラメータ調整の原理を説明するための各フレームの構成を表す概念図 同第１実施形態の情報処理装置によって実行されるテクスチャ判定パラメータ調整処理の手順の例を示すフローチャート 同第２実施形態の情報処理装置に適用される、改良された高解像度化装置の構成例を示すブロック図 同第２実施形態の情報処理装置によって実行される平坦部判定パラメータ調整の原理を説明するための各フレームの構成を表す概念図 同第２実施形態の情報処理装置によって実行される平坦部判定パラメータ調整処理の手順の例を示すフローチャート 同第３実施形態の情報処理装置に適用される、改良された高解像度化装置の構成例を示すブロック図 同第３実施形態の情報処理装置によって実行されるテクスチャ判定パラメータ調整処理の手順の例を示すフローチャート 同第４実施形態の情報処理装置に適用される、改良された高解像度化装置の構成例を示すブロック図 同第４実施形態の情報処理装置によって実行される平坦部判定パラメータ調整処理の手順の例を示すフローチャート

符号の説明

１１…ＣＰＵ、２９…ビデオプロセッサ、１３２…高解像度化アプリケーションプログラム、２０１…エッジ判定部、２０２…テクスチャ判定部、２０３…平坦部判定部、２０４…対応点抽出・絞込み部、２０５…仮高解像度画像生成部、２０６…高画質処理部、２０７…エッジ数計測部、２０８，２１０…負荷判定・パラメータ変更部、２０９…平坦部数計測部、２１１…所要時間計測部。

Claims (10)

1. 第１解像度の動画像信号から前記第１解像度よりも高い第２解像度の動画像信号を生成する高解像度化処理を実行する情報処理装置であって、
   前記第１解像度の動画像信号の処理対象フレーム内において輝度値が所定のエッジ判定基準値を越えて変化しているエッジ領域を検出するエッジ検出手段と、
   所定のテクスチャ判定基準値に従って、前記処理対象フレーム内において輝度値の変化が規則的に連続して発生しているテクスチャ領域を検出するテクスチャ検出手段と、
   前記処理対象フレーム内において輝度値の変化が所定の平坦部判定基準値を下回っている平坦部領域を検出する平坦部検出手段と、
   前記処理対象フレームの解像度を前記第１解像度から前記第２解像度に変換して、前記第２解像度を有する仮高解像度画像を生成する解像度変換手段と、
   前記平坦部検出手段によって検出された平坦部領域以外の領域に対応する前記仮高解像度画像内の対応画素の各々に対して高画質化のための第１の画質改善処理を施し、前記エッジ検出手段によって検出されたエッジ領域であって前記テクスチャ検出手段によって検出されたテクスチャ領域上に位置しないエッジ領域に対応する前記仮高解像度画像内の対応画素の各々に対して鮮鋭化のための第２の画質改善処理を施す画質改善処理手段と、
   前記テクスチャ検出手段に適用される前記テクスチャ判定基準値または前記平坦部検出手段に適用される前記平坦部判定基準値の少なくとも一方を所定の規則に従って変更する制御手段と、
   を具備することを特徴とする情報処理装置。
2. 前記制御手段は、前記エッジ検出手段によって検出されるエッジ領域であって前記テクスチャ検出手段によって検出されるテクスチャ領域上に位置しないエッジ領域の数が、１フレーム分の高解像度化処理を目標時間内に完了可能な１フレームあたりの最大エッジ領域数を越えないように、前記テクスチャ検出手段に適用される前記テクスチャ判定基準値を調整することを特徴とする請求項１記載の情報処理装置。
3. 前記制御手段は、前記第１の画質改善処理が施される対応画素の総数が、１フレーム分の高解像度化処理を目標時間内に完了可能な１フレームあたりの最大対応画素数を越えないように、前記平坦部検出手段に適用される前記平坦部判定基準値を調整することを特徴とする請求項１記載の情報処理装置。
4. 前記制御手段は、１フレームあたりの高解像度化処理の所要時間が目標時間を越えないように、前記テクスチャ検出手段に適用される前記テクスチャ判定基準値を調整することを特徴とする請求項１記載の情報処理装置。
5. 前記制御手段は、１フレームあたりの高解像度化処理の所要時間が目標時間を越えないように、前記平坦部検出手段に適用される前記平坦部判定基準値を調整することを特徴とする請求項１記載の情報処理装置。
6. 第１解像度の動画像信号から前記第１解像度よりも高い第２解像度の動画像信号を生成する高解像度化処理を実行するコンピュータを、
   前記第１解像度の動画像信号の処理対象フレーム内において輝度値が所定のエッジ判定基準値を越えて変化しているエッジ領域を検出するエッジ検出手段、
   所定のテクスチャ判定基準値に従って、前記処理対象フレーム内において輝度値の変化が規則的に連続して発生しているテクスチャ領域を検出するテクスチャ検出手段、
   前記処理対象フレーム内において輝度値の変化が所定の平坦部判定基準値を下回っている平坦部領域を検出する平坦部検出手段、
   前記処理対象フレームの解像度を前記第１解像度から前記第２解像度に変換して、前記第２解像度を有する仮高解像度画像を生成する解像度変換手段、
   前記仮高解像度画像内の対応画素をそれぞれ検出する対応画素点検出手段、
   前記平坦部検出手段によって検出された平坦部領域以外の領域に対応する前記仮高解像度画像内の対応画素の各々に対して高画質化のための第１の画質改善処理を施し、前記エッジ検出手段によって検出されたエッジ領域であって前記テクスチャ検出手段によって検出されたテクスチャ領域上に存在しないエッジ領域に対応する前記仮高解像度画像内の対応画素の各々に対して鮮鋭化のための第２の画質改善処理を施す画質改善処理手段、
   前記テクスチャ検出手段に適用される前記テクスチャ判定基準値または前記平坦部検出手段に適用される前記平坦部判定基準値の少なくとも一方を所定の条件に従って変更する制御手段、
   として機能させるプログラム。
7. 前記制御手段は、前記エッジ検出手段によって検出されるエッジ領域であって前記テクスチャ検出手段によって検出されるテクスチャ領域上に位置しないエッジ領域の数が、１フレーム分の高解像度化処理を目標時間内に完了可能な１フレームあたりの最大エッジ領域数を越えないように、前記テクスチャ検出手段に適用される前記テクスチャ判定基準値を調整することを特徴とする請求項６記載のプログラム。
8. 前記制御手段は、前記第１の画質改善処理が施される対応画素の総数が、１フレーム分の高解像度化処理を目標時間内に完了可能な１フレームあたりの最大対応画素数を越えないように、前記平坦部検出手段に適用される前記平坦部判定基準値を調整することを特徴とする請求項６記載のプログラム。
9. 前記制御手段は、１フレームあたりの高解像度化処理の所要時間が所定の目標時間を越えないように、前記テクスチャ検出手段に適用される前記テクスチャ判定基準値を調整することを特徴とする請求項６記載のプログラム。
10. 前記制御手段は、１フレームあたりの高解像度化処理の所要時間が所定の目標時間を越えないように、前記平坦部検出手段に適用される前記平坦部判定基準値を調整することを特徴とする請求項６記載のプログラム。

Images