JP2010198321A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】鮮鋭化処理を含む超解像処理を行う際に、画像の輝度状態に応じて鮮鋭化処理の利得を切り替えることを可能とする。
【解決手段】画像表示装置は、第１解像度よりも高い第２解像度の画像信号に変換する、鮮鋭化処理を含む超解像処理を行う。画像表示装置は、第１解像度の画像信号の輝度値に基づいて、画像信号による入力画像の輝度状態を検出し、検出された入力画像の輝度状態に応じて、鮮鋭化処理の利得値を切り替える。
【選択図】図２

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来から超解像技術を用いて画像処理（鮮鋭化処理）を行う画像処理装置がある（特許文献１、２）。超解像技術とは、解像度の低い動画像や静止画像を高解像度化することにより、大画面でもクリアに表示させる技術である。具体的には例えば、ＤＶＤやアナログ映像などのＳＤ解像度の画像に対して、本来の画素値を推定して画素を増やすことにより高解像度の映像信号を復元し、高い周波数成分を創造する鮮鋭化処理を行うことでＨＤ解像度化するものである。

特開２００７−３１０８３７号公報 特開２００８−６７１１０号公報

しかしながら、鮮鋭化処理を含む超解像処理を行った場合、画像の輝度状態によっては鮮鋭化処理でノイズが強調されてしまうことがわかった。例えば、画像が暗い場合には鮮鋭化処理によってノイズが目立つとの指摘があった。これに対して、上記従来技術では、画像の輝度状態に応じて鮮鋭化処理の利得を切り替えることができず、画像の輝度状態によるノイズの強調を低減することができなかった。

本発明は、上記に鑑みてなされたものであって、鮮鋭化処理を含む超解像処理を行う際に、画像の輝度状態に応じて鮮鋭化処理の利得を切り替えることを可能とする画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１解像度の画像信号が入力され、前記第１解像度よりも高い第２解像度の画像信号に変換する、鮮鋭化処理を含む超解像処理を行う超解像変換処理手段と、前記第１解像度の画像信号の輝度値に基づいて、当該画像信号による入力画像の輝度状態を検出する検出手段と、前記検出された入力画像の輝度状態に応じて、前記超解像変換処理手段が行う鮮鋭化処理の利得値を切り替える切替手段と、を備えることを特徴とする。

また、本発明は、第１解像度の画像信号が入力され、前記第１解像度よりも高い第２解像度の画像信号に変換する、鮮鋭化処理を含む超解像処理を行う画像処理方法であって、検出手段が、前記第１解像度の画像信号の輝度値に基づいて、当該画像信号による入力画像の輝度状態を検出する検出工程と、切替手段が、前記検出された入力画像の輝度状態に応じて、前記超解像変換処理手段が行う鮮鋭化処理の利得値を切り替える切替工程と、を含むことを特徴とする。

本発明によれば、鮮鋭化処理を含む超解像処理を行う際に、画像の輝度状態に応じて鮮鋭化処理の利得を切り替えることを可能とする、という効果を奏する。

図１は、本実施形態に係る画像表示装置のシステムを概略的に示したブロック図である。 図２は、本実施形態に係る高解像度化部の詳細構成を示したブロック図である。 図３は、本実施形態に係る画像表示装置の全体処理を示すフローチャートである。 図４は、本実施形態に係る高解像度化部が行う高解像度化処理の詳細を示すフローチャートである。 図５は、本実施形態の変形例に係る画像表示装置のシステム構成を概略的に示したブロック図である。

以下に添付図面を参照して、本発明にかかる画像処理装置及び画像処理方法の最良な実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。

図１は、本実施形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。図１に示すように、画像表示装置１００は、映像信号入力部１１、メイン処理部１２、高解像度化部１３、動画改善処理部１４、表示処理部１５、表示部１６、音声処理部１７及び音声出力部１８を備えている。

映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで、「映像信号」とは、静止画像や動画像からなる画像信号（画像データ）の他、音声信号（音声データ）をも含む概念である。

デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。

ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤプレーヤ等の外部機器と接続するための入力端子を有し（図示せず）、その入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。

メイン処理部１２は、映像信号入力部１１から入力される映像信号を、画像信号と音声信号とに分離し、この画像信号に所定の信号処理を施した後、信号処理後の画像信号を高解像度化部１３に出力する。音声信号は音声処理部１７に出力される。

ここで、メイン処理部１２が施す信号処理としては、画像信号のフォーマットを所定のフォーマット（例えば、ＭＰＥＧ等）に変換するフォーマット変換処理、ＭＰＥＧデコード処理、オンスクリーンディスプレイ（ＯＳＤ）機能で用いるメニュー画面や電子番組表などのグラフィクス画像との重畳処理、画像信号の解像度を所定の解像度（例えば、１２８０×７２０等）に変換するスケーリング処理等が挙げられる。

高解像度化部１３は、メイン処理部１２から出力された低解像度画像（例えばＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）サイズの画像）の画像信号をフレーム画像（以下、「フレーム」と呼ぶ。）毎に入力し、後述する超解像変換処理（鮮鋭化処理）を施して、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）サイズの高解像度の画像信号を生成するものである。なお、高解像度化部１３の詳細構成については後述する。

動画改善処理部１４は、高解像度化部１３から入力される複数の高解像度フレームからなる画像データ（画像信号）から補間フレームを生成して、画像データのフレームレートを増大するように変換するフレームレート変換処理を行う。フレームレート変換処理として、動画改善処理部１４は、２枚の高解像度フレームから動き補償を行って、補間フレームを生成する補間フレーム生成処理を行っている。

より具体的には、動画改善処理部１４は、高解像度化部１３から出力され、超解像変換処理が施された後の高解像度フレームを入力し、一方、この高解像度フレームより１つ前の、超解像変換処理が施された後の高解像度フレームをバッファメモリ（図示しない）などから読み出す。そして、二つの高解像度フレームから動きベクトルを算出して動き補償処理を行い、その結果に基づいて二つの高解像度フレームの間に内挿する補間フレームを求める。このような補間フレームの生成については、特開２００８−３５４０４号広報などの公知の手法を用いればよい。ただし、動画改善処理部１４で行われる補間フレームの生成処理は、かかる手法に限定されるものではなく、複数のフレームの動き補償を行って補間フレームを生成する手法であれば、いずれの手法を適用してもよい。

例えば、高解像度化部１３から入力された画像信号が、１秒あたり６０フレームであったとすると、動画改善処理部１４は、補間フレーム生成処理を行うことで、１秒あたり１２０フレームの画像信号を生成し、表示処理部１５へ出力する。

表示処理部１５は、ディスプレイドライバ等であって、動画改善処理部１４から入力される画像信号の表示部１６への表示を制御する。表示部１６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等の表示デバイスであって、表示処理部１５の制御の下、画像信号に応じた画面を表示する。

音声処理部１７は、メイン処理部１２から入力されるデジタルの音声信号を、音声出力部１８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部１８に出力する。音声出力部１８は、スピーカ等であって、音声処理部１７から入力されるアナログ音声信号に応じた音声出力を行う。

次に、高解像度化部１３の詳細構成について説明する。図２は、高解像度化部１３の詳細構成を示したブロック図である。図２に示すように、高解像度化部１３は、前処理部１３１と、フレームメモリ１３２と、超解像変換処理部１３３と、輝度ヒストグラム検出部１３４と、鮮鋭化利得制御部１３５と、後処理部１３６とを備えている。

前処理部１３１は、メイン処理部１２から入力された画像信号（輝度信号と色差信号）に対し、ＩＰ（インターレース・プログレッシブ）変換処理や、画像信号に含まれたノイズを除去するＮＲ（ノイズリダクション）処理等の前処理を施す。前処理部１３１で前処理された輝度信号はフレームメモリ１３２、輝度ヒストグラム検出部１３４へ、色差信号はフレームメモリ１３２へ出力される。

ここで、ＩＰ変換処理としては、例えば、画像信号に含まれた画像の動きを検出することでその画像信号が静止画像か動画像かを判別し、静止画像と判別したときには静止画像用の補間処理を行い、動画像と判別したときには動画像用の補間処理を行うことが挙げられる。また、ＮＲ処理としては、画像の輪郭補整や、画像ぼけやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理が挙げられる。

なお、メイン処理部１２から入力される画像信号が、ＹＣｂＣｒ等の形式に準じた輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）とに分離されていない場合には、前処理部１３１が画像信号を輝度信号と色差信号とに分離する、Ｙ／Ｃ分離処理を行うものとする。

フレームメモリ１３２は、前処理部１３１から入力される画像信号を、１フレーム（１垂直走査期間分）記憶した後に超解像変換処理部１３３へ出力する。高解像度化部１３では、フレームメモリ１３２により１フレーム遅延させることで、輝度ヒストグラム検出部１３４が輝度ヒストグラムの検出を行うフレームと、鮮鋭化利得制御部１３５が鮮鋭化処理の利得を制御するフレームとを同一としている。

超解像変換処理部１３３は、フレームメモリ１３２から入力されるフレームを、高解像度化するための画像処理（以下、「超解像変換処理」という。）を施して、ＨＤサイズの高解像度のフレーム（以下、「高解像度フレーム」という。）を生成し、後処理部１３６に出力する。

ここで、超解像変換処理とは、第１解像度である低解像度や中解像度の画像信号（低解像度フレームや中解像度フレーム）から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号（高解像度フレーム）を復元（変換）する鮮鋭化処理を意味する。

ここで、「本来の画素値」とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）の画像信号の画素を持つカメラで撮像した時に得られる画像信号の各画素が持つ値を指す。

また、「推定して画素を増やす」とは、画像の特徴を捉えて、相関性があるという画素の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画像を増やすことを意味する。つまり、画像の相関性を利用する。

さらに詳しく説明すると、まず、オリジナルの入力画像から、アップコンバート処理（スケーリング処理）によって、仮のフルＨＤ高解像度画像を作る。つまり、隣り合う画素の情報を元に間の画素を補間し、仮のフルＨＤ高解像度画像を作る。補完された画素は必ずしもオリジナルの入力画像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。

次に、撮像モデル関数に基づき、仮のフルＨＤ高解像度画像から、オリジナルの入力画像と同じ解像度にダウンコンバートした画像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を画像信号に変換するのと同じ処理を計算で再現するものである。

ダウンコンバートした画像は、オリジナルの入力画像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした画像とオリジナルの入力画像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力画像に近い超解像変換処理された出力画像が生成される。

つまり、超解像変換処理とは、ダウンコンバートした画像とオリジナルの入力画像とを比較し、オリジナルの入力画像が本来持っているはずの画像信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像変換処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像変換処理であるし、比較と復元の処理を複数回繰り返す処理も超解像変換処理である。時間に余裕がある場合、例えば録画した画像を後で視聴する場合や、超解像変換処理に生じるタイムラグが許容され得る場合には、比較と復元の処理を複数回繰り返す超解像変換処理を利用することができる。

なお、超解像変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。

例えば、特開２００７−３１０８３７号公報に開示された超解像変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって、基準フレームに対応する高解像度フレームの画素値を算出することにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像変換処理を用いる場合には、低解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像変換処理部１３３は、このような処理を行うことにより、低解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。

また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像変換処理を用いることもできる。

ただし、超解像変換処理部１３３における超解像変換処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を含めれば、あらゆる手法を適用することができる。

また、超解像変換処理部１３３では、鮮鋭化利得制御部１３５の制御の下で切り替えられた鮮鋭化処理の利得値（以下、「鮮鋭化パラメータ」という。）を設定し、この鮮鋭化パラメータを用いて超解像変換処理（鮮鋭化処理）を行う。鮮鋭化パラメータには、例えば、画質劣化補正用のフィルタの重み係数などの特性パラメータや、鮮鋭化の強度の重み係数などの強度パラメータなどがある。

特性パラメータや強度パラメータの値は、通常時には予め所定値（基準の利得値）が設定されており、鮮鋭化利得制御部１３５の制御の下で切り替えられる。この切り替えによって、超解像変換処理部１３３では、画質劣化補正や鮮鋭化の強度等の鮮鋭化処理で得られる効果を切り替える。具体的には、パラメータの値（利得値）が所定値よりも高い値であるほど鮮鋭化処理で得られる効果が所定値の時よりも大きくなる。また、パラメータの値が所定値よりも低い値であるほど鮮鋭化処理で得られる効果が所定値の時よりも小さくなり、パラメータの値が０の時には最小の効果（例えば鮮鋭化処理なし）となる。

輝度ヒストグラム検出部１３４は、前処理部１３１から入力される輝度信号が示す輝度値に基づいて、入力された画像信号によるフレームの輝度状態を検出し、検出結果を鮮鋭化利得制御部１３５へ出力する。具体的には、輝度ヒストグラム検出部１３４は、１フレーム分の輝度信号について累積加算を行うことで、輝度値毎の出現頻度を示す輝度ヒストグラムをフレームの輝度状態として検出する。

鮮鋭化利得制御部１３５は、輝度ヒストグラム検出部１３４から入力される検出結果、すなわち、入力されたフレームの輝度状態に応じて、超解像変換処理部１３３における鮮鋭化パラメータを切り替える。したがって、超解像変換処理部１３３では、入力されたフレームの輝度状態に応じた超解像変換処理（鮮鋭化処理）を行うことができる。

具体的には、鮮鋭化利得制御部１３５は、入力された輝度ヒストグラムについて、低輝度側の出現頻度が大きく、基準となるヒストグラムの形状に対して低輝度側に偏倚した形状であり、フレームの輝度状態が暗い状態である場合、鮮鋭化パラメータの値を所定値より低い値へ切り替える。

より具体的には、鮮鋭化利得制御部１３５は、入力された輝度ヒストグラムについて、低輝度側に予め設定された閾値（第１の閾値）よりも低い輝度値側の出現頻度が所定値を上回る場合に、フレームの輝度状態が十分暗いものと判定し、鮮鋭化パラメータの値を所定値より低い値へ切り替える。したがって、超解像変換処理部１３３では、入力されたフレームの輝度状態が暗い場合、鮮鋭化処理で得られる効果を輝度状態が通常の時よりも小さくすることができる。

また、鮮鋭化利得制御部１３５は、鮮鋭化パラメータの値を所定値より低い値へ切り替える場合において、所定値から切り替えるべき値との差を、低輝度側に設定された閾値よりも低い輝度値側の出現頻度が所定値を上回る量に応じて調整してもよい。より具体的には、鮮鋭化利得制御部１３５は、上述した上回る量が大きいほど、鮮鋭化パラメータの値をより低い値へと切り替える。したがって、超解像変換処理部１３３では、入力されたフレームの輝度状態が暗いほど、鮮鋭化処理で得られる効果を小さくすることができる。

また、鮮鋭化利得制御部１３５は、入力された輝度ヒストグラムについて、高輝度側の出現頻度が大きく、基準となるヒストグラムの形状に対して高輝度側に偏倚した形状であり、フレームの輝度状態が明るい状態である場合、鮮鋭化パラメータの値を所定値より高い値へ切り替える。

より具体的には、鮮鋭化利得制御部１３５は、入力された輝度ヒストグラムについて、高輝度側に予め設定された閾値（第２の閾値）よりも高い輝度値側の出現頻度が所定値を上回る場合に、フレームの輝度状態が十分明るいものと判定し、鮮鋭化パラメータの値を所定値より高い値へ切り替える。したがって、超解像変換処理部１３３では、入力されたフレームの輝度状態が明るい場合、鮮鋭化処理で得られる効果を輝度状態が通常の時よりも大きくすることができる。

また、鮮鋭化利得制御部１３５は、鮮鋭化パラメータの値を所定値より高い値へ切り替える場合において、所定値から切り替えるべき値との差を、高輝度側に設定された閾値よりも高い輝度値側の出現頻度が所定値を上回る量に応じて調整してもよい。より具体的には、鮮鋭化利得制御部１３５は、上述した上回る量が大きいほど、鮮鋭化パラメータの値をより高い値へと切り替える。したがって、超解像変換処理部１３３では、入力されたフレームの輝度状態が明るいほど、鮮鋭化処理で得られる効果を大きくすることができる。

後処理部１３６は、超解像変換処理部１３３で生成された高解像度フレームの画像に対し、ガンマ補正、コントラスト伸張、階調補正、カラーマネジメント等の画像補正処理を施し、後段の動画改善処理部１４に順次出力する。なお、後処理部１３６では、かかる画像補正処理を行わない構成とすることもできる。

次に、画像表示装置１００の動作について、図３を参照して説明する。図３は、本実施形態に係る画像表示装置１００の全体処理を示すフローチャートである。なお、処理の開始時には、デジタル放送受信部１１１等で受信したデジタル放送の映像信号等が映像信号入力部１１により所定のデジタル復調処理が施されてメイン処理部１２に入力されているものとする。また、デジタル放送以外の映像信号についても、処理の開始時には、同様にメイン処理部１２に入力されているものとする。

図３に示すように、処理が開始されると、メイン処理部１２は、入力された映像信号に対しフォーマット変換や映像信号のデコード処理、画像信号と音声信号の分離処理、グラフィクス画像の重畳処理などのメイン処理を行う（Ｓ１１）。処理後の画像信号は高解像度化部１３へ出力され、処理後の音声信号は音声処理部１７へ出力される。

次いで、高解像度化部１３は、メイン処理部１２から入力された画像信号（フレーム）に対して高解像度化処理を行う（Ｓ１２）。高解像度化処理後の画像信号は動画改善処理部１４へ出力される。

次いで、動画改善処理部１４は、生成された高解像度フレームからなる画像データに対して動画改善処理、すなわち補間フレームの生成及び内挿の処理を行う（Ｓ１３）。この処理により、動画像のフレームレートは、例えば６０ｆｐｓから１２０ｆｐｓに変換される。フレームレートが変換された画像信号は表示処理部１５へ出力される。

次いで、表示処理部１５は、フレームレートが変換された画像信号に基づいた動画像を表示部１６に表示させる（Ｓ１４）。上述した処理により、ＨＤサイズの高解像度を有し、且つ動きの滑らかな動画像が表示部１６に表示されることになる。

次に、高解像度化部１３が行う高解像度化処理（Ｓ１２）の詳細について、図４を参照して説明する。図４は、本実施形態に係る高解像度化部１３が行う高解像度化処理の詳細を示すフローチャートである。

図４に示すように、Ｓ１２において高解像度化処理が開始されると、前処理部１３１は、メイン処理部１２から順次出力されるフレームを入力する（Ｓ５２）。次いで、前処理部１３１は、入力されたフレームに対して、ＩＰ変換処理やＮＲ処理等の前処理を施す（Ｓ５３）。前処理後のフレーム（輝度信号、色差信号）はフレームメモリ１３２に記憶される。また、前処理後の輝度信号は輝度ヒストグラム検出部１３４に入力される。

次いで、輝度ヒストグラム検出部１３４は、入力された１フレーム分の輝度信号を累積加算して、輝度値毎の出現頻度を示す輝度ヒストグラムをフレームの輝度状態として検出する（Ｓ５４）。検出された輝度ヒストグラムは鮮鋭化利得制御部１３５に入力される。

次いで、鮮鋭化利得制御部１３５は、入力された輝度ヒストグラムに応じて、超解像変換処理部１３３における鮮鋭化パラメータを切り替える（Ｓ５５）。具体的には前述したとおりであり、フレームの輝度状態が暗い状態である場合は鮮鋭化パラメータの値を所定値より低い値へ切り替え、フレームの輝度状態が明るい状態である場合は鮮鋭化パラメータの値を所定値より高い値へ切り替える。

次いで、超解像変換処理部１３３は、設定された鮮鋭化を用いて、入力されたフレームに対して前述した超解像変換処理を施して鮮鋭化する（Ｓ５６）。これにより、入力されたフレームは高解像度フレームに変換される。具体的には、ＳＤ解像度（低解像度）のフレームや、ＳＤ解像度のフレームからスケール変換された中解像度（例えばＳＤ解像度とＨＤ解像度との中間の解像度）のフレームが高解像度フレームに変換される。超解像変換処理により変換された高解像度フレームは後処理部１３６に入力される。

次いで、後処理部１３６は、入力された高解像度フレームに対してガンマ補正等の画像補整処理を施し（Ｓ５７）、画像補整処理後の高解像度フレームを動画改善処理部１４へ出力する（Ｓ５８）。かかるＳ５２〜Ｓ５８までの処理は、入力される動画フレームの全てに対して行われる（Ｓ５１ａ、Ｓ５１ｂ）。

［変形例］
次に、上述した実施形態の変形例について、図５を参照して説明する。図５は、本実施形態の変形例に係る画像表示装置１００ａのシステム構成を概略的に示したブロック図である。なお、以下の説明では、前述した実施形態と同一の要素については同一符号を付して説明を省略し、異なる要素についてのみを説明する。

図５に示すように、画像表示装置１００ａは、前述した構成の他に、ユーザからの操作を受け付ける操作部１９を備える。操作部１９は、電源ボタン、数字キー、文字キー、カーソルボタン、選択ボタン、決定ボタン、モード切替スイッチなどの操作キーやタッチパネルなどのポインティングデバイスであってよい。この操作部１９によるユーザの操作入力は、メイン処理部１２、高解像度化部１３へ出力される。

メイン処理部１２では、操作部１９によるユーザの操作入力に応じて、画像表示装置１００ａの電源のオン／オフ、デジタル放送受信部１１１、ＩＰＴＶ信号処理部１１２、インターネット信号処理部１１３、外部入力部１１４から入力する映像信号の切り替え、動作モードの切り替えなどを行う。また、メイン処理部１２は、ＯＳＤ機能におけるメニュー画面の重畳処理を行う際には、そのメニュー画面を用いた各種設定を操作部１９によるユーザの操作入力に応じて行ってもよい。

動作モードとは、表示部１６での表示や音声出力部１８での音声出力に係る処理のオン／オフやその処理量を予め定めたものである。ユーザは、複数の動作モードの中から所望の動作モードを操作部１９を介して選択する。

具体的には、動作モードとしては、「標準モード」、「シネマモード」、「ゲームモード」、「マニュアル設定モード」、「スルーモード」などがある。「標準モード」、「シネマモード」、「ゲームモード」等は処理量を映像の種別に合わせて予め設定したモードであり、標準モードは予め設定された基準値どおりの処理を行うモード、シネマモードはシネマ映像（画像及び音声）の再生に適した処理を行うモード、ゲームモードはゲーム映像（画像及び音声）の再生に適した処理を行うモードである。「マニュアル設定モード」は、ユーザがＯＳＤ機能のメニュー画面などによって、予め設定した処理量（オン／オフを含む）で処理を行うモードである。「スルーモード」は、必要最小限の処理のみを行い、他の処理はオフにするモードである。

なお、スルーモードにおける必要最小限の処理とは、例えば入力された映像信号を音声信号と画像信号とに分離する処理、分離した音声信号に対して音声処理部１７が行う変換処理、及び、分離した画像信号をそのまま表示処理部１５に入力して表示部１６への表示を制御する処理などであり、入力された映像信号どおりに音声及び表示再生を行う処理をいう。また、他の処理とは、上述した処理以外の処理であり、例えばメイン処理部１２が行う所定の信号処理や、高解像度化部１３及び動画改善処理部１４が行う処理などである。

高解像度化部１３は、操作部１９を介してユーザが設定した動作モードに応じた超解像変換処理を行う。具体的には、前処理部１３１は、設定された動作モードに応じてＩＰ変換処理、ＮＲ処理等のオン／オフを切り替える。

また、鮮鋭化利得制御部１３５は、鮮鋭化パラメータの値を所定値より低い値又は高い値へ切り替える場合において、所定値から切り替えるべき値との差を、設定された動作モードに応じて調整する。例えば、動作モードが標準モードに設定されている場合は調整量を予め設定された基準量とし、マニュアルモードに設定されている場合はユーザ設定に応じた調整量（０を含む）とする。

また、動作モードがシネマモードに設定されている場合は、鮮鋭化パラメータの値を所定値より低い値へ切り替える場合において、所定値から切り替えるべき値との差を大きくし、より低い値へと鮮鋭化パラメータの値を切り替えるようにする。これにより、シネマモードなどで再生する黒階調が豊かな映像において、鮮鋭化処理でノイズが強調されることを防止することができる。

また、動作モードがゲームモードに設定されている場合は、鮮鋭化パラメータの値を所定値より高い値へ切り替える場合において、所定値から切り替えるべき値との差を大きくし、より高い値へと鮮鋭化パラメータの値を切り替えるようにする。これにより、ゲームモードなどで再生する明るい映像をより鮮鋭なものとすることができる。

また、後処理部１３６は、操作部１９を介してユーザが設定した動作モードに応じたガンマ補正、コントラスト伸張、階調補正、カラーマネジメント等の画像補正処理を行う。具体的には、後処理部１３６は、設定された動作モードに応じた、ガンマ補正の補正量、コントラスト伸張の伸張量、階調補正の補正量、カラーマネジメントの補正量で画像補正処理を行う。

なお、本実施形態では、本発明の画像処理装置を、表示処理部１５、表示部１６、音声処理部１７及び音声出力部１８を有するデジタルＴＶ等の画像表示装置に適用した例を挙げて説明したが、表示部１６、音声処理部１７及び音声出力部１８を有さない、例えば、チューナやセットトップボックス等にも本発明の画像処理装置を適用することができる。また、本発明の画像処理装置は、高解像度化部１３のみを有する構成であり、単に入力された画像信号に対して超解像変換処理を行って出力するものであってもよい。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１００、１００ａ 画像表示装置
１１ 映像信号入力部
１２ メイン処理部
１３ 高解像度化部
１４ 動画改善処理部
１５ 表示処理部
１６ 表示部
１７ 音声処理部
１８ 音声出力部
１９ 操作部
１３１ 前処理部
１３２ フレームメモリ
１３３ 超解像変換処理部
１３４ 輝度ヒストグラム検出部
１３５ 鮮鋭化利得制御部
１３６ 後処理部

Claims (9)

1. 第１解像度の画像信号が入力され、
   前記第１解像度よりも高い第２解像度の画像信号に変換する、鮮鋭化処理を含む超解像処理を行う超解像変換処理手段と、
   前記第１解像度の画像信号の輝度値に基づいて、当該画像信号による入力画像の輝度状態を検出する検出手段と、
   前記検出された入力画像の輝度状態に応じて、前記超解像変換処理手段が行う鮮鋭化処理の利得値を切り替える切替手段と、
   を備えることを特徴とする画像処理装置。
2. 前記超解像処理が、前記第１解像度の画像信号から本来の画素値を推定して画素を増やすことにより、前記第２解像度の画像信号に変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記入力画像の輝度状態として、当該入力画像における画像信号の輝度値毎の出現頻度を示す輝度ヒストグラムを検出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記切替手段は、前記検出された輝度ヒストグラムにおいて、予め設定された第１の閾値よりも低い輝度値側の出現頻度が所定値を上回る場合、予め設定された基準の利得値よりも低い利得値へ前記鮮鋭化処理の利得値を切り替えることを特徴とする請求項３に記載の画像処理装置。
5. 前記切替手段は、前記基準の利得値と切り替えるべき利得値との差を、前記第１の閾値よりも低い輝度値側の出現頻度が所定値を上回る量に応じて調整することを特徴とする請求項４に記載の画像処理装置。
6. 前記切替手段は、前記検出された輝度ヒストグラムにおいて、予め設定された第２の閾値よりも高い輝度値側の出現頻度が所定値を上回る場合、予め設定された基準の利得値よりも高い利得値へ前記鮮鋭化処理の利得値を切り替えることを特徴とする請求項３に記載の画像処理装置。
7. 前記切替手段は、前記基準の利得値と切り替えるべき利得値との差を、前記第２の閾値よりも高い輝度値側の出現頻度が所定値を上回る量に応じて調整することを特徴とする請求項６に記載の画像処理装置。
8. ユーザから動作モードの設定を受け付ける操作手段を更に備え、
   前記切替手段は、前記基準の利得値と切り替えるべき利得値との差を、前記設定された動作モードに応じて調整することを特徴とする請求項４〜７のいずれか一項に記載の画像処理装置。
9. 第１解像度の画像信号が入力され、前記第１解像度よりも高い第２解像度の画像信号に変換する、鮮鋭化処理を含む超解像処理を行う画像処理方法であって、
   検出手段が、前記第１解像度の画像信号の輝度値に基づいて、当該画像信号による入力画像の輝度状態を検出する検出工程と、
   切替手段が、前記検出された入力画像の輝度状態に応じて、前記超解像変換処理手段が行う鮮鋭化処理の利得値を切り替える切替工程と、
   を含むことを特徴とする画像処理方法。

Images