JP2010199976A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】入力された画像に対して、スケーリング処理を施した後に鮮鋭化処理を施す際に、グラフィクス画像が入力される場合において、ノイズが強調されることを低減することを可能とする。
【解決手段】画像表示装置は、スケーリング変換された画像信号の画像についての、画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出し、検出された輝度ヒストグラムに基づいて、その画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する。画像表示装置は、判定結果がグラフィクス画像を含む場合に、スケーリング変換後の画像に行う鮮鋭化処理の利得値を、予め設定された基準の利得値よりも低い値に設定する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来から、入力された画像信号に対して表示装置に合わせた画素数のコンバート処理（以下、「スケーリング処理」という。）を施す画像処理装置が知られている。具体的には、入力されたＳＤ解像度（７２０×４８０画素）の画像に対してスケーリング処理を施すことで、例えば１４４０×１０８０の画像サイズに変換する画像処理装置が知られている（特許文献１）。また、入力された画像信号における画像に対して鮮鋭化処理を施し、入力された画像を高解像度化する画像処理装置も知られている（特許文献２）。

特開２００６−２８７５０６号公報 特開２００７−３１０８３７号公報

しかしながら、入力された画像に対して、スケーリング処理を施した後に鮮鋭化処理を施すことを想定した場合、滑らかに輝度階調が変化する自然画像とは異なる画像であり、輝度階調の所定値において尖鋭なピークがあるグラフィクス画像では、ノイズが強調されてしまい、劣化が目立つ画像となる。これは、鮮鋭化処理が自然画像を対象としているため、自然画像と同等の効果が生じるようにグラフィクス画像に対して鮮鋭化処理を行った場合には高解像度化する際に増やされる画素にノイズが発生し易くなる、ということが主因である。

本発明は、上記に鑑みてなされたものであって、入力された画像に対して、スケーリング処理を施した後に鮮鋭化処理を施す際に、グラフィクス画像が入力される場合において、ノイズが強調されることを低減することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、
入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換するスケーリング変換手段と、
前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出手段と、
前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定手段と、
前記第２解像度の画像信号を、超解像技術を用いて画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換するスケーリング処理と、予め設定された基準の利得値に従って鮮鋭化処理を行う超解像処理手段とを備え、
前記鮮鋭化入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換するスケーリング変換手段と、前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出手段と、前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定手段と、前記第２解像度の画像信号を、超解像技術を用いて画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換するスケーリング処理、及び、予め設定された基準の利得値に従って鮮鋭化処理を行う超解像処理手段と、を備え、前記超解像処理手段は、前記判定手段による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする。

また、本発明は、入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換し、前記スケーリング変換された第２解像度の画像信号を、超解像技術を用いて画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換するスケーリング処理、及び、予め設定された基準の利得値に従って鮮鋭化処理を行う画像処理装置の画像処理方法であって、輝度ヒストグラム検出手段が、前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出工程と、判定手段が、前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定工程と、を含み、前記超解像処理手段が、前記判定工程による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする。

本発明によれば、入力された画像に対して、スケーリング処理を施した後に鮮鋭化処理を施す際に、グラフィクス画像が入力される場合において、ノイズが強調されることを低減することを可能とする、という効果を奏する。

図１は、本実施形態に係る画像表示装置のシステムを概略的に示したブロック図である。 図２は、本実施形態に係る高解像度化部の詳細構成を示したブロック図である。 図３は、輝度ヒストグラムによるグラフィクス画像の判定を示す概念図である。 図４は、本実施形態に係る画像表示装置の全体処理を示すフローチャートである。 図５は、本実施形態に係る高解像度化部が行う高解像度化処理の詳細を示すフローチャートである。 図６は、本実施形態の変形例に係る画像表示装置のシステム構成を概略的に示したブロック図である。

以下に添付図面を参照して、本発明にかかる画像処理装置及び画像処理方法の最良な実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。

図１は、本実施形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。図１に示すように、画像表示装置１００は、映像信号入力部１１、メイン処理部１２、高解像度化部１３、動画改善処理部１４、表示処理部１５、表示部１６、音声処理部１７及び音声出力部１８を備えている。

映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで、「映像信号」とは、静止画像や動画像からなる画像信号（画像データ）の他、音声信号（音声データ）をも含む概念である。

デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。

ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤプレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。

メイン処理部１２は、映像信号入力部１１から入力される映像信号を、画像信号と音声信号とに分離し、この画像信号に所定の信号処理を施した後、信号処理後の画像信号を高解像度化部１３に出力する。音声信号は音声処理部１７に出力される。

ここで、メイン処理部１２が施す信号処理としては、画像信号のフォーマットを所定のフォーマット（例えば、ＭＰＥＧ等）に変換するフォーマット変換処理、ＭＰＥＧデコード処理、オンスクリーンディスプレイ（ＯＳＤ）機能で用いるメニュー画面や電子番組表などのグラフィクス画像との重畳処理、スケーリング処理が挙げられる。

メイン処理部１２が行うスケーリング処理では、画像信号の解像度（第１解像度）を、その解像度よりも画素数の多い所定の解像度（第２解像度）に変換するスケーリング変換が行われる。例えば、ＤＶＤ等から入力された動画像の各フレーム画像（以下、「フレーム」と呼ぶ。）がＳＤ解像度（７２０×４８０画素）のフレームである場合は、その解像度よりも画素数の多い、１４４０×１０８０画素の画像サイズにスケーリング変換される。なお、入力されたフレームが１４４０×１０８０画素の画像サイズである場合には、スケーリング変換を行わなくてよい。

ここで、メイン処理部１２が行うスケーリング変換は、後述する超解像変換処理とは異なり、単に画像サイズを所定の画像サイズ（例えば、１４４０×１０８０画素の画像サイズ）に変換するものであり、画素値を推定する超解像技術を用いないものとする。なお、以下の説明では、便宜上、スケーリング処理以前の画像を低解像度画像（低解像度フレーム）、スケーリング処理後の画像を中解像度画像（中解像度フレーム）、超解像技術を用いたスケーリング処理と鮮鋭化処理が行われた画像を高解像度画像（高解像度フレーム）と呼ぶこととする。

高解像度化部１３は、メイン処理部１２から出力された中解像度画像の画像信号をフレーム毎に入力し、後述する超解像変換処理および鮮鋭化処理を施して、表示装置に合わせた高解像度の画像信号を生成するものである。なお、高解像度化部１３の詳細構成については後述する。

動画改善処理部１４は、高解像度化部１３から入力される複数の高解像度フレームからなる画像データ（画像信号）から補間フレームを生成して、画像データのフレームレートを増大するように変換するフレームレート変換処理を行う。フレームレート変換処理として、動画改善処理部１４は、２枚の高解像度フレームから動き補償を行って、補間フレームを生成する補間フレーム生成処理を行っている。

より具体的には、動画改善処理部１４は、高解像度化部１３から出力され、超解像変換処理が施された後の高解像度フレームを入力し、一方、この高解像度フレームより１つ前の、超解像変換処理が施された後の高解像度フレームをバッファメモリ（図示しない）などから読み出す。そして、二つの高解像度フレームから動きベクトルを算出して動き補償処理を行い、その結果に基づいて二つの高解像度フレームの間に内挿する補間フレームを求める。このような補間フレームの生成については、特開２００８−３５４０４号広報などの公知の手法を用いればよい。ただし、動画改善処理部１４で行われる補間フレームの生成処理は、かかる手法に限定されるものではなく、複数のフレームの動き補償を行って補間フレームを生成する手法であれば、いずれの手法を適用してもよい。

例えば、高解像度化部１３から入力された画像信号が、１秒あたり６０フレームであったとすると、動画改善処理部１４は、補間フレーム生成処理を行うことで、１秒あたり１２０フレームの画像信号を生成し、表示処理部１５へ出力する。

表示処理部１５は、ディスプレイドライバ等であって、動画改善処理部１４から入力される画像信号の表示部１６への表示を制御する。表示部１６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等の表示デバイスであって、表示処理部１５の制御の下、画像信号に応じた画面を表示する。

音声処理部１７は、メイン処理部１２から入力されるデジタルの音声信号を、音声出力部１８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部１８に出力する。音声出力部１８は、スピーカ等であって、音声処理部１７から入力されるアナログ音声信号に応じた音声出力を行う。

次に、高解像度化部１３の詳細構成について説明する。図２は、高解像度化部１３の詳細構成を示したブロック図である。図２に示すように、高解像度化部１３は、前処理部１３１と、フレームメモリ１３２と、超解像変換処理部１３３と、輝度ヒストグラム検出部１３４と、グラフィクス画像判定部１３５と、後処理部１３６とを備えている。

前処理部１３１は、メイン処理部１２から入力された画像信号（中解像度画像の輝度信号と色差信号）に対し、ＩＰ（インターレース・プログレッシブ）変換処理や、画像信号に含まれたノイズを除去するＮＲ（ノイズリダクション）処理等の前処理を施す。前処理部１３１で前処理された輝度信号はフレームメモリ１３２、輝度ヒストグラム検出部１３４へ、色差信号はフレームメモリ１３２へ出力される。

ここで、ＩＰ変換処理としては、例えば、画像信号に含まれた画像の動きを検出することでその画像信号が静止画像か動画像かを判別し、静止画像と判別したときには静止画像用の補間処理を行い、動画像と判別したときには動画像用の補間処理を行うことが挙げられる。また、ＮＲ処理としては、画像の輪郭補整や、画像ぼけやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理が挙げられる。

なお、メイン処理部１２から入力される画像信号が、ＹＣｂＣｒ等の形式に準じた輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）とに分離されていない場合には、前処理部１３１が画像信号を輝度信号と色差信号とに分離する、Ｙ／Ｃ分離処理を行うものとする。

フレームメモリ１３２は、前処理部１３１から入力される画像信号を、１フレーム（１垂直走査期間分）記憶した後に超解像変換処理部１３３へ出力する。高解像度化部１３では、フレームメモリ１３２により１フレーム遅延させることで、輝度ヒストグラム検出部１３４が輝度ヒストグラムの検出を行うフレームと、その検出結果に基づいてグラフィクス画像判定部１３５が判定した判定結果を超解像変換処理部１３３が反映するフレームとを同一としている。

超解像変換処理部１３３は、フレームメモリ１３２から入力される第２解像度の中解像度フレームを、超解像技術を用いた解像度変換により、第２解像度よりも高い第３解像度の画像信号に変換する画像処理（以下、「超解像変換処理」という。）および鮮鋭化処理を施して、表示装置の解像度に合わせた高解像度フレームを生成し、後処理部１３６に出力する。

ここで、超解像変換処理とは、第２解像度である画像信号（中解像度フレーム）から本来の画素値を推定して画素を増やすことにより、第２解像度よりも高い第３解像度である高解像度の画像信号（高解像度フレーム）を復元する鮮鋭化処理を意味する。

ここで、「本来の画素値」とは、例えば、第２解像度の画像信号を得たときと同じ被写体を、高解像度（第３解像度）の画像信号の画素を持つカメラで撮像した時に得られる画像信号の各画素が持つ値を指す。

また、「推定して画素を増やす」とは、画像の特徴を捉えて、相関性があるという画素の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画像を増やすことを意味する。つまり、画像の相関性を利用する。

さらに詳しく説明すると、まず、オリジナルの入力画像から、アップコンバート処理（スケーリング処理）によって、仮のフルＨＤ高解像度画像を作る。つまり、隣り合う画素の情報を元に間の画素を補間し、仮のフルＨＤ高解像度画像を作る。補完された画素は必ずしもオリジナルの入力画像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。

次に、撮像モデル関数に基づき、仮のフルＨＤ高解像度画像から、オリジナルの入力画像と同じ解像度にダウンコンバートした画像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を画像信号に変換するのと同じ処理を計算で再現するものである。

ダウンコンバートした画像は、オリジナルの入力画像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした画像とオリジナルの入力画像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力画像に近い超解像変換処理された出力画像が生成される。

つまり、超解像変換処理とは、ダウンコンバートした画像とオリジナルの入力画像とを比較し、オリジナルの入力画像が本来持っているはずの画像信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像変換処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像変換処理であるし、比較と復元の処理を複数回繰り返す処理も超解像変換処理である。時間に余裕がある場合、例えば録画した画像を後で視聴する場合や、超解像変換処理に生じるタイムラグが許容され得る場合には、比較と復元の処理を複数回繰り返す超解像変換処理を利用することができる。

なお、超解像変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。

例えば、特開２００７−３１０８３７号公報に開示された超解像変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって、基準フレームに対応する高解像度フレームの画素値を算出することにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像変換処理部１３３は、このような処理を行うことにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。

また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像変換処理を用いることもできる。

ただし、超解像変換処理部１３３における超解像変換処理の手法は、上記に限定されるものではなく、第２解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。

また、超解像変換処理部１３３では、グラフィクス画像判定部１３５の判定結果に基づいて、鮮鋭化処理の利得値（以下、「鮮鋭化パラメータ」という。）を設定し、この鮮鋭化パラメータを用いて超解像変換処理（鮮鋭化処理）を行う。鮮鋭化パラメータには、例えば、画質劣化補正用のフィルタの重み係数などの特性パラメータや、鮮鋭化の強度の重み係数などの強度パラメータなどがある。

特性パラメータや強度パラメータの値は、通常時には予め所定値（基準の利得値）が設定されており、グラフィクス画像判定部１３５の判定結果がグラフィクス画像である場合は、その所定値よりも低い値に設定が変更される。この特性パラメータや強度パラメータの値の設定変更によって、超解像変換処理部１３３では、画質劣化補正や鮮鋭化の強度等の鮮鋭化処理で得られる効果を切り替える。具体的には、パラメータの値が所定値よりも高い値であるほど鮮鋭化処理で得られる効果が所定値の時よりも大きくなる。また、パラメータの値が所定値よりも低い値であるほど鮮鋭化処理で得られる効果が所定値の時よりも小さくなり、パラメータの値が０の時には最小の効果（例えば鮮鋭化処理なし）となる。

輝度ヒストグラム検出部１３４は、前処理部１３１から入力される１フレーム分の輝度信号について累積加算を行うことで、中解像度フレームにおける、輝度値毎の出現頻度を示す輝度ヒストグラムを検出する。

グラフィクス画像判定部１３５は、輝度ヒストグラム検出部１３４から入力される輝度ヒストグラムの検出結果に基づいて、中解像度フレームが輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する。グラフィクス画像判定部１３５は、輝度ヒストグラム検出部１３４から入力される輝度ヒストグラムにおいて、輝度階調の所定値において尖鋭なピークがある場合、中解像度フレーム中にグラフィクス画像が含まれると判定する。この中解像度フレーム中にグラフィクス画像が含まれるとは、中解像度フレームの所定領域が単にグラフィクス画像である場合や、滑らかに輝度階調が変化する自然画像にグラフィクス画像が重畳されている場合などが当てはまる。

具体的には、図３に示すように、グラフィクス画像判定部１３５は、輝度ヒストグラム検出部１３４から入力される輝度ヒストグラムにおいて、予め設定された閾値（第１の閾値）よりも出現頻度が高い輝度値の中に、所定の輝度値で尖鋭なピークがある場合、グラフィクス画像が含まれていると判定する。このような閾値を設けることで、グラフィクス画像判定部１３５は、中解像度フレームにおける、グラフィクス画像以外の要因（例えばグラフィクス画像以外の領域による輝度値など）を排除することができ、グラフィクス画像の判定精度を高めることができる。

また、グラフィクス画像判定部１３５は、輝度ヒストグラム検出部１３４から入力される輝度ヒストグラムにおいて、予め設定された閾値（第２の閾値）よりも高い輝度値側の所定の輝度値に尖鋭なピークがある場合、グラフィクス画像が含まれていると判定する。輝度値が暗い部分への度数の集中は映画などの暗い映像では多々ある。したがって、上述した閾値を設けることで、グラフィクス画像判定部１３５は、暗い画像が単にグラフィクス画像として判定されてしまうことを防止し、グラフィクス画像の判定精度を高めることができる。

また、グラフィクス画像判定部１３５は、輝度ヒストグラム検出部１３４から入力される輝度ヒストグラムにおいて、尖鋭なピークが複数離散的に存在する場合、そのピークの分散状況に基づいてグラフィクス画像であるか否かを判定する。より具体的には、尖鋭なピークのある輝度値のそれぞれが、予め設定された輝度値と符合する場合に、グラフィクス画像と判定する。このように複数離散的に存在する尖鋭なピークの分散状況からグラフィクス画像であるか否かを判定することで、グラフィクス画像の判定精度を更に高めることができる。

後処理部１３６は、超解像変換処理部１３３で生成された高解像度フレームの画像に対し、ガンマ補正、コントラスト伸張、階調補正、カラーマネジメント等の画像補正処理を施し、後段の動画改善処理部１４に順次出力する。なお、後処理部１３６では、かかる画像補正処理を行わない構成とすることもできる。

次に、画像表示装置１００の動作について、図４を参照して説明する。図４は、本実施形態に係る画像表示装置１００の全体処理を示すフローチャートである。なお、処理の開始時には、デジタル放送受信部１１１等で受信したデジタル放送の映像信号等が映像信号入力部１１により所定のデジタル復調処理が施されてメイン処理部１２に入力されているものとする。また、デジタル放送以外の映像信号についても、処理の開始時には、同様にメイン処理部１２に入力されているものとする。

図４に示すように、処理が開始されると、メイン処理部１２は、入力された映像信号に対しフォーマット変換や映像信号のデコード処理、画像信号と音声信号の分離処理、グラフィクス画像の重畳処理、スケーリング処理などのメイン処理を行う（Ｓ１１）。メイン処理部１２によるスケーリング処理後の画像信号は高解像度化部１３へ出力され、処理後の音声信号は音声処理部１７へ出力される。

次いで、高解像度化部１３は、メイン処理部１２から入力された第２解像度の画像信号（中解像度フレーム）に対して高解像度化処理を行う（Ｓ１２）。高解像度化処理後の第３解像度の画像信号（高解像度フレーム）は動画改善処理部１４へ出力される。

次いで、動画改善処理部１４は、生成された高解像度フレームからなる画像データに対して動画改善処理、すなわち補間フレームの生成及び内挿の処理を行う（Ｓ１３）。この処理により、動画像のフレームレートは、例えば６０ｆｐｓから１２０ｆｐｓに変換される。フレームレートが変換された画像信号は表示処理部１５へ出力される。

次いで、表示処理部１５は、フレームレートが変換された画像信号に基づいた動画像を表示部１６に表示させる（Ｓ１４）。上述した処理により、表示装置に合わせた高解像度を有し、且つ動きの滑らかな動画像が表示部１６に表示されることになる。

次に、高解像度化部１３が行う高解像度化処理（Ｓ１２）の詳細について、図５を参照して説明する。図５は、本実施形態に係る高解像度化部１３が行う高解像度化処理の詳細を示すフローチャートである。

図４に示すように、Ｓ１２において高解像度化処理が開始されると、前処理部１３１は、メイン処理部１２から順次出力される中解像度フレームを入力する（Ｓ５２）。次いで、前処理部１３１は、入力された中解像度フレームに対して、ＩＰ変換処理やＮＲ処理等の前処理を施す（Ｓ５３）。前処理後の中解像度フレーム（輝度信号、色差信号）はフレームメモリ１３２に記憶される。また、前処理後の輝度信号は輝度ヒストグラム検出部１３４に入力される。

次いで、輝度ヒストグラム検出部１３４は、入力された１フレーム分の輝度信号を累積加算して、輝度値毎の出現頻度を示す輝度ヒストグラムを検出する（Ｓ５４）。検出された輝度ヒストグラムはグラフィクス画像判定部１３５に入力される。

次いで、グラフィクス画像判定部１３５は、入力された輝度ヒストグラムに基づいて、中解像度フレームにグラフィクス画像が含まれているか否かを判定する（Ｓ５５）。中解像度フレームにグラフィクス画像が含まれている場合は、超解像変換処理部１３３は、予め設定された基準の利得値より低い値を鮮鋭化パラメータの値として設定する（Ｓ５６）。具体的には前述したとおりであり、グラフィクス画像が含まれている場合は基準の利得値より低い値を鮮鋭化パラメータの値として設定し、鮮鋭化処理の効果を弱くすることで、鮮鋭化処理によりグラフィクス画像に生じるノイズを低減させる。

次いで、超解像変換処理部１３３は、設定された鮮鋭化パラメータを用いて、入力された中解像度フレームに対して前述した超解像変換処理および鮮鋭化処理を施す（Ｓ５７）。これにより、入力された中解像度フレームは高解像度フレームに変換される。超解像変換処理により変換された高解像度フレームは後処理部１３６に入力される。

なお、Ｓ５７において、超解像変換処理部１３３は、超解像変換処理により変換された高解像度フレームを、スケーリング変換により再び中解像度フレームに戻して超解像変換処理前の中解像度フレームと比較し、超解像変換処理により復元された画素が正しく復元されたか否かを判定する。次いで、超解像変換処理前の中解像度フレームと比較とした場合に画素値にずれが生じている場合は、超解像変換処理による復元が正しく行われていないと判定し、そのずれ量に応じて超解像変換処理により復元された画素の画素値を補正する。

Ｓ５７では、上述した補正まで含めた処理を、中解像度フレームから高解像度フレームへ変換する鮮鋭化処理としてよい。また、上述した補正時においてずれ量に応じた補正量を設定するパラメータについても、鮮鋭化パラメータに含めてよい。しがたって、グラフィクス画像が含まれている場合には、基準のパラメータ値（利得値）より低い値が設定され、超解像変換処理により復元された画素の画素値の補正量が小さくなる。これにより、グラフィクス画像に対して超解像変換処理を行った場合に生じるノイズが補正に反映される度合いを低減することができる。

次いで、後処理部１３６は、入力された高解像度フレームに対してガンマ補正等の画像補整処理を施し（Ｓ５８）、画像補整処理後の高解像度フレームを動画改善処理部１４へ出力する（Ｓ５９）。かかるＳ５２〜Ｓ５９までの処理は、入力される動画フレームの全てに対して行われる（Ｓ５１ａ、Ｓ５１ｂ）。

［変形例］
次に、上述した実施形態の変形例について、図６を参照して説明する。図６は、本実施形態の変形例に係る画像表示装置１００ａのシステム構成を概略的に示したブロック図である。なお、以下の説明では、前述した実施形態と同一の要素については同一符号を付して説明を省略し（例えば、高解像度化部１３の構成については図２に例示した構成と同一とする）、異なる要素についてのみを説明する。

図６に示すように、画像表示装置１００ａは、前述した構成の他に、ユーザからの操作を受け付ける操作部１９を備える。操作部１９は、電源ボタン、数字キー、文字キー、カーソルボタン、選択ボタン、決定ボタン、モード切替スイッチなどの操作キーやタッチパネルなどのポインティングデバイスであってよい。この操作部１９によるユーザの操作入力は、メイン処理部１２、高解像度化部１３へ出力される。

メイン処理部１２では、操作部１９によるユーザの操作入力に応じて、画像表示装置１００ａの電源のオン／オフ、デジタル放送受信部１１１、ＩＰＴＶ信号処理部１１２、インターネット信号処理部１１３、外部入力部１１４から入力する映像信号の切り替え、動作モードの切り替えなどを行う。また、メイン処理部１２は、ＯＳＤ機能におけるメニュー画面の重畳処理を行う際には、そのメニュー画面を用いた各種設定を操作部１９によるユーザの操作入力に応じて行ってもよい。

動作モードとは、表示部１６での表示や音声出力部１８での音声出力に係る処理のオン／オフやその処理量を予め定めたものである。ユーザは、複数の動作モードの中から所望の動作モードを操作部１９を介して選択する。

具体的には、動作モードとしては、「標準モード」、「シネマモード」、「ゲームモード」、「マニュアル設定モード」、「スルーモード」などがある。「標準モード」、「シネマモード」、「ゲームモード」等は処理量を映像の種別に合わせて予め設定したモードであり、標準モードは予め設定された基準値どおりの処理を行うモード、シネマモードはシネマ映像（画像及び音声）の再生に適した処理を行うモード、ゲームモードはゲーム映像（画像及び音声）の再生に適した処理を行うモードである。「マニュアル設定モード」は、ユーザがＯＳＤ機能のメニュー画面などによって、予め設定した処理量（オン／オフを含む）で処理を行うモードである。「スルーモード」は、必要最小限の処理のみを行い、他の処理はオフにするモードである。

なお、スルーモードにおける必要最小限の処理とは、例えば入力された映像信号を音声信号と画像信号とに分離する処理、分離した音声信号に対して音声処理部１７が行う変換処理、及び、分離した画像信号をそのまま表示処理部１５に入力して表示部１６への表示を制御する処理などであり、入力された映像信号どおりに音声及び表示再生を行う処理をいう。また、他の処理とは、上述した処理以外の処理であり、例えばメイン処理部１２が行う所定の信号処理や、高解像度化部１３及び動画改善処理部１４が行う処理などである。

高解像度化部１３は、操作部１９を介してユーザが設定した動作モードに応じた超解像変換処理を行う。具体的には、前処理部１３１は、設定された動作モードに応じてＩＰ変換処理、ＮＲ処理等のオン／オフを切り替える。

また、グラフィクス画像判定部１３５は、鮮鋭化パラメータの値を基準値より低い値へ切り替える場合において、基準値と切り替えるべき値との差を、設定された動作モードに応じて調整する。例えば、動作モードが標準モードに設定されている場合は調整量を予め設定された基準量とし、マニュアルモードに設定されている場合はユーザ設定に応じた調整量（０を含む）とする。

また、動作モードがシネマモードに設定されている場合は、鮮鋭化パラメータの値を基準の利得値より低い値へ切り替える場合において、基準の利得値と切り替えるべき値との差を小さくし、鮮鋭化処理の効果が小さくなることを抑える。これは、シネマモードなどでは、グラフィクス画像よりもシネマ映像（自然画像）の見栄えの方が重用視されるためである。

また、動作モードがゲームモードに設定されている場合は、鮮鋭化パラメータの値を基準値より低い値へ切り替える場合において、基準の利得値と切り替えるべき値との差を大きくし、鮮鋭化処理の効果をより小さくさせる。これは、ゲームモードなどでは、グラフィクス画像が画面の大半を占めるため、自然画像よりもグラフィクス画像の見栄えの方が重用視されるためである。

また、後処理部１３６は、操作部１９を介してユーザが設定した動作モードに応じたガンマ補正、コントラスト伸張、階調補正、カラーマネジメント等の画像補正処理を行う。具体的には、後処理部１３６は、設定された動作モードに応じた、ガンマ補正の補正量、コントラスト伸張の伸張量、階調補正の補正量、カラーマネジメントの補正量で画像補正処理を行う。

なお、本実施形態では、本発明の画像処理装置を、表示処理部１５、表示部１６、音声処理部１７及び音声出力部１８を有するデジタルＴＶ等の画像表示装置に適用した例を挙げて説明したが、表示部１６、音声処理部１７及び音声出力部１８を有さない、例えば、チューナやセットトップボックス等にも本発明の画像処理装置を適用することができる。また、本発明の画像処理装置は、高解像度化部１３のみを有する構成であり、単に入力された画像信号に対して超解像変換処理を行って出力するものであってもよい。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１００、１００ａ 画像表示装置
１１ 映像信号入力部
１２ メイン処理部
１３ 高解像度化部
１４ 動画改善処理部
１５ 表示処理部
１６ 表示部
１７ 音声処理部
１８ 音声出力部
１９ 操作部
１３１ 前処理部
１３２ フレームメモリ
１３３ 超解像変換処理部
１３４ 輝度ヒストグラム検出部
１３５ グラフィクス画像判定部
１３６ 後処理部

上述した課題を解決し、目的を達成するために、本発明は、入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換するスケーリング変換手段と、前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出手段と、前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定手段と、前記第２解像度の画像信号を、超解像技術を用いて画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換するスケーリング処理、及び、予め設定された基準の利得値に従って鮮鋭化処理を行う超解像処理手段と、を備え、前記超解像処理手段は、前記判定手段による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする。

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換するスケーリング変換手段と、前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出手段と、前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定手段と、前記第２解像度の画像信号を、当該第２解像度より高い第３解像度の画像信号に変換するスケーリング処理、及び、予め設定された基準の利得値に従って鮮鋭化処理を行う高解像度化手段と、を備え、前記高解像度化手段は、前記判定手段による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする。
また、本発明の画像処理装置は、入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換するスケーリング変換手段と、前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出手段と、前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定手段と、予め設定された基準の利得値に従って鮮鋭化処理を行う高解像度化手段と、を備え、前記高解像度化手段は、前記判定手段による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする。

また、本発明は、入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換し、前記スケーリング変換された第２解像度の画像信号を、当該第２解像度より高い第３解像度の画像信号に変換するスケーリング処理、及び、予め設定された基準の利得値に従って鮮鋭化処理を行う高解像度化手段を備える画像処理装置の画像処理方法であって、輝度ヒストグラム検出手段が、前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出工程と、判定手段が、前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定工程と、を含み、前記高解像度化手段が、前記判定工程による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする。

高解像度化部１３は、メイン処理部１２から出力された中解像度画像の画像信号をフレーム毎に入力し、後述する超解像変換処理を施して、表示装置に合わせた高解像度の画像信号を生成するものである。なお、高解像度化部１３の詳細構成については後述する。

超解像変換処理部１３３は、フレームメモリ１３２から入力される第２解像度の中解像度フレームを、超解像技術を用いた解像度変換により（以下、「超解像変換処理」という。）、第２解像度よりも高い第３解像度の画像信号に変換する画像処理および鮮鋭化処理を施して、表示装置の解像度に合わせた高解像度フレームを生成し、後処理部１３６に出力する。

ここで、超解像変換処理とは、第２解像度である画像信号（中解像度フレーム）から本来の画素値を推定して画素を増やすことにより、第２解像度よりも高い第３解像度である高解像度の画像信号（高解像度フレーム）を復元する処理を意味する。

また、超解像変換処理部１３３では、グラフィクス画像判定部１３５の判定結果に基づいて、鮮鋭化処理の利得値（以下、「鮮鋭化パラメータ」という。）を設定し、この鮮鋭化パラメータを用いて鮮鋭化処理を行う。鮮鋭化パラメータには、例えば、画質劣化補正用のフィルタの重み係数などの特性パラメータや、鮮鋭化の強度の重み係数などの強度パラメータなどがある。

次いで、超解像変換処理部１３３は、設定された鮮鋭化パラメータを用いて、入力された中解像度フレームに対して前述した超解像変換処理を施す（Ｓ５７）。これにより、入力された中解像度フレームは高解像度フレームに変換される。超解像変換処理により変換された高解像度フレームは後処理部１３６に入力される。

Ｓ５７では、上述した補正まで含めた処理を、中解像度フレームから高解像度フレームへ変換する超解像変換処理としてよい。また、上述した補正時においてずれ量に応じた補正量を設定するパラメータについても、鮮鋭化パラメータに含めてよい。しがたって、グラフィクス画像が含まれている場合には、基準のパラメータ値（利得値）より低い値が設定され、超解像変換処理により復元された画素の画素値の補正量が小さくなる。これにより、グラフィクス画像に対して超解像変換処理を行った場合に生じるノイズが補正に反映される度合いを低減することができる。

Claims (7)

1. 入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換するスケーリング変換手段と、
   前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出手段と、
   前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定手段と、
   前記スケーリング変換された第２解像度の画像信号を、予め設定された基準の利得値に従い、前記第２解像度の画像信号間を補間して画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換するスケーリング処理と、鮮鋭化処理を行う超解像手段と、
   前記第２解像度の画像信号を、超解像技術を用いて画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換するスケーリング処理、及び、予め設定された基準の利得値に従って鮮鋭化処理を行う超解像処理手段と、
   を備え、
   前記超解像処理手段は、前記判定手段による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする画像処理装置。
2. 前記判定手段は、前記検出された輝度ヒストグラムにおいて、予め設定された第１の閾値よりも出現頻度が高い輝度値の中に前記ピークが存在する場合に、グラフィクス画像を含むと判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記検出された輝度ヒストグラムにおいて、予め設定された第２の閾値よりも高い輝度値側に前記ピークが存在する場合に、グラフィクス画像を含むと判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記判定手段は、前記検出された輝度ヒストグラムにおいて、前記ピークが複数離散的に存在する場合、当該ピークの分散状況に基づいてグラフィクス画像を含むか否かを判定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記鮮鋭化処理は、前記スケーリング変換された第２解像度の画像信号から本来の画素値を推定して画素を増やすことにより前記第３解像度の画像信号に変換する超解像変換処理を含むことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. ユーザから動作モードの設定を受け付ける操作手段を更に備え、
   前記超解像処理手段が、前記基準の利得値と設定すべき利得値との差を、前記設定された動作モードに応じて調整することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケーリング変換し、前記スケーリング変換された第２解像度の画像信号を、予め設定された基準の利得値に従い、前記第２解像度の画像信号間を補間して画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換し、鮮鋭化処理を行う画像処理装置の画像処理方法であって、
   入力された第１解像度の画像信号を、前記第１解像度よりも画素数の多い第２解像度の画像信号にスケーリング変換し、前記スケーリング変換された第２解像度の画像信号を、超解像技術を用いて画素を増やすことにより前記第２解像度より高い第３解像度の画像信号に変換するスケーリング処理、及び、予め設定された基準の利得値に従って鮮鋭化処理を行う画像処理装置の画像処理方法であって、
   輝度ヒストグラム検出手段が、前記スケーリング変換された第２解像度の画像信号の画像についての、当該画像信号の輝度値毎の出力頻度を示す輝度ヒストグラムを検出する輝度ヒストグラム検出工程と、
   判定手段が、前記検出された輝度ヒストグラムに基づいて、前記第２解像度の画像信号の画像が輝度階調の所定値において尖鋭なピークがあるグラフィクス画像を含むか否かを判定する判定工程と、
   を含み、
   前記超解像処理手段が、前記判定工程による判定結果がグラフィクス画像を含む場合に、前記鮮鋭化処理の利得値を、前記基準の利得値よりも低い値に設定することを特徴とする画像処理方法。

Images