JP2016134896A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】入力される入力画像信号が示す入力画像を拡大するスケーリング部１０４と、入力画像信号に基づいて、スケーリング部１０４における処理により拡大される画像である拡大画像を強調するためのゲインを、拡大画像の注目画素ごとに算出するゲイン算出部１０６と、注目画素ごとに、拡大画像の画素値と対応するゲインとを加算する加算部１０８と、を備える。【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

入力される画像信号（以下、「入力画像信号」と示す場合がある。）に対してアップスケーリング（up-scaling）（アップコンバート（up-convert）と呼ばれる場合もある。）を行うと、精細感が失われることが多い。これは、アップスケーリングによりサンプリング（sampling）周波数を上げることによってナイキスト（nyquist）周波数が高くなるにも関わらず、低解像度の画像を高解像度に変換したことにより、相対的に高域成分（ナイキスト周波数に近い成分）が減少するためである。

このような中、入力画像信号をアップスケーリングしつつ、アップスケーリング後の拡大された画像の画質の低下を防止する技術が開発されている。入力画像信号をアップスケーリングし、アップスケーリング後の画像信号に対して強調処理を行う技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特開２０１１−０１５１８６号公報

例えば特許文献１に記載の技術のような既存の技術が用いられる場合には、アップスケーリング後に高域成分などに対する強調処理が行われるので、上述したようなアップスケーリングにより精細感が失われることによる画質の低下を防止することができうる。ここで、既存の技術のように、アップスケーリング後に強調処理が行われる場合には、例えば、入力画像信号が示す画像（以下、「入力画像」と示す。）を保持するメモリ（memory）と、アップスケーリング後の画像信号が示す拡大された画像（以下、「拡大画像」と示す場合がある。）を保持するメモリとが設けられる。上記入力画像を保持するメモリは、アップスケーリングを行うために設けられ、上記拡大画像を保持するメモリは、強調処理を行うのために設けられる。

しかしながら、アップスケーリング後に強調処理が行われる場合には、上記のように入力画像と拡大画像とをそれぞれ保持するためのメモリが必要となる。また、例えば近年の表示装置の高解像度化によって、アップスケーリング後の拡大画像の解像度はより大きくなっているので、強調処理を行うのために拡大画像を保持するためのメモリの容量がより大きくなってしまう。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、入力される入力画像信号が示す入力画像を拡大するスケーリング部と、上記入力画像信号に基づいて、上記スケーリング部における処理により拡大される画像である拡大画像を強調するためのゲインを、上記拡大画像の注目画素ごとに算出するゲイン算出部と、上記注目画素ごとに、上記拡大画像の画素値と、対応する上記ゲインとを加算する加算部と、を備える画像処理装置が提供される。

かかる構成によって、入力された画像信号が示す画像をアップスケーリングし、また、拡大画像の画素値と拡大画像に対応するゲインとを加算して、拡大画像を強調することが可能である。よって、かかる構成によって、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることができる。また、かかる構成によって、後述する様々な効果が奏される。

また、上記ゲイン算出部は、上記入力画像信号と上記スケーリング部における処理後の画像信号である拡大画像信号との位相のずれが補償されるように上記ゲインを算出してもよい。

また、上記ゲイン算出部は、フィルタ処理によって上記ゲインを算出してもよい。

また、上記ゲイン算出部は、上記スケーリング部における上記入力画像の拡大率に対応する、フィルタ係数が異なる複数のフィルタを用いたフィルタ処理によって、上記ゲインを算出してもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、入力される入力画像信号が示す入力画像を拡大するスケーリングステップと、上記入力画像信号に基づいて、上記スケーリングステップにおける処理により拡大される画像である拡大画像を強調するためのゲインを、上記拡大画像の注目画素ごとに算出する強調ステップと、上記注目画素ごとに、上記拡大画像の画素値と、対応する上記ゲインとを加算する加算ステップと、を有する画像処理方法が提供される。

かかる方法が用いられることによって、入力された画像信号が示す画像をアップスケーリングし、また、拡大画像の画素値と拡大画像に対応するゲインとを加算して、拡大画像を強調することが可能である。よって、かかる方法が用いられることによって、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることができる。また、かかる方法が用いられることによって、後述する様々な効果が奏される。

また、上記目的を達成するために、本発明の第３の観点によれば、コンピュータを、入力される入力画像信号が示す入力画像を拡大するスケーリング手段、上記入力画像信号に基づいて、上記スケーリング手段における処理により拡大される画像である拡大画像を強調するためのゲインを、上記拡大画像の注目画素ごとに算出するゲイン算出手段、上記注目画素ごとに、上記拡大画像の画素値と、対応する上記ゲインとを加算する加算手段、として機能させるためのプログラムが提供される。

かかるプログラムが用いられることによって、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることができる。また、かかるプログラムが用いられることによって、後述する様々な効果が奏される。

本発明によれば、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることができる。

アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０の構成の一例を示すブロック（block）図である。 アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置において必要なメモリの容量の概要を示す説明図である。 アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０の処理の概要を示す説明図である。 アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置において必要なメモリの容量の具体例を示す説明図である。 第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第１の実施形態に係る画像処理装置において必要なメモリの容量の概要を示す説明図である。 第１の実施形態に係る画像処理装置の処理の概要を示す説明図である。 第１の実施形態に係る画像処理装置において必要なメモリの容量の具体例を示す説明図である。 アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置の強調処理部における周波数特性の一例を示す説明図である。 第１の実施形態に係る画像処理装置の処理の概要を示す説明図である。 第１の実施形態に係る画像処理装置の処理の概要を示す説明図である。 アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置におけるアップスケーラの設計が困難であることを示すための説明図である。 第２の実施形態に係る画像処理装置の処理の概要を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理方法について説明する。以下では、本発明の実施形態に係る画像処理方法に係る処理を、本発明の実施形態に係る画像処理装置が行う場合を例に挙げて、本発明の実施形態に係る画像処理方法について説明する。

［Ｉ］既存の技術が用いられる場合に生じうる問題
上述したように、アップスケーリング後に強調処理が行われる場合には、入力画像と拡大画像とをそれぞれ保持するためのメモリが必要となる。本発明の実施形態に係る画像処理方法について説明する前に、アップスケーリング後に強調処理が行われる既存の技術が用いられる場合に生じうる問題について説明する。

図１は、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０の構成の一例を示すブロック図である。

画像処理装置１０は、例えば、入力ラインメモリ制御部１２と、スケーリング部１４と、強調処理部１６と、入力ラインメモリ１８と、変換ラインメモリ２０と、出力ラインメモリ２２とを備える。

また、画像処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ（processor）や各種処理回路などで構成され、画像処理装置１０全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置１０では、例えば、制御部（図示せず）が、入力ラインメモリ制御部１２、スケーリング部１４、および強調処理部１６のうちの、１または２以上の役目を果たすことも可能である。

入力ラインメモリ制御部１２は、例えば、入力ラインメモリ１８への入力画像信号の記録と、入力ラインメモリ１８からの入力画像信号の読み出しを制御する。

スケーリング部１４は、入力ラインメモリ１８から読み出された入力画像信号に対応する画像データ（data）に対して、アップスケーリングに係る処理を行う。スケーリング部１４は、例えば、画像を垂直方向にアップスケーリングする垂直方向アップスケーラ２４と、画像を水平方向にアップスケーリングする水平方向アップスケーラ２６とを有する。垂直方向アップスケーラ２４と水平方向アップスケーラ２６とは、例えば、ＦＩＲ（Finite Impulse Response）フィルタ（filter）などを用いたフィルタ処理によって、画像を、画像の垂直方向、水平方向にそれぞれアップスケーリングする。

強調処理部１６は、スケーリング部１４から伝達される画像信号に対して強調処理を行う。強調処理部１６は、例えば、スケーリング部１４から伝達される画像信号が示す画像と、当該画像から算出されたゲイン（gain）（画像信号のＡＣ（Alternating Current）成分）とを、画素ごとに加算することによって、スケーリング部１４から伝達される画像信号が示す画像を強調する。ここで、強調処理部１６は、例えば、バンドパスフィルタ（ＢＰＦ（Band-Pass Filter））などの強調処理に用いることが可能な任意のフィルタを用いたフィルタ処理を、スケーリング部１４から伝達される画像信号に対して行うことによって、ゲインを算出する。

入力ラインメモリ１８、変換ラインメモリ２０、および出力ラインメモリ２２は、画像処理装置１０に設けられる画像データを記録する記録媒体である。

入力ラインメモリ１８には、例えば、垂直方向アップスケーラ２４の入力となる入力画像における処理対象の行データが記録される。また、変換ラインメモリ２０には、垂直方向アップスケーラ２４により処理された画像に対応する画像データが記録され、水平方向アップスケーラ２６は、例えば、変換ラインメモリ２０に記憶されている画像データを処理する。また、出力ラインメモリ２２には、水平方向アップスケーラ２６により処理された画像に対応する画像データが記録され、強調処理部１６は、例えば、出力ラインメモリ２２に記憶されている画像データを処理する。

ここで、図１に示す画像処理装置１０において処理に必要となるメモリの容量を示す。図２は、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０において必要なメモリの容量の概要を示す説明図である。

入力画像の画素数を“Ｌ行×Ｃ列”、アップスケール（up-scale）の比率を“Ｕ倍”（Ｕは、Ｕ＞１。）、垂直方向アップスケーラ２４と水平方向アップスケーラ２６とにおけるフィルタのタップ（tap）数を“Ｔ_Ｕ”、強調処理部１６におけるフィルタの画像の垂直方向のタップ数を“Ｔ_Ｅ”とすると、画像処理装置１０における処理において必要なメモリの容量は、図２で表される。ここで、図２における必要な行数の算出理由は、下記の通りである。
・入力ラインメモリ１８：垂直方向アップスケーラ２４における処理（Ｔ_Ｕ行）のため。
・変換メモリ２０：垂直方向アップスケーラ２４の出力（Ｕ＊Ｔ_Ｕ行）を保持し、水平方向アップスケーラ２６の入力（Ｔ_Ｕ行）とするため。
・出力ラインメモリ２２：水平方向アップスケーラ２６の出力（Ｕ＊Ｔ_Ｕ行）を保持し、強調処理部１６の入力（Ｔ_Ｅ行）とするため。

図２を用いることにより、画像処理装置１０における処理において必要なメモリの容量を算出することができ、メモリの容量を画素数単位で表記すると、下記に数式１で表される。

ここで、上記数式１の第３項において“Ｕ×Ｔ_Ｕ＞＝Ｔ_Ｅ”の場合と、“Ｕ×Ｔ_Ｕ＜Ｔ_Ｅ”の場合とを考慮すると、上記数式１は、下記の数式２で表される。

上記数式２より、アップスケールの比率Ｕ、および強調処理部１６におけるフィルタのタップ数Ｔ_Ｅの増加に伴って、画像処理装置１０における処理において必要なメモリの容量が増大することが分かる。

画像処理装置１０における処理において必要なメモリの容量の具体例を示す。以下では、画像処理装置１０が、フルＨＤの画像（画素数が、１９２０列×１０８０行の画像。以下、同様とする。）を、７タップの２倍アップスケーラによりウルトラＨＤ（画素数が、３８４０列×２１６０行の画像。以下、同様とする。）の画像にアップスケーリング（解像度変換）し、９タップのフィルタで強調処理を行う場合を例に挙げる。

図３は、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０の処理の概要を示す説明図であり、垂直方向アップスケーラ２４、水平方向アップスケーラ２６、および強調処理部１６における処理を模式的に示している。

図３を参照すると、変換ラインメモリ２０は、水平方向アップスケーラ２６にデータを供給するために、入力ラインメモリ１８と同じ幅でアップスケーラのタップ数Ｔ_Ｕと同じ行数分の容量を必要とすることが分かる。また、出力ラインメモリ２２は、強調処理部１６にデータを供給するために、入力ラインメモリ１８に対して、幅および行数がいずれもフィルタのタップ数であるＴ_Ｅ以上の容量が必要であることが分かる。

図４は、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０において必要なメモリの容量の具体例を示す説明図である。

図３に示す場合において、画像処理装置１０における処理において必要なメモリの容量は、Ｃ＝１９２０、Ｕ＝２、Ｔ_Ｕ＝７、Ｔ_Ｅ＝９より、図２を用いて図４で表される。

また、図４、および上記数式２より、画像処理装置１０における処理において必要なメモリのビット数は、下記の数式３で表される。

ここで、画像処理装置１０においてアップスケーリングを行うために必要なメモリの容量は、入力ラインメモリ１８、および変換ラインメモリ２０に相当する４０３２０画素分の画像データである。しかしながら、画像処理装置１０における処理では、上記数式３に示すように、アップスケール後の強調処理のためたけに、９４０８０−４０３２０＝５３７６０画素分の画像データを保持するためのメモリの容量を必要とする。そのため、画像処理装置１０のように、アップスケーリング後に強調処理を行う場合には、アップスケール後の強調処理のために、画像データの保持に係るメモリのハードウェア（hardware）の規模を、倍以上に増加させる必要がある。

さらに、上記数式１より、アップスケールの比率Ｕがさらに大きくなると、上記数式１の第三項に相当する追加のデータの比率がさらに高くなることが分かる。

よって、画像処理装置１０のように、アップスケーリング後に強調処理を行う場合には、ハードウェアの規模が増大する恐れがある。

また、画像処理装置１０のように、アップスケーリング後に強調処理を行う場合には、画像処理の性能面でもアップスケーラ（up scaler）の設計が難しいという問題がある。アップスケーリング後に強調処理を行う場合におけるアップスケーラの設計難易度については、後述する。

［ＩＩ］本発明の実施形態に係る画像処理方法の概要
上述したように、アップスケーリング後に強調処理を行う場合には、ハードウェアの規模が増大する恐れがあるなどの問題が生じうる。

そこで、本発明の実施形態に係る画像処理装置は、入力画像信号に対してスケーリング処理を行い、入力画像を拡大する（スケーリング処理）。また、本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、スケーリング処理により拡大される画像（以下、「拡大画像」と示す。）を強調するためのゲインを、拡大画像の注目画素ごとに算出する（ゲイン算出処理）。そして、本発明の実施形態に係る画像処理装置は、注目画素ごとに、拡大画像の画素値と、対応するゲインとを加算する（加算処理）。

本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、上記のような（１）スケーリング処理、（２）ゲイン算出処理、および（３）加算処理を行う。

ここで、本発明の実施形態に係る入力画像信号が示す画像としては、例えば、静止画像や、動画像が挙げられる。また、本発明の実施形態に係る入力画像信号としては、例えば、デジタル信号や、アナログ信号が挙げられる。本発明の実施形態に係る入力画像信号がアナログ信号である場合、本発明の実施形態に係る画像処理装置は、例えば、アナログ信号を処理してもよいし、ＡＤＣ（Analog-to-Digital Converter）などを用いて適宜デジタル信号に変換して処理を行うことも可能である。

本発明の実施形態に係る画像処理装置では、ゲイン算出処理および加算処理が行われることによって、スケーリング処理の結果である拡大画像が強調されるので、アップスケーリングにより精細感が失われることによる画質の低下が防止される。

したがって、本発明の実施形態に係る画像処理装置は、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることができる。

また、本発明の実施形態に係る画像処理装置では、加算処理において、注目画素ごとに、スケーリング処理の結果である拡大画像の画素値と、ゲイン算出処理の結果である対応するゲインとが加算される。よって、本発明の実施形態に係る画像処理装置では、例えば図１に示す画像処理装置１０において設けられる出力ラインメモリ２２が不要となるので、本発明の実施形態に係る画像処理装置は、アップスケーリング後に強調処理を行う画像処理装置１０よりも、ハードウェアの規模を小さくすることができる。

また、本発明の実施形態に係る画像処理装置では、図１に示す画像処理装置１０のように、スケーリング処理後の画像信号（以下、「拡大画像信号」と示す。）に対して強調処理が行われない。よって、本発明の実施形態に係る画像処理装置では、後述するように、アップスケーラの設計や性能調整の難易度を下げる効果を奏することが可能である。

（本発明の実施形態に係る画像処理装置）
次に、上述した本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する。

［１］第１の実施形態に係る画像処理装置
［１−１］第１の実施形態に係る画像処理装置の構成例
図５は、第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図５では、本発明の実施形態に係る画像処理方法に係る処理が行われた処理後の画像信号を“出力画像信号”と示している。

画像処理装置１００は、例えば、入力ラインメモリ制御部１０２と、スケーリング部１０４と、ゲイン算出部１０６と、加算部１０８と、入力ラインメモリ１１０と、変換ラインメモリ１１２とを備える。

また、画像処理装置１００は、例えば、ＣＰＵなどのプロセッサや各種処理回路などで構成され、画像処理装置１００全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置１００では、制御部（図示せず）が、入力ラインメモリ制御部１０２、スケーリング部１０４、ゲイン算出部１０６、および加算部１０８のうちの１または２以上の役目を果たすことも可能である。

なお、入力ラインメモリ制御部１０２、スケーリング部１０４、ゲイン算出部１０６、および加算部１０８のうちの１または２以上が、制御部（図示せず）とは別体の処理回路（例えば、専用の処理回路、または、汎用の処理回路）などで実現されてもよいことは、言うまでもない。また、入力ラインメモリ制御部１０２、スケーリング部１０４、ゲイン算出部１０６、および加算部１０８のうちの１または２以上における処理は、プロセッサなどで実行されるプログラム（program）（ソフトウェア）により実現されてもよい。

入力ラインメモリ制御部１０２は、例えば、入力ラインメモリ１１０への入力画像信号の記録と、入力ラインメモリ１１０からの入力画像信号の読み出しを制御する。なお、第１の実施形態に係る画像処理装置では、例えば、制御部（図示せず）や、スケーリング部１０４、ゲイン算出部１０６などの他の構成要素が、入力ラインメモリ制御部１０２の役目を果たすことも可能である。

スケーリング部１０４は、上記（１）の処理（スケーリング処理）を主導的に行う役目を果たし、入力画像信号が示す入力画像を拡大する。スケーリング部１０４は、例えば、入力ラインメモリ１１０から読み出された入力画像信号に対応する画像データに対して、アップスケーリングに係る処理を行うことによって、入力画像を拡大する。

スケーリング部１０４は、例えば、画像を垂直方向にアップスケーリングする垂直方向アップスケーラ１１４と、画像を水平方向にアップスケーリングする水平方向アップスケーラ１１６とを有する。垂直方向アップスケーラ１１４と水平方向アップスケーラ１１６とは、例えば、ＦＩＲフィルタなどを用いたフィルタ処理によって、画像を、画像の垂直方向、水平方向にそれぞれアップスケーリングする。

ゲイン算出部１０６は、上記（２）の処理（ゲイン算出処理）を主導的に行う役目を果たし、入力画像信号に基づいて、拡大画像（スケーリング部１０４における処理により拡大される画像）を強調するためのゲインを、拡大画像の注目画素ごとに算出する。ゲイン算出部１０６は、例えば、入力ラインメモリ１１０から読み出された入力画像信号に対応する画像データに対して処理を行い、拡大画像の注目画素ごとにゲインを算出する。

ここで、ゲイン算出部１０６は、例えば、フィルタ処理によってゲインを算出する。より具体的には、ゲイン算出部１０６は、例えば、スケーリング部１０４における入力画像の拡大率に対応する、フィルタ係数が異なる複数のフィルタを用いたフィルタ処理によって、ゲインを算出する。

また、上記（２）の処理（ゲイン算出処理）では、入力画像信号に基づいて拡大画像を強調するためのゲインが算出される、すなわち、入力画像から、アップスケーリング後の拡大画像のゲインが算出される。そのため、ゲイン算出部１０６の入力と出力とでは、位相が異なりうる。そこで、ゲイン算出部１０６は、例えば、入力画像信号と、拡大画像信号（スケーリング部１０４における処理後の画像信号）との位相のずれが補償されるようにゲインを算出する。

ゲイン算出部１０６における処理の一例については、後述する。

加算部１０８は、上記（３）の処理（加算処理）を主導的に行う役目を果たし、注目画素ごとに、拡大画像の画素値と、対応するゲインとを加算する。加算部１０８は、例えば加算器で構成される。

そして、加算部１０８は、本発明の実施形態に係る画像処理方法に係る処理が行われた画像信号（出力画像信号）を出力する。加算部１０８から出力される画像信号は、表示デバイス（device）に伝達されて表示画面に画像が表示されてもよいし、記録媒体に画像データとして記録されてもよい。表示画面への表示制御や、記録媒体への記録制御は、例えば制御部（図示せず）や外部装置により行われる。

入力ラインメモリ１１０、および変換ラインメモリ１１２は、画像処理装置１００に設けられる画像データを記録する記録媒体である。図５に示すように、画像処理装置１００では、図１に示す画像処理装置１０に設けられている出力ラインメモリ２２が設けられていない。

入力ラインメモリ１１０は、図１に示す入力ラインメモリ１８と同様の役目を果たし、入力ラインメモリ１１０には、例えば、垂直方向アップスケーラ１１４、およびゲイン算出部１０６の入力となる入力画像における処理対象の行データが記録される。

また、変換ラインメモリ１１２は、図１に示す変換ラインメモリ２０と同様の役目を果たし、変換ラインメモリ１１２には、垂直方向アップスケーラ１１４により処理された画像に対応する画像データが記録され、水平方向アップスケーラ１１６は、例えば、変換ラインメモリ１１２に記憶されている画像データを処理する。

画像処理装置１００は、例えば図５に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（上記（１）の処理（スケーリング処理）、上記（２）の処理（ゲイン算出処理）、および上記（３）の処理（加算処理））を行う。

よって、画像処理装置１００は、例えば図５に示す構成によって、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることができる。

また、画像処理装置１００は、例えば図５に示す構成によって、上述した本発明の実施形態に係る画像処理方法に係る処理が行われることにより奏される効果を、奏することができる。なお、第１の実施形態に係る画像処理装置の構成は、図５に示す構成に限られず、例えば、本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、任意の構成をとることが可能である。

［１−２］画像処理装置１００において処理に必要となるメモリの容量
次に、画像処理装置１００において処理に必要となるメモリの容量を示す。図６は、第１の実施形態に係る画像処理装置１００において必要なメモリの容量の概要を示す説明図である。

入力画像の画素数を“Ｌ行×Ｃ列”、アップスケールの比率を“Ｕ倍”（Ｕ＞１）、垂直方向アップスケーラ１１４と水平方向アップスケーラ１１６とにおけるフィルタのタップ数を“Ｔ_Ｕ”、ゲイン算出部１０６におけるフィルタの画像の垂直方向のタップ数を“Ｔ_Ｅ’”とすると、画像処理装置１００における処理において必要なメモリの容量は、図６で表される。ここで、図６における必要な行数の算出理由は、下記の通りである。
・入力ラインメモリ１１０：垂直方向アップスケーラ１１４における処理（Ｔ_Ｕ行）、およびゲイン算出部１０６における処理（Ｔ_Ｅ行）のため。
・変換メモリ１１２：垂直方向アップスケーラ１１４の出力（Ｕ＊Ｔ_Ｕ行）を保持し、水平方向アップスケーラ１１６の入力（Ｔ_Ｕ行）とするため。

図６を用いることにより、画像処理装置１００における処理において必要なメモリの容量を算出することができ、メモリの容量を画素数単位で表記すると、下記に数式４で表される。

ここで、上記数式４の第１項において“Ｔ_Ｕ”と“Ｔ_Ｅ’”との大小関係により場合分けすると、上記数式４は、下記の数式５で表される。

上記数式５と上記数式２とを比較すると、“画像処理装置１００では、アップスケールの比率Ｕに対する必要なメモリの容量の依存が減少していること”、および“画像処理装置１００では、タップ数Ｔ_Ｅ’をタップ数Ｔ_Ｅと同等以下に抑えられれば、図１に示す出力ラインメモリ２２が設けられない分だけメモリの容量を削減できること”が分かる。ここで、周波数特性の観点から、タップ数Ｔ_Ｅ’をタップ数Ｔ_Ｅと同等以下に抑えることは困難ではない。タップ数Ｔ_Ｅ’をタップ数Ｔ_Ｅと同等以下に抑えることは困難ではないことについては、後述する。

画像処理装置１００における処理において必要なメモリの容量の具体例を示す。以下では、画像処理装置１００が、スケーリング部１０４において、フルＨＤの画像（画素数が、１９２０列×１０８０行の画像）を、７タップの２倍アップスケーラによりウルトラＨＤ（画素数が、３８４０列×２１６０行の画像）の画像にアップスケーリング（解像度変換）する場合を例に挙げる。また、以下では、画像処理装置１００が、ゲイン算出部１０６において、フルＨＤの画像に対して５タップのフィルタを用いてウルトラＨＤの画素位置に対応するゲインを算出する場合を例に挙げる。

ここで、スケーリング部１０４を構成する垂直方向アップスケーラ１１４および水平方向アップスケーラ１１６における処理の概要は、例えば、図３に示す垂直方向アップスケーラ２４および水平方向アップスケーラ２６における処理と同様である。なお、画像処理装置１００では、図３に示す強調処理部１６における処理は行われず、ゲイン算出部１０６において強調処理部１６とは異なる処理が行われる。

図７は、第１の実施形態に係る画像処理装置１００の処理の概要を示す説明図であり、ゲイン算出部１０６における処理を模式的に示している。

上記数式５に示すように、入力ラインメモリ１１０の行数は、垂直方向アップスケーラ１１４のタップ数とゲイン算出部１０６のタップ数との大きい方と同じ分必要であるが、変換ラインメモリ１１２は、図１に示す変換ラインメモリ２０と同じである。また、図５に示すように、水平方向アップスケーラ１１６の出力とゲイン算出部１０６の出力とは、加算部１０８において加算されて出力画像信号の画素値となるので、画像処理装置１００では、図１に示す画像処理装置１０に設けられている出力ラインメモリ２２は不要である。

図８は、第１の実施形態に係る画像処理装置１００において必要なメモリの容量の具体例を示す説明図である。

図８に示す場合において、画像処理装置１００における処理において必要なメモリの容量は、Ｃ＝１９２０、Ｕ＝２、Ｔ_Ｕ＝７、Ｔ_Ｅ’＝５より、図６を用いて図８で表される。

また、図８、および上記数式５より、画像処理装置１００における処理において必要なメモリのビット数は、下記の数式６で表される。

上記数式６と上記数式３とを比較すると、画像処理装置１００において必要なメモリの容量は、アップスケーリングを行うために必要なメモリの容量に相当する４０３２０画素分の画像データであり、既存の技術に係る画像処理装置１０において必要としていた５３７６０画素分の画像データを保持するためのメモリの容量は必要ないことが分かる。

したがって、画像処理装置１００は、アップスケーリング後に強調処理を行う既存の技術に係る画像処理装置１０よりも、ハードウェアの規模を小さくすることができる。

［１−３］ゲイン算出部１０６における処理
次に、ゲイン算出部１０６における処理の実現方法について、より具体的に示す。以下では、ゲイン算出部１０６が、図１に示す強調処理部１６において用いられるフィルタと近い周波数特性を持つフィルタ（デジタルフィルタまたはアナログフィルタ）を用いたフィルタ処理によって、拡大画像に対応するゲインを算出する場合を例に挙げる。

また、以下では、フルＨＤの入力画像を示す入力画像信号が、画像処理装置１００または画像処理装置１０に入力され、ウルトラＨＤの画像にアップスケーリングされる場合、すなわち、画像の垂直方向および水平方向それぞれが２倍のアップスケールの比率でアップスケーリングされる場合を例に挙げる。

また、以下では、説明の簡単化のために、ゲイン算出部１０６が一次元のフィルタを用いて処理を行う場合を例に挙げる。なお、以下に示す一次元のフィルタを用いた処理を、二次元の画像に適用可能なように拡張することは、例えば、画像の水平方向と垂直方向に連続して同一のフィルタを適用することや、一次元のフィルタ係数をＭｃＣｌｅｌｌａｎ変換によって二次元平面上で回転させることなどによって、実現される。

まず、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０の強調処理部１６における処理の一例を示す。図９は、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０の強調処理部１６における周波数特性の一例を示す説明図である。以下では、図１に示す画像処理装置１０の強調処理部１６における周波数特性が、図９に示す周波数特性を有するものと仮定する。

図９のＡは、強調処理部１６の振幅特性の一例を示しており、強調処理部１６が、強調のためにアップスケーリング後のウルトラＨＤの画像のナイキスト周波数の半分より低い辺りにゲインを持つバンドパスフィルタで構成される例を示している。図９のＡに示す振幅特性を有するバンドパスフィルタは、アップスケーリング前のフルＨＤ画像のナイキスト周波数よりも若干低い辺りの信号にゲインを与えるバンドパスフィルタに相当する。

図９のＢは、強調処理部１６における位相特性に関係するフィルタの挙動の一例を示している。ウルトラＨＤにアップスケールされた拡大画像を処理対象とするために、強調処理部１６におけるフィルタのフィルタ係数は注目画素を中心に左右対称な形状をしており、強調処理部１６は、フィルタ係数と画素値とを畳み込む。よって、強調処理部１６における処理では、注目画素の位相がそのまま出力画素の位相となる。

ここで、図９のＢにおいてフィルタ係数部分に書き込まれた線は、フィルタ係数の連続関数近似である。フィルタ係数の連続関数は、例えば、フィルタ係数をゼロ（zero）挿入などによって１０００倍にアップサンプリングし、その結果と時間軸１／１０００で離散化したｓｉｎｃ関数を畳み込むことによって求められる。信号処理において既知であるように、上記連続関数は、フィルタのインパルス（impulse）応答となっている。

次に、図９に示す既存の技術に係る画像処理装置１０の強調処理部１６における周波数特性と同等の周波数特性を有する、ゲイン算出部１０６を構成するフィルタについて説明する。

ここで、ゲイン算出部１０６における処理と、図１に示す強調処理部１６における処理との大きな違いは、ゲイン算出部１０６の処理における参照画素が、アップスケーリング後のウルトラＨＤの画像のものではなく、アップスケーリング前のフルＨＤの画像のものであるという点である。そこで、ゲイン算出部１０６では、例えば、図１に示す強調処理部１６のインパルス応答を、アップスケーリング前のフルＨＤの画像の画素位置に合わせてサンプリングし直すことによって、強調処理部１６における周波数特性と同等の周波数特性を有するフィルタのフィルタ係数を求める。

なお、上述したように、ゲイン算出部１０６では、入力画像からアップスケーリング後の拡大画像のゲインが算出されるので、ゲイン算出部１０６の入力と出力とでは、位相が異なりうる。よって、ゲイン算出部１０６におけるフィルタのフィルタ係数は、入力画像信号と拡大画像信号との位相のずれが補償されるように、求められる。

図１０は、第１の実施形態に係る画像処理装置１００の処理の概要を示す説明図であり、ゲイン算出部１０６において出力されるゲインに対応する注目画素に対する、入力画像の参照画素の位置関係の一例を示している。

図１０に示す例では、アップスケーリング前のフルＨＤの画像の画素（参照画素）に対して、左側と右側の二つの位相の出力画素が存在する。そのため、図１０に示す例では、図９に示す方法によって求められるインパルス応答が注目画素が中心となるように位相を設定し、参照画素の位置に相当するフィルタ係数を算出すればよい（図１０のＦＦ１、ＦＦ２）。

ゲイン算出部１０６では、例えば、フィルタ係数がＦＦ１のフィルタと、フィルタ係数がＦＦ２のフィルタとを、注目画素が、図１０に示す左（偶数番目の画素）か図１０に示す右（奇数番目の画素）かによって切り替えて、フィルタ処理が行われる。

ゲイン算出部１０６が、例えば上記のようにフィルタ係数が異なる複数のフィルタを用いたフィルタ処理を行うことによって、ゲイン算出部１０６は、入力画像信号と拡大画像信号との位相のずれが補償されるようにゲインを算出することができる。また、ゲイン算出部１０６が、例えば上記のようにフィルタ係数が異なる複数のフィルタを用いたフィルタ処理を行うことによって、画像処理装置１００は、図１に示す画像処理装置１０におけるアップスケーリング後に行われる強調処理を、入力画像信号に基づく強調処理に置き換えることができる。

ゲイン算出部１０６におけるフィルタの振幅特性について検討する。図１１は、第１の実施形態に係る画像処理装置の処理の概要を示す説明図であり、ゲイン算出部１０６におけるフィルタの振幅特性の一例を示している。

ゲイン算出部１０６におけるフィルタは、図１に示す画像処理装置１０におけるアップスケーリング後に行われる強調処理と同一のインパルス応答を持つフィルタの係数を、アップスケール前の画素位置でサンプルしてフィルタ係数としたものに相当する。よって、図１１、図９のＡに示すように、ゲイン算出部１０６におけるフィルタの振幅特性は、ナイキスト周波数が異なるが、図１に示す強調処理部１６におけるフィルタの振幅特性と同一であることが分かる。

また、図１０より、ゲイン算出部１０６におけるフィルタのタップ数に関する重要な洞察が得られる。上述した例では、図１に示す強調処理部１６におけるフィルタは、９タップ（タップ数Ｔ_Ｅ＝９）で実現されていたのに対して、ゲイン算出部１０６におけるフィルタは、５タップ（タップ数Ｔ_Ｅ’＝５）で実現されている。つまり、強調処理部１６におけるフィルタと同様のインパルス応答を、入力画像の解像度に対応するフルＨＤ空間で実現した場合には、ゲイン算出部１０６におけるフィルタのタップ数は、図１に示す強調処理部１６におけるフィルタのタップ数である９タップを必要としない。ゲイン算出部１０６におけるフィルタのタップ数が、図１に示す強調処理部１６におけるフィルタのタップ数である９タップを必要としない理由は、ゲイン算出処理を行う画素の標本化周波数が低くなっている（例えば、上記の例では１／２）ためである。なお、上述した例において、タップ数Ｔ_Ｅ＝９に対して、タップ数Ｔ_Ｅ’＝５とした理由は、図１０におけるフィルタ係数の決定方法に基づいている。

ゲイン算出部１０６は、上記（２）の処理（ゲイン算出処理）として、例えば図１０に示すようなフィルタ係数が異なる複数のフィルタを用いたフィルタ処理を行うことによって、ゲインを算出する。なお、上記（２）の処理（ゲイン算出処理）は、図１０を参照して示した処理に限られない。上記（２）の処理（ゲイン算出処理）の他の例については、後述する第２の実施形態において示す。

［１−４］アップスケーラの設計難易度について
次に、本発明の実施形態に係る画像処理方法が用いられることによって、アップスケーラの設計が既存の技術が用いられる場合よりも容易となる点について述べる。

図１２は、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０におけるアップスケーラの設計が困難であることを示すための説明図である。図１２のＡ、Ｂは、それぞれ画像処理装置１０におけるスケーリング部１４のアップスケーラのフィルタのゲインと強調処理部１６のフィルタのゲインとを重ねた図を示している。

図１２のＡは、アップスケーラのフィルタの帯域を、低域側のみに厳密に制限した例であり、図１２のＡの場合には、折り返しなどによる副作用をほぼ完全に回避することができる。しかしながら、アップスケーラのフィルタの帯域が図１２のＡの場合には、アップスケーラによって、入力画像であるフルＨＤの画像における設定されている帯域よりも高い周波数の信号は、減衰される。よって、アップスケーラのフィルタの帯域が図１２のＡの場合には、図１に示す強調処理部１６がゲインを持つ帯域には、ほとんど信号が存在しないので、強調処理部１６において処理が行われても、画像を十分に強調することができない。

一方、図１２のＢに示すように、アップスケーラのフィルタの帯域が、図１に示す強調処理部１６における対象の領域までゲインを持つアップスケーラを用いれは、上記のような画像を十分に強調することができない問題は回避することが可能である。しかしながら、アップスケーラのフィルタの帯域が図１２のＢの場合には、例えば、アップスケーラとして入力画像信号におけるナイキスト周波数を超える領域までゲインを持つローパスフィルタ（ＬＰＦ（Low-Pass Filter））を用いることになるので、折り返し成分を除去することができず、リンギングの発生などによる画質の低下が生じる恐れがある。

上記のように、アップスケーリング後に強調処理が行われる既存の技術に係る画像処理装置１０では、アップスケーラのフィルタの帯域の設定によって、上記のような問題が生じうる。よって、既存の技術に係る画像処理装置１０では、アップスケーラの設計難易度や、性能調整の難易度は高い。

これに対して、画像処理装置１００では、図５に示すように、スケーリング部１０４において処理された拡大画像信号は、ゲインの算出に用いられない。よって、画像処理装置１００では、スケーリング部１０４において、図１２のＡに示すような折り返し成分の発生しないアップスケーラを用いることができ、出力画像信号が示す画像の画質の低下を防止することができる。

よって、本発明の実施形態に係る画像処理方法が用いられることによって、アップスケーラの設計や調整が、既存の技術が用いられる場合よりも容易となる。

なお、スケーリング部１０４において、図１２のＡに示すような折り返し成分の発生しないアップスケーラが用いられる場合、スケーリング部１０４から出力される拡大画像信号では、高域成分が失われる。しかしながら、ゲイン算出部１０６から出力される信号に高域成分が含まれ、加算部１０８において、注目画素ごとに拡大画像の画素値と対応するゲインとが加算されるので、出力画像信号が示す画像は、品位が保たれ、高域成分の豊富な解像感のある画像となる。

［１−５］第１の実施形態に係る画像処理装置１００が奏する効果
画像処理装置１００は、例えば下記のような効果を奏する。
・画像処理装置１００では、アップスケーリング後の強調処理のための記録媒体が不要であるので、特に高解像度の画像などを処理する場合に、大幅にハードウェアの規模を削減することができる。
・画像処理装置１００では、アップスケーリング後の画像信号に対して強調処理を行う必要がないので、アップスケーラの設計時に無理に高域を残す必要がなく、アップスケーラの設計難易度をより容易化することができる。

［２］第２の実施形態に係る画像処理装置
上述した第１の実施形態に係る画像処理装置では、上記（１）の処理（スケーリング処理）におけるアップスケールの比率が整数倍である例を示したが、本発明の実施形態に係るアップスケールの比率は、整数倍に限られない。

そこで、次に、第２の実施形態に係る画像処理装置として、上記（１）の処理（スケーリング処理）におけるアップスケールの比率が１．５倍である場合における画像処理装置について説明する。

なお、第２の実施形態に係る画像処理装置の構成や、上記（２）の処理（ゲイン算出処理）において用いられるフィルタの設定手順は、上述した第１の実施形態と同一である。よって、以下では、上述した第１の実施形態と異なる点、すなわち、上記（１）の処理（スケーリング処理）におけるアップスケールの比率が変わることにより影響を受ける、上記（２）の処理（ゲイン算出処理）において用いられるフィルタのフィルタ係数の算出手法について、説明する。

図１３は、第２の実施形態に係る画像処理装置の処理の概要を示す説明図であり、第２の実施形態に係る画像処理装置のゲイン算出部において出力されるゲインに対応する注目画素に対する、入力画像の参照画素の位置関係の一例を示している。

上記（１）の処理（スケーリング処理）におけるアップスケールの比率、すなわち入力画像の拡大率が、第１の実施形態と異なることにより、ゲイン算出部において出力されるゲインに対応する注目画素に対する、入力画像の参照画素の位置関係は、図１０に示す例と異なる。より具体的には、上記（１）の処理（スケーリング処理）におけるアップスケールの比率が１．５倍である場合は、図１３に示すように、下記の３通りの注目画素が存在することとなる。
・左端が参照画素と一致する注目画素
・参照画素の中央に存在する注目画素
・右端が参照画素と一致する注目画素

図１３に示す例でも、フィルタ係数は、上述した第１の実施形態と同様に、インパルス応答の位相を注目画素が中心となるようにずらし、参照画素の位相でサンプリングすることによって得られる。

また、第２の実施形態に係る画像処理装置のゲイン算出部は、上述した第１の実施形態と同様に、フィルタ係数が異なる３種類のフィルタを用いたフィルタ処理を、注目画素の位置に応じて使い分けることによって、拡大画像を強調するためのゲインを算出する。

第２の実施形態に係る画像処理装置は、上述したように、フィルタ係数の算出手法が第１の実施形態と異なるが、画像処理装置の構成や、上記（２）の処理（ゲイン算出処理）において用いられるフィルタの設定手順は、上述した第１の実施形態と同一である。よって、第２の実施形態に係る画像処理装置は、上述した第１の実施形態に係る画像処理装置１００と同様の効果を奏することができる。

［３］他の実施形態に係る画像処理装置
上述した第１の実施形態および第２の実施形態では、上記（１）の処理（スケーリング処理）におけるアップスケールの比率が２倍および１．５倍である場合を具体例として挙げたが、本発明の実施形態に係るアップスケールの比率は、上述した具体例に限られない。本発明の実施形態に係る画像処理装置は、上述した第１の実施形態および第２の実施形態と同様の手法を用いて算出されるフィルタ係数を有する複数のフィルタ、すなわち、上記（１）の処理（スケーリング処理）における入力画像の拡大率に対応する、フィルタ係数が異なる複数のフィルタを用いたフィルタ処理によって、拡大画像を強調するためのゲインを算出することが可能である。

よって、本発明の実施形態に係る画像処理装置は、上記（１）の処理（スケーリング処理）が任意のアップスケールの比率であっても、本発明の実施形態に係る画像処理方法に係る処理を行い、上述した第１の実施形態に係る画像処理装置１００と同様の効果を奏することができる。

以上、本発明の実施形態として、画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣ（Personal Computer）やサーバなどのコンピュータ（computer）や、タブレット（tablet）型の装置、携帯電話やスマートフォン（smart phone）などの通信装置、テレビ受像機、モニタなどの表示デバイスなど、画像信号を処理することが可能な、様々な機器に適用することができる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“コンピュータを、スケーリング部に相当するスケーリング手段、ゲイン算出部に相当するゲイン算出手段、および加算部に相当する加算手段として機能させることが可能なプログラム”）が、コンピュータにおいて実行されることによって、入力された画像信号が示す画像をアップスケーリングし、アップスケーリング後の拡大された画像の画質の低下の防止を図ることができる。

また、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本発明の実施形態に係る画像処理装置が用いられることにより奏される効果を、奏することができる。

また、上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

１０、１００ 画像処理装置
１２、１０２ 入力ラインメモリ制御部
１４、１０４ スケーリング部
１６ 強調処理部
１８、１１０ 入力ラインメモリ
２０、１１２ 変換ラインメモリ
２２ 出力ラインメモリ
２４、１１４ 垂直方向アップスケーラ
２６、１１６ 水平方向アップスケーラ
１０６ ゲイン算出部
１０８ 加算部

Claims (6)

1. 入力される入力画像信号が示す入力画像を拡大するスケーリング部と、
   前記入力画像信号に基づいて、前記スケーリング部における処理により拡大される画像である拡大画像を強調するためのゲインを、前記拡大画像の注目画素ごとに算出するゲイン算出部と、
   前記注目画素ごとに、前記拡大画像の画素値と、対応する前記ゲインとを加算する加算部と、
   を備えることを特徴とする、画像処理装置。
2. 前記ゲイン算出部は、前記入力画像信号と前記スケーリング部における処理後の画像信号である拡大画像信号との位相のずれが補償されるように前記ゲインを算出することを特徴とする、請求項１に記載の画像処理装置。
3. 前記ゲイン算出部は、フィルタ処理によって前記ゲインを算出することを特徴とする、請求項１、または２に記載の画像処理装置。
4. 前記ゲイン算出部は、前記スケーリング部における前記入力画像の拡大率に対応する、フィルタ係数が異なる複数のフィルタを用いたフィルタ処理によって、前記ゲインを算出することを特徴とする、請求項３に記載の画像処理装置。
5. 入力される入力画像信号が示す入力画像を拡大するスケーリングステップと、
   前記入力画像信号に基づいて、前記スケーリングステップにおける処理により拡大される画像である拡大画像を強調するためのゲインを、前記拡大画像の注目画素ごとに算出する強調ステップと、
   前記注目画素ごとに、前記拡大画像の画素値と、対応する前記ゲインとを加算する加算ステップと、
   を有することを特徴とする、画像処理方法。
6. コンピュータを、
   入力される入力画像信号が示す入力画像を拡大するスケーリング手段、
   前記入力画像信号に基づいて、前記スケーリング手段における処理により拡大される画像である拡大画像を強調するためのゲインを、前記拡大画像の注目画素ごとに算出するゲイン算出手段、
   前記注目画素ごとに、前記拡大画像の画素値と、対応する前記ゲインとを加算する加算手段、
   として機能させるためのプログラム。
   

Images