JP2013009091A - 画像処理装置、画像表示システム、及び、画像処理方法 - Google Patents

Abstract

【課題】空間方向の平滑化と時間方向の平滑化との双方のノイズの低減効果を有効に得る。
【解決手段】画像表示システムにおいては、画像を空間方向に平滑化する空間ノイズ低減部４と、画像を時間方向に平滑化する時間ノイズ低減部５とが直列に接続される。したがって、同一の画像に対して空間方向の平滑化と時間方向の平滑化とが重ねて実行される。このため、空間方向の平滑化によるノイズの低減効果と、時間方向の平滑化によるノイズの低減効果との双方を有効に得ることができ、画像中のノイズを大きく低減できる。
【選択図】図２

Description

本発明は、画像を平滑化する技術に関する。

従来より、画像処理装置においては、画像中のノイズを低減するために画像を平滑化するフィルタが用いられている。このようなフィルタとして、空間フィルタと時間フィルタとが知られている。一般的には、画像処理装置の処理目的に応じていずれかのフィルタが採用される。

空間フィルタは、同一の画像（フレーム）内の画素を利用して、画像を空間方向に平滑化するものである。空間フィルタは、比較的低コストに画像中のノイズを大きく低減することができる。ただし、空間フィルタは、ノイズとともに画像中のエッジ成分を低減する作用がある。このため、空間フィルタによるノイズの低減効果を高めようとすると、画像中のエッジ成分が大きく損なわれ、メリハリの無い画像となる。

一方、時間フィルタは、時間的に連続する画像（フレーム）を利用して、画像を時間方向に平滑化するものである。時間フィルタは、画像中のエッジ成分を大きく損なうことなく、画像中のノイズを低減することができる。ただし、時間フィルタによるノイズの低減効果を高めようとすると、多くのフレームが必要となる。このため、使用するフレーム数に応じた映像遅延が生じるとともに、使用するフレーム数に応じた数のフレームメモリが必要となりコストが高くなる。

このように空間フィルタと時間フィルタとは処理特性が異なっている。このため、これらフィルタの双方の特性のノイズの低減効果を得られるように、空間フィルタと時間フィルタとを並列に接続し、それぞれの出力結果を所定の割合で混合する技術も提案されている（例えば、特許文献１参照。）。

特開２０１０−１２４３２１号公報

しかしながら、空間フィルタの出力結果と時間フィルタの出力結果とを混合した場合はそれぞれのノイズの低減効果を最大には得ることはできないため、全体としてノイズの低減効果が損なわれることになる。

本発明は、上記課題に鑑みてなされたものであり、空間方向の平滑化と時間方向の平滑化との双方のノイズの低減効果を有効に得ることができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、時間的に連続する複数の画像を処理する画像処理装置であって、前記画像を空間方向に平滑化する第１平滑化手段と、前記画像を時間方向に平滑化する第２平滑化手段と、を備え、前記第１平滑化手段と前記第２平滑化手段とは直列に接続される。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第２平滑化手段は、前記第１平滑化手段の後段に接続される。

また、請求項３の発明は、請求項１または２に記載の画像処理装置において、平滑化前の前記画像のエッジ成分である第１エッジ成分を抽出する第１抽出手段と、前記第１エッジ成分を用いて、前記第１及び前記第２平滑化手段の双方により平滑化された前記画像である平滑化画像にエッジ成分を付加する付加手段と、を備えている。

また、請求項４の発明は、請求項３に記載の画像処理装置において、前記平滑化画像のエッジ成分である第２エッジ成分を抽出する第２抽出手段、をさらに備え、前記付加手段は、前記第１エッジ成分と前記第２エッジ成分との乗算結果を用いて、前記平滑化画像にエッジ成分を付加する。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記第１及び前記第２平滑化手段の少なくとも一つの平滑化の度合いを調整するパラメータの値を、前記第１及び前記第２平滑化手段の処理の対象となる前記画像の種類に応じて変更する変更手段、をさらに備えている。

また、請求項６の発明は、画像表示システムであって、請求項１ないし５のいずれかに記載の画像処理装置と、前記画像処理装置で処理された画像を表示する表示装置と、を備えている。

また、請求項７の発明は、時間的に連続する複数の画像を処理する画像処理方法であって、（ａ）前記画像を空間方向に平滑化する工程と、（ｂ）前記画像を時間方向に平滑化する工程と、を備え、同一の画像に対して前記工程（ａ）と前記工程（ｂ）とが直列に実行される。

請求項１ないし７の発明によれば、同一の画像に対して空間方向の平滑化と時間方向の平滑化とが重ねて実行される。このため、空間方向の平滑化によるノイズの低減効果と、時間方向の平滑化によるノイズの低減効果との双方を有効に得ることができ、画像中のノイズを大きく低減できる。

また、特に請求項２の発明によれば、同一の画像に対して空間方向の平滑化がなされた後に、時間方向の平滑化がさらになされる。したがって、空間方向の平滑化でノイズのレベルを小さくしてから時間方向の平滑化がなされるため、時間方向の平滑化によるノイズの低減効果を効果的に得ることができる。

また、特に請求項３の発明によれば、平滑化前の画像の第１エッジ成分を用いることで、平滑化画像に適切なエッジ成分を付加することができる。

また、特に請求項４の発明によれば、第１エッジ成分と平滑化画像の第２エッジ成分との乗算結果を用いることで、平滑化画像にノイズの少ないエッジ成分を付加することができる。

また、特に請求項５の発明によれば、画像の種類に応じて平滑化の度合いを調整することができる。

図１は、画像表示システムの構成を示すブロック図である。 図２は、ノイズの低減に係る画像処理装置の構成を示す図である。 図３は、空間ノイズ低減部の詳細な構成を示す図である。 図４は、係数マトリクスの例を示す図である。 図５は、係数マトリクスの例を示す図である。 図６は、係数マトリクスの例を示す図である。 図７は、時間ノイズ低減部の詳細な構成を示す図である。 図８は、エッジ復元部の詳細な構成を示す図である。 図９は、係数マトリクスの例を示す図である。 図１０は、係数マトリクスの例を示す図である。 図１１は、係数マトリクスの例を示す図である。 図１２は、画像の波形が変化する様子を示す図である。 図１３は、画像処理装置の処理の流れを示すフローチャートである。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．全体構成＞
図１は、本実施の形態の画像表示システム１の構成を示すブロック図である。画像表示システム１は、例えば、自動車などの車両で用いられ、各種の画像を表示可能なナビゲーションシステムである。画像表示システム１は、表示対象となる画像を処理し、処理した画像を車室内に設けられる表示装置１２に表示する。

画像表示システム１は、互いに表示する画像の種類が異なる複数の動作モードを備えている。この複数の動作モードには、テレビモード、カメラモード、ディスクモード及びナビモードが含まれている。

テレビモードは、車両に搭載されるアンテナ９１で受信したテレビジョン放送の放送内容を示す画像を表示する動作モードである。カメラモードは、車両に搭載される車載カメラ９２で撮影された車両の周辺を示す画像を表示する動作モードである。ディスクモードは、ＤＶＤなどの映像ディスク９３の記録内容を示す画像を表示する動作モードである。また、ナビモードは、ルート案内用の地図画像などナビゲーション機能に必要な画像を表示する動作モードである。

図１に示すように、画像表示システム１は、システム全体を制御するシステム制御部１０と、ユーザが操作する操作部１１とを備えている。システム制御部１０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータである。システム制御部１０のＣＰＵが所定のプログラムに従って演算処理を行うことで、システム全体を制御するための各種の制御機能が実現される。

システム制御部１０は、操作部１１からのユーザの操作の内容を示す信号に応じて画像表示システム１の動作を制御する。これにより、画像表示システム１はユーザの操作に応じた動作を行う。画像表示システム１の動作モードは、ユーザの操作に基づいてシステム制御部１０によって切り替えられる。

また、画像表示システム１は、各種の画像を表示する表示装置１２と、表示装置１２の表示に係る制御を行う表示制御装置３と、表示装置１２に表示するための画像を提供する映像提供部２とを備えている。これら映像提供部２、表示制御装置３、及び、表示装置１２の動作は、システム制御部１０によって統括的に制御される。

映像提供部２は、表示装置１２に表示すべき様々な映像ソースの映像信号を出力する。映像提供部２は、放送受信部２１、カメラ処理部２２、ディスク読取部２３、及び、ナビゲーション部２４を備えている。これらの映像提供部２の各部２１，２２，２３，２４は、所定の周期（例えば、１／３０秒）で画像（フレーム）を含む映像信号を出力する。したがって、この映像信号には、時間的に連続して複数の画像（フレーム）が含まれている。

放送受信部２１は、テレビモードにおいて、アンテナ９１で受信したテレビジョン放送の放送信号をデコードし、その放送内容を示す画像を取得して表示制御装置３に入力する。カメラ処理部２２は、カメラモードにおいて、車載カメラ９２で撮影された車両の周辺を示す画像を取得して表示制御装置３に入力する。ディスク読取部２３は、ディスクモードにおいて、映像ディスク９３を読み取り、映像ディスク９３の記録内容を示す画像を取得して表示制御装置３に入力する。また、ナビゲーション部２４は、ナビゲーション機能を提供する電子基板であり、ナビモードにおいて、ナビゲーション機能に必要な画像を表示制御装置３に入力する。表示制御装置３は、このようにして入力された画像を対象に処理を行う。したがって、表示制御装置３が処理の対象とする画像の種類は、動作モードに応じて異なることになる。

カメラ処理部２２は、車載カメラ９２で撮影された画像の平均的な輝度をおよそ一定値まで増幅するゲイン処理を行う。このようなゲイン処理において、画像中のノイズが増幅される。特に夜間に取得された画像など輝度が比較的低い画像の場合は、このような画像中のノイズが大きく増幅される。このため、カメラモードにおいて処理の対象とする画像（車載カメラ９２で取得された画像）は、他の動作モードにおいて処理の対象とする画像と比較してノイズが多く含まれている。

表示装置１２は、例えば、画像を表示する画面となる液晶パネルと、その液晶パネルを照明するバックライトとを備えた液晶ディスプレイである。液晶パネルがユーザ（車両の乗員）から視認できるように、表示装置１２は車両のインストルメントパネルなどに設置される。表示装置１２は、表示制御装置３から時間的に連続して出力される画像を表示する。

表示制御装置３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア回路であり、表示装置１２の表示に係る制御を行う。表示制御装置３は、画像取得部３１、画像処理装置３２、及び、画像出力部３３を備えている。

画像取得部３１は、画像を含む映像信号を映像提供部２から取得する。画像取得部３１は、システム制御部１０からの動作モードを示す信号に基づいてスイッチングを行い、映像提供部２の各部２１，２２，２３，２４から入力される映像信号のうち、その時点の動作モードに応じた一つの映像信号を取得する。そして、画像取得部３１は、取得した映像信号を画像処理装置３２に提供する。

画像処理装置３２は、画像取得部３１から入力された映像信号に時間的に連続して含まれる複数の画像（フレーム）のそれぞれを対象に、各種の画像処理を行う。この画像処理の一つとして、画像を平滑化して画像中のノイズを低減する処理が含まれている。

画像出力部３３は、画像処理装置３２で処理された画像を、表示装置１２に出力して表示させる。これにより、画像処理装置３２でノイズが低減された画像が表示装置１２に表示される。

＜２．画像処理装置＞
次に、画像処理装置３２についてさらに詳細に説明する。図２は、ノイズの低減に係る画像処理装置３２の構成を示す図である。

図２に示すように、画像処理装置３２は、空間ノイズ低減部４、時間ノイズ低減部５、エッジ復元部６、及び、パラメータ設定部７を備えている。空間ノイズ低減部４、時間ノイズ低減部５、及び、エッジ復元部６は、処理の対象となる画像に対して所定の画像処理を行う処理部である。

一方、パラメータ設定部７は、画像処理の効果の度合いを調整するためのパラメータの値を設定し、設定した値を処理部４〜６に与える。パラメータ設定部７は、システム制御部１０からの動作モードを示す信号に基づいて、その時点の動作モードに応じた値をパラメータに設定する。これにより、パラメータ設定部７は、処理の対象となる画像の種類に応じてパラメータの値を変更する。

空間ノイズ低減部４、時間ノイズ低減部５、及び、エッジ復元部６は直列に接続されている。したがって、同一の画像に対して、空間ノイズ低減部４、時間ノイズ低減部５、及び、エッジ復元部６のそれぞれの処理が、直列に（換言すれば、時系列で順次に）実行される。空間ノイズ低減部４及び時間ノイズ低減部５は、画像を平滑化することにより、画像中のノイズを低減する。これに対して、エッジ復元部６は、平滑化によって損なわれた画像中のエッジ成分を復元する。

空間ノイズ低減部４は、同一の画像（フレーム）内の画素を利用して、画像を空間方向に平滑化することで、画像中のノイズを低減する。空間ノイズ低減部４は、画像取得部３１から入力された平滑化前の画像である入力画像Ｐａを対象に、空間方向への平滑化を行って第１平滑化画像Ｐｃを生成する。また、空間ノイズ低減部４は、入力画像Ｐａのエッジ成分を抽出し、第１エッジ成分Ｅ１として出力する。

時間ノイズ低減部５は、時間的に連続する画像（フレーム）を利用して、画像を時間方向に平滑化することで、画像中のノイズを低減する。すなわち、時間ノイズ低減部５は、その時点で処理の対象とする現フレームの情報と、現フレームより過去のフレームの情報とを利用することで、画像（現フレーム）を平滑化する。時間ノイズ低減部５は、空間ノイズ低減部４の後段に接続され、空間ノイズ低減部４から出力される第１平滑化画像Ｐｃを対象に時間方向への平滑化を行って第２平滑化画像Ｐｄを生成する。

また、エッジ復元部６は、入力画像Ｐａから抽出された第１エッジ成分Ｅ１を利用して、平滑化後の画像に対してエッジ成分を付加する。エッジ復元部６は、時間ノイズ低減部５の後段に接続され、空間ノイズ低減部４及び時間ノイズ低減部５の双方により平滑化された結果となる第２平滑化画像Ｐｄを対象にエッジ成分の付加を行って、出力画像Ｐｆを生成する。

画像処理装置３２では、これらの処理部４〜６の処理により、ノイズが大きく低減され、かつ、エッジ成分が損なわれていない画像を出力画像Ｐｆとして生成することができる。本実施の形態では、処理部４〜６が処理の対象とする画素の値は、３つの色成分値（例えば、ＹＵＶ）のうちの輝度（Ｙ）のみとされる。なお、処理部４〜６が、３つの色成分値のそれぞれを処理の対象としてもよい。以下、これらの処理部４〜６のそれぞれについて詳細に説明する。

＜２−１．空間ノイズ低減部＞
まず、空間ノイズ低減部４について説明する。空間ノイズ低減部４は、入力画像Ｐａを空間方向に平滑化する。図３は、空間ノイズ低減部４の詳細な構成を示す図である。空間ノイズ低減部４は、空間フィルタ４１とエッジ抽出部４２とを備えている。これら空間フィルタ４１及びエッジ抽出部４２は、入力画像Ｐａ中に含まれる各画素ごとに処理を行う。以下、その時点で処理の対象となっている画素を「注目画素」という。

空間フィルタ４１は、入力画像Ｐａを空間方向に平滑化するものであり、フィルタ処理部４３とブレンド部４４とを備えている。

フィルタ処理部４３は、画像中の各画素の値を、当該画素を中心とした矩形領域内の画素の値を加重平均した結果とするものである。フィルタ処理部４３は、このような演算により、入力画像Ｐａの全体をぼかした、ぼかし画像Ｐｂを生成する。ぼかし画像Ｐｂでは、入力画像Ｐａと比較して、ノイズが少なくなっている一方で、エッジ成分が損なわれている。

フィルタ処理部４３は、横５×縦５の重み係数を含む係数マトリクスを用いて、各画素の新たな値（ぼかし画像Ｐｂにおける値）を演算する。フィルタ処理部４３は、まず、入力画像Ｐａ中における注目画素を中心とした横５×縦５の矩形領域を選択する。次に、フィルタ処理部４３は、選択した矩形領域と係数マトリクスとが重なった位置で画素の値と重み係数とを乗算する。そして、フィルタ処理部４３は、それらの乗算結果の合計値を「２５６」で除算した値を、ぼかし画像Ｐｂの注目画素の値とする。

図４ないし図６は、フィルタ処理部４３で用いられる係数マトリクスＭ１〜Ｍ３の例を示す図である。図４に示す係数マトリクスＭ１を用いた場合は、注目画素を中心とした横３×縦３の領域のみが演算に用いられるため、平滑化の効果（ぼかし強さ）は比較的弱くなる。これに対して、図５，図６に示す係数マトリクスＭ２，Ｍ３を用いた場合は、注目画素を中心とした横５×縦５の領域が演算に用いられるため、平滑化の効果は比較的強くなる。そして、図６に示す係数マトリクスＭ３は図５に示す係数マトリクスＭ２と比較して周辺の画素に関する重み係数が大きいため、図６に示す係数マトリクスＭ３を用いた場合に平滑化の効果が最も強くなる。

フィルタ処理部４３が係数マトリクスＭ１〜Ｍ３のいずれを用いるかは、パラメータ設定部７からの信号により決定される。パラメータ設定部７は、係数マトリクスの重み係数の値を動作モードに応じて設定する。これにより、例えば、ノイズが多い画像を処理の対象にするカメラモードにおいては図６に示す係数マトリクスＭ３が用いられ、他の動作モードにおいては図４に示す係数マトリクスＭ１が用いられる。

図３に戻り、ブレンド部４４は、平滑化前の入力画像Ｐａとフィルタ処理部４３で得られたぼかし画像Ｐｂとを混合して、第１平滑化画像Ｐｃを生成する。ブレンド部４４は、入力画像Ｐａとぼかし画像Ｐｂとともに係数Ｗａを用いて、各画素ごとに次の式（１）に示す演算を実行する。なお、式（１）では、画像Ｐａ，Ｐｂ，Ｐｃの注目画素の値をそれぞれ記号Ｐａ，Ｐｂ，Ｐｃで表している。

Ｐｃ ＝ Ｐｂ ＊ Ｗａ ＋ Ｐａ ＊ （１ − Ｗａ） …（１）
式（１）に示す係数Ｗａは、平滑化の度合いを調整するパラメータの一つであるブレンド係数である。このブレンド係数Ｗａを大きくすればするほど、ぼかし画像Ｐｂの混合割合が高くなるため、平滑化の効果（ぼかし強さ）が強くなる。ブレンド係数Ｗａの値は、パラメータ設定部７によって設定される。パラメータ設定部７は、動作モードに応じた値をブレンド係数Ｗａに設定する。例えば、パラメータ設定部７は、ノイズが多い画像を処理の対象にするカメラモードにおいてはブレンド係数Ｗａに「０．７５」を設定し、他の動作モードにおいてはブレンド係数Ｗａに「０．２５」を設定する。

また、エッジ抽出部４２は、平滑化前の入力画像Ｐａのエッジ成分である第１エッジ成分Ｅ１を抽出する。エッジ抽出部４２は、減算器５２ａを備えており、減算器５２ａにおいて各画素ごとに次の式（２）に示す演算を実行することにより、第１エッジ成分Ｅ１を導出する。すなわち、入力画像Ｐａから第１平滑化画像Ｐｃを減算した結果が、第１エッジ成分Ｅ１となる。なお、式（２）では、画像Ｐａ，Ｐｃ及び第１エッジ成分Ｅ１の注目画素の値をそれぞれ記号Ｐａ，Ｐｃ，Ｅ１で表している。

Ｅ１ ＝ Ｐａ − Ｐｃ …（２）
＜２−２．時間ノイズ低減部＞
次に、時間ノイズ低減部５について説明する。時間ノイズ低減部５は、第１平滑化画像Ｐｃを時間方向に平滑化する。図７は、時間ノイズ低減部５の詳細な構成を示す図である。時間ノイズ低減部５は、時間フィルタ５１と、縮小処理部５２と、フレームメモリ５３と、拡大処理部５４とを備えている。時間フィルタ５１は、第１平滑化画像Ｐｃ中に含まれる各画素ごとに処理を行う。

時間フィルタ５１は、第１平滑化画像Ｐｃを時間方向に平滑化して、第２平滑化画像Ｐｄを生成する。このように画像を時間方向に平滑化することにより、画像中における画素の値の急激な変化が緩和されて画像中のノイズが低減される。時間フィルタ５１は、このような時間方向への平滑化のために、過去画像Ｐｎを利用する。この過去画像Ｐｎは、その時点で処理の対象とする第１平滑化画像Ｐｃである現フレームよりも過去のフレームに基づいて得られる画像である。

時間フィルタ５１は、減算器５５と、誤差二乗部５６と、加重平均部５７とを備えている。減算器５５は、各画素ごとに次の式（３）に示す演算を実行する。これにより、第１平滑化画像Ｐｃと過去画像Ｐｎとの差分値Ｄａが各画素ごとに導出される。なお、式（３）では、画像Ｐｃ，Ｐｎの注目画素の値をそれぞれ記号Ｐｃ，Ｐｎで表している。

Ｄａ ＝ Ｐｃ − Ｐｎ …（３）
誤差二乗部５６は、次の式（４）に示すように減算器５５で導出された差分値Ｄａを二乗して係数Ｄｂを導出する。この係数Ｄｂも、各画素ごとに導出される。係数Ｄｂは、画像中において時間的な変化が大きい部分の画素ほど大きな値となる。

Ｄｂ ＝ Ｄａ ＊ Ｄａ …（４）
加重平均部５７は、第１平滑化画像Ｐｃと過去画像Ｐｎとを加重平均して、第２平滑化画像Ｐｄを生成する。加重平均部５７は、第１平滑化画像Ｐｃと過去画像Ｐｎと係数Ｄｂとともに係数Ｗｂを用いて、各画素ごとに次の式（５）に示す演算を実行する。なお、式（５）では、画像Ｐｃ，Ｐｎ，Ｐｄの注目画素の値を、それぞれ記号Ｐｃ，Ｐｎ，Ｐｄで表している。

Ｐｄ ＝ （Ｐｃ ＊ Ｄｂ ＋ Ｐｎ ＊ Ｗｂ）／（Ｄｂ ＋ Ｗｂ） …（５）
式（５）に示す係数Ｗｂは、平滑化の度合いを調整するパラメータの一つである重み係数である。この重み係数Ｗｂを大きくすればするほど、過去画像Ｐｎの混合割合が高くなるため、平滑化の効果（ぼかし強さ）が強くなる。重み係数Ｗｂの値は、パラメータ設定部７によって設定される。パラメータ設定部７は、動作モードに応じた値を重み係数Ｗｂに設定する。例えば、パラメータ設定部７は、ノイズが多い画像を処理の対象にするカメラモードにおいては重み係数Ｗｂに「３００」を設定し、他の動作モードにおいては重み係数Ｗｂに「５０」を設定する。

また、前述のように係数Ｄｂは、画像中において時間的な変化が大きい部分の画素ほど大きな値となる。したがって、画像中において被写体の像の動きの激しい部分については、他の部分と比較して過去画像Ｐｎの混合割合を低くすることができる。これにより、動きのある被写体の像が、過去画像Ｐｎの影響によって大きくぼけることが防止される。

このようにして生成された第２平滑化画像Ｐｄは、時間ノイズ低減部５から出力されるとともに、縮小処理部５２にも入力される。

縮小処理部５２は、第２平滑化画像Ｐｄを縮小して、縮小画像Ｐｍを生成する。縮小処理部５２が、画像を縮小する手法としては、二アレストネイバー方式、バイリニア方式及びバイキュービック方式など周知の手法を用いることができる。縮小処理部５２で生成された縮小画像Ｐｍは、フレームメモリ５３に記憶される。フレームメモリ５３は、映像信号の１フレーム分の周期に相当する期間（例えば、１／３０秒間）、縮小画像Ｐｍを記憶する。

縮小処理部５２は、例えば、横８００×縦４８０（ＷＶＧＡ）の第２平滑化画像Ｐｄを縮小して、横４００×縦２４０（ＷＱＶＧＡ）の縮小画像Ｐｍを生成する。このように縮小した縮小画像Ｐｍをフレームメモリ５３に記憶することで、フレームメモリ５３の記憶容量を小さくすることができ、フレームメモリ５３のコストを低減できる。

拡大処理部５４は、フレームメモリ５３に記憶された縮小画像Ｐｍを読み出し、読み出した縮小画像Ｐｍを拡大して画像Ｐｎを生成する。縮小処理部５２は、例えば、横４００×縦２４０（ＷＱＶＧＡ）の縮小画像Ｐｍを拡大して、横８００×縦４８０（ＷＶＧＡ）の画像Ｐｎを生成する。このようにして生成された画像Ｐｎが、時間フィルタ５１の処理における過去画像Ｐｎとして利用される。拡大処理部５４が、画像を拡大する手法としては、二アレストネイバー方式、バイリニア方式及びバイキュービック方式など周知の手法を用いることができる。

＜２−３．エッジ復元部＞
次に、エッジ復元部６について説明する。エッジ復元部６は、空間ノイズ低減部４及び時間ノイズ低減部５の双方に平滑化された第２平滑化画像Ｐｄにエッジ成分を付加する。図８は、エッジ復元部６の詳細な構成を示す図である。エッジ復元部６は、エッジ強調部６１と、エッジ調整部６２と、エッジ付加部６３とを備えている。これらエッジ強調部６１、エッジ調整部６２、及び、エッジ付加部６３は各画素ごとに処理を行う。

エッジ強調部６１は、第２平滑化画像Ｐｄのエッジ成分を強調するものであり、フィルタ処理部６４とブレンド部６５とを備えている。

フィルタ処理部６４は、第２平滑化画像Ｐｄのエッジ成分である第２エッジ成分Ｅ２を抽出する。フィルタ処理部６４は、図３のフィルタ処理部４３と同様に、横５×縦５の重み係数を含む係数マトリクスを用いて各画素ごとに値を演算する。具体的には、フィルタ処理部６４は、注目画素を中心とした横５×縦５の矩形領域と係数マトリクスとが重なった位置で画素の値と重み係数とを乗算し、それらの乗算結果の合計値を「２５６」で除算した値を導出する。

ただし、フィルタ処理部６４は、図９ないし図１１で示すように、負の重み係数を含む係数マトリクスＭ４〜Ｍ６を用いる。これらの係数マトリクスＭ４〜Ｍ６においては、注目画素の重み係数に「２５６」が設定され、その周辺の画素の重み係数に負（−）の値が設定されている。したがって、フィルタ処理部６４は、この演算により、第２平滑化画像Ｐｄのエッジ成分である第２エッジ成分Ｅ２を抽出することができる。

図９に示す係数マトリクスＭ４を用いた場合は、注目画素を中心とした横３×縦３の領域のみが演算に用いられるため、エッジ成分を抽出する効果は比較的弱くなる。これに対して、図１０，図１１に示す係数マトリクスＭ５，Ｍ６を用いた場合は、注目画素を中心とした横５×縦５の領域が演算に用いられるため、エッジ成分を抽出する効果は比較的強くなる。そして、図１１に示す係数マトリクスＭ６は図１０に示す係数マトリクスＭ５と比較して周辺の画素に関する重み係数の絶対値が大きいため、図１１に示す係数マトリクスＭ６を用いた場合にエッジ成分を抽出する効果が最も強くなる。

フィルタ処理部６４が係数マトリクスＭ４〜Ｍ６のいずれを用いるかは、パラメータ設定部７からの信号により決定される。パラメータ設定部７は、係数マトリクスの重み係数の値を動作モードに応じて設定する。これにより、例えば、平滑化の効果が相対的に高く設定されるカメラモードにおいては図１１に示す係数マトリクスＭ６が用いられ、他の動作モードにおいては図９に示す係数マトリクスＭ４が用いられる。

図８に戻り、ブレンド部６５は、第２平滑化画像Ｐｄとフィルタ処理部６４で得られた第２エッジ成分Ｅ２とを混合して、エッジ強調画像Ｐｅを生成する。ブレンド部６５は、第２平滑化画像Ｐｄと第２エッジ成分Ｅ２とともに係数Ｗｃを用いて、各画素ごとに次の式（６）に示す演算を実行する。なお、式（６）では、画像Ｐｄ，Ｐｅ及び第２エッジ成分Ｅ２の注目画素の値をそれぞれ記号Ｐｄ，Ｐｅ，Ｅ２で表している。

Ｐｅ ＝ Ｐｄ ＋ Ｅ２ ＊ Ｗｃ …（６）
式（６）に示す係数Ｗｃは、エッジ成分の強調の度合いを調整するパラメータの一つである強調係数である。この強調係数Ｗｃを大きくすればするほど、第２エッジ成分Ｅ２の混合割合が高くなるため、エッジ成分の強調効果が強くなる。強調係数Ｗｃの値は、パラメータ設定部７によって設定される。パラメータ設定部７は、動作モードに応じた値を強調係数Ｗｃに設定する。例えば、パラメータ設定部７は、平滑化の効果が相対的に高く設定されるカメラモードにおいては強調係数Ｗｃに「０．７５」を設定し、他の動作モードにおいては強調係数Ｗｃに「０．５」を設定する。

このようにしてエッジ強調部６１で生成されたエッジ強調画像Ｐｅは、エッジ付加部６３に入力される。また、この生成過程でフィルタ処理部６４で抽出された第２エッジ成分Ｅ２は、ブレンド部６５とともに、エッジ調整部６２にも入力される。

エッジ調整部６２は、空間ノイズ低減部４で抽出された第１エッジ成分Ｅ１と、ブレンド部６５で抽出された第２エッジ成分Ｅ２とを乗算して、調整エッジ成分Ｅ３を導出する。エッジ調整部６２は、各画素ごとに、当該画素の条件に応じて次の式（７）〜（９）に示す演算のいずれかを実行することにより、調整エッジ成分Ｅ３を導出する。なお、これらの式（７）〜（９）では、エッジ成分Ｅ１，Ｅ２，Ｅ３の注目画素の値をそれぞれ記号Ｅ１，Ｅ２，Ｅ３で表している。

Ｅ３ ＝ Ｅ１ ＊ Ｅ２ ＊ Ｗｄ …（７）
Ｅ３ ＝ −（Ｅ１ ＊ Ｅ２ ＊ Ｗｄ） …（８）
Ｅ３ ＝ ０ …（９）
式（７）は（Ｅ１＞０ かつ Ｅ２＞０）の条件を満足する場合に実行され、式（８）は（Ｅ１＜０ かつ Ｅ２＜０）の条件を満足する場合に実行される。また、式（９）は、いずれの条件も満足しない場合に実行される。したがって、第１エッジ成分Ｅ１の注目画素の値と第２エッジ成分Ｅ２の注目画素の値とで正負が一致する場合（すなわち、エッジ成分が同一方向に現れる場合）は、これら２つの注目画素の値、及び、係数Ｗｄの乗算結果が調整エッジ成分Ｅ３の注目画素の値とされる。一方、第１エッジ成分Ｅ１の注目画素の値と第２エッジ成分Ｅ２の注目画素の値とで正負が異なる場合（すなわち、エッジ成分が逆方向に現れる場合）は、これらの値は本来のエッジ成分ではなくノイズを示しているとみなされ、調整エッジ成分Ｅ３が「０」とされる。このようにして導出された調整エッジ成分Ｅ３は、エッジ付加部６３に入力される。

エッジ付加部６３は、エッジ強調部６１で生成されたエッジ強調画像Ｐｅに、エッジ調整部６２で導出された調整エッジ成分Ｅ３を付加して、出力画像Ｐｆを生成する。エッジ付加部６３は、加算器６３ａを備えており、加算器６３ａにおいて各画素ごとに次の式（１０）に示す演算を実行することにより、出力画像Ｐｆを生成する。すなわち、エッジ強調画像Ｐｅと調整エッジ成分Ｅ３とを加算した結果が、出力画像Ｐｆとなる。なお、式（１０）では、画像Ｐｅ，Ｐｆ及び調整エッジ成分Ｅ３の注目画素の値をそれぞれ記号Ｐｅ，Ｐｆ，Ｅ３で表している。

Ｐｆ ＝ Ｐｅ ＋ Ｅ３ …（１０）
上述した式（７）及び式（８）における係数Ｗｄは、エッジ成分の強調の度合いを調整するパラメータの一つである調整係数である。調整係数Ｗｄを大きくすればするほど、調整エッジ成分Ｅ３の強度が高くなるため、出力画像Ｐｆにおけるエッジ成分の強調効果が強くなる。調整係数Ｗｄの値は、パラメータ設定部７によって設定される。パラメータ設定部７は、動作モードに応じた値を調整係数Ｗｄに設定する。例えば、パラメータ設定部７は、平滑化の効果が相対的に高く設定されるカメラモードにおいては調整係数Ｗｄに「０．７５」を設定し、他の動作モードにおいては調整係数Ｗｄに「０．５」を設定する。

このようにして得られた出力画像Ｐｆは、空間方向への平滑化と時間方向への平滑化とが重ねて実行された結果である。したがって、空間方向の平滑化によるノイズの低減効果と時間方向の平滑化によるノイズの低減効果との双方が有効に得られるため、出力画像Ｐｆはノイズが大きく低減された画像とすることができる。また、出力画像Ｐｆは、平滑化前の入力画像Ｐａのエッジ成分である第１エッジ成分Ｅ１に基づくエッジ成分が付加されている。したがって、出力画像Ｐｆは、エッジ成分が損なわれておらず、メリハリのある画像とすることができる。

＜３．画像の波形の遷移＞
図１２は、処理の対象となる画像のレベル（輝度）を示す波形が、処理部４〜６の処理によって変化する様子を示す図である。図中の波形においては、入力画像Ｐａのエッジ成分が存在していた部分（以下、「エッジ部分」という）を符号Ｓｅで示し、入力画像Ｐａのノイズが存在していた部分（以下、「ノイズ部分」という）を符号Ｓｎで示している。

すなわち、入力画像Ｐａにおいては、エッジ部分Ｓｅにおいて比較的先鋭なエッジ成分が存在しているとともに、ノイズ部分Ｓｎにおいてエッジ成分よりレベルの小さいノイズが存在している。

まず、空間ノイズ低減部４の空間フィルタ４１により、入力画像Ｐａが空間方向に平滑化され、第１平滑化画像Ｐｃが生成される。第１平滑化画像Ｐｃでは、ノイズ部分Ｓｎにおいてノイズが大きく低減されているが、細かなノイズが残存している。また、第１平滑化画像Ｐｃでは、エッジ部分Ｓｅにおいてエッジ成分も低減され、エッジ成分の先鋭さが大きく緩和されている。

また、空間ノイズ低減部４のエッジ抽出部４２により、入力画像Ｐａから第１平滑化画像Ｐｃが減算されて、第１エッジ成分Ｅ１が導出される。第１エッジ成分Ｅ１では、エッジ部分Ｓｅにおいて入力画像Ｐａのエッジ成分が抽出されているものの、ノイズ部分Ｓｎにおいてノイズも同時に抽出される。

次に、時間ノイズ低減部５により、第１平滑化画像Ｐｃが時間方向に平滑化され、第２平滑化画像Ｐｄが生成される。第２平滑化画像Ｐｄでは、エッジ部分Ｓｅにおいてエッジ成分が多少低減されるものの、ノイズ部分Ｓｎに存在していた細かなノイズがほぼ無くなっている。

次に、エッジ復元部６のエッジ強調部６１により、第２平滑化画像Ｐｄのエッジ成分が強調されて、エッジ強調画像Ｐｅが生成される。エッジ強調画像Ｐｅでは、先鋭さが緩和された状態のままエッジ成分が強調される。

また、エッジ復元部６のフィルタ処理部６４により、第２平滑化画像Ｐｄから第２エッジ成分Ｅ２が抽出される。第２エッジ成分Ｅ２では、エッジ部分Ｓｅにおいてエッジ成分が抽出される一方で、ノイズ部分Ｓｎにおいてはノイズがあまり抽出されない。

そして、エッジ復元部６のエッジ調整部６２により、第１エッジ成分Ｅ１と第２エッジ成分Ｅ２とが乗算されて、調整エッジ成分Ｅ３が生成される。調整エッジ成分Ｅ３では、第１エッジ成分Ｅ１のエッジ成分と第２エッジ成分Ｅ２のエッジ成分との乗算により、エッジ部分Ｓｅのレベルが大きくなる。一方で、調整エッジ成分Ｅ３では、第２エッジ成分Ｅ２のノイズが微小であるため、ノイズ部分Ｓｎのレベルはほぼ「０」とみなせる。

次に、エッジ復元部６のエッジ付加部６３により、エッジ強調画像Ｐｅに調整エッジ成分Ｅ３が加算され、出力画像Ｐｆが生成される。出力画像Ｐｆでは、調整エッジ成分Ｅ３の付加により、エッジ部分Ｓｅにおいてエッジ成分の先鋭さが復元されている。一方で、出力画像Ｐｆでは、ノイズ部分Ｓｎにおけるノイズはほぼ無くなっている。

＜４．フローチャート＞
次に、画像処理装置３２の処理の流れについて説明する。図１３は、画像処理装置３２の処理の流れを示すフローチャートである。

まず、パラメータ設定部７が、システム制御部１０からの信号に基づいて、その時点の動作モードを判定する（ステップＳ１２）。これにより、パラメータ設定部７は、処理の対象となる画像の種類を判定する。

そして、パラメータ設定部７は、動作モードがノイズが多い画像を処理の対象にするカメラモードの場合は（ステップＳ１２にてＹｅｓ）、パラメータにカメラモードの専用値を設定する（ステップＳ１３）。一方、パラメータ設定部７は、動作モードがカメラモード以外の場合は、パラメータに標準値を設定する（ステップＳ１４）。

このようにパラメータ設定部７が値を設定するパラメータには、上述したブレンド係数Ｗａ、重み係数Ｗｂ、強調係数Ｗｃ、調整係数Ｗｄ、フィルタ処理部４３が用いる係数マトリクスの重み係数、及び、フィルタ処理部６４が用いる係数マトリクスの重み係数などが含まれる。パラメータ設定部７が、各パラメータに設定する値は上述したとおりである。これにより、カメラモードにおいては、他の動作モードと比較して、平滑化の効果が高く設定されるとともに、エッジ成分の強調効果が強く設定される。

次に、空間ノイズ低減部４が画像を空間方向に平滑化し（ステップＳ１５）、続いて、時間ノイズ低減部５が画像を時間方向に平滑化し（ステップＳ１６）、さらに、エッジ復元部６が画像にエッジ成分を付加する（ステップＳ１７）。同一の画像に注目すると、これらステップＳ１５，Ｓ１６，Ｓ１７の処理が直列に（時系列で順次に）実行される。このようなステップＳ１５，Ｓ１６，Ｓ１７の処理は、動作モードが変更されるまで繰り返される（ステップＳ１８にてＮｏ）。

また、動作モードが変更されると（ステップＳ１８にてＹｅｓ）、処理はステップＳ１１に戻る。これにより、パラメータ設定部７が、変更後の動作モードに応じてパラメータの値を変更する。すなわち、パラメータ設定部７は、処理の対象となる画像の種類に応じて、パラメータの値を変更することになる（ステップＳ１１〜Ｓ１４）。

以上のように、画像表示システム１においては、画像を空間方向に平滑化する空間ノイズ低減部４と、画像を時間方向に平滑化する時間ノイズ低減部５とが直列に接続される。したがって、同一の画像に対して空間方向の平滑化と時間方向の平滑化とが重ねて実行される。このため、空間方向の平滑化によるノイズの低減効果と、時間方向の平滑化によるノイズの低減効果との双方を有効に得ることができ、画像中のノイズを大きく低減できる。

また、画像表示システム１においては、時間ノイズ低減部５が、空間ノイズ低減部４の後段に接続されている。これにより、同一の画像に対して、空間ノイズ低減部４が空間方向の平滑化を行った後に、時間ノイズ低減部５が時間方向の平滑化を行うことになる。これに対して、空間ノイズ低減部４が、時間ノイズ低減部５の後段に接続されるようにしてもよい。この場合、同一の画像に対して、時間ノイズ低減部５が時間方向の平滑化を行った後に、空間ノイズ低減部４が空間方向の平滑化を行うことになる。ただし、空間方向の平滑化は比較的大きなレベルのノイズの低減に向いており、時間方向の平滑化は比較的小さなレベルのノイズの低減に向いている。したがって、上記の画像表示システム１のように構成することで、空間方向の平滑化でノイズのレベルを小さくしてから、時間方向の平滑化を行うことができるため、時間方向の平滑化によるノイズの低減効果を効果的に得ることができる。

また、画像表示システム１においては、エッジ復元部６が、平滑化前の入力画像Ｐａのエッジ成分である第１エッジ成分Ｅ１を用いて、空間ノイズ低減部４及び時間ノイズ低減部５の双方により平滑化された画像である第２平滑化画像Ｐｄにエッジ成分を付加する。したがって、平滑化によりエッジ成分が損なわれた第２平滑化画像Ｐｄに、適切なエッジ成分を付加することができる。

また、エッジ復元部６は、第１エッジ成分Ｅ１と第２平滑化画像Ｐｄのエッジ成分である第２エッジ成分Ｅ２との乗算結果を用いて、第２平滑化画像Ｐｄにエッジ成分を付加する。このため、第２平滑化画像Ｐｄにノイズの少ないエッジ成分を付加することができる。

また、パラメータ設定部７が、平滑化の度合いを調整するパラメータの値を、空間ノイズ低減部４及び時間ノイズ低減部５の処理の対象となる画像の種類に応じて変更する。このため、画像の種類に応じて平滑化の度合いを調整することができる。

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、パラメータ設定部７は、カメラモードと他の動作モードとで異なる値をパラメータに設定していたが、動作モードごとの専用値をパラメータに設定するようにしてもよい。

また、上記実施の形態においては、パラメータ設定部７は、空間ノイズ低減部４及び時間ノイズ低減部５の双方のパラメータの値を変更して、平滑化の度合いを調整していた。これに対して、パラメータ設定部７は、空間ノイズ低減部４及び時間ノイズ低減部５のいずれかのみのパラメータの値を変更して、平滑化の度合いを調整するようにしてもよい。また、上記実施の形態においてパラメータ設定部７が値を設定するとしたパラメータの一部については、ユーザが所望の値に設定できるようにしてもよい。

また、上記実施の形態では、パラメータ設定部７は、システム制御部１０からの信号に基づいて処理の対象となる画像の種類を判定していたが、画像の特徴に基づいて画像の種類を判定してもよい。例えば、画像のヒストグラムに基づいて、画像の種類が、自然風景などの階調（輝度の段階）が相対的に多い多階調画像と、イラストなどの階調が相対的に少ない少階調画像とのいずれであるかを判定できる。多階調画像には車載カメラ９２で撮影された画像が含まれ、少階調画像にはルート案内用の地図画像が含まれる。

また、上記実施の形態では、時間ノイズ低減部５は、フレームメモリ５３を一つのみ有していたが、複数のフレームメモリを有するようにしてもよい。この場合、複数のフレームメモリにそれぞれ記憶される過去のフレームの画像ごとに所定の重み係数を設定すればよい。時間ノイズ低減部５が有するフレームメモリの数を増やすほど、時間方向への平滑化の効果、すなわち、ノイズの低減の効果は大きくなる。

また、上記実施の形態では、車両に搭載される画像表示システム１について説明を行ったが、例えば、携帯電話やスマートフォンなど各種の画像を表示する画像表示システムであればどのようなものであっても上記実施の形態で説明した技術を好適に適用可能である。

また、上記実施の形態において、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 画像表示システム
４ 空間ノイズ低減部
５ 時間ノイズ低減部
６ エッジ復元部
７ パラメータ設定部
１２ 表示装置
３２ 画像処理装置
５３ フレームメモリ
９２ 車載カメラ

Claims (7)

1. 時間的に連続する複数の画像を処理する画像処理装置であって、
   前記画像を空間方向に平滑化する第１平滑化手段と、
   前記画像を時間方向に平滑化する第２平滑化手段と、
   を備え、
   前記第１平滑化手段と前記第２平滑化手段とは直列に接続されることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第２平滑化手段は、前記第１平滑化手段の後段に接続されることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   平滑化前の前記画像のエッジ成分である第１エッジ成分を抽出する第１抽出手段と、
   前記第１エッジ成分を用いて、前記第１及び前記第２平滑化手段の双方により平滑化された前記画像である平滑化画像にエッジ成分を付加する付加手段と、
   を備えることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記平滑化画像のエッジ成分である第２エッジ成分を抽出する第２抽出手段、
   をさらに備え、
   前記付加手段は、前記第１エッジ成分と前記第２エッジ成分との乗算結果を用いて、前記平滑化画像にエッジ成分を付加することを特徴とする画像処理装置。
5. 請求項１ないし４のいずれかに記載の画像処理装置において、
   前記第１及び前記第２平滑化手段の少なくとも一つの平滑化の度合いを調整するパラメータの値を、前記第１及び前記第２平滑化手段の処理の対象となる前記画像の種類に応じて変更する変更手段、
   をさらに備えることを特徴とする画像処理装置。
6. 請求項１ないし５のいずれかに記載の画像処理装置と、
   前記画像処理装置で処理された画像を表示する表示装置と、
   を備えることを特徴とする画像表示システム。
7. 時間的に連続する複数の画像を処理する画像処理方法であって、
   （ａ）前記画像を空間方向に平滑化する工程と、
   （ｂ）前記画像を時間方向に平滑化する工程と、
   を備え、
   同一の画像に対して前記工程（ａ）と前記工程（ｂ）とが直列に実行されることを特徴とする画像処理方法。

Images