JP2019045990A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 画像におけるエッジに対しても適切にノイズ低減処理を実行する。【解決手段】 画像データに対してノイズ低減処理を実行する画像処理装置であって、前記画像データにおける注目画素に対して、第１の領域を設定する設定手段と、前記第１の領域に含まれる画素の画素値のうち、最大値と最小値を検出する検出手段と、前記最大値と前記最小値とに基づいて、前記注目画素のノイズ低減処理後の画素値を算出する算出手段とを有することを特徴とする。【選択図】 図６

Description

本発明は、画像のノイズを低減する技術に関する。

画像に含まれるノイズを低減する技術において、エッジなどの画像の鮮鋭度を損なうことなくノイズ低減する方法が知られている。特許文献１は、所定の範囲内の
画素に対し、それぞれの画素の信号値と注目画素の信号値との差がしきい値以下の画素のみで平滑化処理を行う方法を開示している。

特開２００６−１４０２４号公報

特許文献１に開示された方法によれば、低コントラストのエッジの場合、画素値の差が閾値以下となるため平均化され、エッジがぼけてしまうことがある。一方、低コントラストのエッジに対して精度よく平均化する画素を検出するために、差分と比較する閾値を小さく設定すると、すべての画素に対して平均化に用いられる画素数が少なくなってしまい、ノイズ低減効果が低減しまう。そこで本発明は、画像におけるエッジに対しても適切にノイズ低減処理を実行することを目的とする。

上記課題を解決するため本発明は、画像データに対してノイズ低減処理を実行する画像処理装置であって、前記画像データにおける注目画素に対して、第１の領域を設定する設定手段と、前記第１の領域に含まれる画素の画素値のうち、最大値と最小値を検出する検出手段と、前記最大値と前記最小値とに基づいて設定される信号値区間を参照して、前記注目画素のノイズ低減処理後の画素値を算出する算出手段とを有することを特徴とする。

画像におけるエッジに対しても適切にノイズ低減処理を実行できる。

画像処理装置のブロック図 ノイズ低減処理部の構成を示すブロック図 注目画素とウィンドウの関係を示す図 ノイズ低減処理の対象となる注目画素とその近傍領域を示す図 第１の実施形態に係わる信号値区間決定部の内部構成を表すブロック図 コーナー部を有する画像の例 画素群７０２の一例を示す図 ノイズ低減処理部の構成を示すブロック図 信号値区間決定部の内部構成を表すブロック図 画素群７０２の一例を示す図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。

＜第１実施形態＞
第１実施形態では、連続して撮影することにより得られる複数の画像において特徴点を検出し、複数の画像間において対応する特徴点を検出し、画像全体の動きを算出する画像処理装置を例に説明する。画像の特徴点を検出する前に、複数の画像それぞれに対してノイズ低減処理を実行する。特徴点としては、２つの線分が交差する角（以降、コーナーと呼ぶ）を用いる。そのためノイズ低減処理によりコーナーにボケが生じると、特徴点を精度よく検出できない。そこで第１実施形態では、コーナーの鮮鋭度を保存するノイズ低減処理について説明する。

図１は、第１実施形態に係る画像処理装置のブロック図である。画像処理装置１００は、全体制御部１０１、バスシステム１０２、画像センサ部１０３、現像処理部１０４、メモリ１０５、ノイズ低減処理部１０６、特徴点検出部１０７、特徴量算出部１０８、対応点探索部１０９、画像信号処理部１１０を有する。

全体制御部１０１は、バスシステム１０２を介して画像センサ部１０３から画像信号処理部１１０の各処理部の処理順序やデータの受け渡し等を制御する機能を備えた汎用ＣＰＵなどの装置である。バスシステム１０２は各構成及びメモリ１０５と接続され、各処理部からのデータ転送要求を調停し、各構成間のデータ転送を行う。

画像センサ部１０３は、複数の受光素子からなる２次元センサを有する。画像センサ部１０３は、不図示の光学系を介して入射されたセンサへの入射光により電荷が蓄積される。画像センサ部１０３は、蓄積した電荷を読み出すことで入射光をデジタル電気信号に変換し、出力する。現像処理部１０４は、画像センサ部１０３から受け取るデジタル電気信号に対して信号処理し、ＲＧＢやＹＵＶなど所定のフォーマットの画像データに変換出力する。

メモリ１０５は画像データや特徴点データなど各構成が処理するデータを一時的に蓄えておくためのＤＲＡＭ等の記憶装置である。また、全体制御部１０１で利用するプログラムの格納にも利用される。メモリ１０５以外にも各処理部は別途図示しないデータ記憶部を持っていてもよい。

ノイズ低減処理部１０６は、現像処理部１０４が出力した画像データに対して、ノイズ低減処理を実行する。ノイズ低減部１０６の詳細については後述する。特徴点検出部１０７は、ノイズ低減部１０６が出力したノイズ低減処理後の画像データに対して、特徴点を検出する。特徴点検出部１０７は、特徴点の座標と付随する情報を合わせたデータを出力する。特徴量算出部１０８は、特徴点の座標の周辺画素データから特徴点の特徴量を示す特徴量データを算出し出力する。

対応点探索部１０９は、時間的に連続して撮像された画像データ間で、それぞれの特徴点の特徴量データに基づいて、対応する特徴点（対応点）を探索する。画像信号処理部１１０は、対応点探索部１０９が探索した対応点に基づいて、連続して撮像された画像データの位置合わせや合成を行う。

次に、ノイズ低減処理部１０６の詳細について説明する。図２はノイズ低減処理部１０６の詳細な構成を示すブロック図である。ノイズ低減処理部１０６はウィンドウ設定部２００、信号値区間決定部２０１、平滑化処理部２０２を有する。

ウィンドウ設定部２００は、注目画素に対して平滑化処理を実行するか否かを判定するため、異なる２つの方向からなる第１の領域と第２の領域をウィンドウとして設定する。ここでは、注目画素を中心として上下の画素を含む垂直方向の３画素と、注目画素を中心として左右の画素を含む水平方向の３画素をウィンドウとして設定する。信号値区間決定部２０１は、ウィンドウにおける各画素の信号値を用いて、平滑化を行う信号値区間を決定する。

平滑化処理部２０２は、ウィンドウ設定部２００が設定したウィンドウよりも広いウィンドウを用いて平滑化処理を実行する。ここでは、平滑化処理部２０２は、注目画素を中心として５画素×５画素のウィンドウを設定し、ウィンドウに含まれる画素の画素値の平均を算出して、注目画素のノイズ低減処理後の画素値として出力する。ただし平滑化処理部２０２は、信号値区間決定部２０１が決定した信号値区間を参照し、注目画素の画素値が、決定された信号値区間外にある場合には、平滑化処理を行わない。

ノイズ低減処理部１０６の各ブロックの詳細について説明する。図３は、ノイズ低減処理の対象とする注目画素とその近傍領域を示している。本実施形態では平滑化処理部２０２は、５画素×５画素のウィンドウ３０２を注目画素に対して設定する。ウィンドウ設定部２００は上下の画素からなる第１の領域３００と、左右の画素からなる第２の領域３０１を、信号値区間を決定するためのウィンドウとして設定する。第１の領域３００と第２の領域３０１は互いに異なる方向の画素群である。ここでは、第１の領域３００と第２の領域３０１は直交する。

以降の説明においては、図４に示すように、（ｘ、ｙ）を注目画素の位置を示す座標、Ｉ（ｘ、ｙ）は画素位置（ｘ、ｙ）の画素値を表す記号として用いる。
図５は、信号値区間決定部２０１の内部構成を表すブロック図である。信号値区間決定部２０１は代表値算出部６００ａ〜６００ｂ、条件判定部６０１、マルチプレクサ６０２ａ〜６０２ｃ、定数算出部６０３、減算部６０４、加算部６０５を有する。信号値区間決定部２０１は、注目画素に対して平滑化処理を実行するか否かを判定するための信号値区間を決定する。

代表値算出部６００ａは第１の領域３００に含まれる画素の画素値Ｉ（ｘ、ｙ）、Ｉ（ｘ、ｙ−１）、Ｉ（ｘ、ｙ＋１）を入力とする。代表値算出部６００ａは、Ｉ（ｘ、ｙ）、Ｉ（ｘ、ｙ−１）、Ｉ（ｘ、ｙ＋１）のうち最大の値を最大値ｍａｘ１として出力する。また、Ｉ（ｘ、ｙ）、Ｉ（ｘ、ｙ−１）、Ｉ（ｘ、ｙ＋１）のうち最少の値を最小値ｍｉｎ１として出力する。さらにＩ（ｘ、ｙ）、Ｉ（ｘ、ｙ−１）、Ｉ（ｘ、ｙ＋１）の３つの画素値の中央値を算出し、中央値ｍｅｄ１として出力する。つまり代表値算出部６００ａは、代表値として最大値ｍａｘ１、最小値ｍｉｎ１、中央値ｍｅｄ１を算出する。

代表値算出部６００ｂは第２の領域３０１に含まれる画素の画素値Ｉ（ｘ、ｙ）、Ｉ（ｘ−１、ｙ）、Ｉ（ｘ＋１、ｙ）を入力とし、代表値算出部６００ａと同様に代表値として最大値ｍａｘ２、最小値ｍｉｎ２、中央値ｍｅｄ２を算出する。

条件判定部６０１は代表値算出部６００ａが算出した最大値ｍａｘ１、最小値ｍｉｎ１と代表値算出部６００ｂが算出した最大値ｍａｘ２、最小値ｍｉｎ２を入力とする。条件判定部６０１は、最大値ｍａｘ１と最小値ｍｉｎ１の差と、最大値ｍａｘ２の最小値ｍｉｎ２の差を比較し条件判定を行う。条件判定部６０１は、最大値ｍａｘ１と最小値ｍｉｎ１の差と、最大値ｍａｘ２の最小値ｍｉｎ２の差が小さい方の代表値が選択されるようにマルチプレクサ６０２ａ〜６０２ｃに対して制御信号を出力する。

マルチプレクサ６０２ａ〜６０２ｃは条件判定部からの制御信号に基づいて、最大値ｍａｘ１、最小値ｍｉｎ１、中央値ｍｅｄ１または最大値ｍａｘ２、最小値ｍｉｎ２、中央値ｍｅｄ２を選択し出力する。マルチプレクサ６０２ａ〜６０２ｃはそれぞれ最大値ｍａｘ、最小値ｍｉｎ、中央値ｍｅｄを出力する。

定数算出部６０３はマルチプレクサ６０２ｃが出力する中央値ｍｅｄを入力とし、定数ｑを出力する。ここでは定数算出部６０３は、中央値ｍｅｄをそのまま定数ｑとする。

減算部６０４はマルチプレクサ６０２ａが出力する最大値ｍａｘから定数算出部６０３が算出した定数ｑを減算した値を、信号値区間の下限値ｌｏｗｅｒとして出力する。加算部６０５はマルチプレクサ６０２ｂが出力する最小値ｍｉｎに定数算出部６０３が算出した定数ｑを加算した値を、信号値区間の上限値ｕｐｐｅｒとして算出する。このように信号値区間決定部２０１は、注目画素近傍の画素群における最小値と最大値下限値ｌｏｗｅｒ、上限値ｕｐｐｅｒを決定し、６０２ｃが出力する中央値ｍｅｄと共に平滑化処理部２０２に出力する。

次に平滑化処理部２０２における平滑化処理の詳細について、説明する。平滑化処理部２０２は、ウィンドウ設定部２００が設定する第１の領域３００、第２の領域３０１より広いウィンドウ３０２に含まれる画素群を用いて平滑化処理を行う。平滑化処理部２０２は、非線形関数ｆ（ｖ）とし、式（１）で表す計算を行う。非線形関数ｆ（ｖ）は信号値区間決定部２０１から入力する下限値ｌｏｗｅｒ、上限値ｕｐｐｅｒを用いて式（２）により表される。

非線形関数ｆ（ｖ）は、画素値が下限値ｌｏｗｅｒ、上限値ｕｐｐｅｒにより定められる信号値の範囲内にある場合は１、それ以外は０を結果として出力する。つまり注目画素を含む５画素×５画素のうち、設定された信号値範囲に含まれない画素の画素値を除外している。注目画素を含む５画素×５画素のすべての画素について式（２）で表す非線形関数ｆ（ｖ）の結果が０である場合は、平滑化処理を行わず、定数ｃを出力する。本実施形態において定数ｃは、注目画素の画素値とする。一方、注目画素を含む５画素×５画素のすべての画素が０を満たさない場合は、非線形関数ｆ（ｖ）の結果が０でない画素の平均値を算出することにより、平滑化処理を実行する。

続いて、本実施形態に係る画像処理装置の効果について、図６を例に説明する。画像７００は、９画素×９画素の８１画素からなる。説明を簡素化するために、画像７００は、各画素０〜２５５の何れかの値を画素値とする８ビットのグレー画像とする。白画素の画素値は２５５、グレー画素の画素値は１２８とすると、右下端にエッジとエッジが交差するコーナー部７０１を有する画像である。以降、画素Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４で表す画素群７０２を具体例として説明する。

図７は、画素群７０２の画素値と、各画素に対して決定される信号値区間を説明する図である。図７（ａ）は、画素群７０２をラスタースキャン順に操作した際の画素値をプロットしたグラフである。横軸は画素位置を示し、縦軸は画素値を示す。また図７（ｂ）は、画素群７０２の各画素に対し、信号値区間決定部２０１が出力する下限値ｌｏｗｅｒ、上限値ｕｐｐｅｒをプロットしたグラフである。なお図７（ｂ）において、定数ｑは固定値として１６を用いた。

画像における注目画素が平坦部である場合、第１の領域または第２の領域の何れかにおける最大値と最小値の差分は小さい。そのため、最大値−中央値により設定される下限値と、最小値＋中央値により設定される上限値は、最大値と最小値との差分を拡大するように信号値区間が決定される。画像における注目画素がエッジである場合、第１の領域または第２の領域の何れかにおける最大値と最小値の差分は大きい。そのため最大値−中央値により設定される下限値と、最小値＋中央値により設定される上限値は、最大値と最小値が近づき、最大値と最小値との差分が狭くなるように信号値区間が決定される。その結果、画像の平坦部では、信号値区間が大きく注目画素に対して平滑化するための画素をより多く検出することができる。これは平坦部ではノイズ低減効果を強くしていることになる。一方画像のエッジ部では、信号値区間が小さくなり、注目画素の画素値により近い画素値の画素のみを検出する。従って画像のエッジ部では、ノイズ低減効果よりもエッジ保存を優先することができる。このように、第１実施形態では、所定の領域における画素値の最大値と最小値との差分に基づいて、平滑化処理に用いる画素を検出するための信号値区間を設定することで、画像の特徴に応じたノイズ低減処理を実現している。

さらに、図７（ｂ）に示すようにコーナー部７０１の頂点にあたる画素Ｐ２においては、信号値区間の下限値ｌｏｗｅｒ、上限値ｕｐｐｅｒが逆転する。従って、下限値ｌｏｗｅｒ以上、上限値ｕｐｐｅｒ以下の信号値区間は存在しない。これにより、式（２）に示す非線形関数ｆ（ｖ）の結果が無条件に０となり、平滑化処理部での平均値計算が行われないことを意味する。本実施形態では、第１の領域または第２の領域における最大値に基づいて下限値を設定し、最小値に基づいて上限値を設定した。この場合最大値と最小値との差分が所定値未満の場合に、下限値と上限値が逆転する。第１実施形態では、最大値と最小値の差分が中央値の２倍未満の場合に、下限値と上限値が逆転する。このように上限値と下限値を設定することで、前段に特別な判定回路を設定することなく注目画素の画素値と近い画素値の画素を検出するための信号値区間を用いて、平滑化処理を実行すべきか否かも実質的に判定することができる。最大値と最小値の差分が所定値以上である場合にのみ、平滑化によるノイズ低減処理が実行される。本実施形態では、コーナー部を特徴点として検出する。そこで、コーナー部を精度よく検出し平滑化を行わないことで、後段において高精度に特徴点を検出することができる。

なお、前述の説明において第１の領域３００と第２の領域３０１は、図３（ａ）に示す注目画素を中心とする垂直方向の領域と水平方向の領域以外の領域を用いてもよい。例えば、図３（ｂ）に示すように、第１の領域４００は注目画素を中心とし右上から左下に向かう３画素の領域としてもよい。このとき、第２の領域４０１は注目画素を中心とし、第一の領域４００と直交し左上から右下に向かう３画素の領域に選ぶ。

また、本実施形態では、信号値区間を算出するための定数ｑを中央値ｍｅｄとしたが、中央値ｍｅｄを用いてテーブルや数式に基づいて定数ｑを算出してもよいし、中央値ｍｅｄを用いずに定数ｑを算出してもよい。定数ｑを大きい値であるほど、信号値区間が広くなり、平滑化に用いられる画素数が増えるためノイズ低減処理効果が強くなる。また定数ｑを小さい値であるほど、平滑化に用いられる画素数は減り、かつ平滑化処理を実行されにくくなる。ノイズ低減処理効果よりも、エッジ部でのボケ抑制や、コーナー部の維持を優先する場合は、定数ｑを比較的小さい値にするとよい。

また、信号値区間決定部２０１は、信号値区間内に画素値を有する画素がない場合、注目画素の画素値を出力する方法を例に説明した。例えば、中央値ｍｅｄを定数ｃとしてもよい。

また、平滑化処理部２０２は、式（１）で表す平均値計算以外にも式（３）を用いてもよい。

ｗ（ｉ，ｊ）は重み係数であり、ウィンドウ３０２内の画素ごとに重みの値を任意に指定可能である。あるいは、平滑化処理部２０２は、式（１）により計算した平均値と注目画素の画素値を任意の比率を用いて混合して出力する構成としてもよい。

＜第２実施形態＞
第２実施形態に係わる画像処理装置のブロック図は、第１の実施形態の図１と共通である。図８は、第２実施形態におけるノイズ低減処理部１０６の構成を示すブロック図である。第１実施形態と同様の機能を有する構成要素に関しては同一の符号を付し、詳細な説明を省略する。ノイズ低減処理部１０６は、信号値区間決定部１００１に対して、信号値区間を設定する信号値区間設定部１０００を備える構成とする。

信号値区間設定部１０００は、信号値区間決定部１００１に対して、あらかじめ定めた信号値の上限値、下限値、もしくは、外部から通知される信号値の上限値、下限値を設定する。図９は、本実施形態に係わる信号値区間決定部１００１の内部構成を表すブロック図である。第１実施形態と同様の機能を有する構成要素に関しては同一の符号を付し、詳細な説明を省略する。

信号値区間決定部１００１は、下限値比較部１１００、上限値比較部１１０１、マルチプレクサ１１０２ａ〜１１０２ｂを追加で有する構成とする。下限値比較部１１００は、信号値区間設定部１０００が設定した下限値ｌｅｘｔと減算部６０４が出力する下限値ｌｔｍｐを比較し、大きい方が選択されるようにマルチプレクサ１１０２ａに対して制御信号を出力する。上限値比較部１１０１は、信号値区間設定部１０００が設定した上限値ｕｅｘｔと加算部６０５が出力する上限値ｕｔｍｐを比較し、小さい方が選択されるようにマルチプレクサ１１０２ｂに対して制御信号を出力する。

続いて、本実施形態に係る画像処理装置の効果について、図１０を例に説明する。図１０は、図６の画素群７０２に対し、信号値区間決定部１００１が出力する下限値ｌｏｗｅｒ、上限値ｕｐｐｅｒをプロットしたものである。図１０において、定数ｑは固定値として１６とし、信号値区間設定部１０００が設定する下限値ｌｅｘｔは１９２、上限値ｕｅｘｔは２５５とした。図１０に示すように、コーナー部７０１のＰ２、Ｐ３、Ｐ４において、信号値区間の下限値ｌｏｗｅｒ、上限値ｕｐｐｅｒが逆転する。このように、本実施形態の構成をとることでコーナー部７０１の頂点以外にも画像内で暗部に属する画素の平滑化を抑制できる。

また、図１０に示した例以外にも、例えば信号値区間設定部１０００が設定する下限値ｌｅｘｔを０、上限値ｕｅｘｔを２２５とすると、図１０の画像内で高輝度部に属する画素の平滑化を抑制できる。

このように、本実施形態によれば、信号値区間設定部１０００を備える構成としたことで、平滑化処理部２０２で平滑化が行われる画素値のレンジを調整することが可能となる。

＜その他の実施形態＞
前述の実施形態では、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現する場合を例に説明した。しかしながら上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

１１０ 画像信号処理部
２００ ウィンドウ設定部
２０１ 信号値区間決定部
２０２ 平滑化処理部

Claims (11)

1. 画像データに対してノイズ低減処理を実行する画像処理装置であって、
   前記画像データにおける注目画素に対して、前記注目画素と前記注目画素の近傍の画素を含む第１の領域を設定する設定手段と、
   前記第１の領域に含まれる画素の画素値のうち、最大値と最小値を検出する検出手段と、
   前記最大値と前記最小値とに基づいて設定される信号値区間を参照して、前記注目画素のノイズ低減処理後の画素値を算出する算出手段とを有することを特徴とする画像処理装置。
2. 前記算出手段は、前記最大値と前記最小値とに基づいて、前記注目画素のノイズ低減処理後の画素値を算出するために用いる画素を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記第２の領域に含まれる画素のうち少なくとも２つ以上の画素の画素値を重み付き平均することにより、前記注目画素のノイズ低減処理後の画素値を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記算出手段は、前記最大値と前記最小値との差分が所定値以上である場合は、前記注目画素および前記注目画素の近傍の画素を用いて重み付き平均を算出し、前記最大値と前記最小値との差分が前記所定値未満である場合は、前記重み付き平均を算出しないことを特徴とする請求項３に記載の画像処理装置。
5. 前記算出手段は、前記最大値と前記最小値との差分が前記所定値未満である場合は、前記注目画素の画素値を、前記注目画素のノイズ低減処理後の画素値として出力することを特徴とする請求項４に記載の画像処理装置。
6. さらに、前記最大値と前記最小値とに基づいて、信号値区間を決定する決定手段を有し、
   前記算出手段は、前記第２の領域に含まれる画素のうち、画素値が前記信号値区間である画素のみを用いることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記決定手段は、前記最大値に基づいて、前記信号値区間の下限を設定し、前記最小値に基づいて前記信号値の上限を設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の領域は、前記注目画素を中心とする垂直方向の画素群と、前記注目画素を中心とする水平方向の画素群とからなることを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. 前記検出手段は、前記第１の領域のうち、前記垂直方向の画素群における最大値および最小値と、前記水平方向の画素群における最大値と最小値のうち、最大値と最小値の差が小さい方の最大値と最小値を選択することを特徴とする請求項８に記載の画像処理装置。
10. コンピュータを請求項１乃至９のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。
11. 画像データに対してノイズ低減処理を実行する画像処理方法であって、
    前記画像データにおける注目画素に対して、第１の領域を設定し、
    前記第１の領域に含まれる画素の画素値のうち、最大値と最小値を検出し、
    前記最大値と前記最小値とに基づいて設定される信号値区間を参照して、前記注目画素のノイズ低減処理後の画素値を算出することを特徴とする画像処理方法。

Images