JP2005311962A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】 ベイヤ配列の固体撮像素子で、エッジ部分の画像でも画像の鮮鋭性が保たれると共に、Ｇｒ信号とＧｂ信号との間の信号値の不要な段差を除去できるようにする。
【解決手段】 固体撮像素子１にはベイヤ配列のカラーフィルタが配列される。エッジ判定部１２は、着目画素の周辺画素値を用いて、着目画素がエッジ部分に位置しているか否かを判定する。段差補正部１３は、Ｇｒ信号とＧｂ信号との間の段差を補正する。エッジ判定部１２により着目画素がエッジ部分の画素かどうかを判定し、その判定結果に基づいて、段差補正部１３の特性を変更する。これにより、エッジ部分の画像でも画像の鮮鋭性が損なわれることなく、Ｇｒ信号とＧｂ信号との間の信号値の不要な段差を除去できる。
【選択図】 図１

Description

本発明は、固体撮像素子からの画像信号を処理する画像処理装置、画像処理方法、画像処理プログラムに関するもので、特に、同一色成分を有するディジタル画像信号の信号値の段差を低減させるものに関する。

複数の画素がマトリクス状に配されたＣＣＤ(Charge Coupled Device)撮像素子等の固体撮像素子には、その受光面に、カラーフィルタが配設されている。図１３は、固体撮像素子に備えられたカラーフィルタが、赤色フィルタ（Ｒ）と、Ｒ列の緑色フィルタ（Ｇｒ）と、青色フィルタ（Ｂ）と、Ｂ列の緑色フィルタ（Ｇｂ）のベイヤ配列で構成されているものを示す。このような固体撮像素子からは、赤色フィルタ（Ｒ）の画素の信号であるＲ信号と、Ｒ列の緑色フィルタ（Ｇｒ）の画素の信号であるＧｒ信号と、青色フィルタ（Ｂ）の画素の信号であるＢ信号と、Ｂ列の緑色フィルタ（Ｇｂ）の画素の信号であるＧｂ信号とが出力される。このとき、明るさと色成分が一様な被写体を撮影した場合、Ｒ列の緑色フィルタの画像信号（Ｇｒ信号）と、Ｂ列の緑色フィルタの画像信号（Ｇｂ信号）は同一色（緑色）の成分であるから、その信号値は一様であることが望まれる。ところが、実際には、Ｇｒ信号とＧｂ信号との信号値は異なり、同一色成分を有するディジタル画像信号の信号値の間に不要な段差が発生することがある。

このような同一色の信号値の段差の発生原因のひとつとしては、固体撮像素子特有の問題が挙げられる。例えば、固体撮像素子の製造過程で生じる同一カラーフィルタの特性の変化や、ＣＣＤの信号出力部においてＲ信号及びＢ信号のアナログゲインの相違がＧｒ信号とＧｂ信号との信号値の段差を生じさせると考えられる。即ち、ＣＣＤの信号出力部においてＲ信号及びＢ信号のアナログゲインの相違があると、Ｒ画素及びＢ画素とＣＣＤの同一転送路に配置されたＧｒ画素及びＧｂ画素の信号に対して、それぞれ傾向の異なる信号の歪みが発生する。このような傾向の異なる信号の歪みが、ＣＣＤの同一色成分を有する転送路毎の出力信号値の間に不要な段差を生じさせると考えられる。

また、ディジタル画像信号を用いた信号処理を行う場合、Ｒ信号やＢ信号に比較して情報量が多いＧ信号（Ｇｒ、Ｇｂ）を信号処理の基準に使うことが一般的である。ところが、このように、Ｒ列の緑色フィルタのＧｒ信号の信号値と、Ｂ列の緑色フィルタのＧｂ信号の信号値との間に不要な段差が発生している場合には、緑色信号であるＧｒ信号及びＧｂ信号を同一色成分として信号処理を行うと、画像処理を施して得られる画像に、横縞又は縦縞、或いは格子状のノイズが発生する。一般に、画像の解像度を上げるためには、情報量の多い画像信号、即ち、同一色成分を有する画像信号の特性は一様であるとみなして信号処理をする必要があるが、このように同一色成分を有する画像信号に不要な段差が存在すると、画像の品質が劣化するという問題がある。

上述の問題を解決するために、例えば特許文献１に示すように、画素補間処理を行う際に、近傍の同一色信号の画素レベルを平均し、又は重み付け加算して算出し、画像信号の不要な段差を補正するようにしたものが提案されている。
特開２００１−２１８０７３号公報

しかしながら、特許文献１に記載されているように、近傍の同一色信号の画素レベルの平均又は重み付け加算を行う構成は、画像信号に対してローパスフィルタを構成したのと等価になる。このため、特に高域成分を多く含むエッジ部分の画像（輪郭の部分の画像）では、画像の鮮鋭性の低下をもたらすという問題が生じる。

また、固体撮像素子では、画素の欠陥や周辺ノイズの混入等により、孤立ノイズが発生することがある。孤立ノイズが発生すると、その画素値は他の画素と相関性が低くなり、周辺画素の画素値に比べて、著しく高い値又は低い値となる。一般に、孤立ノイズは、着目画素と同一色成分を有する近傍の複数画素とを用いて補間することができる。しかしながら、このような補間処理の構成も、画像信号に対してローパスフィルタを構成したのと等価になるため、特にエッジ部分の画像で、画像の鮮鋭性の低下をもたらす。

本発明の目的は、上述の課題を鑑み、エッジ部分の画像でも画像の鮮鋭性が保たれると共に、同一色成分を有する画素間の信号値の不要な段差を除去できるようにした画像処理装置、画像処理方法、及び画像処理プログラムを提供することである。

本発明の他の目的は、エッジ部分の画像でも画像の鮮鋭性が保たれると共に、孤立ノイズを除去することができるようにした画像処理装置、画像処理方法、及び画像処理プログラムを提供することである。

上述の課題を解決するために、請求項１に係る発明は、複数の画素がマトリクス状に配列され、その画素の受光面側にカラーフィルタを備えた固体撮像素子からの出力を変換して得られるディジタル画像信号を処理する画像処理装置であって、着目画素がエッジ部分に位置しているか否かを判定するエッジ判定部と、着目画素の画素値と、着目画素と同一色の画素の画素値との間の段差を補正する段差補正部とを備え、エッジ判定部により着目画素がエッジ部分の画素かどうかを判定し、その判定結果に基づいて、段差補正部の特性を変更するようにしたことを特徴とする。

請求項２に係る発明は、請求項１の発明において、エッジ判定部は、着目画素の近傍に位置する複数の画素値を演算してエッジ量を反映する値を算出し、算出された値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項３に係る発明は、請求項１の発明において、エッジ判定部は、着目画素の近傍に位置する複数の画素の平均値と、最大値と、最小値とを求め、最大値と平均値との差分又は差分の絶対値とスレショルド値とを比較すると共に、平均値と最小値との差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項４に係る発明は、請求項１の発明において、エッジ判定部は、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値を求め、隣接画素間の差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項５に係る発明は、請求項１の発明において、エッジ判定部は、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和を求め、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項６に係る発明は、請求項１の発明において、さらに、着目画素が他画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定部と、孤立ノイズ判定信号に基づき、画像信号中のノイズ成分を除去する孤立ノイズ除去部とを備えることを特徴とする。

請求項７に係る発明は、請求項６の発明において、孤立ノイズ判定部は、着目画素の近傍に位置する複数の画素の平均値を求め、平均値と着目画素の画素値との差分又はその差分の絶対値とスレショルド値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とする。

請求項８に係る発明は、複数の画素がマトリクス状に配列され、その画素の受光面側にカラーフィルタを備えた固体撮像素子からの出力を変換して得られるディジタル画像信号を処理する画像処理方法であって、着目画素がエッジ部分に位置しているか否かを判定するエッジ判定ステップと、着目画素の画素値と、着目画素と同一色の画素の画素値との間の段差を補正する段差補正ステップとを備え、エッジ判定ステップにより着目画素がエッジ部分の画素かどうかを判定し、判定結果に基づいて、段差補正ステップの特性を変更するようにしたことを特徴とする。

請求項９に係る発明は、請求項８の発明において、エッジ判定ステップは、着目画素の近傍に位置する複数の画素値を演算してエッジ量を反映する値を算出し、算出された値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項１０に係る発明は、請求項８の発明において、エッジ判定ステップは、着目画素の近傍に位置する複数の画素の平均値と、最大値と、最小値とを求め、最大値と平均値との差分又は差分の絶対値とスレショルド値とを比較すると共に、平均値と最小値との差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項１１に係る発明は、請求項８の発明において、エッジ判定ステップは、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値を求め、隣接画素間の差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項１２に係る発明は、請求項８の発明において、エッジ判定ステップは、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和を求め、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項１３に係る発明は、請求項８の発明において、さらに、着目画素が他画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定ステップと、孤立ノイズ判定信号に基づき、画像信号中のノイズ成分を除去する孤立ノイズ除去ステップとを備えることを特徴とする。

請求項１４に係る発明は、請求項１３の発明において、孤立ノイズ判定ステップは、着目画素の近傍に位置する複数の画素の平均値を求め、平均値と着目画素の画素値との差分又はその差分の絶対値とスレショルド値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とする。

請求項１５に係わる発明は、複数の画素がマトリクス状に配列され、その画素の受光面側にカラーフィルタを備えた固体撮像素子からの出力を変換して得られるディジタル画像信号の処理をコンピュータに実行させるための画像処理プログラムであって、コンピュータに、着目画素がエッジ部分に位置しているか否かを判定するエッジ判定プロセス、前記着目画素の画素値と、前記着目画素と同一色の画素の画素値との間の段差を補正すると共に、前記判定結果に応じて、段差の補正に係る特性を変更する段差補正プロセスを実行させることを特徴とする。

請求項１６に係る発明は、請求項１５の発明において、エッジ判定プロセスは、着目画素の近傍に位置する複数の画素値を演算してエッジ量を反映する値を算出し、算出された値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項１７に係る発明は、請求項１５の発明において、エッジ判定プロセスは、着目画素の近傍に位置する複数の画素の平均値と、最大値と、最小値とを求め、最大値と平均値との差分又は差分の絶対値とスレショルド値とを比較すると共に、平均値と最小値との差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項１８に係る発明は、請求項１５の発明において、エッジ判定プロセスは、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値を求め、隣接画素間の差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項１９に係る発明は、請求項１５の発明において、エッジ判定プロセスは、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和を求め、着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和とスレショルド値とを比較し、その比較結果に基づいて、着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力することを特徴とする。

請求項２０に係る発明は、請求項１５の発明において、さらに、コンピュータに、前記着目画素が前記他画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定プロセス、 孤立ノイズ判定信号に基づき、前記画像信号中のノイズ成分を除去する孤立ノイズ除去プロセスを実行させることを特徴とする。

請求項２１に係わる発明は、請求項２０の発明において、孤立ノイズ判定プロセスは、着目画素の近傍に位置する複数の画素の平均値を求め、平均値と着目画素の画素値との差分又はその差分の絶対値とスレショルド値とを比較し、その比較結果を孤立ノイズ判定信号として出力することを特徴とする。

請求項１−１５、請求項８−１２、請求項１５−１９の発明によれば、固体撮像素子から出力される信号をＡ／Ｄ変換して得られるディジタル信号において、同一色成分を有する画素間に信号値の不要な段差が発生する際にも、着目画素がエッジか否かを判定し、その判定結果に応じて、段差の補正に係る特性を変更し、信号値の不要な段差を補正することにより、原信号の保存性に優れ、かつ、同一色成分を有する画素間の信号値の不要な段差が少ない好適な画像が得られる。

さらに、請求項６，７、請求項１３、１４、請求項２０、２１の発明によれば、着目画素が孤立ノイズか否かを判定し、その判定結果に基づいて孤立ノイズの除去又はこれを低減させることにより、原信号の保存性に優れ、かつ、同一色成分を有する画素間の信号値における不要な段差を少なくし、さらに、ノイズの少ない好適な画像が得られる。

以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明が適用された画像処理装置の第１の実施形態を示すブロック図である。図１において、固体撮像素子１の受光面には、赤色フィルタ（Ｒ）と、Ｒ列の緑色フィルタ（Ｇｒ）と、青色フィルタ（Ｂ）と、Ｂ列の緑色フィルタ（Ｇｂ）のベイヤ配列でマトリクス状に配設されている。固体撮像素子１からの撮像信号は、サンプルホールド及びＡＧＣ(Automatic Gain Control)回路２を介して、Ａ／Ｄコンバータ３に供給される。Ａ／Ｄ(Analog to Digital)コンバータ３で、固体撮像素子１からの撮像信号がディジタル化される。

固体撮像素子１からは、赤色フィルタ（Ｒ）の画素の信号であるＲ信号と、Ｒ列の緑色フィルタ（Ｇｒ）の画素の信号であるＧｒ信号と、青色フィルタ（Ｂ）の画素の信号であるＢ信号と、Ｂ列の緑色フィルタ（Ｇｂ）の画素の信号であるＧｂ信号とが得られる。Ａ／Ｄコンバータ３からは、これらＲ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号からなる各画素の画像データが出力される。

Ａ／Ｄコンバータ３の出力は、本発明が適用される画像処理装置１０（波線で囲んで示す）に供給される。上述のように、ベイヤ配列で構成されたカラーフィルタが配列された固体撮像素子１を用いた場合には、Ｒ列のＧ信号であるＧｒ信号と、Ｂ列のＧ信号であるＧｂ信号が出力され、このＧｒ信号とＧｂ信号との間に、信号値の段差が発生することがある。画像処理装置１０は、このようなＧｒ信号とＧｂ信号との間の信号値の段差を補正するものである。さらに、本発明が適用された画像処理装置１０においては、着目画素がエッジ部分の画像であるか平坦部分の画像であるかを検出し、これに応じて、段差補正のための混合比を変更するようにしている。

画像処理装置１０は、領域設定部１１と、エッジ判定部１２と、段差補正部１３と、合成部１４とからなる。Ａ／Ｄコンバータ３からの画像データは、領域設定部１１に送られる。

領域設定部１１は、固体撮像素子１から出力される各信号のうち、（ｍ×ｎ）の画素データ、例えば（５×５）の画素データの領域を設定する。即ち、領域設定部１１は、図２（Ａ）に示すように、着目画素を中心として、（５×５）の二次元配列の画素データの領域設定を行う。段差補正は、図２（Ｂ）に示すように、Ｇｒ及びＧｂの画素データを対象として処理がなされる。着目画素は画像処理の対象となる画素であり、この場合、領域の中心に設定された画素Ｇｒ５が着目画素になる。領域設定部１１は、例えばメモリやレジスタから構成され、領域設定部１１の出力がエッジ判定部１２に送られる。

エッジ判定部１２は、着目画素がエッジ部分の画像の画素かどうかを判定する。エッジ判定部１２は、エッジである画素の周辺画素のうち、少なくともひとつの画素は相対的にエッジであるという性質と、エッジである画素の値は周辺の画素の値とは大きく異なるという性質を利用して、エッジ部分の判定を行っている。

つまり、固体撮像素子１から出力される画像信号は、平坦部分の画像の場合には、図３（Ａ）に示すように、各画素値は殆ど同じになる。これに対して、エッジ部分の画像の場合には、図３（Ｂ）に示すように、各画素値が大きく変動する。また、着目画素とその周辺画素とには相関がある。このため、エッジ部分の画像の画素の周辺画素のうち、少なくともひとつの画素は、相対的にエッジ部分の画像の画素になる。このことから、着目画素を除く、着目画素周辺の同一色の画素値を調べ、これら着目画素周辺の同一色の画素値が大きく変化していたら、着目画素はエッジ部分の画像の画素データであると判断できる。なお、エッジ判定部１２については、後に詳述する。

着目画素がエッジ部分の画像の画素であると判断されると、エッジ判定部１２からエッジ判定信号ＳＤ１が出力される。このエッジ判定信号ＳＤ１が段差補正部１３に供給される。また、段差補正部１３には、領域設定部１１から、Ｇｒ信号とＧｂ信号が送られる。

段差補正部１３は、Ｇｒ信号とＧｂ信号との間の信号値の不要な段差を減少させないように段差補正を行うものである。段差補正は、着目画素とその周辺画素との間には相関があることから、着目画素の画素値とその周辺画素の画素値とを重み付け加算して行われている。段差補正部１３で段差補正を行う際に、エッジ判定部１２からのエッジ判定信号ＳＤ１に基づいて、その混合比が変更される。即ち、着目画素がエッジ部分の画素であると判断された場合には、着目画素に対する混合比が上がり、着目画素の画素レベルに近づくように、重み係数が設定される。これに対して、着目画素がエッジ部分の画素ではないと判断された場合には、着目画素に対する混合比が下がり、段差補正の効果が高められるように、重み係数が設定される。

段差補正部１３で段差補正されたＧｒ信号及びＧｂ信号が合成部１４に送られる。合成部１４で、Ｒ信号及びＢ信号と、段差補正されたＧｒ信号及びＧｂ信号とが合成される。合成部１４の出力信号が出力端子１５から取り出される。

なお、画像処理装置１０は、ハードウェアで構成するようにしてもよいし、ハードウェアと等価な処理を行うプログラムにより、ソフトウェアにより構成するようにしてもよい。

上述のように、エッジ判定部１２は、エッジである画素の周辺画素のうち、少なくともひとつの画素は相対的にエッジであるという性質と、エッジである画素の値は周辺の画素の値とは大きく異なるという性質を利用して、着目画素を用いなくても、着目画素の周辺画素を用いて演算処理することで、エッジ量を反映する値を求めることができる。

図４は、エッジ判定部１２の一例を示すフローチャートである。この例では、着目画素を除く、着目画素と同一色の周辺画素の平均値を算出すると共に、着目画素と着目画素と同一色の周辺画素の最大値と、その最小値を求め、最大値と平均値との差分（又は差分の絶対値）と、平均値と最小値との差分（又は差分の絶対値）とを使って、エッジ検出を行うものである。

図４において、着目画素と同一色の周辺の８画素が取り込まれる（ステップＳ１）。なお、ここでは、ＧｒとＧｂとを区別するようにしている。そして、着目画素と同一色の周辺の８画素の画素値の平均値Ａ＿ＡＶＥが求められる（ステップＳ２）。即ち、着目画素がＧｒ５であるとすると、着目画素Ｇｒ５と同一色の８画素の画素値Ｇｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４、Ｇｒ６、Ｇｒ７、Ｇｒ８、Ｇｒ９が取り込まれ（図２参照）、その平均値Ａ＿ＡＶＥが求められる。なお、ここでは、着目画素と同一色の周辺の８画素を取り込むようにしているが、８画素に限定されるものではない。また、割り算をシフトで行えるようにすることを考慮すると、画素数は、２のべき乗であることが望ましい。

次に、着目画素周辺の同一色の画素値が互いに比較され、最大値Ａ＿ＭＡＸ及び最小値Ａ＿ＭＩＮが求められる（ステップＳ３）。即ち、Ｇｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４、Ｇｒ６、Ｇｒ７、Ｇｒ８、Ｇｒ９の各画素値が互いに比較され、その中で最大となる画素値がＡ＿ＭＡＸとされ、その中で最小となる画素値がＡ＿ＭＩＮとされる。

最大値Ａ＿ＭＡＸと平均値Ａ＿ＡＶＥとの差分（Ａ＿ＭＡＸ−Ａ＿ＡＶＥ）又は差分の絶対値｜Ａ＿ＭＡＸ−Ａ＿ＡＶＥ｜と所定のスレショルド値Ａ＿ＴＨとが比較され（ステップＳ４）、平均値Ａ＿ＡＶＥと最小値Ａ＿ＭＩＮとの差分（Ａ＿ＡＶＥ−Ａ＿ＭＩＮ）又は差分の絶対値｜Ａ＿ＡＶＥ−Ａ＿ＭＩＮ｜と所定のスレショルド値Ａ＿ＴＨとが比較される（ステップＳ５）。

最大値Ａ＿ＭＡＸと平均値Ａ＿ＡＶＥとの差分（Ａ＿ＭＡＸ−Ａ＿ＡＶＥ）若しくは差分の絶対値｜Ａ＿ＭＡＸ−Ａ＿ＡＶＥ｜が所定のスレショルド値Ａ＿ＴＨ以上である、又は、平均値Ａ＿ＡＶＥと最小値Ａ＿ＭＩＮとの差分（Ａ＿ＡＶＥ−Ａ＿ＭＩＮ）若しくは差分の絶対値｜Ａ＿ＡＶＥ−Ａ＿ＭＩＮ｜が所定のスレショルド値Ａ＿ＴＨ以上であるかどうか判断され（ステップＳ６）、これらの差分値又は差分の絶対値が所定のスレショルド値Ａ＿ＴＨ以上であると判断された場合には、エッジ部分の画像であると判断され（ステップＳ７）、エッジ判定信号ＳＤ１が出力される（ステップＳ８）。

ステップＳ６で、これらの差分値又は差分の絶対値が所定のスレショルド値Ａ＿ＴＨ以上ではないと判断された場合、即ち、最大値Ａ＿ＭＡＸと平均値Ａ＿ＡＶＥとの差分（Ａ＿ＭＡＸ−Ａ＿ＡＶＥ）又は差分の絶対値｜Ａ＿ＭＡＸ−Ａ＿ＡＶＥ｜が所定のスレショルド値Ａ＿ＴＨより小さく、かつ、平均値Ａ＿ＡＶＥと最小値Ａ＿ＭＩＮとの差分（Ａ＿ＡＶＥ−Ａ＿ＭＩＮ）又は差分の絶対値｜Ａ＿ＡＶＥ−Ａ＿ＭＩＮ｜が所定のスレショルド値Ａ＿ＴＨより小さい場合には、平坦な画像と判断される（ステップＳ９）。

なお、スレショルド値Ａ＿ＴＨは、エッジ画像と判断されるときの推定基準エッジ量に基づいて、静的又は動的に設定される。推定基準エッジ量は、画像全体又は特定画素領域の画素レベルの値に基づいて算出してもよいし、外部から設定してもよいし、予め画像処理装置内に一つ又は複数の推定基準エッジ量の推定モデルを備えておいてもよい。

推定基準エッジ量は、例えば、以下の算出式により、算出される。
（推定基準エッジ量）＝ｉ×ｘ＋ｊ
ここで、ｘはＧｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４，Ｇｒ６，Ｇｒ７，Ｇｒ８，Ｇｒ９の８画素の平均値であり、例えば、ｉ＝１／１６、ｊ＝１０とする。

図５は、エッジ判定部１２の他の例を示すフローチャートである。この例は、着目画素を除く、着目画素と同一色の周辺画素の隣接画素間の差分（又は差分の絶対値）を求め、この着目画素と同一色の周辺画素の隣接画素間の差分（又は差分の絶対値）を使って、エッジ量を反映する値を算出して、エッジ判定を行うものである。

図５において、着目画素と同一色の周辺の８画素が取り込まれる（ステップＳ１１）。そして、着目画素と同一色の周辺の８画素の隣接画素値の差分又は差分の絶対値が求められる（ステップＳ１２）。即ち、着目画素がＧｒ５であるとすると、着目画素Ｇｒ５と同一色の８画素の画素値Ｇｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４、Ｇｒ６、Ｇｒ７、Ｇｒ８、Ｇｒ９が取り込まれ、これらの隣接画素間の差分又は差分の絶対値が以下のようにして求められる。
ｄ１＝｜Ｇｒ１−Ｇｒ２｜
ｄ２＝｜Ｇｒ２−Ｇｒ３｜
ｄ３＝｜Ｇｒ３−Ｇｒ６｜
ｄ４＝｜Ｇｒ１−Ｇｒ４｜
ｄ５＝｜Ｇｒ４−Ｇｒ７｜
ｄ６＝｜Ｇｒ６−Ｇｒ９｜
ｄ７＝｜Ｇｒ７−Ｇｒ８｜
ｄ８＝｜Ｇｒ８−Ｇｒ９｜

これらの差分値ｄ１〜ｄ８と所定のスレショルド値Ｂ＿ＴＨとが比較され（ステップＳ１３）、これらの差分値ｄ１〜ｄ８の中に、所定のスレショルド値Ｂ＿ＴＨ以上のものが含まれているかどうかが判断される（ステップＳ１４）。

これらの差分値ｄ１〜ｄ８の中に、所定のスレショルド値Ｂ＿ＴＨ以上のものが含まれている場合には、エッジ部分の画像であると判断され（ステップＳ１５）、エッジ判定信号ＳＤ１が出力される（ステップＳ１６）。これらの差分値ｄ１〜ｄ８の中に、所定のスレショルド値Ｂ＿ＴＨ以上のものが含まれていない場合には、平坦部分の画像と判断される（ステップＳ１７）。

なお、スレショルド値Ｂ＿ＴＨは、エッジであると判断されるときの推定基準エッジ量に基づいて、静的又は動的に設定されるもので、推定基準エッジ量は、画像全体又は特定画素領域の画素レベルの値に基づいて算出してもよいし、外部から設定してもよいし、予め画像処理装置内に一つ又は複数の推定基準エッジ量の推定モデルを備えておいてもよい。

推定基準エッジ量は、例えば、以下の算出式により、算出される。
（推定基準エッジ量）＝ｉ×ｘ＋ｊ
ここで、ｘはｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７，ｄ８の平均値であり、例えば、ｉ＝１／１６、ｊ＝１０である。

図６は、エッジ判定部１２のさらに他の例を示すフローチャートである。この例は、着目画素を除く、着目画素と同一色の周辺画素の隣接画素間の差分（又は差分の絶対値）を求め、これらの着目画素と同一色の周辺画素の隣接画素間の差分（又は差分の絶対値）の和を使って、エッジ判定を行うものである。

図６において、着目画素と同一色の周辺の８画素が取り込まれる（ステップＳ２１）。そして、着目画素と同一色の周辺の８画素の画素値の差分又は差分の絶対値が求められる（ステップＳ２２）。即ち、着目画素がＧｒ５であるとすると、着目画素Ｇｒ５と同一色の８画素の画素値Ｇｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４、Ｇｒ６、Ｇｒ７、Ｇｒ８、Ｇｒ９が取り込まれ、これらの隣接画素間の差分（又は差分の絶対値）が以下のようにして求められる。
ｄ１＝｜Ｇｒ１−Ｇｒ２｜
ｄ２＝｜Ｇｒ２−Ｇｒ３｜
ｄ３＝｜Ｇｒ３−Ｇｒ６｜
ｄ４＝｜Ｇｒ１−Ｇｒ４｜
ｄ５＝｜Ｇｒ４−Ｇｒ７｜
ｄ６＝｜Ｇｒ６−Ｇｒ９｜
ｄ７＝｜Ｇｒ７−Ｇｒ８｜
ｄ８＝｜Ｇｒ８−Ｇｒ９｜

これらの差分値又は差分の絶対値ｄ１〜ｄ８の和が以下のようにして求められる（ステップＳ２３）。
ＡＤＤ＝ｄ１＋ｄ２＋ｄ３＋ｄ４＋ｄ５＋ｄ６＋ｄ７＋ｄ８

これらの隣接画素間の差分値（又は差分の絶対値）の和ＡＤＤと所定のスレショルド値Ｃ＿ＴＨとが比較される（ステップＳ２４）。

差分値又は差分の絶対値の和ＡＤＤが所定のスレショルド値Ｃ＿ＴＨ以上であるかどうかが判断され（ステップＳ２５）、差分値又は差分の絶対値の和ＡＤＤが所定のスレショルド値Ｃ＿ＴＨ以上の場合には、エッジ部分の画像であると判断され（ステップＳ２６）、エッジ判定信号ＳＤ１が出力される（ステップＳ２７）。差分値又は差分の絶対値の和ＡＤＤが所定のスレショルド値Ｃ＿ＴＨより小さい場合には、平坦部分の画像と判断される（ステップＳ２８）。

なお、スレショルド値Ｃ＿ＴＨは、エッジ画像であると判断される推定基準エッジ量に基づいて、静的又は動的に設定されるもので、推定基準エッジ量は、画像全体又は特定画素領域の画素レベルの値に基づいて算出してもよいし、外部から設定してもよいし、予め画像処理装置内に一つ又は複数の推定基準エッジ量の推定モデルを備えておいてもよい。

推定基準エッジ量は、例えば、以下の算出式により、算出される。
（推定基準エッジ量）＝ｉ×ｘ＋ｊ
ここで、ｘはｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７，ｄ８の和であり、例えば、ｉ＝１／１６、ｊ＝１６とする。

次に、段差補正部１３について説明する。前述したように、図１における段差補正部１３は、Ｇｒ信号とＧｂ信号との段差が発生しないように、着目画素を、着目画素の周辺の着目画素と同一色の画素値を用いて補間するものである。

つまり、周辺画素には相関があるので、着目画素Ｇｒ５の補間画素値は、これと同色のその周辺画素を重み付け加算して、以下のようにして求めることができる。

（補間値）＝ａ×Ｇｒ５＋ｂ×（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４）＋ｃ×（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４＋Ｇｒ６＋Ｇｒ７＋Ｇｒ８＋Ｇｒ９） …（１）

なお、着目画素がＧｒ５であるとき、ａは着目画素に対する重み係数、ｂは周辺のＧｂの画素値に対する重み係数、ｃは周辺のＧｒの画素値に対する重み係数であり、（ａ＋ｂ＋ｃ＝１）である。

（１）式の演算処理をハードウェアで表現すると、重み係数ａ、ｂ、ｃをそれぞれ乗じる乗算器と、加算器とからなる構成となる。乗算器はビットシフトで実現でき、２ビット右シフトが１／４、３ビット右シフトが１／８に対応する。

段差補正部１３では、エッジ判定部１２のエッジ判定信号ＳＤ１に基づいて、重み係数が変更される。即ち、エッジ判定部１２からのエッジ判定信号ＳＤ１により、着目画素がエッジ部分であると判断された場合には、図７（Ａ）に示すように、着目画素に対する重み係数ａが「３／４」、周辺のＧｂの画素に対する重み係数ｂが「１／４」、周辺のＧｒの画素に対する重み係数ｃが「０」になり、着目画素と同一色成分を有する近傍画素の画素値よりも、着目画素の混合比が高くなるように、重み係数が設定される。これにより、着目画素が含まれるエッジ領域の画素レベルに近づくように、エッジ部分の劣化が抑制され、鮮明な画像が映し出せる。

着目画素がエッジ部分ではない、即ち、着目画素が平坦部分であると判断された場合には、図７（Ｂ）に示すように、着目画素に対する重み係数ａが「３／８」、周辺のＧｂの周辺画素に対する重み係数ｂが「１／２」、周辺のＧｒの画素に対する重み係数ｃが「１／８」となり、着目画素の混合比が下げられる。この場合には、着目画素の画素値と、着目画素と同一色成分を有する近傍画素の画素値との混合比が同等になる。これにより、段差補正の効果が高められ、Ｇｒ信号とＧｂ信号との段差が画面上に現れない。なお、補正に用いる画素数や重み係数は一例であり、これに限定されるものではない。

図８は、本発明の第１の実施形態の動作を示すフローチャートである。図８において、領域設定部１１に着目画素領域が設定される（ステップＳ１０１）。そして、エッジ判定部１２によりエッジ判定信号ＳＤ１が検出されたかどうかが判断される（ステップＳ１０２）。

エッジ判定部１２からエッジ判定信号ＳＤ１が検出された場合には、着目画素はエッジ部分の画素であると判断され（ステップＳ１０３）、段差補正部１３の重み係数がエッジ部分用の重み係数（図７（Ａ））に設定される（ステップＳ１０４）。

そして、着目画素がＧｒ信号又はＧｂ信号かどうかが判断される（ステップＳ１０５）。着目画素がＧｒ信号又はＧｂ信号の場合には、段差補正部１３により、段差補正が行われ（ステップＳ１０６）、処理結果が出力される（ステップＳ１０７）。着目画素がＧｒ信号又はＧｂ信号でない場合、即ち、Ｒ信号やＢ信号の場合には、処理結果がそのまま出力される。そして、画像の終端かどうかが判断され（ステップＳ１０８）、画像の終端でなければ、ステップＳ１０１にリターンされ、画像の終端であるなら、そこで、処理が停止される。

ステップＳ１０２で、エッジ判定部１２からのエッジ判定信号ＳＤ１が検出されない場合には、着目画素は平坦部分の画素であると判断され（ステップＳ１０９）、段差補正部１３の重み係数が平坦部分用の重み係数（図７（Ｂ））に設定される（ステップＳ１１０）。そして、着目画素がＧｒ信号又はＧｂ信号かどうかが判断され（ステップＳ１０５）、着目画素がＧｒ信号又はＧｂ信号の場合には、段差補正部１３により段差補正が行われ（ステップＳ１０６）、処理結果が出力される（ステップＳ１０７）。一方で、着目画素がＧｒ信号又はＧｂ信号でない場合、即ち、Ｒ信号やＢ信号の場合には、処理結果がそのまま出力される。そして、画像の終端かどうかが判断され（ステップＳ１０８）、画像の終端でなければ、ステップＳ１０１にリターンされ、画像の終端であるなら、そこで、処理が停止される。

以上説明したように、本発明の実施形態では、着目画素がエッジ部分の画像か否かを判定し、その判定結果に基づいて、着目画素の画素値と、着目画素と同一色成分を有する近傍画素の画素値との混合比を切り替えて、段差補正を行っている。これにより、画像のエッジ部の鮮鋭性を残しながら、Ｇｒ信号とＧｂ信号との信号値の不要な段差が低減される。

図９は、本発明の第２の実施形態を示すものである。この実施形態では、着目画素が孤立ノイズか否かを判定する孤立ノイズ判定部２１と、その判定結果に基づいて孤立ノイズを除去又は低減を行う孤立ノイズ除去部２２とが設けられている。エッジ判定部１２により平坦部分の画像であると判断された場合には、孤立ノイズ判定部２１で着目画素が孤立ノイズであるかどうかが判断され、着目画素が孤立ノイズであると判断された場合には、孤立ノイズ除去部２２により、孤立ノイズが除去される。なお、上述の第１実施形態と同一部分については、同一符号を付し、その説明を省略する。

つまり、固体撮像素子１からの画像信号中には、画素の欠陥や周辺ノイズの混入等により、孤立ノイズが発生することがある。孤立ノイズが発生すると、その画素値は他の画素と相関性が低くなり、周辺画素の画素値に比べて、著しく高い値又は低い値となる。

図９において、孤立ノイズ判定部２１は、着目画素と同一色の着目画素周辺の画素値と、着目画素の画素値とを比較して、着目画素が孤立ノイズかどうかを判断し、孤立ノイズなら、孤立ノイズ判定信号ＳＤ２を出力する。

図１０は、孤立ノイズ判定部２１での孤立ノイズの判定処理を示すフローチャートである。図１０において、着目画素と同一色の着目画素の周辺の画素が入力される（ステップＳ５１）。着目画素が例えばＧｒ５であるとすると、着目画素と同一色の着目画素の周辺の例えば８画素、Ｇｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４，Ｇｒ６，Ｇｒ７，Ｇｒ８，Ｇｒ９が入力される。なお、ここでは、着目画素と同一色の周辺の８画素を取り込むようにしているが、８画素に限定されるものではない。また、割り算をシフトで行えるようにすることを考慮すると、画素数は、２のべき乗であることが望ましい。そして、着目画素の周辺の画素値の平均値、即ち、Ｇｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４，Ｇｒ６，Ｇｒ７，Ｇｒ８，Ｇｒ９の８画素の平均値Ｄ＿ＡＶＥが算出される（ステップＳ５２）。

着目画素値Ｇｒ５と平均値Ｄ＿ＡＶＥとの差分（Ｇｒ５−Ｄ＿ＡＶＥ）又は差分の絶対値｜Ｇｒ５−Ｄ＿ＡＶＥ｜と、所定のスレショルド値Ｄ＿ＴＨとが比較される（ステップＳ５３）。着目画素値Ｇｒ５と平均値ＡＶＥとの差分（Ｇｒ５−Ｄ＿ＡＶＥ）又は差分の絶対値｜Ｇｒ５−Ｄ＿ＡＶＥ｜がスレショルド値Ｄ＿ＴＨより大きいかどうかが判断される（ステップＳ５４）。

着目画素値Ｇｒ５と平均値Ｄ＿ＡＶＥの差分（Ｇｒ５−Ｄ＿ＡＶＥ）又は差分の絶対値｜Ｇｒ５−Ｄ＿ＡＶＥ｜がスレショルド値Ｄ＿ＴＨ以上の場合には、着目画素は孤立ノイズであると判断され（ステップＳ５５）、孤立ノイズ判定信号ＳＤ２が出力される（ステップＳ５６）。着目画素値Ｇｒ５と平均値ＡＶＥの差分（Ｇｒ５−Ｄ＿ＡＶＥ）又は差分の絶対値｜Ｇｒ５−Ｄ＿ＡＶＥ｜がスレショルド値Ｄ＿ＴＨより小さい場合には、正常画素であると判断される（ステップＳ５７）。

スレショルド値Ｄ＿ＴＨは、推定基準孤立ノイズ量に基づいて設定される。推定基準孤立ノイズ量としては、画像全体又は特定画素領域の画素レベルの値に基づいて算出してもよいし、外部から設定してもよいし、予め画像処理装置内に一つ又は画素レベルに対応した複数の推定孤立ノイズ量を備えておいてもよい。

例えば、下記の算出式を用いて推定孤立ノイズ量の算出を行う。
（推定基準孤立ノイズ量） ＝ ｍ×ｘ＋ｎ
ここで、ｘはＧｒ１，Ｇｒ２，Ｇｒ３，Ｇｒ４，Ｇｒ６，Ｇｒ７，Ｇｒ８，Ｇｒ９の８画素の平均値であり、例えば、ｍ＝１／１６、ｎ＝１６とする。

図９において、孤立ノイズ除去部２２は、前述の段差補正部１３と同様に、着目画素と同色の着目画素の周辺画素値を重み付け加算することにより、ノイズの除去が行える。即ち、孤立ノイズの除去は、前述の式（１）に示すような演算処理により行える。

孤立ノイズの場合には、着目画素がノイズであるので、着目画素の画素値は使えない。このため、図１１に示すように、着目画素に対する重み係数ａが「０」、周辺画素に対する重み係数ｂが「１／２」、周辺画素に対する重み係数ｃが「１／２」に設定される。なお、ノイズ除去に用いる画素数や係数は一例であり、これに限定されるものではない。

図１２は、本発明の第２実施形態の動作を示すフローチャートである。図１２において、領域設定部１１に、着目画素領域が設定される（ステップＳ２０１）。そして、エッジ判定部１２によりエッジ判定信号ＳＤ１が検出されたかどうかが判断される（ステップＳ２０２）。

エッジ判定部１２からエッジ判定信号ＳＤ１が検出された場合には、着目画素はエッジ部分の画素であると判断され（ステップＳ２０３）、段差補正部１３の重み係数がエッジ部分用の重み係数（図７（Ａ））に設定される（ステップＳ２０４）。

そして、着目画素がＧｒ信号又はＧｂ信号かどうかが判断される（ステップＳ２０５）。着目画素がＧｒ信号又はＧｂ信号の場合には、段差補正部１３により、段差補正が行われ（ステップＳ２０６）、処理結果が出力される（ステップＳ２０７）。着目画素がＧｒ信号又はＧｂ信号でない場合、即ち、Ｒ信号やＢ信号の場合には、処理結果がそのまま出力される。そして、画像の終端かどうかが判断され（ステップＳ２０８）、画像の終端でなければ、ステップＳ２０１にリターンされ、画像の終端であるなら、そこで、処理が停止される。

ステップＳ２０２で、エッジ判定部１２からのエッジ判定信号ＳＤ１が検出されない場合には、着目画素は平坦部分の画素であると判断され（ステップＳ２０９）、段差補正部の重み係数が平坦部分用の重み係数（図７（Ｂ））に設定される（ステップＳ２１０）。そして、孤立ノイズ判定部２１からの孤立ノイズ判定信号ＳＤ２が検出されたかどうかが判断される（ステップＳ２１１）。

孤立ノイズ判定信号ＳＤ２が検出されない場合には、着目画素は正常画素であると判断される（ステップＳ２１２）。この場合には、着目画素がＧｒ信号又はＧｂ信号かどうかが判断され（ステップＳ２０５）、着目画素がＧｒ信号又はＧｂ信号の場合には、段差補正部１３により段差補正が行われ（ステップＳ２０６）、処理結果が出力される（ステップＳ２０７）。着目画素がＧｒ信号又はＧｂ信号でない場合、即ち、Ｒ信号やＢ信号の場合には、処理結果がそのまま出力される。そして、画像の終端かどうかが判断され（ステップＳ２０８）、画像の終端でなければ、ステップＳ２０１にリターンされ、画像の終端であるなら、そこで、処理が停止される。

ステップＳ２１１で、孤立ノイズ判定信号ＳＤ２が検出された場合には、孤立ノイズであると判断される（ステップＳ２１３）。この場合には、孤立ノイズ除去部２２により孤立ノイズが除去され（ステップＳ２１４）、そして、処理結果が出力される（ステップＳ２０７）。そして、画像の終端かどうかが判断され（ステップＳ２０８）、画像の終端でなければ、ステップＳ２０１にリターンされ、画像の終端であるなら、そこで、処理が停止される。

以上のように、この実施形態では、孤立ノイズ判定部２１と孤立ノイズ除去部２２とが設けられており、着目画素と同一色成分を有する着目画素近傍の複数画素とを用いて補間処理を行い、孤立ノイズの除去が行われる。孤立ノイズの除去も、段差補正部と同様に、エッジ部分の画像では、画面の鮮明度を低下させる。エッジ判定部１２のエッジ判定信号ＳＤ１を用いて、平坦画像であると判断された場合のみ、孤立ノイズの補正処理を行うようにすることで、画像のエッジ部分の鮮鋭性を残しながら、孤立ノイズの除去を行うことができる。

本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述の例では、エッジ判定部の判定結果に段差補正部の特性を２段階に切り換えているが、さらに、複数段階に切り換えるようにしてもよい。また、上述の例では、１つの段差補正部の特性をエッジ判定部の判定結果に応じて切り換えているが、複数の特性の異なる段差補正部を用意しておき、これらの特性の異なる段差補正部をエッジ判定部の判定結果に応じて切り換えるようにしてもよい。これは、エッジ判定部の判定結果に段差補正部の特性を切り換えることと実質的に等価である。

本発明の第１の実施形態のブロック図である。 領域設定の説明に用いる説明図である。 平坦部分の画像とエッジ部分の画像との説明に用いるグラフである。 エッジ判定処理の一例を示すフローチャートである。 エッジ判定処理の他の例を示すフローチャートである。 エッジ判定処理のさらに他の例を示すフローチャートである。 段差補正処理を行うときの係数設定の説明図である。 本発明の第１の実施形態の動作説明に用いるフローチャートである。 本発明の第２の実施形態のブロック図である。 孤立ノイズ判定処理の一例を示すフローチャートである。 孤立ノイズ除去を行うときの係数設定の説明図である。 本発明の第２の実施形態の動作説明に用いるフローチャートである。 ベイヤ配列のカラーフィルタの説明図である。

符号の説明

１・・・固体撮像素子、２・・・サンプルホールド及びＡＧＣ回路、３・・・Ａ／Ｄコンバータ、１０・・・画像処理装置、１１・・・領域設定部、１２・・・エッジ判定部、１３・・・段差補正部、１４・・・合成部、１５・・・出力端子、２１・・・孤立ノイズ判定部、２２・・・孤立ノイズ除去部

Claims (21)

1. 複数の画素がマトリクス状に配列され、その画素の受光面側にカラーフィルタを備えた固体撮像素子からの出力を変換して得られるディジタル画像信号を処理する画像処理装置であって、
   着目画素がエッジ部分に位置しているか否かを判定するエッジ判定部と、
   前記着目画素の画素値と、前記着目画素と同一色の画素の画素値との間の段差を補正する段差補正部とを備え、
   前記エッジ判定部により前記着目画素がエッジ部分の画素かどうかを判定し、その判定結果に基づいて、前記段差補正部の特性を変更する
   ようにしたことを特徴とする画像処理装置。
2. 前記エッジ判定部は、前記着目画素の近傍に位置する複数の画素値を演算してエッジ量を反映する値を算出し、
   算出された値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記エッジ判定部は、前記着目画素の近傍に位置する複数の画素の平均値と、最大値と、最小値とを求め、
   前記最大値と前記平均値との差分又は差分の絶対値とスレショルド値とを比較すると共に、前記平均値と前記最小値との差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記エッジ判定部は、前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値を求め、
   前記隣接画素間の差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記エッジ判定部は、前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和を求め、
   前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
6. さらに、前記着目画素が他画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定部と、
   孤立ノイズ判定信号に基づき、前記画像信号中のノイズ成分を除去する孤立ノイズ除去部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記孤立ノイズ判定部は、前記着目画素の近傍に位置する複数の画素の平均値を求め、
   前記平均値と前記着目画素の画素値との差分又はその差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、孤立ノイズ判定信号を出力する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 複数の画素がマトリクス状に配列され、その画素の受光面側にカラーフィルタを備えた固体撮像素子からの出力を変換して得られるディジタル画像信号を処理する画像処理方法であって、
   着目画素がエッジ部分に位置しているか否かを判定するエッジ判定ステップと、
   前記着目画素の画素値と、前記着目画素と同一色の画素の画素値との間の段差を補正する段差補正ステップとを備え、
   前記エッジ判定ステップにより前記着目画素がエッジ部分の画素かどうかを判定し、前記判定結果に基づいて、前記段差補正ステップの特性を変更する
   ようにしたことを特徴とする画像処理方法。
9. 前記エッジ判定ステップは、前記着目画素の近傍に位置する複数の画素値を演算してエッジ量を反映する値を算出し、
   算出された値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
   ことを特徴とする請求項８に記載の画像処理方法。
10. 前記エッジ判定ステップは、前記着目画素の近傍に位置する複数の画素の平均値と、最大値と、最小値とを求め、
    前記最大値と前記平均値との差分又は差分の絶対値とスレショルド値とを比較すると共に、前記平均値と前記最小値との差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
    ことを特徴とする請求項８に記載の画像処理方法。
11. 前記エッジ判定ステップは、前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値を求め、
    前記隣接画素間の差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
    ことを特徴とする請求項８に記載の画像処理方法。
12. 前記エッジ判定ステップは、前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和を求め、
    前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
    ことを特徴とする請求項８に記載の画像処理方法。
13. さらに、前記着目画素が他画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定ステップと、
    孤立ノイズ判定信号に基づき、前記画像信号中のノイズ成分を除去する孤立ノイズ除去ステップと
    を備えることを特徴とする請求項８に記載の画像処理方法。
14. 前記孤立ノイズ判定ステップは、前記着目画素の近傍に位置する複数の画素の平均値を求め、
    前記平均値と前記着目画素の画素値との差分又はその差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて孤立ノイズ判定信号を出力する
    ことを特徴とする請求項１３に記載の画像処理方法。
15. 複数の画素がマトリクス状に配列され、その画素の受光面側にカラーフィルタを備えた固体撮像素子からの出力を変換して得られるディジタル画像信号の処理をコンピュータに実行させるための画像処理プログラムであって、
    コンピュータに、着目画素がエッジ部分に位置しているか否かを判定するエッジ判定プロセス、
    前記着目画素の画素値と、前記着目画素と同一色の画素の画素値との間の段差を補正すると共に、前記判定結果に応じて、段差の補正に係る特性を変更する段差補正プロセス
    を実行させることを特徴とする画像処理プログラム。
16. 前記エッジ判定プロセスは、前記着目画素の近傍に位置する複数の画素値を演算してエッジ量を反映する値を算出し、
    算出された値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
    ことを特徴とする請求項１５に記載の画像処理プログラム。
17. 前記エッジ判定プロセスは、前記着目画素の近傍に位置する複数の画素の平均値と、最大値と、最小値とを求め、
    前記最大値と前記平均値との差分又は差分の絶対値とスレショルド値とを比較すると共に、前記平均値と前記最小値との差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
    ことを特徴とする請求項1５に記載の画像処理プログラム。
18. 前記エッジ判定プロセスは、前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値を求め、
    前記隣接画素間の差分又は差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
    ことを特徴とする請求項1５に記載の画像処理プログラム。
19. 前記エッジ判定プロセスは、前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和を求め、
    前記着目画素の近傍に位置する複数の画素における隣接画素間の差分又は差分の絶対値の和とスレショルド値とを比較し、その比較結果に基づいて、前記着目画素がエッジ部分に位置しているか否かを示すエッジ判定信号を出力する
    ことを特徴とする請求項1５に記載の画像処理プログラム。
20. さらに、コンピュータに、前記着目画素が前記他画素との相関性が低い孤立ノイズか否かを判定し、その判定結果を孤立ノイズ判定信号として出力する孤立ノイズ判定プロセス、
    孤立ノイズ判定信号に基づき、前記画像信号中のノイズ成分を除去する孤立ノイズ除去プロセスを実行させることを特徴とする請求項１５に記載の画像処理プログラム。
21. 前記孤立ノイズ判定プロセスは、前記着目画素の近傍に位置する複数の画素の平均値を求め、
    前記平均値と前記着目画素の画素値との差分又はその差分の絶対値とスレショルド値とを比較し、その比較結果に基づいて、前記孤立ノイズ判定信号を出力する
    ことを特徴とする請求項２０に記載の画像処理プログラム。

Images