JP2010277267A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】Ｓ／Ｎの悪い環境下においても孤立点を適切に補間する。
【解決手段】着目画素及びその周辺の複数の画素の画素値を用いて着目画素の第１の補間値を算出する第１の補間部４２２を備えた。そして、着目画素との跳躍量が最小となる跳躍量最小方向を検出し、跳躍量最小方向に位置する各画素及び着目画素の画素値を用いて第２の補間値を算出する第２の補間部４３０を備えた。その上で、補間処理により弊害が発生するか否かを判定し、発生しない場合には第１の補間値を選択し、発生する場合には第２の補間値を選択する検出部４３４を備えた。そして、着目画素が孤立点であるか否かを判定し、孤立点であると判定した場合に検出部により選択された第１の補間値又は第２の補間値を出力させ、孤立点でないと判定した場合は着目画素の画素値を出力させる孤立点検出部４２１を備えた。
【選択図】図２

Description

本発明は、画像処理装置、撮像装置及び画像処理方法に関し、特に孤立点と判定された画素を適切に補間する技術に関する。

従来、撮像装置により得られた画像信号において、撮像素子の欠陥に起因して固定点ノイズが発生したり、光ショットノイズや熱雑音等のランダムノイズの影響を受けて、周囲の画素レベル（画素値）よりも飛び抜けて画素レベルの高い孤立点が発生することがある。このため、このような孤立点をリアルタイムに検出して、しかるべき画素レベル（補間値）に補間する孤立点補間処理が行われる。

孤立点補間処理の手法としては、主にスタティック補間、アダプティブ補間、メディアン補間の３種類の方法がある。図７は、これらの各手法を説明した説明図である。図７に示される各手法は、図７（ａ）に示すように、着目画素Ｐの左斜め下から左斜め上の方向にかけてエッジＥが存在している場合を想定しており、水平方向３画素×垂直方向３画素よりなるフィルタを使用している。図７（ｂ）〜図７（ｄ）においては、フィルタ係数を“０”又は“１”の値で示してある。

図７（ｂ）に示すスタティック補間では、フィルタ係数が“１”に設定された各画素、すなわち着目画素Ｐの周囲の８画素の値をすべて合計し、得られた合計値を、足し込んだ画素レベルの数である８で除算することが行われる。そして、このようにして得られた周囲８画素の画素レベルの平均値が、着目画素Ｐの補間値として使用される。

図７（ｃ）に示すアダプティブ補間では、エッジの方向の判別がまず行われ、エッジの方向に沿った補間が行われる。すなわち、エッジに近接したエッジの内側にある２つの画素（着目画素Ｐの左斜め下の画素と右斜め上の画素）の画素レベルの平均値が算出され、得られた平均値が着目画素Ｐの補間値として採用される。

図７（ｄ）に示すメディアン補間では、フィルタ枠内の９画素の中央値（メディアン）が算出され、算出された中央値が補間値として採用される。図７（ｄ）においては、着目画素Ｐの右隣の画素が中央値である場合を想定しており、この位置にフィルタ係数“１”が設定される。つまり、この位置の画素レベルが着目画素Ｐの画素レベルとして出力される。

メディアンフィルタを用いた補間処理の例は、例えば特許文献１に記載されている。

特開２００３−２４２５０４号公報

ところが、上述したいずれの補間処理も、補間処理を行うことによりエッジ部分において弊害が生じてしまうという問題があった。例えば図７（ｃ）に示したアダプティブ補間は、画像信号のＳ／Ｎ（Signal to Noise ratio）が悪い場合には、そもそもエッジの方向の判定そのものを精度よく行うことができない。このため、補間処理を行うことによって、１画素幅の文字等が切れてしまうといった問題が発生することがある。

図７（ｄ）に示したメディアン補間は、上述したとおりフィルタ枠内の画素レベルの中間値によって補間を行うものである。従って、アダプティブ補間の場合と同様に画像信号のＳ／Ｎが悪い場合には、補間を行うことでエッジ部分がゆがんでしまうという問題がある。

図７（ａ）に示したスタティック補間では、エッジの方向の判定等は行わず、常に一定の係数がかかるフィルタが使用されるため、補正処理によるエッジ部分の歪みは発生しない。しかし、エッジの向こう側の画素レベルまで足し込まれるため、エッジ部分の画素レベルの周波数が落ちてしまうという問題がある。

本発明はかかる点に鑑みてなされたものであり、画像信号のＳ／Ｎが悪い場合においてもエッジ部分の画素レベルの周波数を残し、孤立点を適切に補間することを目的とする。

本発明は、まず着目画素及びその周辺の複数の画素の画素値を用いて着目画素の画素値の第１の補間値を算出する。そして、着目画素とその周辺の複数の画素とで構成される各方向のうち、着目画素の画素値との差分の合計値が最も小さい方向である跳躍量最小方向を検出する。その上で、跳躍量最小方向に位置する各画素及び着目画素の画素値を用いて着目画素の画素値の第２の補間値を算出する。続いて、跳躍量最小方向に位置する各画素と第１の補間値と第２の補間値とを用いて、着目画素と跳躍量最小方向に位置する各画素との大小関係が第１の補間値による補間を行う前後で変化するか否かを判定する。そして、変化しない場合には第１の補間値を選択し、変化する場合には第２の補間値を選択する。さらに、着目画素が孤立点であるか否かを判定し、孤立点であると判定した場合に選択された第１の補間値又は第２の補間値を出力させ、孤立点でないと判定した場合は着目画素の画素値を出力させるようにした。

このようにすることで、着目画素と跳躍量最小方向に位置する各画素との大小関係が第１の補間値による補間を行う前後で変化する場合に、跳躍量最小方向に位置する各画素及び着目画素の画素値を用いて算出された補間値が使用されるようになる。

従って、フィルタの領域内にエッジが存在する場合等、着目画素と跳躍量最小方向に位置する各画素との大小関係が第１の補間値による補間を行う前後で変化する場合には、補間値の算出に、着目画素との相関性が高い画素の画素値が使用されるようになる。つまり、孤立点補間処理によって弊害が発生すると判断した場合に、弊害を起こさない補間値で着目画素（孤立点）が補間されるようになる。

本発明によれば、孤立点補間処理によって弊害が発生すると判断した場合に、弊害を起こし得ない補間値で孤立点が補間されるため、画像信号のＳ／Ｎが悪い場合であっても、エッジ部分の画素の周波数が必要以上に落ちてしまうことがなくなる。つまり、孤立点を適切に補間することができるようになる。

本発明の一実施の形態による撮像装置の内部構成例を示すブロック図である。 本発明の一実施の形態による孤立点除去部の内部構成例を示すブロック図である。 本発明の一実施の形態によるメディアンフィルタによる処理の例を示す説明図である。 本発明の一実施の形態による跳躍量算出例を示す説明図である。 本発明の一実施の形態による画像処理の例を示すフローチャートである。 本発明の一実施の形態の他の例によるメディアンフィルタの構成例を示す説明図である。 従来の補間処理の例を示す図であり、（ａ）はスタティック補間の例を示し、（ｂ）はアダプティブ補間の例を示し、（ｃ）はメディアン補間の例を示す。

以下に、本発明の実施形態に係る画像処理装置、撮像装置及び画像処理方法の具体例を、図面を参照しながら以下の順で説明する。なお、本発明は以下の例に限定されるものではない。
１．画像処理装置の構成例
２．孤立点除去部の構成例
３．画像処理の手順

＜１．画像処理装置の構成例＞
本実施形態（以下、本例とも称する）では、本発明の画像処理装置を例えばカメラ等の撮像装置に適用した例を説明する。ただし、本発明の画像処理装置は、撮像装置に限らず、例えばディスプレイ、プリンタ等の表示機器や、画像処理アプリケーションを含む装置など画像処理機能を有するあらゆる装置およびシステムに適用可能である。また、撮像装置に適用する場合には、カメラそのものだけでなく、撮影機能を有する情報処理装置（例えば、携帯電話等）などにも適用可能である。

［撮像装置の構成］
図１に、本実施形態の撮像装置の概略ブロック構成を示す。撮像装置１００は、レンズ１と、撮像素子２と、アナログ・デジタルコンバータ（以下、ＡＤＣ（Analog to Digital Convertor）と記す）３と、画像処理部４とを備える。そして、レンズ１、撮像素子２、ＡＤＣ３及び画像処理部４は、被写体光１５の入射側からこの順で配置される。

さらに、撮像装置１００は、表示処理部５と、表示部６と、制御部７と、記憶部８と、操作入力部９と、外部インタフェース（以下、Ｉ／Ｆと記す）部１０と、記録再生処理部１１と、記録媒体１２とを備える。そして、上述した撮像装置１００の各部は、信号線１３を介して直接的または間接的に電気的に接続される。

レンズ１は、被写体光を取り込んで撮像素子２の撮像面（不図示）に結像させる。撮像素子２は、レンズ１により結像された被写体光を光電変換して画像信号を生成する。そして、撮像素子２は、生成した画像信号をＡＤＣ３に出力する。なお、撮像素子２としては、例えば、ＣＣＤ（Charge Coupled Devices）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型等の各種タイプのイメージセンサを適用することができる。

なお、図１には、撮像素子２を１つのみ示してあるが、実際にはＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に対応する３つの撮像素子が設けられているものとする。従って、同じく図示は省略してあるが、３つの撮像素子２からなる撮像素子群とレンズ１との間に、入射光をＲ、Ｇ、Ｂの３色に分解する色分離プリズムも配置されているものとする。

ＡＤＣ３は、撮像素子２から出力された画像信号をデジタルの画像信号に変換して、そのデジタル変換された画像信号を画像処理部４に出力する。なお、撮像素子２としてＣＭＯＳ型のイメージセンサを用いた場合には、画像信号のアナログデジタル変換処理も撮像素子２の内部で行われるため、ＡＤＣ３は不要となる。

画像処理部４は、ＡＤＣ３から出力された画像信号に対して種々の処理を施し、処理後の画像信号をノイズリダクション処理部４２に出力する。画像処理部４は、光学系センサ系補正部４１と、ノイズリダクション処理部４２と、ガンマ補正部４３と、高域強調処理部４４とを有する。

光学系センサ系補正部４１は、レンズ１に起因して発生する画像信号の歪みの補正処理（光学系の補正処理）、及び、撮像素子２に起因して発生する画像信号の歪みの補正処理（センサ系の補正処理）を行う。光学系の補正処理では、例えば、歪み補正、収差補正、周辺光量落ち補正、フレア補正等を行う。センサ系の補正処理では、例えば、画素の欠陥補正、シェーディング補正等を行う。なお、撮像素子２としてＣＭＯＳ型のイメージセンサを使用した場合には、センサ系の補正処理として縦筋補正等も行う。また、撮像素子２としてＣＣＤ型のイメージセンサを使用した場合には、センサ系の補正処理としてスミア補正等も行う。

ノイズリダクション処理部４２は、光学系センサ系補正部４１から出力された画像信号にノイズ抑制処理を施し、ノイズ除去処理後の信号をガンマ補正部４３に供給する。なお、本実施形態では、ノイズリダクション処理部４２の中には、さらに、孤立点の除去を行う孤立点除去部４２０が設けられる。孤立点除去部４２０の詳細については後述する。

ガンマ補正部４３は、ノイズリダクション処理部４２から出力された画像信号のガンマ値を、表示部６のガンマ特性に適合するように補正する。また、高域強調処理部４４は、ガンマ補正された画像信号により得られる画像のエッジ部分（輪郭）に対応する高周波成分を強調する補正（輪郭強調補正）を行う。

なお、本実施形態では、ノイズリダクション処理部４２をガンマ補正部４３の前段に配置する例、すなわち、画像信号がリニア特性を有する領域にノイズリダクション処理部４２を配置する例を説明するが、本発明はこれに限定されない。ノイズリダクション処理部４２をガンマ補正部４３の後段に配置してもよい。すなわち、画像信号がノンリニア特性を有する領域にノイズリダクション処理部４２を配置してもよい。ただし、ノイズリダクション処理部４２をガンマ補正部４３の後段に配置する場合であっても、その配置位置は高域強調処理部４４の前段であることが好ましい。これは、高域強調処理部４４で画像のエッジ部分に対応する高周波成分が強調された後の画像信号に対して、ノイズリダクション処理部４２でノイズ除去処理を行っても十分なノイズリダクション効果が得られないためである。

表示処理部５は、画像処理部４で種々の処理が施された画像信号を、表示部６で表示可能な形式の信号に変換し、その変換した信号を表示部６に出力する。また、表示部６は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等で構成することができ、表示処理部５から供給された信号を画像として表示画面上に表示する。

制御部７は、ＣＰＵ（Central Processing Unit）等より構成され、後述する操作入力部９から供給される操作信号等に基づいて、撮像装置１００を構成する各部の制御を行う。記憶部８は、ＲＯＭ（Read Only Memory）及び／又はＲＡＭ（Random Access Memory）等で構成される。なお、ＲＯＭには、画像処理に必要なプログラムや各種データが格納され、ＲＡＭは、制御部７による各種処理の途中結果を一時的に記憶する作業領域として使用される。

操作入力部９は、例えば、ボタン、つまみ、スイッチ等の操作手段を有する。そして、操作入力部９は、その操作手段を介してユーザからの所定の操作入力を受けて、その内容に応じた操作信号を生成し、該生成した操作信号を制御部７に出力する。

外部Ｉ／Ｆ部１０は、外部機器と接続可能な入出力端子（不図示）を備え、該入出力端子を介して外部機器との間でのデータの入出力を行う。

記録再生処理部１１は、後述する記録媒体１２と接続されている。そして、画像処理部４から出力される画像信号を記録媒体１２に記録する処理、記録媒体１２に記録された画像データを読み出して再生する処理、並びに、その再生信号を表示処理部５に出力する処理を行う。

また、記録媒体１２は、例えばＨＤＤ（Hard Disk Drive）、半導体メモリ、光ディスク等で構成することができる。そして、記録媒体１２は、画像処理部４で処理が施された画像信号や、外部の記録装置等により記録された画像信号等を格納する。

＜２．孤立点除去部の構成例＞
［孤立点除去部の内部構成］
次に、図２を参照して、孤立点除去部４２０の詳細について説明する。図２は、孤立点除去部４２０の内部構成例を示すブロック図である。孤立点除去部４２０には、孤立点の検出を行う孤立点検出部４２１と、孤立点の補間処理を行う第１の補間部としての孤立点補間部４２２と、孤立点補間処理により生じうる弊害を除去する第２の補間部としての弊害除去処理部４３０とを含まれる。

また、孤立点除去部４２０には、セレクタＳＬ１とセレクタＳＬ２も含まれる。セレクタＳＬ１は、孤立点検出部４２１による検出結果の内容に応じて、孤立点補間部４２２で補間処理が施された画像信号と、何も処理が施されていない画素信号（原画素）とのいずれかを選択して出力する。セレクタＳＬ２は、孤立点補間部４２２からの出力信号と弊害除去処理部４３０からの出力信号とのいずれかを選択して、セレクタＳＬ１に出力する。

孤立点検出部４２１は、着目画素の画素レベルＹ１１と、水平方向３画素及び垂直方向３画素による枠内の着目画素周囲の８画素の各画素レベル（画素レベルＹ００〜画素レベルＹ２２）とを入力値として、着目画素が孤立点であるか否かを判定する。

孤立点検出部４２１は、まず、着目画素の画素レベルＹ１１と、周辺画素の各画素レベルとの差分値を算出する。続いて、算出された差分値のうち、その値が予め設定しておいた閾値ｉｍｐ＿ｔｈよりも大きいものの個数を算出し、その個数が予め設定しておいた閾値ｉｍｐ＿ｒｅｆｃｎｔ以上であるか否かを判定する。そして、値が閾値ｉｍｐ＿ｔｈよりも大きい差分値の数が閾値ｉｍｐ＿ｒｅｆｃｎｔ以上であった場合に、着目画素は孤立点であると判断する。そして、セレクタＳＬ１に対して、セレクタＳＬ２からの出力信号を選択させるための切替先選択信号を供給する。

閾値ｉｍｐ＿ｔｈは、“０”より大きい値に設定されるものとする。例えば、ＡＤＣ３（図１参照）により生成されるデジタルの画素信号のビット数が８ビットである場合には、１０〜２０程度の値に設定される。この値は、ＡＤＣ３の分解能や、画像信号におけるノイズの含有量や、隣接する画素レベルとの差分値の大きさ（処理の対象箇所が、画素レベルが緩やかに変化するグラデーション部分か否か）等によって、適宜適切な値に設定されるものとする。

閾値ｉｍｐ＿ｒｅｆｃｎｔは、着目画素の周辺の画素の数である“８”以下の値に設定される。ここでは、閾値ｉｍｐ＿ｒｅｆｃｎｔが“８”に設定してあるものとする。

上述した判断は、具体的には例えば以下のようなアルゴリズムを用いて行われる。
（１）周辺差分プラスフラグＦｄｐ＿ｉｊ（ｉ，ｊ＝０，１，２）の値の決定
周辺差分プラスフラグＦｄｐ＿ｉｊ＝１ ｗｈｅｎ 着目画素の画素レベルＹ１１−周辺画素の画素レベルＹｉｊ＞閾値ｉｍｐ＿ｔｈ
周辺差分プラスフラグＦｄｐ＿ｉｊ＝０ ｅｌｓｅ

すなわち、着目画素の画素レベルＹ１１との差分値が、プラスの方向で閾値ｉｍｐ＿ｔｈより大きいか否かを判定し、大きい場合に周辺差分プラスフラグＦｄｐ＿ｉｊの値が１となる。それ以外の場合（差分値が閾値ｉｍｐ＿ｔｈ以下の場合）には、周辺差分プラスフラグＦｄｐ＿ｉｊの値は０となる。

（２）周辺差分マイナスフラグＦｄｍ＿ｉｊの値の決定
周辺差分マイナスフラグＦｄｍ＿ｉｊ＝１ ｗｈｅｎ 着目画素の画素レベルＹ１１−周辺画素の画素レベルＹｉｊ＜−閾値ｉｍｐ＿ｔｈ
周辺差分マイナスフラグＦｄｍ＿ｉｊ＝０ ｅｌｓｅ

つまり、着目画素の画素レベルＹ１１との差分値が、マイナスの方向で閾値ｉｍｐ＿ｔｈより大きいか否かを判定し、大きい場合に周辺差分マイナスフラグＦｄｍ＿ｉｊの値が１となる。それ以外の場合（差分値が閾値ｉｍｐ＿ｔｈ以下の場合）には、周辺差分プラスフラグＦｄｐ＿ｉｊの値は０となる。

（３）孤立点検出プラスフラグＦａｐの値の決定
孤立点検出プラスフラグＦａｐ＝１ ｗｈｅｎ Σ（周辺差分プラスフラグＦｄｐ＿ｉｊ）≧閾値ｉｍｐ＿ｒｅｆｃｎｔ
孤立点検出プラスフラグＦａｐ＝０ ｅｌｓｅ

すなわち、周辺差分プラスフラグＦｄｐ＿ｉｊの合計数が、閾値ｉｍｐ＿ｒｅｆｃｎｔとして設定された８個以上である場合には孤立点検出プラスフラグＦａｐは１となり、それ以外の場合には０となる。

（４）孤立点検出マイナスフラグＦａｍの値の決定
孤立点検出マイナスフラグＦａｍ＝１ ｗｈｅｎ Σ（周辺差分マイナスフラグＦｄｍ＿ｉｊ）≧閾値ｉｍｐ＿ｒｅｆｃｎｔ
孤立点検出マイナスフラグＦａｍ＝０ ｅｌｓｅ

つまり、周辺差分マイナスフラグＦｄｍ＿ｉｊの合計数が、閾値ｉｍｐ＿ｒｅｆｃｎｔとして設定された８個以上である場合には孤立点検出マイナスフラグＦａｍは１となり、それ以外の場合には０となる。

なお、周辺差分プラスフラグＦｄｐ＿ｉｊと周辺差分マイナスフラグＦｄｍ＿ｉｊの算出は、逆の順番で行ってもよく、同時に行うようにしてもよい。孤立点検出プラスフラグＦａｐと孤立点検出マイナスフラグＦａｍについても同様である。

次に、孤立点補間部４２２の構成について説明する。孤立点補間部４２２は、メディアンフィルタ４２２ｈと、メディアンフィルタ４２２ｖと、メディアンフィルタ４２２ｒｕと、メディアンフィルタ４２２ｒｄと、平均値算出部４２２ａとで構成される。

メディアンフィルタ４２２ｈ〜メディアンフィルタ４２２ｒｄは、入力される３つの画素の画素レベルの中央値（メディアン）を算出して平均値算出部４２２ａに出力するものであり、１次元軸上において３タップのものを使用する。一次元軸としては、Ｈ（Horizontal）軸と、Ｖ（Vertical）軸と、ＲＵ（Right Up）軸と、ＲＤ（Right Down）軸の４つの軸を使用する。

メディアンフィルタ４２２ｈには、着目画素の画素レベルＹ１１及び着目画素と水平方向で隣接する２つの画素の画素レベル（画素レベルＹ１０及び画素レベルＹ１２）が入力される。また、メディアンフィルタ４２２ｖには、着目画素の画素レベルＹ１１及び着目画素と垂直方向で隣接する２つの画素の画素レベル（画素レベルＹ０１及び画素レベルＹ２１）が入力される。

メディアンフィルタ４２２ｒｕには、着目画素の画素レベルＹ１１及び、着目画素と右斜めの上下方向で隣接する２つの画素の画素レベル（画素レベルＹ０２及び画素レベルＹ２０）が入力される。さらに、メディアンフィルタ４２２ｒｄには、着目画素の画素レベルＹ１１及び、着目画素と左斜めの上下方向で隣接する２つの画素の画素レベル（画素レベルＹ００及び画素レベルＹ２２）が入力される。

ここで、図３を参照して、各メディアンフィルタによる処理の例について説明する。図３において、横軸は画素の位置を示し、縦軸は画素レベルＹのレベルを示す。図３では、各一次元軸上にある３つの画素を、画素Ｘ０、画素Ｘ１、画素Ｘ２と示してあり、その画素レベルを画素レベルＹ０、画素レベルＹ１、画素レベルＹ２と示してある。

図３に示すように画素レベルＹ０よりも画素レベルＹ２の方が大きい場合には、画素レベルＹ１は、図３における凸領域Ａｃと、単調増加領域Ａｍと、凹領域Ａｒのうちのいずれかの領域に存在することになる。図３において、凸領域Ａｃは斜線で示してあり、凹領域Ａｒは網掛けで示してあり、単調増加領域Ａｍは塗りつぶしのない領域として示してある。

凸領域Ａｃとは、画素レベルＹ２よりも大きい画素レベルが配置される領域であり、単調増加領域Ａｍとは、画素レベルＹ０以上であり画素レベルＹ２以下の画素レベルが配置される領域である。また凹領域Ａｒとは、画素レベルＹ０よりも小さい画素レベルが配置される領域である。

そして、着目画素Ｘ１の画素レベルＹ１が凸領域Ａｃに分類される場合であり、この画素レベルＹ１を画素レベルＹ１ｃとすると、画素レベルＹ０と画素レベルＹ１ｃと画素レベルＹ２のメディアンは、画素レベルＹ２と同値である画素レベルＹ１ｃ′となる。

同様に、着目画素Ｘ１の画素レベルＹ１が単調増加領域Ａｍに分類される場合を考えてみる。この画素レベルＹ１を画素レベルＹ１ｍとすると、画素レベルＹ０と画素レベルＹ１ｒと画素レベルＹ２のメディアンとしては、画素レベルＹ１ｍと同値である画素レベルＹ１ｍ′が出力される。なお、図３では説明を分かりやすくするために画素レベルＹ１ｍと画素レベルＹ１ｍ′とを画素位置（横軸）の方向に少しずらして示してあるが、実際には、両画素レベルの横軸上の位置は同一であるものとする。

また、着目画素Ｘ１の画素レベルＹ１が凹領域Ａｒに分類される場合であり、この画素レベルＹ１を画素レベルＹ１ｒとすると、画素レベルＹ０と画素レベルＹ１ｒと画素レベルＹ２のメディアンは、画素レベルＹ０と同値である画素レベルＹ１ｒ′となる。

すなわち、メディアンフィルタをかけることにより、画像信号のエッジ部分（高周波成分）が保存されつつ、大きな凸凹の成分は除去されるようになる。なお、図３では画素レベルＹ０＜画素レベルＹ２の場合を例に挙げたが、画素レベルＹ０＞画素レベルＹ２の場合にも同様にしてメディアンが算出される。

再び図２に戻って説明を続けると、平均値算出部４２２ａは、メディアンフィルタ４２２ｈ〜メディアンフィルタ４２２ｒｄから出力された各中央値の平均値を算出し、その値を着目画素の補間値としてセレクタＳＬ２及び弊害除去処理部４３０に供給する。

図２に示した各メディアンフィルタでの処理と、平均値算出部４２２ａの処理は、式で示すと以下のようなものになる。
（メディアンフィルタ４２２ｈでの処理）
メディアンｍｅｄ＿ｈ＝ｍｅｄｉａｎ（画素レベルＹ１０，画素レベルＹ１１，画素レベルＹ１２）
（メディアンフィルタ４２２ｖでの処理）
メディアンｍｅｄ＿ｖ＝ｍｅｄｉａｎ（画素レベルＹ０１，画素レベルＹ１１，画素レベルＹ２１）
（メディアンフィルタ４２２ｒｕでの処理）
メディアンｍｅｄ＿ｒｕ＝ｍｅｄｉａｎ（画素レベルＹ２０，画素レベルＹ１１，画素レベルＹ０２）
（メディアンフィルタ４２２ｒｄでの処理）
メディアンｍｅｄ＿ｒｄ＝ｍｅｄｉａｎ（画素レベルＹ００，画素レベルＹ１１，画素レベルＹ２２）
（平均値算出部４２２ａでの処理）
補間値Ｙ１１′＝（メディアンｍｅｄ＿ｈ＋メディアンｍｅｄ＿ｖ＋メディアンｍｅｄ＿ｒｕ＋メディアンｍｅｄ＿ｒｄ）／４

メディアンフィルタ４２２ｈ〜メディアンフィルタ４２２ｒｄと、平均値算出部４２２ａでこのような処理が行われることにより、着目画素の画素レベルＹ１１がその周囲の画素の画素レベルに対して孤立して大きい又は小さいほど、その値は抑制されるようになる。つまり、着目画素の画素レベルＹ１１が、レベルが抑制された補間値Ｙ１１′（第１の補間値）によって置き換えられる。

次に、弊害除去処理部４３０の詳細について説明する。弊害除去処理部４３０は、孤立点補間部４２２による補間処理が行われることで発生する弊害を、除去するための処理を行う。

弊害は、例えば原画像上に縦一直線に１画素幅の線がある場合等に発生する。この場合、Ｈ軸上では凸領域Ａｃ（図３参照）に分類されるような孤立点に見えても、Ｖ軸上では単調増加しているものとして検出される。また、ＲＵ軸やＲＤ軸においても、凸領域Ａｃに分類されるような孤立点として見えてしまうため、これら４つのメディアンの平均化してしまうと、縦一直線の線がちぎれる方向に力が働いてしまうことになる。

このため弊害除去処理部４３０では、孤立点補間部４２２による補間処理の結果このような弊害が発生すると判断した場合に、弊害を発生させないような補間値を出力することを行う。弊害を発生させないような補間値とは、着目画素の画素レベルＹ１１との差分が最も小さくなる方向にある各画素を使用して算出した補間値である。

このような補間値で着目画素の画素レベルＹ１１を補間することにより、画素レベルＹ１１が、画素レベル１１と近い値を有する周囲の画素の画素レベルとかけ離れた値になってしまうことがなくなる。つまり、原画像上に縦一直線に１画素幅の線がある場合であっても、補間によってその線がちぎれてしまうようなことがなくなる。

以下、弊害除去処理部４３０の構成について図２を参照して説明する。弊害除去処理部４３０は、差分絶対値算出部４３１と、跳躍量最小方向判定部４３２と、メディアンフィルタ４３３と、弊害検出部４３４とで構成される。

差分絶対値算出部４３１は、着目画素の画素レベルＹ１１と、その周辺の８画素の画素レベルとの差分絶対値を算出する。

跳躍量最小方向判定部４３２は、差分絶対値算出部４３１で算出された差分絶対値をその値が小さい順に並び替えることで、着目画素の画素レベルＹ１１との跳躍量が最も小さい方向を判定する。ここでいう跳躍量とは、画素レベルＹ１１との差分絶対値の和で示される。すなわち本例での跳躍量は、画素レベルＹ１１との差分絶対値が最小である画素と画素レベルＹ１１との差分絶対値と、差分絶対値が２番目に小さい画素と画素レベルＹ１１との差分絶対値との和（差分絶対値和）で示される。

図２に示した例おいては、画素レベルＹ１１との差分絶対値が最小である画素レベルＹ００を有する画素と、差分絶対値が２番目に小さい画素レベルＹ１２を有する画素とを含む方向を、跳躍量が最も小さい方向として示している。

図４は、跳躍量の概念を、図３に示した図を用いて示したものである。図４において、図３と対応する箇所には同一の符号を付してある。そして図４では、画素レベルＹ１１との差分絶対値が最小である画素と差分絶対値が２番目に小さい画素を、それぞれ画素Ｘ０と画素Ｘ２（あるいは画素Ｘ２と画素Ｘ０）で示している。

着目画素Ｘ１の画素レベルが凸領域Ａｃに位置する場合（＝画素レベルＹ１ｃ）には、跳躍量は実線で示した２本の矢印の合計値により示される。すなわち、
差分絶対値和＝ａｂｓ（画素レベルＹ１ｃ−画素レベルＹ０）＋ａｂｓ（画素レベルＹ１ｃ−画素レベルＹ２）
で示される。

着目画素Ｘ１の画素レベルが単調増加領域Ａｍに位置する場合（＝画素レベルＹ１ｍ）には、跳躍量は破線で示した２本の矢印の合計値により示される。すなわち、
差分絶対値和＝ａｂｓ（画素レベルＹ１ｍ−画素レベルＹ０）＋ａｂｓ（画素レベルＹ１ｍ−画素レベルＹ２）
で示される。

着目画素Ｘ１の画素レベルが凹領域Ａｒに位置する場合（＝画素レベルＹ１ｒ）には、跳躍量は一点鎖線で示した２本の矢印の合計値により示される。すなわち、
差分絶対値和＝ａｂｓ（画素レベルＹ１ｒ−画素レベルＹ０）＋ａｂｓ（画素レベルＹ１ｒ−画素レベルＹ２）
で示される。

再び図２に戻って説明を続ける。跳躍量最小方向判定部４３２は、着目画素の画素レベルＹ１１と、画素レベルＹ１１との差分絶対値が１番小さい画素の画素レベルと、差分絶対値が２番目に小さい画素の画素レベルとを、メディアンフィルタ４３３と弊害検出部４３４に出力する。

メディアンフィルタ４３３は、着目画素の画素レベルＹ１１と、画素レベルＹ１１との差分絶対値が１番小さい画素レベルと、２番目に小さい画素レベルの３つの画素レベルのメディアンを算出する。そして、算出したメディアンを補間値としてセレクタＳＬ２に出力する。

画素レベルＹ１１との差分絶対値が一番小さい画素レベルをＹ１ｓｔｍｉｎ、画素レベルＹ１１との差分絶対値が２番目に小さい画素レベルをＹ２ｎｄｍｉｎとすると、メディアンフィルタ４３３で算出される補間値Ｙ１１′′は、下記の式で表せる。
補間値Ｙ１１′′（第２の補間値）＝ｍｅｄｉａｎ（画素レベルＹ１ｓｔｍｉｎ，画素レベルＹ１１，画素レベルＹ２ｎｄｍｉｎ）

弊害検出部４３４は、跳躍量最小方向判定部４３２から出力される画素レベルＹ１ｓｔｍｉｎ、画素レベルＹ１１、画素レベルＹ２ｎｄｍｉｎと、孤立点補間部４２２から出力される補間値Ｙ１１′とを用いて、補間処理により弊害が発生するか否かを判断する。

具体的には、着目画素の画素レベルＹ１１の値と、画素レベルＹ１ｓｔｍｉｎ又は画素レベルＹ２ｎｄｍｉｎとの大小関係が、孤立点補間部４２２による補間処理の前後で変化している場合に、弊害が生じていると判定する。

弊害検出部４３４は、まず、以下に示す補間前の状態と補間後の状態とを比較する。
補間前の状態：画素レベルＹ１ｓｔｍｉｎ，着目画素の画素レベルＹ１１，画素レベルＹ２ｎｄｍｉｎ
補間後の状態：画素レベルＹ１ｓｔｍｉｎ，着目画素の補間値Ｙ１１′，画素レベルＹ２ｎｄｍｉｎ

そして、補間処理前に着目画素の画素レベルＹ１１が分類される領域と、補間処理後に着目画素の補間値Ｙ１１′が分類される領域（共に図３参照）とが以下のように変化している場合に、補間処理を行うことによって弊害が発生するものと判断する。
・凸領域Ａｃが凹領域Ａｒに変化
・凹領域Ａｒが凸領域Ａｃに変化
・単調増加領域Ａｍが、凸領域Ａｃ又は凹領域Ａｒに変化

弊害検出部４３４は、補間処理により弊害が発生すると判断した場合は、セレクタＳＬ２に対して、信号の入力先を弊害除去処理部４３０側に切り替えるための切替先選択信号を供給する。これにより、セレクタＳＬ２からセレクタＳＬ１に対して、弊害除去処理部４３０のメディアンフィルタ４３３から出力された補間値Ｙ１１′′が出力される。

一方、補間処理により弊害が発生しないと判断した場合は、セレクタＳＬ２に対して、信号の入力先を孤立点補間部４２２側に切り替えるための切替先選択信号を供給する。これにより、セレクタＳＬ２からセレクタＳＬ１に対して、孤立点補間部４２２の平均値算出部４２２ａから出力された補間値Ｙ１１′が出力される。

＜３．画像処理の手順＞
［孤立点除去部での動作の例］
次に、図５のフローチャートを参照して、孤立点除去部４２０における動作の例を説明する。まず、孤立点補間部４２２にて孤立点補間処理を行うことにより着目画素の補間値Ｙ１１′を算出する（ステップＳ１１）。続いて弊害除去処理部４３０の差分絶対値算出部４３１で、着目画素の画素レベルＹ１１とその周辺の８画素の各画素の画素レベルとの差分絶対値を算出する（ステップＳ１２）。そして、弊害除去処理部４３０の跳躍量最小方向判定部４３２が、着目画素の画素レベルＹ１１との差分絶対値和（跳躍量）が最小となる方向を算出する（ステップＳ１３）。

続いて、弊害除去処理部４３０のメディアンフィルタ４３３は、着目画素の画素レベルＹ１１と、画素レベルＹ１１との跳躍量が最小となる方向にある各画素の画素レベルとを用いてメディアンを算出し、その値を補間値Ｙ１１′′とする（ステップＳ１４）。

次に、弊害検出部４３４が、着目画素の画素レベルＹ１１と、画素レベルＹ１１との跳躍量が最小となる方向にある各画素の画素レベルとの大小関係が、孤立点補間部４２２による補間処理の前後で変化しているかを判断する（ステップＳ１５）。すなわち、補間処理前に画素レベルＹ１１が分類されていた領域と、補間処理後の補間値Ｙ１１′が分類される領域が変化しているかを判断する。ただし、凸領域Ａｃ又は凹領域Ａｒが単調増加領域Ａｍに変化した場合は、領域が変化したものとはみなさない。

具体的には、補間値Ｙ１１′が分類される領域が、凸領域Ａｃから凹領域Ａｒ、凹領域Ａｒから凸領域Ａｃ、単調増加領域Ａｍから凸領域Ａｃ又は凹領域Ａｒに変化した場合には、ステップＳ１５で“Ｙｅｓ”が選択され、ステップＳ１６に進む。ステップＳ１６では、跳躍量が最小となる方向において弊害除去処理部４３０で算出された補間値Ｙ１１′′が選択され、着目画素の補間値として出力される。

補間値Ｙ１１′が分類される領域が変化していない場合（凸領域Ａｃ又は凹領域Ａｒが単調増加領域Ａｍに変化した場合も含む）は、ステップＳ１５では“Ｎｏ”が選択され、ステップＳ１７に進む。ステップＳ１７では、孤立点補間部４２２で算出された補間値Ｙ１１′が選択され、着目画素の補間値として出力される。

続いて、孤立点検出部４２１が孤立点を抽出したか否かを判断し（ステップＳ１８）、孤立点を抽出した場合には、着目画素の画素レベルＹ１１を、補間値Ｙ１１′又は補間値Ｙ１１′′に置き換えて出力する（ステップＳ１９）。一方、孤立点が検出されなかった場合は、着目画素の画素レベルＹ１１をそのまま出力する（ステップＳ２０）。

［実施形態による効果］
上述した実施形態によれば、上述した実施の形態によれば、着目画素からの跳躍量が最小となる方向に位置する各画素と着目画素との大小関係が、孤立点補間処理によって変化すると判断した場合に、補間処理による弊害が発生すると判断される。そして、着目画素及び跳躍量が最小となる方向にある各画素の画素値のメディアンが補間値として出力される。これにより、フィルタの領域内にエッジが存在する場合にも、孤立点として検出された着目画素の画素レベルＹ１１が、着目画素と相関性の高い画素の画素値を使用して算出された補間値によって補間されるようになる。すなわち、エッジ部分においても孤立点補間処理を適切に行うことができるようになる。

また、上述した実施形態によれば、エッジの方向の判定を行えないようなＳ／Ｎの悪い環境下においては、孤立点補間処理により弊害が生ずると判定され、上述したような弊害を除去できる補間値が出力される。このため、画像信号のＳ／Ｎが悪い場合においても、孤立点を精度よく補間することができるようになる。

また、この場合、着目画素及び跳躍量が最小となる方向にある各画素の画素値のメディアンで着目画素の画素レベルＹ１１が補間されることで、１画素幅の文字や線などがある場合にも、補間処理によってそれが切れてしまうことがなくなる。

また、上述した実施の形態によれば、メディアンフィルタで補間値が算出されるため、補間値の周波数が必要以上に落ちてしまうことがなくなる。

また、上述した実施の形態では、孤立点補間処理によって弊害が生じてしまうと判断した場合に、着目画素の画素レベルＹ１１との差分が最小である画素の画素レベルだけでなく、２番目に小さい画素の画素レベルも使用して補間値が算出される。これにより、補間値の算出に着目画素の画素レベルＹ１１との差分が最小である画素の画素レベルのみを使用する場合等と比較して、孤立点除去の効果がより高くなる。

また、上述した実施の形態では、弊害発生時には上述したような弊害除去処理が行われるため、通常の補間を行う手段として、メディアンフィルタ等の、抑制が比較的強くかかる一方で弊害の発生確率も高いような手段を使用することができるようになる。

また、上述した実施の形態では、孤立点補間処理を３×３のサイズのフィルタを用いて行うため、ラインメモリの数も最小限とすることができ、画像処理装置のリソースを節減することができる。

［実施形態の変形例］
なお、上述した実施の形態では、孤立点補間部４２２を、Ｈ軸、Ｖ軸、ＲＵ軸、ＲＤ軸に対応する４つのメディアンフィルタ４２２ｈ〜メディアンフィルタ４２２ｒｄと平均値算出部４２２ａとで構成した例を挙げたが、これに限定されるものではない。例えば、Ｈ軸とＶ軸に対応する２つのメディアンフィルタを使用する構成や、従来のような、フィルタ枠内のすべての画素を対象としたメディアンフィルタを使用する構成に適用してもよい。

また、上述した実施の形態では、本例の画像処理装置を３板式の撮像装置に適用した例を挙げたが、これに限定されるものではない。例えば、４板式の撮像装置や単板式の撮像装置に適用してもよい。単板式の撮像装置に適用する場合には、本例による孤立点除去処理を行うことで、色フィルタアレイ上に市松状に配置されたＧの画素の孤立点を適切に除去することができる。

この場合、本例による孤立点除去部４２２を、デモザイク処理を行う回路の前段に配置することが望ましい。メディアンフィルタは、Ｈ軸、Ｖ軸、ＲＵ軸、ＲＤ軸の４つの軸において、図６に示すようにそれぞれを例えば３タップ、３タップ、５タップ、５タップとすることで、適切な補間処理を行うことができる。

なお、ＲやＢの画素に対しても孤立点除去処理を行う場合には、着目画素であるＲ又はＢ画素の周囲のＧの画素を用いてエッジ情報を抽出し、エッジが周囲にないと判断した時にのみ孤立点除去処理を行うようにすればよい。

また、本実施形態を、εフィルタを用いて平滑化を行う画像処理装置に適用するようにしてもよい。εフィルタは、着目画素が孤立点である場合は加算できる画素の割合が減り、平滑度が極端に下がるという特性を持つ。このため、εフィルタによる平滑化処理の前に本例の孤立点除去処理を行うことで、孤立点が効率的に除去され、平滑度が落ちることが無くなる。

１…レンズ、２…撮像素子、３…アナログ・デジタルコンバータ、４…画像処理部、５…表示処理部、６…表示部、７…制御部、８…記憶部、９…操作入力部、１０…外部インタフェース部、１１…記録再生処理部、１２…記録媒体、１３…信号線、１５…被写体光、４１…光学系センサ系補正部、４２…ノイズリダクション処理部、４３…ガンマ補正部、４４…高域強調処理部、１００…撮像装置、４２０…孤立点除去部、４２１…孤立点検出部、４２２…孤立点補間部、４２２ａ…平均値算出部、４２２ｈ，４２２ｒｄ，４２２ｒｕ，４２２ｖ…メディアンフィルタ、４３０…弊害除去処理部、４３１…差分絶対値算出部、４３２…跳躍量最小方向判定部、４３３…メディアンフィルタ、４３４…弊害検出部、Ａｃ…凸領域、Ａｍ…単調増加領域、Ａｒ…凹領域、Ｆａｍ…孤立点検出マイナスフラグ、Ｆａｐ…孤立点検出プラスフラグ、Ｆｄｍ…周辺差分マイナスフラグ、Ｆｄｐ…周辺差分プラスフラグ、ＳＬ１，ＳＬ２…セレクタ、Ｙ１１′，Ｙ１１′′…補間値

Claims (7)

1. 着目画素及びその周辺の複数の画素の画素値を用いて前記着目画素の画素値の第１の補間値を算出する第１の補間部と、
   前記着目画素とその周辺の複数の画素とで構成される各方向のうち、前記着目画素の画素値との差分の合計値が最も小さい方向である跳躍量最小方向を検出し、前記跳躍量最小方向に位置する各画素及び前記着目画素の画素値を用いて前記着目画素の画素値の第２の補間値を算出する第２の補間部と、
   前記跳躍量最小方向に位置する各画素と前記第１の補間値と前記第２の補間値とを用いて、前記着目画素と前記跳躍量最小方向に位置する各画素との大小関係が前記第１の補間値による補間を行う前後で変化するか否かを判定し、変化しない場合には前記第１の補間値を選択し、変化する場合には前記第２の補間値を選択する検出部と、
   前記着目画素が孤立点であるか否かを判定し、孤立点であると判定した場合に前記検出部により選択された前記第１の補間値又は前記第２の補間値を出力させ、孤立点でないと判定した場合は前記着目画素の画素値を出力させる孤立点検出部とを備えた
   画像処理装置。
2. 前記第２の補間部には、前記着目画素を中心とする水平方向３画素×垂直方向３画素の各画素値が入力される
   請求項１記載の画像処理装置。
3. 前記跳躍量最小方向に位置する各画素とは、前記着目画素の画素値との差分絶対値が最小である画素値を有する第１の画素と、前記着目画素の画素値との差分絶対値が２番目に小さい画素値を有する第２の画素で構成される
   請求項２記載の画像処理装置。
4. 前記検出部が、前記着目画素と前記跳躍量最小方向に位置する各画素との大小関係が変化したと判定する場合とは、前記第１の補間値による補間を行う前後で、前記着目画素の画素値が分類される領域が、前記第１の画素と前記第２の画素のうちの画素値が大きい方の画素よりも値が大きい画素値が分類される凸領域から、前記第１の画素と前記第２の画素のうちの画素値が小さい方の画素よりも値が小さい画素値が分類される凹領域に変化した場合又は、前記凹領域から前記凸領域に変化した場合又は、前記第１の画素と前記第２の画素のうちの画素値が小さい方の画素の画素値以上であり、前記第１の画素と前記第２の画素のうちの画素値が大きい方の画素の画素値以下である画素値が分類される単調増加領域から、前記凸領域もしくは前記凹領域に変化した場合である
   請求項３記載の画像処理装置。
5. 前記第１の補間部及び第２の補間部では、メディアンフィルタを用いて前記第１の補間値又は前記第２の補間値を算出する
   請求項４記載の画像処理装置。
6. 被写体光を光電変換して画像信号を生成する撮像部と、
   前記撮像部で得られた画像信号中の特定の着目画素及びその周辺の複数の画素の画素値を用いて前記着目画素の画素値の第１の補間値を算出する第１の補間部と、
   前記着目画素とその周辺の複数の画素とで構成される各方向のうち、前記着目画素の画素値との差分の合計値が最も小さい方向である跳躍量最小方向を検出し、前記跳躍量最小方向に位置する各画素及び前記着目画素の画素値を用いて前記着目画素の画素値の第２の補間値を算出する第２の補間部と、
   前記跳躍量最小方向に位置する各画素と前記第１の補間値と前記第２の補間値とを用いて、前記着目画素と前記跳躍量最小方向に位置する各画素との大小関係が前記第１の補間値による補間を行う前後で変化するか否かを判定し、変化しない場合には前記第１の補間値を選択し、変化する場合には前記第２の補間値を選択する検出部と、
   前記着目画素が孤立点であるか否かを判定し、孤立点であると判定した場合に前記検出部により選択された前記第１の補間値又は前記第２の補間値を出力させ、孤立点でないと判定した場合は前記着目画素の画素値を出力させる孤立点検出部とを備えた
   撮像装置。
7. 着目画素及びその周辺の複数の画素の画素値を用いて前記着目画素の画素値の第１の補間値を算出するステップと、
   前記着目画素とその周辺の複数の画素とで構成される各方向のうち、前記着目画素の画素値との差分の合計値が最も小さい方向である跳躍量最小方向を検出し、前記跳躍量最小方向に位置する各画素及び前記着目画素の画素値を用いて前記着目画素の画素値の第２の補間値を算出するステップと、
   前記跳躍量最小方向に位置する各画素と前記第１の補間値と前記第２の補間値とを用いて、前記着目画素と前記跳躍量最小方向に位置する各画素との大小関係が前記第１の補間値による補間を行う前後で変化するか否かを判定し、変化しない場合には前記第１の補間値を選択し、変化する場合には前記第２の補間値を選択するステップと、
   前記着目画素が孤立点であるか否かを判定し、孤立点であると判定した場合に前記選択された前記第１の補間値又は前記第２の補間値を出力させ、孤立点でないと判定した場合は前記着目画素の画素値を出力させるステップとを含む
   画像処理方法。

Images