JP2009049753A - 画像処理装置、カメラ、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】補正対象とするデータに生じているノイズと同様のノイズが参照するデータに生じていても、適切に補正処理を行う画像処理装置を提供する。
【解決手段】画像処理装置は、画像上で所定方向に並ぶ画素列を示す情報を取得する情報取得手段２１１と、画像を構成するデータ群のうち情報に対応する第１データ群に対して平滑化処理を行う平滑化手段２０５ａと、第１データ群に含まれるデータを参照する場合と、第１データ群と異なる第２データ群に含まれるデータを参照する場合とで異なる平滑化処理を行うように平滑化手段２０５ａを制御する制御手段２１１とを備える。
【選択図】図１

Description

本発明は、画像処理装置、カメラおよび画像処理プログラムおよび画像処理方法に関する。

画像データに含まれるノイズの影響を低減するために補正処理を行う技術が知られている（特許文献１、特許文献２参照）。たとえば、周囲の画素の信号に比べて突出したノイズが生じている場合にmax-minフィルタと呼ばれる処理技術が適用される。max-minフィルタは、補正対象画素の周囲に位置する画素からの信号を参照して最大値および最小値を求め、補正対象画素からの信号を上記最大値または最小値に近づけるように補正を行う。

特開平６−６６８５号公報 特開昭６１−１２８６８０号公報

従来技術によれば、補正対象とするデータ（信号）に生じているノイズと同様のノイズが参照したデータに生じている場合、不適切な補正処理をしてしまうという問題があった。

（１）本発明による画像処理装置は、画像上で所定方向に並ぶ画素列を示す情報を取得する情報取得手段と、画像を構成するデータ群のうち情報に対応する第１データ群に対して平滑化処理を行う平滑化手段と、第１データ群に含まれるデータを参照する場合と、第１データ群と異なる第２データ群に含まれるデータを参照する場合とで異なる平滑化処理を行うように平滑化手段を制御する制御手段とを備えることを特徴とする。
（２）請求項１に記載の画像処理装置において、平滑化手段は、第１データ群に含まれる参照データの中でｎ番目（ｎ＞２）に大きいデータ、および第２データ群に含まれる参照データの中で１番目に大きいデータのうち大きい方のデータを参照最大値とし、平滑化の対象データが参照最大値より大きい場合、対象データを小さくするように補正することが好ましい。
（３）請求項２に記載の画像処理装置において、平滑化手段は、平滑化の対象データが参照最大値と所定値との和より小さい場合、当該対象データを小さくするように補正することが好ましい。
（４）請求項１に記載の画像処理装置において、平滑化手段は、第１データ群に含まれる参照データの中でｎ番目（ｎ＞２）に小さいデータ、および第２データ群に含まれる参照データの中で１番目に小さいデータのうち小さい方のデータを参照最小値とし、平滑化の対象データが参照最小値より小さい場合、対象データを大きくするように補正することが好ましい。
（５）請求項４に記載の画像処理装置において、平滑化手段は、平滑化の対象データが参照最小値から所定値を引いた差より大きい場合、当該対象データを大きくするように補正することが好ましい。
（６）請求項３または５に記載の画像処理装置において、所定値は、画像を撮像する撮像装置で生じるノイズデータに基づいて設定されることが好ましい。
（７）請求項６に記載の画像処理装置において、平滑化手段は、画像を撮像した時の温度情報に応じて所定値を変化させることが好ましい。
（８）請求項１〜請求項７のいずれか一項に記載の画像処理装置において、平滑化手段は、平滑化の対象データおよび画像上において対象データの近傍に対応するデータの局所平均値が所定の判定閾値より小さい場合に、平滑化処理を行うことが好ましい。
（９）請求項８に記載の画像処理装置において、判定閾値は、画像を撮像する撮像装置で生じるノイズデータに基づいて設定されることが好ましい。
（１０）請求項１〜請求項９のいずれか一項に記載の画像処理装置において、画像を構成するデータは第１の色成分データと第２の色成分データとを含んでもよく、この場合の平滑化手段は、同色成分同士のデータを用いて平滑化処理を行うこともできる。
（１１）本発明によるカメラは、請求項１〜請求項１０のいずれか一項に記載の画像処理装置を搭載することを特徴とする。
（１２）本発明による画像処理プログラムは、画像上で所定方向に並ぶ画素列を示す情報を取得する第１処理と、画像を構成するデータのうち情報に対応する第１データ群を参照して第１参照値を得る第２処理と、画像を構成するデータのうち第１データ群と異なる第２データ群を参照して第２参照値を得る第３処理と、第１参照値および第２参照値を用いて第１データ群を平滑化する第４処理とをコンピュータ装置に実行させることを特徴とする。
（１３）本発明による画像処理方法は、画像上で所定方向に並ぶ画素列を示す情報を取得する第１処理と、画像を構成するデータのうち情報に対応する第１データ群を参照して第１参照値を得る第２処理と、画像を構成するデータのうち第１データ群と異なる第２データ群を参照して第２参照値を得る第３処理と、第１参照値および第２参照値を用いて第１データ群を平滑化する第４処理とを行うことを特徴とする。

本発明によれば、補正対象とするデータに生じているノイズと同様のノイズが参照するデータに生じていても、適切に補正処理を行うことができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。図１において、撮影レンズ２０１は、撮像素子２０２の撮像面に被写体像を結像させる。

レンズインターフェース（レンズＩ／Ｆ）２０８は、後述するＣＰＵ２１１からの指示に応じて撮影レンズ２０１の設定情報を取得する。レンズの設定情報には、絞り値情報、ズーム位置（焦点距離）情報が含まれる。撮像素子２０２は、たとえば、ＣＭＯＳイメージセンサによって構成される。撮像素子２０２は被写体像を撮像し、アナログ画像信号をＡＦＥ(Analog Front End)回路２０３へ出力する。

ＡＦＥ回路２０３は、アナログ画像信号に対するアナログ処理（信号増幅など）を行う。ＡＦＥ回路２０３はさらに、内蔵するＡ／Ｄ変換回路によってアナログ処理後の画像信号をディジタル信号に変換する。ディジタル画像信号は、ＤＦＥ(Digital Front End)回路２０５へ出力される。ＤＦＥ回路２０５は、後述するランダムノイズ補正処理部２０５ａを含み、ディジタル画像信号に対する補正処理などを行う。

画像処理エンジン２０６は、補正処理後のディジタル画像信号に対して画像処理を施す。画像処理には、たとえば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理などが含まれる。画像処理エンジン２０６はさらに、撮像画像を表示装置２１３に表示させるための表示データを作成する。表示装置２１３は液晶表示パネルなどによって構成され、上記作成された表示データによる再生画像を表示する。

タイミングジェネレータ２０４は、撮像素子２０２、ＡＦＥ回路２０３、ＤＦＥ回路２０５、および画像処理エンジン２０６へ、それぞれ駆動信号を供給する。圧縮回路２０７は、画像処理後のディジタル画像信号を圧縮する画像圧縮処理を行う。メモリインターフェース（メモリＩ／Ｆ）２０９は、後述するＣＰＵ２１１からの指示に応じて記録媒体２５０に対するアクセス制御を行う。記録媒体２５０は、電子カメラに対して着脱可能なメモリカードによって構成される。記録媒体２５０には、撮影画像のデータおよびその撮影情報を含む画像ファイルが記録される。

温度センサ２１４は、撮像素子２０２の近傍に配設されている。温度センサ２１４は温度検出信号をＣＰＵ２１１へ送る。ＣＰＵ２１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。ＲＡＭ２１０は、ＣＰＵ２１１の作業用メモリとして使用される他、画像処理エンジン２０６による画像処理前後および画像処理途中のデータを一時的に格納する際に使用される。

ＲＯＭ２１２には、ＣＰＵ２１１が実行するプログラムが格納される。操作部材２１５は電子カメラの操作スイッチ類を含む。操作部材２１５は、シャッターボタン（不図示）の押下操作に連動してオン／オフする半押しスイッチや全押しスイッチなど、各操作スイッチからの操作信号をＣＰＵ２１１へ出力する。

本実施形態の電子カメラは、ランダムノイズ補正処理部２０５ａが行う補正処理に特徴を有するので、以後はこの処理を中心に説明する。

図２は、撮像素子２０２の画素配列を例示する図である。図２において、画素列Ｌには、カラーフィルタＲ、カラーフィルタＧが設けられたフォトダイオードが交互に配設されている。画素列Ｍには、カラーフィルタＧ、カラーフィルタＢが設けられたフォトダイオードが交互に配設されている。画素列Ｎは画素列Ｌと同様である。

図２によれば、フォトダイオードの位置に対応してＲ（赤）、Ｇ（緑）およびＢ（青）のいずれかのカラーフィルタがBayer配列されているので、撮像素子２０２から出力される画像信号は、１画素当たりＲＧＢのうちいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の信号が出力され、Ｇ色フィルタに対応する画素からはＧ色の信号が出力され、Ｂ色フィルタに対応する画素からはＢ色の信号が出力される。

本説明では、撮像素子２０２から出力される画像信号のうち、画素列ＬのＲ色成分信号および画素列ＭのＢ色成分信号に突出したノイズ（ランダムノイズ）が含まれる場合を想定する。たとえば、画素列ＬのＲ色成分信号、画素列ＭのＢ色成分信号をそれぞれ共通の増幅回路で増幅する構成で当該増幅回路に異常が生じた場合や、撮像素子２０２の画素列を構成するフォトダイオード等に共通に異常が含まれる場合などが想定される。図２では、異常信号に対応する画素位置を中間階調で表している。

以上のように撮像素子２０２の特定の画素列からの信号に突出ノイズが共通に発生すると、ノイズが発生した画素列からの信号は対応する色成分が強く（あるいは弱く）なることから、画像に縦線状ノイズが目立ってしまう。ランダムノイズ補正処理部２０５ａは、このような線状ノイズを抑制するために補正処理演算を行う。すなわち、あらかじめ指示されている列情報に対応する画素列（たとえば画素列Ｌ）に含まれる色成分信号(たとえばＲ信号)に対して補正処理を行う。

画像信号に突出ノイズが含まれるおそれがあるか否かは、電子カメラの製造時（または撮像素子２０２の交換時）に測定された結果に基づいて判定する。具体的には、撮像素子２０２の撮像面を一様な低輝度とする条件下で撮像を行い、この場合に得られる画像信号について各画素列ごとの信号値の標準偏差（列）を算出する。全ての画素列の標準偏差（列）の平均を当該電子カメラの撮像信号の標準偏差（全体）として取り扱い、画素列単位の信号値の標準偏差（列）が上記標準偏差（全体）の所定倍数（たとえば１．３倍）を超える画素列が存在する場合、当該画素列について、突出ノイズを含むおそれがある画素列と判定する。

本実施形態では、突出ノイズを含むおそれがある画素列からの信号値の標準偏差（列）を所定倍（たとえば４倍）した値を判定閾値th1とする。また、全ノイズに対する突出ノイズの割合が所定値（たとえば２０％）未満となる露光量に対応する信号値を判定閾値th2とする。通常、露光量が増えるほどショットノイズが増加して突出ノイズの割合が減少する。図２に例示したような突出ノイズを含むおそれがある画素列（異常信号に対応する画素位置）を示す列情報、判定閾値th2およびth1を示す情報は、それぞれ電子カメラの固有情報としてＲＯＭ２１２内に格納される。

＜撮影処理＞
図３は、ランダムノイズ補正を含む撮影処理の流れを説明するフローチャートである。ＣＰＵ２１１は、電子カメラのシャッターボタン（不図示）の半押し操作を示す操作信号が入力されると、図３の処理を実行するプログラムを起動する。図３のステップＳ１１において、ＣＰＵ２１１は、温度検出センサ２１４から温度検出信号を入力してステップＳ１２へ進む。これにより、撮像素子２０２の温度情報が得られる。

ステップＳ１２において、ＣＰＵ２１１はレリーズ操作されたか否かを判定する。ＣＰＵ２１１は、シャッターボタン（不図示）の全押し操作を示す操作信号が入力された場合にステップＳ１２を肯定判定し、所定の撮像動作を行ってステップＳ１３へ進む。全押し操作信号が入力されない場合にはステップＳ１２を否定判定し、ステップＳ１１へ戻る。

ステップＳ１３において、ＣＰＵ２１１は、撮像素子２０２から画像信号を読み出す指示を行ってステップＳ１４へ進む。具体的には、タイミングジェネレータ２０４から撮像素子２０２へ駆動信号を送出させることにより、列方向に並ぶフォトダイオードのうち、不図示のＭＯＳトランジスタで選択されたフォトダイオードからの蓄積信号が列信号ライン（不図示）へ出力される。蓄積信号は、フォトダイオードで蓄積された電荷を電圧に変換した信号である。出力された蓄積信号は、ＡＦＥ回路２０３でディジタル化され、ＤＦＥ回路２０５へ送られる。

ステップＳ１４において、ＣＰＵ２１１は、温度情報に対応する判定閾値th1およびth2をＲＯＭ２１２からそれぞれ読み出してステップＳ１５へ進む。判定閾値th1およびth2については後述する。ステップＳ１５において、ＣＰＵ２１１はＤＦＥ回路２０５へ指示を送り、ランダムノイズ補正処理を行わせてステップＳ１６へ進む。これにより、ランダムノイズ補正処理部２０５ａが補正演算を行い、ＤＦＥ回路２０５が補正後の画像信号を画像処理演算２０６へ送出する。ランダムノイズ補正処理の詳細については後述する。

ステップＳ１６において、ＣＰＵ２１１は画像処理演算２０６へ演算指示を送り、上述した画像処理を行わせてステップＳ１７へ進む。ステップＳ１７において、ＣＰＵ２１１は圧縮回路２０７へ演算指示を送り、上述した画像圧縮処理を行わせてステップＳ１８へ進む。ステップＳ１８において、ＣＰＵ２１１はメモリＩ／Ｆ２０９へ指示を送り、記録媒体２５０に圧縮処理後の画像データを含む画像ファイルを記録させて図３による処理を終了する。

＜ランダムノイズ補正処理＞
ランダムノイズ補正処理の詳細について、図４のフローチャートを参照して説明する。ランダムノイズ補正処理部２０５ａは、突出ノイズを含むおそれのある画素列について、たとえば画素列上部に位置する画素から画素列下部に位置する画素まで順番に補正対象座標を移動させながらランダムノイズ補正処理を行う。ランダムノイズ補正処理を行うべき列情報は、当該情報をＲＯＭ２１２から読み出したＣＰＵ２１１より受け取る。

図４のステップＳ１５１において、ランダム補正処理部２０５ａは、局所平均値meanを算出してステップＳ１５２へ進む。図５は、補正対象座標およびその周囲の参照座標を説明する図である。図５において、画素列ＬのＲ色成分信号について補正処理を行う場合の補正対象座標P(x,j)を□で表し、局所平均算出用の参照座標を○で表す。

ランダムノイズ補正処理部２０５ａは、次式（１）を用いて局所平均値meanを算出する。
mean = {P(x-2,j-2)+P(x-2,j)+P(x-2,j+2)+P(x,j-2)+P(x,j)+P(x,j+2)+
P(x+2,j-2)+P(x+2,j)+P(x+2,j+2)}／9 （１）
ただし、カラーフィルタがBayer配列の場合の算出式である。上式（１）によれば、注目座標（補正対象座標）を挟んで上下左右および斜め方向に近接する同色成分（Ｒ成分）の信号に対応する位置が参照座標として用いられる。

ステップＳ１５２において、ランダムノイズ補正処理部２０５ａは局所平均値meanと判定閾値th2との間でmean＜th2が成立するか否かを判定する。ランダムノイズ補正処理部２０５ａは、mean＜th2が成立する場合にステップＳ１５２を肯定判定してステップＳ１５３へ進む。ステップＳ１５３へ進む場合はランダムノイズ補正処理を行う。

一方、ランダムノイズ補正処理部２０５ａは、mean＜th2が成立しない場合にはステップＳ１５２を否定判定し、ステップＳ１５９へ進む。ステップＳ１５９へ進む場合は全ノイズに対する突出ノイズの割合が上記所定値（たとえば２０％）未満のため、ランダムノイズ補正処理を行わない。

ステップＳ１５３において、ランダムノイズ補正処理部２０５ａは、補正対象座標近傍における正常値の最大値max1および最小値min1を求めてステップＳ１５４へ進む。正常値は、突出ノイズを含むおそれのある画素列と異なる画素列（以降、突出ノイズを含まない画素列と呼ぶ）から出力された信号値である。図６は、補正対象座標およびその周囲の参照座標を説明する図である。図６において、画素列ＬのＲ色成分信号について補正処理を行う場合の補正対象座標P(x,j)を□で表し、最大値max1および最小値min1検出用の参照座標を○で表す。

ランダムノイズ補正処理部２０５ａは、次式（２）で示される座標に対応する信号値の中から、最大値max1および最小値min1をそれぞれ検出する。
P(x-2,j-2), P(x-2,j), P(x-2,j+2), P(x+2,j-2), P(x+2,j), P(x+2,j+2) （２）
ただし、カラーフィルタがBayer配列の場合の式である。上式（２）によれば、注目座標（補正対象座標）に対して左右に近接する画素列（突出ノイズを含まない画素列）の同色成分（Ｒ成分）の信号に対応する位置が参照座標として用いられる。

ステップＳ１５４において、ランダムノイズ補正処理部２０５ａは、補正対象座標近傍における異常値の大小それぞれ２番目の値（max2およびmin2）を求めてステップＳ１５５へ進む。異常値は、突出ノイズを含むおそれのある画素列から出力された信号値である。図７は、補正対象座標およびその周囲の参照座標を説明する図である。図７において、画素列ＬのＲ色成分信号について補正処理を行う場合の補正対象座標P(x,j)を□で表し、２番目に大きい値max2および２番目に小さい値min2を検出用の参照座標を○で表す。

ランダムノイズ補正処理部２０５ａは、次式（３）で示される座標に対応する信号値の中から、２番目に大きい値max2および２番目に小さい値min2をそれぞれ検出する。
P(x,j-2), P(x,j+2) （３）
ただし、カラーフィルタがBayer配列の場合の式である。上式（３）によれば、注目座標（補正対象座標）と同列（突出ノイズを含むおそれのある画素列）の上下に近接する画素列の同色成分（Ｒ成分）の信号に対応する位置が参照座標として用いられる。

ステップＳ１５５において、ランダムノイズ補正処理部２０５ａは、注目座標（補正対象座標）に対応する信号値について、max＜P(x,j)＜(max＋th1)が成立するか否かを判定する。ただし、max1およびmax2のうち大きい方をmaxとする。ランダムノイズ補正処理部２０５ａは、max＜P(x,j)＜(max＋th1)が成立する場合にステップＳ１５５を肯定判定してステップＳ１５６へ進む。ランダムノイズ補正処理部２０５ａは、max＜P(x,j)＜(max＋th1)が成立しなければステップＳ１５５を否定判定し、ステップＳ１５７へ進む。

ステップＳ１５６において、ランダムノイズ補正処理部２０５ａは、補正後の信号値P'(x,j)＝maxとして図４による処理を終了する。

ステップＳ１５７において、ランダムノイズ補正処理部２０５ａは、注目座標（補正対象座標）に対応する信号値について、(min−th1)＜P(x,j)＜minが成立するか否かを判定する。ただし、min1およびmin2のうち小さい方をminとする。ランダムノイズ補正処理部２０５ａは、(min−th1)＜P(x,j)＜minが成立する場合にステップＳ１５７を肯定判定してステップＳ１５８へ進む。ランダムノイズ補正処理部２０５ａは、(min−th1)＜P(x,j)＜minが成立しなければステップＳ１５７を否定判定し、ステップＳ１５９へ進む。

ステップＳ１５８において、ランダムノイズ補正処理部２０５ａは、補正後の信号値P'(x,j)＝minとして図４による処理を終了する。ステップＳ１５９において、ランダムノイズ補正処理部２０５ａは、補正後の信号値P'(x,j)＝P(x,j)として図４による処理を終了する。ステップＳ１５９では補正前の信号値を補正後の信号値へそのまま代入するため、ランダムノイズ補正処理を行わないことと等価である。

画素列ＬのＲ色成分信号について補正処理を行う例を説明したが、画素列ＭのＢ成分信号について補正処理を行う場合も同様である。

本実施形態では、温度センサ２１４による検出温度ごとに複数組の判定閾値th1,th2が設けられている。たとえば、０℃〜４０℃の範囲で温度を検出可能な場合、検出温度Ｔに応じて用いる９組（５℃刻み）の判定閾値をth1(t),th2(t)とする。ただし、(t)は(1)〜(9)である。温度に応じた補正係数を設ける理由は、撮像素子２０２のフォトダイオードに流れる暗電流が変化することに起因する影響を補正するためである。なお、フォトダイオードに流れる暗電流は、温度上昇に伴って増加する。

判定閾値をth1(t),th2(t)は、あらかじめＲＯＭ２１２内にテーブルデータとして格納されている。ランダムノイズ補正処理部２０５ａは、ＣＰＵ２１１から温度センサ２１４による温度情報を取得し、対応する閾値をＲＯＭ２１２から読み出して上記補正処理演算を行う。

以上説明した実施形態によれば、以下の作用効果が得られる。
（１）電子カメラは、画像信号に含まれる突出ノイズによる画質劣化を平滑化処理を行うことによって抑える。そして、画像における補正対象座標と異なる画素列から出力された信号値（突出ノイズを含まない正常な信号値）を参照して平滑化する場合と、補正対象座標と同じ画素列から出力された信号値（突出ノイズを含むおそれがある信号値）を参照して平滑化する場合とで異なる処理を行う。具体的には、特定の方向（補正対象座標が含まれる画素列と同方向）に突出ノイズが連続する場合において、補正対象座標を挟んで近接する参照座標のうち少なくとも一方の座標からの信号値を必ず参照する。これにより、上記特定の方向に画像が線構造を有する場合に、この線を保持するように突出ノイズによる信号値を平滑化し、突出ノイズが画像に及ぼす影響を適切に抑えることができる。

（２）max-minフィルタ処理で平滑化を行う際、補正対象座標と異なる画素列から出力された信号値（正常な信号値）を参照する場合は１番大きい値を最大値max1とし、補正対象座標と同じ画素列から出力された信号値（突出ノイズを含むおそれがある信号値）を参照する場合は２番目に大きい値を最大値max2とする。平滑化に用いる最大値maxは、最大値max1および最大値max2のうち大きい方とする。これにより、突出ノイズを含むおそれがある場合は１番大きい突出ノイズ成分の値でなく２番目に大きい値に近づけるように平滑化でき、突出ノイズを含まない場合には１番大きい値に近づけるように平滑化できる。

（３）補正対象座標の信号値が、最大値maxに判定閾値th1を加えた値より大きい場合には平滑化を行わないので、上記特定の方向に画像本来の線状構造を有する場合に、この構造を消失するおそれを抑制できる。

（４）max-minフィルタ処理で平滑化を行う際、補正対象座標と異なる画素列から出力された信号値（正常な信号値）を参照する場合は１番小さい値を最小値min1とし、補正対象座標と同じ画素列から出力された信号値（突出ノイズを含むおそれがある信号値）を参照する場合は２番目に小さい値を最小値min2とする。平滑化に用いる最小値minは、最小値min1および最小値min2のうち小さい方とする。これにより、突出ノイズを含むおそれがある場合は１番小さい突出ノイズ成分の値でなく２番目に小さい値に近づけるように平滑化でき、突出ノイズを含まない場合には１番小さい値に近づけるように平滑化できる。

（５）補正対象座標の信号値が、最小値minから判定閾値th1を減じた値より小さい場合には平滑化を行わないので、上記特定の方向に画像本来の線状構造を有する場合に、この構造を消失するおそれを抑制できる。

（６）判定閾値th1は撮像素子２０２からの信号を実測して得るようにしたので、素子間のばらつきによる影響を受けにくい。また、撮像素子２０２の温度に応じた値を平滑化処理に用いるようにしたので、温度変動による影響を受けにくい。

（６）補正対象座標および補正対象座標の近傍に対応する信号の平均値（局所平均値）meanが判定閾値th2より小さい場合に平滑化処理を行い、局所平均値meanが判定閾値th2より大きい場合は平滑化処理を行わないようにした。これにより、突出ノイズが目立つ条件でのみ選択的に平滑化処理を行うことができ、処理の負担を軽減できる上に、平滑化処理による画像構造の消失のおそれを抑制できる。

（７）判定閾値th2は撮像素子２０２からの信号を実測して得るようにしたので、素子間のばらつきによる影響を受けにくい。また、撮像素子２０２の温度に応じた値を平滑化処理に用いるようにしたので、温度変動による影響を受けにくい。

（変形例１）
上述した説明では、判定閾値th1およびth2について、あらかじめ複数の温度下で実測して得た値をＲＯＭ２１２に記憶しておき、撮像素子２０２の温度に応じた値をＲＯＭ２１２から読み出して用いるようにした。この代わりに、あらかじめ複数の温度下で実測して得た値のうち、突出ノイズが最も大きくなる温度における値をＲＯＭ２１２に記憶しておき、平滑化処理においてはこの値（突出ノイズが最も大きくなる温度における値）を用いるように構成してもよい。

（変形例２）
撮像素子２０２上に原色カラーフィルタがBayer配列されている例を説明したが、補色フィルタが設けられている場合にも本発明を適用してよい。また、フィルタの配列はBayer配列に限らず、デルタ配列をはじめとする他のフィルタ配列の場合にも適用して構わない。なお、フィルタ配列がBayer配列と異なる場合は、同色成分の信号が対応するように上式（１）〜（３）を適宜変更して用いればよい。

（変形例３）
ステップＳ１５４において補正対象座標近傍における異常値の大小それぞれ２番目の値（max2およびmin2）を求める場合に、２つの参照座標に対応する信号値から検出するようにしたが、４つの参照座標に対応する信号値から検出するようにしてもよい。図８は、補正対象座標およびその周囲の参照座標を説明する図である。図８において、画素列ＬのＲ色成分信号について補正処理を行う場合の補正対象座標P(x,j)を□で表し、２番目に大きい値max2および２番目に小さい値min2を検出用の参照座標を○で表す。

ランダムノイズ補正処理部２０５ａは、上式（３）に代えて次式（４）で示される座標に対応する信号値の中から、２番目に大きい値max2および２番目に小さい値min2をそれぞれ検出する。
P(x,j-4), P(x,j-2), P(x,j+2), P(x,j+4) （４）
ただし、カラーフィルタがBayer配列の場合の式である。上式（４）によれば、注目座標（補正対象座標）と同列（突出ノイズを含むおそれのある画素列）で補正対象座標に近接する上下それぞれ２つの同色成分（Ｒ成分）の信号に対応する位置が参照座標として用いられる。他の処理は上述した実施形態と同様に行う。

変形例３によれば、平滑化処理による画像構造の消失のおそれをさらに抑制でき、突出ノイズによる影響をさらに抑制できる。

（変形例４）
変形例４では、注目座標（補正対象座標）と同列（突出ノイズを含むおそれのある画素列）で補正対象座標に近接する上２つの同色成分（Ｒ成分）の信号に対応する位置を参照座標として、この座標に対応する信号値の中から２番目に大きい値max2および２番目に小さい値min2をそれぞれ検出する。さらに、注目座標（補正対象座標）と同列（突出ノイズを含むおそれのある画素列）で補正対象座標に近接する下２つの同色成分（Ｒ成分）の信号に対応する位置を参照座標として、この座標に対応する信号値の中から２番目に大きい値max3および２番目に小さい値min3をそれぞれ検出する。

図９は、補正対象座標およびその周囲の参照座標を説明する図である。図９において、画素列ＬのＲ色成分信号について補正処理を行う場合の補正対象座標P(x,j)を□で表し、補正対象座標の上側で２番目に大きい値max2および２番目に小さい値min2を検出用の参照座標を○で表す。また、補正対象座標の下側で２番目に大きい値max3および２番目に小さい値min3を検出用の参照座標を◎で表す。

変形例４の場合のＣＰＵ２１１は、平滑化に用いる最大値maxを、最大値max1,max2およびmax3のうち最も大きい値とする。また、平滑化に用いる最小値minを、最小値min1,min2および最小値min3のうち最も小さい値とする。他の処理は上述した実施形態と同様に行う。

変形例４によれば、平滑化処理による画像構造の消失のおそれをさらに抑制でき、突出ノイズによる影響をさらに抑制できる。

電子カメラ内でランダムノイズ補正処理を実行する例を説明したが、ステップＳ１３〜ステップＳ１５（図３）による処理を行う画像処理プログラムを図１０に示すコンピュータ装置１０に実行させることにより、突出ノイズによる影響を抑える画像処理装置を構成してもよい。画像処理プログラムをパーソナルコンピュータ１０に取込んで使用する場合には、パーソナルコンピュータ１０のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。

画像処理装置は、電子カメラで撮影された画像を格納したファイル、および電子カメラの固有情報としてＲＯＭ２１２に格納されている突出ノイズを含むおそれがある画素列情報、判定閾値th2およびth1を示す情報をそれぞれ読み込み、当該画像に対してランダムノイズ補正処理を行う。

パーソナルコンピュータ１０に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１０にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１０へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像処理プログラムは、記録媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。 撮像素子の画素配列を例示する図である。 ランダムノイズ補正を含む撮影処理の流れを説明するフローチャートである。 ランダムノイズ補正処理の詳細について説明するフローチャートである。 補正対象座標およびその周囲の参照座標を説明する図である。 補正対象座標およびその周囲の参照座標を説明する図である。 補正対象座標およびその周囲の参照座標を説明する図である。 補正対象座標およびその周囲の参照座標を説明する図である。 補正対象座標およびその周囲の参照座標を説明する図である。 コンピュータ装置を例示する図である。

符号の説明

２０１…撮影レンズ
２０２…撮像素子
２０５…ＤＦＥ回路
２０５ａ…ランダムノイズ補正処理部
２１１…ＣＰＵ
２１２…ＲＯＭ
２１４…温度センサ

Claims (13)

1. 画像上で所定方向に並ぶ画素列を示す情報を取得する情報取得手段と、
   前記画像を構成するデータ群のうち前記情報に対応する第１データ群に対して平滑化処理を行う平滑化手段と、
   前記第１データ群に含まれるデータを参照する場合と、前記第１データ群と異なる第２データ群に含まれるデータを参照する場合とで異なる平滑化処理を行うように前記平滑化手段を制御する制御手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記平滑化手段は、前記第１データ群に含まれる参照データの中でｎ番目（ｎ＞２）に大きいデータ、および前記第２データ群に含まれる参照データの中で１番目に大きいデータのうち大きい方のデータを参照最大値とし、前記平滑化の対象データが前記参照最大値より大きい場合、前記対象データを小さくするように補正することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記平滑化手段は、前記平滑化の対象データが前記参照最大値と所定値との和より小さい場合、当該対象データを小さくするように補正することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記平滑化手段は、前記第１データ群に含まれる参照データの中でｎ番目（ｎ＞２）に小さいデータ、および前記第２データ群に含まれる参照データの中で１番目に小さいデータのうち小さい方のデータを参照最小値とし、前記平滑化の対象データが前記参照最小値より小さい場合、前記対象データを大きくするように補正することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記平滑化手段は、前記平滑化の対象データが前記参照最小値から所定値を引いた差より大きい場合、当該対象データを大きくするように補正することを特徴とする画像処理装置。
6. 請求項３または５に記載の画像処理装置において、
   前記所定値は、前記画像を撮像する撮像装置で生じるノイズデータに基づいて設定されることを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記平滑化手段は、前記画像を撮像した時の温度情報に応じて前記所定値を変化させることを特徴とする画像処理装置。
8. 請求項１〜請求項７のいずれか一項に記載の画像処理装置において、
   前記平滑化手段は、前記平滑化の対象データおよび前記画像上において前記対象データの近傍に対応するデータの局所平均値が所定の判定閾値より小さい場合に、前記平滑化処理を行うことを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記判定閾値は、前記画像を撮像する撮像装置で生じるノイズデータに基づいて設定されることを特徴とする画像処理装置。
10. 請求項１〜請求項９のいずれか一項に記載の画像処理装置において、
    前記画像を構成するデータは第１の色成分データと第２の色成分データとを含み、
    前記平滑化手段は、同色成分同士のデータを用いて前記平滑化処理を行うことを特徴とする画像処理装置。
11. 請求項１〜請求項１０のいずれか一項に記載の画像処理装置を搭載することを特徴とするカメラ。
12. 画像上で所定方向に並ぶ画素列を示す情報を取得する第１処理と、
    前記画像を構成するデータのうち前記情報に対応する第１データ群を参照して第１参照値を得る第２処理と、
    前記画像を構成するデータのうち前記第１データ群と異なる第２データ群を参照して第２参照値を得る第３処理と、
    前記第１参照値および前記第２参照値を用いて前記第１データ群を平滑化する第４処理とをコンピュータ装置に実行させることを特徴とする画像処理プログラム。
13. 画像上で所定方向に並ぶ画素列を示す情報を取得する第１処理と、
    前記画像を構成するデータのうち前記情報に対応する第１データ群を参照して第１参照値を得る第２処理と、
    前記画像を構成するデータのうち前記第１データ群と異なる第２データ群を参照して第２参照値を得る第３処理と、
    前記第１参照値および前記第２参照値を用いて前記第１データ群を平滑化する第４処理とを行うことを特徴とする画像処理方法。

Images