JP2005267366A - 画像のノイズ除去方法、画像のノイズ除去装置、電子機器及びノイズ除去プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 画像全体に均一なノイズ除去画像を生成することが可能な画像のノイズ除去方法、画像のノイズ除去装置、電子機器及びノイズ除去プログラム及びそのプログラムを記録した記録媒体を提供する。
【解決手段】 画像のノイズ除去方法及び装置は、取得された画像データから、ノイズを除去する対象画素とレンズ中心の画素との距離を算出する距離計算手段１２、距離計算値を基にノイズを除去する対象画素のノイズの除去度合を設定するノイズ除去度合設定手段１３、設定されたノイズ除去度合に合わせてノイズを除去する画像ノイズ除去手段１４をソフトウェア又はハードウェアにより実現する。
【選択図】 図１

Description

本発明は、画像のノイズを除去する画像のノイズ除去方法、画像のノイズ除去装置、電子機器及びノイズ除去プログラム及びそのプログラムを記録した記録媒体に関する。

近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、ＰＤＡ（Personal Digital Assistants）や携帯電話機などの携帯型装置にカメラを内蔵することが可能となっている。これらの内蔵カメラは、小型であるため一般的なデジタルカメラよりもレンズの性能が悪いのでレンズ歪みが大きい。そのためレンズの中心から離れるほど、画像が暗くなったり色ずれが起きたりする性質をもっている。

このような画像が暗くなる性質を補うために通常、携帯型装置などに内蔵されるカメラは、レンズの中心から離れるほどゲインを大きくするシェーディング処理を行うことで画像の隅が暗くなることを補っている。しかしこのシェーディング処理を行うことによって、ノイズも増えることになる。

従来、ノイズを除去するため画像のノイズ処理は、画像全体に対して一律にノイズ除去処理をかけている。

例えば、特許文献１には、画像のノイズを除去するためにイプシロンフィルタ（ε−フィルタ）と呼ばれる非線形フィルタを利用して画像全体に一律に処理をかけるノイズ除去システムが開示されている。
特開平８−１２３９５９号公報

しかしながら、このような従来のノイズ除去方法にあっては、画像全体に対して一律にノイズ処理をかけていたため、一律にノイズ除去をしてしまうと、シェーディング処理のかかった画像では、画像の中心部分と周辺部分でノイズの除去具合が合わず、画像全体の見た目が低下するという課題があった。

本発明は、このような課題に鑑みてなされたものであって、画像全体に均一なノイズ除去画像を生成することが可能な画像のノイズ除去方法、画像のノイズ除去装置、電子機器及びノイズ除去プログラム及びそのプログラムを記録した記録媒体を提供することを目的とする。

本発明の画像のノイズ除去方法は、画像データからノイズを除去する画像のノイズ除去方法において、ノイズを除去する対象画素（注目画素）とレンズ中心の画素との距離を計算する距離計算ステップと、計算された画素の距離の値を基にノイズ除去度合を設定するノイズ除去度合設定ステップと、設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去する画像ノイズ除去ステップとを有することを特徴としている。

ノイズ除去を行う前記画像データは、輝度画像のみに対してノイズ除去を行う、色差画像のみに対してノイズ除去を行う、又はその両方に対してノイズ除去を行うものであってもよい。
前記画像データは、カメラの撮像素子から得られる画像データであってもよい。

本発明の画像のノイズ除去装置は、画像データからノイズを除去する画像のノイズ除去装置において、ノイズを除去する対象画素（注目画素）とレンズ中心の画素との距離を計算する距離計算手段と、計算された画素の距離の値を基にノイズ除去度合を設定するノイズ除去度合設定手段と、設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去する画像ノイズ除去手段とを備えることを特徴としている。

本発明の電子機器は、画像データを取り込み可能な電子機器において、上記画像のノイズ除去装置を備えることを特徴としている。

別の観点から、本発明は、画像のノイズ除去方法において、ノイズを除去する対象画素とレンズ中心の画素との距離を計算するステップと、計算された画素の距離の値を基にノイズ除去度合を設定するステップと、設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去するステップとをコンピュータに実行させるためのプログラムである。

本発明は、画像のノイズ除去方法において、ノイズを除去する対象画素とレンズ中心の画素との距離を計算するステップと、計算された画素の距離の値を基にノイズ除去度合を設定するステップと、設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去するステップとをコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。

以上、詳述したように、本発明によれば、シェーディング処理などの処理により画像の中心と画像の周辺部分でノイズ量が異なることによって、ノイズ除去後の画像に中心部分と周辺部分でノイズの除去具合が合わない問題に対して、画像全体に均一なノイズ除去画像を生成することができるため、画像の全体の見た目がよくなる効果がある。

以下、添付図面を参照しながら本発明の好適な画像のノイズ除去方法、ノイズ除去装置及び電子機器の実施の形態について詳細に説明する。

図１は、本発明の実施の形態の画像のノイズ除去方法及び装置のノイズ除去処理を説明するブロック図である。ノイズ除去装置を備える電子機器としてカメラ付き携帯電話機／ＰＨＳ（Personal Handy-Phone System）の携帯端末装置に適用することができる。

図１において、画像のノイズ除去装置は、カメラの撮像素子から画像データを受け取る画像データ取得手段１１と、この取得された画像データから、ノイズを除去する対象画素（注目画素）とレンズ中心の画素との距離を算出する距離計算手段１２と、距離計算手段１２により得られた値を利用して、ノイズを除去する対象画素のノイズの除去具合（度合）を算出して設定するノイズ除去度合設定手段１３と、ノイズ除去度合設定手段１３で設定されたノイズ除去度合に合わせてノイズを除去する画像ノイズ除去手段１４と、画像ノイズ除去手段１４によりノイズ除去された画像を保存し、他の処理へ出力する画像データ出力手段１５とを備えて構成される。

距離計算手段１２は、画像の中心として、撮像素子の水平方向の中心及び垂直方向の中心及びレンズの中心とのずれを補正するために水平方向のオフセット値と垂直方向のオフセット値を利用する。そして、ノイズ除去を行う対象画素と補正されたレンズ中心画像の画素の距離をユークリッド距離あるいは４近傍距離を用いて以下の２つの式（１）又は式（２）どちらかで算出する。

Length＝（ｉ−CENTER_X＋OFFSET_X）×（ｉ−CENTER_X＋OFFSET_X）＋
（ｊ−CENTER_Y＋OFFSET_Y）×（ｊ−CENTER_Y＋OFFSET_Y） …（１）
Length＝|（ｉ−CENTER_X＋OFFSET_X）|＋|（ｊ−CENTER_Y＋OFFSET_Y|
…（２）

ここで、
ｉは、ノイズ除去対象画像の水平方向のｉ番目
ｊは、ノイズ除去対象画像の垂直方向のｊ番目
CENTER_Xは、撮像素子の水平方向の中心
CENTER_Yは、撮像素子の垂直方向の中心
OFFSET_Xは、レンズ中心に調整するためずれを補正する水平方向のオフセット値
OFFSET_Yは、レンズ中心に調整するためずれを補正する垂直方向のオフセット値

式（１）と式（２）の方法を比較すると、距離算出の精度では、式（１）の方が優れており、処理にかかる時間は、式（２）の方が早い利点がある。

上記式（１）又は式（２）のいずれの方法を用いてもよく、本実施の形態ではいずれの方法でも実現可能である。

ノイズ除去度合設定手段１３では、上記の距離計算手段１２から得られた値（Lengthとする）を利用して、ノイズ除去度合値（αとする）をノイズ除去度合設定関数により求める。ノイズ除去度合関数は、カメラの撮像素子、レンズの特性及びその他のデバイス特性に依存して、予め設定されるものである。

図２は、上記ノイズ除去度合設定関数の例を示す図である。横軸は、距離計算手段１２から得られた値（Length）を示し、縦軸は、ノイズ除去度合値（α）を表している。

Lengthの値が０〜Ｘ０であれば区間０となり、Ｘ０〜Ｘ１ならば区間１となり、同様に、Ｘ１〜Ｘ２ならば区間２…となる。これら区間０〜５には、それぞれ直線の傾きが存在する。αは、これらから以下のようにして求める。
・SC_GAIN＝SC_SLOPE×（Length−SC_RANGE）…（３）
・SC_OFFSET（ｊ）＝SC_OFFFSET（ｊ−１）×SC_SLOPE（ｊ−１）（SC_RANGE（ｊ）−SC_RANGE（ｊ−１））…（４）

ここで、
SC_GAINは、Lengthの該当区間のゲイン
SC_SLOPEは、Lengthの該当区間の傾き
SC_RANGEは、Lengthの該当区間の開始地点
SC_SLOPE（ｊ）は、各区間の傾き（ｋ０，ｋ１，…，ｋn）
SC_RANGE（ｊ）は、各区間の開始地点（０，Ｘ１，…，Ｘ５）
ｎは、Lengthの値が該当している区間番号
ｊは、区間番号

ゲイン補正値は、αの値が０〜αMaxの間になるように調整する固定値であり、カメラの性能特性によって変化させるものである。αMaxは、ノイズ除去の最大度合を示すものである。

図２は、ノイズ除去度合設定関数の一例であり、区間数や各区間の開始地点や傾きを自由に設定することができるため、カメラの撮像素子、レンズの特性及びその他のデバイス特性などに合わせて調整することができる。

また、各注目画素（ノイズを除去させる画素）毎に上記の演算をしたのでは時間がかかるため、この処理時間を短縮するべく、Lengthの値とα値との、ルックアップテーブルを事前に作成しておき、このルックアップテーブルを参照することでα値を求めることにより処理速度の短縮化をすることも可能である。

画像ノイズ除去手段１４では、ノイズ除去度合設定手段１３より求められたα値を用いて、注目画素ｆ（ｉ，ｊ）の画像データからノイズ除去処理した画素ｈ（ｉ，ｊ）の画像データを以下の２つの式（６）又は式（７）いずれかの式で求める。

ここで、
（ｉ，ｊ）は画像のｉ番目の列とｊ番目の行
ｂ（ｉ，ｊ）は、図３の２３のようなローパス畳み込みオペレータ
ｃ（ｉ，ｊ）は、図３の２１や２２のようなパイパス畳み込みオペレータ
β、μは、ノイズ補正係数である固定値
αMaxは、ノイズ除去度合設定手段１３で示したα値の最大値
ｆ（ｉ，ｊ）は、元画像、ｈ（ｉ，ｊ）はノイズ除去後の出力画像

これらの演算の意味するところは、α値が大きくなると出力されるｈ（ｉ，ｊ）画像は、元画像が平滑化されやすく、ノイズの除去特性が強くなることを示している。

また、βやμのノイズ補正係数は、畳み込みオペレータの大きさに合わせて調整される値であり、３×３の畳み込みオペレータならば、βは１／９となり、μは１／８となる。

図３は、画像処理のオペレータ例を示す平面図である。図３のオペレータ２１〜２３で図示する畳み込み用フィルタは、３×３画素の９画素を示したが、５×５画素、７×７画素などのサイズの異なる畳み込み用オペレータを使用してもよい。

また、ノイズ除去処理を適応する画像データ信号は、色空間には関係なく適応させることが可能であり、輝度信号のみにノイズ除去処理を適応したり、色差信号のみにノイズ除去処理を適応したり、ＲＧＢ信号のそれぞれの信号に適応したりすることができる。

画像データ出力手段１５では、画像ノイズ除去手段１４によりノイズが除去された画像を保存して、表示用デバイスのメモリや記録ディスクデバイスのメモリなどに、ノイズ除去された画像データを渡すことを行う。

図４は、画像のノイズ除去処理を示すフローチャートであり、図中Ｓはフローの各ステップを示す。

まず、ステップＳ１で画像データ取得手段１１から入力画像データを受け取り、ｉ，ｊを０にして初期化する。ｉは、水平方向の画素順番を示し、ｊは垂直方向の画素順番を示すため、（ｉ，ｊ）が、ノイズ除去の対象となる画素を示すことになる。

ノイズ除去の対象画素が定まると、距離計算手段１２を用いた距離計算ステップＳ２により、ノイズを除去する対象画素とレンズ中心の画素との距離を算出する。次いで、距離計算ステップＳ２により得られた値を用いて、ノイズ除去度合設定手段１３を用いたノイズ除去度合設定ステップＳ３によりノイズの除去度合を設定し、画像ノイズ除去手段１４を用いた画像ノイズ除去ステップＳ４により、ノイズ除去した画像を求める。

ステップＳ５では、画像の水平方向の最大画素（Max_Horizontal）までｉが進んだか否かを確認する。ｉがMax_Horizontalよりも小さい場合には、画像の水平方向の最大画素（Max_Horizontal）までｉが進んでいないと判断し、ステップＳ７でｉを１つ増加（＋１インクリメント）して上記ステップＳ２に戻り処理を繰り返す。

ｉがMax_Horizontal以上のときは、ステップＳ６で画像の垂直方向の最大画素（Max_Vertical）までｊが進んだか否かを確認する。ｊがMax_Verticalよりも小さい場合には、画像の垂直方向の最大画素（Max_Vertical）までｊが進んでいないと判断し、ステップＳ７でｊを１つ増加（＋１インクリメント）させるとともに、ｉを０にして、上記ステップＳ２に戻り処理を繰り返す。ｊがMax_Verticalよりも大きい場合には、画像のノイズ除去処理を終了する。

ここで、上記フローチャートでは、ノイズ除去を行う対象画素をラスタスキャン方式による方法で順番を決定していたが、画像の全画素が最終的に１回ノイズ除去を行う対象画素になるならば、ノイズ除去を行う対象画素はどのような順番でもよい。

以上の処理は主にソフトウェア的な処理で実現している。しかしながら、本発明は必ずしもソフトウェア的な処理に限るものではなく、ハードウェアによるロジック回路で実現することもできる。

図５は、ハードウェアロジックで実現した画像のノイズ除去装置の構成を示すブロック図である。

図５において、画像のノイズ除去装置４０は、ノイズを除去する対象画素とレンズ中心の画素との距離を計算する距離計算回路４１（距離計算手段）と、計算された画素の距離の値を基にノイズ除去度合を設定するノイズ除去度合設定回路４２（ノイズ除去度合設定手段）と、設定されたノイズ除去度合に基づいて画像データに対してノイズを除去する画像ノイズ除去回路４３（画像ノイズ除去手段）とを備えて構成される。

入力画像データは距離計算回路４１に入力されて、各ノイズを除去する対象画素とレンズ中心の画素との距離が計算され、その値がノイズ除去度設定回路４２に入力され、各画素のノイズの除去度合が求められる。ノイズ除去回路４３では、ノイズの除去度合値を基に入力画像データに、ノイズ除去処理を行い、その画像結果を出力画像データとして出力する。

以上のように、本実施の形態の画像のノイズ除去方法及び装置は、取得された画像データから、ノイズを除去する対象画素とレンズ中心の画素との距離を算出する距離計算手段１２、距離計算値を基にノイズを除去する対象画素のノイズの除去度合を設定するノイズ除去度合設定手段１３、設定されたノイズ除去度合に合わせてノイズを除去する画像ノイズ除去手段１４をソフトウェア又はハードウェアにより実現しているので、シェーディング処理などの処理により画像の中心と画像の周辺部分でノイズ量が異なることによって、ノイズ除去後の画像に中心部分と周辺部分でノイズの除去具合が合わない不具合に対して、画像全体に均一なノイズ除去画像を生成することができ、画像の全体の見た目を向上させることができる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。

なお、本発明の実施の形態は、上記の実施例に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。また、応用に関しても同様である。例えば、図４のフローチャートでは、ノイズ除去を行う対象画素をラスタスキャン方式による方法で順番を決定していたが、画像の全画素が最終的に１回ノイズ除去を行う対象画素になるならば、ノイズ除去を行う対象画素はどのような順番でもよい。

また、画像のノイズ除去方法及び装置を有する電子機器であればどのような装置にも適用できる。例えば、電子機器としてデジタルカメラやカメラ付き携帯電話装置、ＰＤＡ等の携帯情報端末、パソコン等の情報処理装置など、カメラ（内蔵／外付け）を備えた装置にも適用可能である。また、読み取り対象となる画像は、どのような画像データであってもよい。

また、上記実施の形態では、画像のノイズ除去方法及び装置という名称を用いたが、これは説明の便宜上であり、画像ノイズ除去システム、シェーディング処理方法等でもよいことは勿論である。

また、上記実施の形態では、図２に示すノイズ除去度合設定関数は一例であって他の例でもよいことは言うまでもない。

また、上記画像のノイズ除去装置を構成する各回路部の種類、数及び接続方法などは前述した実施の形態に限られない。

また、以上説明した画像のノイズ除去方法及び装置は、これら画像のノイズ除去方法及び装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、図１に示されている各手段を実行する制御部のメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムは制御部３１のＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。

ここで、上記プログラムメディアは、携帯端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード（登録商標）、スマートメディア（登録商標）、ＩＣカード、ＳＤカード（登録商標）、メモリースティック（登録商標）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。

さらに、インターネット接続プロバイダ又はサーバ端末等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。

本発明の実施の形態の画像のノイズ除去方法及び装置のノイズ除去処理を説明するブロック図である。 本実施の形態の画像のノイズ除去方法及び装置のノイズ除去度合設定関数の一例である。 本実施の形態の画像のノイズ除去方法及び装置の画像処理のオペレータ例を示す平面図である。 本実施の形態の画像のノイズ除去方法及び装置の画像のノイズ除去処理を示すフローチャートである。 本実施の形態の画像のノイズ除去方法及び装置のハードウェアロジックで実現した画像のノイズ除去装置の構成を示すブロック図である。

符号の説明

１１ 画像データ取得手段
１２ 距離計算手段
１３ ノイズ除去度合設定手段
１４ 画像ノイズ除去手段
１５ 画像データ出力手段
４０ 画像のノイズ除去装置
４１ 距離計算回路（距離計算手段）
４２ ノイズ除去度合設定回路（ノイズ除去度合設定手段）
４３ 画像ノイズ除去回路（画像ノイズ除去手段）

Claims (7)

1. 画像データからノイズを除去する画像のノイズ除去方法において、
   ノイズを除去する対象画素とレンズ中心の画素との距離を計算する距離計算ステップと、
   計算された画素の距離の値を基にノイズ除去度合を設定するノイズ除去度合設定ステップと、
   設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去する画像ノイズ除去ステップと
   を有することを特徴とする画像のノイズ除去方法。
2. ノイズ除去を行う前記画像データは、輝度画像のみに対してノイズ除去を行う、色差画像のみに対してノイズ除去を行う、又はその両方に対してノイズ除去を行うことを特徴とする請求項１記載の画像のノイズ除去方法。
3. 前記画像データは、カメラの撮像素子から得られる画像データであることを特徴とする請求項１又は２に記載の画像のノイズ除去方法。
4. 画像データからノイズを除去する画像のノイズ除去装置において、
   ノイズを除去する対象画素とレンズ中心の画素との距離を計算する距離計算手段と、
   計算された画素の距離の値を基にノイズ除去度合を設定するノイズ除去度合設定手段と、
   設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去する画像ノイズ除去手段と
   を備えることを特徴とする画像のノイズ除去装置。
5. 画像データを取り込み可能な電子機器において、
   請求項４記載の画像のノイズ除去装置を備えることを特徴とする電子機器。
6. 画像のノイズ除去方法において、ノイズを除去する対象画素とレンズ中心の画素との距離を計算するステップと、計算された画素の距離の値を基にノイズ除去度合を設定するステップと、設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去するステップとをコンピュータに実行させるためのプログラム。
7. 画像のノイズ除去方法において、ノイズを除去する対象画素とレンズ中心の画素との距離を計算するステップと、計算された画素の距離の値を基にノイズ除去度合を設定するステップと、設定された前記ノイズ除去度合に基づいて前記画像データに対してノイズを除去するステップとをコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images