JP2011254223A

JP2011254223A - 画像処理装置およびそれを備えた電子機器

Info

Publication number: JP2011254223A
Application number: JP2010125812A
Authority: JP
Inventors: Yusuke Tanji; 佑介丹治
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-06-01
Filing date: 2010-06-01
Publication date: 2011-12-15
Also published as: WO2011151966A1

Abstract

【課題】時間ノイズ除去処理において、適切な帰還係数に基づいて高品位な画像データを生成する。
【解決手段】画像処理装置（１００）は、入力画像および参照画像の画素差分値を算出する差分算出手段（１０３）と、入力画像および参照画像のそれぞれについて、所定の領域における複数の画素の平坦具合を示す平坦度を算出する平坦度算出手段（１０４）と、平坦度に基づいて係数を算出する係数算出手段（１０６）と、係数を画素差分値に乗算する乗算手段（１０７）と、入力画像に乗算手段の出力を加算する加算手段（１０８）とを備えている。
【選択図】図１

Description

本発明は、画像処理装置において、入力画像と参照画像を時間方向に重み付き加算することで入力画像のノイズを除去する技術に関する。

デジタルビデオカメラなどの撮像手段を持つ画像処理装置において、カメラの高速化、撮像素子の微細化の進展、夜間などの暗所での撮影機会の増加に伴って、撮影時の露光量を十分に確保することが困難になってきており、結果としてノイズの多い画像が生成される。このノイズは信号処理で除去することが可能であり、ノイズ除去方法として時間ノイズ除去処理がある。

時間ノイズ除去処理は、連続して撮影された画像データにおいて、画像データ中の被写体データは過去の画像データとの相関性が高いが、画像データ中のノイズデータは過去の画像データとの相関性が低いことを利用し、現在と過去との画像データにて差分処理を行うことでノイズデータのみを抽出し、抽出したノイズデータを用いて現在の画像データのノイズ除去処理を行うものである。

しかし、時間ノイズ除去処理の課題となるのは被写体に動きがある場合で、被写体の動きがある領域に対して差分処理を行うと被写体の動き成分データもノイズデータと共に抽出されてしまう。この被写体の動き成分データを含んだノイズデータを用いて現在の画像データのノイズ除去処理を行うと被写体の動き成分データが残像となって現れ、画質劣化を招いてしまう。そのため、差分処理を行ったデータから動き成分データを除去することが、時間ノイズ除去処理の性能を左右する要因となる。

この残像を発生させないように時間ノイズ除去処理を行う方法として、例えば、特許文献１では、差分処理を行ったデータから帰還係数を制御する方法が開示されている。この方法は、差分が小さい場合には、被写体の動きがないためノイズによる差分と判断して帰還係数を大きく設定し、差分が大きい場合には、被写体の動きがあると判断して帰還係数を小さく設定することで、残像の少ない画像データを生成しようとするものである。

特開２０００−２０９５０７号公報

しかしながら、特許文献１に記載された時間ノイズ除去処理では、現在の画像データと過去の画像データとの差分値のみで被写体の動きがあるかないかを判断しているため、不適切な帰還係数が算出されるおそれがある。具体的に、画像データに含まれるノイズデータが大きくなると、被写体の動きがない場合でも被写体の動きがあると判断されて帰還係数を小さくしてしまう。逆に、ノイズデータが小さくなると、被写体の動きがある場合でも被写体の動きがないと判断されて帰還係数を大きくしてしまう。このように画像データに含まれるノイズデータが変化することで相応しい帰還係数を算出できず、高品位な画像データを生成できないという課題がある。

かかる点に鑑みて、本発明は、時間ノイズ除去処理において、適切な帰還係数に基づいて高品位な画像データを生成することを課題とする。

上記課題を解決するため本発明によって次のような解決手段を講じた。すなわち、画像処理装置は、入力画像および参照画像の画素差分値を算出する差分算出手段と、入力画像および参照画像のそれぞれについて、所定の領域における複数の画素の平坦具合を示す平坦度を算出する平坦度算出手段と、平坦度に基づいて係数を算出する係数算出手段と、係数を画素差分値に乗算する乗算手段と、入力画像に乗算手段の出力を加算する加算手段とを備えているものとする。

これによると、入力画像および参照画像のそれぞれの平坦度で、画素差分値に乗算するための係数を補正することできる。これにより、入力画像に加算される画素差分値が適切な値となるため、加算後の画像データに含まれるノイズを低減することができる。

好ましくは、上記画像処理装置は、入力画像および参照画像における所定の領域に係る画素差分値に基づいて、当該領域の動き度を算出する動き度算出手段を備えていてもよい。この場合、係数算出手段は、動き度を加味して係数を算出する。

これによると、入力画像および参照画像の平坦度と動き度とを組み合わせて係数を算出することにより、入力画像および参照画像の画素差分値に含まれるノイズ成分と動き成分との判別精度が向上するため、残像を抑制しつつノイズ除去効果を向上させることができる。

また、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプラグラムを記録したコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらのプログラム、情報、データ及び信号はインターネット等の通信ネットワークを介して配信してもよい。

本発明によると、適切な係数を算出することができるため、時間ノイズ除去処理によりノイズが除去された高品位な画像データを生成することができる。

本発明の一実施形態に係る画像処理装置を備えた電子機器のブロック図である。図１の平坦度算出手段の出力関数を示す図である。図１の動き度算出手段の出力関数を示す図である。図１の係数算出手段の動作を示すフローチャートである。

図１は、本発明の一実施形態に係る画像処理装置１００を備えた電子機器のブロック図である。この電子機器は、画像処理装置１００と、撮像手段１０１と、信号処理手段１０２と、エンコーダ１１０と、記録媒体１１１とから構成される。画像処理装置１００は、差分算出手段１０３と、平坦度算出手段１０４と、動き度算出手段１０５と、加算係数算出手段１０６と、乗算器１０７と、加算器１０８と、フレームメモリ１０９とで構成することができる。

撮像手段１０１は、例えば、ズーム調整用のズームレンズを備えた撮像用光学系により得られた光情報を電気信号に変換するＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子を備える撮像デバイスなどで構成することができる。

信号処理手段１０２は、撮像手段１０１から出力された電気信号をデジタル信号に変換し、デジタル信号処理を施す画像信号処理系で構成することができる。

差分算出手段１０３は、信号処理手段１０２から出力されたデジタル信号（以下、入力画像と称する。）と、フレームメモリ１０９に記録してあるノイズ除去済みの過去のデジタル信号（以下、参照画像と称する。）との画素値の差分を抽出し、画素差分値として出力する。

平坦度算出手段１０４は、入力画像および参照画像のそれぞれについて、所定の領域における複数の画素の平坦具合を示す平坦度を算出する。例えば、平坦度算出手段１０４は、図示しないが、入力画像および参照画像の複数画素を各々抽出するブロック生成手段と、入力画像および参照画像の周波数成分を抽出する周波数成分抽出手段と、周波数成分抽出手段の出力に応じて平坦度を決定する平坦度決定手段とで構成することができる。

動き度算出手段１０５は、入力画像および参照画像における所定の領域についての画素差分値に基づいて当該領域の動き度を算出する。具体的に、画素差分値で表される入力画像と参照画像との差分画像の周波数成分に基づいて動き度を算出する。例えば、動き度算出手段１０５は、図示しないが、差分算出手段１０３から出力される画素差分値の複数画素を抽出するブロック生成手段と、画素差分値の周波数成分を抽出する周波数成分抽出手段と、周波数成分抽出手段の出力に応じて動き度を決定する動き度決定手段とで構成することができる。

加算係数算出手段１０６は、平坦度算出手段１０４から出力される平坦度と、動き度算出手段１０５から出力される動き度に応じて入力画像に加算する画素差分値の加算係数を算出する。なお、加算係数算出手段１０６は、平坦度のみに基づいて加算係数を算出してもよい。

乗算器１０７は、加算係数算出手段１０６から出力される加算係数を差分算出手段１０３から出力される画素差分値に乗算する。加算器１０８は、乗算器１０７から出力される加算係数が乗算された画素差分値を入力画像に加算する。フレームメモリ１０９は、加算器１０８から出力された画像を保存する。なお、フレームメモリ１０９を画像処理装置１００の外部に設けてもよい。

エンコーダ１１０は、加算器１０８から出力されたノイズ除去処理後の画像に対して、所定の方式による圧縮符号化処理を施す。例えば、圧縮符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）２−ＶｉｄｅｏあるいはＭＰＥＧ４−ＡＶＣ／Ｈ．２６４などが挙げられる。記録媒体１１１は、例えば、ＨＤＤ（Hard disk drive）、ＳＤ（Secure Digital ）カード、光ディスク（ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）等）等が挙げられる。

次に、本実施形態における平坦度算出手段１０４の動作について説明する。平坦度算出手段１０４は、まず、入力画像の注目画素を中心とする任意の領域（例えば３×３の領域、以下、抽出領域Ａと称する。）を抽出する。平坦度算出手段１０４での具体的な平坦度算出方法としては、抽出領域Ａの画素値に対してハイパスフィルタ処理を施す。ハイパスフィルタ処理により抽出された高周波成分の信号レベルに応じて平坦度が算出される。平坦度は例えば図２に示すような出力関数を用いて決定される。図２において、信号レベルが閾値ｔｈ１よりも小さい場合は抽出領域Ａには高周波成分が少ないためエッジやテクスチャのない平坦な領域であると判断され、平坦度が１となる。また、信号レベルが閾値ｔｈ１よりも大きくなるにつれて平坦度が徐々に低くなる。信号レベルが閾値ｔｈ２よりも大きい場合は、抽出領域Ａには高周波成分が多いため、エッジやテクスチャのある領域であると判断され、平坦度が０となる。図２において、平坦度Ｆは０≦Ｆ≦１の範囲をとり、閾値ｔｈ１およびｔｈ２は外部より変更可能とする。

次に、本実施形態における動き度算出手段１０５の動作について説明する。動き度算出手段１０５は、画素差分値で表される入力画像と参照画像との差分画像における注目画素を中心とする任意の領域（例えば３×３、以下、抽出領域Ｂと称する。）を抽出する。動き度算出手段１０５での具体的な動き度算出方法としては、抽出領域Ｂの画素差分値に対してハイパスフィルタ処理を施す。ハイパスフィルタ処理により抽出された高周波成分の信号レベルに応じて動き度が算出される。動き度は例えば図３に示すような出力関数を用いて決定される。図３において、信号レベルが閾値ｔｈ１よりも小さい場合は抽出領域Ｂには低周波成分が多いため動きの少ない領域であると判断され、動き度が０となる。また、信号レベルが閾値ｔｈ１よりも大きくなるにつれて高周波成分が増加していくため、動き成分が増えていくと考えられる。よって、動き度を徐々に高くする。信号レベルが閾値ｔｈ２よりも大きい場合は、抽出領域Ｂには高周波成分が多いため、動きがある領域と判断され、動き度が１となる。図３において、動き度Ｍは０≦Ｍ≦１の範囲をとり、閾値ｔｈ１およびｈｔ２は外部より変更可能とする。

次に、本実施形態における加算係数算出手段１０６の動作について説明する。加算係数算出手段１０６には、入力画像の平坦度（以下、平坦度Ｆ１と称する。）と、参照画像の平坦度（以下、平坦度Ｆ２と称する。）と、動き度（以下、動き度Ｍと称する。）とが入力される。加算係数算出手段１０６での具体的な加算係数ｋの算出方法としては、以下の計算式を用いる。

ｋ＝β（α×Ｆ＋（１−α）（１−Ｍ））
この式において、定数βは加算係数ｋのリミットを定めるためのもので、０＜β≦１の範囲で設定される。平坦度Ｆ、定数α（０＜α≦１）の決定方法について図を用いて説明する。

図４は加算係数算出手段１０６の動作を示したフローチャートである。図４において、加算係数算出手段１０６は、まず、平坦度Ｆ１と閾値ｔｈ１を比較し、平坦度Ｆ２と閾値ｔｈ２とを比較する（Ｓ１０１）。平坦度Ｆ１が閾値ｔｈ１よりも大きく、且つ平坦度Ｆ２が閾値ｔｈ２よりも大きい場合には（Ｓ１０１のＦ１＞ｔｈ１且つＦ２＞ｔｈ２の場合）、平坦度Ｆ１と平坦度Ｆ２とが比較される（Ｓ１０２）。平坦度Ｆ１が平坦度Ｆ２以上の場合には（Ｓ１０２のＦ１≧Ｆ２）、平坦度Ｆ１が最終的な平坦度Ｆと決定され（Ｓ１０３）、定数αが０．８に決定される（Ｓ１０５）。平坦度Ｆ１が平坦度Ｆ２未満の場合には（Ｓ１０２のＦ１＜Ｆ２の場合）、平坦度Ｆ２が最終的な平坦度Ｆと決定され（Ｓ１０４）、定数αが０．８に決定される（Ｓ１０５）。また、平坦度Ｆ１と閾値ｔｈ１との比較、および平坦度Ｆ２と閾値ｔｈ２との比較の結果のうちどちらか一方が閾値未満である場合には（Ｓ１０１のなしの場合）、平坦度Ｆが０と決定され（Ｓ１１０）、定数αが０．８に決定される（Ｓ１０５）。また、平坦度Ｆ１が閾値ｔｈ１未満、且つ平坦度Ｆ２が閾値ｔｈ２未満の場合には（Ｓ１０１のＦ１＜ｔｈ１且つＦ２＜ｔｈ２の場合）、平坦度Ｆ１と平坦度Ｆ２とが比較される（Ｓ１０６）。平坦度Ｆ１が平坦度Ｆ２以上の場合には（Ｓ１０６のＦ１≧Ｆ２の場合）、平坦度Ｆ１が最終的な平坦度Ｆと決定され（Ｓ１０７）、定数αが０．２に決定される（Ｓ１０９）。平坦度Ｆ１が平坦度Ｆ２未満の場合には（Ｓ１０６のＦ１＜Ｆ２の場合）、平坦度Ｆ２が最終的な平坦度Ｆと決定され（Ｓ１０８）、定数αが０．２に決定される（Ｓ１０９）。

以上、本実施形態によると、入力画像と参照画像との画素差分値に被写体の動き成分が含まれていたとしても、残像として判別しにくいエッジやテクスチャのない平坦な部分であれば、加算係数を大きくすることも可能となる。また、入力画像と参照画像との画素差分値に被写体の動き成分が含まれているかどうかを判別することが可能となる。よって、入力画像と参照画像との平坦度および動き度を組み合わせて加算係数を算出することにより、入力画像と参照画像との画素差分値に含まれるノイズ成分と動き成分の判別精度が向上するため、残像を抑制しつつノイズ除去効果を向上させることが可能となる。

なお、差分算出手段１０３、平坦度算出手段１０４、動き度算出手段１０５、加算係数算出手段１０６、乗算手段１０７および加算手段１０８がＣＰＵのソフトウェア処理により実現されてもよい。また、上記各手段が同一の半導体チップ上に搭載されていてもよい。

以上、本実施形態に基づいて説明したが、本発明は、この実施形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施形態に施したものや、異なる実施形態における構成要素を組合わせて構築される形態も、本発明の範囲内に含まれる。

本発明に係る画像処理装置は、画像処理における残像を抑制しつつノイズ除去効果を向上させることができるため、デジタルカメラ、カメラ付携帯電話、ＷＥＢカメラ等撮影機能を有する各種電子機器に有用である。

１００画像処理装置
１０１撮像手段
１０２信号処理手段
１０３差分算出手段
１０４平坦度算出手段
１０５動き度算出手段
１０６加算係数算出手段（係数算出手段）
１０７乗算器（乗算手段）
１０８加算器（加算手段）
１０９フレームメモリ
１１０エンコーダ（画像符号化手段）
１１１記録媒体（記録手段）

Claims

入力画像および参照画像の画素差分値を算出する差分算出手段と、
前記入力画像および前記参照画像のそれぞれについて、所定の領域における複数の画素の平坦具合を示す平坦度を算出する平坦度算出手段と、
前記平坦度に基づいて係数を算出する係数算出手段と、
前記係数を前記画素差分値に乗算する乗算手段と、
前記入力画像に前記乗算手段の出力を加算する加算手段とを備えている
ことを特徴とする画像処理装置。
請求項１の画像処理装置において、
前記平坦度算出手段は、前記入力画像および前記参照画像のそれぞれの周波数成分に基づいて前記平坦度を算出する
ことを特徴とする画像処理装置。
請求項１の画像処理装置において、
前記係数算出手段は、前記入力画像および前記参照画像の平坦度がいずれも高い場合に前記係数を大きくする一方、いずれか一方が低い場合に前記係数を小さくする
ことを特徴とする画像処理装置。
請求項１の画像処理装置において、
前記入力画像および前記参照画像における所定の領域に係る前記画素差分値に基づいて、当該領域の動き度を算出する動き度算出手段を備え、
前記係数算出手段は、前記動き度を加味して前記係数を算出する
ことを特徴とする画像処理装置。
請求項４の画像処理装置において、
前記動き度算出手段は、前記画素差分値で表される前記入力画像と前記参照画像との差分画像の周波数成分に基づいて前記動き度を算出する
ことを特徴とする画像処理装置。
請求項４の画像処理装置において、
前記係数算出手段は、
前記入力画像および前記参照画像の平坦度がいずれも高い場合、または前記入力画像および前記参照画像の平坦度ならびに前記動き度がいずれも低い場合に前記係数を大きくする一方、前記入力画像および前記参照画像の平坦度のいずれか一方が低い場合、または前記入力画像および前記参照画像の平坦度がいずれも低くかつ前記動き度が高い場合に前記係数を小さくする
ことを特徴とする画像処理装置。
複数画像の画素値を時間方向に重み付き加算することで画像中のノイズを除去することが可能な電子機器であって、
画像を撮像して画像信号を得る撮像手段と、
前記撮像手段により得られた画像データに対して補間処理または強調処理または諧調処理を施す信号処理手段と、
前記信号処理手段により信号処理された画像データを入力画像データとし、前記入力画像データおよび参照画像データの画素差分値を算出する差分算出手段と、
前記入力画像および前記参照画像のそれぞれについて、所定の領域における複数の画素の平坦具合を示す平坦度を算出する平坦度算出手段と、
前記入力画像および前記参照画像における所定の領域に係る前記画素差分値に基づいて、当該領域の動き度を算出する動き度算出手段と、
前記平坦度および前記動き度に基づいて係数を算出する係数算出手段と、
前記係数を前記画素差分値に乗算する乗算手段と、
前記入力画像に前記乗算手段の出力を加算する加算手段と、
前記加算手段の出力データを新たな参照画像データとして保持するフレームメモリと、
前記加算手段の出力データを符号化し動画像符号化データを生成する画像符号化手段と、
前記動画像符号化データを記録する記録手段と、
を備えることを特徴とする電子機器。
コンピュータに、複数画像の画素値を時間方向に重み付き加算することで画像中のノイズを除去する画像処理を実行させるプログラムを記録したコンピュータで読み取り可能な記録媒体において、
入力画像および参照画像の画素差分値を算出する差分算出ステップと、
前記入力画像および前記参照画像のそれぞれについて、所定の領域における複数の画素の平坦具合を示す平坦度を算出する平坦度算出ステップと、
前記入力画像および前記参照画像における所定の領域に係る前記画素差分値に基づいて、当該領域の動き度を算出する動き度算出ステップと、
前記平坦度および前記動き度に基づいて係数を算出する係数算出ステップと、
前記係数を前記画素差分値に乗算する乗算ステップと、
前記入力画像に前記乗算手段の出力を加算する加算ステップと、
を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
複数画像の画素値を時間方向に重み付き加算することで画像中のノイズを除去することが可能な半導体集積回路であって、
入力画像および参照画像の画素差分値を算出する差分算出手段と、
前記入力画像および前記参照画像のそれぞれについて、所定の領域における複数の画素の平坦具合を示す平坦度を算出する平坦度算出手段と、
前記入力画像および前記参照画像における所定の領域に係る前記画素差分値に基づいて、当該領域の動き度を算出する動き度算出手段と、
前記平坦度および前記動き度に基づいて係数を算出する係数算出手段と、
前記係数を前記画素差分値に乗算する乗算手段と、
前記入力画像に前記乗算手段の出力を加算する加算手段と、
を備えることを特徴とする半導体集積回路。