JP2012029145A

JP2012029145A - 画像処理装置

Info

Publication number: JP2012029145A
Application number: JP2010167153A
Authority: JP
Inventors: Yukihiro Sugimoto; 行弘杉本; Suguru Ikeda; 英池田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-07-26
Filing date: 2010-07-26
Publication date: 2012-02-09
Anticipated expiration: 2030-07-26
Also published as: JP5653674B2

Abstract

【課題】必要なメモリ領域を少なくすることができる。
【解決手段】リサイズ部１０５は、巡回画像データの画像サイズを拡大および縮小する。巡回画像記録部１０７は、リサイズ部１０５によって画像サイズを縮小された巡回画像データを記録する。ＮＲ処理部１０４は、リサイズ部１０５によって画像サイズを拡大された巡回画像データを用いて、画像データのノイズ除去を行う。
【選択図】図１

Description

本発明は、画像処理装置に関する。

ＦＮＲ（ＦｒａｍｅＮｏｉｓｅＲｅｄｕｃｔｉｏｎ、フレームノイズリダクション）ブロックにおけるフレーム相関ＮＲ（ＮｏｉｓｅＲｅｄｕｃｔｉｏｎ、ノイズリダクション）処理を行う際、処理対象としている現フレームの画像データと、それより前に撮影された画像データ（巡回画像データ）を用いて処理を行う。

また、現フレームの画像データと前フレームの画像データのＹ／Ｃｂ／Ｃｒを用いてノイズ低減処理を行う技術が知られている（例えば、特許文献１参照）。この技術は、Ｙ／Ｃｂ／Ｃｒ毎に、現フレームの画像データの注目画素Ａと、注目画素Ａと同位置に相当する巡回画像データの注目画素Ｂとの差分、および、注目画素Ａの周辺画素と、注目画素Ｂの周辺画素との差分を算出し、その差分データから注目画素Ａにおける重み係数を求め、その重み係数を元に現フレームの画像データのノイズ低減処理を行う。

特開２００１−８２２８号公報

しかしながら、上述した方法では、現フレームの画像データのノイズ低減処理を行うために、現フレームの画像データの画像サイズと同一の画像サイズである、ＹＣｂＣｒの画像データを保存するためのメモリ領域を確保する必要がある。

本発明は、上記事情に鑑みてなされたものであり、必要なメモリ領域を少なくすることができる画像処理装置を提供することを目的とする。

本発明は、ノイズ除去対象の画像データより１フレーム前の前記画像データの画像サイズを縮小して巡回画像データを生成する巡回画像生成部と、前記巡回画像データを記録する巡回画像記録部と、前記巡回画像記録部が記録する前記巡回画像データを拡大して巡回拡大画像データを生成する巡回拡大画像生成部と、前記巡回拡大画像データを用いて、ノイズ除去対象の前記画像データのノイズ除去を行うノイズ除去部と、を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記巡回拡大画像生成部は、前記巡回画像データの画像サイズを、前記画像データの画像サイズと同一のサイズに拡大して前記巡回拡大画像データを生成することを特徴とする。

また、本発明の画像処理装置において、前記ノイズ除去部は、前記巡回拡大画像データと前記画像データとの相関関係に基づいて、当該画像データのノイズ除去の強度を変更することを特徴とする。

また、本発明の画像処理装置において、前記ノイズ除去部は、前記巡回拡大画像データと前記画像データとの相関関係が高いほど、当該画像データのノイズ除去の強度を強くし、前記巡回拡大画像データと前記画像データとの相関関係が低いほど、当該画像データのノイズ除去の強度を弱くすることを特徴とする。

また、本発明の画像処理装置において、前記ノイズ除去部は、前記巡回画像データの画像サイズと、前記巡回拡大画像データの画像サイズとの比に基づいて、前記画像データのノイズ除去の強度を変更することを特徴とする。

また、本発明の画像処理装置において、前記ノイズ除去部は、前記巡回画像データの画像サイズと、前記巡回拡大画像データの画像サイズとの比が大きいほど、当該画像データのノイズ除去の強度を強くし、前記巡回画像データの画像サイズと、前記巡回拡大画像データの画像サイズとの比が小さいほど、当該画像データのノイズ除去の強度を弱くすることを特徴とする。

本発明によれば、巡回画像生成部は、ノイズ除去対象の画像データより１フレーム前の画像データの画像サイズを縮小して巡回画像データを生成する。また、巡回画像記録部は、巡回画像データを記録する。また、巡回拡大画像生成部は、巡回画像記録部が記録する巡回画像データを拡大して巡回拡大画像データを生成する。また、ノイズ除去部は、巡回拡大画像データを用いて、ノイズ除去対象の画像データのノイズ除去を行う。これにより、巡回画像記録部が記録するデータのサイズが小さくなるため、必要なメモリ領域を少なくすることができる。

本発明の第１の実施形態における画像処理装置の構成を示したブロック図である。本発明の第１の実施形態における画像処理装置のノイズ除去処理手順を示したフローチャートである。本発明の第１の実施形態における注目画素の配置例を示した概略図である。本発明の第２の実施形態における画像処理装置の構成を示したブロック図である。本発明の第２の実施形態における画像処理装置のノイズ除去処理手順を示したフローチャートである。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における画像処理装置１の構成を示したブロック図である。図示する例では、画像処理装置１は、撮像光学系１０１と、撮像素子１０２と、画像処理部１０３と、ＮＲ処理部１０４（ノイズ除去部）と、リサイズ部１０５（巡回画像生成部、巡回拡大画像生成部）と、ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ、ダイレクトメモリアクセス）部１０６と、巡回画像記録部１０７と、記録部１０８と、表示部１０９とを備える。

撮像光学系１０１は、被写体からの光を撮像素子１０２の撮像面に結像させる。撮像素子１０２は、図示せぬ制御部からのタイミング制御に従い、結像された像を電気信号に変換して画像処理部１０３に出力する。画像処理部１０３は、撮像素子１０２から出力される電気信号に対して、γ補正や色分離や色マトリクス等の高画質化するための画像処理や、出力形式の変換処理を行い、画像データを生成する。ＮＲ処理部１０４は、画像データに対してＮＲ処理を行う。リサイズ部１０５は、画像データを縮小し、スルー画用画像データやサムネイル画像データを生成する。本実施形態では、スルー画用画像データやサムネイル画像データを巡回画像データとして用いる。また、リサイズ部１０５は、巡回画像データの画像サイズ（画像の大きさ、画素数）を、画像データの画像サイズと同一のサイズに拡大し、巡回拡大画像データを生成する。なお、巡回画像データ（スルー画用画像データやサムネイル画像データ）の画像サイズは、画像データの画像サイズよりも小さいとする。

ＤＭＡ部１０６は、巡回画像記録部１０７および記録部１０８に対するデータの読み出しおよび書き込み（Ｒ／Ｗ）を行う。巡回画像記録部１０７は、巡回画像データを記録する。本実施形態における巡回画像データは、画像データよりも画像サイズが小さいデータである。記録部１０８は、一時記憶領域および外部記録メディア等であり、一時的に処理に必要なデータや、画像データ等を記録する。表示部１０９は、液晶ディスプレイ等であり、画像データに基づいた画像を表示する。

次に、画像処理装置１のノイズ除去処理（ＦＮＲ）手順について説明する。図２は、本実施形態における画像処理装置１のノイズ除去処理手順を示したフローチャートである。このフローチャートは、１フレーム毎の画像データに対する処理手順を示している。なお、ノイズ除去処理の前段階の処理として、撮像光学系１０１と、撮像素子１０２と、画像処理部１０３によって画像データが生成され、記録部１０８に一時記録される。具体的には、撮像光学系１０１を通して得られた光学像を、撮像素子１０２で撮像して電気信号に変換し、画像処理部で高画質化や出力形式変換等の処理を行い、ＤＭＡ部１０６を介して記録部１０８に一時記録される。

（ステップＳ１０１）ＮＲ処理部１０４は、ＤＭＡ部１０６を介して、処理対象の画像データを記録部１０８から取得する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）リサイズ部１０５は、巡回画像記録部１０７に巡回画像データが記録されているか否かを判定する。リサイズ部１０５が、巡回画像記録部１０７に巡回画像データが記録されていると判定した場合にはステップＳ１０３の処理に進み、それ以外の場合にはステップＳ１１２の処理に進む。

（ステップＳ１０３）リサイズ部１０５は、ＤＭＡ部１０６を介して、巡回画像データを巡回画像記録部１０７から取得する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）リサイズ部１０５は、巡回画像データの画像サイズが、画像データの画像サイズと同一となるように、ステップＳ１０３で読み出した巡回画像データを拡大処理し、巡回拡大画像データを生成する。その後、ステップＳ１０５の処理に進む。

（ステップＳ１０５）ＮＲ処理部１０４は、ステップＳ１０１で取得した画像データの注目画素とその周辺画素および、ステップＳ１０４で生成した巡回拡大画像データの注目画素とその周辺画素より差分データを算出する。その後、ステップＳ１０６の処理に進む。なお、差分データについては後述する。

（ステップＳ１０６）ＮＲ処理部１０４は、ステップＳ１０５で取得した差分データと予め定められている閾値とを比較する。差分データが閾値未満である場合にはステップＳ１０７の処理に進み、差分データが閾値以上である場合にはステップＳ１０８の処理に進む。
（ステップＳ１０７）ＮＲ処理部１０４は、ＮＲ処理（ＬＰＦ（Ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）処理）の強度を示す重み係数（ＬＰＦ係数）を「大」とする。その後、ステップＳ１０９の処理に進む。
（ステップＳ１０８）ＮＲ処理部１０４は、ＮＲ処理（ＬＰＦ処理）の強度を示す重み係数（ＬＰＦ係数）を「小」とする。その後、ステップＳ１０９の処理に進む。

（ステップＳ１０９）ＮＲ処理部１０４は、ステップＳ１０１で取得した画像データに対して、ステップＳ１０７もしくはステップＳ１０８で定めた重み係数とを用いてＮＲ処理を行い、ＮＲ処理後画像データを生成する。その後、ステップＳ１１０の処理に進む。

（ステップＳ１１０）リサイズ部１０５は、ステップＳ１０９でＮＲ処理部１０４が生成したＮＲ処理後画像データを縮小処理し、巡回画像データを生成する。その後、ステップＳ１１１の処理に進む。
（ステップＳ１１１）ＮＲ処理部１０４は、ＤＭＡ部１０６を介して、ステップＳ１０９で生成したＮＲ処理後画像データを記録部１０８に記録させる。その後、ステップＳ１１３の処理に進む。
（ステップＳ１１２）リサイズ部１０５は、ステップＳ１０１でＮＲ処理部１０４が取得した画像データを縮小処理し、巡回画像データを生成する。その後、ステップＳ１１３の処理に進む。

（ステップＳ１１３）リサイズ部１０５は、ＤＭＡ部１０６を介して、ステップＳ１１０またはステップＳ１１２で生成した巡回画像データを巡回画像記録部１０７に記録させる。なお、既に巡回画像記録部１０７が巡回画像データを記録している場合には、既に記録している巡回画像データを消去した後に、新たにリサイズ部１０５が生成した巡回画像データを記録させる。その後、処理を終了する。

上述したノイズ除去処理を行った後、表示部１０９は、記録部１０８に記録されたＮＲ処理後画像データを、ＤＭＡ部１０６を介して読み出して表示する。

次に、差分データの算出方法について説明する。差分データは、画像データと巡回拡大画像データとの相関を示す値であり、値が低いほど、画像データと巡回拡大画像データとの相関が高い。

図３（１）は、画像データの注目画素の配置例を示した概略図である。また、図３（２）は、巡回拡大画像データの注目画素の配置例を示した概略図である。図３（１）に示す例では、画像データの注目画素として画素ａ４が示されており、注目画素ａ４の周辺画素として画素ａ０〜ａ３，ａ５〜ａ８が示されている。また、図３（２）に示す例では、巡回拡大画像データの注目画素として画素ｂ４が示されており、注目画素ｂ４の周辺画素として画素ｂ０〜ｂ３，ｂ５〜ｂ８が示されている。

注目画素と周辺画素との配置が図示する配置の場合、差分データは以下の式で算出する。
差分データ＝｜（ａ０−ｂ０）｜＋｜（ａ１−ｂ１）｜＋｜（ａ２−ｂ２）｜＋｜（ａ３−ｂ３）｜＋｜（ａ４−ｂ４）｜＋｜（ａ５−ｂ５）｜＋｜（ａ６−ｂ６）｜＋｜（ａ７−ｂ７）｜＋｜（ａ８−ｂ８）｜

算出した差分データの値が大きい場合、注目画素における画像データと巡回拡大画像データとの相関関係が低い為、重み係数（ＬＰＦ係数）を小さくして、画像データに対するＮＲ処理（ＬＰＦ処理）の効きを弱くする。また、算出した差分データの値が小さい場合、注目画素における画像データと巡回拡大画像データとの相関関係が高い為、重み係数（ＬＰＦ係数係数）を大きくして、画像データに対するＮＲ処理（ＬＰＦ処理）の効きを強くする。

上述したとおり、本実施形態によれば、巡回画像記録部１０７に記録させる巡回画像データの画像サイズを、画像データの画像サイズよりも小さくする。また、ＮＲ処理を行う際に、巡回画像データの画像サイズを画像データの画像サイズと同一となるように拡大処理し、巡回拡大画像データを生成する。そして、生成した巡回拡大画像データを用いてＮＲ処理を行う。これにより、巡回画像記録部１０７に記録させる巡回画像データの画像サイズが小さくなるため、巡回画像記録部１０７のメモリ領域を少なくすることができる。

また、本実施形態によれば、画像データと巡回拡大画像データとの相関関係を算出し、画像データと巡回拡大画像データとの相関関係が高い場合には、画像データに対するＮＲ処理の効きを強くする。また、画像データと巡回拡大画像データとの相関関係が低い場合には、画像データに対するＮＲ処理の効きを弱くする。これにより、より精度の良いＮＲを行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照して説明する。図４は、本実施形態における画像処理装置２の構成を示したブロック図である。図示する例では、画像処理装置２は、撮像光学系１０１と、撮像素子１０２と、画像処理部１０３と、ＮＲ処理部１０４と、リサイズ部１０５と、ＤＭＡ部１０６と、巡回画像記録部１０７と、記録部１０８と、表示部１０９と、閾値算出部１１０とを備える。

撮像光学系１０１と、撮像素子１０２と、画像処理部１０３と、ＮＲ処理部１０４と、リサイズ部１０５と、ＤＭＡ部１０６と、巡回画像記録部１０７と、記録部１０８と、表示部１０９との動作は、第１の実施形態における各部の動作と同様である。閾値算出部１１０は、ＮＲ処理の強度を決定するための閾値を算出する。なお、閾値算出部１１０は、リサイズ部１０５が画像サイズの変更を行う際のリサイズ率に応じて、閾値を算出する。

次に、ＮＲ処理の強度を決定するための閾値の算出方法について説明する。一般的に、画像データをリサイズして縮小した後、拡大処理して元の画像サイズにリサイズした画像データは、欠落した情報を拡大による補間処理で補間する為、元の画像データと完全同一の画像データにはならない。また、リサイズ率が高い（縮小率および拡大率が大きい）場合、元の画像データから欠落する情報量が多く、補間されるデータ量が増える。そのため、リサイズ率が高い巡回拡大画像データと、画像データとの差分データは、大きくなる傾向になる。

従って、巡回拡大画像データのリサイズ率の違いにより、ＮＲ処理の効果に差が生じる。具体的には、巡回拡大画像データのリサイズ率が高い場合、リサイズによる情報の欠落量が多い。そのため、巡回拡大画像データと画像データとの差分データは大きくなる。すなわち巡回拡大画像データと画像データとの相関関係が低い。よってＮＲ処理の効果は低くなる。また、巡回拡大画像データのリサイズ率が低い場合、リサイズによる情報の欠落量が少ない。そのため、巡回拡大画像データと画像データとの差分データは小さくなる。すなわち巡回拡大画像データと画像データとの相関関係が高い。よってＮＲ処理の効果は高くなる。

このように、リサイズ率の違いによってＮＲ処理の効きに違いが生じる。そのため、ＮＲ処理の違いを抑制する為、閾値を変動させて、ＮＲ処理（ＬＰＦ処理）の強度を示す重み係数（ＬＰＦ係数）を変動させる。具体的には、巡回拡大画像データのリサイズ率が高い場合、巡回拡大画像データと画像データとの差分データは大きくなり、ＮＲ処理の効果は低くなる。そのため、閾値を大きくすることにより、重み係数が大きくなるようにして、ＮＲ処理の効きを高くする。また、巡回拡大画像データのリサイズ率が低い場合、巡回拡大画像データと画像データとの差分データは小さくなり、ＮＲ処理の効果は高くなる。そのため、閾値を小さくすることにより、重み係数が小さくなるようにして、ＮＲ処理の効きを低くする。

次に、画像処理装置２のノイズ除去処理（ＦＮＲ）手順について説明する。図５は、本実施形態における画像処理装置２のノイズ除去処理手順を示したフローチャートである。このフローチャートは、１フレーム毎の画像データに対する処理手順を示している。なお、ノイズ除去処理の前段階の処理は、第１の実施形態における処理と同様の処理である。

（ステップＳ２０１）〜（ステップＳ２０３）ステップＳ２０１〜ステップＳ２０３の処理は、第１の実施形態におけるステップＳ１０１〜ステップＳ１０３の処理と同様の処理である。
（ステップＳ２０４）リサイズ部１０５は、巡回画像データの画像サイズが、画像データの画像サイズと同一となるように、ステップＳ２０３で読み出した巡回画像データを拡大処理し、巡回拡大画像データを生成する。また、リサイズ部１０５は、拡大処理時の拡大率を示す情報を閾値算出部１１０に入力する。その後、ステップＳ２０５の処理に進む。

（ステップＳ２０５）閾値算出部１１０は、ステップＳ２０４で入力された拡大率を示す情報に基づいて、閾値を算出する。例えば、拡大率が大きい場合、閾値を大きくし、拡大率が低い場合、閾値を小さくする。その後、ステップＳ２０６の処理に進む。

（ステップＳ２０６）ステップＳ２０６の処理は、第１の実施形態におけるステップＳ１０５の処理と同様の処理である。
（ステップＳ２０７）ＮＲ処理部１０４は、ステップＳ２０６で取得した差分データと、ステップＳ２０５で算出した閾値とを比較する。差分データが閾値未満である場合にはステップＳ２０８の処理に進み、差分データが閾値以上である場合にはステップＳ２０９の処理に進む。

（ステップＳ２０８）〜（ステップＳ２１４）ステップＳ２０８〜ステップＳ２１４の処理は、第１の実施形態におけるステップＳ１０７〜ステップＳ１１３の処理と同様の処理である。

また、本実施形態によれば、閾値算出部１１０は、巡回拡大画像データのリサイズ率に応じて、ＮＲ処理の強度を決定するための閾値を算出する。これにより、巡回拡大画像データのリサイズ率の違いによるＮＲ処理の効きの調整を行うことができる。

以上、この発明の第１の実施形態と第２の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１，２・・・画像処理装置、１０１・・・撮像光学系、１０２・・・撮像素子、１０３・・・画像処理部、１０４・・・ＮＲ処理部、１０５・・・リサイズ部、１０６・・・ＤＭＡ部、１０７・・・巡回画像記録部、１０８・・・記録部、１０９・・・表示部、１１０・・閾値算出部

Claims

ノイズ除去対象の画像データより１フレーム前の前記画像データの画像サイズを縮小して巡回画像データを生成する巡回画像生成部と、
前記巡回画像データを記録する巡回画像記録部と、
前記巡回画像記録部が記録する前記巡回画像データを拡大して巡回拡大画像データを生成する巡回拡大画像生成部と、
前記巡回拡大画像データを用いて、ノイズ除去対象の前記画像データのノイズ除去を行うノイズ除去部と、
を備えたことを特徴とする画像処理装置。
前記巡回拡大画像生成部は、前記巡回画像データの画像サイズを、前記画像データの画像サイズと同一のサイズに拡大して前記巡回拡大画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記ノイズ除去部は、前記巡回拡大画像データと前記画像データとの相関関係に基づいて、当該画像データのノイズ除去の強度を変更する
ことを特徴とする請求項１に記載の画像処理装置。
前記ノイズ除去部は、前記巡回拡大画像データと前記画像データとの相関関係が高いほど、当該画像データのノイズ除去の強度を強くし、前記巡回拡大画像データと前記画像データとの相関関係が低いほど、当該画像データのノイズ除去の強度を弱くする
ことを特徴とする請求項３に記載の画像処理装置。
前記ノイズ除去部は、前記巡回画像データの画像サイズと、前記巡回拡大画像データの画像サイズとの比に基づいて、前記画像データのノイズ除去の強度を変更する
ことを特徴とする請求項１に記載の画像処理装置。
前記ノイズ除去部は、前記巡回画像データの画像サイズと、前記巡回拡大画像データの画像サイズとの比が大きいほど、当該画像データのノイズ除去の強度を強くし、前記巡回画像データの画像サイズと、前記巡回拡大画像データの画像サイズとの比が小さいほど、当該画像データのノイズ除去の強度を弱くする
ことを特徴とする請求項５に記載の画像処理装置。