JP2012058978A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像の種類によらず、縞状ノイズを適切に除去できるようにする。
【解決手段】除去対象間隔算出部１０２は、画像データ入力部１０１において入力した画像データから、撮像素子上での除去対象物の間隔Ｎｃを算出する。そして、除去対象検出部１０３は、除去対象間隔算出部１０２で算出した除去対象物の間隔Ｎｃから算出したピーク波長をもつバンドパスフィルタを用いて除去対象物を検出する。そして、画像補正部１０４は、除去対象検出部１０３で検出した結果に基づいて、画像データを補正する。
【選択図】図１

Description

本発明はノイズを除去するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、撮影した画像に縞状ノイズが残ってしまうと、写真としての出来が大きく損なわれてしまう。そこで、縞状ノイズを除去する技術として、画像を周波数空間に変換して中間値フィルタを用いることにより縞状ノイズを削除するとともに、元の周波数成分を強調する技術が開示されている（例えば、特許文献１参照）。また、医用画像において、局所領域におけるヒストグラムから、縞状ノイズか患部かを判断し、縞状ノイズである場合には大きめのローパスフィルタにより縞状ノイズを除去する技術も開示されている（例えば、特許文献２参照）。

特開２００６−２８９０９５号公報 特開２００７−２０２９１６号公報

例えば、スタジアムなどにおいてネット越しに人物などを撮影すると、ネットの模様が縞状ノイズとして発生する。このような画像の輝度成分に対して、特許文献１に記載されている方法により周波数成分に変換し、中間値フィルタを適用して元の画像に再変換を行うと、本来消えてほしくない高周波成分のテクスチャも消えてしまう可能性がある。

また、特許文献２に記載の技術は、レントゲン画像のような医用画像を対象としているため、それ以外の画像に対しては適用できない。したがって、例えばネットの模様により縞状ノイズが発生している場合に局所領域のヒストグラムをとっても、縞状ノイズかそうでないかを判断することができない。

本発明は前述の問題点に鑑み、画像の種類によらず、縞状ノイズを適切に除去できるようにすることを目的としている。

本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段により入力された画像データにおいてユーザにより選択された縞状模様の間隔を算出する算出手段と、前記算出手段により算出された縞状模様の間隔に基づくフィルタを用いて縞状ノイズを検出する検出手段と、前記検出手段により検出された結果を用いて前記入力手段により入力された画像データを補正する補正手段とを有することを特徴とする。

本発明によれば、画像の種類によらず、縞状ノイズを適切に除去することができる。

実施形態に係る画像処理装置の機能構成例を示すブロック図である。 第１の実施形態の画像処理手順の一例を示すフローチャートである。 撮影者、除去対象物、及び被写体の位置及び距離の関係を示す図である。 除去対象物の間隔を算出する処理手順の一例を示すフローチャートである。 バンドパスフィルタのピーク周波数の一例を示す図である。 多値画像データの一例を示す図である。 画像を補正する処理手順の一例を示すフローチャートである。 補正を実行する前の画像の一例を示す図である。 補正を実行した後の画像の一例を示す図である。 撮影者、除去対象物、及び被写体の位置及び距離の関係を示す図である。 第２の実施形態の画像処理手順の一例を示すフローチャートである。 除去対象物の間隔を算出するための表示画面の一例を示す図である。 除去対象物に焦点を合わせた画像の一例を示す図である。 除去対象物の間隔を算出するための表示画面の一例を示す図である。 変化するバンドパスフィルタのピーク周波数の一例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
図１において、画像データ入力部１０１は、画像データを入力するためのものであり、除去対象間隔算出部１０２は、画像データ入力部１０１において入力した画像データから、撮像素子上での除去対象物の間隔を算出するものである。除去対象検出部１０３は、画像データ入力部１０１において入力した画像データと、除去対象間隔算出部１０２で算出した除去対象物の間隔とから、除去対象物を検出するものである。また、画像補正部１０４は、画像データ入力部１０１において入力した画像データと、除去対象検出部１０３で検出した結果とに基づいて、画像データを補正するものである。

＜画像処理装置の処理の流れ＞
図２は、本実施形態に係る画像処理装置１００によりノイズを補正する処理手順の一例を示すフローチャートである。
まず、図２のステップＳ２０１において、画像データ入力部１０１は、画像データを入力する。このとき、デジタルカメラとケーブルを用いて接続することにより画像データを入力してもよく、ハードディスクなどのデータ保存装置から画像データを入力するようにしてもよい。

次に、ステップＳ２０２において、除去対象間隔算出部１０２は、画像データ入力部１０１において入力した画像データから、撮像素子上での除去対象物の間隔を算出する。ここで、除去対象物の間隔とは、例えばネットなどのテクスチャを備えた対象物である場合は、除去対象物が発生するテクスチャの間隔などを指す。なお、除去対象物の間隔を算出する詳細な方法については図４の説明において後述する。

次に、ステップＳ２０３において、除去対象検出部１０３は、画像データ入力部１０１において入力した画像データと、除去対象間隔算出部１０２で算出した除去対象物の間隔とから、除去対象物を検出する。なお、除去対象物を検出する詳細な方法については図５の説明において後述する。そして、ステップＳ２０４において、画像補正部１０４は、画像データ入力部１０１において入力した画像データと、除去対象検出部１０３で検出した結果とから、入力した画像データを補正する。なお、補正処理の詳細については図７の説明において後述する。

＜除去対象間隔算出方法＞
図３は、撮影者、除去対象物、及び被写体の位置及び距離の関係を示す概念図である。また、図４は、図２のステップＳ２０２において、除去対象間隔算出部１０２により撮像素子上での除去対象物の間隔を算出する処理手順の一例を示すフローチャートである。本実施形態では、図３に示すように、目的とする被写体３０１の手前に網状のネット３０２が存在する例について説明する。

また、本実施形態では、撮影を行う前に、まず、ネット３０２における実際の除去対象物の間隔Ｎを、メジャーなどを用いて手動で測定しておく。さらに、除去対象物であるネット３０２からデジタルカメラ３０３までの距離Ｌを、メジャーなどを用いて測定しておく。なお、距離Ｌの測定方法としては、除去対象物自体にピントを合わせた状態で、そのときのレンズのピント位置を目視で確認してもよい。そして、実際の除去対象物の間隔Ｎ及び距離Ｌの情報を予め保持しているものとする。

まず、ステップＳ４０１において、焦点距離Ｆの情報を取得する。焦点距離Ｆはレンズの焦点距離に等しいため、ズームレンズなどの場合は、撮影後に画像データとともに記録されているＥＸＩＦ情報から焦点距離Ｆの情報を取得してもよい。

次に、ステップＳ４０２において、以下の式（１）を用いて撮像素子上での除去対象物の間隔Ｎｃを算出する。なお、ｋは任意の係数である。

ここで、画像上に複数種類の縞状模様が発生する場合もある。例えば、背景などに除去すべきでない高周波成分のテクスチャが存在するなど、ネット以外に縞状模様のものが存在する場合がある。このような場合、予め保持している実際の除去対象物の間隔Ｎ及び距離Ｌの情報が、どの縞状模様に適用すべきなのかが判別できない。そこで、このような場合、除去対象間隔算出部１０２は、画像上のすべての縞状模様を検出し、不図示の表示部に画像を表示させ、除去対象物の間隔Ｎｃを算出する対象となる縞状模様をユーザに選択させる。

＜除去対象物検出方法＞
次に、除去対象検出部１０３の動作の詳細について、図５及び図６を参照しながら説明する。除去対象検出部１０３では、画像データ入力部１０１から入力した画像データと、除去対象間隔算出部１０２で算出した除去対象物の間隔Ｎｃの情報とを用いて、除去対象物（縞状ノイズ）を検出する。具体的には、除去対象物を画像から除去するための除去データを生成する。

除去対象物の検出には、例えば図５に示すように、人間の目の応答値に対して、ある周波数にピークを持つバンドパスフィルタ５１を使用する。バンドパスフィルタのピーク周波数ｆは、以下の式（２）により決定される。なお、ｍは任意の係数である。

以上のような上記バンドパスフィルタで画像処理を行うと、図６に示すような多値画像データを生成することができる。

＜画像補正方法＞
図７は、図２のステップＳ２０４における画像補正部１０４による画像を補正する処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、補正比率ｒを算出する。補正比率の算出には、例えば図６に示すような除去対象検出部１０３の検出結果（多重画像データ）を用いて、各画素について全画素の最大値で割り算し、各画素について補正比率ｒを０から１までの値で設定する。次に、ステップＳ７０２において、補正テーブル（１次元ルックアップテーブル）を生成する。補正テーブルは先に算出した補間比率ｒを用いて生成する。手順としては、まず、以下の式（３）を用いて平均画素値ＰｉｘＡｖｅＡ，ＰｉｘＡｖｅＢを算出し、係数γを算出する。

ここで式（３）において、ＰｉｘＢは補正前のある画素の画素値を示し、Ａｖｅｒａｇｅ（）は全画素についてカッコ内の計算を行って平均化した数値である。そして、上記式（３）から算出された係数γを用いて、以下の式（４）により補正テーブルＬＵＴ［］を求める。

なお、補正テーブルＬＵＴ［］はγ変換処理されたものに限らず、原点と（ＰｉｘＡｖｅＡ、ＰｉｘＡｖｅＢ）、（２５５、２５５（８ビットの場合））を通る３点を結ぶスプライン曲線や、３点を結ぶ直線であってもよい。

次に、ステップＳ７０３において、補正を実行する。手順としては、補正後のある画素の画素値ＰｉｘＡを、補正前のある画素の画素値ＰｉｘＢ、ステップＳ７０１で算出したある画素の補正比率ｒ及びステップＳ７０２で生成した補正テーブルＬＵＴ［］を用いて以下の式（５）に従って算出し、補正を実行する。

図９は、図８に示した画像に対して、図６に示す多重画像データをマスクとして補正を実行した結果を示す図である。図３に示すように目的とする被写体３０１の手前に網状のネット３０２が存在する場合であっても、画像からネットの部分を除去した画像を生成することができる。このように前述した処理を行うことによって、実際の除去対象物の間隔Ｎ及び距離Ｌの情報を予め保持している縞状ノイズのみを除去対象とすることができる。これにより、除去すべきでないテクスチャ等を除去しないようにすることができ、やむを得ずネット越しに撮影した場合でも、ネットの模様の目立たない画像を簡単に取得することが可能となる。

（第２の実施形態）
第１の実施形態では、実際のノイズの有無にかかわらず、常に画像処理を実行する方法について説明した。本実施形態においては、場合によっては画像処理を実行しないようにする例について説明する。なお、本実施形態に係る画像処理装置は、第１の実施形態と同様であるため、説明は省略する。図１０は、本実施形態において、撮影者１００１、除去対象物１００２、及び被写体１００３の位置関係を示す図である。

本実施形態では、図１０に示すように、撮影者１００１から除去対象物１００２までの距離をｄ１とし、撮影者１００１から被写体１００３までの距離をｄ２として説明する。また、第１の実施形態と同様に、実際の除去対象物の間隔Ｎ及び撮影者１００１から除去対象物１００２までの距離ｄ１をメジャー等により測定し、その情報を予め保持しているものとする。

図１１は、本実施形態における画像処理手順の一例を示すフローチャートである。なお、ステップＳ２０１〜Ｓ２０４までは図２と同様であるため説明を省略する。
ステップＳ１１０１においては、画像データ入力部１０１は、以後の画像補正処理を実行するか否かを判定する。この判定では、撮影者１００１から除去対象物１００２までの距離ｄ１及び撮影者１００１から被写体１００３までの距離ｄ２の情報を用いる。

具体的には、まず、図４のステップＳ４０１と同様に、焦点距離の情報を取得する。実際は、被写体に焦点を合わせて撮影しているものと考えられるため、被写体との距離ｄ２は焦点距離と略同じとみなすことができる。そして、ある閾値ｔｈを設定し、以下の式（６）の条件を満たすか否かを判定する。

この判定の結果、式（６）の条件を満たす場合は、距離ｄ１が相対的に小さいことから撮像素子上の除去対象物の間隔は相対的に大きくなる。そのため、画像補正処理を行わず、そのまま処理を終了する。一方、ステップＳ１１０１の判定の結果、式（６）の条件を満たさない場合は、距離ｄ１が相対的に大きいことから撮像素子上の除去対象物の間隔は相対的に小さくなる。そのため、ステップＳ２０２に進む。

以上のように本実施形態によれば、実際に閾値ｔｈとｄ２／ｄ１とを比較し、閾値ｔｈを超える場合はノイズがないものとみなし、以後の処理を省略することが可能となる。

（第３の実施形態）
第１の実施形態では、図２のステップＳ２０２において、図４に示した手順により撮像素子上の除去対象物の間隔Ｎｃを算出した。これに対して本実施形態では、図４に示した手順とは異なる手順により撮像素子上の除去対象物の間隔Ｎｃを算出する例について説明する。なお、本実施形態に係る画像処理装置は、第１の実施形態と同様であるため、説明は省略する。

図１２は、本実施形態における除去対象間隔算出部１０２による除去対象物の間隔を算出する概要を示す図である。
まず、除去対象間隔算出部１０２は、不図示の表示部に図１２に示すようなＵＩを含む入力画像を表示する。そして、ユーザの操作により逆三角形の目盛りをスライドさせ、除去対象物を形成する縞状ノイズの１つに合わせる。そして、上部にあるスライド可能なひし形の目盛りを除去対象の縞上ノイズに移動させることによって、除去対象間隔算出部１０２は、除去対象物の間隔Ｎｃを算出する。この時に、ひし形目盛りを複数用意し、１つを動かすとひし形目盛りがすべて同じ間隔で動くように指定すると、精度よく除去対象物の間隔Ｎｃを求めることができる。

（第４の実施形態）
本実施形態では、さらに第１及び第３の実施形態とは異なる手順により撮像素子上の除去対象物の間隔Ｎｃを算出する例について説明する。なお、本実施形態に係る画像処理装置は、第１の実施形態と同様であるため、説明は省略する。

図１３は、除去対象物自体にピントを合わせた状態で撮影された画像の一例を示す図である。本実施形態では、被写体を撮影する前に、ピントをずらして図１３に示すような画像を撮影しておくことによって除去対象物の間隔Ｎｃを算出する。

図１４は、不図示の表示部に表示される除去対象物に対してフィルタ処理を行った結果の一例を示す図であり、図１５は、バンドパスフィルタの例を示す図である。
図１４において、まず、ユーザの操作によりひし形目盛り１４０１を左右に移動させると、図１５に示すバンドパスフィルタ１５０１のピーク周波数１５０２が変化する。なお、目盛りの単位は周波数（ｃｙｃｌｅ／ｄｅｇ）である。

そして、ひし形目盛り１４０１の位置に応じて、図１３に示した画像に対してハイパスフィルタ処理を実行し、その結果の画像１４０３がその都度表示される。ここで、ユーザの操作により除去対象物が一番鮮明に見える画像１４０３となったところにひし形目盛り１４０１を移動させ、決定ボタン１４０２が押下されると、撮像素子上での除去対象物の間隔Ｎｃを以下の式（７）を用いて算出する。なお、ｍは任意の係数であり、ｆはバンドパスフィルタのピーク周波数である。

以上により本実施形態によれば、除去対象物として発生が予測される縞状模様の縞状ノイズのみを除去することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像データ入力部、１０２ 除去対象間隔算出部、１０３ 除去対象検出部、１０４ 画像補正部

Claims (9)

1. 画像データを入力する入力手段と、
   前記入力手段により入力された画像データにおいてユーザにより選択された縞状模様の間隔を算出する算出手段と、
   前記算出手段により算出された縞状模様の間隔に基づくフィルタを用いて縞状ノイズを検出する検出手段と、
   前記検出手段により検出された結果を用いて前記入力手段により入力された画像データを補正する補正手段とを有することを特徴とする画像処理装置。
2. 前記補正手段は、１次元ルックアップテーブルを用いて前記入力された画像データを補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、γ変換処理により前記１次元ルックアップテーブルを生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記算出手段は、前記縞状模様を形成する対象物に焦点を合わせた画像データを用いて前記縞状模様の間隔を算出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記算出手段は、表示部に表示された画像においてユーザにより指定された位置に基づいて前記縞状模様の間隔を算出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
6. 前記算出手段は、前記縞状模様を形成する対象物の間隔と、撮影者から前記対象物までの距離と、焦点距離とに基づいて前記縞状模様の間隔を算出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
7. 前記フィルタは、前記縞状模様の間隔から算出した周波数をピークとするバンドパスフィルタであることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 入力された画像データにおいてユーザにより選択された縞状模様の間隔を算出する算出工程と、
   前記算出工程において算出された縞状模様の間隔に基づくフィルタを用いて縞状ノイズを検出する検出工程と、
   前記検出工程において検出された結果を用いて前記入力された画像データを補正する補正工程とを有することを特徴とする画像処理方法。
9. 入力された画像データにおいてユーザにより選択された縞状模様の間隔を算出する算出工程と、
   前記算出工程において算出された縞状模様の間隔に基づくフィルタを用いて縞状ノイズを検出する検出工程と、
   前記検出工程において検出された結果を用いて前記入力された画像データを補正する補正工程とをコンピュータに実行させることを特徴とするプログラム。

Images