JP2006330938A

JP2006330938A - 画像処理装置およびその方法、および画像処理システム

Info

Publication number: JP2006330938A
Application number: JP2005151610A
Authority: JP
Inventors: Yoshiyuki Endo; 吉之遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-05-24
Filing date: 2005-05-24
Publication date: 2006-12-07

Abstract

【課題】
動画像データに対して覆い焼き処理を実行すると、画像の暗部の輝度レベルを上げることによってノイズ成分を目立たせてしまうことがある。
【解決手段】入力画像データに対してデジタル覆い焼き処理を施す覆い焼き処理部1において、H,M,Lサイズ縮小部6,7,8で3レベルに縮小された画像データに対し、H,M,L空間フィルタ部9,10,11で空間フィルタ処理を施して3レベルのフィルタ画像を生成する。そして輝度分布判定部12において、該フィルタ画像における輝度分布を所定エリア単位で判定し、該判定結果に基づくノイズの発生しやすさに応じて、輝度,色差ノイズ除去部15,16におけるノイズ除去係数を所定エリア単位で設定する。これにより、ノイズの発生しやすいエリアであるか否かに応じたノイズ処理を行うことができる。
【選択図】図２

Description

本発明は画像処理装置およびその方法、および画像処理システムに関し、特に、画像に対するデジタル覆い焼き処理を行う画像処理装置およびその方法、および画像処理システムに関する。

従来、アナログの写真技術として、焼付け時に画像の一部を覆って適切な明るさのプリントを得ようとする、いわゆる覆い焼き処理という技術がある。

デジタル画像の撮像装置においても、このようなアナログの覆い焼き処理に相当するデジタル覆い焼き処理を行うことが可能である。例えば特許文献１によれば、入力画像の特徴量を抽出し、該特徴量に基づいて決定した補正係数による階調補正を行うことでデジタル覆い焼き処理を実現するとともに、デジタル覆い焼き処理で使用する補正係数を絞り制御にも連動させる技術が開示されている。

また、コントラストの狭い表示デバイスに対して画像表示を行う技術が、例えば特許文献２に開示されている。これは、上述したデジタル覆い焼きとほぼ同様の処理によって入力画像全体のコントラストを圧縮して、コントラストの狭い表示デバイスに画像を表示させるものであり、その圧縮を行った際に輝度レベルの低い部分にノイズが目立つために、入力画像全体にノイズ除去フィルタを掛けることを特徴としている。

さらに特許文献３にも同様に、コントラストの狭い表示デバイスに対して画像表示を行う技術が開示されている。これは、ノイズの出やすい部分の輝度レベルを基準として画像全体の輝度分布を決定することで画像全体のノイズを目立たなくするという考えに基づくもので、入力画像に対するエッジ抽出部を設け、抽出したエッジの一部分の輝度レベルが基準とした輝度分布になるような補正処理を行うことを特徴としている。
特開平７−２３２８７号公報特開平７−１７０４２８号公報特許第３２７０６０９号公報

特許文献１に開示されるような、通常のデジタル覆い焼き処理における主な特徴は、入力画像の任意の(特に暗い部分の)輝度レベルを上昇させるところにある。通常、カメラで撮影した画像にはある所定レベルのノイズが一様にのっているが、明るい部分の輝度値に対するノイズレベルは非常に低いものであり、目立つことは無い。しかしながら、暗い部分の輝度値に対するノイズレベルは相対的に高いものとなり、デジタル覆い焼き処理において暗い部分の輝度レベルを上昇させる際に、どうしてもノイズのレベルも一緒に上昇させてしまうことになり、結果として画質が低下する。

さらに、特許文献２に開示されるように、入力画像全体に一様のノイズ処理を行った場合、画像全体の解像感が低下し、メリハリの無い画像が出力されてしまうという問題がある。

さらに、特許文献３に開示されるように、エッジ抽出部を設け、エッジの一部分に着目して輝度レベルを判定する場合には、エッジ抽出部を新たに設けなければならないというハード的な負荷増加と、エッジ部分の輝度分布が一様でない場合に、所望の結果を得ることが難しくなる、という問題があった。

本発明は、上述した問題点を個々にまたはまとめて解決するためになされたものであり、デジタル覆い焼き処理を行う際に適切なノイズ除去処理を効率よく行うことによって、デジタル覆い焼き後の画像の高画質化を実現する画像処理装置およびその方法、および画像処理システムを提供することを目的とする。

上述した目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。

すなわち、被写体を撮像して画像データを得る撮像手段と、前記画像データに対してデジタル覆い焼き処理を施す覆い焼き手段と、該覆い焼き処理後の画像データに対して符号化を施す符号化手段と、該符号化後の画像データを出力する出力手段と、を有し、前記覆い焼き手段は、前記画像データに空間フィルタ処理を施してフィルタ画像を生成するフィルタ手段と、前記フィルタ画像における輝度分布を所定エリア単位で判定する輝度分布判定手段と、前記輝度分布判定手段による輝度分布判定結果に応じて、前記画像データに対するノイズ除去処理を前記所定エリア単位で行うノイズ除去手段と、を有することを特徴とする。

例えば、前記輝度分布判定手段は、前記フィルタ画像における輝度分布に基づいて、前記所定エリア毎にノイズの発生しやすさを判定することを特徴とする。

以上の構成を備えることにより本実施形態によれば、画像データに対してデジタル覆い焼き処理を行う際に発生するノイズを、該画像データの輝度分布に基づいて所定エリア単位で除去することができる。すなわち、ノイズが発生しやすいエリアであるか否かに応じてノイズ除去処理を行うことによって、デジタル覆い焼き後の画像の高画質化が実現される。

以下、添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。

＜第１実施形態＞
●全体構成
図1は、本実施形態における撮像装置の構成を示すブロック図である。同図において撮像装置200は、覆い焼き処理部1、圧縮処理部205、撮像部201、及び通信部206の4つの構成要素に大別される。

撮像部201は、映像が入射されるレンズ202、レンズ202で集められた光を電気信号に変換する、撮像手段であるところのセンサ203、センサ203から得られる信号を現像する、現像手段であるところの現像処理部204からなる。

現像処理部204で現像された信号は画像データとして覆い焼き処理部1に与えられ、そこで覆い焼き処理を経た後、圧縮処理部205で符号化されて通信部206に符号化データとして与えられる。

ネットワーク通信手段であるところの通信部206では、接続された表示装置241からの撮像装置200に対する要求がネットワーク制御部207によって判断され、該要求に応じた処理情報が覆い焼き処理部1や撮像部201に対して伝えられる。なお、これらの処理は基本的にネットワーク制御部207内のCPU210上で動作するソフトウエアによって実現される。

通信部206においては、上述した処理情報に基づいて表示装置用として符号化された動画像データが、ネットワーク制御部207を経由してストレージ部208に入力される。そして、ネットワーク制御部207がストレージ部208に入力された動画像符号化データに対し、送出するネットワークの形態に応じたパケット化等などの処理を行った後、ネットワークインターフェイス(I/F)部209に対して送信用データとして渡す。ネットワークI/F部209はネットワーク網240に対して、そのネットワーク形態に応じた形で該データを送出する。

なお、ストレージ部208にはカメラから出力される動画像、もしくは任意のユーザに配信する動画像も蓄積される。また、ネットワーク網240としては、イーサネット(登録商標)等の有線LAN、IEEE802.11b等に代表される形式の無線LAN、もしくはISDN等の公衆回線網などを代表的なものとして想定することができる。またストレージ部208としては、ハードディスクドライブやDVD-RAM等のディスクドライブ系メモリだけでなく、内蔵RAMや内蔵DRAM、IC外部に接続されたDRAMで構成されていることが考えられる。

なお、本実施形態では図1において覆い焼き処理部1、圧縮処理部205、撮像部201、通信部206はそれぞれ別の構成ブロックとして記述したが、本実施形態をハードウェアで構成する際には、これらのブロックをそれぞれ別のICとして実現しても良いし、またはいくつかのブロック（例えば現像処理部204と覆い焼き処理部1と圧縮処理部205とネットワーク制御部206）をまとめて1チップ上に実現するなど、の様々な形態が実現可能であり、その形態は本実施形態において限定されるものではない。

●覆い焼き処理部
図2は、覆い焼き処理部1の詳細構成を示すブロック図である。同図において、2は、撮像部201から出力される画像データと、画素サンプリングクロックや水平/垂直同期信号などの制御信号からなる入力画像信号である。3は、入力画像信号2を輝度データと色差データに分離する輝度・色差分離部である。なお、この輝度・色差分離部3においては、入力される入力画像信号2のデータ形式がRGBであってもYC(4:2:2や4:4:4を問わず)であっても、同様に輝度データと色差データへの分離を行う。

4は、輝度・色差分離部3から出力される色差データを一時蓄え、制御部19の指示により出力する色差データバッファ部である。5は、輝度・色差分離部３から出力される輝度データを一時蓄え、制御部19の指示により出力する輝度データバッファ部である。6は、輝度・色差分離部3から出力される輝度データを所望の比率で縮小してHサイズ縮小画像を生成するHサイズ縮小部である。7は、同じく輝度データをHサイズ縮小部6よりも大きい比率で縮小してMサイズ縮小画像を生成するMサイズ縮小部である。8は、同じく輝度データをMサイズ縮小部7よりも大きい比率で縮小してLサイズ縮小画像を生成するLサイズ縮小部である。すなわち、H,M,Lサイズ縮小部6〜8からそれぞれ出力される縮小画像サイズは、Hサイズが一番大きく、Lサイズが一番小さいことになる。

9,10,11はそれぞれ、H,M,Lサイズ縮小画像に対し、ガウシアンフィルタなどのローパスフィルタをかけて空間フィルタ処理を施した画像を作成する、H空間フィルタ部，M空間フィルタ部，L空間フィルタ部である。

12は、各空間フィルタ部9〜11から出力される空間フィルタ処理後の画像を入力し、それぞれの輝度分布を判定してノイズ除去係数を設定する輝度分布判定部である。13は、後述する各画像拡大部20〜22から出力される、入力画像信号2と同じ解像度の輝度データを入力し、それぞれに対し制御部19から指示されたルックアップテーブル(LUT)に基づく演算処理を施すLUT処理部である。

14は、色差ノイズ除去部16と輝度ノイズ除去部15、LUT処理部13から出力される各画像データを所定の演算式に基づいて合成し、出力する画像合成部である。15は、輝度分布判定部12から指示された係数で輝度ノイズ除去処理を行う輝度ノイズ除去部である。16は、輝度分布判定部12から指示された係数で色差ノイズ除去処理を行う色差ノイズ除去部である。18は、画像合成部14から出力される出力画像である。

19は、ネットワーク制御部207から指示されるパラメータ25により、覆い焼き処理部1内部の各ブロックに対して適切な指示を行ったり、入力画像信号2を入力して各処理部の動作タイミングを制御したりする制御部である。なお、図2においては図示されていないが、覆い焼き処理部1内のすべての処理部には、制御部19によってコントロールされるため信号が接続されている。

20は、輝度分布判定部12から出力されるH空間フィルタ処理後の画像を入力し、入力画像信号2と同じ解像度に拡大して出力するHサイズ拡大部である。ただし、Hサイズ縮小部6において縮小処理が行われなかった場合には、Hサイズ拡大部20による拡大処理も行われない。同様に21は、M空間フィルタ処理後の画像を入力し、入力画像信号2と同じ解像度に拡大して出力するMサイズ拡大部、22は、L空間フィルタ処理後の画像を入力し、入力画像信号2と同じ解像度に拡大して出力するLサイズ拡大部である。

25は、ネットワーク制御部207がネットワーク網240を介して接続される表示装置241からの制御や、撮像装置200自体の動作を覆い焼き処理部1に指示するためのパラメータである。

なお、図2に示す各処理部には、タイミング調整用のバッファとなるFIFOやRAMが設けられている。また、色差データバッファ部4と輝度データバッファ部5は内蔵RAMや内蔵DRAM、IC外部に接続されたDRAM、等で構成されていることが考えられる。なお、Hサイズ縮小部6においては、入力画像信号2の画素数が少ない場合には縮小処理を行わずに、そのままH空間フィルタ部9にデータを出力することもある。

●輝度分布判定部
図3は、図2に示す輝度分布判定部12の詳細構成を示すブロック図である。同図において、301は、後述する各輝度ランク付け処理部から出力される輝度単位でのランク付けがなされたエリア情報と、制御部19から入力されるノイズ処理レベルパラメータに基づいて、どのエリアに対してどの程度のノイズ処理を行うかを判断する輝度ランク判断部である。

302は、H空間フィルタ部9から出力される空間フィルタ処理画像を所定の輝度範囲ごとにランク付けするHランク付け処理部である。303は同様に、M空間フィルタ部10から出力される空間フィルタ処理画像を所定の輝度範囲ごとにランク付けするMランク付け処理部、304は、L空間フィルタ部11から出力される空間フィルタ処理後の画像を所定の輝度範囲ごとにランク付けするLランク付け処理部である。

305は、輝度ランク判断部301から入力されるエリアに対するノイズ処理量の情報と、制御部19から入力される色差データバッファ部4及び輝度データバッファ部5のデータ出力タイミング情報に基づいて、色差ノイズ除去部16及び輝度ノイズ処理部15に対してフィルタ係数を指示するフィルタ係数判断部である。

●覆い焼き処理に用いられる画像
図4に、覆い焼き処理部1内の各処理部で作成される画像例を示す。同図において、400は、入力画像2を輝度・色差分離部3で分離した輝度データのみで構成した画像である。この画像400がH,M,Lサイズ縮小部6〜8およびH,M,L空間フィルタ部9〜11を介して、Hフィルタ画像401，Mフィルタ画像402，Lフィルタ画像403がそれぞれ得られる。

例えば、入力画像2が640×480画素である場合、Hサイズ縮小部6では縦横1/2圧縮されて320×240画素に相当する画像データが生成され、次にH空間フィルタ部9によりガウシアンフィルタ等の処理が施されることによって、Hフィルタ画像401が生成される。同様に、Mサイズ縮小部7では縦横1/8圧縮されて80×60画素に相当する画像データが生成され、次にM空間フィルタ部10によりガウシアンフィルタ等の処理が施されることによって、Mフィルタ画像402が生成される。また同様に、Lサイズ縮小部8では縦横1/40圧縮されて16×12画素に相当する画像データが生成され、次にL空間フィルタ部11によりガウシアンフィルタ等の処理が施さることによって、Lフィルタ画像403が生成される。

406は、M空間フィルタ処理後の画像であるMフィルタ画像402の一部を拡大したものであり、輝度ランクが4段階あることが分かる。以下、この4段階の輝度ランクのうち、最も暗い輝度ランクを最暗ランクと称する。

●LUT
図5は、覆い焼き処理部1内のLUT処理部13に設定されるLUT例を示す図である。同図に示すLUT501は、ネットワーク制御部207によって指定されたパラメータに基づき、制御部19がLUT処理部13に設定する。同図から分かるようにLUT501によれば、入力輝度レベルが低いほど出力値は大きくなり、入力輝度レベルが高くなるに従って、出力レベルは低くなっていく。つまりLUT処理部13においては、暗い部分の画像は明るくなるような演算処理が行われ、明るい部分の画像は暗くなるような演算処理が行われることになる。

●撮像処理
以下、本実施形態の撮像装置200における撮像処理について、以上の図1〜図5、および以下に示す図6,図7を用いて詳細に説明する。図6は、ネットワーク制御部207内のCPU210の処理を示すフローチャートであり、図7は、表示装置241の動作を示すフローチャートである。本実施形態の撮像装置200は、接続された表示装置241に連動して撮像動作を行うため、以下では、表示装置241との通信制御を含めて説明する。

ある表示装置241が撮像装置200にアクセスして通信が確立した場合(S701)、撮像装置200内においてネットワーク制御部207は撮像部201を起動し(S601)、撮像部201における画像処理が開始される。起動時においては、覆い焼き処理部1では覆い焼き処理を行わないように設定されており、覆い焼き処理部1に入力された画像データはそのまま圧縮処理部205に入力され、所定の符号化処理が行われた後、ネットワークI/F209を介してネットワーク網240に出力される(S602)。

表示装置241は、ステップS602で出力された画像をネットワーク網240経由で受信すると(S702)、符号化された画像データを復元し、表示する(S703)。これによりすなわち、撮像装置200による撮影画像が表示装置241に表示され、ユーザはこの表示によって撮影画像を確認することができる。

ユーザは表示装置241において、撮像装置200の撮影画像を見ながら、表示装置241上の不図示の操作手段によって、撮像装置200を制御する為の処理モード(カメラ制御モード)を選択することが可能である。ここで、カメラ制御モードが選択された場合(S704)、表示装置241は、ユーザによって入力されたコマンドを判断し(S705)、適切なコマンドをセットする。すなわち、覆い焼き処理の起動を示すコマンドが入力されたのであれば、覆い焼き開始コマンドをセットし(S707)、覆い焼き処理におけるノイズ処理レベルの変更を示すコマンドであればノイズレベル変更コマンドをセットし(S706)、また、覆い焼き処理以外の制御に関するコマンドであればその他の該当するコマンドをセットする(S708)。

なお、覆い焼き処理以外の制御とは例えば、撮影停止・開始や、撮影画像全体の輝度レベルの変更、ズーム、等の撮像装置200に関する制御一般の他、後述するLUT演算処理において使用されるLUTの設定、等がある。

表示装置241においてユーザ指示に基づく適切なコマンドがセットされると、該コマンドが撮像装置200に対して送信される(S709)。

すると撮像装置200において、表示装置241からのコマンドを受信すると、ネットワーク制御部207で該コマンドを解析し、覆い焼き処理に関するものであるか否か等を判断する(S603)。覆い焼き処理に関するコマンドでない場合には、該コマンドによって指示された処理を行うが(S604)、覆い焼き処理に関するコマンドであればさらにその内容を判断し、覆い焼き処理の開始を指示するコマンドであれば、ネットワーク制御部207は覆い焼き処理部1内の制御部19に対し、覆い焼き開始を指示するパラメータ25をセットする(S605)。覆い焼き開始が指示された覆い焼き処理部1では、後述する覆い焼き処理を実行し、覆い焼き処理後の画像を圧縮処理部205に対して出力する。すると上述したように、表示装置241の表示手段上に、覆い焼きされた画像が表示されることになる。

一方、表示装置241から受信したコマンドが覆い焼きに関するものであり、且つ覆い焼き処理のノイズ処理レベルの変更を指示するコマンドであれば、ネットワーク制御部207は覆い焼き処理部1内の制御部19に対し、ノイズレベルの変更を指示するパラメータ25をセットする(S608)。ノイズレベル変更が指示された覆い焼き処理部1では、後述するノイズ処理レベル変更処理を実行し、ノイズレベル変更後の画像を圧縮処理部205に対して出力する。これにより、表示装置241の表示手段上に、ノイズ処理レベルが変更された覆い焼き画像が表示されることになる。

●覆い焼き処理
以下、上述したステップS605における覆い焼き処理開始の指示に応じて実行される覆い焼き処理について、特に覆い焼き処理部1内におけるデータの流れを中心に説明する。

覆い焼き処理部1に入力された入力画像2(本実施形態では図4に示す原画像400：640×480画素とする)は、輝度・色差分離部3と制御部19に入力される。輝度・色差分離部3は入力画像2を色差データと輝度データに分離し、色差データを色差データバッファ部4へ出力し、輝度データを輝度データバッファ部5およびH,M,Lサイズ縮小部6〜8に出力する。

Hサイズ縮小部6では縦横1/2への縮小が設定されており、320×240画素の縮小画像を出力する。ただし、入力画像2の画素数が640×480画素程度の場合、縮小せずにそのまま出力することも考えられる。Mサイズ縮小部7では縦横1/8への縮小が設定されており、80×60画素の縮小画像を出力する。またLサイズ縮小部8では縦横1/40への縮小が設定されており、16×12画素の縮小画像を出力する。

それぞれの縮小画像は、次にH,M,L空間フィルタ部9〜11にそれぞれ入力され、ガウシアンフィルタなどのローパスフィルタ処理により、解像度の低下した空間フィルタ処理画像が生成される。すなわち、H空間フィルタ部9では図4に示すHフィルタ画像401が作成され、M空間フィルタ部10ではMフィルタ画像402が作成され、L空間フィルタ部11ではLフィルタ画像403が作成され、それぞれが輝度分布判定部12に入力される。

輝度分布判定部12においては、覆い焼き処理開始コマンドに応じて覆い焼き処理が実行される際には、ノイズ処理を行わないように設定されている。この場合すなわち、輝度分布判定部12では後述する輝度ランク判定を行わずに、各フィルタ画像401〜403をそのまま、Hサイズ拡大部20，Mサイズ拡大部21、Lサイズ拡大部22にそれぞれ入力する。またこのとき、色差ノイズ除去部16と輝度ノイズ除去部15に対してノイズ除去効果を無効にするような係数設定を行う。したがってこの場合、入力画像2の色差データおよび輝度データは何ら変化することなく、そのまま画像合成部14へ出力されることになる。

各フィルタ画像401〜403は、それぞれの画像拡大部20〜22によって入力画像2(画像400)と同じ画素数である640×480画素に復元され、LUT処理部13に入力される。LUT処理部13では復元された各フィルタ画像401〜403に対し、パラメータ25によって設定されたLUT501に基づき、輝度レベルの低い部分の出力値を高く、輝度レベルの高い部分の出力値を低くするような演算処理が行われる。

LUT演算処理が終了すると、LUT演算処理部13から画像合成部14に演算処理後の各フィルタ画像401〜403が入力されるタイミングに合わせて、制御部19は色差データバッファ部4と輝度データバッファ部5からのデータ出力のタイミングを調整する。

画像合成部14においては、まず所定のタイミングで入力された輝度データと、LUT演算処理後のH,M,Lフィルタ画像401,402,403を、所定の演算式により加算する。このように、各LUT演算処理後のフィルタ画像401〜403の輝度値が入力画像2(画像400)の輝度データに加算されることによって、元の画像において暗い部分の輝度レベルが上がり、明るい部分の輝度レベルはほとんど変化が無いという処理結果が得られることになる。画像合成部14においては、この加算処理後の輝度データと色差データとを組み合わせることによって、覆い焼き処理画像を作成し、これに制御部19で復元された制御信号を付加して、出力画像18とする。

画像合成部18から出力された出力画像18は、圧縮処理部205およびネットワーク制御部207を介して表示装置241に表示されるため、ユーザは表示装置241において覆い焼き処理結果を確認することができる。

●ノイズ処理レベル変更
本実施形態では、上述した覆い焼き処理が施された出力画像18に対し、表示装置241上でユーザがそのノイズ処理レベルの変更(オン/オフ)を指示することができる。以下、上述したステップS608におけるノイズレベル変更指示に応じて実行されるノイズ処理レベルの変更処理について、特に覆い焼き処理部1内におけるデータの流れを中心に説明する。

そもそも覆い焼き処理後のノイズは、画像合成部14において、LUT演算処理後のフィルタ画像の輝度値が原画像の輝度データに加算されることにより、入力画像2の輝度データに含まれるノイズ成分のレベルも輝度レベルの上昇とともに増加し、本来ならば目立つことのなかったノイズが目視できるようになったものである。すなわち、LUT演算処理部13での演算において暗い部分を明るくすればするほど、ノイズが目立ってしまう。そこで本実施形態においては、特にノイズの目立つエリアについて、ノイズ成分の不本意なレベル上昇を抑制することを特徴とする。

覆い焼き処理部1に対し、ノイズレベル変更指示のパラメータ25が入力されると、制御部19は輝度分布判定部12に対してノイズ処理の実行を指示する。すると輝度分布判定部12ではHランク付け処理部302において、Hフィルタ画像401の輝度分布を4段階に判定する。同様に、Mランク付け処理部303，Lランク付け処理部304においてそれぞれ、Mフィルタ画像402，Lフィルタ画像403の輝度分布を4段階に判定する。なお、本実施形態では図4の406に示すような4段階の輝度ランク付けを行う例を説明するが、本発明の輝度ランク付け処理は4段階に限定するものではなく、例えば2段階や3段階であっても同様の効果が期待できる。

H,M,Lそれぞれ4段階にランク付けされた輝度情報は、すべて輝度ランク判断部301に入力される。輝度ランク判断部301においては、入力画像2の画素に対応したH,M,Lそれぞれの輝度情報に基づいて、制御部19から入力される色差データバッファ部4と輝度データバッファ部5の所定のデータ出力タイミングに応じて、輝度ランク判断結果をフィルタ係数判断部305に出力する。

フィルタ係数判断部305においては、輝度ランクの判断結果に基づいて、色差ノイズ除去部16と輝度ノイズ除去部15にあるノイズフィルタであるところのメディアンフィルタの係数値を決定し、色差ノイズ除去部16と輝度ノイズ除去部15に設定する。なお、輝度ランク判断結果に基づくフィルタ係数値の設定方法の詳細については後述する。

ここで、ノイズ処理を行わない場合にはメディアンフィルタが無効になるような係数値を設定し、ノイズ処理を行う場合にはメディアンフィルタが有効になるような係数値を設定する。なお、このノイズフィルタの種類はメディアンフィルタに限らず、ガウシアンフィルタや前後画素の平均値を取るようなノイズフィルタであっても良い。

これらの一連の処理によって、色差ノイズ除去部16および輝度ノイズ除去部15に対して適切なノイズ除去用のフィルタ係数が設定され、覆い焼き処理画像のノイズが低減されることになる。ノイズが除去された覆い焼き処理画像は、上述したように圧縮処理部205,通信部206を介して表示装置241に表示され、ユーザが確認することができる。

●輝度分布判定処理
以下、本実施形態における輝度分布判定処理、すなわち、輝度ランク判定部301の輝度ランク判断結果に基づくノイズフィルタの係数設定処理について、詳細に説明する。

本実施形態において、Hフィルタ画像401の1画素は入力画像2(画像400)の4画素分に相当し、同様にMフィルタ画像402の1画素は64画素分、Lフィルタ画像403の1画素は1600画素分に相当する。すなわち、Lフィルタ画像403の1画素が入力画像2における1600画素の平均値に相当し、該1画素が入力画像2の最も広い範囲をカバーすることになるため、Lフィルタ画像403ではHフィルタ画像401やMフィルタ画像402と比べて、ノイズ成分がほとんど無くなることが分かる。一方、Hフィルタ画像401は入力画像2の4画素平均値に相当するため、入力画像2にノイズ成分がのっていた場合には最も影響を受けやすい。

そこで本実施形態では輝度ランク判定部301において、それぞれ4段階の輝度ランク付けがなされたH,M,Lフィルタ画像401〜403について、例えばその全てが最も暗い輝度ランク(最暗ランク)にランク付けされていた場合には、現在処理中の画像エリア(以下、注目エリア)はノイズ成分が目立ってしまう暗いエリアであると判断されるため、ノイズ処理係数のレベルを上げ、ノイズ除去効果を高めるような設定を行う。

また、Lフィルタ画像403が最暗ランクにランク付けされた場合でも、Hフィルタ画像401やMフィルタ画像402では最暗ランク以外にランク付けされることがある。そのような場合には、現在処理中の画像エリア(以下、注目エリア)は画像の輝度変化の大きい部分、つまり明暗部の境界(エッジ)であると判断され、エッジ部に目立つノイズを除去するために、注目エリアに対してノイズ処理係数のレベルを上げるような設定を行う。

このように本実施形態においては、覆い焼き処理で必要となる処理によって得られる3つの異なる解像度の空間フィルタ処理画像について、それぞれの輝度分布状況から画像の暗部や明部、およびその境界を適切に判断することによって、画像の各エリアに対してその画像特徴、すなわちノイズの発生しやすさに応じたノイズ処理係数を設定する。

なお、本実施形態ではH,M,Lフィルタ画像401〜403の輝度分布に応じてノイズ処理係数を設定するが、これら各フィルタ画像による画像判断およびフィルタ係数設定は上述した組み合わせに限られるものではなく、ノイズの発生しやすいエリアについてノイズ除去レベルを上げるように制御するものであれば良い。

また、本実施形態で行った4段階の輝度ランクに関しても、各ランクを区切る輝度レベルを柔軟に変化させることで、ノイズ処理適用範囲の判定をより正確または柔軟に行うことが可能になる。

このように本実施形態によれば、入力画像全体の輝度分布に応じてノイズ処理係数を設定することによってノイズ除去量を制御することができるが、ノイズ処理領域を制御することによっても同様の効果が得られる。すなわち、ノイズの発生しやすいエリアほどノイズ除去レベルを上げるように制御するのみでなく、ノイズの発生しやすいエリアほどノイズ除去範囲を拡大するように制御しても良い。

なお、ノイズ除去後の覆い焼き処理画像をユーザが表示装置241上で確認し、ノイズ除去結果に満足できない場合、ユーザはさらなるノイズレベル変更を指示することも可能である。この場合すなわち、ユーザによるノイズレベル変更指示の回数に応じて、例えばノイズ除去の度合が高まる方向へ、輝度ランク付け用の輝度レベルを変更したり、ノイズ処理係数ノイズ処理レベルまたはノイズ処理領域を制御すれば良い。

以上説明したように本実施形態によれば、デジタル覆い焼き処理で発生するノイズを、ノイズの発生しやすい部分だけを狙って除去することが可能となる。また、LUT演算処理前のフィルタ画像を用いたノイズ処理判定を行うことによって、輝度のエリア分布状況に応じた直接的なノイズ除去処理を行うことが可能となる。

したがって、局所的なノイズ除去処理や画像全体へのノイズ除去処理を行った場合と比較して、解像感を損なうことなく、よりクリアで自然な画像を生成することができる。

また、ネットワークに接続した表示装置において撮像画像を視認したユーザによる、ノイズ除去レベルの制御を可能とすることにより、該ユーザの好みに応じた補正画像出力を行うことができる。

＜第２実施形態＞
以下、本発明に係る第2実施形態について説明する。上述した第1実施形態においては、撮像装置200におけるノイズ処理の実行・停止(オン/オフ)を表示装置241側から制御する例を示したが、このノイズ処理を撮像装置200において覆い焼き処理実行後に自動的に行うことも可能である。

図9は、第2実施形態の撮像装置における覆い焼き処理部1の詳細構成を示すブロック図である。なお、第2実施形態の撮像装置における他の構成は、上述した第1実施形態と同様であるため、説明を省略する。

図9によれば、第1実施形態で図2に示した構成に対し、輝度差判断部901を設けたことが異なる。輝度差判断部901は、入力画像2を入力してその最大輝度値と最小輝度値、およびその差であるところの輝度差情報902を1フレーム画像ごとに自動的に求め、輝度情報902を随時ネットワーク制御部207に対しフィードバックする。

図8は、ネットワーク制御部207で行われる自動ノイズ除去処理を示すフローチャートであり、上述した第1実施形態で示した図6と同様の処理には同一ステップ番号を付し、説明を省略する。

ネットワーク制御部207は、表示装置241から送信されてきたコマンドが覆い焼き処理の開始を指示するコマンドであると判断した場合(S603)、覆い焼き処理部1内の制御部19に対し、覆い焼き開始を指示するパラメータ25をセットする(S605)。覆い焼き開始を指示された覆い焼き処理部1では、第1実施形態と同様に覆い焼き処理を実行し、覆い焼き処理後の画像を圧縮処理部205に対して出力する。

このとき輝度差判断部901においては覆い焼き処理開始後、入力された入力画像2に基づき、その最大輝度値と最小輝度値、およびその輝度差情報902を1フレーム画像ごとに自動的に算出し、輝度差情報902を随時ネットワーク制御部207に対してフィードバックする。

ネットワーク制御部207では輝度差情報902を受信すると(S800)、輝度差情報902を判断し(S800)、所定以上の輝度差が生じるような場合には、制御部19に対して第1実施形態と同様のノイズ処理の実行を指示する(S803)。

さらに第2実施形態においては、フィードバックされる輝度差情報902に基づいて輝度差のレベルを段階的に判断し、第1実施形態と同様にフィルタ処理の係数を変更してノイズ除去効果を制御することも可能である。すなわち、輝度差に応じたノイズ処理レベルの変更を行うことも可能である。

さらに、撮像部201から出力されるAGC(自動光量制御)の値やシャッタ速度の値をネットワーク制御部207にフィードバックすることによっても、同様に入力画像2の輝度差を判断することができ、同様の効果を得ることができる。

以上説明したように第2実施形態によれば、撮像装置において自動的にノイズ除去を行うことが可能となり、さらにその適用レベルや適用範囲についても入力画像の輝度レベルに応じて自動的に制御されるため、より簡単に、ノイズの少ないクリアな画像を生成することができる。

＜第３実施形態＞
以下、本発明に係る第3実施形態について説明する。上述した第1実施形態においては、各空間フィルタ処理画像の輝度分布状況に基づいて、入力画像の輝度データ及び色差データに対するノイズ除去レベルを可変にする例を示したが、この制御方法は2次元的な処理に限定され、且つ入力画像にノイズ成分か顕著に存在する場合に有効であった。第3実施形態においては、時系列的な空間フィルタ処理画像に対してノイズ処理を行うことにより、第1実施形態と同様な効果を得ることを特徴とする。

図10は、第3実施形態の撮像装置における覆い焼き処理部1の詳細構成を示すブロック図である。なお、第2実施形態の撮像装置における他の構成は、上述した第1実施形態と同様であるため、説明を省略する。

図10によれば、第1実施形態で図2に示した構成に対し、輝度分布判定部12が輝度平均化部1001に置き換わり、さらにフレームメモリ1002を設けたことが異なる。なお、フレームメモリ1002としては、内蔵RAMや内蔵DRAM、IC外部に接続されたDRAMによって構成されていることが考えられる。

図11に、輝度平均化部1001およびフレームメモリ1002の詳細構成を示す。同図によれば、輝度平均化部1001はフィルタ画像平均化部1101とフィルタ画像格納制御部1102よりなり、H,M,Lフィルタ画像を入力してそれぞれを平均化するとともに、フレームメモリ1002へ格納する。なお、フレームメモリ1002は、前フレームエリア1103と前々フレームエリア1104を有している。

以下、図10および図11を用いて、第3実施形態における時系列的ノイズ処理について説明する。

第１実施形態と同様に、ネットワーク制御部207からノイズ処理を実行するパラメータ25が制御部19に入力されると、制御部19は輝度平均化部1001内のフィルタ画像格納制御部1102に対し、各空間フィルタ処理画像の蓄積開始を指示する。この指示により2フレーム分の各空間フィルタ処理画像が、フレームメモリ1002内のエリア1103および1104に蓄積される。なお、フィルタ画像格納制御部1102は、制御部19から蓄積停止の指示を受けるまで、順次各空間フィルタ処理画像を2フレーム分づつ更新し、蓄積し続ける。

各空間フィルタ処理画像の2フレーム分が蓄積され、3フレーム目がフィルタ画像平均化部1101に入力された時点で、フィルタ画像平均化部1101は、入力された3フレーム目の各空間フィルタ処理画像内の輝度データに対応する、前フレームおよび前々フレームの輝度データを、フレームメモリ1002の前フレームエリア1103および前々フレームエリア1104からフィルタ画像格納制御部1102経由で読み出す。

するとフィルタ画像平均化部1101では、3フレーム分の各空間フィルタ処理画像の輝度データを比較し、ノイズ除去用のフィルタ処理を行った後、H,M,Lサイズ拡大部20〜22に出力する。このノイズ除去用のフィルタ処理としては、3フレーム分の画素データを単純に加算して平均を取ったデータを出力する方法や、3フレーム目のデータに比重を置いた形で演算処理する方法、3フレーム分の輝度データに所定範囲を越える変化がなければそのまま出力し、所定範囲を越える変化があった場合のみ加算平均を取って出力する方法、等が考えられる。すなわち、空間フィルタ処理画像のレベルを安定させることによってノイズ除去を行う。

なお、第3実施形態ではH,M,Lサイズの全ての空間フィルタ処理画像を判断対象とする例を示したが、フレームメモリ1002の容量を考慮し、Hフィルタ画像のみを判断対象としても、メモリ容量を削減しつつ、ほぼ同様の効果を得ることができる。

以上説明したように第3実施形態によれば、空間フィルタ処理後の画像にノイズ成分がある場合にも、効果的なノイズ除去を行うことができる。

＜第４実施形態＞
以下、本発明に係る第4実施形態について説明する。上述した第3実施形態においては、時系列的な空間フィルタ処理画像に対してノイズ処理を行う例を示したが、第4実施形態においては、この時系列的な空間フィルタ処理画像に基づき、入力画像の輝度データ及び色差データに対するノイズ処理を行う例について説明する。

図12は、第4実施形態の撮像装置における覆い焼き処理部1の詳細構成を示すブロック図である。なお、第4実施形態の撮像装置における他の構成は、上述した第1実施形態と同様であるため、説明を省略する。図12によれば、第3実施形態で図10に示した構成に対し、輝度平均化部1001が輝度変化判定部1201に置き換わったことが異なる。

図13に、輝度変化判定部1201およびフレームメモリ1002の詳細構成を示す。同図によれば、輝度変化判定部1201はフィルタ画像格納制御部1102の他、フィルタ係数判断部305、および3フレーム分のフィルタ画像の比較結果に基づいて判断条件を出力するフィルタ画像変化判断部1301よりなる。

以下、図12および図13を用いて、第4実施形態における時系列的ノイズ処理について説明する。

第3実施形態と同様に、フレームメモリ1002に各空間フィルタ処理画像の2フレーム分が蓄積され、3フレーム目がフィルタ画像変化判断部1301に入力された時点で、フィルタ画像変化判断部1301は、入力された3フレーム目の各空間フィルタ処理画像内の輝度データに対応する、前フレームおよび前々フレームの輝度データを、フレームメモリ1002の前フレームエリア1103および前々フレームエリア1104からフィルタ画像格納制御部1102経由で読み出す。

するとフィルタ画像変化判断部1301では、3フレーム分の各空間フィルタ処理画像の輝度データを比較し、該比較した画像に相当する輝度データ及び色差データが輝度データバッファ部5及び色差データバッファ部4から出力されたタイミングで、フィルタ係数判断部305に対し、フィルタ係数設定時の判断条件を出力する。例えば、Hフィルタ画像の前々フレームと前フレーム、および現在のフレームについての輝度データを比較し、現在の輝度データの値が所定輝度以下で、かつ該輝度データと前2フレーム分の輝度データとの差が所定範囲を越えると判断された場合に、ノイズ処理を実行する旨の判断を行うことが考えられる。

フィルタ係数判断部305では、フィルタ画像変化判断部1301から入力される判断条件に基づいてノイズ処理係数を決定し、色差ノイズ除去部16及び輝度ノイズ除去部15に対する係数設定を行う。これにより、原画像(入力画像2)に対するノイズ除去作業が実行される。

以上説明したように第4実施形態によれば、空間フィルタ処理後の画像を時系列的に判断し、ノイズ成分があると判断された場合に原画像のノイズ除去を行うことができる。

＜第５実施形態＞
以下、本発明に係る第5実施形態について説明する。第5実施形態においては、上述した第1実施形態で図2に示した覆い焼き処理部1の内部構成について、その処理順を置き換えたことを特徴とする。例えば、第1実施形態においては各空間フィルタ処理後に輝度分布判定を行う例を示したが、この処理順序を逆にしても、同様な効果が得られる。さらに、輝度データに対するノイズ除去に代えて、各サイズ画像拡大後の輝度データを原画像の輝度データと入れ替えることによっても、やはり第1実施形態と同様の効果が得られる。

図14は、第5実施形態の撮像装置における覆い焼き処理部1の詳細構成を示すブロック図である。なお、第5実施形態の撮像装置における他の構成は、上述した第1実施形態と同様であるため、説明を省略する。

図14によれば、第1実施形態で図2に示した構成に対し、H,M,Lサイズ拡大部20〜22と、輝度分布判定部12の位置が逆になっている。この構成によれば、輝度分布判定部12における参照画素の対応が図2の場合とは異なり、各空間フィルタ画像における画素の対応が1対1になるため、輝度分布判定部12における判定がより簡単になる。

図15は、さらに輝度データの入れ替えを行う場合の、覆い焼き処理部1の詳細構成を示すブロック図である。同図に示す構成は、Hフィルタ画像は入力画像2に対して最も画素数が近く、かつガウシアンフィルタによるノイズ除去効果が得られているという点に着目し、図14の輝度ノイズ除去部15に代えて輝度データ入替え部1501を設け、Hサイズ拡大後の輝度データを輝度データバッファ部5から出力される輝度データと入れ替えることにより、十分なノイズ除去効果を得るものである。

この場合、輝度分布判定部12においては、ノイズ除去対象であるところの輝度データが輝度データバッファ部5から出力された際に、輝度データ入替え部1501に対し、出力された輝度データの座標位置に相当する、Hサイズ拡大部20で処理された輝度データを出力する。すると輝度データ入替え部1501は、輝度データバッファ部5から出力された輝度データの代わりに、Hサイズ拡大部20で処理された輝度データを出力するように動作する。なお、輝度差に応じてノイズ除去レベルを上げたい場合には、輝度データ入替え部1501においてMサイズ拡大部21やLサイズ画像拡大部22の輝度データへの入れ替えを行うことも有効である。

以上説明したように第5実施形態によれば、空間フィルタ処理前に輝度分布判定を行うことによっても、第1実施形態と同様の効果を得ることができる。さらに、輝度データに対するノイズ除去に代えて、拡大後の輝度データを原画像の輝度データと入れ替えることによっても、やはり第1実施形態と同様の効果を得ることができる。

なお、第5実施形態で示した覆い焼き処理部1の構成は、上述した第2〜第4実施形態に対しても同様に適用可能であることは言うまでもない。

＜他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明に係る一実施形態における撮像装置の構成を示すブロック図である。本実施形態における覆い焼き処理部の詳細構成を示すブロック図である。本実施形態における輝度分布判定部の詳細構成を示すブロック図である。本実施形態における覆い焼き処理部で作成される画像例を示す図である。本実施形態におけるLUT演算部に設定されるLUT例を示す図である。本実施形態におけるネットワーク制御部の処理を示すフローチャートである。本実施形態における表示装置の動作を示すフローチャートである。第2実施形態における自動ノイズ除去処理を示すフローチャートである。第2実施形態に覆い焼き処理部の詳細構成を示すブロック図である。第3実施形態における覆い焼き処理部の詳細構成を示すブロック図である。第3実施形態における輝度平均化部の詳細構成を示すブロック図である。第4実施形態における覆い焼き処理部の詳細構成を示すブロック図である。第4実施形態における輝度変化判定部の詳細構成を示すブロック図である。第5実施形態における覆い焼き処理部の詳細構成を示すブロック図である。第5実施形態における覆い焼き処理部の他の詳細構成を示すブロック図である。

Claims

被写体を撮像して画像データを得る撮像手段と、
前記画像データに対してデジタル覆い焼き処理を施す覆い焼き手段と、
該覆い焼き処理後の画像データに対して符号化を施す符号化手段と、
該符号化後の画像データを出力する出力手段と、を有し、
前記覆い焼き手段は、
前記画像データに空間フィルタ処理を施してフィルタ画像を生成するフィルタ手段と、
前記フィルタ画像における輝度分布を所定エリア単位で判定する輝度分布判定手段と、
前記輝度分布判定手段による輝度分布判定結果に応じて、前記画像データに対するノイズ除去処理を前記所定エリア単位で行うノイズ除去手段と、
を有することを特徴とする画像処理装置。
前記輝度分布判定手段は、前記フィルタ画像における輝度分布に基づいて、前記所定エリア毎にノイズの発生しやすさを判定することを特徴とする請求項１記載の画像処理装置。
前記ノイズ除去手段は、前記輝度分布判定手段による輝度分布判定結果に応じて、前記画像データに対するノイズ除去処理の有無を前記所定エリア単位で切替えることを特徴とする請求項１または２記載の画像処理装置。
前記ノイズ除去手段は、前記輝度分布判定手段による輝度分布判定結果に応じて、前記画像データにおけるノイズ除去処理の適用範囲を前記所定エリア単位で切替えることを特徴とする請求項１または２記載の画像処理装置。
前記ノイズ除去手段は、前記輝度分布判定手段による輝度分布判定結果に応じて、前記画像データにおけるノイズ除去レベルを前記所定エリア単位で切替えることを特徴とする請求項１または２記載の画像処理装置。
前記覆い焼き手段はさらに、前記画像データを輝度データと色差データに分離するデータ分離手段を有し、
前記フィルタ手段は、前記輝度データに対してフィルタ処理を施し、
前記ノイズ除去手段は、前記輝度データと色差データのそれぞれに対してノイズ除去処理を行うことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
前記フィルタ手段は、前記輝度データに対して複数段階の空間フィルタ処理を施して複数段階のフィルタ画像を生成し、
前記輝度分布判定手段は、前記複数段階のフィルタ画像における輝度分布を前記所定エリア単位で判定することを特徴とする請求項６記載の画像処理装置。
前記覆い焼き手段はさらに、
前記輝度データを複数段階に縮小して複数段階の縮小輝度データを生成し、該複数段階の縮小輝度データを前記フィルタ手段に提供する縮小手段と、
前記フィルタ手段で生成された複数段階のフィルタ画像のそれぞれを、前記縮小手段による縮小前の輝度データサイズに拡大して複数の復元輝度データを生成する拡大手段と、
前記複数の復元輝度データのそれぞれに対して補正を施す補正手段と、
該補正後の複数の復元輝度データと、前記ノイズ除去手段によるノイズ除去後の輝度データおよび色差データを合成する画像合成手段と、
を有することを特徴とする請求項７記載の画像処理装置。
前記輝度分布判定手段は、前記拡大手段によって生成された複数の復元輝度データにおける輝度分布を判定することを特徴とする請求項８記載の画像処理装置。
前記ノイズ除去手段は、前記分離手段で分離された輝度データを、前記拡大手段によって生成された復元輝度データのいずれかで置き換えることによって、該輝度データに対するノイズ除去を行うことを特徴とする請求項９記載の画像処理装置。
前記覆い焼き手段はさらに、
前記画像データにおける最大輝度と最小輝度の差が所定値以上であるか否かを前記所定エリア単位で判断する輝度差判断手段を備え、
前記ノイズ除去手段は、前記輝度差判断手段において輝度差が所定値以上であると判断されたエリアについて、前記ノイズ除去処理を実行することを特徴とする請求項１乃至１０のいずれかに記載の画像処理装置。
前記覆い焼き手段はさらに、
前記フィルタ画像を保持するフィルタ画像保持手段と、
前記フィルタ手段から出力されたフィルタ画像を、前記フィルタ画像保持手段に保持されたフィルタ画像と時系列的に比較するフィルタ画像比較手段と、を有し、
前記ノイズ除去手段は、前記フィルタ画像比較手段による比較結果に基づいて、前記画像データに対するノイズ除去処理を実行するか否かを前記所定エリア毎に判断することを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
被写体を撮像して画像データを得る撮像手段と、
前記画像データに対してデジタル覆い焼き処理を施す覆い焼き手段と、
該覆い焼き処理後の画像データに対して符号化を施す符号化手段と、
該符号化後の画像データを出力する出力手段と、を有し、
前記覆い焼き手段は、
前記画像データに空間フィルタ処理を施してフィルタ画像を生成するフィルタ手段と、
前記フィルタ画像を保持するフィルタ画像保持手段と、
前記フィルタ手段から出力されたフィルタ画像の所定エリア単位で、前記フィルタ画像保持手段に保持されたフィルタ画像に基づいてノイズ除去処理を行うノイズ除去手段と、
を有することを特徴とする画像処理装置。
前記ノイズ除去手段は、前記フィルタ手段から出力されたフィルタ画像と、前記フィルタ画像保持手段に保持されたフィルタ画像の平均化を、前記所定エリア単位で行うことを特徴とする請求項１３記載の画像処理装置。
さらに、前記出力手段から出力された画像データを表示する表示手段と、
ユーザ指示に基づいて、前記覆い焼き処理手段におけるノイズ除去処理を制御するノイズ除去指示手段と、
を有することを特徴とする請求項１乃至１４のいずれかに記載の画像処理装置。
さらに、前記出力手段から出力された画像データを表示する表示手段を有することを特徴とする請求項１５記載の画像処理装置。
前記出力手段は、ネットワークを介して接続された外部装置に対して前記画像データを送信し、
前記ノイズ除去指示手段は、前記外部装置から受信したコマンドに基づいて前記覆い焼き処理手段におけるノイズ除去処理を制御する
ことを特徴とする請求項１６記載の画像処理装置。
ネットワークを介して撮像装置と画像処理装置を接続し、該撮像装置による撮像画像を該画像処理装置において表示可能な画像処理システムであって、
前記画像処理装置は、
前記撮像装置から画像データを受信する画像受信手段と、
該受信した画像データを表示する表示手段と、
該表示された画像データに対するユーザ指示を入力するユーザ指示入力手段と、
該ユーザ指示に応じたコマンドを前記撮像装置へ送信するコマンド送信手段と、を有し、
前記撮像装置は、
被写体を撮像して画像データを得る撮像手段と、
前記画像処理装置から前記コマンドを受信するコマンド受信手段と、
前記撮像手段で撮像された画像データに対して、前記コマンドに応じたノイズ除去処理を行いつつデジタル覆い焼き処理を所定エリア単位で施す覆い焼き手段と、
該覆い焼き処理後の画像データに対して符号化を施す符号化手段と、
該符号化後の画像データを前記画像処理装置へ送信する画像送信手段と、を有することを特徴とする画像処理システム。
前記覆い焼き手段は、
前記画像データに空間フィルタ処理を施してフィルタ画像を生成するフィルタ手段と、
前記フィルタ画像における輝度分布を前記所定エリア単位で判定する輝度分布判定手段と、
前記コマンドおよび前記輝度分布判定手段による輝度分布判定結果に応じて、前記画像データに対するノイズ除去処理を前記所定エリア単位で行うノイズ除去手段と、
を有することを特徴とする請求項１８記載の画像処理システム。
前記コマンドは、前記ノイズ除去手段におけるノイズ除去レベルの変更を指示することを特徴とする請求項１９記載の画像処理システム。
被写体を撮像して画像データを得る撮像ステップと、
前記画像データに対してデジタル覆い焼き処理を施す覆い焼きステップと、
該覆い焼き処理後の画像データに対して符号化を施す符号化ステップと、
該符号化後の画像データを出力する出力ステップと、を有し、
前記覆い焼きステップはさらに、
前記画像データに空間フィルタ処理を施してフィルタ画像を生成するフィルタステップと、
前記フィルタ画像における輝度分布を所定エリア単位で判定する輝度分布判定ステップと、
前記輝度分布判定ステップにおける輝度分布判定結果に応じて、前記画像データに対するノイズ除去処理を前記所定エリア単位で行うノイズ除去ステップと、
を有することを特徴とする画像処理方法。
さらに、ユーザによるノイズ除去指示を入力するノイズ除去指示ステップを有し、
前記覆い焼きステップにおいては、前記ノイズ除去指示が入力された場合に前記ノイズ除去ステップを実行することを特徴とする請求項２１記載の画像処理方法。
情報処理装置上で実行されることによって、該情報処理装置を請求項１乃至１７の何れかに記載された画像処理装置として動作させるように制御することを特徴とするプログラム。
請求項２３に記載されたプログラムが記録されたことを特徴とする記録媒体。