JP2005117399A - 画像処理装置 - Google Patents

Abstract

【構成】 ＳＤＲＡＭ２２に記録されたＹＵＶ形式の画像データからシャッタボタン３６ｂが押されたタイミングで静止画像(元画像)を取り出す。そして、この元画像の複製を作成し、複製した元画像に本来画像のサイズ調整のために設けられたズーム回路２６を用いて縮小処理，ローパスフィルタ処理および拡大処理の３つの処理を繰り返し２度実行してなまったフィルタ処理画像を作成する。そして、ノイズリダクション回路２８に加算処理を実行させて元画像とフィルタ処理画像とを合成する。
【効果】 高速に疑似ソフトフォーカス画像を得ることができる。
【選択図】 図１

Description

この発明は、画像処理装置に関し、特にたとえば、元画像と元画像に縮小処理，ローパスフィルタ処理および拡大処理をこの順序で所定の回数だけ繰り返し施した処理画像とを合成して擬似ソフトフォーカス画像を作成する、画像処理装置に関する。

従来のこの種の画像処理装置の一例が、特許文献１に開示されている。

特許文献１の画像処理装置では、画像の縮小処理，ローパスフィルタ処理，拡大処理および合成処理をソフトウェアによって実現していた。
特開平１１−２８４８６０号公報［Ｈ０４Ｎ １／４０９，Ｇ０６Ｔ １／００，Ｈ０４Ｎ １／６０］

特許文献１の従来技術では、各画像処理をソフトウェアによって実現しているので、擬似ソフトフォーカス画像を得るのに時間がかかるという問題があった。

それゆえに、この発明の主たる目的は、高速に擬似ソフトフォーカス画像を作成することができる、画像処理装置を提供することである。

請求項１の発明は、メモリに格納された第１画像信号に基づいて第２画像信号を生成し、第１画像信号と第２画像信号とを合成して合成画像信号を生成する画像処理装置において、メモリから画像信号を読み出し、読み出された画像信号にズーム処理を施し、そしてズーム処理を施された画像信号をメモリに書き込むズーム手段、メモリから複数の画像信号を読み出し、読み出された複数の画像信号を互いに合成する合成手段、およびズーム手段と合成手段とを制御する制御手段を備え、制御手段は、第２画像信号を生成するべく縮小ズーム処理および拡大ズーム処理をズーム手段に交互に命令し、合成画像信号を生成するべく第１画像信号および第２画像信号の合成を合成手段に命令し、ズーム手段は、閾値を上回る周波数成分を除去するフィルタ処理回路を含むことを特徴とする画像処理装置である。

請求項１の発明では、メモリから画像信号を読み出し、読み出した画像信号にズーム処理を施し、そしてズーム処理を施された画像信号をメモリに書き込むズーム手段およびメモリから複数の画像信号を読み出し、読み出した複数の画像信号を互いに合成する合成手段を設ける。そして、また、ズーム手段と合成手段とを制御する制御手段を設け、制御手段は第１画像信号に対する縮小ズーム処理および拡大ズーム処理をズーム手段に対して交互に命令して第２画像信号を生成する。ズーム手段はローパスフィルタ回路を備えており、縮小ズーム処理が施された画像信号には拡大ズーム処理の前にローパスフィルタ処理が施される。また、制御手段は、第１画像信号および第２画像信号の合成を合成手段に対して命令して合成画像信号を生成する。したがって、第１画像信号と第１画像信号がぼかされた第２画像信号とが合成されるので擬似ソフトフォーカス画像が合成画像信号として得られる。また、縮小ズーム処理，ローパスフィルタ処理，拡大ズーム処理および合成処理がハードウェアによって実行されるので高速に擬似ソフトフォーカス画像が得られる。

請求項２の発明は、合成画像信号に圧縮処理を施す圧縮手段、および圧縮手段によって生成された圧縮画像信号を記録媒体に記録する記録手段を備える、請求項１記載の画像処理装置である。

請求項２の発明では、圧縮手段が合成画像信号を圧縮し、記録手段が圧縮手段によって圧縮された圧縮画像信号を記録媒体に記録する。したがって、生成した合成画像信号を効率よく記録保持することができる。

請求項３の発明は、被写体を撮影して第１画像信号を生成する撮影手段をさらに備える、請求項１または２に記載の画像処理装置である。

請求項３の発明では、撮影手段が被写体を撮影して第１画像信号を生成する。したがって、撮影した所望の被写体の擬似ソフトフォーカス画像を得ることができる。

この発明によれば、縮小ズーム処理，ローパスフィルタ処理，拡大ズーム処理，合成処理の各処理がハードウェアによって実行されるので高速に擬似ソフトフォーカス画像を得ることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの発明の一実施例であるディジタルカメラ１０は、擬似ソフトフォーカス撮影モードを備えており、このモードで撮影するとソフトフォーカスで撮影したのと同様の効果を持った画像を得ることができる。

図１を参照してこのディジタルカメラ１０はＣＣＤ(Change Coupled Device)などのイメージセンサ１２を含む。被写界の光学像は、図示しない光学レンズを介してイメージセンサ１２の受光面に照射される。

オペレータが操作パネル３６に設けられたモード切り換えスイッチ３６ｍｄを操作して擬似ソフトフォーカスモードを選択すると、ＣＰＵ４０によってスルー画像処理が実行される。イメージセンサ１２は被写界の生画像信号を出力し、ＣＤＳ／ＡＧＣ／ＡＤ回路１４はイメージセンサ１２から出力された生画像信号にノイズ除去，レベル調整およびＡ／Ｄ変換の一連の処理を実行する。ＣＤＳ／ＡＧＣ／ＡＤ回路１４からは、ディジタル信号である生画像データが出力される。信号処理回路１６は、ＣＤＳ／ＡＧＣ／ＡＤ回路１４から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの信号処理を施す。これによってＹＵＶ形式の画像データが生成される。信号処理回路１６によって生成された画像データは、メモリ制御回路２４によってＳＤＲＡＭ２２に書き込まれる。

ビデオエンコーダ１８は、ＳＤＲＡＭ２２に格納された画像データをメモリ制御回路２４を通して読み出し、読み出された画像データをコンポジットビデオ信号に変換する。ビデオエンコーダ１８によって変換されたコンポジットビデオ信号はＬＣＤ２０に与えられる。この結果、被写界のリアルタイム動画像(スルー画像)がＬＣＤ２０に表示される。

スルー画像の表示中にオペレータによって操作パネル３６に設けられたシャッタボタン３６ｓｔが操作されると、シャッタボタン３６ｓｔが操作されたタイミングで、メモリ制御回路２４を通してＳＤＲＡＭ２２から１フレーム分のＹＵＶデータつまり１画面分の静止画像データが読み出される。

ＳＤＲＡＭ２２から読み出されたこの静止画像データに後述の処理を施すことによって擬似ソフトフォーカス画像が得られる。この擬似ソフトフォーカス画像は、図２に示すように、元画像と元画像に縮小処理，拡大処理およびローパスフィルタ処理を施してぼやけさせたフィルタ処理画像とを合成することによって得られる。したがって、縮小拡大処理およびローパスフィルタ処理を施すための回路が必要となる。

この実施例のディジタルカメラ１０を含め、一般的なディジタルカメラでは撮影する画像のサイズを選択することができる。指定されたサイズの画像を得るには、イメージセンサ１２によって決定される基準サイズの画像を拡大したり縮小したりする必要がある。そのため、画像のサイズを選択することができるディジタルカメラは画像を拡大および縮小するためのズーム回路２６を備えている。ところで、画像を縮小するとぎらぎら感を伴う折り返しノイズが発生してしまうのでこのノイズを除去するためにローパスフィルタ処理が必要となる。そのため、ズーム回路２６は画像の縮小処理の後に続いてローパスフィルタ処理を行うローパスフィルタ回路２６ｆを含んでいる。

この実施例のディジタルカメラ１０では、上述のフィルタ処理画像を得るために、ズーム回路２６に含まれるローパスフィルタ回路２６ｆを利用する。このように既存のローパスフィルタ回路２６ｆを用いてローパスフィルタ処理を行うので、回路構成が複雑にならず、コストも抑えることができる。また、ハードウェアによって実行するのでローパスフィルタ処理を高速に行うことができる。なお、ズーム回路２６のローパスフィルタ処理機能は回路構成上、単独で動作させることは不可能であり、必ず画像の縮小機能と同時に動作する。

オペレータによってシャッタボタン３６ｓｔが押されてＳＤＲＡＭ２２から１画面分の静止画像データが読み出されると、この静止画像データはズーム回路２６に与えられる。なお、このときズーム回路２６に与えられた静止画像データの複製がＳＤＲＡＭ２２に残される。この複製は後に元画像として利用される。この複製データを「元画像データ」と呼ぶ。

ズーム回路２６では与えられた静止画像データを所定の量ずつ取り込み縮小処理を行いつつローパスフィルタ処理を行う。縮小処理は静止画像データを単純に間引くことによって実現される。そして、ローパスフィルタ処理は、間引くことによって形成された縮小静止画像データの１画素１画素について、当該画素の周りに位置する８つの画素(８近傍)の階調の平均値を当該画素の階調とすることによって実現される。縮小処理およびローパスフィルタ処理を施された静止画像データ(これを「フィルタ処理画像データ」と呼ぶ)はメモリ制御回路２４を通して再びＳＤＲＡＭ２２に書き込まれる。この実施例では、ローパスフィルタ処理として８近傍の平滑化処理を行ったが、ローパスフィルタ処理は他の方法で実現してもよい。

次に、ズーム回路２６は、縮小されたフィルタ処理画像データをメモリ制御回路２４を通してＳＤＲＡＭ２２から読み出す。そして、ズーム回路２６は、フィルタ処理画像データにもう一度ローパスフィルタ処理を施すために、フィルタ処理画像データを一度元の大きさに拡大する。この拡大処理では、追加する画素の階調を当該画素に隣接する画素を用いた線形近似によって決定する。こうして拡大されたフィルタ処理画像データは、メモリ制御回路２４を通してＳＤＲＡＭ２２に書き込まれる。

ズーム回路２６はメモリ制御回路２４を通して、拡大されたフィルタ処理画像データを読み出し、再び上述の縮小処理とローパスフィルタ処理とを施す。これらの処理を施したフィルタ処理画像データをＳＤＲＡＭ２２に書き込む。

そして、ズーム回路２６はメモリ制御回路２４を通して、縮小されたフィルタ処理画像データを読み出して拡大処理を施し、拡大処理を施したフィルタ処理画像データをＳＤＲＡＭ２２に書き込む。

このようにして、ローパスフィルタ処理が２回施されたフィルタ処理画像データがＳＤＲＡＭ２２に作成される。このフィルタ処理画像データは、縮小処理およびローパスフィルタ処理が施されているので、元画像データに比べて、なまった(ぼやけた)画像になっている。この実施例では、ローパスフィルタ処理を２回実施したが、ローパスフィルタ処理を施す回数は、ローパスフィルタ処理の方法および擬似ソフトフォーカス画像の仕上がりに応じて適宜変更するとよい。

フィルタ処理画像データの作成が完了すると、次に、元画像データとフィルタ処理画像データとの合成を行う。この合成には、一般的なディジタルカメラがノイズ対策のために備えているノイズリダクション回路２８を利用する。通常、ノイズリダクション回路２８は、長時間露光のためにＣＣＤに起因して発生する熱雑音(にごり)を除去するために利用される。つまり、熱雑音を含む通常の画像とシャッタを閉じた状態で熱雑音だけが写った画像とを撮影し、この２枚の画像の差分をノイズリダクション回路２８で作成することによって画像から熱雑音を除去する。したがって、通常、ノイズリダクション回路２８では２つの画像の減算処理が行われる。

詳しい説明は省略するが、与える命令を変更してこのノイズリダクション回路２８を利用して加算処理を行わせることにより、２つの画像の平均を求めることができる。このことを利用して、ノイズリダクション回路２８を用いて元画像データとフィルタ処理画像データとの合成を行う。

元画像データとフィルタ処理画像データとの合成は、既存のハードウェアであるノイズリダクション回路２８を用いて行うので、回路構成が複雑にならずにコストも抑えることができ、しかも高速に処理が実行される。

ノイズリダクション回路２８は、メモリ制御回路２４を通してＳＤＲＡＭ２２から元画像データとフィルタ処理画像データとを読み出す。読み出された元画像データは“１−Ｓ”だけ重み付けされ、フィルタ処理画像データは“Ｓ”だけ重み付けされる(０＜Ｓ＜１)。たとえば、“Ｓ”の値は“０．５”である。このように重み付けされた元画像データとフィルタ処理画像データとがノイズリダクション回路２８によって加算されることによって２つの画像が合成されて擬似ソフトフォーカス画像データが作成される。作成された擬似ソフトフォーカス画像データはメモリ制御回路２４を通してＳＤＲＡＭ２２に書き込まれる。

擬似ソフトフォーカス画像データがＳＤＲＡＭ２２に書き込まれると、次に、ＪＰＥＧコーデック３０は擬似ソフトフォーカス画像データをメモリ制御回路２４を通して読み出し、読み出した擬似ソフトフォーカス画像データにＪＰＥＧ圧縮を施す。そして、ＪＰＥＧ圧縮を施した圧縮擬似ソフトフォーカス画像データをメモリ制御回路２４を通してＳＤＲＡＭ２２に書き込む。

圧縮擬似ソフトフォーカス画像データがＳＤＲＡＭ２２上に作成されると、ＣＰＵ３４は、メモリ制御回路２４を介して圧縮擬似ソフトフォーカス画像データを読み出して、Ｉ／Ｆ３８を介してメモリカード４０に書き込む。このようにして、ソフトフォーカスで撮影されたのと同様の効果を有する擬似ソフトフォーカス画像がメモリカード４０上に得られる。

以下に、図３および図４に示すフロー図を用いてＣＰＵ３４の動作を説明する。

オペレータによって擬似ソフトフォーカスモードが選択されると、図３のステップＳ１においてスルー画像処理が実行される。これによってスルー画像がＬＣＤ２０に表示される。このとき、信号処理回路１６から出力された画像データは順次メモリ制御回路２４を通してＳＤＲＡＭ２２に書き込まれ、書き込まれた画像データがビデオエンコーダ１８によって読み出されてＬＣＤ２０に与えられている。

オペレータがＬＣＤ２０に表示されるスルー画像を見ながらシャッタボタン３６ｂを操作すると、ステップＳ３においてこれを検出し、ステップＳ５において、ズーム回路２６に縮小ズーム命令を与える。すると、ズーム回路２６はメモリ制御回路２４をとおして静止画像データをＳＤＲＡＭ２２から読み出す。このとき、ＳＤＲＡＭ２２には読み出された静止画像データの複製(元画像データ)が作成される。ズーム回路２６は、読み出した静止画像データに縮小処理とローパスフィルタ処理とを施す。そして、縮小処理とローパスフィルタ処理とが施されたフィルタ処理画像データをメモリ制御回路２４を通してＳＤＲＡＭ２２に書き込む。

ステップＳ７では、ズーム回路２６によってこれらの処理およびＳＤＲＡＭ２２へのフィルタ処理画像データの書き込みが完了したかどうかを判断する。ステップＳ７でＹＥＳと判断すると、ステップＳ９において、ズーム回路２６に拡大ズーム命令を与える。拡大ズーム命令が与えられると、ズーム回路２６は、メモリ制御回路２４を通してＳＤＲＡＭ２２からフィルタ処理画像データを読み出してこのフィルタ処理画像データの拡大処理を行う。そして、拡大したフィルタ画像処理データをメモリ制御回路２４を通してＳＤＲＡＭ２２に書き込む。

ステップＳ１１では、ズーム回路２６による拡大処理およびＳＤＲＡＭ２２へのフィルタ処理画像データの書き込みが完了したかどうかを判断する。ステップＳ１１でＹＥＳと判断すると、ステップＳ１３において再びズーム回路２６に対して縮小ズーム命令を与える。ズーム回路２６は、ＳＤＲＡＭ２２からフィルタ処理画像データを読み出して縮小処理およびローパスフィルタ処理を実行してフィルタ処理画像データをＳＤＲＡＭ２２に書き込む。

ステップＳ１５では、ズーム回路２６による縮小処理，ローパスフィルタ処理およびＳＤＲＡＭ２２への書き込みが完了したかどうかを判断する。ステップＳ１５でＹＥＳと判断すると、ステップＳ１７において、ズーム回路２６に対して拡大ズーム命令を与える。ズーム回路２６はＳＤＲＡＭ２２からフィルタ処理画像データを読み出して拡大処理を施し、再びフィルタ処理画像データをＳＤＲＡＭ２２に書き込む。

ステップＳ１９では、ズーム回路２６による拡大処理およりＳＤＲＡＭ２２への書き込みが完了したかどうかを判断する。ステップＳ１９においてＹＥＳと判断すると、図４のステップＳ２１において、ノイズリダクション回路２８に対して元画像データとフィルタ処理画像データとの合成命令を与える。

合成命令を受け取ったノイズリダクション回路２８は、メモリ制御回路２４を通してＳＤＲＡＭ２２から元画像データとフィルタ処理画像データとを読み出し、元画像データに“１−Ｓ”の重み付けをし、フィルタ処理画像データに“Ｓ”の重み付けをして(０＜Ｓ＜１)元画像データとフィルタ処理画像データとの加算を行う。これによって擬似ソフトフォーカス画像データが得られる。ノイズリダクション回路２８はこうして作成した擬似ソフトフォーカス画像データをＳＤＲＡＭ２２に書き込む。

ステップＳ２３では、ノイズリダクション回路２８による画像の合成およびＳＤＲＡＭ２２への書き込みが完了したかどうかを判断する。ステップＳ２３においてＹＥＳと判断すると、ステップＳ２５において、ＪＰＥＧコーデック３０に対して圧縮命令を与える。ＪＰＥＧコーデック３０は、圧縮命令に応答してＳＤＲＡＭ２２から擬似ソフトフォーカス画像データを読み出してＪＰＥＧ圧縮を施して圧縮擬似ソフトフォーカス画像データを作成し、これをＳＤＲＡＭ２２に書き込む。

ステップＳ２７では、ＪＰＥＡＧコーデック３０による圧縮およびＳＤＲＡＭ２２への書き込みが完了したかどうかを判断する。そして、ステップＳ２７においてＹＥＳと判断するとＳＤＲＡＭ２２から圧縮擬似ソフトフォーカス画像データを読み出して、これをＩ／Ｆ３８を通してメモリカード４０に書き込む。

ステップＳ３１では、圧縮擬似ソフトフォーカス画像データのメモリカード４０への書き込みが完了したかどうかを判断する。そして、ステップＳ３１においてＹＥＳと判断すると図３のステップＳ１に戻る。このようにして、擬似ソフトフォーカス画像がメモリカード４０上に得られる。

以上に説明したように、この実施例のディジタルカメラ１０では、既存のハードウェアであるズーム回路２６を用いて、元画像データに、縮小処理，ローパスフィルタ処理および拡大処理を行ってなまったフィルタ処理画像データを作成する。そして、同じく既存のハードウェアであるノイズリダクション回路２８を用いて、元画像データとフィルタ処理画像データとを合成することによって、ソフトフォーカス画像と同様の様相を呈する擬似ソフトフォーカス画像データを得る。

ソフトウェアではなくハードウェアを用いて各処理を行うため、高速に擬似ソフトフォーカス画像を得ることができる。また、既存のハードウェアを使用するため、回路構成が複雑にならず、かつ、コストを抑えることができる。

なお、上述の実施例は種々に変更して実施することができる。たとえば、上述の例では、画像の撮影の直後に擬似ソフトフォーカス画像の作成を行ったが、これに代えて、すでに撮影されている画像に対して任意のときに擬似ソフトフォーカス画像を作成する処理を施すようにしてもよい。

この発明の一実施例の全体構成を示す図解図である。 擬似ソフトフォーカス画像の作成手順を示す図解図である。 ディジタルカメラのＣＰＵの動作を示すフロー図である。 図３のフロー図に続くフロー図である。

符号の説明

１０ …ディジタルカメラ
２２ …ＳＤＲＡＭ
２４ …メモリ制御回路
２６ …ズーム回路
２８ …ノイズリダクション回路
３４ …ＣＰＵ
３６ …操作パネル

Claims (3)

1. メモリに格納された第１画像信号に基づいて第２画像信号を生成し、前記第１画像信号と前記第２画像信号とを合成して合成画像信号を生成する画像処理装置において、
   前記メモリから画像信号を読み出し、読み出された画像信号にズーム処理を施し、そして前記ズーム処理を施された画像信号を前記メモリに書き込むズーム手段、
   前記メモリから複数の画像信号を読み出し、読み出された複数の画像信号を互いに合成する合成手段、および
   前記ズーム手段と前記合成手段とを制御する制御手段を備え、
   前記制御手段は、前記第２画像信号を生成するべく縮小ズーム処理および拡大ズーム処理を前記ズーム手段に交互に命令し、前記合成画像信号を生成するべく前記第１画像信号および前記第２画像信号の合成を前記合成手段に命令し、前記ズーム手段は、閾値を上回る周波数成分を除去するフィルタ処理回路を含むことを特徴とする画像処理装置。
2. 前記合成画像信号に圧縮処理を施す圧縮手段、および
   前記圧縮手段によって生成された圧縮画像信号を記録媒体に記録する記録手段を備える、請求項１記載の画像処理装置。
3. 被写体を撮影して前記第１画像信号を生成する撮影手段をさらに備える、請求項１または２記載の画像処理装置。

Images