JP2007006158A - 画像処理装置 - Google Patents

Abstract

【課題】 スペースバリアントな画像処理機能を有する画像処理装置において、所望の画質の静止画を容易に得ることを可能とし、ユーザに快適な環境を提供する。
【解決手段】 スペースバリアントな画像処理機能を有する画像処理装置において、ユーザに提示するためのスルー画を生成するスルー画処理部１０３、及びメモリカード等の記録媒体に記録する静止画を生成する静止画処理部１０４の双方に、スペースバリアント画像処理を行う手段を設けることにより、ユーザに対して提示されるスルー画の画質をメモリカードに記録される静止画の画質に近づける。
【選択図】 図１

Description

本発明は画像処理装置に関し、特に画像の各箇所において特性の異なる画像処理を行うスペースバリアント画像処理を行う画像処理装置に関する。

従来、例えば、デジタルカメラ等においては、撮影時にＣＣＤまたはＣＣＤとは別に設けた測光手段によって得られたデータから、絞り、ＣＣＤの露出時間、画像全体の階調変換などの処理を行っている。しかしながら、従来のデジタルカメラにおいては、明るいところに露出を合わせると、明るいところは正しく分解されるが、暗いところは正しく分解されず、また、暗いところに露出を合わせると、暗いところは正しく分解されるが、明るいところは正しく分解されないという問題がある。
この問題に対処する方法として、例えば、特許第３４６５２２６号公報（特許文献１）、特開２００２−９４９９８号公報（特許文献２）には、画像の階調変換を行う際に、画像の各箇所において異なる階調変換特性に基づくスペースバリアントな階調変換を行うことにより、明るいところと暗いところの双方を分解する方法が開示されている。

図６にスペースバリアントな階調変換特性を説明する図を示す。図６に示した例では、画像を５個の領域に分割しており、各領域において異なる階調変換特性を持つ様子を示している。各領域の接する部分においては、例えば、接する階調変換特性を補間演算することにより、滑らかに階調変換特性を変化させる。
このような方法によれば、デジタルカメラにおいて、画像の各領域において異なる階調変換特性を持ったスペースバリアントな階調変換を行うことにより、明るいところと暗いところの双方を分解することが可能となり、デジタルカメラ特有のラティチュードの少なさを改善することができる。
特許第３４６５２２６号公報 特開２００２−９４９９８号公報 特開２００４−２７４２８４号公報 特開２００２−１３５６２８号公報

しかしながら、スペースバリアントな階調変換においては、例えば、明るさやコントラストといったパラメータを各分割領域において、階調変換特性にどのように反映させるかにより、ユーザが操作するパラメータと、最終的な画像の変化との間に大きな違いが生ずるという問題があった。
このため、ユーザにとっては、設定したパラメータから最終的に撮影される画像、つまり、メモリカード等の記録媒体に記録される画像の画質を予測しづらいこととなり、所望の画像を得るために、何回かパラメータを変更したり、何回か撮影をやり直したりする必要があった。

この問題に対処する方法として、例えば、特開２００４−２７４２８４号公報（特許文献３）、特開２００２−１３５６２８号公報（特許文献４）には、デジタルカメラにおける一般の露出関連パラメータやホワイトバランスパラメータを調整する方法として、デジタルカメラのスルー画にパラメータ調整結果を反映させることによって、ユーザが簡便に調整する方法が開示されている。

しかしながら、上記特許文献３或いは特許文献４に記載されている従来の方法を採用しても、上述したようなスペースバリアントな画像処理が行われるような場合には、スルー画の画質と実際に撮影される画像の画質、つまり、メモリカード等の記録媒体に記録される静止画の画質とが必ずしも一致しないため、結局、ユーザは、スルー画から最終的に撮影される画像の画質を確実に予測することができず、ユーザが望む画質の静止画を容易に取得することができないこととなる。

本発明は上記問題に鑑みてなされたもので、スペースバリアントな画像処理機能を有する画像処理装置において、所望の画質の静止画を容易に得ることを可能とし、ユーザに快適な環境を提供することのできる画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、被写体像から入力画像を生成する撮像手段と、前記入力画像からユーザに提示するためのスルー画を生成するスルー画処理手段と、前記入力画像から記録手段に記録する静止画を生成する静止画処理手段とを備え、前記スルー画処理手段は、前記入力画像を所定の大きさに縮小した第１の縮小画像の各箇所に応じた第１の画像処理特性に基づいて、該箇所毎に画像処理を行う第１のスペースバリアント画像処理手段を備え、前記静止画処理手段は、前記入力画像の前記各箇所に応じた第２の画像処理特性に基づいて、該箇所毎に画像処理を行う第２のスペースバリアント画像処理手段を備える画像処理装置を提供する。

上記構成によれば、スルー画処理手段においても、静止画処理手段と同様に、スペースバリアント画像処理が行われるので、ユーザに対して提示されるスルー画の画質を記録手段に記録される静止画の画質に近づけることが可能となる。
上記第１の画像処理特性には、例えば、後述の第１の実施形態において説明されている「第１の画像処理特性」や、第５の実施形態において説明されている「第１の階調変換特性」等が該当する。また、上記第２の画像処理特性には、例えば、後述の第１の実施形態において説明されている「第２の画像処理特性」や、第５の実施形態において説明されている「第２の階調変換特性」等が該当する。

上記画像処理装置において、前記第１のスペースバリアント画像処理手段が用いる第１のパラメータと、前記第２のスペースバリアント画像処理手段が用いる第２のパラメータとは、同一又は関連付けがなされていることが好ましい。

このようにパラメータが設定されていることにより、ユーザに提示されるスルー画の画質を記録手段に記録される静止画の画質に、更に近づけることが可能となる。
ここで、パラメータを同一に設定したとしても、スルー画処理手段と静止画処理手段との構成等の違いにより、スルー画の画質と静止画の画質とに微小な違いが生ずることがある。このため、両者の構成等の違いに応じてパラメータに補正を施すことにより、スルー画と静止画との画質をより近づけることができる。このようなことから、上記「関連付け画なされている」とは、上述したような構成上の違い等により生じる微小な誤差を解消するような関連付けがパラメータになされているということである。

上記画像処理装置は、前記第１のパラメータ及び前記第２のパラメータの少なくともいずれか一方を外部から調整するためのパラメータ調整手段を備えることが好ましい。

上記構成によれば、ユーザは、スルー画を確認しながらパラメータ調整手段を通じてパラメータを調整することが可能となるので、スルー画を理想的な状態に調整することが可能となり、所望の画質の静止画を得ることが可能となる。

上記画像処理装置において、前記第１のスペースバリアント画像処理手段は、前記第１の縮小画像を更に縮小した第２の縮小画像から、前記第２の縮小画像の各箇所に応じた画像処理特性を決定し、この画像処理特性に基づいて前記第１の画像処理特性を決定し、前記第２のスペースバリアント画像処理手段は、前記入力画像を縮小した第３の縮小画像から、前記第３の縮小画像の各箇所に応じた画像処理特性を決定し、この画像処理特性に基づいて前記第２の画像処理特性を決定することが好ましい。

上記構成によれば、第１のスペースバリアント画像処理手段では、第１の縮小画像を更に縮小した第２の縮小画像から、第２の縮小画像の各箇所に応じた画像処理特性が決定され、この画像処理特性に基づいて第１の画像処理特性が求められる。そして、この第１の画像処理特性に基づくスペースバリアント画像処理が第１の縮小画像に対して実施される。一方、第２のスペースバリアント画像処理手段では、入力画像を縮小した第３の縮小画像から、第３の縮小画像の各箇所に応じた画像処理特性が求められ、この画像処理特性に基づいて第２の画像処理特性が決定される。そして、この第２の画像処理特性に基づくスペースバリアント画像処理が入力画像に対して実施される。
このように、第１のスペースバリアント画像処理手段及び第２のスペースバリアント画像処理手段は、いずれも縮小画像を用いて画像処理特性を求めるので、縮小前の画像から画像処理特性を求める場合に比べて、演算処理を簡便にすることができ、処理時間の短縮を図ることが可能となる。

上記画像処理装置において、前記第２の縮小画像と前記第３の縮小画像とは、略同一サイズであることが好ましい。

このように、スルー画作成時及び静止画作成時において、画像処理特性を求めるために用いられる縮小画像のサイズを略同一にすることにより、スペースバリアント画像処理上の画像処理特性を求めるためのヒストグラム分析等において、略同一の結果を得ることが可能となる。これにより、第１のスペースバリアント画像処理手段及び第２のスペースバリアント画像処理手段が用いる画像処理特性を略同じ特性とすることが可能となり、スルー画作成時と静止画作成時とにおいて同じようなスペースバリアント画像処理を実施することができる。この結果、スルー画の画質と静止画の画質とを略一致させることができる。
なお、上記「略同一」とは、実装上の都合上、若干の相違も含まれるという意味である。

上記画像処理装置において、前前記第１の縮小画像から前記第２の縮小画像を生成する際の縮小率と、前記入力画像から前記第３の縮小画像を生成する際の縮小率とは、略同一であることが好ましい。

このように、第１の縮小画像から第２の縮小画像を生成する際の縮小率と、入力画像から第３の縮小画像を生成する際の縮小率とを略同値にすることにより、第１のスペースバリアント画像処理手段及び第２のスペースバリアント画像処理手段が用いる画像処理特性を略同じ特性とすることが可能となる。これにより、スルー画作成時と静止画作成時とにおいて、同じようなスペースバリアント画像処理を実施することが可能となり、スルー画の画質と静止画の画質とを略一致させることができる。
なお、上記「略同一」とは、実装上の都合上、若干の相違も含まれるという意味である。

上記画像処理装置において、前記第２の縮小画像のサイズは、前記第３の縮小画像のサイズ以下であり、かつ、前記入力画像から前記第３の縮小画像を生成する際の縮小率を用いて、前記第１の縮小画像から作成される縮小画像のサイズ以上であることが好ましい。
或いは、前記第３の縮小画像のサイズは、前記第２の縮小画像のサイズ以上であり、かつ、前記第１の縮小画像から前記第２の縮小画像を生成する際の縮小率を用いて、前記入力画像から生成される縮小画像のサイズ以下であることが好ましい。

このように、第２の縮小画像のサイズ又は第３の縮小画像のサイズを定めることにより、画像処理特性を得る際に用いられる画像サイズの不一致は許容しつつも、縮小率の差を小さくすることが可能となる。これにより、サイズと縮小率とのバランスを考慮した好適な画像処理特性を得ることが可能となる。

上記画像処理装置において、前記第１のスペースバリアント画像処理手段は、前記第１の縮小画像から前記第１の縮小画像の各箇所に応じた前記第１の画像処理特性を決定し、前記第２のスペースバリアント画像処理手段は、前記入力画像を縮小した第３の縮小画像から前記第３の縮小画像の各箇所に応じた画像処理特性を決定し、この画像処理特性に基づいて前記第２の画像処理特性を決定することが好ましい。

上記構成によれば、第１のスペースバリアント画像処理手段では、第１の縮小画像から、第１の縮小画像の各箇所に応じた第１の画像処理特性が決定され、この第１の画像処理特性に基づくスペースバリアント画像処理が第１の縮小画像に対して実施される。一方、第２のスペースバリアント画像処理手段では、入力画像を縮小した第３の縮小画像から、第３の縮小画像の各箇所に応じた画像処理特性が求められ、この画像処理特性に基づいて第２の画像処理特性が決定される。そして、この第２の画像処理特性に基づくスペースバリアント画像処理が入力画像に対して実施されることとなる。

この場合において、前記第１の縮小画像と前記第３の縮小画像とは、略同一サイズであることが好ましい。
このように、スルー画作成時及び静止画作成時において、画像処理特性を求めるために用いられる縮小画像のサイズを略同一にすることにより、スペースバリアント画像処理上の画像処理特性を求めるためのヒストグラム分析等において、略同一の結果を得ることが可能となる。これにより、第１のスペースバリアント画像処理手段及び第２のスペースバリアント画像処理手段が用いる画像処理特性を略同じ特性とすることが可能となり、スルー画作成時と静止画作成時とにおいて同じようなスペースバリアント画像処理を実施することができる。この結果、スルー画の画質と静止画の画質とを略一致させることができる。
なお、上記「略同一」とは、実装上の都合上、若干の相違も含まれるという意味である。

上記画像処理装置において、前記第３の縮小画像のサイズは、前記第１の縮小画像のサイズ以上であり、かつ、前記入力画像のサイズよりも小さいことが好ましい。

このように、第３の縮小画像のサイズを定めることにより、画像処理特性を得る際に用いられる画像サイズの不一致は許容しつつも、縮小率の差を小さくすることが可能となる。これにより、サイズと縮小率とのバランスを考慮した好適な画像処理特性を得ることが可能となる。

本発明に係る画像処理装置によれば、スルー画の画質をメモリカード等の記録媒体に記録される静止画の画質に近づけることが可能となるので、スルー画から静止画の画質を予想しやすくすることが可能となる。これにより、所望の画質の静止画を容易に得ることを可能とし、ユーザに快適な環境を提供することができるという効果を奏する。

以下、本発明に係る画像処理装置をデジタルカメラに適用した実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は本発明の第１の実施形態に係る画像処理装置の一構成例を示したブロック図である。図１に示されるように、本実施形態に係る画像処理装置は、例えば、撮像部（撮像手段）１０と、スルー画処理部（スルー画処理手段）１０３と、静止画処理部（静止画処理手段）１０４とを備えて構成されている。
撮像部１０は、例えば、被写体像を結像するためのレンズ系１０１、このレンズ系１０１により結像される光学的な被写体像を光電変換し、電気的な画像信号（以下、この画像信号に対応する画像を「入力画像」という。）を出力するＣＣＤ１０２を備えている。この撮像部１０とスルー画処理部１０３及び静止画処理部１０４との間には、切替部２００が設けられており、この切替部２００が切り替わることにより、スルー画処理部１０３又は静止画処理部１０４が択一的に選択され、選択された一方と撮像部１０とが接続される。

上記スルー画処理部１０３は、スルー画用画像縮小部１０５、第１のスペースバリアント画像処理部（第１のスペースバリアント画像処理手段）１０６、及び画像表示部１０７を備えて構成されている。
スルー画用画像縮小部１０５は、切替部２００を介してＣＣＤ１０２から供給される入力画像をＬＣＤの表示画面に応じた画像サイズに縮小して第１の縮小画像を作成し、出力する。第１のスペースバリアント画像処理部１０６は、スルー画用画像縮小部１０５から出力された第１の出力画像にスペースバリアント処理を含む画像処理を行い、処理後の第１の縮小画像を出力する。この画像処理の中には、例えば、ホワイトバランス処理、ノイズ除去処理、色変換処理、エッジ強調処理等が含まれる。スペースバリアント処理は、画像の各箇所に応じた画像処理特性で画像処理を行うものであり、例えば上述の特許文献１（特許第３４６５２２６号公報）や特許文献２（特開２００２−９４９９８号公報）に記載されているような画像の画素毎或いは領域毎に応じた階調変換特性（トーンカーブ）を適用して画像に対する階調変換を行うスペースバリアントな階調変換処理である。画素毎或いは領域毎に応じた階調変換特性は、被写体に対する測光結果を用いて決定したり、処理対象の画素値の分布特性をヒストグラムなどで求め、この分布特性を用いて決定したりする。スペースバリアントな階調変換処理では、画像を複数の領域に分割して、この領域毎に階調変換特性を求めて階調変換を行うような階調変換処理も含まれる。ホワイトバランス処理、ノイズ除去処理、色変換処理、エッジ強調処理、スペースバリアント処理等に用いられるパラメータであるパラメータＡは、パラメータ格納部１０８から供給される。

第１のスペースバリアント画像処理部１０６から出力された第１の縮小画像は、画像表示部１０７に入力される。画像表示部１０７は、入力された第１の縮小画像に対して、ＬＣＤの特性に依存するフォーマット変換処理、色変換処理、階調変換処理等を行い、ＬＣＤに表示させる。

一方、静止画処理部１０４は、第２のスペースバリアント画像処理部（第２のスペースバリアント画像処理手段）１０９及び画像圧縮部１１０を備えて構成されている。
上記第２のスペースバリアント画像処理部１０９は、切替部２００を介してＣＣＤ１０２から供給される入力画像に、スペースバリアント処理を含む画像処理を施す。処理の内容は、上述の第１のスペースバリアント画像処理部１０６と同様である。このとき参照されるパラメータＡは、スルー画の場合と同様に、パラメータ格納部１０８から供給される。スペースバリアント画像処理部１０９にて処理された画像は、画像圧縮部１１０に入力される。画像圧縮部１１０は、スペースバリアント画像処理部１０９から供給された画像信号を、例えば、ＪＰＥＧ形式等に圧縮し、メモリカード等の記録手段に保存する。なお、パラメータＡは、メモリカードに記録される静止画が撮影モード等に応じて所望の画質となるように事前に調整されたパラメータである。

続いて、本実施形態に係る画像処理装置の作用について図１を参照して説明する。
まず、切替部２００がＣＣＤ１０２とスルー画処理部１０３とを接続している通常状態において、レンズ系１０１により結像された被写体像は、ＣＣＤ１０２により光学被写体から電気信号に変換され、出力される。ＣＣＤ１０２から出力された入力画像は、切替部２００を通じてスルー画処理部１０３内のスルー画用画像縮小部１０５に供給される。スルー画用画像縮小部１０５では、入力画像がスルー画に適した大きさに縮小された第１の縮小画像が生成され、出力される。この第１の縮小画像は、スペースバリアント画像処理部１０６に供給される。スペースバリアント画像処理部１０６では、パラメータＡを参照することにより、第１の縮小画像の各箇所に応じた画像処理特性（以下「第１の画像処理特性」という。）を求め、この第１の画像処理特性に基づいて、第１の縮小画像の箇所毎に画像処理を行う。このようにして、パラメータＡを用いた各種画像処理やスペースバリアント処理が施された画像信号は、更に、画像表示部１０７に供給されることにより、ＬＣＤの特性に依存するフォーマット変換処理、色変換処理、階調変換処理等が施されて、スルー画としてＬＣＤに表示される。これにより、パラメータＡを用いて求められた第１の画像処理特性に基づいて各種画像処理やスペースバリアント処理が施されたスルー画がユーザに提示されることとなる。

続いて、このＬＣＤに表示されたスルー画がユーザにより確認され、図示しないシャッターボタンが押下されると、切替部２００がスルー画処理部１０３から静止画処理部１０４へ切り替わり、ＣＣＤ１０２から出力される入力画像は、静止画処理部１０４に供給される。スペースバリアント画像処理部１０９では、パラメータＡを参照することにより、入力画像の各箇所に応じた画像処理特性（以下「第２の画像処理特性」という。）を求め、この第２の画像処理特性に基づいて、入力画像の箇所毎に画像処理を行う。このようにして、パラメータＡを用いた各種画像処理やスペースバリアント処理が施された入力画像の画像信号は、画像圧縮部１１０に供給されることにより、所定のフォーマットに基づいて圧縮され、メモリカード等の記録媒体に記録される。

以上説明したように、本実施形態に係る画像処理装置によれば、スペースバリアント画像処理を行う静止画処理に対して、スルー画処理においてもスペースバリアント画像処理を行い、スペースバリアント画像処理後のスルー画をＬＣＤに表示させるので、実際に撮影される画像、つまり、メモリカードに記録される静止画と同様の画質を持つ画像をスルー画としてユーザに提示することが可能となる。これにより、ユーザに、撮影する画像の画質を予想させることが可能となるので、撮影のやり直しを回避するなど、ユーザに快適な環境を提供することができる。

なお、本実施形態においては、スルー画処理部１０３における第１のスペースバリアント画像処理部１０６と静止画処理部１０４における第２のスペースバリアント画像処理部１０９の処理の内容を同様の処理としているが、スルー画と静止画の処理結果が大きく変わらない範囲で異なっていてもかまわない。例えば、スルー画表示は画像サイズが小さいことを考慮して、スルー画処理部１０３における第１のスペースバリアント画像処理部１０６にはノイズ除去処理やエッジ強調処理は含まないとすることも可能である。また、本実施形態においては、スペースバリアント処理として、スペースバリアントな階調変換の例を示したが、スペースバリアント処理は、スペースバリアントな色変換処理やエッジ強調処理等であっても、本実施形態に適用することが可能である。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置について説明する。
図２は、本発明の第２の実施形態に係る画像処理装置の一構成例を示したブロック図である。
上述の第１の実施形態においてはスルー画処理における第１のスペースバリアント画像処理部１０６と、静止画処理における第２のスペースバリアント画像処理部１０９に対して同一のパラメータＡが供給されていたが、第２の実施形態においては、それぞれに対して個別のパラメータであるパラメータＢとパラメータＣが、ホワイトバランス処理、ノイズ除去処理、色変換処理、エッジ強調処理、スペースバリアント処理等に用いられるパラメータとして供給される。
パラメータＢとパラメータＣは、事前に対応関係が定められて調整され設定されるパラメータである。パラメータＢは、撮影される静止画が撮影モード等に応じて所望の画質となるように調整されるパラメータであり、パラメータＣは、ＬＣＤに表示される画像と撮影される静止画の画質がより近づくようにパラメータＢに対応して調整されるパラメータである。

以上説明したように、本実施形態においては、スルー画処理における第１のスペースバリアント画像処理部１０６と、静止画処理における第２のスペースバリアント画像処理部１０９に対して個別のパラメータＢ、Ｃを供給する。また、これらパラメータＢ、ＣはＬＣＤに表示されるスルー画の画質と、メモリカードに記録される静止画の画質がより近づくように事前に調整されたものである。これにより、スルー画の画質を静止画の画質に更に近づけることが可能となるので、ユーザの想定と大きく異なる画像がメモリカードに記録されるおそれを更に少なくすることができる。この結果、撮影のやり直しを避けることができ、ユーザに、更に快適な環境を提供することができる。

〔第３の実施形態〕
次に、本発明の第３の実施形態に係る画像処理装置について説明する。
図３は、本発明の第３の実施形態に係る画像処理装置の一構成例を示したブロック図である。
上述の第１の実施形態においては、スルー画処理における第１のスペースバリアント画像処理部１０６と、静止画処理における第２のスペースバリアント画像処理部１０９に対して、事前に調整されたパラメータＡが供給されていた。これに対し、本実施形態に係る画像処理装置は、パラメータＡを外部から調整するためのパラメータ調整部（パラメータ調整手段）３０１を更に備える。

これにより、ユーザは、このパラメータ調整部１０３を通じてパラメータＡを調整し、この調整されるパラメータＡを用いてスペースバリアント画像処理が第１のスペースバリアント画像処理部１０６及び第２のスペースバリアント画像処理部１０９において、それぞれ行われることとなる。ここで、パラメータ調整部３０１は、ＬＣＤ上に表示されるメニュー等から所望のパラメータを選択する形式でも良いし、デジタルカメラに備えられた調整用ボタン（図示略）を利用して直接調整する形式でも良い。また、パラメータＡは、連続値として調整可能としても良いし、事前に設定した複数のパラメータ値の中からユーザが選択する形で調整するようにしても良い。

ユーザは、パラメータ調整部３０１を用いてパラメータＡを調整することによりＬＣＤに表示されているスルー画の画質を調整し、所望の画質となったことを確認すると、シャッターボタンを押す。これにより、ユーザにより調整されたパラメータＡを用いたスペースバリアント画像処理等が第２のスペースバリアント画像処理部１０９にて行われることにより、スルー画の画質に非常に近い画質の静止画が画像圧縮部１１０を介してメモリカードに記録されることとなる。

以上、説明したように、本実施形態に係る画像処理装置によれば、スルー画処理における第１のスペースバリアント画像処理部１０６、及び、静止画処理における第２のスペースバリアント画像処理部１０９に供給されるパラメータＡを外部から調整するためのパラメータ調整部３０１を備えるので、ユーザは、ＬＣＤに表示されたスルー画を確認しながら、パラメータ調整部３０１を通じてその画質を所望の画質に調整することが可能となる。そして、所望の画質が得られたときにシャッターボタンを押下することにより、スルー画と同じパラメータＡを用いてスペースバリアント処理等が行われた静止画をメモリカードに記録させることが可能となる。これにより、ユーザが望む画質の静止画をメモリカードに記録させることが可能となる。

〔第４の実施形態〕
次に、本発明の第４の実施形態に係る画像処理装置について説明する。
図４は、本発明の第４の実施形態に係る画像処理装置の一構成例を示したブロック図である。
上述の第３の実施形態においては、スルー画処理における第１のスペースバリアント画像処理部１０６と、静止画処理における第２のスペースバリアント画像処理部１０９に対して同一のパラメータＡが供給されていたが、本実施形態においては、第２の実施形態に示したようにそれぞれに対して個別のパラメータであるパラメータＥ及びパラメータＦが供給される。更に、これらパラメータＥ及びＦを調整するためのパラメータ調整部（パラメータ調整手段）４０１を備えている。

パラメータＥは、メモリカードに記録される静止画が撮影モード等に応じて所望の画質となるように調整されるパラメータであり、例えば、事前に複数のパラメータ候補値が用意されている。パラメータＦは、パラメータＥの複数のパラメータ候補値のそれぞれに対応して調整されるパラメータであり、例えば、ＬＣＤに表示されるスルー画の画質とメモリカードに記録される静止画の画質とが、より近づくように調整されたパラメータ候補値が用意されている。

パラメータＥとＦとは、ユーザがパラメータ調整部４０１を通じて調整を行った場合に、同時に変更されるようにしてもよいし、まずは、スルー画処理用のパラメータＦのみを変更し、パラメータＥは静止画撮影時にのみ、つまり、図示しないシャッターボタンが押下された場合に、既に調整されているパラメータＦの内容に基づいて、調整されるようにしても良い。このとき、変更されるパラメータ値は、事前に調整済みのパラメータ候補値から随時設定するものとする。すなわち、パラメータＦの値に対するパラメータＥの値を予め関連付けて登録しておき、パラメータＦが定められときに、それに対応するパラメータＥが自動的に選択されるような構成としておく。

以上説明したように、本実施形態においては、スルー画処理における第１のスペースバリアント画像処理部１０６及び静止画処理における第２のスペースバリアント画像処理部１０９に対して個別に供給されるパラメータＥ、Ｆを外部から調整するためのパラメータ調整部４０１を有しているので、ユーザは、ＬＣＤに表示されたスルー画を確認しながら、パラメータ調整部４０１を通じてその画質を所望の画質に調整することが可能となる。
更に、これらパラメータＥ、Ｆは、ＬＣＤに表示されるスルー画の画質と記録される静止画の画質とがより近づくように、事前に関連付けがなされているので、スルー画の画質と静止画の画質とを更に近づけることができ、メモリカードに記録される静止画の画質をユーザが望む画質とすることができる。

〔第５の実施形態〕
次に、本発明の第５の実施形態に係る画像処理装置について図５を参照して説明する。
本実施形態に係る画像処理装置は、第１から第４の実施形態に係る画像処理装置が備える第１のスペースバリアント画像処理部１０６及び第２のスペースバリアント画像処理部１０９の構成に関するものである。
図５は、本実施形態に係る画像処理装置が備える第１のスペースバリアント画像処理部１０６及び第２のスペースバリアント画像処理部１０９の内部構成を示したブロック図である。
なお、本実施形態においては、スペースバリアント画像処理の一例としてスペースバリアントな階調変換の例を挙げて説明するが、スペースバリアント画像処理として、スペースバリアントな色変換処理やエッジ強調処理等を適用しても良い。

図５に示すように、本実施形態に係る第１のスペースバリアント画像処理部１０６は、第１の画像処理部５１０、スペースバリアント階調変換処理部５１１、第１の画像縮小部５１２、領域情報決定部５１３、階調変換特性決定部５１４、及び階調変換特性拡大部５１５を備えて構成されている。
第１のスペースバリアント画像処理部１０６において、スルー画用画像縮小部１０５によりスルー画の画像サイズに縮小された第１の縮小画像は、第１の画像処理部５１０に供給される。第１の画像処理部５１０では、第１の縮小画像に、ホワイトバランス処理、色変換処理等が行われ、処理後の第１の縮小画像がスペースバリアント階調変換処理部５１１及び画像縮小部５１２にそれぞれ出力される。

第１の画像縮小部５１２は、第１の縮小画像を更に小さいサイズの画像に縮小し、第２の縮小画像を生成する。この第２の縮小画像は、続く領域情報決定部５１３に入力される。領域情報決定部５１３では、第２の縮小画像のヒストグラムの分布状況等から画像の分割情報等を決定し、これに基づいて第２の縮小画像を複数の領域に分割する。複数の領域に分割された第２の縮小画像は、階調変換特性決定部５１４に入力され、ここで、第２の縮小画像内におけるヒストグラムの分布状況等から各領域に対する階調変換特性が決定される。この各領域に対する階調変換特性は、階調変換特性拡大部５１５に入力され、ここで、第２の縮小画像における各領域に対する階調変換特性は、第１の縮小画像の画像サイズに合わせて補間されながら拡大される。そして、拡大後の階調変換特性（以下、「第１の階調変換特性」という。）は、スペースバリアント階調変換処理部５１１に供給され、この第１の階調変換特性に基づいて、第１の画像処理部５１０から供給される第１の縮小画像に対して階調変換処理が行われる。

上述のように、第１の縮小画像を更に縮小した第２の縮小画像に基づいて、階調変換特性等を決定することにより、第１の縮小画像に基づいてこれら処理を行う場合に比べて、演算規模を小さくすることが可能となる。これにより、演算処理を簡便にでき、処理時間の短縮を図ることが可能となる。

一方、本実施形態に係る第２のスペースバリアント画像処理部１０９は、第２の画像処理部５２０、スペースバリアント階調変換処理部５２１、第２の画像縮小部５２２、領域情報決定部５２３、階調変換特性決定部５２４、及び階調変換特性拡大部５１５を備えて構成されている。

上記第２の画像処理部５２０は、ＣＣＤ１０２（図１参照）から供給される入力画像に対して、ホワイトバランス処理、色変換処理の他、ノイズ除去処理やエッジ強調処理等、高精細な静止画処理に必要な処理を行う。第２の画像処理部５２０の出力は、スペースバリアント階調変換処理部５２１及び第２の画像縮小部５２２へ出力される。
なお、ここでの領域情報決定部５２３、階調変換特性決定部５２４、階調変換特性拡大部５２５は、上述の領域情報決定部５１３、階調変換特性決定部５１４、及び階調変換特性拡大部５１５とそれぞれ同様の機能を備えるものである。

第２の画像縮小部５２２は、第２の画像処理部５２０から供給された入力画像を縮小して第３の縮小画像を生成する。このとき、第２の画像縮小部５２２により作成される第３の縮小画像の画像サイズは、上述した第１の画像縮小部５１２にて生成される第２の縮小画像の画像サイズと、略同一になるように、第２の画像縮小部５２２の縮小率が設定されている。換言すると、上述の第１の画像縮小部５１２とこの第２の画像縮小部５２２とは、互いに出力画像が略同じサイズになるように動作するよう構成されている。これにより、後続の領域情報決定部５２３、階調変換特性決定部５２４、階調変換特性拡大部５２５を経由することにより得られる階調変換特性（以下「第２の階調変換特性」という。）を上述の第１のスペースバリアント画像処理部１０６にて得られる第１の階調変換特性と略一致させることが可能となる。

このようにして、階調変換特性拡大部５２５により得られた第２の階調変換特性は、スペースバリアント階調変換処理部５２１に出力され、スペースバリアント階調変換処理部５２１において、第２の画像処理部５２０から供給される入力画像に対して、第２の階調変換特性に基づく階調変換処理が行われる。

ここで、図５に示した入力画像、第１の縮小画像（換言すると、スルー画用画像縮小部１０５の出力画像）、第２の縮小画像（換言すると、第１の画像縮小部５１２の出力画像）、並びに、第３の縮小画像（換言すると、第２の画像縮小部５２２の出力画像）の画像サイズの一例を以下の表１に示す。

上記表１からわかるように、第２の縮小画像と第３の縮小画像とは、同じ画像サイズとなっている。
以上説明してきたように、第１のスペースバリアント画像処理部１０６、第２のスペースバリアント画像処理部１０９においてそれぞれ画像処理特性を決定するために用いられる第２の縮小画像及び第３の縮小画像の画像サイズを一致させることにより、後続の領域情報決定部５１３や５２３等において得られるヒストグラム分析等の結果を略同じものとすることができる。これにより、第１のスペースバリアント画像処理部１０６及び第2のスペースバリアント画像処理部１０９において、略同じ階調変換特性に基づくスペースバリアント画像処理が行われるので、スルー画と静止画とを略同じ画質にすることが可能となる。
また、入力画像を縮小した第３の縮小画像に基づいて、分割領域や階調変換特性等を決定することにより、入力画像に基づいてこれらの処理を行う場合に比べて演算規模を小さくするという効果も得られる。

なお、上述の表１からわかるように、上記第２の縮小画像の画像サイズと、第３の縮小画像の画像サイズとを略同じにするためには、第１の画像縮小部５１２及び第２の画像縮小部５２２の縮小率が大きく異なることとなる。このように、縮小率が大きく異なってしまうと、具体的には、静止画の方の縮小率が大きくなってしまうと、スルー画に比べて静止画の方がボケ気味に感じられる、あるいは、画像内の特性の変化が緩慢に感じられるといった現象が発生することがある。

縮小画像の画像サイズの違いよりも、縮小率の違いによる影響の方が大きい場合には、上記画像サイズを一致させる手法の他に、例えば、第１の画像縮小部５１２において、第１の縮小画像から第２の縮小画像を作成するときの縮小率と、第２の画像縮小部５２２において、入力画像から第３の縮小画像を作成するときの縮小率とが略等しくなるように、各画像縮小部５１２及び５２２の画像縮小率を設定するようにしてもよい。
このように、画像縮小部５１２及び５２２の画像縮小率を略同値に設定することによっても、第１のスペースバリアント画像処理部１０６及び第２のスペースバリアント画像処理部１０９において、略同じ階調変換特性に基づくスペースバリアント画像処理が行われるので、スルー画と静止画とを略同じ画質にすることが可能となる。
また、縮小画像の画像サイズの違いによる影響と、縮小率の違いによる影響とがともに無視できない場合には、サイズと縮小率のバランスを考慮しながら、第２の縮小画像の画像サイズを第３の縮小画像の画像サイズよりも小さめにすることにより、画像サイズの不一致は許容しつつ、縮小率の差を小さくするとよい。
すなわち、第２の縮小画像のサイズを第３の縮小画像のサイズ以下とするとともに、入力画像から第３の縮小画像を生成する際の縮小率を用いて第１の縮小画像から生成する縮小画像のサイズ以上となるように、第２の縮小画像のサイズを定める。または、第３の縮小画像のサイズを第２の縮小画像のサイズ以上とするとともに、第１の縮小画像から第２の縮小画像を生成する際の縮小率を用いて、入力画像から生成する縮小画像のサイズ以下となるように、第３の縮小画像のサイズを定める。

なお、本実施形態の形態例においては、第１の縮小画像を更に小さいサイズの画像に縮小し、第２の縮小画像を生成しているが、この縮小処理を実施せずに第１の縮小画像のまま処理をしても良い。この場合には、第３の縮小画像サイズと第１の縮小画像サイズとが略同一となるように設定すれば良い。この場合においても、縮小画像の画像サイズの違いよりも、縮小率の違いによる影響の方が大きい場合には、第１の縮小画像サイズを第３の縮小画像サイズよりも小さめにすることにより、多少の画像サイズの不一致は許容しつつ、縮小率の差を小さくするとよい。

なお、本発明は、上述した実施形態に限定されるものではない。
例えば、本実施形態において図５で示した第１のスペースバリアント画像処理部１０６、第２のスペースバリアント画像処理部１０９の構成例としては、以下のものが一例として考えられる。
例えば、第２の画像処理部５２０で実施する処理の一部であるエッジ強調処理等は、スペースバリアント階調変換処理部５２１の後で実施することも考えられ、本実施形態に示した順序に限定されることはない。また、第１のスペースバリアント画像処理部１０６と第２のスペースバリアント画像処理部１０９とは、図５においては個別に用意されているが、構成要素は共通なものが多いため、スルー画処理と静止画処理を排他的に動作させればよい場合には、これらは同一のハードウェアで実現することも可能である。

本発明の第１の実施形態に係る画像処理装置の一構成例を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の一構成例を示すブロック図である。 本発明の第３の実施形態に係る画像処理装置の一構成例を示すブロック図である。 本発明の第４の実施形態に係る画像処理装置の一構成例を示すブロック図である。 本発明の第５の実施形態に係る画像処理装置の一構成例を示すブロック図である。 スペースバリアントな階調変換特性を説明するための説明図である。

符号の説明

１０ 撮像部
１０１ レンズ系
１０２ ＣＣＤ
１０３ スルー画処理部
１０４ 静止画処理部
１０５ スルー画用画像縮小部
１０６ 第１のスペースバリアント画像処理部
１０７ 画像表示部
１０９ 第２のスペースバリアント画像処理部
１１０ 画像圧縮部
２００ 切替部
３０１、４０１ パラメータ調整部
５１２ 第１の画像縮小部
５２０ 第２の画像処理部
５１３、５２３ 領域情報決定部
５１４、５２４ 階調変換特性決定部
５１５、５２５ 階調変換特性拡大部
５１１、５２１ スペースバリアント階調変換処理部

Claims (11)

1. 被写体像から入力画像を生成する撮像手段と、
   前記入力画像からユーザに提示するためのスルー画を生成するスルー画処理手段と、
   前記入力画像から記録手段に記録する静止画を生成する静止画処理手段と
   を備え、
   前記スルー画処理手段は、前記入力画像を所定の大きさに縮小した第１の縮小画像の各箇所に応じた第１の画像処理特性に基づいて、該箇所毎に画像処理を行う第１のスペースバリアント画像処理手段を備え、
   前記静止画処理手段は、前記入力画像の各箇所に応じた第２の画像処理特性に基づいて、該箇所毎に画像処理を行う第２のスペースバリアント画像処理手段を備える画像処理装置。
2. 前記第１のスペースバリアント画像処理手段が用いる第１のパラメータと、前記第２のスペースバリアント画像処理手段が用いる第２のパラメータとは、同一又は関連付けがなされている請求項１に記載の画像処理装置。
3. 前記第１のパラメータ及び前記第２のパラメータの少なくともいずれか一方を外部から調整するためのパラメータ調整手段を備える請求項２に記載の画像処理装置。
4. 前記第１のスペースバリアント画像処理手段は、前記第１の縮小画像を更に縮小した第２の縮小画像から、前記第２の縮小画像の各箇所に応じた画像処理特性を決定し、この画像処理特性に基づいて前記第１の画像処理特性を決定し、
   前記第２のスペースバリアント画像処理手段は、前記入力画像を縮小した第３の縮小画像から、前記第３の縮小画像の各箇所に応じた画像処理特性を決定し、この画像処理特性に基づいて前記第２の画像処理特性を決定する請求項１から請求項３のいずれかの項に記載の画像処理装置。
5. 前記第２の縮小画像と前記第３の縮小画像とは、略同一サイズである請求項４に記載の画像処理装置。
6. 前記第１の縮小画像から前記第２の縮小画像を生成する際の縮小率と、前記入力画像から前記第３の縮小画像を生成する際の縮小率とは、略同一である請求項４に記載の画像処理装置。
7. 前記第２の縮小画像のサイズは、前記第３の縮小画像のサイズ以下であり、かつ、前記入力画像から前記第３の縮小画像を生成する際の縮小率を用いて、前記第１の縮小画像から作成される縮小画像のサイズ以上である請求項４に記載の画像処理装置。
8. 前記第３の縮小画像のサイズは、前記第２の縮小画像のサイズ以上であり、かつ、前記第１の縮小画像から前記第２の縮小画像を生成する際の縮小率を用いて、前記入力画像から生成される縮小画像のサイズ以下である請求項４に記載の画像処理装置。
9. 前記第１のスペースバリアント画像処理手段は、前記第１の縮小画像から前記第１の縮小画像の各箇所に応じた前記第１の画像処理特性を決定し、
   前記第２のスペースバリアント画像処理手段は、前記入力画像を縮小した第３の縮小画像から前記第３の縮小画像の各箇所に応じた画像処理特性を決定し、この画像処理特性に基づいて前記第２の画像処理特性を決定する請求項１から請求項３のいずれかの項に記載の画像処理装置。
10. 前記第１の縮小画像と前記第３の縮小画像とは、略同一サイズである請求項９に記載の画像処理装置。
11. 前記第３の縮小画像のサイズは、前記第１の縮小画像のサイズ以上であり、かつ、前記入力画像のサイズよりも小さい請求項９に記載の画像処理装置。

Images