JP2011044965A - 撮像装置、撮像方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ライブビュー画像と撮影画像との間の色の違いを少なくすることが可能な撮像装置を提供すること。
【解決手段】撮像センサからの読み出しデータから第１画像データを生成する第１画像生成部と、第１画像データに対して色変換処理を実行する第１画像色変換部と、第１画像データより画質が優れた第２画像データを生成する第２画像生成部と、第２画像データに対して色変換処理を実行する第２画像色変換部と、第１画像色変換部で色変換処理された第１画像データと、第２画像色変換部で色変換処理された第２画像データとの色を比較し、比較結果を出力する比較部と、比較結果を用いて第２画像色変換部における色変換処理のパラメータを演算して決定するパラメータ演算部と、を備え、第２画像色変換部は、パラメータ演算部が決定したパラメータを用いて第２画像データに対して再度色変換処理を実行する、撮像装置が提供される。
【選択図】図１

Description

本発明は、撮像装置、撮像方法及びコンピュータプログラムに関する。

デジタルスチルカメラには、通常、ファインダ機能として、レンズを通して撮像素子上に結像された画像を、液晶画面等の表示装置上でリアルタイムに確認できる機能が備えられている。表示装置上に表示される画像は一般的にライブビュー画像と呼ばれており、以後の説明においても、デジタルスチルカメラでファインダ機能を実行中に表示装置上に表示される画像のことをライブビュー画像と称することにする。

ライブビュー画像は、表示装置上で確認することになり、当該表示装置の表示性能によっては、ライブビュー画像は、実際に撮像処理が行われた結果得られる画像（以下「撮影画像」とも称する）と異なる色合いで表示されることがある。ユーザは、表示装置に表示されるライブビュー画像を確認してから撮影するので、ライブビュー画像と撮影画像とで色合いが異なると、ユーザが意図したものとは異なる撮影画像が得られてしまう。従って、ライブビュー画像と撮影画像との色合いを近づけるような技術が開示されている（例えば特許文献１参照）。従来においては、表示装置やシステムごとに初期値を設けておき、この初期値を用いてチューニングすることにより、ライブビュー画像と撮影画像との間の色の違いを少なくしていた。

特開２００６−８１２２１号公報

しかし、従来の方法では、機種毎に確実に、ライブビュー画像と撮影画像との間の色の違いを少なくする補正を実行することは困難であるという問題があった。また、撮影画像を得るための調整用のパラメータは多岐に渡っており、完全な色合いの再現性を撮影モード毎に実現するのは容易なことではないという問題があった。

ライブビュー画像と撮影画像との間で完全な色合いの再現性を確保するためには、撮像装置に、ライブビュー画像と撮影画像とで同一の画像生成手段や色補正手段を設ければよい。しかし、迅速に画像を処理しリアルタイムに表示装置に表示させる必要があるライブビュー画像に対して、撮影画像と同一の画像生成手段や色補正手段で画像処理させると、画像処理に時間がかかってしまい、ライブビュー画像をリアルタイムに表示装置に表示させることができないという問題が生じてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ライブビュー画像と撮影画像とを比較し、比較した結果を用いて撮影画像に対する色合いを補正することで、ライブビュー画像と撮影画像との間の色の違いを少なく色補正することが可能な、新規かつ改良された撮像装置、撮像方法及びコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像センサからの読み出しデータを出力する撮像部と、撮像部が出力した読み出しデータを用いてライブビュー表示のための第１画像データを生成する第１画像生成部と、第１画像データに対して色変換処理を実行する第１画像色変換部と、撮像部が出力した読み出しデータを用いて第１画像データより画質が優れた第２画像データを生成する第２画像生成部と、第２画像データに対して色変換処理を実行する第２画像色変換部と、第１画像色変換部で色変換処理された第１画像データと、第２画像色変換部で色変換処理された第２画像データとの色を比較し、比較結果を出力する比較部と、比較結果を用いて第２画像色変換部における色変換処理のパラメータを演算して決定するパラメータ演算部と、を備え、第２画像色変換部は、パラメータ演算部が決定したパラメータを用いて第２画像データに対して再度色変換処理を実行する、撮像装置が提供される。

かかる構成によれば、ライブビュー画像と撮影画像とを比較し、比較した結果を用いて撮影画像に対する色合いを補正することで、ライブビュー画像と撮影画像との間の色の違いを少なく色補正することが可能となる。

比較部は、第２画像データを生成する直前にライブビュー表示された第１画像データを用いて比較するようにしてもよい。その結果、比較処理に際して改めて第１画像データを生成する処理を省略することが出来る。

比較部は、第１画像データと第２画像データとの色を比較する際に比較する部分を制限するようにしてもよい。その結果、比較処理に際して比較部分を制限することで処理時間の短縮を図ることができる。

比較部は、第１画像データと第２画像データとの色を比較する際に、第２画像データにおける合焦領域について色を比較するようにしてもよい。その結果、比較処理に際して撮影者がより注目している合焦領域について色を比較することで、処理時間の短縮を図ることができる。

比較部は、第１画像データと第２画像データとの色を比較する際に、第２画像データに対して顔が検出された領域について色を比較するようにしてもよい。その結果、比較処理に際して撮影者がより注目している合焦領域について色を比較することで、処理時間の短縮を図ることができる。

比較部は、第１画像データと第２画像データとの色を比較する際に、間引き処理された第１画像データ及び第２画像データについて比較するようにしてもよい。その結果、比較処理に際して比較部分を制限することで処理時間の短縮を図ることができる。

パラメータ演算部は、第２画像データの輝度分布に基づいて第２画像色変換部における色変換処理のパラメータを演算して決定するようにしてもよい。その結果、比較処理に際して輝度分布に基づいて第１画像データと第２画像データとの間の色の違い補正することで、撮影者が感じるライブビュー画像と撮影画像との間の色の違いを抑えることができる。

パラメータ演算部は、第１画像データ及び第２画像データに含まれる所定の色を合わせるパラメータを演算して決定するようにしてもよい。その結果、比較処理に際して画像中の所定の色を合わせるように補正することで、撮影者が感じるライブビュー画像と撮影画像との間の色の違いを抑えることができる。

オートホワイトバランスの設定が変化したら、比較部は第１画像データと第２画像データとの色を再度比較して比較結果を出力し、パラメータ演算部は比較結果を用いて第２画像色変換部における色変換処理のパラメータを再度演算して決定するようにしてもよい。その結果、オートホワイトバランスの設定が変化しなければ撮影の度に比較処理を実行することなく色の違いを補正することができ、オートホワイトバランスの設定が変化した場合に改めて比較処理を実行することで、効率的な色補正処理を実行することが出来る。

また、上記課題を解決するために、本発明の別の観点によれば、撮像センサからの読み出しデータを出力する撮像ステップと、撮像ステップで出力した読み出しデータを用いてライブビュー表示のための第１画像データを生成する第１画像生成ステップと、第１画像データに対して色変換処理を実行する第１画像色変換ステップと、第１画像データより画質が優れた第２画像データを生成する第２画像生成ステップと、第２画像データに対して色変換処理を実行する第２画像色変換ステップと、第１画像色変換ステップで色変換処理された第１画像データと、第２画像色変換ステップで色変換処理された第２画像データとの色を比較し、比較結果を出力する比較ステップと、比較結果を用いて第２画像色変換部における色変換処理のパラメータを演算して決定するパラメータ演算ステップと、パラメータ演算部が決定したパラメータを用いて第２画像データに対して再度色変換処理を実行する再変換ステップと、を含む、撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、被写体を撮像して撮像センサからの読み出しデータを用いてライブビュー表示のための第１画像データを生成する第１画像生成ステップと、第１画像データに対して色変換処理を実行する第１画像色変換ステップと、第１画像データより画質が優れた第２画像データを生成する第２画像生成ステップと、第２画像データに対して色変換処理を実行する第２画像色変換ステップと、第１画像色変換ステップで色変換処理された第１画像データと、第２画像色変換ステップで色変換処理された第２画像データとの色を比較し、比較結果を出力する比較ステップと、比較結果を用いて第２画像色変換部における色変換処理のパラメータを演算して決定するパラメータ演算ステップと、パラメータ演算部が決定したパラメータを用いて第２画像データに対して再度色変換処理を実行する再変換ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本発明によれば、ライブビュー画像と撮影画像とを比較し、比較した結果を用いて撮影画像に対する色合いを補正することで、ライブビュー画像と撮影画像との間の色の違いを少なくすることが可能な、新規かつ改良された撮像装置、撮像方法及びコンピュータプログラムを提供することができる。

本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。 本発明の一実施形態にかかる撮像装置１００を用いた色変換方法について説明する流れ図である。 ライブビュー画像を生成する際におけるデータの流れを示す説明図である。 撮影画像を生成する際におけるデータの流れを示す説明図である。 ライブビュー画像と撮影画像との間の色の違いを補正する際におけるデータの流れを示す説明図である。 ライブビュー画像と撮影画像との間の色の違いを補正する際におけるデータの流れを示す説明図である。 ライブビュー画像と撮影画像との間の色の違いを補正する際におけるデータの流れを示す説明図である。 ライブビュー画像と撮影画像との間の色の違いを補正する際におけるデータの流れを示す説明図である。 オートフォーカスで合焦している部分を抜き出して現像する場合について示す説明図である。 本発明の一実施形態の変形例にかかる撮像装置１００’の構成について示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図１を用いて、本発明の一実施形態にかかる撮像装置１００の構成について説明する。

図１に示したように、本発明の一実施形態にかかる撮像装置１００は、レンズ部１０２と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４と、ライブビュー画像現像部１０６と、ライブビュー画像色変換部１０８と、静止画像現像部１１０と、静止画像色変換部１１２と、比較部１１４と、パラメータ演算部１１６と、ＬＣＤ１１８と、を含んで構成される。

レンズ部１０２は、図１には図示しないが、ズームレンズ、フォーカスレンズ、撮像素子等からなり、被写体からの光を撮像素子で光電変換し、撮像素子からの読み出しデータを出力するものである。ここで、撮像素子としてはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いることができる。レンズ部１０２で生成されて出力される読み出しデータ（以下、レンズ部１０２から出力される読み出しデータを単に「データ」とも称する）はＳＤＲＡＭ１０４に送られる。また、ライブビュー画像を生成する際には、レンズ部１０２からライブビュー画像現像部１０６へデータが直接送られる。

ＳＤＲＡＭ１０４は、レンズ部１０２で生成され、レンズ部１０２から読み出されるデータを一時的に格納するものである。ＳＤＲＡＭ１０４に格納されたデータは、撮影画像の生成のためにＳＤＲＡＭ１０４から読み出されて、静止画像現像部１１０に送られる。

ライブビュー画像現像部１０６は、レンズ部１０２で生成されたデータからライブビュー画像を生成するものである。ライブビュー画像現像部１０６は、リアルタイムにライブビュー画像をＬＣＤ１１８に表示するために、処理速度を優先してライブビュー画像を生成する。従って、ライブビュー画像現像部１０６で生成されるライブビュー画像は、静止画像現像部１１０で生成される静止画像と比べて画質の面で劣る。しかし、ライブビュー画像現像部１０６は、静止画像現像部１１０よりも画像処理を高速に実行することができ、ライブビュー画像現像部１０６における消費電力は、静止画像現像部１１０における消費電力よりも少なく済む。

本実施形態では、ライブビュー画像現像部１０６が生成するライブビュー画像のサイズは、６４０ピクセル×４８０ピクセルのＶＧＡ画像である。もちろん、本発明においてはライブビュー画像のサイズはかかる例に限定されないことはいうまでもない。なお、ライブビュー画像現像部１０６は、速度を優先するために、レンズ部１０２で生成された全てのデータを用いてライブビュー画像を生成するのではなく、一部のデータを用いてライブビュー画像を生成してもよい。

ライブビュー画像色変換部１０８は、ライブビュー画像現像部１０６で生成されたライブビュー画像に対して色変換処理を実行するものである。ライブビュー画像色変換部１０８は、予め色変換処理のためのパラメータを保持しており、ライブビュー画像現像部１０６で生成されたライブビュー画像に対して色変換処理を実行する。色変換のためのパラメータは、パラメータ演算部１１６によって変更されることが可能である。ライブビュー画像色変換部１０８によって色変換処理が実行された後のライブビュー画像は、一時的にＳＤＲＡＭ１０４に格納される。

静止画像現像部１１０は、レンズ部１０２で生成されたデータから撮影画像を生成するものである。静止画像現像部１１０は、レンズ部１０２で生成され、ＳＤＲＡＭ１０４に一時的に格納されたデータを用いて撮影画像を生成する。静止画像現像部１１０は、画質を高めることを優先して撮影画像を生成する。従って、静止画像現像部１１０で生成される撮影画像は、ライブビュー画像現像部１０６で生成される静止画像と比べて画質の面で勝る。しかし、静止画像現像部１１０は、ライブビュー画像現像部１０６よりも画像処理に時間がかかり、静止画像現像部１１０における消費電力は、ライブビュー画像現像部１０６における消費電力よりも多くなる。

静止画像色変換部１１２は、静止画像現像部１１０で生成された撮影画像に対して色変換処理を実行するものである。静止画像色変換部１１２は、予め色変換処理のためのパラメータを保持しており、静止画像現像部１１０で生成された撮影画像に対して色変換処理を実行する。色変換のためのパラメータは、パラメータ演算部１１６によって変更されることが可能である。静止画像色変換部１１２によって色変換処理が実行された後のライブビュー画像は、一時的にＳＤＲＡＭ１０４に格納される。

比較部１１４は、ライブビュー画像色変換部１０８で色変換処理が施され、ＳＤＲＡＭ１０４に格納されたライブビュー画像と、静止画像色変換部１１２で色変換処理が施され、ＳＤＲＡＭ１０４に格納された撮影画像との間の色を比較する色比較処理を実行するものである。本実施形態では、比較部１１４は、ライブビュー画像と撮影画像との間の比較処理を、ライブビュー画像のデータから撮影画像のデータを減算する減算処理によって実行する。従って、比較部１１４の出力が０であれば両画像の色は一致し、０で無ければ色が相違していることになる。比較部１１４で実行された比較処理の結果はパラメータ演算部１１６に送られる。

パラメータ演算部１１６は、比較部１１４における比較結果を用いて、比較部１１４の出力が０になるように色変換のためのパラメータを調整する演算処理を実行するものである。本実施形態では、パラメータ演算部１１６は、静止画像色変換部１１２で用いられるパラメータを調整する演算処理を実行する。パラメータ演算部１１６で、静止画像色変換部１１２で用いられるパラメータを調整することで、ライブビュー画像と撮影画像との間の色の違いを補正することができる。

ＬＣＤ１１８は、ライブビュー画像現像部１０６で生成され、ライブビュー画像色変換部１０８で色変換処理が施されたライブビュー画像を表示したり、静止画像現像部１１０で生成され、静止画像色変換部１１２で色変換処理が施された撮影画像を表示したりするものである。またＬＣＤ１１８は、ライブビュー画像や撮影画像の他にも、撮像装置１００の各種設定を表示する設定画面を表示してもよい。

なお、図１には図示しないが、撮像装置１００には、撮影動作を開始するためのシャッタボタンや、撮像装置１００の設定を変更したり、ＬＣＤ１１８に表示する撮影画像を切り替えたりするための操作ボタンを備えていてもよい。また、ＬＣＤ１１８はタッチパネル式の表示装置であってもよい。

以上、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明した。なお、本実施形態では、データやライブビュー画像、撮影画像を一時的に格納する手段としてＳＤＲＡＭ１０４を用いたが、本発明においては、その他のメモリもデータやライブビュー画像、撮影画像を一時的に格納する手段として採用することができることは言うまでもない。次に、本発明の一実施形態にかかる撮像装置１００を用いた色変換方法について説明する。

図２は、本発明の一実施形態にかかる撮像装置１００を用いた色変換方法について説明する流れ図である。以下、図２を用いて本発明の一実施形態にかかる撮像装置１００を用いた色変換方法について説明する。

本発明の一実施形態にかかる撮像装置１００を用いて、撮影画像に対する色変換処理を実行するには、まず撮像装置１００を用いて被写体の撮影動作を開始する（ステップＳ１０１）。撮影装置１００に設けられたシャッタボタンを押下することで撮影動作を開始してもよく、ＬＣＤ１１８がタッチパネル式の表示装置である場合には、画面に表示されたボタンをユーザがタッチすることによって撮影動作を開始してもよい。

撮像装置１００で撮影動作が開始されると、続いて、レンズ部１０２が被写体からの光を所定のシャッタ時間の間集めることによりレンズ部１０２で生成されたデータを用いて、ライブビュー画像現像部１０６でライブビュー画像を生成する（ステップＳ１０２）。上述したように、ライブビュー画像は、ライブビュー画像現像部１０６がレンズ部１０２で生成されるデータを用いて、ＶＧＡ画像で生成する。また、上記ステップＳ１０２でのライブビュー画像の生成と並行して、ＳＤＲＡＭ１０４にレンズ部１０２で生成されるデータが格納される。

上記ステップＳ１０２でライブビュー画像を生成すると、続いて、ライブビュー画像色変換部１０８がライブビュー画像に対する色変換処理を実行する（ステップＳ１０３）。ライブビュー画像色変換部１０８によって色変換処理が施されたＶＧＡ画像のライブビュー画像は、輝度信号および色差信号からなるＹ／Ｃｂ／ＣｒデータとしてＳＤＲＡＭ１０４に一時的に格納される。

また、上記ステップＳ１０１で撮像装置１００を用いた撮影動作が開始されると、ライブビュー画像の生成と並行して、レンズ部１０２で生成され、ＳＤＲＡＭ１０４に一時的に格納されたデータを用いて、静止画像現像部１１０が撮影画像を生成する（ステップＳ１０４）。静止画像現像部１１０が撮影画像を生成すると、生成した撮影画像に対し、静止画像色変換部１１２が色変換処理を実行する（ステップＳ１０５）。静止画像色変換部１１２によって色変換処理が施された撮影画像はＳＤＲＡＭ１０４に一時的に格納される。

ライブビュー画像と撮影画像とが作成されると、両者を読み出して比較部１１４で色比較処理を実行する（ステップＳ１０６）。比較部１１４における色比較処理は、上述したように、ライブビュー画像と撮影画像との間の比較処理は、ライブビュー画像と撮影画像との間の減算処理によって実行される。比較部１１４で色比較処理が実行されると、ライブビュー画像と撮影画像との間の比較結果がパラメータ演算部１１６に送られる。

撮影者はＬＣＤ１１８に表示されるライブビュー画像を見ながら撮影しているため、ライブビュー画像の結果に対して撮影画像の色を合わせるようにパラメータの演算を行い、その演算結果を静止画像現像部１１０に接続されている静止画像色変換部１１２に反映する。パラメータ演算部１１６は、比較部１１４から送られる比較結果を用いて、静止画像色変換部１１２の色変換処理に用いられるパラメータを演算して決定する（ステップＳ１０７）。ここで、パラメータ演算部１１６は、比較部１１４の出力が０になるようなパラメータを演算によって決定する。ステップＳ１０７で決定されたパラメータは静止画像色変換部１１２に送られて、撮影画像の色変換処理に用いられる。

上記ステップＳ１０７でパラメータが決定され、静止画像色変換部１１２に送られると、静止画像色変換部１１２は、パラメータ演算部１１６が決定したパラメータに基づいて、ＳＤＲＡＭ１０４に一時的に格納されたデータを用いて、静止画像現像部１１０で撮影画像を再度生成し、撮影画像に対して静止画像色変換部１１２で色変換処理を実行する（ステップＳ１０８）。静止画像色変換部１１２で色変換処理が施された撮影画像はＳＤＲＡＭ１０４に一時的に格納された後、メモリカード等の記録媒体（図示せず）に記録される。また、上記ステップＳ１０２で生成され、上記ステップＳ１０３で色変換処理が施されたライブビュー画像は、ＬＣＤ１１８に表示される。

この一連の処理によって、撮影時のライブビュー画像と撮影画像とで、色変換処理後の色合いを一致させることができる。色変換処理後の色合いを一致させることで、ＬＣＤ１１８を通して確認したライブビュー画像と、実際に撮像装置１００に記録された撮影画像との色合いが異なることによるユーザに対する違和感を無くすことが可能となる。

ここで、図２に示した本発明の一実施形態にかかる撮像装置１００を用いた色変換方法を、図１に示した撮像装置１００の構成を用いて、より詳細に説明する。

図３は、ライブビュー画像を生成する際におけるデータの流れを、図１に示した撮像装置１００の構成を用いて示す説明図である。図３で示した括弧付きの数字は、下記の説明に対応するものである。

撮像装置１００でライブビュー画像を生成する際には、図３に示した太線の流れでライブビュー画像が生成され、ＬＣＤ１１８に表示される。すなわち、撮像装置１００は、（１）レンズ部１０２で生成されたデータを用いてライブビュー画像現像部１０６でライブビュー画像を生成し、（２）ライブビュー画像色変換部１０８でライブビュー画像に対する色変換処理を実行し、（３）ライブビュー画像をＳＤＲＡＭ１０４に一端格納した後に、（４）ＬＣＤ１１８にライブビュー画像を表示する。

図４は、撮影画像を生成する際におけるデータの流れを、図１に示した撮像装置１００の構成を用いて示す説明図である。図４で示した括弧付きの数字は、下記の説明に対応するものである。

撮像装置１００で撮影画像を生成する際には、図４に示した太線の流れで撮影画像が生成され、ＳＤＲＡＭ１０４に保存される。すなわち、撮像装置１００は、（１）レンズ部１０２で生成されたデータをＳＤＲＡＭ１０４に一端格納し、（２）ＳＤＲＡＭ１０４に格納されたデータを用いて静止画像現像部１１０で撮影画像を生成し、（３）静止画像色変換部１１２でライブビュー画像に対する色変換処理を実行し、（４）撮影画像をＳＤＲＡＭ１０４に格納する。ＳＤＲＡＭ１０４に格納された撮影画像は、その後メモリカード等の記録媒体（図示せず）に記録される。

図５〜図８は、ライブビュー画像と撮影画像との間の色の違いを補正する際におけるデータの流れを、図１に示した撮像装置１００の構成を用いて示す説明図である。図５〜図８で示した括弧付きの数字は、下記の説明に対応するものである。

撮像装置１００を用いて、ライブビュー画像と撮影画像との間の色の違いを補正する際には、まず、図５に示した太線の流れでライブビュー画像が生成され、ＬＣＤ１１８に表示される。すなわち、撮像装置１００は、（１）レンズ部１０２で生成されたデータを用いてライブビュー画像現像部１０６でライブビュー画像を生成し、（２）ライブビュー画像色変換部１０８でライブビュー画像に対する色変換処理を実行し、（３）ライブビュー画像をＳＤＲＡＭ１０４に一端格納する。これらの処理と平行して、（４）レンズ部１０２で生成されたデータをＳＤＲＡＭ１０４に一端格納する。

撮影画像の作成のために、レンズ部１０２で生成されたデータをＳＤＲＡＭ１０４に格納されると、続いて、図６に示した太線の流れで撮影画像が生成され、ＳＤＲＡＭ１０４に格納される。すなわち、撮像装置１００は、（５）ＳＤＲＡＭ１０４に格納されたデータを読み出して、読み出したデータを用いて静止画像現像部１１０で撮影画像を生成し、（６）静止画像色変換部１１２でライブビュー画像に対する色変換処理を実行し、（７）撮影画像をＳＤＲＡＭ１０４に格納する。なお、静止画像を生成する際には、ライブビュー画像との間の色の比較をより正確に実行するために、ライブビュー画像と撮影画角を一致させることが望ましい。

撮像装置１００でライブビュー画像と撮影画像とが作成されると、図７に示した太線の流れで、ライブビュー画像と撮影画像との色比較処理が実行され、静止画像色変換部１１２の色変換処理に用いられるパラメータが決定され、決定したパラメータが静止画像色変換部１１２に送られる。すなわち、撮像装置１００は、（８）（９）ＳＤＲＡＭ１０４に格納されているライブビュー画像と撮影画像とを読み出して比較部１１４に送り、比較部１１４でライブビュー画像と撮影画像との色比較処理を実行し、（１０）比較部１１４が実行した色比較処理の結果をパラメータ演算部１１６に送り、パラメータ演算部１１６で静止画像色変換部１１２の色変換処理に用いられるパラメータを演算して決定し、（１１）パラメータ演算部１１６が決定したパラメータを静止画像色変換部１１２に送る。

パラメータ演算部１１６が決定したパラメータを静止画像色変換部１１２に送られると、図８に示した太線の流れで、静止画像現像部１１０はＳＤＲＡＭ１０４に格納されたデータを用いて再度撮影画像を生成し、静止画像色変換部１１２はパラメータ演算部１１６が決定したパラメータを用いて撮影画像の色変換処理を行う。すなわち、撮像装置１００は、（１２）ＳＤＲＡＭ１０４に格納されたデータを読み出して、読み出したデータを用いて静止画像現像部１１０で撮影画像を再度生成し、（１３）パラメータ演算部１１６が決定したパラメータを用いて、静止画像色変換部１１２でライブビュー画像に対する色変換処理を実行し、（１４）撮影画像をＳＤＲＡＭ１０４に格納する。ＳＤＲＡＭ１０４に格納された撮影画像は、その後メモリカード等の記録媒体（図示せず）に記録される。

このように、ライブビュー画像と撮影画像とで色変換処理を行うブロックが分かれている場合に、ライブビュー画像と撮影画像との間で色比較処理を実行し、ライブビュー画像の色に合わせるように撮影画像に対する色変換処理に用いるパラメータを演算して決定することで、ライブビュー画像と撮影画像との間の色の違いを少なくし、撮影者に対してライブビュー画像と撮影画像との間の色の違いを感じさせないようにすることが可能となる。

なお、撮影画像の生成は多くの処理時間と消費電力を必要とするため、全ての領域に対して撮影画像を生成する方法以外に、例えば、オートフォーカスで合焦している部分や、撮影画像における顔認識部分等、撮影者がより注視していると考えられる部分のみを抜き出して現像する方法を採ってもよい。図９は、ライブビュー画像と撮影画像との間で色比較処理を実行する際に、オートフォーカスで合焦している部分を抜き出して現像する場合について示す説明図である。

図９では、撮影画像１３１ｂにおける合焦領域１３２ｂのみを静止画像現像部１１０で現像し、ライブビュー画像１３１ａにおける合焦領域１３２ａと、撮影画像１３１ｂにおける合焦領域１３２ｂとを比較する場合について説明する。このように、撮影画像１３１ｂの一部のみを静止画像現像部１１０で現像することで、処理時間を短縮したり、色比較処理に要する電力を削減したりすることができる。

なお、図９では、撮影画像１３１ｂにおける合焦領域１３２ｂのみを静止画像現像部１１０で現像する場合について説明したが、上述したように、撮影画像における顔認識部分のみを抜き出して静止画像現像部１１０で現像してもよい。顔認識部分は、例えば比較部１１４で取得してもよく、顔認識部分を取得する顔認識手段を撮像装置１００に別途追加し、当該輝度分布取得手段で取得してもよい。

また、撮影者がより注視していると考えられる部分のみを抜き出して現像する方法以外にも、予め定めた領域のみを抜き出して静止画像現像部１１０で現像する方法を採っても良く、レンズ部１０２で得られたデータの一部を間引いて静止画像現像部１１０で現像する方法を採っても良い。

以上、本発明の一実施形態にかかる撮像装置１００を用いた色変換方法について説明した。以上説明したように本発明の一実施形態にかかる撮像装置１００によれば、ライブビュー画像と撮影画像とで色変換処理を実行するブロックが別れている場合に、撮影画像を生成するときは、ライブビュー画像と撮影画像との間の色比較処理を比較部１１４で実行する。比較部１１４でライブビュー画像と撮影画像との間の色比較処理を実行すると、比較結果をパラメータ演算部１１６に送り、パラメータ演算部１１６は比較結果を用いて静止画像色変換部１１２で用いられる色比較処理用のパラメータを演算して決定する。パラメータ演算部１１６が決定したパラメータは静止画像色変換部１１２に送られ、静止画像色変換部１１２における撮影画像に対する色変換処理に用いられる。

このように、ライブビュー画像と撮影画像との間で色比較処理を実行し、ライブビュー画像の色に合わせるように撮影画像に対する色変換処理に用いるパラメータを演算して決定することで、ライブビュー画像と撮影画像との間の色の違いを少なくし、撮影者に対してライブビュー画像と撮影画像との間の色の違いを感じさせないようにすることができる。

なお、上記実施形態では、撮像装置１００の撮影動作を開始した時点で、当該動作開始時点におけるライブビュー画像を撮影画像との間の色比較処理に用いていたが、本発明においては、ＳＤＲＡＭ１０４に格納されている、撮像装置１００の撮影動作を開始する直前のライブビュー画像を撮影画像との間の色比較処理に用いてもよい。

また、本実施形態においては、ライブビュー画像と撮影画像との間の色比較処理の際には、単に両者を減算することで色を比較していたが、本発明はかかる例に限定されない。例えば、撮影画像の中に特定の色、例えば空色、緑色、肌色等が存在していた場合には、その特定の色がライブビュー画像と撮影画像とで一致するように色比較処理を実行し、静止画像色変換部１１２で用いられる色比較処理用のパラメータを演算して決定してもよい。

また、本発明においては、撮影時に焦点距離、絞り、シャッタ速度等の設定が前回撮影時から変化しなかった場合には、静止画像色変換部１１２は前回撮影時に決定したパラメータをそのまま用いてもよく、撮影時に焦点距離、絞り、シャッタ速度等の設定が前回撮影時から変化した場合には、再度色比較処理及びパラメータ演算・決定処理を実行してもよい。

また、本発明においては、撮影時にオートホワイトバランス（ＡＷＢ）の設定が前回撮影時から変化しなかった場合には、静止画像色変換部１１２は前回撮影時に決定したパラメータをそのまま用いてもよく、撮影時にオートホワイトバランスの設定が前回撮影時から変化した場合には、再度色比較処理及びパラメータ演算・決定処理を実行してもよい。

図１０は、本発明の一実施形態の変形例にかかる撮像装置１００’の構成について示す説明図である。図１０に示した撮像装置１００’は、図１に示した撮像装置１００から、さらに検出部１２０が追加されたものであり、撮像装置１００’のその他の構成は撮像装置１００と同一のものである。

図１０に示した検出部１２０は、オートホワイトバランスの設定に前回撮影時から変化があったかどうかをレンズ部１０２から検出するものである。そして、オートホワイトバランスの設定に前回撮影時から変化があったことを検出部１２０が検出すると、比較部１１４に対し、ライブビュー画像と撮影画像との間の色比較処理を再度実行するよう指示を送出する。

また、本発明においては、撮影画像の生成時に輝度分布を取得し、取得した輝度分布の状態によって（例えば、撮影画像が白に近い画像であるか、黒に近い画像であるか、中間調を有する画像であるか、等によって）、色比較処理及びパラメータ演算・決定処理を実行してもよい。輝度分布は、例えば比較部１１４で取得してもよく、輝度分布を取得する輝度分布取得手段を撮像装置１００に別途追加し、当該輝度分布取得手段で取得してもよい。

なお、上記実施形態で説明した一連の処理は、撮像装置１００内部のハードウエアにより実行させてもよく、撮像装置１００の内部に格納されたソフトウエアにより実行させてもよい。

また、上記説明では本発明の一実施形態として撮像装置１００を挙げて説明したが、本発明はかかる例に限定されない。例えば、カメラ機能を内蔵した携帯電話についても、当然に本発明を適用可能であることは言うまでも無い。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 撮像装置
１０２ レンズ部
１０４ ＳＤＲＡＭ
１０６ ライブビュー画像現像部
１０８ ライブビュー画像色変換部
１１０ 静止画像現像部
１１２ 静止画像色変換部
１１４ 比較部
１１６ パラメータ演算部
１１８ ＬＣＤ
１２０ 検出部

Claims (11)

1. 撮像センサからの読み出しデータを出力する撮像部と、
   前記撮像部が出力した前記読み出しデータを用いてライブビュー表示のための第１画像データを生成する第１画像生成部と、
   前記第１画像データに対して色変換処理を実行する第１画像色変換部と、
   前記撮像部が出力した前記読み出しデータを用いて前記第１画像データより画質が優れた第２画像データを生成する第２画像生成部と、
   前記第２画像データに対して色変換処理を実行する第２画像色変換部と、
   前記第１画像色変換部で色変換処理された前記第１画像データと、前記第２画像色変換部で色変換処理された前記第２画像データとの色を比較し、比較結果を出力する比較部と、
   前記比較結果を用いて前記第２画像色変換部における色変換処理のパラメータを演算して決定するパラメータ演算部と、
   を備え、
   前記第２画像色変換部は、前記パラメータ演算部が決定したパラメータを用いて前記第２画像データに対して再度色変換処理を実行する、撮像装置。
2. 前記比較部は、前記第２画像データを生成する直前にライブビュー表示された前記第１画像データを用いて比較する、請求項１に記載の撮像装置。
3. 前記比較部は、前記第１画像データと前記第２画像データとの色を比較する際に比較する部分を制限する、請求項１に記載の撮像装置。
4. 前記比較部は、前記第１画像データと前記第２画像データとの色を比較する際に、前記第２画像データにおける合焦領域について色を比較する、請求項３に記載の撮像装置。
5. 前記比較部は、前記第１画像データと前記第２画像データとの色を比較する際に、前記第２画像データに対して顔が検出された領域について色を比較する、請求項３に記載の撮像装置。
6. 前記比較部は、前記第１画像データと前記第２画像データとの色を比較する際に、間引き処理された前記第１画像データ及び前記第２画像データについて比較する、請求項３に記載の撮像装置。
7. 前記パラメータ演算部は、前記第２画像データの輝度分布に基づいて前記第２画像色変換部における色変換処理のパラメータを演算して決定する、請求項１に記載の撮像装置。
8. 前記パラメータ演算部は、前記第１画像データ及び前記第２画像データに含まれる所定の色を合わせるパラメータを演算して決定する、請求項１に記載の撮像装置。
9. オートホワイトバランスの設定が変化したら、前記比較部は前記第１画像データと前記第２画像データとの色を再度比較して比較結果を出力し、前記パラメータ演算部は前記比較結果を用いて前記第２画像色変換部における色変換処理のパラメータを再度演算して決定する、請求項１に記載の撮像装置。
10. 撮像センサからの読み出しデータを出力する撮像ステップと、
    前記撮像ステップで出力した前記読み出しデータを用いてライブビュー表示のための第１画像データを生成する第１画像生成ステップと、
    前記第１画像データに対して色変換処理を実行する第１画像色変換ステップと、
    前記第１画像データより画質が優れた第２画像データを生成する第２画像生成ステップと、
    前記第２画像データに対して色変換処理を実行する第２画像色変換ステップと、
    前記第１画像色変換ステップで色変換処理された前記第１画像データと、前記第２画像色変換ステップで色変換処理された前記第２画像データとの色を比較し、比較結果を出力する比較ステップと、
    前記比較結果を用いて前記第２画像色変換部における色変換処理のパラメータを演算して決定するパラメータ演算ステップと、
    前記パラメータ演算部が決定したパラメータを用いて前記第２画像データに対して再度色変換処理を実行する再変換ステップと、
    を含む、撮像方法。
11. コンピュータに、
    被写体を撮像して撮像センサからの読み出しデータを用いてライブビュー表示のための第１画像データを生成する第１画像生成ステップと、
    前記第１画像データに対して色変換処理を実行する第１画像色変換ステップと、
    前記第１画像データより画質が優れた第２画像データを生成する第２画像生成ステップと、
    前記第２画像データに対して色変換処理を実行する第２画像色変換ステップと、
    前記第１画像色変換ステップで色変換処理された前記第１画像データと、前記第２画像色変換ステップで色変換処理された前記第２画像データとの色を比較し、比較結果を出力する比較ステップと、
    前記比較結果を用いて前記第２画像色変換部における色変換処理のパラメータを演算して決定するパラメータ演算ステップと、
    前記パラメータ演算部が決定したパラメータを用いて前記第２画像データに対して再度色変換処理を実行する再変換ステップと、
    を実行させる、コンピュータプログラム。
    

Images