JP2012244243A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】高解像度の拡大画像を表示している間に撮像センサに結像する画像が変化しても、適切なホワイトバランスや露出などの制御を継続して行うことができる撮像装置および撮像装置の制御方法を提供する。
【解決手段】窓読み出しモードで撮像センサ３から読み出された画像を表示部１２に表示している間、判定部２１は、撮像センサ３に結像する画像が変化したか否かを判定する。そして、撮像センサ３に結像する画像が変化した場合、読み出しモード切り替え部２２が、撮像センサ３からの画像の読み出しモードを窓読み出しモードからドラフトモードに切り替え、ドラフトモードで読み出された画像をもとに算出されたホワイトバランス制御値および露出制御値がメインメモリ５に保持された後、撮像センサ３からの画像の読み出しモードをドラフトモードから窓読み出しモードに切り替える。
【選択図】図１

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

デジタルスチルカメラなどの撮像装置は、撮像センサから読み出した画像をスルー画像として表示部に表示する機能を持つ。このとき撮像装置の内部では、撮影範囲全体の情報から画像の色合いや明るさの評価値が取得され、その評価値から算出された制御値に基づいて、画像のホワイトバランスや露出などの制御が行われる。撮影者は、表示部に表示されるスルー画像を見ながら、静止画撮影のための撮影範囲（画角）の確認や、ホワイトバランスの確認、露出の確認などを行うことができる。ただし、オートフォーカスによる画像の合焦状態などは、撮影範囲全体の画像からは確認しにくい。このため、撮影者が、表示部に表示されているスルー画像の中で注目する一部の領域を拡大表示させる操作を行う場合がある。この場合は、撮影範囲の一部の領域がデジタルズームにより拡大されて、表示部に表示される。

ところで、スルー画像を表示部に表示する場合、撮像センサから全画素の信号を読み出して表示部に表示させるようにすると、画素信号の読み出しに多くの時間を要し、フレームレートが低下してスムーズな表示が難しくなる。このため、一般的には、全画素の信号を読み出すのではなく、画素信号を間引いた読み出しを行って低解像度の画像を表示部に表示させることで、高いフレームレートを確保できるようにしている。ここで、撮影者が画像の合焦状態を確認するためにスルー画像の一部を拡大する操作を行った場合、低解像度の画像をそのまま拡大したのでは画像の解像度がさらに低下し、合焦状態の確認が困難となる。そこで、スルー画像を拡大表示する場合には、撮像センサから画素信号を読み出す範囲を、拡大表示の対象となる一部の領域に限定し、この一部の領域から多くの画素信号を読み出すことで、フレームレートの低下を抑えながら高解像度の拡大画像を表示できるようにしている。

ところで、上記のようにフレームレートの低下を抑えながら高解像度の拡大画像を表示するために、撮像センサから画素信号を読み出す範囲を限定すると、画像の評価値を取得する範囲も限定されるため、画像のホワイトバランスや露出などの制御が適正に行えなくなる懸念がある。このような問題に対しては、高解像度の拡大画像を表示する直前に算出された制御値を保持しておき、高解像度の拡大画像を表示している間は、保持した制御値に基づいてホワイトバランスや露出などの制御を行うことが考えられる。しかしながら、高解像度の拡大画像を表示している間に、ズームレンズを移動させる操作がなされた場合や、撮像装置を動かした場合など、撮像センサに結像する画像が変化した場合には、保持している制御値が撮像センサに結像している画像を反映した制御値ではなくなるため、画像のホワイトバランスや露出などの制御が適正でなくなるという問題がある。

また、特許文献１に記載されている撮像装置のように、撮像センサを２つ備えた構成であれば、一方の撮像センサから高解像度の拡大画像を取得し、他方の撮像センサから撮影領域全体の情報を取得することにより、高解像度の拡大画像を表示している間に撮像センサに結像する画像が変化しても、適切なホワイトバランスや露出などの制御を継続して行うことができると考えられる。しかしながら、この特許文献１に記載されている撮像装置では、撮像センサを２つ備える構成のため、装置コストが嵩み、実用的でない。

本発明は、上記に鑑みてなされたものであって、高解像度の拡大画像を表示している間に撮像センサに結像する画像が変化しても、適切なホワイトバランスや露出などの制御を継続して行うことができる撮像装置および撮像装置の制御方法を提供することを目的としている。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、撮像センサと、前記撮像センサの第１の撮像領域から第１の解像度の画像を読み出す第１の読み出しモードと、前記第１の撮像領域内の一部の領域である第２の撮像領域から前記第１の解像度よりも高い第２の解像度の画像を読み出す第２の読み出しモードとのいずれかの読み出しモードに従い、前記撮像センサからの画像の読み出しを制御する撮像センサ制御部と、前記第１の読み出しモードで読み出された画像に基づいて、少なくとも１つの制御値を算出する算出部と、算出された前記制御値を、新たな前記制御値が算出されるまで保持する保持部と、前記撮像センサから読み出された画像であって前記保持部に保持された前記制御値に応じて制御された画像を表示する表示部と、前記表示部が前記第２の読み出しモードで読み出された画像を表示している間に、前記撮像センサに結像する画像が変化したか否かを判定する判定部と、前記撮像センサに結像する画像が変化したと判定された場合に、前記撮像センサ制御部の読み出しモードを前記第２の読み出しモードから前記第１の読み出しモードに切り替え、前記算出部により前記制御値が新たに算出され、新たに算出された前記制御値が前記保持部に保持された後に、前記撮像センサ制御部の読み出しモードを前記第１の読み出しモードから前記第２の読み出しモードに切り替える読み出しモード切り替え部と、を備えることを特徴とする。

また、本発明に係る撮像装置の制御方法は、撮像センサと、前記撮像センサの第１の撮像領域から第１の解像度の画像を読み出す第１の読み出しモードと、前記第１の撮像領域内の一部の領域である第２の撮像領域から前記第１の解像度よりも高い第２の解像度の画像を読み出す第２の読み出しモードとのいずれかの読み出しモードに従い、前記撮像センサからの画像の読み出しを制御する撮像センサ制御部と、前記第１の読み出しモードで読み出された画像に基づいて、少なくとも１つの制御値を算出する算出部と、算出された前記制御値を、新たな前記制御値が算出されるまで保持する保持部と、前記撮像センサから読み出された画像であって前記保持部に保持された前記制御値に応じて制御された画像を表示する表示部と、を備えた撮像装置の制御方法であって、前記表示部が前記第２の読み出しモードで読み出された画像を表示している間に、前記撮像センサに結像する画像が変化したか否かを判定するステップと、前記撮像センサに結像する画像が変化したと判定した場合に、前記撮像センサ制御部の読み出しモードを前記第２の読み出しモードから前記第１の読み出しモードに切り替えるステップと、前記第１の読み出しモードで読み出された画像に基づいて、前記算出部により前記制御値が新たに算出され、新たに算出された前記制御値が前記保持部に保持された後に、前記撮像センサ制御部の読み出しモードを前記第１の読み出しモードから前記第２の読み出しモードに切り替えるステップと、を含むことを特徴とする。

本発明によれば、表示部が第２の読み出しモードで撮像センサから読み出された画像を表示している間に、撮像センサに結像する画像が変化したと判定された場合、読み出しモードが第２の読み出しモードから第１の読み出しモードに切り替えられ、第１の読み出しモードで読み出された画像をもとに新たな制御値が算出されて保持された後、読み出しモードが第１の読み出しモードから第２の読み出しモードに切り替えられるので、高解像度の拡大画像を表示している間に撮像センサに結像する画像が変化しても、適切なホワイトバランスや露出などの制御を継続して行うことができるという効果を奏する。

図１は、実施形態に係るデジタルカメラの要部構成を示すブロック図である。 図２は、撮像センサからの画像の読み出しを説明する図である。 図３は、撮像センサに結像した画像の一部の領域を拡大表示する処理を説明する図である。 図４は、実施形態に係るデジタルカメラのモニタリング動作時における処理の流れを示すフローチャートである。

以下に添付図面を参照して、この発明に係る撮像装置および撮像装置の制御方法の最良な実施の形態を詳細に説明する。なお、ここではデジタルスチルカメラ（以下、単に「デジタルカメラ」という。）に本発明を適用した例について説明するが、本発明は、スルー画像を表示する表示部を備えた撮像装置に対して広く適用することができる。

シャッタボタンの操作に応じて静止画を撮影し記録するデジタルカメラでは、シャッタボタンが操作される前に撮像センサから読み出した画像をスルー画像として表示部に表示することで、撮影する静止画を撮影者が確認できるようにしている。このような静止画撮影前のデジタルカメラの動作は、モニタリング動作と呼ばれる。本実施形態に係るデジタルカメラは、このモニタリング動作に特徴がある。以下では、本実施形態に係るデジタルカメラのモニタリング動作に関わる構成および処理について具体的に説明する。なお、静止画撮影やその他の種々の機能については、一般的に知られているデジタルカメラと同様であるため、詳細な説明は省略する。

図１は、本実施形態に係るデジタルカメラの要部構成を示すブロック図である。本実施形態に係るデジタルカメラは、図１に示すように、レンズ１、レンズ制御部２、撮像センサ３、撮像センサ制御部４、メインメモリ５、メモリ制御部６、評価値算出回路７、ホワイトバランス演算部８、露出演算部９、画像処理回路１０、表示制御部１１、表示部１２、加速度センサ１３、操作部１４およびシステム制御部１５を備える。撮像センサ３、メモリ制御部６、評価値算出回路７、ホワイトバランス演算部８、露出演算部９、画像処理回路１０、表示制御部１１およびシステム制御部１５は、システムバス１６により相互に接続されている。

レンズ１は、光学的に撮像センサ３に画像を結像させる光学部品であり、図示しないアクチュエータの駆動や撮影者の手動操作により光軸方向に移動可能に、撮像センサ３の受光面側に設置されている。このレンズ１の移動により、デジタルカメラの光学ズームが実現される。

レンズ制御部２は、システム制御部１５からの指令に従ってアクチュエータの動作を制御し、レンズ１の移動を制御する。また、レンズ制御部２は、撮影者の手動操作によりレンズ１が移動した場合、このレンズ１の移動を検知して検知信号をシステム制御部１５に出力する。

撮像センサ３は、レンズ１により結像された画像を撮像する。撮像センサ３は、例えば、ＣＣＤやＣＭＯＳなどの撮像素子とアナログ処理回路とを含み、撮像素子の光電変換により得られる画素ごとのアナログ信号を、アナログ処理回路でサンプリングホールド（相関二重サンプリング処理）、増幅およびＡ／Ｄ変換して、デジタル画像信号として出力する。

撮像センサ制御部４は、撮像センサ３の駆動および撮像センサ３からの画像の読み出しを制御する。具体的には、撮像センサ制御部４は、システム制御部１５により指定された読み出しモードに従って、撮像センサ３からの画像の読み出しを制御する。また、撮像センサ制御部４は、システム制御部１５からの指令に従って、例えば、撮像素子の露光時間を制御するための電子シャッタの設定や、アナログ処理回路の増幅率の設定などを行う。デジタルカメラは、撮像センサ制御部４による電子シャッタの設定および増幅率の設定と、図示しない絞りユニットの絞り値とにより、画像の明るさが適正になるように露出が制御される。なお、絞りユニットの絞り値は、システム制御部１５からの指令に従って制御される。

システム制御部１５から撮像センサ制御部４に対して指定される読み出しモードとしては、特にモニタリング動作時の読み出しモードとして、ドラフトモード（第１の読み出しモード）と、窓読み出しモード（第２の読み出しモード）とが存在する。ドラフトモードは、撮像センサ３が備える撮像素子の有効画素領域のほぼ全域に亘る広い撮像領域（第１の撮像領域）から、画素信号を間引いて読み出す読み出しモードである。一方、窓読み出しモードは、撮像素子の有効画素領域の中で限定された狭い撮像領域（第２の撮像領域）から、画素信号を間引かずに、若しくはドラフトモードよりも間引く割合を減らして読み出す読み出しモードである。なお、これらドラフトモードおよび窓読み出しモードについては詳細を後述する。

メインメモリ５は、例えば、撮像センサ３から読み出した画像を一時的に保持するための記憶領域として利用される。また、本実施形態では、ホワイトバランス演算部８により算出されたホワイトバランス制御値や、露出演算部９により算出された露出制御値を一時的に保持するための記憶領域としても、メインメモリ５が利用される。メインメモリ５に一時的に保持された画像は、撮像センサ３から新たな画像が読み出されると、この新たな画像により上書き更新される。また、メインメモリ５に一時的に保持されたホワイトバランス制御値や露出制御値も、新たなホワイトバランス制御値や露出制御値が算出されると、これら新たなホワイトバランス制御値や露出制御値により上書き更新される。

メモリ制御部６は、メインメモリ５に対するデータの書き込みやメインメモリ５からのデータの読み出しを制御する。

評価値算出回路７は、ドラフトモードにより撮像センサ３から読み出された画像の評価値を算出する。具体的には、評価値算出回路７は、例えば、予め定めた分割方法に従って画像を複数のエリアに分割し、各分割エリアごとのＲ，Ｇ，Ｂの信号を積算した値を、明るさの評価値として算出する。また、評価値算出回路７は、各分割エリアごとのＧ信号の積算値に対するＲ信号の積算値の割合（Ｒ／Ｇ）およびＧ信号の積算値に対するＢ信号の積算値の割合（Ｂ／Ｇ）を、色合いの評価値として算出する。

ホワイトバランス演算部８は、評価値算出回路７により算出された色合いの評価値を用いて光源種の判定を行い、判定した光源種に応じて画像のホワイトバランスを適正に制御するためのホワイトバランス制御値（Ｒ，Ｇ，Ｂの信号に対するゲイン）を算出する。

露出演算部９は、評価値算出回路７により算出された明るさの評価値に基づいて、画像の露出を適正に制御するための露出制御値（電子シャッタによるシャッタスピード、絞りユニットの絞り値、アナログ処理回路における増幅率など）を算出する。

画像処理回路１０は、撮像センサ３から読み出されてメインメモリ５に保持された画像をもとに表示用画像を生成する。具体的には、画像処理回路１０は、撮像センサ３から読み出されてメインメモリ５に保持された画像をＲＧＢ形式からＹＵＶ形式に変換する。このとき、画像処理回路１０は、ホワイトバランス演算部８により算出されてメインメモリ５に一時的に保持されたホワイトバランス制御値に従って、Ｒ，Ｇ，Ｂの信号に対するゲイン調整を行った上でＹＵＶ形式に変換する。そして、画像処理回路１０は、ＹＵＶ形式に変換された画像に対して表示部１２の表示サイズに合わせたリサイズ処理などを行い、表示用画像として表示制御部１１に出力する。

表示制御部１１は、画像処理回路１０により生成された表示用画像を表示部１２が対応するビデオ信号に変換し、表示部１２に出力する。

表示部１２は、表示制御部１１から出力されたビデオ信号に従って画像を表示する。これにより、撮像センサ３から読み出された画像がスルー画像として表示部１２に表示される。

加速度センサ１３は、デジタルカメラの動きを検出して、検出信号をシステム制御部１５に出力する。

操作部１４は、デジタルカメラに対する撮影者の操作を受け付けて、操作信号をシステム制御部１５に出力する。この操作部１４は、レンズ１を移動させて光学ズームにより画像を拡大、縮小する際に操作されるズームボタンを含む。

システム制御部１５は、例えば、デジタルカメラに予め組み込まれた各種制御プログラムを読み出して実行するＣＰＵなどの演算装置を備える。システム制御部１５は、この演算装置によって各種制御プログラムを実行することにより、本実施形態に係るデジタルカメラの動作を統括的に制御する。特に、システム制御部１５は、デジタルカメラのモニタリング動作時における制御機能として、図１に示すように、判定部２１および読み出しモード切り替え部２２の機能を備える。ここで、判定部２１および読み出しモード切り替え部２２の機能を説明する前に、デジタルカメラのモニタリング動作の概要について説明する。

デジタルカメラの電源スイッチがオンされると、各部に電源が供給されてモニタリング動作が開始される。モニタリング動作が開始されると、まず、撮像センサ制御部４がドラフトモードで撮像センサ３からの画像の読み出しを開始する。

ドラフトモードで撮像センサ３から読み出された画像は、メモリ制御部６を介してメインメモリ５に一時的に保持され、評価値算出回路７により色合いや明るさの評価値が算出される。そして、この画像の評価値をもとにホワイトバランス演算部８でホワイトバランス制御値が算出され、露出演算部９で露出制御値が算出される。算出されたホワイトバランス制御値および露出制御値は、メインメモリ５に保持される。

その後、画像処理回路１０によってメインメモリ５に一時的に保持された画像をもとに表示用画像が生成され、表示制御部１１によりビデオ信号に変換されて表示部１２に出力される。表示用画像は、メインメモリ５に保持されたホワイトバランス制御値に従ってホワイトバランスが適正に制御されるとともに、メインメモリ５に保持された露出制御値に従って露出が適正に制御される。

撮像センサ３からの画像の読み出しは、予め定められたフレームレート（例えば６０ｆｐｓ）で連続して行われ、各フレーム画像に対して上記の一連の処理が繰り返し行われる。これにより、表示部１２には、撮像センサ３から読み出された画像がスムーズなスルー画像として表示される。

表示部１２にスルー画像を表示している際に、撮影者がスルー画像の一部の領域を拡大表示する所定の操作を行うと、システム制御部１５が、撮像センサ制御部４に対して、窓読み出しモードでの画像の読み出しを行う旨の指令を出力する。撮像センサ制御部４は、システム制御部１５からの指令に従って、窓読み出しモードで撮像センサ３からの画像の読み出しを開始する。すなわち、撮像センサ制御部４は、撮像素子の有効画素領域の中で、撮影者の操作に応じて特定される拡大表示の対象となる領域から、画素信号を間引かずに、若しくはドラフトモードよりも間引く割合を減らして読み出す。

窓読み出しモードで撮像センサ３から読み出された画像は、ドラフトモードで読み出された画像と同様にメインメモリ５に一時的に保持される。そして、画像処理回路１０により、この画像から表示部１２の表示サイズに合わせた表示用画像が生成され、表示制御部１１によりビデオ信号に変換されて表示部１２に出力される。ただし、窓読み出しモードにより読み出された画像は、撮像センサ３に結像している画像全体を反映していないため、評価値算出回路７による評価値の算出や、ホワイトバランス演算部８によるホワイトバランス制御値の算出、露出演算部９による露出制御値の算出は行われない。窓読み出しモードで読み出された画像から生成される表示用画像に対しては、その直前のドラフトモードにより読み出された画像から算出されてメインメモリ５に保持されたホワイトバランス制御値および露出制御値に従って、ホワイトバランスおよび露出が制御される。

窓読み出しモードによる撮像センサ３からの画像の読み出しは、予め定められたフレームレートで連続して行われ、各フレーム画像に対して、上記の一連の処理が繰り返し行われる。これにより、表示部１２には、撮影者の操作に応じた拡大画像がスムーズなスルー画像として表示される。

図２は、撮像センサ３からの画像の読み出しを説明する図であり、図２（ａ）はドラフトモードによる画像の読み出しの概念図、図２（ｂ）は窓読み出しモードによる画像の読み出しの概念図である。なお、図中のハッチングを付した領域が、読み出しの対象となる画素を表している。

ドラフトモードによる画像の読み出しは、図２（ａ）に示すように、撮像センサ３の撮像素子の有効画素領域のほぼ全域に亘る第１の撮像領域Ａ１から、画素信号を間引いて（離散的に）読み出す。ドラフトモードの場合、撮像センサ３で撮像される画像全体の情報を得ることができる。したがって、ドラフトモードで読み出した画像からは、撮像センサ３に結像している画像全体の明るさや色合いを反映した評価値を算出することができ、その評価値をもとに、画像に対するホワイトバランス制御値や露出制御値を適正に算出することができる。ただし、ドラフトモードでは、画素の水平方向、垂直方向ともに連続した画像情報を取得することができないため、出力される画像は低解像度の画像となる。

一方、窓読み出しモードによる画像の読み出しは、図２（ｂ）に示すように、撮像センサ３の撮像素子の有効画素領域のほぼ全域に亘る第１の撮像領域Ａ１の中で、限定された領域である第２の撮像領域Ａ２から集中的に画素信号を読み出す。窓読み出しモードの場合、画素の水平方向、垂直方向ともに連続した画像情報を取得することができるため、出力される画像は高解像度の画像となる。ただし、窓読み出しモードでは、撮像センサ３で撮像される画像全体の情報を得ることができないため、窓読み出しモードで読み出した画像からは、撮像センサ３に結像している画像全体の明るさや色合いを反映した評価値を算出することができない。

上記のドラフトモードと窓読み出しモードは、撮像センサ３から出力される画素の位置は異なるが、出力される画素数を同じにすることができる。つまり、ドラフトモードにより撮像センサ３から読み出される画像と、窓読み出しモードにより撮像センサ３から読み出される画像とで、画像のデータサイズを同じにすることができる。したがって、これらドラフトモードと窓読み出しモードは、同じフレームレートで撮像センサ３から画像を読み出すことができ、どちらの読み出しモードで撮像センサ３から画像を読み出す場合でも表示部１２にスムーズなスルー画像を表示することができる。

図３は、撮像センサ３に結像した画像の一部の領域を拡大表示する処理を説明する図であり、図３（ａ）はドラフトモードにより読み出された画像を用いて拡大表示の処理を行った場合の概念図、図３（ｂ）は窓読み出しモードにより読み出された画像を用いて拡大表示の処理を行った場合の概念図である。

ドラフトモードにより読み出された画像は、画素信号を間引いて出力しているため、画像全体の解像度を落として縮小した画像と等価となる。そして、この縮小された画像から一部の領域を拡大率に合わせて切り出して表示用画像を生成すると、表示用画像は、図３（ａ）に示すように低解像度の画像となる。このため、撮影者は、表示部１２に拡大表示された画像を参照してオートフォーカスによる合焦状態の確認などを行うことが難しくなる。

一方、窓読み出しモードにより読み出された画像は、撮像センサ３に結像した画像の一部の領域のみから画素信号を集中的に読み出しているため、高解像度の画像である。したがって、窓読み出しモードにより読み出された画像を拡大率に合わせて拡大して表示用画像を生成した場合、表示用画像は、図３（ｂ）に示すように高解像度の画像となる。

以上のように、モニタリング動作の際に撮影者の操作に応じてスルー画像を拡大表示する際には、窓読み出しモードにより撮像センサ３から画像を読み出すことで、高解像度の画像を表示部１２に表示することができ、撮影者がオートフォーカスによる合焦状態の確認などを行う上で有利である。しかしながら、窓読み出しモードにより撮像センサ３から読み出した画像からは、上述したように、画像全体の明るさや色合いを反映した評価値を算出することができない。そのため、撮像センサ３からの画像の読み出しモードをドラフトモードから窓読み出しモードに切り替えた場合は、窓読み出しモードで読み出された画像に基づいたホワイトバランス制御値の算出や露出制御値の算出は行わず、その直前のドラフトモードで読み出された画像に基づいて算出されたホワイトバランス制御値や露出制御値を用いて、表示用画像のホワイトバランスや露出が制御される。つまり、撮像センサ３からの画像の読み出しモードがドラフトモードから窓読み出しモードに切り替わると、ホワイトバランス制御値および露出制御値が、その直前に算出されてメインメモリ５に保持された制御値でロックされ、以降、その制御値を用いて表示用画像のホワイトバランスや露出が制御される。

ところで、以上のような制御値のロックは、撮像センサ３に結像する画像が変化していない場合は有効であるが、撮像センサ３に結像する画像が変化した場合には、画像全体の明るさや色合いが大きく変動する結果、表示用画像のホワイトバランスや露出の制御が適正でなくなることが想定される。そこで、本実施形態に係るデジタルカメラでは、システム制御部１５の制御機能として、図１に示すように、判定部２１および読み出しモード切り替え部２２の機能を設け、これらの制御機能によって、撮像センサ３に結像する画像が変化した場合にも対応できるようにしている。なお、ここで、撮像センサ３に結像する画像が変化するとは、デジタルカメラによる撮影画角が変化した場合や、撮影画角内で被写体に大きな動きがあった場合を意味している。

判定部２１は、撮像センサ制御部４が窓読み出しモードで撮像センサ３から画像の読み出しを行い、表示部１２が窓読み出しモードで読み出された画像から生成された表示用画像を表示している間、撮像センサ３に結像する画像が変化したか否かを判定する。具体的には、判定部２１は、撮影者によって操作部１４のズームボタンが操作され、操作部１４からレンズ１を移動して光学ズームを行う操作信号が出力された場合や、撮影者の手動によりレンズ１が移動操作され、レンズ制御部２からレンズ１の移動を検知した検知信号が出力された場合に、撮像センサ３に結像する画像が変化したと判定する。また、判定部２１は、加速度センサ１３からデジタルカメラの動きを検出した検出信号が出力された場合に、撮像センサ３に結像する画像が変化したと判定する。

読み出しモード切り替え部２２は、判定部２１により撮像センサ３に結像する画像が変化したと判定された場合に、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、窓読み出しモードからドラフトモードに切り替える旨の指令を出力する。そして、この指令に従って撮像センサ制御部４がドラフトモードで撮像センサ３から読み出した画像に対して、評価値算出回路７による評価値の算出や、ホワイトバランス演算部８によるホワイトバランス制御値の算出、露出演算部９による露出制御値の算出が行われ、算出されたホワイトバランス制御値および露出制御値がメインメモリ５に保持されると、読み出しモード切り替え部２２は、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、ドラフトモードから窓読み出しモードに切り替える旨の指令を出力する。

つまり、窓読み出しモードで読み出された画像から生成された表示用画像を表示部１２が表示している間に、撮像センサ３に結像する画像が変化したと判定されると、読み出しモード切り替え部２２は、撮像センサ３からの画像の読み出しモードを、窓読み出しモードからドラフトモードに一旦切り替えて、撮像センサ制御部４にドラフトモードでの画像の読み出しを行わせる。ドラフトモードで読み出された画像からは、上述したように撮像センサ３に結像している画像全体の情報が得られるため、評価値算出回路７により、変化後の画像全体の明るさや色合いを反映した評価値を算出することができる。そして、評価値算出回路７が算出した変化後の画像全体の明るさの評価値をもとに、露出演算部９により適切な露出制御値を算出することができ、評価値算出回路７が算出した変化後の画像全体の色合いの評価値をもとに、ホワイトバランス演算部８により適切なホワイトバランス制御値を算出することができる。

ホワイトバランス演算部８により算出されたホワイトバランス制御値や、露出演算部９により算出された露出制御値がメインメモリ５に保持されると、その後、撮像センサ３に結像する画像が再度変化するまでの間は、メインメモリ５に保持されたホワイトバランス制御値や露出制御値を用いて、表示部１２に表示される画像のホワイトバランスや露出を適正に制御することができる。したがって、読み出しモード切り替え部２２は、撮像センサ３からの画像の読み出しモードを、ドラフトモードから窓読み出しモードに戻し、撮像センサ制御部４に窓読み出しモードでの画像の読み出しを再開させる。

なお、読み出しモード切り替え部２２により撮像センサ３からの画像の読み出しモードを一時的にドラフトモードに切り替えた場合、表示制御部１１は、ドラフトモードで撮像センサ３から読み出された画像のうち、窓読み出しモードで読み出されていた領域と同じ領域の画像を同じ拡大率で拡大した表示用画像を生成して、表示部１２に表示させることが望ましい。つまり、撮像センサ３からの画像の読み出しモードが一時的にドラフトモードに切り替えられている間に、表示部１２に表示される画像の大きさが変化しないようにすることが望ましい。この場合、ドラフトモードで撮像センサ３から読み出した画像の一部が拡大表示されるため、表示部１２に表示される画像は低解像度の画像となるが、ドラフトモードでの画像の読み出しは、ホワイトバランス制御値や露出制御値がメインメモリ５に保持されるまでの一時的なものであるため、撮影者が画像の確認を行う上で支障はない。

また、読み出しモード切り替え部２２は、撮像センサ制御部４が窓読み出しモードで撮像センサ３から画像の読み出しを行い、表示部１２が窓読み出しモードで読み出された画像から生成された表示用画像を表示している間、判定部２１により撮像センサ３に結像する画像が変化したと判定されないまま予め定めた所定時間（例えば数十秒程度）が経過した場合にも、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、窓読み出しモードからドラフトモードに切り替える旨の指令を出力する。そして、この指令に従って撮像センサ制御部４がドラフトモードで撮像センサ３から読み出した画像に対して、評価値算出回路７による評価値の算出や、ホワイトバランス演算部８によるホワイトバランス制御値の算出、露出演算部９による露出制御値の算出が行われ、算出されたホワイトバランス制御値および露出制御値がメインメモリ５に保持されると、読み出しモード切り替え部２２は、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、ドラフトモードから窓読み出しモードに切り替える旨の指令を出力する。

つまり、撮影者によるズームボタンの操作やレンズ１の手動操作が行われず、また、加速度センサ１３がデジタルカメラの動きを検出していない状態であっても、そのような状態が所定時間継続すると、その間に被写体環境、例えば明るさや色温度などが変化している可能性が高い。そのため、読み出しモード切り替え部２２は、撮像センサ３に結像する画像が変化したと判定部２１が判定していない場合も、定期的に（つまり、所定時間経過するごとに）撮像センサ３からの画像の読み出しモードをドラフトモードに切り替えて、ホワイトバランス制御値および露出制御値の算出を行わせる。

なお、以上は、表示部１２にスルー画像を拡大表示している間の読み出しモード切り替え部２２による処理を説明したが、表示部１２にスルー画像を拡大表示する際の読み出しモードの切り替えも、読み出しモード切り替え部２２が行う。つまり、読み出しモード切り替え部２２は、撮像センサ制御部４がドラフトモードで撮像センサ３から画像の読み出しを行い、表示部１２がドラフトモードで読み出された画像から生成された表示用画像をスルー画像として表示している間に、撮影者がスルー画像の一部の領域を拡大表示する所定の操作を行うと、その撮影者の操作を検出して、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、ドラフトモードから窓読み出しモードに切り替える旨の指令を出力する。

図４は、本実施形態に係るデジタルカメラのモニタリング動作時における処理の流れを示すフローチャートである。

モニタリング動作が開始されると、撮像センサ制御部４が、ドラフトモードで撮像センサ３から画像の読み出しを開始する（ステップＳ１０１）。そして、評価値算出回路７が、ドラフトモードで撮像センサ３から読み出された画像をもとに、画像の色合いの評価値および明るさの評価値を算出する（ステップＳ１０２）。

次に、ホワイトバランス演算部８が、評価値算出回路７により算出された画像の色合いの評価値に基づいて、ホワイトバランス制御値を算出するとともに、露出演算部９が、評価値算出回路７により算出された画像の明るさの評価値に基づいて、露出制御値を算出する（ステップＳ１０３）。これらホワイトバランス制御値および露出制御値は、新たなホワイトバランス制御値および露出制御値が算出されるまでの間、メインメモリ５に保持される。

次に、画像処理回路１０が、ドラフトモードで撮像センサ３から読み出された画像をもとに表示用画像を生成する。このとき表示用画像は、メインメモリ５に保持されたホワイトバランス制御値に従ってホワイトバランスが適正に制御され、また、メインメモリ５に保持された露出制御値に従って露出が適正に制御された画像となる。この表示用画像が、表示制御部１１によりビデオ信号に変換されて表示部１２に出力されることで、表示部１２には、ドラフトモードで撮像センサ３から読み出された画像がスルー画像として表示される（ステップＳ１０４）。

ドラフトモードで撮像センサ３から読み出された画像がスルー画像として表示部１２に表示されている間、システム制御部１５の読み出しモード切り替え部２２は、撮影者によりスルー画像の一部の領域を拡大表示する所定の操作が行われたか否かを判定する（ステップＳ１０５）。そして、スルー画像の一部の領域を拡大表示する所定の操作が行われていない間は（ステップＳ１０５：Ｎｏ）、ステップＳ１０１〜ステップＳ１０４の処理が繰り返される。

一方、スルー画像の一部の領域を拡大表示する所定の操作が行われた場合は（ステップＳ１０５：Ｙｅｓ）、読み出しモード切り替え部２２が、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、ドラフトモードから窓読み出しモードに切り替える旨の指令を出力する。そして、この読み出しモード切り替え部２２からの指令に応じて、撮像センサ制御部４が、画像の読み出しモードをドラフトモードから窓読み出しモードに切り替えて、窓読み出しモードでの画像の読み出しを開始する（ステップＳ１０６）。

次に、画像処理回路１０が、窓読み出しモードで撮像センサ３から読み出された画像をもとに、撮像センサ３に結像した画像の一部を拡大した表示用画像を生成する。このとき表示用画像は、メインメモリ５に保持されたホワイトバランス制御値および露出制御値（つまり、直前のドラフトモードで読み出された画像から算出されたホワイトバランス制御値および露出制御値）に従ってホワイトバランスおよび露出が適正に制御された画像となる。この表示用画像が、表示制御部１１によりビデオ信号に変換されて表示部１２に出力されることで、表示部１２には、窓読み出しモードで撮像センサ３から読み出された画像が拡大表示される（ステップＳ１０７）。

窓読み出しモードで撮像センサ３から読み出された画像が表示部１２に拡大表示されている間、システム制御部１５の判定部２１が、撮像センサ３に結像する画像が変化したか否かを判定する。すなわち、判定部２１は、まずステップＳ１０８において、撮影者によるズームボタンの操作やレンズ１の手動操作が行われたか否かを判定する。そして、撮影者によるズームボタンの操作やレンズ１の手動操作が行われていなければ（ステップＳ１０８：Ｎｏ）、判定部２１は、ステップＳ１０９において、加速度センサ１３がデジタルカメラの動きを検出したか否かを判定する。ここで、撮影者によるズームボタンの操作やレンズ１の手動操作が行われた場合（ステップＳ１０８：Ｙｅｓ）、または、加速度センサ１３がデジタルカメラの動きを検出した場合は（ステップＳ１０９：Ｙｅｓ）、ステップＳ１１１に進み、撮影者によるズームボタンの操作やレンズ１の手動操作が行われておらず、また、加速度センサ１３がデジタルカメラの動きを検出していない場合は（ステップＳ１０８：Ｎｏ、ステップＳ１０９：Ｎｏ）、ステップＳ１１０に進む。

ステップＳ１１０では、読み出しモード切り替え部２２が、ステップＳ１０６で窓読み出しモードでの画像の読み出しが開始されてから、予め定めた所定時間が経過したか否かを判定する。そして、予め定めた所定時間が経過していなければ（ステップＳ１１０：Ｎｏ）、ステップＳ１０６に戻って以降の処理を繰り返す。一方、予め定めた所定時間が経過した場合には（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１１に進む。

ステップＳ１１１では、読み出しモード切り替え部２２が、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、窓読み出しモードからドラフトモードに切り替える旨の指令を出力する。そして、この読み出しモード切り替え部２２からの指令に応じて、撮像センサ制御部４が、画像の読み出しモードを窓読み出しモードからドラフトモードに切り替えて、ドラフトモードでの画像の読み出しを開始する。

次に、評価値算出回路７が、ドラフトモードで撮像センサ３から読み出された画像をもとに、画像の色合いの評価値および明るさの評価値を算出する（ステップＳ１１２）。そして、ホワイトバランス演算部８が、評価値算出回路７により算出された画像の色合いの評価値に基づいて、ホワイトバランス制御値を算出するとともに、露出演算部９が、評価値算出回路７により算出された画像の明るさの評価値に基づいて、露出制御値を算出する（ステップＳ１１３）。これら新たに算出されたホワイトバランス制御値および露出制御値は、メインメモリ５に保持される。

次に、画像処理回路１０が、ドラフトモードで撮像センサ３から読み出された画像をもとに表示用画像を生成する。このとき、表示制御部１１は、ドラフトモードで撮像センサ３から読み出された画像のうち、窓読み出しモードで読み出されていた領域と同じ領域の画像を同じ拡大率で拡大した表示用画像を生成する。また、このとき表示用画像は、新たに算出されてメインメモリ５に保持されたホワイトバランス制御値および露出制御値に従って、ホワイトバランスおよび露出が適正に制御された画像となる。この表示用画像が、表示制御部１１によりビデオ信号に変換されて表示部１２に出力されることで、表示部１２には、ドラフトモードで撮像センサ３から読み出された画像が拡大表示される（ステップＳ１１４）。

その後、ステップＳ１０６に戻り、読み出しモード切り替え部２２が、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、ドラフトモードから窓読み出しモードに切り替える旨の指令を出力する。そして、この読み出しモード切り替え部２２からの指令に応じて、撮像センサ制御部４が、画像の読み出しモードをドラフトモードから窓読み出しモードに切り替えて、窓読み出しモードでの画像の読み出しが再開される。

なお、図４のフローチャートでは図示を省略しているが、ステップＳ１０６〜ステップＳ１１４の処理が繰り返されている間、読み出しモード切り替え部２２は、撮影者によって画像の拡大表示を終了して通常のスルー画像を表示させる所定の操作が行われたか否かを監視している。そして、このような操作がなされた場合、読み出しモード切り替え部２２は、撮像センサ制御部４に対して、撮像センサ３からの画像の読み出しモードを、窓読み出しモードからドラフトモードに切り替える旨の指令を出力する。この場合、処理はステップＳ１０１に戻って、ドラフトモードでの画像の読み出しが再開されることになる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係るデジタルカメラは、窓読み出しモードで撮像センサ３から読み出された画像を表示部１２に表示している間に、システム制御部１５の判定部２１が、撮像センサ３に結像する画像が変化したと判定した場合、システム制御部１５の読み出しモード切り替え部２２が、撮像センサ３からの画像の読み出しモードを窓読み出しモードからドラフトモードに切り替えるようにしている。そして、ドラフトモードで読み出された画像をもとにホワイトバランス制御値や露出制御値が新たに算出され、これら新たに算出された制御値がメインメモリ５に保持された後に、読み出しモード切り替え部２２が、撮像センサ３からの画像の読み出しモードをドラフトモードから窓読み出しモードに切り替えるようにしている。したがって、本実施形態に係るデジタルカメラによれば、高解像度の拡大画像を表示している間に撮像センサ３に結像する画像が変化しても、適切なホワイトバランスや露出などの制御を継続して行うことができる。

また、読み出しモード切り替え部２２は、判定部２１によって撮像センサ３に結像する画像が変化したと判定されない場合であっても、予め定めた所定時間が経過すると、撮像センサ３からの画像の読み出しモードを窓読み出しモードからドラフトモードに切り替えて、ドラフトモードで読み出された画像をもとに算出された新たなホワイトバランス制御値や露出制御値がメインメモリ５に保持された後に、撮像センサ３からの画像の読み出しモードをドラフトモードから窓読み出しモードに切り替えるようにしているので、レンズ１の移動やデジタルカメラの動きに起因しない画像の変化、例えば、時間経過に伴って被写体の明るさや色温度の変化などといった被写体環境の変化が生じる場合にも、適切なホワイトバランスや露出などの制御を継続して行うことができる。

また、読み出しモード切り替え部２２により撮像センサ３からの画像の読み出しモードを一時的にドラフトモードに切り替えた場合は、表示制御部１１が、ドラフトモードで撮像センサ３から読み出された画像のうち、窓読み出しモードで読み出されていた領域と同じ領域の画像を同じ拡大率で拡大した表示用画像を生成して、表示部１２に表示させることにより、表示部１２に表示される画像の大きさを変化させずに、違和感のない表示を継続させることができる。

以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。すなわち、上述した実施形態に係るデジタルカメラの構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。

例えば、上述した実施形態では、システム制御部１５で実行される制御プログラムにより、判定部２１および読み出しモード切り替え部２２の制御機能が実現されるものとして説明したが、判定部２１および読み出しモード切り替え部２２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現することも可能である。

また、上述した実施形態では、窓読み出しモードで撮像センサ３から画像を読み出している間は、常に、その直前のドラフトモードで読み出された画像をもとに算出され、メインメモリ５に保持されたホワイトバランス制御値や露出制御値に従ってホワイトバランスや露出の制御を行うようにしているが、例えば、窓読み出しモードで読み出された画像をもとにホワイトバランス制御値や露出制御値を算出し、算出した制御値をメインメモリ５に保持された制御値と比較し、両者に大きな相違がある場合はメインメモリ５に保持された制御値に従ってホワイトバランスや露出の制御を行い、両者に大きな相違がない場合は、窓読み出しモードで読み出された画像をもとに算出した制御値に従ってホワイトバランスや露出の制御を行うようにしてもよい。

また、上述した実施形態では、表示部１２に表示する画像に対する制御値としてホワイトバランス制御値および露出制御値を例示したが、これらホワイトバランス制御値や露出制御値以外の制御値についても、撮像センサ３に結像した画像全体の情報を取得することで正確性が向上する制御値であれば、同様に扱うことができる。

１ レンズ
２ レンズ制御部
３ 撮像センサ
４ 撮像センサ制御部
５ メインメモリ
７ 評価値算出回路
８ ホワイトバランス演算部
９ 露出演算部
１０ 画像処理回路
１１ 表示制御部
１２ 表示部
１３ 加速度センサ
１４ 操作部
１５ システム制御部
２１ 判定部
２２ 読み出しモード切り替え部

特開２００６−２３８０８５号公報

Claims (9)

1. 撮像センサと、
   前記撮像センサの第１の撮像領域から第１の解像度の画像を読み出す第１の読み出しモードと、前記第１の撮像領域内の一部の領域である第２の撮像領域から前記第１の解像度よりも高い第２の解像度の画像を読み出す第２の読み出しモードとのいずれかの読み出しモードに従い、前記撮像センサからの画像の読み出しを制御する撮像センサ制御部と、
   前記第１の読み出しモードで読み出された画像に基づいて、少なくとも１つの制御値を算出する算出部と、
   算出された前記制御値を、新たな前記制御値が算出されるまで保持する保持部と、
   前記撮像センサから読み出された画像であって前記保持部に保持された前記制御値に応じて制御された画像を表示する表示部と、
   前記表示部が前記第２の読み出しモードで読み出された画像を表示している間に、前記撮像センサに結像する画像が変化したか否かを判定する判定部と、
   前記撮像センサに結像する画像が変化したと判定された場合に、前記撮像センサ制御部の読み出しモードを前記第２の読み出しモードから前記第１の読み出しモードに切り替え、前記算出部により前記制御値が新たに算出され、新たに算出された前記制御値が前記保持部に保持された後に、前記撮像センサ制御部の読み出しモードを前記第１の読み出しモードから前記第２の読み出しモードに切り替える読み出しモード切り替え部と、を備えることを特徴とする撮像装置。
2. 前記読み出しモード切り替え部は、前記表示部が前記第２の読み出しモードで読み出された画像を表示している間に、前記判定部が前記撮像センサに結像する画像が変化したと判定しないまま予め定めた所定時間が経過した場合、前記撮像センサ制御部の読み出しモードを前記第２の読み出しモードから前記第１の読み出しモードに切り替え、前記算出部により前記制御値が新たに算出され、新たに算出された前記制御値が前記保持部に保持された後に、前記撮像センサ制御部の読み出しモードを前記第１の読み出しモードから前記第２の読み出しモードに切り替えることを特徴とする請求項１に記載の撮像装置。
3. 前記読み出しモード切り替え部は、前記表示部が前記第１の読み出しモードで読み出された画像を表示している間に、デジタルズームにより画像を拡大表示させる操作を検出した場合に、前記撮像センサ制御部の読み出しモードを前記第１の読み出しモードから前記第２の読み出しモードに切り替え、
   前記表示部は、前記第２の読み出しモードで読み出された画像を拡大表示することを特徴とする請求項１または２に記載の撮像装置。
4. 前記表示部は、前記読み出しモード切り替え部が前記撮像センサ制御部の読み出しモードを前記第２の読み出しモードから前記第１の読み出しモードに切り替えた後、前記撮像センサ制御部の読み出しモードを前記第２の読み出しモードから前記第１の読み出しモードに切り替えるまでの間、前記第１の読み出しモードで読み出された前記第１の撮像領域の画像のうち、前記第２の撮像領域の画像を拡大表示することを特徴とする請求項３に記載の撮像装置。
5. 前記撮像センサに画像を結像するレンズを備え、
   前記判定部は、前記レンズを移動させる操作を検出した場合に、前記撮像センサに結像する画像が変化したと判定することを特徴とする請求項１に記載の撮像装置。
6. 撮像装置の動きを検出する動き検出部を備え、
   前記判定部は、前記動き検出部が撮像装置の動きを検出した場合に、前記撮像センサに結像する画像が変化したと判定することを特徴とする請求項１に記載の撮像装置。
7. 前記算出部は、画像のホワイトバランスを制御するための制御値を算出することを特徴とする請求項１に記載の撮像装置。
8. 前記算出部は、画像の露出を制御するための制御値を算出することを特徴とする請求項１に記載の撮像装置。
9. 撮像センサと、
   前記撮像センサの第１の撮像領域から第１の解像度の画像を読み出す第１の読み出しモードと、前記第１の撮像領域内の一部の領域である第２の撮像領域から前記第１の解像度よりも高い第２の解像度の画像を読み出す第２の読み出しモードとのいずれかの読み出しモードに従い、前記撮像センサからの画像の読み出しを制御する撮像センサ制御部と、
   前記第１の読み出しモードで読み出された画像に基づいて、少なくとも１つの制御値を算出する算出部と、
   算出された前記制御値を、新たな前記制御値が算出されるまで保持する保持部と、
   前記撮像センサから読み出された画像であって前記保持部に保持された前記制御値に応じて制御された画像を表示する表示部と、を備えた撮像装置の制御方法であって、
   前記表示部が前記第２の読み出しモードで読み出された画像を表示している間に、前記撮像センサに結像する画像が変化したか否かを判定するステップと、
   前記撮像センサに結像する画像が変化したと判定した場合に、前記撮像センサ制御部の読み出しモードを前記第２の読み出しモードから前記第１の読み出しモードに切り替えるステップと、
   前記第１の読み出しモードで読み出された画像に基づいて、前記算出部により前記制御値が新たに算出され、新たに算出された前記制御値が前記保持部に保持された後に、前記撮像センサ制御部の読み出しモードを前記第１の読み出しモードから前記第２の読み出しモードに切り替えるステップと、を含むことを特徴とする撮像装置の制御方法。

Images