JP2011259269A - 撮影装置 - Google Patents

Abstract

【課題】解析対象のフレームと補正対象のフレームとの同時性を確保する。
【解決手段】所定のフレーム撮影期間ごとに連続して撮影センサーから１フレーム分の出力データを取得する出力データ取得部と、１フレーム分の前記出力データを解析して補正情報を取得する補正情報取得部と、前記補正情報に基づいて前記出力データを補正して前記フレーム撮影期間ごとの画像データを生成する画像データ生成部と、前記画像データに基づいて表示部に表示を行わせる表示制御部と、を備えるとともに、前記補正情報の取得のために解析される前記出力データと、当該補正情報に基づいて補正される前記出力データとは、同一の前記フレーム撮影期間において撮影されたものである。
【選択図】図５

Description

本発明は、各フレームを補正して動画を表示する撮影装置に関する。

従来、イメージセンサーで撮影した画像を液晶ディスプレイで表示する撮影装置が知られており、液晶ディスプレイにおいて被写体の像が被写体から遅延して表示されることを抑制するために各種の技術が開発されている。例えば、特許文献１には、１フレーム分の画像信号を記録するＶＲＡＭを備える撮影装置において、ＶＲＡＭに対して１フレーム分の画像信号の書き込みが完了する前に画像信号を読み出して液晶ディスプレイで表示させる技術が開示されている。具体的には、イメージセンサーの駆動タイミングからΔＴだけ遅延した再生タイミングで液晶ディスプレイでの画像表示を開始する構成が記述されている。

特開２００７−２４３６１５号公報

特許文献１において、イメージセンサーで撮影した画像信号に基づいてホワイトバランス補正を行うことが開示されている。このホワイトバランス補正においては、フレーム全体の色調を解析して補正量を決定する必要がある。ところが、特許文献１の技術では、ＶＲＡＭに対して１フレーム分の画像信号の書き込みが完了する前に画像信号を読み出して液晶ディスプレイで表示させるため、表示の前に１フレーム分の画像信号を解析することができない。すなわち、あるフレームについて１フレーム分の画像信号の読み出しが完了した時点で当該フレームの１フレーム分の画像信号の解析が可能となるが、その時点ですでに当該フレームの表示が開始してしまっているため、当該フレームの解析結果に基づく補正を行った上で当該フレームを表示させることができない。
特許文献１においてホワイトバランス補正を実現させるためには、補正対象のフレームよりも前に撮影されたフレームの１フレーム分の画像信号を解析することによりホワイトバランス補正の補正量を決定しておく必要がある。この場合、解析対象のフレームと補正対象のフレームとの同時性が損なわれており、過去のフレームの解析結果に基づいて現在表示されているフレームのホワイトバランス補正が行われることとなる。従って、ホワイトバランス補正の結果が急激な光源変動に追従できなくなる。
本発明は上記課題にかんがみてなされたもので、解析対象のフレームと補正対象のフレームとの同時性を確保する技術を提供することを目的の１つとする。

上記目的を達成するため、本発明においては、補正情報の取得のために解析する解析対象の１フレーム分の出力データと、当該補正情報に基づいて補正される出力データとを、同一のフレーム撮影期間において撮影されたものとする。従って、解析対象のフレームと補正対象のフレームとの同時性を確保することができ、急激な撮影環境の変動に追従した表示を実現することができる。

ここで、１フレーム分の出力データに基づいて補正情報を取得するとは、１フレームに対応する画像の全域に分布する画像情報を解析することを意味し、１フレームを構成するすべての画素を解析するものに限られない。例えば、１フレーム全域にわたって均等に間引きした画素を解析することにより補正情報を取得してもよい。
補正情報は、１フレーム分の出力データによって内容が変動する情報であればよく、補正を行う場合の具体的な補正量を特定する情報であってもよいし、補正を行うか否かを指定する情報であってもよいし、実施する補正の種類を特定する情報であってもよい。

ところで、解析対象のフレームと、補正対象のフレームとが同一のフレーム撮影期間において撮影されたものであったとしても、当該フレームを撮影してから表示するまでの期間が長い場合には、現実の被写体に対して、被写体の像が遅れて表示されることとなる。そのため、各フレームについて撮影から表示までの遅延時間をできるだけ短くすることが望ましい。
例えば、あるフレームの表示を開始させるためのトリガーを、当該フレームを構成するラインのうち画像データ生成部における生成順序が最初のラインについて画像データの生成が終了することとしてもよい。すなわち、最初のラインについて画像データの準備ができたタイミングで、即座に、当該ラインを含むフレームの表示を開始させることにより、各フレームについて撮影から表示までの遅延時間をできるだけ短くすることができる。

また、撮影順序がＪ番目（Ｊは自然数。）のフレーム撮影期間の終了と（Ｊ＋１）番目のフレーム撮影期間の終了との間の期間において、Ｊ番目のフレーム撮影期間において撮影された出力データに基づく画像データの表示を開始させるようにしてもよい。すなわち、Ｊ番目のフレームのフレーム撮影期間の開始から、Ｊ番目のフレームに対応する画像の表示を開始するまでの遅延時間がフレーム撮影期間の２倍よりも小さくなるように構成する。これにより、被写体の像の遅れを目立ちにくくさせることができる。
なお、本発明の撮影装置は補正情報に基づく補正を行うものであればよく、例えば所定の操作に応じて補正情報の取得を行わないようにして、フレーム撮影期間の開始から表示を開始させるまでの遅延時間をより短くする手段を備えてもよい。

１フレーム分の出力データに基づく補正情報による補正の例として、フレーム全体の画像情報の統計に基づいて行う補正が挙げられる。具体的には、フレーム全体の色のバランスに基づいて補正を行うホワイトバランスや、フレーム全体の明るさに基づいて補正を行う明るさ補正や、フレーム全体の鮮鋭度に基づいて補正を行うシャープネス等が挙げられる。また、フレーム全体ではなくフレームに対応する画像に含まれる所定オブジェクトに対応する画像情報の統計に基づいて行う補正であっても、フレームにおける存在位置が不特定であったり、存在位置が動的に変動する所定オブジェクトを検出するためにフレーム全体の出力データを解析する必要性がある場合もある。例えば、顔検出によって検出された顔領域の色に基づいて補正を行う色調補正を行う場合にも、フレーム内の不特定の位置から顔を検出する必要があるため補正情報の取得に１フレーム分の出力データが必要となる。また、フレーム撮影期間は、一定であってもよいし、可変であってもよい。

さらに、本発明のように、解析対象のフレームと補正対象のフレームとの同時性を確保する手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。

本発明の実施形態にかかるブロック図である。 エリアイメージセンサーと液晶パネルの画素数を示す図である。 エリアイメージセンサーの出力データの出力法を例示する図である。 本実施形態にかかる表示部に印加される信号のタイミングチャートである。 本実施形態にかかるタイミングチャートである。 本発明の他の実施形態にかかるタイミングチャートである。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）撮影装置の構成：
（２）水平同期信号の制御：
（３）他の実施形態：

（１）撮影装置の構成：
図１は本発明の一実施形態にかかる撮影装置１には、光学系１０、エリアイメージセンサー１５、ＡＳＩＣ２００、タイミングジェネレーター３０、表示部４０、ＣＰＵ５０、ＶＲＡＭ５１、ＳＤ−ＲＡＭ５２、ＲＯＭ５３、ＲＡＭ５４、操作部５５が備えられている。ＣＰＵ５０は、ＶＲＡＭ５１、ＳＤ−ＲＡＭ５２、ＲＡＭ５４を適宜利用してＲＯＭ５３に記録されたプログラムを実行可能であり、当該プログラムによりＣＰＵ５０は、操作部５５に対する操作に応じてエリアイメージセンサー１５にて撮影された被写体を示す画像データを生成する機能を実行する。なお、操作部５５はシャッターボタンと、モードを切り換えるためのモード切換手段としてのダイヤルスイッチと、絞りとシャッター速度を切り換えるためのダイヤルスイッチと、各種の設定メニューを操作するためのプッシュボタンとを備えており、利用者は当該操作部５５に対する操作によって撮影装置１に対して各種の指示を与えることができる。

表示部４０は、撮影対象となる被写体を示す画像を表示して利用者に撮影前の被写体の様子および撮影条件等の情報を把握させるＥＶＦ（Electronic View Finder）であり、本実施形態にかかる撮影装置１はＥＶＦを備えたミラーレスデジタルカメラである。表示部４０は、図示しないインターフェース回路、液晶パネルドライバー４１、液晶パネル４２、図示しない接眼レンズ等を備えている。本実施形態において液晶パネル４２は、画素ごとに３色のカラーフィルターに対応する３つのサブピクセルを備える高温ポリシリコンＴＦＴ（Thin Film Transistor）であり、画素の位置は直交座標系における座標で規定される。また、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼び、液晶パネル４２の全画素によって構成される１画面を１フレームと呼ぶ。

液晶パネルドライバー４１は、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル４２に対して出力する。液晶パネル４２は、図示しないゲートドライバーおよびソースドライバーを備えており、液晶パネルドライバー４１から出力される信号に応じてゲートドライバーが各ラインの各画素における表示タイミングを制御し、ソースドライバーが表示タイミングとされているラインの各画素に対して各画素の画像データに対応した電圧を印加することによって表示を行う。すなわち、液晶パネルドライバー４１は、液晶パネル４２における表示を行うための各種信号、例えば、１フレーム分の表示を行うための期間を規定する垂直同期信号（DV_sync）、１ライン分の表示を行うための期間を規定する水平同期信号（DH_sync）、各ライン内での画像データの取り込み期間を規定するデータアクティブ信号（DD_active）、各画素の画像データの取り込みタイミング等を規定するデータクロック信号（DDotclock）、各画素の画像データ（Data）を出力するように構成されている。

なお、本実施形態にかかる撮影装置１は、タイミングジェネレーター３０を備えており、上述の垂直同期信号DV_sync、水平同期信号DH_sync、データアクティブ信号DD_active、データクロック信号DDotclockは当該タイミングジェネレーター３０によって生成される。すなわち、タイミングジェネレーター３０は、クロック信号発生手段から出力される所定周期のクロック信号の変化タイミングに同期して信号レベルが変化する信号を生成する分周回路等を備えた表示制御部３０ｂを備えている。そして、タイミングジェネレーター３０は、表示制御部３０ｂの制御により、予め決められたタイミングで信号レベルが変化する垂直同期信号DV_sync、データアクティブ信号DD_active、データクロック信号DDotclockを生成する。なお、本実施形態において水平同期信号DH_syncの出力タイミングは可変であり、後述するようにリサイズ処理部２０ｆの処理結果に依存して出力タイミングが決定される。

また、本実施形態における液晶パネル４２は、水平方向に１０２４個、垂直方向に７６８個の有効画素を備えた画素数がＸＧＡサイズのパネルであり、液晶パネルドライバー４１が出力する画像データDataの内容および出力タイミングを調整することによって、任意の位置にDataに対応した階調の表示を行うことができる。本実施形態においては、液晶パネル４２の予め決められた被写体像表示領域にエリアイメージセンサー１５の出力データに基づいて被写体の画像を表示し、また、当該被写体像表示領域以外の領域に撮影条件等の情報を示す文字を表示する構成となっている。すなわち、液晶パネル４２には、被写体の画像とともに撮影条件等の情報を示す文字がＯＳＤ（On Screen Display）表示される。なお、液晶パネル４２は水平方向および垂直方向に有効画素よりも多数の画素を備えているが、本明細書では簡単のため有効画素以外の画素に関する処理は省略して説明する。

光学系１０は、エリアイメージセンサー１５に被写体画像を結像させるレンズ１１、絞り１２、シャッター１３およびローパスフィルター１４を備える。このうち、レンズ１１と絞り１２とは図示しない筐体に交換可能に取り付けられる。エリアイメージセンサー１５としては、ベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードとを備えるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー、ＣＣＤ（Charge Coupled Device）イメージセンサー等の固体撮像素子が用いられる。エリアイメージセンサー１５の画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。エリアイメージセンサー１５の全画素によって構成される１画面を１フレームと呼ぶ。

本実施形態においては、エリアイメージセンサー１５もタイミングジェネレーター３０が出力する各種信号に同期した動作を行う。すなわち、タイミングジェネレーター３０は、１フレーム分のフォトダイオードの検出結果を読み出すためのフレーム撮影期間を規定する垂直同期信号（SV_sync）、１ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号（SH_sync）、各画素の画像データの読み出しタイミング等を規定するデータクロック信号（SDotclock）を出力する。エリアイメージセンサー１５は、一定の周期で出力される垂直同期信号SV_syncに応じて１フレーム分の出力データの出力を開始し、水平同期信号SH_syncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングでエリアイメージセンサー１５の一部の画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。

ＡＳＩＣ２００は、ＳＤ−ＲＡＭ５２に予め確保された複数ライン分のラインバッファー５２ａ〜５２ｄとフレームバッファー５２ｅとを利用し、表示部４０にて被写体の像を表示するための画像データを生成する処理を行う回路によって構成される画像データ生成部２０を備えている。画像データ生成部２０は、出力データ取得部と補正情報取得部とを構成する。なお、複数ライン分のラインバッファー５２ａ〜５２ｄとフレームバッファー５２ｅとは画像データ生成部２０などに設けられていても良い。表示部４０は生成された画像データに基づいて被写体を液晶パネル４２に対して表示する。すなわち、利用者は、表示部４０をＥＶＦとして利用しながら被写体を確認することが可能である。

また、利用者が操作部５５を操作して撮影指示を行った場合には、撮影指示に応じてエリアイメージセンサー１５は、垂直同期信号SV_syncに応じて１フレーム分の出力データの出力を開始し、水平同期信号SH_syncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングでエリアイメージセンサー１５の全有効画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。そして画像データ生成部２０は、ＳＤ−ＲＡＭ５２等を利用しＪＰＥＧ等の形式の画像データを生成して図示しないリムーバブルメモリー等に記録される。すなわち、利用者は、被写体を示す画像データを生成することが可能である。

（２）水平同期信号の制御：
被写体を示す画像データをリムーバブルメモリー等に記録し、印刷すること等を考慮した場合、高品質の画像データを得るためにはエリアイメージセンサー１５の画素数が所定数より多いことが望まれる。そこで、本実施形態におけるエリアイメージセンサー１５の有効画素数は図２に示すように、水平方向に５４００画素、垂直方向に３６００画素となっている。エリアイメージセンサー１５は水平方向および垂直方向に有効画素よりも多数の画素を備えているが、本明細書では簡単のため有効画素以外の画素に関する処理は省略して説明する。

一方、上述のように、液晶パネル４２は水平方向に１０２４個、垂直方向に７６８個の画素を備え、被写体像表示領域（図２に示すＲ₁）に被写体の画像を表示する構成となっている。本実施形態においては、エリアイメージセンサー１５の縦横比（２：３）を維持したままできるだけ大きく被写体の画像を表示するため、液晶パネル４２の上辺および左右の辺に対して上辺及び左右の辺が接する縦横比２：３の矩形領域を被写体の画像を表示する被写体像表示領域Ｒ₁としている。また、残りの領域が撮影条件等の情報を示す文字を表示する情報表示領域（図２に示す領域）である。従って、液晶パネル４２における被写体像表示領域Ｒ₁は、水平方向に１０２４個、垂直方向に６８２個の画素にて構成される。以上のように、本実施形態においては、エリアイメージセンサー１５の画素数と液晶パネル４２の画素数とは一致していない。

さらに、表示部４０における表示は利用者による被写体の確認に利用されるため、エリアイメージセンサー１５にて被写体が撮影されたタイミングから表示部４０にて当該撮影された被写体の像が表示されるタイミングまでの遅延が利用者によって認識可能な程度の長さであると、ＥＶＦで視認した被写体と記録される被写体の像とがずれるなど、極めて使いづらいＥＶＦとなってしまう。従って、表示部４０がＥＶＦとして利用される際には、遅延が少ないことが要求される。

そこで、エリアイメージセンサー１５にて撮影した画像を人間が視認できない極めて短い遅延にて表示部４０に表示させるため、本実施形態においては、エリアイメージセンサー１５および画像データ生成部２０で各種の処理を行い、表示部４０は、この処理の結果生成された画像データを高速に表示させるための構成を備えている。

すなわち、本実施形態にかかるエリアイメージセンサー１５は、垂直方向に並ぶラインのうちｎ個（ｎは奇数）に１個の割合でフォトダイオードの検出結果を読み出す飛び越し走査を実行可能な回路が設けられている。また、同色のカラーフィルターを介して光電変換を行うフォトダイオードのうち水平方向に並ぶｍ個（ｍは自然数）の検出結果を加算してその和をｍ分の１にして（すなわちｍ個の検出結果の相加平均を）出力するための加算器が設けられている。本実施形態において、表示部４０をＥＶＦとして機能させる際、エリアイメージセンサー１５においては、飛び越し走査および加算器による処理を実行することにより、水平方向および垂直方向の画素を間引き、エリアイメージセンサー１５が備える画素数よりも少ない画素数の出力データを出力することで、高速に被写体を撮影する構成としている。

すなわち、エリアイメージセンサー１５は、表示部４０をＥＶＦとして機能させるライブビューモードにおいて、ｎ個に１個の割合で垂直方向のラインを読み出し対象とした読み出しを水平同期信号SH_syncに応じて行う。また、ｍ個のフォトダイオードの検出結果を加算器で加算した結果を出力データとして出力する処理をデータクロック信号SDotclockに応じて行う。図３は、本実施形態においてエリアイメージセンサー１５が備える画素数よりも少ない画素数の出力データを出力する方法の一例を示している。同図３において、Ｒが付された矩形は赤の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示し、Ｇが付された矩形は緑の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示し、Ｂが付された矩形は青の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示している。

同図３に示すように、矩形で示す各画素のカラーフィルターがベイヤー配列である場合、各画素に１色のカラーフィルターのみが対応しているため、各画素の色は周囲の画素を利用して補間する必要がある。このため、ラインを間引いて出力データを取得する際に、間引き後に隣接するラインのカラーフィルターが異なる色となるように間引きを行う必要がある。このため、本実施形態においては、ｎを奇数とし、ｎラインに１ラインの割合で各ラインのフォトダイオードでの検出値を出力データとして取得すれば、補間によって各画素の色を特定可能な出力データを取得することができる。本実施形態においては、エリアイメージセンサー１５の垂直方向のライン数をできるだけ液晶パネル４２の被写体像表示領域Ｒ₁の垂直方向のライン数に近づけるため、５ラインに１ラインの割合で出力データを取得する構成としている。図３においては、５ラインに１ラインの割合で出力データを取得することを左向きの矢印で示しており、この例においては垂直方向のライン数が１／５、すなわち、７２０となる。

さらに、カラーフィルターがベイヤー配列である場合、水平方向に隣接する画素の色は異なるとともに、１個おきに同色のカラーフィルターが並ぶことになる。このため、水平方向に並ぶ画素について１個おきにｍ個加算しその和をｍ分の１にすることで（すなわちｍ個の検出結果の相加平均を求めることで）実質的に間引き処理を行うことができる。本実施形態においては、加算器による加算を行った場合の画質上の制約等により、ｍを３と設定している。図３においては、最も下に記したラインのうち、緑色のカラーフィルターを介して光電変換を行うフォトダイオードであって水平方向に並ぶ３個のフォトダイオード検出結果を加算器Ｓ₁によって加算して１／３にし、赤色のカラーフィルターを介して光電変換を行うフォトダイオードであって水平方向に並ぶ３個のフォトダイオードの検出結果を加算器Ｓ₂によって加算して１／３にする構成を示している。この例においては水平方向の画素数が１／３、すなわち、１８００画素となる。図２には、エリアイメージセンサー１５における間引き後のデータサイズを破線の矩形１５ａによって示している。

以上のように、エリアイメージセンサー１５においては、垂直方向のライン数を７２０ライン、水平方向の画素数を１８００画素とすることができる。しかし、このような間引きにおいては、垂直方向においてｎが奇数であり、水平方向においてｍが自然数である等画質上の制約があるため、間引き後の画素数と液晶パネル４２の被写体像表示領域Ｒ₁の画素数とを一致させることは困難である。また、上述のようにｎとｍとが異なる場合には縦横比が被写体と液晶パネル４２の被写体像とで異なるものになってしまう。

そこで、本実施形態においては、画像データ生成部２０において、間引き後の出力データに対してさらにリサイズを行って液晶パネル４２の被写体像表示領域Ｒ₁に表示させるための画像データを生成する構成としている。すなわち、画像データ生成部２０は、画素補間部２０ａ、解析部２０ｂ、色再現処理部２０ｃ、フィルター処理部２０ｄ、ガンマ補正部２０ｅ、リサイズ処理部２０ｆを備えている。そして、画像データを生成する過程でリサイズ処理部２０ｆによって垂直方向および水平方向の画素数を変更することにより、液晶パネル４２の被写体像表示領域Ｒ₁の画素数と等しい画像データを生成する構成としている。

ラインバッファー５２ａは、エリアイメージセンサー１５から出力される間引き後の出力データを一時記録するバッファーメモリーであり、エリアイメージセンサー１５から間引き後の出力データが出力されると画像データ生成部２０の処理によって当該出力データがラインバッファー５２ａに一時記録される。画素補間部２０ａは、ラインバッファー５２ａからベイヤー配列において各画素で欠落している２チャネルの色を生成するために必要な画素数のデータを取り込みながら補間処理によって当該２チャネルの色を生成する。この結果、各画素において前記カラーフィルターが透過させる光の帯域に対応する赤、緑、青の３チャネルの出力データが生成される。この時点で、１ライン分の出力データは、１８００個の画素で構成され、各画素について赤、緑、青の３チャネルの階調値が対応づけられる。

画素補間部２０ａにて補間処理が行われた出力データは、フレームバッファー５２ｅに順次記録されていくとともに、解析部２０ｂにも並行して出力される。フレームバッファー５２ｅは、垂直同期信号SV_syncの入力後、ラインごとに順次入力される出力データを７２０ライン分蓄積していく。すなわち、フレームバッファー５２ｅには、１フレーム分の出力データが記録される。なお、フレームバッファー５２ｅは、ＶＲＡＭであってもよい。

一方、解析部２０ｂは、ラインごとに順次入力される出力データをラインごとに順次解析する。具体的には、解析部２０ｂは、加算器と除算器とを備えており、以下の処理を行う。まず、解析部２０ｂは、出力データを構成する各画素に対応づけられた階調値をチャネルごとに累積加算していく。解析部２０ｂは、７２０ラインの分の出力データについて階調値を累積するため、結果として１フレームを構成するすべての画素に対応づけられた階調値をチャネルごとに累積した累積値が得られる。解析部２０ｂは、１フレームにわたって累積された各チャネルの累積値を合計し、当該合計した値をチャネル数（３チャネル）で除算することにより累積値の平均値を算出する。そして、解析部２０ｂは、累積値の平均値を各チャネルの累積値で除算することにより、各チャネルについてのゲイン値Ga_R，Ga_G，Ga_Bを算出する。例えば、１フレーム全体において赤みが強い傾向がある場合には、赤のチャネルの累積値が他のチャネルの累積値より大きくなり、赤のチャネルのゲイン値Ga_Rが他のチャネルのゲイン値Ga_G，Ga_Bよりも小さくなる。すなわち、ゲイン値Ga_R，Ga_G，Ga_Bは、フレーム全体において他のチャネルよりも強く表れている色味に対応するチャネルに関して小さくなる性質を有する。ゲイン値Ga_R，Ga_G，Ga_Bは、補正情報に相当する。

なお、画素補間部２０ａにて補間処理が行われた出力データは、フレームバッファー５２ｅと解析部２０ｂとに対して並行して出力されるため、１フレーム分の出力データに基づいてゲイン値Ga_R，Ga_G，Ga_Bが得られるタイミングよりも先に、フレームバッファー５２ｅにおける１フレーム分の出力データの記録が終了している。また、ゲイン値Ga_R，Ga_G，Ga_Bが得られるタイミングよりも先に、エリアイメージセンサー１５から最終の７２０番目のラインに対応するデータの読み出しが完了しているため、前記垂直同期信号SV_syncを始期とする垂直同期期間（フレーム撮影期間）も終了している。解析部２０ｂは、ゲイン値Ga_R，Ga_G，Ga_Bを色再現処理部２０ｃに出力する。

色再現処理部２０ｃは、ゲイン値Ga_R，Ga_G，Ga_Bの入力をトリガーとして、フレームバッファー５２ｅに記録された１フレーム分の出力データを１番目のラインから線順次で読み出す。そして、色再現処理部２０ｃは、読み出した１ライン分の出力データを構成する各画素に対応づけられた各チャネルの階調値に各チャネルのゲイン値Ga_R，Ga_G，Ga_Bを乗算することにより、ホワイトバランス補正を行う。各画素についての階調値にゲイン値Ga_R，Ga_G，Ga_Bを乗算することにより、フレーム全体において他のチャネルよりも強く表れている色味に対応するチャネルの階調値を下方修正することができ、各チャネルに対応する色味のバランスを確保することができる。なお、ホワイトバランス補正の手法として他の手法を採用してもよく、例えば１フレーム分の出力データに基づいて撮影光源を推定し、当該撮影光源に対応するゲイン値Ga_R，Ga_G，Ga_Bを得るようにしてもよい。いずれの手法を採るにしても、ホワイトバランス補正においては、被写体像の局所的な色によって全体の色調が決定されないように、１フレーム全体の出力データを解析してゲイン値Ga_R，Ga_G，Ga_Bを算出する必要がある。

さらに、色再現処理部２０ｃは、生成されたデータに基づいて３×３の行列演算を行うことによってカラーマッチングのための色変換処理を行う。なお、ゲイン値Ga_R，Ga_G，Ga_Bを反映した行列を使用することにより行列演算とホワイトバランス補正を同時に行ってもよい。色変換処理によって静止されたデータはラインバッファー５２ｂに一時記録される。次にフィルター処理部２０ｄは、シャープネス調整やノイズ除去処理などをフィルター処理によって実行する。次にガンマ補正部２０ｅはエリアイメージセンサー１５の出力データの階調値が示す色と表示部４０で扱う画像データの階調値が示す色との特性差を補償するガンマ補正を実行する。ガンマ補正によって生成されたデータはラインバッファー５２ｃに一時記録される。

当該ラインバッファー５２ｃに線順次で記録されていくデータはエリアイメージセンサー１５において間引きが行われた画素数である。すなわち、垂直方向に７２０ライン、水平方向に１８００画素のデータが線順次で記録されていくことになる。リサイズ処理部２０ｆは当該ラインバッファー５２ｃに記録されていくデータを逐次参照して補間演算処理を行い、画素の間の位置における各チャネルの階調値を特定することによってリサイズを行う。本実施形態において、上述のエリアイメージセンサー１５における間引きは垂直方向に１／５，水平方向に１／３であるため、図２の矩形１５ａにて示すように間引き後のデータの縦横比はエリアイメージセンサー１５の出力データの縦横比と異なっている。そこで、リサイズ処理部２０ｆは、まず、ラインバッファー５２ｃに記録されたデータに基づいて水平方向に約５７％のサイズに縮小する縮小処理を行う。この結果、水平方向の画素数を１０２４画素とする。さらに、リサイズ処理部２０ｆは、垂直方向に約９５％に縮小する縮小処理を行う。この結果、水平方向に１０２４画素、垂直方向に６８２ラインの画像データを生成する。生成された画像データはラインバッファー５２ｄに線順次で記録される。

本実施形態においては、以上の処理によってエリアイメージセンサー１５の出力データに基づいて液晶パネル４２の被写体像表示領域Ｒ₁に表示可能な画像データを生成する生成処理を行うが、エリアイメージセンサー１５の出力データは垂直方向に７２０ラインであり、画像データの垂直方向のライン数である６８２ラインや液晶パネル４２の垂直方向のライン数である７６８ラインとは異なっている。すなわち、１フレーム分の撮影及び表示を行うために必要なライン数が異なっている。

そこで、本実施形態においては、エリアイメージセンサー１５の水平同期信号SH_sync、垂直同期信号SV_sync、データアクティブ信号SD_activeおよびデータクロック信号SDotclockは、エリアイメージセンサー１５を駆動するために必要な周期に設定される。すなわち、タイミングジェネレーター３０は、エリアイメージセンサー１５において上述のような垂直方向の間引きを行って垂直同期信号SV_syncで規定される期間内に１フレーム分のライン数の出力データを取得できるようなタイミングおよび出力回数で水平同期信号SH_syncを出力している。また、タイミングジェネレーター３０は、以上のような水平方向の間引きを行って水平同期信号SH_syncで規定される期間内に１ライン分の画素数の出力データを取得できるようなタイミングおよび出力回数でデータクロック信号SDotclockを出力している。

一方、当該エリアイメージセンサー１５から線順次に出力される出力データに基づいて遅延期間を最小化して液晶パネル４２における表示を行うため、本実施形態においては、液晶パネル４２の各ラインに対して表示を行うための画像データが準備された時点で水平同期信号DH_syncが出力されるように構成されている。すなわち、本実施形態において液晶パネル４２は、リサイズ処理部２０ｆによる処理が終了したラインの表示を行うことが可能である。そこで、タイミングジェネレーター３０は、液晶パネル４２の垂直方向のＮライン目（Ｎは自然数）の画像データの生成処理が終了した時点でＮライン目の表示を行うための水平同期信号DH_syncを出力する。

具体的には、タイミングジェネレーター３０は、進捗情報取得部３０ａを備えており、当該進捗情報取得部３０ａは、リサイズ処理部２０ｆから当該リサイズ処理部２０ｆにおける画像データの生成処理が終了したラインを示す進捗情報を取得することが可能である。従って、当該進捗情報によれば、画像データに基づいて液晶パネル４２における表示が可能になったラインを特定することが可能である。そこで、タイミングジェネレーター３０が、各ラインの画像データの生成処理が終了したタイミングに同期して水平同期信号DH_syncを出力することにより、液晶パネル４２において当該画像データの生成処理が終了したラインの表示を開始させる構成とする。この構成によれば、画像データの準備が整う前に各ラインの表示を開始することはなく、各ラインの表示準備が整うと即座に各ラインの表示をすることが可能になる。

なお、液晶パネル４２においては、水平同期信号DH_syncの出力タイミングで規定される水平同期期間内に液晶パネル４２の各ラインの画素表示を行うことができればよいため、タイミングジェネレーター３０は、水平同期信号DH_syncの出力タイミングで規定される水平同期期間が最短となる期間として想定される期間内に１ライン分の画素表示を行うことができるようにデータアクティブ信号DD_activeおよびデータクロック信号DDotclockを出力する。

また、本実施形態においては、エリアイメージセンサー１５からの出力データと液晶パネル４２での表示とがフレーム単位で整合しなくなることを防止するため、エリアイメージセンサー１５の垂直同期信号SV_syncと液晶パネル４２の垂直同期信号DV_syncとが同期するように設定されている。すなわち、タイミングジェネレーター３０は、エリアイメージセンサー１５の垂直同期信号SV_syncを出力したタイミングから一定の遅延時間ΔT_Vの経過後に表示部４０の垂直同期信号DV_syncを出力する。すなわち、Ｊ番目のフレームについてのフレーム撮影期間が開始するタイミングから遅延時間ΔT_Vだけ遅れてＪ番目のフレームについての表示が開始する。なお、Ｊは自然数であり、Ｊ＝１が撮影開始の最初のフレームを意味する。垂直同期信号SV_syncは一定周期でエリアイメージセンサー１５に出力されるため、垂直同期信号SV_syncに対して一定の遅延時間ΔT_Vだけ遅れた垂直同期信号DV_syncも液晶パネル４２に対して一定周期で出力されることとなる。また、垂直同期信号SV_sync，DV_syncの周期は互いに同一の長さとなる。従って、同一のフレーム撮影期間に撮影された被写体の像が複数の垂直同期期間に渡って液晶パネル４２に表示されることが防止できる。

一方、本実施形態において液晶パネル４２の水平同期信号DH_syncで規定される水平同期期間は可変長であるため、水平同期期間が変化しても垂直同期信号SV_sync，DV_syncの周期が同一かつ一定である状態を維持するように構成してある。具体的には、タイミングジェネレーター３０は、予め決められた基準の期間T_Hに対して水平同期期間を長期化あるいは短期化することによって基準の期間T_Hからの時間変動を相殺することによって、１フレームを表示するための垂直同期期間が一定となるように出力信号を制御している。基準の期間T_Hは、例えば、垂直同期期間内に液晶パネル４２の全ライン数について均等な期間で各ラインの表示を行う場合の水平同期期間によって構成される。

そして、被写体表示領域Ｒ₁においては、各ラインの画像データの生成処理が終了するまで水平同期信号DH_syncの出力を待機することで水平同期期間が変動し得る状態とする。さらに、撮影条件等の情報を示す文字を表示する液晶パネル４２の情報表示領域Ｒ₂においては、被写体表示領域Ｒ₁で変動した水平同期期間と基準の期間T_Hとの差分の累計を相殺するように基準の期間T_Hよりも水平同期期間の長さを調整する。

図４はこのように構成されたタイミングジェネレーター３０から出力される水平同期信号DH_syncを示しており、データアクティブ信号DD_activeおよびデータクロック信号DDotclock、進捗情報を合わせて示している。なお、本実施形態においてリサイズ処理部２０ｆから出力される進捗情報は、１ライン分の画像データの生成処理を実行している過程においてローレベルの出力が維持され、１ライン分の画像データの生成処理を終了した時点で所定期間ハイレベルとなる１回のパルスによって構成される。

タイミングジェネレーター３０が進捗情報取得部３０ａによって当該進捗情報を取得すると、表示制御部３０ｂの処理により、当該進捗情報のパルスに同期して水平同期信号DH_syncを出力する。このため、仮に、基準の期間T_H内に、あるラインの画像データの生成処理が間に合わなかった場合には、生成処理が終了するまで水平同期信号DH_syncが出力されず、水平同期期間T_DHは基準の期間T_Hより長くなる。従って、基準の期間T_H内に、あるラインの画像データの生成処理が間に合わなかった場合、生成処理が終了するまで液晶パネル４２にて当該ラインの表示は開始されない。また、各ラインの画像データの準備が終了する前に表示がなされることはない。逆に、基準の期間T_H内に、あるラインの画像データの生成処理が終了した場合には、生成処理が終了した時点で水平同期信号DH_syncが出力され、水平同期期間T_DHは基準の期間T_Hより短くなる。すなわち、各ラインの画像データの準備が終了すると遅滞なく表示がなされる。以上のように、本実施形態は、水平同期期間T_DHを基準の期間T_Hから変動させて液晶パネル４２を駆動するため、液晶パネル４２で表示すべき１ライン分の画像データの生成処理が終了するタイミングが一定周期とならない態様に適用して好適である。このような態様は、エリアイメージセンサー１５のデータ出力処理や画像データ生成部２０による画像データの生成処理の速度がラインごとに相違し得る態様が想定し得る。むろん、撮影条件や撮影に利用するハードウェアに依存して処理速度がラインごとに相違し得る態様に本発明を適用しても良い。例えば、利用者が操作部５５を操作することによってエリアイメージセンサー１５の垂直同期期間や水平同期期間が変動し、あるいは画像データの生成処理に要する期間が変動する構成に対して本発明を適用することが可能である。さらに、着脱式ＥＶＦや着脱式レンズを変更することによってエリアイメージセンサー１５の垂直同期期間や水平同期期間が変動し、あるいは画像データの生成処理に要する期間が変動する構成に対して本発明を適用することが可能である。

図５は、遅延時間ΔT_Vを説明するタイミングチャートである。図５において横軸は時間を示し、各フレームにおける縦軸はライン番号を示す。図５の上段は撮影順序がＪ番目のフレームについてタイミングチャートであり、同図下段は（Ｊ＋１）番目のフレームについてのタイミングチャートである。図５の下部において撮影順序がＪ番目と（Ｊ＋１）番目のフレームについての垂直同期期間（フレーム撮影期間）が示されている。この垂直同期期間は、エリアイメージセンサー１５にて最初のライン（間引き後の出力データの最上ライン）の露光と出力データの読み出しを開始してから、最終のライン（間引き後の出力データの最下ライン）の出力データの読み出しが完了するまでの時間に対応する。図５において、各回路要素１５，２０ａ，２０ｃ〜２０ｆ，５２ｅにおいて最初のラインと最終のラインに対応する出力データの処理時間を矢印で模式的に示している。なお、図の簡略化のためラインバッファー５２ａ〜５２ｄによる出力データの保持時間は無視する。

エリアイメージセンサー１５から画素補間部２０ａまでの処理は、パイプライン処理によって行われる。すなわち、図５に示すように画素補間部２０ａは、エリアイメージセンサー１５からＪ番目のフレームの最初のラインの出力データの読み出しが完了したタイミングで、Ｊ番目のフレームの最初のラインの出力データについての処理を開始する。このタイミングでは、エリアイメージセンサー１５からの最終のラインの出力データの読み出しが完了していないため、Ｊ番目のフレームの垂直同期期間が終了する前において、最初のラインの出力データについて画素補間部２０ａが処理を開始することとなる。画素補間部２０ａによる処理が完了した出力データは、最初のラインから順にフレームバッファー５２ｅに記録され、これと並行して各画素に対応づけられた各チャネルの階調値が解析部２０ｂによって累積されていく。すなわち、解析部２０ｂによる階調値の累積と、フレームバッファー５２ｅにおける出力データの記録は同時に行われる。なお、図５において各ラインについての出力データがフレームバッファー５２ｅに保持される期間をハッチングで示している。解析部２０ｂが最終のラインの最終の画素まで各チャネルの階調値を累積したタイミングで、解析部２０ｂはゲイン値Ga_R，Ga_G，Ga_Bを算出することが可能となる。ここで、ゲイン値Ga_R，Ga_G，Ga_Bが得られるのは、エリアイメージセンサー１５からの最終ラインの出力データの読み出しが終了するよりも後、すなわちＪ番目のフレームについての垂直同期期間（フレーム撮影期間）が終了するよりも後となる。

次の色再現処理部２０ｃは、ゲイン値Ga_R，Ga_G，Ga_Bが得られたことをトリガーとしてホワイトバランス補正を行う。色再現処理部２０ｃ〜ガンマ補正部２０ｅは、フレームバッファー５２ｅに記録された１フレーム分の出力データを最初のラインから線順次で読み出し、パイプライン処理によって線順次で各ラインの出力データを処理する。色再現処理部２０ｃ〜ガンマ補正部２０ｅでは、一旦、フレームバッファー５２ｅに記録されていた全ラインについての出力データが、再び、ライン間の時間差を生じさせつつ線順次で処理されていくこととなる。ガンマ補正部２０ｅが最初の数ライン（ライン数はリサイズの倍率や補間に使用する画素の範囲の大きさに依存する。）の処理を完了させた段階で、リサイズ処理部２０ｆが液晶パネル４２における被写体表示領域Ｒ₁の最初のラインに対応する画像データを生成することが可能となる。なお、リサイズ処理部２０ｆによって７２０ラインから６８２ラインに減少する。そして、リサイズ処理部２０ｆが被写体表示領域Ｒ₁の最初のラインに対応する画像データの生成を終了させるタイミングで、タイミングジェネレーター３０はＪ番目のフレームについての表示を開始させるための垂直同期信号DV_sync、および、当該フレームの最初のラインについての水平同期信号DH_syncを出力する。

以上のように、フレームバッファー５２ｅに、一旦、出力データを保持させゲイン値Ga_R，Ga_G，Ga_Bが得られるのを待って、色再現処理部２０ｃにてゲイン値Ga_R，Ga_G，Ga_Bに基づくホワイトバランス補正を適用するため、ゲイン値Ga_R，Ga_G，Ga_Bを取得するために解析したフレームと、ゲイン値Ga_R，Ga_G，Ga_Bに基づいて補正するフレームとの同時性を確保することができる。従って、撮影光源の急激な変動に追従した表示が可能となる。

ここで、遅延時間ΔT_Vは、タイミングジェネレーター３０がエリアイメージセンサー１５に対してＪ番目のフレームについての撮影を開始させる垂直同期信号SV_syncを出力してから、Ｊ番目のフレームについての表示を開始させる垂直同期信号DV_syncを出力するまでの期間である。上述したように、Ｊ番目のフレームについてのゲイン値Ga_R，Ga_G，Ga_Bが得られたタイミングでは、すでにＪ番目のフレームを撮影するための垂直同期期間（フレーム撮影期間）が終了しているため、Ｊ番目のフレームの表示を開始させる垂直同期信号DV_syncを出力するタイミングにおいて、すでに（Ｊ＋１）番目のフレームについての垂直同期期間（フレーム撮影期間）が開始していることとなる。すなわち、Ｊ番目のフレームについて撮影を開始してから表示を開始するまでの遅延時間ΔT_Vが垂直同期期間よりも大きくなる。

遅延時間ΔT_Vは、現実の被写体に対する被写体像の遅れを意味するため、可能な限り短くするのが望ましい。上述のように、本実施形態では各ラインに対応する画像データの生成処理が終了したことをトリガーとして当該ラインについての表示を開始する。ここで、各フレームの最初のラインに注目すると、各フレームの最初のラインに対応する画像データの生成処理が終了したことをトリガーとして当該ラインについての表示を開始するのと同時に、当該ラインを含むフレームについての表示が開始されることとなる。すなわち、垂直同期期間の遅延時間ΔT_Vは、Ｊ番目のフレームの最初のラインについての出力データの露光と出力データの読み出しをエリアイメージセンサー１５にて開始してから、当該Ｊ番目のフレームの最初のラインについての画像データの生成処理がリサイズ処理部２０ｆにて終了するまでの期間に相当する。すなわち、本実施形態では、遅延時間ΔT_Vは、垂直同期期間（フレーム撮影期間）よりも大きくなるものの、Ｊ番目のフレームの最初のラインについての画像データの生成処理が終了したことをトリガーとして、Ｊ番目のフレームの表示を開始しているため、遅延時間ΔT_Vを可能な限り短くすることができる。特に本実施形態の遅延時間ΔT_Vは、垂直同期期間の２倍より小さくなる。従って、現実の被写体に対する被写体像の遅れを目立たなくすることができる。

なお、エリアイメージセンサー１５と画素補間部２０ａ〜ガンマ補正部２０ｅがそれぞれ最初のラインについての出力データを処理する時間、および、フレームバッファー５２ｅが最初のラインについての出力データを保持する時間はフレームに拘わらず一定であるため、遅延時間ΔT_Vは各フレームについて一定となる。

本実施形態では被写体表示領域Ｒ₁において、リサイズ処理部２０ｆから出力される進捗情報に応じてタイミングジェネレーター３０が水平同期期間T_DHを調整する。このため、被写体表示領域Ｒ₁に表示すべき画像データの生成処理の進捗に応じて水平同期信号DH_syncが変動することとなり、液晶パネル４２の水平同期信号DH_syncで規定される水平同期期間T_DHが一定になるとは限らない。一方、上述のように、本実施形態においては垂直同期信号DV_syncで規定される垂直同期期間が一定であるため、被写体表示領域Ｒ₁において水平同期期間T_DHが変動した場合であっても、液晶パネル４２の全ラインの表示が垂直同期期間内に終了するように、タイミングジェネレーター３０は情報表示領域Ｒ₂のラインについての水平同期信号DH_syncの出力タイミングを設定する。

すなわち、撮影条件等の情報を示す文字のデータ（ＯＳＤデータと呼ぶ）は、エリアイメージセンサー１５の動作によらず予め作成しＶＲＡＭ５１に記録しておくことが可能であるため、ＯＳＤデータに基づく表示を行うラインの水平同期期間を短く調整する場合でも、データ読み出しの追い越しを発生させることなく適正な表示を行うことが可能である。そこで、本実施形態においては、エリアイメージセンサー１５の出力データに基づく表示を行うための被写体像表示領域Ｒ₁に属するラインについての水平同期期間の変動を相殺するように、撮影条件等の情報を示す文字を表示する情報表示領域Ｒ₂における水平同期期間を設定する。

具体的には、タイミングジェネレーター３０が水平同期信号DH_syncの出力タイミングを調整することにより、被写体像表示領域Ｒ₁において変動した水平同期期間T_DHと基準の期間T_Hとの差分の総和と情報表示領域Ｒ₂において調整された水平同期期間T _DH2と基準の期間T_Hとの差分の総和とが一致するように水平同期期間T _DH2を調整する。ここで、情報表示領域Ｒ₂において、上述のように水平同期信号DH_syncを調整するための構成としては、種々の構成を採用可能である。例えば、図４に示すように、被写体像表示領域Ｒ₁にて発生した水平同期期間T_Hに対する差分ΔT₁の総和（ΣΔT₁）を情報表示領域Ｒ₂のライン数L₂で除した値ΔT₂を各ラインで調整すべき期間とする構成等を採用可能である。すなわち、水平同期期間T_H−ΔT₂が情報表示領域Ｒ₂における水平同期期間T _DH2であるとする構成等を採用可能である。

以上のように、本実施形態においては、液晶パネル４２の領域毎に調整された水平同期信号に基づいて各領域にて適切な表示を行わせるために、液晶パネル４２の被写体像表示領域Ｒ₁および情報表示領域Ｒ₂に相当する部分のライン番号が予め決められている。例えば、図２に示す例においては、１〜６８２ラインが被写体像表示領域Ｒ₁、６８３ライン〜７６８ラインが情報表示領域Ｒ₂である。そこで、タイミングジェネレーター３０は、１〜６８２ラインに相当する被写体表示領域Ｒ₁に対して表示を行う際に、上述の進捗情報に応じたタイミングで水平同期信号DH_syncを出力しつつ、６８３ライン〜７６８ラインに相当する情報表示領域Ｒ₂に対して表示を行う際に、上述の基準の期間T_Hから調整した水平同期期間T _DH2となるように水平同期信号DH_syncを出力する。

また、ＡＳＩＣ２００は画像データ出力部２０１を備えており、画像データ出力部２０１は、液晶パネル４２の１〜６８２ラインの表示を行う際に、ラインバッファー５２ｄに記録された画像データ（Data）を表示部４０に対して線順次に出力する。この結果、エリアイメージセンサー１５で撮影された被写体の像が被写体像表示領域Ｒ₁に表示される。また、ＣＰＵ５０は、少なくとも情報表示領域Ｒ₂での表示を行う以前においてＶＲＡＭ５１に対してＯＳＤデータを記録しておく。そして、画像データ出力部２０１は、液晶パネル４２の６８３ライン〜７６８ラインの表示を行う際に、ＶＲＡＭ５１に記録されたＯＳＤデータを画像データ（Data）として表示部４０に対して線順次に出力する。この結果、撮影条件等の文字が情報表示領域Ｒ₂に表示される。

この構成によれば、被写体像表示領域Ｒ₁においては遅延を最小化した状態でエリアイメージセンサー１５にて撮影した被写体を表示しつつ、情報表示領域Ｒ₂において調整した水平同期期間内でＯＳＤデータによる撮影条件等の情報の表示が行われる状態となる。そして、上述のように、被写体像表示領域Ｒ₁において変動した水平同期期間T_DHと基準の期間T_Hとの差分の総和と情報表示領域Ｒ₂において調整された水平同期期間T _DH2と基準の期間T_Hとの差分の総和とが一致するように水平同期期間が制御されるため、垂直同期信号SV_sync，DV_syncの周期が同一かつ一定の状態で表示部４０による表示を行うことができる。従って、エリアイメージセンサー１５にて撮影された被写体が１フレーム期間以上遅れて液晶パネル４２に表示されることはなく、また、複数の垂直同期期間に渡って同じ画像が液晶パネル４２に表示されることもない。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、進捗情報に基づいて画像データの生成処理が終了したか否かをラインごとに特定し、当該生成処理が終了したラインを表示する限りにおいて、他にも種々の実施形態を採用可能である。

例えば、水平同期期間T_DHを基準の期間T_Hよりも長期化する際には、水平同期信号DH_syncのバックポーチを長期化しても良い。この構成は、例えば、図１に示す構成にて、進捗情報取得部３０ａにおいてリサイズ処理部２０ｆからの進捗情報の出力期間を検出する構成とする。すなわち、Ｎ−１ライン目の画像データの生成処理が終了した時点で出力される進捗情報からＮライン目の画像データの生成処理が終了した時点で出力される進捗情報までの期間T _S(N-1)を検出する。そして、タイミングジェネレーター３０は、当該期間T _S(N-1)に基づいてＮライン目の水平同期信号DH_syncのバックポーチの長さを決定して各種の信号を出力する。

すなわち、タイミングジェネレーター３０は、表示制御部３０ｂの処理により、図６に示すように、Ｎライン目の水平同期信号DH_syncを出力した後、期間T _S(N-1)の長さから基準の期間T_Hの長さを減じて得られる期間ΔT₁が経過した時点でプリチャージ期間を示す信号DH _sync2を出力する。さらに、タイミングジェネレーター３０は、表示制御部３００ｂの処理により、当該信号DH _sync2を出力した後、所定のプリチャージ期間が経過した時点でDD_activeを出力し、１ライン分の画素数のデータクロック信号DDotclockが出力されるまでDD_activeのレベルを維持した後に所定期間のフロントポーチを設けてＮ＋１ライン目の水平同期信号DH_syncを出力する。ここで、プリチャージ期間の開始時点からフロントポーチの終了時点までの期間は基準の期間T_Hと一致する。従って、Ｎライン目の水平同期信号DH_syncとＮ＋１ライン目の水平同期信号DH_syncとの間の期間である水平同期期間T_DHが基準の期間T_HとΔT₁との和となる。この結果、液晶パネル４２にて信号DH _sync2に同期してプリチャージや極性反転等を行ってＮラインの表示が可能になるとともに、水平同期期間T_DHを基準の期間T_Hから変化させることが可能になる。

なお、上述の第１実施形態においては、水平同期信号DH_syncのフロントポーチ期間を変化させていたため、バックポーチ期間は一定の期間とすることができ、通常の規定通りにプリチャージや極性反転等を行う期間を設けることができる。

さらに、上述の実施形態においては、エリアイメージセンサー１５の垂直同期信号SV_syncの周期と液晶パネル４２の垂直同期信号DV_syncの周期とを一致させるため、液晶パネル４２の情報表示領域Ｒ₂において被写体像表示領域Ｒ₁よりも短い水平同期期間となるように水平同期信号SH_syncを出力したが、他の手法によって垂直同期信号SV_syncの周期と液晶パネル４２の垂直同期信号DV_syncの周期とを一致させても良い。例えば、通常の撮影装置において、エリアイメージセンサー１５のライン数は液晶パネル４２のライン数よりも多いため、特定の垂直同期期間内に確保すべき水平同期期間が均等であると仮定した場合、エリアイメージセンサー１５の水平同期信号SH_syncよりも液晶パネル４２の水平同期信号DH_syncの方が短くなる。従って、液晶パネル４２の水平同期信号DH_syncを長期化した場合であっても、当該長期化によって液晶パネル４２の垂直同期期間を長くする必要が生じることは少ない。なお、水平同期信号DH_syncを長期化することによって液晶パネル４２の垂直同期信号DV_syncがエリアイメージセンサー１５の垂直同期信号SV_syncより長くなる場合、エリアイメージセンサー１５の垂直同期信号SV_syncを長期化して垂直同期信号DV_syncと垂直同期信号SV_syncとを同期させても良い。

さらに、上述の実施形態においては、画像データの生成処理の中のリサイズ処理が終了したか否かをラインごとに示す進捗情報を取得する構成であったが、画像データの生成処理の最終工程がリサイズ処理でない場合でも、最終工程となる処理についての進捗情報を取得するようにすれば良い。また、画像データの生成処理の最終工程の処理時間が無視できるほど高速に処理できたり、一定時間で処理できたりして、最終工程の終了を予測できるのならば、最終工程の前の工程（例えば、処理時間が変動し得る工程）となる処理についての進捗情報を取得するようにすれば良い。さらに、画像データの生成処理において、複数のラインのデータを参照して１ライン分のデータを生成する画像処理工程が含まれる場合に当該工程について進捗情報を取得する構成としても良い。

また、画像データ生成部２０において、２以上のラインのデータをラインバッファーに対して記録した後にあるラインのデータの生成が開始可能な画像処理工程においては、最低限必要なライン数のデータの生成処理が終了したか否かを判定し、当該生成処理が終了した時点で次の画像処理工程を開始するようにしてもよい。この構成により、各工程を実行するために必要なデータの準備が整う前に各ラインについての処理を開始することはなく、各ラインのデータが整うと即座に各ラインについて処理を開始することが可能になる。この結果、各画像処理工程を実行する際の待ち時間が最小化される。なお、本実施形態においては、最低限必要なライン数のデータをラインバッファー５２ａ〜５２ｄに一時記録すればよいため、ラインバッファー５２ａ〜５２ｄの容量を最小化することが可能である。

また、ホワイトバランス補正の同時性よりも表示される被写体の像の遅延抑制が優先して求められる場合もある。例えば、スポーツモードが設定された場合のように高速に動作する被写体の撮影を行う場合には、被写体の像の遅延抑制を優先すべきである。従って、スポーツモードが設定された場合には、画素補間部２０ａから色再現処理部２０ｃに対して直接出力データが受け渡されるようにし、かつ、色再現処理部２０ｃにおけるホワイトバランス補正を無効化する（例えば、ゲイン値Ga_R，Ga_G，Ga_Bをすべて規定値１にする。）のが望ましい。この場合、フレームバッファー５２ｅに１フレーム分の出力データを保持させることなく、画素補間部２０ａからリサイズ処理部２０ｆまでの工程をすべてパイプライン処理によって行うことができる。従って、図５においてハッチングで示したフレームバッファー５２ｅによる出力データの保持期間だけ遅延時間ΔT_Vを短縮することができる。図５の例では、遅延時間ΔT_Vの長さを垂直同期期間よりも短くすることができる。前記実施形態のように、各フレームの最初のラインに対応する画像データの生成処理が終了したことをトリガーとして当該ラインを含むフレームについての表示が開始するようにすれば、ホワイトバランス補正の適用有無によって遅延時間ΔT_Vが変動した場合であっても柔軟に、遅延時間ΔT_Vを短縮することができる。また、ホワイトバランス補正の適用有無によって１ライン分の画像データの生成処理が終了するタイミングの周期が変動する場合も考えられるが、水平同期期間T_DHが可変であるため柔軟に対応することができる。

また、上述の実施形態において、１フレーム分の出力データを解析する解析部２０ｂのすぐ後段に、ゲイン値Ga_R，Ga_G，Ga_Bを適用してホワイトバランス補正を行う色再現処理部２０ｃを配置したが、例えばホワイトバランス補正を行う回路を最終段（リサイズ後）に配置するようにしてもよい。このようにすることにより、色再現処理部２０ｃ〜リサイズ処理部２０ｆがゲイン値Ga_R，Ga_G，Ga_Bの算出を待つことなく、解析部２０ｂが順次各ラインの出力データを解析するのと並行して各ラインについての出力データをパイプライン処理していくことができる。そして、リサイズ処理部２０ｆがリサイズを行った画像データをフレームバッファーに保持させておき、解析部２０ｂにてゲイン値Ga_R，Ga_G，Ga_Bが得られたことをトリガーとして、フレームバッファーから順次各ラインの画像データを読み出しつつ最終工程のホワイトバランス補正を行えばよい。この場合、ゲイン値Ga_R，Ga_G，Ga_Bが得られた後、すなわちエリアイメージセンサー１５にて最終のラインについての出力データの読み出しが終了した後に行う工程を、ホワイトバランス補正のみとすることができる。従って、遅延時間ΔT_Vをさらに短縮することができる。

１フレーム分の出力データに基づく補正情報による補正として、ホワイトバランス補正以外の補正を行う場合にも本発明の手法を適用することができる。例えば、フレーム全体の明るさに基づいて補正を行う明るさ補正や、フレーム全体の鮮鋭度に基づいて補正を行うシャープネス等が挙げられる。また、フレーム全体ではなくフレームに対応する画像に含まれる所定オブジェクトに対応する画像情報の統計に基づいて行う補正であっても、所定オブジェクトを検出するためにフレーム全体の出力データを解析する場合もある。例えば、顔検出によって検出された顔領域の色に基づいて補正を行う色調補正を行う場合にも、本発明により解析対象のフレームと補正対象のフレームとの同時性を確保することができる。なお、顔検出を行う場合には、前記実施形態のように１ラインずつ順次解析していくことができないため、１フレーム分の出力データ、または、１フレーム分の出力データを均等に間引いた出力データを記録する解析用のフレームバッファーを、フレームバッファー５２ｅとは別に用意する必要がある。そして、当該解析用のフレームバッファーに記録された出力データを参照して顔検出を行って色調補正を行うための補正情報を取得すればよい。

さらに、上述の実施形態において表示部４０は液晶パネルを用いたＥＶＦであったが、表示部４０はＥＶＦ以外の表示部、例えば、撮影装置１の背面に取り付けられる液晶パネルを用いた表示部であっても良いし、液晶パネル以外の方式を用いたものであっても良い。また、撮影装置１はミラーを備えた一眼レフカメラでも良く、さらにムービーカメラであっても良いし、撮影機能を備えた携帯電話等の装置であっても良い。さらに、上述のエリアイメージセンサー１５において、カラーフィルターはベイヤー配列であったが、ベイヤー配列以外の配列で構成されたセンサーを利用した撮影装置に本発明を適用しても良い。さらに、ラインバッファー５２ｄはラインバッファーでも良いが、１フレーム分の画像データを記録するための記録容量を備えるＶＲＡＭであってもよい。この構成によれば、表示対象となる画像データに基づく各種処理を行うことが可能になる。さらに、水平同期期間は基準の期間に対して長期化されれば良く、当該基準の期間としては、各種の期間を想定可能である。例えば、エリアイメージセンサー１５の水平同期信号SH_syncの周期、画像データの生成周期などを基準の期間としてもよい。さらに、タイミングジェネレーター３０から表示部４０への各種信号の転送形態は種々の形態を採用可能であり、HDMI（High-Definition Multimedia Interface）等によって転送しても良い。また、上述の実施形態における方向を逆にしてもよく、例えば水平方向において、左から右に表示しても、右から左に表示しても良い。

さらに、ＯＳＤデータは表示部の情報表示領域において表示対象となる所定の情報を示した画像データであれば良く、撮影条件以外の各種情報、例えば、撮影装置１に搭載されたバッテリーの残量を示す情報等を表示対象となる所定の情報とする構成としても良い。さらに、垂直同期信号SV_sync，DV_syncの周期が同一かつ一定の状態とするための構成は、上述の構成以外にも種々の構成を採用可能である。例えば、被写体表示領域Ｒ₁における表示を行った後、情報表示領域Ｒ₂でＯＳＤデータを表示するために設定可能な最小の期間を情報表示領域Ｒ₂における水平同期期間とすることによって垂直同期信号DV_syncの出力タイミング以前に液晶パネル４２の全ラインの表示を終了し、残余の期間待機した後に規定の出力タイミングで垂直同期信号DV_syncが出力されるように構成してもよい。

さらに、エリアイメージセンサー１５が被写体の撮影を行う周期（フレームレート）が可変である場合でも、本発明の手法により解析対象のフレームと、補正を行うフレームとの同時性を確保してもよい。フレームレートは、フレーム撮影期間の逆数を意味する。例えば、フレームレートを通常モードのフレームレートよりも大きくするスポーツ撮影モードや、フレームレートを通常モードのフレームレートよりも小さくする節電モード等を設けてもよい。このようにフレームレートが可変となる場合でも、前記実施形態のように、あるフレームについてのゲイン値Ga_R，Ga_G，Ga_Bが得られるまで当該フレームの出力データをフレームバッファー５２ｅに保持することにより、解析対象のフレームと補正を行うフレームとの同時性を確保することができる。また、フレームレートが可変となる場合でも、前記実施形態のように、あるフレームの表示を開始させるためのトリガーを、当該フレームを構成するラインのうち画像データ生成部における生成順序が最初のラインについて画像データの生成が終了すれば、各フレームについて撮影から表示までの遅延時間をできるだけ短くすることができる。さらに、表示部４０の液晶パネル４２において、被写体像表示領域Ｒ₁および情報表示領域Ｒ₂の大きさを変更可能な構成とし、被写体像表示領域Ｒ₁の大きさに応じてフレームレートを可変となってもよい。

１…撮影装置、１０…光学系、１１…レンズ、１２…絞り、１３…シャッター、１４…ローパスフィルター、１５…エリアイメージセンサー、２０…画像データ生成部、２０ａ…画素補間部、２０ｂ…解析部、２０ｃ…色再現処理部、２０ｄ…フィルター処理部、２０ｅ…ガンマ補正部、２０ｆ…リサイズ処理部、２０１…画像データ出力部、３０…タイミングジェネレーター、３０ａ…進捗情報取得部、３０ｂ…表示制御部、４０…表示部、４１…液晶パネルドライバー、４２…液晶パネル、５２ａ…ラインバッファー、５２ｂ…ラインバッファー、５２ｃ…ラインバッファー、５２ｄ…ラインバッファー、５２ｅ…フレームバッファー、５５…操作部

Claims (5)

1. 所定のフレーム撮影期間ごとに連続して撮影センサーから１フレーム分の出力データを取得する出力データ取得部と、
   １フレーム分の前記出力データを解析して補正情報を取得する補正情報取得部と、
   前記補正情報に基づいて前記出力データを補正して前記フレーム撮影期間ごとの画像データを生成する画像データ生成部と、
   前記画像データに基づいて表示部に表示を行わせる表示制御部と、を備えるとともに、
   前記補正情報の取得のために解析される前記出力データと、当該補正情報に基づいて補正される前記出力データとは、同一の前記フレーム撮影期間において撮影されたものである、
   撮影装置。
2. 前記表示制御部は、フレームを構成するラインのうち前記画像データ生成部における生成順序が最初のラインについての前記画像データの生成が終了したことをトリガーとして、当該最初のラインを含むフレームについての表示を開始させる、
   請求項１に記載の撮影装置。
3. 前記表示制御部は、撮影順序がＪ番目（Ｊは自然数。）の前記フレーム撮影期間の終了と（Ｊ＋１）番目の前記フレーム撮影期間の終了との間の期間において、Ｊ番目の前記フレーム撮影期間において撮影された前記出力データに基づく前記画像データの表示を開始させる、
   請求項１または請求項２のいずれかに記載の撮影装置。
4. 前記補正情報取得手段は、前記補正情報として前記出力データが示す画像のホワイトバランス補正を行うための情報を取得し、
   前記画像データ生成部は、前記補正情報に基づいて前記ホワイトバランス補正を行う、
   請求項１から請求項３のいずれか一項に記載の撮影装置。
5. 前記フレーム撮影期間は、可変である、
   請求項１から請求項４のいずれか一項に記載の撮影装置。
   

Images