JP2006287388A - カメラ装置、撮像方法並びに撮像プログラム - Google Patents

Abstract

【課題】被写体全体の複雑度または繊細度を精度よくリアルタイムに更新して撮影パラメータを決定することを可能にすること。
【解決手段】撮像素子による撮像領域を複数の部分領域に分割し、この複数の部分領域の中から指定された部分領域の画像データに基づいて、被写体の部分的な複雑度または繊細度を算出し、撮影指示の待機中において、前記部分領域を順次変更しながら前記算出を行い、逐次得られる被写体の部分的な複雑度または繊細度に基づいて、被写体全体の複雑度・または繊細度を逐次更新し、撮影指示がなされた際に、前記更新されている複雑度または繊細度に基づいて撮影パラメータを決定する。
【選択図】 図３

Description

本発明は、カメラ装置、撮像方法並びに撮像プログラムに関するものである。

近年、カメラ装置の１つとしてのデジタルカメラにより被写体を撮像して記録しておき、撮影画像の鑑賞時において、必要な画像処理を行った後、撮影画像を表示したり印刷することが行われている。ところで、これから撮影する被写体の明るさや色合いを測定し、この測定結果に応じて露出値やホワイトバランスを設定して撮影を行う技術や、既に撮影記録された画像データから判断される被写体の形状などの情報に基づいて、エッジ処理やスムージングなどの画像補正処理を行う技術が知られている。例えば、特開２００３−１８９０９３号公報には、文字エッジと写真領域中にある被写体等の輪郭エッジとを適性に判別し、それぞれの領域に適正な処理を行うことで、出力画像が高品位となる画像処理装置を提供している。
特開２００３−１８９０９３号公報

被写体の明るさや色合いの測定は比較的容易であり、高速に処理することができるので、被写体の撮影時にレンズ方向が変化してもリアルタイムに測定して撮影パラメータの設定に反映させることができる。しかしながら、被写体の複雑度や繊細度を判定するのは難しく、精度を良くしようとすると撮影時にリアルタイムに判定することができず、また、精度を落とせばリアルタイムに判定して撮影パラメータの設定に反映させることはできるが、誤判定が多くなってしまうという問題があった。

本発明は、このような課題に着目してなされたものであり、その目的とするところは、被写体全体の複雑度または繊細度を精度よくリアルタイムに更新して撮影パラメータを決定することを可能にすることである。

上記の目的を達成するために、本発明の第１の態様は、撮像素子による撮像領域を複数の部分領域に分割し、この複数の部分領域の中から指定された部分領域の画像データに基づいて、被写体の部分的な複雑度または繊細度を判定する判定手段と、撮影指示の待機中において、前記部分領域を順次変更しながら前記判定手段による判定を行い、逐次得られる被写体の部分的な複雑度または繊細度に基づいて、被写体全体の複雑度または繊細度を逐次更新する更新手段と、撮影指示がなされた際に、前記更新手段により更新されている複雑度または繊細度に基づいて撮影パラメータを決定する決定手段と、を具備する。

また、本発明の第２の態様は、第１の態様において、ある時点における複雑度または繊細度が、前記時点よりも以前に獲得された複雑度または繊細度と比べて上位にランクされるか否かの判断を行い、この判断結果に基づいて複雑度または繊細度についての順位情報を生成する。

また、本発明の第３の態様は、第２の態様において、前記比較により上位にランクされると判断された場合には、複雑度または繊細度の判定を所定量だけスキップして実行する。

また、本発明の第４の態様は、第１から第３のいずれか１つの態様において、現画像における第１の部分領域から複雑度または繊細度の算出を開始して、第ｎ（ｎ：自然数）の部分領域まで複雑度または繊細度が算出された時点で次画像が撮像された場合には、複雑度または繊細度を算出すべき次の部分領域を次画像の第（ｎ＋１）の部分領域に移行する。

また、本発明の第５の態様は、第４の態様において、所定枚数よりも以前の画像については前記複雑度または繊細度についての順位情報に含めないようにする。

また、本発明の第６の態様は、第２から第５のいずれか１つの態様において、前記順位情報の上位にランクされている所定数の複雑度または繊細度の平均値を被写体全体の複雑度とする。

また、本発明の第７の態様は、撮像素子より空間的に連続する複数の画素データを取得する取得手段と、前記取得手段により得られた各画素データを空間的に連続する順に並べた場合に、画素データの値が連続的に増加または減少している各区間における増加値または減少値の絶対値を加算する加算手段と、前記加算手段により加算して求められた値を、撮像素子より撮像された被写体の複雑度または繊細度として、この複雑度または繊細度に基づいて撮影パラメータを決定する決定手段と、を具備する。

また、本発明の第８の態様は、第７の態様において、前記加算手段はさらに、各区間における増加値または減少値の絶対値を加算する際に、所定値以上大きな絶対値を有する区間の影響を所定値に抑えるように、加算される各絶対値に対して所定の演算を施す。

また、本発明の第９の態様は、第８の態様において、前記所定の演算は対数演算かあるいは所定以上大きな絶対値を切り捨てる演算である。

また、本発明の第１０の態様は、第１から第９のいずれか１つの態様において、撮像領域を複数のライン領域に分割し、この分割されたライン領域ごとに被写体の複雑度または繊細度を判定する。

また、本発明の第１１の態様は、第１から第１０のいずれか１つの態様において、被写体の複雑度または繊細度の判別を、撮像領域の走査方向毎あるいは対象色毎に行う。

また、本発明の第１２の態様は、被写体を撮像する場合におけるフォーカスを固定した状態において、撮像素子より得られた画像データに基づいて、被写体における複雑度が高い部分を特定する特定手段と、前記特定手段により特定された部分を対象としてフォーカスを合わせるフォーカス手段と、前記フォーカス手段により前記特定部分がフォーカスされた状態において、前記特定部分の繊細度を判定する判定手段と、を具備する。

また、本発明の第１３の態様は、第１２の態様において、前記特定部分が複数である場合に、各特定部分における最大コントラスト値の平均値を繊細度とする。

また、本発明の第１４の態様では、第１から第６の態様の判定手段が、第７から第１１の加算手段による加算によって求められた値に基づいて、被写体の複雑度または繊細度を判定する。

また、本発明の第１５の態様では、第１から第６の判定手段が、第１２から第１４の判定手段による判定結果を被写体の繊細度とする。

また、本発明の第１６の態様は、撮像方法であって、撮像素子による撮像領域を複数の部分領域に分割し、この複数の部分領域の中から指定された部分領域の画像データに基づいて、被写体の部分的な複雑度または繊細度を判定する判定ステップと、撮影指示の待機中において、前記部分領域を順次変更しながら前記判定ステップによる判定を行い、逐次得られる被写体の部分的な複雑度または繊細度に基づいて、被写体全体の複雑度または繊細度を逐次更新する更新ステップと、撮影指示がなされた際に、前記更新ステップにおいて更新されている複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、を具備する。

また、本発明の第１７の態様は、撮像方法であって、撮像素子より空間的に連続する複数の画素データを取得する取得ステップと、前記取得ステップにおいて得られた各画素データを空間的に連続する順に並べた場合に、画素データの値が連続的に増加または減少している各区間における増加値または減少値の絶対値を加算する加算ステップと、前記加算ステップにおいて求められた値を、撮像素子より撮像された被写体の複雑度または繊細度として、この複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、を具備する。

また、本発明の第１８の態様は、撮像方法であって、被写体を撮像する場合におけるフォーカスを固定した状態において、撮像素子より得られた画像データに基づいて、被写体における複雑度が高い部分を特定する特定ステップと、前記特定ステップにおいて特定された部分を対象としてフォーカスを合わせるフォーカスステップと、前記フォーカスステップにおいて前記特定部分がフォーカスされた状態において、前記特定部分の繊細度を判定する判定ステップと、を具備する。

また、本発明の第１９の態様では、コンピュータに、撮像素子による撮像領域を複数の部分領域に分割し、この複数の部分領域の中から指定された部分領域の画像データに基づいて、被写体の部分的な複雑度または繊細度を判定する判定ステップと、撮影指示の待機中において、前記部分領域を順次変更しながら前記判定ステップによる判定を行い、逐次得られる被写体の部分的な複雑度または繊細度に基づいて、被写体全体の複雑度または繊細度を逐次更新する更新ステップと、撮影指示がなされた際に、前記更新ステップにおいて更新されている複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、を実行させる。

また、本発明の第２０の態様では、コンピュータに、撮像素子より空間的に連続する複数の画素データを取得する取得ステップと、前記取得ステップにおいて得られた各画素データを空間的に連続する順に並べた場合に、画素データの値が連続的に増加または減少している各区間における増加値または減少値の絶対値を加算する加算ステップと、前記加算ステップにおいて求められた値を、撮像素子より撮像された被写体の複雑度または繊細度として、この複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、を実行させる。

また、本発明の第２１の態様では、コンピュータに、被写体を撮像する場合におけるフォーカスを固定した状態において、撮像素子より得られた画像データに基づいて、被写体における複雑度が高い部分を特定する特定ステップと、前記特定ステップにおいて特定された部分を対象としてフォーカスを合わせるフォーカスステップと、前記フォーカスステップにおいて前記特定部分がフォーカスされた状態において、前記特定部分の繊細度を判定する判定ステップと、を実行させる。

請求項１から６、１６、１９によれば、撮像領域全体に対する演算処理を終了してからでなくとも、部分領域に基づいて逐次算出される複雑度や繊細度に基づいて、被写体全体の複雑度または繊細度をリアルタイムに精度よく更新して撮影パラメータを決定することができる。

請求項７から１１、１７、２０によれば、ただ単に被写体を構成する色成分における明度、色相、彩度のバリエーションの多さをヒストグラム等により算出して被写体の複雑度を判定する方法と比べて、素早く的確に被写体の複雑度を判定することができ、また、色成分の変化の傾きによって被写体の繊細度を判定する方法と比べて、フォーカスの状態に影響されずに素早く的確に被写体の繊細度を判定することができる。

請求項８によれば、所定値以上色の差が大きい箇所においては、いくら大きくても被写体の複雑度にはあまり影響せず、逆に、この値が大きすぎることにより色の差が少ない箇所の情報が埋もれてしまうことを避け、より正確に被写体の複雑度を判定することができる。

請求項１２、１３、１８、２１によれば、画像データの高調波成分に基づいて被写体の繊細度を求める場合には、被写体の繊細度よりもフォーカス状態が大きく影響してしまって、正しく被写体の繊細度を判定することができないが、やみくもにフォーカスを合わせるのではなく、被写体における複雑度が高い部分にフォーカスを合わせて当該部分の高調波成分などにより被写体の繊細度を判定するので、判定の正確度が向上する。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明が適用されるデジタルカメラ等のカメラ装置１の構成を示すブロック図である。

図１に示すカメラ装置１において、基本モードである撮影モードにおいては、レンズ光学系において、モータ（Ｍ）１０の駆動により絞り位置や通常撮影に応じたレンズ位置に撮影レンズ１１が移動される。撮影レンズ１１の撮影光軸後方に配置された撮像素子であるＣＣＤ（Charge Coupled Device）１２は、タイミング発生器（ＴＧ）１３、垂直ドライバ１４によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド（Ｓ／Ｈ）回路１５でサンプルホールドされ、Ａ／Ｄ変換器１６でデジタルデータに変換され、さらにカラープロセス回路１７で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１８に出力される。

ＤＭＡコントローラ１８は、カラープロセス回路１７の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路１７からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１８内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送を行なう。

制御部２５は、ＣＰＵと、該ＣＰＵで実行される動作プログラムやデータ等を固定的に記録したＲ０Ｍ、及びワークメモリとして使用されるＲＡＭ等により構成され、このカメラ装置１全体の制御動作を司る。

制御部２５は、輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読み出し、ＶＲＡＭコントローラ２６を介してＶＲＡＭ２７に書込む。

デジタルビデオエンコーダ２８は、輝度及び色差信号をＶＲＡＭコントローラ２６を介してＶＲＡＭ２７より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部２９に出力する。

表示部２９は、撮影モード時にはモニタ表示部（電子ファインダ）として機能し、デジタルビデオエンコーダ２８からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ２６から取込んでいる画像情報に基づく画像（スルー画像）をリアルタイムに表示することになる。

表示部２９にスルー画像がリアルタイムに表示されている表示状態で、被写体を撮影するタイミングでキー入力部３７のシャッタキーが操作されると、トリガ信号を発生する。

制御部２５は、このトリガ信号に応じてその時点でＣＣＤ１２の駆動を停止した後、自動露出処理を実行して適正な露出値を得て、レンズ光学系の絞りとＣＣＤ１２の露光時間を制御してあらためて撮像を実行させる。

こうして新たに得られた１フレーム分の画像データがＤＲＡＭ２１にＤＭＡ転送されて書込まれた後、制御部２５がＤＲＡＭ２１に書込まれている１フレーム分の画像データを読み出して画像処理部３０に書込む。画像処理部３０では、ＪＰＥＧ（Joint Photographic Experts Group）により画像データを符号化する。

符号化された画像データは、カメラ装置１の記録媒体として着脱自在に装着されているメモリカード３２、あるいはメモリカード３２が装着されていない場合は固定的に内蔵されている内蔵メモリ３３に書き込まれる。

そして、１フレーム分のメモリカード３２または内蔵メモリ３３への画像データの書込み終了に伴なって、制御部２５は、ＣＣＤ１２からＤＲＡＭ２１を経由したスルー画像を表示部２９においてモニタ表示させる駆動を再開する。

また、制御部２５には、キー入力部３７、音声処理部４０、ストロボ駆動部４１が接続される。

キー入力部３７は、電源キー、シャッタキー、モードスイッチ、メニューキー、選択キー、ズームボタン、及び十字キー（カーソルキー）等から構成され、それらのキー操作に伴なう信号は制御部２５へ直接送出される。

音声処理部４０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはマイクロホン部（ＭＩＣ）４２より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 Audio Layer-3）規格に従ってデータ圧縮して音声データファイルを作成してメモリカード３２または内蔵メモリ３３へ送出する一方、音声の再生時にはメモリカード３２または内蔵メモリ３３から送られてきた音声データファイルの圧縮を解いてアナログ化し、スピーカ部（ＳＰ）４３を駆動して、拡声放音させる。

さらに音声処理部４０は、制御部２５からの制御に基づいて、各種動作音、例えばシャッタキーの操作に伴う擬似的なシャッタ音、他のキーの操作に伴うビープ音等も発生してスピーカ部４３より拡声放音させる。

ストロボ駆動部４１は、被写体の撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部２５からの制御に基づいてストロボ発光部４５を閃光駆動する。

図２は、被写体の撮影から撮影画像の鑑賞までに使用されるカメラ装置の機能ブロック図である。

まず、撮影記録前では以下の処理が行われる。複雑度／繊細度算出部１１０は、撮影者からの撮影指示の待機中に、撮像素子としてのＣＣＤ１２から得られた複数の画素データ（スルー画像）に基づいて、被写体の複雑度及び繊細度を算出する。この詳細については後述する。解像度／サイズ入力部１１１は、撮影者が想定される撮影画像の鑑賞時の解像度及びサイズを入力する部分である。撮影記録品質判定部１１２は、複雑度／繊細度算出部１１０からの出力情報と、解像度／サイズ入力部１１１を介して入力された情報とを用いて、撮影画像の細部確認性に関して要求される撮影記録品質を判定する。なお、複雑度／繊細度算出部１１０からの出力情報のみに基づいて当該撮影記録品質を判定することも可能である。

撮影記録品質入力部１１３は、撮影者が撮影画像の色再現性やノイズに関して要求される撮影記録品質を入力する部分である。明るさ／色合い測定部１１４は、カメラ装置１に取り込まれた光に基づいて被写体の明るさと色合いを測定する。操作性入力部１１５は、撮影者が要求される撮影時の操作性を入力する部分である。残量情報取得部１１６は、電池残量及びメモリ残量に関する情報を取得する部分である。

撮影記録条件決定部１１７は、上記した撮影記録品質判定部１１２からの出力情報、撮影記録品質入力部１１３を介して入力された情報、明るさ／色合い測定部１１４からの出力情報、操作性入力部１１５を介して入力された情報、残量情報取得部１１６からの出力情報を適宜用いて撮影記録条件を決定する。例えば、明るさ／色合い測定部１１４からの出力情報に基づいて、露出値、ホワイトバランス等の、撮影画像の明るさや色合いに影響を与える撮影パラメータ１１８を決定する。また、撮影記録品質判定部１１２からの出力情報と、撮影記録品質入力部１１３に入力された情報とに基づいて、露出時間や感度等の、撮影画像のノイズに影響を与える撮影パラメータ１１９を決定する。また、撮影記録品質判定部１１２からの出力情報と、操作性入力部１１５に入力された情報とに基づいて、オートフォーカスの速度や精度等の、撮影時の操作性に影響を与える撮影パラメータ１２１を決定する。また、撮影記録品質判定部１１２からの出力情報と、撮影記録品質入力部１１３に入力された情報あるいは操作性入力部１１５に入力された情報とに基づいて、露出時間や感度あるいはオートフォーカスの速度や精度等の、撮像画像のボケやブレに影響を与える撮影パラメータ１２０を決定する。また、撮影記録品質判定部１１２からの出力情報と、残量情報取得部１１６からの出力情報とに基づいて、撮影画像を記録する際の解像度や圧縮率１２２を撮影パラメータとして決定する。以上が撮影記録前の処理に関わる機能ブロックの説明である。

次に、撮影記録時において、撮影記録部１２３は、撮像記録条件決定部１１７で決定された上記各撮影パラメータを記録条件として記録動作を実行する。これにより画像データ１２４が撮影記録される。

次に、画像鑑賞時においては以下の処理が行われる。適度判定部１２５は、撮影記録された画像データ２４から明るさや色合いの適度を判定する。程度判定部１２６は、撮影記録された画像データ２４からボケやブレの程度を判定する。解像度／サイズ入力部１２７は、撮影者が撮影記録された画像データ２４を実際に鑑賞するときの解像度やサイズを入力する部分である。画像加工内容判定部１２８は、適度判定部１２５、程度判定部１２６、解像度／サイズ入力部１２７からの出力に基づいて、色補正処理１２９、シャープネス処理１３０、ノイズ除去１３１、拡大／縮小１３２などの、要求される画像加工内容の判定を行う。

画像加工／出力部１３３は、判定された画像加工を実行して、加工された画像を表示画面１３４あるいは印刷用紙１３５に出力する。

図３は、図２の複雑度／繊細度算出部１１０における被写体の複雑度算出処理の手順を説明するための図である。本発明では複雑度算出にあたって撮像領域を複数の部分領域に分割し、各分割領域の画像データに基づいて被写体の複雑度または繊細度を判定する。以下では撮像領域をライン領域に分割したときの各ラインの複雑度を算出する手順を説明する。すなわち、図４に示すような撮影指示の待機中におけるスルー画像（撮影フレーム１００）において、まず、走査方向を０度すなわち水平方向に初期化し（ステップＳ１）、対象色をＧ（グリーン）に初期化し（ステップＳ２）、走査ラインを１に初期化する（ステップＳ３）。次に、現在スルー画像表示されている撮影フレーム１００の画像データより、指定された走査方向、ライン、色の空間的に連続する複数の画素データからなる画像データを抽出する（ステップＳ４）。次に、抽出された画像データについてのライン複雑度算出処理を実行する（ステップＳ５）。

以下に、ライン複雑度算出処理について説明する。ここでは図４に示すような撮影フレーム１００におけるスルー画像において、走査方向＝０度（水平方向）、対象色＝Ｇ（グリーン）、指定ラインｍ＝２４０を仮定する。また、ラインｍ＝２４０における対象色（ここではＧ）の画素値が、撮影フレーム１００のＡからＢ，Ｃを介してＤへと移行するにしたがって図５のように変化したとする。

そして、ｍ＝２４０における画素値がプラスからマイナスあるいはマイナスからプラスに変化するポイント（図５ではａ〜ｉで示される変曲点）を抽出して各ポイント間の絶対差分を求める。すなわち、図５のように画素値が連続的に増加あるいは減少している各区間（例えば区間ａ−ｂでは減少、区間ｂ−ｃでは増加している）における増加値あるいは減少値の絶対値を求める。そして、取得した各絶対値に対して対数をとった後、各値を加算した値をライン複雑度とする。このような方法によりライン複雑度を判定することにより、ただ単に被写体を構成する色成分における明度、色相、彩度のバリエーションの多さをヒストグラム等により算出して被写体の複雑度を判定する方法と比べて、素早く的確に被写体の複雑度を判定することができ、また、色成分の変化の傾きによって判定される被写体の繊細度を利用する方法と比べて、フォーカスの状態に影響されずに素早く的確に被写体の重要部分を判定することができる。すなわち、画像が多少ぼけている場合であってもぼけていない場合と同程度のライン複雑度として検出することができる。

なお、上記の処理で対数をとるのは、所定値以上大きな絶対値を有する区間の影響を所定値以下に抑えるためである。なお、対数をとる処理を行わずに、各ポイント間の差分が所定値以上になった場合に当該所定値以上の値を切り捨てるようにしてもよい。これによって、所定値以上色の差が大きい箇所においては、いくら大きくても被写体の複雑度にはあまり影響せず、逆に、この値が大きすぎることにより色の差が少ない箇所の情報が埋もれてしまうことを避け、より正確に被写体の複雑度を判定することができる。

上記のことを具体的に説明する。図５においてポイントａ〜ｉが変曲点となっており、各ポイント間の差分は、ａ−ｂ間が９、ｂ−ｃ間が１５、ｃ−ｄ間が１２、ｄ−ｅ間が５８、ｅ−ｆ間が２９、ｆ−ｇ間が１３、ｇ−ｈ間が３８、ｈ−ｉ間が２となっている。したがって、これらの値のそれぞれについて対数をとって加算すると、ライン複雑度＝
log ₁₀(9)+log₁₀(15)+log₁₀(12)+log₁₀(58)+log₁₀(29)+log₁₀(13)+log₁₀(38)+log₁₀(2)=9.43
となる。

また、ポイントｄとｅ間の差分が一番大きいので、｛ｄの位置（４６７）＋ｅの位置（４８３）｝／２＝４７５の位置を最大変化位置とする。

上記の方法を用いてライン複雑度を判定することにより、
次に、ステップＳ５で１ラインについての複雑度が算出された後は、算出されたライン複雑度が、すでに算出されたライン複雑度の中で上位にランクされるか否かを判断する（ステップＳ７）。最初のライン複雑度の算出ではＹＥＳとなる。ここでＹＥＳの場合には、ライン複雑度の順位情報を更新する（ステップＳ７）。すなわち、今回算出されたライン複雑度をすでに算出された他のライン複雑度と比較して昇順に順位を入れ替える。順位情報の一例を図６に示す。

次に、複雑度算出の対象となるラインを１０ライン加算した値に更新する（ステップＳ８）。ここで１０ライン分スキップするのは、ライン複雑度が上位にランクされる場合はその周辺も同一レベルの複雑度を有するものと考えられるので、周辺のラインの複雑度の計算を省いて時間を短縮するためである。

一方、ステップＳ６の判断がＮＯの場合には、複雑度算出の対象となるラインを１ライン加算した値に更新する（ステップＳ９）。

なお、更新のために加算されるライン数は適宜変更するようにしてもよい。例えば、後述するＡＦ領域設定処理（図７）において、設定されるＡＦ領域の数が少ない場合には１０ライン以上加算して計算時間を短縮し、ＡＦ領域の数が多い場合には加算する数を１０ライン以下に設定することが考えられる。

ステップＳ８またはステップ９の後は、最終ラインに到達したか否かを判断し（ステップＳ１０）、ＮＯの場合にはステップＳ４に戻ってそれ以降の処理を実行する。そして、フレーム内の水平方向のすべてのラインについての複雑度が算出されたときにステップＳ１０の判断がＹＥＳとなってステップＳ１１に進む。ステップＳ１１では対象色をＧからＢに更新する。次に、最終色に到達したか否かを判断し（ステップＳ１２）、ＮＯの場合にはステップＳ３に戻ってそれ以降の処理を実行する。そして、Ｂについての処理が終了した後、Ｒについての処理を実行すると、ステップＳ１２の最終色に到達したか否かの判断がＹＥＳとなる。ステップＳ１３に進んで走査方向を水平方向から垂直方向に更新する。次に、最終走査方向に到達したか否かを判断し（ステップＳ１４）、ＮＯの場合にはステップＳ２に戻ってそれ以降の処理を実行する。そして、フレーム内の垂直方向のすべてのラインについて複雑度が算出されたときにステップ１４の判断がＹＥＳとなって、ステップＳ１５に進む。

ステップＳ１５では、ライン複雑度の順位情報を見て、所定フレーム数以上古いフレームの情報は順位が低く重要ではないとみなして削除する処理を行う。次に、上位にランクされている所定数のライン複雑度の平均値を求め、該平均値を被写体の複雑度として記憶あるいは更新する。次に、撮影終了か否かを確認し（ステップＳ１７）、ＮＯの場合にはステップＳ１に戻ってそれ以降の処理を行い、撮影終了となったときにステップＳ１７がＹＥＳとなって処理を終了する。

図６は、ライン複雑度の順位情報の一例を示すテーブルである。ここでは、１ラインの複雑度が算出される毎にすでに存在する他のラインの複雑度と比較され、複雑度が高い順に順序付けされるようにテーブルが更新される。また、この実施形態では、現フレーム画像の１ライン目からライン複雑度の算出を開始してフレーム途中のｎライン位置までライン複雑度が算出された時点で、次フレーム画像が撮像された場合には、複雑度を計算すべき次のラインは、現フレーム画像のｎ＋１ライン目ではなく、次フレーム画像のｎ＋１ライン目に移行し、それより下方のラインについて順次ライン複雑度が算出されるようになっている。このような手法により、フレームレートに影響を与えることなくフレーム全体にわたって均一にライン複雑度を算出することができる。

尚、上記した実施形態では、画像全体を複数のラインに分割して各ライン毎に複雑度を算出したが、画像全体を更に複数の矩形領域に分割し、各矩形領域毎に、該矩形領域内の画像データに対して上述した手法により複雑度を算出するようにしてもよい。このようにすれば処理速度は多少遅くなるが、ＡＦ領域の設定精度を高めることができる。

上記した実施形態によれば、撮像領域全体に対する演算処理を終了してからでなくとも、部分領域に基づいて逐次算出される複雑度や繊細度に基づいて、被写体全体の複雑度または繊細度をリアルタイムに精度よく更新して撮影パラメータを決定することができる。

図７は、本実施形態におけるＡＦ領域の設定処理について説明するためのフローチャートである。まず、例えば図４に示すようなライン複雑度の順位情報表を参照してライン度複雑度が上位のものから所定数のポイントを抽出する（ステップＳ２０）。次に、該抽出されたポイントを含む領域をＡＦ対象領域に設定する（ステップＳ２１）。

図８は、本設定処理により設定された３つのＡＦ領域１〜３を示している。

上記の手法は例えば、文字サイズの異なる文字などを含む文書画像を撮影する場合に好適する。すなわち、文字サイズの小さい文字が存在すると考えられる複雑度の高い部分を優先的にＡＦ領域に設定して焦点を合わせるようにすれば、異なる文字サイズで文字が印刷された文書を撮影した場合であってもサイズの小さい文字を的確に検出して焦点を合わせることが可能になり、読み取り不可能になって失われる情報をより少なく抑えることができる。

ここで、被写体または被写体画像における複雑度の高い部分とは、単位面積当りの情報量がより大きい部分であり、空間的な色変化が規則的ではなくより不規則に変化している部分である。つまり、ただ単に多くの色を含むからといって必ずしも情報量が大きいとは限らず、例えば、グラデーションのように空間的に滑らかに色が変化している場合には情報量は低くなり、白地に黒の文字で書かれた文書であっても、細かい文字が緻密に並んでいるような場合には、単位面積当たりの黒から白または白から黒への変化の回数が多く情報量も多くなる。また、ただ単に色変化が急峻であるからといって必ずしも色変化が不規則であるとは限らず、例えば、文字の輪郭部において、ピントが甘いために白から黒へと滑らかに色が変化する場合と、ピントが正確に合っているために白から黒へと急峻に色が変化する場合とでは、色変化の不規則さの程度はほぼ同等である。

また、被写体または被写体画像における繊細度の高い部分とは、色変化が急峻でよりシャープな部分であり、例えば、単位距離当たりのコントラスト変化の大きい部分である。上記複雑度がピントの影響をあまり受けることなく判定することができる情報であったのに対して、繊細度の判定においてはピントの影響を大きく受ける。

複雑度の高い部分と低い部分を含む被写体を撮影する場合、複雑度の低い部分に関しては多少ピントが甘くとも失われる情報量は少ないが、複雑度の高い部分に関してはピントが甘くなる程失われる情報量が多くなる。したがって、被写体の細部まで詳細に確認可能な撮影画像を得ようとした場合には、より複雑度の高い部分を優先してピントを合わせる必要がある。

図９は、上記の方法により求めたＡＦ領域を用いて、撮影待機中における被写体の繊細度判定処理の手順を説明するためのフローチャートである。まず、上記の「ＡＦ領域設定処理」により設定された、被写体における複雑度が高い部分各ＡＦ対象領域において、被写体に追尾して連続的に合焦動作を行うコンティニュアスＡＦによって順次得られるコントラスト値のうち最大のコントラスト値を求めて記憶あるいは更新する（ステップＳ３０）。

尚、コンティニュアスＡＦにおいて複数のＡＦ領域の中でどのＡＦ領域で測定された被写体距離にピントを合わせるかは適宜設定することができ、例えば、最も近い被写体にピントを合わせたり、全ての被写体の中間にピントを合わせてもよい。次に、記憶された各ＡＦ対象領域における最大コントラスト値の平均値を求め、該平均値を被写体の繊細度として記憶あるいは更新する（ステップＳ３１）。

次に、撮影が終了か否かを判断し（ステップＳ３２）、ＮＯの場合にはステップＳ３０に戻ってそれ以降の処理を行い、ＹＥＳと判断されたときに撮影を終了する。

上記したように、被写体における複雑度が高い部分にフォーカスを合わせて当該部分の高調波成分などにより被写体の繊細度を判定するので、判定の正確度が向上する。

以下に、被写体の複雑度／繊細度に基づいて撮影記録時に用いられる撮影パラメータがどのように決定されるかについて説明する。まず図１０を参照して第１の実施形態を説明する。まず、複雑度／繊細度算出部１１０から被写体の複雑度あるいは繊細度に関する情報を取得する（ステップＳ１００）。次に、撮影者が解像度／サイズ入力部１１１を介して入力した画像解像度あるいは画像サイズに関する情報を取得する（ステップＳ１０１）。次に、撮影記録品質判定部１１２において、取得した被写体の複雑度あるいは繊細度と、画像解像度あるいは画像サイズとから、図１３に示すようなテーブルを参照して、撮影画像の細部確認性に関して要求される撮影記録品質を判定する（ステップＳ１０２）。なお、撮影記録品質判定部１１２は、被写体の複雑度あるいは繊細度に関する情報のみに基づいて当該撮影記録品質を判定することも可能である。

次に、撮影者が操作性入力部１１５を介して指定した撮影時の操作性の度合いに関する情報を取得する（ステップＳ１０３）。次に、撮影記録条件決定部１１７において、ステップＳ１０２で判定された撮影記録品質と、操作性入力部１１５を介して指定された撮影時の操作性の度合いとから、図１４に示すようなテーブルを参照して、オートフォーカス時の互いに相反するパラメータである速度と精度の比率を決定する（ステップＳ１０４）。例えば、要求される撮影時の操作性が早く（例えば指数９）、細部確認性に関して要求される撮影記録品質が低い（例えば指数２）ならば、精度に比べて速度を重視した比率（８：２）が選択される。

次に、図１１のフローチャートを参照して第２の実施形態を説明する。撮影記録品質判定部１１２において、第１の例と同様の方法により、撮影画像の細部確認性に関して要求される撮影記録品質を判定する（ステップＳ１００〜Ｓ１０２）。

次に、撮影者が撮影記録品質入力部１１３を介して指定した撮影画像の色再現性やノイズに関して要求される撮影記録品質に関する情報を取得する（ステップＳ１０５）。次に、撮影記録条件決定部１１７において、ステップＳ１０２で判定された撮影記録品質と、撮影記録品質入力部１１３を介して指定された当該撮影記録品質とに基づいて、図１５に示すようなテーブルを参照して、露出設定時の互いに相反するパラメータである露光時間と感度の比率を決定する（ステップＳ１０６）。例えば、色再現性やノイズに関して要求される撮影記録品質が高く（例えば指数９）、細部確認性に関して要求される撮影記録品質が低い（例えば指数１）ならば、感度に比べて露光時間を重視した比率（９：１）が選択される。

次に、図１２のフローチャートを参照して第３の実施形態を説明する。撮影記録品質判定部１１２において、第１の例と同様の方法により、撮影画像の細部確認性に関して要求される撮影記録品質を判定する（ステップＳ１００〜Ｓ１０２）。

次に、残量取得部１１６からメモリ残量に関する情報を取得する（ステップＳ１０７）。次に、撮影記録条件決定部１１７において、ステップＳ１０２で判定された撮影記録品質と、残量取得部１１６から取得したメモリ残量とに基づいて、図１６に示すようなテーブルを参照して、撮影画像を記録する際の解像度（圧縮率）を決定する（ステップＳ１０８）。例えば、メモリ残量が十分（９０％）であり、細部確認性に関して要求される撮影記録品質が高い（指数９）ならば、最高解像度が選択される。

なお、上記した撮影パラメータ以外のパラメータ、例えば撮影画像の明るさや色合いに影響を与える撮影パラメータ等についても上記の方法を用いて被写体の複雑度または繊細度に基づいたテーブルを作成することにより決定することができる。

本発明が適用されるデジタルカメラ等のカメラ装置１の構成を示すブロック図である。 被写体の撮影から撮影画像の鑑賞までに使用されるカメラ装置の機能ブロック図である。 図２の複雑度／繊細度算出部１１０における被写体の複雑度算出処理の手順を説明するための図である。 撮影指示の待機中におけるスルー画像の一例を示す図である。 撮影フレームのラインｍ＝２４０における画素値の変化を示す図である。 ライン複雑度の順位情報の一例を示すテーブルである。 本実施形態におけるＡＦ領域の設定処理について説明するためのフローチャートである。 本実施形態の設定処理により設定された３つのＡＦ領域１〜３を示す図である。 撮影待機中における被写体の繊細度判定処理の手順を説明するためのフローチャートである。 被写体の複雑度／繊細度に基づいて撮影記録時に用いられる撮影パラメータを決定する第１の実施形態を説明するための図である。 被写体の複雑度／繊細度に基づいて撮影記録時に用いられる撮影パラメータを決定する第２の実施形態を説明するための図である。 被写体の複雑度／繊細度に基づいて撮影記録時に用いられる撮影パラメータを決定する第３の実施形態を説明するための図である。 撮影画像の細部確認性に関して要求される撮影記録品質を判定するためのテーブルである。 オートフォーカス時の速度と精度の比率を決定するためのテーブルである。 露出設定時の露光時間と感度の比率を決定するためのテーブルである。 撮影画像を記録する際の解像度（圧縮率）を決定するためのテーブルである。

符号の説明

１…カメラ装置、
２１…ＤＲＡＭ、
２５…制御部、
２９…表示部、
３７…キー入力部。

１１０…複雑度／繊細度算出部、
１１１…解像度／サイズ入力部、
１１２…撮影記録品質判定部、
１１３…撮影記録品質入力部、
１１４…明るさ／色合い測定部、
１１５…操作性入力部、
１１６…残量情報取得部、
１１７…撮影記録条件決定部、
１１８…撮影画像の明るさや色合いに影響を与える撮影パラメータ、
１１９…撮影画像のノイズに影響を与える撮影パラメータ１１９、
１２０…撮像画像のボケやブレに影響を与える撮影パラメータ、
１２１…撮影時の操作性に影響を与える撮影パラメータ、
１２２…撮影画像を記録する際の解像度や圧縮率、
１２３…撮影記録部。

Claims (21)

1. 撮像素子による撮像領域を複数の部分領域に分割し、この複数の部分領域の中から指定された部分領域の画像データに基づいて、被写体の部分的な複雑度または繊細度を判定する判定手段と、
   撮影指示の待機中において、前記部分領域を順次変更しながら前記判定手段による判定を行い、逐次得られる被写体の部分的な複雑度または繊細度に基づいて、被写体全体の複雑度または繊細度を逐次更新する更新手段と、
   撮影指示がなされた際に、前記更新手段により更新されている複雑度または繊細度に基づいて撮影パラメータを決定する決定手段と、
   を具備したことを特徴とするカメラ装置。
2. ある時点における複雑度または繊細度が、前記時点よりも以前に獲得された複雑度または繊細度と比べて上位にランクされるか否かの判断を行い、この判断結果に基づいて複雑度または繊細度についての順位情報を生成することを特徴とする請求項１記載のカメラ装置。
3. 前記比較により上位にランクされると判断された場合には、複雑度または繊細度の判定を所定量だけスキップして実行することを特徴とする請求項２記載のカメラ装置。
4. 現画像における第１の部分領域から複雑度または繊細度の算出を開始して、第ｎ（ｎ：自然数）の部分領域まで複雑度または繊細度が算出された時点で次画像が撮像された場合には、複雑度または繊細度を算出すべき次の部分領域を次画像の第（ｎ＋１）の部分領域に移行することを特徴とする請求項１から３のいずれか１つに記載のカメラ装置。
5. 所定枚数よりも以前の画像については前記複雑度または繊細度についての順位情報に含めないことを特徴とする請求項４記載のカメラ装置。
6. 前記順位情報の上位にランクされている所定数の複雑度または繊細度の平均値を被写体全体の複雑度とすることを特徴とする請求項２から５のいずれか１つに記載のカメラ装置。
7. 撮像素子より空間的に連続する複数の画素データを取得する取得手段と、
   前記取得手段により得られた各画素データを空間的に連続する順に並べた場合に、画素データの値が連続的に増加または減少している各区間における増加値または減少値の絶対値を加算する加算手段と、
   前記加算手段により加算して求められた値を、撮像素子より撮像された被写体の複雑度または繊細度とし、この複雑度または繊細度に基づいて撮影パラメータを決定する決定手段と、
   を具備したことを特徴とするカメラ装置。
8. 前記加算手段はさらに、各区間における増加値または減少値の絶対値を加算する際に、所定値以上大きな絶対値を有する区間の影響を所定値に抑えるように、加算される各絶対値に対して所定の演算を施すことを特徴とする請求項７に記載のカメラ装置。
9. 前記所定の演算は対数演算かあるいは所定以上大きな絶対値を切り捨てる演算であることを特徴とする請求項８に記載のカメラ装置。
10. 撮像領域を複数のライン領域に分割し、この分割されたライン領域ごとに被写体の複雑度または繊細度を判定することを特徴とする請求項１から９のいずれか１つに記載のカメラ装置。
11. 被写体の複雑度または繊細度の判別を、撮像領域の走査方向毎あるいは対象色毎に行うことを特徴とする請求項１から１０のいずれか１つに記載のカメラ装置。
12. 被写体を撮像する場合におけるフォーカスを固定した状態において、撮像素子より得られた画像データに基づいて、被写体における複雑度が高い部分を特定する特定手段と、
    前記特定手段により特定された部分を対象としてフォーカスを合わせるフォーカス手段と、
    前記フォーカス手段により前記特定部分がフォーカスされた状態において、前記特定部分の繊細度を判定する判定手段と、
    を具備したことを特徴とするカメラ装置。
13. 前記特定部分が複数である場合に、各特定部分における最大コントラスト値の平均値を繊細度とすることを特徴とする請求項１２に記載のカメラ装置。
14. 請求項１から６の判定手段は、請求項７から１１の加算手段による加算によって求められた値に基づいて、被写体の複雑度または繊細度を判定することを特徴とするカメラ装置。
15. 請求項１から６の判定手段は、請求項１２から１４の判定手段による判定結果を被写体の繊細度とすることを特徴とするカメラ装置。
16. 撮像素子による撮像領域を複数の部分領域に分割し、この複数の部分領域の中から指定された部分領域の画像データに基づいて、被写体の部分的な複雑度または繊細度を判定する判定ステップと、
    撮影指示の待機中において、前記部分領域を順次変更しながら前記判定ステップによる判定を行い、逐次得られる被写体の部分的な複雑度または繊細度に基づいて、被写体全体の複雑度または繊細度を逐次更新する更新ステップと、
    撮影指示がなされた際に、前記更新ステップにおいて更新されている複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、
    を具備したことを特徴とする撮像方法。
17. 撮像素子より空間的に連続する複数の画素データを取得する取得ステップと、
    前記取得ステップにおいて得られた各画素データを空間的に連続する順に並べた場合に、画素データの値が連続的に増加または減少している各区間における増加値または減少値の絶対値を加算する加算ステップと、
    前記加算ステップにおいて求められた値を、撮像素子より撮像された被写体の複雑度または繊細度とし、この複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、
    を具備したことを特徴とする撮像方法。
18. 被写体を撮像する場合におけるフォーカスを固定した状態において、撮像素子より得られた画像データに基づいて、被写体における複雑度が高い部分を特定する特定ステップと、
    前記特定ステップにおいて特定された部分を対象としてフォーカスを合わせるフォーカスステップと、
    前記フォーカスステップにおいて前記特定部分がフォーカスされた状態において、前記特定部分の繊細度を判定する判定ステップと、
    を具備したことを特徴とする撮像方法。
19. コンピュータに、
    撮像素子による撮像領域を複数の部分領域に分割し、この複数の部分領域の中から指定された部分領域の画像データに基づいて、被写体の部分的な複雑度または繊細度を判定する判定ステップと、
    撮影指示の待機中において、前記部分領域を順次変更しながら前記判定ステップによる判定を行い、逐次得られる被写体の部分的な複雑度または繊細度に基づいて、被写体全体の複雑度または繊細度を逐次更新する更新ステップと、
    撮影指示がなされた際に、前記更新ステップにおいて更新されている複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、を実行させるための撮像プログラム。
20. コンピュータに、
    撮像素子より空間的に連続する複数の画素データを取得する取得ステップと、
    前記取得ステップにおいて得られた各画素データを空間的に連続する順に並べた場合に、画素データの値が連続的に増加または減少している各区間における増加値または減少値の絶対値を加算する加算ステップと、
    前記加算ステップにおいて求められた値を、撮像素子より撮像された被写体の複雑度または繊細度として、この複雑度または繊細度に基づいて撮影パラメータを決定する決定ステップと、を実行させるための撮像プログラム。
21. コンピュータに、
    被写体を撮像する場合におけるフォーカスを固定した状態において、撮像素子より得られた画像データに基づいて、被写体における複雑度が高い部分を特定する特定ステップと、
    前記特定ステップにおいて特定された部分を対象としてフォーカスを合わせるフォーカスステップと、
    前記フォーカスステップにおいて前記特定部分がフォーカスされた状態において、前記特定部分の繊細度を判定する判定ステップと、を実行させるための撮像プログラム。

Images