JP2005223657A - デジタルカメラ - Google Patents

Abstract

【課題】本発明においては新たな動作シーケンスを取り入れることによりこれまでの被写体識別機能を持ったカメラにおいては達成されていなかった、従来からのカメラの動作に近い使い勝手の良い被写体識別機能を備えたデジタルカメラを提供することを目的とする。
【解決手段】被写体を撮影する撮像手段と、表示画面を変倍するズーム手段と、所定の特徴部位を抽出する抽出手段と、ズーム手段の変倍に応じて、抽出した特徴部位を表示画面に表示をしないように制御する制御手段とを備えた。すなわち、ズーム動作中は抽出結果のアイコン表示をしないようにしたので、画面内で撮影被写体が高速に移動したり大きさが変わったりしてアイコン表示が撮影被写体と一致しないという不適切な表示を防止することができる。
【選択図】 図１

Description

本発明は、人物の特徴点を識別し、その識別結果に応じて合焦や露出動作をするデジタルカメラに関する。

従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平９−２５１５３４号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平１０−２３２９３４号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。

特開２００１−２０１７７９号公報には予めカメラの使用者を参照情報として登録しておき、カメラ使用者がカメラを自分の顔に向けて撮影することで入力した識別情報と一致した場合にのみカメラ動作を可能とするカメラが開示されている。特開２００１−３０９２２５号公報には顔認識アルゴリズムにより認識された顔の座標、寸法、目の位置、頭のポーズ等のデータが画像メモリに画像データとともに記録されるカメラが開示されている。特開２００１−３２６８４１号公報には予め正規の使用者を識別するための識別情報（顔、指紋、掌紋）を記憶しておく画像撮像装置（デジタルカメラ）が開示されている。特開２００２−２３２７６１号公報には撮影した画像に予め読み込んでおいた被写体の識別情報を関連付けて記録する画像記録装置が開示されている。特開２００２−３３３６５２号公報には予め記憶された容貌情報と撮影顔情報を比較し記録信号を発生する撮影装置が開示されている。この容貌情報は優先度とともに記録される。

上述した被写体を識別する技術をデジタルカメラに応用するという種々の発明は、従来から被写体取り込み用の撮像装置を含む大規模なコンピュータシステムで実施されていた技術をデジタルカメラ単独で実施するようにしたものである。しかしながら、実際にデジタルカメラ単独で被写体の識別技術を利用して撮影を行おうとすると従来にないデジタルカメラとしての動作シーケンスが必要となってくる。

本発明においてはデジタルカメラに新たな動作シーケンスを取り入れることにより、こ
れまで開示されていた被写体識別機能を持ったカメラシステムにおいては達成されていなかった、従来からのカメラの動作により近い、使い勝手の良い被写体識別機能を備えたデジタルカメラを提供することを目的とする。

上記問題点の解決のために、請求項１の発明は、被写体を撮影する撮像手段と、前記撮像手段が撮影した画像データを表示画面に表示する表示手段と、前記表示画面を変倍するズーム手段と、前記撮像手段が撮影した画像データから所定の特徴部位を抽出する抽出手段と、前記抽出手段によって抽出された特徴部位を所定の表示形態で前記表示手段に表示するように指示する指示手段と、前記ズーム手段の変倍に応じて、前記指示手段による前記表示手段への表示をしないように制御する制御手段とを備えたことを特徴としている。すなわち、ズーム動作中は抽出結果のアイコン表示をしないようにしたので、画面内で撮影被写体が高速に移動したり大きさが変わったりしてアイコン表示が撮影被写体と一致し
ないという不適切な表示を防止することができる。

請求項２の発明は、被写体を撮影する撮像手段と、前記撮像手段が撮影した画像データを表示画面に表示する表示手段と、前記表示画面を変倍するズーム手段と、前記撮像手段が撮影した画像データから所定の特徴部位を抽出する抽出手段と、前記ズーム手段の変倍に応じて、前記抽出手段に対して前記所定の特徴部位の抽出をしないように制御する制御手段とを備えたことを特徴としている。これによりズーム動作中は特徴点の抽出動作自体を停止したのでその分、他のＡＦやＡＥのための演算サイクルを早くすることができる。請求項３の発明は、更に、前記抽出手段によって抽出された特徴部位を所定の表示形態で前記表示手段に表示するように指示する指示手段とを備え、前記制御手段は更に、前記ズーム手段の変倍に応じて、前記指示手段による前記表示手段への表示をしないように制御することを特徴としていて、抽出動作停止に伴ってアイコン表示も停止している。

請求項４の発明は、前記ズーム手段とは前記撮像手段の撮像倍率を光学的に変倍する光
学的ズーム手段であることを特徴とし、請求項５の発明は、前記ズーム手段とは前記表示画面を電気的に変倍する電子ズーム手段であることを特徴としている。請求項６の発明は、前記制御手段は前記ズーム手段が前記表示画面を変倍している期間、前記指示手段による表示をしないように制御することを特徴とする。すなわち、ズーム動作している期間のみアイコン表示しないようにしている。

請求項７の発明は、被写体を撮影する撮像レンズを備えた撮像手段と、前記撮像レンズの焦点距離を可変するズーム手段と、前記ズーム手段により変更された前記撮像レンズの焦点距離に関する情報を検出する検出手段と、前記撮像手段が撮影した画像データ内の所定の抽出エリアから所定の特徴部位を抽出する抽出手段と、前記検出手段によって検出された前記焦点距離に関する情報に応じて特徴部位の大きさを予測する予測手段とを備えたことを特徴としている。すなわち、ズームレンズの焦点距離の変化に基づいて特徴点の大きさを予測することができるので、その結果、特徴点を抽出するエリアを効果的に決定することができる。

請求項８の発明は、更に、前記ズーム手段を駆動するよう指示する指示手段と、前記指
示手段が指示する以前に前記抽出手段が抽出した特徴点の大きさを記憶する記憶手段とを備え、前記予測手段は、前記指示手段により前記撮像レンズが駆動を開始する直前及び駆動を終了した直後の前記検出手段が検出した前記撮像レンズのそれぞれの焦点距離に関する情報と前記記憶手段に記憶されている特徴部位の大きさとから前記指示手段により前記撮像レンズが駆動を終了した時点での特徴部位の大きさを予測することを特徴としている。すなわち、ズームレンズの移動前後の焦点距離に基づいて移動終了時の特徴点の大きさを予測することができる。請求項９の発明は、更に、前記指示手段によって前記撮像レンズが駆動されている期間、前記抽出手段に対して前記所定の特徴部位の抽出をしないように制御する制御手段を備えることを特徴としているのでズーム動作中は特徴点の抽出を停止することができる。

請求項１０の発明は、更に、予め設定された抽出エリア内から前記抽出手段が所定の特
徴点を抽出して以降は前記所定の特徴点を含む所定範囲を抽出エリアとして設定する設定手段を備えることを特徴としている。すなわち一旦所定の特徴点を抽出して以降はその特徴点を含むより狭い範囲を抽出エリアとして設定することで特徴点抽出を迅速に行うことができる。請求項１１の発明は、前記設定手段は前記指示手段が前記ズーム手段をズームダウンするよう指示した場合には前記ズーム手段による駆動終了直後の抽出エリアをズーム手段駆動前の抽出エリアと同一のエリアに設定することを特徴としている。すなわち、ズームダウンした場合は被写体の大きさが小さくなると共に移動方向も不明であるのでズーム前と同一エリアに設定することで被写体が抽出エリアから外れることを防止すること
ができる。

請求項１２の発明は、更に、前記予測手段が予測した特徴部位の大きさに基づいて前記
抽出エリアの大きさを設定する設定手段を備えることを特徴としている。請求項１３の発明は、前記設定手段は更に、前記抽出エリアを撮影画面中央部に設定することを特徴としている。これはズームアップ後には被写体が画面中央部に来ることが多いからである。

請求項１４の発明は、被写体を撮影する撮像レンズを備えた撮像手段と、前記撮像レンズの焦点距離を変倍するズーム手段と、前記撮像手段が撮影した画像データ内の所定エリア内から所定の特徴部位を抽出する抽出手段と、前記ズーム手段の変倍に応じて前記所定エリアを選択する選択手段とを備えたことを特徴としている。これによってズーム動作中に最適の抽出エリアを設定することができる。請求項１５の発明は、前記選択手段は前記ズーム手段により前記撮像レンズの焦点距離が変倍のための動作をしている期間においては前記変倍のための動作をしていないときに選択していたエリアより狭いエリアを選択することを特徴としているので、ズーム動作中はそれまでより狭い抽出エリアから抽出することで抽出時間を短縮することができる。

請求項１６の発明は、前記選択手段は更に前記撮影画面の中心近傍のエリアを選択する
ことを特徴としている。すなわち、ズーム動作時は画面中心の固定のエリアを使用することで抽出時間を短縮することができる。請求項１７の発明は、更に、前記抽出手段が抽出した特徴部位に対応した被写体を識別する識別手段を備え、前記選択手段は前記ズーム手段により前記撮像レンズの焦点距離が変倍のための動作をしている期間は前記識別手段が識別した被写体を含む所定範囲のエリアを選択することを特徴としているので抽出時間を短縮することができる。

以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。撮影レンズ１０１はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカスレンズから構成されている。これらのレンズはドライバ１１３により駆動される。ここでドライバ１１３はズームレンズのズーム駆動機構及びその駆動回路と、フォーカスレンズのフォーカス駆動機構及びその駆動回路とを備えていて、それぞれＣＰＵ１１２により制御される。撮影レンズ１０１は撮像素子１０３の撮像面上に被写体像を結像する。撮像素子１０３は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、ＣＣＤ型やＭＯＳ型の固体撮像素子が用いられる。撮像素子１０３は信号取り出しのタイミングをコントロールするドライバ１１５により駆動される。撮影レンズ１０１と撮像素子１０３との間には絞り１０２が設けられている。絞り１０２は、絞り機構とその駆動回路を備えたドライバ１１４により駆動される。固体撮像素子１０３からの撮像信号はアナログ信号処理回路１０４に入力され、アナログ信号処理回路１０４において相関二重サンプリング処理（ＣＤＳ）等の処理が行われる。アナログ信号処理回路１０４で処理された撮像信号は、Ａ／Ｄ変換器１３５によりアナログ信号からデジタル信号に変換される。

Ａ／Ｄ変換された信号はデジタル信号処理回路１０６において輪郭強調、ガンマ補正、ホワイトバランス補正などの種々の画像処理が施される。バッファメモリ１０５は撮像素子１０３で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、Ａ／Ｄ変換された信号は一旦このバッファメモリ１０５に記憶される。デジタル信号処理回路１０６ではバッファメモリ１０５に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ１０５に記憶される。ＣＰＵ１１２はデジタル信号処理回路１０６およびドライバ１１３〜１１５等と接続され、カメラが動作する際のシーケンス制御を行う。ＣＰＵ１１２のＡＥ演算部１１２１では撮像素子からの
画像信号に基づいて露出演算を行い、ＡＷＢ演算部１１２２ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部１１２３では所定のアルゴリズムに則って画像データの中から被写体の形状、位置、サイズ等の特徴点を抽出し、抽出結果を記憶部１１２５に記憶する。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録することができる。検出器１２１はフォーカスレンズ位置やズームレンズ位置を検出する。

本実施例におけるデジタルカメラのＡＦ方式は周知のコントラスト法を採用している。このコントラスト方式ＡＦについてここで簡単に説明する。この方式においては、撮像素子１０３上の像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストが最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、ＡＦ演算部１１２４は不図示のＢＰＦ（バンドパスフィルタ）により撮像信号の高周波成分を抽出し、この絶対値を積分した値を焦点評価値としてこの焦点評価値に基づいてＡＦ演算を行う。ＣＰＵ１１２はＡＦ演算部１１２４の演算結果を用いて撮影レンズ１０１のフォーカスレンズ位置を調整し、合焦動作を行わせる。

ＣＰＵ１１２に接続された操作部材１１６には、カメラの電源をオンオフする電源スイッチ１１６１、レリーズ釦に連動してオンオフする半押しスイッチ１１６２及び全押しスイッチ１１６３、デジタルカメラで撮影する際、モニタ１０９上に表示される各種メニュー内容を選択したり設定したりするための設定釦１１６４、再生画像等を更新するアップダウン（以降Ｕ／Ｄと表示する）釦１１６５等が設けられている。設定釦１１６４では抽出した特徴点に対して名称を付けるためにＵ／Ｄ釦１１６５を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。Ｕ／Ｄ釦１１６５はこのほか複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動したりするためにも使用される。

被写体輝度が低い場合にはストロボ１１７を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減するために撮影前に予め補助光を発光するプリ発光機能が備わっている。このプリ発光は低輝度時発光して被写体輝度を測定するためにも使用される。記憶部１１２５には前述した特徴点情報以外にＡＦ演算部１１２４で演算された評価値のピーク値や対応するフォーカスレンズ位置等も記憶される。デジタル信号処理回路１０６で各種処理が施された画像データは、一旦バッファメモリ１０５に記憶された後に、記録・再生信号処理回路１１０を介してメモリカード等の外部記憶媒体１１１に記録される。画像データを外部記憶媒体１１１に記録する際には、一般的に所定の圧縮形式、例えば、ＪＰＥＧ方式でデータ圧縮が行われる。記録・再生信号処理回路１１０では、画像データを外部記憶媒体１１１に記録する際のデータ圧縮及び外部記憶媒体１１１から再生した圧縮された画像データの伸長処理を行う。

モニタ１０９は撮像された被写体画像を表示したり撮影や再生させる際の各種の設定メニューを表示したりするための液晶（ＬＣＤ）表示装置である。ここでは外部記憶媒体１１１に記録されている画像データを再生表示する際にも用いられる。モニタ１０９に画像を表示する場合には、バッファメモリ１０５の一部であるＶＲＡＭ１０７に記憶された画像データを読み出し、Ｄ／Ａ変換器１０８によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ１０９に画像を表示する。

ここで、特徴点を抽出する際のバッファメモリ１０５とＶＲＡＭ１０７との関係について説明する。モニタ１０９で動画表示用の画像データを表示する場合は、静止画用の画像データから動画表示用の画像データに間引かれたデータが撮像素子１０３から一定の周期（例えば３０フレーム/秒）で連続して出力される。この画像データに所定の処理を施し
、モニタ１０９の縦横画素数に対応した画素数となるように更にデータを間引いてＶＲＡＭ１０７に連続して記録する。このＶＲＡＭ１０７のデータはＤ／Ａ変換器１０８を通してモニタ１０９に動画像として表示される。このＶＲＡＭ１０７の画像データは特徴点を抽出するためのデータとしても使用する。特徴点を抽出する場合には、まずＶＲＡＭ１０７の画像データをバッファメモリ１０５に所定のタイミングで再度記録する。ここでバッファメモリ１０５にはＶＲＡＭ１０７に記録されているデータのうち中心部の所定の範囲（たとえばＬＣＤモニタ１０９の表示画面の縦、横ともに８０％に相当する範囲）のみ記録する。

また、このようにＶＲＡＭ１０７から再度バッファメモリ１０５に画像データを記録す
るのは次の理由による。ＣＰＵ１１２の演算処理能力が十分高かったならば前述した３０フレーム/秒のレートで特徴点を抽出することができる。通常、デジタルカメラに採用さ
れているＣＰＵ１１２の演算能力はそこまで高くないことが多い。それ故、ＣＰＵ１１２の演算能力に応じて特徴点抽出演算にあったレート（例えば１０フレーム/秒）でＶＲＡ
Ｍ１０７からバッファメモリ１０５に画像データを再度記録することで特徴点を抽出する事が可能となる。なお、その場合であってももちろんＶＲＡＭ１０５からは通常のレートでモニタ１０９表示用画像データが出力されているのでモニタ画面の表示更新のレートが遅くなることはない。なお、ＡＥ演算、ＡＦ演算にあたっては、上述したＶＲＡＭ１０７に記録されている特徴点抽出用に使用する、１０フレーム／秒のレートに間引かれた画像データを使用するのでなく、撮像素子１０３から３０フレーム／秒のレートで出力される動画表示用に間引いた画像データを使用する。

従来、女性やお年寄りが使用できるような比較的安価なコンシューマタイプのデジタル
カメラにおいてはこの特徴点抽出機能を備えたものはまだ実現されていない。一方、このような特徴点抽出機能を備えることで使用者に新たな使用形態に基づいた撮影方法を提供することが可能となる。その際、従来のカメラとの使用勝手の違いはできるだけ小さくする方が好ましい。前述した特徴点抽出演算部１１２３はデジタルカメラの動作に応じて、最適な動作をするようになっている。第１、第２の実施例ではデジタルカメラに備わっている様々な撮影機能の中から、ズームレンズを動作させた場合の抽出動作について説明する。第３の実施例では選択したＡＦ方式に応じた抽出動作について説明する。

まず始めにズームレンズを動作させた第１の実施例の場合について図２、図３を使用し
て説明する。通常、ズームレンズを動作させると表示画面内の被写体の大きさが急激に変化する。その結果、仮に特徴点の抽出結果を表示させたとしてもその表示位置と実際の被写体表示位置とがずれてしまって、使用者には違和感を生じさせることとなる。それ故、本実施例ではズームレンズが動作している間は抽出動作を行わないか或いは抽出結果を表示しないようにすることでこれを防止している。図２、図３はズームレンズ動作中は抽出動作を停止させると共にズーム動作終了と同時にズーム動作開始時に抽出していた被写体の大きさを予測して、被写体の特徴点抽出エリアを設定するシーケンスを説明するフローである。これにより抽出動作を再開したときの特徴点抽出に要する処理時間を短縮することが可能となり、その結果を使用したＡＦ動作やＡＥ動作を迅速に行うことができる。

図２ステップＳ１０１でデジタルカメラの電源がオンされたならばステップＳ１０２でＣＰＵ１１２は特徴点を抽出して抽出結果をモニタ１０９に表示するための抽出モードに設定されているかどうか判別する。この抽出モードの設定方法としては、一例として、設定釦１１６４を操作して表示させた撮影モードから抽出モードを選択する。抽出モードに設定されていた場合にはステップＳ１０５に進み、抽出モードに設定されていなかったならばステップＳ１０３に進む。ステップＳ１０３ではズーム指示がされたかどうか判別する。もしされていなかったならば図３ステップＳ１１６に進み、ズーム指示されていたならばステップＳ１０４に進む。ステップＳ１０４ではズーム指示が終了したかどうか判別
しもし終了していなかったならばステップＳ１０３に戻って抽出モードに設定されていない場合の通常のズーム動作を繰り返す。ステップＳ１０４でズーム指示が終了したと判別したならば図３ステップＳ１１６に進む。

ステップＳ１０２で抽出モードに設定されていると判別した場合にはステップＳ１０５
に進み、ここでは特徴点抽出演算部１１２３によって特徴点抽出を行い、抽出された特徴点をアイコン表示でモニタ１０９に撮影画像と共に重畳表示する。図９にこの表示例を示す。図９において画面内にいる３名の人物の内、一名は遠方のため抽出できず左側の２名について抽出されたことを破線或いは実線のアイコン表示がそれぞれの顔に重畳表示されている。このうち実線のアイコン表示が現在、主要被写体として選択されていることを示している。この主要被写体はモニタ１０９上に表示される主要被写体変更用のメニュー表示を選択後、Ｕ／Ｄ釦１１６５によって変更することができる（不図示）。ステップＳ１０６では使用者によってズーム指示がされたかどうか判別する。このズーム指示は使用者が操作部材１１６の内から、Ｕ／Ｄ釦１１６５を使ってテレ或いはワイド操作することで行われる。ここで、もしもＵ／Ｄ釦１１６５が上下、左右４つの接点を備えた十字キータイプのものであったならば左右の接点をズームレンズのテレ／ワイドの操作用に、上下の接点を前述した主要被写体の選択用にすることでズーム及び主要被写体選択の操作を容易にすることができる。

もしズーム指示されていなかったならば図３ステップＳ１１６に進み、ズーム指示され
たと判別されたならばステップＳ１０７に進む。ステップＳ１０７ではズーム指示される直前に抽出された主要被写体に対応した特徴点の大きさと位置及び検出器１２１で検出した移動直前のズームレンズ位置とを記憶部１１２５に記憶する。ステップＳ１０８では特徴点抽出演算部１１２３にたいして抽出動作を停止するよう指示すると共に図９で示したモニタ１０９上のアイコン表示を行わないようにする。ステップＳ１０９ではズーム操作が終了したかどうか判別し、もし終了していなかったならばステップＳ１０８に戻り、終了したならば図３ステップＳ１１０に進む。

ステップＳ１１０では今行われたズーム動作がズームアップであったかどうか判別する
。もしアップでなかったならばステップＳ１１１に進み、アップだったならばステップＳ１１２に進む。ステップＳ１１１ではズーム動作前と同一の抽出用エリアを設定する。被写体が移動せず、さらに撮影者がデジタルカメラを動かさない場合にはズームダウンした後の位置はズームダウン前の位置情報から予測することが可能である。しかしながら撮影者はズームダウンと同時に撮影方向も移動させることが多く、ズームダウン後の被写体位置がどこになるか不明であるからである。ステップＳ１１２ではズームアップ後の被写体の大きさを予測する。予測方法の一例を次に述べる。まず、検出器１２１によって検出され記憶部１１２５に記憶されていたズーム動作開始時点でのズームレンズ位置に基づく焦点距離ｆ１とズーム動作終了時点での検出器１２１によって検出されたズームレンズ位置に基づく焦点距離ｆ２とを判別する。これらの値と、記憶部１１２５に記憶されていたズーム開始直前の被写体の大きさ（例えば被写体の高さをＨ１とする）とからズーム動作終了時の被写体の予測大きさ（例えば予測被写体高さをＨ２とする）は、Ｈ２＝（ｆ２／ｆ１）×Ｈ１となる。

ステップＳ１１３ではこの演算結果に基づいて被写体を抽出するためのエリアの大きさ
と抽出位置を設定する。この場合の抽出エリアは、先に演算して求めた被写体の予測大きさに対して縦横それぞれ５０％程度広いエリアを画面中央部に設定する。ズームダウンの場合と同様に、被写体が移動せず、さらに撮影者がデジタルカメラを動かさない場合にはズームアップした後の位置はズーム前の位置情報から予測することが可能である。この時、撮影者はズームアップと同時に撮影方向も移動させることが多い。しかしながらズームアップの場合にはズームダウンの場合と異なり、主要被写体を画面中央部に持ってくる場
合が多い。それ故、被写体がいると思われる画面中央部近傍のみを抽出エリアとすることで特徴点抽出に要する時間が短縮される。このときもし主要被写体の特徴点が抽出されなかったならば直ちに特徴点抽出を開始した時に初期初期設定されていた抽出エリアに設定すればよい。

ステップＳ１１４では設定されたそれぞれの抽出エリアに対して特徴点を抽出し、ステ
ップＳ１１５で抽出結果を被写体画像に重畳して表示する。ステップＳ１１６では半押しスイッチ１１６２が押された後、更に全押しＳＷ１１６３が押されることによって撮影開始指示がされたかどうか判別する。もし指示されていなかったならばステップＳ１１８に進み、指示されたならばステップＳ１１７で被写体を撮影してステップＳ１１８に進む。ステップＳ１１８では撮影が終了したかどうか判別する。撮影終了とは電源ＳＷ１１６１がオフされた場合、或いは再生モード等に設定された場合である。もし撮影が終了したならば本シーケンスを終了し、撮影終了していなかったならばステップＳ１０２に戻る。なお、ステップＳ１０８において抽出動作自体は停止しないで、アイコン表示のみ表示しないようにしてもよい。その場合は、抽出演算をしている時間が加わるのでもしズーム時にもＡＥやＡＦ等の処理をしていたとしたらそれらの処理のサイクルが延びることとなるが、ズーム時の各種画像処理シーケンスをズーム動作しない場合と同じにすることができるのでズーム時のシーケンスが複雑になることがない。

ここまで述べた図２、図３においては特徴点を抽出しない或いは抽出した特徴点を表示
しない場合について説明したが、次に、第２実施例として、図４を使ってズーム動作中であっても抽出を停止することはせず、抽出エリアを狭くする事で特徴点の抽出をより迅速に行う方法について説明する。ステップＳ２０１でデジタルカメラの電源がオンされたならばステップＳ２０２で特徴点の抽出モードに設定されているかどうか判別する。もし特徴点抽出モードに設定されていなかったならばステップＳ２０３に進み、設定されていたならばステップＳ２０５に進む。ステップＳ２０３ではズーム指示がされたかどうか判別する。もしされていなかったならばステップＳ２１１に進み、ズーム指示されていたならばステップＳ２０４に進む。ステップＳ２０４ではズーム指示が終了したかどうか判別し、もし終了していなかったならばステップＳ２０３に戻って抽出モードに設定されていない場合の通常のズーム動作を繰り返す。ステップＳ２０４でズーム指示が終了したと判別したならばステップＳ２１１に進む。

ステップＳ２０２で抽出モードに設定されていたならばステップＳ２０５でズーム指示
がされたかどうか判別する。もしズーム指示されていないと判別されたならばステップＳ２０６に進んで、前述したように特徴点抽出用として初期設定されている撮影画面内の縦横それぞれ８０％のエリアを選択してステップＳ２０７でこのエリア内から被写体の特徴点を抽出し、ＬＣＤモニタ１０９上に被写体画像に特徴点或いは特徴点に対応したアイコンを重畳して表示する。ここではこのエリアを第１エリアとしている。ステップＳ２０５でズーム指示がされたと判別されたならばステップＳ２０８に進んでズーム指示がされる以前に抽出された主要被写体を中心とした所定範囲の抽出エリアを選択してステップＳ２０９でこのエリア内から被写体の特徴点を抽出し、ＬＣＤモニタ１０９上に被写体画像に特徴点或いは特徴点に対応したアイコンを重畳して表示する。ここではこのエリアを第２エリアとしている。図１０にＬＣＤモニタ１０９の表示画面内でのこれら第１エリア及び第２エリアの表示例を示す。図１０において一点鎖線で囲まれたエリアが第１エリアで、破線で囲まれたエリアが第２エリアを示している。この第２エリアの大きさとしては検出された特徴点の大きさに対して縦横それぞれ５０〜１００％程度長さが大きいエリアを設定する。これらのエリア表示は常時表示していなくともよい。ステップＳ２１０ではズーム指示が終了したかどうか判別する。もしズーム指示が終了していなかったならばステップＳ２０８に戻り、終了していたならばステップＳ２１１に進む。

ステップＳ２１１では、半押しＳＷ１１６２更に全押しＳＷ１１６３が押され撮影開始
指示がされたかどうか判別する。もし指示されていなかったならばステップＳ２１３に進み、されたならばステップＳ２１２に進む。ステップＳ２１２では被写体撮影を行ってステップＳ２１３に進む。ステップＳ２１３では撮影が終了したかどうか判別し、終了していなかったならばステップＳ２０２に戻り終了したならば本シーケンスを終了する。この様に抽出エリアを狭くすることで抽出演算に要する時間を短縮してズーム中でも被写体変化に追従して抽出結果を表示させることができる。

次に第３、第４実施例として、図５〜図８を使用して撮影以前の段階での特徴点を抽出
するシーケンスについて説明する。この実施例においても、抽出動作や抽出結果の表示形態が従来カメラにおける撮影以前の使用勝手と違和感がないように設定されている。第３実施例を説明するための図５、図６は主として一眼レフ方式でないコンシューマタイプのデジタルカメラにおける動作フローである。このタイプのデジタルカメラにおいては通常図１で説明した撮像光学系１０１、１０２とは異なった専用の光学ファインダ（不図示）を備えていて、この光学ファインダで被写体を確認すると共に撮像光学系１０１、１０２を経由して撮像素子１０３上に結像した被写体画像をＬＣＤモニタ１０９でも確認することができる。

図５ステップＳ３０１でデジタルカメラの電源がオンされたならばステップＳ３０２で測光演算する。ここでの測光演算は、中央部重点測光やマルチ測光等、使用者が選択した測光方式に応じて予め設定されている測光エリアを使用する。この測光エリアからの出力を使用してＡＥ演算部１２２１によって被写体輝度を測定する。ステップＳ３０３では特徴点抽出モードに設定されているかどうか判別する。もし設定されていなかったならばステップＳ３０６に進み、設定されていたならばステップＳ３０４に進む。ステップＳ３０４では所定の抽出エリア内から特徴点を抽出し、抽出結果をＬＣＤモニタ１０９上に撮影画像と重畳してアイコン表示する。ここで所定の抽出エリアとは例えば前述した画面内縦横のそれぞれ８０％のエリアである。抽出結果のアイコン表示例を図９に示す。ステップＳ３０５では図９で太い実線の四角で示されている主要被写体を含む所定エリアを測光及び測距エリアに設定する。ここでいう所定エリアとは例えば主要被写体を含む縦横それぞれ５０％広いエリアである。もちろん測光、測距いずれか片方のエリアのみを設定するようにしてもよい。ステップＳ３０６では使用者が予め選択していたＡＦエリアを設定する。

ステップＳ３０７ではＡＦモードの設定状態を判別する。ＡＦモードにはシングルＡＦ
（以降はＳ−ＡＦと記述する）とコンティニアスＡＦ（以降はＣ−ＡＦと記述する）の２種類のＡＦモードがあるのでまずそれについて説明する。Ｓ−ＡＦモードにおいては半押しＳＷ１１６２が押されている間のみＡＦ演算部１１２４で焦点評価値を演算し、その演算結果に基づいてフォーカスレンズを駆動するというサイクルを繰り返し、合焦したならばフォーカスレンズをその合焦位置に固定する（これをＡＦロックという）。Ｃ−ＡＦモードにおいてはデジタルカメラの電源がオンされて以降或いはＡＦモードがＣ−ＡＦモードに設定されて以降は合焦、非合焦にかかわらずＡＦ動作を繰り返し、半押しＳＷ１１６２が押されたならば押す直前の焦点評価値と押してから演算した焦点評価値とを比較する。その結果、焦点評価値の変化が所定範囲内だったならば合焦と判断して半押しＳＷ１１６２が押される前のフォーカスレンズ位置に固定し、所定範囲以上だったならばフォーカスレンズを移動して合焦位置にフォーカスレンズが達してからそのフォーカスレンズ位置を固定する（ＡＦロック）。このＡＦモードの設定は抽出モードの設定と同様に設定釦１１６４及びＵ／Ｄ釦１１６５を使用してＬＣＤモニタ１０９上のメニュー表示から選択して設定する（不図示）。

ステップＳ３０７でＳ−ＡＦモードに設定されていると判別されたならばステップＳ３
０８に進み、半押しＳＷ１１６２が押されたかどうか判別する。もし押されていなかったならば図６ステップＳ３２１に進み、押されたならばステップＳ３０９に進む。ステップＳ３０９ではステップＳ３０５或いはステップＳ３０６で設定された測距エリアからの出力を使用して測距し、その結果に基づいてレンズ駆動を行う。本実施例では前述したように、焦点評価値を演算しそれに基づいてフォーカスレンズを駆動する。ステップＳ３１０では測距と同様に設定されている測光エリアからの出力を使用して被写体輝度を測定する。ステップＳ３１１では合焦したかどうか判別する。この判別方法としては例えば、焦点評価値が所定値以上で且つ前回演算した焦点評価値との差分が所定値以内であったならば合焦と判断する。ステップＳ３１１で合焦していないと判別されたならばステップＳ３０８に戻ってこの合焦動作を半押しＳＷ１１６２が押されている限り合焦するまで繰り返す。このとき測光動作も繰り返される。ステップＳ３１１で合焦したと判別されたならば図６ステップＳ３１６に進む。

ステップＳ３０７でＡＦモードがＣ−ＡＦモードに設定されていると判別されたならば
図６ステップＳ３１２に進んでここで測距及びフォーカスレンズの駆動を行い、ステップＳ３１３で測光演算を行う。ステップＳ３１４では半押しＳＷ１１６２が押されたかどうか判別し、押されていないと判別されたならばステップＳ３２１に進む。このステップＳ３２１では撮影が終了したかどうか判別し、終了していなかったならば、半押しＳＷ１１６２が押されない限り特徴点抽出（ステップＳ３０４）、測距及びレンズ駆動（ステップＳ３１２）、測光（ステップＳ３１３）が繰り返される。ステップＳ３１４で半押しＳＷ１１６２が押されたと判別されたならばステップＳ３１５に進んで合焦したかどうか判別する。もし合焦していないと判別されたならばステップＳ３１２に戻って合焦動作を繰り返す。合焦したと判別されたならばステップＳ３１６に進む。

ステップＳ３１６では合焦位置にフォーカスレンズを固定（ＡＦロック）し、ステップ
Ｓ３１７では合焦時の測光結果を固定（これをＡＥロックという）する。ステップＳ３１８では全押しＳＷ１１６３が押されたかどうか判別する。もし押されていなかったならばステップＳ３１９に進んで引き続き半押しＳＷ１１６２が押されているかどうか判別する。もし半押しＳＷ１１６２が押され続けていたならばステップＳ３１８に戻り、半押しＳＷ１１６２が押されていなかったならばステップＳ３２１に進む。ステップＳ３１８で全押しスイッチが押されたならばステップＳ３２０に進んで被写体を撮影し、ステップＳ３２１に進む。ステップＳ３２１では撮影が終了したかどうか判別する。撮影の終了とは電源ＳＷ１１６１がオフされたりあるいはデジタルカメラの動作モードが被写体を撮影する撮影モードからメモリカード１１１に記録されている画像データをモニタ１０９上に再生する再生モードに設定が変更された場合等である。もし終了していなかったならば図５ステップＳ３０２に戻って設定されているＡＦモードや抽出モードに応じて抽出、測光、測距を繰り返す。

次に第４実施例として、主として一眼レフ方式のデジタルカメラにおける特徴点抽出に
ついて説明する。このタイプのデジタルカメラでは、撮影レンズを透過した光束を撮像素子の前面にあるクイックリターン式の反射ミラーで向きを変えて光学ファインダに導いている。それゆえ、記録用の画像データを出力する撮像素子においては撮影前は被写体からの光束が遮られてしまう。撮影画面をモニタ画面で確認するための撮像素子は通常備えてはいないので、撮影前には撮影画面をＬＣＤモニタには表示することはできない。図１１はこの一眼レフ方式デジタルカメラの主として反射ミラー周辺の構成を説明するための概略ブロック図である。ここで操作部材、各種信号処理回路等は図１の構成と同様であるので図では省略している。

図１１において２０１は撮像光学系であって図１と同様に撮像レンズ、絞り等から構成
されている。２０２はクイックリターン式の反射ミラーでこのミラーによって撮影前の被
写体からの光束は大部分９０゜上方に反射される。この反射光は全反射サブミラー２０３で再度方向が変えられファインダ光学系２０４へと進む。反射ミラー２０２の中心付近（全画面の縦横それぞれ８０％程度）はハーフミラーとなっていてここを透過した光束は第２の全反射サブミラー２０５で反射されＡＥ及びＡＦ演算するためのデータを出力する補助撮像素子２０６上で結像する。撮像素子２０７は記録するための被写体画像を結像するメインの撮像素子でこの撮像素子出力は信号処理回路２０８でアナログ及びデジタル処理されてメモリカードに記録される。ＬＣＤモニタ２０９は信号処理回路２０８内のバッファメモリ（不図示）に記録されている撮影画像データやメモリカード（不図示）に記録されている画像データを再生表示する。前述した補助撮像素子の出力も信号処理回路２０８に入力し、この信号を使用してＡＦ演算、ＡＥ演算および特徴点抽出を行う。ＡＦ演算、ＡＥ演算にはこの補助撮像素子２０６以外にそれぞれ別に専用のセンサを使用してもよい。クイックリターン式反射ミラー２０２およびサブミラー２０５は記録用画面を撮影する際にはそれぞれ図に破線で示したごとく移動し、被写体からの全光束がメインの撮像素子２０７に入力する。

図７、図８を使用してこの一眼レフ方式デジタルカメラの動作フローを説明する。図７
ステップＳ４０１でデジタルカメラの電源がオンされたならばステップＳ４０２で測光演算する。ここでの測光演算は図５ステップＳ３０２と同様である。ステップＳ４０３では半押しＳＷ１１６２がオンされたかどうか判別する。もしオンされていなかったならば図８ステップＳ４１７に進み、撮影が終了していない限り被写体の測光を繰り返す。もし半押しＳＷ１１６２が押されたならばステップＳ４０４に進んで特徴点抽出モードに設定されているかどうか判別する。もし抽出モードに設定されていなかったならばステップＳ４０７に進んで測距エリアを予め設定されている所定の測距エリアに設定する。ステップＳ４０４で抽出モードに設定されていたならばステップＳ４０５に進んで特徴点の抽出を行う。ステップＳ４０６では抽出被写体を含む所定エリアを測光及び測距エリアに設定する。ここでもステップＳ３０５と同様、例えば主要被写体を含む縦横それぞれ５０％広いエリアをそれぞれ測光及び測距エリアに設定する。

ステップＳ４０８では設定された測距エリアを使用して被写体までの測距を行いその測
距結果に基づいてフォーカスレンズを駆動する。この様に一眼レフ方式の場合には半押しＳＷ１１６２が押されて初めて被写体の抽出及び測距を行う。但し、半押し後に抽出を開始しその結果に基づいて測距していると合焦までの時間がかかってしまうので、被写体抽出についてはステップＳ４０２で測光する以前に行うようにしても良い。この様にすると、その後のステップＳ４０２でこの抽出されたエリアを測光エリアに設定することができるとともに、半押し後に直ちに測距を開始することができる。

ステップＳ４０９では設定された測光エリアを使用して測光演算を行う。図８ステップ
Ｓ４１０では被写体を測距するＡＦモードの設定状態を判別する。一眼レフ方式デジタルカメラのＡＦモードにおいてもＳ−ＡＦ、及びＣ−ＡＦモードがある。Ｓ−ＡＦモードの場合にはステップＳ４１２に進んで合焦しているかどうか判別する。もし合焦していなかったならば図７ステップＳ４０４に戻り、合焦していたならばステップＳ４１３に進む。ステップＳ４１３ではこの合焦位置に撮影レンズを固定する（ＡＦロック）と共に測光結果も固定する（ＡＥロック）。ステップＳ４１４では全押しＳＷ１１６３が押されたかどうか判別する。もし押されていなかったならばステップＳ４１５に進んで半押しＳＷ１１６２が押されているかどうか判別し、引き続いて半押しＳＷ１１６２が押されていたならばステップＳ４１４に戻る。ステップＳ４１５で半押しＳＷ１１６２が押されていなかったならばステップＳ４１８に進む。ステップＳ４１４で全押しＳＷ１１６３が押されたならばステップＳ４１６に進んで被写体の撮影を行う。

ステップＳ４１０でＡＦモードがＣ−ＡＦモードの場合にはステップＳ４１１に進みこ
こで全押しＳＷ１１６３が押されたかどうか判別する。もし押されていなかったならば図７ステップＳ４０３に戻り、押されていたならばステップＳ４１７に進む。ステップＳ４１７では合焦しているかどうか判別する。もし合焦していなかったならば図７ステップＳ４０３に戻り、合焦していたら図４１６に進んで被写体撮影を行う。この様に一眼レフタイプのカメラの場合はＣ−ＡＦにおいては半押しＳＷ１１６２が押されている間は合焦、非合焦に関係なくＡＦ動作を連続して行う。また、通常の一眼レフタイプのカメラにおいては合焦よりもレリーズが優先されることが多く、その場合にはこのフローの中で説明したステップＳ４１７は省略される。すなわち合焦、非合焦に関係なく全押しＳＷ１１６３が押されると直ちに撮影動作を開始する。ステップＳ４１８では撮影が終了したかどうか判別し、終了していなかったならばステップＳ４０２に戻り終了していたならばこのフローを終了する。

本発明によるデジタルカメラの構成を示すブロック図である。 本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。 本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。 本発明によるデジタルカメラの他の動作シーケンスを説明するフローチャートである。 本発明によるデジタルカメラの他の動作シーケンスを説明するフローチャートである。 本発明によるデジタルカメラの他の動作シーケンスを説明するフローチャートである。 本発明によるデジタルカメラの他の動作シーケンスを説明するフローチャートである。 本発明によるデジタルカメラの他の動作シーケンスを説明するフローチャートである。 抽出した特徴点に対してそれぞれ区別してアイコン表示している表示例である。 撮影画面内の抽出エリアを説明する図である。 本発明によるデジタルカメラの他の概略構造を説明する図である。

符号の説明

１０１ 撮影レンズ
１０２ 絞り
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ バッファメモリ
１０６ デジタル信号処理部
１０７ ＶＲＡＭ
１０８ Ｄ／Ａコンバータ
１０９ ＬＣＤモニタ
１１０ 記録・再生信号処理部
１１１ 外部記憶媒体
１１２ ＣＰＵ
１１３ レンズ駆動部
１１４ 絞り駆動部
１１５ 撮像素子駆動部
１１６ 操作部材
１１７ ストロボ
１２１ レンズ位置検出部
１３５ Ａ／Ｄコンバータ
１１２１ ＡＥ演算部
１１２２ ＡＷＢ演算部
１１２３ 特徴点抽出演算部
１１２４ ＡＦ演算部
１１２５ 記憶部
１１６１ 電源スイッチ
１１６２ 半押しスイッチ
１１６３ 全押しスイッチ
１１６４ 設定釦
１１６５ アップ／ダウン釦
２０１ 撮像光学系
２０２ 反射ミラー
２０３、２０５ 全反射サブミラー
２０４ ファインダ光学系
２０６ 補助撮像素子
２０７ メイン撮像素子
２０８ 信号処理回路
２０９ ＬＣＤモニタ

Claims (17)

1. 被写体を撮影する撮像手段と、
   前記撮像手段が撮影した画像データを表示画面に表示する表示手段と、
   前記表示画面を変倍するズーム手段と、
   前記撮像手段が撮影した画像データから所定の特徴部位を抽出する抽出手段と、
   前記抽出手段によって抽出された特徴部位を所定の表示形態で前記表示手段に表示する
   ように指示する指示手段と、
   前記ズーム手段の変倍に応じて、前記指示手段による前記表示手段への表示をしないよ
   うに制御する制御手段とを備えたことを特徴とするデジタルカメラ。
2. 被写体を撮影する撮像手段と、
   前記撮像手段が撮影した画像データを表示画面に表示する表示手段と、
   前記表示画面を変倍するズーム手段と、
   前記撮像手段が撮影した画像データから所定の特徴部位を抽出する抽出手段と、
   前記ズーム手段の変倍に応じて、前記抽出手段に対して前記所定の特徴部位の抽出をし
   ないように制御する制御手段とを備えたことを特徴とするデジタルカメラ。
3. 更に、前記抽出手段によって抽出された特徴部位を所定の表示形態で前記表示手段に表示するように指示する指示手段とを備え、
   前記制御手段は更に、前記ズーム手段の変倍に応じて、前記指示手段による前記表示手
   段への表示をしないように制御することを特徴とする請求項２に記載のデジタルカメラ。
4. 前記ズーム手段とは前記撮像手段の撮像倍率を光学的に変倍する光学的ズーム手段であることを特徴とする請求項１ないし請求項３のいずれかに記載のデジタルカメラ。
5. 前記ズーム手段とは前記表示画面を電気的に変倍する電子ズーム手段であることを特徴とする請求項１ないし請求項３のいずれかに記載のデジタルカメラ。
6. 前記制御手段は前記ズーム手段が前記表示画面を変倍している期間、前記指示手段による表示をしないように制御することを特徴とする請求項１ないし請求項３のいずれかに記載のデジタルカメラ。
7. 被写体を撮影する撮像レンズを備えた撮像手段と、
   前記撮像レンズの焦点距離を可変するズーム手段と、
   前記ズーム手段により変更された前記撮像レンズの焦点距離に関する情報を検出する検
   出手段と、
   前記撮像手段が撮影した画像データ内の所定の抽出エリアから所定の特徴部位を抽出す
   る抽出手段と、
   前記検出手段によって検出された前記焦点距離に関する情報に応じて特徴部位の大きさ
   を予測する予測手段とを備えたことを特徴とするデジタルカメラ。
8. 更に、前記ズーム手段を駆動するよう指示する指示手段と、
   前記指示手段が指示する以前に前記抽出手段が抽出した特徴点の大きさを記憶する記憶手段とを備え、
   前記予測手段は、前記指示手段により前記撮像レンズが駆動を開始する直前及び駆動を
   終了した直後の前記検出手段が検出した前記撮像レンズのそれぞれの焦点距離に関する情報と前記記憶手段に記憶されている特徴部位の大きさとから前記指示手段により前記撮像レンズが駆動を終了した時点での特徴部位の大きさを予測することを特徴とする請求項７に記載のデジタルカメラ。
9. 更に、前記指示手段によって前記撮像レンズが駆動されている期間、前記抽出手段に対して前記所定の特徴部位の抽出をしないように制御する制御手段を備えることを特徴とする請求項７に記載のデジタルカメラ。
10. 更に、予め設定された抽出エリア内から前記抽出手段が所定の特徴点を抽出して以降は前記所定の特徴点を含む所定範囲を抽出エリアとして設定する設定手段を備えることを特徴とする請求項７に記載のデジタルカメラ。
11. 前記設定手段は前記指示手段が前記ズーム手段をズームダウンするよう指示した場合には前記ズーム手段による駆動終了直後の抽出エリアをズーム手段駆動前の抽出エリアと同一のエリアに設定することを特徴とする請求項１０に記載のデジタルカメラ。
12. 更に、前記予測手段が予測した特徴部位の大きさに基づいて前記抽出エリアの大きさを設定する設定手段を備えることを特徴とする請求項７に記載のデジタルカメラ。
13. 前記設定手段は更に、前記抽出エリアを撮影画面中央部に設定することを特徴とする請求項１２に記載のデジタルカメラ。
14. 被写体を撮影する撮像レンズを備えた撮像手段と、
    前記撮像レンズの焦点距離を変倍するズーム手段と、
    前記撮像手段が撮影した画像データ内の所定エリア内から所定の特徴部位を抽出する抽
    出手段と、
    前記ズーム手段の変倍に応じて前記所定エリアを選択する選択手段とを備えたことを特
    徴とするデジタルカメラ。
15. 前記選択手段は前記ズーム手段により前記撮像レンズの焦点距離が変倍のための動作をしている期間においては前記変倍のための動作をしていないときに選択していたエリアより狭いエリアを選択することを特徴とする請求項１４に記載のデジタルカメラ。
16. 前記選択手段は更に前記撮影画面の中心近傍のエリアを選択することを特徴とする請求項１５に記載のデジタルカメラ。
17. 更に、前記抽出手段が抽出した特徴部位に対応した被写体を識別する識別手段を備え、
    前記選択手段は前記ズーム手段により前記撮像レンズの焦点距離が変倍のための動作を
    している期間は前記識別手段が識別した被写体を含む所定範囲のエリアを選択することを特徴とする請求項１４に記載のデジタルカメラ。

Images