JP2008219120A - 撮像装置 - Google Patents

Abstract

【課題】 全てのモードにおいて第１レリーズで最初に顔を検出する機能を全てのユーザーに提供し、失敗撮影を防止する。
【解決手段】 第１レリーズボタンが押下されと（Ｓ３Ｙｅｓ）、オートフォーカス処理を実施し（Ｓ４）、合焦したエリアを液晶表示部１１に表示する（Ｓ５）。フォーカスが合った画像をメモリエリアに取り込み、画像より顔検出処理を実施する（Ｓ６）。特徴点を検出したら、特徴点検出エリアより、顔のエリアを正規化して顔のエリアを検出する。顔のエリアを検出したら（Ｓ７Ｙｅｓ）、顔を検出したことがユーザーにわかるように、表示装置に表示する（Ｓ８）。なお、途中で、第１レリーズが解除された場合は、モニタリング処理に戻るが、上記第１レリーズにて、１度顔を検出した場合においては、トラキング処理を用いて、引き続き顔の検出を行う（Ｓ９）。
【選択図】図２

Description

本発明は、デジタルカメラに代表される撮像装置に関し、詳しくは顔検出にもとづく撮影動作機能プログラムを備えることにより顔の撮影ミスを少なくした撮像装置に関する。

近年、パーソナルコンピューターの発達にあいまって、画像入力機器として、デジタルカメラの利用が広まっている。アナログカメラの代わりに複数台のデジタルカメラを所有しているユーザーも少なくない。プロファッショナル仕様の一眼レフタイプの商品から通常のスナップ写真を撮影するコンパクトタイプのデジタルカメラまで数多く商品化されている。さらには、携帯電話やプリントクラブなど、顔を撮影するデジタルカメラの応用製品は広がりつつある。

また、近年 撮影しようとする画像から、被写体の顔の位置を検出したり、顔だけでなく、目、鼻、口、耳といった顔の特徴点を検出したりする方法が知られている。このように、認識、認証の技術が発達し、その技術を搭載したデジタルカメラ、携帯電話、あるいはそのシステムなどが発売されている。具体的には、顔の位置を検出して、顔のエリアにピント合わせを行う機能、顔の位置を検出して、帽子などのアイテムも同時に動かすアミューズメントアプリケーションが商品化されている。さらには、顔認証技術を組み合わせたセキュリティシステムなどが存在する。

なお、カラーの画像より顔を検出する技術は、特許文献１の特開平８−６３５９７号公報など多くの提案がなされている。また、特許文献２の特開２００３−３２３６１５号公報の顔画像検出装置及び顔画像検出方法ならびに顔画像検出プログラムや、特許文献３の特開２００４−２５９２１５号公報の顔検出システムとその方法では、小さな顔のサイズ、あるいは斜めを向いた顔の位置を検出して顔検出精度をあげる方法が提案されている。

また、顔検出方式を利用した露出制御方法として、特許文献４の特開２００１−３０４６３８号公報に記載の撮影装置、自動露出方法、およびその方法をコンピューターが実行するプログラムが知られている。また、このような顔検出や、被写体認識機能を備えた撮像装置においては、複数のシーンモードを備えたものがほとんどである。具体的には、人物撮影に適したポートレートモード、夜景モード、スポーツモードなどである。通常、顔検出を搭載したものは、顔検出モードあるいは、ポートレートモードにおいて、顔検出機能を起動させ、シーンモードに応じて、被写体認識、顔検出のアルゴリズムを変更している。

具体的には、シーンモードのポートレートモードにおいてのみ、顔検出機能を起動し、モニタリング画像より、顔を見つけるという機能を有し、撮影時に、測光方式を、顔検出したエリアの測光結果の重み付けを大きくすることにより、顔の露出をより最適にするというものである。これにより、顔が真っ白になったり、真っ黒になったりといった失敗撮影を防止することが可能になる。

また、特許文献５の特開２００３−１０７３３５号公報記載の撮像装置には、自動合焦方法、およびその方法をコンピューターが実行するためのプログラムを備えており、検出された顔のエリアを測距エリアとして、自動合焦制御を行い、背景などにピントがあうような失敗写真の撮影を防止する。また、顔検出、被写体認識方式付カメラとして、特許文献６の特開発２００１−３３０８８２号公報記載の被写体認識付カメラがある。これには、撮影モードに応じて、被写体を認識するための認識アルゴリズムを変更することが記載されている。
特開平８−６３５９７号公報 特開２００３−３２３６１５号公報 特開２００４−２５９２１５号公報 特開２００１−３０４６３８号公報 特開２００３−１０７３３５号公報 特開２００１−３３０８８２号公報

しかしながら、上述した撮像装置では、実際の被写体である人物の顔は静止していないで動作していることも多く、その場合、従来の技術では撮影した写真に被写体ブレが発生しており満足した写真を撮影できない。そこで、本発明は、失敗撮影を防止することを可能にした撮像装置を提案することを目的とする。

すなわち、本発明の請求項１の目的は、以下のことを目的とする。顔検出、被写体認識方式付カメラが知られている特許文献６の特開発２００１−３３０８８２号公報記載の被写体認識付カメラでは、撮影モードに応じて、被写体を認識するための認識アルゴリズムを変更することが記載されている。具体的には、シーンモードのポートレートモードにおいてのみ、顔検出機能を起動し、モニタリング画像より、顔を見つけるという機能を有し、撮影時に、測光方式を顔検出したエリアの測光結果の重み付けを大きくすることにより、顔の露出をより最適にするというものである。これにより、顔が真っ白になったり、真っ黒になったりといった失敗撮影を防止することを目的としている。しかしながら、これでは、ユーザーにとって使い勝手がよいものとはいえなかった。そこで、本発明の請求項１では、全てのモードにおいて第１レリーズで最初に顔検出をすることで、顔検出の機能を全てのユーザーに提供することを目的とする。

本発明の請求項２の目的は、さらに、第１レリーズで顔検出することで、検出した場合のみトラッキング処理をモニタリングで実施することにより、モニタリング時の顔検出についての演算装置への負荷を下げ、撮影モードにおいて、顔の検出が容易かつ手軽にユーザーに提供することである。

本発明の請求項３の目的は、全てのモードで顔検出機能を提供することで、全ての、撮影画像の中で顔に合焦する必要をなくし、合焦したエリアと、顔を検出したエリアを表示装置においてユーザーにわかりやすく提供することで、撮影する楽しみをユーザーに提供することである。

本発明の請求項４の目的は、顔を検出した場合においては、顔エリアに重み付けをして合焦して、顔にピントが自動的に合うようして、失敗写真を防止することである。

本発明の請求項５の目的は、顔エリアに重み付けをして合焦して、顔にピントが自動的に合うようにする機能を備えた場合に、顔エリアに合焦するかどうかを選択させることを可能にすることで、撮影の幅を広げることである。

上記課題を解決するために、請求項１の発明は、顔エリアを検出する機能と、顔または顔の特徴点を検出する機能と、フォーカスロックを行う第１レリーズ機能と、撮影処理を行う第２レリーズ機能と、複数の撮影モード機能とを備えて静止画像を撮影することが可能な撮像装置において、第１レリーズでフォーカスロックされた画像について顔検出を行うことを特徴とする。

請求項２の発明は、請求項１に記載の撮像装置において、第１レリーズで顔を検出した後に第１レリーズが解除された場合に、モニタリング画像について、引き続き顔のエリアの検出または顔の特徴点を検出し、前回検出したエリア情報との差分である移動量を検出し、モニタリング状態にて顔検出のトラッキング処理を行うことを特徴とした。

請求項３の発明は、請求項１に記載の撮像装置において、少なくともモニタリング画像を表示する表示装置と、第１レリーズにてフォーカスロックされたときに前記表示装置にフォーカスが合焦しているエリアをユーザーが認識可能に表示する手段と、フォーカスが合焦しているエリア以外に顔が検出されている場合にその顔検出エリアを表示するとともに前記フォーカス合焦エリアと前記顔検出エリアがユーザーに弁別可能なように互いに異なるエリア表示色または互いに異なるマークにより表示を行う手段と、を備えたことを特徴とした。

請求項４の発明は、請求項２に記載の撮影装置において、フォーカスロック開始の指令を入力するための操作手段と、フォーカスロックしたことを表示する表示装置とを備えて、第１レリーズにてフォーカスロックさせた場合に顔が検出されたら、モニタリング時にトラッキング処理を行い、次回の第１レリーズには、顔検出したエリアに重みづけをしてフォーカスを合焦させることを特徴とした。

請求項５の発明は、請求項４に記載の撮像装置において、前記次回の第１のレリーズに対して、顔検出したエリアに重みづけをしてフォーカスを合焦させるか否かをユーザーが設定画面にて選択可能にしたことを特徴とする。

以上述べたように本発明の請求項１によれば、全てのモードにおいて第１レリーズで最初に顔検出をすることで、顔検出の機能を全てのユーザーに提供することが可能になる。

本発明の請求項２によれば、さらに、第１レリーズで顔検出することで、検出した場合のみトラッキング処理をモニタリングで実施することにより、モニタリング時の顔検出についての演算装置への負荷を下げ、撮影モードにおいて、顔の検出が容易かつ手軽にユーザーに提供することが可能になる。

本発明の請求項３によれば、全てのモードで顔検出機能を提供することで、全ての、撮影画像の中で顔に合焦する必要をなくし、合焦したエリアと、顔を検出したエリアを表示装置においてユーザーにわかりやすく提供することが可能になるとともに、撮影する楽しみをユーザーに提供することが可能になる。

本発明の請求項４によれば、顔を検出した場合においては、顔エリアに重み付けをして合焦して、顔にピントが自動的に合うようして、失敗写真を防止することが可能になる。

本発明の請求項５によれば、顔エリアに重み付けをして合焦して、顔にピントが自動的に合うようにする機能を備えた場合に、顔エリアに合焦するかどうかを選択させることを可能にして、撮影の幅を広げることが可能になる。

以下、本発明の実施形態を、図面に基づいて説明する。図１は、本発明の一実施形態である撮像装置１を示すブロック図である。同図に示すように、撮像装置１は、撮像レンズ部２と、ＣＣＤ３と、フロントエンド（Ｆ／Ｅ）部４と、ＳＧ（Signal generator：信号発生器）５と、画像処理部６と、画像メモリ部７と、メモリカード部８と、ＣＰＵ部９と、ＵＳＢ通信部１０と、表示手段としての液晶表示部１１と、操作部１３と、電源部１４を有している。

上記撮像レンズ部２は、ズームレンズ２Ａと、ズーム制御部２Ｂと、フォーカスレンズ２Ｃと、フォーカス制御部２Ｄと、メカ機構２Ｅと、絞り・シャッタ制御部２Ｆとを有している。ズーム制御部２Ｂは、ズームレンズ２Ａを駆動してズーム制御を行う。フォーカス制御部２Ｄは、フォーカスレンズ２Ｃを駆動して被写体に合焦するフォーカス制御を行う。メカ機構２Ｅは、メカニカルシャッタ、絞り及びフィルタなどから構成される。絞り・シャッタ制御部２Ｆは、被写体の明るさを制御したり、シャッタ制御を行う。通常、シャッタ速度などは、この絞り・シャッタ制御部２Ｆによってメカニカルシャッタが開いている時間を制御する。

上述したズームレンズ２Ａ及びフォーカスレンズ２Ｃで結像された光は、撮像手段としてのＣＣＤ３によって受光される。ＣＣＤ３は、受光した光を電気信号に変換してアナログの画像データとしてＦ／Ｅ部４に転送する。上記Ｆ／Ｅ部４は、ＣＣＤ３から転送されるアナログの画像データを相関二重サンプリングするＣＤＳ回路と、ＣＤＳ回路から出力されるアナログの画像データのゲインを調整するＡＧＣ回路と、ＡＧＣ回路から出力されるアナログの画像データに対してＡ／Ｄ変換を行いデジタル信号に変換するためのＡ／Ｄ変換回路（何れの回路も図示せず）とから構成される。

ＳＧ５は、ＣＰＵ部９から入力される制御信号に基づいてＣＣＤ３やＦ／Ｅ部４を制御する。画像処理部６は、上述したＦ／Ｅ部４から入力されたデジタルの画像データに対して各種画像処理を施すものである。例えば、画像処理部６は、Ｆ／Ｅ部４から入力されたデジタルの画像データをＹＵＶ形式（Ｙ：輝度データ、ＵＶ：色差データ）の画像フォーマットに変換する画像変換機能を持つ。また、画像処理部６は、ＹＵＶ形式の画像データをＪＰＥＧ方式に準拠した圧縮方式にて圧縮、または圧縮された画像を伸長するための圧縮・伸長機能を持つ。

画像処理部６、画像メモリ部７、メモリカード部８、ＣＰＵ部９、ＵＳＢ通信部１０、表示手段としての液晶表示部１１、操作部１３は、システムバスＳＢによって接続されている。記録手段として働くＣＰＵ部９は、画像処理部６により圧縮された画像データがデジタルカメラのファイルフォーマットＥｘｉｆ準拠となるように撮像時の条件やカメラの機種名をＪＰＥＧデータのヘッダーとして付加し、撮像したＪＰＥＧファイルとして記録媒体としての画像メモリ部７に一時保管する。メモリカード部８は、近年コンパクトフラッシュ（登録商標）や、ＳＤカードなど複数種類販売されているが、着脱可能に設けられ、上述のＪＰＥＧファイルを格納する。

ＵＳＢ通信部１０は、パーソナルコンピュータとファイルのやりとりを行うために使用される。液晶表示部１１は、撮像前の被写体を決定するためのモニタリング画像即ちスルー画像を表示したり、撮像後のファイルを再生画像として表示したり、各種モードや設定の表示を行う液晶画像である。近年では、２インチ以上の大きな液晶を搭載している機種が増えている。

操作部１３は、撮像装置１をユーザが指示するためのスイッチ部を備えている。このスイッチ部は、電源スイッチ、モードスイッチ、選択操作手段としての選択スイッチ、合焦操作手段としてのレリーズスイッチなどから構成されている。電源スイッチは、主に電源を入れるためのスイッチである。モードスイッチは、撮影モードや再生モード、動画モードあるいは顔検出モードなどの各種モードを切り替えるためのスイッチである。レリーズスイッチは、被写体の合焦位置に向かってフォーカスレンズ２Ｃの駆動を開始させるときに半押し操作され、被写体を撮影するときに全押し操作されるスイッチである。

電源部１４は、それぞれのブロックに電源を供給する。通常デジタルカメラは、専用のバッテリーや、単三などの電源より電源を供給し、ＤＣ／ＤＣコンバーターにてそれぞれのブロックに適切な電圧を供給する。

撮像装置１は、静止画撮影モード時には、液晶表示部１１には、モニタリング画像が表示される。具体的には、ＣＣＤ３より入力される被写体の画像データは、Ｆ／Ｅ部４にて処理された後、画像処理部６にデータが入力される。通常は、縦×横のサイズは、６４０×４８０といったＶＧＡサイズの小さな画像サイズのものを１秒間に１０〜２０フレームといった間隔で入力され、液晶表示部１１に表示される。このためユーザーはリアルタイムに被写体のモニタリング画像を見て、撮影の構図を決定することが可能である。なお、顔検出のロジックは、上述した背景技術の項で記載した特許文献で公知であるが、さらに、近年は、性能を向上するための出願が多く見られる。性能とは顔が横向きである場合や眼鏡をかけている顔、あるいは顔への光をあてた場合の認識の性能であり、それらの認識性能を向上した顔検出のアルゴリズムが開発されている。

図２は、撮像装置１の動作を示すフローチャートである。同図に示されるように、撮影モードにおいて、電源が投下されると、モニタリングモードで起動する（Ｓ１）。その画像は、上述したように、１秒間に１０〜２０フレームといった間隔で、液晶表示部１１に表示される。モニタリング時においては、通常 ＡＥ処理すなわちオートアイリス処理を実行している（Ｓ２）。これは、被写体が明るい場合はメカ機構２Ｅを絞り、暗い場合においてはメカ機構２Ｅを開くといった処理を、絞り・シャッタ制御部２Ｆが実行して被写体の明るさを制御する。

ユーザーの操作により、第１レリーズボタンが押下されたことを、検出した場合においては（Ｓ３Ｙｅｓ）、ＡＦすなわちオートフォーカス処理が実施される（Ｓ４）。これは被写体に合焦するための機能を持つフォーカス制御部２Ｄを操作することで、被写体にピントを合わせる制御を実施する。通常は、ＣＣＤ３から読みとった画像のダイナミックレンジが一番高くなるような位置にフォーカスを合わせる。このときに、合焦したエリアを液晶表示部１１に表示させる（Ｓ５）。図３が、液晶表示部１１に表示された画像の一例を示している。

フォーカスが合った画像はメモリエリアに取り込まれ、画像より特徴点を検出、すなわち顔検出処理を実施する（Ｓ６）。図４はその入力画像の一例を示している。一般的に知られている顔検出処理は、顔の特徴点の検出である。図４の顔検出ロジックの例では、目、口、耳の３つの特徴点を検出している。なお、顔検出の性能を向上させる場合においては、さらに多くの特徴点を検出するケースもある。特徴点検出においては、目、口、耳の全ての特徴点を検出できる場合と、耳が検出できず、目と口のみを検出する場合もありうる。このようにして特徴点を検出したら、特徴点検出エリアより、顔のエリアを正規化して求めることにより、顔のエリアを検出する。なお、他の顔検出方法として、肌色の検出を用いる例もあれば、口の特徴点を赤として検出する方法もあるが、２つの目を検出する方法が最も一般的である。図５は上述した顔検出ロジックの他の例を示す説明図である。

顔のエリアを検出した場合においては（Ｓ７Ｙｅｓ）、上述したように合焦したエリアを液晶表示部１１に表示させるのとは別に、顔を検出したことがユーザーにわかるように、表示装置に表示する（Ｓ８）。図６がその表示例を示す図である。表示するマークは、色を変えてもよいし、四角のマーク自体を変えて顔とわかるマークにしてもよい。なお、途中で、第１レリーズを解除した場合は、モニタリング処理に戻るが、上記第１レリーズにて、１度顔を検出した場合においては、トラキング処理を用いて、引き続き顔の検出を行う（Ｓ９）。

最初、全体の入力画像から特徴点検出の場合においては、画像全体をスキャンするため、最初の検出には、処理時間を要してしまう。一度特徴点を検出すれば、後はトラッキング処理という方法で、検出した特徴点の周辺をスキャンするために、最初の全体画像から特徴点を検出するのと比較して、顔を検出する処理すなわち演算時間が短くなる。また、第１レリーズを解除すれば（Ｓ１０Ｙｅｓ）、合焦したエリアの表示は解除されるが、モニタリング時において引き続き、顔検出したエリアは表示される。

このように、一度、顔のエリアを検出できれば、測光方式を顔のエリアに重みをおくことで、被写体すなわち顔に適した露出を行うことが可能となる。具体的には、図７に示されるように、測光方式で３６分割したエリアのうち通常は、中心のＣ３，Ｃ４に重み付けをおいて、合焦制御をしているが、顔を検出した場合においては顔を検出したエリアＢ２、Ｃ２に重みを置くことで、顔に重みをおいた合焦される写真を撮影する。なお、図８は、図７と同一の被写体について測距エリアを示す説明図である。

本発明の撮像装置の一実施形態を示すブロック図である。 図１の撮像装置の動作を示すフローチャートである。 図２の処理動作における表示例を示す図である。 図２の処理動作における説明図である。 図２の処理動作における説明図である。 図２の処理動作における表示例を示す図である。 図２の処理動作における説明図である。 図２の処理動作における説明図である。

符号の説明

１ 撮像装置
２ 撮像レンズ部
２Ａ ズームレンズ
２Ｂ ズーム制御部
２Ｃ フォーカスレンズ
２Ｄ フォーカス制御部
２Ｅ メカ機構
２Ｆ 絞り・シャッタ制御部
３ ＣＣＤ
４ フロントエンド（Ｆ／Ｅ）部
５ ＳＧ（Signal generator：信号発生器）
６ 画像処理部
７ 画像メモリ部
８ メモリカード部
９ ＣＰＵ部
１０ ＵＳＢ通信部
１１ 液晶表示部
１３ 操作部
１４ 電源部
ＳＢ システムバス

Claims (5)

1. 顔エリアを検出する機能と、顔または顔の特徴点を検出する機能と、フォーカスロックを行う第１レリーズ機能と、撮影処理を行う第２レリーズ機能と、複数の撮影モード機能とを備えて静止画像を撮影することが可能な撮像装置において、
   第１レリーズでフォーカスロックされた画像について顔検出を行うことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   第１レリーズで顔を検出した後に第１レリーズが解除された場合に、モニタリング画像について、引き続き顔のエリアの検出または顔の特徴点を検出し、前回検出したエリア情報との差分である移動量を検出し、モニタリング状態にて顔検出のトラッキング処理を行うことを特徴とした撮像装置。
3. 請求項１に記載の撮像装置において、
   少なくともモニタリング画像を表示する表示装置と、
   第１レリーズにてフォーカスロックされたときに前記表示装置にフォーカスが合焦しているエリアをユーザーが認識可能に表示する手段と、
   フォーカスが合焦しているエリア以外に顔が検出されている場合にその顔検出エリアを表示するとともに前記フォーカス合焦エリアと前記顔検出エリアがユーザーに弁別可能なように互いに異なるエリア表示色または互いに異なるマークにより表示を行う手段と、を備えたことを特徴とした撮像装置。
4. 請求項２に記載の撮影装置において、
   フォーカスロック開始の指令を入力するための操作手段と、
   フォーカスロックしたことを表示する表示装置と、
   を備えて、
   第１レリーズにてフォーカスロックさせた場合に顔が検出されたら、モニタリング時にトラッキング処理を行い、次回の第１レリーズには、顔検出したエリアに重みづけをしてフォーカスを合焦させることを特徴とした撮像装置。
5. 請求項４に記載の撮像装置において、
   前記次回の第１レリーズに対して、顔検出したエリアに重みづけをしてフォーカスを合焦させるか否かをユーザーが設定画面にて選択可能にしたことを特徴とする撮像装置。