JP2010531074A - 望ましい表情の認識を用いる撮影システム及び方法 - Google Patents

Abstract

人物写真の品質を向上させるための、望ましい表情の認識を用いた写真撮影のシステム(12)及び方法を開示する。システム及び方法は、写真内の人物被写体が、望ましい写真のための１つ以上の望ましい表情を有する時を認識する。システム及び方法は、個人写真にも集合写真にも適用でき、かつ、望ましい表情を有している被写体の数に応じた様々なモードで適用可能である。システム及び方法はさらに、複数の写真を撮影し、その中から、望ましい表情の人物被写体の割合が最も高い写真として判断されるベストショットを保存用として選択する「ベストピクチャモード」で動作することもできる。

Description

本明細書が関する技術は概して写真撮影分野に関し、特には、望ましい表情の認識に基づく撮影システム及び方法に関する。望ましい表情は、写真の被写体の人物が笑っている場合及び／又は瞬きしていない場合などにおいて、写真が好ましいかどうか考慮するためのパラメータを含んでよい。

デジタルカメラは、スタンドアロンの機種に加え、携帯電話機、メディアプレーヤ、携帯情報端末(PDA)等といった他の電子機器にも組み込まれているものも増加している。デジタルカメラの利用が増えるにつれ、職業的目的であろうとレジャー目的であろうと、ユーザは自分の撮影した写真、特に人物の写真を良くする新たな方法を探し続けいている。ときどき、被写体が笑っていなかったり、瞬きしているまさにその時に写真が撮られる。そのような写真がデジタルカメラで撮影されたものなら、写真をすぐに見ることができ、削除して撮り直しする必要がある。また、写真の全被写体が笑っているか目を開いているかどうかを判定するには、ディスプレイの解像度も不十分であろう。そのため、不便で時間を浪費することになる。従来のフィルムカメラで写真が撮影される場合、品質が悪い写真に気づくのはフィルムが現像された後なので、困難さはより大きい。そのような場合、撮影の機会を失うことになる。

人物を撮影する難しさは、グループ写真ではさらに増大する。グループが大きいほど、全員が笑っているか瞬きしていない写真を得ることは難しくなる。人物のグループ撮影の困難さは、グループの人々が小さい子供のように協力しない傾向がある場合に一層大きくなる。

本技術分野において、顔検出機能が知られている。顔検出では、一般的な顔の特徴の形状、向き及び／又は色を用い、画像中に顔が存在するかどうかを検出する。しかし、このような技術を、写真が望ましい品質で撮影されることを確実にするようにカメラに組み込むことは成功していない。

写真の品質を向上させるための様々なカメラオプションが知られている。例えば、カメラの操作者は、好ましい写真の確率を上げるため、シャッタースピード、解像度、赤目防止及びズーム範囲などの設定を調整することができる。しかし、誰かが笑っていたり瞬きしていたりしているといった特定の顔の表情をとらえるカメラ機能はなかった。タイマー設定もまた知られている。

タイマー設定は、カメラの操作者が、シャッターが起動されてから写真が撮影されるまでの時間を遅らせて撮影することを可能にする。そのような機能では、遅延時間が、いつ写真が撮影されるかを規定する唯一の因子である。そのため、得られる写真が好ましいかどうかとは無関係に、遅延が終わった時点で写真が撮影される。

人物写真の品質を向上させるために、撮影すべき複数の被写体人物が、笑っている及び／又は瞬きしていない時など、望ましい写真に望ましい所定の表情を満たして、又は有していることを認識するためのシステム及び方法が必要とされている。本発明に係るシステム及び方法は、１人又は複数の被写体人物が望ましい表情である時に操作者に通知する方法で実施することができる。システム及び方法は、個人写真にも集合写真にも適用することができる。

本発明のシステム及び方法は、全ての人物被写体が望ましい表情を満足するか、望ましい表情である際に写真が撮影される「フルモード」で動作することができる。システム及び方法はまた、人物被写体の予め定められた割合が望ましい表情である際に写真が撮影される「プロポーショナルモード」で動作することもできる。システム及び方法はさらに、複数の写真を撮影し、その中から、望ましい表情の人物被写体の割合が最も高い写真として判断されるベストショットを保存用として選択する「ベストピクチャモード」で動作することもできる。システム及び方法はまた、カメラユーザが写真に写ることを可能にするタイマ設定を組み込んでもよい。

従って、本発明の第１の見地に係る、デジタルカメラによって写真撮影する第１の方法は、望ましい写真のための望ましい表情を設定するステップと、カメラの視野内で少なくとも１つの顔を探索するステップと、顔が前記望ましい表情であるか判定するステップと、顔が前記望ましい表情であるとの判定に応答して、写真を撮影するステップとを有することを特徴とする。

第１の方法の一実施形態によれば、前記望ましい表情は、前記カメラの前記視野内の顔が笑っていることを含む。

第１の方法の一実施形態によれば、前記望ましい表情は、前記カメラの前記視野内の顔の目が開いていることを含む。

第１の方法の一実施形態によれば、前記視野は２つ以上の顔を含み、前記方法は前記複数の顔の全てが前記望ましい表情である際に写真を撮影するステップを有する。

第１の方法の一実施形態によれば、前記視野は２つ以上の顔を含み、前記方法は前記複数の顔の予め定められた割合が前記望ましい表情である際に写真を撮影するステップを有する。

第１の方法の一実施形態によれば、前記デジタルカメラはディスプレイを有し、前記方法は、前記視野内の前記複数の顔の各々の存在を前記ディスプレイに示すステップと、前記示された複数の顔が撮影を意図した人物被写体のみを含む際に、前記示された複数の顔を対象に決定(lock on)するステップと、前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情である時を判別するために前記対象に決定された複数の顔を追跡するステップと、前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情である際に写真を撮影するステップとを有する。

第１の方法の一実施形態によれば、前記視野は２つ以上の顔を含み、前記デジタルカメラはディスプレイを有し、前記方法は、前記視野内の顔の各々の存在を前記ディスプレイに示すステップと、前記示された複数の顔が撮影を意図した人物被写体のみを含む際に、前記示された複数の顔を対象に決定するステップと、前記対象に決定された複数の顔を含む複数の写真を撮影するステップと、前記複数の写真を前記ディスプレイに表示するステップと、前記複数の写真のうち、どれが前記望ましい表情の顔の割合が最も高い写真か選択するステップとを有する。

第１の方法の一実施形態によれば、前記方法は、前記望ましい表情の顔の割合が最も高い写真以外の写真を削除するステップをさらに有する。

本発明の別の見地によれば、デジタルカメラによって写真撮影する第２の方法は、望ましい写真のための望ましい表情を設定するステップと、遅延時間を受信するステップと、前記遅延時間に引き続いて、前記カメラの視野で少なくとも１つの顔を探索するステップと、顔が前記望ましい表情か判定するステップと、顔が前記望ましい表情であるとの判定に応じて、写真を撮影するステップとを有する。第２の方法の一実施形態によれば、前記方法は、写真が撮影されたことをユーザに警告するステップをさらに有する。

第２の方法の一実施形態によれば、前記視野は２つ以上の顔を含み、前記方法は、前記複数の顔の全てが前記望ましい表情である時点を判定するために前記複数の顔を追従するステップと、前記複数の顔の全てが前記望ましい表情である際に写真を撮影するステップとをさらに有する。

第２の方法の一実施形態によれば、前記視野は２つ以上の顔を含み、前記方法は、前記複数の顔の予め定められた割合が前記望ましい表情である時点を判定するために前記複数の顔を追従するステップと、前記複数の顔の予め定められた割合が前記望ましい表情である際に写真を撮影するステップとをさらに有する。

第２の方法の一実施形態によれば、前記視野は２つ以上の顔を含み、前記方法は、前記複数の顔を含んだ複数の写真を撮影するステップと、前記複数の写真を前記ディスプレイに表示するステップと、前記複数の写真のうち、どれが前記望ましい表情の顔の割合が最も高い写真か選択するステップとをさらに有する。

第２の方法の一実施形態によれば、前記方法は、前記望ましい表情の顔の割合が最も高い写真以外の写真を削除するステップをさらに有する。

本発明の別の見地によれば、視野を撮影するためのカメラアセンブリと、望ましい写真のための望ましい表情の入力を受け付け、前記カメラの視野を表す前記センサの前記出力から少なくとも１つの顔を探索し、顔が前記望ましい表情を有するかどうかを判別し、顔が前記望ましい表情を有するとの判定に応答して、写真を撮影するステップとを有する。

カメラアセンブリの一実施形態によれば、前記カメラアセンブリは、前記コントローラによって実行される実行可能コードを保存するメモリをさらに有する。

カメラアセンブリの一実施形態によれば、前記カメラアセンブリはさらにディスプレイを有し、前記コントローラは、前記視野内の前記複数の顔の各々の存在を前記ディスプレイに示すためのコードを実行し、前記コントローラはさらに、前記示された複数の顔が撮影を意図した人物被写体のみを含む際に、前記示された複数の顔を対象に決定し、前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情である時を判別するために前記対象に決定された複数の顔を追跡し、前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情である際に写真を撮影するためのコードを実行する。

前記カメラアセンブリの一実施形態によれば、前記カメラアセンブリはディスプレイを有し、前記コントローラは、前記視野内の顔の各々の存在を前記ディスプレイに示すためのコードを実行し、前記コントローラはさらに、前記示された複数の顔が撮影を意図した人物被写体のみを含む際に、前記示された複数の顔を対象に決定し、前記対象に決定された複数の顔を含む複数の写真を撮影し、前記複数の写真を前記ディスプレイに表示し、前記複数の写真のうち、どれが前記望ましい表情の顔の割合が最も高い写真か選択するためのコードを実行する。

カメラアセンブリの一実施形態によれば、前記コントローラはさらに、前記望ましい表情の顔の割合が最も高い写真以外の写真を削除するためのコードを実行する。

カメラアセンブリの一実施形態によれば、前記カメラアセンブリはさらにタイマを有し、前記タイマは前記コントローラによる前記コードの前記実行を遅延させるための遅延時間と、写真が撮影されたことをユーザに警報するための警報とを受信可能である。

本発明のこれらの特徴及び他の特徴は、以下の説明と添付図面を参照することにより明らかになるであろう。以下の説明及び図面においては、本発明の原理を用いることのできる方法のいくつかを示すものとして、本発明の特定の実施形態が詳細に開示されるが、本発明の範囲は特定の実施形態に限定されないことが理解される。むしろ、本発明は添付した特許請求の範囲の精神及び用語の範囲内での変更、修正及び等価物の全てを含む。

ある実施形態に関して説明及び／又は図示された特徴は、同一の方法又は類似の方法で、他の１つ以上の実施形態及び／又は他の実施形態の機能と組み合わせて又はその代わりに用いることができる。

なお、本明細書において「有する」及び「備える」とは、記載された特徴、整数、ステップ又は部品の存在を特定するものと解釈されるが、１つ以上の他の特徴、整数、ステップ、部品及びそれらの集合の存在及び追加を排除しないことを強調しておく。

本発明の実施形態に係る例示的な電子デバイスとしての、カメラアセンブリを有する携帯電話機の模式的な正面図である。 図１の携帯電話機の模式的な背面図である。 図１の携帯電話機の稼働部分の模式的なブロック図である。 図１の携帯電話機が動作しうる通信システムの模式的な図である。 本発明に係る例示的な撮影方法を表すフローチャートである。 、 、 本発明に係る携帯電話機とともに用いる例示的なメニューシステムを示す模式的な図である。 本発明に従って、「フルモード」又は「プロポーショナルモード」で集合写真を撮影するための例示的な方法を表すフローチャートである。 本発明に従って「ベストピクチャモード」で集合写真を撮影するための例示的な方法を表すフローチャートである。 本発明に従って、「フルモード」又は「プロポーショナルモード」でタイマを用いて集合写真を撮影するための例示的な方法を表すフローチャートである。 本発明に従って「ベストピクチャモード」でタイマを用いて集合写真を撮影するための例示的な方法を表すフローチャートである。

以下、同様の参照数字は全図を通じて同様の要素を示す図面を参照して、本発明の実施形態を説明する。図面は必ずしも正しく縮尺されているとは限らないことが理解されよう。

本方法並びにシステム発明の見地は写真撮影に関する。ここで説明する技術はデジタルスチルカメラを用いた写真撮影に適用することができるが、ここで説明する技術は、ここで説明するような好適なセンサを備えさえすれば、フィルムカメラにも用いることができることが理解されるであろう。

ここで説明する技術は、カメラを含む任意のタイプの電子デバイスによって実行することができる。例えば、本発明に従って専用のスチルカメラが構成されてもよい。別の例として、カメラを備える多くの携帯電話は、本発明に従って構成されうる。以下の説明は、カメラアセンブリを備える携帯電話機に関して説明を行う。しかし、本発明は携帯電話機と関連した内容に限定されることを意図しておらず、任意のタイプの適切な電子機器に関連しうる。このような電子機器の例には、専用カメラ、カメラを備えたメディアプレーヤ、カメラを備えたゲーム機器、カメラを備えたコンピュータが含まれる。説明の便宜上、同義語である「電子機器」及び「電子デバイス」は、携帯無線通信機器を含む。以下で「移動無線端末」と呼ばれることのある「携帯無線通信機器」は、携帯電話機、ポケットベル、コミュニケータ、電子手帳、携帯情報端末(PDA)、スマートフォン、任意の携帯通信装置などの全てを含む。

図１から図３をまず参照すると、電子デバイス機器１０が示されている。電子デバイス１０はカメラアセンブリ１２を備えており、カメラアセンブリ１２は、カメラの視野内において、笑顔及び瞬き検出を含む顔検出を行うように構成されている。カメラアセンブリ１２のさらなる詳細及び動作については、後で詳述する。ここで説明する検出技術は電子デバイス１０内に存在し、電子デバイス１０によって実行可能なコードとして実施されてよい。一実施形態において、カメラアセンブリ１２及び／又は電子デバイス１０は、コンピュータもしくは装置が読み取り可能な媒体に格納されたプログラムを実行するコントローラ又はプロセッサを有することができる。プログラムはスタンドアロンのソフトウェアアプリケーションであっても良いし、電子デバイス１０に関する付加的なタスクを実行するソフトウェアアプリケーションの一部を形成してもよい。

図示される実施形態の電子デバイスは携帯電話機であり、従って携帯電話機１０と呼ぶ。携帯電話機１０は「レンガ」又は「ブロック」形状の筐体を有するものとして図示されるが、貝殻型筐体（例えば「フリップ」オープン筐体）やスライド型筐体といった他の型式の筐体を利用可能であることは理解されるであろう。

携帯電話機１０はディスプレイ１４を備えることができる。ディスプレイ１４は、動作状態、時刻、電話番号、連絡先、様々なメニューなど、ユーザが携帯電話機１０の様々な機能を用いることを可能にする情報をユーザに表示する。ディスプレイ１４は携帯電話機１０によって受信された及び／又は携帯電話機１０のメモリ１６（図３)から読み出されたコンテンツを視覚的に表示するためにも用いられてよい。ディスプレイ１４は、写真、モバイルテレビコンテンツ及びゲームに関連する映像のような画像、映像及び他のグラフィックスを提示するために用いられてよい。

また、ディスプレイ１４は、カメラアセンブリ１２の電子ビューファインダとして用いられてよい。さらに、携帯電話機は、スタンドアロンのカメラのように、別個の光学ビューファインダー又は電子ビューファインダ（本例では図示せず）を備えてもよい。例示的な実施形態として、本明細書ではディスプレイ１４がカメラビューファインダとして用いられる状況を説明する。本発明の範囲内で、ディスプレイ１４の代わりに個別のビューファインダを用いることが可能であることをは理解されよう。

ディスプレイ１４はまた、カメラ機能の様々な見地に関して情報をユーザに提供する、様々なインジケータ１５を表示することができる。そのようなインジケータは、バッテリメータ１５ａ及びメモリ空間メータ１５ｂの様なアイテムを含むことができる。ディスプレイ１４はさらに、本発明と共に用いられる、１つ以上のボックスインジケータ１５ｃを表示してもよい。後述するように、ボックスインジケータ１５ｃは、視野内の任意の顔を示すことができる。

キーパッド１８は様々なユーザ入力操作を提供する。例えば、キーパッド１８は一般に、電話番号、電話帳、連絡先、メモなどの英数字情報の入力を可能にする英数字キーを含む。さらに、キーパッド１８は、発呼や応答のための「発呼(call send)」キー、呼を終了又は「切断」するための「呼終了(call end)」キーのような特殊機能キーを含むのが一般的である。特殊機能キーはさらに、ディスプレイ１４に表示されるメニューを通じたナビゲートを容易にするためのメニューナビゲーション及び選択キーを含むことができる。特殊機能キーは、再生の開始、停止、一時停止、トラックのスキップ又はリピートなどのためのオーディオビジュアルコンテンツ再生キーを含むことができる。携帯電話機に付随する他のキーは、音量キー、ミュートキー、電源オン／オフキー、ウェブブラウザ起動キー等を含むことができる。これらキーの一部又は全部は、ディスプレイとともにソフトキーとして用いられてもよい。キー又はキーと同様の機能を、ディスプレイ１４に付随するタッチスクリーンとして実現してもよい。カメラアセンブリ１２が起動すると、キーパッド１８のキーはカメラアセンブリ１２の動作を制御するために用いられてよい。例えば、ある１つのキーはシャッターボタン１７として機能し、他の複数のキーはカメラアセンブリのズームを制御してもよい。

携帯電話機１０は、通常は他の携帯電話機や固定電話機である発呼装置／被呼装置と、携帯電話機１０が呼を確立し、及び／又は、信号をやりとりするための呼回路を有する。しかし、被呼装置／発呼装置は、他の電話機である必要はなく、インターネットウェブサーバ、コンテンツ提供サーバなどのような他の装置であってよい。呼は任意の好適な形式を取ることができる。例えば、呼は、セルラ回線交換ネットワーク上で確立される従来の呼であっても、セルラネットワークのパケット交換通信能力または他のパケット交換ネットワーク上で確立される、インターネットプロトコルを用いた通話(VoIP)呼であってもよい。他のパケット交換ネットワークとしては、WiFi、WiMax等がある。別の例には、セルラネットワーク又は他のネットワーク上で確立されるテレビ通話が含まれる。

携帯電話機１０は、テキストメッセージ（例えば、シンプルメッセージサービスの略である”SMS”と口語的に呼ばれている）、電子メールメッセージ、マルチメディアメッセージ（例えば、マルチメディアメッセージサービスの略である”MMS”と口語的に呼ばれている）、画像ファイル、映像ファイル、音声ファイル、着信音、ストリーミング音声、ストリーミング映像、データフィード（ポッドキャストを含む）などのデータを、送信、受信、及び／又は処理するように構成されてよい。そのようなデータの処理には、メモリ１６へのデータ保存、ユーザがデータを操作することを可能にするアプリケーションの実行、データに付随する映像及び／又は画像コンテンツの表示、データに付随する可聴音声の出力などが含まれてよい。

図３は、携帯電話機１０の機能ブロック図を示す。簡潔さのために、携帯電話機１０の汎用的な従来機能はあまり詳細に説明しない。携帯電話機１０は、携帯電話機１０の機能及び動作の全体的な制御を行うように構成された主制御回路２０を有する。制御回路２０はＣＰＵ、マイクロコントローラ又はマイクロプロセッサといった処理デバイス２２を含むことができる。処理デバイス２２は、携帯電話機１０の動作を実行するために、制御回路２０の内部メモリ（図示せず）及び／又はメモリ１６のような別個のメモリに格納されたコードを実行する。メモリ１６は例えば、バッファ、フラッシュメモリ、ハードディスクドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、又は他の好適なデバイスの１つ以上であってよい。

引き続き図１〜図３を参照すると、携帯電話機１０は無線回路２６に接続されたアンテナ２４を有している。無線回路２６は、従来と同様、アンテナ２４を介して信号を送信及び受信するための無線周波数送信器及び受信器を有する。無線回路２６は、移動体通信システム内で動作するように構成されてよく、またデータ及び／又は視聴覚コンテンツを送信及び受信するために用いられてよい。移動体無線網及び／又は放送網と相互動作する受信の形式は、GSM、CDMA5、WCDMA、GPRS、WiFi、WiMax、DVB-H、ISDB-T等と、これら規格の発展系を含むが、それらに限定されない。

携帯電話機１０はさらに、無線回路２６によって送信並びに受信された音声信号を処理するための音声信号処理回路２８を有する。音声処理回路２８に接続されるスピーカ３０及びマイク３２は、従前通りユーザが携帯電話機１０を介して聞いたり話したりすることを可能にする。無線回路２６及び音声処理回路２８は、全体の動作を実行するようにそれぞれ制御回路２０に接続される。音声データはユーザに再生するため、制御回路２０から音声信号処理回路２８へ渡されてよい。音声データは例えば、メモリ１６によって保存され制御回路２０によって読み出された音声ファイルからの音声データや、移動体無線サービスからのストリーミング音声データの形式のような受信された音声データを含んでよい。音声処理回路２８は、任意の適切なバッファ、デコーダ及び増幅器などを有することができる。

ディスプレイ１４は、映像データをディスプレイ１４を駆動するために用いられる映像データに変換する映像処理回路３４を介して、制御回路２０に接続されてよい。映像処理回路３４は任意の適切なバッファ、デコーダ、映像データプロセッサなどを有してもよい。映像データは制御回路２０によって生成されても、メモリ１６に保存された映像ファイルから読み出されても、無線回路２８によって受信された入来映像データストリームから得られても、他の任意の好適な方法によって得られてもよい。

携帯電話機１０は、１つ以上のI/Oインタフェース３６を有してよい。I/Oインタフェース３６は典型的な携帯電話機I/Oインタフェースの形式であってよく、また１つ以上の電気的なコネクタを含んでよい。よくあるように、Ｉ／Ｏインタフェース３６は、携帯電話機１０内部の電源ユニット(PSU)３８の電池を充電するために、携帯電話機１０を充電器に接続するために用いられてもよい。さらに／あるいは、I/Oインタフェース３６は、携帯電話機１０を、携帯電話機１０との有線インタフェースを有するヘッドセットアセンブリ（例えばパーソナルハンズフリー(PHF)デバイス）と接続する機能を提供してもよい。さらに、I/Oインタフェース３６は、データ交換のために、データケーブルを介して携帯電話機１０をパーソナルコンピュータ又は他の装置と接続する機能を提供してもよい。携帯電話機１０は、カーバッテリーアダプタ又はACアダプタに接続された際に、動作電力を受け取ってもよい。

携帯電話機１０はさらに、制御回路２０のような携帯電話機１０の様々な構成部品にクロックを提供するシステムクロック４０を含んでもよい。携帯電話機１０はさらに、GPS (Global Positioning System)受信器、ガリレオ衛星システム受信器などのような位置データ受信器４２を含んでもよい。

携帯電話機１０はさらに、アクセサリ、他の移動体無線端末、コンピュータ又は他の装置と通信を確立するための、赤外線送受信器及び／又はＲＦアダプタ（例えばブルートゥースアダプタ）のようなローカル無線インタフェース４４を有してもよい。例えばローカル無線インタフェース４４は、一実施形態において、対応する無線インタフェースを有するヘッドセットアセンブリ（例えばＰＨＦデバイス）を、携帯電話機１０と動作可能に接続することができる。

図４をさらに参照すると、携帯電話機１０は通信システム４６の一部として動作するように構成されてよい。システム４６は、携帯電話機１０によって発呼された呼及び携帯電話機１０宛の呼を管理し、携帯電話機１０へデータを送信し、その他のサポート機能を実行する（１つ以上の）サーバ５０、を有する通信ネットワーク４８を有してよい。サーバ５０は、送信媒体を介して携帯電話機１０と通信する。送信媒体は、例えば、通信塔（例えば基地局）、他の携帯電話機、無線アクセスポイント、衛星等を含む、任意の適切な装置又はアセンブリであってよい。ネットワークの一部は、無線送信経路を有してよい。ネットワーク４８は、複数の携帯電話機１０及び他のタイプのエンドユーザ装置の通信活動をサポートしてよい。後に理解されるように、サーバ５０はサーバ機能を実行するために用いられる通常のコンピュータシステムとして構成されてよく、サーバ５０の機能を実現する論理命令を含んだソフトウェアを実行するように構成されたプロセッサと、そのようなソフトウェアを格納するメモリとを有してよい。

引き続き図１から図３を参照すると、カメラアセンブリ１２は、デジタルシグナルプロセッサ(DSP)のようなコントローラ５２を有することができる。他の実施形態において、コントローラ５２によって実行されるものとして説明されるカメラアセンブリ１２の制御機能の一部又は全てが制御回路２０によって実行されも良く、その場合コントローラ５２は縮小するか、不要としてもよい。コントローラ５２はカメラアセンブリ１２動作の様々な態様を制御する。このような動作には、測光動作及び露出設定の管理が含まれるが、それらに限定されない。コントローラ５２は、カメラアセンブリ１２で撮影された写真及び／又は映像データの保存を調整することができる。例えば、写真及び／又は映像データは、メモリ１６により、対応する写真及び／又は映像ファイルに保存されてもよい。

コントローラ５２はカメラアセンブリ１２制御機能を実施するためにコードを実行することができる。コンピュータプログラミングの技術分野、特にはカメラ、携帯電話機又は他の電子機器用のアプリケーションプログラミングの技術分野に属する当業者には、カメラアセンブリ１２の制御に関する論理機能を動作及び実行させるためにカメラ及び／又は携帯電話機をどのようにプログラムすればよいのか明らかであろう。そのため、簡潔さのために、具体的なプログラムコードに関する詳細は省略する。また、そのようなコードは例示的な実施形態によればコントローラ５２によって実行されるが、本発明の範囲内で、専用のハードウェア、ファームウェア、ソフトウェア及びそれらの組み合わせを通じてそのような機能を実行することもできる。

図示した実施形態において、カメラアセンブリ１２は、カメラアセンブリの撮像光学系５６によって決定される視野を撮像するためのセンサー５４を用いるデジタルカメラである。露出計５８は視野の照明状況を検出することができる。フラッシュ６０は撮影中に補助照明を与えるために存在してよい。

図５，７，８，９及び１０を参照すると、カメラアセンブリ１２の動作の例示的な方法を実施するための論理動作が示されている。例示的な方法は、コントローラ５２がコードを実行することによって行うことができる。従って、図５，７，８，９及び１０のフローチャートは、カメラアセンブリ１２によって実行される方法のステップを表現しているものと考えることができる。図５，７，８，９及び１０は機能的な論理ブロックの特定の実行順序を示すが、ブロックの実行順序は図示されている順序に対して変更してもよい。また、図示される２つ以上の連続するブロックは、同時に、あるいは部分的に同時に実行されてもよい。そのようなバリエーションの全てが本開示の範囲に含まれることが理解される。

図５は、一人の個人の撮影に関する本発明の方法の実施形態を示す。ステップ６５で、撮影しようとする写真に関する１つ以上の望ましい表情が設定される。望ましい表情は、ユーザが許容可能な写真の特性であると考えるであろうパラメータを表す。一実施形態において、望ましい表情は笑顔の存在を含む。別の実施形態において、望ましい表情は瞬きがないことを含む。第３の実施形態において、望ましい表情は笑顔の存在かつ瞬きの不存在を含む。

一例として、本発明の方法を、主に一人以上の人物被写体がなるべく笑っている写真の撮影に関して説明する。しかし、望ましい表情は、撮影者が望ましいと考える任意の顔の表情又はその組み合わせを構成しうることが理解されるであろう。望ましい表情はさらに、例えば特定のハイライトレベル又は動きの無さのような、環境因子を含んでもよい。そのため、本発明の範囲内で様々な望ましい表情を想定することができる。

望ましい表情を設定することのできる方法は様々である。例示的な実施形態において、携帯電話機１０は選択可能な動作モードを有し、ユーザは一般的なメインメニューから選択することができる。一例として、ここで説明する機能を表すモードを、”笑顔撮影(time to smile)”と名付ける。笑顔撮影モードはディスプレイ１４に表示される一般的なメニューから選択することができる。あるいは、専用に割り当てられた、キーパッド１８上の１つ以上のボタンを押下することによって笑顔撮影モードに入ってもよい。笑顔撮影モードに入ると、望ましい表情を選択することができる。一実施形態において、望ましい表情は製造時に存在及び固定される。あるいは、図６Ａに示すように、笑顔撮影モードの選択により、携帯電話機１０が望ましい表情の選択肢を含んだサブメニュー３００をディスプレイ１４に表示し、ユーザは状況に応じてサブメニューの選択肢を選択してもよい。図６Ａにおいて、例示的な選択肢は、笑顔モード(smile mode)、瞬きモード、笑顔プラス瞬き、及びその他（ユーザが定義した望ましい表情用）を含んでいる。本例の目的のため、人物被写体が笑っているときに写真が撮影される確立を最大化するため、ユーザは笑顔モードを選択する。

再び図５を参照して、望ましい表情が設定されると、方法の処理はステップ７０へ進み、カメラは顔を検出するために視野を探索する。例示的な実施形態において、ユーザはシャッターボタン１７（図１参照）を半押しすることによって顔検出を開始させてもよい。本技術分野において、半押しは赤目防止やオートフォーカスといった所定のカメラ機能を開始させるために用いられている。同様に顔検出も開始されてよい。実施形態の一態様において、視野で顔が検出されると、枠表示(box indicator)１５ｃ（図１参照）がディスプレイ１４上の被写体の顔の周りに生成される。枠表示は視認性を高めるために緑又は赤などに着色されて良い。

顔が検出されると、ユーザは、その被写体の顔を対象として笑顔検出を開始するためにシャッターボタン１７を全押しすることができ、図５のステップ８０が開始される。被写体の顔を対象に決定(lock on)することは、笑顔検出がその特定の被写体に対してのみ実行されることを意味する。対象の決定は、決定された顔の周りには枠表示１５ｃが残るが、新たな枠表示が表示されないことによってディスプレイで視覚的に示される。従って、対象被写体以外の顔は笑顔検出では追跡されない。例えば、すぐ近くにいる人が視野の背景に入ったとしても、その人の顔は笑顔検出の対象とはならない。ステップ８０において、カメラは、被写体の顔がステップ６５で設定された望ましい表情を有しているか判定する。本例の文脈においては、カメラは人物被写体が笑っているかどうか判定する。

笑顔が検出されなければ、カメラはステップ８０に留まり、笑顔が検出されるまで監視と追跡を継続する。検出されると、方法はステップ９０に進み、写真が撮影される。一実施形態において、方法は”時間切れ”機能を内蔵してもよい。この機能を用いると、ある秒数以内で笑顔が検出されない場合、方法が打ち切られる。

顔及び表情（例えば笑顔及び／又は瞬き）検出は、以下のように実現することができる。図３に関して説明したように、実施時に、カメラアセンブリ１２は、撮像光学系５６の視野を撮影するためのセンサ５４を有している。顔及び表情検出は、既知の顔検出ソフトウェアを、被写体が笑っているか、瞬きしているか、他の望ましい表情をしているかに関して識別するように変更することによって実現することができる。このソフトウェアは電話機内にプログラムされ、メモリ１６に実行可能なコードとして保存されてよく、カメラコントローラ５２が実行することができる。あるいは、これらの機能は携帯電話機１０の制御回路２０によって実行されてもよい。

本発明を個人の撮影に関して説明してきたが、本方法は集合写真を改善する場合においても有用であろう。集団写真に対して適用される方法の実施形態を図７に示す。前の例と同様、ステップ１００に示すように、ユーザはまず、笑顔撮影モードに入るとともに所望の表情の設定を行う。ステップ１１０で、ユーザはシャッターボタン１７を半押しすることができ、カメラは視野内の顔を探索するために顔検出を開始する。ここで、意図した写真には２以上の顔を含める。

観光地や公園などのように混雑した場所で集合写真を撮影することが望ましいことが多い。そのような場所では、意図した人物被写体以外の人物が視野に入ってくることがある。カメラユーザはそのような人物が視野から出て行くまで待ちたいと思うだろうし、背景にいる場合にはカメラを見ているかや、笑っているかどうかについて気にとめない。そのため、意図した被写体と第３者とを識別する必要がある。

そのため、ステップ１２０で、シャッターボタン１７が半押しされると、ディスプレイは検出されている顔の各々を示す。前述の通り、この表示は例えば、ディスプレイ１４において、検出された個々の顔の周りに枠表示１５ｃを生成することにより実現することができる。本例において、枠表示１５ｃは緑である。カメラユーザは、緑枠が意図した人物被写体の周りにのみ表示されている場合、シャッターボタンを全押ししてステップ１３０へ進むことができる。ステップ１３０でカメラは、緑枠内の顔を対象と決定する。つまり、視野に入っているかもしれない第３者を除外して、カメラ処理は意図された人物被写体に適用される。上述した個人の撮影と同様、集合写真における複数の顔に対する対象の決定は、それら対象被写体に関して笑顔検出が実行されるであろうことを意味する。対象の決定は、対象に決定された顔の周りには枠表示１５ｃが残るが、新たな緑枠が表示されないことによってディスプレイで視覚的に示される。従って、対象被写体以外の顔は、笑顔検出のために追跡されることはない。例えば、第３者が視野の背景に入ってきたとしても、その第３者の顔は笑顔検出の対象にならない。

ステップ１４０で、カメラは、対象に決定された顔が笑っている（この例において設定された望ましい表情）かどうかを判定するため、対象に決定された顔を追跡し、笑顔検出を実行する。全員が笑っていると判定されれば、方法はステップ１５０へ進み、写真が撮影される。

不可能ではないにしても、集団の全員が同時に望ましい表情となることが起こりそうもないことがある。集団が非常に大きい場合や、小さい子供のように協力的でない個人からなる集団の場合がそれに該当するであろう。そのような状況では、集団の全員が望ましい表情であることが完全には満たされなくても写真を撮影可能とすることが好ましいであろう。一実施形態において、ステップ１４０は、望ましい表情が完全に満足されることを要求するもので、この機能を「フルモード」と呼ぶ。

図７におけるフルモードステップ１４０の代わりとして、方法は、人物被写体のある程度の割合が望ましい表情を満たすことを要求してもよく、これを「プロポーショナルモード」と呼ぶ。プロポーショナルモードにおいては、図７に点線で示すように、ステップ１４０の代わりにステップ１４０ａが実行される。ステップ１４０ａにおいて、被写体の予め定められた割合が望ましい表情を有する時を判定するため、対象に決定された顔が追跡される。例示的な実施形態においてプロポーショナルモードは、図６Ｂに示すように、笑顔撮影サブメニュー３１０における選択肢であってよい。割合を設定するため、携帯電話機１０は割合を要求するプロンプト（ユーザがキーパット１８を用いて割合を入力できてよい）をディスプレイ１４上に生成することができる。割合は、追跡されている顔の数よりも任意の量少なくすることができる。割合は、５０パーセント、７５パーセントなど一般的なパーセンテージであってよい。あるいは、総数に対し、ディスプレイ１４内の緑枠の一部（サブセット）として設定してもよい。例えば、ディスプレイ１４が１０の緑枠を表示している場合、１０の顔が追跡されていることになるが、ユーザは割合を７，８といったように入力してもよい。このようにして、ユーザは集団の全員が望ましい表情を有するまで待たずに写真を撮影することができる。割合を設定するための実際の方法は、本発明の範囲内で上述の方法から変化しうることを理解されたい。

図８は、集合写真を撮影するための別の実施形態を示している。この実施形態は、「ベストピクチャモード」と呼ばれる。プロポーショナルモードとは対照的に、ベストピクチャモードでは、予め定められた割合が望ましい表情を満たしていることが検出されても写真が撮影されない。複数の写真が撮影並びに表示され、その中から望ましい表情を最も高い割合で含んでいる写真を選択することができる。残りの写真は削除してよい。

図８をより詳細に参照すると、本実施形態の方法は、上述した実施形態と同様に進行する。ステップ２００に示すように、ユーザはまず、笑顔撮影モードに入るとともに所望の表情を選択する。ステップ２１０で、ユーザはシャッターボタンを半押しすることができ、カメラは視野内の顔を探索するために顔検出を開始する。ステップ２２０で、シャッターボタンが半押しされた状態で、ディスプレイは検出された顔の各々を示す。前述の通り、この表示は例えば、カメラがディスプレイ１４に、検出された個々の顔の周りに枠表示１５ｃを生成することにより実現することができる。カメラユーザが意図した人物被写体の周りに枠表示が表れていることを確認すると、方法はステップ２３０に進む。ステップ２３０は、ユーザがシャッターボタン１７を全押しすることにより開始されてもよい。ステップ２３０で、カメラは、視野に入るかも知れない第３者を除外するため、枠表示内の顔、すなわち意図された人物被写体、を対象に決定する。

図８の実施形態であるベストピクチャモードは、前述した実施形態であるプロポーショナルモードと、ステップ２４０から異なる。対象に決定された顔を追跡するのではなく、ベストピクチャモードにおいてカメラは、対象に決定された顔を含むシーンの複数の写真を撮影する。ステップ２５０で、複数の写真がディスプレイ１４に表示される。そしてステップ２６０で、「ベストピクチャ」の判定及び選択のために笑顔検出がその複数の写真に適用されてよい。「ベストピクチャ」は、人物被写体のうち、笑っている（又は選択された１つ以上の望ましい表情を有する）ものの割合が最も高いものとして定義されてよい。選択されたベストピクチャは、メモリ１６に保存するなどにより保持されてよい。一実施形態において、ベストピクチャは、望ましい表情を満足する割合に専ら基づいて、カメラアセンブリ１２が自動的に選択してもよい。あるいは、ディスプレイ１４上の複数の写真をユーザが見て、ベストピクチャを手動選択してもよい。

図９及び図１０を参照すると、ここで説明した方法に時間遅延４１０又は５１０が追加されている。タイマーモードは本技術分野において既知であり、それは一般に、カメラユーザが集合写真内に含まれることを可能にする。タイマー機能はカメラアセンブリ１２のコントローラ５２と、携帯電話機１０のシステムクロック４０との協力によって実行されてよい。他の実施形態において、別個のタイマー（図示せず）が、カメラアセンブリ１２の一部として含まれてもよい。ユーザは遅延時間を設定することができる。シャッターボタン１７を押下すると、タイマーはカウントダウンを開始する。或いは、シャッター機構を起動したりタイマーカウントダウンを開始するために、ユーザは従前のリモコンを用いることができる。遅延の間、カメラユーザは自身が写真内に含まれるように自身の位置を決定してもよい。従来のタイマーでは、遅延時間が経過すると写真が撮影されていた。そのような従来技術のタイマー方法は、得られる写真が望ましいものかどうかとは無関係に、遅延時間の終了時に撮影が行われるという欠点を有している。

例示的な実施形態において、笑顔撮影サブメニュー３２０（図６Ｃ参照）から、或いは他のメニュー（ステップ３２０）によって、ユーザはタイマーモードに入ることができる。望ましい表情の設定に引き続き、ユーザは、遅延時間を例えば遅延秒数をキーパッド１８を用いて入力することが可能である。或いは、シャッター機構を起動したりタイマーカウントダウンを開始するために、ユーザは従前のリモコンを用いることができる。遅延の間、ユーザは撮影される写真に自分自身が含まれるような位置をとることができる。従来のタイマー方法とは対照的に、遅延時間の終りにカメラは写真を撮影しない。その代わりに顔検出が開始され、方法は上述したステップと同様のステップに従って進行する。

図９は、フルモード又はプロポーショナルモードの一部としてのタイマー機能の利用を示している。ユーザは望ましい表情を設定し（ステップ４００）、遅延時間を入力する（ステップ４１０）。タイマーカウントダウンを開始するためのシャッターボタン１７又はリモコンボタンの押下の後、ステップ４２０でカメラは視野内で顔を探索する。タイマー使用時、カメラユーザはシャッター機構が起動されたらカメラから離れることができる。そのため、（図７のステップ１２０及びステップ１３０に見合う）表示ステップ及び対象決定ステップは、用いなくてもよい。フルモードでは、ステップ４３０で、全員が望ましい表情となるまで顔が追跡される。一方、図９に点線で示すように、プロポーショナルモードではステップ４３０ａを用いることができ、顔のうち予め定められた割合が望ましい表情となるまで顔の追跡が行われる。そして、ステップ４４０で写真が撮影される。ステップ４５０で、警告機能が（カメラの前にいるであろう）ユーザに写真が撮影されたことを報知してもよい。例として、警報はカメラフラッシュ６０、独立したLEDインジケータ（図示せず）から発せられてもよいし、又はスピーカ３０からの音であってもよい。

図１０はタイマー機能のベストピクチャモードの一部としての利用を示している。ユーザは望ましい表情を設定し（ステップ５００）、遅延時間を入力する（ステップ５１０）。タイマーカウントダウンを開始するためのシャッターボタン１７又はリモコンの押下の後、ステップ５２０でカメラは視野内で顔を探索する。ここでも、タイマー使用時、カメラユーザはシャッター機構が起動されたらカメラから離れることができる。そのため、（図８のステップ２２０及びステップ２３０に見合う）表示ステップ及び対象決定ステップは、用いなくてもよい。複数の写真がステップ５３０で生成される。その後、ステップ５４０で、警報機能がユーザに写真が生成されたことを報知してもよい。ステップ５５０で複数の写真が表示される。そして、ユーザはカメラに戻って複数の写真を見て、最良の写真を選択する（ステップ５６０）。ユーザは最良の写真以外の写真を削除してもよい（ステップ５７０）。あるいは、前述したように、カメラアセンブリ１２が自動的に最良の写真を選択してもよい。

図６Ａ〜図６Ｃは、本明細書で説明した方法の様々なバリエーションを選択するための例示的なスクロールダウンメニューシステムを示している。ユーザは、「笑顔撮影」を従前のメインメニュー（図示せず）から選択するか、キーパッド１８の専用ボタンを押下することにより操作を開始することができる。すると、ディスプレイ１４は、望ましい表情についてのオプションを選択するためのサブメニュー３００（図６Ａ）を表示するであろう。上述の例は、ユーザが「笑顔モード」を選択したものとして説明されてきた。図６Ａは、「瞬きモード」及び「笑顔及び瞬き」のような、望ましい表情についての他の可能性を示している。「その他」のカテゴリが示されており、これはユーザ定義の望ましい表情を可能にするであろう。望ましい表情が選択された後、ディスプレイ１４は第２サブメニュー３１０（図６Ｂ）を表示してよい。第２サブメニューを通じ、ユーザは、望ましい表情の完全な満足のための「フル」、プロポーショナルモードのための「プロポーショナル」、又はベストピクチャモードのための「ベスト」を選択することができる。この選択がなされた後、第３サブメニュー３２０（図６Ｃ）が、タイマーを使用するかどうかの選択肢をユーザに提供してもよい。

なお、本明細書の開示範囲内で他のメニューシステムを用いることが可能であることは理解されよう。あるいは、想定されるモードの様々な組み合わせに対して、キーパッド１８の１つ以上のボタンを割り当てることもできる。このような専用割り当ては、製造時にプリセットされるか、及び／又はユーザによって規定されることができる。

本発明を特定の実施形態に関して図示及び説明してきたが、本明細書を読み、理解することで、本技術分野に属する当業者が等価物や変形物を実施可能であることが理解されよう。そのような等価物及び変形物の全ては本発明に含まれ、本発明は請求項の範囲によってのみ限定される。

Claims (10)

1. デジタルカメラ(12)を用いて写真を撮影する方法であって、
   望ましい写真についての望ましい表情を設定するステップと、
   前記カメラの視野で、少なくとも１つの顔を探索するステップと、
   顔が前記望ましい表情を有するかどうか判定するステップと、
   顔が前記望ましい表情を有すると判定されると、写真を撮影するステップとを有することを特徴とする方法。
2. 前記視野が複数の顔を含んでおり、
   前記方法が、前記複数の顔の予め定められた割合が前記望ましい表情を有する際に写真を撮影するステップをさらに有することを特徴とする請求項１記載の方法。
3. 前記デジタルカメラ(12)がディスプレイ(14)を有し、
   前記方法が、
   前記視野内の前記複数の顔の各々の存在を前記ディスプレイに表示するステップと、
   前記表示された複数の顔が、撮影を意図した人物被写体の顔のみを含んでいる場合、前記表示された複数の顔を対象に決定するステップと、
   前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情を有する時を判定するため、前記対象に決定された複数の顔を追跡するステップと、
   前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情を有する際に写真を撮影するステップとをさらに有することを特徴とする請求項２記載の方法。
4. 前記視野が複数の顔を含み、
   前記デジタルカメラ(12)がディスプレイ(14)を有し、
   前記方法が、
   前記視野内の前記複数の顔の各々の存在を前記ディスプレイに表示するステップと、
   前記表示された複数の顔が、撮影を意図した人物被写体の顔のみを含んでいる場合、前記表示された複数の顔を対象に決定するステップと、
   前記対象に決定された複数の顔を含む写真を複数撮影するステップと、
   前記複数の写真を前記ディスプレイに表示するステップと、
   前記複数の写真のうち、前記望ましい表情を有する顔の割合が最も高いものを選択するステップとをさらに有することを特徴とする請求項１記載の方法。
5. デジタルカメラ(12)を用いて写真を撮影する方法であって、
   望ましい写真についての望ましい表情を設定するステップと、
   遅延時間を受け付けるステップと、
   前記遅延時間に引き続き、前記カメラの視野で、少なくとも１つの顔を探索するステップと、
   顔が前記望ましい表情を有するかどうか判定するステップと、
   顔が前記望ましい表情を有すると判定されると、写真を撮影するステップとを有することを特徴とする方法。
6. 前記視野が複数の顔を含んでおり、
   前記方法が、
   前記複数の顔の予め定められた割合が前記望ましい表情を有する時を判定するために前記複数の顔を追跡するステップと、
   前記複数の顔の予め定められた割合が前記望ましい表情を有する際に写真を撮影するステップとをさらに有することを特徴とする請求項５記載の方法。
7. 視野を撮影するためのセンサ(54)と、
   望ましい写真のための望ましい表情の入力を受け付け、前記カメラの視野を表す前記センサの出力から少なくとも１つの顔を探索し、顔が前記望ましい表情を有するかどうかを判別し、顔が前記望ましい表情を有するとの判定に応答して、写真を撮影するコントローラ(52)とを有することを特徴とするカメラアセンブリ(12)。
8. 前記コントローラ(52)によって実行される実行可能コードを保持するメモリ(16)をさらに有することを特徴とする請求項７記載のカメラアセンブリ(12)。
9. ディスプレイ(14)をさらに有し、
   前記コントローラ(52)が、前記視野内の前記複数の顔の各々の存在を前記ディスプレイに表示するために前記コードを実行し、
   前記コントローラ(52)がさらに、前記表示された複数の顔が、撮影を意図した人物被写体の顔のみを含んでいる場合、前記表示された複数の顔を対象に決定し、前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情を有する時を判定するため、前記対象に決定された複数の顔を追跡し、前記対象に決定された複数の顔の予め定められた割合が前記望ましい表情を有する際に写真を撮影するために前記コードを実行することを特徴とする請求項７又は請求項８記載のカメラアセンブリ(12)。
10. ディスプレイ(14)をさらに有し、
    前記コントローラ(52)が、前記視野内の前記複数の顔の各々の存在を前記ディスプレイに表示するために前記コードを実行し、
    前記コントローラ(52)がさらに、前記表示された複数の顔が、撮影を意図した人物被写体の顔のみを含んでいる場合、前記表示された複数の顔を対象に決定し、前記対象に決定された複数の顔を含む写真を複数撮影し、前記複数の写真を前記ディスプレイに表示し、前記複数の写真のうち、前記望ましい表情を有する顔の割合が最も高いものを選択するために前記コードを実行することを特徴とする請求項７又は請求項８記載のカメラアセンブリ(12)。

Images