JP2013225860A - 自律動作のためのカメラコンフィギュレーション - Google Patents

Abstract

【課題】直接的な操作者の介在が無くても一連の環境的合図に反応するカメラ装置を提供する。
【解決手段】技術は、画像取得装置に表示された少なくとも１つの対象を画像トリガ条件として選択し、前記少なくとも１つの画像トリガ条件に対応する閾値レベルを入力する。この技術は、前記少なくとも１つの画像トリガ条件を検出するセンサからの信号をモニタし、感知した画像トリガ条件が閾値レベルを満たすことを検出した場合に少なくとも１つのデジタル画像を取得する。
【選択図】図１

Description

本発明は、概して画像取得に関し、特に直接的な操作者の介在が無くても一連の環境的合図に反応するカメラ装置に関する。

最近のデジタルカメラを使い易くし、トラブルを比較的少なくした進歩にも拘わらず、依然として写真撮影の体験を楽しむことを阻みかねない欠点がある。最も直感的な「コンパクト」デジタルカメラを使う場合であっても、撮影者は参加者としてイベントを楽しむよりも、写真を撮る作業に巻き込まれてしまう場合が多々ある。多くの場合、これはノルマとして受けいれられている。つまり、写真撮影者は、することがあるので、他の参加者よりも写真撮影の体験から多少なりとも阻害されてしまう。また、この構成の別の欠点は、イベントでの参加者の反応に関連する。つまり参加者達は、今、自分たちの写真が撮られているということを知っており、撮影中にあまり自然に振る舞えないかもしれない。

写真の撮影者を自由にし、カメラの後ろから引っ張りだして撮影シーンの一部にするために多くの解決策が提案されてきた。最もよく行われる解決策として、全ての設定や調節をした後に撮影者をカメラの後から引っ張り出すことができる遅延タイマを使うという方策から、遠隔操作ができるシャッタその他の装置を用いるという方策まである。これらの解決策によって、撮影者を自由にする方策を提供することができるが、イベントにおいて写真を得るためには尚、多くの注意や設定が必要である。

カメラの遠隔作動は、産業上のモニタリング、偵察、建物のセキュリティ等の適用において行われてきた。例えば、画像取得のために音や動きに応じて始動するシステムを用いれば、人の出入り、人や動物や物体の動き等といった様々な種類のイベントを記録することができる。遠隔モニタリング用のウェブカム装置も、赤外線（ＩＲ）動き検出装置等からのノイズ、光、音、または動きを感知すると、画像を撮影するだろう。係るシステム用のカメラは概して固定された場所に配置され、既知のフォーマットで画像内容を取得する。イベント検出カメラ装置は、例えば米国特許出願公開第２００４／００８０６１８号「Ｓｍａｒｔ Ｃａｍｅｒａ Ｓｙｓｔｅｍ」（Ｎｏｒｒｉｓ等）に開示されている。

イベントを撮影するためにカメラを遠隔作動する際に、セキュリティやモニタリング用に開発された解決策を利用することができる。しかし、家族や友人と一緒の瞬間を捕らえる家庭用の写真を撮影する撮影環境と、遠隔地でのイベントをモニタする日常的な作業の撮影環境との間には、多くの大きな差がある。家庭のイベントで写真を撮る場合には、例えば画像品質、対象の選択、タイミングは大きな関心事であるが、遠隔モニタリングではさほど重要ではない。動きや音を検出してカメラを作動させることは、遠隔地で仕事用の画像を得る場合には十分であるが、例えば誕生会や休暇中の友人との集まりといった家族のイベントでは、好ましい写真は撮り難いであろう。

より自然な写真撮影の体験を提供する試みとして、米国特許出願公開第２００５／００１２８３０号「Ａｕｔｏｎｏｍｏｕｓ Ｃａｍｅｒａ Ｈａｖｉｎｇ Ｅｘｃｈａｎｇｅａｂｌｅ Ｂｅｈａｖｉｏｒｓ」（Ｐｉｌｕ）に概説された試みがある。この８３０号ＰｉＩｕ特許は、動きメモリを備え着用できるカメラを開示する。このカメラは、対象領域からのデータを分析することによってイベントや興味対象の状態を検出できる。同様に、ヒューレットパッカード社のグループは「ａｌｗａｙｓ ｏｎ ｃａｍｅｒａ（いつでもカメラ）」を提案している。これは、継続的に記録を行い、得られた膨大な量の画像をソートして、保存するに足る好ましい数枚の写真を選ぶための支援をするアルゴリズムによって補完されている。例えば、ある型のものは、一対の眼鏡の側面に固定される。これは少なくとも幾らかの人達にとっては使い勝手がよい。カメラを頭の側部から突き出すようにすることが自然だと感じるかもしれないが、この場合、対象領域内にいる撮影対象の人々の自然かつ自発的な動きを引き出せるかについては、疑問がある。更に、ウェアラブル（着用できる方式の）解決策を用いると、撮影者を撮影画面に入れることはなく、単にユーザがカメラを構える方法を変えるだけである。家庭用の写真を撮る様々な状況について、カメラを撮影者に付けるという発想は、撮影者を「自由にする」という考えとは相容れ難くみえる。

つまり、より自然かつ自発的な方法で画像を自動的に得ることに価値あることを認めると、既存の解決策は、一つには撮影者を画像取得機能から自由にするために必要なこと、また別には対象者を「写真を撮られている」という精神的な束縛から解放するために必要なことを、満たしていない。「大量の」画像を継続的に得た後に分類するという既存の解決策では、人が写真を撮って保存しておきたいと思う決定的な瞬間を特徴づける興奮、自発性、社交的な交流といった要素を失ってしまう。

既存の解決策は、決定的な瞬間を撮る場合に、静止画像またはビデオ画像のいずれかを取得することを含む。静止画像と同様、ある瞬間の前後の動画を含む全体の瞬間を捕らえることができると、撮影者の経験と同様、その瞬間の前後状況についての情報（context）を増やすであろう。一方、ビデオと静止画像との両方を組み合わせて得ることは、国際公開ＷＯ２００４／１１１９７１ Ａ２「Ａｕｔｏｍａｔｉｃ Ｔｒａｆｆｉｃ Ｖｉｏｌａｔｉｏｎ Ｍｏｎｉｔｏｒｉｎｇ ａｎｄ ｒｅｐｏｒｔｉｎｇ Ｓｙｓｔｅｍ ｗｉｔｈ Ｃｏｍｂｉｎｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｔｉｌｌ−Ｉｍａｇｅ Ｄａｔａ」に開示されている。これは、交通違反の証拠としての使用に限定される上に、複数のビデオおよび静止写真撮影装置と、複数の撮影画像とを必要とする。消費者が使用でき、決定的瞬間の全てを一台で捕らえられる装置が、撮影者を画像取得機能から解放するために必要である。

米国特許出願公開第２００４／００８０６１８号明細書 米国特許出願公開第２００５／００１２８３０号明細書 国際公開第２００４／１１１９７１号

既存の解決策においては対処あるいは解決されていない問題の中に、動きを含む画像化を改良する必要性がある。例えば、一般の撮影者にとって、動いているサッカーボールや、ゴールキーパーが取る直前あるいは取り損なう直前のサッカーボールの画像を撮ることは難しい。高速の動きの場合、一般の人が撮影した写真は遅れる傾向がある。これはカメラ操作者による遅れと、画像取得タイミング自身に由来する遅れとの両方の理由による。その結果、より興味深い画像を、時には僅かの差で逃す可能性がある。ビデオ列を後で編集することは係る問題に対処する従来の解決策の一つである。しかし、高速イベントを画像化でき、撮影者に大幅な自由と撮影時の使い易さとを与えられる方法があれば、非常に都合がよい。

したがって、撮影者を写真撮影の作業に拘束したり写真から排除したりすることがなく、好ましい写真が撮れる可能性が高く、より満足がいく写真撮影体験を提供するために、新たなアプローチが必要だと思われる。ある状況では、自律的カメラの実現可能な解決策は、グループイベントでの専属撮影者に対して有効な代理を提供することですらある。写真を撮る消費者の必要性に適した、自動または「自律」カメラ動作のための装置および方法を提供することは利点である。

概して、本明細書は、自律的動作を含むようにデジタル画像化装置の多用途性を改良することに関する。この目的を念頭に、本発明は、少なくとも１つの画像トリガ条件を選択し、前記少なくとも１つの画像トリガ条件に対応する閾値レベルを入力し、前記少なくとも１つの画像トリガ条件を検出する少なくとも１つのセンサからの信号をモニタし、前記感知した少なくとも１つの画像トリガ条件が前記閾値レベルを満たすことを検出すると、少なくとも１つのデジタル画像を取得する、ことを含む、画像を取得する方法を提供する。

本発明の一態様は、画像を取得する装置である。当該装置は、少なくとも１つの画像トリガ条件を選択し、前記少なくとも１つの画像トリガ条件に対応する閾値レベルを設定する画像取得装置と、前記画像取得装置に接続されて、前記少なくとも１つの画像トリガ条件を検出する少なくとも１つのセンサと、前記画像取得装置に接続されて、前記少なくとも１つの画像トリガ条件が前記閾値レベルを満たすことを検出すると、前記取得された少なくとも１つのデジタル画像を保存するメモリと、を有する。

本発明の別の態様は、画像取得セットを取得する方法である。画像取得セットは、静止画像と、少なくとも１つの画像トリガ条件の検出によって誘発された画像取得に続いて、前の数秒間のビデオとの組み合わせ、あるいは静止画像と、画像トリガ条件の検出に続く数秒間のビデオとの組み合わせ、またはそれらの組み合わせからなる。この方法は、ビデオ画像を取得し、当該ビデオ画像の少なくとも最新の部分を継続的に保存し、静止画像を取得するための指示に反応し、静止画像とビデオ画像の最新部分とを保存することを含む。

本発明の上記および他の目的、特徴、および利点は、以下の詳細な説明を図面を参照しながら読むことによって当業者には明確になるであろう。図面は本発明の例示的な実施形態を示し説明する。

本明細書は、本発明の主題を特に指摘し明確に請求する請求項と共に完結するが、本発明は添付の図面に関連して以下の説明を読むことで、より良く理解されるであろう。

本発明の実施形態に係るデジタル画像取得装置の概略ブロック図である。 本発明にしたがって、イベントにおいて用いられるデジタル画像取得装置を示すブロック図である。 本発明に従って取得された画像取得セットのタイミングチャートである。 本発明の一実施形態に係る画像化システムのセットアップのためのインタフェース画面の一例を示す図である。 画像トリガのセットアップのために用いるユーザインタフェース画面を示す平面図である。 画像取得を自動的に誘発するために用いるステップを示すロジックフローを示す図である。 本発明の一実施形態にしたがって自動反応モードが如何に動作するかを示す図である。 多様な画像対象を画像取得トリガとして使用するために操作者がカメラを訓練する手順を示す図である。

本発明の多様な実施形態を、図面を参照しながら詳細に説明する。ここでは、同様の参照番号は複数の図面を通して同様の部品や組立て品を示す。様々な実施形態を参照することで本発明の範囲を制限するということはなく、本発明の範囲は添付の請求項の範囲によってのみ制限される。更に、本明細書に説明される任意の例はそれに限られるというものではなく、請求された発明の多くの考え得る実施形態の幾つかを示すにすぎない。

本発明は、カメラ等の自律的画像取得装置を提供し、家族、友人、グループイベント等の写真を撮影する消費者の必要性に適合する解決策を提供する。自律的画像取得装置は、当該装置によって感知されるプロンプトに反応し、ユーザによって入力された指示、ユーザによって行われた訓練、または適切な画像トリガ条件として装置によって検出された環境的なイベントにしたがって、デジタル画像を自動的に取得する。この装置は融通がきき、プログラム可能な多数のイベントの任意のイベントに加え、ユーザが画像取得ボタンを押すことによっても、画像取得をトリガする（画像取得を開始させる）ことができる。本発明の実施形態では、画像取得装置を用いて得られた画像はビデオ画像でも静止画像でもよく、ビデオ画像と静止画像の組み合わせでもよい。

以下に説明する実施形態の画像取得装置は、デジタル静止カメラ、ビデオカメラ、静止およびビデオ画像の両方を取得できるカメラでもよい。画像取得セットは画像取得装置によって得られる。これは、当該装置の性能と、操作者または装置制御ロジックによって特定されるセットアップパラメータとに基づいて、当該装置によって得られる静止およびビデオ画像の一方または両方を一枚以上含み得る。一実施形態において、画像取得セットは、静止画像と、画像トリガ条件の検出に先立つ所定秒間のビデオとの組み合わせ、静止画像と、画像トリガ条件の検出に続く所定秒間のビデオとの組み合わせ、および／またはこれらの組み合わせからなる。

図１は、本発明の実施形態に係るデジタル画像取得装置１０の概略ブロック図である。少なくとも１枚のレンズ１３と画像センサ１５とを含む画像取得モジュール１２が、写真を自動的に取得するロジックプログラムを実行する中央処理装置１４に接続している。また、少なくとも１つのセンサ１８が中央処理装置１４と通信し、画像取得モジュール１２を作動させることによって、中央処理装置１４が、感知された条件に反応して画像を取得できるようにする。取得された画像の画像データを任意のストレージ１６に局在的に保存するか、イーサーネット（Ethernet（登録商標））ネットワークやその他の種類のネットワーク等といったネットワーク２２を介して遠隔地にあるストレージに送信することができる。ユーザインタフェース２０によって操作者の指示を入力し、中央処理装置１４によってこの指示を実行できるようにする。これによって画像取得装置１０の柔軟な動作や反応が実現できる。

画像取得技術の当業者には自明なように、図１の基本的な構成によって多数の異なる実施形態を実現できる。例えば、デジタル画像取得装置１０は、中央処理装置１４、ユーザインタフェース２０、またはストレージ１６のいずれかと共に一体的に組み込まれたセンサ１８を有することができる。また、１個以上の環境センサ１８を提供することもできる。これは音、光 (可視光、紫外線、または赤外線)、振動、熱、電場、磁場、放射線、後述のように合図またはプロンプトとして機能できるその他の環境変数を検出するセンサを含む。中央処理装置１４はオンボードマイクロプロセッサ、または例えばラップトップコンピュータやワークステーション等の別個のパーソナルコンピュータでもよい。ユーザインタフェース２０を装置１０に内蔵することも、別にすることもできる。中央処理装置１４およびストレージ１６のコンポーネントはネットワーク２２上の別の場所に離れて配置することができる。コンポートネント間の接続は、必要な柔軟度に応じて、有線または無線でもよい。したがって、以下の説明のために、図１に示す構成は、任意の数の変形を行うことができる有益なモデルとして機能できる。

図２は、本発明にしたがってイベントに用いられるデジタル画像取得装置１０を示すブロック図である。デジタル画像取得装置１０を、例えば室内イベントでは棚や背の高いテーブルの上といった、画像を取得するために従来から使われる場所に設置する。あるいは、デジタル画像取得装置１０を手に持ったり、体に装着したりして、画像を取得したい大まかな方角に向けるといった方法で用いることもできる。１個以上のセンサ１８をデジタル画像取得装置１０に組み込んだり、または１個以上のセンサをデジタル画像取得装置１０から離れた任意の適切な場所に、これら双方を接続する通信チャネルが許容するように設置したりしてもよい。相互を接続する通信チャンネルは有線でも無線でもよい。１個以上のセンサ１８を隠したり、シーンの中の物体として偽装したり、その中に置いたり、そのシーンやデジタル画像取得装置１０の傍にいる誰かに身につけさせたりすることができる。

センサの種類および構成（arrangement）
センサ１８は多様な種類のセンサ装置の内の任意の装置でよく、多数の状態の内の任意の状態を、特に中央処理装置１４の処理性能を使って、検出できる。複数のセンサ１８を用いることもできる。センサ１８は、例えばオーディオセンサでもよい。一実施形態では、所定の閾値レベルより上のノイズによって、画像を取得する適切なタイミングを示すことができる。しかし、画像取得を行うための適切な、より繊細な合図もあり得る。音の種類によっても画像を取得するために有利なタイミングを示すことができる。これは１人以上の参加者からの合図を含むことができる。例えば、キーワード、プロンプト装置のようなものから得られる音（人間の耳に聞こえても聞こえなくてもよい）、笑い声、音量の急激な変化（高音から低音へ、または低音から高音へ）、拍手、沈黙への移り変わり等である。１人以上の参加者の音声の特徴（profile）を得ることが出来、中央処理装置１４を任意の特定の人の声や１人以上の人から得られる音のイントネーションに反応するようにプログラムする。動物や、ベル等の物体からの音も、画像取得をトリガする（開始する）ことができる。

あるいは、センサ１８は熱センサ、赤外線センサ等といった任意の種類の環境センサでもよい。イベントの参加者から検出された熱を使って、画像の取得を始めることができる。画像フィールド（image field）について検出された熱特性（profile）の変化、例えば動きを示す変化等も、利用することができる。センサ１８は光の変化を感知できる。これは明度やスペクトルの変化を含む。可視スペクトルを超えて紫外線領域または赤外線領域に入りこむスペクトルの変化を、センサ１８によって感知することができる。この種類の変化を用いて、例えば画像の取得を始めるために適切な動きを示すことができる。あるいは、振動や空気流をセンサ１８または複数のセンサ１８によって感知することができる。電場、磁場、または放射も、センサ１８によって感知して、画像の取得を開始する、画像フィールドにおける変化を感知することができる。これらの要因は、例えば１人以上の参加者の接近具合を示すことができる。

他の実施形態では、センサ１８の役割を画像処理ソフトウェアによって行うことができる。この画像処理ソフトウェアは、画像取得モジュール１２によって継続的に取得される画像データに対して実行される。画像取得モジュール１２によって取得されるビデオ信号を継続的にモニタすることによって、当該ソフトウェアは突然の動作、動作の開始または動作の停止、明度の変化、画像取得を開始するための画像トリガ条件とし機能できるその他の条件等のイベントを、検出できる。

コンテンツの取得（キャプチャ）
デジタル画像取得装置１０の別の動作モードにおいて、画像取得セットを得る。画像取得セットは、静止画像と画像トリガ条件を検出する前の所定数秒間のビデオとの組み合わせ、静止画像と画像トリガ条件を検出した後の所定数秒間のビデオとの組み合わせ、またはこれらの組み合わせ、からなる。この実施形態において、画像取得モジュール１２は、静止画像と、ビデオとして構成された一連の画像との両方を取得できる。あるいは、ビデオは、ディスプレイに提供されたプレビュー列から得ることができる。

上述した一つの問題は、カメラ操作者の反応時間に関連する。この動作モードでは、一時バッファ１７を一時バッファとして用いて、画像取得モジュール１２によって継続的に得られるビデオ画像の最新部分をこれに保存する。ビデオの解像度は静止画像の解像度より低いので、ビデオフレームレートを早くすることができ、ビデオ列のデータレートを減少することができ、一時バッファ１７の必要な大きさを小さくすることができる。これによって、画像トリガ条件を検出する数秒前からのビデオ画像を取得し、静止画像を取得するまでの一連のイベントを表示する方法を提供する。さらに、この数秒間のビデオが、画像取得セットに含まれる場合、静止画像を取得するまでの脈絡の情報（context）を提供することができる。

図３は、本発明にしたがって、画像取得セットを如何に取得できるかを示す単純化したタイムチャートである。図３において、窓３２は時間窓３２を示す。時間窓３２において、時間ｔ１は、一時バッファ１７にビデオデータを保存できる時間ｔ２よりも所定時間前の時間を示す。例えば、時間ｔ１は時間ｔ２の１０秒前でもよい。時間ｔ３は、ビデオデータを一時バッファ１７に保存できる時間ｔ２よりも所定時間後の時間を示す。例えば、時間ｔ３は時間ｔ２の５秒後でもよい。トリガイベントは、図３のグラフに示す通り、時間ｔ２に生じる。時間ｔ３は時間ｔ２よりも後なので、時間ｔ２〜時間ｔ３のビデオデータをストレージ１６に直接保存することができる。画像取得セットは、時間ｔ１〜時間ｔ２のビデオ画像と、時間ｔ２に取得した静止画像と、時間ｔ２〜時間ｔ３のビデオ画像との任意の組み合わせからなることができる。これについては以下で詳細に説明する。画像取得セットを取得した後、これをストレージ１６に移動する。

一実施形態では、静止画像を取得する前の所定期間内に撮られたビデオを画像取得セットに含めることができる。この期間を、図３の窓３２では、時間ｔ１と時間ｔ２との間の時間として示す。この期間中、ビデオを一時バッファ１７(図１)に継続して保存する。更に、図３において時間ｔ２〜時間ｔ３として示される、静止画像を取得した後の所定期間に取得したビデオも、画像取得セットに含めることができる。時間ｔ１と時間ｔ２との間および時間ｔ２と時間ｔ３との間の時間を、ユーザの設定、一時バッファ１７の大きさ、デフォルト設定、またはこれらの組み合わせによって決める。装置が画像を取得する準備ができている場合やユーザが画像取得ボタンに触れた場合にビデオを一時バッファ１７に継続的に保存する。準備ができている場合とは、例えば、デジタル取得装置１０が、ユーザがデジタル取得装置１０を取り上げた場合に画像取得セットを可能にするモードに設定されている場合である。

ユーザインタフェース例
図４は、本発明の一実施形態に係る画像化（イメージング）システムをセットアップするためのインタフェース画面３０の一例を示す。一実施形態では、画像取得システムをプログラムして、イベント環境における僅かな合図に対して反応するようにする。例えば、笑いは、量化することができて、画像取得を開始するために使用できる特定のオーディオ信号特徴を有し得る。何らかのトレーニング（学習）を利用することもできる。トレーニン具をすることにより、中央処理装置１４は、ある種の音と別の種の音（あるいは、より一般的には、感知したある種類の状態と別の状態）とを識別するにあたり、より良い結果を達成するようにプログラムされる。

図４では、インタフェース画面３０がカメラディスプレイに表示され、タッチスクリーンによるメニュー選択を利用する。拡大可能なメニュー選択３４を提供することで、画像の自律的取得のための基本的な合図やプロンプトを選択することができる。図５の例では、音量変化条件を、画像の取得を開始するプロンプトとして選択する。カメラ操作者は、画像や画像取得セットを取得させるための音量変化の閾値の設定３６を行う。カメラに設けられた制御ノブの位置を変えることで、設定レベルを設定することができる。あるいは、タッチスクリーンや別の種類の操作者入力メカニズムを用いて、好適な設定レベルを得ることができる。

移り変わる状態を画像取得トリガとして効果的に利用することができる。これは静止状態よりも有用であり得る。例えば、ある閾値より上のノイズを感知した場合に画像を取得するように、デジタル画像取得装置１０を設定することができる。しかし、比較的騒がしい環境下では、このような設定のためにデジタル画像取得装置１０が作動して、所望より多くの頻度で画像を取得することにもなり得る。この代わりに、例えば、所定の時間間隔内にノイズレベルが所定ｄＢ移り変わることにより、カメラユーザに興味を起こさせるイベントが行われている最中に画像取得を開始する可能性を高めるようにしてもよい。

他のプロンプト選択は、図５に示す簡単な例よりも複雑になる可能性がある。例えば、プロンプトを選ぶことによって声の種類（例えば、大人か子供か）や、特定の人の声を特定することができる。中央処理装置１４（図１)上で動作する音声認識ソフトウェアが、一人以上の人の声を合図として検出するために用いられるだろう。これについては、以下のより詳細な例において説明する。

画像取得トリガとして使用するために選択できるその他のイベントとしては、以下に説明するイベント等がある。ただし、これらのイベントに限定されるということではない。つまり、色、明度、その他の画像特性の変化である。動きは、突然の動作、動作の停止、特定の閾値速度より上または下の動きといった多数の特徴によって検出することができるし、あるいは、プログラム可能なその他の特徴を選択することによっても選択することができる。内容を、画像取得トリガとして用いることもできるので、様々な画像対象を検出して、画像取得トリガとして機能させることができる。例えば、画像領域内にある多数の顔といった変数は、画像取得トリガとして機能することができる。激しい運動（exertion）や赤面などを示すかもしれない顔色や色の変化も画像取得装置１０によって感知されて、画像取得のための画像トリガ条件として用いられるだろう。

更に他に規定された内容の条件としては、人、動物、顔、またはその他の区別可能な被写体（subject）や物体を検出することを含むことができる。デジタル画像取得装置１０は周期的に画像を分析し、その画像が人、ペットその他の動物、または興味対象の物体であるかを決定するロジックツールを備えることができる。デジタル画像取得装置１０も、後述のように、特定の人や物体を「学習」する性能を有することができる。

多数の任意のセンサを使って、光や音に通常、関連づけられている以外の条件を検出することができる。赤外線検出装置を選んで、ある人々、ペット、体温や、視界内において測定される熱特性におけるその他の変化が適切な画像取得トリガである状況を、識別できる。体温、ＥＫＧ、振動、その他の検出可能なパラメータ用のセンサを使用することができる。

上述のように、静止およびビデオ画像の両方を画像取得セットの一部として取得することができる。デジタル画像取得装置１０の操作者インタフェースによって、操作者に対して、特にいずれかの種類の画像の取得、または両方の種類を組み合わせた画像の取得のための画像トリガ条件を設定するオプションを提供することができる。

特定された音声または他のオーディオ信号を使用する例
図６は、本発明に係る音声及び／またはオーディオ検出ロジックを示すフローチャートである。音声その他のオーディオ検出について、図６のロジックフローや類似のロジックを用いることができる。以下の例やステップを音声の例のために説明する。ただし、任意の種類の音（特定のペット、楽器、ドアが開く音、電話、ベル、または他の音等）も、自律的画像取得モードに設定されたデジタル画像取得装置１０によって画像を取得するための同様の刺激になる可能性がある。

選出ステップ１００において、操作者は１つ以上の音声（または他の音）に対する音声または音の認識を、インタフェース画面３０コマンドを用いて指定する。サンプル取得ステップ１１０において、操作者は、識別された人や人々にマイクに向かって話をさせる。マイクはカメラに設けるか、カメラまたは中央処理装置１４に取り付けることができる。求められる洗練さの度合いに応じて、音声サンプルを比較的簡単にして、話し手が、基本的なオーディオ特徴（profile）を作成するために十分である数秒間だけ話せばいいようにすることができる。より複雑な設定の場合、識別された人に対して特定のフレーズを話すように求めることができる。このフレーズによって、特定の人のトーンや話し方のパターンを特徴づけ、他人のそれと区別することができる。

モニタステップ１２０は、カメラが一旦、自律的動作で作動させられると、実行される。モニタステップ１２０の間、デジタル画像取得装置１０に設けられた中央処理装置１４が、マイクの入力信号から検出されたオーディオ列を継続的にモニタする。イベント検出ループステップ１３０は、制御ロジックが特定の人（または人々）の声が検出されたか否かを判断する際に、周期的に実行される。係る声が検出された場合、画像取得ステップ１４０が実行される。その後、次の操作者コマンドが受信されるまで、イメージ化を停止することができる。あるいは、特定の人（々）または参加者が話したことを示すオーディオ「イベント」が検出される度に、継続的な画像取得が開始されてもよい。

環境変数への自動反応
図７は、本発明の一実施形態にしたがって自動反応モードが如何に動作するかを示す。デジタル画像取得装置１０を自動反応モードに設定することができる。このモードでは、「期待」設定または「標準」設定における変化に対して反応する。このモードにおいて、デジタル画像取得装置１０は、その視野おける変化に順応し、その環境において十分な量の変化を検出した場合に画像を取得することができる。このようにして、例えばデジタル画像取得装置１０を、最初は誰もいない部屋の中に置いておくことができる。その後、人が入室した際に検出される活動は、デジタル画像取得装置１０を作動させて画像を取得するために十分なエネルギーを有する可能性がある。

図７では、モード初期化ステップ２００を最初に実行する。このステップでは、デジタル画像取得装置１０を、その特定の視野に順応するためのモードに設定する。１つ以上の事前に設定された閾値設定２０２を設けることで、デジタル画像取得装置１０が画像取得を行う「エネルギーレベル」のための感度閾値を設定するための支援をすることができる。続く自習ステップ２１０では、デジタル画像取得装置１０をトレーニングしてシーンについて学習させ、画像トリガ条件閾値を求めさせる。ステップ２１０では、デジタル画像取得装置１０が、その環境から得られる１つ以上の変数を感知する。これらの変数は例えば、その視野内での活動、周囲の雑音レベル、相対的な明度、色、その他の検出可能な合図を含み得る。このモードに設定されている間、デジタル画像取得装置１０は感知した活動を時間の経過に伴って統合(integrate)し、その「世界」がどのように見えているかについての特徴的な「プロファイル」を得る。次にデジタル画像取得装置１０は、当該シーンにおいて時間の経過に伴って相対的な活動やエネルギーレベルを感知すると、当該シーンの中で生じている移り変わりに対して反応することができる。いくらかの学習時間を経ると、デジタル画像取得装置１０は自律動作ステップ２２０を行う準備ができる。これは、例えば事前に設定された期間を経た後でもよい。あるいは、操作者からの指示を利用して自習ステップ２１０を終わらせ、自律動作ステップ２２０を開始することができる。

モニタリングステップ２３０は、自律動作ステップ２２０の一部として実行される。モニタリングステップ２３０の間、デジタル画像取得装置１０はその視野と、選択された一組の環境変数とをモニタする。測定された変数の幾つかが所定の閾値を超えた場合に、イベント検出ステップ２４０が行われる。例えば、外を通る車のノイズが検出されるが、そのノイズはデジタル画像取得装置１０が「学習」した閾値より下である場合がある。これは、デジタル画像取得装置１０が比較的騒がしい環境に置かれた場合に生じ得るので、予測される環境ノイズからの偽トリガは、画像取得をトリガする（開始させる）ために使われない。決定ステップ２５０は、ある種の刺激が感知された場合に実行される。感知された信号が、所定の閾値を超えるか、事前に設定された設定２０２および自習ステップ２１０において学習された特徴の両方に影響され得る他の必要条件を満たす場合に、画像取得ステップ２６０を開始することができる。これによって自律的な動作を止めることができる。つまり、図示するように、制御ロジックを単にモニタリングステップ２３０に戻すことができる。

自律動作ステップ２２０の別の部分として、デジタル画像取得装置１０は、動作中に感知した物に基づいて、その環境を継続的に「再学習」することもできる。例えば、自習ステップ２１０の間、最初は会議室は無人である。人が入室し始めるとデジタル画像取得装置１０は画像を取得し始め、上述したように、画像取得ステップ２６０に進む。例えば、新たに人が入室する毎に、あるいは周期的に、画像を取得する。しかし、部屋が人で一杯になるか他に入室する人がいなくなると、カメラの反応がそれにしたがって変化する。他の実施形態では、感知したデータを統合し続けることで、デジタル画像取得装置１０は更新された履歴を得ることができ、一旦会合が始まると、その感度閾値は変化する。次に、再定義又は再計算される、すなわち「ローリングする（rolling：変動する）」ような種類のノーマル状態を利用してもよく、これによってデジタル画像取得装置１０は、変化する環境や新しい状態に応じて、感知された条件の最新の「履歴」を使って、その閾値感度を調整することができる。図７に示すロジックについて、自習ステップ２１０を周期的に行うことで、決定ステップ２５０において用いる閾値の設定を調整する。この履歴を得ることで、音量や動きにおいて大きな変化があった場合にのみ、その後に画像の取得をトリガする。つまり偽のトリガを効果的に防ぎ、凡庸な画像や繰り返しの画像の取得を最小限にする。

デジタル画像取得装置１０は自動的に自動反応モードになり、電源が入れられた場合やタイマにしたがってモード初期化ステップ２００を行う。更に、モニタリングステップ２３０は、異なるレベルの感度を有することができる。このレベルは時間の経過と共に変化する。この特徴により、デジタル画像取得装置１０は「節電」モードに入ることができ、所定期間内にイベントが検出されない場合、バッテリその他の電力の消費量を減らす。例えば、ユーザが、デジタル画像取得装置１０をオフにし忘れたまま、週末、会議室に置き放しにした場合、モニタ感度を低レベルにすることが最適な節電機能になり得る。

全般的に、デジタル画像取得装置１０の操作者は、当該装置を自動反応モードにおいて使用するために多様な構成を利用することができる。しかし、一実施形態では、カメラの設定は不要である。カメラは、操作者が他に指示しない限り、電源が入ると直ぐに自動反応モードになる。あるいは、設定ツールを設けることで、感知された多様な条件から選択したり、初期化閾値を提供したりすることができる。

上述のように、自動反応モードにおいて取得した画像取得セットは、静止画像でも、ビデオ画像でも、両方の種類の画像の組み合わせでもよい。画像取得ステップ２６０では、ある種のイベントであるとか、異なる閾値の設定であるといったある種の条件下において、短いビデオ列を取得することができる。

対象またはイベントに対する学習した反応
図８は、デジタル画像取得装置１０をトレーニングして、画像中の、識別可能な様々な部分を、画像取得トリガとして機能する興味対象（注目の被写体）として用いるための手順を示す。一実施形態では、デジタル画像取得装置１０は視野を継続的に分析し、興味対象を検出すると、画像の取得を開始する。つまり、興味対象は、検出される変数を表し、視野内に興味対象が存在するということは、画像トリガ条件の閾値レベルを超えたことを示す。あるいは、画像トリガ条件が、興味対象の存在の変化である場合もあり得る。この場合、興味対象が視界を離れると閾値を超える。

デジタル画像取得装置１０は、特定の興味対象に反応するか、感知し得るまたは視野内で生じる特定の種類のイベントに反応するように、学習すなわちトレーニングされる。一実施形態では、図８の例に示すように、操作者は、多様な興味対象を画像取得トリガとして使用するためにカメラを教育またはトレーニングする手順を実行する。具体的には、セットアップステップ３００では、操作者は、デジタル画像取得装置１０に指示して教え込みモードにする。この指示は、カメラに設けられたコントローラ４２や、プルダウンメニューや特定の制御シーケンス等といった、この目的の為に設けられたその他のコマンド入力装置によって、入力することができる。

表示ステップ３１０では、興味の対象やイベントを含む画像がカメラディスプレイ３０に表示される。これは新たに取得した画像でも良いし、以前に保存されてカメラにアクセスできる画像でもよい。画像が表示されると、次に識別ステップ３２０が実行される。識別ステップ３２０では、操作者は、画像取得トリガとして使用すべき興味対象を明示的に示す。図８の例では、操作者は、デジタル画像取得装置１０の視野内にサッカーボールがある場合に画像を取得したい。操作者は、その興味対象を含む適切な画像を表示し、タッチスクリーン等の何らかの方法によってその興味対象を強調する。しかし、本発明は強調するだけに制限されず、対象を選択するための任意の適切な方法を用いることができる。例えば米国特許第７，１６４，４９０号「Ｃｕｓｔｏｍ Ｃｕｔ Ｉｍａｇｅ Ｐｒｏｄｕｃｔｓ」（Ｍａｎｉｃｏ等）に開示された技術である。表示された画像は以前に取得されてデジタル画像取得装置１０に保存されていた画像でも、ネットワーク２２等を介してデジタル画像取得装置１０にアクセス出来る画像でもよい。あるいは、表示された画像は、デジタル画像取得装置１０が動作中に継続的に取得されたライブ画像でもよい。

図８では、カメラディスプレイ３０に表示されたサッカーボールの周りに輪郭線４４を描く。輪郭線４４はタッチスクリーンディスプレイ上に描かれたり、その他の方法によって生じさせることができる。あるいは、指でタッチスクリーンを押すことによっても興味対象を識別できる。中央処理装置１４（図１）上で動作する画像分析ソフトウェアは、押した指に最も近い物体の境界を示し、認識できるであろう。

図８に示す、デジタル画像取得装置１０をトレーニングするセットアップステップを、興味対象の「ライブラリ」を作るために十分な回数、繰り返すことができる。この同じ手順を使って、例えば複数の人を興味対象としてデジタル画像取得装置１０に導入することができる。これによってデジタル画像取得装置１０は、その「興味対象」の人々を識別し、それら一群の人々の画像を取得するように動作することができる。興味対象のライブラリは、図８の例に示すサッカーボールや、任意の数の人などのような両方の対象を含むことができる。

類似の手順を使って特定の色や音を識別し、学習した反応対象およびイベントのライブラリに同様に保存することができる。このようにして、例えばサッカーチームのユニフォームやチーム歓声（team cheer）を画像トリガ条件として保存することができる。

教示手順の一部により、好みで選んだものではない似た人や物の画像を得る際に、フィードバックやカメラ誤差訂正を行うことができる。例えば、母親はデジタル画像取得装置１０に対して、チームや学芸会において自分の子供を他の子供から区別するように、効果的に教え込むことができる。

多数の興味対象を組み合わせることで、ユーザはデジタル画像取得装置１０に対して、興味対象の全てが画像内に揃っている場合に画像を取得するように教えることができる。複数の興味対象を用いる例では、特定のジャージ番号を付けたサッカープレーヤがサッカーボールやサッカーゴールと共に視野内に存在する場合に画像取得を開始するように、デジタル画像取得装置１０に教示する。この場合、ジャージ番号、サッカーボール、サッカーゴールの各々が興味対象として識別される。画像トリガ条件閾値は、視野内に３つの興味対象の全てが同時に存在すること、である。

別の実施形態では、デジタル画像取得装置１０は、ライブラリを使って、ライブラリの内容に基づいて、特定のユーザが興味を持つ傾向のある被写体を検出するように設定することができる。この画像のライブラリはデジタル画像取得装置１０上に置いてもよいし、ネットワーク２２を介してアクセスされる遠隔地に置いてもよい。例えば、ある子供、ペット、又はその他の対象物の画像が繰り返される場合、この特定の対象がユーザにとって大きな価値があることを示している。画像分析ソフトウェアを用いて、様々な対象の、取得した画像の数を追跡し、このデータを学習処理における入力として用いて、好適な興味対象を検出することができる。同様に、デジタル画像取得装置１０は、画像の値を画像ライブラリ中の各画像に対して、ユーザに知覚された値にしたがって付与することができる。これは「画像値インデックス（Image Value Index）（ＩＶＩ）」と呼ばれる。例えば、ユーザがある画像をどれだけ長い時間見ていたかや、それらの画像の内容に関するデータを取得することができる。画像内の重要な領域を、多数の方法を用いて検出することができる。例えば、本願と同一譲受人に譲渡された米国特許第７，０４６，９２４号「Ｍｅｔｈｏｄ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ ａｎ Ａｒｅａ ｏｆ Ｉｍｐｏｒｔａｎｃｅ ｉｎ ａｎ Ｉｍａｇｅ ｕｓｉｎｇ Ｅｙｅ Ｍｏｎｉｔｏｒｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ」（Ｍｉｌｌｅｒ等）に開示された方法である。多様な画像内容の有効値のその他の有益な指標としては、画像や、この装置から得た画像を識別できる内容を用いた電子メールのやりとりの数を含めることができる。デジタル画像取得装置１０によって転送され検出された画像を伴うメタデータも、これを走査し、ユーザにとって特別な興味があると思われる対象を示すために用いることができる。

一旦、１つ以上の興味対象が保存されたら、デジタル画像取得装置１０は、自動反応モードに設定された場合にはいつでも、これらの興味対象を画像取得トリガとして用いることができる。また、興味対象（単数および複数）が視野内にあって、対応する閾値が満たされる場合には、これらの画像取得トリガを、画像（または画像取得セット）を取得するための、デジタル画像取得装置１０に対する「指示」として感知することができる。追加的なユーザ手順を設けることで、興味対象やその他の学習した画像取得トリガのライブラリを管理し、ユーザにとって既に無価値になった画像取得トリガを削除したり、画像取得トリガを優先付けしたり、組み合わされた多数の画像取得トリガの使用を調整したり、する。

画像処理
従来の写真アプローチでは、画像品質を出来るだけ最良にするためには非常に注意してカメラ装置や照明器具を正確にセットアップしなければならなかった。一方、本発明では、デジタル画像化の多様な利点を利用して、デジタル画像化を用いて良好な画像を得るために必要な画像処理を自動化する。

一実施形態では、広角カメラを用いてオリジナルのデジタル画像を取得する。次に、このオリジナル画像の中心をあわせ、画像の中の重要な画像内容を識別したり、興味の少ない内容を削除するためにトリミングをしたりする多数の周知技術の内の任意の技術を用いてトリミングすることで、調整済みのデジタル画像を作る。現在進行中および今後予測される、画像形成の解像度における改良によって、トリミングされた画像であっても好ましい体裁や良好な画質を維持できるようになるだろう。

キーフレーム抽出方法を用いて、ユーザにとって価値があると思われるキー画像フレームを検出し、識別することができる。キーフレーム抽出法は、例えば本願と同一譲受人に譲渡された米国特許出願第１１／３４６，７０８号（２００６年２月３日出願）「Ｅｘｔｒａｃｔｉｎｇ Ｋｅｙ Ｆｒａｍｅ Ｃａｎｄｉｄａｔｅｓ ｆｒｏｍ Ｖｉｄｅｏ Ｃｌｉｐ」（Ｌｕｏ等）と、係属中の米国特許出願第１１／３４７，６７９号（２００６年２月３日出願）「Ａｎａｌｙｚｉｎｇ Ｃａｍｅｒａ Ｃａｐｔｕｒｅｄ Ｖｉｄｅｏ ｆｏｒ Ｋｅｙ Ｆｒａｍｅｓ」（Ｌｕｏ等）に開示されている。その他のキーフレーム抽出方法は米国特許出願第２００５／０２２８８４９号「Ｉｎｔｅｌｌｉｇｅｎｔ Ｋｅｙ Ｆｒａｍｅ Ｅｘｔｒａｃｔｉｏｎ Ｆｒｏｍ ａ Ｖｉｄｅｏ」（Ｚｈａｎｇ）に開示されている。

自動ズームおよびトリミング技術も、広範囲の画像において特に興味がある部分を選択するために有用である。使用できる自動ズームおよびトリミング技術を開示する特許の例としては、本願と同一譲受人に譲渡された米国特許第６，６５４，５０７号「Ａｕｔｏｍａｔｉｃａｌｌｙ Ｐｒｏｄｕｃｉｎｇ ａｎ Ｉｍａｇｅ ｏｆ ａ Ｐｏｒｔｉｏｎ ｏｆ ａ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅ」（Ｌｕｏ）および同様の米国特許第６，６５４，５０６号「Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｃｒｅａｔｉｎｇ Ｃｒｏｐｐｅｄ ａｎｄ Ｚｏｏｍｅｄ Ｖｅｒｓｉｏｎｓ ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅｓ」（Ｌｕｏ等）がある。画像取得セットに含まれるビデオを用いて、画像取得セットに含まれる静止画像の内容に適用する自動ズームおよびトリミング処理を更に改良することができる。また、自動ズームおよびトリミング処理に対して入力を提供することで、自動的にズームおよびトリミングされた画像の内容を、画像取得トリガ情報を用いて更に改良することができる。

本発明を、その好適な一実施形態を特に参照しながら詳細に説明したが、当業者には、多様な変形や変更を、上述または添付の請求項が規定する本発明の範囲の中で本発明の範囲を超えることなく、実行できることが分かるであろう。例えば、コンポーネント同士を適切に接続し、標準的なワークステーションやラップトップコンピュータのプラットフォーム上で実行される制御プログラムロジックを用いることで、本発明を多くの種類のデジタルカメラに用いることができる。または、本発明の装置を製品として、センサ、制御ロジック、インタフェース、当該装置と一体的な他の機能と共に、パッケージ化することができる。多様な種類の画像処理を、適用に応じて用いることができる。マルチプルカメラを異なる場所で使用し、感知した同じ条件を元に画像を取得する。異なる配置（arrangement）のセンサを、感知した条件の多様な組み合わせを元にプログラムされた異なる動作と共に、用いることができる。

つまり、一連の環境的な合図に反応して、直接的な操作者の介在なしに画像取得セットを取得するカメラ装置を提供する装置および方法を提供する。

１０ デジタル画像取得装置、１２ 画像取得モジュール、１３ レンズ、１４ 処理装置、１５ 画像センサ、１６ ストレージ、１７ 一時バッファ、１８ センサ、２０ ユーザインタフェース、２２ ネットワーク、３０ 画面、３２ 窓、３４ メニュー選択、３６ 設定、４２ コントローラ、４４ 輪郭、１００ 選出ステップ、１１０ サンプル取得ステップ、１２０ モニタステップ、１３０ イベント検出ループステップ、１４０ 画像取得ステップ、２００ モード初期化ステップ、２０２ 閾値設定、２１０ 自習ステップ、２２０ 自律動作ステップ、２３０ モニタリングステップ、２４０ イベント検出ステップ、２５０ 決定ステップ、２６０ 画像取得ステップ、３００ セットアップステップ、３１０ 表示ステップ、３２０ 識別ステップ。

Claims (14)

1. 画像取得装置を用いて画像を取得する方法であって：
   トリガ条件の選択を受け入れるステップと；
   前記トリガ条件の選択を受け入れるステップに応じて、前記トリガ条件に対応する閾値レベルを判定するステップと；
   前記閾値レベルが満たされたことを検出すると、少なくとも１つのデジタル画像を取得するステップと、を含む、方法。
2. 前記閾値レベルを判定するステップには、環境変数に応答することを学習するステップを更に含む、請求項１に記載の方法。
3. 前記環境変数には、興味対象、画像部分、イベント、輝度レベル、色、及び動きのうちの少なくとも１つを含む、請求項２に記載の方法。
4. 前記閾値レベルを判定するステップには、ある期間にわたって検知した動きを統合し、特徴プロファイルを生成するステップを含む、請求項１に記載の方法。
5. 前記画像取得装置からのデータに応答して、前記閾値レベルを調整するステップを更に含む、請求項１に記載の方法。
6. 視界を分析して、前記閾値レベルが満たされたかどうかを検出するステップを更に含む、請求項１に記載の方法。
7. 前記閾値レベルを判定するステップには、画像ライブラリにアクセスするステップを含む、請求項１に記載の方法。
8. デジタル画像取得装置であって：
   トリガ条件の選択を受け入れるよう構成されたユーザインタフェースと；
   前記トリガ条件の選択に応答して閾値レベルを判定するように構成された中央処理装置（ＣＰＵ）と；
   前記ＣＰＵと通信する画像センサであって、前記画像センサは前記閾値レベルが満たされたときを検出するとデジタル画像を取得するように構成される、画像センサと、を含む、デジタル画像取得装置。
9. 前記ＣＰＵは、環境変数に応答することを学習することで、閾値レベルを判定する、請求項８記載のデジタル画像取得装置。
10. 前記環境変数には、興味対象、画像部分、イベント、輝度レベル、色、及び動きのうちの少なくとも１つを含む、請求項９記載のデジタル画像取得装置。
11. 前記ＣＰＵは、ある期間にわたって検知した動きを統合することで、閾値レベルを判定し、特徴プロファイルを生成する、請求項８記載のデジタル画像取得装置。
12. 前記ＣＰＵは、前記画像センサからのデータに応答して前記閾値レベルを調整するように更に構成される、請求項８記載のデジタル画像取得装置。
13. 前記ＣＰＵは、視界を分析することにより前記閾値レベルが満たされたことを検出するように更に構成される、請求項８記載のデジタル画像取得装置。
14. 前記ＣＰＵは、画像のライブラリにアクセスすることにより閾値レベルを判定する、請求項８記載のデジタル画像取得装置。

Images