JP2009246962A - カメラシステム、カメラシステムによって実行される方法、及び、プログラム - Google Patents

Abstract

【課題】本発明は、一般消費者向けの装置において録画されるビデオの品質の向上に役立つように、標準的なビデオ取り込みのための経験則を、ビデオ録画デバイスに埋め込むことを目的とする。
【解決手段】カメラシステムに関する複数のパラメータを取得し、記カメラシステムにより撮影された撮像を取得し、カメラシステムの複数のパラメータ、及び撮像を分析し、分析の結果に基づいて、ビデオの品質に悪影響を与える可能性を有するユーザの行動を決定し、悪影響を与える可能性を有するユーザの行動を表す通知を、カメラシステムの出力機能を動作させて撮影中のユーザに提示する、カメラシステムによって実行される方法を提供する。
【選択図】図１

Description

本発明は、概して、画像及びビデオ録画に係り、より詳しくはビデオ取り込みのための経験則（ｈｅｕｒｉｓｔｉｃｓ）を、画像及びビデオ録画デバイスに組み込むことに関する。

ビデオ共有ウェブサイトの急成長に関連して、デジタルカメラや携帯電話などのデバイスに、ビデオ録画機能を一体化するとは、ビデオワークに対するしきい値を下げている。しかしながら、趣味に適うビデオを記録するためには、ある程度の技術を必要とし、最終的に、不完全に撮影されたビデオを救うことは、最大限の編集をもってしても困難である。

多くの一般消費者向けの撮影後のビデオ編集ツールとしては、例えばジャンプカット及びアップル社のｉＭｏｖｉｅ（登録商標）等があるが、ビデオ、又はスチル画像の撮影の時点で、編集上の制約を示すユーザフィードバックを埋め込んだシステムの例は無い。

したがって、従来の画像、及びビデオ録画デバイスは、録画の時点で画像、又はスチル画像の改善を可能にするフィードバックを、ユーザにもたらす機能が欠けている。

米国特許第５，４７１，２５２号明細書 米国特許第４，９０１，１４５号明細書 米国特許第５，２０４，７４１号明細書 米国特許第５，９７３，７３３号明細書 米国特許第６，２７８，７３６号明細書 米国特許第６，４７３，４６２号明細書 米国特許第７，２８０，０９６号明細書 米国特許第６，８３４，２４９号明細書 米国特許第５，９９０，８６５号明細書

Ｊ．Ｃ．リー 外（Ｌｅｅ, Ｊ．Ｃ． ｅｔ ａｌ.）、「触覚ペン：タッチスクリーン用タクティル・フィードバック・スタイラス（Ｈａｐｔｉｃ Ｐｅｎ: Ａ Ｔａｃｔｉｌｅ Ｆｅｅｄｂａｃｋ Ｓｔｙｌｕｓ ｆｏｒ Ｔｏｕｃｈ Ｓｃｒｅｅｎｓ）」、ユーアイエスティ（ＵＩＳＴ）、２００４年、ｐ．２９１−２９４ Ｊ．ルク 外（Ｌｕｋ, Ｊ. ｅｔ ａｌ.）、「モバイル・インターアクションにおける触覚のための役割：ハンドヘルド・タクティル・ディプレイ・プロトタイプを使用した初期設計（Ａ Ｒｏｌｅ ｆｏｒ Ｈａｐｔｉｃｓ ｉｎ Ｍｏｂｉｌｅ Ｉｎｔｅｒａｃｔｉｏｎ:Ｉｎｉｔｉａｌ Ｄｅｓｉｇｎ Ｕｓｉｎｇ ａ Ｈａｎｄｈｅｌｄ Ｔａｃｔｉｌｅ Ｄｉｓｐｌａｙ Ｐｒｏｔｏｔｙｐｅ）」、シーエイシアイ（ＣＨＩ）、２００６年、ｐ．１７１−１８０

本発明は、ビデオ録画における、従来の技術と対応付けられる上記及び他の問題の１つ以上を実質的に除去する、方法及び装置を提供することを目的としている。

本発明の一態様は、カメラシステムによって実行される方法を提供する。本発明の方法は、カメラシステムに関する複数のパラメータを取得し、カメラシステムにより撮影された撮像を取得し、カメラシステムの複数のパラメータ、及び撮像を分析し、分析の結果に基づいて、ビデオの品質に悪影響を与える可能性を有するユーザの行動を決定し、悪影響を与える可能性を有するユーザの行動を表す通知を、カメラシステムの出力機能を動作させて撮影中のユーザに提示する、ことを含む。

本発明の更にもう一つの態様は、カメラシステムを提供する。本発明のシステムは、カメラシステムに関するパラメータを格納するように動作可能な、メモリモジュールと、カメラシステムにより撮影された撮像取得するように動作可能な、デジタル撮像部と、カメラシステムのパラメータと、撮像を分析するように動作可能な、分析モジュールと、分析の結果に基づいて、ビデオの品質に悪影響を与える可能性を有するユーザの行動を決定し、悪影響を与える可能性を有するユーザの行動を表す通知を、カメラシステムの出力機能を動作させて撮影中のユーザに提示する通知モジュールと、を含む。

本発明のなお更なる態様は、プログラムを提供する。本発明のプログラムは、コンピュータに、カメラシステムに関する複数のパラメータを取得し、カメラシステムにより撮影された撮像を取得し、カメラシステムの複数のパラメータ、及び撮像を分析し、分析の結果に基づいて、ビデオの品質に悪影響を与える可能性を有するユーザの行動を決定し、悪影響を与える可能性を有するユーザの行動を表す通知を、カメラシステムの出力機能を動作させて撮影中のユーザに提示する、ことを実行させる。

本発明に関する更なる態様は、一部分が追随する説明に示され、一部はこの説明から明白にされ、又は本発明の実施によって習得され得る。本発明の態様は、要素、種々のエレメントの組み合わせ、及び以下の詳細な説明と添付の請求の範囲において特に指示される態様を用いて、実現及び達成され得る。

本発明のカメラフィードバックシステムの例示的実施の形態を示す図である。 本発明のシステムの実施の形態の例示的オペレーショナルシーケンスを示す図である。 本発明の詳細な動作インジケータの例示的実施の形態を示し、現速度が目標領域とともに示される図である。 （ａ）は、通常の表示、（ｂ）は、カメラが不安定にパンニングしているときの表示を示す、本発明の画像重ねあわせの例示的実施の形態を示す図である。 （ａ）は、ユーザが情景（シーン）に重なって話しているという通知、（ｂ）は、被写体がカットオフされるという通知を含む、本発明の重ねあわせの例示的実施の形態を示す図である。 本発明のシステムが実施され得る、コンピュータプラットフォームの例示的実施の形態を示す図である。

前述の及び後述の説明は、例示的説明であるにすぎず、いかなる方法でも請求の範囲に記載されている本発明又は本出願を制限することを目的としていないことを、理解すべきである。

以下の詳細な説明において添付図面が参照され、同一の機能要素は同一符号で示される。前述の添付図面は、説明図として示し、制限する目的でなく、本発明の原理と一致する特定の実施の形態及び実施例を示す。これらの実施例は、当業者が本発明を実施できるようにするために十分に詳述され、他の実施例が利用されてもよく、構造上の変化及び／又は種々の要素の代用を本発明の範囲及び精神から逸脱することなく行なわれてもよいことが、理解されるべきである。したがって、以下の詳細な説明は、限定した意味で理解されるべきでない。さらに、記載された本発明の種々の実施の形態は、専用ハードウェア、又はソフトウェアとハードウェアとの組み合わせにおいて、汎用コンピュータ上で作動するソフトウェアの形式で実行されてもよい。

本発明の方法の実施の形態は、一般消費者向けの装置で特に有効である、録画されたビデオの品質を向上させるために、経験的に良好なビデオ撮影が行える場合の経験則を適用して、撮影状態のセンシング、ユーザへの触覚（ｈａｐｔｉｃ）及び、画像によるフィードバックの組み合わせを使用する。本発明の概念の実施の形態にしたがって、標準的なビデオ撮影込の経験則は、ソースマテリアル（撮影により得られる素材）の品質向上に役立つように、ビデオ録画デバイス自体の制御機構に含められる。本発明の方法の実施の形態は、記録されるビデオに応答してユーザに提示される、触覚、音声、画像フィードバックの組み合わせを使用する。このフィードバックにより、ソースマテリアルの品質を向上させることもできるし、それはまた、ユーザが望ましいビデオ取り込みの基本を理解するのに役立つ可能性もある。

本発明のシステムの一実施の形態において、ユーザに提示されるフィードバックは、ユーザに提供されるガイドラインが、記録を妨害することをできるだけ少なくする一方で、依然として有用であるような非介入的なやり方で、ユーザに供与される。本発明の１つ以上の実施の形態にしたがって、入力及び分析機能が、標準的なビデオカメラ（ｃａｍｃｏｒｄｅｒ）に備えられ、これには、画像分析、又は、加速度計による動作検出、画像分析による顔検出（フェイスディテクション）、及び、追加のマイクを通じて得られる指向性（ｄｉｒｅｃｔｉｏｎａｌ ｖｏｌｕｍｅ）が含まれてもよい。さらに、出力機能がさらに加えられてもよく、これには、フォースフィードバック機構、及び表示画面（ｖｉｅｗｐｏｒｔ）上に図形を重ねあわせする機能などが含まれてもよい。

図１は、本発明のシステムの例示的実施の形態、及びそれを介しての情報の流れを示す。本発明のシステムは、カメラ制御モジュール（図示せず）から取得されるカメラパラメータ１０１などの情報を使用する。具体的には、カメラ情報は、標準カメラパラメータ（シャッター速度、アパーチャ、ズームレベル、及び焦点距離）から提供される。デジタル撮像部１０２によって生成される画像データ１０５は、顔検出部１０３、及び映像上の動作推定部１０４に提供される。顔検出及び動作推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）システムは、検出された顔の位置及びサイズ及びカメラ動作に関する情報をそれぞれ生成する。顔検出１０６の結果、及び動作データ１０７は、カメラパラメータ１０１とともに分析モジュールに提供される。さらに、分析モジュールは、モーションセンサ１０８からデータを受信し、マイク１０９から音声データを受信する。上記の入力情報に基づいて、分析モジュールは、どのフィードバックが適切であるかを決定し、カメラを制御するために信号を送信する、又は、カメラ操作者にフィードバックを提供する。詳細には、本発明のシステムの実施の形態において、分析モジュールは、３つの異なるタイプのフィードバックを生成し、これには、カメラのビューファインダのディスプレイを介して、ユーザに示される画像出力１１０、例えばカメラに制御した振動を加えることによってユーザにもたらされる触覚出力１１１、及び音声出力１１２が含まれる。

図２は、本発明のシステムの実施の形態の例示的動作シーケンスを示す。本発明のシステムの実施の形態では、図２に示されるステップで実行されるが、これらのステップがどのような順序でも実行可能であることに留意されたい。詳細には、ステップ２０１において、カメラパラメータ（シャッター速度、アパーチャ、ズームレベル、及び焦点距離）が取得される。ステップ２０２では、デジタル画像は、デジタル撮像部１０２を使用して取得される。ステップ２０３において、取得されたデジタル画像は、顔検出及び動作評価を実行するために使用される。動作評価は、モーションセンサ１０８からの出力を使用して、実行されてもよい。ステップ２０４において、システムは、多次元マイク１０９から音声信号を取得する。上述の情報取得ステップは、適切ないかなる順序においても実行され得ることに留意すべきである。上述した入力パラメータの取得の後で、入力情報の分析は、ステップ２０５において実行される。その後、画像出力、触覚出力、及び音声出力は、ステップ２０６、２０７、及び２０８においてそれぞれ生成される。生成後、それぞれの出力は、ユーザに提示される（図２では図示せず）。

システムの種々の個別コンポーネントは、以下に詳述される。

［動作検出］
本発明の一実施の形態において、カメラの動作を検出する機能は、カメラ自体（デジタル撮像部１０２）によって録画される画像の映像分析によって達成される。別の実施の形態においては、加速度計、又は、電子的なモーションセンサ１０８の使用によって、実現することもできる。

カメラの動作を検出するために、映像分析を使用する場合、種々のシステムが存在し、ビデオストリームの全体的動作が追跡（トラッキング）される。こうしたシステムの例示的実施の形態は、特許文献１、特許文献２、特許文献３、特許文献４、特許文献５、及び特許文献６に記載されている。当業者に周知の広く入手することができるデジタルビデオ安定化システムは、映像から動作を推定し、デジタル式にビデオフレームをシフトすることによって画像を安定化させる。この技術に従って、本発明のシステムの実施の形態において、動作が、録画されたビデオから推定される。

本発明のシステムの実施の形態は、録画されたビデオからの動作推定を実現するために、当業者に周知の方法を使用して、画像を小さいサブ画像に分割し、次のビデオフレームにおいて、それぞれのサブ画像のシフトされたバージョンを探すように試みられる。局部動作推定の結果として生じるセット（サブ画像につき１つ）は、大域的動作（ｇｌｏｂａｌ ｍｏｔｉｏｎ）の推定値を決定するために後処理（ｐｏｓｔｅｄ）される。後処理は、ノイズが含まれる局部動作（ｌｏｃａｌ ｍｏｔｉｏｎ）推定値を除去する、局部推定値の平均値又は中央値を利用して大域的動作の量を作成する、所定時間にわたって動作推定値を低域通過及び高域通過フィルタリングし、カメラ動作（パンニング）から不規則（ｉｒｒｅｇｕｌａｒ）な「振動（シェイク）」動作を分離する、ことを含んでもよい。

本発明の一実施の形態は、フレームの特定の領域が安定化する一方で、他の領域は安定化しない、又は、前景オブジェクトから背景オブジェクトを区別するための機能を有する画像動作分析システムを用いるより進んだシステムを使用するものである。このことは、例えば、フレームの中心が安定化される一方、境界がそうでないことを検出するために使用することができる。このことは、移動中の被写体が追跡されていること、及びシステムが、過剰なカメラ動作に関してはユーザに警告すべきでないことを示していると解釈される場合もある。

映像分析では、高速動作を備えたシーンと、素早く移動されているカメラとを区別できないことに留意されたい。したがって、このために、本発明の別の実施の形態は、動作推定値に対し加速度計を使用する。加速度を検出できるコンパクトな電子デバイスが広く入手できることは周知である。特許文献７、特許文献８、及び、特許文献９を参照されたい。本発明の一実施の形態は、上記した映像分析を必要とすることなく、カメラの動作に基づいてユーザにフィードバックを提供するための加速度計の利点を利用する。この実施の形態において、ズームの量及び／又はカメラの焦点距離の利用は、画像が、カメラ動作に応答して移動されている量を決定するうえで有用である。すなわち、例えば、一定量だけカメラを回転させることは、撮影されているシーンが、カメラからとても遠くに離れているか、若しくは高倍率ズームの時には、録画された画像にはより大きな影響が及ぼされる。

当業者によって理解されるように、加速度計は、カメラによって録画されているシーンのコンテントに関する情報を有していないため、加速度計のみを利用するシステムでは、カメラビューの中心に動体を維持するため等のより良い結果をもたらすための動作と、誤ったカメラ動作と、を見分けることができない。したがって、本発明の別の実施の形態では、カメラ動作を推定するために、加速度計及び映像分析を使用する。

［音声入力］
ビデオカメラは、映像被写体から音声を記録するために、１つの全指向性マイクを含む。本発明の実施の形態にしたがって、更なる限定スペクトル指向性マイクは、記録を管理する人間がいる地点に加えられる。これにより、本発明のシステムは、レコーダからの音声信号の強度を、シーンからの信号強度と比較することを可能にする。

［出力］
入力情報の分析の結果は、触覚、音声、又は、画像表示部を介してフィードバックとしてユーザに提供される。本発明のシステムの実施の形態の一部として用いられる、フォースフィードバック機構としては、非特許文献１に記載のように、電磁式（ｓｏｌｅｎｏｉｄ−ｂａｓｅｄ）触覚レジスタ（ｈａｐｔｉｃ ｒｅｓｉｓｔｏｒ）で実施される。別の実施の形態において、フィードバックは、非特許文献２などの触覚パッド、又は、当業者に周知の任天堂Ｗｉｉ（登録商標）コントローラで用いられているような単純な振動（ｒｕｍｂｌｅ）として実施することもできる。

本発明の実施の形態において、ビデオフィードバックは、ビューファインダ内の液晶ディスプレイで提供することができる。本発明の実施の形態において、音声プロンプトは、内蔵スピーカを介して、又は、有線ヘッドレスト若しくは無線ヘッドセットを介して出力される。音声プロンプトは、明確な言葉の警告又はアイコニック（ｉｃｏｎｉｃ）サウンド効果の形式をとってもよい。音声プロンプトは、また、カメラ操作者の動作と比例して変更されてもよい。たとえば、カメラが過度に急速にパンニングしていることを指示する音色は、パンニング速度の増減にともなって、大きくなったり小さくなったりしてもよい。

［シナリオ］
上記のような本発明のシステムの種々の実施の形態のコンポーネントは、以下に詳述されるように、ビデオ録画に直面される種々の標準的な問題への対応を可能にする。

［手ぶれ（ｓｔｅａｄｙ ｈａｎｄ）］
カメラは一般に、低速シャッター速度のアイコニック表示を含む。このことは、カメラがぶれを回避するために、極めてしっかりと保持されなければならないことを、操作者に警告する。カメラは、操作者が実際にカメラを十分に保持しているか否かを知らせることはしない。本発明の実施の形態において、カメラは、その動作を自動的に測定し、カメラ動作が最小であり、ぶれのない画像が得られる場合は、正の表示を行ない、そうでない場合は、負の表示を行なう。一実施の形態において、この警告は、カメラの振動が、内蔵式画像安定化システムによって克服されるかどうかを考慮する。一例において、フィードバックは、現在のカメラ動作の量を示し、理想的なカメラ動作の量を示す視覚的刺激を付与し、同様にデジタル音声レベルメータは、音声記録に適切なゲインを示すフィードバックを進行中に提供する。具体的には、このようなフィードバックを提供する実施の形態は、図３に示される。このフィードバックは、液晶ディスプレイ画面３０１上でユーザに示される。液晶ディスプレイ画面３０１の底部のカメラ速度バー３０２は、２つの領域、即ち、許容範囲内領域３０３、及び、受け入れられない領域３０４を含む。現在の速度表示がさらに提供され、これは、ユーザに対し、該ユーザが修正処置をとる必要があるか否かを示す。

［不安定、変化の早い、又は過度のパンニング］
本発明のシステムの実施の形態は、パンニングの速度を監視し、過度に速すぎたり、あまりに不安定（ｅｒｒａｔｉｃ）であることを示すためのフィードバックを提供する。過度の速度は、大域的動作の高振幅振動（ｈｉｇｈ ｍａｇｎｉｔｕｄｅ）によって示され、不安定なパンニングは、パンニング方向における頻繁な変化によって示される。本発明の実施の形態のシステムは、現在のパンニング速度をしきい値と比較し、その速度が十分な時間にわたって上記しきい値を超える場合、図４（ａ）及び図４（ｂ）に示されるように、カメラ操作者にフィードバックを提供する。具体的には、図４（ａ）は、標準的な表示部４０１を示す。図４（ｂ）は、カメラ４０３が、不安定にパンニングしているときの表示部４０４を示す。カメラの不安定なパンニングは、表示部４０４周辺の着色された（例えば、赤色）ボーダー４０２によって図示される。

同様にして、パンニング方向における平均的変化、及び一部の期間にわたる速度を推定することができ、しきい値を超えた場合、適切なフィードバックがカメラ操作者に提供される。一例において、このフィードバックは、現在のパンニング速度を表示し、適度なパンニング速度の制限を示す視覚的刺激を提供することができる。許容範囲内のパンニング速度を示すために、図３に示されるインジケータと同様のインジケータが、本発明の実施の形態に使用される。

ズーミングの量に関する情報が処理装置おいて利用できるため、ズームの過剰使用は、ある期間に使用されるズームの動作平均を保持することによって、簡単に検出できる。ズーミングに消費される時間の合計時間又は一部が、しきい値を越える場合、本発明の実施の形態のシステムは、ユーザに警告する。本発明の実施の形態において、ズームの方向がしばしば変化する場合には、ズームの不安定な使用を警告するために異なるしきい値が使用される。

速すぎる、又は、不安定であるパンを検出することに加えて、本発明のカメラは、実行されているパンニングが、多すぎるかどうかを検出することもできる。同様にして、パンニングの量、又は、パンニングに消費される時間は、所定時間にわたって本発明の実施の形態によって統合され、所定のしきい値と比較される。

こうした状況において、統計値を蓄積するための適切な時間量は、変更してもよいが、一般には、およそ１秒又は２秒程度である。これは、システムに設定可能なパラメータであってもよい。この理由は、許容範囲内のしきい値を平均化し、又はそれを超える期間を長く設定することで、ユーザに提供されるフィードバックの量が減少することになるからである。

［被写体の欠損］
デジタルカメラがリアルタイム顔検出機能を含むことは一般化しつつある。こうした機能は、自動焦点のための高値点(ｈｉｇｈ ｖａｌｕｅ ｐｏｉｎｔｓ)を決定するために一般に使用される。フレーム間のフレームのサイズと検出された顔の位置とを考慮し、本発明の実施の形態のシステムは、以前に検出された顔が境界に接近しており、さらにそれがフレームから欠損することを検出するように構成されている。位置的なの対応関係を利用することで、顔は、所定時間にわたって監視される。本発明のシステムは、監視された顔がフレームのエッジに接近した場合、カメラ操作者に被写体がまもなく欠損することを警告し、顔がフレームから出た場合、カメラ操作者に被写体が既に欠損していることを、異なる種類の警告で通知する。図５（ｂ）は、被写体（５０４）がカットオフされ得ることをユーザに通知する通知（５０３）の例示的実施の形態を示す。

本発明の実施の形態において、この情報は、カメラ動作又は被写体の動作のいずれが原因であることを区別するために、動作分析と組み合わされてもよい。カメラが静止している場合、フレームから出る顔は被写体動作によるものである。一方、カメラが移動中である場合、顔の欠損は、カメラ操作者の動作によるものである。本発明の実施の形態において、異なるユーザフィードバックは、こうした異なる状況に対して使用される。

当業者によって理解されるように、顔は、検出されるカメラフレーム内になければならず、ゆえに、フレーム上で完全でない顔を発見することは、異なる検出器又は別個の撮像部なしでは実行できない。

［規格外なズーミング］
ユーザは、それぞれのズーム機能を過度に使用することが多く、特にデジタルズームの使用にともなう著しい品質低下に気がつかない。したがって、本発明の実施の形態のシステムは、この傾向を減少させるのに役立つように、画像及び触覚フィードバックの双方を提供する。さらに、本発明の別の実施の形態のシステムは、可聴プロンプト（ａｕｄｉｂｌｅ ｐｒｏｍｐｔ）を発生するように構成されている。当業者によって理解されるように、ズーミングの増加にともなって、フィードバックを増加させ、デジタルズームへの変わり目付近において大きく増加することが、最良となる。

［クロストーク］
複数のユーザが、記録中のシーンに重なって話をする（クロストークする）傾向がある。音声が、シーン自体にない場合、このことは有用なナレーション技術であり得る。しかしながら、他の場合に、このことは、ユーザが録画しようとする音声をかき消すこともある。このシステムは、裏面マイクによってピックアップされる音の大きさを測定することによって、こうしたクロストークを検出し、画像フィードバックを提供し、そのシーンにおいて会話していることをカメラ操作者に警告する（図５（ａ）を参照）。この図において、ユーザは、該ユーザが、そのシーンにおいて話していることを表示するインジケータ５０１を備えている。ヘッドセットが付加されている場合、このシステムは、また、オペレータに言葉によるプロンプトを提示することもある。

［ジャンル特定式テンプレート］
本発明の実施の形態のシステムのパラメータは、ジャンル特定式タスク（ｇｅｎｒｅ−ｓｐｅｃｉｆｉｃ ｔａｓｋｓ）をサポートするために、調整可能であることに留意されたい。たとえば、子供達の娯楽のために設定されるパラメータテンプレートは、オフィス用のトレーニングビデオに対して設定されたものよりも非常に極端なカメラ動作を促すこともある。テンプレートは、また、所望の出力媒体（例えば、ＹｏｕＴｕｂｅ（登録商標）のためのビデオを撮影することは、テレビに対するビデオ撮影をすることとは異なる要件を必要とする）に合うように変更されることもある。

当業者に理解されるように、検出、触覚、及び、画像フィードバックの組み合わせを使用し、ビデオ録画経験則を適用し、一般消費者向けの装置における録画された音声の品質を向上させる本発明の概念は、上記に詳述された通知に限定されない。当業者に理解されるように、種々の他のタイプのフィードバックは、本発明の精神及び範囲から逸脱せずにユーザに提供され得る。また、本発明が、ビデオ録画又はビデオカメラに限定されないことにさらに留意されたい。ユーザにフィードバックを提供する本発明の概念は、同様にスチールカメラに適用可能である。

［例示的コンピュータプラットフォーム］
図６は、本発明の実施の形態が実施され得るコンピュータ／サーバ・システム６００の実施の形態を示すブロック図である。システム６００は、コンピュータ／サーバプラットホーム６０１、周辺デバイス６０２、及びネットワーク資源６０３を含む。

コンピュータプラットフォーム６０１は、データバス６０４若しくはコンピュータプラットフォーム６０１の種々のパーツにわたって、それらの間で情報を伝達するための他の通信機構、及び、情報を処理し、他のコンピュータ的制御タスクを実行するためのデータバス６０４に結合されるＣＰＵ６０５を含む。コンピュータプラットフォーム６０１はまた、種々の情報とともに、ＣＰＵ６０５によって実行されるべき命令を格納するためのデータバス６０４に結合される、ランダムアクセスメモリ（ＲＡＭ）若しくは他の動的記憶装置などの揮発性記憶デバイス６０６を更に含む。揮発性記憶デバイス６０６は、ＣＰＵ６０５による命令の実行中に、一時的数値変数又は他の中間情報を格納するために使用されることもある。コンピュータプラットフォーム６０１は、種々のシステム構成パラメータとともに、基本入出力システム（ＢＩＯＳ）などの、ＣＰＵ６０５に対する静止情報及び命令を格納するためのデータバス６０４に結合されるファームウェア記憶デバイス（ＲＯＭ若しくはＥＰＲＯＭ）６０７、又は他の静的記憶装置をさらに含むこともある。持続性記憶デバイス６０８、例えば磁気ディスク、光ディスク、又はソリッドステート・フラッシュメモリ・デバイスが提供され、情報及び命令を格納するためのデータバス６０４に結合される。

コンピュータプラットフォーム６０１は、システムアドミニストレータ若しくはコンピュータプラットフォーム６０１の情報をユーザに表示するための、ブラウン管ディスプレイ装置（ＣＲＴ）、プラズマディスプレイ、若しくは液晶ディスプレイ（ＬＣＤ）などのディスプレイ６０９に対して、データバス６０４を介して結合されることもある。英数字及び他のキーを含む入力装置であるキーボード６１０は、ＣＰＵ６０５に情報及びコマンド選択を伝達するためのデータバス６０４に結合される。別のタイプのユーザ入力装置は、方向情報及びコマンド選択をＣＰＵ６０５に伝達し、ディスプレイ６０９上のカーソル動作を制御するための、マウス、トラックボール、カーソル方向キーなどの位置指示デバイス６１１である。この入力装置は、一般に、装置を平面上の位置に特定させることを可能にする２本の軸線、即ち第１の軸線（例えばｘ）及び第２の軸線（例えばｙ）における２つの自由度を有する。

外部記憶デバイス６１２は、データバス６０４を介してコンピュータプラットフォーム６０１に接続されて、コンピュータプラットフォーム６０１に対する付加的な又は取り外し可能な記憶容量を付与する。コンピュータシステム６００の実施の形態において、外部記憶デバイス６１２は、他のコンピュータシステムとのデータ交換を容易にするために使用されることもある。

本発明は、本明細書中に記載される技術を実施するためのコンピュータシステム６００の使用に関する。実施の形態において、本発明のシステムは、コンピュータプラットフォーム６０１などのマシン上に存在することもある。本発明の一実施の形態によれば、本明細書中に記載される技術は、揮発記憶デバイス６０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行しているＣＰＵ６０５に応答して、コンピュータシステム６００によって実行される。このような命令は、持続性記憶デバイス６０８などの別のコンピュータ可読媒体から揮発記憶デバイス６０６に読み込まれることもある。揮発記憶デバイス６０６に含まれる命令のシーケンスの実行により、ＣＰＵ６０５に本明細書中に記載される処理ステップを実行させる。代替的実施の形態において、配線で接続された回路構造は、本発明を実施するために、ソフトウェア命令の代わりに又はそれと結合して使用されることもある。したがって、本発明の実施の形態はハードウェア回路構造及びソフトウェアの特定の組み合わせに限定されない。

本明細書中で使用される用語「コンピュータ可読媒体」は、実行のためのＣＰＵ６０５に命令を供与することに関係する媒体を意味する。コンピュータ可読媒体は、機械可読媒体の一例にすぎず、これは、本明細書中に記載される方法及び／又は技術のいずれかを実施するための命令を実行することもある。このような媒体は、多くの形態をとることがあり、限定はされないが、不揮発性媒体、揮発性媒体、及び伝送媒体を含む。不揮発性媒体は、例えば、光学ディスク若しくは磁気ディスク、例えば持続性記憶デバイス６０８を含む。揮発性媒体は、動的記憶装置、例えば揮発性記憶デバイス６０６を含む。伝送媒体は同軸ケーブル、銅線及び光ファイバーを含み、データバス６０４から成る配線を含む。伝送媒体は、音響若しくは光波の形式、例えば電波及び赤外線データ通信間に生成されるような形態をとることもできる。

コンピュータ可読媒体の普通の形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の光学媒体、パンチカード、ペーパーテープ、ホール・パターンを有する他の任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュ・ドライブ、メモリカード、他の任意のメモリチップやカートリッジ、後述されるような搬送波、又は、コンピュータ読取り可能な他の任意の媒体を含む。

コンピュータ可読媒体の種々の形態は、実行のためにＣＰＵ６０５に１つ以上の命令の１つ以上のシーケンスを実行する際に関わることもある。たとえば、こうした命令は、最初にリモート・コンピュータから磁気ディスク上で実行されることもある。あるいはまた、リモート・コンピュータは、命令をその動的記憶装置にロードし、これらの命令をモデムを用いて電話線上で送信することができる。コンピュータシステム６００の近くのモデムは、電話線上でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換する。赤外線検出器は赤外線信号上で搬送されるデータを受信することができ、適切な回路構造はデータをデータバス６０４上に設置することができる。データバス６０４は、データを揮発性記憶デバイス６０６に搬送し、そこからＣＰＵ６０５は命令を検索し実行する。揮発性記憶デバイス６０６によって受信された命令は、ＣＰＵ６０５による実行の前後のいずれかに持続性記憶デバイス６０８に任意に格納されることもある。こうした命令は、また、公知技術の種々のネットワークデータ通信プロトコルを使用してインターネットを介してコンピュータプラットフォーム６０１にダウンロードされることもある。

コンピュータプラットフォーム６０１は、データバス６０４に結合されるネットワーク・インタフェースカード６１３などの通信インタフェースをさらに含む。ネットワーク・インタフェースカード６１３は、ローカルネットワーク６１５に接続されるネットワークリンク６１４に結合する双方向データ通信を提供する。たとえば、ネットワーク・インタフェースカード６１３は、総合デジタル通信網（ＩＳＤＮ）カード又はモデムであってもよく、対応するタイプの電話線に対しデータ通信接続を行なう。別の例として、ネットワーク・インタフェースカードは、ローカルエリア・ネットワーク・インタフェース・カード（ＬＡＮ ＮＩＣ）であってもよく、適合性ＬＡＮに対しデータ通信接続を行なう。無線リンク、例えば周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、及びブルートゥースは、ネットワーク・実施例に対して使用されることもある。こうしたいずれの実施例において、ネットワーク・インタフェースカード６１３は、種々のタイプの情報を表わすデジタルデータストリームを搬送する、電気信号、電磁信号、又は光学信号を送受信する。

ネットワークリンク６１４は、一般に１つ以上のネットワークを介して他のネットワーク資源にデータ通信を行なう。たとえば、ネットワークリンク６１４は、ホストコンピュータ６１６、又はネットワーク記憶デバイス／サーバ７６２２に対しローカルネットワーク６１５を介して接続を行なうこともある。さらに、又は代替的に、ネットワークリンク６１４は、ゲートウェイ６１７を介してインターネットなどの広域又はグローバルな、インターネット６１８に接続することもある。したがって、コンピュータプラットフォーム６０１は、ネットワーク記憶デバイス／サーバ６１９などのインターネット６１８上のいずれの場所にも設置されるネットワーク資源にアクセスすることができる。一方、コンピュータプラットフォーム６０１は、また、ローカルエリア・ネットワーク６１５及び／又はインターネット６１８上のいずれの場所にも設置されるクライアントによってアクセスされることもある。ネットワークのクライアント６２０及び６２１は、プラットホーム６０１と同様のコンピュータプラットフォームに基づいて自身が実施されてもよい。

ローカルネットワーク６１５及びインターネット６１８はともに、デジタルデータストリームを伝送する電気信号、電磁信号、又は光学信号を使用する。種々のネットワーク内の信号、及びネットワークリンク６１４上でネットワーク・インタフェースカード６１３を介した信号は、デジタルデータをコンピュータプラットフォーム６０１間で伝送し、情報を搬送する搬送波の例示的形態である。

コンピュータプラットフォーム６０１は、メッセージを送信し、インターネット６１８及びＬＡＮ６１５を含む種々のネットワーク、ネットワークリンク６１４、ならびにネットワーク・インタフェースカード６１３を介して、プログラムコードを含むデータを受信する。インターネットの一例において、システム６０１がネットワークサーバとして作用するとき、システムは、クライアント６２０上で、さらに／又はインターネット６１８、ゲートウェイ／ファイアウォール６１７、ローカルネットワーク６１５及びネットワーク・インタフェースカード６１３を介して実行するアプリケーションプログラムに対し要求されたコード若しくはデータを転送することもある。同様に、このシステムは、他のネットワーク資源からコードを受信することもある。

受信されたコードは、受信されたままで、ＣＰＵ６０５によって実行されてもよく、さらに／又は、持続性記憶デバイス６０８又は揮発性記憶デバイス６０６にそれぞれ格納され、あるいは、後で実行するために他の不揮発性記憶デバイスに格納されることもある。このように、コンピュータシステム６０１は、搬送波の形式のアプリケーションコードを取得することもできる。

最後に、本明細書中に記載されたプロセス及び技術が本質的に特定の装置に関係がなく、コンポーネントの好適な組み合わせによって実施され得ることを理解すべきである。さらに、種々のタイプの汎用デバイスが、本明細書中に記載される教示に従って使用されてもよい。本明細書中に記載される方法ステップを実行するために専門的装置を構成することもまた有利であることが分かる。本発明は特定の例に関連して記載されており、それはあらゆる点において制限的であるよりも例証的であることが意図される。当業者は、ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明を実施するのに好適であることを理解されたい。たとえば、記載されたソフトウェアは、多種多様なプログラミング又はスクリプト言語、例えば、アセンブラー、Ｃ／Ｃ＋＋、パール、シェル、ＰＨＰ、ジャバなどにおいて実施されることもある。

さらに、本発明の他の実施例は、本文に開示されている本発明の明細及び実施の考慮から、当業者には明白である。記載された実施の形態の種々の態様及び／又はコンポーネントが単独で使用されてもよく、又は、高品質ビデオ録画を容易にするためのシステムで組み合わせて使用されてもよい。こうした明細書及び例が例示としてのみ考慮され、本発明の真の範囲及び精神が添付の請求の範囲によって指示されることが意図される。

Claims (25)

1. ａ．カメラシステムに関する複数のパラメータを取得し、
   ｂ．前記カメラシステムにより撮影された撮像を取得し、
   ｃ．前記カメラシステムの前記複数のパラメータ、及び前記撮像を分析し、
   ｄ．前記分析の結果に基づいて、ビデオの品質に悪影響を与える可能性を有するユーザの行動を決定し、
   ｅ．前記悪影響を与える可能性を有するユーザの行動を表す通知を、前記カメラシステムの出力機能を動作させて撮影中のユーザに提示する、
   ことを含む、カメラシステムによって実行される方法。
2. 前記前記悪影響を与える可能性を有するユーザの行動は、複数の予め定められたジャンル特定式テンプレートから選択されたテンプレートに設定された条件に基づいてなされる、請求項１に記載の方法。
3. 前記分析は、顔認識を実行する、及び、被写体が欠損されようとしているかを決定する、
   ことを含む請求項１に記載の方法。
4. カメラシステムのパラメータは、モーションセンサを使用して取得される動作情報を含み、
   前記分析は、動作検出を実行する、ことを含む請求項１に記載の方法。
5. 前記通知は、カメラシステムが過剰な動作をしていることを示す、請求項４に記載の方法。
6. 前記分析は、撮像を使用して前記カメラシステムの動作検出を実行する、
   ことを含む請求項１に記載の方法。
7. 前記分析は、前記カメラシステムの所定量以上のズーミングの使用を検出する、
   ことを含む、請求項１に記載の方法。
8. 前記カメラシステムに関するパラメータは、音声信号を含み、
   前記分析は、前記音声信号におけるクロストークを検出する、
   ことを含む、請求項１に記載の方法。
9. 前記分析は、前記カメラシステムを用いた撮影での、不安定、変化の早い、又は、過度と判断されるパンニングを検出する、
   ことを含む、請求項１に記載の方法。
10. 前記ユーザへの通知は、触覚フィードバックを含む、請求項１に記載の方法。
11. 前記ユーザへの通知は、音声フィードバックを含む、請求項１に記載の方法。
12. 前記ユーザへの通知は、画像フィードバックを含む、請求項１に記載の方法。
13. ａ．カメラシステムに関するパラメータを格納するように動作可能な、メモリモジュールと、
    ｂ．前記カメラシステムにより撮影された撮像を取得するように動作可能な、デジタル撮像部と、
    ｃ．前記カメラシステムの前記パラメータと、前記撮像を分析するように動作可能な、分析モジュールと、
    ｄ．前記分析の結果に基づいて、ビデオの品質に悪影響を与える可能性を有するユーザの行動を決定し、前記悪影響を与える可能性を有するユーザの行動を表す通知を、前記カメラシステムの出力機能を動作させて撮影中のユーザに提示する通知モジュールと、
    を含む、カメラシステム。
14. 前記前記悪影響を与える可能性を有するユーザの行動は、複数の予め定められたジャンル特定式テンプレートから選択されたテンプレートに設定された条件に基づいてなされる、請求項１３に記載のカメラシステム。
15. 前記分析は、ビデオショットにおける顔認識を実行する、及び、被写体が欠損されようとしているかを決定する、
    ことを含む、請求項１３に記載のカメラシステム。
16. 前記カメラシステムのパラメータは、モーションセンサを使用して取得された動作情報を含み、
    前記分析は、動作検出を実行する、ことを含む、請求項１３に記載のカメラシステム。
17. 前記通知は、カメラシステムが過剰な動作をしていることを示す、請求項１６に記載のカメラシステム。
18. 前記分析は、撮像を使用してカメラシステムの動作検出を実行する、
    ことを含む、請求項１３に記載のカメラシステム。
19. 前記分析は、前記カメラシステムの所定量以上のズーミングの使用を検出する、
    ことを含む、請求項１３に記載のカメラシステム。
20. 前記カメラシステムに関するパラメータは、音声信号を含み、
    前記分析は、前記音声信号におけるクロストークを検出する、
    ことを含む、請求項１３に記載のカメラシステム。
21. 前記分析は、前記カメラシステムを用いた撮影での、不安定、変化の早い、又は、過度と判断されるパンニングを検出する、
    ことを含む、請求項１３に記載のカメラシステム。
22. 前記ユーザへの通知は、触覚フィードバックを含む、請求項１３に記載のカメラシステム。
23. 前記ユーザへの通知は、音声フィードバックを含む、請求項１３に記載のカメラシステム。
24. 前記ユーザへの通知は、画像フィードバックを含む、請求項１３に記載のカメラシステム。
25. コンピュータに、
    ａ．カメラシステムに関する複数のパラメータを取得し、
    ｂ．前記カメラシステムにより撮影された撮像を取得し、
    ｃ．前記カメラシステムの前記複数のパラメータ、及び前記撮像を分析し、
    ｄ．前記分析の結果に基づいて、ビデオの品質に悪影響を与える可能性を有するユーザの行動を決定し、
    ｅ．前記悪影響を与える可能性を有するユーザの行動を表す通知を、前記カメラシステムの出力機能を動作させて撮影中のユーザに提示する、
    ことを実行させるためのプログラム。

Images