JP2018042240A - 感情状態検出に基づいてビデオコンテンツを処理するためのシステム及び方法 - Google Patents

Abstract

【課題】ユーザの感情状態検出に基づいてビデオコンテンツを処理するためのシステム及び方法を提供する。
【解決手段】１又は２以上のユーザの感情状態検出に基づいてビデオコンテンツを処理するためのシステム及び方法の様々な態様を本明細書に開示する。システムは、ビデオ処理デバイス上で第１のビデオコンテンツを視聴している第１のユーザの感情状態の変化を検出するビデオ処理デバイスを含む。１又は２以上の時間インスタンスでの第１のユーザの感情状態の検出された変化中に視聴された第１のビデオコンテンツの１又は２以上の画像フレーム群は、変化した感情状態に関連付けられる。第２のビデオコンテンツが、第１のユーザの感情状態の検出された変化に基づいて、第１のビデオコンテンツの関連付けられた１又は２以上の画像フレーム群を用いて発生される。
【選択図】図１

Description

〔関連出願への相互参照／引用による組み込み〕
なし。

本発明の開示の様々な実施形態は、ビデオコンテンツの処理のためのシステム及び方法に関する。より具体的には、本発明の開示の様々な実施形態は、ユーザの感情状態検出に基づいてビデオコンテンツを処理するためのシステム及び方法に関する。

ビデオ処理技術の分野における最近の進歩は、様々な電子デバイス及び付属のアプリケーションの機能の範囲を広げている。以前は、ビデオ編集目的でビデオを処理するのに高額な機械が使用された。しかし、ビデオ編集及び関連のデバイスのコストは、ビデオ処理デバイス及びビデオ処理技術における絶え間ない進歩に起因して時間と共に低下している。ビデオフレームシーケンスのビデオ編集のための様々なツール、アプリケーション、機械、及び／又はデバイスは、庭用電化製品（ＣＥ）、メディア、及び／又は動画制作及びポストプロダクション産業のような様々な産業において幅広く使用されている。現在、取り込まれたビデオコンテンツの操作は、時間を消費する処理である場合がある。更に、一様な高品質の結果を生成するためには高レベルの専門性を必要とする場合がある。ビデオ編集技術においてある一定のレベルの自動化が台頭してきたが、後処理技術は、依然として莫大な計算リソースを必要とする場合があり、従って、消費者用途には非実用的である可能性がある。従って、デジタルビデオコンテンツの高速かつ高品質処理のためにインテリジェントな方式で人的要素を使用することができる先進的かつ効率的な技術又はシステムが要求される場合がある。

記述したシステムと本出願の残りの部分に図面を参照して列挙するような本発明の開示の一部の態様との比較を通して、当業者には従来の慣習的な手法の更なる限界及び欠点が明らかになるであろう。

特許請求の範囲により完全に列挙するように実質的に図のうちの少なくとも１つに示すような及び／又はそれに関連付けて記載するような１又は２以上のユーザの感情状態検出に基づいてビデオコンテンツを処理するシステム及び方法を提供する。

本発明の開示のこれら及び他の特徴及び利点は、全体を通して類似の参照番号が類似の部分を指す添付図面と共に本発明の開示の以下の詳細説明の精査から認めることができる。

本発明の開示の実施形態により１又は２以上のユーザの感情状態検出に基づいてビデオコンテンツを処理するネットワーク環境を示すブロック図である。 本発明の開示の実施形態により１又は２以上のユーザの感情状態検出に基づいてビデオコンテンツを処理する例示的ビデオ処理デバイスのブロック図である。 本発明の開示の実施形態により１又は２以上のユーザの感情状態検出に基づいてビデオコンテンツを処理する開示のシステム及び方法の実施のための例示的シナリオを示す図である。 本発明の開示の実施形態により１又は２以上のユーザの感情状態検出に基づいてビデオコンテンツを処理する例示的方法の実施のための流れ図を集合的に示す図である。 本発明の開示の実施形態により１又は２以上のユーザの感情状態検出に基づいてビデオコンテンツを処理する例示的方法の実施のための流れ図を集合的に示す図である。

以下に説明する実施は、感情状態検出に基づいてビデオを処理する本発明の開示のシステム及び方法に見出すことができる。本発明の開示の例示的態様は、ビデオ処理デバイス上で第１のビデオコンテンツを視聴している第１のユーザの感情状態の変化を検出することができるビデオ処理デバイスを含むことができる。１又は２以上の時間インスタンスで検出された第１のユーザの感情状態の変化中に視聴された第１のビデオコンテンツの１又は２以上の画像フレーム群は、変化した感情状態に関連付けることができる。関連付けられた第１のビデオコンテンツの１又は２以上の画像フレーム群を用いて第２のビデオコンテンツを発生させることができる。第２のビデオコンテンツの発生は、検出された第１のユーザの感情状態の変化に基づくことができる。

実施形態により、感情状態は、平常状態、嬉しい状態、悲しい状態、怒り状態、軽蔑状態、恐れ状態、驚き状態、困惑状態、及び／又は優しい状態に対応する場合がある。関連付けに向けてビデオ処理デバイス上での第１のビデオコンテンツの視聴中に第１のユーザの変化した感情状態に関連付けられたレベルを決定することができる。第１のユーザが第１のビデオコンテンツを視聴している場合がある間に第１のユーザの複数の感情状態をモニタすることができる。モニタは、ビデオ処理デバイスに通信的に結合された画像取り込みデバイスを用いて取り込まれた第１のユーザの１又は２以上の画像又はビデオ、及び／又は第１のユーザに関連付けられた１又は２以上の着用可能デバイスから受信されたセンサデータに基づくことができる。

実施形態により、変化した感情状態に関連付けられた第１のビデオコンテンツの１又は２以上の画像フレーム群は、第２のビデオコンテンツの発生に向けて選択することができる。第１のユーザの複数の異なる感情状態の検出に基づいて、第１のビデオコンテンツから複数のビデオコンテンツ項目を同時に発生させることができる。

実施形態により、第２のユーザがビデオ処理デバイス上で第１のビデオコンテンツを視聴している間に第２のユーザの感情状態の変化を検出することができる。第１のビデオコンテンツの１又は２以上の他の画像フレーム群は、第２のユーザの変化した感情状態に関連付けることができる。この関連付けは、第１のビデオコンテンツが視聴されている間の１又は２以上の他の時間インスタンスで検出された第２のユーザの感情状態の変化中に行うことができる。

実施形態により、検出された第１のユーザ及び第２のユーザの感情状態の変化に基づいて第２のビデオコンテンツと第３のビデオコンテンツを同時に発生させることができる。第３のビデオコンテンツは、第１のビデオコンテンツの関連付けられた１又は２以上の他の画像フレーム群を用いて発生させることができる。第１のビデオコンテンツは、検出された第１のユーザの感情状態の変化に基づいて自動的に編集することができる。

実施形態により、発生された第２のビデオコンテンツは、検出された第１のユーザの感情状態の変化に基づいて第１のビデオコンテンツから自動的に発生された感情ビデオハイライトに対応することができる。検出された第１のユーザの感情状態の変化に基づく単一ビデオコンテンツを発生させるために、ビデオ処理デバイス上で視聴されている複数のビデオコンテンツ項目の各々から選択された１又は２以上の画像フレーム群を組み合わることができる。

図１は、本発明の開示の実施形態により感情状態検出に基づいてビデオを処理するネットワーク環境を示すブロック図である。図１を参照すると、例示的ネットワーク環境１００が示されている。ネットワーク環境１００は、ビデオ処理デバイス１０２と、サーバ１０４と、通信ネットワーク１０６と、画像取り込みユニット１０８と、複数の感情状態１１０と、第１のユーザ１１２及び第２のユーザ１１４のような１又は２以上のユーザとを含むことができる。ビデオ処理デバイス１０２は、表示画面１１６と、表示画面１１６上にレンダリングされたアプリケーションインタフェース１１８とを含むことができる。１又は２以上の着用可能デバイス１２０も示されている。複数の感情状態１１０は、第１のユーザ１１２及び／又は第２のユーザ１１４に関連付けることができる。ビデオ処理デバイス１０２は、サーバ１０４及び／又は１又は２以上の着用可能デバイス１２０に通信ネットワーク１０６を通じて通信的に結合することができる。第１のユーザ１１２及び第２のユーザ１１４のような１又は２以上のユーザは、ビデオ処理デバイス１０２に関連付けることができる。

ビデオ処理デバイス１０２は、処理される１又は２以上のビデオコンテンツ項目をサーバ１０４から通信ネットワーク１０６を通じて受信するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、外部ストレージ媒体又は別の電子デバイスのような外部デバイスから有線又は無線の通信媒体を通して１又は２以上のビデオを処理に向けてビデオ処理デバイス１０２に転送することができる。ビデオ処理デバイス１０２の例は、コンピュータデバイス、ビデオ編集機械、スマート電話、ラップトップ、スマートテレビジョン（ＴＶ）、動き取り込みシステム、カメラ、アクションカム、カムコーダ、タブレットコンピュータ、プロジェクタ、及び／又はビデオ処理デバイスを含むことができるがこれらに限定されない。

サーバ１０４は、複数の取り込まれたビデオを格納するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。サーバ１０４は、ビデオ処理デバイス１０２のようなリモート電子デバイスに通信的に結合することができる。サーバ１０４は、クラウドベースのサーバ、ウェブサーバ、データベースサーバ、ファイルサーバ、アプリケーションサーバ、又はその組合せとすることができる。サーバ１０４は、当業者に公知のいくつかの技術を用いて実施することができる。

通信ネットワーク１０６は、ビデオ処理デバイス１０２がサーバ１０４と通信することを可能にする媒体を含むことができる。通信ネットワーク１０６は、有線又は無線の通信ネットワークとすることができる。通信ネットワーク１０６の例は、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、クラウドネットワーク、長期的進化（ＬＴＥ）ネットワーク、従来の電話サービス（ＰＯＴＳ）、メトロポリタンエリアネットワーク（ＭＡＮ）、及び／又はインターネットを含むことができるがこれらに限定されない。ネットワーク環境１００内の様々なデバイスは、様々な有線及び無線の通信プロトコルに従って通信ネットワーク１０６に接続するように構成することができる。そのような有線及び無線の通信プロトコルの例は、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ ８０２．１１、８０２．１６、長期的進化（ＬＴＥ）、ライトフィデリティ（Ｌｉ−Ｆｉ）、及び／又は他のセルラー通信プロトコル、インターネット・オブ・シングズ（ＩＯＴ）通信プロトコル、又はＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルを含むことができるがこれらに限定されない。

画像取り込みユニット１０８は、１又は２以上のユーザの１又は２以上の画像又はビデオを取り込むように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、画像取り込みユニット１０８は、ビデオ処理デバイス１０２の内蔵カメラ又は画像センサに対応することができる。これに代えて、画像取り込みユニット１０８は、ビデオ処理デバイス１０２に接続された外部カメラとすることができる。

複数の感情状態１１０は、ビデオ処理デバイス１０２によって検出される１又は２以上のユーザの感情状態に対応する。「ＥＭ１、ＥＭ２、ＥＭ３、．．．、ＥＭｎ」のような複数の感情状態１１０は、平常の感情、嬉しい感情、悲しい感情、怒りの感情、軽蔑の感情、恐れの感情、驚きの感情、困惑した感情、及び／又は優しい感情を含むことができる。複数の感情状態１１０は、画像取り込みユニット１０８によって取り込まれた１又は２以上のユーザの１又は２以上の画像又はビデオに基づいて検出することができる。実施形態により、１又は２以上のユーザの各々は、ビデオ処理デバイス１０２と通信的に結合することができる１又は２以上の着用可能デバイス１２０のうちの着用可能デバイスに関連付けることができる。１又は２以上のユーザの感情状態の変化をモニタするために、着用可能デバイスから受信されるセンサデータを更に利用することができる。

表示画面１１６は、アプリケーションインタフェース１１８をレンダリングして取り込みビデオを編集することを可能にするように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示画面１１６は、ビデオ処理デバイス１０２の一部として実施することができる。表示画面１１６は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）利用ディスプレイ、有機ＬＥＤディスプレイ技術、及び／又は網膜ディスプレイ技術などのようないくつかの公知の技術によって実現することができる。

アプリケーションインタフェース１１８は、ビデオ処理デバイス１０２の表示画面１１６上にレンダリングすることができる。アプリケーションインタフェース１１８は、ビデオ処理デバイス１０２におけるビデオ編集処理を容易にすることができる。アプリケーションインタフェース１１８は、ビデオ処理デバイス内に事前格納することができる。アプリケーションインタフェース１１８は、収集したビデオコンテンツ及び対応するビデオフレームをビデオ処理デバイス１０２における処理に向けてレンダリングするように構成することができる。

１又は２以上の着用可能デバイス１２０は、着用可能電子機器及び／又は電子インプラントを指す場合がある。１又は２以上の着用可能デバイス１２０は、ビデオ処理デバイス１０２又はサーバ１０４のような接続されたデバイスにセンサデータを通信するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。１又は２以上の着用可能デバイス１２０は、第１のユーザ１１２及び第２のユーザ１１４のようなユーザによって着用することができる。例えば、ユーザのカロリー摂取量、カロリー燃焼量、睡眠パターン、及び／又は発汗量又は心拍数のような生理学的パラメータ、又は身体活動を測定するために、ユーザによって着用されたスマート眼鏡、スマートバンド、又はスマート腕時計を使用することができる。１又は２以上の着用可能デバイス１２０の例は、着用可能心イベント記録計、生体適合性センサ（排卵周期を予想するために心拍数、パルス酸素測定法、呼吸数、及び／又は血圧のような生理学的パラメータをモニタするために人体に取り付けるか、着用するか、又は埋め込むことができる）、「ＯｂａｍａｃａｒｅマイクロチップＲＦＩＤインプラント」のような埋込可能無線周波数デバイス、及び／又は第１のユーザ１１２又は第２のユーザ１１４のようなユーザの感情状態の追跡に向けて当該ユーザの生理学的パラメータのモニタに関するセンサデータを供給することができる他の着用可能又は埋込可能なデバイスを含むことができるがこれらに限定されない。実施形態により、１又は２以上の着用可能デバイス１２０を用いない場合があり、感情状態は、画像取り込みユニット１０８によって取り込まれるユーザのビデオを用いて検出することができる。

作動時に、ビデオ処理デバイス１０２は、１又は２以上のビデオコンテンツを受信するように構成することができる。１又は２以上のビデオコンテンツは、サーバ１０４から通信ネットワーク１０６を通じて受信することができる。実施形態により、１又は２以上のビデオコンテンツは、外部ストレージデバイスのような外部デバイスから有線又は無線の通信媒体を通して受信することができる。ビデオ処理デバイス１０２は、受信した１又は２以上のビデオコンテンツのうちの少なくとも第１のビデオコンテンツをアプリケーションインタフェース１１８を通じてレンダリングするように構成することができる。実施形態により、第１のビデオは、第１のユーザ１１２のようなユーザから受け入れた入力に基づいてレンダリングすることができる。これに代えて、ビデオ処理デバイス１０２は、ユーザ定義順序で１又は２以上のビデオコンテンツを処理するための１又は２以上の事前構成された設定を含むことができる。

実施形態により、第１のユーザ１１２のような１又は２以上のユーザは、ビデオ処理デバイス１０２の表示画面１１６上で第１のビデオコンテンツを視聴している場合がある。ビデオ処理デバイス１０２は、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している場合がある第１のユーザ１１２の１又は２以上の画像又はビデオを画像取り込みユニット１０８を用いて取り込むことができる。ビデオ処理デバイス１０２は、第１のユーザ１１２が第１のビデオコンテンツを視聴している間に第１のユーザ１１２の感情を継続的にモニタするように構成することができる。感情は、第１のユーザ１１２の取り込まれた１又は２以上の画像又はビデオの解析に基づいてモニタすることができる。

実施形態により、ビデオ処理デバイス１０２は、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している第１のユーザ１１２の感情状態の変化を検出するように構成することができる。感情状態の変化は、第１のユーザ１１２の複数の感情状態１１０のうちの平常のような第１の感情状態から嬉しいのような第２の感情状態への遷移に対応する場合がある。

実施形態により、ビデオ処理デバイス１０２は、ビデオ処理デバイス１０２上での第１のビデオコンテンツの視聴中に第１のユーザ１１２の変化した感情状態に関連付けられたレベルを決定するように構成することができる。決定されるレベルは、感情状態の程度に対応する場合がある。例えば、第１のユーザ１１２が第１のビデオコンテンツを視聴している時に、やや嬉しい感情状態又は興奮感情状態のような嬉しさの程度を検出することができる。

実施形態により、ビデオ処理デバイス１０２は、第１のビデオコンテンツの１又は２以上の画像フレーム群を興奮感情状態のような変化した感情状態に関連付けるように構成することができる。この関連付けは、第１のビデオコンテンツがビデオ処理デバイス１０２上で視聴されている時に第１のユーザ１１２の感情状態の検出された変化中の１又は２以上の時間インスタンスで行うことができる。

実施形態により、ビデオ処理デバイス１０２は、変化した感情状態に関連付けられた第１のビデオコンテンツの１又は２以上の画像フレーム群を選択するように構成することができる。ビデオ処理デバイス１０２は、変化した感情状態に関連付けられた１又は２以上の選択画像フレーム群を用いて第２のビデオコンテンツを発生させるように構成することができる。発生された第２のビデオコンテンツは、検出された第１のユーザ１１２の変化した感情状態に基づいて第１のビデオコンテンツから動的に発生される興奮感情ハイライトのような感情ハイライトに対応することができる。

実施形態により、第１のユーザ１１２と第２のユーザ１１４は、ビデオ処理デバイス１０２上で第１のビデオコンテンツを同時に視聴している場合がある。そのような実施形態において、ビデオ処理デバイス１０２は、第１のユーザ１１２の感情と第２のユーザ１１４の感情とを同時にモニタするように構成することができる。ビデオ処理デバイス１０２は、第１のユーザ１１２に加えて、検出された第２のユーザ１１４の感情状態の変化中に視聴された第１のビデオコンテンツの１又は２以上の他の画像フレーム群を第２のユーザ１１４の変化した感情状態と更に関連付けることができる。ビデオ処理デバイス１０２は、検出された第１のユーザ１１２、並びに第２のユーザ１１４の変化した感情状態に基づいて第２のビデオコンテンツと別のビデオとを同時に発生させるように構成することができる。

実施形態により、ビデオ処理デバイス１０２は、１日、１ヶ月、又は１年にわたって視聴された全てのコンテンツ項目に関する複数の感情状態１１０の各々に関する感情ハイライトを発生させるように構成することができる。実施形態により、第１のユーザ１１２は、複数のビデオ処理デバイス内の様々なメディアコンテンツを視聴することができる。複数のビデオ処理デバイスは、ビデオ処理デバイス１０２と類似とすることができる。そのような実施形態において、複数のビデオ処理デバイス内で発生された感情ハイライトを集中格納に向けてサーバ１０４に通信することができる。その後に、サーバ１０４は、複数のビデオ処理デバイス上で視聴されているメディアコンテンツのセグメントを含むことができる悲しみ感情ハイライト、嬉しい感情ハイライト、又は怒り感情ハイライトという感情ハイライトを発生させることができる。これらのセグメントは、複数の感情状態１１０のうちの１又は２以上に関連付けられた１又は２以上の画像フレーム群に対応することができる。

図２は、本発明の開示の実施形態により感情状態検出に基づいてビデオを処理する例示的ビデオ処理デバイスのブロック図を示している。図２を図１に記載の要素に関連付けて説明する。図２を参照すると、ビデオ処理デバイス１０２が示されている。ビデオ処理デバイス１０２は、ビデオプロセッサ２０２のような１又は２以上のプロセッサと、メモリ２０４と、Ｉ／Ｏデバイス２０６のような１又は２以上の入力／出力（Ｉ／Ｏ）デバイスと、感情解析器２０８と、ネットワークインタフェース２１０とを含むことができる。Ｉ／Ｏデバイス２０６内には、更に画像取り込みユニット１０８、表示画面１１６、及びアプリケーションインタフェース１１８が示されている。

ビデオプロセッサ２０２は、メモリ２０４、Ｉ／Ｏデバイス２０６、感情解析器２０８、及びネットワークインタフェース２１０に通信的に結合することができる。ネットワークインタフェース２１０は、ビデオプロセッサ２０２の制御下でサーバ１０４と通信ネットワーク１０６を通じて通信することができる。

ビデオプロセッサ２０２は、メモリ２０４に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。ビデオプロセッサ２０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実施することができる。ビデオプロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、Ｘ８６−６４ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、中央演算処理装置（ＣＰＵ）、明示的並列命令コンピュータ（ＥＰＩＣ）プロセッサ、超長命令語（ＶＬＩＷ）プロセッサ、及び／又は他のプロセッサ又は制御回路とすることができる。

メモリ２０４は、ビデオプロセッサ２０２によって実行可能な機械コード及び／又は命令セットを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ２０４は、処理される１又は２以上の取り込まれたビデオ及び処理された又は編集されたビデオを格納するように更に構成することができる。メモリ２０４は、アプリケーションインタフェース１１８及び１又は２以上のユーザによって事前設定された１又は２以上の構成可能な設定を格納するように更に構成することができる。メモリ２０４は、オペレーティングシステム及び付属のアプリケーションを格納するように更に構成することができる。メモリ２０４の例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。

Ｉ／Ｏデバイス２０６は、第１のユーザ１１２のような１又は２以上のユーザから入力を受け入れるように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。Ｉ／Ｏデバイス２０６は、出力を１又は２以上のユーザに提供するように更に構成することができる。Ｉ／Ｏデバイス２０６は、ビデオプロセッサ２０２と通信するように作動可能にすることができる様々な入力デバイス及び出力デバイスを含むことができる。入力デバイスの例は、画像取り込みユニット１０８、タッチ画面、キーボード、赤外線センサ、マウス、ジョイスティック、マイクロフォン、モーションセンサ、光センサ、地理空間的場所検出センサのような１又は２以上のセンサ、及び／又はドッキングステーションを含むことができるがこれらに限定されない。出力デバイスの例は、表示画面１１６、プロジェクタ画面、及び／又はスピーカを含むことができるがこれらに限定されない。

感情解析器２０８は、画像取り込みユニット１０８によって取り込まれた１又は２以上の画像又はビデオを解析するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。感情解析器２０８は、第１のユーザ１１２及び第２のユーザ１１４のような１又は２以上のユーザに関連付けられた１又は２以上の着用可能デバイス１２０から受信されたセンサデータを解析するように更に構成することができる。感情解析器２０８は、受信した１又は２以上の画像又はビデオ、及び／又はセンサデータの解析に基づいて、１又は２以上のユーザの感情状態の変化を継続的に検出するように構成することができる。実施形態により、感情解析器２０８は、ビデオプロセッサ２０２の一部とすることができる。これに代えて、感情解析器２０８は、ビデオ処理デバイス１０２内の個別のプロセッサ又は回路として実施することができる。実施形態により、感情解析器２０８及びビデオプロセッサ２０２は、これらの機能を実行する統合プロセッサ又はプロセッサクラスターとして実施することができる。実施形態により、感情解析器２０８は、ビデオプロセッサ２０２による実行時にビデオ処理デバイス１０２の機能を実行することができるメモリ２０４に格納された命令セットとして実施することができる。

ネットワークインタフェース２１０は、サーバ１０４と通信ネットワーク１０６を通じて通信するように（図１に示すように）構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。ネットワークインタフェース２１０は、ビデオ処理デバイス１０２と通信ネットワーク１０６との有線又は無線の通信をサポートする公知の技術を実施することができる。ネットワークインタフェース２１０は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、コーダ−復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。ネットワークインタフェース２１０は、有線又は無線の通信によって通信ネットワーク１０６と通信することができる。無線通信は、移動通信のための世界システム（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、長期的進化（ＬＴＥ）、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎのような）、ライトフィデリティ（Ｌｉ−Ｆｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）のような複数の通信規格、プロトコル、及び技術のうちの１又は２以上を使用することができる。

作動時に、ビデオプロセッサ２０２は、ネットワークインタフェース２１０を用いて１又は２以上のビデオコンテンツを受信するように構成することができる。１又は２以上のビデオコンテンツは、サーバ１０４から通信ネットワーク１０６を通じて受信することができる。実施形態により、１又は２以上のビデオコンテンツは、外部ストレージデバイスのような外部デバイスから有線又は無線の通信媒体を通して受信することができる。ビデオプロセッサ２０２は、受信した１又は２以上のビデオコンテンツのうちの少なくとも第１のビデオコンテンツをアプリケーションインタフェース１１８を通じてレンダリングするように構成することができる。

実施形態により、第１のユーザ１１２のような１又は２以上のユーザは、ビデオ処理デバイス１０２の表示画面１１６上で第１のビデオコンテンツを視聴している場合がある。ビデオプロセッサ２０２は、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している場合がある第１のユーザ１１２の１又は２以上の画像又はビデオを画像取り込みユニット１０８を用いて取り込むことができる。感情解析器２０８は、第１のユーザ１１２が第１のビデオコンテンツを視聴している間に第１のユーザ１１２の感情を継続的にモニタするように構成することができる。感情は、第１のユーザ１１２の取り込まれた１又は２以上の画像又はビデオの解析に基づいてモニタすることができる。

実施形態により、感情解析器２０８は、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している第１のユーザ１１２の感情状態の変化を検出するように構成することができる。感情状態の変化は、第１のユーザ１１２の複数の感情状態１１０のうちの平常のような第１の感情状態から嬉しいのような第２の感情状態への遷移に対応する場合がある。第１のユーザ１１２の感情状態の変化は、第１のユーザ１１２の感情のモニタに基づいて検出することができる。

実施形態により、顔の表情の変化、手又は顔の動き、ユーザの着座位置、及び／又は身体姿勢を含む１又は２以上のファクタは、第１のユーザ１１２の感情状態を示すことができる。単独又は組合せのいずれかで捉えたそのような１又は２以上のファクタは、第１のユーザ１１２の感情状態の検出において高い精度を与えることができる。例えば、第１のビデオを視聴している間に頭の後部に置かれた両手及び上方に傾いた顔は、くつろいだ感情状態を示すとすることができる。それに対して、第１のビデオを視聴している間に頭の上部に置かれた両手及び下向きに傾いた顔は、狼狽した（又は非常に悲しい）感情状態を示すとすることができる。

従来の感情検出技術では、事前指定された感情のうちからユーザの特定の感情を検出するために、事前指定されたある一定の顔面表情又は生物学的健康パラメータを使用することができる。しかし、人的な感情及び感情表現又は身体言語の程度は、国別又は地域別のような地理的な場所に従って異なる可能性がある。更に、年齢及び性別は、ユーザが自分の感情をどのように表すかに影響を及ぼす可能性もある。従って、複数の感情状態１１０の正確な検出に向けて、画像処理技術を使用する感情検出をカスタマイズする必要がある可能性がある。

実施形態により、感情解析器２０８は、第１のユーザ１１２のようなユーザに関する特定の感情を検出するために、ビデオ処理デバイス１０２の地理的場所情報を利用して感情検出技術を調節するように構成することができる。例えば、ビデオ処理デバイス１０２の現在の地理的場所情報に基づいて、異なる顔面表情の手法又は設定を感情検出に向けて適用することができる。そのような顔面表情の手法又は設定は、地理的場所に特定のプレマップされた顔面特徴に従って感情表現又は身体言語を検出するのに適することができる。実施形態により、感情解析器２０８は、第１のユーザ１１２の年齢層又は性別に基づいて感情検出技術をカスタマイズするように構成することができる。これに代えて、様々な年齢層、地理的場所、又は男性及び女性の個人に対して同じ設定又は感情検出技術を使用することができる。感情検出技術は、第１のユーザ１１２のようなユーザの感情状態の検出及び／又は認識のための顔面表情、手又は顔の動き、ユーザ着座位置、及び／又は身体姿勢の解析を指す場合がある。

実施形態により、感情解析器２０８は、ビデオ処理デバイス１０２上での第１のビデオコンテンツの視聴中に第１のユーザ１１２の変化した感情状態に関連付けられたレベルを決定するように構成することができる。決定されるレベルは、感情状態の程度に対応することができる。例えば、第１のユーザ１１２が第１のビデオコンテンツを視聴している時に、やや嬉しい感情状態又は興奮感情状態のような嬉しさの程度を検出することができる。

実施形態により、第１のユーザ１１２は、１又は２以上の着用可能デバイス１２０に関連付けることができる。そのような実施形態において、ビデオプロセッサ２０２は、第１のユーザ１１２の複数の感情状態１１０のような感情をモニタするために１又は２以上の着用可能デバイス１２０からセンサデータを更に受信することができる。ビデオプロセッサ２０２は、検出された第１のユーザ１１２の感情状態の変化を画像処理技術に基づいて検証するためにセンサデータを更に利用するように構成することができる。センサデータは、血圧、発汗量、心拍数、及び体温などのような様々な人間の生理学的パラメータの測定値に対応することができる。例えば、画像処理技術を用いた１又は２以上のファクタの解析に基づいて検出された高い発汗量と結び付けられる悲しい感情状態又は不安の感情状態により、高い不安レベルを確認することができる。実施形態により、ビデオプロセッサ２０２は、画像処理技術を用いた１又は２以上のファクタの解析に基づいて第１のビデオコンテンツ内でユーザがゴルフを楽しんでいること、カート競技、クリケット、又は他のスポーツをしていることのようなユーザの現在状態を検出するように構成することができる。そのような場合に、感情解析器２０８は、第１のユーザ１１２の感情をモニタするために様々な人間の生理学的パラメータのベースレベルを相応に調節するように構成することができる。ユーザ１１２が特定の場面に対して興奮した場合に、新しいレベルへの感情を実行時に計算することができ、従って、感激的な瞬間だけを取り込んで記録することができる。ビデオプロセッサ２０２は、画像取り込みユニット１０８のようなカメラからの全ての画像フレームを記録する代わりに、感激的な感情状態に関連付けられたある一定の画像フレーム群を新しいビデオとして格納するように構成することができる。

実施形態により、ビデオプロセッサ２０２は、第１のビデオコンテンツの１又は２以上の画像フレーム群を興奮感情状態のような変化した感情状態に関連付けるように構成することができる。この関連付けは、第１のビデオコンテンツがビデオ処理デバイス１０２上で視聴されている時に検出される第１のユーザ１１２の感情状態の変化中の１又は２以上の時間インスタンスで行うことができる。例えば、「１５０枚」の画像フレームの第１の群は、第１のビデオコンテンツのタイムスタンプ「００：０１：２５」から「００：０１：３０」（「時間：分：秒」フォーマット）までとすることができる。第１のビデオコンテンツの再生中の時間インスタンス「００：０１：２８」において平常感情状態から興奮感情状態への第１のユーザ１１２の感情状態の第１の変化を検出することができる。検出された第１のユーザ１１２の感情状態の変化の前及び後の２秒は、興奮感情状態のような変化した感情状態に関連付けることができる。同様に、「１５０枚」の画像フレームの第２の群は、第１のビデオコンテンツのタイムスタンプ「００：０２：３０」から「００：０２：３５」までとすることができる。第１のビデオコンテンツの再生中の時間インスタンス「００：０２：３３」において平常感情状態から興奮感情状態への第１のユーザ１１２の感情状態の第２の変化を検出することができる。検出された第１のユーザ１１２の感情状態の変化の前及び後の２秒（合計で５秒）は、興奮感情状態に関連付けることができる。従って、他の画像フレーム群は、第１のビデオコンテンツの再生中の興奮感情状態に関連付けることができる。

実施形態により、ビデオプロセッサ２０２は、変化した感情状態に関連付けられた第１のビデオコンテンツの１又は２以上の画像フレーム群を選択するように構成することができる。例えば、第１のユーザ１１２の興奮感情状態に関連付けられた「１５０枚」の画像フレームの第１の群、「１５０枚」の画像フレームの第２の群、及び他の画像フレーム群を選択することができる。ビデオプロセッサ２０２は、複数の感情状態１１０のうちの少なくとも１つに関連付けることができない第１のビデオコンテンツの画像フレームをフィルタリングするように構成することができる。平常感情状態に関連付けられた画像フレームは、フィルタリングすることができる。

実施形態により、ビデオプロセッサ２０２は、変化した感情状態に関連付けられた１又は２以上の選択画像フレーム群をその再生時間に従って接合するように構成することができる。実施形態により、ビデオプロセッサ２０２は、変化した感情状態に関連付けられた１又は２以上の選択画像フレーム群を含むことができる第２のビデオコンテンツを接合作動の結果として発生させるように構成することができる。従って、検出された第１のユーザ１１２の感情状態の変化に基づいて第１のビデオコンテンツの自動編集を実施することができる。発生された第２のビデオコンテンツは、検出された第１のユーザ１１２の変化した感情状態に基づいて第１のビデオコンテンツから動的に発生された興奮感情ハイライトのような感情ハイライトに対応することができる。

実施形態により、感情解析器２０８は、ビデオ処理デバイス１０２上での第１のビデオコンテンツの再生中に平常感情から悲しみ、怒り、軽蔑、恐れ、驚き、困惑、優しさのような他のピーク感情への第１のユーザ１１２の感情状態の様々な変化（又は遷移）を検出するように構成することができる。例えば、第１のビデオコンテンツの再生中の時間インスタンス「００：０３：２０」及び「００：２０：１０」において、平常感情状態から悲しい感情状態への第１のユーザ１１２の感情状態の第３及び第４の変化を検出することができる。従って、悲しい感情状態の検出中に視聴された第１のビデオコンテンツの第３の画像フレーム群及び第４の画像フレーム群は、悲しい感情状態に関連付けることができる。その後に、ビデオプロセッサ２０２は、悲しい感情状態に関連付けられた第３の画像フレーム群及び第４の画像フレーム群を用いて第３のビデオコンテンツを発生させることができる。実施形態により、第２のビデオコンテンツと第３のビデオコンテンツは、第１のビデオコンテンツから同時に発生させることができる。実施形態により、感情解析器２０８は、ビデオ処理デバイス１０２上での第１のビデオコンテンツの再生中に嬉しい状態から悲しい状態へ、そこから再度嬉しい状態へのような１つのピーク感情から別のピーク感情への第１のユーザ１１２の感情状態の様々な変化（又は遷移）を検出するように構成することができる。例えば、ビデオ処理デバイス１０２はＴＶとすることができる。第１のユーザ１１２は、ＴＶ上でクリケットを観戦している場合がある。打者がボールを空中高く打った場合に、第１のユーザ１１２は、それが「６点ヒット」であると思うが、直ちにボールが野手によってキャッチされるのを見る可能性がある。そのようなシナリオでは、感情解析器２０８は、第１のビデオコンテンツの単一場面に関して悲しい状態から嬉しい状態（６点ヒットだと思った時）へ、そこから悲しい状態（ボールがキャッチされた時）へのような１つのピーク感情から別のピーク感情への第１のユーザ１１２の感情状態の様々な変化（又は遷移）を迅速に検出するように構成することができる。

実施形態により、第１のユーザ１１２と第２のユーザ１１４は、ビデオ処理デバイス１０２上で第１のビデオコンテンツを同時に視聴している場合がある。そのような実施形態において、感情解析器２０８は、第１のユーザ１１２の感情と第２のユーザ１１４の感情とを同時にモニタするように構成することができる。感情解析器２０８は、第１のユーザ１１２に加えて、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している第２のユーザ１１４の感情状態の変化を検出するように構成することができる。検出された第２のユーザ１１４の変化した感情状態に応答して、ビデオプロセッサ２０２は、第２のユーザ１１４の感情状態の検出された変化中に視聴された第１のビデオコンテンツの１又は２以上の他の画像フレーム群を第２のユーザ１１４の変化した感情状態と更に関連付けることができる。ビデオプロセッサ２０２は、第１のユーザ１１２、並びに第２のユーザ１１４の検出された変化した感情状態に基づいて第２のビデオコンテンツと別のビデオとを同時に発生させるように構成することができる。別の言い方をすると、感情解析器２０８は、第１のユーザ１１２及び第２のユーザ１１４のような複数のユーザの感情を同時にモニタするように構成することができる。従って、複数のユーザがテレビジョン（ＴＶ）番組のような第１のビデオコンテンツを視聴している間に、複数の異なる感情ハイライトを自動的に発生させることができる。複数の異なる感情ビデオハイライトは、複数のユーザのうちの各ユーザの特定の検出された感情状態に各々が関連付けられた複数の画像フレーム群を含む異なるビデオに対応することができる。例えば、ジョン、ジャック、及びジムという３人のユーザは、ＴＶ番組を視聴している場合がある。ＴＶ番組の視聴中にジョンが興奮状態になり、悲しくなる瞬間を感情解析器２０８によって検出することができる。従って、悲しいビデオハイライト及び興奮状態のビデオハイライトという２つの感情ビデオハイライトを発生させることができる。悲しいビデオハイライトは、検出されたジョンの悲しい感情状態でタグ付けされた全ての画像フレーム群を含むことができる。興奮状態のビデオハイライトは、検出されたジョンの興奮感情状態でタグ付けされた全ての画像フレーム群を含む。ＴＶ番組の他の画像フレームは、発生された感情ビデオハイライトからフィルタリングして除外することができる。同様に、ジャック及びジムは、ＴＶ番組を視聴している時のある一定の瞬間に興奮状態になる及び／又は悲しくなる可能性がある。感情状態の変化は、各個人に関して異なる場合があり、１人のユーザは、ビデオコンテンツの特定の場面を視聴している間に興奮状態にならない可能性があるが、他のユーザは、同じ場面を視聴して興奮状態になる可能性がある。従って、ジョンに関して感情状態遷移検出に基づいて発生された２つの感情ビデオハイライトと同様に、ジャック及びジムに関して異なる感情ビデオハイライトを発生させることができる。

実施形態により、複数のユーザがテレビジョンのＴＶ番組のような第１のビデオコンテンツを視聴している間に複数の異なる感情ハイライトを同時に発生させることができる。複数の異なる感情ハイライトは、主ＴＶ番組が表示されている間にＴＶ上で同時に再生することができる。複数の異なる感情ハイライトの再生は、全てのユーザに対してＴＶ表示画面の一方の部分において、主ＴＶ番組がＴＶ画面の他方の部分上で再生されている間にピクチャーインピクチャーウィンドウのような様々な表示機構によって行うことができる。そのような場合に、ビデオ処理デバイス１０２は、ＴＶ自体とするか又はＴＶに統合されたものとすることができる。実施形態により、ジョン、ジャック、及びジムの興奮感情状態のような特定の感情に対して複数のユーザの組合せ感情ビデオハイライトを発生させることが望ましい場合がある。従って、ビデオプロセッサ２０２は、検出されたジョン、ジャック、及びジムの興奮感情状態でタグ付けされた全ての画像フレーム群を含むことができる単一組合せ興奮状態ビデオハイライトを発生かつ表示することができる。言い換えれば、各ユーザに関する全ての興奮状態の瞬間は、ＴＶ上で再生することができる。悲しいビデオハイライトに嬉しい感情ハイライトが続き、更に興奮感情ハイライトが続くことのような感情ビデオハイライトの表示シーケンスを構成可能にし、ユーザが望み通りに設定することができることを理解することができる。更に、ＴＶ番組を視聴する間に、ジョンのような特定のユーザ又はジョン、ジャック、及びジムのような複数のユーザの全員の全ての嬉しい瞬間のような特定の感情ビデオハイライトのみの表示は、アプリケーションインタフェース１１８を用いて構成可能にすることができる。実施形態により、ＴＶのようなビデオ処理デバイス１０２上での発生された感情ビデオハイライトの再生時に、検出されたユーザの感情状態、そのレベル、及び／又はユーザ名又はユーザのサムネイル画像を表示することができる。

実施形態により、発生された感情ビデオハイライト（第２のビデオコンテンツのような）の再生は、選択されたモードに基づいて制御することができる。第１のユーザ１１２のようなユーザは、ビデオ処理デバイス１０２の表示画面１１６上にレンダリングされたアプリケーションインタフェース１１８を用いて複数のモードから特定のモードを選択することができる。複数のモードは、スポーツモード、通常モード又はデフォルトモード、気分モード、又は組合せ気分モードを含むことができる。スポーツモードは、感情状態の検出に対する閾値を通常モード又は気分モードのような他のモードと比較して変更することができる感情状態遷移の変化の検出に関する構成設定を指す場合がある。スポーツモードでは、感情解析器２０８は、第１のユーザ１１２の感情をモニタするために様々な人間の生理学的パラメータのベースレベルを相応に調節するように構成することができる。通常モードでは、ビデオ処理デバイス１０２は、複数の感情状態１１０を検出して処理することができる。気分モードが選択される場合に、選択される特定の気分の限定的な感情ビデオハイライトを発生させるために、ビデオ処理デバイス１０２は、嬉しい感情状態のような特定の感情状態及びそれに関連付けられたレベルをモニタして検出することができる。気分モードは、複数の感情状態１１０のうちの１つに対応する。組合せ気分モードは、ビデオ処理デバイス１０２によって検出して処理される複数の感情状態１１０のうちの２又は３以上の感情状態を選択するために使用することができる。

実施形態により、複数のユーザのような既知のユーザに対して感情状態の遷移のモニタ及び検出に関する優先度リストを定めることができる。例えば、これらの複数のユーザは、ＴＶを視聴している場合がある。複数のユーザのうちの１人は、優先度リスト内の高優先度ユーザとして定めることができる。そのような場合に、感情解析器２０８は、複数のユーザのうちの特定のユーザの感情状態の変化の検出をこのユーザが優先度リストからの高優先度ユーザとして識別された場合に動的に切り換えることができる。

実施形態により、第１のユーザ１１２のようなユーザは、第１のビデオコンテンツのようなビデオを視聴しているのではなく、外部カメラによって取り込まれたビデオ又はライブビデオ撮影の一部の中に含まれる場合がある。そのような場合に、ビデオ撮影中にユーザによって着用される１又は２以上の着用可能デバイス１２０は、ユーザの感情状態及び感情状態の変化を検出することができる。ビデオプロセッサ２０２は、外部カメラから記録されたビデオを受信し、かつ１又は２以上の着用可能デバイス１２０からユーザの感情状態の変化に関する情報を受信することができる。ビデオプロセッサ２０２は、１又は２以上の着用可能デバイス１２０からの情報に基づいて、受信した記録されたビデオの１又は２以上の画像フレーム群を様々な変化した感情状態に関連付けるように構成することができる。その後に、１又は２以上の感情ビデオハイライトは、第１のビデオコンテンツからの第２のビデオコンテンツの発生に関して記述したものと類似の処理で発生させることができる。

実施形態により、感情状態検出に基づいて複数のビデオコンテンツ項目を編集するために、複数のビデオコンテンツ項目は、１又は２以上のユーザによってビデオ処理デバイス１０２上で視聴される場合がある。そのような実施形態において、ビデオプロセッサ２０２は、複数のビデオコンテンツ項目の各々から選択される１又は２以上の画像フレーム群を組み合わせて、検出された第１のユーザ１１２のような１又は２以上のユーザの感情状態の変化に基づく単一ビデオコンテンツを発生させるように構成することができる。

実施形態により、図１で記述したビデオ処理デバイス１０２によって実行される機能又は作動は、ビデオプロセッサ２０２及び／又は感情解析器２０８によって実行することができる。ビデオプロセッサ２０２及び／又は感情解析器２０８によって実行される他の作動は、図３及び図４における説明から理解することができる。

図３は、本発明の開示の実施形態により感情状態検出に基づいてビデオを処理する本発明の開示のシステム及び方法の実施のための例示的シナリオを示している。図３を図１及び図２に記載の要素に関連付けて説明する。図３を参照すると、アプリケーションインタフェース１１８上で再生されている第１のビデオ３０２と、第１のビデオ３０２の複数のセグメント３０２ａから３０２ｅと、１又は２以上のビデオハイライト３０４から３０８とが示されている。更に、ビデオ処理デバイス１０２（図１）に内蔵の画像取り込みユニット１０８が示されている。

例示的シナリオにより、第１のユーザ１１２は、ビデオ処理デバイス１０２上で第１のビデオ３０２を視聴する間に第１のビデオ３０２を編集しようと望む場合がある。複数の感情状態１１０には数値を割り当てることができる。平常感情状態、悲しい感情状態、及び嬉しい感情状態には、それぞれ「０」、「１」、及び「２」という数値を割り当てることができる。複数の感情状態１１０の各々は、悲しみの程度（又はレベル）を表すことができる１．１、１．２、１．３、．．．、１．９のようなレベルに更に細分類することができ、この場合１．１は、悲しみの最低レベルを表すことができ、１．９は、この順序で最高の悲しみレベルを表すことができる。同じく２．１は、嬉しさの最低レベルを表すことができ、２．９は、この順序で最高の嬉しさレベルを表すことができる。実施形態により、「^*．１」から「^*．４」までのレベルスコアは、感情状態の「レベル１」（低レベル）にまとめることができる。同じく「^*．５」から「^*．７」までのレベルスコアは、感情状態の「レベル２」（中レベル）にまとめることができる。更に、最後に「^*．８」から「^*．９」までのレベルスコアは、感情状態の「レベル３」にまとめることができる。例えば、「２．１から２．４まで」、「２．５から２．７まで」、及び「２．８から２．９まで」の範囲は、嬉しさの低レベル、中レベル、及び高レベルを示すことができる。同じく他の感情カテゴリに関して低、中、及び高のレベル範囲を定めることができる。

実施形態により、感情解析器２０８は、第１のビデオ３０２の再生時間「００：０５：０５」においてビデオ処理デバイス１０２上で第１のビデオ３０２を視聴している第１のユーザ１１２の感情状態の変化を検出するように構成することができる。感情状態の変化は、平常「０」のような第１の感情状態から嬉しい「２」のような第２の感情状態への遷移に対応する場合がある。「００：０５：００」から始まって「００：０５：１０」まで続くとすることができ、かつ連続する「３００枚」の画像フレームを含むことができる第１のビデオ３０２の第１のセグメント３０２ａは、検出された嬉しい感情状態を表すことができる数値「２」に関連付けることができる。更に、感情解析器２０８は、第１のユーザ１１２の嬉しい感情状態のような「２．８」というレベルの変化した感情状態を決定するように構成することができる。レベル「２．８」は、「レベル３」の嬉しさを示すことができる。

感情解析器２０８は、第１のビデオ３０２の再生時間「００：１０：２３」において第１のビデオ３０２を視聴している第１のユーザ１１２の平常「０」感情状態から嬉しい「２」感情状態への第２の遷移を検出するように構成することができる。従って、「００：１０：２０」から始まって「００：１０：２５」まで続くとすることができ、かつ連続する「１５０枚」の画像フレームを含むことができる第１のビデオ３０２の第２のセグメント３０２ｂは、検出された嬉しい感情状態を表すことができる数値「２」に関連付けることができる。更に、感情解析器２０８は、第１のユーザ１１２の「２．６」というレベルの嬉しい感情状態を決定するように構成することができる。レベル「２．６」は、やや嬉しい状態のような「レベル２」の嬉しさを示すことができる。

更に、第１のビデオ３０２の再生時間「００：１５：１２」において、感情解析器２０８は、第１のビデオ３０２を視聴している第１のユーザ１１２の平常「０」感情状態から悲しい「１」感情状態への第３の遷移を検出するように構成することができる。従って、「００：１５：１０」から始まって「００：１５：１３」まで続くとすることができ（３秒セグメント）、かつ連続する「１５０枚」の画像フレームを含むことができる第１のビデオ３０２の第３のセグメント３０２ｃは、検出された悲しい感情状態を表すことができる数値「１」に関連付けることができる。更に、感情解析器２０８は、第１のユーザ１１２の「２．５」というレベルの悲しい感情状態を決定するように構成することができる。レベル「２．５」は、やや悲しい状態のような「レベル２」の悲しさを示すことができる。同じく「００：１８：１０」から始まって「００：１８：２０」まで続くとすることができ（１０秒セグメント）、かつ連続する「３００枚」の画像フレームを含むことができる第１のビデオ３０２の第４のセグメント３０２ｄは、検出された嬉しい感情状態を表すことができる数値「２」に関連付けることができる。非常に嬉しい状態のようなレベル「３」の嬉しさを示すことができる「２．９」というレベルを決定することができる。最後に、「００：５５：００」から始まって「００：５５：０５」まで続くとすることができ（５秒セグメント）、かつ連続する「１５０枚」の画像フレームを含むことができる第１のビデオ３０２の第５のセグメント３０２ｅは、検出された悲しい感情状態を表すことができる数値「１」に関連付けることができる。非常に悲しい状態のようなレベル「３」の悲しさを示すことができる「２．９」というレベルを決定し、第５のセグメント３０２ｅの画像フレームに割り当てることができる。

検出された第１のユーザ１１２の感情状態の変化に基づいて、ビデオプロセッサ２０２は、第１のセグメント３０２ａ、第２のセグメント３０２ｂ、及び第４のセグメント３０２ｄを選択して第１のビデオハイライト３０４を発生させるように構成することができる。第１のビデオハイライト３０４は、決定されたレベルには関係なく嬉しい感情ハイライトとすることができる。これに代えて、検出された第１のユーザ１１２の感情状態の変化と決定されたレベルとに基づいて、ビデオプロセッサ２０２は、第１のセグメント３０２ａ及び第４のセグメント３０２ｄを選択して第２のビデオハイライト３０６を発生させるように構成することができる。第２のビデオハイライト３０６は、第１のビデオ３０２から自動的に編集された嬉しい感情状態の「レベル３」の感情ハイライトを含むことができる。

実施形態により、ビデオプロセッサ２０２は、第３のセグメント３０２ｃ及び第４のセグメント３０２ｅを選択して第３のビデオハイライト３０８を発生させるように構成することができる。第３のビデオハイライト３０８は、第１のビデオ３０２から動的に編集された悲しい感情ハイライトとすることができる。すなわち、人間の感情検出に基づいて、第１のビデオ３０２は、消費者用途に即応する高速、高品質、かつ効率的な方式で自動的に編集することができる。

図４Ａと図４Ｂは、集合的に本発明の開示の実施形態により感情状態検出に基づいてビデオを処理する例示的方法の実施のための流れ図を示している。図４Ａ図４Ｂを参照すると、流れ図４００が示されている。流れ図４００を図１、図２、及び図３に記載の要素に関連付けて説明する。流れ図４００に記載の方法は、ビデオ処理デバイス１０２に実施することができる。本方法は、段階４０２で始まり、段階４０４に進行する。

段階４０４において、ビデオ処理デバイス１０２によって１又は２以上のビデオコンテンツを受信することができる。１又は２以上のビデオコンテンツは、サーバ１０４から通信ネットワーク１０６を通じて受信することができる。実施形態により、１又は２以上のビデオコンテンツは、外部ストレージデバイスのような外部デバイスから有線又は無線の通信媒体を通して受信することができる。段階４０６において、受信された１又は２以上のビデオコンテンツのうちの少なくとも第１のビデオコンテンツは、ビデオ処理デバイス１０２においてレンダリングすることができる。第１のビデオコンテンツは、アプリケーションインタフェース１１８を通じてレンダリングすることができる。実施形態により、第１のビデオは、第１のユーザ１１２のようなユーザから受信された入力に基づいてレンダリングすることができる。これに代えて、ビデオ処理デバイス１０２は、ユーザ定義順序で１又は２以上のビデオコンテンツを処理するための１又は２以上の事前構成された設定を含むことができる。

段階４０８において、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している場合がある第１のユーザ１１２の１又は２以上の画像又はビデオは、画像取り込みユニット１０８を用いて取り込むことができる。段階４１０において、第１のユーザ１１２に関連付けられた１又は２以上の着用可能デバイス１２０からのセンサデータは、ビデオ処理デバイス１０２によって受信することができる。

段階４１２において、第１のビデオコンテンツを視聴している第１のユーザ１１２の感情は、ビデオ処理デバイス１０２によって継続的にモニタすることができる。感情は、取り込まれた第１のユーザ１１２の１又は２以上の画像又はビデオ、及び／又は受信されたセンサデータの解析に基づいてモニタすることができる。段階４１４において、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している第１のユーザ１１２の感情状態の変化を検出することができる。感情状態の変化は、第１のユーザ１１２の複数の感情状態１１０のうちの平常のような第１の感情状態から嬉しいのような第２の感情状態への遷移に対応する場合がある。

段階４１６において、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴中の第１のユーザ１１２の変化した感情状態に関連付けられたレベルを決定することができる。決定されるレベルは、検出される変化した感情状態の程度に対応することができる。段階４１８において、第１のビデオコンテンツの１又は２以上の画像フレーム群は、嬉しい感情状態のような変化した感情状態に関連付けることができる。この関連付けは、第１のビデオコンテンツがビデオ処理デバイス１０２上で視聴されている時に検出される第１のユーザ１１２の感情状態の変化（又は遷移）中の１又は２以上の時間インスタンスで行うことができる。

段階４２０において、第２の感情状態のような変化した感情状態に関連付けられた第１のビデオコンテンツの１又は２以上の画像フレーム群を選択することができる。１又は２以上の画像フレーム群の選択例を図３に示している。段階４２２において、複数の感情状態１１０のうちの少なくとも１つに関連付けることができない第１のビデオコンテンツの画像フレームは、フィルタリングすることができる。平常感情状態に関連付けられた画像フレームは、フィルタリングすることができる。

段階４２４において、変化した感情状態に関連付けられた選択された１又は２以上の画像フレーム群は、接合することができる。選択された１又は２以上の画像フレーム群は、これらの画像フレーム群の再生時間に従う予め決められた順序で接合することができる。段階４２６において、変化した感情状態に関連付けられた選択された１又は２以上の画像フレーム群を含むことができる第２のビデオコンテンツを発生させることができる。発生された第２のビデオコンテンツは、検出された第１のユーザ１１２の感情状態の変化に基づいて第１のビデオコンテンツから動的に発生される嬉しい感情ハイライト又は悲しい感情ハイライトのような感情ハイライトに対応することができる。制御は、終了段階４２８に移ることができる。これに代えて、実施形態により、第１のユーザ１１２の複数の異なる感情状態に基づいて第１のビデオコンテンツから複数のビデオコンテンツ項目を同時に発生させることができる。

本発明の開示の実施形態により、感情状態検出に基づいてビデオコンテンツを処理するシステムを開示する。システム（ビデオ処理デバイス１０２（図１）のような）は、１又は２以上の回路（以下ではビデオプロセッサ２０２及び／又は感情解析器２０８（図２）と呼ぶ）を含むことができる。感情解析器２０８は、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している第１のユーザ１１２の感情状態の変化を検出するように構成することができる。ビデオプロセッサ２０２は、１又は２以上の時間インスタンスで検出された第１のユーザ１１２の感情状態の変化中に視聴された第１のビデオコンテンツの１又は２以上の画像フレーム群を変化した感情状態に関連付けるように構成することができる。ビデオプロセッサ２０２は、検出された第１のユーザの感情状態の変化に基づいて関連付けられた第１のビデオコンテンツの１又は２以上の画像フレーム群を用いて第２のビデオコンテンツを発生させるように更に構成することができる。

本発明の開示の様々な実施形態は、感情状態検出に基づいてビデオコンテンツを処理するために、機械コードが格納された非一時的コンピュータ可読媒体及び／又はストレージ媒体、非一時的機械可読媒体及び／又はストレージ媒体、及び／又は機械及び／又はコンピュータによって実行可能な命令セットを提供することができる。ビデオ処理デバイス１０２内の命令セットは、機械及び／又はコンピュータをして、ビデオ処理デバイス１０２上で第１のビデオコンテンツを視聴している第１のユーザ１１２の感情状態の変化の検出を含む段階を実行させることができる。１又は２以上の時間インスタンスで検出された第１のユーザ１１２の感情状態の変化中に視聴された第１のビデオコンテンツの１又は２以上の画像フレーム群は、変化した感情状態に関連付けることができる。検出された第１のユーザの感情状態の変化に基づいて関連付けられた第１のビデオコンテンツの１又は２以上の画像フレーム群を用いて第２のビデオコンテンツを発生させることができる。

本発明の開示は、ハードウエア、又はハードウエアとソフトウエアの組合せに実現することができる。本発明の開示は、中央集中様式で少なくとも１つのコンピュータシステムに実現するか、又は相互接続したいくつかのコンピュータシステムにわたって様々な要素を分散させることができる分散様式で実現することができる。本明細書で説明する方法を実施するようになったコンピュータシステム又は他の装置は、適切なものとすることができる。ハードウエアとソフトウエアの組合せは、ロードされて実行された時に、本明細書で説明する方法を実施するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本発明の開示は、他の機能も実行する集積回路の一部分を含むハードウエアに実現することができる。

本発明の開示はまた、本明細書で記述した方法の実施を可能にする全ての特徴を含み、かつコンピュータシステム内にロードされた時にこれらの方法を実施することができるコンピュータプログラム製品に具現化することができる。この関連において、コンピュータプログラムは、特定の機能を直接に実施するか、又はａ）別の言語、コード、又は表記への変換、ｂ）異なる材料形態における複製のいずれか又は両方の後に実施するかのいずれかで情報処理機能を有するシステムに行わせることが意図された命令セットのあらゆる言語、コード、又は表記におけるあらゆる表現を意味する。

本発明の開示をある一定の実施形態を参照して記述したが、本発明の開示の範囲から逸脱することなく様々な変更を加えることができ、かつ均等物を代用することができることは当業者によって理解されるであろう。更に、特定の状況又は材料を本発明の開示の教示に適応させるために、本発明の開示の範囲から逸脱することなく多くの修正を加えることができる。従って、本発明の開示は、開示する特定の実施形態に限定されず、むしろ本発明の開示は、添付の特許請求の範囲に収まる全ての実施形態を含むことになるように意図している。

１００ ネットワーク環境
１０８ 画像取り込みユニット
１１０ 複数の感情状態
１１２ 第１のユーザ
１１４ 第２のユーザ

Claims (20)

1. ビデオコンテンツを処理するためのシステムであって、
   ビデオ処理デバイス上で第１のビデオコンテンツを視聴している第１のユーザの感情状態の変化を検出し、
   前記第１のユーザの前記感情状態の前記検出された変化中に視聴された前記第１のビデオコンテンツの１又は２以上の画像フレーム群を該変化した感情状態に関連付け、かつ
   前記第１のユーザの前記感情状態の前記検出された変化に基づいて、前記第１のビデオコンテンツの前記関連付けられた１又は２以上の画像フレーム群を用いて第２のビデオコンテンツを発生させる、
   ように構成されたビデオ処理デバイス内の１又は２以上の回路、
   を含むことを特徴とするシステム。
2. 前記感情状態は、平常、嬉しさ、悲しさ、怒り、軽蔑、恐れ、驚き、困惑、及び／又は優しさのうちの１つに対応することを特徴とする請求項１に記載のシステム。
3. 前記１又は２以上の回路は、前記関連付けに向けて前記ビデオ処理デバイス上での前記第１のビデオコンテンツの前記視聴中に前記第１のユーザの前記変化した感情状態に関連付けられたレベルを決定するように構成されることを特徴とする請求項１に記載のシステム。
4. 前記１又は２以上の回路は、更に、前記ビデオ処理デバイスに通信的に結合された画像取り込みデバイスを用いて取り込まれた前記第１のユーザの１又は２以上の画像又はビデオ、及び／又は該第１のユーザに関連付けられた１又は２以上の着用可能デバイスから受信されたセンサデータのうちの１又は２以上に基づいて前記第１のビデオコンテンツを視聴している該第１のユーザの複数の感情状態をモニタするように構成されることを特徴とする請求項１に記載のシステム。
5. 前記１又は２以上の回路は、更に、前記第２のビデオコンテンツの前記発生に向けて前記変化した感情状態に関連付けられた前記第１のビデオコンテンツの前記１又は２以上の画像フレーム群を選択するように構成されることを特徴とする請求項１に記載のシステム。
6. 前記１又は２以上の回路は、更に、前記第１のユーザの複数の異なる感情状態の検出に基づいて前記第１のビデオコンテンツから複数のビデオコンテンツ項目を同時に発生させるように構成されることを特徴とする請求項１に記載のシステム。
7. 前記１又は２以上の回路は、更に、前記ビデオ処理デバイス上で前記第１のビデオコンテンツを視聴している第２のユーザの感情状態の変化を検出するように構成され、
   前記第２のユーザの前記感情状態の前記変化は、前記第１のユーザの該感情状態の該変化の前記検出と同時に検出される、
   ことを特徴とする請求項１に記載のシステム。
8. 前記１又は２以上の回路は、更に、１又は２以上の他の時間インスタンスでの前記第２のユーザの前記感情状態の前記検出された変化中に視聴された前記第１のビデオコンテンツの１又は２以上の他の画像フレーム群を該第２のユーザの該変化した感情状態に関連付けるように構成されることを特徴とする請求項７に記載のシステム。
9. 前記１又は２以上の回路は、更に、前記第１のユーザ及び前記第２のユーザの前記感情状態の前記検出された変化に基づいて前記第２のビデオコンテンツ及び第３のビデオコンテンツを同時に発生させるように構成され、
   前記第３のビデオコンテンツは、前記第１のビデオコンテンツの前記関連付けられた１又は２以上の他の画像フレーム群を用いて発生される、
   ことを特徴とする請求項８に記載のシステム。
10. 前記１又は２以上の回路は、前記第１のユーザの前記感情状態の前記検出された変化に基づいて前記第１のビデオコンテンツを自動的に編集するように構成されることを特徴とする請求項１に記載のシステム。
11. 前記発生された第２のビデオコンテンツは、前記第１のユーザの前記感情状態の前記検出された変化に基づいて前記第１のビデオコンテンツから自動的に発生された感情ビデオハイライトに対応することを特徴とする請求項１に記載のシステム。
12. 前記１又は２以上の回路は、前記ビデオ処理デバイス上で視聴された複数のビデオコンテンツ項目の各々から選択された１又は２以上の画像フレーム群を組み合わせて、前記第１のユーザの前記感情状態の前記検出された変化に基づいて単一ビデオコンテンツを発生させるように構成されることを特徴とする請求項１に記載のシステム。
13. ビデオコンテンツを処理する方法であって、
    ビデオ処理デバイス内の１又は２以上の回路により、該ビデオ処理デバイス上で第１のビデオコンテンツを視聴している第１のユーザの感情状態の変化を検出する段階と、
    前記１又は２以上の回路により、前記第１のユーザの前記感情状態の前記検出された変化中に視聴された前記第１のビデオコンテンツの１又は２以上の画像フレーム群を該変化した感情状態に関連付ける段階と、
    前記１又は２以上の回路により、前記第１のユーザの前記感情状態の前記検出された変化に基づいて、前記第１のビデオコンテンツの前記関連付けられた１又は２以上の画像フレーム群を用いて第２のビデオコンテンツを発生させる段階と、
    を含むことを特徴とする方法。
14. 前記感情状態は、平常、嬉しさ、悲しさ、怒り、軽蔑、恐れ、驚き、困惑、及び／又は優しさのうちの１つに対応することを特徴とする請求項１３に記載の方法。
15. 前記１又は２以上の回路により、前記関連付けに向けて前記ビデオ処理デバイス上での前記第１のビデオコンテンツの前記視聴中に前記第１のユーザの前記変化した感情状態に関連付けられたレベルを決定する段階を更に含むことを特徴とする請求項１３に記載の方法。
16. 前記１又は２以上の回路により、前記ビデオ処理デバイスに通信的に結合された画像取り込みデバイスを用いて取り込まれた前記第１のユーザの１又は２以上の画像又はビデオ、及び／又は該第１のユーザに関連付けられた１又は２以上の着用可能デバイスから受信されたセンサデータのうちの１又は２以上に基づいて前記第１のビデオコンテンツを視聴している該第１のユーザの複数の感情状態をモニタする段階を更に含むことを特徴とする請求項１３に記載の方法。
17. 前記１又は２以上の回路により、前記第２のビデオコンテンツの前記発生に向けて前記変化した感情状態に関連付けられた前記第１のビデオコンテンツの前記１又は２以上の画像フレーム群を選択する段階を更に含むことを特徴とする請求項１３に記載の方法。
18. 前記１又は２以上の回路により、前記第１のユーザの前記感情状態の前記検出された変化と前記関連付けとに基づいて前記第１のビデオコンテンツを自動的に編集する段階を更に含むことを特徴とする請求項１３に記載の方法。
19. 前記発生された第２のビデオコンテンツは、前記第１のユーザの前記感情状態の前記検出された変化に基づいて前記第１のビデオコンテンツから自動的に発生された感情ビデオハイライトに対応することを特徴とする請求項１３に記載の方法。
20. 前記１又は２以上の回路により、前記第１のユーザの複数の異なる感情状態の検出に基づいて前記第１のビデオコンテンツから複数のビデオコンテンツ項目を同時に発生させる段階を更に含むことを特徴とする請求項１３に記載の方法。

Images