JP2016517649A

JP2016517649A - 撮影効果のためにジェスチャを使用するための方法および装置

Info

Publication number: JP2016517649A
Application number: JP2015561336A
Authority: JP
Inventors: ディー．フォスネイル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2013-03-08
Filing date: 2013-12-30
Publication date: 2016-06-16
Also published as: CN105103567A; ZA201506365B; KR20150126359A; JP2019220207A; US20160011749A1; EP2965527A1; HK1220064A1; WO2014137466A1

Abstract

モバイルデバイス上でビデオを編集し、ビデオを変更する方法および装置。システムは、ユーザに対し、ジェスチャの使用を介してモバイルデバイス上でビデオ効果の変更を可能にするように作動する。これらのジェスチャは、オンスクリーン視覚的指示の援助なしに実行される。ユーザがジェスチャを介してビデオ効果を変更するにつれて、変更はユーザに対するフィードバックを提供するビデオに同時に適用される。

Description

本出願は、２０１３年３月８日に出願された米国仮出願第６１／７７５，３４６号の優先権を主張する。

携帯型電子デバイスは、よりユビキタスになりつつある。モバイル電話、音楽プレーヤ、カメラ、タブレット等などのこれらのデバイスは、デバイスの組み合わせを含み、したがって、複数の物を携行することを冗長にする。例えば、ＡｐｐｌｅのｉＰｈｏｎｅまたはＳａｍｓｕｎｇのＧａｌａｘｙａｎｄｒｏｉｄ電話などの現在のタッチスクリーンモバイル電話は、ビデオおよびスチルカメラ、全地球測位ナビゲーションシステム、インターネットブラウザ、テキストおよび電話、ビデオおよび音楽プレーヤその他を含む。これらのデバイスは、データを送信および受信するために、ＷｉＦｉ、有線、および３Ｇなどのセルラなどの複数のネットワーク上で、しばしばイネーブルされる。

携帯型電子機器における二次的機能の品質は、常に改善してきている。例えば、初期の「カメラ電話」は、固定焦点レンズを有する低解像度のセンサから成り、フラッシュを有しなかった。今日では、多くのモバイル電話が、フル高解像度ビデオ能力、編集ツールおよびフィルタリングツール、および高解像度ディスプレイを含む。この改善された能力により、多くのユーザが、これらのデバイスを彼らの主な写真撮影デバイスとして使用している。そのため、さらにいっそう改善された性能とプロフェッショナルグレードの埋め込み式写真撮影ツールとへの需要がある。また、ユーザは、彼らのコンテンツを、印刷された写真だけよりも多くの手法で他者と共有し、それを簡単に行うことを望む。ユーザは、ＹｏｕＴｕｂｅ（登録商標）などのビデオストレージサイトまたはソーシャルメディアサイトにコンテンツをアップロードし得る。しかしながら、ユーザは、これらの写真またはビデオを共有する前に編集することを望むことがあり、この編集は、理想的には、モバイルデバイス上で行われ得る。ユーザは、ビデオの長さを編集し、カラーフィルタ、輝度または他のビデオ効果を変更したいと望み得る。これらの機能は、モバイルデバイス上では一般的に利用可能ではないため、ユーザは、まず、コンテンツをコンピュータにダウンロードして、編集を実行しなければならない。これは、ユーザのスキルレベルを超えるか、実用的になるまでにあまりに多くの時間と努力を必要とすることが多いため、ユーザは、ビデオコンテンツを共有することを思いとどまらせられることが多い。これらの共有する方法は、電子メール、テキスト、またはＦａｃｅｂｏｏｋ、ｔｗｉｔｔｅｒ、ＹｏｕＴｕｂｅ等などのソーシャルメディアウェブサイトを含み得る。ユーザがモバイルデバイス上でビデオを簡単に編集し、そのメディアを共有することができることが望ましい。

画像またはビデオを編集し、画像またはビデオの属性を変更し、画像またはビデオに効果を追加するための方法および装置。

本発明の一態様によれば、装置は、ユーザ起動のジェスチャを受け取るためのタッチセンサ式制御デバイスと、前記ユーザ起動のジェスチャに応答して、複数の制御信号を生成するためのコントローラと、第１のユーザ起動のジェスチャに対応する第１の制御信号を受け取り、前記第１の制御信号に応答して、第１の効果制御モードを起動し、第２のユーザ起動のジェスチャに対応する第２の制御信号を受け取り、前記第２の制御信号に応答して画像の変更されたバージョンを表すデータを生成するためのプロセッサであって、前記画像は、前記第２の制御信号における変化と同時に徐々に変更される、プロセッサと、前記画像を表示するように動作するディスプレイであって、前記画像の前記変更されたバージョンを表示するようにさらに動作する、ディスプレイと、を備える。

本発明の別の態様によれば、画像を変更するための方法は、画像を表示するステップと、第１のユーザ起動のジェスチャに対応する第１の制御信号を受け取るステップと、前記第１の制御信号に応答して、第１の効果制御モードを起動するステップと、第２のユーザ起動のジェスチャに対応する第２の制御信号を受け取るステップと、前記第２の制御信号に応答して、前記画像の変更されたバージョンを表示するステップであって、前記画像は、前記第２の制御信号における変化と同時に徐々に変更される、ステップと、を備える。

本発明のまた別の態様によれば、方法は、第３のユーザ起動のジェスチャに対応する第３の制御信号を受け取るステップと、前記第３のユーザ起動のジェスチャに応答して、第２の効果制御モードを起動するステップと、を備える。

本開示のこれらのおよび他の態様、機能および利点は、添付の図面と共に読まれるべきである、好適な実施形態の下記の詳細な説明から説明され、または明らかとなるであろう。

同様の参照符号は、図の全体にわたって同様の要素を示す図面において：
モバイル電子デバイスの例示的実施形態のブロック図である。本発明による、アクティブなディスプレイを有する例示的なモバイルデバイスディスプレイを示す図である。本開示による、画像安定化およびリフレーミングのための例示的なプロセスを示す図である。本発明による、キャプチャ初期化を有する例示的なモバイルデバイスディスプレイを示す図である。本発明に従って画像またはビデオキャプチャを起動するための例示的なプロセスを示す図である。本発明の一態様に従った自動ビデオセグメント化の例示的実施形態を示す図である。本発明の一態様に従ってビデオをセグメント化する方法を示す図である。本発明の１つの態様に従ったライトボックスアプリケーションを示す図である。ライトボックスアプリケーション内で実行され得る様々な例示的な動作を示す図である。本発明の態様による例示的な効果制御アプリケーションを示す図である。

本明細書において述べられる例示は、本発明の好適な実施形態を解説するものであり、そのような例示は、いかなる方法においても本発明の範囲を制限するものとして解釈されるべきではない。

図１を参照すると、モバイル電子デバイスの例示的実施形態のブロック図が示されている。描かれたモバイル電子デバイスは、モバイル電話１００であるが、本発明は、音楽プレーヤ、カメラ、タブレット、全地球測位ナビゲーションシステム等などの、いかなる数のデバイス上でも等価に実装され得る。モバイル電話は、典型的には、電話呼およびテキストメッセージを送信および受信し、セルラネットワークまたはローカル無線ネットワークのいずれかを通じてインターネットとインターフェースをとり、写真およびビデオを撮影し、オーディオおよびビデオコンテンツを再生し、文書処理、プログラム、またはビデオゲームなどのアプリケーションを実行する機能を含む。多くのモバイル電話は、ＧＰＳを含み、ユーザインターフェースの一部としてタッチスクリーンパネルも含む。

モバイル電話は、その他の主な構成要素の各々に結合されるメインプロセッサ１５０を含む。メインプロセッサ、またはプロセッサは、ネットワークインターフェース、カメラ１４０、タッチスクリーン１７０、および他の入力／出力Ｉ／Ｏインターフェース１８０などの様々な構成要素間で情報を送る。メインプロセッサ１５０はまた、直接デバイス上での、またはオーディオ／ビデオインターフェースを通じて外部デバイス上での再生のために、オーディオコンテンツおよびビデオコンテンツを処理する。メインプロセッサ１５０は、カメラ１４０、タッチスクリーン１７０、およびＵＳＢインターフェース１３０などの様々なサブデバイスを制御するように動作する。メインプロセッサ１５０は、コンピュータと同様に、データを操作するために使用されるモバイル電話内のサブルーチンを実行するようにさらに動作する。例えば、メインプロセッサは、カメラ機能１４０によって写真が撮影された後に、画像ファイルを操作するために使用され得る。これらの操作は、トリミング、圧縮、色および輝度調整等を含み得る。

セルネットワークインターフェース１１０は、メインプロセッサ１５０によって制御され、セルラ無線ネットワーク上で情報を受信および送信するために使用される。この情報は、時分割多重アクセス（ＴＤＭＡ：time division multiple access）、符号分割多重アクセス（ＣＤＭＡ：code division multiple access）または直交周波数分割多重（ＯＦＤＭ：Orthogonal frequency-division multiplexing）などの様々なフォーマットで符号化され得る。情報は、デバイスからセルネットワークインターフェース１１０を通じて送信および受信される。インターフェースは、情報を送信のための適当なフォーマットに符号化および復号化するために使用される複数のアンテナ符号化器、復調器等から成り得る。セルネットワークインターフェース１１０は、音声送信もしくはテキスト送信を容易にするために、またはインターネットから情報を送信および受信するために使用され得る。この情報は、ビデオ、オーディオ、およびまたは画像を含み得る。

無線ネットワークインターフェース１２０、またはｗｉｆｉネットワークインターフェースは、ｗｉｆｉネットワーク上で情報を送信および受信するために使用される。この情報は、８０２．１１ｇ、８０２．１１ｂ、８０２．１１ａｃ等などの、異なるｗｉｆｉ標準による様々なフォーマットで符号化され得る。インターフェースは、情報を送信のための適当なフォーマットに符号化および復号化し、情報を復調のために復号化するために使用される複数のアンテナ符号化器、復調器等から成り得る。ｗｉｆｉネットワークインターフェース１２０は、音声送信もしくはテキスト送信を容易にするために、またはインターネットから情報を送信および受信するために使用され得る。この情報は、ビデオ、オーディオ、およびまたは画像を含み得る。

ユニバーサルシリアルバス（ＵＳＢ）インターフェース１３０は、典型的には、コンピュータまたは他のＵＳＢ使用可能なデバイスへ、有線リンク上で情報を送信および受信するために使用される。ＵＳＢインターフェース１２０は、情報を送信および受信し、インターネットに接続し、音声通話およびテキスト通話を送信および受信するために使用され得る。また、この有線リンクは、モバイルデバイスのセルネットワークインターフェース１１０またはｗｉｆｉネットワークインターフェース１２０を使用して、ＵＳＢ使用可能なデバイスを別のネットワークへ接続するために使用され得る。ＵＳＢインターフェース１２０は、設定情報をコンピュータへ送信および受信するために、メインプロセッサ１５０によって使用され得る。

メモリ１６０、またはストレージデバイスは、メインプロセッサ１５０に結合され得る。メモリ１６０は、モバイルデバイスの動作に関連し、メインプロセッサ１５０によって必要とされる特定の情報を記憶するために使用され得る。メモリ１６０は、ユーザによって記憶および取得されたオーディオ、ビデオ、写真、または他のデータを記憶するために使用され得る。

入力／出力（Ｉ／Ｏ）インターフェース１８０は、電話呼、オーディオ記録および再生、または音声作動制御に使用するためのボタン、スピーカ／マイクロフォンを含む。モバイルデバイスは、タッチスクリーンコントローラを通じてメインプロセッサ１５０に結合されるタッチスクリーン１７０を含み得る。タッチスクリーン１７０は、容量性タッチセンサおよび抵抗式タッチセンサのうちの１または複数を使用する、シングルタッチスクリーンまたはマルチタッチスクリーンのいずれかであり得る。スマートフォンは、オン／オフボタン、作動ボタン、音量制御、リンガー制御、およびマルチボタンキーパッドまたはマルチボタンキーボードなどの付加的なユーザ制御も含み得るが、これらに限定されない。

ここで図２を参照すると、本発明によるアクティブなディスプレイ２００を有する例示的なモバイルデバイスディスプレイが示されている。例示的なモバイルデバイスアプリケーションは、ユーザが任意のフレーミングで記録し、撮影中にユーザのデバイスを自由に回転することを可能にし、撮影中にデバイスのファインダ（viewfinder）上でオーバーレイにおいて最終的な出力を視覚化し、最終的な出力におけるその配向を最終的に訂正するために動作する。

例示的実施形態によれば、ユーザが撮影を開始する場合、その現在の配向が考慮され、デバイスのセンサに基づく重力のベクトルが水平線を登録するために使用される。デバイスのスクリーンと関連する光学センサとが縦向きであるポートレート２１０、またはデバイスのスクリーンと関連する光学センサとが横向きであるランドスケープ２５０などの取り得る配向ごとに、最適なターゲットアスペクト比が選ばれる。はめ込まれた矩形２２５は、所与の（現在の）配向についての所望の最適なアスペクト比が与えられると、センサの最大境界線に最も良く適合するセンサ全体内で内接させられる。センサの境界線は、訂正のための「充分な空間（breathing room）」を提供するために、若干補充される。このはめ込まれた矩形２２５は、デバイスの一体化されたジャイロスコープからサンプリングされる、デバイス自体の回転の反対に本質的に回転することによって、回転２２０、２３０、２４０について補償するように変形される。変形された内側の矩形２２５は、センサ全体から補充を差し引いた利用可能な最大境界の内部に最適に内接させられる。デバイスの最新の配向に応じて、変形された内側の矩形２２５の寸法は、回転の量に対して、２つの最適なアスペクト比間を補間するように調整される。

例えば、ポートレート配向について選択される最適なアスペクト比が正方形（１：１）であり、ランドスケープ配向について選択される最適なアスペクト比がワイド（１６：９）であった場合、内接された矩形は、それが１つの配向から別の配向へ回転されるにつれて、１：１と１６：９との間を最適に補間するであろう。内接された矩形は、サンプリングされ、次いで、最適な出力寸法に適合するように変形される。例えば、最適な出力寸法が４：３であり、サンプリングされた矩形が１：１である場合、サンプリングされた矩形は、アスペクトフィルされる（aspect filled）（必要に応じてデータをトリミングし、１：１領域を光学的に完全に広げる）か、またはアスペクトフィットされる（aspect fit）（任意の未使用領域を「レターボクシング（letter boxing）」もしくは「ピラーボクシング（pillar boxing）」により黒く塗りつぶし、１：１領域の内部に光学的に完全に適合させられる）。結局、結果は、訂正中に動的に提供されるアスペクト比に基づいてコンテンツフレーミングが調整する固定されたアスペクトアセットである。そのため、例えば、１：１から１６：９のコンテンツから成る１６：９ビデオは、（１６：９部分中に）光学的に広げられる２６０と（１：１部分中に）ピラーボクシングにより適合される２５０との間で変動するであろう。

全ての動作の総計が考慮され、最適な出力アスペクト比の選択において検討される付加的な微調整が実施される。例えば、ユーザが、少数のポートレートコンテンツを有する「大部分がランドスケープ（mostly landscape）」のビデオを記録する場合、出力フォーマットは、（ポートレートセグメントをピラーボクシングする）ランドスケープアスペクト比になる。ユーザが、大部分がポートレートであるビデオを記録する場合には、その反対が当てはまる（ビデオはポートレートとなり、出力矩形の境界に入らないどのようなランドスケープコンテンツもトリミングして、出力を光学的に広げる）。

ここで図３を参照すると、本開示による、画像安定化およびリフレーミングのための例示的なプロセス３００が示されている。システムは、起動されているカメラのキャプチャモードに応答して初期化される。この初期化は、ハードウェアボタンもしくはソフトウェアボタンによって、またはユーザアクションに応答して生成される別の制御信号に応答して、起動され得る。いったんデバイスのキャプチャモードが起動されると、ユーザ選択に応答して、モバイルデバイスセンサ３２０が選ばれる。ユーザ選択は、タッチスクリーンデバイス上での設定を通じて、メニューシステムを通じて、または、どのようにボタンが作動されるかに応答して、行われ得る。例えば、一度押されるボタンは、写真センサを選択し得る一方で、継続的に押下されるボタンは、ビデオセンサを示し得る。また、３秒間など所定の時間の間ボタンを押さえることは、ビデオが選択されており、ボタンが二度目に作動されるまで、モバイルデバイス上でのビデオ記録が継続することを示し得る。

いったん適当なキャプチャセンサが選択されると、システムは、次いで、回転センサからの測定値を要求する３２０。回転センサは、ジャイロスコープ、加速度計、軸配向センサ、光センサ等であってもよく、これは、モバイルデバイスの位置の水平指標および／または垂直指標を判定するために使用される。測定センサは、定期的な測定値を制御プロセッサへ送信することができ、それによって、モバイルデバイスの垂直配向および／または水平配向を継続的に示す。したがって、デバイスが回転されるにつれて、制御プロセッサは、ディスプレイを継続的に更新し、ビデオまたは画像を継続して一貫性のある水平線を有するように保存することができる。

回転センサがモバイルデバイスの垂直配向および／または水平配向の指標を戻した後に、モバイルデバイスは、ビデオまたは画像のキャプチャされた配向を示す、ディスプレイ上のはめ込まれた矩形を描く３４０。モバイルデバイスが回転されるにつれて、システムプロセッサは、はめ込まれた矩形を、回転センサから受け取られる回転測定値に継続的に同期させる３５０。ユーザは、１：１、９：１６、１６：９、またはユーザによって決定される任意の比などの、好適な最終的なビデオ比または画像比を随意的に示し得る。システムは、モバイルデバイスの配向による異なる比についてのユーザ選択も記憶し得る。例えば、ユーザは、垂直配向において記憶されたビデオについては１：１比を示し、水平配向において記録されたビデオについては１６：９比を示し得る。この場合において、システムは、モバイルデバイスが回転されるにつれて、ビデオを継続的にまたはインクリメンタルに拡大縮小し（rescale）得る３６０。したがって、ビデオは、１：１配向で開始し得るが、撮影中にユーザが垂直配向から水平配向へ回転させることに応答して、１６：９配向において終了するように次第に拡大縮小され得る。随意的に、ユーザは、開始時配向または終了時配向がビデオの最終的な比を判定することを示してもよい。

ここで図４を参照すると、本発明による、キャプチャ初期化を有する例示的なモバイルデバイスディスプレイ４００が示されている。画像またはビデオをキャプチャするためのタッチトーンディスプレイを描く例示的なモバイルデバイスが示されている。本発明の一態様によれば、例示的なデバイスのキャプチャモードは、多くのアクションに応答して起動され得る。モバイルデバイスのハードウェアボタン４１０のいずれかが、キャプチャシーケンスを起動するために押し下げられ得る。あるいは、ソフトウェアボタン４２０が、キャプチャシーケンスを起動するために、タッチスクリーンを通じて作動され得る。ソフトウェアボタン４２０は、タッチスクリーン上に表示される画像４３０にオーバーレイされ得る。画像４３０は、画像センサによってキャプチャされている現在の画像を示すファインダとして動作し得る。前述されたような内接された矩形４４０も、キャプチャされている画像またはビデオのアスペクト比を示すために、画像上にオーバーレイされ得る。

ここで図５を参照すると、本開示による、画像キャプチャまたはビデオキャプチャを起動するための例示的なプロセス５００が示されている。いったんイメージングソフトウェアが起動されると、システムは、画像キャプチャを起動するための指標を待つ。いったん画像キャプチャ指標がメインプロセッサによって受け取られる５１０と、デバイスは、画像センサから送られたデータを保存し始める５２０。また、システムは、タイマを起動する。システムは、次いで、画像センサからのデータをビデオデータとしてキャプチャし続ける。キャプチャが終了されたこと５３０を示すキャプチャ指標からの第２の指標に応答して、システムは、画像センサからのデータを保存することを停止し、タイマを停止する。

システムは、次いで、タイマ値と所定の時間閾値とを比較する５４０。所定の時間閾値は、例えば、１秒間などの、ソフトウェアプロバイダによって判定されたデフォルト値であってもよく、または、それは、ユーザによって判定される設定可能な設定値であってもよい。タイマ値が所定の時間閾値未満である場合５４０、システムは、静止画像が望まれたと判定し、ビデオキャプチャの最初のフレームを、ｊｐｅｇ等の静止画像フォーマットで静止画像として保存する５６０。システムは、別のフレームを静止画像として随意的に選んでもよい。タイマ値が所定の時間閾値よりも大きい場合５４０、システムは、ビデオキャプチャが望まれたと判定する。システムは、次いで、キャプチャデータを、ｍｐｅｇ等などのビデオファイルフォーマットでビデオファイルとして保存する５５０。その後、システムは、次いで、初期化モードに戻り、キャプチャモードが再び起動されるのを待ち得る。モバイルデバイスが、静止画像キャプチャとビデオキャプチャとについて異なるセンサを備える場合、システムは、随意的に、静止画像センサからの静止画像を保存し、ビデオ画像センサからのキャプチャデータを保存することを開始し得る。タイマ値が所定の時間閾値と比較される場合、所望のデータが保存される一方で、不要なデータは保存されない。例えば、タイマ値が閾値時間値を超える場合、ビデオデータが保存され、画像データは破棄される。

ここで図６を参照すると、自動ビデオセグメント化の例示的実施形態６００が示されている。システムは、秒単位の所定の時間間隔にできるだけ近いセグメントにスライスされるビデオを計算および出力することを目指す自動ビデオセグメント化に向けられる。また、セグメントは、セグメント化されているビデオの属性に応じて、長くなり、または短くなり得る。例えば、話されている単語の途中など、ぎこちない方法でコンテンツを二分することは、望ましくない。９つのセグメント（１〜９）にセグメント化されたビデオを描くタイムライン６１０が示される。セグメントの各々は、約８秒の長さである。元のビデオは、少なくとも１分４秒の長さを有する。

この例示的実施形態において、各ビデオセグメントについて選ばれる時間間隔は、８秒間である。この最初の時間間隔は、より長くても、もしくは、より短くてもよく、または、随意的に、ユーザによって設定可能であってもよい。８秒のベースタイミング間隔が選ばれたのは、様々なネットワークタイプ上でのダウンロードのための合理的なデータ送信サイズを有する、扱いやすいデータセグメントを現在のところ表すためである。約８秒のクリップは、モバイルプラットフォーム上で試験的に配信されるビデオコンテンツの単一のクリップをエンドユーザがよく調べることを期待するための合理的な平均持続期間を有するであろう。約８秒のクリップは、それが表示するコンテンツのより多くのより良好な視覚的記憶をエンドユーザが理論的に保持することができる、知覚的に記憶しやすい持続期間であり得る。また、８秒間は、現代の西洋音楽の最も一般的なテンポである１２０ＢＰＭにおける８ビートの均等なフレーズ長である。これは大体、最も一般的なフレーズ長（音楽のテーマまたはセクション全体をカプセル化するための持続期間）である４小節（１６ビート）の短いフレーズの持続期間である。このテンポは、平均アクティブ心拍数に知覚的にリンクされ、アクションおよび活動を示唆し、覚醒を強化する。さらに、小さい、知られているサイズのクリップを有することは、ビデオ圧縮レートおよび帯域幅が、一般に、メガビット／秒、ただし、８メガビット＝１メガバイトなどのおよそ８進数の数で計算されることに基づいて、より簡単な帯域幅計算を容易にし、そのため、ビデオの各セグメントは、１メガビット／秒で符号化される場合には、およそ１メガバイトとなる。

ここで図７を参照すると、本発明による、ビデオをセグメント化する方法７００が示されている。ビデオコンテンツを知覚的に良好な編集境界上で理想的な８秒のセグメントに手続き的に分解するために、ビデオコンテンツを分析するための多数のアプローチが、システム内で供給され得る。まず、ビデオコンテンツの本質に関して、それが別のアプリケーションから派生したのか、または現在のモバイルデバイスを使用して記録されたのかについて、最初の判定が行われ得る７２０。コンテンツが別のソースまたはアプリケーションから派生したものである場合、ビデオコンテンツは、まず、シーンブレイク検出を使用して、明らかな編集境界について分析される７２５。所望の８秒間隔上の境界または所望の８秒間隔に最も近い境界を強調して、任意の統計的に有意な境界にマークが付される７３０。ビデオコンテンツが現在のモバイルデバイスを使用して記録された場合、センタデータは、記録中にログが取られ得る７３５。これは、デバイスの加速度計からの全ての軸上でのデバイスの動作の差分、および／またはデバイスのジャイロスコープに基づく全ての軸上でのデバイスの回転を含み得る。このログが取られたデータは、動き開始、任意の所与のベクトルについての経時的な平均の大きさに対して統計的に有意な差分を見つけるために分析され得る。これらの差分は、所望の８秒間隔に最も近い境界を強調してログが取られる７４０。

ビデオコンテンツは、編集選択を通知し得る付加的なキューのために、さらに知覚的に分析され得る。デバイスハードウェア、ファームウェアまたはＯＳが、顔ＲＯＩ選択を含む、任意の一体化された関心領域（ＲＯＩ：region of interest）検出を提供する場合、それは、シーン内の任意のＲＯＩにマークを付するために利用される７４５。これらのＲＯＩの開始出現または開始消失（すなわち、それらがフレームに出現し、フレームから消失する時に最も近い瞬間）は、所望の８秒間隔に最も近い境界を強調してログが取られ得る。

全体的な振幅についてのオーディオベースの開始検出は、ゼロ交差、ノイズフロアまたは移動平均電力レベルに対して、振幅における統計的に有意な変化（増加または減少）を探す７５０。統計的に有意な変化は、所望の８秒間隔に最も近いそれらを強調してログが取られる。スペクトルバンド範囲内の振幅に関するオーディオベースの開始検出は、ＦＦＴアルゴリズムを使用してオーディオ信号を多数の重複するＦＦＴビンに変形することに依存する。いったん変形されると、各ビンは、それ自体の移動平均に対する振幅における統計的に有意な変化について慎重に分析され得る。全てのビンは、共に平均値が求められ、所望の８秒間隔に最も近いそれらを強調して、全てのバンドにわたって最も統計的に有意な結果が開始としてログが取られる。この方法において、オーディオは、バンドを選択的に強調し／強調しないために、櫛形フィルタを用いて予め処理され得、例えば、通常の人間の発話の範囲におけるバンドは強調され得る一方で、ノイズと同義の高周波バンドは強調されなくてもよい。

コンテンツ内の平均動きの視覚分析は、適当なセグメント化ポイントの確立を支援するために、ビデオコンテンツについて判定され得る７５５。リアルタイム性能特性について必要とされるような制限されたフレーム解像度およびサンプリング比において、インフレームの平均動きの大きさは、経時的な統計的に有意な変化を探すために、所望の８秒間隔に最も近いそれらを強調して結果のログを取りつつ、判定および使用され得る。また、コンテンツの平均色および平均輝度は、統計的に有意な変化を所望の８秒間隔に最も近いそれらを強調してログを取りつつ、記録されたデータの単純な低解像度分析を使用して判定され得る。

いったん上記分析のうちのいずれかまたは全てが完了すると、最終的なログを取られた出力は、各結果を全体的な平均に重み付けして分析され得る７６０。分析データのこの後処理のパスは、全ての個々の分析プロセスの重み付けおよび平均された結果に基づいて、最も実行可能な時点を見つける。所望の８秒間隔上のまたは所望の８秒間隔に最も近い、最終的な、最も強い平均点は、分離編集決定のためのモデルを形成する出力として計算される。

後処理ステップ７６０は、ビデオ上の前述されたマークが付されたポイントのいずれかまたは全てを、好適なセグメント化ポイントのインジケータとして見なし得る。様々な判定要因が、重み付けされ得る。また、８秒間などの好適なセグメント長と極端に異なる判定ポイントは、好適なセグメント長に最も近いものよりも低く重み付けされ得る。

ここで図８を参照すると、本発明の１つの態様によるライトボックスアプリケーション８００が示されている。ライトボックスアプリケーションは、ビデオおよびメディア時間ベースの編集を改善するために、リスト駆動型選択プロセスを使用するための方法およびシステムに向けられる。ライトボックスアプリケーションは、垂直配向８１０と水平配向８２０との両方において示される。ライトボックスアプリケーションは、セグメント化されたビデオが保存された後に、起動され得る。あるいは、ライトボックスアプリケーションは、ユーザコマンドに応答して、起動され得る。セグメントの各々は、最初は、各々について生成されるプレビューと共に、経時的に一覧表にされる。プレビューは、ビデオセグメントから得られた単一の画像、またはビデオセグメントの一部であり得る。付加的なメディアコンテンツまたはデータが、ライトボックスアプリケーションに付加され得る。例えば、他のソースから受け取られた写真またはビデオは、ユーザが受け取られたコンテンツを共有もしくは編集し、またはこれらの受け取られたコンテンツを新たに生成されるコンテンツと組み合わせることを可能にするために、ライトボックスリストに含まれ得る。したがって、アプリケーションは、ビデオおよびメディア時間ベース編集を、単純なリスト駆動型選択プロセスにする。

ライトボックスアプリケーションは、編集上の決定を共有するための中心点として使用され得る。ライトボックスは、ユーザがコンテンツを素早く簡単に見て、何を残し、何を破棄し、どのように、および、いつ他者と共有するかを決定することを可能にする。ライトボックス機能は、カメラと共に、チャネルブラウジングと共に、または他の場所からメディアをインポートするためのポイントとして、動作し得る。ライトボックスビューは、最近のメディアまたはメディアのグループ化されたセットのリストを含み得る。各アイテム、画像またはビデオは、キャプション、称賛(aduration)、および取り得るグループ数と共に、サムネイルとして表示される。キャプションは、自動的に、またはユーザによって、生成され得る。ユーザにメディアコンテンツの重みおよびペースを提示するように、持続期間は単純化され得る。ライトボックスタイトルバーは、戻る、アイテムをインポートする、またはメニューを開くためのナビゲーションと一緒に、そのアイテム数と共にライトボックスセットのカテゴリを含み得る。

ライトボックスランドスケープビュー８２０は、メディアアイテムが一方の側に一覧表にされ、随意的に、何らかの即座に評価可能な形式で共有する方法が他方の側に一覧表にされた状態で、異なるレイアウトを提示する。これは、ｆａｃｅｂｏｏｋ、ｔｗｉｔｔｅｒ、もしくは他のソーシャルメディアアプリケーションのリンクまたはプレビューを含み得る。

ここで図９を参照すると、ライトボックスアプリケーション内で実行し得る様々な例示的な動作９００が示されている。一体化されたカメラ機能によってキャプチャされるメディア、例えば、デバイスの既存のメディアライブラリからインポートされ、おそらくは他のアプリケーションを用いて記録され、もしくは他のアプリケーションによって作成され、もしくはウェブベースのソースからダウンロードされ、または関連するアプリケーション内で直接発行されたコンテンツからキュレートされるメディアは全て、プレビューモードにおいてライトボックス内に収集される９０５。ライトボックスは、メディアが収集された時間のグルーピングなどの、イベントに基づくグループに分類された単純な垂直のリストにおいてメディアを提示する。各アイテムは、メディアの所与の部分についてのサムネイルまたは簡略化された持続期間を含むリスト行によって表される。任意のアイテムをタップすることによって、メディアは、そのアイテムに直接関連して表示する、展開されたパネルにおいてプレビューされ得る。

ライトボックスアプリケーションは、アイテムをプレビューする、展開されたアイテムビュー９１０を随意的に有し得る。展開されたアイテムビュー９１０は、メディアアイテムを処理し、キャプションを付け、それを共有するためのオプションを見せる。閉ボタンをタップすることは、アイテムを閉じ、または、それの下の別のアイテムをタップすることは、そのアイテムを閉じ、別のアイテムを開く。

ライトボックスアプリケーション内で上方または下方へスクロールすることは、ユーザがメディアアイテムをナビゲートすることを可能にする９１５。ヘッダは、リストの最上部に留まってもよく、または、それは、コンテンツの上に浮かんでもよい。リストの最後までスクロールすることは、他の、より古いリストへのナビゲーションを可能にし得る９２０。より古いリストの見出しは、ドラッグ中にテンション下で見せられ得る。テンションを超えてドラッグすることは、より古いリストに遷移する。アイテムを押さえ、ドラッグすることは、ユーザが、アイテムを再オーダすること、または、あるアイテムを別のアイテムへドラッグすることによってアイテムを組み合わせることを可能にする９２５。アイテムを左側へスワイプすることは、そのアイテムをライトボックスから除去する９３０。アイテムを除去することは、それらをデバイスから除去しても、もしくは除去しなくてもよく、または、そのアイテムを単にライトボックスアプリケーションから除去してもよい。アイテムを別のアイテムへドラッグおよびドロップすることは、アイテムを組み合わせてグループにする９３５ために、またはドラッグされるアイテムを組み合わせてグループにするために使用され得る。アイテムを一緒にピンチすることは、ピンチ範囲内に存在した全てのアイテムを組み合わせてグループにする９４０。組み合わされたアイテムをプレビューする場合、それらは、連続して再生し、組み合わされたアイテムをプレビューウィンドウの下に展開するためにタップされ得るアイテム数を示す９４５。通常のライトボックスアイテムは、次いで、展開されたアイテムが行として表示されることを可能にするために、押下げられ得る。

アイテムは、ライトボックスアプリケーション内からそれらをドラッグすることによって操作され得る。アイテムは、任意のアイテム、例えばアイテム上で左側にドラッグすることによって、ライトボックスアプリケーションから除去され得る９３０。任意のアイテム上で右側にドラッグすることによって、そのアイテムは、即座に公開するようにレベルを上げられることができ９５０、これは、ユーザが所与のアイテムのメディアを１または多数の共有ロケーション上で共有することを可能にする画面へ遷移する９５５。プレビューしている場合に共有ボタンをタップすることも、アイテムの共有を可能にし得る。任意のアイテムを押さえることによって、それはドラッグ可能となり、その時点において、そのアイテムは、リスト全体におけるその位置を再編成するために、上方および下方へドラッグされ得る。リストにおける時間は、上から下へ垂直に表される。例えば、最上部のアイテムは、メディアが連続して実行されるべき場合には、時間において最初となる。（単一のイベント見出しの下で維持される）アイテムの任意のグループ全体は、同じジェスチャおよび制御の手段を使用して、単一のリストアイテムとして、まとめてプレビューされる（全てのアイテムから成る単一のプレビューとして、時間順で連続して再生される）ことができ、まとめて削除もしくは公開されることができる。ビデオまたは時間ベースのメディアを含む任意のアイテムをプレビューする場合、再生は、関連するリストアイテム行上で左側から右側へドラッグすることによって制御され得る。時間における現在の位置は、ユーザによって再生中に時間をオフセットするためにドラッグされ得る小さなラインによってマークを付される。ビデオまたは時間ベースのメディアを含む任意のアイテムをプレビューする場合、関連するリストアイテム行上で２本の指で水平にピンチすることによって、元のメディアを最終的な再生出力として調整するために、ピンチおよびドラッグされ得る選択範囲が定義される。画像または静止画像を含む任意のアイテムをプレビューする場合、関連するリストアイテム行上で左側から右側へ、または右側から左側へドラッグすることによって、キャプチャされた任意の付加的な隣接フレームが、選択的に「スクラブされ（scrubbed）」得る。例えば、単一の写真キャプチャ中に、カメラが出力の幾つかのフレームを記録する場合、このジェスチャは、ユーザが最良のフレームを最終的な静止フレームとして繰り返しおよび選択することを可能にし得る。

最近公開された（１または多くの公開先へアップロードされた）アイテムは、ライトボックスリストから自動的に消去される。タイムアウトするアイテム、または７日間など長期間にわたる不活動期間よりも長くライトボックスに存在するアイテムは、ライトボックスリストから自動的に消去される。ライトボックスメディアは、同じライトボックスを組み込む他のアプリケーションが、メディアの同じ現在のプールからの全ての共有を見られるように、デバイス上の中央のユビキタスなストレージロケーションに構築される。これは、マルチメディアアセット編集についてのマルチアプリケーション協調を単純で同期的にする。

ここで１０を参照すると、本発明の１つの態様による例示的な効果制御アプリケーション１０００が示されている。この特定の例示的実施形態において、効果外観は、それらの強度および値が流動的なジェスチャによる制御を介してユーザにアクセス可能な状態で、ビデオまたは写真上でリアルタイムで制御される。これは、ユーザに、完成された製品の外観を動的に変更しながら、編集というよりも、むしろ芸術性に近い経験を提供する。効果パラメータは、スクリーン上で直接に、写真またはビデオメディアビューそれ自体の上で制御される。視覚的制御は、ユーザに提示される必要がない。代わりに、ユーザは、任意の所与の効果の機能を制御するために、１または複数の指でタッチおよびドラッグすること、ピンチインおよびピンチアウトすること、並びに回転することによってジェスチャを行う。ユーザは、写真コンテンツまたはビデオコンテンツ上で効果の適用された結果を見る形式で、リアルタイムのフィードバックを即座に得る。ジェスチャが行われていることを強調するための、おそらくはそれらのタッチ位置の小さなハイライトのわきに、値、パラメータまたは範囲の視覚的インジケータは、表示されない。

一般に、適当な位置に短期間タッチし、押さえることによってジェスチャが起動される、効果制御の均一な言語が適用される。フィードバックは、ユーザのタッチ位置において、およびユーザのタッチ位置の周囲にハイライト円を配置することによって提供される。ディスプレイの中心点（横軸と縦軸との両方の中点）は、効果が適用されない０．０ポイントと見なされ得る。中心からディスプレイの最上部へ上方にドラッグすることによって、色外観効果の値（例えば、ＬＵＴ色等級）は、増加する強度と共にソースに混合される。例えば、中心から最上部までの距離の約５０％において、効果は最大限の１００％で混合される。５０％を超えて、最大で１００％まででは、効果は、より極端な値に誇張され得る。

本発明による例示的なシステムの別の態様は、コントラストの増加および／または飽和などの、同じ効果メニュー上の並列効果を導入し得る。特定の補完的増加は、１つ１つ目で見て創造的に判定される。左側から右側へドラッグすることによって、効果の色温度または同様の色変化が適用され得る。例えば、左側から右側への単一の指によるジェスチャ動作は、色調における変化を供給し得る。中心から下方へドラッグすることによって、創造的な外観の視点からは、上方へドラッグする場合に適用される効果と同様または補完的な、補完的効果が適用され得る。これは、例えば、下向きのベクトル上の標準的なクロスプロセス効果と組み合わされた、上向きのベクトル上の標準的なブリーチバイパス効果となり得る。他の場合において、下方へのドラッグは、単純に色を反転し、そうでない場合は、バリエーション、主な、上方、効果を制御し得る。

また、ユーザは、効果の第１のレイヤから効果の第２のレイヤを選択可能であり得る。例えば、２本の指でタッチし、押さえることによって、ユーザは、出力外観を定義する、効果の第２のレイヤを制御するために、ピンチ／回転ジェスチャを起動し得る。ピンチインおよびピンチアウトすることは、ソースメディアの上に合成されるオーバレイスタイルの効果レイヤのスケールおよび強度を制御し得る。例えば、装飾模様、「ノイズ」もしくは他の美的オーバーレイ、放射状もしくは線形のぼけ、ぼけ味、または他の極度に様式化されたレイヤまたは後処理処置。左側から右側へドラッグすることは、そのようなオーバーレイの位置をソースに対して制御し、または、それがタイルベースである場合には、そのオフセットを反復して制御し得る。２本の指を仮想的な中心点の周りで互いに対して回転させることなどによって回転させることは、所与の効果のニュアンスを変化させ得る「ダイアル」の機能を果たす。例えば、装飾模様について、これは、ぼけの減衰率を制御し得る。本発明による１つの望ましい機能は、調査および出力結果の形式での直接的なフィードバックに完全に依存しつつ、ユーザがどのように効果を制御するかに慣れ親しむように、外観ベースの効果のパラメータを修正するためのジェスチャを形式化することである。

効果制御は、外観効果メニュー１００５を使用して、ビデオプレビュースクリーン１００３から起動され得る。外観効果メニュー１００５は、効果アイコンをタップすることによって起動され得る。あるいは、外観効果メニュー１００５は、画面上を指で押さえ、次いで、円などのジェスチャを実行することなどのジェスチャによって起動され得る。外観効果メニュー１００５は、あるいは、同じ位置において一定期間接点を押さえて、スクリーンにタッチすることによって起動されてもよい。いったん一定期間が経過すると、外観効果メニュー１００５が起動される。外観効果メニュー１００５は、このジェスチャを繰り返すことによって、または効果アイコンを繰り返しタップすることによって、開いた状態および閉じた状態に切り替えられ得る。外観効果メニュー１００５は、各効果が現在のフレームのスケール化された表現上の効果を処理するサムネイルとして描かれるスクロールストリップにおいて一連の効果を提示し得る。各サムネイルは、効果ラベルを有することができ、現在ハイライトされている効果は、アクティブである。現在の効果をタップすることは、効果をオンおよびオフに切り替え得る。

ピンチインおよびピンチアウトすること１０２０は、選択された外観効果を制御するために使用され得る。例えば、ピンチインおよびピンチアウトすることは、効果に合わせて作られた設計された装飾模様またはオーバーレイの強度を制御し得る。効果の意図される外観に応じて、これは、より暗い、もしくは、より明るい効果、センターフォーカス、もしくは、ぼけ、色収差、または他の様式化された後処理を制御し得る。効果強度範囲は、閉じられた状態のピンチについての０の値から、完全に離れた状態のピンチについての１まで変化し得る。完全に離れた状態のピンチ条件は、２つのピンチポイントが一定の閾値距離を超える場合に満たされる。

回転すること１０２５は、選択された外観効果を制御するためにも使用され得る。２本の指を左側から右側へ回転することは、ノイズ、利得等などの任意の合成されたオーバーレイテクスチャの強度をダイアルし得る。右方向への回転は、テクスチャコントラストおよび視認性を増加させるために使用されることができ、左方向への回転は、それを減少させ得る。全ての効果が、明らかなテクスチャと組み合わされる必要はないが、そのようなものの汎用アプリケーションは、わずかなノイズまたは同様のものを追加することであり得る。

効果外観は、ジェスチャによってビデオ上で起動および制御され得る。ユーザは、スクリーン上でジェスチャを行って、主なファインダ上の効果をリアルタイムで制御し得る。例えば、スクリーン上のポイントを短期間押さえることによって、効果制御がイネーブルされる１０１０。短期間押さえることは、効果の制御と、焦点または他の基礎的な相互作用の制御とを区別するために使用され得る。いったん外観を制御することがイネーブルされる１０１５と、あらゆる方向へドラッグすることは、４ポールスキームを使用する効果を制御し得る。効果は、２つの補完的なプロセスが対向するＹ軸上で発生するように構成され得、例えば、マイナス１から０は、ブリーチバイパスの強度を制御するのに対して、０から１は、クロスプロセスの強度を制御する。中心、またはゼロ値において、効果は、オフか、または、ほぼオフである。約０．５において、効果は、完全な通常の強度である。約０．５から１．０の間では、効果は、かなり極端な、または誇張された強度レベルを突き抜け得る。１つの例示的実施形態において、色調または他の色輪郭は、Ｘ軸上で制御される。

上記に図示および議論された要素は、ハードウェア、ソフトウェア、または、これらの組み合わせの様々な形式において実装され得ることが理解されるべきである。好適には、これらの要素は、プロセッサと、メモリと、入力／出力インターフェースとを含み得る、１または複数の適当にプログラムされた汎用デバイス上で、ハードウェアとソフトウェアとの組み合わせにおいて実装される。本説明は、本開示の原理を例示する。したがって、当業者は、本明細書において明示的に説明または図示されていなくても、本開示の原理を具現化し、その範囲内に含まれる様々な構成を考え出すことができることが認識されるであろう。本明細書において記載された全ての例および条件付きの文言は、本技術分野を前進させるために本発明者によって寄与される本開示の原理および概念を読者が理解する際の助けとなるための情報目的を意図され、そのような具体的に記載された例および条件への制限はないものとして解釈されるべきである。さらに、本開示の原理、態様、および実施形態を記載した本明細書における全ての記述、およびそれらの具体的な例は、それらの構造的および機能的な等価物を包含することが意図される。また、そのような等価物は、現在知られている等価物と将来開発される等価物との両方、すなわち、構造に関わらず、同じ機能を実行する任意の開発された要素を含むことが意図される。したがって、例えば、本明細書に添付されるブロック図は、本開示の原理を具現化する例示の回路の概念的な図を表すことが当業者によって認識されるであろう。同様に、いかなるフローチャート、フロー図、状態遷移図、疑似コード等も、コンピュータ読取可能な媒体において実質的に表され、そのため、そのようなコンピュータまたはプロセッサが明示的に図示されていてもいなくても、コンピュータまたはプロセッサによって実行され得る様々なプロセスを表すことが認識されるであろう。

Claims

画像を変更する方法であって、
画像を表示するステップと、
第１のユーザ起動のジェスチャに対応する第１の制御信号を受信するステップと、
前記第１の制御信号に応答して第１の効果制御モードを起動するステップと、
第２のユーザ起動のジェスチャに対応する第２の制御信号を受信するステップと、
前記第２の制御信号に応答して前記画像の変更されたバージョンを表示するステップと、
を含む、前記方法。
前記画像は、前記第２の制御信号における変化と同時に徐々に変更される、請求項１に記載の方法。
前記画像の変更されたバージョンを前記表示するステップは、前記制御信号に応答してグラフィカルユーザインタフェースを表示することを含まない、請求項３に記載の方法。
第３のユーザ起動のジェスチャに対応する第３の制御信号を受信するステップと、
前記第３のユーザ起動のジェスチャに応答して第２の効果制御モードを起動するステップと、
をさらに含む、請求項１に記載の方法。
前記第２の効果制御モードは、前記第１の効果制御モードに関連する、請求項４に記載の方法。
前記画像の変更されたバージョンは、前記画像とは異なる色調を有する、請求項１に記載の方法。
前記画像の変更されたバージョンは、前記画像とは異なる輝度を有する、請求項１に記載の方法。
前記画像の変更されたバージョンは、前記画像とは異なるコントラストを有する、請求項１に記載の方法。
前記第２のユーザ起動のジェスチャは、前記第２のユーザ起動のジェスチャの第１の部分の間は第１のレートで、および前記第２のユーザ起動のジェスチャの第２の部分の間は第２のレートで、前記画像を変更することになる、請求項１に記載の方法。
前記第２のユーザ起動のジェスチャは、タッチスクリーンを横切って指をスイープ(sweep）することに対応する、請求項９に記載の方法。
前記制御信号はタッチスクリーンとの接触に応答して生成され、制御指示が前記第１の効果制御モードに関して表示されない、請求項１に記載の方法。
前記第２の制御信号に応答して前記画像の変更なしのバージョンを表示するステップを含み、前記第２の制御信号は、前記第２のユーザ起動のジェスチャの反転(reversal)に応答する、請求項１に記載の方法。
前記第２のユーザ起動のジェスチャに応答して視覚的指示を生成するステップをさらに含み、前記視覚的指示は、前記ジェスチャの開始位置を示す、請求項１に記載の方法。
前記視覚的指示は、前記第２のユーザ起動のジェスチャの視覚的表現をさらに示す、請求項１３に記載の方法。
前記視覚的指示は、タッチスクリーン上の接点の周りの円である、請求項１３に記載の方法。
前記第２のユーザ起動のジェスチャは、前記第２のユーザ起動のジェスチャの第１の部分の間は、前記画像の変更の漸進的な増加をもたらし、前記第２のユーザ起動のジェスチャの第２の部分の間は、前記画像の前記変更の漸進的な減少をもたらす、請求項１に記載の方法。
前記第２のユーザ起動のジェスチャの前記第１の部分と前記第２のユーザ起動のジェスチャの前記第２の部分との間の変化は、前記第２のユーザ起動のジェスチャの方向の変化に応答する、請求項１５６に記載の方法。
前記第２のユーザ起動のジェスチャの方向の変化は、前記第２のユーザ起動のジェスチャの方向の反転である、請求項１７に記載の方法。
ユーザ起動のジェスチャを受信するタッチセンサ式制御デバイスと、
前記ユーザ起動のジェスチャに応答して複数の制御信号を生成するコントローラと、
第１のユーザ起動のジェスチャに対応する第１の制御信号を受信し、前記第１の制御信号に応答して第１の効果制御モードを起動し、第２のユーザ起動のジェスチャに対応する第２の制御信号を受信し、前記第２の制御信号に応答して画像の変更されたバージョンを表現するデータを生成するプロセッサであって、前記画像は前記第２の制御信号における変化と同時に徐々に変更される、前記プロセッサと、
前記画像を表示するよう作動するディスプレイであって、前記ディスプレイは前記画像の前記変更されたバージョンを表示するようさらに作動する、前記ディスプレイと、
を備える、装置。
前記タッチセンサ式制御デバイス、前記コントローラおよび前記ディスプレイは、タッチスクリーンディスプレイの部分である、請求項１９に記載の装置。
メモリをさらに備え、前記メモリは、ビデオ効果プロセスに対応する複数のサブルーチンを記憶する、請求項２０に記載の装置。