JP2016506688A

JP2016506688A - シングルクリックに基づく映像クリップの始点および終点の判定方法

Info

Publication number: JP2016506688A
Application number: JP2015551253A
Authority: JP
Inventors: アミットマン
Original assignee: テイクスエルエルシー; アミットマン
Priority date: 2013-01-06
Filing date: 2014-01-06
Publication date: 2016-03-03
Also published as: WO2014106851A1; US20140195917A1; KR20160016746A

Abstract

シングル「クリック」で映像クリップを取り込む方法を提供する。本方法は、マルチメディアファイルを取り込むステップと；前記取込みに関する運動学的データを取得するステップと；ユーザの行動によって、前記マルチメディアファイル上のタイムスタンプであるスナップショットモーメントを表示するステップと；決定関数を適用するステップであって、決定関数は、取り込まれたマルチメディアファイル、スナップショットモーメント、および運動学的データのうちの少なくとも１つを入力データとして受信し、スナップショットモーメントに先行するマルチメディアファイル上のタイムスタンプである始点、および、スナップショットモーメントの後続のタイムスタンプである終点を出力データとして出力する、ステップと、を含む。

Description

本発明は、概して、画像および映像の処理に関し、特に、画像および映像の処理において、画像および映像の外部データを用いる、画像および映像の処理に関する。

スマートフォンを使用した映像取込み（video capturing）が広く普及するにつれ、映像品質と取込み工程の総合的なユーザエクスペリエンスとを共に改良し、かつ、向上させるますます多くの方法が開発されている。現在のスマートフォンでは、通常、静止画像取込みおよび映像取込みが可能であり、ユーザが２つの異なるモードを選択可能である。

本明細書において、本発明の一態様に係る、シングル「クリック」で映像クリップを取り込む方法を説明する。本方法は、
マルチメディアファイルを取り込むステップと；
前記取込みに関連した運動学的データを取得するステップと；
ユーザの行動に反応するマルチメディアファイル上のタイムスタンプであるスナップショットモーメントを表示するステップと；
決定関数を適用するステップであって、前記決定関数は、前記取り込まれたマルチメディアファイル、前記スナップショットモーメント、および前記運動学的データのうちの少なくとも１つを入力データとして受信し、前記スナップショットモーメントに先行する前記マルチメディアファイル上のタイムスタンプである始点、および、前記スナップショットモーメントの後続のタイプスタンプである終点を出力データとして出力するステップと、を含む。

本明細書において、本発明の他の態様に係る、シングル「クリック」で映像クリップを取り込むためのシステムを説明する。本システムは、
マルチメディアファイルを取り込むように構成された取込み装置と；
前記取込みに関連した運動学的データを抽出するように構成された前記取込み装置に物理的に結合した運動センサと；
コンピュータプロセッサであって、
ユーザの行動に反応する前記マルチメディアファイル上のタイムスタンプであるスナップショットモーメントを表示するように構成され、かつ、
取り込んだ前記マルチメディアファイル、前記スナップショットモーメント、および前記運動学的データのうちの少なくとも１つを入力データとして受信し、前記スナップショットモーメントに先行する前記マルチメディアファイル上のタイムスタンプである始点、および、前記スナップショットモーメントの後続のタイムスタンプである終点を出力データとして出力する決定関数を適用するように構成された、コンピュータプロセッサと、を含む。

本発明の追加的および／または他の態様および／または利点を以下の詳細な説明に記載する。

本明細書の結論部において、本発明の主題を具体的に提示し、かつ、明確に特許請求する。しかしながら、本発明の操作体系と操作方法との両方は、本発明の目的、特徴、および利点と共に、以下の詳細な説明を添付の図面と共に参照することにより、最もよく理解され得る。

本発明の実施形態に係る、静止画像取込み工程に基づく映像作製システムのブロック図である。本発明の実施形態に係る、静止画像取込み工程に基づく映像作製方法の高レベルのフローチャートである。本発明の実施形態に係る、静止画像取込み工程に基づく映像作製システムの模式図である。本発明の実施形態に係る、カメラによって取り込まれたマルチメディアデータの例示的なタイムラインの模式図である。本発明の実施形態に係る、取込み工程時間中に取り込まれたマルチメディアデータの一部分の選択の模式図である。

図の簡潔さと明確性のために、図中に示す要素は、必ずしも一定の縮尺で描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確性のために他の要素と比べて誇張してあってもよい。また、適切と考えられる場合は、対応要素または類似要素を示すために、複数の図中で同じ参照符号が付されていてもよい。

以下の詳細な説明では、本発明を完全に理解できるように多くの具体的詳細について述べる。しかしながら、本発明がかかる具体的詳細なしで実施され得ることが当業者にはわかるであろう。また、周知の方法、工程、および構成要素は、本発明があいまいにならないように詳細には記載していない。

本発明の実施形態によって、ユーザは、通常の方法で静止画像を取り込みながら映像クリップを創作することができる。本発明の実施形態によって、映像クリップを創作することができる一方で、取り込まれた静止画像は、標準的な静止画像として記憶されても、見られてもよい。取込みエクスペリエンスは、画像取込み（すなわち、通常の静止画像取込みエクスペリエンス）と同じであり得る。したがって、本発明の実施形態によって、非常に素早くかつ／または便利に映像クリップを創作することができる。

本発明の複数の実施形態は、画像取込み工程中に記録されたデータに基づき、静止画像を撮像しながら映像クリップを取り込む方法を提供する。一般的に、本発明の実施形態は、カメラを含み、かつ、任意で追加のセンサおよび／または検出能力を含み得る携帯機器（例えば、携帯電話、カメラ付携帯電話、タブレットコンピュータ）に適用可能である。しかしながら、本発明は、特定の種類の機器に限定されない。用語「動画」および「映像」は、本明細書中で相互に交換可能に使用され得、それらの意味は、外見上動く像または当分野で共通の任意の他の意味であり得る。また、用語「写真」、「画像」、および「フォト」は、本明細書中で相互に交換可能に使用され得る。

図１は、本発明のいくつかの実施形態に係るシステム１００を図示するブロック図である。システム１００は、マルチメディアファイル１１２を取り込むように構成された取込み装置１００、運動センサ１２０、コンピュータプロセッサ１３０、およびユーザインタフェース１８０等を含む。運動センサ１２０は、取込み装置１１０に物理的に結合され得、かつ／または取込みに関連した運動学的データ１２２を取得するように構成され得る。コンピュータプロセッサ１３０は、ユーザの行動に反応するマルチメディアファイル１１２上のタイムスタンプであるスナップショットモーメント１４０を表示するように構成され得、ユーザの行動は、ユーザインタフェース１８０等を介してなされ得る。また、コンピュータプロセッサ１３０は、決定関数１５０を適用するように構成され得、決定関数１５０は、マルチメディアファイル１１２、スナップショットモーメント１４０、運動学的データ１２２のうちの少なくとも１つを入力データとして受信し得、かつ／または、スナップショットモーメント１４０に先行するマルチメディアファイル１１２上のタイムスタンプである始点１６２、および／または、スナップショットモーメント１４０の後続のタイムスタンプである終点１６４を出力し得る。

本発明のいくつかの実施形態によれば、コンピュータプロセッサ１３０によって実行され得る決定関数１５０と機能的に関連するコンピュータプロセッサ１３０は、マルチメディアクリップ１７０を生成し得る。マルチメディアクリップ１７０は、スナップショットモーメント１４０を含んでもよく、かつ、取り込まれたマルチメディアファイル１１２に含まれる記録されたマルチメディアセグメント１７０Ａの下位集合であり得る。この場合、マルチメディアクリップ１７０は、始点１６２で開始してもよく、かつ／または、決定関数１５０によって出力された終点１６４で終了してもよい。

本発明のいくつかの実施形態によれば、マルチメディアファイル１１２は、映像シーケンスを含んでもよく、この場合、スナップショットモーメント１４０は、単一の静止画像と関連し得る。さらに、マルチメディアファイル１１２はまた、オーディオシーケンスを含んでもよく、この場合、スナップショットモーメント１４０は、オーディオクリップ中の単一のモーメントと関連し得る。

本発明のいくつかの実施形態によれば、マルチメディアファイル１１２は、映像シーケンスとオーディオシーケンスとを共に含んでもよく、この場合、映像シーケンスおよびオーディオシーケンスは、それぞれ、各々の始点および／もしくは終点、ならびに／または共通のスナップショットモーメントと関連し得る。より具体的には、オーディオシーケンスの始点および終点は、映像シーケンスの始点および終点と異なり得る。

本発明のいくつかの実施形態によれば、決定関数１５０は、ユーザに関するメタデータおよび取込みのコンテクストに関するメタデータのうちの少なくとも１つを入力データとしてさらに受信し得る。より具体的には、決定関数１５０は、始点および終点の判定に際して考慮され得る、画像処理アルゴリズムおよびオーディオ処理アルゴリズムのうちの少なくとも１つをさらに適用してもよい。

決定関数の適用は、例えば、より良い結果が得られるように、マルチメディアファイルの取込み終了後、オフラインで行なわれ得ることに留意されたい。しかしながら、決定関数は、リアルタイムでも適用され得る。

決定関数１５０は、特定の定性的測定基準の所定のレベル未満であるマルチメディアファイル１１２の一部分をフィルタリングし得る。一実施形態では、運動学的データは、取込み装置の空間的経路に変換されて決定関数に送られ得る。一実施形態では、決定関数が、運動学的データと所定の閾値の全項目とを比較してもよい。一実施形態では、マルチメディアファイルがオーディオシーケンスを含む場合、決定関数は、音声認識アルゴリズム、衝撃音信号アルゴリズムの多角的検出、ピーク音量検出、および／またはピッチ検出のうちの少なくとも１種類のオーディオ信号処理を適用し得る。したがって、共通のマルチメディアファイルに由来する、オーディオクリップおよび映像クリップの始点および終点は異なり得る。

他の実施形態では、スナップショットモーメントを表示することを複数回繰り返して、例えば、複数のスナップショットモーメントを出力してもよく、かつ／または、この場合、ユーザの行動は、マルチメディア全体の取込み後に開始される。

いくつかの実施形態によれば、コンピュータプロセッサ１３０はさらに、マルチメディアクリップに、静止画像に由来するデータを表示するタグを付けるように構成される。また、コンピュータプロセッサ１３０はさらに、このタグに基づき、生成されたマルチメディアクリップを含む複数のマルチメディアクリップのシーケンスに所定の操作を適用するように構成される。代替的に、分析およびデータ処理等のいくつかのタグ付け関連処理がシステム１００に遠隔接続されたサーバ上で行なわれ得る。より具体的には、コンピュータプロセッサ１３０はさらに、タグに基づき、マルチメディアクリップの検索操作を適用するように構成され得る。

図２は、本発明のいくつかの実施形態に係る方法を示す高レベルのフローチャートである。方法２００は、マルチメディアファイル２１０を取り込むステップで開始される。次いで、本方法は、取込みに関連した運動学的データを取得するステップ２２０に進む。次いで、本方法は、マルチメディアファイル上のタイムスタンプであるスナップショットモーメントをユーザの行動によって表示するステップ２３０に進む。次いで、本方法は、取り込んだマルチメディアファイル、スナップショットモーメント、および運動学的データのうちの少なくとも１つを入力データとして受信し、スナップショットモーメントに先行するマルチメディアファイル上のタイムスタンプである始点、およびスナップショットモーメントの後続のタイムスタンプである終点を出力データとして出力する決定関数を適用するステップ２４０に進む。

次いで、図３を参照する。図３は、本発明の実施形態に係る静止画像取込み工程に基づく他の例示的な映像作製システム３００の模式図である。なお、本明細書中での「映像」という言及が「オーディオ」を含むべきであり、また、映像シーケンス生成工程が映像シーケンス生成に付随するオーディオシーケンス生成を含むことに留意されたい。

システム３００は、携帯電話、スマートフォン、カメラ付き携帯電話、タブレットコンピュータ、または任意の他の適切な装置等に相当し得る装置３１０を含み得る。装置３１０は、プロセッサ３１２、メモリ３１４、カメラ３１６、ユーザインタフェース３１８、オーディオ記録装置（図示せず）、および、３軸ジャイロスコープならびに／または加速度計等の加速度センサ（図示せず）を含み得る。また、システム３００は、例えば、無線接続および／またはセルラー接続を通して装置１０とインターネット通信し得るアプリケーションサーバ３５０を含み得る。

装置３１０は、本発明の実施形態に係る静止画像取込み工程に基づく映像作製を可能にし得るコードおよび／またはオブジェクト等のソフトウェアアイテムをアプリケーションサーバ３５０から受信してもよい。例えば、かかるソフトウェアアイテムは、自動的にまたはユーザインタフェース３１８を介して入力されたユーザコマンドに従ってダウンロードされ得、かつ、メモリ３１４内に記憶され得る。例えば、かかるソフトウェアアイテムは、本発明の実施形態に係る静止画像取込みデータに基づく映像作製工程前、および／またはその間に、ダウンロードされ得、かつ、メモリ３１４に記憶され得る。メモリ３１４は、アプリケーションサーバ３５０からダウンロードされたソフトウェアアイテム等のコンピュータが実行可能な命令等の命令を符号化するか、含むか、または、記憶するメモリカード、ディスクドライブ、またはＵＳＢフラッシュメモリ等の、コンピュータまたはプロセッサが読取り可能な非一時的記憶媒体等の物品を含み得る。メモリ３１４に記憶されかつ／または含まれた命令は、プロセッサ３１２等のプロセッサまたは制御装置によって実行されるとき、このプロセッサまたは制御装置に本明細書に記載の方法を実行させ得る。

本発明の特定の実施形態では、本発明の実施形態によって必要となるいくつかの処理が、アプリケーションサーバ３５０において実行され得る。例えば、本発明の実施形態に係る方法の実行中に、データ、情報、要求、および／またはコマンドを装置３１０から受信し、データを処理し、かつ、処理したデータおよび／または要求された任意のデータを装置３１０に返信する。

カメラ３１６は、任意の適切な種類の光センサ、および、例えば、１つ以上のレンズを含み得る光学系を含み得る。ユーザインタフェース３１８は、ユーザが装置３１０（すわなち、制御装置３１０）にコマンドを入力し、装置３１０等からデータを受信しかつ／または閲覧することを可能にし得るソフトウェアおよびまたはハードウェア（例えば、画面、タッチスクリーン、キーボード、ボタン、オーディオ入力装置、オーディオ記録ソフトウェア、オーディオ記録ハードウェア、音声認識ソフトウェア、音声認識ハードウェア、装置３１０を介した音声的／視覚的示度表示、ならびに／または他の適切なユーザインタフェースソフトウェアおよび／または他の適切なユーザインタフェースハードウェア）を含み得る。

ユーザインタフェース３１８を介して、ユーザは、例えば、カメラ３１６によって写真を撮影してもよくかつ／またはカメラ３１６を制御してもよい。カメラ３１６によって撮影された写真は、付随するデータと共に、メモリ３１４に記憶され得る。本発明の実施形態によれば、カメラ３１６による写真撮影は、撮影された写真それぞれに関連したマルチメディアファイル（例えば、映像および／またはオーディオファイル）の作製を伴い得る。例えば、本発明の実施形態に係るマルチメディアファイルには、撮影された写真のマルチメディアデータと共に、実際の写真の取込みモーメントの間、その前、および／またはその後に記録された映像データおよび／またはオーディオデータ等の追加データが含まれ得る。マルチメディアファイルに含まれるデータは、取込みモーメント前に開始され、かつ、取込みモーメント後に終了する時間内で記録され得、この時間は、取込み工程時間としてみなされ得る。例えば、取込み工程時間は、カメラ３１６を起動し、写真撮影の準備が整ったときに、開始され得る。例えば、新たな写真撮影のためにカメラの準備が整ったとき（例えば、写真撮影後２秒〜３秒以内）、または、カメラの画面の動作停止時（例えば、カメラのログアウト時、カメラの電源を切るとき、または装置３１０のシャットダウン時等）に、取込み工程時間は、終了し得る。したがって、マルチメディアファイルは、実際の取込みモーメントの間、その前、および／またはその後に記録された画像データを含み得る。また、データファイルは、実際の取込みモーメントの間、その前、および／またはその後にオーディオ記録装置によって記録されたオーディオデータ等を含み得る。さらに、取込み工程ファイルは、実際の取込みモーメントの間、その前、および／またはその後の装置の位置、場所、加速度、および／または速度についての、加速度センサ等によって収集され得る情報を含み得る。したがって、取込みモーメントのそれぞれについて、対応する映像クリップまたはオーディオクリップの始点および終点を判定することが、本発明の一態様である。

取込みモーメントは、ユーザコマンドに従って写真が撮影される瞬間であり得る。通常、取込みモーメントは、ユーザが写真撮影のためにカメラのボタンに触れるかまたはこれを押下した後の短い時間（必ずではないが通常、装置にとって典型的であり得、かつ／または、画像化される環境の照明、動き、および／または装置の不安定さ等に依存し得る一定のシャッターラグ時間の後の短い時間）生じている。

次いで、図４を参照する。図４は、カメラ３１６等の本発明の実施形態に係るカメラによって取り込まれた画像データの例示的なタイムライン４００の模式図である。簡潔さのために、オーディオファイルは図４では省略してあるが、オーディオファイルの場合にも映像ファイル生成の場合と同様の機構が提供され得、その結果、取込みモーメントおよびさまざまな他のコンテクストに関連したデータに基づき判定された始点および終点をそれぞれが有する、順序付けられた複数のオーディオファイルの集合も提供され得ることがわかる。

一例として、また、限定することなく、映像クリップのみに関し、ユーザは、図４中のＴ軸によって示されている時間に沿っていくつかの画像Ｉ１、Ｉ２、Ｉ３、およびＩ４等を取り込んでもよい。図４は、４つの画像Ｉ１、Ｉ２、Ｉ３、およびＩ４を示しているが、かかる点で本発明は限定されず、本発明の実施形態によって任意の他の数の画像を使用することができる。本発明の実施形態によれば、上述のとおり、撮影された写真Ｉ１、Ｉ２、Ｉ３、およびＩ４等は、当該写真それぞれの実際の取込みモーメントｔ０１、ｔ０２、ｔ０３、およびｔ０４の間、その前、および／またはその後に記録されたマルチメディアと共に、画像データとして記憶され得る。上述のとおり、プロセッサ３１２は、取込み工程データを記録してもよく、取込み工程データは、取込み工程時間中に記録されたデータを含み得る。上述のとおり、取込み工程データは、取込み工程時間中に記録され得る、装置の位置、方向、加速度、測度についてのデータ、および／または任意の他のマルチメディアデータを追加的に含んでもよい。したがって、マルチメディアデータは、取込みモーメント前に開始され、かつ、取込みモーメント後に終了する時間内に記録され得、この時間は、図４において、それぞれ、ＣＴ１、ＣＴ２、ＣＴ３、またはＣＴ４として示されている取込み工程時間としてみなされ得る。上述のとおり、取込み工程時間ＣＴ１、ＣＴ２、ＣＴ３、またはＣＴ４は、カメラ３１６を起動し、写真撮影の準備が整ったときに、開始され得る。例えば、新たな写真撮影のためにカメラの準備が整ったとき（例えば、写真撮影後２秒〜３秒以内）、または、例えば、カメラの動作停止時（例えば、カメラのログアウト時、カメラの電源を切るとき、または装置３１０の画面のシャットダウン時）に、取込み工程時間ＣＴ１、ＣＴ２、ＣＴ３、またはＣＴ４は、終了し得る。したがって、マルチメディアファイルは、取り込まれた画像データ、オーディオデータ、および取込み工程メタデータ等を含んでもよい。取り込んだ画像データファイルは、取り込んだ画像のマルチメディアデータを含んでもよい。映像データファイルは、実際の取込みモーメントｔ０１、ｔ０２、ｔ０３、またはｔ０４の間、その前、および／またはその後に取り込まれた画像データを含んでもよい。取込み工程データファイルは、実際の取込みモーメントの間、その前、およびその後（例えば、取込み工程時間中）の装置の位置、場所、方向、加速度（空間的加速度および／もしくは角加速度）、ならびに／または速度（空間的速度および／もしくは角速度）についての情報等の取込み工程データを含んでもよい。

本発明の実施形態によれば、プロセッサ３１２および／またはアプリケーションサーバ３５０は、Ｉ１、Ｉ２、Ｉ３、またはＩ４等の最初に取り込んだ画像に関連したマルチメディアファイルを受信してもよく、かつ、取込み工程時間中に記録されたマルチメディアデータの一部分を選択することによって映像セグメントを作製してもよい。本発明の実施形態によれば、プロセッサ３１２は、取り込まれた静止画像に関連し得、かつ、見るのに相対的にスムーズかつ簡便であり得るデータを含むマルチメディアセグメントを取得するために、マルチメディアデータの一部分を選択してもよい。かかる一部分の選択は、画像を取り込む際のユーザの意図に一致し得る画像データの一部分を特定するために決定され得る予め設定したデータおよび／または基準に基づき得る。例えば、プロセッサ３１２は、予め設定した基準に基づき、最初に取り込まれた写真に関して相対的に整合性があり得かつ連続的であり得る画像データの一部分を特定してもよい。プロセッサ３１２によって実行されるものとして本明細書に記載された、一部のまたはすべての操作は、代替的にまたは追加的に、アプリケーションサーバ３５０によって実行され得る。

次いで、図５を参照する。図５は、本発明の実施形態に係るタイムライン５００として示される、取込み工程時間ＣＴ中に取り込まれた画像データの一部分ΔＴＭの選択の模式図である。同様に、簡潔さのため、オーディオファイルは、図５では示されず、また、オーディオファイルは、基本的には映像クリップと同様に取り扱われる。映像シーケンスの生成は、組み合せた映像クリップとオーディオクリップとの両方を伴い、一緒に取り込まれた映像クリップとオーディオクリップとの重ね合せが必須ではないため、各オーディオファイルは、個別に記憶される。

図５のＴ軸は、時間を表す。プロセッサ３１２は、取込み工程時間ＣＴ中に（すなわち、取込みモーメントｔ０時点で）記録されたマルチメディアデータの一部分ΔＴＭを選択し得る。部分ΔＴＭは、取込みモーメントｔ０それ自体、取込みモーメントｔ０前の時間である時間ｔ_ｐｒｅ、および／または取込みモーメントｔ０後の時間である時間ｔ_ｐｏｓｔを含み得る。

上述のとおり、部分ΔＴＭの選択は、画像を取り込む際のユーザの意図に一致し得る画像データの一部分を特定するために決定され得る予め設定されたデータおよび／または基準に基づき得る。例えば、プロセッサ３１２は、予め設定された基準に基づき、最初に取り込まれた写真に関して相対的に整合性があり得かつ連続的であり得る画像データの一部分を特定し得る。プロセッサ３１２は、取込み工程データの予め設定したデータを分析し得る。本発明のいくつかの実施形態では、プロセッサ３１２は、取込み工程時間中に記録され、かつ、メタデータファイルに含められた、装置の位置、方向、加速度、速度についてのデータ等に基づき、取込み工程時間中の装置の動きを分析し得る。プロセッサ３１２は、メタデータを分析してもよく、また、例えば、装置の動きが相対的にスムーズおよび／または単調な（例えば、速度および／または方向の変化量の予め設定した閾値等に照らして、速度および／または方向の急激な変化がない）取込み工程時間の一部分を認識し得る。また、プロセッサ３１２は、空間における装置の経路を特定し得る。空間における装置の経路は、「ユーザの腰の高さよりも全体的に高い経路」等の予め定義した制約に相関的であり得る。

経路は、例えば、取込み工程時間中に記録され、取込み工程データファイルに含められた装置の位置および方向についてのデータに基づき引き出され得る。プロセッサ３１２は、記録されかつ特定された経路を分析してもよく、また、例えば、経路が相対的に連続的でありかつ／またはなだらかな場合の取込み工程時間の一部分を判定してもよい。相対的ななだらかさおよび／または連続性は、方向および／または位置等の変化量の予め設定した閾値に応じて認識され得る。また、プロセッサ３１２は、取込みモーメント時点で、その前に、および／またはその後に記録された画像データを分析してもよく、撮像された場面における相対的に急激な変化等の画像データにおける変移モーメント（transition moment）を認識してもよい。撮像された場面における相対的に急激な変化は、例えば、映像データクリップにおける変化量の予め設定された閾値に応じて、認識され得る。

記録されたデータの分析に基づき、プロセッサ３１２は、予め設定した基準等に基づき、記録されたマルチメディアデータの一部分を選択し得る。例えば、選択された部分が最初に取り込まれた写真を含むことが予め設定され得る。画像データの部分であって、その大部分が写真撮影時のユーザの意図に沿い得るものを選択するために、他の適切な分析および基準が本方法中に含まれ得る。選択された部分は、最初に撮影された写真に関連し得る映像セグメントを構成し得る。したがって、本発明の実施形態に基づき選択された複数の映像セグメントは、それぞれ、対応する最初に取りこまれた画像のマルチメディアデータに関連付けて、メモリ３１４等に記憶され得る。取込みセッションが終了し、取込みモーメントに基づく映像クリップおよびオーディオクリップの最適な生成に達するための時間およびメタデータが十分であるときに、上記分析および生成は、好ましくはオフラインで実行可能であることに留意されたい。

代替的に、本発明のいくつかの実施形態では、データの分析および画像データの一部分の選択は、リアルタイムで（例えば、取込み工程中に）行なわれ得る。例えば、取込み工程中、プロセッサ３１２は、速度および／または方向の相対的に急激な変化を認識してもよく、動きが相対的に滑らかおよび／または単調である場合の一部分を選択してもよい。また、取込み工程中、プロセッサ３１２は、撮像された場面における相対的に急激な変化等の、画像データにおける変移モーメントを認識してもよい。そのため、本発明のいくつかの実施形態では、撮像された場面において相対的に急激な変化を含まず、空間における装置の相対的になだらかかつ連続的な経路を含み、かつ／または、速度および／もしくは方向の急激な変化を含まない、記録された画像データの一部分を、プロセッサ３１２は、リアルタイムで選択してもよい。

また、本発明のいくつかの実施形態によれば、プロセッサ３１２は、装置３１０を最も頻繁に使用するユーザ等の特定のユーザの写真取込みの癖を学習してもよい。例えば、いくつかの場合では、ユーザは通常、写真撮影前の非常に短時間のｔ_ｐｒｅで写真を撮影してもよく、または、多少の安定した腕前であってもよく、かつ／または、画像データの最も適切な一部分の選択において使用される基準および／または閾値に影響を与え得る任意の他の適切な撮影癖を有してもよい。ユーザの癖に基づき、プロセッサ３１２は、基準および／または閾値を再生成してもよく、この基準および／または閾値に応じて、画像データの最も適切な一部分が選択され得る。

本発明のいくつかの実施形態では、プロセッサ３１２は、映像データの一部分と共に、装置３１０によって記録されたオーディオデータの適切な一部分を選択してもよい。かかる選択は、予め設定された基準に応じて行なわれ得る。例えば、記録されたオーディオデータの選択された一部分が取込みモーメント時点でまたは取込みモーメント直近で記録されたオーディオデータを含むことが予め設定され得る。また、例えば、記録されたオーディオデータの選択された一部分が、話者が遮られている部分を含まないことが予め設定され得る。

いくつかの実施形態では、選択された映像セグメントは、可能であれば選択されたオーディオセグメントと共に、順次組み合されて組合せ映像を形成してもよい。この場合、映像セグメントは、１超の映像セグメントが連続するものであってもよく、かつ／または、例えば、１つの映像セグメント内で開始され、複数の組み合わされた映像セグメントのうちの別の映像セグメント内で終了してもよい。

本発明の実施形態によれば、ユーザは、ユーザインタフェース３１８等を介して、ユーザが組合せ映像に変換しようと望む複数の取り込まれた画像を選択してもよい。また、ユーザは、選択した画像が映像中で現れるべき順序を選択してもよい。

本明細書において、本発明の特定の特徴を例示し、説明してきたが、当業者は、多くの修正、代用、変更、および均等物を思いつくであろう。したがって、添付の特許請求の範囲は、本発明の真の精神の範囲内のすべての修正および変更を包含するように意図されていることを理解されたい。

Claims

マルチメディアファイルを取り込むステップと；
前記取込みに関連した運動学的データを取得するステップと；
ユーザの行動によって、前記マルチメディアファイル上のタイムスタンプであるスナップショットモーメントを表示するステップと；
決定関数を適用するステップであって、前記決定関数は、前記取り込まれたマルチメディアファイル、前記スナップショットモーメント、および前記運動学的データのうちの少なくとも１つを入力データとして受信し、前記スナップショットモーメントに先行する前記マルチメディアファイル上のタイムスタンプである始点、および、前記スナップショットモーメントの後続のタイムスタンプである終点を出力データとして出力する、ステップと、
を含む、方法。
前記取り込まれたマルチメディアファイルの下位集合であるマルチメディアクリップを生成するステップであって、前記マルチメディアクリップは、前記始点で開始され、前記スナップショットモーメントを含み、かつ、前記終点で終了するステップをさらに含む、
請求項１に記載の方法。
前記マルチメディアファイルは、映像シーケンスを含み、
前記スナップショットモーメントは、単一の静止画像に関連する、
請求項１に記載の方法。
前記マルチメディアファイルは、オーディオシーケンスを含み、
前記スナップショットモーメントは、オーディオクリップに関連する、
請求項１に記載の方法。
前記マルチメディアファイルは、映像シーケンスおよびオーディオシーケンスの両方を含み、
前記映像シーケンスおよび前記オーディオシーケンスは、それぞれ、各々の始点および終点、ならびに共通のスナップショットモーメントに関連する、
請求項１に記載の方法。
前記決定関数は、前記ユーザに関するメタデータおよび前記取込みのコンテクストに関するメタデータのうちの少なくとも１つを入力データとしてさらに受信する、
請求項１に記載の方法。
前記決定関数は、前記始点および前記終点を判定する際に考慮される、画像処理アルゴリズムおよびオーディオ処理アルゴリズムのうちの少なくとも１つをさらに適用する、
請求項１に記載の方法。
前記決定関数を適用するステップは、前記マルチメディアファイルの前記取込みの終了後、オフラインで行なわれる、
請求項１に記載の方法。
前記決定関数は、特定の定性的測定基準の所定のレベル未満である、前記マルチメディアファイルの部分をフィルタリングする、
請求項１に記載の方法。
前記運動学的データは、取込み装置の空間的経路に変換され、前記空間的経路は、前記決定関数に送られる、
請求項１に記載の方法。
前記決定関数は、前記運動学的データと所定の閾値の全項目とを比較する、
請求項１に記載の方法。
前記マルチメディアファイルがオーディオシーケンスを含む場合に、前記決定関数は、少なくとも１種類のオーディオ信号処理を適用する、
請求項１に記載の方法。
前記表示するステップは、複数回繰り返されて複数のスナップショットモーメントを出力し、
前記ユーザの行動は、前記マルチメディア全体の取込み後に開始される、
請求項１に記載の方法。
前記メタデータは、前記スナップショットモーメントに関連した静止画像に基づく、
請求項６に記載の方法。
前記マルチメディアファイル内に含まれ、かつ、前記スナップショットモーメントに関連した静止画像に由来するデータを表示するタグを前記マルチメディアクリップに付けるステップをさらに含む、
請求項１に記載の方法。
前記タグに基づき、前記マルチメディアクリップに所定の操作を適用するステップをさらに含む、
請求項１５に記載の方法。
前記タグに基づき、前記マルチメディアクリップの検索操作をさらに適用する、
請求項１６に記載の方法。
マルチメディアファイルを取り込むように構成された取込み装置と；
前記取込みに関する運動学的データを取得するように構成された前記取込み装置に物理的に結合された運動センサと；
ユーザの行動に反応する前記マルチメディアファイル上のタイムスタンプであるスナップショットモーメントを表示するように構成されたユーザインタフェースと；
決定関数を適用するように構成されたコンピュータプロセッサであって、前記決定関数は、前記取り込まれたマルチメディアファイル、前記スナップショットモーメント、および前記運動学的データのうちの少なくとも１つを入力データとして受信し、前記スナップショットモーメントに先行する前記マルチメディアファイル上のタイムスタンプである始点、および、前記スナップショットモーメントの後続のタイムスタンプである終点を出力データとして出力する、コンピュータプロセッサと、
を含む、システム。
前記コンピュータプロセッサは、前記取り込まれたマルチメディアファイルの下位集合であるマルチメディアクリップを生成するようにさらに構成され、
前記マルチメディアクリップは、前記始点で開始され、前記スナップショットモーメントを含み、かつ、前記終点で終了する、
請求項１８に記載のシステム。
前記マルチメディアファイルは、映像シーケンスを含み、
前記スナップショットモーメントは、単一の静止画像に関連する、
請求項１８に記載のシステム。
前記マルチメディアファイルは、オーディオシーケンスを含み、
前記スナップショットモーメントは、オーディオクリップに関連する、
請求項１８に記載のシステム。
前記マルチメディアファイルは、映像シーケンスおよびオーディオシーケンスの両方を含み、
前記映像シーケンスおよび前記オーディオシーケンスは、それぞれ、各々の始点および終点、ならびに共通のスナップショットモーメントに関連する、
請求項１８に記載のシステム。
前記決定関数は、前記ユーザに関するメタデータおよび前記取込みのコンテクストに関するメタデータのうちの少なくとも１つを入力データとしてさらに受信する、
請求項１８に記載のシステム。
前記決定関数は、前記始点および前記終点を判定する際に考慮される、画像処理アルゴリズムおよびオーディオ処理アルゴリズムのうちの少なくとも１つをさらに適用する、
請求項１８に記載のシステム。
前記決定関数を適用するステップは、前記マルチメディアファイルの前記取込みの終了後、オフラインで行なわれる、
請求項１８に記載のシステム。
前記決定関数は、特定の定性的測定基準の所定のレベル未満のマルチメディアファイルの部分をフィルタリングする、
請求項１８に記載のシステム。
前記運動学的データは、前記取込み装置の空間的経路に変換され、前記空間的経路は、前記決定関数に送られる、
請求項１８に記載のシステム。
前記決定関数は、前記運動学的データと所定の閾値の全項目とを比較する、
請求項１８に記載のシステム。
前記マルチメディアファイルがオーディオシーケンスを含む場合に、前記決定関数は、少なくともオーディオ信号処理を適用する、
請求項１８に記載のシステム。
前記表示するステップは、複数回繰り返されて複数のスナップショットモーメントを出力し、
前記ユーザの行動は、前記マルチメディア全体の取込み後に開始される、
請求項１８に記載のシステム。
前記メタデータは、前記スナップショットモーメントに関連した静止画像に基づく、
請求項２２に記載のシステム。
前記マルチメディアファイル内に含まれ、かつ、前記スナップショットモーメントに関連した静止画像に由来するデータを表示するタグを前記マルチメディアクリップに付けるステップをさらに含む、
請求項１８に記載のシステム。
前記タグに基づき、前記マルチメディアクリップに所定の操作を適用するステップをさらに含む、
請求項２９に記載の方法。
前記タグに基づき、前記マルチメディアクリップの検索操作をさらに適用する、
請求項２９に記載の方法。