JP2018506760A - ストップモーションコンテンツの増強 - Google Patents

Abstract

ストップモーションコンテンツに拡張現実感(AR)効果を提供する装置、方法、及び記憶媒体が説明される。1つの例では、装置は、プロセッサと、プロセッサによって動作させられ、ストップモーションコンテンツを有する複数のフレームを取得するコンテンツモジュールであって、複数のフレームのうちのいくつかのフレームは、拡張現実感効果の指標を含んでもよい、コンテンツモジュールと、プロセッサによって動作させられ、拡張現実感効果の指標を検出し、複数のフレームのうちの少なくともいくつかのフレームにその指標に対応する拡張現実感効果を付加する拡張モジュールとを含む。他の実施形態は、明細書中で説明され、また、特許請求の範囲に記載される。

Description

この出願は、2014年12月11日に出願された"ストップモーションコンテンツの増強"と題する米国特許出願第14/567,117号に基づく優先権を主張する。

本開示は、拡張現実感(augmented reality)の技術の分野に関し、特に、ストップモーションコンテンツに拡張現実感効果を付加することに関している。

本明細書において提示される背景技術の記載は、本開示の背景を一般的に提示することを目的としている。"背景技術"の欄で説明される内容は、特に示す場合を除き、この出願の特許請求の範囲に記載された発明に対して先行技術となるものではなく、また、この"背景技術"の欄に含まれることにより、先行技術となることを許容するものではない。

"ストップモーション"は、物理的に操作されたオブジェクト又は登場人物がそれ自身で動いているように見えるようにする動画技術である。現状では、あるオブジェクトの複数のスナップショットイメージを取得し、各々のスナップショットの間でそのオブジェクトをわずかに動かし、その後、連続的なシーケンスとして連続してそれらの複数のスナップショットフレームを再生して、そのオブジェクトが動いているという錯覚を引き起こすことにより、ストップモーション動画コンテンツを生成してもよい。しかしながら、既存の技術の下では、ストップモーションコンテンツについて(例えば、拡張現実感効果等の)視覚的効果又は音響的効果を生じさせることは、相当程度の時間、労力、及び資源を費やすことをユーザに要求する可能性がある困難な技術的作業であるということが判明している。

複数の添付の図面と関連している以下の詳細な説明により、複数の実施形態は容易に理解されるであろう。上記の説明を容易にするため、同様の参照数字は、同様の要素を指定している。複数の実施形態が、添付の図面の描画に限定する目的ではなく、1つの例として図示される。

さまざまな実施形態にしたがって、ストップモーションコンテンツに拡張現実感(AR)効果を提供する例示的な装置100を図示するブロック図である。 いくつかの実施形態にしたがって、図1を参照して説明される複数の技術を使用してストップモーションコンテンツにAR効果を付加する1つの例を図示している。 いくつかの実施形態にしたがってストップモーションコンテンツにAR効果を付加する1つの例示的なプロセスを図示している。 いくつかの実施形態にしたがって、ストップモーションコンテンツの中のAR効果の指標を検出する1つの例示的なルーティンを図示している。 さまざまな実施形態にしたがった、本開示のさまざまな態様を実現するのに適している1つの例示的なコンピューティング環境を図示している。

以下で詳述される説明においては、その説明の一部分をなす複数の添付の図面を参照してもよく、その説明においては、同様の参照番号は、本明細書を通じて同様の部分を指定し、実用化され得る複数の実施形態が例として示される。他の実施形態を利用してもよく、本開示の範囲から逸脱することなく、構造的な変更又は論理的な変更を行うことができるということを理解すべきである。したがって、以下で詳述される説明は、限定的な意義に解釈されるべきではなく、複数の実施形態の範囲は、添付の特許請求の範囲及びそれらの均等な範囲によって定義される。

ストップモーションコンテンツ(stop-motion content)に拡張現実感(AR)効果(augmented reality (AR) effect)を提供することに関連する計算装置、方法及び記憶媒体が、本明細書で説明される。1つの例において、ストップモーションコンテンツに拡張現実感(AR)効果を提供する装置は、
プロセッサと、
前記プロセッサによって動作させられ、ストップモーションコンテンツを有する複数のフレームを取得するコンテンツモジュールであって、前記複数のフレームのうちのいくつかのフレームは、拡張現実感効果の指標を含んでもよい、コンテンツモジュールと、
前記プロセッサによって動作させられ、前記拡張現実感効果の前記指標を検出し、ストップモーションコンテンツを有する前記複数のフレームのうちのいくつかのフレームに、前記指標に対応する前記拡張現実感効果を付加する拡張モジュールとを含んでもよい。

複数の個別の動作として様々な動作を説明してもよく、或いは、請求項に記載された主題を理解するのに最も役立つ方法で、複数の動作を順番に説明してもよい。しかしながら、その説明の順序は、それらの複数の動作が必然的に説明の順序に依存するということを示唆するものと解釈されるべきではない。特に、提示された順序にしたがってそれらの動作を実行しなくてもよい。また、説明される実施形態とは異なる順序にしたがって、説明される動作を実行してもよい。さまざまな追加的な動作を実行してもよく、及び/又は、追加的な実施形態において、説明される動作を省略してもよい。

本開示のために、"A及び/又はB"との記載は、(A)、(B)、又は(A及びB)を意味してもよい。本開示のために、"A、B、及び/又はC"との記載は、(A)、(B)、(C)、(A及びB)、(A及びC)、(B及びC)、又は(A、B、及びC)を意味してもよい。

説明では、"1つの実施形態において(in an embodiment)"又は"複数の実施形態において(in embodiments)"との記載を使用してもよく、これらの記載の各々は、同一の又は異なる複数の実施形態のうちの1つ又は複数を指してもよい。さらに、本開示の実施形態に関して使用される"含む(comprising)"、"包含する(including)"、"有する(having)"、及び他の同様の記載は、同義語である。

本明細書において使用されるように、"ロジック"及び"モジュール"の語は、1つ又は複数のソフトウェアプログラム又はファームウェアプログラムを実行する特定用途向け集積回路(ASIC)、電子回路、(共有プロセッサ、専用プロセッサ、又はグループプロセッサ等の)プロセッサ及び/又は(共有メモリ、専用メモリ、又はグループメモリ等の)メモリ、説明される機能を提供する組合せ論理回路及び/又は他の適切な構成要素を指してもよく、それらの構成要素の一部であってもよく、又はそれらの構成要素を含んでいてもよい。

図1は、さまざまな実施形態にしたがって、ストップモーションコンテンツにAR効果を提供する1つの例示的な装置100を図示するブロック図である。図示されているように、装置100は、各々が通信可能に接続される、プロセッサ112、メモリ114、コンテンツ拡張環境140、及びディスプレイ134を含んでもよい。

コンテンツ拡張環境140は、ストップモーションコンテンツを提供し、そのストップモーションコンテンツの中のAR効果の指標を検出し、そして検出された指標に従ってストップモーションコンテンツを拡張するように構成される、トラッキングモジュール110、拡張モジュール120、及びコンテンツレンダリングモジュール160を含んでもよい。

トラッキングモジュール110は、AR効果の指標を追跡するように構成されてもよい。トラッキングモジュール110は、センサアレイモジュール112を含んでもよく、センサアレイモジュール112は、以下で説明されるように装置100にわたって分散されて、AR効果の指標を追跡するための複数のセンサ136を含んでもよい。複数のセンサ136は、複数の近接センサ、複数の慣性センサ、複数の光学センサ、複数の光センサ、複数の音響センサ、複数の温度センサ、複数のサーミスタ、複数の動きセンサ、複数の振動センサ、複数のマイクロフォン、複数のカメラ、及び/又は他のタイプのセンサを含んでもよい。複数のセンサ136は、(例えば、導電性等の)複数のタッチ表面センサをさらに含み、AR効果の指標を検出してもよい。

複数のセンサ136は、いくつかの異なる方法で装置100にわたって分散されていてもよい。例えば、(マイクロフォン等の)いくつかのセンサは、トラッキングモジュール110の記録デバイス132に中に存在していてもよく、他方で、他のセンサは、操作されるオブジェクトの中に埋め込まれていてもよい。例えば、カメラ等のセンサは、ユーザの顔の表情を捕える場面においてオブジェクトの中に位置し、AR効果の指標を検出してもよく、(例えば、加速度計、ジャイロスコープ、及びその他同様のセンサ等の)動きセンサは、オブジェクトの中に位置し、そのオブジェクトと関連する位置の変化及び速度の変化を検出してもよく、以下同様である。マイクロフォンも、同様に、ストップモーションコンテンツと関連する音声を捕える場面において、オブジェクトの中に配置されてもよい。要求される場合には、タッチ表面センサは、その場面においてオブジェクトの中に配置されて、AR効果の指標を検出してもよい。

記録デバイス132は、離散的なフレームの形態で或いは1つの動画の形態でストップモーションコンテンツを記録して、その記録の間に或いはその記録の後にそのストップモーションコンテンツと関連する可能性がある動画の指標及び音声の指標を追跡するように構成されてもよい。記録デバイス132は、(図示されているように)一体化されたデバイスとして或いは(図示されていないが)いずれかの外部周辺機器として実現されてもよく、一体化されたデバイス又はいずれかの外部周辺機器は、静止画用カメラ、ビデオカメラ、ウェブカメラ、赤外線(IR)カメラ、又は、動画及び/又は画像を取り込むことが可能である他のデバイス等のように画像を取り込むのに適していればよい。いくつかの実施形態において、記録デバイス132は、3次元(3D)カメラ、深度カメラ、又は遠近両用カメラとして実用化されてもよく、及び/又は深さ画像、チャネル、又はストリームを生成することが可能であってもよい。記録デバイス132は、(例えば、マイクロフォン等の)ユーザインターフェイスを含んでもよく、そのユーザインターフェイスは、コンテンツキャラクターに特定の物語を付加するコマンド等の、ストップモーションコンテンツに適用される音声コマンド用に構成されていてもよい。

したがって、記録デバイス132は、(例えば、カメラで)ストップモーションコンテンツを含む複数のフレームを取り込み(記録し)、例えば、その記録の間にマイクロフォンによって検出された対応するデータを捕えるように構成されてもよい。図示されている装置100は、単一の記録デバイス132を含んでいるが、装置100は、他の実施形態においては、複数の記録デバイス132を含んでいてもよく(又は、複数の記録デバイス132と関連していてもよく)、例えば、複数の異なる視点からのストップモーションコンテンツを捕えて、AR効果の指標のためにそのストップモーションコンテンツに関する場面を追跡するのにそれらの複数の記録デバイス132を使用してもよいということを理解することができる。

トラッキングモジュール110は、前処理サブモジュール150を含んでもよく、前処理サブモジュール150は、記録デバイス132のマイクロフォン及び/又はセンサアレイ112によって提供されたデータを受信し、(例えば、ディジタル化及びタイムスタンプ等の)前処理を実行し、そして、後述のさらなる処理のために拡張モジュール120に前処理されたデータを提供するように構成される。

拡張モジュール120は、オブジェクト認識サブモジュール122を含んでもよく、オブジェクト認識サブモジュール122は、ストップモーションコンテンツのために記録された複数のフレームの中のオブジェクトを認識し、AR効果の指標が検出された際に、そのAR効果の指標を認識されたオブジェクトと関連させるように構成される。オブジェクト認識サブモジュール122は、記録モジュール132によって提供されるビデオストリーム及び/又はオーディオストリームの中のオブジェクトを認識するように構成されてもよい。認識されたオブジェクトのうちのいくつかは、AR効果のマーカー、ステッカー、又は他の指標を含んでいてもよい。後述されるさらなる処理のために、検出された指標を拡張現実感発見的問題解決サブモジュール128に渡してもよい。

拡張モジュール120は、音声認識サブモジュール124を含んでもよく、音声認識サブモジュール124は、ストップモーションコンテンツのために記録されている特定のフレームと関連してユーザによって(例えば、トラッキングモジュール110を介して)提供される音声コマンドを認識し、そして、その認識された音声コマンドに少なくとも部分的に基づいてAR効果の指標を決定するように構成される。音声認識サブモジュール124は、コンバータを含んでいてもよく、そのコンバータは、その音声コマンドが提供されるキャラクターの音声に整合しているとともに、ユーザによってストップモーションコンテンツのキャラクターに提供される物語にピッチ効果及び音調効果を付加するように構成される。

拡張モジュール120は、ビデオ分析サブモジュール126を含んでもよく、ビデオ分析サブモジュール126は、ストップモーションコンテンツを分析して、ストップモーションコンテンツの特定のフレームと関連してユーザによって提供された複数の基準マーカー(fiducial markers)或いは基準ステッカー(fiducial stickers)等のAR効果の視覚的な指標を決定するように構成される。ビデオ分析サブモジュール126は、さらに、ストップモーションコンテンツと関連する複数の視覚的効果を分析するように構成されてもよく、それらの複数の視覚的効果は、必ずしもユーザによって提供されなくてもよいが、例えば、ズームイン、特定のオブジェクトへの焦点合わせ、及びその他同様のイベント等の複数のイベントを表すといったようにAR効果の複数の指標として役立つことができる。

ビデオ分析サブモジュール126は、顔面追跡構成要素114を含んでもよく、顔面追跡構成要素114は、(例えば、口の動き等の)ユーザの顔の表情を追跡し、顔の表情の変化を検出し、顔の表情の変化を記録し、ユーザの顔の表情の変化を特定のフレーム及び/又はフレームの中のオブジェクトにマッピングするように構成される。顔の表情は、後述されるように、ストップモーションコンテンツに付加されるAR効果の指標として役立つことができる。例えば、ビデオ分析サブモジュール126は、ユーザ及び/又はキャラクターの顔の表情を分析して、例えば、そのキャラクターの口の動きを、音声コマンドを使用してそのユーザによって提供される音声の物語と同期させてもよい。

ビデオ分析サブモジュール126は、ジェスチャー追跡構成要素116をさらに含み、記録されているそのストップモーションコンテンツの特定のサブフレームに関連してユーザによって提供される複数のジェスチャーを追跡してもよい。ジェスチャーは、後述するように、単独で、或いは、音声コマンド等の他の指標と組み合わせて、ストップモーションコンテンツに付加されるAR効果の指標として役立つことができる。

ビデオ分析サブモジュール126は、記録されているフレームにユーザによって挿入されたマーカーの基本色を認識して、キャラクターの動きの重要な点及び顔の認識をトリガし、ユーザが、記録されるべき場面の中にマーカーを配置することによりそのビデオの中の点にキャラクターを挿入するのを可能にするように構成されてもよい。ビデオ分析サブモジュール126は、ビデオの中の検出されたオブジェクトに基づいて、爆発、煙、スリップ痕等の複数の視覚的要素の形態でAR効果の配置を特定するように構成されてもよい。したがって、ビデオ分析サブモジュール126によってそのビデオの中で検出されたオブジェクトに向かう方向(orientation)に、かつ、それらのオブジェクトの論理的な近傍に、特定されたAR効果を配置してもよい。

拡張モジュール120は、自動化拡張現実感(AR)発見的解決サブモジュール128を含んでもよく、自動化拡張現実感(AR)発見的解決サブモジュール128は、モジュール120、122、124、及び126によって特定されるAR効果のユーザ入力ベースの指標又は特定のイベントに対する特定のAR効果の関連性を提供するように構成される。例えば、自動化AR発見的解決サブモジュール128は、複数のルールを含んでもよく、それらの複数のルールは、センサアレイ112によって追跡されるマーカー又はセンサの測定値と関連して複数のAR効果を提供する。ルールの例は、以下のものを含む、すなわち、フレームの中のあるオブジェクトの加速度イベントがXよりも大きく、方向(orientation)がYよりも小さい場合には、N個のフレームの間、車輪の軋み音を生成し、フレームの中のあるオブジェクトの加速度イベントがXよりも大きく、方向がYよりも大きい場合には、N個のフレームの間、衝突音を生成し、ビデオストリームのフレームの中でブロックYが検出された場合には、そのビデオストリームのそのフレームにおいてブロックYが存在する継続時間の間、そのビデオのブロックYの領域に中にAR効果Yを付加する。

コンテンツ拡張環境140は、コンテンツレンダリングモジュール160をさらに含んでもよい。コンテンツレンダリングモジュール160は、ビデオレンダリングサブモジュール162及びARレンダリングサブモジュール164を含んでもよい。ビデオレンダリングサブモジュール162は、ユーザによって取り込まれた(記録された)ストップモーションコンテンツをレンダリングするように構成されてもよい。ARレンダリングサブモジュール164は、付加されたAR効果を用いてストップモーションコンテンツをレンダリングするように構成されてもよい。ARレンダリングサブモジュール164は、ストップモーションコンテンツをビデオ共有サービスに書き込むように構成されてもよく、ビデオ共有サービスにおいては、ストップモーション効果を改善するための追加的な後処理が実行されてもよい。

装置100は、ARモデルライブラリ130を含んでもよく、ARモデルライブラリ130は、検出された指標と関連するAR効果又は自動化AR発見的解決モジュール128に格納されるルールによって提供されるAR効果のためのリポジトリとして構成される。例えば、ARモデルライブラリ130は、特定の特性及び対応するAR効果ソフトウェアとともにジェスチャー、音声コマンド、又はマーカーのインデックスを格納してもよい。例えば、AR効果の指標として黄色い色のマーカーを検出した場合には、ARモデルライブラリ130から検索してもよい対応するAR効果は、黄色い煙を含んでもよい。他の例では、ARモデルライブラリ130は、自動化AR発見的解決サブモジュール128に格納されている複数のルールのうちの1つを実行したことに応答して検索可能となる複数のAR効果を格納してもよい。例えば、自動化AR発見的解決サブモジュール128と関連して上記で議論された複数のルールは、ARモデルライブラリ130からの車輪がきしむ音又は衝突音の検索を必要としてもよい。いくつかの実施形態において、ARモデルライブラリ130は、メモリ114の中に存在してもよい。いくつかの実施形態において、ARモデルライブラリ130は、指標検出モジュール120及びコンテンツレンダリングモジュール160がアクセス可能なリポジトリを含んでもよい。

さらに、いくつかの実施形態において、複数の例示的な構成要素のうちの1つ又は複数は、他の構成要素に組み込まれてもよく、或いは、そうでない場合には他の構成要素の一部を構成していてもよい。例えば、いくつかの実施形態において、メモリ114又はメモリ114の複数の部分は、プロセッサ112の中に組み込まれていてもよい。いくつかの実施形態において、装置100のプロセッサ112及び/又はメモリ114は、アイトラッカー110によって提供されるデータを処理するように構成されてもよい。拡張モジュール120及びコンテンツレンダリングモジュール160は、ハードウェア、(例えば、メモリ114に格納される)ソフトウェア、又はそれらの組み合わせを含んでもよいということを理解することができるであろう。

いくつかの実施形態において、記録デバイス132及び/又はセンサアレイ112等の複数の図示されている構成要素のうちのいずれか又はすべては、装置100とは別に装置100に対して遠隔に位置していてもよいが、装置100と通信可能に接続されるということを理解することができるはずである。一般的に、処理能力及び/又はメモリ容量等の装置100の複数の機能のいくつか又はすべてを使用してもよく、又はこれらの機能を、コンテンツ拡張環境140と共有してもよい。さらに、コンテンツ拡張環境の(例えば、拡張現実感(AR)モデルライブラリ130、センサ及び記録データ処理サブモジュール150、拡張モジュール120、及びコンテンツレンダリングモジュール160等の)構成要素のうちの少なくともいくつかは、(装置100と通信可能に接続されることにより)装置100がアクセス可能であってもよいが、必ずしも装置100に存在していなくてもよい。上記の複数の構成要素のうちの1つ又は複数は、装置100にわたって分散されていてもよく、及び/又はこれらの複数の構成要素にサービスを提供するクラウドコンピューティングサービスに存在していてもよい。

動作において、装置100を使用して、付加されたAR効果を有するストップモーションコンテンツを取得することは、以下の動作を含んでもよい。例えば、ユーザは、(動画等の)ストップモーションコンテンツのために、個々のスナップショットを取得するか、又は動画を取り込んでもよい。ユーザは、動画の1つ又は複数のオブジェクトを(例えば、移動させるといったように)操作し、新たな場所においてそれらの1つ又は複数のオブジェクトを取り込むか、又は、オブジェクトを操作する過程で1つ又は複数のオブジェクトの1つの動画を取得してもよい。結果として、ユーザは、上記の特定の実施形態にしたがって、一連の複数のフレームを生成してもよく、それらの一連の複数のフレームは、動画の1つ又は複数のオブジェクトを含んでいてもよい。記録デバイス132によって取り込まれたストップモーションコンテンツは、記録され、レンダリング又はさらなる処理のためにコンテンツレンダリングモジュール160に提供されてもよい。コンテンツレンダリングモジュール160は、以下で説明されるように、AR効果を処理し付加するために、コンテンツ拡張環境140に対して、取得されたストップモーションコンテンツをレンダリングしてもよい。

ユーザは、望ましいAR効果の指標を生成してもよく、そして、それらのAR効果の指標をストップモーションコンテンツに関連させてもよい。AR効果の指標は、コンテンツの生成の間に、又は、上記で生成されたストップモーションコンテンツの最初のバージョンの(例えば、ビデオレンダリングサブモジュール162による)再生の際に、そのストップモーションコンテンツに付加されてもよい。ユーザは、さまざまな方法でAR効果の指標を生成してもよい。例えば、ユーザは、外見上のジェスチャー(air gesture)、タッチジェスチャー(touch gesture)、身体の複数の部分のジェスチャー、音声コマンド、顔の表情、音声コマンド及び顔の表情の複数の異なる組み合わせ、及びその他同様のAR効果の指標を使用してもよい。

ジェスチャーの例についての説明を続けると、ユーザは、あるAR効果と関連しているフレームの中のオブジェクトを指し示し、そのオブジェクトと対話し、又は、そうでない場合には、そのオブジェクトを示してもよい。オブジェクトの指標に加えて、そのジェスチャーは、ある特定のタイプのAR効果を示してもよい。例えば、特定のタイプのジェスチャーは、特定のタイプのAR効果を割り当てられてもよく、第1のジェスチャーは、爆発又は戦闘の指標として役立つことができ、その他も同様である。

ジェスチャーは、(例えば、記録デバイス132を介して取り込まれた)音声コマンドと関連していてもよい。例えば、ユーザは、そのフレームの中のあるオブジェクトを指し示してもよく、そのフレームの中のそのオブジェクトにある特定のタイプのAR効果を付加してもよいという音声コマンドを提供してもよい。あるジェスチャーは、例えば、そのAR効果が持続するフレームの数を示すことにより、そのAR効果の継続時間を示してもよい。

いくつかの実施形態において、音声コマンドは、(例えば、動画キャラクター等の)あるオブジェクト及びそのキャラクターが発話するある特定の物語を示していてもよい。ユーザは、例えば、音声コマンドと関連して顔の表情を使用してもよい。その音声コマンドは、そのAR効果の継続時間の指標を有していてもよい。例えば、話されるべき原稿の長さは、ある特定の数のフレームに対応していてもよく、その原稿は、その特定の数のフレームの間、話されてもよい。他の例では、音声コマンドは、(例えば、"3分"、"5つのフレーム"、又はその他同様の時間長等のように)そのAR効果の時間的なキャラクターを直接示していてもよい。上記のように、音声コマンド、顔の表情、ジェスチャー、又はそれらの組み合わせ等のユーザ入力は、入力の時間におけるタイムスタンプを付されて、その場面と記録されるべき1つ又は複数のフレームとの間の相関を提供してもよい。

ユーザは、(例えば、記録されるべきストップモーションコンテンツのその場面に配置されている複数のオブジェクト等の)複数のマーカーを使用して、AR効果の指標を生成してもよい。例えば、ユーザは、基準マーカー又は基準ステッカーを使用し、その基準マーカー又は基準ステッカーを、特定の場面及び/又は1つ又は複数のフレームとして取り込まれてもよいその特定の場面での複数のオブジェクトと関連させ、望ましいAR効果の複数の指標を生成してもよい。例えば、ユーザは、場面の中にマーカーを配置してもよく、その場面は、取り込まれて、あるAR効果と関連させられるその場面の中のあるオブジェクトを示す。そのマーカーは、AR効果のタイプを示してもよい。また、そのマーカーは、そのAR効果の(例えば、継続時間等の)時間的な特性を示していてもよい。

例えば、複数の異なる色は、異なる数のフレーム、又は、その対応するAR効果が持続する時間期間に対応していてもよい。他の例では、ある数のフレームにあるマーカーを含めること及びそのマーカーをその後取り除くことは、AR効果の時間的特性を示してもよい。他の例では、基準マーカーは、取り込まれるべき場面にキャラクターを付加してもよい。例えば、キャラクターは、"空白(blank)"物理ブロックであってもよく、その"空白"物理ブロックは、適用される基準マーカーによって自身の特性を得てもよい。

望ましいAR効果の指標は、必ずしも、上記のユーザの入力と関連していなくてもよい。言い換えれば、AR効果は、ユーザが目的を持った指示をしなくても、ストップモーション動画との関連で特定のイベントに応答して自動的にそのストップモーションコンテンツに付加されてもよい。AR効果の指標のうちのいくつかは、複数のイベントを含んでいてもよく、それらの複数のイベントは、その装置100によって認識され、それに従って処理されてもよい。例えば、ユーザは、トラッキングモジュール110のセンサアレイ112を使用するといったように、取り込まれるべき場面の中のオブジェクトに複数のセンサを適用してもよい。上記のように、それらの複数のセンサは、複数の近接センサ、複数の慣性センサ、複数の光学センサ、複数の光センサ、複数の音響センサ、複数の温度センサ、複数のサーミスタ、複数の動きセンサ、複数のタッチセンサ、複数の振動センサ、及び/又は他のタイプのセンサを含んでもよい。

それらの複数のセンサは、例えば、ストップモーションコンテンツを記録する間に、記録デバイス132によって記録されるべき(例えば、加速度計、ジャイロスコープ、及びその他同様のセンサ等の)オブジェクトの動きの指標を提供してもよい。例えば、加速度計データの連続的なストリームを、ストップモーション動画を含む複数のビデオフレームに対するタイムスタンプと相関させてもよい。(例えば、拡張モジュール120によってある閾値を上回る加速度パラメータの変化を検出する場合等)加速度計イベントを検出する場合に、最初の相関させるフレームは、対応するAR効果を付加するときに、その対応するAR効果が開始するフレームであってもよい。

例えば、動画のオブジェクトが1つの車両である場合に、ビデオコンテンツの中のその車両の傾くこと(tipping)及びその後の"衝突(crash)"が、その車両の中に埋め込まれている加速度計を起動させる可能性がある。したがって、拡張モジュール120によって検出されるべき(例えば、爆発の音及び/又は煙等の)AR効果の指標を生成してもよい。他の例において、オブジェクト(車両)が、(拡張モジュール120によって検出されてもよいが)概ね90度傾く場合には、衝突音又は突き当たる音(thud sound)を付加する必要がある。しかしながら、加速度計の位置が数フレームの範囲内で後ろに変化する場合には、システムは、(例えば、車輪の軋み(squeal of wheel)又は煙等の)AR効果を停止してもよい。例えば、傾くこと又は急停止等の動きの検出を可能とする場面の中のそのオブジェクトと関連する加速度が存在する場合には、ユーザがその効果を明白には要求しない場合であっても、(例えば、音効果等の)AR効果を付加してもよい。

他の例においては、ストップモーションコンテンツを含む動画を分析してもよく、カメラズームイン又はある特定のオブジェクトへの焦点合わせ、その場面の中のキャラクターの顔の表情、又はその他同様のイベント等の他のタイプのイベントからAR効果の指標を判別してもよい。他の例では、ストップモーションコンテンツを分析して、場合によっては、対応するセンサの測定値の変化又はカメラの焦点合わせの変化を組み合わせて、複数のフレームのシーケンスにおいて発生している状況のある特定のシーケンスが、あるAR効果の負荷を要求している可能性があるということを決定してもよい。例えば、あるオブジェクトの速度の変化を検出することと合わせてそのオブジェクトに対するズームインを分析することは、そのオブジェクトのある障害物又は他のオブジェクトへの衝突が予期され得るという決定につながり、そのストップモーションコンテンツに視覚的なAR効果及び/又は音のAR効果を付加する必要がある可能性がある。

拡張モジュール120が、(上記のように、ユーザ入力に関連するAR効果又はイベントに関連するAR効果のいずれかの)AR効果の指標を検出する場合には、拡張モジュール120は、その指標に対応するAR効果を検索し、例えば、フレームの中のAR効果の位置(配置)及び(例えば、持続するAR効果にいくつのフレームが使用されているか等の)AR効果の継続時間を決定することにより、そのAR効果とストップモーションコンテンツとを関連させてもよい。上記の対応する指標からAR効果の配置を決定してもよい。例えば、ジェスチャーは、オブジェクトを指し示してもよく、AR効果は、そのオブジェクトと関連付けられていてもよい。他の例では、音声コマンドが、AR効果の配置を示していてもよい。他の例では、マーカーの配置が、AR効果の配置を示していてもよい。

同様に、上記のように、音声コマンドを使用して、或いは、(マーカーの色等の)他の指標を使用して、AR効果の継続時間を決定してもよい。他の例では、AR効果の継続時間をAR効果のデータと関連させてもよく、AR効果の継続時間は、あらかじめ決められていてもよい。他の例では、フレームの中でのオブジェクト及び(例えば、動き、移動、方向の変化、又はその他同様の運動状態等の)それらのオブジェクトの運動状態を分析することにより、そのフレームからAR効果の継続時間を導出してもよい。上記で説明した車両の動画の上記の例では、車両は、いくつかのフレームにわたってスリップしてもよく、そのスリップに対応する音効果は、それらのフレームの数に応じて持続すると決定されてもよい。

AR効果の配置及び継続時間が決定されると、(例えば、拡張現実感レンダリングサブモジュール164により)そのAR効果をストップモーションコンテンツに関連させてもよい。いくつかの実施形態において、ストップモーションコンテンツの最初のバージョンを記録してレンダリングする間に、関連性が生じてもよい。いくつかの実施形態において、ストップモーションコンテンツの最初のバージョンをはじめに記録してもよく、ストップモーションコンテンツのレンダリングの間に、そのAR効果をそのストップモーションコンテンツと関連させてもよい。いくつかの実施形態において、AR効果のストップモーションコンテンツとの関連性は、(例えば、決まった継続時間の間に決まった位置にそのAR効果を配置すること等の)ストップモーションコンテンツにそのAR効果を付加することを含んでもよい。他の例では、関連性は、(例えば、ストップモーションコンテンツの中で識別されたAR効果の決定された配置及び継続時間等の)関連性に関する情報を格納すること、及び、(例えば、ビデオレンダリングサブモジュール162によるそのストップモーションコンテンツの他のレンダリングの間等の)他の反復において、そのストップモーションコンテンツにAR効果を付加することを含んでもよい。

識別されたAR効果を上記のようにストップモーションコンテンツに付加した後に、例えば、ディスプレイ134でそのストップモーションコンテンツをユーザに対してレンダリングしてもよい。上記のように、結果として生じる場面のオブジェクトを操作し、それらの場面のスナップショット(フレーム)を記録することにより、規則的な方法でストップモーションコンテンツを生成してもよい。複数の実施形態において、ストップモーション動画生成のために1つの動画の形態でストップモーションコンテンツを取り込み、続いて、そのストップモーションコンテンツを編集してもよい。例えば、(ユーザの手による、又はレバーによる、或いはその他同様の手段による)オブジェクトの操作を含むフレームを、例えば、その動画の分析及び(例えば、ユーザの手、レバー、又はその他同様のもの等の)無関係なオブジェクトを検出することに基づいて除外してもよい。上記のように、動作をストップモーションコンテンツに変換する動作は、AR効果を識別し、そして、ストップモーションコンテンツに識別したAR効果を付加することを目的とする動作と組み合わせられてもよい。いくつかの実施形態において、動画をストップモーションコンテンツに変換する動作は、ストップモーションコンテンツに識別されたAR効果を付加する動作の前に行われてもよい。

他の例においては、操作されたブロックは、例えば、キャパシタンス又は圧力感受性素子によって可能とされるタッチセンサ式表面を有していてもよい。ユーザが話しながらそのタッチセンサ式ブロックに触れた場合には、そのユーザの声は、そのブロックが原因となっていると考えられてもよい。ブロックは、そのブロックと関連する物語ベースのキャラクターを有していてもよく、したがって、上記のように、ユーザの声は、そのストップモーション拡張現実感動画の中のそのキャラクターのように聞こえるように修正されてもよい。他の例において、ユーザは、自身の顔の表情を変えながらタッチセンサ式ブロックを保持してもよい。1つの例において、ブロックへのタッチ及びその人間の顔が検出されてもよく、そのストップモーション拡張現実感動画の中のそのブロックに向けられたその人間の顔の表情の分析が行われてもよい。

図2は、図1を参照して説明された複数の技術を使用して、いくつかの実施形態にしたがってAR効果を付加する1つの例を図示している。描画200は、ストップモーションコンテンツを記録するための場面の生成を図示している。(例えば、キャラクター1(204)を含むいくつかのキャラクターを内部に有する家である)オブジェクト202が、ユーザの手206によって操作されている。描画220は、望ましいAR効果の指標のユーザによる提供を図示している。ユーザの手206が、オブジェクトを示すジェスチャーを提供する(この場合には、描画220においては一目瞭然ではないキャラクター1(204)の場所を指し示す又は決定する)手として示され、望ましいAR効果が、そのオブジェクトと関連付けられてもよい。ユーザは、そのジェスチャーと関連して音声コマンドを発行してもよい。例えば、ユーザは、キャラクター1(204)についての物語を示す音声コマンドを発行してもよい。この場合には、その物語は、"私の勝ちだ!"との一文を含んでもよい。AR効果の指標は、ジェスチャーを含んでもよく、そのジェスチャーは、意図したセリフそれ自体及びその意図したセリフを言うであろうキャラクターを示してもよい。音声コマンドによりそのキャラクターの指標を提供して、望ましいAR効果の正しい検出を保証してもよい。したがって、音声コマンドは、"キャラクター1が、"私の勝ちだ!"という"ということを含んでもよい。描画200及び220に図示されている場面は、(例えば、記録モジュール132によって)記録されてもよい。

描画240は、結果として生じる場面を含み、結果として生じる場面は、ストップモーションコンテンツとして記録されるべき場面であり、描画200及び220に図示されている場面に基づいている。結果として生じる場面は、フレーム242及びそのフレーム242の一部を拡大した描画244を含んでいてもよい。図1を参照して説明された装置100のコンテンツ拡張環境140及び動作を使用してAR効果(ユーザのジェスチャー及び音声コマンド)の指標を検出することの結果として、対応するAR効果は、識別されて、その場面に、例えば、キャラクター1(204)に付加される。すなわち、その物語を話すべきキャラクターは、上記のように、ジェスチャー及び音声コマンドによって識別される。キャラクター1によって話されるべき物語は、キャラクター1に割り当てられてもよい。また、話されるべき物語は、例えば、キャラクター1等のキャラクターの声に適合する声に変換されてもよい。したがって、結果として生じるフレーム242は、ストップモーションコンテンツの一部であってもよく、そのストップモーションコンテンツは、望ましいAR効果を含んでもよい。上記のAR効果は、ユーザによって指示されたように音声コマンドによってキャラクター1(204)と関連付けられていてもよい。より具体的には、キャラクター1(204)は、描画220の中でユーザによって提供された物語にしたがって他のキャラクターであるキャラクター2(216)に話しかける。拡大された描画244に示されているように、キャラクター1(204)は、自身の声により"私の勝ちだ!"と大声で叫ぶ。

図3は、いくつかの実施形態にしたがってストップモーションコンテンツにAR効果を付加する例示的なプロセスを図示している。例えば、装置100によって上記のプロセス300を実行してもよく、図1を参照して説明されたコンテンツ拡張環境140を装置100に提供してもよい。

プロセス300は、ブロック302で開始し、ストップモーションコンテンツを有する複数のフレームを取得するステップを含む。ストップモーションコンテンツは、例えば、AR効果のユーザによって入力された指標、トラッキングモジュール110によって提供されたセンサの測定値、及びその他同様のデータ等の関連するデータを含んでもよい。

ブロック304において、プロセス300は、ストップモーションコンテンツの少なくとも1つのフレームにおいて拡張現実感効果の指標を検出するルーティンを拡張モジュール120を使用して実行するステップを含んでもよい。ブロック304のルーティンは、図4を参照してより詳細に説明される。

ブロック306において、プロセス300は、(例えば、拡張モジュール120により)複数のフレームのうちの少なくともいくつかのフレームに指標に対応する拡張現実感効果を付加するステップを含んでもよい。いくつかの実施形態において、拡張現実感効果を付加するステップは、記録されたストップモーションコンテンツの2番目のレンダリングの間に、(図4を参照して説明される)ルーティン304によって取得される関連性データに基づいて行われてもよい。他の実施形態においては、拡張現実感効果を付加するステップは、記録されたストップモーションコンテンツの最初のレンダリングの間に行われてもよい。

ブロック308において、プロセス300は、(例えば、コンテンツレンダリングモジュール160によって)表示のために、付加された拡張現実感効果を有する複数のフレームをレンダリングするステップを含んでもよい。

図4は、いくつかの実施形態にしたがってストップモーションコンテンツの中の拡張現実感効果の指標を検出する例示的なルーティン400を図示している。図1を参照して説明された拡張モジュール120を有するように構成された装置100によって上記のプロセス400を実行してもよい。

プロセス400は、ブロック402で開始してもよく、(存在する場合には)拡張現実感効果の指標を検出するために、ストップモーションコンテンツのフレーム及び関連するデータを分析するステップを含んでもよい。上記のように、拡張現実感効果の指標は、音声コマンド、基準マーカー、ジェスチャー、ユーザの顔の表情、又はそれらの組み合わせを含んでもよい。いくつかの実施形態において、拡張現実感効果の指標は、センサの測定値の変化、カメラの焦点合わせの変化、その場面におけるキャラクターの顔の表情の変化、又はそれらの組み合わせを含んでもよい。

判定ブロック404において、プロセス400は、上記で説明された拡張現実感効果の指標が検出されたか否かを判定するステップを含んでもよい。いかなる指標も検出されていない場合には、プロセス400は、ブロック414に移動してもよい。拡張現実感効果の指標が検出されている場合には、プロセス400は、ブロック406に移動してもよい。

ブロック406において、プロセス400は、指標に対応する拡張現実感効果を識別するステップを含んでいてもよい。図1を参照して説明されたように、検出された指標に対応する拡張現実感効果は、識別されて、例えば、拡張現実感モデルライブラリ130から検索されてもよい。

ブロック408において、プロセス400は、そのフレームの中の拡張現実感効果の継続時間及び拡張現実感効果の配置を判定するステップを含んでもよい。上記で説明されたように、(拡張現実感効果の継続時間を直接に提示してもよい)音声コマンド、(例えば、拡張現実感効果が持続する可能性があるフレームの数を示す)ジェスチャー、(例えば、ある特定の色の)マーカー、及びその他同様のものから拡張現実感効果の継続時間を決定してもよい。(拡張現実感効果が関連付けられているオブジェクトを指し示してもよい)ジェスチャー、(拡張現実感効果の配置を示してもよい)音声コマンド、(拡張現実感効果の配置を示してもよい)マーカー、及びその他同様のものから拡張現実感効果の配置を決定してもよい。

ブロック410において、プロセス400は、ブロック408において行われた判定に基づいて拡張現実感効果と1つ又は複数のフレームとを関連させるステップを含んでもよい。より具体的には、拡張現実感効果を、ブロック408において判定された継続時間のデータ及び配置のデータと関連させてもよい。代替的に又はさらに、上記の継続時間のデータ及び配置のデータにしたがって、ストップモーションコンテンツに拡張現実感効果を付加してもよい。

判定ブロック412において、プロセス400は、検閲されている現在のフレーム(current frame being reviewed)がストップモーションコンテンツの中で最後のフレームであるか否かを判定するステップを含んでもよい。現在のフレームが最後のフレームではない場合には、プロセス400は、ブロック414に移動し、ブロック414は、分析のために次のフレームに移るようにプロセス400に指示してもよい。

図4を参照して説明された複数の動作は、必ずしも、説明された順序で行われなくてもよいということを理解すべきである。例えば、ブロック408に対応する動作は、ブロック406に対応する動作と同時に行われてもよい。

図5は、例示的なコンピューティングデバイス500を図示しており、そのコンピューティングデバイス500は、さまざまな実施形態にしたがって本開示の複数の態様を実用化するための使用に適している。図示されているように、コンピューティングデバイス500は、1つ又は複数のプロセッサ或いは1つ又は複数のプロセッサコア502、及びシステムメモリ504を含んでもよい。上記の適用のために、特許請求の範囲を含めて、"プロセッサ"の語及び"プロセッサコア"の語は、特に示す場合を除き、同義語として考えられてもよい。プロセッサ502は、中央処理ユニット(CPU)、マイクロプロセッサ、及びその他同様のプロセッサ等のいずれかのタイプのプロセッサを含んでもよい。プロセッサ502は、例えば、マルチコアプロセッサ等のマルチコアを有する1つの集積回路として実装されてもよい。コンピューティングデバイス500は、(ディスケット、ハードドライブ、(DRAM等の)揮発性メモリ、コンパクトディスク読み出し専用メモリ(CD-ROM)、ディジタル多用途ディスク(DVD)等の)大規模記憶デバイス506を含んでもよい。一般的に、システムメモリ504及び/又は大規模記憶デバイス506は、いずれかのタイプの一時的な記憶装置及び/又は永続的な記憶装置であってもよく、それらの一時的な記憶装置及び永続的な記憶装置は、これらには限定されないが、揮発性メモリ及び不揮発性メモリ、光大規模記憶装置、磁気大規模記憶装置、及び/又は半導体大規模記憶装置等を含んでもよい。揮発性メモリは、これらには限定されないが、スタティックメモリ及び/又はダイナミックランダムアクセスメモリを含んでもよい。不揮発性メモリは、これらには限定されないが、電気的に消去可能なプログラマブル読み出し専用メモリ、相変化メモリ、抵抗性メモリ等を含んでもよい。

コンピューティングデバイス500は、(ディスプレイ134、キーボード、カーソルコントローラ、リモートコントローラ、ゲーム用コントローラ、撮像デバイス等の)入力/出力(I/O)デバイス508、及び(ネットワークインターフェイスカード、モデム、赤外線受信機、(例えば、ブルートゥース（登録商標）等の)赤外線受信機等の)通信インターフェイス(comm INTF)をさらに含んでもよい。I/Oデバイス508は、図示されているように、トラッキングモジュール110の複数の構成要素をさらに含んでもよい。

通信インターフェイス510は、(図示されていない)複数の通信チップを含んでもよく、それらの複数の通信チップは、Global System for Mobile Communication(GSM)、汎用パケット無線サービス(GPRS)、ユニバーサル移動体通信システム(UMTS)、高速パケットアクセス(HSPA)、進化型HSPA(E-HSPA)、又はLTEネットワークにしたがってデバイス500(又は100)を動作させるように構成されていてもよい。複数の通信チップは、Enhanced Data for GSM Evolution(EDGE)、GSM EDGE無線アクセスネットワーク(GERRAN)、ユニバーサル地上波無線アクセスネットワーク(UTRAN)、又は進化型UTRAN(E-UTRAN)に従って動作するように構成されていてもよい。複数の通信チップは、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、ディジタル強化型コードレス通信(DECT)、Evolution-Data Optimized(EV-DO)、及びこれらのプロトコルの派生版、のみならず3G、4G、5G、及びそれらの後継規格として指定されるいずれかの他の無線プロトコルにしたがって動作するように構成されていてもよい。通信インターフェイス510は、他の実施形態においては他の無線プロトコルにしたがって動作してもよい。

システムバス512を介して上記のコンピューティングデバイス500の複数の要素を互いに接続してもよく、図中のシステムバス512は、1つ又は複数のバスを表していてもよい。複数のシステムバスがある場合には、(図示されてはいない)1つ又は複数のバスブリッジによってそれらの複数のシステムバスを橋絡してもよい。これらの複数の要素の各々は、従来技術において既知である自身の伝統的な機能を実行してもよい。特に、システムメモリ504及び大規模記憶デバイス508を使用して、複数のプログラミング命令のワーキングコピー及びパーマネントコピーを格納してもよく、それらの複数のプログラミング命令は、例えば、計算ロジック522として一般的に図示され、図1、3、及び4を参照して説明された拡張モジュール120及びレンダリングモジュール160等のコンテンツ拡張環境140を提供することと関連する動作である装置100と関連する動作を実行してもよい。1つ又は複数のプロセッサ502によってサポートされる複数のアセンブラ命令或いはそのような複数のアセンブラ命令にコンパイルされてもよいハイレベル言語によって計算ロジック522を実装してもよい。

上記のプログラミング命令のパーマネントコピーは、工場で、或いは、コンパクトディスク(CD)等の(図示されていない)分散媒体を介して又は((図示されていない)分散サーバから)通信インターフェイス510を介して使用の現場において大規模記憶デバイス506に配置されてもよい。

より一般的には、本明細書で説明された複数のプロセスと関連する複数の動作のうちのすべて又は選択された1つ1つを実現するように構成される複数の命令は、非一時的コンピュータ読み取り可能な記憶媒体又は(例えば、大規模記憶デバイス506等の)多数の記憶媒体に存在していてもよい。非一時的コンピュータ読み取り可能な記憶媒体は、いくつかのプログラミング命令を含んでもよく、それらのプログラミング命令は、当該プログラミング命令の実行に応答して、図3及び図4を参照して説明された複数のプロセスの1つ又は複数の動作をコンピューティングデバイス500等のデバイスが実行するのを可能にしてもよい。代替的な実施形態において、コンピュータ読み取り可能な複数の一時的な信号の中に複数のプログラミング命令を符号化してもよい。

セットトップボックス又はデスクトップコンピュータ等の静止したコンピューティングデバイスとして、或いは、タブレットコンピューティングデバイス、ラップトップコンピュータ、ゲームコンソール、又はスマートフォン等の移動可能なコンピューティングデバイスとして、コンピューティングデバイス500を使用するか否かに応じて、要素508、510、及び512の数、能力、及び/又は容量は、変動してもよい。そうでない場合には、それらの構成は既知であり、したがって、さらに説明されることはない。

複数のプロセッサ502のうちの少なくとも1つは、計算ロジック522を有するメモリとともにひとまとめにされてもよく、計算ロジック522は、図1乃至4を参照して説明された複数の実施形態の複数の態様を実現するように構成される。例えば、図1を参照して説明された構成要素120等のコンテンツ拡張環境140を含むように或いはコンテンツ拡張環境140にアクセスするように、計算ロジック522を構成してもよい。1つの実施形態については、複数のプロセッサ502のうちの少なくとも1つは、計算ロジック522を有するメモリとともにひとまとめにされてもよく、計算ロジック522は、システムインパッケージ(System in Package(SiP))又はシステムオンチップ(System on Chip(SoC))を形成して、図3及び図4のプロセス300及びプロセス400の複数の態様を実現するように構成されてもよい。

さまざまな実施形態において、コンピューティングデバイス500は、ラップトップ、ネットブック、ノートブック、ウルトラブック、スマートフォン、タブレット、パーソナルディジタルアシスタント(PDA)、ウルトラモバイルPC、携帯電話、デスクトップコンピュータ、サーバ、プリンター、スキャナ、モニタ、セットトップボックス、エンターテイメントコントロールユニット、ディジタルカメラ、携帯用音楽プレイヤー、又はディジタルビデオレコーダーを含んでもよい。さらなる実装において、コンピューティングデバイス500は、データを処理するいずれかの他の電子デバイスであってもよい。

以下の複数の段落は、さまざまな実施形態の複数の例を記載している。
例1は、ストップモーションコンテンツを拡張する装置であって、
プロセッサと、
前記プロセッサによって動作させられ、ストップモーションコンテンツを有する複数のフレームを取得するコンテンツモジュールであって、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含む、コンテンツモジュールと、
前記プロセッサによって動作させられ、前記拡張現実感効果の前記指標を検出し、前記ストップモーションコンテンツを有する前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を付加する拡張モジュールとを含む、ストップモーションコンテンツを拡張する装置である。

例2は、例1の主題を含んでもよく、前記コンテンツモジュールは、表示のために前記付加された拡張現実感効果を有する前記複数のフレームをさらにレンダリングするように構成され、前記付加された拡張現実感効果を有する前記複数のフレームは、1つのストップモーション動画を形成する。

例3は、例1の主題を含んでもよく、前記拡張モジュールは、前記指標にしたがって拡張現実感効果リポジトリから前記拡張現実感効果を検索するように構成される。

例4は、例1の主題を含んでもよく、複数のフレームを取得する前記コンテンツモジュールは、ユーザ入力を含むデータを含む前記複数のフレームの各々を記録するように構成され、前記ユーザ入力は、1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む。

例5は、例4の主題を含んでもよく、前記拡張現実感効果の前記指標は、音声コマンド、基準マーカー、ジェスチャー、ユーザの顔の表情、又はそれらの組み合わせのうちの1つ又は複数から選択される。

例6は、例1の主題を含んでもよく、前記拡張現実感効果の前記指標を検出する前記拡張モジュールは、前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析するように構成される。

例7は、例1の主題を含んでもよく、前記拡張現実感効果を付加する拡張モジュールは、前記ストップモーションコンテンツと関連する前駆拡張現実感効果の配置及び継続時間を決定するように構成される。

例8は、例1乃至例8のいずれかの主題を含んでもよく、前記拡張現実感効果の前記指標を検出する前記拡張モジュールは、ユーザ入力とは無関係であるとともに前記拡張現実感効果の前記指標を含む1つ又は複数のイベントを識別するように構成される。

例9は、例8の主題を含んでもよく、1つ又は複数のイベントを識別する前記拡張モジュールは、1つ又は複数のセンサによって提供され、前記1つ又は複数のフレームの中に取り込まれたオブジェクトと関連する複数の測定値を取得するように構成される。

例10は、例9の主題を含んでもよく、1つ又は複数のイベントを識別する前記拡張モジュールは、カメラの焦点合わせの変化及び前記1つ又は複数のフレームと関連する前記センサの測定値の対応する変化の組み合わせを検出するように構成される。

例11は、例1乃至例10のいずれかの主題を含んでもよく、ストップモーションコンテンツを有する複数のフレームを取得する前記コンテンツモジュールは、第1の複数のフレームを有する1つの動画を取得し、前記複数のフレームのうちの少なくともいくつかのフレームの中の1つ又は複数のオブジェクトに対するユーザの操作を検出し、そして、検出されたユーザの操作を含むそれらのフレームを除外して、第2の複数のフレームを形成するように構成され、前記第2の複数のフレームは、前記ストップモーションコンテンツを含む複数のフレームを含む。

例12は、コンピュータによって実装され、ストップモーションコンテンツを拡張する方法であって、
ストップモーションコンテンツを含む複数のフレームをコンピューティングデバイスによって取得するステップであって、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含む、ステップと、
前記コンピューティングデバイスによって前記拡張現実感効果の前記指標を検出するステップと、
前記ストップモーションコンテンツを含む前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を前記コンピューティングデバイスによって付加するステップとを含む、ストップモーションコンテンツを拡張する方法である。

例13は、例12の主題を含んでもよく、表示のために前記付加された拡張現実感効果を有する前記複数のフレームを前記コンピューティングデバイスによってレンダリングするステップをさらに含む。

例14は、例12の主題を含んでもよく、複数のフレームをコンピューティングデバイスによって取得するステップは、ユーザ入力を含むデータを含む前記複数のフレームの各々を前記コンピューティングデバイスによって記録するステップを含み、前記ユーザ入力は、1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む。

例15は、例12乃至例14のいずれかの主題を含んでもよく、前記コンピューティングデバイスによって前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析するステップをさらに含む。

例16は、例12乃至例15のいずれかの主題を含んでもよく、前記拡張現実感効果の前記指標を検出するステップは、1つ又は複数のセンサによって提供され、前記1つ又は複数のフレームの中に取り込まれたオブジェクトと関連する複数の測定値を前記コンピューティングデバイスによって取得するステップを含む。

例17は、ストップモーションコンテンツを拡張する命令を格納している1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体であって、コンピューティングデバイスによる実行に応答して、
ストップモーションコンテンツを含む複数のフレームを取得し、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含み、
前記拡張現実感効果の前記指標を検出し、
前記ストップモーションコンテンツを含む前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を付加する、コンテンツ拡張環境を前記コンピューティングデバイスに提供する、1つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

例18は、例17の主題を含んでもよく、前記コンテンツ拡張環境は、前記指標にしたがって拡張現実感効果リポジトリから前記拡張現実感効果を検索するように構成される。

例19は、例17及び例18のいずれかの主題を含んでもよく、前記コンテンツ拡張環境は、ユーザ入力を含むデータを含む前記複数のフレームの各々を記録するように構成され、前記ユーザ入力は、1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む。

例20は、例17乃至例19のいずれかの主題を含んでもよく、前記コンテンツ拡張環境は、前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析するように構成される。

例21は、ストップモーションコンテンツを拡張する装置であって、
ストップモーションコンテンツを含む複数のフレームを取得する手段であって、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含む、手段と、
前記拡張現実感効果の前記指標を検出する手段と、
前記ストップモーションコンテンツを含む前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を付加する手段とを含む、ストップモーションコンテンツを拡張する装置である。

例22は、例21の主題を含んでもよく、表示のために前記付加された拡張現実感効果を有する前記複数のフレームをレンダリングする手段をさらに含む。

例23は、例21の主題を含んでもよく、複数のフレームを取得する手段は、ユーザ入力を含むデータを含む前記複数のフレームの各々を記録する手段を含み、前記ユーザ入力は、1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む。

例24は、例21乃至例23のいずれかの主題を含み、前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析する手段をさらに含む。

例25は、例21乃至例24のいずれかの主題を含んでもよく、前記拡張現実感効果の前記指標を検出する手段は、1つ又は複数のセンサによって提供され、前記1つ又は複数のフレームの中に取り込まれたオブジェクトと関連する複数の測定値を取得する手段を含む。

(非一時的コンピュータ読み取り可能な記憶媒体を含む)コンピュータ読み取り可能な記憶媒体、上記で説明された複数の技術を実行する方法、装置、システム、及びデバイスは、本明細書に開示されている複数の実施形態の説明として役立つ複数の例である。さらに、上記で説明された相互作用に関与する他のデバイスを、さまざまな開示されている技術を実行するように構成してもよい。

ある複数の実施形態は、説明の目的で本明細書において図示され及び説明されるが、本開示の範囲から逸脱することなく、多種多様の代替的な及び/又は等価な複数の実施形態又は複数の実装が、同一目的を達成するように計算され、それらの代替的な及び/又は等価な複数の実施形態又は複数の実装は、図示され説明された複数の実施形態の代わりに用いられてもよい。この出願は、本明細書中で説明された複数の実施形態のいずれの適合あるいは変更も対象とするように意図されている。したがって、本明細書中で説明された複数の実施形態は、特許請求の範囲によってのみ限定されてもよいということが明白に意図されている。

Claims (26)

1. ストップモーションコンテンツを拡張する装置であって、
   プロセッサと、
   前記プロセッサによって動作させられ、ストップモーションコンテンツを有する複数のフレームを取得するコンテンツモジュールであって、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含む、コンテンツモジュールと、
   前記プロセッサによって動作させられ、前記拡張現実感効果の前記指標を検出し、前記ストップモーションコンテンツを有する前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を付加する拡張モジュールとを含む、
   装置。
2. 前記コンテンツモジュールは、表示のために前記付加された拡張現実感効果を有する前記複数のフレームをさらにレンダリングするように構成され、前記付加された拡張現実感効果を有する前記複数のフレームは、ストップモーション動画を形成する、請求項１に記載の装置。
3. 前記拡張モジュールは、前記指標にしたがって拡張現実感効果リポジトリから前記拡張現実感効果を検索するように構成される、請求項１に記載の装置。
4. 複数のフレームを取得する前記コンテンツモジュールは、ユーザ入力を含むデータを含む前記複数のフレームの各々を記録するように構成され、前記ユーザ入力は、前記1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む、請求項１に記載の装置。
5. 前記拡張現実感効果の前記指標は、音声コマンド、基準マーカー、ジェスチャー、ユーザの顔の表情、又はそれらの組み合わせのうちの1つ又は複数から選択される、請求項４に記載の装置。
6. 前記拡張現実感効果の前記指標を検出する前記拡張モジュールは、前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析するように構成される、請求項１に記載の装置。
7. 前記拡張現実感効果を付加する拡張モジュールは、前記ストップモーションコンテンツと関連する前駆拡張現実感効果の配置及び継続時間を決定するように構成される、請求項１に記載の装置。
8. 前記拡張現実感効果の前記指標を検出する前記拡張モジュールは、ユーザ入力とは無関係であるとともに前記拡張現実感効果の前記指標を含む1つ又は複数のイベントを識別するように構成される、請求項１に記載の装置。
9. 1つ又は複数のイベントを識別する前記拡張モジュールは、1つ又は複数のセンサによって提供され、前記1つ又は複数のフレームの中に取り込まれたオブジェクトと関連する測定値を取得するように構成される、請求項８に記載の装置。
10. 1つ又は複数のイベントを識別する前記拡張モジュールは、カメラの焦点合わせの変化及び前記1つ又は複数のフレームと関連する前記センサの測定値の対応する変化の組み合わせを検出するように構成される、請求項９に記載の装置。
11. ストップモーションコンテンツを有する複数のフレームを取得する前記コンテンツモジュールは、
    第1の複数のフレームを有する動画を取得し、
    前記第1の複数のフレームのうちの少なくともいくつかのフレームの中の1つ又は複数のオブジェクトに対するユーザの操作を検出し、
    検出されたユーザの操作を含む前記少なくともいくつかのフレームを除外して、第2の複数のフレームを形成するように構成され、前記第2の複数のフレームは、前記ストップモーションコンテンツを含む複数のフレームを含む、請求項１乃至１０のいずれか１項に記載の装置。
12. コンピュータによって実装され、ストップモーションコンテンツを拡張する方法であって、
    ストップモーションコンテンツを含む複数のフレームをコンピューティングデバイスによって取得するステップであって、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含む、ステップと、
    前記コンピューティングデバイスによって前記拡張現実感効果の前記指標を検出するステップと、
    前記ストップモーションコンテンツを含む前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を前記コンピューティングデバイスによって付加するステップとを含む、
    方法。
13. 表示のために前記付加された拡張現実感効果を有する前記複数のフレームを前記コンピューティングデバイスによってレンダリングするステップをさらに含む、請求項１２に記載の方法。
14. 複数のフレームをコンピューティングデバイスによって取得するステップは、ユーザ入力を含むデータを含む前記複数のフレームの各々を前記コンピューティングデバイスによって記録するステップを含み、前記ユーザ入力は、前記1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む、請求項１２に記載の方法。
15. 前記コンピューティングデバイスによって前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析するステップをさらに含む、請求項１２に記載の方法。
16. 前記拡張現実感効果の前記指標を検出するステップは、1つ又は複数のセンサによって提供され、前記1つ又は複数のフレームの中に取り込まれたオブジェクトと関連する測定値を前記コンピューティングデバイスによって取得するステップを含む、請求項１２乃至１５のいずれか１項に記載の方法。
17. ストップモーションコンテンツを拡張するコンピュータ実行可能な命令を含むコンピュータプログラムであって、コンピューティングデバイスのプロセッサでの実行に応答して、前記コンピュータ実行可能な命令は、前記コンピューティングデバイスに、
    ストップモーションコンテンツを含む複数のフレームを取得し、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含み、
    前記拡張現実感効果の前記指標を検出し、
    前記ストップモーションコンテンツを含む前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を付加する、コンテンツ拡張環境を実装させる、
    コンピュータプログラム。
18. 前記コンテンツ拡張環境は、前記指標にしたがって拡張現実感効果リポジトリから前記拡張現実感効果を検索するように構成される、請求項１７に記載のコンピュータプログラム。
19. 前記コンテンツ拡張環境は、ユーザ入力を含むデータを含む前記複数のフレームの各々を記録するように構成され、前記ユーザ入力は、前記1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む、請求項１７に記載のコンピュータプログラム。
20. 前記コンテンツ拡張環境は、前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析するように構成される、請求項１７乃至１９のいずれか１項に記載のコンピュータプログラム。
21. ストップモーションコンテンツを拡張する装置であって、
    ストップモーションコンテンツを含む複数のフレームを取得する手段であって、前記複数のフレームのうちの1つ又は複数のフレームは、拡張現実感効果の指標を含む、手段と、
    前記拡張現実感効果の前記指標を検出する手段と、
    前記ストップモーションコンテンツを含む前記複数のフレームのうちの少なくともいくつかのフレームに前記指標に対応する前記拡張現実感効果を付加する手段とを含む、
    装置。
22. 表示のために前記付加された拡張現実感効果を有する前記複数のフレームをレンダリングする手段をさらに含む、請求項２１に記載の装置。
23. 複数のフレームを取得する手段は、ユーザ入力を含むデータを含む前記複数のフレームの各々を記録する手段を含み、前記ユーザ入力は、前記1つ又は複数のフレームと関連する前記拡張現実感効果の前記指標を含む、請求項２１に記載の装置。
24. 前記拡張現実感効果の前記指標について前記複数のフレームの各々を分析する手段をさらに含む、請求項２１に記載の装置。
25. 前記拡張現実感効果の前記指標を検出する手段は、1つ又は複数のセンサによって提供され、前記1つ又は複数のフレームの中に取り込まれたオブジェクトと関連する測定値を取得する手段を含む、請求項２１乃至２４のいずれか１項に記載の装置。
26. 請求項１７乃至２０のいずれか１項に記載のコンピュータプログラムを格納している非一時的コンピュータ読み取り可能な記憶媒体。

Images