JP2018533109A - 反応型映像生成方法及び生成プログラム - Google Patents

Abstract

【課題】本発明は、反応型映像生成方法及び生成プログラムに関する。【解決手段】本発明の一実施形態に係る反応型映像生成方法は、コンピュータが第１映像を獲得する第１映像獲得段階（Ｓ１００）と、特定の再生範囲を指定する入力を受信し、前記再生範囲は、前記第１映像内の全体区間又は一部区間に該当する再生範囲指定段階（Ｓ２００）と、前記再生範囲内に含まれている１つ以上の映像フレームの全体領域又は特定領域に特定の入力操作を連結する段階（Ｓ３００）とを含み、前記入力操作は、前記再生範囲内の映像フレームの移動を調節し、前記第１映像内の再生範囲の対象体の動きに相応する。本発明によれば、一般的な映像撮影装置により撮影された映像を特定の入力操作と連結し、再生時に映像がユーザの入力操作を検知して反応するかのようにユーザが感じるようにすることができる。【選択図】図１

Description

本発明は反応型映像生成方法及び生成プログラムに関し、より詳細には、映像を視聴するユーザの入力操作に応じて変動的に再生され得る映像を生成する方法及びプログラムに関する。

近年、映像撮影技術が飛躍的に発展しつつある。カムコーダ、デジタルカメラだけでなく、スマートフォンなどの移動端末も高い解像度の映像を撮影できる。また、３６０度カメラ、３Ｄ映像カメラなどが登場している。

映像は映像撮影装置により撮影され、特定のフォーマットで格納され、再生可能な端末により再生される。映像の再生は、視聴者と相互作用（Ｉｎｔｅｒａｃｔｉｏｎ）なしに一方的に時間順に提供される。即ち、視聴者は、再生される映像を通じて視覚的な感覚のみを感じることができる。

そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、ユーザの入力操作と再生映像のフレームをマッチして反応型映像を生成することにより、映像の再生時にユーザが入力する入力操作に応じて映像が反応するかのようにユーザが感じるようにする反応型映像生成方法及び生成プログラムを提供することにある。

本発明の一実施形態に係る反応型映像生成方法は、コンピュータが第１映像を獲得する第１映像獲得段階と、特定の再生範囲を指定する入力を受信し、前記再生範囲は、前記第１映像内の全体区間又は一部区間に該当する再生範囲指定段階と、前記再生範囲内に含まれている１つ以上の映像フレームの全体領域又は特定領域に特定の入力操作を連結する段階とを含み、前記入力操作は、前記再生範囲内の映像フレームの移動を調節し、前記第１映像内の再生範囲の対象体の動きに相応する。

また、前記再生範囲は、第１地点から第２地点へ動く対象体を含む１つ以上の映像フレームを含み、前記入力操作は、前記第１地点から前記第２地点へ動く操作であり、前記入力操作連結段階は、前記再生範囲に含まれるそれぞれのフレームを前記入力操作に対応する領域にマッチすることを特徴とする。

更に、前記入力操作連結段階は、前記再生範囲内の１つ以上の映像フレーム上に結合する仮想レイヤを生成する段階と、特定数の細部セルに前記仮想レイヤを分割する段階と、それぞれの細部セルに対応する特定のフレームをマッチする段階とを含むことができる。

また、前記入力操作連結段階は、各映像フレーム内の対象体に含まれている特定の特徴点を認識する段階と、連続する映像フレーム内の前記特徴点を基に前記対象体の移動経路を生成する段階と、複数の細部セルを含む仮想レイヤを生成し、前記細部セルは、連続する映像フレームの特徴点間を分割して生成される仮想レイヤ生成段階とを含むことができる。

更に、前記仮想レイヤ生成段階は、前記対象体の動き経路が直線ではない曲線である場合、前記曲線までの垂直距離の和又は標準偏差が最小の直線を算出する段階と、前記直線に垂直に分割された複数の細部セルを含む仮想レイヤを生成する段階とを含むことができる。

また、前記仮想レイヤ生成段階は、前記対象体の動き経路が直線ではない曲線である場合、前記対象体の動き経路を獲得する段階と、特定の映像フレーム内の対象体に対応する前記動き経路上、特定地点での接線に垂直となると共に前記特定地点を通る基準線を生成する段階と、隣接する前記基準線間を分割する細部セル分割線を算出する段階と、前記細部セル分割線を基に生成された複数の細部セルを含む仮想レイヤを生成する段階とを含むことができる。

更に、前記第１映像は、前記対象体が特定の位置に同一に配置された状態で異なる動きが実行される複数の再生範囲を含むことを特徴とし、前記入力操作連結段階は、前記複数の再生範囲に対応するそれぞれの入力操作を獲得し、それぞれの再生範囲内の映像フレームに前記入力操作を連結することを特徴とする。

また、前記複数の再生範囲は、第１地点から異なる地点へ動く対象体を含む１つ以上の映像フレームを含み、前記入力操作は、前記第１地点から前記異なる地点へ動く操作であり、前記入力操作連結段階は、それぞれの入力操作に符合する複数個の仮想レイヤを重ねて生成し、前記仮想レイヤは、それぞれの再生範囲に含まれる複数の映像フレームにマッチングされる特定数の細部セルで形成されることができる。

更に、前記入力操作連結段階は、前記入力操作の強度又は前記入力操作の持続時間にそれぞれの前記フレームをマッチすることを特徴とする。

更に、前記入力操作による映像再生条件を設定する段階を更に含むことができる。

また、第１映像内の再生範囲で対象体が動く速度が変わる場合、前記仮想レイヤ分割段階は、前記コンピュータが連続する映像フレーム内の対象体の位置を基に異なる大きさで複数の細部セルを生成することを特徴とする。

本発明の他の実施形態に係る反応型映像生成プログラムは、ハードウェアと結合されて前述された反応型映像生成方法を実行し、媒体に格納される。

前記のような本発明によれば、以下のような多様な効果を奏する。

第一に、一般的な映像撮影装置により撮影された映像（即ち、第１映像）を特定の入力操作と連結し、再生時に映像がユーザの入力操作を検知して反応するようにユーザが感じるようにすることができる。即ち、反応型映像内の対象（即ち、物体）を触ったり、塗ったり、切ったり、移動したり、押したりするなどの感覚体験をユーザに伝達できる。

第二に、映像に対する視聴者の関心を高め、伝達力を最大化できるという効果を奏する。これにより、映像内の特定の物体に対する広報効果を高めることができる。

第三に、物体を触るなどの特定区間を往復又は特定動作を繰り返す映像を生成する場合、特定の第１方向に動く一部の映像のみを獲得した後、ユーザの入力操作に応じて繰り返し再生（例えば、順方向再生及び逆方向再生を繰り返す）するようにすることができる。これにより、繰り返される動作を含む映像の格納容量を減らすことができるという効果を奏する。

本発明の一実施形態に係る反応型映像生成方法に対する順序図である。 本発明の一実施形態によって仮想レイヤを第１映像に生成する過程を示す例示図である。 本発明の一実施形態によって仮想レイヤを用いて再生範囲と特定の入力操作とを連結する方式の順序図である。 本発明の一実施形態によって特定角度だけ回転された仮想レイヤが結合された反応型映像の例示図である。 本発明の一実施形態によって曲線の動き経路に近似した直線を基に仮想レイヤを生成した反応型映像の例示図である。 本発明の一実施形態によって曲線の動き経路自体を用いて仮想レイヤを生成した反応型映像の例示図である。 本発明の一実施形態によって複数の仮想レイヤを重ねて生成した反応型映像の例示図である。 本発明の一実施形態によって仮想レイヤを複数の方向に分割して結合した反応型映像の例示図である。 本発明の一実施形態によって同一のフレーム内の異なる物体にそれぞれの仮想レイヤが生成された映像の例示図である。 本発明の一実施形態によって複数の仮想レイヤに対する入力操作とフレームがマッチングされる過程を示す例示図である。 本発明の一実施形態によって両方向に開けられるそれぞれの引き戸に仮想レイヤが生成された映像の例示図である。 本発明の一実施形態によって入力操作の強度又は持続時間にそれぞれのフレームがマッチングされる過程を示す例示図である。 本発明の一実施形態によってフォースタッチの強度によるフレームの変化を示す例示図である。 本発明の一実施形態によって入力操作による映像再生条件を設定する反応型映像生成方法に対する順序図である。

以下、添付の図面を参照して本発明の好適な実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現されることができる。但し、本実施形態は本発明の開示を完全なものにし、本発明が属する技術分野において通常の知識を有する者に発明の範囲を完全に理解させるために提供されるものであり、本発明は請求の範囲により定義されるに過ぎない。明細書全体に亘って同一の参照符号は同一の構成要素を示す。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野において通常の知識を有する者に共通して理解され得る意味として使用されることができる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。

本明細書において反応型映像は、ユーザによる入力操作（Ｉｎｐｕｔ）に反応（Ｒｅｓｐｏｎｓｅ）する映像を意味する。即ち、反応型映像は、映像を視聴するユーザ（即ち、視聴者）の特定の入力操作に相応する形態で再生される映像を意味する。例えば、撮影されたオリジナル映像内の特定の対象体の特定の動き（例えば、動画内に登場する手の動き）に対応するユーザの操作（例えば、第１地点から第２地点までドラッグする操作）が連結され、ユーザが操作を実行（例えば、動画において手が第１地点に位置するフレームで、画面上の第１地点から第２地点へドラッグを実行）することによって、該当映像内の対象体が動くかのように再生（例えば、第１地点から第２地点へ動くユーザのドラッグ操作によって手が移動しながら再生）される映像を意味し得る。

本明細書においてコンピュータは、演算処理を行える多様な装置を全て含む。例えば、コンピュータはデスクトップＰＣ、ノートブック（Ｎｏｔｅ Ｂｏｏｋ）だけでなく、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ、セルラーフォン（Ｃｅｌｌｕｌａｒ ｐｈｏｎｅ）、ＰＣＳフォン（ＰＣＳ ｐｈｏｎｅ；Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ ｐｈｏｎｅ）、同期式／非同期式ＩＭＴ-２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ-２０００）の移動端末、パームＰＣ（Ｐａｌｍ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、個人用携帯情報端末（ＰＤＡ；Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）なども該当し得る。また、コンピュータは、クライアントから情報を受信するサーバコンピュータが該当することもできる。以下、本明細書でコンピュータは端末として表現されることもできる。

本明細書において入力操作は、反応型映像を再生するコンピュータの入力手段を通じて受信されるユーザの映像に対する操作を意味する。例えば、前記入力操作は、マウス又はタッチスクリーンのような入力手段を通じて映像内の特定の地点又は領域に入力され得る操作（例えば、クリック操作、ドラッグ操作、接触タッチ操作、フォースタッチ操作（即ち、タッチスクリーン又はタッチパッドに特定の圧力を加えるタッチ操作））を含むことができる。また、例えば、前記入力操作は、コンピュータ（又は端末）が備えるセンサ（例えば、加速度センサ、ジャイロセンサなど）を入力手段として獲得され得る端末自体の配置状態又は動きなどを含むことができる。

本明細書において第１映像は、ユーザの入力操作が連結されないオリジナル映像を意味する。例えば、第１映像は映像撮影装置から撮影され、特定のフォーマットで生成された映像が該当し得る。本明細書において第２映像は、ユーザの入力操作と特定の再生領域がマッチングされて生成された反応型映像を意味する。

以下、図面を参照して本発明の実施形態に係る反応型映像生成方法、再生方法及びこれを用いるプログラムについて説明する。

図１は、本発明の一実施形態に係る反応型映像生成方法に対する順序図である。

図１を参照すれば、本発明の一実施形態に係る反応型映像生成方法は、撮影映像を獲得する段階（Ｓ１００）と、特定の再生範囲を指定する入力を受信する段階（Ｓ２００）と、前記再生範囲内のフレーム２１０の全体領域又は特定領域に特定の入力操作を連結する段階（Ｓ３００）とを含む。本発明の一実施形態に係る反応型映像生成方法を順に説明する。

コンピュータ１００は、撮影された第１映像２００を獲得する（Ｓ１００）。コンピュータ１００は既に撮影され、格納された第１映像２００を読み込むことができ、映像撮影装置により撮影される第１映像２００を直ちに受信することもできる。コンピュータ１００は、映像撮影装置から有線連結又は無線通信を通じて撮影された第１映像２００を受信することができる。また、コンピュータ１００が映像撮影装置を含む場合（例えば、スマートフォンのようにコンピュータ１００がカメラを備える場合）、コンピュータ１００は直接撮影を通じて第１映像２００を獲得できる。前記映像撮影装置は、映像を撮影できる装置を何れも含むことができる。

前記第１映像２００は、２次元（２Ｄ）映像又は３次元（３Ｄ）映像であり得、２次元映像の場合、３６０度映像が該当し得る。

コンピュータ１００は、ユーザから特定の再生範囲を指定する入力を受信する（Ｓ２００）。前記再生範囲は、第１映像（即ち、オリジナル映像）のフレーム全体のうち反応型として実現される特定範囲を意味する。コンピュータ１００は、ユーザから多様な方式を通じて再生範囲を設定できる。

一実施形態として、コンピュータ１００は、ユーザから第１映像２００の特定の開始フレーム（即ち、反応型映像として製作される時間領域の最初のフレーム２１０）から最終のフレーム（即ち、反応型映像として製作される時間領域の最後のフレーム）まで選択されることができる。また、他の実施形態として、コンピュータ１００は、ユーザから時間範囲の指定を受けることもできる。

コンピュータ１００は、前記再生範囲内のフレーム２１０の全体領域又は特定領域に特定の入力操作と連結を行う（Ｓ３００）。即ち、コンピュータ１００は、指定された再生範囲内の物体２２０の動きに符合する入力操作を連結できる。

コンピュータ１００は、入力操作を連結して第２映像を別途の動画ファイルとして格納することもでき、第１映像を第２映像として実現するための反応型映像生成ファイルを生成して格納することもできる。例えば、前記反応型映像生成ファイルは、動画の再生時に共に再生される生成ファイルであって、第１映像の再生時に共に再生されて第１映像を反応型映像として生成できる。

前記入力操作連結段階（Ｓ３００）で、コンピュータ１００は、反応型映像に連結される入力操作をユーザから直接受信することができる。例えば、前記コンピュータがタッチスクリーンを備えたデバイスである場合、コンピュータ１００は、ユーザから特定の入力操作の入力を受ける過程を提供し、該当過程でタッチスクリーン上で動く対象体に沿って特定の入力操作を受信することができる。また、コンピュータ１００は、反応型映像に連結される入力操作の類型をユーザから選択され、該当入力操作の類型に代える操作を受信することができる。例えば、タッチスクリーンを保有しているデバイスで再生するための第２映像を生成しながらタッチスクリーンを備えていない装置であるコンピュータを用いる場合、コンピュータは、タッチスクリーンに対するタッチ操作に代わるマウス操作を受信して第２映像（即ち、反応型映像）を生成できる。

前記入力操作は、再生範囲内に含まれている対象体の動きと一致するか、対象体の動きに相応し得る。前記入力操作が入力されるように設定される位置又は領域は、再生範囲に含まれているフレーム内の対象体の動きに対応する領域に該当し得る。

また、対象体と入力操作とを連結する方式としては多様な方式が適用され得る。再生範囲と特定の入力操作とを連結する方式の一実施形態として、コンピュータ１００は、指定された再生範囲内のそれぞれのフレーム２１０の全体領域又は特定領域に仮想レイヤ３００を生成する方式を適用できる。仮想レイヤ３００は、画面上に視覚的には表現されず、ユーザの入力を受信できる第１映像を構成するフレーム２１０上に重なるレイヤを意味し得る。

前記入力操作がフレーム上の特定領域（即ち、再生範囲内で対象体が動く経路）を動かす操作（例えば、マウス操作を通じてマウスカーソルの移動又はタッチスクリーン上の第１地点から第２地点へのドラッグ操作）である場合、コンピュータ１００は、図２に示すように、特定数の細部セル３１０で構成された仮想レイヤ３００をフレーム２１０上に生成できる。

コンピュータが再生範囲に複数の細部セル３１０で構成された仮想レイヤ３００を生成する方式としては多様な方式が適用され得る。一実施形態として、コンピュータ１００が再生範囲内に含まれる映像フレーム数を算出し（Ｓ３１０）、前記仮想レイヤ３００を形成する細部セル３１０の数に映像フレーム数を適用できる（Ｓ３２０）。その後、コンピュータは、それぞれの細部セル３１０に再生範囲内のそれぞれの映像フレームを順にマッチングできる（Ｓ３３０）。例えば、ｎ個のフレーム２１０がユーザの入力操作に応じて変動的に再生（即ち、操作再生）されるように映像を生成しようとする場合、コンピュータ１００は、特定領域をｎ個の細部セル３１０に分割できる。その後、コンピュータ１００は、分割されたそれぞれの細部セル３１０にそれぞれの映像フレーム２１０をマッチし、特定の細部セルが選択又は指定される場合にマッチングされた映像フレーム２１０が提供されるようにすることができる。即ち、図４に示すように、特定の方向に物体（即ち、手）が動き、物体の移動経路に沿って仮想レイヤが生成される場合、コンピュータ１００は、物体が動き始める第１地点の細部セル３１０から順に再生範囲内のそれぞれのフレームにマッチングできる。

また、コンピュータ１００は、仮想レイヤ３００を構成する複数の細部セル３１０を異なる大きさ又は間隔で生成できる。第１映像内の再生範囲で対象体が動く速度が変わる場合、仮想レイヤを同一の大きさの細部セルに分割すればフレーム上の対象体の位置と細部セルの位置が一致しないこともあり得る。従って、コンピュータ１００は、対象体の動きに符合するように細部セルの大きさ又は間隔を異なるようにすることができる。即ち、動画の再生時に同一の時間間隔で速度が変わりながら動く対象体の映像フレームを獲得するので、速く動く区間では連続する映像フレーム内の対象体の位置の間隔が大きく、速度が遅い区間では連続する映像フレーム内の対象体の位置の間隔が狭くなる。従って、コンピュータは、このような映像フレーム内の対象体の間隔に符合するように複数の細部セル３１０を生成しなければ、ユーザが入力する入力操作の位置と映像フレーム内の対象体の位置がマッチしない。

例えば、コンピュータ１００は、各フレーム内で対象体の特定の特徴点の位置（例えば、手が動く場合、指先の位置）を認識し、それぞれのフレーム内の特徴点の位置を仮想レイヤ３００上に投影させ、特徴点の位置の間を分割して複数の細部セル３１０を生成できる。これにより、再生範囲内の対象体の動きに最も適した細部セルの配置を構成することができる。

また、コンピュータ１００は、仮想レイヤ３００の長さを決定できる。一実施形態として、コンピュータ１００は再生範囲内で各対象体（又は対象体の特定の特徴点）の位置を把握し、対象体が動く経路を認識でき、コンピュータは該当経路を含む長さで仮想レイヤを形成できる。また、他の実施形態として、コンピュータは、ユーザから最初のフレームで第１地点を指定され、最終のフレームで第２地点を指定され、仮想レイヤの範囲の設定を受けることができる。更に、コンピュータは、再生範囲の中間に配置された１つ以上のフレームに対象体に対応する地点を選択されることができ、ユーザから選択された複数の地点をフレームが再生される時間順に連結し、これを含む長さで仮想レイヤ３００を生成できる。

また、コンピュータ１００は、仮想レイヤ３００及び細部セル３１０の形態を決定できる。一実施形態として、前記細部セル３１０は、図４に示すように、特定の操作方向に垂直なセルで生成されることができる。例えば、指定された再生範囲内のフレーム２１０の特定領域に直四角形の仮想レイヤ３００を生成する場合、第１映像２００内で特定の物体２２０が動く第１方向と同じ方向に入力操作（即ち、ドラッグ又はスワイプする操作）が生成され得るように第１方向と垂直な方向に仮想レイヤ３００を分割して複数の細部セル３１０を生成できる。更に、コンピュータ１００は、図４に示すように、映像内の物体２２０の動き方向が水平又は垂直方向ではない場合、物体２２０の動き経路と細部セル３１０の長さ方向（即ち、長辺の方向）が垂直となるように仮想レイヤ３００を回転して生成できる。

また、前記物体２２０の動き経路が直線ではない曲線である場合、図５に示すように、コンピュータ１００は、前記曲線との誤差が最も少ない直線を算出し、前記直線に垂直となるように仮想レイヤ３００が分割されて細部セル３１０が生成されるように仮想レイヤ３００が配置されることができる。例えば、コンピュータ１００は、動き経路に該当する曲線からの垂直距離の和又は標準偏差が最小となる直線を算出し、直四角形の仮想レイヤ３００の両辺が前記直線と平行するように配置した後、前記直線に垂直な方向にレイヤを分割できる。

更に、前記物体２２０の動き経路が直線ではない曲線である場合、図６に示すように、仮想レイヤ３００を直四角形ではない特定の図形で生成し、細部セル３１０を一定しない形状に分割できる。また、前記物体２２０の動き経路が直線ではない曲線である場合、対象体２２０の動き経路（即ち、移動経路）の特定地点での接線に垂直となると共に、特定地点を通る線をそれぞれ生成し、隣接する線間を分割して細部セル分割線を算出できる。

特定の長さ又は形態の仮想レイヤ３００を生成した後、コンピュータ１００は、操作方式又は操作方向に符合するように分割されたそれぞれの細部セル３１０にそれぞれの映像フレーム２１０をマッチングできる。例えば、手が動く再生範囲である場合、手の動きが始まるフレーム２１０から順に特定のフレーム２１０内の手の位置に対応する特定の細部セル３１０にマッチングされることができる。

また、コンピュータ１００は、１つの領域に多数の動きに対する操作をマッチングできる。例えば、コンピュータ１００は、撮影対象である物体２２０が特定の位置に同一に配置された状態（即ち、フレーム内の第１地点に対象体が配置された状態）で他の動きが実行される複数の映像を受信し、入力されるユーザ操作に応じて異なる映像又は第１映像内の異なる時間のフレームに連結できる。例えば、カバンへ手が移動する映像が再生されて手がカバンに接触した後、手がカバンを触る映像と手でカバンを開ける映像のうち何れかがユーザの入力操作により決定され、連結されることができる。

同一の配置状態でユーザの入力操作に応じて異なる動きに繋がる場合、コンピュータ１００は、異なるそれぞれの動きを有する複数の映像を１つの動画内に他の再生時点で格納されるようにすることができる。例えば、コンピュータ１００は、第１映像２００（例えば、カバンを水平方向に触る映像）は５分に開始、第２映像（カバンを垂直方向に開ける動作）は８分に開始するものとして動画を生成し、特定の操作が入力されることによって対応する時点に映像が直ちに移動してそれぞれの細部セル３１０にマッチングされたフレーム２１０が順に再生されるようにすることができる。１つの第１映像を基に１つのフレームで多数の動作に繋がる反応型映像を実現するために、コンピュータはそれぞれの入力操作の形態によって続いて開始される特定のフレームをユーザから指定されることができる。

同一の配置状態でユーザの入力操作に応じて異なる動きに繋がる反応型映像を実現するための一実施形態として、コンピュータ１００は、再生範囲内のフレーム２１０の特定領域に複数の仮想レイヤ３００を重ねて生成できる。例えば、図７に示すように、複数の仮想レイヤ３００を重ねて生成する方式によって、カバンを水平方向に触る映像は、縦に分割された細部セル３１０で構成された第１仮想レイヤ３００に連結されることができ、カバンを垂直方向に開ける映像は、横に分割された細部セル３１０で構成された第２仮想レイヤ４００に連結されることができる。

また、他の実施形態として、図８に示すように、１つの仮想レイヤ３００を複数の方向に分割して生成できる。即ち、コンピュータは、第１方向（即ち、横方向）及び第２方向（即ち、縦方向）に分割された仮想レイヤ３００を生成して第１映像に結合でき、ユーザから反応型映像である該当再生範囲に特定の入力操作（即ち、タッチ操作を通じて特定方向にスワイプする操作）が受信されると、該当入力操作が第１方向と第２方向のうち、どの方向に近いかを判断し、判断された方向に符合する映像フレームを続いて提供できる。

更に、特定の方向に対する操作に符合する映像をマッチングされた順に再生するために、コンピュータ１００は、最初に入力操作が受信された細部セル３１０と次の入力操作が受信された細部セル３１０を基に操作方向を判断し、複数の映像のうち、前記操作方向に相応する仮想レイヤ３００が生成された特定の映像に連結され、マッチングされたフレーム２１０を順に再生できる。

また、コンピュータ１００は、図９に示すように、特定のフレーム２１０から異なる領域に位置する複数の物体２２０に対するそれぞれの入力操作に応じて異なる映像に連結され、マッチングされたフレーム２１０を順に再生できる。例えば、映像内に含まれている右手と左手に対するそれぞれの動作（又は動き）を含む場合、コンピュータ１００は、異なる動きを有する複数の映像を１つの動画ファイル内の他の再生時点に格納されるようにすることができ、操作が開始されるフレーム２１０は複数の領域にそれぞれの仮想レイヤ３００（例えば、第１仮想レイヤ３００及び第２仮想レイヤ４００）を含み、入力操作に符合する仮想レイヤ３００が生成された再生時点へ移動し、前記仮想レイヤ３００上に入力される操作によってマッチングされたフレーム２１０を順に再生できる。

更に、フレーム２１０の全体領域ではない特定領域に仮想レイヤ３００が生成される場合、図１０に示すように、コンピュータ１００は、同一の再生範囲内でフレーム２１０内の異なる領域に対応する複数の仮想レイヤ３００を生成することもできる。例えば、図１１に示すように、果物を２つに割る映像又は引き戸が両側に開けられる映像などに適するように、コンピュータ１００は、複数の仮想レイヤ３００を１つの再生領域内の動くそれぞれの領域（例えば、割れるりんごの両側領域又は両側に開けられるドアの両側領域など）に生成できる。このとき、コンピュータ１００は、それぞれのフレーム２１０内の複数の物体２２０をこれに対応する複数の仮想レイヤ３００内の細部セル３１０にマッチングできる。これにより、再生時に複数の仮想レイヤ３００に対する操作が同時に満たされなければ、マッチングされたフレーム２１０が順に再生されるようにすることができない。

再生範囲と特定の入力操作とを連結する方式の他の実施形態として、図１２に示すように、入力操作（フォースタッチ、クリックなど）の強度、入力操作（タッチ、クリックなど）の持続時間又は画面に対する近接距離ごとにそれぞれのフレーム２１０がマッチングされるようにすることができる。例えば、フォースタッチ（Ｆｏｒｃｅ ｔｏｕｃｈ）を適用する場合、映像を再生する端末のタッチスクリーン上に入力される圧力の強度にフレーム２１０をマッチングできる。例えば、図１３に示すように、厚い服を押す映像である場合、服を押す前のフレーム２１０から映像内に最も薄く押圧されたフレーム２１０まで圧力の強度に順にマッチングされることができる。これにより、実際に映像の物体２２０をユーザが直接押圧するかのように感じられるようにするという効果がある。

また、例えば、フレームの特定の地点を押す経過時間の長さにそれぞれのフレーム２１０をマッチングできる。一実施形態として、コンピュータは、特定の時間の長さ（例えば、再生範囲の実際の再生時間）を抽出し、該当再生範囲に含まれる映像フレーム数を算出する。その後、コンピュータは、前記時間の長さを映像フレームの数に分けて単位時間を算出し、各単位時間にそれぞれの映像フレームを順にマッチングできる。これにより、ユーザにより加えられる入力操作の時間の長さによる反応型映像を実現できる。また、他の実施形態として、ユーザの特定の入力操作が受信されると、映像の再生を開始し、特定の時間（即ち、再生範囲の最終フレームに対応する時間）に到達する前に入力操作が中止されると、再び逆方向に再生を行うように実現できる。

再生範囲と特定の入力操作とを連結する方式の更に他の実施形態として、第２映像を再生する端末の配置状態にそれぞれのフレーム２１０をマッチングできる。例えば、映像を再生する端末のジャイロセンサにより認識される特定の角度に各再生範囲内のフレーム２１０がマッチングされるようにすることができる。特に、受信された映像が撮影装置のジャイロセンサにより撮影時の角度値を測定して共に格納する場合、各フレーム２１０は、実際に撮影された角度にマッチングされることができる。

また、コンピュータ１００は、再生範囲に連結される入力操作をユーザから入力される代わりに、該当再生範囲に適した入力操作を決定又は推薦できる。即ち、前記入力操作連結段階（Ｓ３００）で、コンピュータは、再生範囲内に登場する対象体の動きを分析し、該当対象体の動きに対応する入力操作を選択又は推薦できる。例えば、コンピュータ１００は、映像が服を押す動作であることを認識してフォースタッチによる圧力の強度に映像の各フレーム２１０を自動でマッチングできる。更に、例えば、コンピュータ１００は特定の再生領域がユーザにより設定されると、動く対象を把握し、これを操作するための領域に仮想レイヤ３００を生成し、適切な方向に細部セル３１０を生成してそれぞれのフレーム２１０を自動でマッチングできる。また、再生範囲内で特定の身体部位が動く場合、該当身体部位の関節方向及び動き経路を測定して適切な入力操作（例えば、ドラッグ又はスワイプ）の経路を設定できる。

更に、図１４に示すように、入力操作による映像再生条件を設定する段階（Ｓ４００）を更に含むことができる。前記映像再生条件は、ユーザの入力操作に応じて映像が再生される方式又は再生時に伴う効果などを含むことができる。

一実施形態として、コンピュータ１００は、ユーザの要請に応じて特定の条件に到達すれば、次のフレーム２１０に移り、順方向再生が続くように条件を設定できる。例えば、コンピュータは、特定の押す入力が特定時間持続しなければ逆方向再生され、特定時間入力が続けば次の映像に順方向再生が進むように映像を生成できる。具体的に、図１３に示すように、再生範囲が、人が特定の体積のある物体（例えば、ダウンジャケット）を押す映像である場合、服を押す位置に特定時間又は特定強度以上の入力操作が加えられなければ映像フレームを逆方向に再生して押されていた物体が再び膨らむ形態で再生され得る。反面、特定時間又は特定強度以上の入力操作が加えられると、コンピュータは次に繋がるフレーム２１０を提供できる。次に提供されるフレームは、再生範囲に動画内で時間上繋がるフレーム場合であることもでき、動画内の時間上では繋がらないが、空間上対象体の位置は連続して繋がるフレームであり得る。

また、コンピュータ１００は、ユーザの要請に応じて順方向再生と逆方向再生を繰り返すように条件を設定できる。例えば、入力操作が加えられる間に順方向再生を行い、入力操作が中断されると、逆方向再生を行うように条件を設定できる。また、例えば、特定方向にタッチ操作を行う場合、第１方向に操作すれば順方向再生を行い、第２方向に操作すれば逆方向再生を行うように設定できる。

更に、コンピュータ１００は、指定された再生範囲の動きに適した出力を提供するように映像内の特定フレーム２１０に条件を設定できる。例えば、ドラッグ又はスワイプによりカバンを触る動作が含まれている場合、入力操作が加えられると、ハプティクスを提供するようにすることができる。また、例えば、押す圧力の強度に各フレーム２１０がマッチングされた場合、コンピュータ１００は押す圧力の強度が強くなるほど相応する強い強度の振動を発生するように各フレーム２１０に設定できる。

以上で前述した本発明の一実施形態に係る反応型映像生成方法及び再生方法は、ハードウェアと結合されて実行されるために、プログラム（又はアプリケーション）で実現されて媒体に格納されることができる。

前述したプログラムは、前記コンピュータ１００がプログラムを読み込んでプログラムで実現された前記方法を実行させるために、前記コンピュータ１００のプロセッサ（ＣＰＵ）が前記コンピュータ１００の装置インターフェースを通じて読み取られるＣ、Ｃ++、ＪＡＶＡ、機械語などのコンピュータ１００言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行する必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータ１００のプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータ１００のプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータ１００の内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。更に、前記コンピュータ１００のプロセッサが前記機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータ１００やサーバなどと通信が必要な場合、コードは前記コンピュータ１００の通信モジュールを用いて遠隔にある任意の他のコンピュータ１００やサーバなどと如何に通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連コードを更に含むことができる。

前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短い瞬間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータ１００が接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ１００上の多様な記録媒体に格納されることができる。また、前記媒体はネットワークで連結されたコンピュータ１００システムに分散され、分散方式でコンピュータ１００が読み取れるコードが格納されることができる。

前記のような本発明によれば、以下のような多様な効果を奏する。

第一に、一般的な映像撮影装置により撮影された映像（即ち、第１映像）を特定の入力操作と連結し、再生時に映像がユーザの入力操作を検知して反応するかのようにユーザが感じるようにすることができる。即ち、反応型映像内の対象（即ち、物体）を触ったり、塗ったり、切ったり、移動したり、押したりするなどの感覚体験をユーザに伝達できる。

第二に、映像に対する視聴者の関心を高め、伝達力を最大化できるという効果を奏する。これにより、映像内の特定の物体に対する広報効果を高めることができる。

第三に、物体を触るなどの特定区間を往復又は特定動作を繰り返す映像を生成する場合、特定の第１方向に動く一部の映像のみを獲得した後、ユーザの入力操作に応じて繰り返し再生（例えば、順方向再生及び逆方向再生を繰り返す）するようにすることができる。これにより、繰り返される動作を含む映像の格納容量を減らすことができるという効果を奏する。

以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野において通常の知識を有する者は本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるはずである。従って、以上で記述した実施形態はあらゆる面で例示的なものであり、限定的ではないものとして理解すべきである。

Claims (12)

1. ユーザの入力操作に応じて制御される映像を生成する方法において、
   コンピュータが第１映像を獲得する第１映像獲得段階と、
   特定の再生範囲を指定する入力を受信し、前記再生範囲は、前記第１映像内の全体区間又は一部区間に該当する再生範囲指定段階と、
   前記再生範囲内に含まれている１つ以上の映像フレームの全体領域又は特定領域に特定の入力操作を連結する段階と
   を含み、
   前記入力操作は、前記再生範囲内の映像フレームの移動を調節し、前記第１映像内の再生範囲の対象体の動きに相応する反応型映像生成方法。
2. 前記再生範囲は、
   第１地点から第２地点へ動く対象体を含む１つ以上の映像フレームを含み、
   前記入力操作は、前記第１地点から前記第２地点へ動く操作であり、
   前記入力操作連結段階は、
   前記再生範囲に含まれるそれぞれのフレームを前記入力操作に対応する領域にマッチすることを特徴とする請求項１に記載の反応型映像生成方法。
3. 前記入力操作連結段階は、
   前記再生範囲内の１つ以上の映像フレーム上に結合する仮想レイヤを生成する段階と、
   特定数の細部セルに前記仮想レイヤを分割する段階と、
   それぞれの細部セルに対応する特定のフレームをマッチする段階と
   を含むことを特徴とする請求項２に記載の反応型映像生成方法。
4. 前記入力操作連結段階は、
   各映像フレーム内の対象体に含まれている特定の特徴点を認識する段階と、
   連続する映像フレーム内の前記特徴点を基に前記対象体の移動経路を生成する段階と、
   複数の細部セルを含む仮想レイヤを生成し、前記細部セルは、連続する映像フレームの特徴点間を分割して生成される仮想レイヤ生成段階と
   を含むことを特徴とする請求項１に記載の反応型映像生成方法。
5. 前記仮想レイヤ生成段階は、
   前記対象体の動き経路が直線ではない曲線である場合、
   前記曲線までの垂直距離の和又は標準偏差が最小の直線を算出する段階と、
   前記直線に垂直に分割された複数の細部セルを含む仮想レイヤを生成する段階と
   を含むことを特徴とする請求項３に記載の反応型映像生成方法。
6. 前記仮想レイヤ生成段階は、
   前記対象体の動き経路が直線ではない曲線である場合、
   前記対象体の動き経路を獲得する段階と、
   特定の映像フレーム内の対象体に対応する前記動き経路上、特定地点での接線に垂直となると共に前記特定地点を通る基準線を生成する段階と、
   隣接する前記基準線間を分割する細部セル分割線を算出する段階と、
   前記細部セル分割線を基に生成された複数の細部セルを含む仮想レイヤを生成する段階と
   を含むことを特徴とする請求項３に記載の反応型映像生成方法。
7. 前記第１映像は、
   前記対象体が特定の位置に同一に配置された状態で異なる動きが実行される複数の再生範囲を含むことを特徴とし、
   前記入力操作連結段階は、
   前記複数の再生範囲に対応するそれぞれの入力操作を獲得し、それぞれの再生範囲内の映像フレームに前記入力操作を連結することを特徴とする請求項１に記載の反応型映像生成方法。
8. 前記複数の再生範囲は、
   第１地点から異なる地点へ動く対象体を含む１つ以上の映像フレームを含み、
   前記入力操作は、前記第１地点から前記異なる地点へ動く操作であり、
   前記入力操作連結段階は、
   それぞれの入力操作に符合する複数の仮想レイヤを重ねて生成し、前記仮想レイヤは、それぞれの再生範囲に含まれる複数の映像フレームにマッチングされる特定の個数の細部セルで形成されることを特徴とする請求項７に記載の反応型映像生成方法。
9. 前記入力操作連結段階は、
   前記入力操作の強さ又は前記入力操作の持続時間にそれぞれの前記フレームをマッチすることを特徴とする請求項１に記載の反応型映像生成方法。
10. 前記入力操作による映像再生条件を設定する段階を更に含むことを特徴とする請求項１に記載の反応型映像生成方法。
11. 第１映像内の再生範囲で対象体が動く速度が変わる場合、
    前記仮想レイヤ分割段階は、
    前記コンピュータが連続する映像フレーム内の対象体の位置を基に異なる大きさで複数の細部セルを生成することを特徴とする請求項３に記載の反応型映像生成方法。
12. ハードウェアであるコンピュータと結合され、請求項１〜１１の何れか一項に記載の方法を実行させるために媒体に格納された反応型映像生成プログラム。