JP2014014077A

JP2014014077A - 動画生成方法及び装置

Info

Publication number: JP2014014077A
Application number: JP2013140236A
Authority: JP
Inventors: Hyon-Su Seo; ヒョンスソ; Jun Hyuk Kwak; ジュンヒョククァク
Original assignee: Rsupport Co Ltd
Current assignee: Rsupport Co Ltd
Priority date: 2012-07-03
Filing date: 2013-07-03
Publication date: 2014-01-23
Anticipated expiration: 2033-07-03
Also published as: KR101249279B1; US8830401B2; JP5675902B2; US20140009681A1

Abstract

【課題】同期が一致するＰＩＰ動画を容易に生成するための動画生成方法を提供する。
【解決手段】ＰＩＰ動画を生成するための基準となる基準時点を決定する段階と、第１イメージ、第２イメージ及びオーディオを獲得するためのそれぞれの作業時点を決定する段階と、それぞれの作業時点で第１イメージ、第２イメージ及びオーディオを獲得する段階と、基準時点とそれぞれの作業時点とを比較した結果によって、第１イメージ、第２イメージ及びオーディオを合成し、ＰＩＰ動画を生成する段階とを含む。したがって、ＰＩＰ動画を生成するのに消費される時間と費用を顕著に低減することができ、ＰＩＰ動画を迅速に獲得することができる。
【選択図】図１

Description

本発明は、動画生成技術に関し、より詳細には、ＰＩＰ（Ｐｉｃｔｕｒｅ−Ｉｎ−Ｐｉｃｔｕｒｅ）動画を生成するための動画生成方法及び装置に関する。

ＰＩＰ（Ｐｉｃｔｕｒｅ−Ｉｎ−Ｐｉｃｔｕｒｅ）動画は、主動画内に他の動画が含まれている動画を言う。ＰＩＰ動画を生成するために、２つの動画を１つのＰＩＰ動画として生成するための別途の動画編集過程を行わなければならない。

このような動画編集過程は、２つの動画をそれぞれ編集し、１つのＰＩＰ動画として生成する作業であるから、生成されたＰＩＰ動画の同期が一致しない問題が発生し、同期が一致するＰＩＰ動画を生成するために相当な時間を投資しなければならない問題がある。

前述したような問題点を解決するために、本発明の目的は、同期が一致するＰＩＰ動画を容易に生成するための動画生成方法を提供することにある。

前述したような問題点を解決するために、本発明の他の目的は、同期が一致するＰＩＰ動画を容易に生成するための動画生成装置を提供することにある。

上記目的を達成するために、本発明の一実施例は、動画生成装置で実行されるプログラムにより生成された第１イメージ、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ動画を生成するための基準となる基準時点を決定する段階と、前記第１イメージを獲得する時点である第１作業時点、前記第２イメージを獲得する時点である第２作業時点及び前記オーディオを獲得する時点である第３作業時点を決定する段階と、それぞれの前記作業時点で前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階と、前記基準時点とそれぞれの前記作業時点とを比較した結果によって、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、ＰＩＰ動画を生成する段階とを含む。

ここで、前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階は、前記プログラムプラットフォームのバッファーに位置するイメージを更新する更新関数の開始地点を検出する段階と、前記プログラムプラットフォームのバッファーに位置するイメージをフッキングするためのフッキングコードを更新関数の開始地点に注入する段階と、前記フッキングコードによりフッキングされたイメージを前記第１イメージとして獲得する段階とを含むことができる。

ここで、前記ＰＩＰ動画を生成する段階は、前記基準時点とそれぞれの前記作業時点との差を算出する段階と、算出した差が前記ＰＩＰ動画を構成するフレーム間の間隔以下である場合、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、前記ＰＩＰ動画を構成する１つのフレームを生成する段階とを含むことができる。

上記目的を達成するために、本発明の他の実施例は、端末で実行されるプログラムにより生成された第１イメージ、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ動画を生成するための基準となる基準時点を決定する段階と、前記第１イメージを獲得する時点である第１作業時点、前記第２イメージを獲得する時点である第２作業時点及び前記オーディオを獲得する時点である第３作業時点を決定する段階と、それぞれの前記作業時点で前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階と、前記基準時点とそれぞれの前記作業時点とを比較した結果によって、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、ＰＩＰ動画を生成する段階とを含み、前記作業時点で前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階は、前記端末に前記第１イメージの伝送を要請する段階と、伝送要請に従って前記端末から前記第１イメージを獲得する段階とを含む。

上記他の目的を達成するための本発明の一実施例は、動画生成装置で実行されるプログラムにより生成された第１イメージ、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ動画を生成するための基準となる基準時点を決定する決定部と、前記第１イメージを獲得する時点である第１作業時点を決定し、前記第１作業時点で前記第１イメージを獲得する第１獲得部と、前記第２イメージを獲得する時点である第２作業時点を決定し、前記第２作業時点で前記第２イメージを獲得する第２獲得部と、前記オーディオを獲得する時点である第３作業時点を決定し、前記第３作業時点で前記オーディオを獲得する第３獲得部と、前記基準時点とそれぞれの前記作業時点とを比較した結果によって、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、ＰＩＰ動画を生成する生成部とを含む。

ここで、前記第１獲得部は、前記プログラムプラットフォームのバッファーに位置するイメージを更新する更新関数の開始地点を検出し、前記プログラムプラットフォームのバッファーに位置するイメージをフッキングするためのフッキングコードを更新関数の開始地点に注入し、フッキングコードによりフッキングされたイメージを第１イメージとして獲得することができる。

ここで、前記生成部は、前記基準時点とそれぞれの前記作業時点との差を算出し、算出した差が前記ＰＩＰ動画を構成するフレーム間の間隔以下である場合、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、前記ＰＩＰ動画を構成する１つのフレームを生成することができる。

本発明によれば、同期を合わせることのような別途の編集過程がなくても、１回の録画作業で、端末で実行されるプログラム（例えば、ゲームプログラム）により生成されたイメージ、カメラにより生成されたイメージ及びオーディオを合成し、ＰＩＰ動画を生成することができるので、イメージとオーディオ間の同期が一致するＰＩＰ動画を生成するのに消費される時間と費用を顕著に低減することができる。

また、イメージを獲得する過程で、端末の画面にディスプレイされるイメージを獲得するものではなく、グラフィックバッファーに位置するイメージを獲得するので、イメージを迅速に獲得することができ、その結果、ＰＩＰ動画を迅速に獲得することができる。

図１は、本発明の一実施例による動画生成方法を示す流れ図である。図２は、図１のデータ獲得段階を示す流れ図である。図３は、本発明の他の実施例による動画生成方法を示す流れ図である。図４は、本発明の一実施例による動画生成装置を示すブロック図である。図５は、イメージをフッキングする方法を示す概念図である。図６は、本発明の一実施例によって生成されたＰＩＰ動画の例を示す概念図である。図７は、本発明の一実施例によって生成されたＰＩＰ動画の他の例を示す概念図である。

本発明は、多様な変更を行うことができ、さまざまな実施例を有することができるところ、特定の実施例を図面に例示し、詳細に説明する。

しかし、これは、本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解しなければならない。

第１、第２などの用語は、多様な構成要素を説明するのに使用されることができるが、前記構成要素は、前記用語に限定されるわけではない。前記用語は、１つの構成要素を他の構成要素から区別する目的で使用される。例えば、本発明の権利範囲を逸脱することなく、第１構成要素は、第２構成要素として命名されることができ、同様に、第２構成要素も第１構成要素として命名されることができる。及び／またはという用語は、複数の関連された記載された項目の組み合わせまたは複数の関連された記載された項目のうちいずれかの項目を含む。

任意の構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及されたときには、他の構成要素に直接的に連結されているか、または接続されていることもできるが、中間に他の構成要素が存在することもできると理解しなければならない。一方、任意の構成要素が他の構成要素に「直接連結されて」いるか、「直接接続されて」いると言及されたときには、中間に他の構成要素が存在しないものと理解しなければならない。

本出願で使用された用語は、ただ特定の実施例を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、１つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないものと理解しなければならない。

異なって定義しない限り、技術的や科学的な用語を含んでここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるものと同一の意味を有している。一般的に使用される事前に定義されているもののような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈しなければならないし、本出願で明白に定義しない限り、理想的または過度に形式的な意味として解釈しない。

以下、添付の図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。本発明を説明するにあたって、全体的な理解を容易にするために、図面上の同一の構成要素に対しては、同一の参照符号を使用し、同一の構成要素に対して重複説明を省略する。

図１は、本発明の一実施例による動画生成方法を示す流れ図である。

図１を参照すれば、動画生成装置は、前記動画生成装置で実行されるプログラムにより生成された第１イメージ（ｉｍａｇｅ）、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ（Ｐｉｃｔｕｒｅ−Ｉｎ−Ｐｉｃｔｕｒｅ）動画を生成するための基準となる基準時点を決定することができ（Ｓ１００）、決定した基準時点を動画生成装置に設けられたデータベースに格納することができる。

ここで、動画生成装置は、デスクトップコンピュータ（ＤｅｓｋｔｏｐＣｏｍｐｕｔｅｒ）、ラップトップコンピュータ（ＬａｐｔｏｐＣｏｍｐｕｔｅｒ）、タブレット（Ｔａｂｌｅｔ）パソコン、無線電話機（ＷｉｒｅｌｅｓｓＰｈｏｎｅ）、モバイルフォン（ＭｏｂｉｌｅＰｈｏｎｅ）、スマートフォン（ＳｍａｒｔＰｈｏｎｅ）、電子ブックリーダーなどであることができる。

また、動画生成装置で実行されるプログラムは、ゲーム、ウェブブラウザー（ｗｅｂｂｒｏｗｓｅｒ）及び各種アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）などを含み、動画生成装置で実行されるプログラムにより生成された第１イメージは、ゲームの実行によってディスプレイされるイメージ、ウェブブラウザーの実行によってディスプレイされるイメージ及び各種アプリケーションの実行によってディスプレイされるイメージを意味することができる。

ここで、カメラは、動画生成装置と一体で構成されることができ、動画生成装置としてコンピュータを使用する場合、カメラは、コンピュータに設けられた画像カメラを意味することができ、動画生成装置としてモバイル端末を使用する場合、カメラは、モバイル端末に設けられたカメラを意味することができる。一方、カメラは、動画生成装置と別途の構成で存在することができ、この場合、カメラは、データを伝送することができるように動画生成装置と有線または無線を通じて連結されることができる。カメラにより生成された第２イメージは、カメラにより撮影されたイメージを意味することができる。

ここで、オーディオは、第１イメージを生成する動画生成装置により発生するオーディオを意味することができ、動画生成装置に設けられたマイクまたはカメラに設けられたマイクを通じて入力されたオーディオを意味することができる。

ここで、ＰＩＰ動画を生成するための基準となる基準時点は、個別的に獲得した第１イメージ、第２イメージ及びオーディオ間の同期を合わせるために基準となる時点を意味することができる。

ＰＩＰ動画を生成するための基準となる基準時点を決定した後、動画生成装置は、第１イメージを獲得する時点である第１作業時点、第２イメージを獲得する時点である第２作業時点及びオーディオを獲得する時点である第３作業時点を決定することができ（２００）、決定した第１作業時点、第２作業時点及び第３作業時点を動画生成装置に設けられたデータベースに格納することができる。

本発明の一実施例による動画生成方法において、第１イメージを獲得するための作業、第２イメージを獲得するための作業及びオーディオを獲得するための作業は、個別的に行われるので、個別的に獲得した第１イメージ、第２イメージ及びオーディオ間の同期を合わせるためにそれぞれの作業ごとに基準となる時点を定義する必要がある。

これにより、動画生成装置は、第１イメージを獲得する作業の基準となる時点を第１作業時点として決定することができ、第２イメージを獲得する作業の基準となる時点を第２作業時点として決定することができ、オーディオを獲得する作業の基準となる時点を第３作業時点として決定することができる。

この際、動画生成装置は、第１作業時点、第２作業時点及び第３作業時点を作業の特性によって互いに異なるように決定することができる。例えば、第１イメージと第２イメージが生成される時点が異なる場合、動画生成装置は、第１イメージを獲得する作業の基準となる第１作業時点と第２イメージを獲得する作業の基準となる第２作業時点を互いに異なるように決定することができる。

第１作業時点、第２作業時点及び第３作業時点を決定した後、動画生成装置は、第１作業時点で第１イメージを獲得することができ、第２作業時点で第２イメージを獲得することができ、第３作業時点でオーディオを獲得することができ（Ｓ３００）、獲得した第１イメージ、第２イメージ及びオーディオを動画生成装置に設けられたデータベースに格納することができる。この際、動画生成装置は、第１イメージを獲得するための作業、第２イメージを獲得するための作業及びオーディオを獲得するための作業を並列的に行うことができる。

段階Ｓ３００は、段階Ｓ３１０、段階Ｓ３１１、段階Ｓ３１２及び段階Ｓ３１３を含むことができ、段階Ｓ３１１、段階Ｓ３１２及び段階Ｓ３１３のみを含むこともできる。段階Ｓ３００について図２を参照して詳細に説明する。

図２は、図１のデータ獲得段階を示す流れ図である。

図２を参照すれば、動画生成装置は、第１イメージを獲得するための対象であるプログラム（例えば、ゲームプログラムなど）が動画生成装置で実行されるか否かを監視することができる（Ｓ３１０）。動画生成装置は、あらかじめ設置されたフッキング（ｈｏｏｋｉｎｇ）モジュールを使用してプログラムが動画生成装置で実行されるかを監視することができる。

例えば、第１イメージを獲得するための対象であるプログラムがゲームプログラムである場合、動画生成装置は、現在実行されているプログラムがゲームライブラリ（ｌｉｂｒａｒｙ）を使用しているか否かを判断することができる。この際、動画生成装置は、現在実行されているプログラムがゲームライブラリを使用している場合、当該プログラムをゲームプログラムとして判断することができ、現在実行されているプログラムがゲームライブラリを使用しない場合、当該プログラムをゲームプログラムではない一般プログラムとして判断することができる。

本発明の一実施例において前述した段階Ｓ３１０は、省略されることができる。

動画生成装置は、プログラムプラットフォーム（ｐｌａｔｆｏｒｍ）のバッファー（ｂｕｆｆｅｒ）に位置するイメージを更新する更新関数の開始地点を検出することができる（Ｓ３１１）。

ここで、更新関数というのは、プログラムプラットフォームのバッファーに位置するイメージを新しいイメージに更新する役目を行う関数であって、更新関数をフッキングする場合、プログラムプラットフォームのバッファーに位置するイメージを獲得することができる。

したがって、プログラムプラットフォームのバッファーに位置するイメージを獲得するために、まず、動画生成装置は、イメージを更新する更新関数の開始地点を検出することができ、検出した更新関数の開始地点を動画生成装置に設けられたデータベースに格納することができる。

更新関数の開始地点を検出した場合、動画生成装置は、プログラムプラットフォームのバッファーに位置するイメージをフッキングするためのフッキングコードを更新関数の開始地点に注入することができ（Ｓ３１２）、フッキングコードによりフッキングされたイメージ（すなわち、第１イメージ）を獲得することができる（Ｓ３１３）。

以下、段階Ｓ３１２、段階Ｓ３１３について図５を参照して詳細に説明する。

図５は、イメージをフッキングする方法を示す概念図である。

図５を参照すれば、一般的に更新関数は、プログラムプラットフォームバッファー２０に位置するイメージを新しいイメージを更新し、更新したイメージをディスプレイプラットフォームバッファー３０に提供する。本発明の一実施例によってフッキングコードを更新関数の開始地点に注入した場合、フッキングコードが注入された更新関数は、更新したイメージをディスプレイプラットフォームバッファー３０に提供するものではなく、動画生成装置１０に先に提供することができ、動画生成装置１０は、前述したフッキングコードが注入された更新関数の動作によりプログラムプラットフォームバッファー２０に位置するイメージを獲得することができる。

例えば、プログラムプラットフォームバッファー２０がゲームプログラムプラットフォームバッファーである場合、ウィンドウ運営体制でＤｉｒｅｃｔＸ／ＯｐｅｎＧＬなどのゲームプログラムプラットフォームを提供するので、動画生成装置は、フッキングを通じてゲームプログラムプラットフォームバッファーに位置するイメージを獲得することができる。

プログラムプラットフォームバッファー２０に位置するイメージを獲得した後、動画生成装置１０は、フッキングコードが注入された更新関数の開始地点を復元することができる。すなわち、動画生成装置１０は、注入されたフッキングコードを除去し、フッキングコードが注入された更新関数の開始地点を復元することができ、開始地点が復元された更新関数は、プログラムプラットフォームバッファー２０に位置するイメージをディスプレイプラットフォームバッファー３０に提供することができる。

復元された更新関数によってプログラムプラットフォームバッファー２０に位置するイメージがディスプレイプラットフォームバッファー３０に提供された後、動画生成装置は、追加的に獲得するイメージが存在するか否かを判断することができ、追加的に獲得するイメージが存在する場合、前述した段階Ｓ３１１、段階Ｓ３１２及び段階Ｓ３１３をさらに行うことができ、追加的に獲得するイメージが存在しない場合、段階Ｓ３００を終了することができる。

前述したように、動画生成装置は、ディスプレイプラットフォームバッファー３０に位置するイメージ（すなわち画面上にディスプレイされたイメージ）を獲得するものではなく、プログラムプラットフォームバッファー２０に位置するイメージを獲得することができるので、イメージを迅速に獲得することができ、その結果、ＰＩＰ動画を迅速に生成することができる。

カメラにより生成された第２イメージを獲得するために、動画生成装置は、運営体制で提供するカメラ関連ＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒｆａｃｅ）を使用して第２イメージを獲得することができる（Ｓ３００）。例えば、運営体制としてウィンドウを使用する場合、動画生成装置は、「ＤｉｒｅｃｔＳｈｏｗ」、「ＶｉｄｅｏＦｏｒＷｉｎｄｏｗｓ(登録商標)」などを使用してカメラにより生成された第２イメージを獲得することができる。

前述した方法を通じて第１イメージ及び第２イメージを獲得した後、動画生成装置は、獲得した第１イメージ及び第２イメージに対して正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）、スレッショルド（ｔｈｒｅｓｈｏｌｄ）などのようなイメージ処理を行うことができる。

オーディオを獲得するために、動画生成装置は、運営体制で提供するオーディオ録音関連ＡＰＩを使用してオーディオを獲得することができる（Ｓ３００）。例えば、運営体制としてウィンドウを使用する場合、「ＭＣＩ（ＭｅｄｉａＣｏｎｔｒｏｌＩｎｔｅｒｆａｃｅ）」、「ＤｉｒｅｃｔＳｈｏｗ」、「ＷＡＳＡＰＩ（ＷｉｎｄｏｗＡｕｄｉｏＳｅｓｓｉｏｎＡＰＩ）」などを使用してオーディオを獲得することができる。

第１イメージ、第２イメージ及びオーディオを獲得した後、動画生成装置は、基準時点と第１作業時点とを比較した結果、基準時点と第２作業時点とを比較した結果及び基準時点と第３作業時点とを比較した結果によって、第１イメージ、第２イメージ及びオーディオを合成し、ＰＩＰ動画を生成することができる（Ｓ４００）。

まず、動画生成装置は、第１作業時点と基準時点との差、第２作業時点と基準時点との差及び第３作業時点と基準時点との差を算出することができる（Ｓ４１０）。

それぞれの作業時点と基準時点との差を算出した後、動画生成装置は、それぞれの作業時点と基準時点との差と、ＰＩＰ動画を構成するフレーム間の間隔とを比較することができる。ここで、フレーム間の間隔は、１つのフレームが占める時間を意味し、例えば、１０ＦＰＳ（ＦｒａｍｅＰｅｒＳｅｃｏｎｄ）ＰＩＰ動画である場合、１つのフレームが占める時間は、１００ｍｓである。

それぞれの作業時点と基準時点との差と、ＰＩＰ動画を構成するフレーム間の間隔とを比較した結果、それぞれの作業時点と基準時点との差がＰＩＰ動画を構成するフレーム間の間隔以下である場合、動画生成装置は、第１イメージ、第２イメージ及びオーディオを合成し、ＰＩＰ動画を構成する１つのフレームを生成することができる（Ｓ４２０）。

もし、それぞれの作業時点と基準時点との差がＩＰ動画を構成するフレーム間の間隔より大きい場合、動画生成装置は、当該データ（第１イメージ、第２イメージ、オーディオ）を次のフレームを生成するために使用することができる。例えば、「第１作業時点と基準時点との差≦ＰＩＰ動画を構成するフレーム間の間隔」、「第２作業時点と基準時点との差＞ＰＩＰ動画を構成するフレーム間の間隔」、「第３作業時点と基準時点との差≦ＰＩＰ動画を構成するフレーム間の間隔」である場合、動画生成装置は、第１イメージとオーディオを合成し、現在フレームを生成することができ、第２イメージは、次のフレームを生成するために使用することができる。また、上記のような場合、動画生成装置は、第１イメージ、オーディオ及び以前フレームを生成するのに使用した第２イメージを合成し、現在フレームを生成することができる。

第１イメージ、第２イメージ及びオーディオを合成し、ＰＩＰ動画を構成するフレームを生成する場合、動画生成装置は、第１イメージと第２イメージを先に合成し、第１イメージと第２イメージが合成されたイメージにオーディオを合成することができる。

第１イメージと第２イメージを合成する場合、動画生成装置は、第１イメージと第２イメージの解像度を変更することができ、第１イメージ上に位置する第２イメージの位置を変更することができ、第２イメージ上に位置する第１イメージの位置を変更することができ、第１イメージと第２イメージの透明度を調節することができる。

また、動画生成装置は、１つの第１イメージと複数の第２イメージを合成することができる。すなわち、１つの端末により生成された１つの第１イメージと複数のカメラにより生成された複数の第２イメージを合成し、ＰＩＰ動画を構成する１つのフレームを生成することができる。

前述した方法を通じてＰＩＰ動画を生成することができ、生成されたＰＩＰ動画は、ディスプレイ装置（例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）など）に表示されることができる。

図３は、本発明の他の実施例による動画生成方法を示す流れ図である。

図３を参照すれば、動画生成装置で行われる動画生成方法は、端末で実行されるプログラムにより生成された第１イメージ、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ動画を生成するための基準となる基準時点を決定する段階（Ｓ１００）、第１イメージを獲得する時点である第１作業時点、第２イメージを獲得する時点である第２作業時点及びオーディオを獲得する時点である第３作業時点を決定する段階（Ｓ２００）、それぞれの作業時点で第１イメージ、第２イメージ及びオーディオを獲得する段階（Ｓ３００）及び基準時点とそれぞれの作業時点とを比較した結果によって、第１イメージ、第２イメージ及びオーディオを合成し、ＰＩＰ動画を生成する段階（Ｓ４００）を含むことができる。

ここで、動画生成装置と端末は、互いに異なる構成であり、端末は、タブレットパソコン、スマートフォンのようなモバイル端末であることができる。

このように、動画生成装置と端末が別途の構成で存在する場合、動画生成装置と端末は、有線または無線を通じてネットワークを形成することができ、無線を通じてネットワークを形成する場合、２Ｇ移動通信網（ＧＳＭ（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）など）、３Ｇ移動通信網（ＷＣＤＭＡ（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＣＤＭＡ２０００など）、４Ｇ移動通信網（ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）−ａｄｖａｎｃｅｄなど）、ＷｉＦｉなどを使用してネットワークを形成することができる。

ここで、段階Ｓ１００、段階Ｓ２００及び段階Ｓ４００で行われる方法は、図１を参照して説明した段階Ｓ１００、段階Ｓ２００及び段階Ｓ４００で行われる方法と同一である。

それぞれの作業時点で第１イメージ、第２イメージ及びオーディオを獲得する場合、動画生成装置は、端末に第１イメージの伝送を要請することができ（Ｓ３２０）、第１イメージの伝送要請を受けた端末は、画面にディスプレイされるイメージをキャプチャー（ｃａｐｔｕｒｅ）することができる。この際、端末は、一般的なキャプチャー関数を使用して画面にディスプレイされるイメージをキャプチャーすることができる。

画面にディスプレイされるイメージをキャプチャーした後、端末は、キャプチャーされたイメージを端末に設けられたバッファーに格納することができ、バッファーに格納されたイメージを動画生成装置に提供することができる。この際、端末は、画面にディスプレイされるイメージのみを動画生成装置に提供することができ、画面にディスプレイされるイメージとともに端末のベゼル（ｂｅｚｅｌ）を動画生成装置に提供（図７（ｃ）参照）できる。

動画生成装置は、イメージ伝送要請に従って端末が提供する第１イメージを獲得することができる（Ｓ３２１）。第１イメージを獲得した後、動画生成装置は、追加的に獲得する第１イメージが存在するか否かを判断することができ、追加的に獲得する第１イメージが存在する場合、前述した段階Ｓ３２０及び段階Ｓ３２１をさらに行うことができ、追加的に獲得するイメージが存在しない場合、段階Ｓ３００を終了することができる。

図４は、本発明の一実施例による動画生成装置を示すブロック図である。

図４を参照すれば、動画生成装置１０は、決定部１１、第１獲得部１２、第２獲得部１３、第３獲得部１４及び生成部１５を含むことができる。

決定部１１は、動画生成装置で実行されるプログラムにより生成された第１イメージ、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ動画を生成するための基準となる基準時点を決定することができる。ここで、決定部１１が行う機能は、段階Ｓ１００で説明した内容と同一である。

第１獲得部１２は、第１イメージを獲得する時点である第１作業時点を決定することができ、第１作業時点で第１イメージを獲得することができる。

具体的に、第１獲得部１２は、プログラムが動画生成装置で実行されるか否かを監視し、プログラムが実行される場合、プログラムプラットフォームのバッファーに位置するイメージを更新する更新関数の開始地点を検出し、プログラムプラットフォームのバッファーに位置するイメージをフッキングするためのフッキングコードを更新関数の開始地点に注入し、フッキングコードによりフッキングされたイメージ（すなわち、第１イメージ）を獲得することができる。ここで、第１獲得部１２が行う機能は、図１、図２に示された段階Ｓ２００、段階Ｓ３００で説明した内容と同一である。

第２獲得部１３は、第２イメージを獲得する時点である第２作業時点を決定することができ、第２作業時点で前記第２イメージを獲得することができる。ここで、第２獲得部１３が行う機能は、図１に示された段階Ｓ２００、段階Ｓ３００で説明した内容と同一である。

第３獲得部１４は、オーディオを獲得する時点である第３作業時点を決定することができ、第３作業時点でオーディオを獲得することができる。ここで、第３獲得部１４が行う機能は、図１に示された段階Ｓ２００、段階Ｓ３００で説明した内容と同一である。

生成部１５は、基準時点とそれぞれの作業時点とを比較した結果によって、第１イメージ、第２イメージ及びオーディオを合成し、ＰＩＰ動画を生成することができる。

具体的に、生成部１５は、それぞれの作業時点と基準時点との差を算出し、算出した差が前記ＰＩＰ動画を構成するフレーム間の間隔より小さいか、同一である場合、第１イメージ、第２イメージ及びオーディオを合成し、ＰＩＰ動画を構成する１つのフレームを生成することができる。ここで、生成部１５が行う機能は、図１に示された段階Ｓ４００で説明した内容と同一である。

決定部１１、第１獲得部１２、第２獲得部１３、第３獲得部１４及び生成部１５が行う機能は、実質的にプロセッサ（例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）及び／またはＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）など）で行われることができ、図１、図２、図３に示された各段階は、前記プロセッサで行われることができる。

また、決定部１１、第１獲得部１２、第２獲得部１３、第３獲得部１４及び生成部１５は、１つの単一形態、１つの物理的な装置または１つのモジュールで具現されることができる。これに加えて、決定部１１、第１獲得部１２、第２獲得部１３、第３獲得部１４及び生成部１５は、それぞれ１つの物理的な装置または集団ではなく、複数の物理的装置または集団で具現されることができる。

また、動画生成装置１０は、イメージが格納されるバッファーを含むことができる。

図６は、本発明の一実施例によって生成されたＰＩＰ動画の例を示す概念図である。

図６を参照すれば、図６（ａ）は、ゲームプログラムにより生成された第１イメージ５１及びカメラにより生成された第２イメージ５２を基盤で生成したＰＩＰ動画５０を示すもので、第１イメージ５１内に１つの第２イメージ５２が含まれている。

図６（ｂ）は、ゲームプログラムにより生成された第１イメージ５１及び２つのカメラによりそれぞれ生成された２つの第２イメージ５２を基盤で生成したＰＩＰ動画５０を示すもので、第１イメージ５１内に２つの第２イメージ５２が含まれている。

図７は、本発明の一実施例によって生成されたＰＩＰ動画の他の例を示す概念図である。

図７を参照すれば、図７（ａ）は、モバイル端末により生成された第１イメージ５１及びカメラにより生成された第２イメージ５２を基盤で生成したＰＩＰ動画５０を示すものであって、第１イメージ５１内に１つの第２イメージ５２が含まれている。

図７（ｂ）は、モバイル端末によって生成された第１イメージ５１及び２つのカメラによりそれぞれ生成された２つの第２イメージ５２を基盤で生成したＰＩＰ動画５０を示すものであって、第１イメージ５１の外部に２つの第２イメージ５２が位置している。

図７（ｃ）は、モバイル端末によって生成された第１イメージ５１及び２つのカメラによりそれぞれ生成された２つの第２イメージ５２を基盤で生成したＰＩＰ動画５０を示すものであって、第１イメージ５１の外部に２つの第２イメージ５２が位置しており、第１イメージ５１は、モバイル端末の画面にディスプレイされるイメージだけでなく、モバイル端末のベゼルをも含んでいる。

以上、実施例を参照して説明したが、当該技術分野の熟練された当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域を逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解することができる。

１０動画生成装置
１１決定部
１２第１獲得部
１３第２獲得部
１４第３獲得部
１５生成部

Claims

動画生成装置で行われる動画生成方法において、
前記装置で実行されるプログラムにより生成された第１イメージ（ｉｍａｇｅ）、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ（Ｐｉｃｔｕｒｅ−Ｉｎ−Ｐｉｃｔｕｒｅ）動画を生成するための基準となる基準時点を決定する段階と、
前記第１イメージを獲得する時点である第１作業時点、前記第２イメージを獲得する時点である第２作業時点及び前記オーディオを獲得する時点である第３作業時点を決定する段階と、
それぞれの前記作業時点で前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階と、
前記基準時点とそれぞれの前記作業時点とを比較した結果によって、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、ＰＩＰ動画を生成する段階と、を含む動画生成方法。
前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階は、
前記プログラムプラットフォーム（ｐｌａｔｆｏｒｍ）のバッファー（ｂｕｆｆｅｒ）に位置するイメージを更新する更新関数の開始地点を検出する段階と、
前記プログラムプラットフォームのバッファーに位置するイメージをフッキング（ｈｏｏｋｉｎｇ）するためのフッキングコードを更新関数の開始地点に注入する段階と、
前記フッキングコードによりフッキングされたイメージを前記第１イメージとして獲得する段階と、を含むことを特徴とする請求項１に記載の動画生成方法。
前記ＰＩＰ動画を生成する段階は、
前記基準時点とそれぞれの前記作業時点との差を算出する段階と、
算出した差が前記ＰＩＰ動画を構成するフレーム間の間隔以下である場合、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、前記ＰＩＰ動画を構成する１つのフレームを生成する段階と、を含むことを特徴とする請求項１に記載の動画生成方法。
動画生成装置で行われる動画生成方法において、
端末で実行されるプログラムにより生成された第１イメージ、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ動画を生成するための基準となる基準時点を決定する段階と、
前記第１イメージを獲得する時点である第１作業時点、前記第２イメージを獲得する時点である第２作業時点及び前記オーディオを獲得する時点である第３作業時点を決定する段階と、
それぞれの前記作業時点で前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階と、
前記基準時点とそれぞれの前記作業時点とを比較した結果によって、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、ＰＩＰ動画を生成する段階と、を含み、
前記作業時点で前記第１イメージ、前記第２イメージ及び前記オーディオを獲得する段階は、前記端末に前記第１イメージの伝送を要請する段階と、
伝送要請に従って前記端末から前記第１イメージを獲得する段階と、を含む動画生成方法。
前記ＰＩＰ動画を生成する段階は、
前記基準時点とそれぞれの前記作業時点との差を算出する段階と、
算出した差が前記ＰＩＰ動画を構成するフレーム間の間隔以下である場合、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、前記ＰＩＰ動画を構成する１つのフレームを生成する段階と、を含むことを特徴とする請求項４に記載の動画生成方法。
動画生成装置で実行されるプログラムにより生成された第１イメージ、カメラにより生成された第２イメージ及びオーディオを基礎とするＰＩＰ動画を生成するための基準となる基準時点を決定する決定部と、
前記第１イメージを獲得する時点である第１作業時点を決定し、前記第１作業時点で前記第１イメージを獲得する第１獲得部と、
前記第２イメージを獲得する時点である第２作業時点を決定し、前記第２作業時点で前記第２イメージを獲得する第２獲得部と、
前記オーディオを獲得する時点である第３作業時点を決定し、前記第３作業時点で前記オーディオを獲得する第３獲得部と、
前記基準時点とそれぞれの前記作業時点とを比較した結果によって、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、ＰＩＰ動画を生成する生成部と、を含む動画生成装置。
前記第１獲得部は、
前記プログラムプラットフォームのバッファーに位置するイメージを更新する更新関数の開始地点を検出し、前記プログラムプラットフォームのバッファーに位置するイメージをフッキングするためのフッキングコードを更新関数の開始地点に注入し、フッキングコードによりフッキングされたイメージを第１イメージとして獲得することを特徴とする請求項６に記載の動画生成装置。
前記生成部は、
前記基準時点とそれぞれの前記作業時点との差を算出し、算出した差が前記ＰＩＰ動画を構成するフレーム間の間隔以下である場合、前記第１イメージ、前記第２イメージ及び前記オーディオを合成し、前記ＰＩＰ動画を構成する１つのフレームを生成することを特徴とする請求項６に記載の動画生成装置。