JP2019009754A - リアルタイム増強合成技術を用いた映像生成サーバ、映像生成システム及び方法 - Google Patents

Abstract

【課題】映像生成サーバ及び方法を提供する。【解決手段】映像生成サーバは、ソーシャルメディアプラットフォームに登録されたユーザの個人情報、編集する映像コンテンツ及び映像コンテンツ編集に付加される特殊効果を含む映像編集データを保存するデータベースと、ユーザによって登録された映像コンテンツを構成する場面に含まれるオブジェクトを認識して場面に付加される特殊効果を抽出する抽出モジュールと、場面を構成するオブジェクトのサイズと種類によって抽出された特殊効果の場面での設定位置を検出し、設定位置で前記特殊効果のサイズを算出する特殊効果調整モジュールと、特殊効果調整モジュールによって設定位置とサイズが調整された特殊効果を反映した場面をディスプルレイし、ディスプレイされた場面のうち一つを選んでもらい、これを保存し、選択された場面で映像を生成するディスプレイモジュールとを含む。【選択図】図１Ａ

Description

本発明は、映像生成サーバ及び方法に係るものであって、具体的にはライブソーシャルメディアプラットフォームサービスでリアルタイム増強合成技術を用いた映像生成サーバび方法に関する。
に関するものである。

本明細書において、別に表示されない限り、このセクションで説明する内容は本願発明の請求項に対する従来技術ではなく、このセクションに含まれるといって従来技術と認められるものではない。

近年、動画、イメージ、ビデオクリップなど、独自創作映像コンテンツ（ＵＣＣ、Ｕｓｅｒ Ｃｒｅａｔｅｄ Ｃｏｎｔｅｎｔｓ）に対する関心が日増しに高まっている。実際、動画プラットフォームであるユーチューブ（Ｙｏｕｔｕｂｅ）には毎日新しい独自創作映像がアップロードされている。最近は料理、旅行、化粧、カラーリング方法など創作される動画のテーマが非常に多様になっている傾向にあることから、動画撮影後の編集時に、単に背景フレームを挿入するだけでは完成された映像の品質を高めることはできない。

また、独自の創作映像コンテンツの供給が増加すると共に、デジタルカメラやビデオカメラで撮影した動画をＰＣにダウンロードして編集した後、ウェブに掲載して共有していたユーザが、モバイル機器で動画を撮影し、モバイル機器ですぐに編集して共有することを望んでいる。現在、一部のスマートフォンにおいては、スマートフォンで撮った動画を編集することができる動画編集機能が提供されているが、その機能が非常に制限的で、使いづらいのが実情である。

例えば、Ａｄｏｂｅ ＰｒｅｍｉｒｅなどのＰＣ動画編集アプリケーションは、ＰＣのような大きなディスプレイとマウスインタフェースが存在する環境には適するが、モバイル機器のような限定されたディスプレイとインプット環境には適さない方式である。また、Ｊｕｍｐｃｕｔなどのウェブ動画編集アプリケーションは、ＵＩ構成において、プレビュー画面、タイムライン、ストーリーボードパネル、効果パネルなどが平面的に配列されており、モバイル機器などの限定されたディスプレイには適さないＵＩ方式である。

また、高価な装備をユーザが携帯しない限り、撮影される映像でユーザが伝えようとする特定の記号やテキストなどを効果的に挿入することができないため、多少無味乾燥した映像だけが生成されて伝達されることにより、ユーザ志向の映像制作環境が不足しているといえる。例えば、映像通話の場合、発信者と受信者それぞれは、自分の端末を通じて相手側の映像と自分のビュー映像を同時に見ることになる。このとき、映像通話端末の特定のアプリケーションを駆動させない限り、現在の画面状態でユーザが相手側に伝えようとするテキスト、記号などを自分の映像と共に伝送することが非常に難しく構成されている。

さらに、特定のアプリケーションを駆動する場合にも、現在の自分の映像情報にテキスト、記号などが結合された映像が相手に伝達されるのではなく、現在の映像情報とテキスト、記号などのデータが二元的な形で相手側に伝達され、それぞれ独立したアプリケーションによってユーザに提供される。

韓国特許公開公報第１０‐２００７‐０１２５０２４号 韓国特許公開公報第１０‐２０１７‐０００２８３１号

本発明は、字幕、効果、背景、表情、キャラクターなどを含む特殊効果を、動画コンテンツに応じて場面に自動的に挿入することにより、スマート端末及びＰＣで高品質の映像コンテンツを生成することができるリアルタイム増強合成技術を用いた映像生成サーバ及び方法を提供することにその目的がある。

本発明の一実施形態によるリアルタイム増強合成技術を用いた映像生成サーバは、ソーシャルメディアプラットフォームに登録されたユーザの個人情報、編集する映像コンテンツ及び映像コンテンツ編集に付加される特殊効果を含む映像編集データを保存するデータベースと、ユーザによって登録された映像コンテンツを構成する場面に含まれたオブジェクトを認識することによって場面に付加される特殊効果を抽出する抽出モジュールと、場面を構成するオブジェクトのサイズと種類に応じて抽出された特殊効果の場面での設定位置を検出し、設定位置で特殊効果のサイズを算出する特殊効果調整モジュールと、特殊効果調整モジュールによって設定位置とサイズが調整された特殊効果を反映した場面をディスプレイし、ディスプレイされた場面の一つを選んでもらい、これを保存し、選ばれた場面で映像を生成するディスプレイモジュールと、を含む。

また、本発明の他の実施形態による映像生成サーバの映像生成方法は、（Ａ）データベースにソーシャルメディアプラットフォームに登録されたユーザの個人情報、編集する映像コンテンツ及び映像コンテンツ編集に必要な特殊効果を含む映像編集データを保存する段階と、（Ｂ）アイテム管理モジュールで字幕、マスク、顔文字、背景、表情、顔を含む特殊効果を購入して保存する段階と、（Ｃ）抽出モジュールでユーザによって登録された映像コンテンツを構成する場面に含まれたオブジェクトを認識して場面に付加される特殊効果を抽出する段階と、（Ｄ）特殊効果調整モジュールで場面を構成するオブジェクトのサイズと種類に応じて抽出された特殊効果の設定位置を検出し、設定位置での特殊効果のサイズを算出する段階と、（Ｅ）ディスプレイモジュールで特殊効果調整モジュールによって設定位置やサイズが調整された特殊効果を反映した複数の場面をディスプレイし、ディスプレイされた場面の一つを選んでもらい、選ばれた場面で動画を生成する段階、とを含む。

さらに、本発明の他の実施形態による映像生成サーバを含むリアルタイム増強合成技術を用いた映像生成システムは、映像生成サーバから映像生成に必要な一連のプログラムを分散方式で伝達されるスマート端末を含み、スマート端末は映像生成サーバを通じて伝達された映像生成プログラムを通じて映像を構成する場面を分析し、分析結果に応じて場面別の特殊効果を抽出し、場面に含まれたオブジェクトの種類とサイズに応じて抽出された特殊効果の設定位置やサイズを調整して場面に反映させる。

上述した映像生成サーバ及び方法によれば、動画を構成する場面に含まれたオブジェクトを分析して分析結果を基にオブジェクト別に適する特殊効果を抽出し、特殊効果の位置とサイズを自動算出して場面に反映することにより、動画編集をより早く、簡単に行うことができる。

また、スマート端末で最適化されたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供することによって、ユーザが自分のスマート端末でも手軽に動画を編集することができる。

また、字幕、効果、背景、表情、マスク、小物、キャラクター、絵など多様な特殊効果を生成してライブラリに登録し、生成された特殊効果を他のユーザが購入すると、収益を創出できるようにすることもできる。

本発明の効果は、上述した効果に限定されるものではなく、本発明の詳細な説明、または特許請求範囲に記載された発明の構成から推論可能なすべての効果を含むものと理解されなければならない。

本発明の実施形態による映像編集システムを示した図である。 本発明の実施形態による創作物（特殊効果）生成ディスプレイを示した図である。 本発明の実施形態による映像編集サーバの大まかな構成を示したブロック図である。 本発明の実施形態による場面コンテンツに応じて抽出された特殊効果が反映された図である。 本発明の実施形態による映像編集サーバのより具体的な構成を示した図である。 本発明の実施形態による特殊効果の適用を示した図である。 本発明の実施形態による映像編集方法のデータ処理の流れを示したフローチャートである。 本発明の実施形態による特殊効果の抽出及び適用過程のディスプレイを示した図である。 本発明の実施形態による特殊効果の抽出及び適用過程のディスプレイを示した図である。 本発明の実施形態による映像編集システムに登録されたクリエータ達が生成した多様な特殊効果及び特殊効果が映像場面に適用された例を示した図である。 本発明の実施形態によるクリエータ達によって生成された特殊効果が映像編集サーバを通じて配布、または販売されるＵＩディスプレイを示した図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付図面と共に詳述されている実施形態を参照すると明確になるが、本発明は以下に開示する実施形態に限定されるものではなく、互いに異なる多様な形態で具現でき、但し、本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野において通常の知識を有する者に対し、発明の範疇を完全に知らせるために提供するものであり、本発明は請求範囲の範疇によって定義されるものに過ぎない。明細書全体にわたり同一の図面符号は同一の構成要素を指す。

本発明の実施形態を説明するにおいて、公知機能または構成に対する具体的な説明が本発明の要旨を不要に濁しかねないと判断される場合は、その詳細な説明を省略することにする。また、後述する用語は、本発明の実施形態での機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例によって変わることがある。したがって、その定義は本明細書全般にわたる内容に基づいて下されなければならない。

図１Ａは、本発明の実施形態による映像編集システム（映像生成システム）を示した図である。

本発明の実施形態による映像編集システムは、映像編集サーバ１００（映像生成サーバ）、コンテンツライブラリ２００、デジタルデバイス３００、及びソフトウェア共有プラットフォーム４００を含んで構成される。

映像編集サーバ１００は、本発明の実施形態で提供する映像編集プログラムを個人のＰＣ、スマートフォンなどを含むデジタルデバイスに分散方式で提供する。デジタルデバイス３００は、映像編集サーバ１００から編集プログラムが伝達され、これを利用して動画編集を行う。図１Ａに示すように、本発明で提供する映像編集プログラムは、映像を構成する画面を分析して分析結果に応じて背景、小物、字幕、表情、マスク、特殊効果などを含む各種の特殊効果を自動的に抽出し、抽出された特殊効果を場面の最適な位置に設定する機能を提供する。これにより、ユーザはスマートフォンでも最適化されたＵＩを用いて動画を構成する場面それぞれのコンテンツにマッチングされた特殊効果を手軽に追加することで、特殊効果が挿入された編集映像ａを生成することができる。

コンテンツライブラリ２００は、デジタルデバイス３００からユーザが直に生成した創作物（特殊効果）の伝達を受けて保存し、これを映像編集システムに登録されたユーザたちに販売したり、無料で配布できるようにする。図１Ｂは、本発明の実施形態による創作物（特殊効果）生成ディスプレイを示した図である。図１Ｂに示すように、映像編集システムに登録されたユーザのうち創作物（特殊効果）を創作できるクリエータは、小物、顔の表情などの特殊効果に含まれるデジタルコンテンツを生成し、これをコンテンツライブラリ２００を通じて配布することで収益を創出することができる。

図２Ａは、本発明の実施形態による映像編集サーバの大まかな構成を示したブロック図である。

図２Ａを参照すると、映像編集サーバ１００は、データベース１１０、抽出モジュール１３０、特殊効果調整モジュール１５０及びディスプレイモジュール１７０を含んで構成される。

本明細書で用いる「モジュール」という用語は、用語が使用された文脈によって、ソフトウェア、ハードウェアまたはその組み合わせを含むことができるものと解釈されなければならない。例えば、ソフトウェアは、機械語、ファームウェア（ｆｉｒｍｗａｒｅ）、埋め込みコード （ｅｍｂｅｄｄｅｄ ｃｏｄｅ）、及びアプリケーションソフトウェアであることもできる。また他の例として、ハードウェアは、回路、プロセッサ、コンピューター、集積回路、集積回路コア、センサー、メムス（ＭＥＭＳ；Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）、手動デバイス、またはその組合せであることもできる。

データベース１１０は、映像編集システムに登録するために要求されるユーザの個人情報及び編集する映像コンテンツ、映像編集データなど、本発明による映像編集機能を提供するために必要な一連のデータを保存する。例えば、映像編集データには顔、マスク、小物、キャラクター、背景、特殊効果など様々な特殊効果が含まれる。また、データベース１１０には場面に含まれたオブジェクトの詳細情報によって、特殊効果をマッチングして保存する。例えば、オブジェクトの詳細情報が、笑う表情であると、花、スマイル、明るい背景などの特殊効果をマッチングし、また、オブジェクトの詳細情報が怒った表情には、角、雷などの特殊効果をオブジェクトの詳細情報にそれぞれマッチングして保存することができる。

抽出モジュール１３０は、編集する映像コンテンツを構成する場面を分析し、分析結果によって場面に含まれる特殊効果を抽出する。例えば、抽出モジュールは、場面に含まれたオブジェクトの輪郭線及びエッジの認識でオブジェクトの種類を把握し、その結果によって特殊効果を抽出することができる。また、抽出モジュール１３０は、ユーザが選択した特殊効果のヒストリー情報及び認識されたオブジェクトの種類に応じて場面別に特殊効果を薦めることができる。

特殊効果調整モジュール１５０は、場面を構成するオブジェクトのサイズと種類によって抽出モジュール１３０から抽出された特殊効果の場面での設定位置を検出し、設定位置でオブジェクトのサイズに応じて特殊効果のサイズを算出する。特殊効果調整モジュール１５０は、場面にｘ、ｙ、ｚ軸を設定し、座標を生成して、オブジェクトのサイズと種類に応じて抽出された特殊効果のサイズと位置を最適化することで、編集された映像品質を向上させることができる。

ディスプレイモジュール１７０は、特殊効果調整モジュールによって、設定位置とサイズが調整された特殊効果を反映した場面をディスプレイし、ディスプレイされた場面のうち一つを選んでもらって保存し、場面に最適化した特殊効果が適用された編集映像を生成できるようにする。また、実施形態において映像編集サーバ１００は、マスク、字幕、顔文字、背景、表情、顔を含む特殊効果を購入して保存するアイテム管理モジュール(図示せず)をさらに含むことができる。

図２Ｂは実施形態による場面コンテンツに応じて抽出された特殊効果が反映された図である。

図２Ｂに示すように、実施形態では、特定の表情と特定の特殊効果とをマッチングして、編集が必要な場面で特定の表情が認識される場合、これにマッチングされた特殊効果が反映されるようにする。例えば、場面でオブジェクトが人と認知され、人物オブジェクトのエッジ及び輪郭線検出により、人物オブジェクトの笑う表情が認識されると、笑う表情にマッチングされた特殊効果が反映されるようにする。また他の例として、目を瞑ったり、しかめた表情が検出されると、それぞれの表情にマッチングされた特殊効果が場面に反映されるようにすることができる。

図３Ａは実施形態による映像編集サーバ１００のより具体的な構成を示した図である。

図３Ａを参照すると、映像編集サーバ１００の抽出モジュール１３０は、オブジェクト認識部１３１と特殊効果抽出部１３３を含んで構成することができ、特殊効果調整モジュール１５０は、位置設定部１５１及びサイズ算出部１５３を含んで構成することができ、ディスプレイモジュール１７０は、シミュレーション部１７１及び映像生成部１７３を含んで構成することができる。

抽出モジュール１３０のオブジェクト認識部１３１は、場面に含まれたオブジェクトのサイズと種類を認識し、認識されたオブジェクトが人であれば、認識された人の表情、動作を含む詳細情報を認識する。例えば、オブジェクト認識部１３１は、オブジェクトの輪郭線及びエッジの検出後、特徴点を抽出し、抽出された特徴点を基に人物オブジェクトの表情及び動作を含むオブジェクトの詳細情報を認識することができる。

特殊効果抽出部１３３は、認識されたオブジェクトの詳細情報に対応する場面別に特殊効果を抽出する。例えば、オブジェクト認識部１３１で認識された人物オブジェクトの表情が泣く表情であれば、上記の表情に既にマッチングされた涙、雲、雨、泣く表情のキャラクターなど、オブジェクトの詳細情報にマッチングされた特殊効果を抽出することができる。また、特殊効果抽出部１３３は、オブジェクトの詳細情報とユーザ別特殊効果と利用ヒストリーとを反映して、ユーザが好む特殊効果を薦めることができる。

特殊効果調整モジュール１５０の位置設定部１５１は、抽出された特殊効果及びオブジェクトの詳細情報に応じて、場面で特殊効果が反映される最適な位置を設定する。例えば、位置設定部１５１は、オブジェクトの詳細情報と特殊効果のサイズや種類を考慮して特殊効果が反映される最適な位置を設定することができる。具体的に、位置設定部１５１は、帽子、ヘアスタイルなどの特殊効果であれば、オブジェクトの頭の部分のエッジと輪郭線が特殊効果（帽子、ヘアスタイル）のエッジと輪郭線に重なるようにオブジェクトの最適な位置を設定することができる。

サイズ算出部１５３は、設定された位置でオブジェクトのサイズ及び種類を考慮した特殊効果の最適なサイズを算出する。例えば、サイズ算出部１５３は、場面に含まれるオブジェクトのサイズと特殊効果のサイズ及びオブジェクトと特殊効果のサイズの割合などを基に適する特殊効果の最適なサイズを演算することができる。

ディスプレイモジュール１７０のシミュレーション部１７１は、映像を構成する各場面に反映された特殊効果をシミュレーションする。特殊効果のシミュレーション後、特殊効果が適用された場面のうち一つを選んでもらい保存する。映像生成部１７３は、保存された場面を用いて特殊効果が適用された映像コンテンツを生成する。

図３Ｂは、本発明の実施形態による特殊効果の適用を示した図である。

図３Ｂの（ａ）に示すように、映像編集サーバの抽出モジュール１３０では、映像を構成する場面に含まれたオブジェクトの輪郭線とエッジを認識してオブジェクトが人の顔と認識されると、顔の特徴点の抽出を通じて表情を認識することができる。その後、（ｂ）に示すように、認識された表情にマッチングする特殊効果を抽出し、（ｃ）に示すように、特殊効果が適用される最適な位置を設定する。例えば、実施形態では、オブジェクトを含む場面やオブジェクトの位置を３軸（ｘ、ｙ、ｚ軸）座標化した後、特殊効果の最適な位置を設定することができる。位置設定後、（ｄ）に示すように、特殊効果の最適なサイズを導出して場面に適用する。本開示を通じて、実施形態のように場面に含まれたオブジェクトが人であれば、人の表情を認識し、認識された表情に既にマッチングされた特殊効果を抽出し、オブジェクトのサイズに応じて特殊効果のサイズと位置を最適に調整して適用することによって、背景、マスク、小物などを含む特殊効果をそれぞれの場面に精巧に反映することで、編集された動画品質を向上させることができる。

以下、本発明による映像編集方法について順に説明する。以下の映像編集方法の作用（機能）は、映像編集サーバ及びシステム上の機能と本質的に同じものであるので、図１乃至図３Ｂと重複する説明は省略することにする。

図４は一実施形態による映像編集方法（映像生成方法）のデータ処理の流れを示したフローチャートである。

Ｓ４１０段階では、スマート端末など、デジタルデバイスで編集する映像データをアップロードする。

Ｓ４２０段階では、抽出モジュール１３０で編集する動画を構成する場面を分析する。例えば、場面に含まれたオブジェクトを認識し、認識されたオブジェクトが人であれば、人物オブジェクトの動作、表情などオブジェクトの詳細情報を検出する。

Ｓ４３０段階において、抽出モジュール１３０で詳細情報の検出結果に応じて人物オブジェクトに適用される特殊効果を抽出する。例えば、人物オブジェクトの表情が笑う表情で検索されれば、スマイル、花の背景、気持ち良いなどの字幕などの特殊効果を抽出することができる。抽出される特殊効果は、人物オブジェクトの表情や動作によってマッチングされ、これを保存することができる。また、ユーザ別特殊効果の使用ヒストリーに応じて、好みの特殊効果を薦めることができる。

Ｓ４４０段階では、特殊効果調整モジュール１５０で場面を構成するオブジェクトのサイズと種類に応じて抽出された特殊効果の場面での設定位置を検出し、設定位置での特殊効果のサイズを算出する。

Ｓ４５０段階では、設定位置に特殊効果が適用された複数の場面がティスプレイされ、ディスプレイされた場面のうち一つを選んでもらい、これを保存する。

Ｓ４６０段階では、特殊効果が適用された保存済みの場面を利用して動画を生成する。

図５乃至図８は、本発明の実施形態による映像編集サーバによって提供される編集過程及び動画の結果物のディスプレイを示した図である。

図５及び図６は、本発明の実施形態による特殊効果の抽出及び適用過程のディスプレイを示した図である

図５の（ａ）、（ｂ）に示すように、スマートフォンまたは個人ＰＣで編集する映像ファイルを開くと、映像を構成する場面に含まれたオブジェクトが三次元にディスプレイされる。その後、（ｃ）に示すように、ディスプレイされたオブジェクトの輪郭線とエッジを検出し、特徴点（１、２）を検出してオブジェクトの表情を認識する。すると、（ｄ）に示すように、認識された表情によってオブジェクトに適用可能な特殊効果（１）が抽出されてディスプレイされ、場面で座標軸を設定することにより抽出された特殊効果（１）の最適な位置を検出する。

図６に示す他の実施形態について説明すると、図６の（ｅ）部分に示すように、特定特殊効果（１）を呼び寄せると、特殊効果（１）の最適な位置を検出するために、（ｆ）に示すように、オブジェクトを含む場面に座標を設定してオブジェクトと特殊効果の種類によって適用される最適位置が演算される。その後、（ｇ）に示すように、特定のオブジェクトが適用される最適な位置が検出され、特殊効果が設定される。その後、（ｈ）に示すように、特殊効果のサイズを調整し、設定位置をより細かく調整して特殊効果の反映を完了する。

図７は本発明の実施形態による映像編集システムに登録されたクリエータ達が生成した多様な特殊効果及び特殊効果が映像場面に適用された例を示した図である。

図７に示すように、動画に特殊効果で付加される特殊効果はイメージ、マスク、表情、背景、字幕、小物、キャラクターなどがあり、非常に多様に演出でき、動画を構成するオブジェクトの表情と動作、使用言語、サイズなどオブジェクトの詳細情報に応じて適切な特殊効果が自動的に推薦されて場面に反映することができる。

図８は本発明の実施形態によるクリエータ達によって生成された特殊効果が映像編集サーバを通じて配布、または販売されるＵＩディスプレイを示した図である。

図８に示すように、クリエータ達は直に特殊効果を生成し、これを映像編集システムに登録されたユーザに販売することができ、ユーザたちは様々な特殊効果のうち、自分が使う特殊効果を購入して自分の動画編集に利用できる。

以上のような映像生成サーバ及び方法は、動画を構成する場面に含まれたオブジェクトを分析し、分析結果を基にオブジェクト別に適する特殊効果を抽出し、特殊効果の位置とサイズを自動算出して場面に反映することによって、動画編集をより早く、且つ容易に行うことができるようにする。また、スマート端末で最適化されたＵＩを提供することにより、ユーザが自分のスマート端末でも手軽に動画を編集できるようにする。また、字幕、効果、背景、表情、マスク、小物、キャラクター、絵など多様な特殊効果を生成し、ライブラリに登録するにおいては、生成された特殊効果を他のユーザが購入すると、収益を創出することができる。

本発明の内容は、例示に過ぎず、特許請求範囲で請求する請求の要旨から外れることなく、当該技術分野において通常の知識を有する者によって多様に変更実施することができるため、開示された内容の保護範囲は上述した特定の実施形態に限定されない。

１１０ データベース
１３０ 抽出モジュール
１５０ 特殊効果調整モジュール
１７０ ディスプレイモジュール

Claims (10)

1. リアルタイム増強合成技術を用いた映像生成サーバにおいて、
   ソーシャルメディアプラットフォームに登録されたユーザの個人情報、編集する映像コンテンツ及び前記映像コンテンツの編集に付加される特殊効果を含む映像編集データを保存するデータベースと、
   前記ユーザによって登録された映像コンテンツを構成する場面に含まれたオブジェクトを認識して前記場面に付加される特殊効果を抽出する抽出モジュールと、
   前記場面を構成するオブジェクトのサイズと種類に応じて、前記抽出された特殊効果の前記場面での設定位置を検出し、前記設定位置で前記特殊効果のサイズを算出する特殊効果調整モジュールと、
   前記特殊効果調整モジュールによって、設定位置とサイズが調整された前記特殊効果を反映した場面をディスプレイし、ディスプレイされた場面の一つを選んでもらい、これを保存し、選択された場面で映像を生成するディスプレイモジュールと、を含む映像生成サーバ。
2. 前記抽出モジュールは、前記場面に含まれたオブジェクトのサイズと種類を認識し、認識されたオブジェクトが人物であれば、オブジェクトのエッジや輪郭線の検出を通じ、前記認識された人の表情、動作を含むオブジェクトの詳細情報を認識するオブジェクト認識部と、
   前記認識されたオブジェクトの詳細情報にマッチングされた場面別の特殊効果を抽出する特殊効果抽出部と、を含むことを特徴とする請求項１に記載の映像生成サーバ。
3. 前記特殊効果調整モジュールは、前記の抽出された特殊効果及びオブジェクトの種類に応じて前記場面で特殊効果が反映される位置を設定する位置設定部と、
   前記設定された位置でオブジェクト及び特殊効果のサイズ及び種類と特殊効果とオブジェクトのサイズの割合に応じて特殊効果の適用に最適なサイズを算出するサイズ算出部と、を含むことを特徴とする請求項１に記載の映像生成サーバ。
4. 前記映像生成サーバは、マスク、字幕、特殊効果、顔文字、背景、表情、顔を含む特殊効果を購入して保存するアイテム管理モジュールをさらに含むことを特徴とする請求項１に記載の映像生成サーバ。
5. 前記抽出モジュールは、ユーザによって選択された特殊効果とヒストリー情報及び認識されたオブジェクトの種類に応じて場面別に特殊効果を推薦することを特徴とする請求項１または２に記載の映像生成サーバ。
6. データベース、抽出モジュール、特殊効果調整モジュール、ディスプレイモジュール、アイテム管理モジュールを含む映像生成サーバでの映像生成方法において、
   （Ａ）前記データベースに、ソーシャルメディアプラットフォームに登録されたユーザの個人情報、編集する映像コンテンツ及び前記映像コンテンツの編集に必要な特殊効果を含む映像編集データを保存する段階と、
   （Ｂ）前記アイテム管理モジュールで、字幕、マスク、特殊効果、顔文字、背景、表情、顔を含む特殊効果を購入して保存する段階と、
   （Ｃ）前記抽出モジュールで、ユーザによって登録された映像コンテンツを構成する場面に含まれたオブジェクトを認識して前記場面に付加される特殊効果を抽出する段階と、
   （Ｄ）前記特殊効果調整モジュールで、場面を構成するオブジェクトのサイズと種類に応じて前記の抽出された特殊効果の設定位置を検出し、前記設定位置での前記特殊効果のサイズを算出する段階と、
   （Ｅ）前記ディスプレイモジュールで、前記特殊効果調整モジュールによって設定位置とサイズが調整された前記特殊効果を反映した複数の場面をディスプレイし、ディスプレイされた場面のうち一つを選んでもらい、選択された場面で動画を生成する段階と、を含む映像生成方法。
7. 前記（Ｃ）の場面に付加される特殊効果を抽出する段階は、
   前記場面に含まれたオブジェクトの輪郭線及びエッジを検出してサイズと種類を認識する段階と、
   前記認識されたオブジェクトが人であれば、前記認識されたオブジェクトの特徴点を検出することにより、人の表情、動作を含む詳細情報を認識する段階と、
   前記認識されたオブジェクトの詳細情報にマッチングされた場面別の特殊効果を抽出する段階と、を含むことを特徴とする請求項６に記載の映像生成方法。
8. 前記（Ｃ）の場面に付加される特殊効果を抽出する段階は、
   ユーザが選択した特殊効果ヒストリー情報及び認識されたオブジェクトの種類に応じて場面別の特殊効果を推薦することを特徴とする請求項６または７に記載の映像生成方法。
9. 映像生成サーバを含むリアルタイム増強合成技術を用いた映像生成システムにおいて、
   前記映像生成サーバから映像生成に必要な一連のプログラムを分散方式で伝達されるスマート端末をさらに含み、
   前記スマート端末は、前記映像生成サーバを通じて伝達された映像生成プログラムを通じて映像を構成する場面を分析し、分析結果によって場面別特殊効果を抽出し、前記場面に含まれたオブジェクトの種類とサイズによって抽出された特殊効果の設定位置とサイズを調整して前記場面に反映することを特徴とする映像生成システム。
10. 前記映像生成サーバは、
    ソーシャルメディアプラットフォームに登録されたユーザの個人情報、編集する映像コンテンツ及び前記映像コンテンツの編集に付加される特殊効果を含む映像編集データを保存するデータベースと、
    前記ユーザによって登録された映像コンテンツを構成する場面に含まれたオブジェクトを認識し、前記場面に付加される特殊効果を抽出する抽出モジュールと、
    前記場面を構成するオブジェクトのサイズと種類に応じて、前記抽出された特殊効果の前記場面での設定位置を検出し、前記設定位置で前記特殊効果のサイズを算出する特殊効果調整モジュールと、
    前記特殊効果調整モジュールによって、設定位置とサイズが調整された前記特殊効果を反映した場面をディスプレイし、ディスプレイされた場面のうち一つを選んでもらい、これを保存し、選択された場面で映像を生成するディスプレイモジュールと、を含むことを特徴とする請求項９に記載の映像生成システム。