JP2017046162A - 合成動画作成システム、合成動画作成補助システム及び合成動画作成プログラム - Google Patents

Abstract

【課題】動画を撮影しながらリアルタイムに別の動画と合成できる合成動画作成システムを提供する。
【解決手段】動画を撮影可能な撮影装置１と、この撮影装置によって撮影される撮影動画及び予め用意される素材動画を撮影動画の撮影と同時にアルファブレンディングにより合成する処理装置２と、この処理装置が合成した合成動画をリアルタイムに表示する表示装置３と、合成動画を記憶する記憶装置4とを備え、撮影動画及び素材動画の一方に他方を合成する合成領域を設定する制御部１１を有する。合成領域は、撮影動画又は素材動画の各フレームのヘッダーに記述される縦横の座標範囲内の方形の領域である。
【選択図】図１

Description

本発明は、合成動画作成システム、合成動画作成補助システム及び合成動画作成プログラムに関する。

動画作品を制作する上で動画の合成は有効な技術である。例えば映画やテレビ番組の製作において、人物等を撮影した撮影動画と、撮影動画とは別の背景動画とを合成することが広く行われている。

動画合成の効果は、動画を合成することで、オリジナルの各々の動画では表現できなかった新たなアイデアや映像表現が生まれることである。具体的には、動画を合成することによって、実際は撮影スタジオ内で撮影しているのに別の場所で撮影しているかのような合成動画を制作したり、或いはスタジオ内に存在しない被写体の両方の被写体がスタジオ内に存在しているような合成動画を制作することもできる。また、撮影動画とは別の動画を半透明にして撮影動画と合成したりすることで撮影動画に特別な効果を付加した合成動画を制作することも可能である。

近年、例えばスマートフォン等のカメラ付き携帯機器の普及により誰でも高度な動画撮影が可能になりユーザー投稿動画サイト等で動画作品を発表しているが、大部分の動画作品は被写体を撮影しただけの動画である。また、ユーザー投稿動画サイト等の動画作品は、動画を編集している場合でも、撮影動画への静止画やテロップの挿入、動画の一部への別の動画のオーバーレイ等の比較的単純な編集をしているだけであり（例えば特開２０１１−１９１４５号公報参照）、動画の合成による動画作品を発表できている製作者は限定されている。

従来の動画撮影及び動画合成では、被写体を撮影する動画撮影システムと、撮影した動画と別の動画を合成する合成動画作成システムが分離されており、動画の撮影と動画の合成とが別々のプロセスとして実行される。つまり動画撮影と動画合成とを同時に実行するのではなく、動画撮影と動画合成が分業されている。このため、一般の携帯機器ユーザーが合成動画を制作することは容易ではない。

動画を合成する技術が用いられる分野は、主に映画、テレビ番組、動画広告等の制作においてである。動画広告の分野では、近年、テレビＣＭに加えて、スマートフォンやパーソナルコンピューターを広告媒体としてインターネットを介して動画広告を配信するインターネット動画広告が普及してきている。インターネット動画広告はスマートフォンやパーソナルコンピューターで閲覧可能なウェブサイトやアプリケーションの画面に掲載されることが多い。

インターネット動画広告は、テレビＣＭと異なり、動画広告が掲載されているウェブサイトやアプリケーションなどの広告媒体を消費者が閲覧したとしても、消費者が動画広告を再生するアクションをとらないと動画広告が開始されない場合が殆どである。また、動画広告はウェブサイトやアプリケーションの画面の一部に掲載されており、画面全面に表示させるためには閲覧者が画像をタップする等の適当なアクションをとらなければならない。

インターネット動画広告では、閲覧者のアクションを誘導するため、つまり再生ボタンのクリック数を稼ぐために、動画広告の初期画面に魅力的なキャッチコピーを掲載したり、動画再生された後にスキップできる機能を付加したりする仕組みが採用される場合が多い。

また、インターネット動画広告では、広告媒体ごとに閲覧する消費者層に適した動画広告の内容にしたりして、より多くの消費者が閲覧するように工夫することが可能である。このため、多様な合成動画を制作することへのニーズが大きくなっている。インターネット動画広告には大きなコストをかけることが難しいのが現実であるが、動画合成の制作には、比較的費用がかかる。

合成動画の制作のコストを増大させる要因としては、上述のように、動画撮影システムと合成動画作成システムが分離しているので、被写体を撮影する際に、別の動画と合成した合成動画を見ながら撮影することができないことが挙げられる。被写体の撮影が完了してから別の動画と合成してみて、例えば撮影アングル、縮尺、色合い等の違いなどの問題が生じた場合、被写体の撮影をやり直したり、合成する動画を修正したりする必要が生じるため、動画制作時間が長くなり、動画制作費用が高くなるのである。

そこで、合成動画の作成を容易かつ安価にすることで、個性的で独創的な動画作品が制作される可能性が増大し、インターネット動画広告がより効果的となると共に、動画制作に関係している産業分野の活性化が期待される。

特開２０１１−１９１４５号公報

上記事情に鑑みて、本発明は、動画を撮影しながらリアルタイムに別の動画と合成できる合成動画作成システム及び合成動画作成プログラム、並びに合成動画の作成を促進できる合成動画作成補助システムを提供することを課題とする。

上記課題を解決するためになされた本発明の合成動画作成システムは、動画を撮影可能な撮影装置と、この撮影装置によって撮影される撮影動画及び予め用意される素材動画を撮影動画の撮影と同時にアルファブレンディングにより合成する処理装置と、この処理装置が合成した合成動画をリアルタイムに表示する表示装置と、上記合成動画を記憶する記憶装置とを備える合成動画作成システムであって、上記処理装置が、上記撮影動画及び素材動画の一方に他方を合成する合成領域を設定する制御部を有することを特徴とする。

当該合成動画作成システムは、上記処理装置が、上記撮影動画及び素材動画の一方に他方を合成する合成領域を設定する制御部を有することによって、画像合成に要する演算負荷が比較的小さくなるので、撮影動画を撮影すると同時に素材動画と合成して表示装置に合成動画を表示することができる。このように、当該合成動画作成システムは、撮影動画を撮影しながら合成動画をリアルタイムに確認できるので、合成動画が不出来な場合にはすぐに撮影動画を撮り直すことができ、合成動画を比較的容易かつ安価に制作することができる。

上記合成領域が、撮影動画又は素材動画の各フレームのヘッダーに記述される縦横の座標範囲内の方形の領域であるとよい。このように、上記合成領域が、撮影動画又は素材動画の各フレームのヘッダーに記述される縦横の座標範囲内の方形の領域であることによって、合成領域を特定するためのデータ量及び演算量が小さく、より高画質な動画を合成することができる。

上記素材動画のフレームのヘッダーが暗号化され、上記処理装置が上記素材動画のフレームのヘッダーを復号する制御部を有するとよい。このように、上記素材動画のフレームのヘッダーが暗号化され、上記処理装置が上記素材動画のフレームのヘッダーを復号する制御部を有することによって、画像データの処理についての演算負荷を増大させることなく、素材動画の不正利用を防止することができる。

上記処理装置が、撮影動画の連続する複数のフレーム間で色の変化が閾値に満たない画素のアルファ値を１に設定する制御部を有するとよい。このように、上記処理装置が、撮影動画の連続する複数のフレーム間で色の変化が閾値に満たない画素のアルファ値を１に設定する制御部を有することによって、撮影動画中の人物等の被写体を抽出して素材動画中に合成することができる。

上記処理装置が、ネットワークを介して素材動画を取得する制御部を有するとよい。このように、上記処理装置が、ネットワークを介して素材動画を取得する制御部を有することによって、当該合成動画作成システムのユーザーが自ら素材動画を作成しなくても、多様な合成動画を制作することが可能になる。

上記処理装置が、ネットワークを介して通信する際にユーザー認証処理を行う制御部を有するとよい。このように、上記処理装置が、ネットワークを介して通信する際にユーザー認証処理を行う制御部を有することによって、第三者が素材動画を有償で提供することができ、素材動画の提供を促進することができる。

上記処理装置が、ネットワークを介して素材動画の提供及び合成した合成動画の収集を行うサービス提供者を表示装置に選択可能に表示させる制御部を有するとよい。このように、上記処理装置が、ネットワークを介して素材動画の提供及び合成した合成動画の収集を行うサービス提供者を表示装置に選択可能に表示させる制御部を有することによって、当該合成動画作成システムのユーザーが素材動画の入手及び合成動画の発表を比較的容易に行うことができる。また、これにより素材動画の提供及び合成動画の発表が促進されることによって、素材動画の提供者が利益を得やすくなる。

また、上記課題を解決するためになされた本発明の合成動画作成補助システムは、上記合成動画作成システムにネットワークを介して素材動画を提供する機構と、上記合成動画作成システムにより作成された合成動画をネットワークを介して収集する機構とを備える合成動画作成補助システムである。

当該合成動画作成補助システムは、上記合成動画作成システムに素材動画を提供する機構を備えるので、素材動画を作成するスキルを有しない一般ユーザーであっても合成動画作成システムにより多様な合成動画を作成することを可能にできる。また、当該合成動画作成補助システムは、合成動画を収集する機構を備えるので、合成動画のコンテスト等を開催することで、一般ユーザーから比較的容易に合成動画の提供を受けることができる。これにより、合成動画の募集等の広告効果のあるキャンペーンを行いつつ、宣伝効果の高い斬新なアイデアの合成動画を得ることを可能にする。

また、上記課題を解決するためになされたさらに本発明の合成動画作成プログラムは、動画を撮影可能な撮影装置と、動画を表示可能な表示装置と、データを処理する処理装置と、データを記憶可能な記憶装置とを備える携帯機器用の合成動画作成プログラムであって、上記撮影装置により撮影される撮影動画のデータを取得する制御要素と、上記記憶装置又はネットワークから予め用意される素材動画のデータを取得する制御要素と、上記撮影動画及び素材動画の一方に他方を合成する合成領域を設定する制御要素と、上記撮影動画及び素材動画の一方の上記合成領域に撮影動画のデータ及び素材動画の他方のデータを撮影動画の撮影と同時にアルファブレンディングにより合成する制御要素と、合成した合成動画を上記表示装置にリアルタイムに表示させる制御要素と、合成した合成動画のデータを上記記憶装置に記憶させる制御要素と備えることを特徴とする。

当該合成動画作成プログラムは、上記撮影動画及び素材動画の一方に他方を合成する合成領域を設定する制御要素を有することによって、画像合成に要する演算負荷が比較的小さいので、撮影動画を撮影しながらアルファブレンディングによりリアルタイムに素材動画と合成して表示装置に合成動画を表示させることができる。このように、当該合成動画作成プログラムを用いることによって、撮影動画を撮影しながら合成動画を確認できるので、必要な場合にはすぐに撮影動画を撮り直すことができ、合成動画を比較的容易かつ安価に制作することができる。

以上のように、本発明の合成動画作成システム及び合成動画作成プログラムは、動画を撮影しながらリアルタイムに別の動画と合成できる。

本発明の一実施形態の合成動画作成システムの構成を示す模式図である。 図１の合成動画作成システムのユーザーインターフェイスの階層構造を示す模式図である。 図１の合成動画作成システムで合成される素材動画を示す模式図である。 図３の素材動画におけるアルファ値を示す模式図である。 図３の素材動画と合成される撮影動画を示す模式図である。 図３の素材動画と図５の撮影動画とを合成して得られる合成動画を示す模式図である。 図３とは異なる素材動画を示す模式図である。 図５の撮影動画に設定されるアルファ値を示す模式図である。 図７の素材動画と図５の撮影動画とを合成して得られる合成動画を示す模式図である。 図３及び図７とは異なる素材動画を示す模式図である。 図１０の素材動画と合成される撮影動画を示す模式図である。 図１０の素材動画と図１１の撮影動画とを合成して得られる合成動画を示す模式図である。 本発明の別の実施形態の合成動画作成補助システムの構成を示す模式図である。 図３、図７及び図１１とは異なる素材動画を示す模式図である。 図１４の素材動画においてアルファ値が０に設定されている画像を示す模式図である。 図１４の素材動画と撮影動画とを合成して得られる合成動画を示す模式図である。 図３、図７、図１１及び図１４とは異なる素材動画を示す模式図である。 図１７の素材動画と撮影動画とを合成して得られる合成動画を示す模式図である。 図３、図７、図１１、図１４及び図１７とは異なる素材動画を示す模式図である。 図１９の素材動画と撮影動画とを合成して得られる合成動画を示す模式図である。 図３、図７、図１１、図１４、図１７及び図１９とは異なる素材動画を示す模式図である。 図２１の素材動画と撮影動画とを合成して得られる合成動画を示す模式図である。

以下、適宜図面を参照しつつ、本発明の実施の形態を詳説する。

［合成動画作成システム］
図１に示す本発明の一実施形態の合成動画作成システムは、動画を撮影可能な撮影装置１と、この撮影装置１によって撮影される撮影動画及び予め用意される素材動画を撮影動画の撮影と同時にアルファブレンディングにより合成する処理装置２と、この処理装置２が合成した合成動画をリアルタイムに表示する表示装置３と、処理装置２が合成した合成動画を記憶する記憶装置４と、ユーザーが操作可能な入力装置５と、ネットワークを介して情報を通信する通信装置６とを備える。

当該合成動画作成システムは、例えばスマートフォン等の携帯機器に、後述する本発明の別の実施形態の合成動画作成プログラムをインストールすることによって実現することができる。

撮影動画、素材動画及びこれらを合成して得られる合成動画のデータは、動画データの属性等の情報を記述するファイルヘッダー部と、動画の内容を記述する動画データ部とを有するデータファイルとして記録される。上記動画データ部は、好ましくは、フレームごとに、画像の管理情報を記述するフレームヘッダーと、画像の内容を記述するフレーム画像データとを有するデータ構造とされる。上記動画データ部は、複数のフレーム画像データに対して１つのフレームヘッダーを有する構造、つまり１つのフレームヘッダーと複数のフレーム画像データとを１つのデータブロックとして有する構造であってもよい。

＜撮影装置＞
撮影装置１は、例えばＣＭＯＳセンサ等を有する公知のカメラモジュールによって構成することができる。

この撮影装置１は、人物等の被写体及びその背景の光学画像を一定時間ごとに、例えば３０分の１秒に１回、電気信号に変換して１フレーム（１コマ）の画像信号データを生成し、各フレームの画像を繋ぎ合せることで撮影動画のデータを生成する。

＜処理装置＞
処理装置２は、例えばマイクロプロセッサー等のプログラム可能な演算装置によって構成することができる。より詳しくは、処理装置２は、演算装置にこの演算装置を処理装置２として機能させるための合成動画作成プログラムを読み込ませることによって実現することができる。

処理装置２は、撮影動画及び素材動画の一方を背景動画、他方を前景動画として、アルファブレンディングによって、背景動画の各フレームの画像に前景動画の対応するフレームの画像を重畳して合成動画を作成する。なお、アルファブレンディングとは、前景画像の各画素に設定される透過度を示すアルファ値を用いて背景画像に前景画像を合成する公知の技術である。なお、背景動画とは、動画を重ねる際に後側に配置される動画を意味し、合成動画において前景動画よりも近景を構成する動画であってもよい。

この処理装置２は、撮影動画及び素材動画の一方に他方を合成する合成領域、つまり背景動画に前景動画を重畳する１又は複数の領域をフレームごとに設定する合成領域設定制御部１１と、各フレームの背景動画と前景動画とをアルファブレンディングする画像合成制御部１２と、記憶装置４から又はネットワークを介して素材動画を取得する素材動画取得制御部１３と、素材動画のフレームの暗号化されているヘッダーを復号する復号制御部１４と、撮影動画の連続する複数のフレーム間で色の変化が閾値に満たない画素のアルファ値を１（透過度１００％）に設定する被写体抽出制御部１５と、ネットワークを介して素材動画の提供及び合成動画の収集を行うサービス提供者を表示装置３に選択可能に表示させるサービス一覧制御部１６と、ネットワークを介して通信する際にユーザー認証処理を行う認証制御部１７とを有する。

これらの合成領域設定制御部１１、画像合成制御部１２、素材動画取得制御部１３、復号制御部１４、被写体抽出制御部１５、サービス一覧制御部１６及び認証制御部１７は、処理装置２の異なる機能をそれぞれ表すものであり、物理構造において区別されるものではない。

＜表示装置＞
表示装置３は、例えば液晶パネル等のディスプレイパネルによって構成することができ
る。

＜記憶装置＞
記憶装置４は、例えばフラッシュメモリ等の半導体装置、ハードディスクドライブ等の磁気又は光学ディスク装置などによって構成することができる。

記憶装置４は、合成動画のデータだけでなく、素材動画のデータや、上記演算装置を処理装置２として機能させるための合成動画作成プログラムを記憶することもできる。

＜入力装置＞
入力装置５は、例えばキースイッチ、タッチセンサ等によって構成することができ、上記表示装置３の表面に積層されるタッチセンサ含むことが好ましい。つまり、当該合成動画作成システムは、表示装置３と入力装置５の少なくとも一部とが一体化されたタッチパネルを備えることが好ましい。

＜通信装置＞
通信装置６は、例えば移動体通信事業者が提供する無線回線を使用する無線通信モジュール、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を使用するＬＡＮアダプター等によって構成することができる。

＜合成動画作成プログラム＞
上記処理装置２によって実行される合成動画作成プログラムは、撮影装置１により撮影される撮影動画のデータを取得する第１取得制御要素と、記憶装置４又はネットワークから予め用意される素材動画のデータを取得する第２取得制御要素と、撮影動画及び素材動画のいずれを背景動画とするかを判定する背景判定制御要素と、撮影動画中の被写体を抽出する被写体抽出制御要素と、撮影動画及び素材動画の一方に他方を合成する合成領域を設定する合成領域設定制御要素と、撮影動画及び素材動画の一方の合成領域に撮影動画のデータ及び素材動画の他方のデータを撮影動画の撮影と同時に合成する画像合成制御要素と、合成した合成動画を表示装置３にリアルタイムに表示させる表示制御要素と、合成した合成動画のデータを記憶装置４に記憶させる記憶制御要素と、素材動画のフレームヘッダーが暗号化されている場合にフレームヘッダーを復号する復号制御要素と、素材動画の提供及び合成動画の収集を行うサービス提供者を表示装置３に表示させるサービス一覧制御要素と、通信装置６を用いて通信する際にユーザー認証処理を行う認証制御要素とを備える。

上述の各制御要素は、当該合成動画作成プログラムの一部を構成する例えばプログラムモジュール、サブプログラム等からなってもよい。また、各制御要素は、当該合成動画作成プログラムにおいて、それぞれがひとまとまりのプログラム列として記述されている必要はなく、離散的に記述されていてもよい。

（第１取得制御要素）
上記第１取得制御要素は、撮影装置１を制御し、撮影装置１が撮影した撮影動画のデータを処理装置２に取り込ませるプログラム要素である。

（第２取得制御要素）
上記第２取得制御要素は、処理装置２の素材動画取得制御部１３を構成するためのプログラム要素である。具体的には、第２取得制御要素（素材動画取得制御部１３）は、記憶装置４又は通信装置６を制御し、素材動画のデータを処理装置２に取り込ませる。

また、第２取得制御要素は、ユーザーが複数の素材動画の中から任意の素材動画を選択できるユーザーインターフェイスを構成するよう、例えば表示装置３に複数の素材動画をサムネイル表示する副制御要素、表示する複数の素材動画を並び替える副制御要素、素材動画を検索する副制御要素等の管理機能を実現するサブプログラムやサブルーチンを有することが好ましい。

当該合成動画作成システムは、上述のように、ネットワーク上のサーバーから提供画像を取得できる。つまり、提供画像は、ネットワーク上のクラウドサーバーなどおいて管理することができる。このように、提供画像をネットワーク上で管理することにより、当該合成動画作成システムが長大な提供画像のデータを記憶する必要がなく、スマートフォンのような携帯機器によって当該合成動画作成システムを構成できる。

また、このような提供画像のサーバーの管理者は、提供画像のアップロードや当該合成動画作成システムによる提供画像のダウンロードに対して課金してもよい。

（背景判定制御要素）
上記背景判定制御要素は、取得した素材動画が背景動画とされるものであるか、前景動画とされるものであるかを判定するプログラム要素である。この判定は、素材動画のファイルヘッダーに記述される情報に基づいて行ってもよい。逆に言うと、当該合成動画作成システムで用いる素材動画のファイルヘッダーには、その素材動画が背景動画及び前景動画のいずれとして用いられるものであるかを示すフラグを有することが好ましい。また、この判定は、素材動画の各フレームの画像データにアルファ値が０でない画素が存在するか否かに基づいて行ってもよく、ユーザーが入力装置５を介して選択できるようにしてもよい。

（被写体抽出制御要素）
上記被写体抽出制御要素は、処理装置２の被写体抽出制御部１５を構成するためのプログラム要素である。具体的には、被写体抽出制御要素（被写体抽出制御部１５）は、撮影動画中の連続する複数のフレーム間で色の変化が閾値に満たない画素を被写体以外の画像部分であるものと判断し、色の変化が閾値に満たない画素のアルファ値を１（透過度１００％）に設定すると共に、色の変化が閾値以上である画素のアルファ値を０（透過度０％）に設定する。この被写体抽出制御要素は、上記背景判定制御要素において、素材動画が背景動画であると判定された場合、つまり撮影動画が前景動画であると判断された場合にのみ使用される。

（合成領域設定制御要素）
上記合成領域設定制御要素は、処理装置２の合成領域設定制御部１１を構成するためのプログラム要素である。この合成領域設定制御要素（合成領域設定制御部１１）は、素材動画が前景動画である場合には、素材動画の各フレームのフレームヘッダーに記述されている縦横の座標範囲内の方形の領域を合成領域として設定する。具体的には、素材動画の各フレームのフレームヘッダーにはＸＹ座標においてＸ座標及びＹ座標のそれぞれに最小値及び最大値、又はこれらの組み合せからなる４つの座標が記述されており、Ｘ座標及びＹ座標が共に最小値以上かつ最大値以下である領域を合成領域とする。また、フレームヘッダーには合成領域の画素数を記述してもよい。これにより、アルファブレンディングの完了を容易に確認できる。

なお、合成領域は、１つのフレームの画像中に複数設定してもよい。このため、フレームヘッダーには、複数の合成領域を記述することができる。また、全ての合成領域の画像の合成を完了したか否かを容易に確認できるよう、フレームヘッダーに合成領域の数を合わせて記述することが好ましい。

一方、合成領域設定制御要素（合成領域設定制御部１１）は、素材動画が背景動画である場合には、上記被写体抽出制御要素によってアルファ値が設定された撮影動画の各フレームの画像中で、アルファ値が０に設定されている全ての画素を含む方形領域となるよう合成領域を設定する。具体的には、アルファ値が０に設定されている画素のＸ座標及びＹ座標のそれぞれの最小値及び最大値を抽出し、Ｘ座標及びＹ座標が共に最小値以上かつ最大値以下である領域を合成領域とする。

（画像合成制御要素）
上記画像合成制御要素は、処理装置２の画像合成制御部１２を構成するためのプログラム要素である。この画像合成制御要素（画像合成制御部１２）は、上記合成領域設定制御要素（合成領域設定制御部１１）によりフレームごとに設定された合成領域内の撮影動画の画像と素材動画の画像とをアルファブレンディングする。つまり、画像合成制御部１２は、設定された合成領域以外の領域の画像については計算を行わない。

（表示制御要素）
上記表示制御要素は、表示装置３を制御するためのプログラム要素である。この表示制御要素は、画像合成制御部１２で合成された合成動画を表示装置３にリアルタイムに表示させる他、合成動画に例えば録画時間等の情報や、録画停止ボタン等の操作用画像をオーバーレイして表示してもよい。

（記憶制御要素）
上記記憶制御要素は、合成動画のデータを記憶装置４に記憶させるためのプログラム要素である。記憶装置４に記憶させる合成動画のデータファイルのファイルヘッダーには、その合成動画の各フレームの画像の大きさや記録形式等の管理情報に加えて、例えばその合成動画のライセンス情報、使用した素材動画のライセンス情報等を付加してもよい。

（復号制御要素）
上記復号制御要素は、必要に応じて素材動画のフレームヘッダーを復号するためのプログラム要素である。

（サービス一覧制御要素）
上記サービス一覧制御要素は、処理装置２のサービス一覧制御部１６を構成するためのプログラム要素である。このサービス一覧制御要素は、通信装置６を介してネットワーク上の所定の情報源から素材動画の提供及び合成動画の収集を行うサービス提供者やそのサービス内容を取得して、表示装置３に表示することでユーザーに情報提供を行う。

上記サービス提供者のサービス内容としては、素材動画を各ユーザーに提供し、提供される素材動画を用いて各ユーザーが作成した合成動画を審査し、入賞者に賞金又は賞品を提供するコンテストが考えられる。このようなコンテストは、それ自体に宣伝効果があるだけでなく、素材動画にサービス提供者のロゴマークや商品画像などの宣伝効果のある画像を含めることで、ユーザーが作成した合成動画をそのままサービス提供者の広告動画として使用することができる。このように、コンテスト応募作品が広告動画として使用されることで、一般のユーザーが自身の作成した動画作品を広く大衆に視聴してもらうことができるので、動画作成意欲を掻き立て、動画作成者の裾野を広げることができる。これにより、斬新なアイデアに基づく動画が作成される可能性が高まり、より宣伝効果の高い広告動画を得ることが期待される。

（認証制御要素）
上記認証制御要素は、処理装置２の認証制御部１７を構成するためのプログラム要素である。この認証制御要素は、例えばネットワークを介して素材動画を有償で取得する場合等に必要なユーザー認証を行うために用いられる。

＜ユーザーインターフェイス＞
図２に、当該合成動画作成システムの好ましいユーザーインターフェイスの階層構造を例示する。図２のユーザーインターフェイスは、スマートフォンにインストールされる当該合成動画作成プログラムにより実現されるものを企図している。

図２のユーザーインターフェイスは、トップ画面２１の下にカメラ画面２２とホーム画面２３とマイビデオ画面２４とが存在する。

上記カメラ画面２２には、設定ボタン２５、録画ボタン２６、素材動画ボタン２７、音声設定ボタン２８及びフラッシュ設定ボタン２９がタップ操作により選択可能に表示される。

カメラ画面２２において、設定ボタン２５をタップすると、明るさの設定メニュー３０と色合いの設定メニュー３１が表示される。

カメラ画面２２において、録画ボタン２６をタップすると撮影装置１による撮影動画の撮影、処理装置２による合成動画の作成、表示装置３による合成動画の表示、及び記憶装置４による合成動画の記憶が開始される。この合成動画の作成等の処理が終了すると、マイビデオ画面２４に遷移する。

カメラ画面２２において、素材動画ボタン２７をタップすると、素材動画の一覧表示画面に遷移する。一覧表示画面には各素材動画のサムネイルと説明や課金情報などが表示される。各素材動画の表示には、選択ボタンとプレビューボタンと取り消しボタンが配置されていて、素材動画を選択したり、素材動画のプレビューを実行したり、選択を取り消したりすることができる。

カメラ画面２２において、音声設定ボタン２８をタップするよ、素材動画と撮影動画を合成して合成動画を作成する際に素材動画の音声を使用するのか、撮影動画の音声を使用するのかを選択できる。

カメラ画面２２において、フラッシュ設定ボタン２９をタップすると、撮影時にフラッシュを有効にするか無効にするかを選択できる。

ホーム画面２３は、動画配信サービスにリンクする。このホーム画面２３には動画配信サービスにアップロードされている動画の検索メニュー３２やコンテスト情報ボタン３３が配置されている。

コンテスト情報ボタン３３をタップすると、コンテストの一覧表示や各コンテストの賞品や応募規定などが表示される。この画面において、コンテストを選択して応募ボタンをタップすると動画がコンテストの動画サーバーにアップロードされる。

マイビデオ画面２４には、自分で撮影して記録した動画の一覧画面を呼び出すリスト出力ボタン３４と、それぞれの動画について操作するための操作画面を呼び出す操作メニューボタン３５とが配置されている。操作画面は、指定した動画をコンテスト主催者のサーバーなどのサーバーへアップロードするアップロード操作ボタンや、コンテスト応募ボタンや、動画の削除ボタンや、動画の転送ボタンや、他のアプリとの動画の共有ボタンなどを含む。

［合成動画作成例１］
以下、当該合成動画作成システム及び当該合成動画作成プログラムによる合成動画の作成について、図３乃至図６に、各動画のイメージを図示しながら説明する。

図３に、素材動画の一例における、時刻ｔ０、ｔ１及びｔ２における画像を示す。図３の素材動画は、ＵＦＯ（未確認飛行物体）１０１の模型を棒等の先端に付けて動かした様子を撮影したものを示す。

図４は、図３の素材動画におけるアルファ値を模式的に示す。図４において、アルファ値が０の画素は白、アルファ値が１の画素は黒で示されている。図示するように、図３の素材動画は、ＵＦＯ１０１を表示する画素のアルファ値が０、ＵＦＯ１０１以外を表示する画素のアルファ値が１に設定されている。

図５は、撮影装置１によって撮影され、処理装置２によって図３の素材動画と合成される撮影動画を例示する。被写体となる人物１０２は、素材動画をイメージし、ＵＦＯ１０１が存在する位置を目線で追いかけるよう演技している。

図６は、図５の撮影動画に図３の素材動画を合成、つまり図５の撮影動画を背景動画とし、図３の素材動画を前景動画としてアルファブレンディングして得られる合成動画を示す。ユーザーは、リアルタイムに表示装置３に表示される合成動画を見ながら撮影動画を撮影できるので、被写体となる人物１０２の大きさや動きが素材動画のＵＦＯ１０１の動きと整合しているか否かをその場で確認できる。従って、人物１０２の動きがＵＦＯ１０１の動きと整合しない場合には、直ちに撮影を中断したり、すぐに撮影をやり直すことができるので、自然な合成動画を比較的容易かつ安価に作成することができる。

［合成動画作成例２］
続いて、図７乃至図９を参照しながら、素材動画を背景動画とし、撮影動画を前景動画とする合成動画の作成例を説明する。

図７は、ビル群を撮影した動画に予め図３のＵＦＯ１０１を合成して作成された素材動画である。

ここで、図７の素材動画に合成される撮影動画としては、図５と同じものとする。この場合、図５の撮影動画は、被写体抽出制御部１５によって、図８に示すように、人物１０２を表示する画素のアルファ値が０に、人物１０２を表示する画素以外の画素のアルファ値が１に設定される。

また、合成領域設定制御部１１は、撮影動画の各フレームにおいて、アルファ値が０に設定される全ての画素を包含する方形の領域が合成領域として設定する。

図９に、上記図７の素材動画に図８に示すようにアルファ値を設定した図３の撮影動画をアルファブレンディングにより合成した合成画像を示す。このように、当該合成動画作成システム及び当該合成動画作成プログラムは、予め用意される第２画像中に撮影装置１で撮影した撮影動画中の人物１０２等の被写体の画像をリアルタイムにはめ込み合成することができる。

［合成動画作成例３］
図１０乃至図１２を参照しながら、さらに異なる素材動画を用いた合成動画の作成例を説明する。

図１０に示す素材動画は、白地にアルファベットが順に表示される動画である。この素材動画は、全ての画素のアルファ値が１から０まで徐々に変化している。また、図１１は、図１０の素材動画と合成する撮影動画である。そして、図１２は、図１１の撮影動画に図１０の素材動画をアルファブレンディングにより合成した合成動画である。このように、アルファ値を徐々に変化させることによって、撮影動画から素材動画に徐々に切り替わるような合成画像を作成することができる。

また、素材動画の文字部分の画素のみのアルファ値を変化させ、文字部分以外の画素のアルファ値を全て１に設定することで、撮影動画上に文字が徐々に浮き出るような合成画像を作成することができる。

［合成動画作成補助システム］
続いて、上述の合成動画作成システムによる合成動画の作成を促進する本発明の合成動画作成補助システムの実施形態について説明する。

図１３の合成動画作成補助システムは、上記合成動画作成システムとネットワークを介して通信可能な通信制御部４１と、この通信制御部４１ひいてはネットワークを介して合成動画作成補助システムに素材動画を提供する素材動画提供部４２と、上記合成動画作成システムにより作成された合成動画をネットワーク及び通信制御部４１を介して収集する合成動画収集部４３とを備える。

当該合成動画作成補助システムの通信制御部４１、素材動画提供部４２及び合成動画収集部４３は、１台のコンピューターサーバーによって実現されてもよく、複数台のコンピューターによって実現されてもよく、物理的に限定されないいわゆるクラウドサーバーによって実現されてもよい。

＜通信制御部＞
通信制御部４１は、ネットワークを介して合成動画作成システムと情報をやり取りするためのインターフェイスである。素材動画提供部４２と合成動画収集部４３とが異なるコンピューターによって実現されている場合、通信制御部４１は、素材動画提供部４２及び合成動画収集部４３にそれぞれ設けられ、これらの通信制御部４１間をひも付ける情報を合成動画作成システムに提供するよう構成されてもよい。

＜素材動画提供部＞
素材動画提供部４２は、合成動画作成システムからの要求に応じて、素材動画のデータを送信するサーバーである。素材動画提供部４２は、ユーザー認証又は課金が確認された合成動画作成システムにのみ素材動画を提供するよう構成されてもよい。

＜合成動画収集部＞
合成動画収集部４３は、素材動画提供部４２から提供された素材動画を用いて合成動画作成システムにより作成された合成動画を収集する。合成動画収集部４３は、合成動画の作成に用いた素材動画をファイルヘッダー等の情報を基に識別することが好ましい。また、合成動画収集部４３は、合成動画を収集する際に、その合成動画の作成者の情報を同時に収集することが好ましい。このような合成動画の作成者の情報は、素材動画提供部４２が素材動画を提供する前に収集するようにしてもよい。

［利用方法］
当該合成動画作成補助システムを運用することによって、当該合成動画作成システム及び当該合成動画作成プログラムの普及を促進できる共に、安価で多彩かつ効果的な宣伝広告活動が可能となる。

一例として、ビール会社が図１４に示すようなテレビ広告動画を作成した場合、図１５に示す画像部分のアルファ値を０に設定した素材動画を当該合成動画作成システムのユーザーに提供するとよい。さらに、当該合成動画作成システムで図１５の素材動画を用いて作成した動画を募集し、優秀作品に賞品を提供するコンテストを開催することによって、例えば図１６に示すように、背景が異なる多様なバリエーションの宣伝広告動画を得ることができる。また、このように一般ユーザーに合成動画を制作してもらうことよって、その合成動画を作成したユーザーが属するコミュニティーのメンバーに動画作品が配布され、動画広告が拡散するという効果も期待できる。

また、歌手のプロモーション活動において、図１７に示すようなプロモーション動画が撮影された場合、歌手の画素のアルファ値を０に設定した素材動画を提供してもよい。別のコンサート風景を撮影して図１８に示すような合成動画を作成してもらうことによって、撮影動画中の楽団に興味のある人たちに配布されるので、歌手のプロモーション映像が拡散し、宣伝効果が得られる。

また、図１９に示すような歌手のコンサート映像を背景動画用の素材動画として提供してもよい。これにより、ユーザーは、図２０に示すように、自身又は知人が歌手のコンサートに出演しているかのような合成動画を作成することができる。これにより、撮影動画の被写体となっている人物のコミュニティーに合成動画が配布されることにより歌手のプロモーション映像が拡散し、宣伝効果が得られる。

また、図２１に示すようなゲーム画面を背景動画用の素材動画として提供してもよい。これにより、ユーザーは、図２２に示すように、自身又は知人がゲームのキャラクターとなっているような合成動画を作成することができる。これにより、撮影動画の被写体となっている人物のコミュニティーに合成動画が配布されることによりゲームの画像が拡散し、宣伝効果が得られる。

［その他の実施形態］
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。

当該合成動画作成システム又は当該合成動画作成プログラムにおいて被写体抽出制御部は、距離が閾値より短い領域を抽出してアルファ値を設定したり、予め被写体に標識を取り付け、この標識を基に被写体を抽出してアルファ値を設定するよう構成してもよい。

本発明の合成動画作成システムは、スマートフォン等の携帯通信端末に好適に実装することができ、また本発明の合成動画作成プログラムは、スマートフォン等の携帯端末用アプリケーションとして好適に利用することができる。

１ 撮影装置
２ 処理装置
３ 表示装置
４ 記憶装置
５ 入力装置
６ 通信装置
１１ 合成領域設定制御部
１２ 画像合成制御部
１３ 素材動画取得制御部
１４ 復号制御部
１５ 被写体抽出制御部
１６ サービス一覧制御部
１７ 認証制御部
２１ トップ画面
２２ カメラ画面
２３ ホーム画面
２４ マイビデオ画面
２５ 設定ボタン
２６ 録画ボタン
２７ 素材動画ボタン
２８ 音声設定ボタン
２９ フラッシュ設定ボタン
３０ 明るさの設定メニュー
３１ 色合いの設定メニュー
３２ 検索メニュー
３３ コンテスト情報ボタン
４１ 通信制御部
４２ 素材動画提供部
４３ 合成動画収集部
１０１ ＵＦＯ
１０２ 人物

Claims (9)

1. 動画を撮影可能な撮影装置と、この撮影装置によって撮影される撮影動画及び予め用意される素材動画を撮影動画の撮影と同時にアルファブレンディングにより合成する処理装置と、この処理装置が合成した合成動画をリアルタイムに表示する表示装置と、上記合成動画を記憶する記憶装置とを備える合成動画作成システムであって、
   上記処理装置が、上記撮影動画及び素材動画の一方に他方を合成する合成領域を設定する制御部を有することを特徴とする合成動画作成システム。
2. 上記合成領域が、撮影動画又は素材動画の各フレームのヘッダーに記述される縦横の座標範囲内の方形の領域である請求項１に記載の合成動画作成システム。
3. 上記素材動画のフレームのヘッダーが暗号化され、上記処理装置が上記素材動画のフレームのヘッダーを復号する制御部を有する請求項１又は請求項２に記載の合成動画作成システム。
4. 上記処理装置が、撮影動画の連続する複数のフレーム間で色の変化が閾値に満たない画素のアルファ値を１に設定する制御部を有する請求項１、請求項２又は請求項３に記載の合成動画作成システム。
5. 上記処理装置が、ネットワークを介して素材動画を取得する制御部を有する請求項１から請求項４のいずれか１項に記載の合成動画作成システム。
6. 上記処理装置が、ネットワークを介して通信する際にユーザー認証処理を行う制御部を有する請求項５に記載の合成動画作成システム。
7. 上記処理装置が、ネットワークを介して素材動画の提供及び合成した合成動画の収集を行うサービス提供者を表示装置に選択可能に表示させる制御部を有する請求項１から請求項６のいずれか１項に記載の合成動画作成システム。
8. 請求項１から請求項７のいずれか１項に記載の合成動画作成システムにネットワークを介して素材動画を提供する機構と、上記合成動画作成システムにより作成された合成動画をネットワークを介して収集する機構とを備える合成動画作成補助システム。
9. 動画を撮影可能な撮影装置と、動画を表示可能な表示装置と、データを処理する処理装置と、データを記憶可能な記憶装置とを備える携帯機器用の合成動画作成プログラムであって、
   上記撮影装置により撮影される撮影動画のデータを取得する制御要素と、
   上記記憶装置又はネットワークから予め用意される素材動画のデータを取得する制御要素と、
   上記撮影動画及び素材動画の一方に他方を合成する合成領域を設定する制御要素と、
   上記撮影動画及び素材動画の一方の上記合成領域に撮影動画のデータ及び素材動画の他方のデータを撮影動画の撮影と同時にアルファブレンディングにより合成する制御要素と、
   合成した合成動画を上記表示装置にリアルタイムに表示させる制御要素と、
   合成した合成動画のデータを上記記憶装置に記憶させる制御要素と
   を備えることを特徴とする合成動画作成プログラム。