JP2016151975A - 合成動画データ生成システムおよびプログラム - Google Patents

Abstract

【課題】簡単な操作で、しかも画一的でなく画像データの内容等に応じたアニメーションを生成し、当該画像データに合成して合成動画データを生成する。【解決手段】（ａ）処理対象の動画データを取得する処理、（ｂ）取得した動画データを静止画データに分解する処理、（ｃ）各静止画データ中に存在する人の顔位置を検出し、その顔位置に重なるようにアニメーションを構成するアニメ要素である眼鏡等を配置したフレームをそれぞれ作成し、各静止画データとそれに対応するアニメーションのフレームを重ねてキャプチャし結合前の静止画データを生成する処理、（ｄ）静止画データを結合して合成動画データを生成する処理、を実行する機能を備える。【選択図】図５

Description

本発明は、合成動画データ生成システムおよびプログラムに関するものである。

携帯電話、スマートフォン、タブレット端末等の携帯端末は、撮像機能を備えている。係る撮像機能は、静止画の撮影のみならず、動画も撮影できるものがある。携帯端末のユーザは、例えば撮像機能を用いて撮影した静止画や動画を、作成したメールに添付し送信したり、ブログや、ＬＩＮＥ，Ｆａｃｅｂｏｏｋ，ＩｎｓｔａｇｒａｍなどのＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｉｔｅ）を利用して情報発信したりする。

また、メール送信やＳＮＳを利用して発信する静止画・動画の画像情報に対し、加工したり、予め用意した画像データ合成したりするなど、各種の画像処理を行い、当該画像処理後の画像情報を発信することもある（特許文献１等）。

特開２００７−２３４０１６号公報

特許文献１に開示された技術を含め、従来の撮像した画像情報に何かしらの加工を行う場合、例えば背景画像を構成する静止画像に予め用意した動画を合成したり、撮像した動画・静止画像に予め用意したフレームを当てはめて合成したりする。係る従来の合成して生成された動画は、画一的で面白味に欠け、インパクトを与えることもできない。

一方、撮像した画像情報を携帯端末以外の画像処理装置に送り、そこで所定の画像処理を行うものもあるが、携帯端末で撮像した写真や動画に対してその場で加工等することができず、迅速性に欠ける。例えば、ユーザは、携帯端末で撮影した画像をその場でＳＮＳに投稿することが多々あり、係る利用形態に対応できない。

さらに、画像処理装置での画像編集作業等は操作が煩雑で、例えば簡単な操作で、しかも画一的でなく内容等に応じた動画編集・作成を行いたいという課題や、係る処理を携帯端末で簡単に行いたいという課題もある。

上述した課題を解決するために、本発明の合成動画データ生成システムは、（１）画像データにアニメーションを合成して合成動画データを生成するシステムであって、前記画像データから抽出する情報に基づいて、前記アニメーションを構成するアニメ要素の表示内容を決定する機能と、その決定した表示内容の前記アニメ要素を前記画像データに重ね合わせて合成動画のフレームを生成する機能を備えるようにした。決定される表示内容は、例えば、アニメ要素の表示位置、大きさ、姿勢を変えたり、色・模様や、形状自体を変えたりするなど各種のものがある。

本発明によれば、アニメーションを合成する処理対象の画像データから抽出した情報に基づいてアニメ要素の表示内容を決定するため、アニメーションの背景にある画像データ（動画／静止画）の内容に応じて合成するアニメーションの表示内容が変わり、新たな合成動画を生成することができる。よって、合成された合成動画で再生されるアニメーションの動作は画一的なものではなく、各種の条件等に応じて動的に変化し、画像データの内容にあった様々な演出が可能となる。よって、同じアニメーションを使用しても、合成動画で再生される表示内容は組み合わせる画像データによって変わるので、新鮮み・面白身が出て、インパクトを与えることができる。さらに、係る表示内容の変更・決定等はシステム側で自動的に行うため、操作も簡単に行えるので良い。よってユーザは、簡単にユニークな動画を作れるようになる。

（２）前記アニメーションはプログラムで記述され、前記プログラム中或いは前記アニメーションと関連づけて前記抽出する情報の内容と、その情報に対する表示内容の決定条件を備えるようにするとよい。プログラムは、例えばＪａｖａスプリクトで構成したプログラムとするとよい。アニメーションをプログラムで構成しているため、アニメ要素の動きや大きさや向きその他の表示内容の変形・調整を容易に行うことができる。しかも、画像データから抽出する情報の内容と、その情報に対する表示内容の決定条件をアニメーションに関連づけるので、アニメーション・アニメ要素の内容にあった様々な表示内容の変更・決定並びにそれに伴う合成すべきアニメーションを構成する各フレームの生成を容易に行うことができる。

（３）前記情報は、前記画像データ中に存在する予め設定された画像的特徴部分とするとよい。このようにすると、画像認識等の簡単なアルゴリズムで目的とする情報を抽出できるので良い。

（４）前記画像的特徴部分は、顔，所定の形，所定の色の少なくとも一つとするとよい。顔は例えば人の顔とすると良いが、ペットなどの動物の顔としても良い。本発明により生成した合成動画データは、ユーザが一人で見て楽しむこともできるが、例えばＳＮＳ・メールなどを利用して、第三者に対して情報発信・情報共有するのに適する。係る情報発信する画像データとしては、自己撮り、各種のイベントその他で集まった友人等を撮影したもの、或いは、ペットその他の動物などが多々ある。そして、多くの場合、顔が写るとともに、例えば顔の検出はカメラのピント合わせを行うための顔検出アルゴリズムなど普及しているため、それを利用することができるので良い。また、アニメ要素として顔に現実では付けなかったり所有していなかったりする装着物（実施形態では、眼鏡、ヘッドバンド、付け髭等）をアニメ要素としたり、言葉等を発する様子（実施形態では、吹き出し等）をアニメ要素とすることで、遊び心満載で、楽しい雰囲気を醸し出し、情報・メッセージの伝達等を行うことができるので良い。

所定の形は、例えば四角形、丸、三角形など簡単な図形でも良いし、より複雑化した幾何学模様でも良い。簡単な図形とすると、画像データ中に存在する確率が高いので好ましい。また、予期しないところに存在する所定の形を検出しそれに基づいてアニメ要素の表示内容が決定されると、ユーザが予期しない位置でアニメ要素が再生されたりするのでよい。

表示内容の変更・決定等は、具体的には例えば以下のようにするとよい。（５）抽出した前記情報に基づいて決定される前記アニメ要素の表示内容は、前記画像的特徴部分に対する前記アニメ要素の相対的位置を決定することとするとよい。（６）前記画像的特徴部分は顔であり、抽出した前記情報に基づいて決定される前記アニメ要素の表示内容は、当該アニメ要素の大きさを前記顔に合わせて設定し、当該顔に重ねた状態にすることとするとよい。

（７）前記画像データは動画データとするとよい。（８）その場合に、前記動画データのフレームレートと、前記アニメーションのフレームレートが相違する場合、前記動画データのフレームレートを前記アニメーションのフレームレートにあわせる処理を行う機能を備えるようにするとよい。このようにすると、再生するアニメーションの動きがスムーズとなるのでよい。

（９）前記画像データは、撮像手段で撮影した動画データであり、前記アニメーションの再生時間だけ前記撮像手段で撮影した映像を記憶して処理対象の動画データとし、その記憶した処理対象の動画データに前記アニメーションを合成するようにするとよい。アニメーションの再生時間と動画データの再生時間が一致するので、合成が簡単に行えるとともに、アニメーションの終わりと動画データの終わりが一致するので、アニメーションの再生が綺麗に完了するので良い。

（１０）前記画像データは、人を撮影した画像データであり、人を模した図柄が動き、その動きに合わせて前記アニメ要素も動くサンプル動画を出力する機能を備えるとよい。このようにすると、合成するアニメーションの概要がわかるので、好ましい。特に、複数のアニメーションを記憶保持しておき、その中から選択する場合、処理対象の動画データにあったアニメーションを効率よく探し、指定することができるので良い。

（１１）上記の各合成動画データ生成システムは、携帯端末に実装されるようにするとよい。携帯端末は、例えば携帯電話、スマートフォン、タブレット型コンピュータ，汎用性のあるタブレット端末等である。本発明によれば、合成するアニメーションの内容を処理対象の画像データにあわせたものに設定するのが、システム側で行われるので、ユーザインタフェースがタッチパネルやボタンなどの簡易で画像の加工を行いにくい携帯端末に適したものとなる。また、携帯端末は、例えば、カメラ等の撮像手段を備えたものが多く、当該撮像手段で撮影した画像を、その場でＳＮＳ等を利用して投稿・共有することに用いられる。そこで、本発明によれば、撮影した画像データに対し、その場で、その内容に合ったアニメーションを合成して生成した合成動画データを投稿等することができ、スムーズにインパクトや面白みのある動画データを発信できるので、携帯端末の利用状況に適したものとなる。

（１２）本発明のプログラムは、（１）から（１１）のいずれかに記載の合成動画データ生成システムにおける機能をコンピュータに実現させるためのプログラムである。係るプログラムは、例えば、スマートフォンやタブレット端末等にダウンロードしてインストールするアプリとして実現される。

本発明によれば、例えば簡単な操作で、しかも画一的でなく画像データの内容等に応じたアニメーションを生成し、当該画像データに合成して合成動画データを生成することができる。

本発明に係る動画合成機能を備えた携帯端末の一実施形態を示す図である。 （ａ）は動画合成アプリのメニュー画面の一例を示し、（ｂ）は選択されたアニメーションコンテンツのプレビュー画面の一例を示す図である。 動画データとアニメーションを合成する処理手順を示す図である。 合成処理の実行中の携帯端末の表示画面の一例を示す図である。 合成エンジンの処理機能の概念を示す図である。 静止画データとアニメーションを合成する処理手順を示す図である。

以下、本発明の好適な実施形態について図面に基づき、詳細に説明する。なお、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。

図１は、本発明の一形態である動画合成アプリが実装されるスマートフォン，携帯電話，タブレット型コンピュータ，汎用性のあるタブレット端末等の携帯端末１の一例を示している。携帯端末１は、薄型で平面略矩形状のケース本体５を有し、その前面に液晶ディスプレイ等からなる表示部６を備える。この表示部６は、半透過型液晶のタッチパネル７を構成する。ケース本体５の前面の下方には、ホームボタン８を配置する。ケース本体５の前面の上方にはカメラ９を配置する。カメラ９は、ケース本体５に内蔵し、そのレンズ部分がケース本体５の表面に露出するように配置する。さらにケース本体５の側面には、電源ボタン１２等の各種の操作ボタンやスピーカー１３等を備える。さらに携帯端末１は、ケース本体５内に通信インタフェース１０、制御部１１、記憶部１４、電池１６等を内蔵する。

これらの入力手段（タッチパネル７，ホームボタン８，カメラ９，電源ボタン１２等）や出力手段（表示部６，スピーカー１３等）は、ケース本体５に内蔵された制御部１１に接続される。制御部１１は、入力手段からの入力に伴い所定の処理を実行し、実行結果を出力手段に出力する。また制御部１１は、通信インタフェース１０を用いてネットワークに接続し、外部の機器・装置等と通信可能となる。

通信インタフェース１０は、携帯電話の基地局と通信して公衆回線網に接続したり、インターネットに接続したりする機能を持つ。記憶部１４は、本実施形態との関係でいうと、プリインストールやダウンロードにより取得した合成エンジンのアプリや、アニメーションコンテンツ等を記憶保持するもので、内部の不揮発性メモリやマイクロＳＤ等の外部の不揮発性メモリ等により構成される。

制御部１１は、ＣＰＵ，ＲＯＭ，ＲＡＭ、フラッシュメモリ、各種の周辺回路、インタフェース等を備えるマイコンを備える。制御部１１は、電源ＯＮに伴い電池１６からの電源供給がなされ動作を開始する。制御部１１は、ＲＯＭに記録されたブートローダーによって、フラッシュメモリに記録されたＯＳとアプリケーションプログラムをＲＡＭ上に展開し、ＲＡＭ上のＯＳ及びアプリケーションプログラムを実行することで、以下に示す各種の処理を実行し、各種の機能を実現する。

制御部１１に実装されるアプリケーションプログラムとしては、例えば、合成エンジンと、ＳＮＳ機能と、メール機能と、通信制御部と、ユーザインタフェース部と、を備える。合成エンジンは、取得した動画データの上に、アニメーションデータを重ねて合成する機能を備える。ＳＮＳ機能は、ＬＩＮＥ，Ｆａｃｅｂｏｏｋ，ＩｎｓｔａｇｒａｍなどのＳＮＳを利用するためのアプリとして実装される機能であり、本実施形態との関係で言うと合成エンジンで作成したアニメーションを合成した合成動画を投稿・アップする機能である。メール機能は、基本的なメールを作成し、メールを送受信する機能であり、本実施形態との関係で言うと、合成エンジンで作成したアニメーションを合成した合成動画をメールに添付し、送信する機能である。通信制御部は、通信インタフェース１０と協働し、通信局と通信する。ユーザインタフェース部は、入力手段や出力手段と協働し、情報の入出力を行う。これらメール機能、通信制御部、ユーザインタフェース部は、基本的に従来から携帯端末に組み込まれたものと同様のものである。また、合成エンジン，ＳＮＳ機能は、アプリとして提供され、例えば所定のサイトにアクセスし、ダウンロードするとともにインストールすることで携帯端末１に実装する。

次に、制御部１１の機能を、具体的な処理手順を例に挙げつつ説明する。電源ＯＦＦの状態で電源ボタン１２を長押しされたことを制御部１１が認識すると電源が入り、制御部１１は、表示部６にメインメニュー画面を表示する。なお、このようにいきなりメインメニュー画面を表示するのではなく、一旦、制御部１１が表示部６に所定の初期画面（ロック状態）を表示し、その初期画面において、ユーザが行った表示部６の画面を所定方向にスワイプ入力等の所定の操作したことをタッチパネル７からの入力信号に基づき制御部１１が検出すると、制御部１１はロック解除してメインメニュー画面を表示するようにしてもよい。

メインメニュー画面は、例えば、実行可能なアプリケーションのアイコン１９を適宜位置に表示するレイアウトをとる。また、制御部１１は、表示部６に所定の画面を表示した状態で一定時間入力が無い状態が継続された場合、表示部６を消灯し、消灯状態が一定時間継続するとロック状態に遷移する。

そして、合成エンジンを構成するアプリケーションプログラムは、例えば制御部１１が、ネットワークを経由して当該アプリケーションプログラムがアップされているウェブサーバーにアクセスし、ウェブ閲覧機能により表示部６に所定のダウンロード要求画面を表示し、当該サーバーから当該プログラムをダウンロードし、携帯端末１にインストールすることで実装する。インストール完了に伴い、制御部１１は、合成エンジンアプリのアイコン１９を表示部６の所定位置に表示する。この合成エンジンアプリのアイコン１９は、例えば、電源ＯＮ等に伴い制御部１１が表示部６に表示するメインメニュー画面に配置するレイアウトとするとよい。合成エンジンアプリのアイコン１９がクリックされたことを制御部１１が検知すると、制御部１１は、以下に示す合成エンジンのアプリケーションプログラムを起動し、実行する。

すなわち、制御部１１は、表示部６にメニュー画面を表示する。メニュー画面２１は、例えば図２（ａ）に示すように、合成するアニメーションのコンテンツのアイコン２０を縦横に配置するレイアウトとする。本実施形態は、処理対象の動画データに合成するアニメーションのコンテンツを予めライブラリとして記憶部１４に複数登録し、係る複数のコンテンツの中から選択された一つを当該処理対象の動画データに合成し、新たな合成動画データを作成する。

本実施形態のアニメーションのコンテンツは、例えばアニメーションの動作をプログラムで制御・変更する機能・アニメーションプログラムを備えている。このプログラムにより、アニメーションの動作を画一的なものではなく、各種の条件等に応じて動的に変化し様々な演出が可能となっている。本実施形態では、アニメーションをＪａｖａスプリクトで構成したプログラムとしているので、合成する処理対象の動画を構成する特徴・要素の位置・形・色等に合わせて合成時にアニメーションの内容を変えることができる。

具体的には、アニメーションプログラムは、アニメーションを構成する要素の表示位置、姿勢・向き、大きさ等を変更する。アニメーションを構成する要素は、例えば、眼鏡，ヘッドバンド，付け髭等の人間が身につける装飾品や、文字・吹き出し等がある。また、各種の条件等は、例えば動画の内容であり、本実施形態では、処理対象の動画データを構成する各フレーム内に存在する特徴的要素を用いる。この特徴的要素は、例えば当該フレームの画像を構成する要素・部分に存在する特定のものとし、本実施形態では、「人の顔」とした。

このようにすることで、例えば、コンテンツ（アニメーションの構成要素）がスムーズに拡大縮小や回転、移動を行うのはもちろんのこと、動画内の顔位置を検出し、その場所にコンテンツを表示させることができる。例えば、動画に映る人に吹き出しを出したり、人の顔に眼鏡をかけさせたりといったことが可能となる。そして、動画内で人間が動けばその顔位置に合わせて吹き出しや眼鏡も移動する。

コンテンツのアイコン２０は、そのアニメーションを構成する要素が一目でわかる図案を用いて構成する。例えば一番上の欄の中央のアイコンは、眼鏡の画像を示しており、このアイコンに関連づけられたアニメーションは、動画内の人の顔位置を検出し、人の顔位置に合わせて眼鏡を顔・目の部分に重ねて表示するものである。また、上から二番目の欄の左端と右端のアイコンは、それぞれヘッドバンドの画像を示しており、このアイコンに関連づけられたアニメーションは、動画内の顔の位置を検出し、人の顔位置に合わせて対応する画像のヘッドバンドを顔・頭の部分に重ねて表示するものである。また、上から三番目の欄のそれぞれのアイコンは、表示する文字を示しており、このアイコンに関連づけられたアニメーションは、動画内の顔の位置を検出し、人の顔位置に合わせて文字を顔の外側付近に吹き出しのように表示するものである。また、吹き出しの一部を人の顔に重ねて表示するようにしてもよい。

合成するアニメーションのコンテンツの選択は、メニュー画面２１に表示されたアイコン２０をタップすることで行う。制御部１１は、タッチパネル７からの出力に基づきこのメニュー画面２１内の所定のアイコン２０がタップされたことを検知すると、当該タップされたアイコン２０に対応づけられたアニメーションコンテンツのプレビュー画面を表示する。図２（ｂ）に示すように、プレビュー画面２２は、メニュー画面２１よりも小さい外形寸法で構成し、メニュー画面２１の上に重ねて表示する。またこのプレビュー画面２２は、中央にサンプル再生領域２２ａを設け、上側に推奨モード表示領域２２ｂを設け、下側に選択ボタン表示領域２２ｃを設けたレイアウトとしている。

サンプル再生領域２２ａは、合成するアニメーションのイメージを表示する領域である。制御部１１は、サンプル再生領域２２ａ内に人型要素２３とアニメ要素２４を所定の位置関係になるように表示し、さらに時間の経過に伴い人型要素２３がサンプル再生領域２２ａ内を移動し、その移動する人型要素２３と当該所定の位置関係を維持しながらアニメ要素２４がアニメーションを動作するも移動する動画を繰り返し再生する。さらに、アニメ要素２４は、アニメーションに伴う動きのある表示がされる。また、アニメーションのコンテンツには、処理対象の動画中に存在する人物が一人の方が好ましいものと、複数人の方が好ましいものがある。そこで、一人の方が好ましいアニメーションのサンプルを再生する場合、人型要素２３も一個表示し、複数の方が好ましいアニメーションのサンプルを再生する場合、人型要素２３も複数個表示する。人型要素２３を複数表示する場合、アニメ要素２４もそれぞれの人型要素２３に対して表示する。

このようにすることで、サンプル再生領域２２ａに表示されたサンプル動画を見たユーザは、アニメ要素２４と人型要素２３との位置関係から、撮影した動画中の人間の顔に対しどのような位置に重なり、また、どのような動作をするのかを容易に理解できる。さらに、選択したアニメーションが、動画データに存在する人の人数が一人用／複数人用のいずれに向いたものであるかを直感的に理解でき、処理対象の動画データに適しているものか否かの判断が容易に行える。このサンプル動画は、例えばアニメーションプログラムの一つの情報として記録したり、それぞれのアニメーションプログラムと関連づけて記録したりする。制御部１１は、係る記録した情報を読み出し、表示部６に表示する。

推奨モード表示領域２２ｂは、選択されたアニメーションのコンテンツが、処理対象の動画に撮影された人物が一人の方が適切なのか、複数人の方が適切なのかを報知するものである。一人の方が適切な場合、右側の領域は消灯したままで左側の領域が明るくなる（図２（ｂ）参照）。一方、複数人の方が適切な場合、左側の領域は消灯したままで右側の領域が明るくなる。また、人数に依存しなかったり、人間か否かの撮像対象物を問わなかったりする場合、左右両方とも消灯した状態とする。

このように、推奨モード表示領域２２ｂを設けることで、どちらが点灯しているかを確認することで、選択したアニメーションが、動画データに存在する人の人数が一人用／複数人用のいずれに向いたものであるかを直感的に理解でき、処理対象の動画データに適しているものか否かの判断が容易に行えるのでよい。この一人用／複数人用のいずれかを識別する情報は、例えばアニメーションプログラムの一つの情報として記録したり、それぞれのアニメーションプログラムと関連づけて記録したりする。

選択ボタン表示領域２２ｃは、メニュー画面２１でタップされたアイコン２０に対応するアニメーションを合成に使用するものとして決定するか、キャンセルするかを選択する部分である。左側の円の領域（中央に「×」を表示）は、キャンセルボタン領域２５であり、右側の円の領域（中央に「○」を表示）は、確定ボタン領域２６である。制御部１１は、タッチパネル７からの出力に基づきキャンセルボタン領域２５がタップされたことを検知すると、選択されていたアニメーションをクリアし、プレビュー画面２２を消し、図２（ａ）のメニュー画面２１の表示に遷移する。一方、制御部１１は、タッチパネル７からの出力に基づき確定ボタン領域２６がタップされたことを検知すると、選択されていたアニメーションを合成するアニメーションプログラムに確定し、実際の合成処理モードに以降する。

図３は、動画データとアニメーションを合成する処理手順を示している。また、図４は、当該処理手順の適宜の箇所における表示部６へ表示する例を示している。図５は合成エンジンの処理機能の概念を示す図である。上記のようにして合成するアニメーションのコンテンツが確定すると、制御部１１は、処理対象の動画データを取得する。本実施形態では、処理対象の動画データは、携帯端末１のカメラ９を利用してリアルタイムで撮影したものでも良いし、過去に撮影したり、各種の手段で取得したりして記憶部１４に格納したものでも良い。

本実施形態では、制御部１１は、例えば図４（ａ）に示すような画像取得画面２８を表示部６に表示する。この画像取得画面２８は、メイン表示領域２８ａと、そのメイン表示領域２８ａの上下の所定位置に配置した各種のボタン領域を備える。メイン表示領域２８ａは、カメラ９で撮影している画像を表示する領域である。そこで、制御部１１は、カメラ９をＯＮにし、撮影している映像をメイン表示領域２８ａに出力する。

また、メイン表示領域２８ａの上側の領域には、左側に戻るボタン２８ｄを表示する。制御部１１は、戻るボタン２８ｄがタップされたのを検知すると、画面表示を図２（ａ）に示すメニュー画面２１に遷移する。なお、画像取得画面２８の初期表示の状態では、メイン表示領域２８ａの上側の領域の右側は非表示状態となっているが、後述するように次へボタンが配置されている。

一方、メイン表示領域２８ａの下側の領域には、中央に録画ボタン２８ｂ、右側にファイル選択ボタン２８ｃ、左側にキャンセルボタン２８ｅを配置する。画像取得画面２８を表示した初期表示の状態では、録画ボタン２８ｂとファイル選択ボタン２８ｃを表示し、キャンセルボタン２８ｅは非表示とする。

録画ボタン２８ｂは、カメラ９で撮影中の映像の録画を指示するためのボタンである。制御部１１は、録画ボタン２８ｂの二重丸で示している中央の赤で塗りつぶした部分が長押しされていることを検知すると、その長押ししている期間で撮影している映像をワークメモリ等に一時記憶する。また、本実施形態では、コンテンツであるアニメーションの再生時間にあわせ、記録する動画データの再生時間を設定している。すなわち、アニメーションの再生時間と動画データの再生時間が等しい時間（便宜上、「基準時間」と称する）にしている。

この基準時間は、あまり長いとデータ容量が大きくなり、ＳＮＳにアップして他人と共用するのに適さないとともに、再生時間が長いとすべてを見てコメント等を返すまでのレスポンが間延びするため、ＳＮＳを想定した利用に適さない。さらに、合成処理に時間がかかるというデメリットもある。一方、あまり短すぎると、もととなる動画データの動きやアニメーションの動きが少なく、面白みに欠け、動画・アニメのメリットが少なくなるので好ましくない。そこで、基準時間は、上記を考慮して長すぎず、短すぎない所定の範囲内が良く、例えば数秒から１０秒程度が良い。そして、本実施形態では、例えば６秒程度とした。

そして録画ボタン２８ｂを長押ししている継続時間が基準時間を超えた場合、制御部１１はそこで録画を停止し、メイン表示領域２８ａの上側の領域の右側に図示省略する次へボタンを表示する。この次へボタンは、戻るボタン２８ｄと同様に矢印の図案となっていて、矢印の方向を右向きとしている。制御部１１は、次へボタンがタップされたことを検知すると、それまでに一時記憶していた基準時間分の撮影済み録画データを処理対象動画データファイル３０とし、アニメーションとの合成処理に移行する。なお、処理対象動画データファイル３０を記憶するメモリエリアと、撮影中の動画データを一時記憶したメモリエリアは変えても良いし変えなくても良い。

また、上記の基準時間の録画の完了に伴い、制御部１１は、メイン表示領域２８ａの下側の領域の表示態様を、録画ボタン２８ｂとキャンセルボタン２８ｅを表示し、ファイル選択ボタン２８ｃを非表示に変更する。制御部１１は、キャンセルボタン２８ｅがタップされたことを検知すると、撮影済みの動画を破棄し、画像取得画面２８の初期状態の表示を行う。なお、制御部１１は、この動画の破棄に先立ち、「破棄しても良いか」等の確認メッセージを出力し、ＯＫの場合に実際の動画の破棄等の処理を行うようにすると良い。

また、上記の基準時間の録画の完了した状態では、メイン表示領域２８ａの上側の領域に戻るボタン２８ｄの表示も継続して行う。制御部１１は、この戻るボタン２８ｄのタップを検知すると、撮影済みの動画を破棄し、画面表示を図２（ａ）に示すメニュー画面２１に遷移する。この動画の破棄に先立ち、「破棄しても良いか」等の確認メッセージを出力し、ＯＫの場合に実際の動画の破棄等の処理を行うようにすると良い。

一方、長押ししている継続時間が基準時間に満たない場合、制御部１１は、録画を一時停止した状態で待つ。それまでにワークメモリに一時記憶した動画データはそのまま記憶状態を保持する。そして、一時停止中に録画ボタン２８ｂが長押しされると、再び撮影している映像をワークメモリに一時記憶する。この再開して一時記憶する動画データは、直前で一時記憶していた動画データに続いて記憶し、一つの動画ファイルとして結合する。長押ししている継続時間の総計が基準時間を超えると、録画を停止し、メイン表示領域２８ａの上側の領域の右側に図示省略する次へボタンを表示する。制御部１１は、次へボタンがタップされたことを検知すると、それまでに一時記憶していた複数回分の録画データを一つの動画ファイルとして結合された処理対象動画データファイル３０とし、アニメーションとの合成処理に移行する。

また、制御部１１は、キャンセルボタン２８ｅを表示し、キャンセルボタン２８ｅのタップに基づく今回撮影した映像の破棄や、戻るボタン２８ｄのタップに基づく今回撮像した映像の破棄並びに表示画面の遷移は、上述した録画ボタン２８ｂを一度に基準時間以上長押しした場合と同様である。

ファイル選択ボタン２８ｃは、記憶部１４に格納された動画ファイルを処理対象の動画データとして選択するためのものである。制御部１１は、ファイル選択ボタン２８ｃがタップされたのを検知すると、記憶部１４に格納された動画データの選択画面を表示し、選択された動画データを取得し、処理対象動画データファイル３０としてワークメモリに格納する。また、制御部１１は、取得した動画データを、メイン表示領域２８ａに再生出力するとともに、メイン表示領域２８ａの上側の領域のみが側に図示省略する確認ボタンを表示する。この確認ボタンは、例えば後述する図４（ｃ）に示す確認ボタン４１ｃと同様のものとするとよい。制御部１１は、確認ボタンがタップされたことを検知すると、読み出した録画データを処理対象動画データファイル３０とし、アニメーションとの合成処理に移行する。

また、本実施形態では、処理対象の動画データの再生時間の上限を設定しており、設定された基準値よりも再生時間が長い動画データが選択された場合、エラーメッセージ（例えば、「動画データが長すぎます／〇〇秒以下の動画を選択してください。」等）を表示し、画像取得画面２８の初期画面に復帰する。

処理対象動画データファイル３０とアニメーションとの合成処理は、以下の手順で行う。制御部１１は、処理対象動画データファイル３０（図５（ａ）参照）を読み出し、動画をフレーム毎の静止画へ分解し（図５（ｂ）参照）、フレーム毎静止画３１のファイルを作成する（Ｓ１）。フレーム毎静止画３１は、適宜のワークメモリ等に一時的に格納される。

次いで、制御部１１は、フレーム毎静止画３１を読み出し、間引き処理を行い、間引き静止画３２のファイルを作成する（Ｓ２）。この間引き静止画３２は、適宜のワークメモリ等に一時的に格納される。アニメーションのフレームレートと、処理対象の動画データファイルのフレームレートが必ずしも一致しているとは限らず、仮にカメラ９で基準時間だけ撮影して取得した動画データであり、再生時間がアニメーションと一致していても、動画データとアニメーションを構成するフレームの数は一致するとは限らない。そこで、本実施形態では、アニメーションのフレームレートにあわせて、フレーム毎静止画３１を構成するフレームを所定の割合で間引くようにした。アニメーションのフレームレートにあわせるようにしたため、再生されるアニメーションがスムーズな動きが確保でき、違和感なく見ることができる。一方、動画データを適宜間引いたとしても、例えば等間隔或いは適宜の間隔で１フレーム毎削除することで、動画の再生も違和感なく行えるので良い。また、通常、動画データの方がフレーム数が多いので、動画データにあわせるとアニメーションを構成するフレームをコピー等して割り込む必要があるが、アニメーションにあわせることでフレームを削除するだけで良く、作業が簡単で短時間での処理が可能となる点でも好ましい。

カメラ９で撮影した動画データは、その再生時間がアニメーションの再生時間と一致しているため、間引き静止画３２のフレーム数と、アニメーションのフレーム数は一致し、一対一に対応する。

制御部１１は、間引き処理後の各静止画に対し、それぞれ顔位置を検出する（Ｓ３）。顔位置の検出機能は、顔認証と相違し特定の人物か否化の認証を行うのではなく、人物（顔）の存在を検出するものである。例えば、デジタルカメラ等で人物を撮影するに際し、画像中の人物（顔）を検出して被写体を特定し、その被写体にピントを合わせる機能がある。顔位置の検出機能は、係る人物（顔）を検出するアルゴリズムを用いることで実現できる。また、静止画中に複数の人が存在する場合、それぞれの人の顔位置を検知する。

制御部１１は、選択した合成するアニメーションプログラムのコンテンツを取得し、検出した顔位置を適用したアニメーションを生成する（Ｓ４）。すなわち、アニメーションを構成する各フレームに存在するアニメ要素のうち、顔位置に合わせて動作するものについては、プログラムに設定された条件に合うようにフレーム中のアニメ要素の存在位置や大きさや向き等を調整し、当該フレームの内容を確定する。制御部１１は、すべてのフレームに対して係る顔位置を適用し、処理対象の動画データの内容に合わせたアニメーション３３を生成し、ワークメモリに格納する。また、係る顔位置を適用したアニメーションの作成は、コンテンツとして提供されたアニメーションプログラムを制御部１１が実行することで行う。

また、顔位置を適用したアニメーションの生成は、例えば、図５に示すように顔位置に応じて変化するアニメ要素が眼鏡の場合、眼鏡の大きさは検出した顔の大きさにあわせて拡大縮小し、顔位置に重なるように配置する。また、顔位置の検出に際し、目の位置を検出し、当該目の位置に眼鏡を合わせるようにするとより好ましい。また、仮に目の位置を検出しない場合でも、顔における目の位置は、年齢により上下の比率にある程度変わるものの例えば、顔の上半分側にありしかも上端は頭・髪などがあるので、それらに基づいておおよその位置に眼鏡を位置させるようにしても良い。また、アニメ要素がヘアーバンド等の髪飾りの場合、髪飾りの大きさは検出した顔の大きさにあわせて拡大縮小し、顔位置の特に上側部分に重なるように配置する。同様に、アニメ要素が吹き出しその他の文字等の場合、検出した顔位置の外側で所定の位置関係、例えば上側や右斜め上などに位置させる。

次いで制御部１１は、ウェブビュー機能により、間引き静止画と生成したアニメーションの対応するフレーム同士を重ね合わせた状態でキャプチャを撮り（Ｓ５）、結合前静止画３４（図５（ｃ）参照）のファイルを生成し、ワークメモリに格納する。次いで、制御部１１は、結合前静止画３４を繋ぎ合わせアニメーションを合成した合成動画データ（図５（ｄ）参照）を生成する（Ｓ６）。また、音データが必要な場合、制御部１１は、結合する音データを取得し、この合成動画データを生成する際に当該音データを結合する。

上述したアニメーションと動画データを合成する処理を実行中、制御部１１は、図４（ｂ）に示す動画合成中画面を表示する。そして、合成処理が完了したならば、制御部１１は、図４（ｃ）に示す完成動画確認画面４１を表示する。この完成動画確認画面４１は、合成動画再生表示領域４１ａと、その合成動画再生表示領域４１ａの上側の領域の左側に表示する戻るボタン４１ｂと、その上側の領域の右側に表示する確認ボタン４１ｃを備える。合成動画再生表示領域４１ａは、合成処理で生成した合成動画（図５（ｄ）参照）を表示する領域である。制御部１１は、生成した合成動画を合成動画再生表示領域４１ａに繰り返し再生出力する。

そして制御部１１は、確認ボタン４１ｃがタップされたのを検知すると、生成した合成動画を確定し、アニメーションを合成した合成動画データ３６とし、記憶部１４に格納する。さらに制御部１１は、図４（ｄ）に示すシェア用画面４２を表示する。シェア用画面４２ は、各種のＳＮＳのシェアボタン４２ａを備えている。制御部１１は、タップされたシェアボタンに対応するＳＮＳに、生成した合成動画を共用すべく所定の処理を実行する。また、制御部１１は、最初に戻るボタン４２ｂがタップされたことを検知すると、図２（ａ）に示すメニュー画面２１の表示に遷移する。

また、図４（ｃ）に示す完成動画確認画面４１の表示中に、制御部１１は、戻るボタン４１ｂのタップを検知すると、生成した合成動画を破棄し、画面表示を図４（ａ）に示す画像取得画面２８に遷移する。この合成動画の破棄に先立ち、「破棄しても良いか」等の確認メッセージを出力し、ＯＫの場合に実際の合成動画の破棄等の処理を行うようにすると良い。

上述した実施形態では、「アニメーションを選ぶ処理」と、「動画を撮影する処理」のわずか２ステップを行い、後は待つだけといった簡単な操作で撮影した動画の内容に合わせたアニメーションを合成することができ、かわいいフレームやおもしろくユニークなアニメーションを有する素敵な動画を作ることができる。特に、アニメや画像の加工処理等を行う必要も無いので、画像の加工のためのユーザインタフェースが乏しいスマートフォン等の携帯端末１に適するものとなる。

また、処理対象の動画データが、携帯端末１で別途撮影したり、他の撮影装置で撮影したりした動画データの場合、再生時間が基準時間と一致しない場合がある。一致する場合には、上述した撮影した動画データに基づく処理と同じである。一方、例えば動画データの方が長い場合、フレームレートにあわせた後、アニメーションを構成するフレームを繰り返し使用し、動画の間引き静止画と重ね、合成する。すなわち、アニメーションを構成する１枚目のフレームから順に合成し、最後のフレームに基づく合成を行ったならば、１枚目のフレームに戻り順に合成をしていく。また、動画データの方が短い場合、アニメーションを構成する１枚目のフレームから順に合成し、動画データの最後のフレームに対する処理が終わると合成処理を完了する。このようにすることで、予め用意した動画データに対し、その内容に合ったアニメーションを合成することができる。

上述した実施形態では、処理対象が動画データとしたが、本発明はこれに限るとはなく、処理対象が静止画の場合でも適用できる。合成するアニメーションのコンテンツが確定すると、制御部１１は、処理対象の静止画データを取得する。図６に示すように、本実施形態では、処理対象の静止画データ３８は、携帯端末１のカメラ９を利用してリアルタイムで撮影したものでも良いし、過去に撮影したり、各種の手段で取得したりして記憶部１４に格納したものでも良い。静止画データ３８は、一枚或いは複数枚のいずれでも良い。

そして処理対象の静止画データとアニメーションとの合成処理は、以下の手順で行う。すなわち、図６に示すように、制御部１１は、処理対象の静止画データ３８を読み出し、当該静止画データ中の顔位置を検出する（Ｓ３′）。静止画であるため動画と相違して間引き処理が不要となるので、取得した静止画データに対していきなり画像認識等を行い、顔位置を求める。この顔位置の検出は、上述した実施形態と同様である。

制御部１１は、選択した合成するアニメーションプログラムのコンテンツを取得し、検出した顔位置を適用したアニメーションを生成する（Ｓ４）。このとき、処理対象の静止画データの枚数は、アニメーションを構成するフレームの枚数に比べて少ない。そこで、アニメーションを構成する複数回分のフレームを同一の静止画の顔位置に基づいて生成する。静止画データが複数枚存在する場合、各静止画データに割り当てるアニメーションを構成するフレームの枚数はほぼ等しくなるようにしても良いし、適宜に異ならせても良い。

次いで制御部１１は、ウェブビュー機能により、静止画と生成したアニメーションの対応するフレーム同士を重ね合わせた状態でキャプチャを撮り（Ｓ５）、結合前静止画３４のファイルを生成し、ワークメモリに格納する。そして、制御部１１は、結合前静止画３４を繋ぎ合わせアニメーションを合成した合成動画データを生成する（Ｓ６）。また、音データが必要な場合、制御部１１は、結合する音データを取得し、この合成動画データを生成する際に当該音データを結合する。

上述した実施形態並びに変形例では、顔位置にあわせたアニメーションを作成するようにしたが、本発明はこれに限ることはなく、例えば、特定の形状や特定の色などの特徴的要素を検出し、その検出した特徴的要素に対応してアニメーションを生成するようにしても良い。

また、実施形態並びに変形例では、特徴的要素は、顔位置や、形、色などの比較的簡単に検出できるものとし、スムーズな合成処理を行うようにしたが、本発明はこれに限ることは無く、例えば、画像解析等を行い、例えば、眼鏡の有無を判断したり、性別・年齢等を判断し、それに応じたアニメーションを生成したりすると良い。このようにすると、よりインパクトがあり、多岐にわたるアニメーションの合成を行うことができる。

また、上述した実施形態並びに変形例により生成される合成動画データは、処理対象の一枚の画像データとアニメーションを構成する一枚のフレームがキャプチャされ一枚の結合前静止画３４となり、それを結合して形成する。よって、合成動画データを構成する各フレームは処理対象の画像データとアニメーションを構成するアニメ要素が一体となっているので、当該合成動画データを新たな処理対象の動画データとすることができる。これにより、異なるアニメーションを指定して複数回合成処理を行うことで、一つの動画データに対して複数のアニメーションを合成した合成動画データを生成することが可能となり、複雑な動画を簡単に生成することができる。

以上、本発明の様々な側面を実施形態並びに変形例を用いて説明してきたが、これらの実施形態や説明は、本発明の範囲を制限する目的でなされたものではなく、本発明の理解に資するために提供されたものであることを付言しておく。本発明の範囲は、明細書に明示的に説明された構成や製法に限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求する可能性があることを、念のために申し述べる。

１ 携帯端末
９ カメラ
１１ 制御部
１４ 記憶部
２２ プレビュー画面
２２ａ サンプル再生領域
２３ 人型要素
２４ アニメ要素
３０ 処理対象動画データファイル
３１ フレーム毎静止画
３２ 間引き静止画
３３ アニメーション
３４ 結合前静止画
３６ 合成動画データ
３８ 静止画データ
４１ 完成動画確認画面

Claims (12)

1. 画像データにアニメーションを合成して合成動画データを生成するシステムであって、
   前記画像データから抽出する情報に基づいて、前記アニメーションを構成するアニメ要素の表示内容を決定する機能と、
   その決定した表示内容の前記アニメ要素を前記画像データに重ね合わせて合成動画のフレームを生成する機能を備えた合成動画データ生成システム。
2. 前記アニメーションはプログラムで記述され、
   前記プログラム中或いは前記アニメーションと関連づけて前記抽出する情報の内容と、その情報に対する表示内容の決定条件を備えることを特徴とする請求項１記載の合成動画データ生成システム。
3. 前記情報は、前記画像データ中に存在する予め設定された画像的特徴部分であることを特徴とする請求項１または２に記載の合成動画データ生成システム。
4. 前記画像的特徴部分は、顔，所定の形，所定の色の少なくとも一つであることを特徴とする請求項３に記載の合成動画データ生成システム。
5. 抽出した前記情報に基づいて決定される前記アニメ要素の表示内容は、前記画像的特徴部分に対する前記アニメ要素の相対的位置を決定することである請求項３または４に記載の合成動画データ生成システム。
6. 前記画像的特徴部分は顔であり、
   抽出した前記情報に基づいて決定される前記アニメ要素の表示内容は、当該アニメ要素の大きさを前記顔に合わせて設定し、当該顔に重ねた状態にすることである請求項４に記載の合成動画データ生成システム。
7. 前記画像データは動画データであることを特徴とする請求項１から６のいずれか１項に記載の合成動画データ生成システム。
8. 前記動画データのフレームレートと、前記アニメーションのフレームレートが相違する場合、前記動画データのフレームレートを前記アニメーションのフレームレートにあわせる処理を行う機能を備えることを特徴とする請求項７に記載の合成動画データ生成システム。
9. 前記画像データは、撮像手段で撮影した動画データであり、
   前記アニメーションの再生時間だけ前記撮像手段で撮影した映像を記憶して処理対象の動画データとし、その記憶した処理対象の動画データに前記アニメーションを合成するようにしたことを特徴とする請求項１から８のいずれか１項に記載の合成動画データ生成システム。
10. 前記画像データは、人を撮影した画像データであり、
    人を模した図柄が動き、その動きに合わせて前記アニメ要素も動くサンプル動画を出力する機能を備えることを特徴とする請求項１から９のいずれか１項に記載の合成動画データ生成システム。
11. 携帯端末に実装されることを特徴とする請求項１から１０のいずれか１項に記載の合成動画データ生成システム。
12. 請求項１から１１のいずれか１項に記載の合成動画データ生成システムにおける機能をコンピュータに実現させるためのプログラム。