JP2020017325A - 情報処理装置、動画合成方法及び動画合成プログラム - Google Patents

Abstract

【課題】ユーザがカメラを用いて動画の録画を行う場合に、ユーザが望ましいと感じる動画を容易に作成できる、情報処理装置、動画合成方法及び動画合成プログラムを提供することを目的とする。【解決手段】カメラで撮影した画像を動画として録画する携帯端末は、先に録画した第１歌唱動画に対して、後に録画する第２歌唱動画の合成を開始する合成開始位置を決定した後に、カメラで第２歌唱動画を録画し、合成開始位置で第１歌唱動画と第２歌唱動画とを合成する。従って、携帯端末は、歌唱ユーザがカメラを用いて動画の録画を行う場合に、ユーザが望ましいと感じる動画を容易に作成できる。【選択図】図１０

Description

本発明は、情報処理装置、動画合成方法及び動画合成プログラムに関するものである。

近年、コンピュータネットワークを介して携帯端末等の情報処理装置に配信されるウェブサイト（Ｗｅｂページ，Ｗｅｂサービス）やオンラインゲーム、アプリケーションソフトウェア（以下「アプリ」という。）等のオンラインサービスが広く普及している。

オンラインサービスの一つに、ユーザ自身が撮影した動画を投稿し、他のユーザによる当該動画の視聴を可能とする動画投稿サイトがある。この動画投稿サイトには、ユーザ自身による歌唱動画等のパフォーマンス動画の投稿も行われている。このため、ユーザはより良い自身の歌唱動画を投稿するために、投稿する歌唱動画の編集を行う場合がある。

ここで、特許文献１には、カラオケ楽曲の演奏を中止した場合であっても、再度、当該カラオケ楽曲を最初から歌い直すことなく最終的な歌唱音声の録音データを得ることを目的とした演奏中止対応カラオケ録音システムが開示されている。

この演奏中止対応カラオケ録音システムは、演奏が中止されたカラオケ楽曲の再演奏を指示する再演奏指示手段と、録音手段の機能により歌唱音声の録音が行われている任意のカラオケ楽曲について演奏が中止された場合に、少なくとも、当該カラオケ楽曲の楽曲と、録音済演奏範囲データと、中途録音データと、を紐付けして記録する録音情報記録手段と、カラオケ楽曲の再演奏が指示された場合には、録音済演奏範囲データに基づき、録音済演奏範囲については歌唱音声の録音を行わないように制御するものである。

特開２０１０−２３７３８９号公報

特許文献１に開示されているシステムでは、録音が途中で中止された時点以降の録音が追加で行われるものであり、ユーザは、追加録音を行うカラオケ楽曲のタイミングを自身で決定できない。このため、ユーザは、歌唱を失敗しても、失敗した部分の録音をやり直すことができない。さらに、特許文献１に開示されている演奏中止対応カラオケ録音システムでは、歌唱音声の録音を行うものの歌唱動画等のパフォーマンス動画を撮影するものではない。

本発明は、このような事情に鑑みてなされたものであって、ユーザがカメラを用いて動画の録画を行う場合に、ユーザが望ましいと感じる動画を容易に作成できる、情報処理装置、動画合成方法及び動画合成プログラムを提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置、動画合成方法及び動画合成プログラムは以下の手段を採用する。

上記課題を解決するため、本発明の一態様である「情報処理装置」は、カメラで撮影した画像を動画として録画する情報処理装置であって、先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、前記カメラで前記第２動画を録画する録画制御手段と、前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、を備える。

上記課題を解決するため、本発明の一態様である「動画合成方法」は、カメラで第１動画を録画する第１工程と、前記第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する第２工程と、前記カメラで前記第２動画を録画する第３工程と、前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する第４工程と、を有する。

上記課題を解決するため、本発明の一態様である「動画合成プログラム」は、カメラで撮影した画像を動画として録画する情報処理装置が備えるコンピュータを、先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、前記カメラで前記第２動画を録画する録画制御手段と、前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、して機能させる。

上記「情報処理装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「動画合成方法」が実行する処理ステップや「動画合成プログラム」の機能に加えてもよい。

前記第１動画の前記合成開始位置における画像である合成開始位置画像を、前記第２動画の録画開始時に画面に表示する画像表示制御手段を備える。

前記画像表示制御手段は、前記第２動画を録画するために前記カメラで撮影されている画像に前記合成開始位置画像を重畳して前記画面に表示する。

前記動画合成手段は、前記第１動画と前記第２動画との合成部分を目立たせないための画像処理を行う。

前記動画合成手段は、前記合成開始位置から所定期間の前記第１動画と前記第２動画とを重畳させて、前記第１動画と前記第２動画とを合成する。

前記第１動画及び前記第２動画は、楽曲が再生されながら録画される動画である。

前記録画制御手段は、前記合成開始位置の前から前記楽曲の再生を開始し、再生した楽曲が前記合成開始位置に対応するタイミングに達すると前記第２動画の録画を開始する。

前記録画制御手段は、前記第２動画の録画開始前から前記楽曲の再生を開始すると共に、前記第２動画の録画開始のカウントダウンを行う。

前記合成開始位置として設定可能な位置は、前記楽曲の予め定められた位置である。

本発明によれば、ユーザがカメラを用いて動画の録画を行う場合に、ユーザが望ましいと感じる動画を容易に作成できる、という効果を有する。

本発明の実施形態に係るカラオケシステムの構成図である。 本発明の実施形態に係るサーバの電気的構成を示すブロック図である。 本発明の実施形態に係る携帯端末の電気的構成を示すブロック図である。 本発明の実施形態に係る歌唱動画を撮影する場合における携帯端末の画面表示を示す図である。 本発明の実施形態に係る歌唱動画を視聴する場合における携帯端末の画面表示を示す図である。 本発明の実施形態に係る動画合成機能を示す模式図である。 本発明の実施形態に係る合成開始位置を決定する場合における携帯端末の画面表示を示す図である。 本発明の実施形態に係る合成開始位置画像を示す図である。 本発明の実施形態に係る第２歌唱動画を撮影開始する場合における携帯端末の画面表示を示す図である。 本発明の実施形態に係る合成開始位置画像の表示タイミング及び第１歌唱動画と第２歌唱動画の重畳合成を示す模式図である。 本発明の実施形態に係る合成エフェクトを示す図である。 本発明の実施形態に係る動画合成機能に関する機能ブロック図である。 本発明の実施形態に係る動画合成処理の流れを示すフローチャートである。

以下に、本発明に係る情報処理装置、動画合成方法及び動画合成プログラムの一実施形態について、図面を参照して説明する。

本実施形態ではパフォーマーが自身のパフォーマンスを携帯端末を用いて動画として記録してサーバへ送信することで動画投稿サイトにアップロードする。動画投稿サイトにアップロードされた動画（投稿動画）は、携帯端末を介して視聴可能とされる。なお、本実施形態では、パフォーマンスを歌唱とし、パフォーマーを歌唱ユーザとし、動画投稿サイトにアップロードされる動画を歌唱動画とする。また、動画投稿サイトにアップロードされた歌唱動画を視聴するユーザを視聴ユーザという。

［１．カラオケシステムの構成］
図１は、本実施形態に係るカラオケシステム１の概略構成図である。カラオケシステム１は、通信回線２、複数の携帯端末３（携帯端末３Ａ，３Ｂ）、及びサーバ４を含んで構成される。

通信回線２は、コンピュータネットワークを形成するものであり、例えば、電気事業者によって提供される広域通信回線である。

携帯端末３は、例えば、スマートフォンやタブレット端末、ノートパソコン等の情報処理端末であり、オンラインサービスをユーザが利用するために用いられる。携帯端末３は、画像を表示するタッチパネルディスプレイ３ａ、音を出力するスピーカー３ｂ、音が入力されるマイクロフォン３ｃ、被写体を撮影するカメラ３ｄ、及びイヤホン（不図示）が接続されるイヤホン端子３e等を備える。なお、ここでいう撮影とは、カメラ３ｄが機能し、録画の有無にかかわりなく被写体がタッチパネルディスプレイ３ａに表示されている状態である。タッチパネルディスプレイ３ａは、例えばＬＣＤ（Liquid Crystal Display）及びタッチセンサを備える。ＬＣＤは、各種画像を表示し、タッチセンサは、指、スタイラス、又はペン等の指示体を用いて行われる各種入力操作を受け付ける。以下の説明ではタッチパネルディスプレイ３ａを画面３ａともいう。

サーバ４は、通信回線２を介して、携帯端末３へオンラインサービスを提供する情報処理装置である。なお、図１の例では、歌唱ユーザは、携帯端末３Ａから自身の歌唱動画（歌唱動画データ）をサーバ４へ送信することで当該歌唱動画を動画投稿サイトにアップロードする。そして、視聴ユーザは、携帯端末３Ｂを用いて動画投稿サイトへアクセスし、当該歌唱動画を視聴する。なお、歌唱ユーザは、携帯端末３Ａを用いて動画投稿サイトへアクセスすることで、自身がアップロードした歌唱動画を視聴することも可能である。また、携帯端末３Ｂのユーザが歌唱ユーザとなり、歌唱動画を動画投稿サイトにアップロードすることも可能である。

［２．サーバの構成］
図２は、本実施形態に係るサーバ４の電気的構成を示すブロック図である。

本実施形態に係るサーバ４は、サーバ４全体の動作を司る主制御部であるＣＰＵ（Central Processing Unit）２０、各種プログラム及び各種データ等が予め記憶されたＲＯＭ（Read Only Memory）２２、ＣＰＵ２０による各種プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２４、各種プログラム及び各種データを記憶する記憶手段としてのＨＤＤ（Hard Disk Drive）２６を備えている。

ＨＤＤ２６は、携帯端末３Ａから送信された歌唱動画データ、すなわち動画投稿サイトにアップロードされた歌唱動画データや、歌唱ユーザが歌唱可能な楽曲を示す楽曲データ等を記憶する。なお、記憶手段は、ＨＤＤ２６に限らず、例えば、フラッシュメモリ等の半導体メモリ等の他の記憶媒体であってもよい。

さらに、サーバ４は、キーボード及びマウス等で構成されて各種操作の入力を受け付ける操作入力部２８、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ３０、通信回線２を介して携帯端末３等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行う外部インタフェース３２を備えている。

これらＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２４、ＨＤＤ２６、操作入力部２８、モニタ３０、及び外部インタフェース３２は、システムバス３４を介して相互に電気的に接続されている。従って、ＣＰＵ２０は、ＲＯＭ２２、ＲＡＭ２４、及びＨＤＤ２６へのアクセス、操作入力部２８に対する操作状態の把握、モニタ３０に対する画像の表示、並びに外部インタフェース３２を介した他の情報処理装置等との各種データの送受信等を行なうことができる。

［３．携帯端末の電気的構成］
図３は、携帯端末３の電気的構成を示す機能ブロック図である。

携帯端末３は、図１に示される構成に加え、主制御部４０、主記憶部４２、補助記憶部４４、通信部４６、及び操作ボタン４８を備える。

主制御部４０は、例えば、ＣＰＵ、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）等であり、携帯端末３の全体の動作を制御する。

主記憶部４２は、例えば、ＲＡＭやＤＲＡＭ（Dynamic Random Access Memory）等で構成されており、主制御部４０による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。

補助記憶部４４は、例えば、フラッシュメモリ等の不揮発性メモリであり、画像等の各種データ及び主制御部４０の処理に利用されるプログラム等を保存する。補助記憶部４４に記憶されるプログラムは、例えば、携帯端末３の基本的な機能を実現するためのＯＳ（Operating System）、各種ハードウェアを制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのプログラム等である。また、補助記憶部４４には、歌唱動画の撮影や投稿及び動画投稿サイトを視聴するためのアプリケーション（以下「動画投稿視聴アプリ」という。）が予め記憶されている。

通信部４６は、例えばＮＩＣ（Network Interface Controller）であり、通信回線２に接続する機能を有する。なお、通信部４６は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Local Area Network）に接続する機能、無線ＷＡＮ（Wide Area Network）に接続する機能、例えばBluetooth（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。

操作ボタン４８は、携帯端末３の側面に設けられ、携帯端末３を起動又は停止させるための電源ボタンやスピーカー３ｂが出力する音のボリューム調整ボタン等である。

これら主制御部４０、主記憶部４２、補助記憶部４４、通信部４６、操作ボタン４８、タッチパネルディスプレイ３ａ、スピーカー３ｂ、マイクロフォン３ｃ、カメラ３ｄ、及びイヤホン端子３ｅは、システムバス４９を介して相互に電気的に接続されている。従って、主制御部４０は、主記憶部４２及び補助記憶部４４へのアクセス、タッチパネルディスプレイ３ａに対する画像の表示、ユーザによるタッチパネルディスプレイ３ａや操作ボタン４８に対する操作状態の把握、マイクロフォン３ｃへの音の入力、スピーカー３ｂ又はイヤホン端子３ｅに接続されたイヤホンからの音の出力、カメラ３ｄに対する制御、及び通信部４６を介した各種通信網や他の情報処理装置へのアクセス等を行える。

［４．歌唱ユーザによる歌唱動画の撮影］
歌唱ユーザが、携帯端末３Ａを用いて歌唱動画を撮影する場合について説明する。

歌唱ユーザは、歌唱動画を撮影する場合、携帯端末３Ａに動画投稿視聴アプリを起動させる。動画投稿視聴アプリが起動すると、携帯端末３Ａは複数の楽曲データを記憶したサーバ４にアクセスする。そして、歌唱ユーザは、動画投稿視聴アプリから自身で歌唱するための楽曲を任意に選択し、サーバ４から楽曲データを携帯端末３Ａへダウンロードする。そして、歌唱ユーザは、動画投稿視聴アプリを用いて任意のタイミングで楽曲を再生して歌唱を行う。動画投稿視聴アプリは、楽曲の再生を開始すると共に、カメラ３ｄによって動画の撮影を開始する。すなわち、歌唱動画は、携帯端末３Ａから楽曲が再生されながら携帯端末３Ａによって撮影された動画である。

なお、楽曲データには、歌詞データも関連付けられており、楽曲データがサーバ４から携帯端末３Ａにダウンロードされる場合には関連付けられている歌詞データも携帯端末３Ａにダウンロードされる。なお、以下の説明において、楽曲データには歌詞データも含まれるものとする。

図４は、歌唱動画を撮影する場合における携帯端末３Ａの画面３ａにおける表示状態（以下「画面表示」という。）の一例である。

図４に示されるように画面３ａは、歌詞表示領域５０Ａ及び撮影画像表示領域５０Ｂに分けられる。歌詞表示領域５０Ａは、ユーザが歌唱する楽曲の歌詞を示す歌詞画像５２、楽曲の音程を示す音程画像５４、及び撮影の進行度合いを示す進行バー５６を含む。

歌詞画像５２及び音程画像５４は、楽曲の進行に応じて更新される。本実施形態では、一例として、歌詞画像５２及び音程画像５４は数フレーズずつ更新して歌詞表示領域５０Ａに表示される。なお、歌詞画像５２と音程画像５４の更新タイミングは同じであってもよいし、異なってもよい。

歌詞画像５２は、一例として、歌詞を複数段（図４の例では２段）で表示し、歌唱ユーザが現在歌唱すべき歌詞を把握可能なように、上段の歌詞の色が楽曲の進行に合わせて左端から右端へ変化する。上段の歌詞の色の変化が右端に達すると、下段の歌詞が上昇して上段に表示されると共に新たな歌詞が下段に表示され、楽曲の進行に合わせて再び上段の歌詞の色が左端から右端へ変化する。

音程画像５４は、一例として、複数の音程バー５４Ａが音程の強弱に合わせて左右方向に階段状に表示される。そして、歌唱ユーザが現在歌唱すべき歌詞の音程を把握可能なように、楽曲の進行に合わせて音程バー５４Ａの色が左端から右端へ変化すると共にポインタ５４Ｂが左端から右端へ移動する。音程バー５４Ａの色の変化及びポインタ５４Ｂが右端に達すると、次の音程を示す音程画像５４が更新表示される。

進行バー５６は、一例として、左端から右端までの長さが楽曲全体の長さを示す。楽曲の再生が開始すると楽曲の再生位置を示すポインタ５６Ａが左端から右端へ移動し、ポインタ５６Ａが右端に達すると楽曲の終了となる。なお、ポインタ５６Ａが通過した進行バー５６は、進行前の位置に比べて太く表示される。

歌唱動画の録画は、歌唱ユーザが楽曲を選択した後、画面３ａに表示される録画開始ボタン（不図示）をクリックしてから所定時間後（例えば１０秒後）に開始される。また、動画の録画開始と終了は、楽曲の開始と終了に一致してもよいが、これに限らず、楽曲の開始所定時間前（例えば５秒前）から動画の録画が開始してもよいし、楽曲の終了所定時間後（例えば５秒後）に動画の録画が終了してもよい。

歌唱ユーザは、イヤホンをイヤホン端子３ｅに接続して再生される楽曲をイヤホンを用いて聴き、当該楽曲に合わせて歌唱する。携帯端末３Ａは、カメラ３ｄによって歌唱ユーザを撮影すると共に、マイクロフォン３ｃによって歌唱ユーザの歌唱を録音する。すなわち、マイクロフォン３ｃは再生される楽曲の音は取得しない。そして、携帯端末３Ａはマイクロフォン３ｃで取得した歌唱ユーザの歌声を録音し、歌唱データとする。

なお、歌唱データは、フィルタリング処理によって人間の声の周波数帯域を抽出したものとされてもよい。このフィルタリング処理によって、歌唱ユーザの周辺環境に起因する雑音が歌唱データから取り除かれることになるので、録音される歌唱ユーザの歌声がより鮮明となる。

そして、動画投稿視聴アプリは、楽曲データ及び歌唱データに録画データを組み合わせることで、サーバ４へ送信可能な歌唱動画データとする。なお、ユーザは、一例として、歌唱動画データをサーバ４へ送信するタイミング、すなわち、動画投稿サイトへアップロードするタイミングとして下記の２種類のうち一つを選択できる。

一つは、歌唱ユーザが歌唱しながらリアルタイムで歌唱動画データを動画投稿サイトへアップロードするライブ配信である。ライブ配信では、視聴ユーザは歌唱ユーザによる歌唱をリアルタイムで視聴することになる。もう一つは、楽曲の歌唱が完了した後に、歌唱ユーザが任意のタイミングで動画投稿サイトへ歌唱動画データをアップロードする非ライブ配信である。

歌唱ユーザは、ライブ配信を行う場合には歌唱動画の録画前にライブ配信を行うための設定を行い、動画の録画開始と共に歌唱動画データが動画投稿サイトへアップロードされるようにする。なお、ライブ配信の場合には、歌唱動画データは携帯端末３Ａに記憶されることなく、動画投稿サイトへアップロードされてもよい。

なお、ライブ配信を行う場合の設定として、視聴ユーザがライブ配信で当該歌唱動画を視聴可能とする第１ライブ配信設定、ライブ配信後でも視聴ユーザが当該歌唱動画を視聴可能とする第２ライブ配信設定の何れか歌唱ユーザが設定可能とされる。すなわち、第１ライブ配信設定では、ライブ配信が終了するとサーバ４から歌唱動画データが削除され、視聴ユーザはライブ配信の終了後にライブ配信された歌唱動画の視聴ができない。一方、第２ライブ配信では、ライブ配信が終了してもサーバ４が当該歌唱動画データを記憶し続けるので、視聴ユーザはライブ配信の終了後でも非ライブ配信として当該歌唱動画の視聴ができる。

なお、非ライブ配信を行う場合には、歌唱動画データは携帯端末３Ａに一旦記憶され、歌唱ユーザが動画投稿視聴アプリを操作することで任意のタイミングで動画投稿サイトへ歌唱動画をアップロードする。

［５．視聴ユーザによる歌唱動画の視聴］
視聴ユーザが、携帯端末３Ｂを用いて歌唱動画を視聴する場合について説明する。

視聴ユーザは、歌唱動画を視聴する場合、携帯端末３Ｂに動画投稿視聴アプリを起動させる。動画投稿視聴アプリが起動すると、携帯端末３Ｂは複数の歌唱動画データを記憶したサーバ４、すなわち動画投稿サイトにアクセスする。そして、視聴ユーザは、動画投稿視聴アプリを介して視聴したい歌唱動画を選択して画面３ａに表示させる。なお、サーバ４による携帯端末３Ｂへの歌唱動画の配信手法は一例として、ストリーミング配信である。

図５は、歌唱動画を視聴する場合における携帯端末３Ｂの画面表示の一例であり、ライブ配信が行われている場合の画面表示を示している。

画面３ａには、歌唱動画が表示されると共に、歌唱ユーザ表示領域５０Ｃ、歌詞表示領域５０Ｄ、コメント入力表示領域５０Ｅが設けられる。歌唱ユーザ表示領域５０Ｃ、歌詞表示領域５０Ｄ、コメント入力表示領域５０Ｅは、歌唱動画に重畳して表示されてもよい。

歌唱ユーザ表示領域５０Ｃには、歌唱動画を投稿した歌唱ユーザのユーザ名、ライブ配信であるか否かの表示、歌唱している楽曲の名称が表示される。

歌詞表示領域５０Ｄには、歌唱動画の歌詞が表示される。なお、表示される歌詞は、一例として、複数フレーズずつであり、楽曲の進行に合わせて歌詞の色が左端から右端へ変化する。なお、歌詞表示領域５０Ｄは、一例として、歌詞を複数段で表示してもよい。この場合、上段の歌詞の色の変化が右端に達すると、下段の歌詞が上昇して上段に表示されると共に新たな歌詞が下段に表示され、楽曲の進行に合わせて再び上段の歌詞の色が左端から右端へ変化する。

コメント入力表示領域５０Ｅには、コメントの入力欄が表示されると共に、歌唱動画を視聴している視聴ユーザのコメントがユーザ名と共に表示される。なお、一例として、視聴ユーザからのコメントが入力される毎にコメント入力表示領域５０Ｅの最上段に当該コメントが追加表示され、それまでに表示されていたコメントは下方に繰り下がる。そして、コメントがコメント入力表示領域５０Ｅに表示しきれなくなった場合には、コメント表示領域の右側にスクロールバー（不図示）が表示され、当該スクロールバーを視聴ユーザが操作することで、それまで画面３ａに表示されなかったコメントが表示される。

さらに、画面３ａには、視聴ユーザが各種操作を行うための操作アイコン５８Ａ〜５８Ｄが表示される。

操作アイコン５８Ａは、視聴ユーザが視聴している歌唱動画に視聴ユーザが共感等した場合にクリックされるアイコンであり、当該歌唱動画に対する操作アイコン５８Ａのクリックの総数が操作アイコン５８Ａの上方に表示される。

操作アイコン５８Ｂは、画面３ａに表示されている歌唱動画をライブ配信している歌唱ユーザに対して視聴ユーザが対戦（以下「対戦歌唱」という。）を申し込む場合にクリックされるアイコンである。対戦歌唱は、異なる歌唱ユーザによる複数の歌唱動画（第１歌唱動画、第２歌唱動画）を視聴ユーザの携帯端末３Ｂの画面３ａに同時に表示し、歌唱動画が同じ楽曲を交互に歌唱するものである。すなわち、操作アイコン５８Ｂをクリックした視聴ユーザは、対戦歌唱を行う歌唱ユーザとなる。

操作アイコン５８Ｃは、動画投稿視聴アプリに対する各種設定を視聴ユーザが行う場合にクリックされるアイコンである。

操作アイコン５８Ｄは、画面３ａに表示されている歌唱動画に対して装飾画像を重畳させる場合に視聴ユーザによってクリックされるアイコンである。なお、本実施形態に係る装飾画像は、その種類により金額が決められており、視聴ユーザが課金により購入可能とされている。そして、視聴ユーザは、操作アイコン５８Ｄをクリックすることで、自身が視聴している歌唱動画に対して装飾画像を重畳させる。装飾画像が重畳された歌唱動画の歌唱ユーザは、重畳された装飾画像に応じた金銭を動画投稿サイトの運営者から受け取る。すなわち、視聴ユーザによる歌唱動画への装飾画像の重畳（表示指示）は、歌唱ユーザに対する、いわゆる投げ銭に相当する。

［６．動画合成機能］
本実施形態に係る動画投稿視聴アプリは、複数の歌唱動画を合成する動画合成機能を有する。動画合成機能は、先に録画した第１歌唱動画に対して、後に録画した第２歌唱動画を合成する機能である。なお、第１歌唱動画と第２歌唱動画で歌唱される楽曲は同じ楽曲である。

［６−１．合成開始位置］
図６は、本実施形態に係る動画合成機能の内容を示す模式図である。本実施形態に係る動画合成機能は、先に録画した第１歌唱動画に対して、後に録画する第２歌唱動画の合成を開始する合成開始位置を決定し（図６（Ａ））、合成開始位置を決定した後にカメラ３ｄで第２歌唱動画を録画し（図６（Ｂ））、第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成する（図６（Ｃ））。なお、合成開始位置や再生位置等で用いられる位置とは、例えば歌唱動画や楽曲の先頭からの経過時間などで表される。

このような動画合成機能によって歌唱ユーザは、歌唱動画（第１歌唱動画）を録画したものの、その出来栄えが望ましくないと感じた場合に、望ましくないと感じた動画部分よりも前の位置を合成開始位置とし、合成開始位置から歌唱動画（第２歌唱動画）を撮影し直す。そして、第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成することで、歌唱ユーザは、自身が望ましいと感じる歌唱動画を容易に作成可能となる。

本実施形態に係る動画合成機能は、上述のように、第１歌唱動画に対する合成開始位置を決定した後に、第２歌唱動画の録画を開始する。このため、動画合成機能は、第１歌唱動画における合成開始位置に対応する楽曲の再生位置から第２歌唱動画の録画を開始する。従って、歌唱ユーザは、第２歌唱動画の録画において楽曲の歌唱を最初から行う必要はなく合成開始位置から行えばよいため、より簡易に歌唱動画の合成を行える。

図７は、合成開始位置を決定する場合に歌唱ユーザが操作する携帯端末３Ａの画面３ａに表示される画像であり、画面３ａは再生制御領域５０Ｆ及び再生動画表示領域５０Ｇに分けられる。再生動画表示領域５０Ｇは、再生対象となる第１歌唱動画が表示される。再生制御領域５０Ｆは、第１歌唱動画の楽曲の歌詞を示す歌詞画像５２、楽曲の音程を示す音程画像５４、及び動画の再生位置を選択するためのスライドバー６０が表示される。

スライドバー６０は、左端が第１歌唱動画の開始を示し、右端が第１歌唱動画の終了を示している。歌唱ユーザが、ポインタ６０Ａを左右に移動させると、当該移動に伴い画面３ａに表示される第１歌唱動画の再生位置が変化し、第１歌唱動画は一時停止の状態で画面３ａに表示される。また、ポインタ６０Ａの移動に伴い、歌詞画像５２及び音程画像５４も更新される。

そして、歌唱ユーザによって決定ボタン６２がクリックされると、再生動画表示領域５０Ｇに表示されている第１歌唱動画の再生位置が合成開始位置として決定される。

なお、合成開始位置として設定可能な位置は、楽曲の予め定められた位置とされてもよい。この予め定められた位置とは、例えば、歌詞のフレーズとフレーズとの境等、歌詞の途中からの歌い出しが容易な位置であり、複数個所が設定されている。換言すると、フレーズの途中等、途中からでは歌い出しが難しい位置は合成開始位置として歌唱ユーザは選択できない。なお、スライドバー６０や歌詞画像５２に、合成開始位置として設定可能な複数の位置が歌唱ユーザに認識できるように表示されてもよい。

また、図７の例に限らず、画面３ａには第１歌唱動画を再生（一時停止解除）するためのボタンや、再生を停止するためのボタン、早送り又は早戻しするためのボタン、スロー再生するためのボタン等が表示されてもよい。

［６−２．第２歌唱動画の録画］
動画合成機能は、合成開始位置が決定されると第２歌唱動画の録画を行う。

本実施形態に係る動画合成機能は、図８に示されるように、第１歌唱動画の合成開始位置における画像である合成開始位置画像６４（静止画像）を、第２歌唱動画の録画開始時に画面３ａに表示するガイド機能を有する。合成開始位置画像６４は、歌唱ユーザが画面３ａに表示されている画像が合成開始位置画像６４であると認識できるように、一例として薄く表示される。そして、動画合成機能は、図９に示されるように、第２歌唱動画の録画のためにカメラ３ｄで撮影されている画像（以下「現在撮影画像」という。）に合成開始位置画像６４を重畳して画面３ａに表示する。

このように、ガイド機能は、合成開始位置画像６４を画面３ａに表示することで第２歌唱動画の録画開始時に、歌唱ユーザに第１歌唱動画の合成開始位置における画像を必然的に確認させることとなる。従って、歌唱ユーザは、第２歌唱動画の録画開始時において、第１歌唱動画における合成開始位置と同様の画像構成やポーズ、表情とすることが可能となる。その結果、第１歌唱動画と第２歌唱動画との合成において違和感の小さい合成が可能となる。さらに、図９に示されるように、合成開始位置画像６４と現在撮影画像とを重畳することで、歌唱ユーザは、第２歌唱動画の録画開始時の画像を合成開始位置画像６４と同様とすることがより簡易にできる。

ガイド機能は、第１歌唱動画の合成開始位置における歌唱ユーザの画像と、第２歌唱動画の録画開始時における歌唱ユーザの画像との一致率などを検出する検出機能を備えてもよい。ガイド機能は、第１歌唱動画の合成開始位置における歌唱ユーザの画像と、第２歌唱動画の録画開始時における歌唱ユーザの画像との一致率が所定の閾値よりも低い場合にユーザに通知をする機能を備えてもよい。

なお、図８，９の例では、画面３ａにおける再生動画表示領域５０Ｇ全体に合成開始位置画像６４が表示されているが、これに限らず、合成開始位置画像６４はウィンドウ表示されて再生動画表示領域５０Ｇの一部に重畳されてもよい。そして、ウィンドウ表示されている合成開始位置画像６４と現在撮影画像とが重畳して表示されてもよい。

次に図１０を参照して、第２歌唱動画の録画について説明する。図１０は、合成開始位置画像６４の画面３ａへの表示タイミング、及び詳細を後述する第１歌唱動画と第２歌唱動画の重畳合成を示す模式図であり、斜線（ハッチング）で示されるバーは第２歌唱動画を録画する場合に、画面３ａに表示される画像を示す。

図１０に示されるように合成開始位置画像６４は、第２歌唱動画の録画開始前から静止画として画面３ａに表示され、第２歌唱動画の録画開始と共に画面３ａへの表示が停止される。

そして、動画合成機能は、合成開始位置の前から楽曲の再生を開始し、再生した楽曲が合成開始位置に対応するタイミングに達すると第２歌唱動画の録画を開始する。本実施形態に係る動画合成機能は、一例として、合成開始位置の所定期間（例えば３０秒）前から楽曲の再生を開始する。これにより、歌唱ユーザは、余裕を持って第２歌唱動画の歌い出しと録画開始のタイミングとを合わせて第２歌唱動画の録画が可能となる。また、動画合成機能は、第２歌唱動画の録画開始前から楽曲の再生を開始すると共に、第２歌唱動画の録画開始のカウントダウン表示も行う（図９参照）。これにより、歌唱ユーザは、第２歌唱動画の歌い出しのタイミングを明確に認識できる。

さらに、図１０に示されるように、合成開始位置画像６４の表示が停止されて第２歌唱動画の録画が開始された後に、ガイド機能として、合成開始位置から所定期間だけ第１歌唱動画を画面３ａに重畳表示させてもよい。これにより、歌唱ユーザは、第１歌唱動画に合わせた画像構成やポーズ、表情としながら、第２歌唱動画の録画が可能となるため、より違和感の小さい第１歌唱動画と第２歌唱動画との合成が可能となる。なお、この所定期間は、一例として、詳細を後述する重畳合成期間であり、例えば５秒であるが、時間を基準単位とするのではなくフレーム数を基準に重畳合成期間が設定されてもよい。

ここで、図１０を参照して、第２歌唱動画の録画の全体の流れを説明する。

歌唱ユーザの操作によって合成開始位置が決定されると、合成開始位置画像６４が画面３ａに表示されると共にカメラ３ｄによる撮影が開始され、合成開始位置画像６４と現在撮影画像とが重畳されて画面３ａに表示される。このとき、第１歌唱動画の楽曲と同じ楽曲データが、サーバ４から携帯端末３Ａへダウンロードされる。そして、歌唱ユーザが、第２歌唱動画の録画開始指示を携帯端末３Ａに入力すると、楽曲の再生と共に録画のカウントダウンが開始される。

録画カウントダウンが終了すると、第２歌唱動画の録画が開始されると共に合成開始位置画像６４の表示が停止される。そして、合成開始位置から所定期間（重畳合成期間）における第１歌唱動画が現在撮影画像に重畳して画面３ａに表示される。なお、録画される第２歌唱動画には、重畳されて表示される第１歌唱動画は含まれない。所定期間（重畳合成期間）が経過すると、重畳されている第１歌唱動画の表示は停止され、楽曲が終了するまで第２歌唱動画の録画が継続される。

［６−３．第１歌唱動画と第２歌唱動画との合成］
動画合成機能は、第２歌唱動画の録画が終了すると、第１歌唱動画の合成開始位置で第１歌唱動画と録画した第２歌唱動画とを合成する。なお、以下の説明では、第１歌唱動画と第２歌唱動画を合成して得られた動画を合成歌唱動画という。

動画合成機能は、第１歌唱動画と第２歌唱動画との合成部分を目立たせないための画像処理（以下「エフェクト処理」という。）を行ってもよい。エフェクト処理は、例えば、合成部分の前後所定期間（例えば前後５秒ずつ、又は前後５フレームずつ）である。図１１の例では、エフェクト処理として複数の所定画像（星画像）をランダムにちりばめているが、これに限らず、モザイク処理やぼかし処理等、他の画像処理が行われてもよい。

このエフェクト処理により、第１歌唱動画と第２歌唱動画との境が不明瞭になるため、より違和感の小さい第１歌唱動画と第２歌唱動画との合成が可能となる。

また、エフェクト処理として、合成部分の画像全体を瞬間的に所定色に置き換えてもよい。所定色とは、例えば白色や黒色であり、例えば所定色を白色（又は黒色）とすることで意図的に白飛び（又は黒飛び）を画面に生じさせることで、第１歌唱動画と第２歌唱動画との境が不明瞭になる。

また、動画合成機能は、図１０に示されるように、合成開始位置から所定期間（上述した重畳合成期間）の第１歌唱動画と第２歌唱動画とを重畳させて、第１歌唱動画と第２歌唱動画とを合成（以下「重畳合成」という。）してもよい。この重畳合成は、いわゆるクロスディゾルブやオーバーラップといわれる画像処理であり、例えば、重畳させる第１歌唱動画を時間と共にフェードアウトさせる一方で、第２歌唱動画をフェードインさせてもよい。この重畳合成により、第１歌唱動画と第２歌唱動画との境が不明瞭になるため、より違和感の小さい第１歌唱動画と第２歌唱動画との合成が可能となる。

なお、本実施形態に係る動画合成機能は、録音されている歌声に関しては重畳合成を行わないが、これに限らず、歌声に関しても重畳合成を行ってもよい。

［７．動画合成機能の機能ブロック］
図１２は、本実施形態に係る動画合成機能に関する機能ブロック図である。携帯端末３が備える主制御部４０は、画像表示制御部７０、録画制御部７２、合成開始位置決定部７４、及び動画合成部７６を備える。主制御部４０が備える各機能によって実行される処理は、補助記憶部４４に記憶されているプログラムによって実現される。

画像表示制御部７０は、画面３ａに対する画像の表示を制御するものであり、例えば、動画投稿視聴アプリが起動されてサーバ４から配信された動画を画面３ａに表示させたり、カメラ３ｄで撮影した画像を画面３ａに表示させる。なお、本実施形態に係る画像表示制御部７０は、第２歌唱動画を撮影する場合に、合成開始位置画像６４や、合成開始位置から所定期間の第１歌唱動画をカメラで撮影されている画像に重畳して画面３ａに表示させる。

録画制御部７２は、カメラ３ｄで撮影された画像を録画する。なお、本実施形態に係る録画制御部７２は、動画投稿視聴アプリを起動することで携帯端末３Ａから楽曲を再生し、再生した楽曲の音と共に第１歌唱動画又は第２歌唱動画を録画する。さらに、録画制御部７２は、第２歌唱動画を録画する場合、合成開始位置の前から楽曲の再生を開始して第２歌唱動画の録画開始のカウントダウンを行い、再生した楽曲が合成開始位置に対応するタイミングに達すると第２歌唱動画の録画を開始する。

合成開始位置決定部７４は、歌唱ユーザによる携帯端末３Ａへの操作に基づいて、先に録画した第１歌唱動画に対して、後に録画する第２歌唱動画の合成を開始する合成開始位置を決定する。

動画合成部７６は、第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成して合成歌唱動画とする。また、本実施形態に係る動画合成部７６は、第１歌唱動画と第２歌唱動画との合成部分を目立たせないための画像処理を行ったり、合成開始位置から所定期間（重畳合成期間）の第１歌唱動画と第２歌唱動画とを重畳させて、第１歌唱動画と第２歌唱動画とを合成する

［８．動画合成処理のフローチャート］
図１３は、携帯端末３が備える主制御部４０によって実行される動画合成処理の流れを示すフローチャートである。動画合成処理を実行するためのプログラム（動画投稿視聴アプリ）は補助記憶部４４の所定領域に予め記憶されている。

まず、ステップＳ１００では、合成開始位置決定部７４が歌唱ユーザによる第１歌唱動画の選択を受け付ける。第１歌唱動画は、携帯端末３Ａの補助記憶部４４に記憶されている。なお、歌唱ユーザは、自身がアップロードした歌唱動画を動画投稿サイトからダウンロードし、それを第１歌唱動画としてもよい。

次のステップＳ１０２では、画像表示制御部７０が図７に示すように第１歌唱動画を画面３ａに表示し、合成開始位置決定部７４が歌唱ユーザによる画面３ａへの操作に基づいて合成開始位置を決定する。

次のステップＳ１０４では、録画制御部７２が第２歌唱動画の撮影開始指示の入力の有無を判定し、肯定判定の場合にはステップＳ１０６へ移行する。否定判定の場合は、第２歌唱動画の撮影開始指示が入力されるまで待ち状態となる。

ステップＳ１０６では、画像表示制御部７０が合成開始位置画像６４及びカメラ３ｄによる撮影画像（現在撮影画像）を画面３ａに表示する。

次のステップＳ１０８では、録画制御部７２が第２歌唱動画の録画開始指示の入力の有無を判定し、肯定判定の場合にはステップＳ１１０へ移行する。否定判定の場合は、第２歌唱動画の録画開始指示が入力されるまで待ち状態となる。

ステップＳ１１０では、録画制御部７２が合成開始位置の前から楽曲の再生を開始し、再生した楽曲が合成開始位置に対応するタイミングに達すると第２歌唱動画の録画を開始し、楽曲が終了すると第２歌唱動画の録画を終了する。録画された第２歌唱動画は、補助記憶部４４に記憶される。

ステップＳ１１２では、動画合成部７６が第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成し、合成歌唱動画を生成する。なお、第１歌唱動画と第２歌唱動画の合成として重畳合成が行われてもよい。合成歌唱動画は、補助記憶部４４に記憶される。

次のステップＳ１１４では、動画合成部７６が合成歌唱動画にエフェクト処理を行い、本動画合成処理を終了する。なお、実行されるエフェクト処理の種類は、歌唱ユーザによって予め設定されている。

そして、歌唱ユーザは、このようにして生成された合成歌唱動画を動画投稿視聴アプリを介して動画投稿サイトにアップロードし、当該合成歌唱動画を視聴ユーザによる視聴が可能とする。なお、第１歌唱動画が動画投稿サイトにアップロードされている場合には、アップロードによって第１歌唱動画が合成歌唱動画に置き換えられてもよい。なお、生成された合成歌唱動画の完成度に歌唱ユーザが満足しない場合には、図１３に示される動画合成処理を再び最初から行い、合成歌唱動画の生成を再度行う。

以上説明したように、カメラ３ｄで撮影した画像を動画として録画する携帯端末３Ａは、先に録画した第１歌唱動画に対して、後に録画する第２歌唱動画の合成を開始する合成開始位置を決定した後に、カメラ３ｄで第２歌唱動画を録画し、合成開始位置で第１歌唱動画と第２歌唱動画とを合成する。従って、携帯端末３Ａは、歌唱ユーザがカメラ３ｄを用いて動画の録画を行う場合に、歌唱ユーザが望ましいと感じる動画を容易に作成できる。

［９．他の実施形態］
以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。

例えば、上記実施形態では、パフォーマンスを歌唱とし、動画投稿サイトにアップロードされる動画を歌唱動画とする形態について説明したが、本発明は、これに限定されるものではない。例えば、パフォーマンスをダンスとし、動画投稿サイトにアップロードされる動画をダンス動画とするように、パフォーマンスを歌唱以外としてもよい。

また、上記実施形態では、動画合成機能を携帯端末３Ａで実行する形態について説明したが、本発明は、これに限定されるものではない。例えば、動画合成機能の一部又は全部をサーバ４で実行してもよい。なお、動画合成機能の一部又は全部をサーバ４で実行する場合であっても、動画の撮影及び録画は携帯端末３Ａのカメラ３ｄによって行われる。

また、動画合成機能は、第１歌唱動画と第２歌唱動画とを合成して生成された合成歌唱動画を新たな第１歌唱動画とし、当該第１歌唱動画に新たな第２歌唱動画を合成して新たな合成歌唱動画を生成してもよい。

また、上記実施形態で説明した動画合成処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

３ 携帯端末（情報処理装置）
３ａ 画面
３ｄ カメラ
６４ 合成開始位置画像
７０ 画像表示制御部（画像表示制御手段）
７２ 録画制御部（録画制御手段）
７４ 合成開始位置決定部（決定手段）
７６ 動画合成部（動画合成手段）

Claims (11)

1. カメラで撮影した画像を動画として録画する情報処理装置であって、
   先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、
   前記カメラで前記第２動画を録画する録画制御手段と、
   前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、
   を備える情報処理装置。
2. 前記第１動画の前記合成開始位置における画像である合成開始位置画像を、前記第２動画の録画開始時に画面に表示する画像表示制御手段を備える請求項１記載の情報処理装置。
3. 前記画像表示制御手段は、前記第２動画を録画するために前記カメラで撮影されている画像に前記合成開始位置画像を重畳して前記画面に表示する請求項２記載の情報処理装置。
4. 前記動画合成手段は、前記第１動画と前記第２動画との合成部分を目立たせないための画像処理を行う請求項１から請求項３の何れか１項記載の情報処理装置。
5. 前記動画合成手段は、前記合成開始位置から所定期間の前記第１動画と前記第２動画とを重畳させて、前記第１動画と前記第２動画とを合成する請求項１から請求項４の何れか１項記載の情報処理装置。
6. 前記第１動画及び前記第２動画は、楽曲が再生されながら録画される動画である請求項１から請求項５の何れか１項記載の情報処理装置。
7. 前記録画制御手段は、前記合成開始位置の前から前記楽曲の再生を開始し、再生した楽曲が前記合成開始位置に対応するタイミングに達すると前記第２動画の録画を開始する請求項６記載の情報処理装置。
8. 前記録画制御手段は、前記第２動画の録画開始前から前記楽曲の再生を開始すると共に、前記第２動画の録画開始のカウントダウンを行う請求項６又は請求項７記載の情報処理装置。
9. 前記合成開始位置として設定可能な位置は、前記楽曲の予め定められた位置である請求項６から請求項８の何れか１項記載の情報処理装置。
10. カメラで第１動画を録画する第１工程と、
    前記第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する第２工程と、
    前記カメラで前記第２動画を録画する第３工程と、
    前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する第４工程と、
    を有する動画合成方法。
11. カメラで撮影した画像を動画として録画する情報処理装置が備えるコンピュータを、
    先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、
    前記カメラで前記第２動画を録画する録画制御手段と、
    前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、
    して機能させるための動画合成プログラム。

Images