JP2017183883A - 端末装置および編集データ生成方法 - Google Patents

Abstract

【課題】複数の利用者の動作が相互に調和した動画を含む好適な編集データを生成する。【解決手段】複数の端末装置１４の各々が、他装置で収録された動画ＲAおよび音声ＲBを表す収録データＲを取得し、自装置の収録装置が収録している動画と、取得した収録データＲの動画ＲAとを表示装置に表示させ、収録装置が収録した動画ＲAおよび音声ＲBを表す収録データＲを生成する一方、管理システム１２が、複数の端末装置１４の各々が生成した収録データＲを取得し、複数の収録データＲを使用して編集データＥを生成する【選択図】図１

Description

本発明は、動画および音を表す複数の収録データを収録および処理する技術に関する。

動画や音声等の複数の素材を編集する技術が従来から提案されている。例えば特許文献１には、複数の利用者が個別に収録した動画や音声を相互に連結することで動画データを生成する構成が開示されている。特許文献１の技術によれば、複数の利用者による歌唱音声やメッセージを含む動画データを、例えば誕生日の利用者に贈呈することが可能である。

特開２０１４−６４０６６号公報

特許文献１の技術では、別個の端末装置で収録された複数の素材（動画や音）を時系列に配列した動画データが生成される。しかし、個々の利用者が自身の収録時に他の利用者の収録時の様子を確認できないため、複数の利用者が相互に調和した好適な動画の生成は実際には困難である。以上の事情を考慮して、本発明は、複数の利用者の動作が相互に調和した動画を含む好適な編集データの生成を目的とする。

以上の課題を解決するために、本発明の好適な態様に係る端末装置は、動画および音を表す複数の収録データを使用した編集データの生成のために収録データを生成可能な端末装置であって、他装置で収録された動画および音を表す収録データを取得する収録データ取得部と、自装置の収録装置が収録している動画と、収録データ取得部が取得した収録データの動画とを表示装置に表示させる再生制御部と、収録装置が収録した動画および音を表す収録データを生成する収録処理部とを具備する。以上の態様では、他装置による収録済の動画と自装置の収録装置が収録している動画とが表示装置に表示されるから、利用者は、他の利用者の様子を確認しながら自身の動画を収録できる。したがって、複数の利用者の動作が相互に調和した動画を含む好適な編集データを生成することが可能である。

本発明の好適な態様において、再生制御部は、収録装置による収録前に他装置が生成した複数の収録データの各々の動画と、収録装置が収録している動画とを、表示装置に表示させる。以上の態様では、収録済の複数の収録データの各々の動画と収録装置が収録している動画とが表示装置に表示されるから、複数の利用者の動作が相互に調和した動画を含む好適な編集データを生成できるという効果は各別に顕著である。

本発明の好適な態様において、再生制御部は、収録データ取得部が取得した収録データの動画と比較して大きい表示サイズで、収録装置が収録している動画を表示する。以上の態様では、収録済の動画と比較して大きい表示サイズで、収録装置が収録している動画が表示されるから、端末装置の利用者は自身の収録結果を優先的に確認しながら、他の利用者の動作に調和した動画を収録することが可能である。

本発明の好適な態様において、収録処理部は、特定の利用者に提供される編集データの生成に使用される収録データと、収録装置が収録した動画および音を表すデータであって特定の利用者が視聴可能な個別データとを生成する。以上の態様では、特定の利用者に視聴が許可される個別データが生成されるから、他の利用者に知られずに特定の利用者に対して動画および音を提供することが可能である。

本発明の好適な態様に係る編集データ生成方法は、複数の端末装置の各々が、他装置で収録された動画および音を表す収録データを取得し、自装置の収録装置が収録している動画と、取得した収録データの動画とを表示装置に表示させ、収録装置が収録した動画および音を表す収録データを生成する一方、管理システムが、複数の端末装置の各々が生成した収録データを取得し、複数の収録データを使用して編集データを生成する。以上の態様では、他装置による収録済の動画と自装置の収録装置が収録している動画とが表示装置に表示された状態で、収録装置が収録した動画および音を表す収録データが生成され、各端末装置が生成した複数の収録データを使用して編集データが生成される。したがって、複数の利用者の動作が相互に調和した動画を含む好適な編集データを生成することが可能である。

本発明の好適な態様に係る編集データ生成方法において、管理システムは、収録データの総数に応じて、編集データにおける各収録データの動画の配置パターンを変更する。以上の態様では、編集データにおける各収録データの動画の配置パターンが収録データの総数に応じて変更されるから、複数の収録データの動画が好適な配置パターンで配置された編集データを生成することが可能である。

本発明の好適な態様に係る編集データ生成方法において、管理システムは、複数の収録データの各々が表す動画を画像調整後に配置した編集動画と、複数の収録データの各々が表す音を音響調整後に混合した編集音声とを表す編集データを生成する。以上の態様では、複数の収録データが表す動画が画像調整後に配置され、複数の収録データが表す音が音響調整後に混合される。したがって、例えば利用者毎の動画や音の特性の相違を低減した統一感のある編集データを生成することが可能である。

本発明の好適な態様に係る編集データ生成方法において、管理システムは、第１端末装置と、第１端末装置の利用者が指定した複数の利用者の第２端末装置とを含む複数の端末装置の各々が生成した収録データを取得し、第１端末装置の利用者が指定した提供先に編集データを提供する。以上の態様では、第１端末装置の利用者と当該利用者が指定した他の利用者とを含む複数の利用者の収録データから編集データが生成され、第１端末装置の利用者の所望の提供先に編集データが提供される。したがって、第１端末装置の利用者を発起人として複数の利用者により共同で作成された編集データを所望の提供先に提供することが可能である。

本発明の第１実施形態に係る編集システムの構成図である。 編集データの説明図である。 端末装置の構成図である。 収録画面の説明図である。 管理システムの構成図である。 編集処理のフローチャートである。 編集システムの全体的な動作のフローチャートである。 設定画面の説明図である。 識別画像の説明図である。 収録処理のフローチャートである。 識別画像および収録画面の遷移の説明図である。 編集データの遷移の説明図である。 第２実施形態における収録処理のフローチャートである。

＜第１実施形態＞
図１は、第１実施形態における編集システム１００の構成図である。編集システム１００は、相異なる動画および音声を表す複数の収録データＲを素材として編集データＥを生成するコンピュータシステムであり、管理システム１２と複数の端末装置１４とを具備する。複数の端末装置１４の各々は、利用者Ｕ（ＵA1〜ＵA4，ＵT）が使用する通信端末であり、移動体通信網やインターネット等を含む通信網１８を介して管理システム１２と通信する。端末装置１４の好適例は、例えば携帯電話機やスマートフォン、タブレット端末、パーソナルコンピュータ等の可搬型の通信端末であるが、据置型の情報処理装置で端末装置１４を実現することも可能である。なお、以下の説明では、複数の端末装置１４のうち特定の１個の端末装置１４に着目した場合に、当該端末装置１４を「自装置」と表記し、自装置以外の端末装置１４を「他装置」と表記する場合がある。

図１に例示される通り、概略的には、各利用者ＵA（ＵA1〜ＵA4）の端末装置１４により生成された収録データＲが管理システム１２に送信され、複数の収録データＲから生成された編集データＥが管理システム１２から利用者ＵTの端末装置１４に送信される。第１実施形態の１個の収録データＲは、各利用者ＵAが特定の楽曲（以下「対象楽曲」という）を歌唱する様子を収録した動画ＲAと音声ＲBとを表すファイルである。

第１実施形態では、図２に例示される通り、複数の収録データＲの各々の動画ＲAを並行に配置した編集動画ＥAと、複数の収録データＲの各々の音声ＲBを混合した編集音声ＥBとを表す編集データＥが生成される。すなわち、複数の利用者ＵAが共通の対象楽曲を歌唱した音声ＲBを含む編集音声ＥB（すなわち合唱音声）と、各利用者ＵAの歌唱の様子を撮影した動画ＲAを配列した編集動画ＥAとを表す編集データＥが生成されて、利用者ＵTの端末装置１４に提供される。例えば、利用者ＵTの誕生日を祝う対象楽曲（バースデーソング）を複数の利用者ＵAが歌唱する編集動画ＥAおよび編集音声ＥBの編集データＥが利用者ＵTに提供される。以上の説明から理解される通り、第１実施形態では、複数の利用者ＵAが共同で作成したコンテンツの編集データＥが利用者ＵTに贈呈される。編集データＥの生成を希望する特定の利用者ＵA1が、編集データＥの作成に参加すべき他の利用者ＵA2〜ＵA4と、編集データＥの提供先である利用者ＵTとを指定する。なお、収録データＲの作成を担当する利用者ＵAの総数は任意であるが、以下の説明では、４人の利用者ＵA1〜ＵA4が収録データＲを生成する場合を便宜的に例示する。

図３は、任意の１個の端末装置１４の構成図である。図３に例示される通り、端末装置１４は、制御装置２２と記憶装置２４と通信装置２６と入力装置２８と収録装置３２と再生装置３４とを具備する。制御装置２２は、例えばＣＰＵ（Central Processing Unit）を含む処理回路であり、端末装置１４の各要素を統括的に制御する。記憶装置２４は、例えば磁気記録媒体や半導体記録媒体等の公知の記録媒体または複数種の記録媒体の組合せで構成され、制御装置２２が実行するプログラムや制御装置２２が使用する各種のデータを記憶する。通信装置２６は、通信網１８を介して管理システム１２と通信する。入力装置２８は、利用者Ｕによる操作を受付ける。例えば利用者Ｕが操作する複数の操作子や利用者Ｕによる接触を検知するタッチパネルが入力装置２８として好適に利用される。

収録装置３２は、制御装置２２による制御のもとで利用者Ｕの様子を収録する入力機器である。第１実施形態の収録装置３２は、動画を撮影する撮影装置３２２と、音声を収音する収音装置３２４（マイクロホン）とを具備する。具体的には、撮影装置３２２は、撮像素子の受光量に応じた画像信号を生成し、収音装置３２４は、周囲の音声に応じた音響信号を生成する。

他方、再生装置３４は、制御装置２２による制御のもとで動画や音声を再生する出力機器である。第１実施形態の再生装置３４は、画像信号に応じた動画を表示する表示装置３４２（例えば液晶表示パネル）と、音響信号に応じた音声を放音する放音装置３４４（例えばスピーカやヘッドホン）とを具備する。なお、図３の例示のように収録装置３２および再生装置３４を端末装置１４に搭載した構成が好適であるが、端末装置１４とは別体の収録装置３２や再生装置３４を有線または無線により端末装置１４に接続することも可能である。

収録データＲの作成者である各利用者ＵAが使用する端末装置１４の制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、収録データＲの生成のための複数の機能（通信制御部４２，再生制御部４４，収録処理部４６）を実現する。なお、制御装置２２の一部の機能を専用の電子回路で実現した構成や、制御装置２２の機能を複数の装置に分散した構成も採用され得る。

収録処理部４６は、収録装置３２が収録した動画ＲAおよび音声ＲBを表す収録データＲを生成する。具体的には、収録処理部４６は、収録装置３２から供給される画像信号と収音装置３２４から供給される音響信号との符号化により収録データＲを生成する。なお、収録データＲの符号化の形式は任意である。以上に説明した通り、第１実施形態では、利用者ＵAの様子を収録して収録データＲを生成する処理（以下「収録処理」という）が個々の端末装置１４にて実行される。

通信制御部４２は、通信装置２６を介した管理システム１２との通信を制御する。具体的には、通信制御部４２は、収録処理部４６が収録処理で生成した収録データＲを通信装置２６から管理システム１２に送信する。すなわち、各利用者ＵAを収録した複数の収録データＲが管理システム１２に集約される。また、通信制御部４２は、他装置が収録処理で生成した収録データＲ（後述の再生データＰ）を管理システム１２から通信装置２６により受信する。自装置による収録処理の実行前に、複数の他装置により収録データＲが生成されている場合、通信制御部４２は、他装置による収録済の複数の収録データＲを取得する。以上の説明から理解される通り、第１実施形態の通信制御部４２は、他装置で収録された収録データＲを取得する手段（収録データ取得部）として機能する。

再生制御部４４は、再生装置３４による動画および音声の再生を制御する。具体的には、再生制御部４４は、表示装置３４２に対する画像信号の供給により任意の画像を表示させ、放音装置３４４に対する音響信号の供給により任意の音声を放音させる。例えば、再生制御部４４は、編集データＥを再生装置３４に再生させる。すなわち、再生制御部４４は、編集データＥが表す編集動画ＥAを表示装置３４２に表示させるとともに編集音声ＥBを放音装置３４４に放音させる。

また、第１実施形態の再生制御部４４は、自装置の収録処理部４６による収録処理の実行中に、図４の収録画面ＧRを表示装置３４２に表示させる。図４に例示される通り、収録画面ＧRは、第１領域ＧR1と第２領域ＧR2とを包含する。なお、図４では第１領域ＧR1と第２領域ＧR2とを別個の領域としたが、例えば第１領域ＧR1の内側に第２領域ＧR2を画定することも可能である。

図４に例示される通り、第１領域ＧR1には、自装置の収録装置３２（撮影装置３２２）が現時点で収録している利用者ＵA自身の動画Ｌが実時間的に表示（すなわちライブビュー表示）される。他方、第２領域ＧR2には、他装置による収録済の各収録データＲの動画ＲAが表示される。他装置による収録済の複数の収録データＲを通信制御部４２が取得した場合、第２領域ＧR2には、複数の収録データＲの動画ＲAが表示される。図４では、利用者ＵA4の収録処理の段階で利用者ＵA1〜ＵA3の収録処理が実行済である場合が想定されている。したがって、利用者ＵA4の動画Ｌが第１領域ＧR1に表示されるとともに、利用者ＵA1〜ＵA3の収録済の動画ＲAが第２領域ＧR2に表示される。

以上の説明から理解される通り、第１実施形態の再生制御部４４は、自装置の収録装置３２が収録している動画Ｌ（第１領域ＧR1）と、他装置による収録済の収録データＲの動画ＲA（第２領域ＧR2）とが表示装置３４２に並行に表示される。第１実施形態の再生制御部４４は、図４に例示される通り、他装置による収録済の収録データＲの動画ＲAと比較して大きい表示サイズで、収録装置３２による収録中の動画Ｌを表示させる。したがって、端末装置１４の利用者は、自分自身の動画Ｌを優先的に確認しながら、他の利用者ＵAの動作に調和した動画ＲAを収録することが可能である。

また、再生制御部４４は、自装置の収録処理部４６による収録処理の実行中に、他装置による収録済の各収録データＲが表す音声ＲBを放音装置３４４に放音させる。以上の説明から理解される通り、各端末装置１４の利用者ＵAは、他の利用者ＵAが対象楽曲を歌唱する動画ＲAと音声ＲBとを視聴しながら対象楽曲を歌唱する。したがって、各利用者ＵAが相異なる場所および時間にて個別に歌唱を収録する構成にも関わらず、複数の利用者ＵAが相互に調和した好適な編集データＥを生成することが可能である。

図５は、第１実施形態における管理システム１２の構成図である。図５に例示される通り、管理システム１２は、制御装置６２と記憶装置６４と通信装置６６とを具備する。なお、管理システム１２は、単体のコンピュータとして実現されるほか、相互に別体に構成された複数のコンピュータを含むシステムとしても実現され得る。

制御装置６２は、例えばＣＰＵを含む処理回路であり、管理システム１２の各要素を統括的に制御する。通信装置６６は、通信網１８を介して各端末装置１４と通信する。記憶装置６４は、例えば磁気記録媒体や半導体記録媒体等の公知の記録媒体で構成され、制御装置６２が実行するプログラムや制御装置６２が使用する各種のデータを記憶する。

第１実施形態の記憶装置６４は、編集データＥのテンプレートとして利用される複数の素材データＭを記憶する。任意の１個の素材データＭは、背景画像ＭAと楽曲の演奏音ＭBとを表す。背景画像ＭAは、図２から理解される通り、編集データＥが表す編集動画ＥAにおいて各収録データＲの動画ＲAの背景に配置される画像（フレーム画像）である。複数の素材データＭのうち利用者ＵA1が指定した１個の素材データＭが編集データＥの生成に適用される。

管理システム１２の制御装置６２は、記憶装置６４に記憶されたプログラムを実行することで、編集データＥの生成や提供のための複数の機能（通信制御部７２，編集処理部７４）を実現する。なお、制御装置６２の一部の機能を専用の電子回路で実現した構成や、制御装置６２の機能を複数の装置に分散した構成も採用され得る。

通信制御部７２は、通信装置６６を介した各端末装置１４とのデータの授受を制御する。具体的には、通信制御部７２は、利用者ＵAの各端末装置１４から通信装置６６が受信した収録データＲを順次に取得して記憶装置６４に格納する。また、通信制御部７２は、複数の収録データＲから生成された編集データＥを利用者ＵTの端末装置１４に送信する。

図５の編集処理部７４は、通信制御部７２が各利用者ＵAの端末装置１４から取得した複数の収録データＲを使用して編集データＥを生成する。図６は、第１実施形態の編集処理部７４が複数の収録データＲから編集データＥを生成する処理（以下「編集処理」という）ＳEのフローチャートである。通信制御部７２が利用者ＵAの端末装置１４から収録データＲを取得するたびに、その時点で収録済の複数の収録データＲを使用した編集処理ＳEが実行される。

編集処理ＳEを開始すると、編集処理部７４は、記憶装置６４に記憶された複数の収録データＲについて音声ＲBの特性を調整する処理（以下「音響調整」という）を実行する（ＳE1）。例えば、編集処理部７４は、複数の収録データＲにおける音声ＲBを均一な音量に調整する。複数の収録データＲの音声ＲBを単純に混合すると音量が過大となり得るから、音響調整ＳE1において各音声ＲBの音量を低減することも可能である。各収録データＲの音声ＲBについて音量以外の特性（例えば周波数特性等）を編集処理部７４が調整する構成も採用され得る。なお、収録済の収録データＲが１個である場合、当該収録データＲの音声ＲBについて音量等の特性を調整する音響調整ＳE1が実行される。

編集処理部７４は、記憶装置６４に記憶された複数の収録データＲについて動画ＲAを調整する処理（以下「画像調整」という）を実行する（ＳE2）。例えば、編集処理部７４は、複数の収録データＲにおける動画ＲAを均一な明度や色調に調整する。なお、画像調整ＳE2の対象となる特性は明度や色調に限定されない。例えば、動画ＲAの拡大／縮小やトリミング等により、撮影範囲に対する被写体のサイズ（すなわち構図）を複数の収録データＲの動画ＲAについて調整することも可能である。また、収録済の収録データＲが１個である場合、当該収録データＲの動画ＲAについて特性を調整する画像調整ＳE2が実行される。なお、画像調整ＳE2の実行後に音響調整ＳE1を実行することも可能である。

編集処理部７４は、音響調整ＳE1および画像調整ＳE2の実行後の複数の収録データＲと利用者ＵA1が選択した素材データＭとを利用して編集データＥを生成する（ＳE3）。具体的には、編集処理部７４は、素材データＭが表す背景画像ＭAに各収録データＲの動画ＲAを配置することで編集データＥの編集動画ＥAを生成する。また、編集処理部７４は、素材データＭが表す演奏音ＭBと各収録データＲの音声ＲBとを混合することで編集データＥの編集音声ＥBを生成する。以上の手順で生成された編集データＥが記憶装置６４に記憶されて利用者ＵTの端末装置１４に送信される。

図７は、第１実施形態の編集システム１００の全体的な動作（編集データ生成方法）のフローチャートである。利用者ＵTに対する編集データＥの提供を希望する利用者ＵA1が端末装置１４（第１端末装置の例示）に所定の操作を付与すると、端末装置１４の制御装置２２（再生制御部４４）は、図８の設定画面ＧSを表示装置３４２に表示させる（ＳA1）。設定画面ＧSは、編集データＥのタイトルと、収録期限τと、編集データＥの作成者（ＵA2〜ＵA4）と、編集データＥの提供先（利用者ＵT）と、編集データＥの生成に使用する素材データＭとを、利用者ＵA1が指定するための画面である。利用者ＵA1は、入力装置２８を適宜に操作することで、設定画面ＧSに表示された各項目を任意に指定する。収録期限τは、編集データＥの作成に参加する利用者ＵAの端末装置１４が収録データＲを収録する期限である。素材データＭ（背景画像ＭAと演奏音ＭBとの組合せ）は、管理システム１２の記憶装置６４に記憶された複数の候補から選択される。なお、背景画像ＭAと演奏音ＭBとを利用者ＵA1が個別に指定できる構成も好適である。

また、設定画面ＧSにおける作成者および提供先の指定には、例えば既存のＳＮＳ（Social Networking Service）に登録された利用者間の相関関係（ソーシャルグラフ）を利用することが可能である。具体的には、利用者ＵA1は、自身が利用するＳＮＳの相関関係（友達関係，交流関係）の範囲内で作成者および提供先となる利用者Ｕを指定する。編集データＥの作成に参加する利用者ＵAの総数（発起人である利用者ＵA1を含む人数）は、所定値を下回る範囲内で可変に設定される。また、第１実施形態では、１人の利用者ＵTを提供先として指定する場合を便宜的に例示するが、複数の利用者ＵTを編集データＥの提供先として指定することも可能である。

設定画面ＧSにて利用者ＵA1が項目毎に指定した内容を示す設定情報Ｑ1が端末装置１４の通信装置２６から管理システム１２に送信される（ＳA2）。管理システム１２の制御装置６２（編集処理部７４）は、利用者ＵA1の端末装置１４から受信した設定情報Ｑ1を記憶装置６４に記憶するとともに暫定的な編集データＥを記憶装置６４に記憶する（ＳA3）。また、制御装置６２（通信制御部７２）は、編集データＥの作成に参加することを要求するメッセージを、設定情報Ｑ1で指定された各利用者ＵA（ＵA2〜ＵA4）の端末装置１４（第２端末装置の例示）に送信する（ＳA4）。設定画面ＧSにおいて利用者ＵA1が作成者として指定した利用者ＵA（ＵA2〜ＵA4）は、端末装置１４が管理システム１２から受信したメッセージにより、編集データＥの作成者として自分が指定されたことを認識する。

編集データＥの作成者となる各利用者ＵA（ＵA1〜ＵA4）は、任意の時点で入力装置２８を適宜に操作することで、収録データＲの生成の開始を自身の端末装置１４に指示することが可能である。利用者ＵAからの指示を契機として、以下の例示の通り、利用者ＵAの収録データＲを生成するための処理αが各利用者ＵAの端末装置１４にて順次に実行される。図７では、利用者ＵA1の端末装置１４のみについて処理αの詳細が図示されているが、利用者ＵA2〜ＵA4の各々の端末装置１４においても同様の処理αが順次に実行される。

収録データＲの生成が指示されると、端末装置１４の制御装置２２（通信制御部４２）は、他装置による収録済の収録データＲを要求する情報要求Ｑ2を管理システム１２に送信する（ＳB1）。通信装置６６が受信した情報要求Ｑ2を取得すると、管理システム１２の制御装置６２（通信制御部７２）は、要求元の端末装置１４に再生データＰを送信する（ＳB2）。再生データＰは、端末装置１４での収録処理に使用されるデータであり、他装置による収録済の収録データＲを包含する。例えば、編集処理ＳEのうち音響調整ＳE1および画像調整ＳE2の実行後の各収録データＲが再生データＰに内包される。なお、何れの端末装置１４においても収録データＲが収録されていない段階では、収録データＲは再生データＰに含まれない。

第１実施形態の再生データＰは、以上に例示した収録データＲのほかに、設定情報Ｑ1で指定された素材データＭの演奏音ＭBと、編集データＥを表象する識別用の画像（以下「識別画像」という）Ｄとを表すデータを包含する。端末装置１４の制御装置２２（通信制御部４２）は、管理システム１２から送信された再生データＰを通信装置２６から取得する。

制御装置２２（再生制御部４４）は、再生データＰが示す識別画像Ｄを表示装置３４２に表示させる（ＳB3）。識別画像Ｄは、図９に例示される通り、収録データＲの動画ＲAを構成する１個の画像ｒA（静止画）を生成済の各収録データＲについて配置した画像（すなわち、編集データＥを表象するアイコン）である。すなわち、収録データＲの収録済の各利用者ＵAの代表的な画像ｒAが、設定情報Ｑ1で指定された素材データＭが表す背景画像ＭAに配置される。したがって、利用者ＵAは、識別画像Ｄを視認することで現時点の編集データＥの概略を把握することが可能である。なお、各端末装置１４において識別画像Ｄを生成することも可能である。

識別画像Ｄを確認した利用者ＵAが入力装置２８に所定の操作を付与すると、収録処理ＳRが開始される。図１０は、収録処理ＳRのフローチャートである。収録処理ＳRを開始すると、制御装置２２（再生制御部４４）は、第１領域ＧR1と第２領域ＧR2とを含む図４の収録画面ＧRを表示装置３４２に表示させる（ＳR1）。前述の通り、収録装置３２が現時点で収録している利用者ＵA自身の動画Ｌが収録画面ＧRの第１領域ＧR1に実時間的に表示される。他方、収録画面ＧRの第２領域ＧR2には、管理システム１２から受信した収録済の各収録データＲの動画ＲAが表示される。また、制御装置２２（再生制御部４４）は、収録済の各収録データＲの音声ＲBと、再生データＰ内の素材データＭが表す対象楽曲の演奏音ＭBとの混合音を放音装置３４４に放音させる（ＳR2）。端末装置１４の利用者ＵAは、第１領域ＧR1に表示される自身の現在の動画Ｌと第２領域ＧR2に表示される収録済の他の利用者ＵAの動画ＲAとを視認し、他の利用者ＵAが対象楽曲を歌唱する音声ＲBと対象楽曲の演奏音ＭBとを聴取しながら対象楽曲を歌唱する。制御装置２２（収録処理部４６）は、収録装置３２が収録した動画ＲAおよび音声ＲBを表す収録データＲを生成する（ＳR3）。なお、利用者ＵAは、収録処理ＳRで生成された収録データＲを再生装置３４により再生し、その視聴の結果に応じて収録処理ＳRを再実行する（すなわち、自身の動画ＲAおよび音声ＲBを収録し直す）ことも可能である。

図１１は、端末装置１４の表示装置３４２に表示される識別画像Ｄおよび収録画面ＧRの遷移の説明図である。利用者ＵA1→利用者ＵA2→利用者ＵA3→利用者ＵA4の順番で収録処理ＳRが実行された場合が図１１では便宜的に例示されている。

利用者ＵA1の端末装置１４による収録処理ＳRの時点では、何れの端末装置１４においても収録データＲは収録されていない。したがって、素材データＭが表す背景画像ＭAが、識別画像Ｄとして利用者ＵA1の端末装置１４の表示装置３４２に表示される。また、利用者ＵA1の端末装置１４による収録処理ＳRの実行中には、他装置により収録された動画ＲAは表示されない。すなわち、自装置の収録装置３２が収録している利用者ＵA1自身の動画Ｌが第１領域ＧR1に表示される。放音装置３４４からは、素材データＭが表す演奏音ＭBが放音される。

他方、利用者ＵA2の端末装置１４による収録処理ＳRの時点では、利用者ＵA1の端末装置１４により利用者ＵA1の収録データＲが生成されている。したがって、図１１に例示される通り、利用者ＵA1の画像ｒAを背景画像ＭAに配置した識別画像Ｄが利用者ＵA2の端末装置１４の表示装置３４２に表示される。また、利用者ＵA2の端末装置１４による収録処理ＳRの実行中には、自装置の収録装置３２が収録する利用者ＵA2自身の動画Ｌが第１領域ＧR1に表示されるとともに、収録済の利用者ＵA1の動画ＲAが第２領域ＧR2に表示される。放音装置３４４からは、素材データＭが表す演奏音ＭBと、収録済の利用者ＵA1の音声ＲBとの混合音が放音される。

利用者ＵA3の端末装置１４による収録処理ＳRの時点では、利用者ＵA1および利用者ＵA2の各々の端末装置１４により収録データＲが生成されている。したがって、図１１に例示される通り、利用者ＵA1および利用者ＵA2の画像ｒAを背景画像ＭAに配置した識別画像Ｄが利用者ＵA3の端末装置１４の表示装置３４２に表示される。また、利用者ＵA3の端末装置１４による収録処理ＳRの実行中には、利用者ＵA3自身の動画Ｌが第１領域ＧR1に表示されるとともに、利用者ＵA1および利用者ＵA2の各々の動画ＲAが第２領域ＧR2に表示される。放音装置３４４からは、素材データＭが表す演奏音ＭBと、収録済の利用者ＵA1および利用者ＵA2の音声ＲBとの混合音が放音される。

利用者ＵA4の端末装置１４による収録処理ＳRの実行前には、図１１に例示される通り、利用者ＵA1〜ＵA3の３人の画像ｒAを含む識別画像Ｄが利用者ＵA4の端末装置１４の表示装置３４２に表示される。また、利用者ＵA4の端末装置１４による収録処理ＳRの実行中には、利用者ＵA4自身の動画Ｌと、利用者ＵA1〜ＵA3の各々の動画ＲAとが表示される。放音装置３４４からは、利用者ＵA1〜ＵA3の音声ＲBの混合音と演奏音ＭBとの混合音が放音される。

以上に例示した収録処理ＳRで収録データＲが生成されると、制御装置２２（通信制御部４２）は、図７に例示される通り、収録データＲを通信装置２６から管理システム１２に送信する（ＳB4）。編集データＥの生成に参加する複数の利用者ＵAの各々について以上の処理αが順次に反復されることで、相異なる利用者ＵAを収録した複数の収録データＲが管理システム１２に集約される。端末装置１４から送信された収録データＲを通信装置６６が受信すると、管理システム１２の制御装置６２（編集処理部７４）は、図６に例示した編集処理ＳEにより新規な編集データＥを生成する。

第１実施形態の編集処理部７４は、編集処理ＳEで生成される編集動画ＥAにおける各収録データＲの動画ＲAの配置パターンを、収録済の収録データＲの総数（すなわち収録処理ＳRを実行した利用者ＵAの総数）に応じて変更する。図１２は、収録データＲの総数に応じた編集動画ＥAの説明図である。図１２に例示される通り、編集処理部７４は、収録データＲの総数が多いほど、編集動画ＥAにおける各収録データＲの動画ＲAの表示サイズを縮小する。また、背景画像ＭAに対する各動画ＲAの位置（すなわち複数の動画ＲAのレイアウト）も、収録済の収録データＲの総数に応じて変更される。以上の態様では、編集データＥにおける各収録データＲの動画ＲAの配置パターンが収録データＲの総数に応じて変更されるから、各収録データＲの動画ＲAが適切な配置パターンで配置された編集データＥを生成することが可能である。なお、各利用者ＵAからの指示に応じて編集動画ＥAに装飾用の画像を付加することも可能である。

管理システム１２による設定情報Ｑ1の受信後（ＳA2）、設定情報Ｑ1で指定された収録期限τが到来した場合、制御装置６２（通信制御部７２）は、以下に例示される通り、その時点で記憶装置６４に格納されている編集データＥを利用者ＵTに提供する。なお、収録期限τの到来前に何れかの利用者ＵAから編集データＥの確定が指示された場合に、収録期限τの到来前でも編集データＥの提供を実行することも可能である。

第１実施形態では、利用者ＵTからの要求を契機として管理システム１２から端末装置１４に編集データＥを提供する場合を想定する。具体的には、管理システム１２の制御装置６２（通信制御部７２）は、利用者ＵTのための編集データＥが作成されたことを通知するメッセージを、設定画面ＧSで利用者ＵA1が指定した利用者ＵTの端末装置１４に対して通信装置６６から送信する（ＳC1）。管理システム１２からの通知を確認した利用者ＵTが端末装置１４に所定の操作を付与すると、端末装置１４から管理システム１２に情報要求Ｑ3が送信される（ＳC2）。情報要求Ｑ3を受信すると、管理システム１２の制御装置６２（通信制御部７２）は、要求元の端末装置１４に対して編集データＥを送信する（ＳC3）。利用者ＵTの端末装置１４は、管理システム１２から受信した編集データＥを再生する（ＳC4）。具体的には、編集データＥが示す編集動画ＥAの表示と編集音声ＥBの放音とが実行される。すなわち、利用者ＵA1〜ＵA4が共同で作成したコンテンツ（編集データＥ）を利用者ＵTが視聴する。なお、編集データＥの送信および再生の方式は任意である。例えば、管理システム１２からストリーミング方式で編集データＥを端末装置１４に送信して再生させる構成や、編集データＥを端末装置１４の記憶装置２４に記憶させたうえで再生させる構成が採用され得る。

編集動画ＥAおよび編集音声ＥBを視聴した利用者ＵTは、各利用者ＵAに対する応答（例えばお礼）の動画および音声を端末装置１４により収録する。利用者ＵTの端末装置１４が収録した動画および音声を表す応答用のデータは管理システム１２に送信され、各利用者ＵAからの要求に応じて当該利用者ＵAの端末装置１４に送信される。したがって、各利用者ＵAは、利用者ＵTからの応答の動画および音声を視聴することが可能である。

以上に説明した通り、第１実施形態では、他装置による収録済の動画ＲAと自装置の収録装置３２が収録している動画Ｌとが表示装置３４２に表示されるから、各利用者ＵAは、他の利用者ＵAの様子を確認しながら自身の動画や音声を収録できる。したがって、複数の利用者の動作が相互に調和した動画ＲAを含む好適な編集データＥを生成することが可能である。第１実施形態では特に、収録済の複数の収録データＲの各々の動画ＲAが、収録装置３２による収録中の動画Ｌとともに表示装置３４２に表示される。したがって、複数の利用者ＵAの動作が相互に調和した動画を含む好適な編集データＥを生成できるという効果は各別に顕著である。

また、第１実施形態では、複数の収録データＲが表す動画ＲAを画像調整ＳE2の実行後に配置した編集動画ＥAと、複数の収録データＲが表す音声ＲBを音響調整ＳE1の実行後に混合した編集音声ＥBとが編集処理ＳEにて生成される。したがって、例えば利用者ＵA毎の動画や音声の相違を低減した統一感のある編集データＥを生成できるという利点がある。

第１実施形態では、特定の利用者ＵA1とその利用者ＵA1が指定した他の利用者ＵA2〜ＵA4とを含む複数の利用者ＵAの収録データＲから編集データＥが生成され、利用者ＵA1が指定した所望の利用者（対象者）ＵTに編集データＥが提供される。したがって、利用者ＵA1を発起人として複数の利用者ＵAにより共同で作成された編集データＥを所望の利用者ＵTに提供することが可能である。

＜第２実施形態＞
本発明の第２実施形態について説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

図１３は、第２実施形態における収録処理ＳRのフローチャートである。図１３に例示される通り、各利用者ＵAの端末装置１４の制御装置２２（収録処理部４６）は、第１実施形態と同様の手順（ＳR1〜ＳR3）で収録データＲを生成すると、収録装置３２が収録した動画および音声を表す個別データＸを生成する（ＳR4）。収録データＲが他の収録データＲとともに編集データＥの生成に使用されるのに対し、個別データＸは、編集データＥの提供先である利用者ＵTに対する利用者ＵAからの個人的なメッセージである。各利用者ＵAの個別データＸは、収録データＲと同様に端末装置１４から管理システム１２に送信される（ＳB4）。管理システム１２の制御装置６２（通信制御部７２）は、通信装置６６が端末装置１４から受信した収録データＲおよび個別データＸを記憶装置６４に格納する。なお、収録データＲの生成（ＳR1〜ＳR3）前に個別データＸを収録することも可能である。

各利用者ＵAの個別データＸは、編集データＥとともに利用者ＵTの端末装置１４に送信される（ＳC3）。利用者ＵTの端末装置１４は、管理システム１２から受信した編集データＥと個別データＸとを順次に再生する（ＳC4）。例えば、複数の利用者ＵAが共同で作成した編集データＥの再生後に、複数の利用者ＵAの各々が作成した個別データＸが順次に再生される。なお、編集データＥの再生後に各利用者ＵAの個別データＸを管理システム１２から利用者ＵTの端末装置１４に送信することも可能である。

編集データＥは、その提供先の利用者ＵTが視聴できるほか、作成者である任意の利用者ＵAも利用者ＵTと同様に視聴することが可能である。他方、個別データＸは、その個別データＸを収録した利用者ＵA（すなわち収録者）本人と提供先の利用者ＵTとに限定して視聴が許可され、他の利用者ＵAの視聴は禁止される。すなわち、管理システム１２の通信制御部７２は、収録者本人または利用者ＵTの端末装置１４からの要求に対しては個別データＸを送信するが、他の利用者ＵAの端末装置１４からの要求に対しては個別データＸを送信しない。なお、個別データＸを収録した利用者ＵA本人の視聴を禁止することも可能である。

第１実施形態においても第２実施形態と同様の効果が実現される。第２実施形態では、利用者ＵTに限定して視聴が許可される個別データＸが生成されるから、他の利用者ＵAに知られることなく、利用者ＵAが利用者ＵTに対して個人的なメッセージを伝達することが可能である。

＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

（１）前述の各形態では、各収録データＲの音声ＲBの音量を調整する処理を音響調整ＳE1として例示したが、音響調整ＳE1の具体的な内容は以上の例示に限定されない。例えば、雑音抑圧や残響抑圧等の音響処理を音響調整ＳE1として実行することも可能である。収録データＲの各音声ＲBのうち、収録中に放音装置３４４から放音される演奏音ＭBや他の利用者ＵAの音声ＲBを音響調整ＳE1にて抑圧することも可能である。また、前述の各形態では、各収録データＲの動画ＲAの明度や色調を調整する処理を画像調整ＳE2として例示したが、画像調整ＳE2の具体的な内容は以上の例示に限定されない。例えば、露出補正や美肌補正等の各種の補正処理を画像調整ＳE2として実行することも可能である。

複数の収録データＲに対する処理は、以上に例示した音響調整ＳE1や画像調整ＳE2に限定されない。例えば、複数の収録データＲを時間軸上で相互に同期させる同期処理を編集処理部７４が編集処理ＳEのなかで実行することも可能である。複数の収録データＲは、対象楽曲の演奏音ＭBの音響成分を共通に含有する。したがって、演奏音ＭBの音響成分の任意の時点が複数の収録データＲにわたり共通の時点となるように各収録データＲの時間軸上の位置を調整する同期処理により、複数の収録データＲを相互に同期させることが可能である。

（２）編集動画ＥAにおける各利用者ＵAの動画ＲAの配置パターンが経時的に変化するように編集処理部７４が編集データＥを生成することも可能である。例えば、編集動画ＥAにおける各動画ＲAの配置パターン（例えば動画ＲAの個数，位置，表示サイズ）が対象楽曲の再生の進行とともに変化するように、編集処理ＳEにより編集データＥが生成される。

（３）前述の各形態では、管理システム１２が編集処理ＳEを実行する構成を例示したが、編集処理ＳEの一部または全部を端末装置１４にて実行することも可能である。例えば、音響調整ＳE1または画像調整ＳE2（あるいは前述の同期処理）は、各端末装置１４による収録処理ＳRの実行後にその端末装置１４において実行され得る。

（４）前述の各形態では、端末装置１４とは別体の管理システム１２を例示したが、管理システム１２の機能を端末装置１４に搭載する（すなわち、端末装置１４を管理システム１２として利用する）ことも可能である。例えば、利用者ＵA1の端末装置１４が、他の利用者ＵAの端末装置１４から収録データＲを取得し、編集処理ＳEにより編集データＥを生成して利用者ＵTの端末装置１４に送信することも可能である。

（５）前述の各形態では、編集データＥの作成者である各利用者ＵAの音声ＲBを収録したが、収録データＲが表す音の種類は、利用者ＵAが発音する音声ＲBに限定されない。例えば、例えば利用者ＵAが演奏する楽器の演奏音（楽音）を収録して収録データＲを生成することも可能である。

（６）前述の各形態で例示した端末装置１４は、前述の通り制御装置２２とプログラムとの協働で実現される。プログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の半導体記録媒体が好適であるが、光学式記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、以上に例示したプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。

（７）本発明は、前述の各形態に係る編集システム１００の動作方法（編集データ生成方法）としても特定され得る。具体的には、本発明の好適な態様に係る編集データ生成方法においては、複数の端末装置１４の各々が、他装置で収録された動画および音を表す収録データＲを取得し（ＳB2）、自装置の収録装置３２が収録した動画Ｌと、当該取得した収録データＲの動画ＲAとを表示装置３４２に表示させ（ＳR1）、収録装置３２が収録した動画および音を表す収録データを生成する一方（ＳR3）、管理システム１２が、複数の端末装置１４の各々が生成した収録データＲを取得し（ＳB4）、複数の収録データＲを使用して編集データＥを生成する（ＳE）。

１００…編集システム、１２…管理システム、１４…端末装置、１８…通信網、２２，６２…制御装置、２４，６４…記憶装置、２６，６６…通信装置、２８…入力装置、３２…収録装置、３２２…撮影装置、３２４…収音装置、３４…再生装置、３４２…表示装置、３４４…放音装置、４２…通信制御部、４４…再生制御部、４６…収録処理部、７２…通信制御部、７４…編集処理部。

Claims (8)

1. 動画および音を表す複数の収録データを使用した編集データの生成のために収録データを生成可能な端末装置であって、
   他装置で収録された動画および音を表す収録データを取得する収録データ取得部と、
   自装置の収録装置が収録している動画と、前記収録データ取得部が取得した収録データの動画とを表示装置に表示させる再生制御部と、
   前記収録装置が収録した動画および音を表す収録データを生成する収録処理部と
   を具備する端末装置。
2. 前記再生制御部は、前記収録装置による収録前に他装置が生成した複数の収録データの各々の動画と、前記収録装置が収録している動画とを、前記表示装置に表示させる
   請求項１の端末装置。
3. 前記再生制御部は、前記収録データ取得部が取得した収録データの動画と比較して大きい表示サイズで、前記収録装置が収録している動画を表示する
   請求項１または請求項２の端末装置。
4. 前記収録処理部は、特定の利用者に提供される前記編集データの生成に使用される前記収録データと、前記収録装置が収録した動画および音を表すデータであって前記特定の利用者が視聴可能な個別データとを生成する
   請求項１から請求項３の何れかの端末装置。
5. 複数の端末装置の各々が、
   他装置で収録された動画および音を表す収録データを取得し、
   自装置の収録装置が収録している動画と、前記取得した収録データの動画とを表示装置に表示させ、
   前記収録装置が収録した動画および音を表す収録データを生成する一方、
   管理システムが、
   前記複数の端末装置の各々が生成した収録データを取得し、
   前記複数の収録データを使用して編集データを生成する
   編集データ生成方法。
6. 前記管理システムは、前記収録データの総数に応じて、前記編集データにおける各収録データの動画の配置パターンを変更する
   請求項５の編集データ生成方法。
7. 前記管理システムは、前記複数の収録データの各々が表す動画を画像調整後に配置した編集動画と、前記複数の収録データの各々が表す音を音響調整後に混合した編集音声とを表す編集データを生成する
   請求項５または請求項６の編集データ生成方法。
8. 前記管理システムは、
   第１端末装置と、前記第１端末装置の利用者が指定した複数の利用者の第２端末装置とを含む前記複数の端末装置の各々が生成した収録データを取得し、
   前記第１端末装置の利用者が指定した提供先に前記編集データを提供する
   請求項５から請求項７の何れかの編集データ生成方法。
   

Images