JP2022127469A - 映像編集装置、映像編集方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】素材映像をユーザが編集して独自の映像作品を作成することが可能な映像編集装置を提供する。【解決手段】映像編集装置１０は、所定の第１編集基準に基づく映像作品から除外された未編集状態の複数の素材映像を格納する映像格納部１１０と、ユーザ端末から第１編集基準とは異なる第２編集基準を取得する入力部１１７と、映像格納部１１０に格納された複数の素材映像の中から第２編集基準に合致する映像を抽出して第２編集映像を作成する映像編集部１１４と、第２編集映像をユーザ端末へ出力する出力部１１８とを備える。【選択図】図２

Description

本発明は、商用の映像作品の作成に用いられた複数の映像を編集して別の映像を作成するための映像編集装置に関する。

コンサートのようなイベントを映像作品として商品化する場合、複数台、例えば３０台程度のビデオカメラにより様々なアングルから撮影された映像を編集して一本の映像作品とすることが多い。編集前の映像を「素材映像」と呼ぶ。映像作品は、記録媒体に記録されて販売あるいは配信される。商用の映像作品は、複数のビデオカメラから得られる複数の素材映像は、特定の編集基準、例えば特定目的に適合するプロフェッショナルな基準に基づいて一つの映像に選別・編集されて作成されるのが通常である。また、撮影前に所定のシナリオを作成し、このシナリオに基づいて自動的に素材映像を編集する装置もある。特許文献１には、シナリオに基づいて撮影素材を編集することで映像作品を作成する技術が開示されている。

特開２００２－０１６８７１号公報

複数のビデオカメラから得られた複数の素材映像は、映像作品となる映像以外の部分が使用されない。映像作品に使用されない素材映像は日の目を見ることが無く、通常はそのまま死蔵される。しかし、ユーザにとっては素材映像の映像作品に含まれない部分に自身が欲する映像が含まれる場合がある。素材映像の映像作品に含まれない部分をユーザに開放するサービスは、現状提供されていない。

本発明は、上述の問題に鑑み、素材映像をユーザが編集して独自の映像作品を作成することが可能な映像編集装置を提供することを目的とする。

本発明の映像編集装置は、所定の第１編集基準に基づく第１編集映像から除外された未編集状態の複数の素材映像を格納する映像格納手段と、ユーザ端末から前記第１編集基準とは異なる第２編集基準を取得する取得手段と、前記映像格納手段に格納された前記複数の素材映像の中から前記第２編集基準に合致する映像を抽出して第２編集映像を作成する編集手段と、前記第２編集映像を前記ユーザ端末へ出力する出力手段と、を備えることを特徴とする。

本発明によれば、第１編集基準の下では使用されなかった素材映像をユーザが第２編集基準の下で編集して独自の映像作品を作成することが可能となる。

映像編集システムの構成説明図。 映像編集装置の機能ブロック図。 映像データ取得の説明図。 （ａ）～（ｄ）は、データ構成の例示図。 ユーザ端末の機能ブロック図。 選択画面の例示図。 操作画面の例示図。 タグ付けの説明図。 （ａ）、（ｂ）は、シーン抽出の説明図。 編集映像の説明図。 映像編集シーケンスのシーケンス図。 ホーム画面の例示図。 表示画面の例示図。 （ａ）、（ｂ）は、変形例の映像編集装置の構成説明図。

以下に、本発明の実施形態について図面を用いて説明する。
（全体構成）
図１は、本発明を適用した、映像編集装置を含む映像編集システムの構成説明図である。この映像編集システム１は、映像編集装置１０とユーザ端末２０とがネットワークＮを介して通信可能に構成される。映像編集装置１０は、複数の映像データを格納したサーバである。ユーザ端末２０は、パーソナルコンピュータ、スマートフォン、タブレット端末等、ユーザが自己の管理下で操作可能な情報処理端末である。ユーザ端末２０は、図１では二台示しているが、台数は任意であり、一台であっても良く、あるいは三台以上であってもよい。

映像編集装置１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ストレージ１０４を含むコンピュータ部品と、通信インタフェース（Ｉ／Ｆ）１０５とを備える。コンピュータ部品と通信Ｉ／Ｆ１０５は、バス１０６を介して通信可能に接続される。ＣＰＵ１０１は、ＲＯＭ１０２に格納されたコンピュータプログラムを実行することで映像編集装置１０の動作を制御する。ＲＡＭ１０３は、ＣＰＵ１０１が処理を実行する際の作業領域を提供する。

ストレージ１０４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の大容量記憶装置である。ストレージ１０４には、コンサート、演劇等のイベントの出演者（アーティスト）を撮影した素材映像を含む複数の映像データが格納される。ストレージ１０４には、また、複数の映像データが得られたイベントで集音された音声を含む音声データも格納される。通信インタフェース１０５は、ネットワークＮの通信プロトコルに応じた通信をユーザ端末２０との間で行う。

ユーザ端末２０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、通信インタフェース（Ｉ／Ｆ）２０４、操作部２０５、ディスプレイ２０６、及びスピーカ２０７を備える。各部は、バス２０８を介して通信可能に接続される。ＣＰＵ２０１は、ＲＯＭ２０２に格納されたコンピュータプログラムを実行することにより、ユーザ端末２０の動作を制御する。ＲＡＭ２０３は、ＣＰＵ２０１が処理を実行する際の作業領域を提供する。

操作部２０５は、入力インタフェースであり、後述するユーザからの様々な操作入力を受け付ける。受け付ける操作入力は、例えば映像編集装置１０に格納される複数の映像データを編集するための指示、その他の情報処理の指示である。操作部２０５を通じて入力された指示はＣＰＵ２０１へ送信される。ＣＰＵ２０１は、操作部２０５から取得した指示に応じた情報処理を行う。ディスプレイ２０６は、ＣＰＵ２０１の制御により、ユーザによる指示の入力を行う際の入力画面や、映像編集装置１０から取得した映像を表示する。スピーカ２０７は、ＣＰＵ２０１の制御により、映像編集装置１０から取得した音声を出力する。通信インタフェース２０４は、ネットワークＮの通信プロトコルに応じた通信を映像編集装置１０との間で行う。

このような構成の映像編集システム１では、ユーザ端末２０が、操作部２０５から入力された指示の内容に応じて、ユーザの嗜好に基づく編集基準を含む編集指示を生成する。ユーザ端末２０は、生成した編集指示を、通信インタフェース２０４によりネットワークＮを介して映像編集装置１０へ送信する。

映像編集装置１０は、通信インタフェース１０５によりユーザ端末２０から送信された編集指示を取得する。映像編集装置１０は、取得した編集指示に基づいてストレージ１０４内の複数の映像データを編集して一つの編集映像を表す編集映像データを生成する。映像編集装置１０は、編集映像データ及び該編集映像データに同期した音声データを、通信インタフェース１０５によりネットワークＮを介してユーザ端末２０へ送信する。

ユーザ端末２０は、通信インタフェース２０４により映像編集装置１０から送信された編集映像データ及び音声データを取得する。ユーザ端末２０は、取得した編集映像データを処理して得られた編集映像をディスプレイ２０６に表示し、且つ取得した音声データを処理して得られた音声をスピーカ２０７から出力する。このようにしてユーザ端末２０のユーザは、自身の嗜好に合った映像及び音声を視聴することができる。

次に、映像編集装置１０及びユーザ端末２０について詳細に説明する。
（映像編集装置）
図２は、映像編集装置１０の機能ブロック図である。各機能ブロックは、ＣＰＵ１０１がコンピュータプログラムを実行することで実現されるほか、少なくとも一部がハードウェアにより実現されてもよい。映像編集装置１０は、映像格納部１１０、音声格納部１１１、登録情報格納部１１２、編集映像格納部１１３、映像編集部１１４、ユーザ管理部１１５、嗜好学習部１１６、入力部１１７、及び出力部１１８として機能する。つまり、コンピュータ部品をこのような機能ブロックとして動作させる。

映像格納部１１０、音声格納部１１１、登録情報格納部１１２、及び編集映像格納部１１３は、ＣＰＵ１０１及びストレージ１０４により実現される。映像編集部１１４、ユーザ管理部１１５、及び嗜好学習部１１６は、ＣＰＵ１０１により実現される。入力部１１７及び出力部１１８は、ＣＰＵ１０１及び通信インタフェース１０５により実現される。

映像格納部１１０は、複数の映像データを格納する。複数の映像データは、一つのイベント会場に設置された複数のビデオカメラにより撮影された素材映像を含む。これらの素材映像は、イベントに関する商用の映像作品を作成（編集）する際に用いられた素材映像であるが、クリエータが、プロフェッショナルな編集基準に基づいて編集された編集映像（第１編集映像）から除外された未編集状態の素材映像である。このような未編集の素材映像は、従来は映像作品の作成後に廃棄されるのが一般的であった。

図３は、映像データ取得の説明図である。図３はコンサート会場で用いられる複数の撮影装置（ビデオカメラＣ１～Ｃ２５）の配置例を示す。各ビデオカメラＣ１～Ｃ２５は、ステージ３００上を様々なアングルから撮影するように配置されている。本例の場合、ビデオカメラＣ１～Ｃ１６は、客席からステージ３００を撮影する。ビデオカメラＣ１７～Ｃ１９は、ステージ３００上で使用される。ビデオカメラＣ２０～Ｃ２２は、クレーン等の特別機材に設置されてステージ３００を撮影する。ビデオカメラＣ２３はステージ３００を中央から撮影し、ビデオカメラＣ２４はステージ３００を右側から撮影し、ビデオカメラＣ２５はステージ３００を左側から撮影する。

各ビデオカメラＣ１～Ｃ２５には、それぞれ役割が与えられている。本例では、ビデオカメラＣ１、Ｃ３、Ｃ５、Ｃ７、Ｃ９は、それぞれ特定の出演者の顔のアップを撮影する。ビデオカメラＣ２、Ｃ４、Ｃ６、Ｃ８、Ｃ１０は、それぞれ特定の出演者の全身を撮影する。ビデオカメラＣ１１～Ｃ１３は、全出演者を撮影する。ビデオカメラＣ１４～Ｃ１６は、メインで歌っている出演者を撮影する。ビデオカメラＣ１７、Ｃ１８は、ステージ３００で近距離から他の出演者（メンバー）を撮影する。ビデオカメラＣ１９は、演奏者を撮影する。また、ビデオカメラＣ１～Ｃ２５の他に、楽屋でメンバーを撮影するためのビデオカメラが用いられてもよい。

各ビデオカメラＣ１～Ｃ２５で撮影された映像は、素材映像としてクリエータにより映像作品の作成に用いられた後に、ストレージ１０４の映像格納部１１０に格納される。なお、ビデオカメラＣ１～Ｃ２５の撮影と同時に、コンサート会場（イベント会場）では、集音装置により音声が録音される。録音された音声を含む音声データは、音声格納部１１１に格納される。

登録情報格納部１１２は、ユーザ端末２０により映像格納部１１０に格納された素材映像の編集の指示を行うユーザの登録情報を含む登録データを格納する。編集映像格納部１１３は、ユーザの指示により編集作成された編集映像を含む編集映像データを格納する。

図４は、映像格納部１１０、音声格納部１１１、登録情報格納部１１２、及び編集映像格納部１１３に格納される各データのデータ構成の例示図である。図４（ａ）は、映像格納部１１０に格納される映像データの構成例示図である。図４（ｂ）は、音声格納部１１１に格納される音声データの構成例示図である。図４（ｃ）は、登録情報格納部１１２に格納される登録データの構成例示図である。図４（ａ）は、編集映像格納部１１３に格納される編集映像データの構成例示図である。

図４（ａ）の映像データは、素材映像に、その素材映像が撮影されたイベントを識別するイベントＩＤ及び該素材映像を撮影したビデオカメラを識別するカメラＩＤが付与された構造のものである。素材映像は、イベントＩＤ及びカメラＩＤにより、どのイベントのどのビデオカメラで撮影された映像であるかを特定することができる。

コンサートを撮影した素材映像の多くは、再生時間が２時間程度である。素材映像に映る出演者は、シーンに応じて変化する。そのために素材映像には、シーン毎に映っている出演者及びその表情がわかるようにタグ付けされる。その際、一画面に映る出演者が複数であれば、できるだけ中央に位置し且つ大きく映る出演者がわかるようなタグ付けや、全ての出演者がわかるようなタグ付けが行われる。素材映像には、このようなタグや再生時間がメタデータとして付加されている。

図４（ｂ）の音声データは、音声に、その音声が録音されたイベントを識別するイベントＩＤが付与された構造のものである。映像データと音声データとはイベントＩＤにより紐付けされる。再生時には、映像と音声が同期して再生される。そのための同期信号が映像データと音声データに含まれる。

図４（ｃ）の登録データは、ユーザの個人情報（登録情報）に、ユーザを識別するユーザＩＤ及びそのユーザが作成した編集映像を識別する編集映像ＩＤが付与された構造のものである。登録データには、そのユーザの嗜好を表す後述の嗜好データが付加される。ユーザの個人情報は、ユーザがユーザ端末２０の操作部２０５から入力する。

映像編集装置１０は、ユーザ管理部１１５により登録情報格納部１１２を管理する。ユーザ管理部１１５は、ユーザ端末２０から取得したユーザの個人情報にユーザＩＤを付与して登録データを作成し、登録情報格納部１１２に格納する。個人情報は、ユーザの名前や連絡先、ログイン時のパスワード等である。編集映像ＩＤは、該ユーザが素材映像を独自に編集して編集映像を作成した際に、該編集映像を識別するために付与される。編集映像ＩＤは、ユーザが編集映像を作成するたびに登録データに追加される。

図４（ｄ）の編集映像データは、ユーザが作成した編集映像に編集映像ＩＤが付与された構造のものである。映像編集部１１４は、編集映像に編集映像ＩＤを付与して作成した編集映像データを編集映像格納部１１３に格納する。ユーザ管理部１１５は、編集映像に編集映像ＩＤが付与されると、該編集映像を作成したユーザの登録データに該編集映像ＩＤを追加する。編集映像ＩＤにより、登録データと編集映像が紐付けられる。編集映像は、映像が再生可能であればよく、映像そのものの他に、例えば編集映像に使用された素材映像のシーンを指示する情報を組み合わせて構成されていてもよい。例えば、編集映像は、再生時間が０秒～５秒は第１の素材映像のシーンを指示し、再生時間が５秒～８秒は第２の素材映像のシーンを指示し、…といったように、再生時間と使用する素材映像のシーンが明確になるような情報の組み合わせであってもよい。

映像編集部１１４は、映像格納部１１０に格納された複数の素材映像をユーザ端末２０から取得する編集指示に含まれる編集基準（第２編集基準）に基づいて編集し、ユーザの嗜好に合った編集映像を作成する。映像編集部１１４は、編集映像の作成前に素材映像を解析し、例えば顔認証技術により、シーン毎の映像内の出演者を特定する。映像編集部１１４は、特定した出演者がわかるように、上記の通り素材映像にタグ付けを行う。

映像編集部１１４は、編集基準と各素材映像に付加されたタグにより、編集基準に合致する映像を判定して複数の素材映像から抽出する。映像編集部１１４は、抽出した映像を組み合わせることで、一つの編集映像を作成する。映像編集部１１４は、例えば編集基準との合致度を各素材映像のシーン毎に算出する。映像編集部１１４は、シーン毎に合致度が最も高い素材映像を抽出して編集映像を作成する。その際、映像編集部１１４は、該ユーザの嗜好データがあれば、嗜好データと編集基準を用いて合致度を算出してもよい。嗜好データを加味することで、よりユーザの嗜好に合致した編集映像が自動的に得られる。
編集映像は、ユーザ端末２０へ送信されるとともに、編集映像ＩＤを付与されて編集映像格納部１１３へ格納される。

嗜好学習部１１６は、編集基準及び編集映像を教師データとしてユーザの嗜好を学習する。嗜好学習部１１６は、ユーザ端末２０から取得した編集基準と、該編集基準基づいて作成された編集映像とを取得する。嗜好学習部１１６は、取得した編集基準と編集映像により機械学習を行い、該ユーザの嗜好データを作成する。嗜好データは、ユーザ管理部１１５により当該ユーザの登録データに付加される。嗜好学習部１１６は、ユーザが編集映像の作成を指示するたびに機械学習を行い、嗜好データを更新する。そのため、ユーザが編集映像を多数作成することで、よりユーザの嗜好に合った編集映像が作成される。

入力部１１７は、ユーザ端末２０から送信される編集指示等の指示を取得する。出力部１１８は、編集映像を表す編集映像データと該編集映像に対応する音声データをユーザ端末２０へ送信する。

（ユーザ端末）
次に、ユーザ端末２０の構成例を説明する。図５は、ユーザ端末２０の機能ブロック図である。各機能は、ＣＰＵ２０１がコンピュータプログラムを実行することで実現されるほか、少なくとも一部がハードウェアにより実現されてもよい。本実施形態では、ユーザ端末２０に映像編集装置１０を用いて編集映像を作成するためのアプリケーションソフトウェアをインストールして実行することで、各機能が実現される例を説明する。

ユーザ端末２０は、入力部２１０、出力部２１１、出力制御部２１２、送信データ生成部２１３、及び通信制御部２１４として機能する。つまり、このような機能ブロックとして動作する。入力部２１０は、ＣＰＵ２０１及び操作部２０５により実現される。出力部２１１は、ＣＰＵ２０１、ディスプレイ２０６、及びスピーカ２０７により実現される。出力制御部２１２及び送信データ生成部２１３は、ＣＰＵ２０１により実現される。通信制御部２１４は、ＣＰＵ２０１及び通信インタフェース２０４により実現される。

入力部２１０は、操作部２０５によりユーザが入力した指示等を受け付ける。出力部２１１は、出力制御部２１２の制御により、ディスプレイ２０６に画面を表示し、スピーカ２０７から音を出力する。送信データ生成部２１３は、入力部２１０で受け付けた指示等に基づいて、映像編集装置１０へ送信する送信データを生成する。

映像編集装置１０への送信データとして編集指示を生成する処理について説明する。この場合、出力制御部２１２は、映像編集装置１０を用いて編集映像を作成するための操作画面をディスプレイ２０６に表示させる。映像編集装置１０を用いて編集映像を作成するためのアプリケーションソフトウェアが実行されると、ディスプレイ２０６には、まず、どのイベントの素材映像を編集するかを選択する選択画面が表示される。図６は選択画面の例示図である。選択画面には、イベント名とイベントの開催日が表示される。ユーザは、操作部２０５により、選択画面から編集するイベントを選択する。

イベントが選択されると、ディスプレイ２０６には、編集基準を設定するための操作画面が表示される。図７は、この場合の操作画面の例示図である。操作画面は、メインビューワ７０１、メンバー選択ボタン７０２、パラメータ調整バー７０３、物販フィールド７０４、共有ボタン７０５、及び保存ボタン７０６を含む。メインビューワ７０１には、編集映像が表示される。メンバー選択ボタン７０２及びパラメータ調整バー７０３は、ユーザが所望の編集基準を入力するために用いられる。物販フィールド７０４は、選択画面で選択されたイベントの関連グッズを紹介するフィールドであり、関連グッズの販売サイトにリンクされている。

ユーザは、メンバー選択ボタン７０２により希望のメンバーを選択する。メンバー選択ボタン７０２により選択されるメンバーは、当該イベントの出演者である。ユーザは、パラメータ調整バー７０３により希望メンバーの映り具合（引き／寄せ）、他のメンバーの映り具合、おすすめの映像等を設定することができる。送信データ生成部２１３は、これらの設定を編集基準として編集指示を作成する。

通信制御部２１４は、映像編集装置１０との間で通信を行う。例えば通信制御部２１４は、映像編集装置１０へ編集指示を送信する。通信制御部２１４は、編集指示に基づいて編集された編集映像データ及び音声データを映像編集装置１０から取得して出力制御部２１２へ送信する。出力制御部２１２は、取得した編集映像データに基づく編集映像をメインビューワ７０１に表示し、取得した音声データに基づく音声をスピーカ２０７から出力する。これによりユーザは、自身の嗜好に合った編集映像を視聴することができる。

（映像編集）
以上のような映像編集システム１による映像編集の一例について説明する。上記の通り映像編集は映像編集部１１４により行われる。ここでは、編集基準として「メンバーＡ」の寄せ画像が設定された場合について説明する。

映像編集部１１４は、予め各メンバーの顔画像を学習しており、各素材映像から顔認証技術によりメンバーを抽出する。例えば、映像編集部１１４は、素材映像のシーン毎にメンバーを抽出する。映像編集部１１４は、例えば映像に含まれるメンバーが変化するたびにシーンが切り替わったと判断する。映像編集部１１４は、抽出したメンバーを素材映像の該シーンにタグ付けする。図８は、素材映像にメンバーのタグ付けを行った場合の説明図である。

図８の素材映像は、主にメンバーＡを撮影するビデオカメラで撮影された映像である。図８では、第１シーン（再生時間ｔ０～ｔ１）に、「メンバーＡ、Ｃ、Ｄ」がタグ付けされる。第２シーン（再生時間ｔ１～ｔ２）に、「メンバーＡ、Ｂ」がタグ付けされる。第３シーン（再生時間ｔ２～ｔ３）に、「メンバー全員」がタグ付けされる。第４シーン（再生時間ｔ３～ｔ４）に、「メンバーＡ」がタグ付けされる。第５シーン（再生時間ｔ５～）に、「メンバーＡ、Ｆ」がタグ付けされる。

すべての素材映像にタグ付けした映像編集部１１４は、編集基準に基づいて編集映像を編集する。編集基準としてメンバーＡが指定されている場合には、各素材映像からメンバーＡが含まれる映像（シーン）が抽出されて編集映像が作成される。図９は、シーン抽出の説明図である。図９（ａ）、図９（ｂ）は、同じタイミングで異なるビデオカメラにより撮影された映像である。いずれの映像にもメンバーＡ、Ｂ、Ｃの三人が含まれる。

この場合、図９（ａ）の映像ではメンバーＡが最も大きく映し出され、図９（ｂ）の映像ではメンバーＡが二番目に大きく映し出される。映像編集部１１４は、それぞれの映像に対して編集基準との合致度を算出する。編集基準が「メンバーＡ」の寄せ画像であるため、図９（ａ）の合致度が図９（ｂ）の合致度よりも高い値となる。そのために映像編集部１１４は、図９（ａ）の映像を含むシーンを抽出することになる。この際、映像編集部１１４は、ユーザの嗜好データを合致度の基準に付加してもよい。例えばユーザが映像の中心にメンバーＡが映されることを好む場合、映像中のメンバーＡの大きさの他に、メンバーＡの位置も合致度に含まれることになる。

映像編集部１１４は、このように各素材映像から抽出したシーンを組み合わせて編集映像を作成する。図１０は、シーンを組み合わせた編集映像の説明図である。図１０では、複数のビデオカメラから得られた複数の素材映像に対して映っているメンバーのタグ付けがシーン毎に行われており、映像編集部１１４は、タグにより編集基準に合致した編集映像を自動的に作成する。

映像編集部１１４は、編集基準が「メンバーＡ」である場合に、各素材映像から「メンバーＡ」のタグが付加されたシーンを取り込んで組み合わせ、編集映像を作成する。複数の素材映像で同じタイミングでメンバーＡがタグ付けされている場合、映像編集部１１４は、図９で説明したような合致度に応じて取り込むシーンを選択する。図１０の編集映像は、各素材映像から網掛けで示されるシーンが選択されて構成される。従来のプロフェッショナルな編集基準では各メンバーに偏りなくシーンが選択されて映像作品が完成する。これに対して本実施形態のようにユーザの嗜好に基づく編集基準では、メンバーに偏りのある編集映像が作成される。

（映像編集シーケンス）
以上のような構成の映像編集システム１による映像編集シーケンスについて説明する。図１１は、映像編集シーケンスのシーケンス図である。前提として、ユーザはユーザ登録されており、複数の素材映像は映像格納部１１０に格納されている。

ユーザは、ユーザ端末２０により、映像編集装置１０を用いて編集映像を作成するためのアプリケーションソフトウェアを起動する（Ｓ１０１）。アプリケーションソフトウェアの起動により、ユーザ端末２０のディスプレイ２０６には、ホーム画面が表示される（Ｓ１０２）。図１２は、ホーム画面の例示図である。ホーム画面は、「ログインＩＤ」フィールド１２０１、「パスワード」フィールド１２０２、「映像編集」ボタン１２０３、及び「視聴」ボタン１２０４を含む。ユーザは、操作部２０５により「ログインＩＤ」フィールド１２０１にログインＩＤを入力し、「パスワード」フィールド１２０２にパスワードを入力する。その後、ユーザは、操作部２０５により「映像編集」ボタン１２０３と「視聴」ボタン１２０４のいずれかを選択する。映像編集を行う場合、ユーザは「映像編集」ボタン１２０３を選択する。

ユーザが操作部２０５によりホーム画面から「映像編集」ボタン１２０３を選択することで、ディスプレイ２０６に図６の選択画面が表示される（Ｓ１０３）。この際、ユーザ端末２０は、映像編集装置１０から映像格納部１１０に格納された素材映像のイベント名及び開催日の一覧を要求する。映像編集装置１０は、この要求に応じてイベント名及び開催日一覧をユーザ端末２０へ送信する（Ｓ２０１）。これによりユーザ端末２０は、イベント名及び開催日一覧を取得する。ユーザは、操作部２０５により選択画面から編集を行うイベントを選択する。ユーザが操作部２０５により選択画面から編集対象のイベントを選択することで、ディスプレイ２０６に図７の操作画面が表示される（Ｓ１０４）。

ユーザは、操作部２０５により操作画面から所望の編集条件を選択する。図７の例では、ユーザは、メンバー選択ボタン７０２及びパラメータ調整バー７０３により、希望のメンバー及び希望メンバーの映り具合等を設定する。送信データ生成部２１３は、これらの設定を編集基準として編集指示を作成する。送信データ生成部２１３は、選択された条件に基づく編集基準を含んだ編集指示を生成する（Ｓ１０５）。編集指示には、ホーム画面で入力されたユーザのユーザＩＤ及びパスワードも含まれる。ユーザ端末２０は、送信データ生成部２１３で生成した編集指示を、通信制御部２１４によりネットワークＮを介して映像編集装置１０へ送信する（Ｓ１０６）。

映像編集装置１０は、入力部１１７によりユーザ端末２０から送信された編集指示を取得する（Ｓ２０２）。映像編集装置１０は、ユーザ管理部１１５により登録データを参照し、編集指示に含まれるユーザＩＤ及びパスワードによるユーザ認証を行う（Ｓ２０３）。以下の処理は、ユーザ認証が成功した場合に実行される。ユーザ認証が失敗した場合、映像編集装置１０は、ユーザＩＤ及びパスワードの再度の入力を促す通知をユーザ端末２０へ送信し、ユーザ認証を再度行う。

映像編集装置１０は、映像編集部１１４により編集指示に含まれる編集基準に基づいて上記のような素材映像の編集を行い、編集映像を作成する（Ｓ２０４）。映像編集装置１０は、編集映像を表す編集映像データ及び該当する音声の音声データを、出力部１１８によりネットワークＮを介してユーザ端末２０へ送信する（Ｓ２０５）。

また、映像編集部１１４は、作成した編集映像にユーザＩＤを付加して編集映像格納部１１３に格納する（Ｓ２０６）。映像編集装置１０は、嗜好学習部１１６により、今回の処理で取得した編集基準と作成した編集映像を学習して嗜好データを生成し、登録情報格納部１１２の該当する登録データに付加する。既に登録データに嗜好データが付加されている場合には、嗜好データを更新する（Ｓ２０７）。

ユーザ端末２０は、通信制御部２１４により映像編集装置１０から送信された編集映像データ及び音声データを取得する（Ｓ１０７）。ユーザ端末２０の出力制御部２１２は、編集映像データ及び音声データを出力可能な形式に変換し、出力部２１１により出力する（Ｓ１０８）。出力部２１１は、ディスプレイ２０６により編集映像を表示し、スピーカ２０７により音声を出力する。

編集映像は、図７の操作画面のメインビューワ７０１に表示されてもよいが、別の表示画面に表示されてもよい。図１３は、編集映像を表示する表示画面の例示図である。この表示画面は、Ｓ１０６の処理で編集指示がユーザ端末２０から映像編集装置１０へ送信された後に、図７の操作画面から切り替わって表示される。表示画面は、メインビューワ７０１、コメント欄１３０１、共有ボタン１３０２、及び保存ボタン１３０３を含む。編集映像は、メインビューワ７０１に表示される。

ユーザは、共有ボタン１３０２を押下することで、表示中の編集映像を他のユーザと共有することが可能となる。共有された場合、コメント欄１３０１には、自身と他のユーザのコメントが表示可能となる。ユーザは、保存ボタン１３０３を押下することで、表示中の編集映像をユーザ端末２０内に保存することができる。なお、映像編集装置１０がＳ２０６の処理で編集映像を格納するか否かは、保存ボタン１３０３の押下により決められてもよい。

図１３の表示画面は、図１２の「視聴」ボタン１２０４が選択された場合にも表示される。この場合、ユーザは、自身が作成した編集映像の他に、他のユーザが作成して共有に設定された編集映像を視聴することができる。

図１４は、変形例の映像編集装置の構成説明図である。図１４（ａ）は、映像編集装置３０のハードウェア構成を示し、図１４（ｂ）は、映像編集装置３０の機能ブロックを示す。映像編集装置３０は、図１の映像編集装置１０とユーザ端末２０を一体にした構成である。

映像編集装置３０は、図１の映像編集装置１０に操作部１０７、ディスプレイ１０８、及びスピーカ１０９を追加した構成である。操作部１０７は、図１のユーザ端末２０の操作部２０５と同様の機能を有する入力インタフェースである。ディスプレイ１０８は、図１のユーザ端末２０のディスプレイ２０６と同様の機能であるが、画面サイズ、画質等が向上した表示装置である。スピーカ１０９は、図１のユーザ端末２０のスピーカ２０７と同様の機能であるが、より高音質である。

映像編集装置３０は、図２の映像編集装置１０の機能ブロックと同様の構成であるが、入力部１１９及び出力部１２０の機能が異なる。すなわち、入力部１１９はネットワークＮを介すことなく、操作部１０７から直接、編集指示等の指示を受け付けることになる。出力部１２０は、ネットワークＮを介して編集映像データ及び音声データを送信することなく、ディスプレイ１０８及びスピーカ１０９から直接、編集映像及び音声を出力することになる。

また、映像編集装置３０は、記録媒体に編集映像を記録してユーザに提供可能としてもよい。この場合、映像編集装置３０は、ＵＳＢメモリ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等の記録媒体への書込装置を備える。ユーザは、映像編集装置３０により編集映像を作成した後に、該編集映像の記録媒体への書き込みを指示する。映像編集装置３０は、この指示に応じて編集映像を記録媒体へ書き込む。このように作成された記録媒体はユーザに提供され、ユーザにより使用される。

このような映像編集装置３０は、例えば最新のディスプレイ１０８やスピーカ１０９を備えた専用の施設に設置される。ユーザ端末２０は、高性能のパーソナルコンピュータを用いる場合であっても、臨場感には限界がある。それに対して例えば専用の施設に映像編集装置３０を設置する場合には、ユーザは、高画質、高音質の高臨場感で編集映像を楽しむことができるようになる。

以上のような映像編集システム１により、従来、廃棄あるいは死蔵されるしかなかった未編集状態の素材映像の有効活用が可能となる。ユーザは、例えばプロフェッショナルな編集基準とは異なる独自の編集基準で素材映像を編集することができるため、コンサート等のイベントを、自分好みの独自の映像作品としてカスタマイズして楽しむことができる。そのため、ユーザは、同じイベントであっても、異なる見方で継続的に楽しむことができる。また、自分が編集した映像作品と他のユーザが編集した映像作品とを比べあったり、評価しあったりすることもできるようになる。

本発明の映像編集装置は、所定の第１編集基準に基づく第１編集映像から除外された未編集状態の複数の素材映像を格納する映像格納手段と、ユーザ端末から前記第１編集基準とは異なる第２編集基準を取得する取得手段と、前記映像格納手段に格納された前記複数の素材映像の中から前記第２編集基準に合致する素材映像を抽出して第２編集映像を作成する編集手段と、前記第２編集映像を前記ユーザ端末へ出力する出力手段と、を備え、前記編集手段は、前記第２編集基準への合致度を前記複数の素材映像のそれぞれについて取得し、取得した前記合致度に応じて素材映像を抽出することを特徴とする。

コンサートのようなイベントを映像作品として商品化する場合、複数台、例えば３０台程度のビデオカメラにより様々なアングルから撮影された映像を編集して一本の映像作品とすることが多い。編集前の映像を「素材映像」と呼ぶ。映像作品は、記録媒体に記録されて販売あるいは配信される。商用の映像作品は、複数のビデオカメラから得られる複数の素材映像が、特定の編集基準、例えば特定目的に適合するプロフェッショナルな基準に基づいて一つの映像に選別・編集されて作成されるのが通常である。また、撮影前に所定のシナリオを作成し、このシナリオに基づいて自動的に素材映像を編集する装置もある。特許文献１には、シナリオに基づいて撮影素材を編集することで映像作品を作成する技術が開示されている。

本発明の映像編集装置は、映像作品を作成する際に用いられた複数の素材映像を格納する映像格納手段と、前記複数の素材映像を用いて前記映像作品とは異なる編集映像を作成する編集手段と、を備え、前記編集手段は、前記映像格納手段に格納されている複数の素材映像の各々に対して、シーン毎に、映っている内容がわかるようにメタデータを付加し、外部から編集基準が入力されたときに当該編集基準と前記複数の素材映像との合致度を前記メタデータに基づいて算出するとともに、前記合致度に応じて抽出したいくつかの素材映像を用いて前記編集映像を作成することを特徴とする。

映像格納部１１０は、複数の映像データを格納する。複数の映像データは、一つのイベント会場に設置された複数のビデオカメラにより撮影された素材映像を含む。これらの素材映像は、イベントに関する商用の映像作品を作成（編集）する際に用いられた素材映像であるが、クリエータによるプロフェッショナルな編集基準に基づいて編集された編集映像（第１編集映像）から除外された未編集状態の素材映像である。このような未編集の素材映像は、従来は映像作品の作成後に廃棄されるのが一般的であった。

図４は、映像格納部１１０、音声格納部１１１、登録情報格納部１１２、及び編集映像格納部１１３に格納される各データのデータ構成の例示図である。図４（ａ）は、映像格納部１１０に格納される映像データの構成例示図である。図４（ｂ）は、音声格納部１１１に格納される音声データの構成例示図である。図４（ｃ）は、登録情報格納部１１２に格納される登録データの構成例示図である。図４（ｄ）は、編集映像格納部１１３に格納される編集映像データの構成例示図である。

本発明の映像編集装置は、一つのイベントを複数の撮影装置で撮影して得られ、前記一つのイベントの映像作品の作成に用いられた未編集の複数の素材映像を格納する映像格納手段と、前記複数の素材映像を用いてユーザの要求に応じた前記一つのイベントの編集映像を作成する編集手段と、を備え、前記編集手段は、前記映像格納手段に格納されている前記複数の素材映像の各々に対して、シーン毎に、映っている内容がわかるようにメタデータを付加し、外部から編集基準が入力されたときに当該編集基準と前記複数の素材映像との合致度を前記メタデータに基づいて算出するとともに、前記合致度に応じて抽出したいくつかの素材映像を用いて前記編集映像を作成することを特徴とする。

Claims (11)

1. 所定の第１編集基準に基づく第１編集映像から除外された未編集状態の複数の素材映像を格納する映像格納手段と、
   ユーザ端末から前記第１編集基準とは異なる第２編集基準を取得する取得手段と、
   前記映像格納手段に格納された前記複数の素材映像の中から前記第２編集基準に合致する映像を抽出して第２編集映像を作成する編集手段と、
   前記第２編集映像を前記ユーザ端末へ出力する出力手段と、を備えることを特徴とする、
   映像編集装置。
2. 前記編集手段は、前記第２編集基準への合致度を前記複数の素材映像のそれぞれについて取得し、前記合致度が最も高い映像を抽出することを特徴とする、
   請求項１記載の映像編集装置。
3. 前記編集手段は、前記複数の素材映像のそれぞれについてシーン毎に前記第２編集基準への合致度を算出し、シーン毎に合致度が最も高い映像を抽出して前記第２編集映像を作成することを特徴とする、
   請求項２記載の映像編集装置。
4. 前記編集手段は、予め素材映像に含まれる出演者の顔画像を学習しており、各素材映像から顔認証技術によりシーン毎の出演者を抽出し、抽出した出演者を該シーンにタグ付けしておき、前記第２編集基準への合致度をシーン毎のタグに基づいて判定することを特徴とする、
   請求項２又は３記載の映像編集装置。
5. 前記複数の素材映像は、一つのイベントを複数の撮影装置で撮影して得られることを特徴とする、
   請求項１～４のいずれか１項記載の映像編集装置。
6. 前記ユーザ端末を操作するユーザの登録情報を格納する登録情報格納手段と、
   前記第２編集映像を、該第２編集映像を作成するための第２編集基準を入力したユーザの登録情報に紐付けて格納する編集映像格納手段と、を備えており、
   前記出力手段は、第２編集映像を他のユーザのユーザ端末へ出力可能であることを特徴とする、
   請求項１～５のいずれか１項記載の映像編集装置。
7. 前記登録情報格納手段は、前記登録情報に該ユーザの嗜好を表す嗜好データを付加して格納しており、
   前記編集手段は、前記第２編集基準及び前記嗜好データに基づいて前記第２編集映像を生成することを特徴とする、
   請求項６記載の映像編集装置。
8. 前記第２編集映像と該第２編集映像の編集に用いられた第２編集基準に基づいて、該第２編集基準を入力したユーザの嗜好データを学習する学習手段をさらに備えることを特徴とする、
   請求項７記載の映像編集装置。
9. 所定の第１編集基準に基づく第１編集映像から除外された未編集状態の複数の素材映像を格納する映像格納手段を備えた装置により実行される方法であって、
   ユーザ端末から前記第１編集基準とは異なる第２編集基準を取得するステップと、
   前記映像格納手段に格納された前記複数の素材映像の中から前記第２編集基準に合致する映像を抽出して第２編集映像を作成するステップと、
   前記第２編集映像を前記ユーザ端末へ出力するステップと、を含む、
   映像編集方法。
10. コンピュータを、
    所定の第１編集基準に基づく第１編集映像から除外された未編集状態の複数の素材映像を格納する映像格納手段、
    ユーザ端末から前記第１編集基準とは異なる第２編集基準を取得する取得手段、
    前記映像格納手段に格納された前記複数の素材映像の中から前記第２編集基準に合致する映像を抽出して第２編集映像を作成する編集手段、
    前記第２編集映像を前記ユーザ端末へ出力する出力手段、
    として機能させるためのコンピュータプログラム。
11. 所定の第１編集基準に基づく第１編集映像から除外された未編集状態の複数の素材映像を格納する映像格納手段と、
    前記第１編集基準とは異なる第２編集基準が入力される入力手段と、
    前記映像格納手段に格納された前記複数の素材映像の中から前記第２編集基準に合致する映像を抽出して第２編集映像を作成する編集手段と、
    前記第２編集映像を表示する表示手段と、
    前記第２編集映像に同期して音声を出力するスピーカと、を備えることを特徴とする、
    映像編集装置。

Images