JP2021153257A - 映像データ処理装置、映像配信システム、映像編集装置、記録媒体、映像データ処理方法、映像配信方法、及びプログラム - Google Patents

Abstract

【課題】楽曲の解析結果に応じた多様な映像切り替えが可能であり、また、視聴者毎にカスタマイズされたライブ映像を提供することが可能な映像データ処理装置、映像配信システム等を提供することを目的とする。【解決手段】 ライブ映像配信システム１において、映像データ処理装置１０は、入力された複数のカメラ映像を楽曲解析データや映像解析部１３による解析結果に基づいて切り替えて出力する。また、複数のカメラ映像から特定の人物を検出し、楽曲中の音響の変化や映像の変化に応じて特定の人物がメインとなる映像に切り替えて映像を出力する。また、映像データ処理装置１０は、ユーザ端末３から送信されたリクエストに応じた映像に切り替えて出力し、映像配信装置４及びストリーミングサーバ２を介してユーザ端末３に送信する。【選択図】図４

Description

本発明は、コンサート等のライブ映像データを処理する映像データ処理装置、及び映像を配信する映像配信システム等に関する。

コンサート等のライブ映像を撮影する際、会場内に複数のカメラを配置して、様々なアングルから撮影を行っている。図２０は、従来のライブ会場における映像システム１０００の例を示す図である。図に示すように、従来の映像システム１０００では、例えば、会場の前方右側（上手側）、前方正面、前方左側（下手側）にカメラ８００ａ、８００ｂ、８００ｃを配置し、後方右側（上手側）、後方方正面、後方左側（下手側）にカメラ８００ｄ、８００ｅ、８００ｆを配置している。各カメラ８００ａ〜８００ｆで撮影されたライブ映像データは映像切替装置１１００に入力され、スタッフが手作業でどの映像を出力するかの切替操作を行っている。映像の出力先は、映像切替装置１１００のモニタ１３００やステージ後方や会場の各所に配置された大型ディスプレイ１２００等である。また近年では、コンサートと同時に映画館等でライブビューイングが行われたり、自宅のＰＣやスマートフォンへストリーミング配信が行われたりして、ライブ映像の出力先は多様になっている。また、各カメラ８００ａ〜８００ｆで撮影されたライブ映像データの生データ（加工していないデータ）はレコーダに記録され、コンサート終了後に、映像編集装置にてＤＶＤ／ＢＤ用映像データとして加工される。

特許文献１には、楽器などを演奏したライブ映像のカメラ切替えを演奏中の音楽に合わせて自動的に行うライブ映像処理装置について記載されている。特許文献１のライブ映像処理装置は、入力したオーディオ信号から楽曲の拍を検出するとともに、楽器または奏者ごとのオーディオ信号の特徴量を検出し、検出した特徴量と最大特徴量との相関が最も強い楽器または奏者を判断する。そして、相関が最も強い楽器または奏者の映像を、拍に基づいた区間毎に選択して切り替えるものである。

特開２０１８−１７０６７８号公報

しかしながら、上述の特許文献１は楽曲の拍に基づいた区画毎に映像を切り替えるものであるため、切替タイミングがパターン化しており、単調な映像となってしまう。また音響の特徴量を検出するのに遅延が生じた場合には、適切なタイミングで映像が切り替わらない可能性がある。また、上述のストリーミング配信やＤＶＤ／ＢＤ映像の例では、ライブ会場やライブビューイング等とは異なり、個々のエンドユーザが視聴者となる。そのため、映像が１パターンしかないと個々の視聴者が求める映像になっていないことが考えられる。例えば、複数の出演者がいるコンサートの映像を、特定の出演者メインで楽しみたい等、個々の視聴者でそれぞれに要望がある。

本発明は上記の問題に鑑みてなされたものであり、楽曲の解析結果に応じた多様な映像切り替えが可能であり、また、視聴者毎にカスタマイズされたライブ映像を提供することが可能な映像データ処理装置、映像配信システム等を提供することを目的とする。

前述した課題を解決するための第１の発明は、会場に配置された複数のカメラで撮影された映像を入力する入力手段と、前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、前記楽曲解析データに基づいて出力する映像を切り替える切替手段と、前記切替手段により切り替えられた映像を出力する出力手段と、を備えることを特徴とする映像データ処理装置である。

第１の発明の映像データ処理装置によれば、会場で流れる楽曲についての音響解析結果である楽曲解析データに基づいて出力する映像を切り替える。これにより、楽曲の解析結果に応じた多様な映像を提供することが可能となる。

第１の発明のライブ映像配信システムにおいて、前記楽曲解析データには、前記楽曲における音響の変化のタイミングが記録され、前記切替手段は、前記楽曲解析データに基づいて、前記楽曲における音響が変化するタイミングで出力する映像を切り替える。そして、前記音響の変化は、前記音響のテンポ、ビートの変化、特定の楽器の発音タイミング、及び楽曲構成の変化のうち少なくともいずれか一つを含む。これにより、映像データ処理装置は、テンポやビートが変化するタイミングや特定の楽器の発音タイミング、及び楽曲構成が変化するタイミングで映像を自動的に切り替えることができるため、より多様な映像表現を提供できる。視聴者はより楽しくライブ映像を視聴することが可能となる。

また、映像データ処理装置は、予め解析された楽曲解析データに基づいてライブ映像を切り替えることができるため、ライブ映像を解析処理による遅延なく切り替えて出力することができる。

また、第１の発明において、前記複数のカメラで撮影された映像を解析する映像解析手段を更に備え、前記切替手段は、更に、前記映像解析手段による解析結果に基づいて出力する映像を切り替えるようにしてもよい。前記映像解析手段は、前記映像の変化を解析し、前記切替手段は、前記映像が変化するタイミングで出力する映像を切り替える。前記映像の変化は、前記映像に含まれる人物の動きの変化、前記人物の表情の変化、前記人物を照らす照明の変化、及び会場の照明の変化のうち少なくともいずれか一つを含む。これにより、音響のみならず映像の解析結果に基づいて映像を切り替えることができ、より多様な映像表現を提供できる。視聴者はより楽しくライブ映像を視聴することが可能となる。

また、前記解析データ取得手段は、人物の顔画像の解析結果である顔データを更に取得し、前記映像解析手段は、前記顔データに基づいて前記複数のカメラで撮影された映像から特定の人物を検出し、前記切替手段は、検出された人物が映っている映像に切り替えることが望ましい。これにより、映像データ処理装置は、特定の人物が映っている映像に自動的に切り替えることができ、個々の視聴者の好みの映像を提供できる。

また、前記特定の人物の設定を受け付ける設定手段を更に備えることが望ましい。また、前記設定手段は、更に前記特定の人物を含む映像が出現する割合の設定を受け付け、前記切替手段は、前記設定手段により設定された割合で前記特定の人物を含む映像が出現するように、出力する映像を切り替えるようにしてもよい。これにより、特定の人物や、その人物を含む映像の出現割合を視聴者の好み等に応じて設定できる。

第２の発明は、会場に配置される映像配信装置と、前記映像配信装置から配信される映像をストリーミング映像としてネットワークを介して配信するストリーミングサーバと、前記ストリーミングサーバから前記ストリーミング映像を受信して再生する端末と、が前記ネットワークを介して通信接続された映像配信システムであって、前記映像配信装置は、会場に配置された複数のカメラで撮影された映像を入力する入力手段と、前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、前記楽曲解析データに基づいて出力する映像を切り替える切替手段と、前記切替手段により切り替えられた映像を出力する出力手段と、を備えた映像データ処理装置から出力された映像を前記ストリーミングサーバに対して配信することを特徴とする映像配信システムである。

第２の発明の映像配信システムにより、第１の発明の映像データ処理装置により出力された映像を視聴者の端末にストリーミング配信することができる。

第２の発明において、前記端末は、前記映像に関するリクエストを送信するリクエスト送信手段と、前記リクエストに応じた映像を前記ストリーミングサーバから取得して再生する再生手段と、を備え、前記ストリーミングサーバ及び前記映像配信装置は、前記ユーザ端末からの前記リクエストを前記映像データ処理装置に伝達するリクエスト送信手段と、前記リクエストに応じた映像を取得し配信する映像配信手段と、を備え、前記映像データ処理装置の切替手段は、前記端末からの前記リクエストに応じて出力する映像を切り替えることが望ましい。これにより、視聴者の端末から入力されたリクエストが映像データ処理装置に伝達され、映像データ処理装置は視聴者のリクエストに応じた映像を出力することができるため、視聴者毎にカスタマイズされたライブ映像を出力することが可能となる。

第３の発明は、会場に配置された複数のカメラで撮影された映像を記憶する記憶手段と、前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、前記楽曲解析データに基づいて出力する映像を順次切り替える切替手段と、前記切替手段により順次切り替えられた映像をつなげて映像データを作成するデータ作成手段と、を備えることを特徴とする映像編集装置である。

第３の発明の映像編集装置によれば、会場で流れる楽曲についての音響解析結果である楽曲解析データに基づいて映像を順次切り替えた映像データを作成する。これにより、楽曲の解析結果に応じた多様な映像を提供することが可能となる。

第４の発明は、第３の発明の映像編集装置により作成された映像データを記録する記録媒体である。これにより、映像編集装置により作成された映像データをＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）やＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｋ）として提供することが可能となる。

第５の発明は、コンピュータが、会場に配置された複数のカメラで撮影された映像を入力するステップと、前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得するステップと、前記楽曲解析データに基づいて出力する映像を切り替えるステップと、切り替えられた映像を出力するステップと、を含むことを特徴とする映像データ処理方法である。

第５の発明の映像データ処理方法によれば、会場で流れる楽曲についての音響解析結果である楽曲解析データに基づいて出力する映像を切り替える。これにより、楽曲の解析結果に応じた多様な映像を提供することが可能となる。

第６の発明は、会場に配置される映像配信装置と、前記映像配信装置から配信される映像をストリーミング映像としてネットワークを介して配信するストリーミングサーバと、前記ストリーミングサーバから前記ストリーミング映像を受信して再生する端末と、が前記ネットワークを介して通信接続された映像配信システムにおける映像配信方法であって、前記映像配信装置が、会場に配置された複数のカメラで撮影された映像を入力する入力手段と、前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、前記楽曲解析データに基づいて出力する映像を切り替える切替手段と、前記切替手段により切り替えられた映像を出力する出力手段と、を備える映像データ処理装置から出力された映像を前記ストリーミングサーバに対して配信することを特徴とする映像配信方法である。

第６の発明の映像配信方法によれば、第１の発明の映像データ処理装置により出力された映像を視聴者の端末にストリーミング配信することができる。

第７の発明は、コンピュータを、会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段、前記楽曲解析データに基づいて、前記会場に配置された複数のカメラで撮影された映像のうちいずれかの映像に出力する映像を切り替える切替手段、前記切替手段により切り替えられた映像を出力する出力手段、として機能させるためのプログラムである。

第７の発明により、コンピュータを第１の発明の映像データ処理装置として機能させることが可能となる。

本発明により、楽曲の解析結果に応じた多様な映像切り替えが可能であり、また、視聴者毎にカスタマイズされたライブ映像を提供することが可能な映像データ処理装置、映像配信システム等が提供される。

ライブ映像配信システム１の全体構成を示す図 会場のカメラ配置と撮影対象について説明する図 会場のカメラ映像について説明する図 映像データ処理装置１０の機能構成、及びライブ映像配信システム１の機能構成を示す図 映像データ処理装置１０のハードウェア構成を示す図 ストリーミングサーバ２のハードウェア構成を示す図 ユーザ端末３のハードウェア構成を示す図 映像配信装置４のハードウェア構成を示す図 ＤＶＤ／ＢＤ用映像編集装置５のハードウェア構成を示す図 解析用ＰＣ６のハードウェア構成を示す図 事前処理（１）の流れを示すフローチャート 楽曲解析について説明する図 事前処理（２）の流れを示すフローチャート 人物の顔解析処理について説明する図 ライブ映像配信システム１が実行する処理の流れを示すフローチャート ユーザ端末３におけるリクエスト受付画面３４１の例を示す図 特定人物のフレームイン率の設定について説明する図 通常映像における出力映像の切替について説明する図 特定人物メイン映像における出力映像の切替について説明する図 ライブ会場における従来の映像データの出力切替の手法を説明する図

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

図１は本発明の実施形態に係るライブ映像配信システム１を示す図である。図１に示すように、本発明に係るライブ映像配信システム１は、会場に配置される映像データ処理装置１０及び映像配信装置４と、映像配信装置４から配信される映像をストリーミング映像としてネットワーク７を介して配信するストリーミングサーバ２と、ストリーミングサーバ２からストリーミング映像を受信して再生するユーザ端末３とがネットワーク７を介して通信接続される。また、ネットワーク７には後述する解析用ＰＣ６が通信接続されるようにしてもよい。

ストリーミングサーバ２は、ユーザ端末３へのストリーミング映像の配信を管理するコンピュータである。
ユーザ端末３は、ストリーミングサーバ２からストリーミング配信される映像を受信して再生する端末であり、ライブ映像配信システム１を利用するための専用のアプリケーションプログラムを搭載する。またはユーザ端末３は、ストリーミングサーバ２がネットワーク７上に開設したＷＥＢサイトを閲覧可能なブラウザを搭載する。ユーザ端末３は、例えば、スマートフォンやタブレット、ＰＣ、テレビ、ゲーム機等により構成される。

映像配信装置４は、ライブ会場で撮影された映像（音声を含む）をストリーミングサーバ２にアップロードするコンピュータである。映像配信装置４は、映像データ処理装置１０の出力映像を取得し、ストリーミングサーバ２にアップロードする。

映像データ処理装置１０は、ライブ会場において複数のカメラ８ａ〜８ｆで撮影されたライブ映像データや会場内の音声データを取得し、出力映像を切り替える処理を行う装置である。なお、本実施形態では、映像配信装置４と映像データ処理装置１０は、別体とする例を示しているが、一体的な構成としてもよい。

解析用ＰＣ６は、事前に、ライブで使用される楽曲について音響解析処理を実行し、楽曲のテンポ（ＢＰＭ：Beats Per Minute）、ビート（拍子）、サビ、１拍目（ダウンビート）の時刻、楽曲構成（Ａメロ、Ｂメロ、サビ等）、特定の楽器の発音タイミング等の楽曲の特徴を解析する。楽曲の音響解析処理の結果は楽曲解析データとして記憶部６０２に記憶される。

また解析用ＰＣ６は、事前に、ライブの出演者について顔解析処理を実行する。顔解析処理の結果は顔データとして記憶部６０２に記憶される。
解析用ＰＣ６の上述した事前処理については後述する（図１１〜図１４）。

図２は、会場のカメラ配置と撮影対象について説明する図である。図２に示すように、会場に例えば６つのカメラ８ａ〜８ｆが配置されるものとする。カメラ８ａは前方右側（上手側）、カメラ８ｂは前方正面、カメラ８ｃは前方左側（下手側）、カメラ８ｄは後方右側（上手側）、カメラ８ｅは後方正面、カメラ８ｆは後方左側（下手側）に配置される。ステージ上に複数の出演者が居る場合、図２（ａ）、（ｃ）に示すように、中央にいる出演者はカメラ８ｂ、８ｄ、８ｅ、８ｆにより撮影される。また、図２（ｂ）に示すように、上手側の出演者はカメラ８ａ、８ｄ、８ｅ、８ｆ等で撮影される。また、図２（ｄ）に示すように、後列中央の出演者はカメラ８ａ、８ｃ等で斜めから撮影される。

図３に示すように、カメラ８ａ〜８ｆにより撮影された映像は、それぞれ映像８０ａ〜８０ｆに示すように写っているものとする。中央の出演者（メンバーＡ）は、カメラ８ａやカメラ８ｃの映像８０ａ、８０ｃでは見切れている。そのため、この出演者（メンバーＡ）を対象に映像を作るためには、映像データ処理装置１０によってカメラ８ｂ、８ｄ、８ｅ、８ｆで撮影した映像８０ｂ、８０ｄ、８０ｅ、８０ｆのうちいずれかに切り替える処理を行う必要がある。

次に、本発明のライブ映像配信システム１の機能構成について説明する。
図４は、本発明のライブ映像配信システム１における各装置の機能構成を示す図である。図４に示すように、ライブ映像配信システム１において、映像データ処理装置１０は、入力Ｉ／Ｆ１０３と、映像解析部１３と、解析データ取得部１４と、映像切替部１５と、出力Ｉ／Ｆ１０６と、レコーダ１７等を備える。

入力Ｉ／Ｆ１０３は、会場に配置された複数のカメラ８ａ〜８ｆで撮影された映像を入力するカメラ映像入力部１１及び会場の音響を入力するライブ音声入力部１２を含む。

解析データ取得部１４は、会場で流れる楽曲の音響解析処理の結果である楽曲解析データを解析用ＰＣ６から取得し、記憶部１０２に記憶する。また、解析データ取得部１４は、出演者の顔解析処理の結果である顔データを解析用ＰＣ６から取得し、記憶部１０２に記憶する。なお、映像データ処理装置１０が楽曲の音響解析処理や出演者の顔解析処理を予め行うようにしてもよい。

映像切替部１５は、解析データ取得部１４により取得した楽曲解析データに基づいて音響が変化するタイミングで出力Ｉ／Ｆ１０６から出力する映像（出力映像）を切り替える。音響が変化するタイミングは楽曲解析データに記録されているものとする。

例えば、映像切替部１５は、テンポが上がったり下がったりするタイミング（テンポが変化するタイミング）、ビート（拍子）が変化するタイミング、ドラムがメインに演奏されるタイミング（特定の楽器の発音タイミング）、ＡメロからＢメロに変化するタイミング（楽曲構成が変化するタイミング）等で、出力映像を切り替える。

映像解析部１３は、映像解析処理を実施し、カメラ映像入力部１１から入力された複数のカメラ映像を解析する。映像解析処理では、複数のカメラ映像について映像の変化を解析する。映像の変化とは、映像に含まれる人物の動きの変化、人物の表情の変化、人物を照らす照明の変化、及び会場の照明の変化等である。
この場合、映像切替部１５は、上述の楽曲解析データのみならず、映像解析部１３による解析結果に基づいて出力する映像を切り替えてもよい。すなわち、映像切替部１５は、映像が変化するタイミングで出力Ｉ／Ｆ１０６から出力する映像を切り替えてもよい。

例えば、映像切替部１５は、ダンスが激しくなったタイミングや、アーティストが手を振ったタイミング（人物の動きの変化するタイミング）、笑顔になったり泣いたりしたタイミング（人物の表情の変化するタイミング）、アーティストにスポットライトが当たったタイミング（人物を照らす照明の変化するタイミング）、照明が赤から青に変わったタイミング（会場の照明の変化するタイミング）等で、出力映像を切り替える。

また、映像解析部１３は、入力されたカメラ映像から特定の人物を含む映像を検出する。これにより、映像切替部１５は出力映像を、特定の人物が映っている映像に切り替えることができる。この場合、どの人物を特定人物として検出するかを設定できるようにすることが望ましい。また、ライブの最初から最後までの映像全体のうち、特定の人物を含む映像が出現する割合を設定できるようにすることが望ましい。特定人物の設定や出現割合は、ストリーミング映像を視聴するユーザからのリクエストに応じて設定される。

レコーダ１７は、カメラ映像入力部１１から入力された複数のカメラ映像の生データやライブ音声入力部１２から入力されたライブ会場の音声の生データを取得し、記憶する。レコーダ１７に記憶された映像及び音声の生データは、ライブ終了後に映像編集装置５に取り込まれ、ＤＶＤやＢＤ等のディスク用映像に編集される。

図４の説明に戻る。
図４に示すように、ライブ映像配信システム１においてユーザ端末３は、映像再生部３１及びリクエスト送信部３２を備える。
映像再生部３１は、ストリーミングサーバ２から配信されるストリーミング映像を取得して再生する。

リクエスト送信部３２は、ユーザから入力される映像に関するリクエストをストリーミングサーバ２に対して送信する。ユーザ端末３は、ユーザがリクエストを入力するためのユーザインターフェースとして、後述するリクエスト受付画面３４１等を表示し、ユーザからのリクエストを受け付ける。リクエストの内容は、例えば、特定の人物（メンバー）の指定やそのメンバーが映像に出現する割合の設定情報等である。

ストリーミングサーバ２は、映像配信部２１及びリクエスト受信／送信部２２を備える。
映像配信部２１は、映像配信装置４から配信される映像をストリーミング映像としてネットワーク７を介してユーザ端末３に配信する。

リクエスト受信／送信部２２は、ユーザ端末３からのリクエストを受信し、映像配信装置４に送信する。ストリーミングサーバ２では、ユーザ端末３からのリクエストに応じた映像を映像配信装置４から取得し配信する。

映像配信装置４は、映像配信部４１及びリクエスト受信／送信部４２を備える。
映像配信部４１は、映像データ処理装置１０から入力される映像をネットワーク７を介してストリーミングサーバ２に配信する。

リクエスト受信／送信部４２は、ストリーミングサーバ２から送信されたユーザ端末３からのリクエストを受信し、映像データ処理装置１０に送信する。映像配信装置４は、ユーザ端末３からのリクエストに応じた映像を映像データ処理装置１０から取得し配信する。

映像データ処理装置１０では、映像配信装置４から送信されたユーザ端末３からのリクエストを受信し、ユーザ端末３からのリクエストに応じた映像を生成し、映像配信装置４に送信する。

映像編集装置５は、映像データ処理装置１０のレコーダ１７に記録された複数のカメラ映像及びライブ音声（生データ）を取得し、
ＤＶＤ／ＢＤ用の映像データを作成する装置である。
映像編集装置５は、図４に示すように映像解析部５１、解析データ取得部５２、ＤＶＤ／ＢＤ用データ作成部５３を備える。

映像解析部５１は、上述の映像データ処理装置１０の映像解析部１３と同様に、映像解析処理を実施し、複数のカメラ映像を解析する。映像解析処理では、複数のカメラ映像について映像の変化を解析する。

解析データ取得部５２は、上述の映像データ処理装置１０の解析データ取得部１４と同様に、解析用ＰＣ６等により得られた楽曲解析データや出演者の顔データを取得する。楽曲解析データや顔データは、記憶部５０２に記憶される。なお、映像編集装置５が楽曲の解析処理や顔画像の解析処理を行うようにしてもよい。

ＤＶＤ／ＢＤ用データ作成部５３は、上述の映像データ処理装置１０における映像切替部１５の機能を備える。すなわち、ＤＶＤ／ＢＤ用データ作成部５３は、楽曲解析データや映像解析部５１による解析結果に基づいて、音響や映像が変化するタイミングで出力映像を順次切り替える。そして、ＤＶＤ／ＢＤ用データ作成部５３は、順次切り替えた出力映像を繋げて１つの映像データを作成する。作成された映像データはＤＶＤやＢＤ等のディスクに記録される。

また、映像解析部５１は、ライブに出演する出演者（人物）の顔データに基づいて複数のカメラ映像から特定の人物を含む映像を検出する。映像解析部５１によって入力されたカメラ映像から特定の人物を含む映像を検出することにより、ＤＶＤ／ＢＤ用データ作成部５３は、特定の人物が映っている映像をメインとしたＤＶＤ／ＢＤ用映像データを作成することができる。なお、どの人物を特定の人物とするか、特定の人物を含む映像が出現する割合をどの程度にするか等を設定により変更できるようにすることが望ましい。

次に、図５〜図１０を参照して、各装置のハードウェア構成について説明する。
図５は、映像データ処理装置１０のハードウェア構成を示す図である。図に示すように、映像データ処理装置１０は、信号処理部１０１、記憶部１０２、入力Ｉ／Ｆ１０３、表示部１０４、操作部１０５、出力Ｉ／Ｆ１０６、周辺機器Ｉ／Ｆ部１０７等をバス１０８等により接続して構成される。但しこれに限ることなく、適宜様々な構成をとることができる。

信号処理部１０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部１０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０８を介して接続された各部を駆動制御する。ＲＯＭは、プログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、ＣＰＵが各種処理を行うために使用するワークエリアを備える。ＣＰＵは、上記プログラムを読み出して実行することにより、映像データ処理装置１０の各手段として機能する。

記憶部１０２は、例えば、ハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等の記憶装置である。記憶部１０２にはＣＰＵが実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、ＣＰＵにより必要に応じて読み出されてＲＡＭに移され、実行される。また、記憶部１０２には、ライブに先立ち実行される事前処理により楽曲解析データや出演者の顔データ等が記憶される。事前処理及び楽曲解析データ、顔データについては後述する。

入力Ｉ／Ｆ１０３は、カメラ映像やマイク音声を入力するポートである。入力Ｉ／Ｆ１０３から入力されたカメラ映像やマイク音声は信号処理部１０１に入力される。

信号処理部１０１は、上述の映像解析部１３、解析データ取得部１４、映像切替部１５等を備え、入力Ｉ／Ｆ１０３から入力されたカメラ映像に対してデータ処理を行って、出力映像を生成し、出力Ｉ／Ｆ１０６から出力する。出力Ｉ／Ｆ１０６は、出力映像を出力するポートである。

表示部１０４は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置であり、ＣＰＵの制御により入力された表示情報をディスプレイ装置上に表示させる。なお、操作部１０５及び表示部１０４は、表示画面にタッチパネル等の入力装置を一体的に設けたタッチパネルディスプレイとしてもよい。

操作部１０５は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイスや、各種スイッチ群、ボタン群を備え、入力されたデータをＣＰＵへ出力する。

周辺機器Ｉ／Ｆ部１０７は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１０７を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１０７は、ＵＳＢ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１０８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図６は、ストリーミングサーバ２のハードウェア構成を示す図である。図に示すように、ストリーミングサーバ２は、制御部２０１、記憶部２０２、及び通信部２０３等をバス２０４等により接続して構成される。但しこれに限ることなく、適宜様々な構成をとることができる。

制御部２０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成される。ＣＰＵは、記憶部２０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２０４を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部２０１が各種処理を行うために使用するワークエリアを備える。制御部２０１は、上記プログラムを読み出して実行することにより、ストリーミングサーバ２の各手段として機能する。

記憶部２０２は、例えば、ハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等の記憶装置である。記憶部２０２には制御部２０１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部２０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。記憶部２０２には、例えば、各ユーザ端末３のユーザ情報（ユーザＩＤ、ストリーミング映像の送信先、ユーザによるリクエスト情報等）等が記憶される。

通信部２０３は、通信制御装置、通信ポート等を有し、ネットワーク７等との通信を制御する。ネットワーク７は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide
Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク７は有線、無線を問わない。ストリーミングサーバ２はネットワーク７を介してユーザ端末３と通信接続し、各種のデータを送受信可能である。

図７は、ユーザ端末３の構成を示す図である。図に示すように、ユーザ端末３は、例えば制御部３０１、記憶部３０２、通信部３０３、表示部３０４、入力部３０５、周辺機器Ｉ／Ｆ部３０６、音声出力部３０７等をバス３０８等により接続して構成したコンピュータ等により実現できる。但しこれに限ることなく、適宜様々な構成をとることができる。制御部３０１、記憶部３０２、通信部３０３の構成は、ストリーミングサーバ２の制御部２０１、記憶部２０２、通信部２０３の構成と同様であり、周辺機器Ｉ／Ｆ部３０６の構成は、映像データ処理装置１０の周辺機器Ｉ／Ｆ部１０７の構成と同様である。

表示部３０４は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部３０１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部３０５及び表示部３０４は、表示画面にタッチパネル等の入力装置を一体的に設けたタッチパネルディスプレイとしてもよい。

入力部３０５は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部３０１へ出力する。

音声出力部３０７は、制御部３０１から入力された音声をスピーカから出力する。

なお、ユーザ端末３の記憶部３０２にはストリーミングサーバ２からストリーミング映像を取得して再生する処理を実行するためのアプリケーションプログラムが格納され、このアプリケーションプログラムに従ってユーザ端末３の制御部３０１がストリーミング映像の受信・再生等の処理を実行する。

図８は、映像配信装置４のハードウェア構成を示す図である。図に示すように、映像配信装置４は、制御部４０１、記憶部４０２、通信部４０３、映像入力部４０４、データ処理部４０５等をバス４０６により接続して構成される。但しこれに限ることなく、適宜様々な構成をとることができる。制御部４０１、記憶部４０２、通信部４０３の構成は、ストリーミングサーバ２の制御部２０１、記憶部２０２、通信部２０３の構成と同様である。
映像入力部４０４は、映像データ処理装置１０の出力Ｉ／Ｆ１０６から出力された映像データを入力するインターフェースである。

データ処理部４０５は、映像入力部４０４から入力された映像データ（映像データ処理装置１０から出力された映像データ）をストリーミング映像に変換するデータ処理（圧縮符号化処理）を行う。生成されたストリーミング映像は通信部４０３からネットワーク７を介してストリーミングサーバ２に送信される。

図９は、映像編集装置５のハードウェア構成を示す図である。図に示すように、映像編集装置５は、制御部５０１、記憶部５０２、通信部５０３、表示部５０４、入力部５０５、周辺機器Ｉ／Ｆ部５０６等、映像データ処理部５０７等をバス５０８により接続して構成される。但しこれに限ることなく、適宜様々な構成をとることができる。制御部５０１、記憶部５０２、通信部５０３の構成は、ストリーミングサーバ２の制御部２０１、記憶部２０２、通信部２０３の構成と同様であり、表示部５０４、入力部５０５、周辺機器Ｉ／Ｆ部５０６の構成は、ユーザ端末３の表示部３０４、入力部３０５、周辺機器Ｉ／Ｆ部３０６の構成と同様である。

映像データ処理部５０７は、映像処理用演算部（ＧＰＵ：Graphics
Processing Unit）であり、図４に示す映像解析部５１、解析データ取得部５２、ＤＶＤ／ＢＤ用データ作成部５３に相当する。映像編集装置５により生成されたＤＶＤ／ＢＤ用映像データは、ＤＶＤ／ＢＤ等の記録媒体に記録されて販売される。例えば、様々な出演者の映像を混合させた通常バージョンの他、メンバーＡメインバージョン、メンバーＢメインバージョン、…等のように、特定の人物（出演者）をメインとしたＤＶＤ／ＢＤ用映像データを作成することができる。

図１０は、解析用ＰＣ６として利用するコンピュータのハードウェア構成を示す図である。図に示すように、解析用ＰＣ６は、制御部６０１、記憶部６０２、通信部６０３、表示部６０４、入力部６０５、周辺機器Ｉ／Ｆ部６０６等をバス６０７により接続して構成される。但しこれに限ることなく、適宜様々な構成をとることができる。制御部６０１、記憶部６０２、通信部６０３の構成は、ストリーミングサーバ２の制御部２０１、記憶部２０２、通信部２０３の構成と同様であり、表示部６０４、入力部６０５、周辺機器Ｉ／Ｆ部６０６の構成は、ユーザ端末３の表示部３０４、入力部３０５、周辺機器Ｉ／Ｆ部３０６の構成と同様である。

ここで、解析用ＰＣ６で実行される事前処理について説明する。
図１１、図１２は事前処理（１）について説明する図であり、図１３、図１４は事前処理（２）について説明する図である。

事前処理（１）では、ライブで使用される楽曲についての解析処理が行われる。解析用ＰＣ６の制御部６０１は、ライブに使用する楽曲の音源データを取得し（ステップＳ１０１）、楽曲に対して音響解析処理を実行する（ステップＳ１０２）。音源データは、ＣＤから読み込むものとしてもよいし、音楽配信サービスのデータベースからネットワーク７を介してダウンロードするものとしてもよい。また、ライブの前にマイク収録した音源でもよい。

楽曲の音響解析処理では、図１２に示すように、楽曲のテンポ（ＢＰＭ：Beats Per Minute）、ビート（拍子）、サビ、１拍目（ダウンビート）の時刻、楽曲構成（Ａメロ、Ｂメロ、サビ等）、特定の楽器の発音タイミング等の楽曲の特徴が解析される。この楽曲の音響解析処理は、公知の処理（例えば、株式会社ＣＲＩ・ミドルウェア、“超高速・高精度 楽曲解析ミドルウェアBEATWIZ（登録商標）”、[onine]、[令和２年３月１５日検索]、インターネット、< URL ：https://www.cri-mw.co.jp/product/amusement/beatwiz/index.html>）を利用して行うことができる。

制御部６０１は、楽曲の音響解析結果を楽曲解析データとして、記憶部６０２に記憶するとともに、所定の出力先へ出力する（ステップＳ１０３）。制御部６０１は、楽曲解析データを、例えば、映像データ処理装置１０や映像編集装置５に通信部６０３を介して送信したり、記録媒体に記憶する。

事前処理（２）では、ライブ出演者の顔解析処理が行われる。すなわち、解析用ＰＣ６の制御部６０１は、ライブに出演する複数の人物の顔画像データを取得し（ステップＳ２０１）、これらの人物について顔解析処理を行う（ステップＳ２０２）。顔解析処理では、顔を認識（顔を判別し人物を特定）するための機械学習が行われる。制御部６０１は、顔解析結果として、各人物の顔の特徴量を抽出した顔データを得る。制御部６０１は、顔データを記憶部６０２に記憶するとともに、所定の出力先へ出力する（ステップＳ２０３）。制御部６０１は、顔データを、例えば、映像データ処理装置１０や映像編集装置５に通信部６０３を介して送信したり、記録媒体に記憶する。

次に、図１５〜図１９を参照して、ライブ映像配信システム１が実行する処理の流れを説明する。
ライブの開始に先立ち、映像データ処理装置１０は解析用ＰＣ６から楽曲解析データや顔データを取得し、記憶部１０２に記憶する（ステップＳ３０１）。また、ユーザ端末３は、ユーザからの映像に関するリクエストを受け付ける。

このときストリーミングサーバ２は、図１６に示すようなリクエスト受付画面３４１をユーザ端末３に対して提供する。リクエスト受付画面３４１には、映像が表示される映像表示エリア３４６と、特定のメンバー（出演者）の映像に切り替えるボタン３４２、３４３、３４４、３４５が設けられる。

例えば、「メンバーＡ」ボタン３４２が操作された場合は、ユーザ端末３は「メンバーＡ」がメインとなる映像をストリーミングサーバ２に対してリクエスト送信できる。また、リクエスト受付画面３４１に更に詳細設定欄を設け、特定メンバーの出現割合（フレームイン率）をユーザが設定できるようにしてもよい。

ユーザ端末３はユーザからリクエスト（メンバーの指定、出現割合）が入力されると、ストリーミングサーバ２に対してリクエストを送信する。ストリーミングサーバ２は、ユーザ端末３からのリクエストを受信すると（ステップＳ３０２）、リクエストの内容をユーザＩＤと紐づけて記憶部２０２に記憶する（ステップＳ３０３）とともに、映像配信装置４に送信する（ステップＳ３０４）。

映像配信装置４は、ストリーミングサーバ２からユーザ（ユーザＩＤ）のリクエストを受信すると（ステップＳ３０５）、受信したリクエストの内容をユーザＩＤと紐づけて記憶部４０２に記憶する（ステップＳ３０６）とともに、映像データ処理装置１０に送信する（ステップＳ３０７）。

映像データ処理装置１０は、映像配信装置４から送信されたユーザ（ユーザＩＤ）のリクエストを受信すると、受信したリクエストに応じて特定人物の設定、及び出現割合（フレームイン率）の設定を行う（ステップＳ３０８）。

図１７は特定人物の出現割合に応じた映像の構成例を示す図である。図１７（ａ）に示すように、例えば出現割合（フレームイン率）が５０％の場合は、通常映像と特定人物がメインとなる映像とが同じ割合となるように組み合わされる。例えば、楽曲のイントロ部分は通常映像とし、Ａメロになると特定人物メイン映像に切り替えられる。そしてＢメロになると通常映像に切り替えられ、サビになると特定人物メイン映像に切り替えられる。なお、図１７の例では、楽曲の各構成（イントロ、Ａメロ、Ｂメロ、サビ）の時間配分が同じであるものとする（以降説明する図１８、図１９についても同様）。

一方、図１７（ｂ）に示すように、出現割合（フレームイン率）が１００％の場合は、全てのシーンにおいて特定人物がメインとなる映像となる。図１７（ｂ）の例では、イントロ、Ａメロ、Ｂメロ、サビともに特定人物がメインの映像で構成される。

なお、図１７の例では楽曲構成（イントロ、Ａメロ、Ｂメロ、サビ）に基づいて映像が切替えられているが、映像の切替タイミングはこれに限定されない。映像データ処理装置１０は、楽曲中の音響の変化や映像の変化に基づいて出力映像を切り替える。以下、具体的に説明する。

ライブが開始されると、映像データ処理装置１０は、会場内の複数のカメラ８ａ〜８ｆで撮影している映像を入力Ｉ／Ｆ１０３（カメラ映像入力部１１）から取得し、マイクで集音したライブ音声を入力Ｉ／Ｆ１０３（ライブ音声入力部１２）から取得する（ステップＳ３０９）。映像データ処理装置１０のＣＰＵは、取得した複数のカメラ映像の生データ及びライブ音声をレコーダ１７に保存する（ステップＳ３１０）。

また、映像データ処理装置１０の信号処理部１０１（映像解析部１３）は、複数のカメラ映像について映像解析処理を実行する（ステップＳ３１１）。

そして、信号処理部１０１（映像切替部１５）は、ステップＳ３０１で取得した楽曲解析データやステップＳ３１１のカメラ映像の解析結果、及びステップＳ３０８で受信したユーザからのリクエストに基づいて出力する映像を切り替える（ステップＳ３１２）。

例えば、ユーザからのリクエストに基づいて、図１８及び図１９に示すように特定人物が指定され、その特定人物の出現割合（フレームイン率）を５０％とする場合、信号処理部１０１（映像切替部１５）は通常映像と特定人物メイン映像との比率が映像全体で１：１になるように映像切替タイミングを調整する。図１８及び図１９の例では、信号処理部１０１（映像切替部１５）は、楽曲構成が変化するタイミングｔ１、ｔ２、ｔ３、ｔ４で通常映像と特定人物メイン映像とを切り替えている。楽曲構成が変化するタイミングｔ１、ｔ２、ｔ３、ｔ４は、ステップＳ３０１で取り込んだ楽曲解析データに記録されている。

更に、信号処理部１０１（映像切替部１５）は通常映像区間（ｔ０〜ｔ１、ｔ２〜ｔ３）及び特定人物メイン映像区間（ｔ１〜ｔ２、ｔ３〜ｔ４）の間においても、所定の切替タイミングで映像を切り替える。信号処理部１０１（映像切替部１５）は、楽曲解析データ及びステップＳ３１１の映像解析処理による解析結果に基づいて映像を切り替えるタイミングを決定し、映像を切り替える。

例えば、信号処理部１０１（映像切替部１５）は、楽曲の音響が変化するタイミング（テンポが変化するタイミング、ビートが変化するタイミング、特定の楽器の発音タイミング等）で映像を切り替える。また、映像が変化するタイミング（人物の動きが変化するタイミング、人物の表情が変化するタイミング、人物を照らす照明が変化するタイミング、会場の照明が変化するタイミング等）で映像を切り替える。

通常映像の区間においては、図１８に示すように、信号処理部１０１（映像切替部１５）は、複数のカメラ映像の中から人物を問わずに出力映像を選択し、所定の切替タイミングで映像を切り替える。

一方、特定人物メイン映像の区間においては、信号処理部１０１（映像切替部１５）は、図１９に示すように、所定の切替タイミングで複数のカメラ映像の中から特定の人物が含まれる映像に限定して出力映像を切り替える。例えば、特定の人物が含まれる複数のカメラ映像の中からランダムに一つの映像を選択して切り替えてもよいし、特定の人物の顔が最も大きく映っている映像やカメラ正面を向いている映像を選択して切り替えてもよい。なお、特定の人物が含まれる映像は、ステップＳ３０１で取り込んだ顔データに基づいて特定される。

図１８及び図１９の例では、図中星印で示す４つのタイミングで映像を切り替えるものとしているが、切替タイミングは４つに限定されず、音響や映像の変化に応じて決定される。また、楽曲解析データとして得られる特徴量（テンポ、ビート、楽曲構成、特定の楽器の発音タイミング等）や映像解析結果として得られる特徴量（人物の動きや表情、照明の変化等）のうち、どの特徴量を用いて出力映像を切り替えるかを、オペレータが設定できるようにしてもよいし、初期設定されるものとしてもよい。

そして、映像データ処理装置１０は、ステップＳ３１３の処理によって生成した映像データを出力Ｉ／Ｆ１０６を介して映像配信装置４に出力する（ステップＳ３１３）。

映像配信装置４は、映像データ処理装置１０から映像データを取得し（ステップＳ３１４）、圧縮符号化等のデータ処理を行ってストリーミングサーバ２に配信する（ステップＳ３１５）。ストリーミングサーバ２は、ユーザからのリクエストに応じた映像を受信し、ユーザ端末３にストリーミング配信する（ステップＳ３１６）。ユーザ端末３はリクエストに応じたストリーミング映像を受信し、復号化し、再生する。

以上のようにして、ユーザ端末３のリクエストに応じたストリーミング映像が映像データ処理装置１０によりライブの進行とともに生成され、ストリーミングサーバ２からライブ配信される。
なお、図１５のフローチャートでは、リクエストの送受信タイミングはライブの開始前としているが、ライブ進行中にリクエストの送受信を行って、リクエストに応じた出力映像に切り替えるようにしてもよい。

以上説明したように、ライブ映像配信システム１において、映像データ処理装置１０は、入力された複数のカメラ映像を、楽曲中の音響変化や映像解析部１３による解析結果に基づいて切り替えて出力する。これにより、多様な映像表現が可能となり、視聴者はより楽しくライブ映像を視聴することが可能となる。また、複数のカメラ映像から特定の人物を検出し、音響や映像の変化に応じて特定の人物がメインとなる映像に切り替えて映像を出力することもできる。また、ライブ映像配信システム１は、映像データ処理装置１０により出力された映像を、映像配信装置４及びストリーミングサーバ２を介してユーザ端末３にストリーミング配信することができる。ユーザ端末３がユーザのリクエストをストリーミングサーバ２及び映像配信装置４を介して映像データ処理装置１０に送信すると、映像データ処理装置１０は、ユーザのリクエストに応じた映像に切り替えて出力するため、ユーザ毎にカスタマイズされたライブ映像を提供できる。

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１・・・・・・・・・・ライブ映像配信システム
２・・・・・・・・・・ストリーミングサーバ
３・・・・・・・・・・ユーザ端末
４・・・・・・・・・・映像配信装置
５・・・・・・・・・・（ＤＶＤ／ＢＤ用）映像編集装置
６・・・・・・・・・・解析用ＰＣ
７・・・・・・・・・・ネットワーク
８ａ〜８ｆ・・・・・・カメラ
１０・・・・・・・・・映像データ処理装置
１１・・・・・・・・・カメラ映像入力部
１２・・・・・・・・・ライブ音声入力部
１３・・・・・・・・・映像解析部
１４・・・・・・・・・解析データ取得部
１５・・・・・・・・・映像切替部
１７・・・・・・・・・レコーダ
２１・・・・・・・・・映像配信部
２２・・・・・・・・・リクエスト受信／送信部
３１・・・・・・・・・映像再生部
３２・・・・・・・・・リクエスト送信部
４１・・・・・・・・・映像配信部
４２・・・・・・・・・リクエスト受信／送信部
５１・・・・・・・・・映像解析部
５２・・・・・・・・・解析データ取得部
５３・・・・・・・・・ＤＶＤ／ＢＤ用データ作成部

Claims (16)

1. 会場に配置された複数のカメラで撮影された映像を入力する入力手段と、
   前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、
   前記楽曲解析データに基づいて出力する映像を切り替える切替手段と、
   前記切替手段により切り替えられた映像を出力する出力手段と、
   を備えることを特徴とする映像データ処理装置。
2. 前記楽曲解析データには、前記楽曲における音響の変化のタイミングが記録され、
   前記切替手段は、前記楽曲解析データに基づいて、前記楽曲における音響が変化するタイミングで出力する映像を切り替えることを特徴とする請求項１に記載の映像データ処理装置。
3. 前記音響の変化は、前記音響のテンポ、ビートの変化、特定の楽器の発音タイミング、及び楽曲構成の変化のうち少なくともいずれか一つを含むことを特徴とする請求項２に記載の映像データ処理装置。
4. 前記複数のカメラで撮影された映像を解析する映像解析手段を更に備え、
   前記切替手段は、更に、前記映像解析手段による解析結果に基づいて出力する映像を切り替えることを特徴とする請求項１から請求項３のいずれかに記載の映像データ処理装置。
5. 前記映像解析手段は、前記映像の変化を解析し、
   前記切替手段は、前記映像が変化するタイミングで出力する映像を切り替えることを特徴とする請求項４に記載の映像データ処理装置。
6. 前記映像の変化は、前記映像に含まれる人物の動きの変化、前記人物の表情の変化、前記人物を照らす照明の変化、及び会場の照明の変化のうち少なくともいずれか一つを含むことを特徴とする請求項５に記載の映像データ処理装置。
7. 前記解析データ取得手段は、人物の顔画像の解析結果である顔データを更に取得し、
   前記映像解析手段は、前記顔データに基づいて前記複数のカメラで撮影された映像から特定の人物を検出し、
   前記切替手段は、検出された人物が映っている映像に切り替えることを特徴とする請求項４から請求項６のいずれかに記載の映像データ処理装置。
8. 前記特定の人物の設定を受け付ける設定手段を更に備えることを特徴とする請求項７に記載の映像データ処理装置。
9. 前記設定手段は、更に前記特定の人物を含む映像が出現する割合の設定を受け付け、
   前記切替手段は、前記設定手段により設定された割合で前記特定の人物を含む映像が出現するように、出力する映像を切り替えることを特徴とする請求項８に記載の映像データ処理装置。
10. 会場に配置される映像配信装置と、
    前記映像配信装置から配信される映像をストリーミング映像としてネットワークを介して配信するストリーミングサーバと、
    前記ストリーミングサーバから前記ストリーミング映像を受信して再生する端末と、が前記ネットワークを介して通信接続された映像配信システムであって、
    前記映像配信装置は、
    会場に配置された複数のカメラで撮影された映像を入力する入力手段と、
    前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、
    前記楽曲解析データに基づいて出力する映像を切り替える切替手段と、
    前記切替手段により切り替えられた映像を出力する出力手段と、
    を備えた映像データ処理装置
    から出力された映像を前記ストリーミングサーバに対して配信する
    ことを特徴とする映像配信システム。
11. 前記端末は、
    前記映像に関するリクエストを送信するリクエスト送信手段と、
    前記リクエストに応じた映像を前記ストリーミングサーバから取得して再生する再生手段と、を備え、
    前記ストリーミングサーバ及び前記映像配信装置は、
    前記ユーザ端末からの前記リクエストを前記映像データ処理装置に伝達するリクエスト送信手段と、
    前記リクエストに応じた映像を取得し配信する映像配信手段と、を備え、
    前記映像データ処理装置の切替手段は、前記端末からの前記リクエストに応じて出力する映像を切り替える
    ことを特徴とする請求項１０に記載の映像配信システム。
12. 会場に配置された複数のカメラで撮影された映像を記憶する記憶手段と、
    前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、
    前記楽曲解析データに基づいて出力する映像を順次切り替える切替手段と、
    前記切替手段により順次切り替えられた映像をつなげて映像データを作成するデータ作成手段と、
    を備えることを特徴とする映像編集装置。
13. 請求項１２に記載の映像編集装置により作成された映像データを記録する記録媒体。
14. コンピュータが、
    会場に配置された複数のカメラで撮影された映像を入力するステップと、
    前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得するステップと、
    前記楽曲解析データに基づいて出力する映像を切り替えるステップと、
    切り替えられた映像を出力するステップと、
    を含むことを特徴とする映像データ処理方法。
15. 会場に配置される映像配信装置と、
    前記映像配信装置から配信される映像をストリーミング映像としてネットワークを介して配信するストリーミングサーバと、
    前記ストリーミングサーバから前記ストリーミング映像を受信して再生する端末と、
    が前記ネットワークを介して通信接続された映像配信システムにおける映像配信方法であって、
    前記映像配信装置が、
    会場に配置された複数のカメラで撮影された映像を入力する入力手段と、
    前記会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段と、
    前記楽曲解析データに基づいて出力する映像を切り替える切替手段と、
    前記切替手段により切り替えられた映像を出力する出力手段と、
    を備える映像データ処理装置
    から出力された映像を前記ストリーミングサーバに対して配信することを特徴とする映像配信方法。
16. コンピュータを、
    会場で流れる楽曲についての音響解析結果である楽曲解析データを取得する解析データ取得手段、
    前記楽曲解析データに基づいて、前記会場に配置された複数のカメラで撮影された映像のうちいずれかの映像に出力する映像を切り替える切替手段、
    前記切替手段により切り替えられた映像を出力する出力手段、
    として機能させるためのプログラム。

Images