JP2007104540A - 撮影画像配信装置、撮影画像配信プログラム及び撮影画像配信方法 - Google Patents

Abstract

【課題】複数のカメラで撮影された複数の動画像のそれぞれに対して、任意のタイミングで同期を与えて、ユーザが試聴する端末で表示させることができる撮影画像配信装置、撮影画像配信プログラム及び撮影画像配信方法を提供する。
【解決手段】撮影画像配信装置は、複数台の撮影装置で撮影した動画像データを受信する動画像データ受信手段と、動画像データ受信手段により受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定する入力手段と、入力手段により指定された複数の動画像データの撮影フレームに対して、同期を付与する同期付与手段と、同期付与手段が同期を付与した複数の撮影フレームを合成して、１つの配信フレームを生成する配信画像生成手段と、配信画像生成手段により生成した配信フレームを、画像表示端末へ送信する送信処理手段とを有する。
【選択図】図１

Description

本発明は、複数のカメラにより撮影した被写体の撮影画像のデータを配信先の端末へストリーミング配信する撮影画像配信装置、撮影画像配信プログラム及び撮影画像配信方法に関する。

従来、カメラにより撮影した動画像をＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）を利用してインターネットを介して端末へ配信するサービス（ストリーミング配信サービス）が行われている。この配信の処理においては、ＴＣＰ／ＩＰのＲＴＰ（Real-time Transport Protocol）やＲＴＳＰ（Real Time Streaming Protocol）などのプロトコルや、同軸ケーブルや光ファイバケーブルによるケーブルテレビのデジタル配信技術などが利用され、例えば、映画やスポーツ中継などの動画像配信のサービスが行われている。なお、スポーツ中継など動画像配信のサービスを行う為の技術として、特許文献１が公開されている。

また、複数のカメラにより撮影した動画像に対して、同期を与える方法として、特許文献２に記載されている技術が知られている。この技術では、ＧＰＳ（Global Positioning System）を利用して各カメラに対して信号を送信し、その信号の受信時刻に基づいて、全てのカメラが撮影する動画像に同期を与えている。
特開昭６３−１４４６６４号公報 特開２００２−３２９７８号公報

上述の特許文献１においては、複数台のカメラにより撮影された同一対象の動画像を合成して端末に配信する技術が記載されている。しかしながら、特許文献１の技術は動画像のデジタル信号やアナログ信号を合成し、デジタル配信技術を用いて同軸ケーブルや光ファイバケーブル上に配信する仕組みであって、近年コンテンツ配信などで利用されているインターネット通信における技術ではない。

ここで、インターネットを利用したコンテンツ配信においても、複数台のカメラにより撮影された映像を配信する技術が存在し利用されているが、この技術においては、カメラそれぞれに接続されたエンコーダによって画像をエンコードし配信している。また、それぞれのカメラで撮影されたエンコード済みの画像データは、別々の通信セッションとして配信先の端末へ配信される。ここで問題となるのは、インターネット通信の技術を利用して複数台のカメラにより撮影された同一対象の映像を配信する際には、ケーブルテレビなどで利用されるデジタル配信技術とは異なり、各アングルの動画像に同期のずれが発生するということである。

つまり、各エンコード装置の処理能力が異なる場合や、各画像データの通信セッションのインターネット上の通信経路が異なる場合などには、各カメラで撮影された動画像データの配信先端末への到達時間にずれが生じ、各アングルの映像のタイミングがずれて端末のモニタに表示されることになってしまう。これにより、同時に複数のアングルからの画像を見るような場合において、画像を視聴するユーザに違和感を与える結果となってしまうという問題が発生していた。

また、上述の特許文献２においては、複数のカメラがＧＰＳから信号を受信した時刻に基づいて、各カメラが撮影した動画像データに対して同期を与えていたため、それらの動画像を配信する事業者等は、各動画像に対して任意のタイミングで同期させて、ユーザが試聴する端末に対して配信することはできないという問題があった。

本発明は、上記事情に鑑みてなされたものであり、その目的は、複数のカメラで撮影された複数の動画像のそれぞれに対して、任意のタイミングで同期を与えて、ユーザが試聴する端末で表示させることができる撮影画像配信装置、撮影画像配信プログラム及び撮影画像配信方法を提供することにある。

本発明は、上述の課題を解決すべくなされたもので、請求項１に記載の発明は、複数台の撮影装置で撮影した動画像データを受信する動画像データ受信手段と、前記動画像データ受信手段により受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定する入力手段と、前記入力手段により指定された前記複数の動画像データの撮影フレームに対して、同期を付与する同期付与手段と、前記同期付与手段が同期を付与した複数の撮影フレームを合成して、１つの配信フレームを生成する配信画像生成手段と、前記配信画像生成手段により生成した配信フレームを、画像表示端末へ送信する送信処理手段とを有することを特徴とする撮影画像配信装置である。

また、請求項２に記載の発明は、前記動画像データ受信手段が受信した複数の動画像データを、１つの表示画面上に同時に表示する表示手段を更に有することを特徴とする請求項１に記載の撮影画像配信装置である。

また、請求項３に記載の発明は、前記送信処理手段は、前記配信フレームの各撮影フレームの位置を示すフレーム位置特定情報を、前記画像表示端末へ送信することを特徴とする請求項１又は２に記載の撮影画像配信装置である。

また、請求項４に記載の発明は、複数台の撮影装置で撮影した動画像データを受信させる第１のステップと、前記第１のステップで受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定させる第２のステップと、前記第２のステップで指定された前記複数の動画像データの撮影フレームに対して、同期を付与させる第３のステップと、前記第３のステップで同期が付与された複数の撮影フレームを合成して、１つの配信フレームを生成させる第４のステップと、前記第４のステップにより生成された配信フレームを、画像表示端末へ送信させる第５のステップとをコンピュータに実行させるための撮影画像配信プログラムである。

また、請求項５に記載の発明は、複数台の撮影装置で撮影した動画像データを受信する第１のステップと、前記第１のステップで受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定する第２のステップと、前記第２のステップで指定した前記複数の動画像データの撮影フレームに対して、同期を付与する第３のステップと、前記第３のステップで同期が付与した複数の撮影フレームを合成して、１つの配信フレームを生成する第４のステップと、前記第４のステップにより生成した配信フレームを、画像表示端末へ送信する第５のステップとを有することを特徴とする撮影画像配信方法である。

本発明では、動画像データ受信手段により、複数台の撮影装置で撮影した動画像データを受信し、入力手段により、動画像データ受信手段により受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定し、同期手段により、入力手段により指定された複数の動画像データの撮影フレームに対して、同期を付与し、配信画像生成手段により、同期付与手段が同期を付与した複数の撮影フレームを合成して、１つの配信フレームを生成し、送信処理手段により、配信画像生成手段により生成した配信フレームを、画像表示端末へ送信するようにした。
これにより、動画像データを配信する事業者等は、複数の動画像データの所定の撮影フレームを入力手段により指定し、同期付与手段により全ての撮影装置で撮影した動画像データに対して一斉に同期を与えることができる。よって、複数の動画像データを配信する事業者等の編集作業に要する労力を軽減することができる。

以下、本発明の一実施形態による撮影画像配信システムを図面を参照して説明する。
図１は、同実施形態による撮影画像配信システムの構成を示す図である。この撮影画像配信システムは、カメラ１０ａ〜１０ｄ、撮像装置１５、配信画像編集装置２０、エンコーダ３０、ストリーミングサーバ４０、端末５０を有する。ストリーミングサーバ４０と端末５０とは、インターネットなどのネットワーク４５を介して接続されている。

カメラ１０ａ〜１０ｄは、撮像装置１５に接続された機器であり被写体を撮影して動画像データを生成する。また、カメラ１０ａ〜１０ｄは、収音マイクを備えており、周囲の音を収音して音声データを生成する。
なお、本実施形態では、撮像装置１５に４台のカメラ１０ａ〜１０ｄが接続されている場合について説明しているが、これに限定されるものではなく、配信画像編集装置２０にカメラを何台接続しても良い。
また、本実施形態では、配信画像編集装置２０に撮像装置１５が１台接続されている場合について説明しているが、これに限定されるものではなく、配信画像編集装置２０に撮像装置１５を複数台接続するようにしてもよい。

配信画像編集装置２０は、撮像装置１５の記憶媒体に記憶されている動画像データを構成する撮影フレームを指定することにより、同期を付与するタイミングを決定する。また、配信画像編集装置２０は、同期のタイミングが指定された動画像データの撮影フレームを、合成することにより配信フレームを生成する。
エンコーダ３０は、配信画像編集装置２０から出力される配信フレームに対して、エンコード処理することにより、配信データを生成する。ストリーミングサーバ４０は、ネットワーク４５を介して端末５０に配信データを送信する。
端末５０は、ユーザが使用するＰＣ（Personal Computer）などの機器である。ユーザは、ストリーミングサーバ４０から配信される配信データを端末５０で再生することにより、カメラ１０ａ〜１０ｄで撮影、収音した動画像データ、音声データを試聴する。

図２は、本実施形態による配信画像編集装置２０（図１）の機能ブロック図である。この配信画像編集装置２０は、データ受信部２１、制御部２２、配信画像生成部２３、音合成部２４、送信処理部２５、記憶部２６、入力部２７、表示部２８、同期付与部２９を有する。
データ受信部２１は、撮像装置１５の記憶媒体から、各カメラ１０ａ〜１０ｄごとに撮影、収音した動画像データ、音声データを読み出して、記憶部２６に記録する。制御部２２は、配信画像編集装置２０内の各処理部を制御する。
配信画像生成部２３は、記憶部２６に記憶されている、各カメラ１０ａ〜１０ｄごとに撮影した動画像データを構成する撮影フレームを、同期付与部２９が与える同期タイミングに基づいて合成し、配信フレームを生成する。

図３は、本実施形態による配信画像編集装置２０（図１）の配信画像生成部２３による配信フレームの生成方法の一例を示す図である。配信画像生成部２３は、後述する同期付与部２９により同期が付与された複数の動画像データの撮影フレームｆ１〜ｆ４を、１つの配信フレームｆ０として合成する。ここでは、撮影フレームｆ１を左上に、撮影フレームｆ２を右上に、撮影フレームｆ３を左下に、撮影フレームｆ４を右下に配置して、長方形状の配信フレームｆ０を生成する場合を示している。

なお、撮影フレームｆ１〜ｆ４の配置方法は、図３に示すように縦２フレーム×横２フレームとする必要はなく、縦１フレーム×横４フレームで配置したり、縦４フレーム×横１フレームで配置したりすることも可能である。
また、ここでは、４つの撮影フレームｆ１〜ｆ４を、１つの配信フレームｆ０に合成する場合について説明したが、このような構成に限定されるものではない。例えば、９つのカメラ動画像データを撮影した場合には、縦３フレーム×横３フレームとして合成することにより、配信フレームｆ０を生成することもできる。

図２に戻り、音合成部２４は、記憶部２６に記憶されている各カメラ１０ａ〜１０ｄの収音マイクで収音した音声データを合成することにより配信音声データを生成する。
送信処理部２５は、配信画像生成部２３で生成された配信フレームのデータと、音合成部２４で生成された配信音声データとを、エンコーダ３０へ送信する。
記憶部２６は、データ受信部２１が撮像装置１２の記憶媒体から読み出した動画像データと音声データを記憶する。

図４は、本実施形態による配信画像編集装置２０の記憶部２６（図２）に記憶されるデータの一例を示している。図に示すように、カメラ１０ａで撮影された動画像データＶ１と、カメラ１０ａの収音マイクで収音された音声データＡ１とが対応付けられて記憶されている。カメラ１０ｂ、１０ｃ、１０ｄについても同様に、動画像データＶ２、Ｖ３、Ｖ４と、音声データＡ２、Ａ３、Ａ４がそれぞれ対応付けられて記憶されている。

図２に戻り、入力部２７は、キーボードやマウスなどの入力機器により構成され、配信フレームを配信する事業者などの指示を入力する。なお、入力部２７は、表示部２８の表示画面に操作ボタンを表示することにより、配信フレームを配信する事業者などの指示情報を入力してもよい。
表示部２８は、ＬＣＤ（Liquid Crystal Display）などの表示機器を備え、記憶部２６に記憶されている各カメラ１０ａ〜１０ｄごとの動画像データを同時に表示機器に表示する。表示部２８は、表示機器に表示される各カメラ１０ａ〜１０ｄごとの動画像データを独立して操作することができるように制御する。この制御の内容としては、例えば、動画像データの再生や一時停止、巻き戻し、早送りなどがある。

同期付与部２９は、表示部２８に表示されている各カメラ１０ａ〜１０ｄの動画像データの全てに対して、一斉に同期タイミングを付与する。同期タイミングを付与する方法としては、例えば、表示部２８に表示されている各カメラ１０ａ〜１０ｄの動画像データの撮影フレームに、それらの撮影フレームが同期させるフレームであることを示す同期情報を付加することなどの方法を用いることができる。

図５は、本実施形態による配信画像編集装置２０の表示部２８（図２）の表示画面ｄ０の一例を示す図である。同期付与部２９は、４つの動画像データＶ１〜Ｖ４（図４）を記憶部２６から読み出す。そして、表示画面ｄ０を動画像データ数だけ子画面を表示する。ここでは、動画像データ数が４であり、表示画面ｄ０に子画面ｄ１〜ｄ４を表示している場合を示している。
同期付与部２９は、カメラ１０ａで撮影した動画像データを子画面ｄ１に表示し、カメラ１０ｂで撮影した動画像データを子画面ｄ２に表示し、カメラ１０ｃで撮影した動画像データを子画面ｄ３に表示し、カメラ１０ｄで撮影した動画像データを子画面ｄ４に表示する。

子画面ｄ１〜ｄ４には、それぞれ再生／一時停止ボタンｂ１１、ｂ２１、ｂ３１、ｂ４１、巻き戻しボタンｂ１２、ｂ２２、ｂ３２、ｂ４２、早送りボタンｂ３１、ｂ３２、ｂ３３、ｂ３４が表示される。
同期付与部２９は、再生／一時停止ボタンｂ１１、ｂ２１、ｂ３１、ｂ４１が押される度に動画像データの再生と一時停止の処理を切り替える。また、巻き戻しボタンｂ１２、ｂ２２、ｂ３２、ｂ４２が押された場合には、子画面に表示している動画像データを巻き戻す。また、早送りボタンｂ３１、ｂ３２、ｂ３３、ｂ３４が押された場合には、子画面に表示している動画像データを早送りする。

本実施形態による配信フレームを配信する事業者は、それぞれ子画面ｄ１〜ｄ４に表示される動画像データＶ１〜Ｖ４を見ながら、入力部２７である再生／一時停止ボタン、巻き戻しボタン、早送りボタンを操作することにより、各動画像データＶ１〜Ｖ４に対して同期を与えたい撮影フレームで一時停止の状態にする。
その後、本実施形態による配信フレームを配信する事業者が、入力部２７である同期付与ボタンｂ４を押した場合には、同期付与部２９は、その時点で子画面ｄ１〜ｄ４に表示されている動画像データＶ１〜Ｖ４の撮影フレームに対して同期を付与する。

なお、上述した説明では、表示部２８の表示画面に子画面を４つ表示する場合について説明したが、このような構成に限定されるものではない。例えば、配信画像編集装置２０の記憶部２６に多数の動画像データが記憶されているような場合には、それらの全ての動画像データを表示部２８に同時に表示すると、１つ１つの子画面が小さくなりすぎて、操作しにくくなる。このような場合には、表示部２８に１つの画面のみを表示して１つの動画像データに対して同期を与えるフレームで一時停止させた後に、他の動画像データに切り替えて同様の処理を繰り返すことによって、全ての動画像データに対して同期を与える撮影フレームを容易に指定することができる。

図６は、本実施形態による端末５０（図１）の機能ブロック図である。この端末５０は、通信処理部５１、制御部５２、入力部５３、動画像出力処理部５４、記憶部５５、表示部５６を有する。
通信処理部５１は、ネットワーク４５を介して配信データをストリーミングサーバ４０から受信する。制御部５２は、端末５０内の各処理部を制御する。入力部５３は、キーボードやマウスなどの入力機器により構成され、端末５０のユーザの指示を入力する。
動画像出力処理部５４は、受信する配信データに含まれる動画像データを表示部５６に表示する。
記憶部５５は、ＨＤ（Hard Disk）などの記憶装置であり、ストリーミングサーバ４０から配信される配信データを記憶する。表示部５６は、ＬＣＤなどの表示機器を備え、記憶部２６に記憶されている、各カメラ１０ａ〜１０ｄ間で同期が取られた動画像データを同時に表示機器に表示する。

図７は、本実施形態による端末５０の表示部５６に表示される画像の一例を示す図である。図に示すように、端末５０がストリーミングサーバ４０から受信する配信データには、複数のカメラ１０ａ〜１０ｄで撮影され、配信画像生成部２３で同期を付与され合成された配信フレームが含まれている。
端末５０のユーザがマウスなどを利用して特定のカメラの撮影フレームｆ１〜ｆ４をクリックすることにより、その指示を端末５０の制御部５２が受け付け、制御部５２が動画像出力処理部５４へ当該撮影フレームの表示指示を行う。そして動画像出力処理部５４は表示指示を受けた撮影フレームを分離して、表示部に単独で大きく表示する処理を行う。ここでは、撮影フレームｆ１を大きく表示している場合を示している。
なお、図７では、予め撮影フレームｆ１〜ｆ４が合成された配信フレームが表示されている場合を示しているが、この配信フレームを表示せずに、ユーザより指示された撮影フレームのみを表示部５６に表示するようにしても良い。

本実施形態の撮影画像配信システムにおいては、まず配信画像編集装置２０が、複数台のカメラ１０ａ〜１０ｄの撮影した動画像データを順次受信し、それらの動画像データを構成する撮影フレームを、配信フレーム内の所定位置に配置し合成した配信データを生成する。また、配信画像編集装置２０は配信フレームの１フレーム内に配置・合成された撮影フレームそれぞれの位置を示すフレーム位置特定情報を記憶する。
また、配信画像編集装置２０は、生成した配信フレームを順次、エンコーダ３０へ送信する。そして、エンコーダ３０はエンコードの処理を行うことにより配信データを生成し、ストリーミングサーバ４０が端末５０からの配信要求に基づいて配信する。

また、端末５０は、配信要求に応じた配信データを順次受信する。また、端末５０は、フレーム位置特定情報を受信する。そして、端末５０は、フレーム位置特定情報で示される撮影フレームの位置に対応する各撮影フレームを配信フレームから分離して動画像データを表示部５６へ出力する。
なお、本実施形態においては、配信画像編集装置２０、エンコーダ３０、ストリーミングサーバ４０を別々の装置として記載しているが、それぞれの機能を１つの配信画像編集装置２０に持たせるようにしても良い。

図８は、本実施形態による撮影画像配信システムの処理フローを示す図である。
まず、複数の撮影者が複数のカメラ１０ａ〜１０ｄのそれぞれを利用して撮影対象を撮影する。これにより、カメラ１０ａ〜１０ｄは動画像データが生成し、撮像装置１５へ出力する。撮像装置１５は、複数のカメラ１０ａ〜１０ｄのそれぞれから動画像データを取得し、それらの動画像データを配信画像編集装置２０へ順次送信する（ステップＳ１０１）。配信画像編集装置２０では、データ受信部２１（図２）が、各カメラ１０ａ〜１０ｄから送信された動画像データを受信する。

また、カメラ１０ａ〜１０ｄは収音マイクを備えており、各カメラ１０ａ〜１０ｄは、その収音マイクで収音した音声データを配信画像編集装置２０へ送信する。撮像装置１５は、複数のカメラ１０ａ〜１０ｄのそれぞれから音声データを取得し、それらの音声データを配信画像編集装置２０へ順次送信する（ステップＳ１０２）。
各カメラ１０ａ〜１０ｄから出力された動画像データと音声データは、記憶部２６に記憶される（図４参照）。

次に、同期付与部２９は、記憶部２６から複数の動画像データを読み出して、表示部２８の表示画面上に同時に表示する（図５参照）。各動画像データは個々に操作（再生／一時停止、巻き戻し、早送り等）可能であり、カメラ１０ａ〜１０ｄで撮影した動画像データの配信を行う事業者等は、入力部２７である再生／一時停止ボタン（図５）を押すことにより、各動画像データを構成するいずれかの撮影フレームを指定する（ステップＳ１０３）。

次に、配信画像生成部２３（図２）は、複数のカメラ１０ａ〜１０ｄから受信した動画像データを構成する撮影フレームを１つの配信フレーム内に配置・合成する処理を行う（ステップＳ１０４）。この処理は、例えば、撮影フレームが長方形であればその１辺を他の撮影フレームのある１辺と接合して配置・合成しても良いし、１つの撮影フレームの所定の位置にカメラ台数分の各撮影フレームを配置して合成するようにしても良い。
つまり、配信画像生成部２３は、配信フレームが端末５０へ配信された後、当該端末５０において配信フレームに配置・合成された各撮影フレームを分離できるような配置・合成の処理であればどのような配置・合成の処理であっても良い。

なお、合成の具体例としては例えば、撮影フレームの画像信号からビットマップデータへ変換し、各撮影フレームのビットマップデータが同一画面上にビットマップデータにより並べて表示される配信フレームを生成する。また、配信画像編集装置２０は配信フレームにおける各撮影フレームの位置の情報を示すフレーム位置特定情報を生成する（ステップＳ１０５）。また、音合成部２４は各カメラから受信した音を周波数合成し配信音データを生成する（ステップＳ１０６）。

そして、配信画像生成部２３は配信フレームとフレーム位置特定情報とを、また、音合成部２４は合成した配信音声データを送信処理部２５へ転送し、送信処理部２５（図２）がエンコーダ３０へ送信する（ステップＳ１０７）。
次に、エンコーダ３０は送信処理部２５から受信した情報をエンコードして配信データを生成し、ストリーミングサーバ４０へ転送する（ステップＳ１０８）。そして、ストリーミングサーバ４０は、配信要求の情報を受信した端末５０へ、配信フレームと合成した音声データとフレーム位置特定情報とが含まれる配信データを配信する（ステップＳ１０９）。
なお、フレーム位置特定情報は、予めストリーミングサーバ４０が記憶しており、端末５０からの配信要求を受付けることにより、予め当該端末５０へ送信しておくようにしても良い。ここで本実施形態においては、ストリーミングサーバ４０はウェブブラウザの機能と、ストリーミングサーバの機能の両方を備えているものとする。

また上述の例においては、複数台のカメラ１０ａ〜１０ｄから受信した各撮影フレームを配信フレームに合成して直ちに端末５０へ配信しているが、配信画像編集装置２０やストリーミングサーバ４０においてデータベースなどに一時的に記憶しておき、ストリーミングサーバ４０が配信要求を端末５０から受けた場合に当該データベースに記録されている配信フレームを送信するようにしても良い。
この技術は、例えば配信画像編集装置２０が、カメラ１０ａ〜１０ｄから受信した撮影フレームのデータを、受信の順番に保持した画像データファイルを生成してデータベースに記録する。そして、配信画像生成部２３が、ストリーミングサーバ４０を介して端末５０から受信した配信要求に応じて、データベースに記録されている画像データファイルそれぞれから撮影フレームの各１フレームのデータを順に読み込み、それら撮影フレームを配信フレーム内の所定位置に配置し合成した配信画像データとして生成し、エンコーダ３０へ配信する。または、既に合成した配信画像データをストリーミングサーバ４０のデータベースに格納しておき、端末５０からの配信要求に従って配信するようにしても良い。

本実施形態による撮影画像配信システムによれば、動画像データを配信する事業者等は、複数の動画像データの所定の撮影フレームを入力部２７により指定し、同期付与部２９により全ての撮影装置で撮影した動画像データに対して一斉に同期を与えることができる。よって、複数の動画像データを配信する事業者等の編集作業に要する労力を軽減することができる。

また、本実施形態による撮影画像配信システムによれば、各カメラ１０ａ〜１０ｄのそれぞれで撮影された撮影フレームを１つの配信フレームに配置・合成するので、１台の装置によりエンコード処理され、また１つの通信経路を経由して複数のカメラ１０ａ〜１０ｄで撮影された画像のデータが端末５０へ配信されることとなる。
従って、各カメラ１０ａ〜１０ｄで撮影された画像のデータを別々の装置でエンコード処理し、それぞれ別々の通信セッションにより配信する場合に比べて、エンコード装置の処理能力の違いや通信経路の違いがなくなるので、端末５０に各カメラ１０ａ〜１０ｄの画像の撮影フレームが同期して到達する。つまり、各カメラ１０ａ〜１０ｄで撮影した画像が端末５０において同期して表示されるので、各画像のタイムラグが発生せず、これにより視聴するユーザに違和感を与えることを削減することができる。

次に、本実施形態による端末５０の処理フローについて説明する。
まず、端末５０はユーザからの指示に基づいて、ストリーミングサーバ４０の備えるウェブサーバの処理部にアクセスする。そして端末５０は配信要求を送信する。するとウェブサーバの処理部が配信要求を受信し、ストリーミングサーバ４０の処理部へ配信の指示を行う。またストリーミングサーバ４０の記憶部にフレーム位置特定情報が予め記憶されている場合にはウェブサーバの処理部はこのフレーム位置特定情報を端末５０へ送信する。

また、ストリーミング開始時刻（配信要求受信後、または所定の時刻の検知後）になると、ストリーミングサーバ４０は、エンコーダ３０から受信した配信フレームと合成した音声データとを配信データとして端末５０へ配信する。またこの時、フレーム位置特定情報を共に配信するようにしても良い。
そして、端末５０が配信された情報を受信すると、動画像出力処理部５４がフレーム位置特定情報から、配信フレーム内に配置・合成された各撮影フレームの位置を読み取る。この撮影フレームの位置は配信フレームにおける所定の位置（例えば、配信フレームの角（図３の位置Ｐ１）の座標をｘ＝０、ｙ＝０などとする）を基点とした座標などにより示される。

そして、動画像出力処理部５４は、各撮影フレームを配信フレームから分離の処理においては、例えば、各撮影フレームのビットマップデータをキャプチャし、それぞれ別々にモニタなどの表示部に出力する。また動画像出力処理部５４は合成した音声データをスペクトラム解析などによって周波数分離し、複数のカメラのそれぞれで収音された音を分離する。そして、端末５０が選択を受付けた撮影フレームに対応する音をスピーカなどから出力する処理を行う。
以上の処理により、フレーム位置特定情報によって配信フレーム内の撮影フレームを特定しているので、ユーザにより選択された撮影フレームのデータを処理負荷なく容易にキャプチャしてモニタ上に表示することができる。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の実施形態による撮影画像配信システムの構成を示す図である。 本実施形態による配信画像編集装置２０（図１）の機能ブロック図である。 本実施形態による配信画像編集装置２０（図１）の配信画像生成部２３による配信フレームの生成方法の一例を示す図である。 本実施形態による配信画像編集装置２０の記憶部２６（図２）に記憶されるデータの一例を示している。 本実施形態による配信画像編集装置２０の表示部２８（図２）の表示画面ｄ０の一例を示す図である。 本実施形態による端末５０（図１）の機能ブロック図である。 本実施形態による端末５０の表示部５６に表示される画像の一例を示す図である。 本実施形態による撮影画像配信システムの処理フローを示す図である。

符号の説明

１０ａ〜１０ｄ・・・カメラ（撮影装置）、１５・・・撮像装置、２０・・・配信画像編集装置、２１・・・データ受信部（動画像データ受信手段）、２２・・・制御部、２３・・・配信画像生成部（配信画像生成手段）、２４・・・音合成部、２５・・・送信処理部（送信処理手段）、２６・・・記憶部、２７・・・入力部（入力手段）、２８・・・表示部（表示手段）、２９・・・同期付与部（同期付与手段）、３０・・・エンコーダ、４０・・・ストリーミングサーバ、５０・・・端末（画像表示端末）、５１・・・通信処理部、５２・・・制御部、５３・・・入力部、５４・・・動画像出力処理部、５５・・・記憶部、５６・・・表示部

Claims (5)

1. 複数台の撮影装置で撮影した動画像データを受信する動画像データ受信手段と、
   前記動画像データ受信手段により受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定する入力手段と、
   前記入力手段により指定された前記複数の動画像データの撮影フレームに対して、同期を付与する同期付与手段と、
   前記同期付与手段が同期を付与した複数の撮影フレームを合成して、１つの配信フレームを生成する配信画像生成手段と、
   前記配信画像生成手段により生成した配信フレームを、画像表示端末へ送信する送信処理手段と、
   を有することを特徴とする撮影画像配信装置。
2. 前記動画像データ受信手段が受信した複数の動画像データを、１つの表示画面上に同時に表示する表示手段を更に有することを特徴とする請求項１に記載の撮影画像配信装置。
3. 前記送信処理手段は、
   前記配信フレームの各撮影フレームの位置を示すフレーム位置特定情報を、前記画像表示端末へ送信することを特徴とする請求項１又は２に記載の撮影画像配信装置。
4. 複数台の撮影装置で撮影した動画像データを受信させる第１のステップと、
   前記第１のステップで受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定させる第２のステップと、
   前記第２のステップで指定された前記複数の動画像データの撮影フレームに対して、同期を付与させる第３のステップと、
   前記第３のステップで同期が付与された複数の撮影フレームを合成して、１つの配信フレームを生成させる第４のステップと、
   前記第４のステップにより生成された配信フレームを、画像表示端末へ送信させる第５のステップと、
   をコンピュータに実行させるための撮影画像配信プログラム。
5. 複数台の撮影装置で撮影した動画像データを受信する第１のステップと、
   前記第１のステップで受信した複数の動画像データのそれぞれについて、それらの動画像データを構成する撮影フレームを指定する第２のステップと、
   前記第２のステップで指定した前記複数の動画像データの撮影フレームに対して、同期を付与する第３のステップと、
   前記第３のステップで同期が付与した複数の撮影フレームを合成して、１つの配信フレームを生成する第４のステップと、
   前記第４のステップにより生成した配信フレームを、画像表示端末へ送信する第５のステップと、
   を有することを特徴とする撮影画像配信方法。
   

Images