JP2018046433A - 画像同期装置、画像同期プログラム、及び画像同期方法 - Google Patents

Abstract

【課題】画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させる。【解決手段】複数の伝送系は、符号化対象画像を符号化して符号化画像を生成する符号化装置と、符号化画像を伝送する通信ネットワークと、通信ネットワークから受信した符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む。計算部１１１は、複数の伝送系のうち第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する。決定部１１２は、計算部が計算した時間と、複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、待機時間を決定する。待機時間は、第１復号画像の生成から第１復号画像の出力までの時間である。【選択図】図１

Description

本発明は、画像同期装置、画像同期プログラム、及び画像同期方法に関する。

スポーツ番組の中継放送等において、同一又は異なる被写体が複数のカメラで撮影され、それぞれのカメラの映像が符号化されて、Field Pickup Unit（ＦＰＵ）等の無線中継装置を介して符号化映像が受信装置へ伝送されることがある。受信装置は、受信した符号化映像を復号して複数のカメラの映像を復元し、それらの映像を切り替えながら出力したり、多画面の映像として出力したりする。これにより、複数のカメラで撮影された映像を用いて放送が行われる。

複数の映像等の同期制御に関する技術も知られている（例えば、特許文献１〜特許文献３を参照）。

特開２０１５−７０４６０号公報 特開２０１３−６６０８８号公報 特開２０１５−４６７０８号公報

複数のカメラで撮影された映像をそれぞれ異なる複数の伝送系を介して符号化して伝送する場合、復号された映像同士の再生時刻にずれが生じることがある。

なお、かかる問題は、中継放送を行う場合に限らず、監視システム等の他のシステムにおいて、複数のカメラの画像を表示装置の画面に表示する場合においても生ずるものである。

１つの側面において、本発明は、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることを目的とする。

１つの案では、画像同期装置は、計算部及び決定部を含む。複数の伝送系は、符号化対象画像を符号化して符号化画像を生成する符号化装置と、符号化画像を伝送する通信ネットワークと、通信ネットワークから受信した符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む。

計算部は、複数の伝送系のうち第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する。

決定部は、計算部が計算した時間と、複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、待機時間を決定する。待機時間は、第１復号画像の生成から第１復号画像の出力までの時間である。

１つの実施形態によれば、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることができる。

画像同期装置の機能的構成図である。 画像同期処理のフローチャートである。 複数の伝送系を示す図である。 画像同期システムの構成図である。 画像同期装置の具体例を示す機能的構成図である。 待機時間を示す図である。 計測処理を示す図である。 通信処理を示す図である。 符号化処理のフローチャートである。 画像同期処理の具体例を示すフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
ＦＰＵ等の無線中継装置を用いた伝送では、システム構築にコストがかかる。一方、インターネットプロトコル（ＩＰ）ネットワークを用いた伝送では、システム構築のコストを低く抑えることができるため、ＩＰネットワークを利用して中継放送を行うことが望ましい。

しかしながら、ＩＰネットワークを用いた伝送では、経由するルートによって遅延時間が異なる。また、encoder/decoder（ＣＯＤＥＣ）のメーカ又は符号化方式等の差異に応じて、映像の符号化及び復号のための遅延時間も異なってくる。このため、複数のカメラの映像を符号化して、ＩＰネットワークによりリアルタイムで配信し、復号して再生すると、再生される映像同士で時間のずれが生じる。

図１は、実施形態の画像同期装置の機能的構成例を示している。画像同期装置１０１は、計算部１１１及び決定部１１２を含む。複数の伝送系は、符号化対象画像を符号化して符号化画像を生成する符号化装置と、符号化画像を伝送する通信ネットワークと、通信ネットワークから受信した符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む。複数の伝送系には、第１伝送系及び第２伝送系が含まれる。

図２は、図１の画像同期装置１０１が行う画像同期処理の例を示すフローチャートである。まず、計算部１１１は、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する（ステップ２０１）。

決定部１１２は、計算部１１１が計算した時間と、第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、待機時間を決定する（ステップ２０２）。待機時間は、第１復号画像の生成から第１復号画像の出力までの時間である。

図１の画像同期装置１０１によれば、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることができる。

図３は、野球の試合の中継放送を行うための複数の伝送系の例を示している。カメラ３０１−１は、画像３２１−１及び画像３２２−１を含む投手の映像を撮影し、符号化装置３０２−１、通信ネットワーク３０３−１、及び復号装置３０４−１を含む伝送系に、撮影した映像を入力する。カメラ３０１−２は、画像３２１−２及び画像３２２−２を含む打者の映像を撮影し、符号化装置３０２−２、通信ネットワーク３０３−２、及び復号装置３０４−２を含む伝送系に、撮影した映像を入力する。

カメラ３０１−ｉ（ｉ＝１，２）が撮影する映像は、複数の時刻それぞれにおける複数の画像を含む。各時刻の画像は、符号化対象画像に対応し、フレームと呼ばれることがある。通信ネットワーク３０３−ｉは、例えば、ＩＰネットワークである。

符号化装置３０２−ｉは、カメラ３０１−ｉから入力される符号化対象画像を符号化して符号化画像を生成し、生成した符号化画像を通信ネットワーク３０３−ｉへ出力する。通信ネットワーク３０３−ｉは、符号化画像を復号装置３０４−ｉへ伝送する。復号装置３０４−ｉは、通信ネットワーク３０３−ｉから受信した符号化画像を復号して復号画像を生成し、放送装置（不図示）へ転送する。放送装置は、復元された画像３２１−１、画像３２２−１、画像３２１−２、及び画像３２２−２を用いて、放送用の映像を生成する。

このとき、各符号化装置３０２−ｉにおける符号化対象画像の入力から符号化画像の生成までの符号化時間３１１−ｉは、符号化装置３０２−ｉのメーカ、符号化方式、符号化モード等によって異なってくる。

符号化方式には、例えば、Moving Picture Experts Group-2（ＭＰＥＧ−２）、ＭＰＥＧ−４、Ｈ．２６４、High Efficiency Video Coding（ＨＥＶＣ）等のバリエーションがあり、符号化モードには、低遅延モード、高遅延モード等のバリエーションがある。低遅延モードは、画質を低下させることで符号化時間を短くする符号化モードであり、高遅延モードは、符号化時間を長くすることで画質を向上させる符号化モードである。

符号化装置３０２−ｉと同様に、各復号装置３０４−ｉにおける符号化画像の入力から復号画像の生成までの復号時間３１３−ｉは、復号装置３０４−ｉのメーカ、符号化画像の符号化方式、符号化モード等によって異なってくる。

また、各通信ネットワーク３０３−ｉが符号化画像を伝送する伝送時間３１２−ｉは、通信ネットワーク３０３−ｉの距離、通信ネットワーク３０３−ｉに含まれるルータの個数等によって異なってくる。距離が長いほど伝送時間３１２−ｉが長くなり、ルータの個数が多いほど伝送時間３１２−ｉが長くなることが多い。

例えば、通信ネットワーク３０３−１の伝送時間３１２−１よりも通信ネットワーク３０３−２の伝送時間３１２−２の方が長い場合、各伝送系の総遅延時間は、タイミングチャート３３１に示すようになる。総遅延時間は、符号化時間３１１−ｉ、伝送時間３１２−ｉ、及び復号時間３１３−ｉの総和で表される。この場合、画像３２１−１よりも遅れて画像３２１−２が出力され、画像３２２−１よりも遅れて画像３２２−２が出力されるため、２つの伝送系の画像出力が同期しない。

そこで、画像同期装置１０１は、タイミングチャート３３２に示すように、２つの伝送系の総遅延時間を比較して、総遅延時間が短い方の復号画像の出力を、総遅延時間が長い方の復号画像の出力に合わせて遅延させる。より具体的には、画像同期装置１０１は、２つの伝送系の総遅延時間の差分３３３を待機時間に決定し、復号装置３０４−１が生成した復号画像を、待機時間が経過した後に放送装置へ転送させる。これにより、画像３２１−１と画像３２１−２とが同期して放送され、画像３２２−１と画像３２２−２とが同期して放送される。

図４は、複数の伝送系を含む画像同期システムの構成例を示している。図４の画像同期システムは、４つの伝送系及び表示装置４０５を含み、各伝送系は、カメラ４０１−ｉ、符号化装置４０２−ｉ、通信ネットワーク４０３−ｉ、及び画像同期装置４０４−ｉ（ｉ＝１〜４）を含む。画像同期装置４０４−ｉは、図１の画像同期装置１０１に対応する。

画像同期装置４０４−１〜画像同期装置４０４−４は、Local Area Network（ＬＡＮ）４０６を介して互いに通信することができる。通信ネットワーク４０３−ｉは、ＬＡＮ４０６に接続されている。伝送系の個数は４つに限られず、２以上の整数のいずれかであればよい。

図４の画像同期システムは、建物内外の所定エリアを監視する監視システムであってもよい。この場合、カメラ４０１−ｉは、同じエリアをそれぞれ異なる角度から撮影する監視カメラであってもよく、それぞれ異なるエリアを撮影する監視カメラであってもよい。

カメラ４０１−ｉは、被写体の映像を撮影し、符号化装置４０２−ｉ、通信ネットワーク４０３−ｉ、及び画像同期装置４０４−ｉを含む伝送系に、撮影した映像を入力する。このとき、映像とともに録音された音声も各伝送系に入力される。カメラ４０１−ｉが撮影する映像に含まれる各時刻の画像は、符号化対象画像に対応し、フレームと呼ばれることがある。通信ネットワーク４０３−ｉは、例えば、ＩＰネットワークである。

符号化装置４０２−ｉは、カメラ４０１−ｉの映像に含まれる符号化対象画像を符号化して符号化画像を生成し、録音された音声を符号化して符号化音声を生成する。そして、符号化装置４０２−ｉは、符号化画像と符号化音声とを多重化してストリームを生成し、生成したストリームと、符号化装置４０２−ｉにおける画像及び音声の符号化時間４１１−ｉを表す情報とを、通信ネットワーク４０３−ｉへ出力する。

通信ネットワーク４０３−ｉは、符号化装置４０２−ｉから出力されるストリーム及び符号化時間４１１−ｉを表す情報を、画像同期装置４０４−ｉへ伝送する。画像同期装置４０４−ｉは、通信ネットワーク４０３−ｉから受信したストリームに含まれる符号化画像及び符号化音声を復号して、復号画像及び復号音声を生成し、復号画像及び復号音声をＬＡＮ４０６を介して表示装置４０５へ転送する。

画像同期装置４０４−１〜画像同期装置４０４−４から出力される４つの映像を同時に表示する場合、表示装置４０５の画面が領域４２１−１〜領域４２１−４の４つの領域に分割される。そして、画像同期装置４０４−ｉから出力される復号画像が領域４２１−ｉに表示される。これにより、表示装置４０５は、復元された４つの映像を画面上に同時に表示することができる。

一方、４つの映像を切り替えながら表示する場合、ユーザはいずれかの映像を選択し、表示装置４０５は、ユーザが選択した映像の復号画像を画面上に表示する。表示装置４０５は、表示される映像に対応する復号音声を出力してもよい。

図３の場合と同様に、各符号化装置４０２−ｉにおける画像及び音声の符号化時間４１１−ｉは、メーカ、符号化方式、符号化モード等によって異なってくる。各画像同期装置４０４−ｉにおける画像及び音声の復号時間４１３−ｉは、ストリームの構造、符号化レート等によって異なってくる。また、各通信ネットワーク４０３−ｉにおけるストリームの伝送時間４１２−ｉは、通信ネットワーク４０３−ｉの距離、ルータの個数等によって異なってくる。

図５は、図４の画像同期装置４０４−ｉの具体例を示している。図５の画像同期装置４０４−ｉは、通信部５０１、デマルチプレクサ５０２、復号装置５０３、計算部５０４、記憶部５０５、決定部５０６、及び出力部５０７を含む。計算部５０４及び決定部５０６は、図１の計算部１１１及び決定部１１２にそれぞれ対応する。

通信部５０１は、例えば、２個のＬＡＮポートを含み、一方のＬＡＮポートを介して符号化装置４０２−ｉと通信し、他方のＬＡＮポートを介して、他の画像同期装置４０４−ｊ（ｊ≠ｉ）及び表示装置４０５と通信する。記憶部５０５は、通信ネットワーク４０３−ｉにおける伝送時間４１２−ｉを記憶する。伝送時間４１２−ｉは、事前に計測されて記憶部５０５に格納される。

通信部５０１は、通信ネットワーク４０３−ｉから、符号化装置４０２−ｉが生成したストリームを受信して、デマルチプレクサ５０２へ出力する。また、通信部５０１は、通信ネットワーク４０３−ｉから符号化時間４１１−ｉを表す情報を受信して、計算部５０４へ出力する。

デマルチプレクサ５０２は、ストリームを非多重化して符号化画像と符号化音声とを分離し、分離した符号化画像及び符号化音声を、復号装置５０３及び計算部５０４の両方へ出力する。復号装置５０３は、符号化画像及び符号化音声を復号して、復号画像及び復号音声を生成し、生成した復号画像及び復号音声を出力部５０７へ出力する。

計算部５０４は、符号化画像及び符号化音声を用いて、復号装置５０３における復号時間４１３−ｉを計算する。復号時間４１３−ｉは、復号装置５０３に対する符号化画像及び符号化音声の入力から、復号画像及び復号音声の生成までの時間を表す。そして、計算部５０４は、符号化時間４１１−ｉと、記憶部５０５が記憶する伝送時間４１２−ｉと、復号時間４１３−ｉとを加算することで、画像同期装置４０４−ｉが属する伝送系の総遅延時間を計算する。

通信部５０１は、ＬＡＮ４０６を介して、画像同期装置４０４−ｉが属する伝送系の総遅延時間を表す情報を、他の画像同期装置４０４−ｊへ送信する。また、通信部５０１は、ＬＡＮ４０６を介して、他の画像同期装置４０４−ｊから、その画像同期装置４０４−ｊが属する伝送系の総遅延時間を表す情報を受信して、決定部５０６へ出力する。

決定部５０６は、画像同期装置４０４−ｉが属する伝送系の総遅延時間と、他の画像同期装置４０４−ｊが属する伝送系の総遅延時間とを比較して、復号画像及び復号音声の生成から出力までの待機時間を決定し、出力部５０７へ出力する。例えば、決定部５０６は、複数の伝送系の総遅延時間のうち最大の総遅延時間と、画像同期装置４０４−ｉが属する伝送系の総遅延時間との差分を、待機時間に決定することができる。

出力部５０７は、復号装置５０３より復号画像及び復号音声を受信してから待機時間が経過した後に、ＬＡＮ４０６を介して、復号画像及び復号音声を表示装置４０５へ出力する。これにより、各画像同期装置４０４−ｉの復号画像及び復号音声が、最大の総遅延時間を有する伝送系に合わせて遅延させて出力されるため、４つの伝送系の出力を同期させることができる。

図６は、図４の４つの伝送系のうち３つの伝送系を用いてストリームを配信する場合の待機時間の例を示している。この例では、時刻０ｍｓにおいて、カメラ４０１−ｉ（ｉ＝１〜３）から符号化装置４０２−ｉへ同時に映像が入力される。各伝送系における符号化時間４１１−ｉ、伝送時間４１２−ｉ、復号時間４１３−ｉ、及び総遅延時間は、以下の通りである。

（１）ｉ＝１
符号化時間４１１−１： １５０ｍｓ
伝送時間４１２−１： ２００ｍｓ
復号時間４１３−１： １００ｍｓ
総遅延時間： ４５０ｍｓ
（２）ｉ＝２
符号化時間４１１−２： ２３０ｍｓ
伝送時間４１２−２： １５０ｍｓ
復号時間４１３−２： １７０ｍｓ
総遅延時間： ５５０ｍｓ
（３）ｉ＝３
符号化時間４１１−３： ２００ｍｓ
伝送時間４１２−３： ２５０ｍｓ
復号時間４１３−３： １５０ｍｓ
総遅延時間： ６００ｍｓ

この場合、ｉ＝３の伝送系の総遅延時間６００ｍｓが最大であるため、画像同期装置４０４−３は、待機時間を０ｍｓに決定する。一方、画像同期装置４０４−１は、待機時間６０１−１を１５０ｍｓ（＝６００ｍｓ−４５０ｍｓ）に決定し、画像同期装置４０４−２は、待機時間６０１−２を５０ｍｓ（＝６００ｍｓ−５５０ｍｓ）に決定する。これにより、時刻６００ｍｓにおいて、画像同期装置４０４−１〜画像同期装置４０４−３から同時に復号画像及び復号音声が出力される。

画像同期装置４０４−１は、時刻３５０ｍｓにおいて、総遅延時間を計算して他の画像同期装置４０４−２及び画像同期装置４０４−３へ送信する。画像同期装置４０４−２は、時刻３８０ｍｓにおいて、総遅延時間を計算して他の画像同期装置４０４−１及び画像同期装置４０４−３へ送信する。画像同期装置４０４−３は、時刻４５０ｍｓにおいて、総遅延時間を計算して他の画像同期装置４０４−１及び画像同期装置４０４−２へ送信する。したがって、各画像同期装置４０４−ｉは、すべての総遅延時間が参照可能になる時刻４５０ｍｓにおいて、待機時間を決定する。

なお、映像に含まれる複数のフレームのうち、符号化時間４１１−ｉ及び復号時間４１３−ｉが１フレーム当たりの処理時間を超えるのは、複数のフレームをバッファに蓄積する処理が行われる、最初のフレームのみである。このため、復号画像及び復号音声の待機時間は、最初のフレームに対して決定すれば十分であり、２枚目以降のフレームに対して待機時間を新たに計算する必要はない。ただし、符号化装置４０２−ｉが映像の途中で符号化モードを変更した場合は、符号化時間４１１−ｉ及び復号時間４１３−ｉが変化するため、改めて待機時間が計算される。

図５の画像同期装置４０４−ｉによれば、複数のカメラの映像を符号化して、ＩＰネットワークによりリアルタイムで配信し、復号して再生した場合であっても、再生される映像同士を同期させることが可能になる。

図７は、通信ネットワーク４０３−ｉにおける伝送時間４１２−ｉを計測する計測処理の例を示している。この例では、符号化装置４０２−ｉと画像同期装置４０４−ｉとの間のラウンドトリップタイム（ＲＴＴ）の半分が、伝送時間４１２−ｉとして用いられる。

まず、符号化装置４０２−ｉは、Real-time Transport protocol Control Protocol Sender Report（ＲＴＣＰ ＳＲ）パケットを生成し、通信ネットワーク４０３−ｉを介して画像同期装置４０４−ｉへ送信する（ステップ７０１）。このとき、ＲＴＣＰ ＳＲパケットには、ＲＴＣＰ ＳＲパケットの送信時刻ｔ１が記述される。

画像同期装置４０４−ｉは、ＲＴＣＰ ＳＲパケットを受信すると、ＲＴＣＰ Receiver Report（ＲＲ）パケットを生成し、通信ネットワーク４０３−ｉを介して符号化装置４０２−ｉへ送信する（ステップ７０２）。このとき、ＲＴＣＰ ＲＲパケットのＤＬＳＲフィールドには、ＲＴＣＰ ＳＲパケットの受信時刻ｔ２とＲＴＣＰ ＲＲパケットの送信時刻ｔ３との差分（ｔ３−ｔ２）が記述され、ＬＳＲフィールドには、ＲＴＣＰ ＳＲパケットの送信時刻ｔ１が記述される。

符号化装置４０２−ｉは、ＲＴＣＰ ＲＲパケットを受信すると、ＲＴＣＰ ＲＲパケットの受信時刻ｔ４から、ＤＬＳＲフィールドに記述された差分とＬＳＲフィールドに記述された送信時刻ｔ１とを減算することで、ＲＴＴを計算する。そして、符号化装置４０２−ｉは、ＲＴＴを記述したＲＴＣＰ Application Defined（ＡＰＰ）パケットを生成し、通信ネットワーク４０３−ｉを介して画像同期装置４０４−ｉへ送信する（ステップ７０３）。

画像同期装置４０４−ｉは、ＲＴＣＰ ＡＰＰパケットを受信すると、ＲＴＣＰ ＡＰＰパケットに記述されたＲＴＴの半分の時間を、伝送時間４１２−ｉとして記憶部５０５に格納する。

図８は、画像同期装置４０４−１〜画像同期装置４０４−４の間でそれぞれの伝送系の総遅延時間を送受信する通信処理の例を示している。各画像同期装置４０４−ｉには、ＩＰアドレスが識別情報として割り当てられており、画像同期装置４０４−ｉの記憶部５０５は、画像同期処理の対象となる他の画像同期装置４０４−ｊのＩＰアドレスを記憶している。画像同期装置４０４−１〜画像同期装置４０４−４のＩＰアドレスは、以下の通りである。

画像同期装置４０４−１： １０．０．０．１
画像同期装置４０４−２： １０．０．０．２
画像同期装置４０４−３： １０．０．０．３
画像同期装置４０４−４： １０．０．０．４

画像同期装置４０４−１の記憶部５０５には、画像同期装置４０４−２〜画像同期装置４０４−４のＩＰアドレスが登録されている。画像同期装置４０４−２の記憶部５０５には、画像同期装置４０４−１、画像同期装置４０４−３、及び画像同期装置４０４−４のＩＰアドレスが登録されている。

画像同期装置４０４−３の記憶部５０５には、画像同期装置４０４−１、画像同期装置４０４−２、及び画像同期装置４０４−４のＩＰアドレスが登録されている。画像同期装置４０４−４の記憶部５０５には、画像同期装置４０４−１〜画像同期装置４０４−３のＩＰアドレスが登録されている。

各画像同期装置４０４−ｉは、映像に含まれる最初のフレームを受信したときに、対応する伝送系の総遅延時間を計算する。次に、各画像同期装置４０４−ｉは、他の画像同期装置４０４−ｊのＩＰアドレスを宛先とする、総遅延時間を記述した通知パケットを生成して、他のすべての画像同期装置４０４−ｊへ送信する。そして、各画像同期装置４０４−ｉは、他のすべての画像同期装置４０４−ｊから通知パケットを受信すると、すべての伝送系の総遅延時間のうち最大の総遅延時間と、画像同期装置４０４−ｉが属する伝送系の総遅延時間との差分を、待機時間に決定する。

図９は、図４の符号化装置４０２−ｉが行う符号化処理の例を示すフローチャートである。まず、符号化装置４０２−ｉは、映像及び音声に対する符号化モードを設定する（ステップ９０１）。符号化モードとしては、例えば、低遅延モード、高遅延モード等のうちいずれかの符号化モードが用いられる。そして、符号化装置４０２−ｉは、符号化装置４０２−ｉにおける所定の符号化方式と設定した符号化モードとに対応する、フレーム毎の符号化時間４１１−ｉを計算する（ステップ９０２）。

次に、符号化装置４０２−ｉは、所定の符号化方式と設定した符号化モードとを用いて映像及び音声の符号化を開始し（ステップ９０３）、フレーム毎に符号化画像及び符号化音声を多重化したストリームを生成する（ステップ９０４）。そして、符号化装置４０２−ｉは、生成したストリームと符号化時間４１１−ｉを表す情報とを、通信ネットワーク４０３−ｉを介して画像同期装置４０４−ｉへ送信する。

次に、符号化装置４０２−ｉは、符号化モードを変更するか否かを判定する（ステップ９０５）。例えば、符号化装置４０２−ｉは、ユーザによって符号化モード変更指示が入力された場合に、符号化モードを変更することができる。

符号化モードを変更しない場合（ステップ９０５，ＮＯ）、符号化装置４０２−ｉは、ストリーム配信を終了するか否かを判定する（ステップ９０６）。例えば、符号化装置４０２−ｉは、ユーザによって配信停止指示が入力された場合、又はカメラ４０１−ｉからの映像入力が停止した場合に、ストリーム配信を終了することができる。ストリーム配信を終了しない場合（ステップ９０６，ＮＯ）、符号化装置４０２−ｉは、次のフレームについてステップ９０４以降の処理を繰り返す。

一方、符号化モードを変更する場合（ステップ９０５，ＹＥＳ）、符号化装置４０２−ｉは、次のフレームについてステップ９０１以降の処理を繰り返す。そして、ストリーム配信を終了する場合（ステップ９０６，ＹＥＳ）、符号化装置４０２−ｉは、処理を終了する。

図１０は、図４の画像同期装置４０４−ｉが行う画像同期処理の具体例を示すフローチャートである。まず、通信部５０１は、通信ネットワーク４０３−ｉを介して符号化装置４０２−ｉから、ストリームと符号化時間４１１−ｉを表す情報とをフレーム毎に受信する（ステップ１００１）。そして、復号装置５０３は、受信したストリームに含まれる符号化画像及び符号化音声を復号して、復号画像及び復号音声を出力部５０７へ出力する。

次に、計算部５０４は、符号化画像及び符号化音声を用いて復号時間４１３−ｉを計算する（ステップ１００２）。そして、計算部５０４は、符号化時間４１１−ｉと、記憶部５０５が記憶する伝送時間４１２−ｉと、復号時間４１３−ｉとを加算することで、総遅延時間を計算する（ステップ１００３）。

次に、計算部５０４は、総遅延時間が変化したか否かを判定する（ステップ１００４）。例えば、計算部５０４は、前回計算した総遅延時間と異なる総遅延時間が得られた場合に、総遅延時間が変化したと判定することができる。符号化装置４０２−ｉが符号化モードを変更した場合、それに伴って符号化時間４１１−ｉ及び復号時間４１３−ｉも変更されるため、総遅延時間が変化する。また、ストリームに含まれる最初のフレームを受信したときは、総遅延時間が変化したと判定される。

総遅延時間が変化した場合（ステップ１００４，ＹＥＳ）、画像同期装置４０４−ｉは、復号画像及び復号音声の出力を停止する（ステップ１００５）。ただし、ストリームに含まれる最初のフレームを受信したときは、ステップ１００５の処理はスキップされる。そして、通信部５０１は、計算部５０４が計算した総遅延時間を表す情報を、他の画像同期装置４０４−ｊ（ｊ≠ｉ）へ送信する（ステップ１００６）。

次に、決定部５０６は、他のすべての画像同期装置４０４−ｊから総遅延時間を表す情報を受信したか否かをチェックする（ステップ１００７）。いずれかの画像同期装置４０４−ｊから総遅延時間を表す情報を受信していない場合（ステップ１００７，ＮＯ）、決定部５０６は、ステップ１００７の処理を繰り返す。そして、他のすべての画像同期装置４０４−ｊから総遅延時間を表す情報を受信した場合（ステップ１００７，ＹＥＳ）、決定部５０６は、計算部５０４が計算した総遅延時間と受信したそれぞれの総遅延時間とを比較する（ステップ１００８）。

受信したすべての総遅延時間が、計算部５０４が計算した総遅延時間以下である場合（ステップ１００８，ＹＥＳ）、決定部５０６は、計算部５０４が計算した総遅延時間が最大であると判定し、待機時間を０に決定する。そして、出力部５０７は、復号画像及び復号音声を表示装置４０５へ出力する（ステップ１００９）。

一方、受信したいずれかの総遅延時間が、計算部５０４が計算した総遅延時間よりも大きい場合（ステップ１００８，ＮＯ）、決定部５０６は、受信した総遅延時間のうち最大の総遅延時間と、計算部５０４が計算した総遅延時間との差分を、待機時間に決定する。そして、出力部５０７は、待機時間が経過するまで待機して（ステップ１０１１）、復号画像及び復号音声を表示装置４０５へ出力する（ステップ１００９）。

次に、画像同期装置４０４−ｉは、復号画像及び復号音声の出力を終了するか否かを判定する（ステップ１０１０）。例えば、画像同期装置４０４−ｉは、ユーザによって出力停止指示が入力された場合、又は符号化装置４０２−ｉからのストリーム配信が停止した場合に、復号画像及び復号音声の出力を終了することができる。復号画像及び復号音声の出力を終了しない場合（ステップ１０１０，ＮＯ）、画像同期装置４０４−ｉは、次のフレームについてステップ１００１以降の処理を繰り返す。

総遅延時間が変化しない場合（ステップ１００４，ＮＯ）、画像同期装置４０４−ｉは、ステップ１００９以降の処理を行う。そして、復号画像及び復号音声の出力を終了する場合（ステップ１０１０，ＹＥＳ）、画像同期装置４０４−ｉは、処理を終了する。

図１及び図５の画像同期装置の構成は一例に過ぎず、画像同期装置の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、復号処理が画像同期装置の外部で行われる場合は、図５の復号装置５０３及び出力部５０７を省略することができる。

図４の画像同期システムの構成は一例に過ぎず、画像同期システムの用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、画像同期システムがスポーツ番組等の中継放送に用いられる場合は、表示装置４０５を省略することができる。

また、画像同期システムは、音声を省略して映像のみを配信することもできる。この場合、各伝送系には映像のみが入力され、符号化装置４０２−ｉは、符号化画像を含むストリームを通信ネットワーク４０３−ｉへ出力する。そして、画像同期装置４０４−ｉは、通信ネットワーク４０３−ｉから受信したストリームに含まれる符号化画像を復号して、復号画像を表示装置４０５へ転送する。

図２、図９、及び図１０のフローチャートは一例に過ぎず、画像同期装置又は画像同期システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、映像の途中で符号化モードを変更しない場合は、図９のステップ９０１、ステップ９０５、図１０のステップ１００４、及びステップ１００５の処理を省略することができる。この場合、画像同期装置４０４−ｉは、２枚目以降のフレームに対してステップ１００２〜ステップ１００８及びステップ１０１１の処理をスキップする。

図３、図４、及び図６の符号化時間及び復号時間は一例に過ぎず、これらの時間は、配信される映像及び音声の情報量、符号化装置及び復号装置のメーカ、符号化方式、符号化モード等に応じて変化する。図３、図４、及び図６の伝送時間は一例に過ぎず、伝送時間は、配信される映像及び音声の情報量、通信ネットワークの距離、ルータの個数等に応じて変化する。

図７の計測処理は一例に過ぎず、ＲＴＴ以外の時間に基づいて通信ネットワークの伝送時間を推定してもよい。図８の通信処理は一例に過ぎず、通知パケット以外の方法によって総遅延時間を他の画像同期装置に通知してもよい。

図１１は、図１の画像同期装置１０１及び図５の画像同期装置４０４−ｉとして用いられる情報処理装置（コンピュータ）の構成例を示している。図１１の情報処理装置は、Central Processing Unit（ＣＰＵ）１１０１、メモリ１１０２、入力装置１１０３、出力装置１１０４、補助記憶装置１１０５、媒体駆動装置１１０６、及びネットワーク接続装置１１０７を含む。これらの構成要素はバス１１０８により互いに接続されている。

メモリ１１０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１１０２は、図５の記憶部５０５として用いることができる。

ＣＰＵ１１０１（プロセッサ）は、例えば、メモリ１１０２を利用してプログラムを実行することにより、図１の計算部１１１及び決定部１１２として動作する。ＣＰＵ１１０１は、メモリ１１０２を利用してプログラムを実行することにより、図５のデマルチプレクサ５０２、復号装置５０３、計算部５０４、及び決定部５０６としても動作する。

入力装置１１０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示及び情報の入力に用いられる。出力装置１１０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。

補助記憶装置１１０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１１０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１１０５にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。補助記憶装置１１０５は、図５の記憶部５０５として用いることができる。

媒体駆動装置１１０６は、可搬型記録媒体１１０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１１０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１１０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１１０９にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１１０２、補助記憶装置１１０５、又は可搬型記録媒体１１０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１１０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１１０７を介して受け取り、それらをメモリ１１０２にロードして使用することができる。ネットワーク接続装置１１０７は、図５の通信部５０１及び出力部５０７として用いることができる。

なお、情報処理装置が図１１のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１１０３及び出力装置１１０４を省略してもよい。また、可搬型記録媒体１１０９を利用しない場合は、媒体駆動装置１１０６を省略してもよい。

図４の符号化装置４０２−ｉとして、図１１と同様の情報処理装置を用いることもできる。この場合、カメラ４０１−ｉは、バス１１０８に接続されていてもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１１を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する計算部と、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化部に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する決定部と、
を備えることを特徴とする画像同期装置。
（付記２）
前記決定部は、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記１記載の画像同期装置。
（付記３）
前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信する通信部と、
前記第１復号装置と、
前記第１復号画像を出力する出力部とをさらに備え、
前記計算部は、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、前記出力部は、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする付記１又は２記載の画像同期装置。
（付記４）
前記通信部は、前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記３記載の画像同期装置。
（付記５）
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算し、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する、
処理をコンピュータに実行させる画像同期プログラム。
（付記６）
前記コンピュータは、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記５記載の画像同期プログラム。
（付記７）
前記コンピュータは、前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信し、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする付記５又は６記載の画像同期プログラム。
（付記８）
前記コンピュータは、前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記７記載の画像同期プログラム。
（付記９）
コンピュータが、
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算し、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する、
ことを特徴とする画像同期方法。
（付記１０）
前記コンピュータは、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記９記載の画像同期方法。
（付記１１）
前記コンピュータは、前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信し、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする付記９又は１０記載の画像同期方法。
（付記１２）
前記コンピュータは、前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記１１記載の画像同期方法。

１０１、４０４−１〜４０４−４ 画像同期装置
１１１、５０４ 計算部
１１２、５０６ 決定部
３０１−１、３０１−２、４０１−１〜４０１−４ カメラ
３０２−１、３０２−２、４０２−１〜４０２−４ 符号化装置
３０３−１、３０３−２、４０３−１〜４０３−４ 通信ネットワーク
３０４−１、３０４−２、５０３ 復号装置
３１１−１、３１１−２、４１１−１〜４１１−４ 符号化時間
３１２−１、３１２−２、４１２−１〜４１２−４ 伝送時間
３１３−１、３１３−２、４１３−１〜４１３−４ 復号時間
３２１−１、３２１−２、３２２−１、３２２−２ 画像
３３１、３３２ タイミングチャート
３３３ 差分
４０５ 表示装置
４０６ ＬＡＮ
４２１−１〜４２１−４ 領域
５０１ 通信部
５０２ デマルチプレクサ
５０５ 記憶部
５０７ 出力部
６０１−１、６０１−２ 待機時間
１１０１ ＣＰＵ
１１０２ メモリ
１１０３ 入力装置
１１０４ 出力装置
１１０５ 補助記憶装置
１１０６ 媒体駆動装置
１１０７ ネットワーク接続装置
１１０８ バス
１１０９ 可搬型記録媒体

Claims (5)

1. 符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する計算部と、
   前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化部に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する決定部と、
   を備えることを特徴とする画像同期装置。
2. 前記決定部は、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする請求項１記載の画像同期装置。
3. 前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信する通信部と、
   前記第１復号装置と、
   前記第１復号画像を出力する出力部とをさらに備え、
   前記計算部は、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、前記出力部は、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする請求項１又は２記載の画像同期装置。
4. 符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算し、
   前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する、
   処理をコンピュータに実行させる画像同期プログラム。
5. コンピュータが、
   符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算し、
   前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する、
   ことを特徴とする画像同期方法。

Images