JP2007288269A - 映像受信再生装置 - Google Patents

Abstract

【課題】複数の独立したビデオカメラの映像の複数フレームを同期する安価な映像受信再生装置を得る。
【解決手段】スレーブの映像受信再生装置３２の検出部３２８は、マスタ映像受信再生装置３１からデジタル音声データを受信し、受信したデジタル音声データと自機３２のデジタル音声データとを比較し、マスタ３１と自機３２の音声ストリームの時間のずれを検出し時間差を算出し、算出した時間差を同期制御部３２５に対して通知する。同期制御部３２５は閾値を用いてこの時間差をチェックし、時間差に応じて自機３２の参照時間を補正することにより、より正確な同期再生を行う。
【選択図】図１

Description

本発明は映像受信再生装置に関するものである。

従来から１台のカメラの解像度以上の映像や３次元の映像を得る方法は、複数のカメラを用いて同一の撮影対象を同時に撮影（同期撮影）し、撮影した映像を合成する方法がある。従来の複数のカメラの映像を同期させる方法は、１台のカメラで光パルス信号を発生させ、この信号に同期して他のカメラの撮影動作を同期させるもの（例えば、特許文献１参照）や、入力光に基づくヒストグラムを取得し、ヒストグラムの変化に基づいて同期タイミングを生成して同期させるものであった（例えば、特許文献２参照）。

特開２００２―３４４８００号公報（第３頁〜５頁、第１図） 特開２００５−１９１９６０号公報（第６頁、第７図）

しかしながら、従来の同期方法は、タイミング信号（光パルス信号）やヒストグラムの変化で同期を取るため、該当するフレームが1枚に特定できる写真（静止画）のフレームを同期するには有効であるが、動画のように連続する複数フレームに対しては、各カメラ上の連続する複数フレームの、どのフレーム間を同期すればよいかの判断が難しいため、動画には適用できなかった。動画の場合、各カメラ装置の処理動作を同期して、複数フレームを同期する必要があるためである。高価なビデオカメラの場合は、GENLOCK同期信号で各カメラを同期する方法や専用伝送装置間に同期する仕掛けを付加する方法があるが、コストが高くなってしまう課題があった。

上記のような課題を解決するため、本願発明はスレーブの映像受信再生装置がマスタの映像受信再生装置からのデジタル音声データを用いてマスタの映像受信再生装置と同期することで、間接的にマスタの映像受信再生装置とスレーブの映像受信再生装置のビデオデコーダ部やオーディオデコーダ部を同期再生することが可能になり、特別な同期回路を持たずに複数フレームを同期化する安価な映像受信再生装置を得ることを目的とする。

本願発明に係る映像受信再生装置は、符号化音声データを復号化するオーディオデコーダ部と、符号化映像データを復号化するビデオデコーダ部と、システムデータから基準時間情報を抽出して参照時間とし、ビデオデコーダ部とオーディオデコーダ部の同期再生を制御する同期制御部と、オーディオデコーダ部により復号化された音声データと同一撮影対象を同時に撮影したデータを処理する他機から受信した音声データの時間差に基づき同期制御部の参照時間を制御する検出部とで構成する。

本発明に係る映像受信再生装置は、特別な同期回路を持たずに複数フレームを同期化する効果を奏する。

以下、この発明の実施の様々な形態を説明する。
実施の形態１．
図１はこの実施の形態１による映像受信再生装置３１，３２，３３を示す回路構成図である。
この映像受信再生装置３１，３２，３３は、ビデオカメラ１１，１２，１３からネットワークを経由して映像ストリームデータを入力し、デジタル音声データを用いて映像受信再生装置３１，３２，３３間を同期再生するものである。

図１において、ビデオカメラ１１，１２，１３はある風景や被写体の映像を撮影するアナログビデオカメラであり、本発明によりこれら三つの映像は最終的には一つの映像のように同期再生することができる。例えば、ビデオカメラ１１，１２，１３の解像度が640x480とすると、実施の形態１によって、640x1440程度（重なり部分があるため、正確にはこれより少ない）の解像度の映像再生が可能となる。映像伝送装置２１，２２，２３はビデオカメラ１１，１２，１３のそれぞれの映像信号と音声信号を符号化した後、ネットワークへ伝送する装置である。映像受信再生装置３１，３２，３３は映像伝送装置２１，２２，２３から映像ストリームデータを受信し再生する装置である。

映像受信再生装置３１において、映像受信部３１１はネットワークから符号化映像データと符号化音声データとシステムデータが多重された映像ストリームデータを取得しシステムデコーダ部３１２に映像ストリームデータに出力する回路、システムデコーダ部３１２は映像受信部３１１から出力された映像ストリームデータを入力し符号化映像データと符号化音声データとシステムデータを分離し出力する回路、ビデオデコーダ部３１３はシステムデコーダ部３１２から分離出力された符号化映像データをデコードし映像出力部３１６にデジタル映像データを出力する回路、オーディオデコーダ部３１４はシステムデコーダ部３１２から分離出力された符号化音声データをデコードしデジタル音声データを出力する回路、同期制御部３１５はシステムデコーダ部３１２から分離出力されたシステムデータを入力し基準時間情報を抽出して参照時間としビデオデコーダ部３１３とオーディオデコーダ部３１４のデコード処理をこの参照時間を用いて制御する回路である。

映像出力部３１６はビデオデコーダ部３１３からデジタル映像データを入力し外部へ映像出力する回路、音声出力部３１７はオーディオデコーダ部３１４からのデジタル音声データを外部へ音声出力する回路、検出部３１８はマスタの映像受信再生装置からのデジタル音声データと自機の映像受信再生装置３１のデジタル音声データを比較して検出した時間（位相）のずれの時間差に基づき同期制御部３１５を制御する回路、切替部３１９は自機の映像受信再生装置３１がマスタの映像受信再生装置の場合は他の映像受信再生装置３２，３３にデジタル音声データを送信するように切り替えて自機の映像受信再生装置３１がスレーブ映像受信再生装置の場合はマスタの映像受信再生装置３２又は３３からのデジタル音声データを受信できるように切り替える回路である。映像受信再生装置３２，３３の構成は映像受信再生装置３１と同様である。表示装置４１，４２，４３は、映像受信再生装置３１，３２，３３からの映像出力を表示する装置である。

次に動作について、図１の実施の形態１に係る映像受信再生装置の構成図と、図２の映像受信再生装置のフローチャートとを用いて説明する。
まず、各々の映像受信再生装置３１，３２，３３内の符号化映像データと符号化音声データの同期化について説明する。
ビデオカメラ１１，１２，１３で風景等を撮影する。撮影された映像信号及び音声信号は映像伝送装置２１，２２，２３でエンコード化され、映像伝送装置２１，２２，２３は符号化映像データ・符号化音声データ・システムデータを多重化して映像ストリームデータを生成し、映像ストリームデータはネットワークを経由して映像受信再生装置３１，３２，３３へ伝送される。映像ストリームデータの多重化方法は色々あるが、MPEG-2 TS(Moving Picture Coding Experts Group phase 2 Transport Stream)形式で行う方法が一般的にある。また、伝送単位はパケット形式で分割して伝送する方法が一般的である。IP(Internet Protocol)ネットワークを経由する場合、データはUDP(User Datagram Protocol)、RTP（Real-time Transport Protocol）、TCP(Transmission Control Protocol)又はHTTP(Hyper Text Transfer Protocol)で伝送されることが多い。

映像受信再生装置３１，３２，３３は、各々伝送された映像ストリームデータを受信する。映像ストリームデータは、一般的にネットワーク経由で受信する場合、パケット損失の検出やパケット順序の逆転が発生する可能性があるため、映像受信部３１１，３２１，３３１は映像ストリームデータの正当性をチェックする。映像受信部３１１，３２１，３３１は、映像ストリームデータを正しく受信できていると判断した場合、受信した映像ストリームデータをシステムデコーダ部３１２，３２２，３３２へ送信する。

システムデコーダ部３１２，３２２，３３２は多重化された映像ストリームデータを符号化映像データと符号化音声データとシステムデータに分離する（ＳＴ０１）。システムデコーダ部３１２，３２２，３３２は、各ビデオデコーダ部３１３，３２３，３３３に符号化映像データを、各オーディオデコーダ部３１４，３２４，３３４に符号化音声データを、各同期制御部３１５，３２５，３３５にシステムデータを伝送する。そして、同期制御部３１５，３２５，３３５は伝送されたシステムデータから基準時間情報を抽出し、参照時間とする（ＳＴ０２）。この参照時間は最初に抽出した基準時間情報を初期値とする。この基準時間情報は、MPEG-2 TSの場合、PCR(Program Clock Reference)と呼ばれる。ビデオデコーダ部３１３，３２３，３３３とオーディオデコーダ部３１４，３２４，３３４はこの参照時間を参照して、それぞれ復号化処理を実行する。

つまり、同期制御部３１５，３２５，３３５は、定期的に受信する基準時間情報を用いて参照時間を都度補正し、この参照時間を用いてビデオデコーダ部３１３，３２３，３３３とオーディオデコーダ部３１４，３２４，３３４内に持つシステム基準時間を都度補正する制御を行っている。

映像受信再生装置３１において、ビデオデコーダ部３１３は、符号化映像データ中のタイムスタンプ情報と参照時間を使用して符号化映像データを復号化処理する。同様に、オーディオデコーダ部３１４は、符号化音声データ中のタイムスタンプ情報と参照時間を使用して符号化音声データを復号化処理する。ビデオデコーダ部３１３及びオーディオデコーダ部３１４の復号化処理は、ともに同一の参照時間を使用しているので、間接的に符号化映像データと符号化音声データが同期化している。従って、映像受信再生装置３１内の映像と音声は同期再生することが可能となる。このことは他の映像受信再生装置３２，３３においても同様である。

次に、映像受信再生装置３１，３２，３３間の同期化について説明する。
映像受信再生装置３１，３２，３３のいずれかひとつの映像受信再生装置は、複数の映像受信再生装置３１，３２，３３を同期再生させるため、基準となるマスタ動作をする映像受信再生装置となる必要があり、他の映像受信再生装置はスレーブ動作をする映像受信再生装置となる必要がある。本実施の形態１では、映像受信再生装置３１はマスタ映像受信再生装置とし、他の映像受信再生装置３２，３３はスレーブ動作をする映像受信再生装置とする。

まずスレーブの映像受信再生装置３２，３３は、それぞれ自機３２，３３のオーディオデコーダ部３２４，３３４で復号されたデジタル音声データを検出部３２８，３３８に送信する。そしてマスタの映像受信再生装置３１は、マスタ映像受信再生装置３１のオーディオデコーダ部３１４で復号されたデジタル音声データをスレーブの映像受信再生装置３２，３３へ送信する。スレーブの映像受信再生装置３２，３３の検出部３２８，３３８は、マスタ映像受信再生装置３１からデジタル音声データを受信し（ＳＴ０３）、この受信したデジタル音声データと自機３２，３３のデジタル音声データとの２つのデータ列を比較して、マスタ映像受信再生装置３１と自機３２，３３の音声ストリームの時間（位相）のずれを検出して時間差を算出する（ＳＴ０４）。その結果、検出部３２８，３３８は算出した時間差を自機の同期制御部３２５，３３５に対して通知する。同期制御部３２５，３３５は自機の検出部３２８，３３８から受けた時間差を閾値を用いてチェックし（ＳＴ０５）、時間差に応じて自機３２，３３の参照時間を補正することで、より正確な同期再生を行う（ＳＴ０６）。

時間差に応じた補正方法は、自機３２，３３がマスタ映像受信再生装置３１に対して遅れていた場合はその時間差に応じて自機３２，３３の参照時間を進め、自機３２，３３がマスタ映像受信再生装置３１に対して進んでいた場合はその時間差に応じて自機３２，３３の参照時間を遅らせるという方法を用いている。同期制御部３２５，３３５は、この時間差を同期制御部３２５，３３５内に累積して記録し、時間差に応じて参照時間を補正するときは、この累積した時間差を全てプラス（或いはマイナス）して補正する。従って、ビデオデコーダ部３２３，３３３は、参照する参照時間を復号化音声データから同期化させることにより、間接的にマスタの映像受信再生装置３１のビデオデコーダ部３１３と同期再生が可能となる。

時間差に応じた別の補正方法として、時間差が所定の閾値を超えていた場合、検出部３２８，３３８からの時間差に応じて参照時間を補正する方法がある。

また時間差に応じた別の補正方法として、フレームレートが高くなるとともに閾値を下げることで同期化に対する精度を上げるために、映像のフレームレートに反比例する閾値を設け時間差が閾値を超えていた場合、参照時間を補正する方法がある。

また時間差に応じた別の補正方法として、ネットワーク経由で受信した映像データに欠損がある場合にこの欠損部分に該当する期間では、同期制御部３１５，３２５，３３５は検出部３１８，３２８，３３８からの時間差をチェックせず、通常データに復旧した後に再度チェックを再開し、設定した閾値を超えていた場合、時間差分に相応する時間分だけ参照時間を補正する方法がある。

以上のように、本願発明はビデオデコーダ部３１３，３２３，３３３が参照する参照時間を復号化音声データから同期化させることにより、間接的にマスタの映像受信再生装置３１のビデオデコーダ部３１３と同期再生が可能となり、特別な同期回路を持たずに複数フレームを同期化するものである。

なお、実施の形態１は、ビデオカメラ１１，１２，１３を３台使用した場合を説明したが、ビデオカメラの台数はn（ｎ ≧ 2）台とすることが可能である。また、実施の形態１は映像受信再生装置３１，３２，３３をそれぞれ別々の装置として説明したが、一つの本体（例えばＰＣ）にソフトウェアとして実装して、1台にすることも可能である。

本発明の映像受信再生装置３１，３２，３３は、検出部３１８，３２８，３３８で時間差を検出し、同期制御部３１５，３２５，３３５でこの時間差をチェックし、時間差が所定の閾値を超えていた場合にこの時間差に応じて参照時間を補正するものであり、閾値を自由に設定することで、より正確でより適正な映像受信再生装置３１，３２，３３間を同期再生する効果がある。

また本発明の映像受信再生装置３１，３２，３３は、検出部３１８，３２８，３３８で時間差を検出し、同期制御部３１５，３２５，３３５でこの時間差をチェックし、映像のフレームレートに反比例する閾値を設け、時間差が閾値を超えていた場合に参照時間を補正するものであり、フレームレートが高くなるとともに閾値を下げて同期に対する精度を上げることにより、より正確な映像受信再生装置３１，３２，３３間で同期再生する効果を奏する。

また本発明の映像受信再生装置３１，３２，３３は、ネットワーク経由で受信した映像データに欠損がある場合には、同期制御部３１５，３２５，３３５において欠損部分に該当する期間では検出部３１８，３２８，３３８の時間差をチェックせず、通常データに復旧した後に再度チェックを再開し、ある閾値を超えていた場合に時間差分に相応する時間分だけ参照時間を補正するものであり、補正の時間を選択することで、より正確な映像受信再生装置３１，３２，３３間を同期再生する効果を奏する。

また本発明の映像受信再生装置３１，３２，３３は、同期制御部３１５，３２５，３３５において時間差を累積して参照時間を補正するものであり、この時間差の累積を用いて、映像受信再生装置３１，３２，３３間を、より正確に同期再生する効果を奏する。

また本発明の映像受信再生装置３１は、オーディオデコーダ部３１４で復号化された音声データを、同一撮影対象を撮影したデータを処理する他の映像受信再生装置３２，３３に送信することにより、より正確に同期再生する効果を奏する。

また実施の形態１では、アナログビデオカメラの場合を説明したが、ビデオカメラ１１，１２，１３自体に符号化機能を内蔵したデジタルビデオカメラでも同様の効果がある。また、実施の形態１は、IPネットワークを用い伝送の一例を説明したが、HDVビデオカメラでiLINK（IEEE1394）インタフェースを備えた装置が市販されており、この場合、映像受信再生装置３１，３２，３３にiLINKインタフェースボードを搭載し、映像ストリームを受信し、MPEG-2 TSデータを抽出することによって、同様の効果を奏する。

実施の形態２．
実施の形態２では、HDD(Hard Disk Drive)などストレージ５１，５２，５３を設け、このストレージ５１，５２，５３にビデオカメラで撮影した映像ストリームデータを予め蓄積し、映像伝送装置を介さず、実施の形態１と同様にデジタル音声データを用いて映像受信再生装置６１，６２，６３間を同期再生する実施形態を示す。

図３は実施の形態２に係る映像受信再生装置の構成図である。図３において、ストレージ５１，５２，５３は、予め映像ストリームデータを蓄積する装置であり、映像受信再生装置６１，６２，６３は、蓄積された映像ストリームデータを読み出して再生する装置である。映像受信再生装置６１において、ファイル読出部６１１は、ストレージ５１から符号化映像データと符号化音声データとシステムデータが多重された映像ストリームデータを取得しシステムデコーダ部３１２に送信する回路であり、その他の回路は実施の形態１と同様である。このことは他の映像受信再生装置６２，６３においても同様である。

次に動作について図３を用いて説明する。
まず、ストレージ５１，５２，５３に予め撮影した映像ストリームデータを蓄積し、ファイル読出部６１１，６２１，６３１に、適当な単位（例 64KB）で読み出される。ストレージ５１，５２，５３に蓄積されているデータは例えばMPEG-2 TS形式のデータである。また、映像受信再生装置６１，６２，６３は同期化するために、映像ストリームデーを読み出すタイミングを合わせる必要がある。このため、タイミングの取り方は、予め開始時刻を定める方法やマスタの映像受信再生装置６１が他のスレーブの映像受信再生装置６２，６３へ開始タイミングを伝える方法がある。次にファイル読出部６１１，６２１，６３１は読み出した映像ストリームデータをシステムデコーダ部３１２，３２２，３３２へ送信する。以降は、実施の形態１と同様の動作を行う。

以上のように、実施の形態２によれば、実施の形態１と同様に、予め蓄積したビデオカメラの３つの撮影映像は最終的に一つの映像の様に同期再生する効果を奏する。

なお、実施の形態２は、ストレージ５１，５２，５３を３台使用した場合を説明したが、ストレージの台数はn（ｎ ≧ 2）とすることが可能である。また映像受信再生装置６１，６２，６３はそれぞれ別々の装置として説明したが、一つの本体（例えばＰＣ）にソフトウェアとして実装して、1台にすることも可能であり、この場合は、ストレージをそれぞれ接続する方法の他に、一つのストレージ中に複数のファイルとして蓄積しておくことにより、同様の効果を奏する。

実施の形態１に係る映像受信再生装置の構成図である。 映像受信再生装置のフローチャートである。 実施の形態２に係る映像受信再生装置の構成図である。

符号の説明

１１，１２，１３ ビデオカメラ、２１，２２，２３ 映像伝送装置、３１，３２，３３ 映像受信再生装置、４１，４２，４３ 表示装置、５１，５２，５３ ストレージ、６１，６２，６３ 映像受信再生装置、３１１，３２１，３３１ 映像受信部、３１２，３２２，３３２ システムデコーダ部、３１３，３２３，３３３ ビデオデコーダ部、３１４，３２４，３３４ オーディオデコーダ部、３１５，３２５，３３５ 同期制御部、３１６，３２６，３３６ 映像出力部、３１７，３２７，３３７ 音声出力部、３１８，３２８，３３８ 検出部、３１９，３２９，３３９ 切替部、６１１，６２１，６３１ ファイル読出部。

Claims (6)

1. 符号化音声データを復号化するオーディオデコーダ部と、
   符号化映像データを復号化するビデオデコーダ部と、
   受信したシステムデータから基準時間情報を抽出して参照時間とし、上記参照時間に基づき上記ビデオデコーダ部と上記オーディオデコーダ部の同期再生を制御する同期制御部と、
   上記オーディオデコーダ部により復号化された音声データと同一撮影対象を撮影したデータを処理する他機から受信した音声データの時間差を出力する検出部とを備え、
   上記同期制御部は上記検出部からの時間差に基づき上記参照時間を補正することを特徴とする映像受信再生装置。
2. 上記同期制御部は、上記検出部から出力された時間差をチェックし、時間差が所定の閾値を超えている場合に時間差に応じて上記参照時間を補正することを特徴とする請求項１記載の映像受信再生装置。
3. 上記同期制御部は、上記検出部から出力された時間差をチェックし、映像のフレームレートに反比例する閾値を超えている場合に上記参照時間を補正することを特徴とする請求項１記載の映像受信再生装置。
4. 上記同期制御部は、ネットワーク経由で受信した映像データに欠損がある場合には、欠損部分に該当する期間では上記検出部の時間差をチェックせず、通常データに復旧した後に再度チェックを再開し、時間差が所定の閾値を超えていた場合に時間差分に相応する時間分だけ上記参照時間を補正することを特徴とする請求項１記載の映像受信再生装置。
5. 上記同期制御部は、上記時間差を累積し、上記蓄積された時間差を用いて上記参照時間を補正することを特徴とする請求項１記載の映像受信再生装置。
6. 符号化音声データを復号化するオーディオデコーダ部と、
   符号化映像データを復号化するビデオデコーダ部と、
   受信したシステムデータから基準時間情報を抽出して参照時間とし、上記参照時間に基づき上記ビデオデコーダ部と上記オーディオデコーダ部の同期再生を制御する同期制御部とを備え、
   上記オーディオデコーダ部により復号化された音声データを、同一撮影対象を撮影したデータを処理する他機に送信することを特徴とする映像受信再生装置。

Images