JP2011029969A - 映像監視表示装置および映像監視システム - Google Patents
映像監視表示装置および映像監視システム Download PDFInfo
- Publication number
- JP2011029969A JP2011029969A JP2009174038A JP2009174038A JP2011029969A JP 2011029969 A JP2011029969 A JP 2011029969A JP 2009174038 A JP2009174038 A JP 2009174038A JP 2009174038 A JP2009174038 A JP 2009174038A JP 2011029969 A JP2011029969 A JP 2011029969A
- Authority
- JP
- Japan
- Prior art keywords
- video
- time stamp
- time
- display
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】複数の監視カメラでの監視対象映像データを伝送する伝送路の遅延差による映像の表示時間のずれ、監視カメラ間の映像同期信号のずれ、各エンコーダの基準周波数の差による復号映像の表示時間のずれをなくす。
【解決手段】映像表示の開始に際し、複数監視カメラの映像データ符号化時の基準時間共通化のため基準時間設定通知をし、複数の監視カメラからの映像ストリームを伝送路より受信し、各監視カメラ対応の複数の蓄積手段に格納し、映像ストリームから映像タイムスタンプ情報を抽出し、その到達時刻差から映像再生時刻決定手段で映像再生時刻を求め、映像再生時刻から夫々の映像タイムスタンプ情報に対応する映像ストリームを蓄積手段から復号手段に出力を開始し、復号手段で映像ストリームを復号し、複数の復号映像データを映像合成手段で合成し出力する、
【選択図】図３
【解決手段】映像表示の開始に際し、複数監視カメラの映像データ符号化時の基準時間共通化のため基準時間設定通知をし、複数の監視カメラからの映像ストリームを伝送路より受信し、各監視カメラ対応の複数の蓄積手段に格納し、映像ストリームから映像タイムスタンプ情報を抽出し、その到達時刻差から映像再生時刻決定手段で映像再生時刻を求め、映像再生時刻から夫々の映像タイムスタンプ情報に対応する映像ストリームを蓄積手段から復号手段に出力を開始し、復号手段で映像ストリームを復号し、複数の復号映像データを映像合成手段で合成し出力する、
【選択図】図３
Description
この発明は、監視カメラを設置し監視対象を監視するために用いられる映像監視システムおよびその映像監視システムに用いられる映像監視表示装置に関するものである。
従来の監視装置および監視システムは、監視カメラが監視対象の映像を撮影し、エンコーダで、監視カメラから出力された映像信号をＭＰＥＧ２（Moving Picture coding Experts Group ２）トランスポートストリーム（以下ＭＰＥＧ−ＴＳと呼ぶ）などによりそれぞれ帯域圧縮する。送信手段は、ＭＰＥＧ−ＴＳを伝送路へ送信し、受信手段が受信した４つのＭＰＥＧ−ＴＳを、並列に並べられた４つのデコーダがそれぞれ復号する。画像合成手段は、復号された４つの映像を１つの映像に合成し、画像合成手段の効果により、モニタは画面が４分割され、それぞれに監視カメラの映像が表示されていた。
従来の監視システムにおける監視カメラの映像入力は、それぞれの映像入力手段にて生成された同期信号が用いられるため同じ位相で入力されるとは限らない。また、映像信号を符号化する際のエンコーダの基準周波数はそれぞれの監視カメラに実装された電源制御発信機（ＶＣＸＯ）の周波数が用いられているため、それぞれの監視カメラ間において符号化される基準周波数は同一のものとは限らない。
さらに、従来の監視システムは、インターネットなど伝送路の状態によって監視カメラから映像監視表示装置まで到達する経路、トラフィックの状態により同一の遅延で伝送されるとは限らない。そのため、それぞれの監視カメラからの映像ストリーム（ＭＰＥＧ−ＴＳ）が伝送路上の遅延差により受信手段への到達時間に数フレーム期間の差が発生する場合もありうる。
そのような場合、複数の監視カメラにより同じ被写体を撮影する場合に、図９に示すようにそれぞれの監視カメラからの映像の表示時間にずれが生じるため、監視員は監視カメラからの監視対象の映像が見づらくなるという問題点があった。
さらに、従来の監視システムは、インターネットなど伝送路の状態によって監視カメラから映像監視表示装置まで到達する経路、トラフィックの状態により同一の遅延で伝送されるとは限らない。そのため、それぞれの監視カメラからの映像ストリーム（ＭＰＥＧ−ＴＳ）が伝送路上の遅延差により受信手段への到達時間に数フレーム期間の差が発生する場合もありうる。
そのような場合、複数の監視カメラにより同じ被写体を撮影する場合に、図９に示すようにそれぞれの監視カメラからの映像の表示時間にずれが生じるため、監視員は監視カメラからの監視対象の映像が見づらくなるという問題点があった。
また、監視カメラは、それぞれ位相の異なる映像同期信号がカメラから入力される。そのためエンコーダは、基準周波数を求めるための電圧制御発振器（ＶＣＸＯ）を持ち、それぞれのエンコーダはそれぞれ異なるＶＣＸＯにより動作している。そのため、それぞれのデコーダではエンコーダの周波数にＰＬＬ(Phase Locked Loop）ロックにより復号を行っており、それぞれのエンコーダの周波数偏差の異なるＶＣＸＯの周波数により復号が行われ、ずれが生じてくる。このずれに１フレーム期間以上の差が発生すると、表示される映像に対してもフレームずれが生じるという問題点がある。
この発明は上記のような問題点を解決するためになされたもので、伝送路の遅延差による映像の表示時間のずれをなくすこと、および、監視カメラの映像同期信号のずれや、それぞれのエンコーダの基準周波数の差による復号された映像の表示時間のずれをなくすことを目的とする
この発明に係る映像監視表示装置は、 監視対象を複数の監視カメラで撮影した映像データが符号化され生成された映像ストリームを伝送路を介して受信し、それぞれの映像ストリームを復号し、その復号された映像データを合成し、１つの映像データとして表示可能な信号を生成するものにおいて、
映像表示を開始するに際し、前記複数の監視カメラに対し、映像データを符号化する時の各基準時間を共通化するための基準設定通知をする基準時間設定通知手段、
複数の監視カメラから出力され映像ストリームを伝送路より受信する受信手段、
受信手段により受信した複数の映像ストリームを各監視カメラに対応して格納する複数の蓄積手段、
各蓄積手段に格納された映像ストリームから映像タイムスタンプ情報を抽出するタイムスタンプ抽出手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較して複数の映像ストリームの到達時刻の差を求め、この到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの蓄積手段から対応映像ストリーム出力を開始する映像再生時刻決定手段、
各蓄積手段から出力された映像ストリームをそれぞれ復号する複数の復号手段、
復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定する映像表示判定手段、
複数の復号手段で復号された複数の映像データを映像表示判定手段の判定結果に基づきフレーム処理し合成する映像合成手段、
合成された映像データを出力する映像出力手段
を備える。
映像表示を開始するに際し、前記複数の監視カメラに対し、映像データを符号化する時の各基準時間を共通化するための基準設定通知をする基準時間設定通知手段、
複数の監視カメラから出力され映像ストリームを伝送路より受信する受信手段、
受信手段により受信した複数の映像ストリームを各監視カメラに対応して格納する複数の蓄積手段、
各蓄積手段に格納された映像ストリームから映像タイムスタンプ情報を抽出するタイムスタンプ抽出手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較して複数の映像ストリームの到達時刻の差を求め、この到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの蓄積手段から対応映像ストリーム出力を開始する映像再生時刻決定手段、
各蓄積手段から出力された映像ストリームをそれぞれ復号する複数の復号手段、
復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定する映像表示判定手段、
複数の復号手段で復号された複数の映像データを映像表示判定手段の判定結果に基づきフレーム処理し合成する映像合成手段、
合成された映像データを出力する映像出力手段
を備える。
また、この発明の映像監視システムは、
監視対象を撮影し、撮影した映像データを符号化して映像ストリームを生成し、この映像ストリームを伝送路に送信する複数の監視カメラと、
伝送路より受信した複数の映像ストリームを復号し、復号された映像データを合成し、１つの映像データとして表示可能な信号を生成する映像監視表示装置とを備え、
上記映像監視表示装置は前記段落［０００７］に記載の構成にされ、
上記複数の監視カメラは各々、監視対象を撮影した映像データを符号化して映像ストリームを生成する符号化手段、
上記映像監視表示装置からの符号化基準時間の設定の通知により複数の映像を符号化する複数の符号化手段に対して共通の符号化基準時間を与え、符号化基準時間が与えられたとき、符号化手段の符号化を一時停止する基準時間設定手段、
上記基準時間設定手段により、基準時間が与えられた際に、その基準時間より符号化手段の符号化を再開させる符号化再開手段
複数の符号化手段により符号化された映像ストリームを伝送路に送信する複数の送信手段を備える。
監視対象を撮影し、撮影した映像データを符号化して映像ストリームを生成し、この映像ストリームを伝送路に送信する複数の監視カメラと、
伝送路より受信した複数の映像ストリームを復号し、復号された映像データを合成し、１つの映像データとして表示可能な信号を生成する映像監視表示装置とを備え、
上記映像監視表示装置は前記段落［０００７］に記載の構成にされ、
上記複数の監視カメラは各々、監視対象を撮影した映像データを符号化して映像ストリームを生成する符号化手段、
上記映像監視表示装置からの符号化基準時間の設定の通知により複数の映像を符号化する複数の符号化手段に対して共通の符号化基準時間を与え、符号化基準時間が与えられたとき、符号化手段の符号化を一時停止する基準時間設定手段、
上記基準時間設定手段により、基準時間が与えられた際に、その基準時間より符号化手段の符号化を再開させる符号化再開手段
複数の符号化手段により符号化された映像ストリームを伝送路に送信する複数の送信手段を備える。
この発明に係る映像監視表示装置は、映像表示開始に際し、複数の監視カメラに対し、映像データ符号化時の基準時間を共通化する基準時間設定通知を行う基準時間設定通知手段、および各監視カメラから受信した映像ストリームから映像タイムスタンプ情報を抽出し、この各映像タイムスタンプ情報間の所定の関係から復号開始時刻を決定する映像再生時刻決定手段を備えるのでそれぞれの監視カメラとの間の伝送遅延により表示するタイミングがずれるような場合であっても、それぞれの監視カメラの映像ストリーム上の映像タイムスタンプを合わせることにより、ネットワーク上の遅延差による表示のずれを最小限にすることができる。
また、それぞれの監視カメラのエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラからの映像を同一の時間軸で表示することができる。
また、それぞれの監視カメラのエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラからの映像を同一の時間軸で表示することができる。
実施の形態１．
図１はこの発明の一実施の形態を示す複数の監視カメラと映像監視表示装置の構成図、図２は監視カメラの内部構成図、図３は映像監視表示装置の内部構成図である。
図１において、１は監視カメラからの監視映像ストリームデータを映像監視表示装置へ配信するための通信路としてのネットワークである。
２１、２２、２３、および２４は、被監視対象の映像を撮影しＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ等の映像符号化技術により帯域圧縮され監視映像ストリームデータを、ネットワークの伝送路を経由し映像監視表示装置へ送出する監視カメラである。
３は複数の監視カメラからの映像ストリームを受信し、復号処理およびそれぞれの復号された映像データを合成して１つの映像データとして出力する映像監視表示装置である。
４は映像監視表示装置からの映像データを表示するための映像表示装置である。
図１はこの発明の一実施の形態を示す複数の監視カメラと映像監視表示装置の構成図、図２は監視カメラの内部構成図、図３は映像監視表示装置の内部構成図である。
図１において、１は監視カメラからの監視映像ストリームデータを映像監視表示装置へ配信するための通信路としてのネットワークである。
２１、２２、２３、および２４は、被監視対象の映像を撮影しＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ等の映像符号化技術により帯域圧縮され監視映像ストリームデータを、ネットワークの伝送路を経由し映像監視表示装置へ送出する監視カメラである。
３は複数の監視カメラからの映像ストリームを受信し、復号処理およびそれぞれの復号された映像データを合成して１つの映像データとして出力する映像監視表示装置である。
４は映像監視表示装置からの映像データを表示するための映像表示装置である。
図２により、監視カメラおける構成について説明する。
監視カメラ２１，２２，２３，２４内部において、２０はカメラで撮影された映像データを入力するための映像入力手段、２１は入力された映像データを符号化するためにフレーム単位で格納するフレームメモリ、２２は映像データを帯域圧縮するためのエンコーダ、２３は符号化された符号化データを伝送するため送信バッファ、２４は符号化データを伝送路経由で監視映像表示装置３へ伝送を行うための送信手段、２５は監視映像表示装置３からの基準時間設定の通知に対して、監視カメラ内時刻の設定、および符号化のための基準時間の設定、および符号化の再開をエンコード再開手段２７へ通知する基準時間設定手段、２６は符号化のための基準時間を生成する基準時間生成手段、２７は基準時間設定手段２５からの符号化再開通知により符号化を再開する指示をエンコーダ２２へ通知するエンコード再開手段である。
監視カメラ２１，２２，２３，２４内部において、２０はカメラで撮影された映像データを入力するための映像入力手段、２１は入力された映像データを符号化するためにフレーム単位で格納するフレームメモリ、２２は映像データを帯域圧縮するためのエンコーダ、２３は符号化された符号化データを伝送するため送信バッファ、２４は符号化データを伝送路経由で監視映像表示装置３へ伝送を行うための送信手段、２５は監視映像表示装置３からの基準時間設定の通知に対して、監視カメラ内時刻の設定、および符号化のための基準時間の設定、および符号化の再開をエンコード再開手段２７へ通知する基準時間設定手段、２６は符号化のための基準時間を生成する基準時間生成手段、２７は基準時間設定手段２５からの符号化再開通知により符号化を再開する指示をエンコーダ２２へ通知するエンコード再開手段である。
図３における映像監視表示装置の構成について説明する。
３０は複数の監視カメラから伝送された映像ストリームをネットワーク１から受信し、それぞれの監視カメラに対する映像復号部３１１，３１２，３１３，３１４へ映像ストリームを出力するための受信手段、３１１，３１２，３１３，３１４はそれぞれの監視カメラから受信した映像ストリームを復号するための映像復号部である。
この復号部３１１〜３１４は、受信手段３０からの映像ストリームを格納しておくための受信バッファ３１１１，３１１２，３１１３，３１１４、映像ストリームを復号するデコーダ３１２１，３１２２，３１２３，３１２４、復号映像データをフレーム単位で格納するフレームメモリ、３１３１，３１３２，３１３３，３１３４、受信バッファに入力した映像ストリームから映像タイムスタンプを抽出するタイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４、映像タイムスタンプを共通の映像タイムスタンプに置き換えを行う映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４を備える。
３０は複数の監視カメラから伝送された映像ストリームをネットワーク１から受信し、それぞれの監視カメラに対する映像復号部３１１，３１２，３１３，３１４へ映像ストリームを出力するための受信手段、３１１，３１２，３１３，３１４はそれぞれの監視カメラから受信した映像ストリームを復号するための映像復号部である。
この復号部３１１〜３１４は、受信手段３０からの映像ストリームを格納しておくための受信バッファ３１１１，３１１２，３１１３，３１１４、映像ストリームを復号するデコーダ３１２１，３１２２，３１２３，３１２４、復号映像データをフレーム単位で格納するフレームメモリ、３１３１，３１３２，３１３３，３１３４、受信バッファに入力した映像ストリームから映像タイムスタンプを抽出するタイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４、映像タイムスタンプを共通の映像タイムスタンプに置き換えを行う映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４を備える。
３２は映像復号部３１１，３１２，３１３，３１４で復号された映像データを合成して１つの映像データを生成する映像合成手段、３３は映像データを映像表示装置４へ出力する映像出力手段、３４は表示開始の際、それぞれの監視カメラに対して基準時間の設定、符号化の再開を要求する基準時間通知手段、３５は監視映像表示装置の映像復号、および表示同期の基準となる発信器、３６はタイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４により抽出されたそれぞれの監視カメラからの映像ストリームの映像タイムスタンプからすべての監視カメラの映像ストリームを同時刻に開始するための映像再生時刻決定手段、３７はそれぞれの映像復号部３１１，３１２，３１３，３１４にて復号するための共通の映像タイムスタンプを生成する映像タイムスタンプ生成手段、３８は復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定しフレームメモリ３１３１，３１３２，３１３３，３１３４に対するフレーム制御を行うための映像表示判定手段である。
次に動作について説明する。
図１において、監視カメラ２１，２２，２３，２４は監視対象を撮影し、撮影した映像の符号化処理を行い、映像ストリームを生成してネットワーク１へ伝送する。
ここでは、符号化処理、および映像ストリームの生成方法として、ＭＰＥＧ２トランスポートストリーム（以下、映像ストリーム、あるいはＭＰＥＧ−ＴＳと呼ぶ）へ帯域圧縮する場合の例を説明する。
図１において、監視カメラ２１，２２，２３，２４は監視対象を撮影し、撮影した映像の符号化処理を行い、映像ストリームを生成してネットワーク１へ伝送する。
ここでは、符号化処理、および映像ストリームの生成方法として、ＭＰＥＧ２トランスポートストリーム（以下、映像ストリーム、あるいはＭＰＥＧ−ＴＳと呼ぶ）へ帯域圧縮する場合の例を説明する。
（表示開始）
表示の開始方法について、図２〜図６を用いて説明する。
図４が映像監視表示装置３にて、表示を開始するときのそれぞれの監視カメラ２１，２２，２３，２４と映像監視表示装置３間の信号の流れ、及び監視カメラ２１，２２，２３，２４の基準時間設定手段２５、映像監視表示装置３の基準時間設定通知手段３４、及び映像再生時刻決定手段３６の動作フローチャートである。
映像監視表示装置３は表示を開始する際に、基準時間設定通知手段３４により、映像監視表示装置３に接続される監視カメラ２１，２２，２３，２４に対して、ネットワーク１を介して、符号化基準時間設定通知を通知する。通知されたそれぞれの監視カメラ２１，２２，２３，２４は、基準時間設定手段２５により、当該通知を映像監視表示装置３から受信し、まずそれぞれの監視カメラ２１，２２，２３，２４内部の時刻の同期を行う。
表示の開始方法について、図２〜図６を用いて説明する。
図４が映像監視表示装置３にて、表示を開始するときのそれぞれの監視カメラ２１，２２，２３，２４と映像監視表示装置３間の信号の流れ、及び監視カメラ２１，２２，２３，２４の基準時間設定手段２５、映像監視表示装置３の基準時間設定通知手段３４、及び映像再生時刻決定手段３６の動作フローチャートである。
映像監視表示装置３は表示を開始する際に、基準時間設定通知手段３４により、映像監視表示装置３に接続される監視カメラ２１，２２，２３，２４に対して、ネットワーク１を介して、符号化基準時間設定通知を通知する。通知されたそれぞれの監視カメラ２１，２２，２３，２４は、基準時間設定手段２５により、当該通知を映像監視表示装置３から受信し、まずそれぞれの監視カメラ２１，２２，２３，２４内部の時刻の同期を行う。
ここでは、ネットワーク時刻同期システムとして一般的に用いられているＲＦＣ１３０５で定義されているＮＴＰ（Network Time Protocol）によりそれぞれの監視カメラ２１，２２，２３，２４は映像監視表示装置３との間で時刻の同期を行う。この際、基準時間設定手段２５はエンコード再開手段２７へエンコーダ２２の符号化の停止を通知し、エンコード再開手段２７は、この通知により、エンコーダ２２に対して符号化の停止を指示し符号化処理を停止する。
時刻の同期が行われたそれぞれの監視カメラ２１，２２，２３，２４では、その後,基準時間生成手段２６に対して、符号化を行うための基準時刻情報として、再生時刻の基準情報となるＳＴＣ（System Time Clock）情報の値の初期化の指示を行い、指示された基準時刻生成手段２６ではこのＳＴＣ情報の初期化を行い、その情報をエンコーダ２２へ設定する。
また、基準時間設定手段２５では、映像監視表示装置３の基準時間設定通知手段３４により通知された符号化基準時間設定通知内の符号化開始時刻情報の時刻と、先の監視カメラ２１，２２，２３，２４内部の時刻を比較し、開始時刻となった時、エンコーダ再開手段２７に対して、符号化の開始を行うための指示を通知する。エンコード再開手段２７では、この通知によりエンコーダ２２に対して符号化の開始を指示する。エンコード再開手段２７により符号化の開始を通知されたエンコーダ２２は、この通知されたタイミングでＭＰＥＧ−２の符号化を再開する。
また、基準時間設定手段２５では、映像監視表示装置３の基準時間設定通知手段３４により通知された符号化基準時間設定通知内の符号化開始時刻情報の時刻と、先の監視カメラ２１，２２，２３，２４内部の時刻を比較し、開始時刻となった時、エンコーダ再開手段２７に対して、符号化の開始を行うための指示を通知する。エンコード再開手段２７では、この通知によりエンコーダ２２に対して符号化の開始を指示する。エンコード再開手段２７により符号化の開始を通知されたエンコーダ２２は、この通知されたタイミングでＭＰＥＧ−２の符号化を再開する。
次に、映像監視表示装置３の映像再生時刻決定手段３６の動作について説明する。
それぞれの監視カメラ２１，２２，２３，２４で生成された映像ストリームはネットワーク１を介して、図３に示す映像監視表示装置３の受信手段３０により受信され、受信手段３０によりそれぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４へと出力される。それぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４は受信手段３０から入力した映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４へ一時格納を行うと共に、映像タイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４に対して映像ストリームを出力する。
それぞれの監視カメラ２１，２２，２３，２４で生成された映像ストリームはネットワーク１を介して、図３に示す映像監視表示装置３の受信手段３０により受信され、受信手段３０によりそれぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４へと出力される。それぞれの監視カメラ２１，２２，２３，２４に対応する映像復号部３１１，３１２，３１３，３１４は受信手段３０から入力した映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４へ一時格納を行うと共に、映像タイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４に対して映像ストリームを出力する。
映像タイムスタンプ抽出手段３１４１，３１４２，３１４３，３１４４では、ＭＰＥＧ２−ＴＳの映像ストリームの中から、復号映像の表示時刻を示す映像表示時刻情報であるＰＴＳ（Presentation Time Stamp）を抽出し、映像再生時刻決定手段３６へ通知する。
抽出された映像タイムスタンプＰＴＳは、図４のフローチャートに示すように映像再生時刻決定手段３６でＰＴＳが通知されたことを検出し、それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプ間の比較を行う。
この比較の方法を、図５を用いて説明する。
抽出された映像タイムスタンプＰＴＳは、図４のフローチャートに示すように映像再生時刻決定手段３６でＰＴＳが通知されたことを検出し、それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプ間の比較を行う。
この比較の方法を、図５を用いて説明する。
図５には、例として、それぞれの監視カメラ２１，２２，２３，２４にて映像フレームレートが２９．９７Ｈｚにより映像符号化されネットワークを介して伝送された、伝送映像ストリームから抽出された映像タイムスタンプを抽出順に並べたものである。
手順１
それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプの間隔を求めて、その間隔が以下のいずれにも該当しない間隔となった映像タイムスタンプを求める。
第１の間隔： ３００３
第２の間隔： １２０１２
第３の間隔： −６００６
図５の例では(3)の列に示す映像タイムスタンプ、監視カメラ２１より抽出されたタイムスタンプでは“１７６９６２”、監視カメラ２２では“１７７１７６”、監視カメラ２３，では“１７６８５３”、監視カメラ２４では“１７５９３８”がそれに該当する。
それぞれの監視カメラ２１，２２，２３，２４からの映像タイムスタンプの間隔を求めて、その間隔が以下のいずれにも該当しない間隔となった映像タイムスタンプを求める。
第１の間隔： ３００３
第２の間隔： １２０１２
第３の間隔： −６００６
図５の例では(3)の列に示す映像タイムスタンプ、監視カメラ２１より抽出されたタイムスタンプでは“１７６９６２”、監視カメラ２２では“１７７１７６”、監視カメラ２３，では“１７６８５３”、監視カメラ２４では“１７５９３８”がそれに該当する。
手順２
次に手順１で求められた、それぞれの監視カメラ２１，２２，２３，２４の映像ストリームに対する映像タイムスタンプで、一番映像監視表示装置３への到達時間の遅い映像ストリーム、つまり映像タイムスタンプとして、一番小さい値の映像タイムスタンプの映像ストリームを決定する。
図５の例では、監視カメラ２４より抽出された“１７５９３８”がそれに該当する。
次に手順１で求められた、それぞれの監視カメラ２１，２２，２３，２４の映像ストリームに対する映像タイムスタンプで、一番映像監視表示装置３への到達時間の遅い映像ストリーム、つまり映像タイムスタンプとして、一番小さい値の映像タイムスタンプの映像ストリームを決定する。
図５の例では、監視カメラ２４より抽出された“１７５９３８”がそれに該当する。
手順３
次にそれぞれの監視カメラ２１，２２，２３，２４からの映像ストリームから手順１にて決定した映像タイムスタンプの存在する映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４内から求め、該当するそれぞれの監視カメラ２１，２２，２３，２４の映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４から後段の映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へと同時に出力する。（映像タイムスタンプの置き換え処理については、次に説明する）
次にそれぞれの監視カメラ２１，２２，２３，２４からの映像ストリームから手順１にて決定した映像タイムスタンプの存在する映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４内から求め、該当するそれぞれの監視カメラ２１，２２，２３，２４の映像ストリームを受信バッファ３１１１，３１１２，３１１３，３１１４から後段の映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へと同時に出力する。（映像タイムスタンプの置き換え処理については、次に説明する）
図６を例にして説明する。なお、図６〜図８において監視カメラ２１，２２，２３，２４は、それぞれ監視カメラ１，２，３、４と表示している。
監視カメラ４の映像タイムスタンプ（図内では監視カメラ４受信ＰＴＳ、以下同様）が“４００”のタイミングで、監視カメラ１の受信ＰＴＳでは“１００”、監視カメラ２の受信ＰＴＳでは“２００”、監視カメラ３の受信ＰＴＳでは“３００”、監視カメラ４の受信ＰＴＳが“４００”の存在する映像ストリームがそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４へと入力される。
監視カメラ４の映像タイムスタンプ（図内では監視カメラ４受信ＰＴＳ、以下同様）が“４００”のタイミングで、監視カメラ１の受信ＰＴＳでは“１００”、監視カメラ２の受信ＰＴＳでは“２００”、監視カメラ３の受信ＰＴＳでは“３００”、監視カメラ４の受信ＰＴＳが“４００”の存在する映像ストリームがそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４へと入力される。
上記の手順にて、受信バッファ３１１１，３１１２，３１１３，３１１４から出力されたそれぞれの映像ストリームは、映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４を介し、デコーダ３１２１，３１２２，３１２３，３１２４へ入力され、ＭＰＥＧ−２映像復号処理が行われ、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４にて復号された復号映像をフレームメモリ３１３１，３１３２，３１３３，３１３４へと記録される。このフレームメモリ３１３１，３１３２，３１３３，３１３４へ記録された復号映像は１フレーム単位に映像合成手段３２により読み出される。続いて、それぞれの復号映像は、縦横１／４に縮小され１枚の合成された復号映像が生成されて、映像出力手段３３により、４つの監視復号映像が合成された復号映像としてフレーム単位に表示装置４により表示される。
（タイムスタンプの置き換え処理の説明）
受信バッファ３１１１，３１１２，３１１３，３１１４から出力されたそれぞれの映像ストリームは、図３に示す映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へ入力される。映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では入力された映像ストリーム内の映像タイムスタンプの置き換えを行う。
ＭＰＥＧ２−ＴＳでは、対象とする置き換えタイムスタンプは、映像ＰＥＳ(Packetized Elementary Stream)内のＰＴＳ、復号時間を規定するＤＴＳ（Decoding Time Stamp）、及び再生時刻の基準情報となるＳＴＣの値であるＰＣＲ（Program Clock Reference）とする。
受信バッファ３１１１，３１１２，３１１３，３１１４から出力されたそれぞれの映像ストリームは、図３に示す映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へ入力される。映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では入力された映像ストリーム内の映像タイムスタンプの置き換えを行う。
ＭＰＥＧ２−ＴＳでは、対象とする置き換えタイムスタンプは、映像ＰＥＳ(Packetized Elementary Stream)内のＰＴＳ、復号時間を規定するＤＴＳ（Decoding Time Stamp）、及び再生時刻の基準情報となるＳＴＣの値であるＰＣＲ（Program Clock Reference）とする。
映像タイムスタンプ生成手段３７では、内部発信器３５により生成された２７ＭＨｚのクロックにより基準ＳＴＣを生成する。生成されたＳＴＣは映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４へ通知される。映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では、映像再生時刻決定手段３６により受信バッファ３１１１，３１１２，３１１３，３１１４から映像ストリームが入力されたタイミングのＳＴＣを映像タイムスタンプの基準時刻情報TSbaseとして保持する。また、この基準時刻情報とそれぞれの映像ストリームが受信バッファ３１１１，３１１２，３１１３，３１１４から出力された初めの映像ストリームの映像タイムスタンプとの差分値を求め、それぞれの映像ストリームに対する基準時刻情報とのオフセット値TSoffset1、TSoffset2、TSoffset3、TSoffset4として以下のように求める。
演算式：
TSoffset1 = TSin1st1 - TSbase
TSoffset2 = TSin1st2 - TSbase
TSoffset3 = TSin1st3 - TSbase
TSoffset4 = TSin1st4 - TSbase
ここで、TSin1st1、TSin1st2、TSin1st3、TSin1st4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプ、
TSbase：基準時刻情報としてのタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームの映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプに対する基準時刻情報とのオフセット値である。
TSoffset1 = TSin1st1 - TSbase
TSoffset2 = TSin1st2 - TSbase
TSoffset3 = TSin1st3 - TSbase
TSoffset4 = TSin1st4 - TSbase
ここで、TSin1st1、TSin1st2、TSin1st3、TSin1st4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプ、
TSbase：基準時刻情報としてのタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームの映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した最初の映像ストリーム内のタイムスタンプに対する基準時刻情報とのオフセット値である。
図６の例では、監視カメラ４の映像ストリームデコーダ４のそれぞれ入力“（５００−１００）”、“（５００−２００）”、“（５００−３００）”、“（５００−４００）”がそれにあたる。
図５では、置き換えられた監視カメラ２１〜２４の映像タイムスタンプの“０００２２００７”がこれにあたる。
図５では、置き換えられた監視カメラ２１〜２４の映像タイムスタンプの“０００２２００７”がこれにあたる。
次に、映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４では、それぞれの監視カメラ２１，２２，２３，２４の映像ストリームより映像タイムスタンプを抽出し、それぞれのタイムスタンプに対して以下の演算を行い、置き換えるタイムスタンプを生成する。
演算式：
TSout1 = TSin1 - TSoffset1
TSout2 = TSin2 - TSoffset2
TSout3 = TSin3 - TSoffset3
TSout4 = TSin4 - TSoffset4
ここで、TSin1、TSin2、TSin3、TSin4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームに対する基準時刻情報とのオフセット値、
TSout1、TSout2、TSout3、TSout4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプに対する置き換える映像タイムスタンプである。
TSout1 = TSin1 - TSoffset1
TSout2 = TSin2 - TSoffset2
TSout3 = TSin3 - TSoffset3
TSout4 = TSin4 - TSoffset4
ここで、TSin1、TSin2、TSin3、TSin4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプ、
TSoffset1、TSoffset2、TSoffset3、TSoffset4：それぞれの映像ストリームに対する基準時刻情報とのオフセット値、
TSout1、TSout2、TSout3、TSout4：映像タイムスタンプ置き換え手段３１５１，３１５２，３１５３，３１５４に入力した映像ストリーム内のタイムスタンプに対する置き換える映像タイムスタンプである。
図６の例では、監視カメラ１の映像ストリームデコーダ入力では“５０１ １０１−（５００−１００）”、“５０２ １０２−（５００−１００）”、“５０３ １０３−（５００−１００）”、“５０４ １０４−（５００−１００）”、監視カメラ２の映像ストリームデコーダ入力では“５０１ ２０１−（５００−２００）”、“５０２ ２０２−（５００−２００）”、“５０３ ２０３−（５００−２００）”、“５０４ ２０４−（５００−２００）”、監視カメラ３の映像ストリームデコーダ入力では“５０１ ３０１−（５００−３００）”、“５０２ ３０２−（５００−３００）”、“５０３ ３０３−（５００−３００）”、“５０４ ３０４−（５００−３００）”、監視カメラ４の映像ストリームデコーダ入力では“５０１ ４０１−（５００−４００）”、“５０２ ４０２−（５００−４００）”、“５０３ ４０３−（５００−４００）”、“５０４ ４０４−（５００−４００）”がそれにあたる。
上記の演算により求められたそれぞれの映像ストリーム映像ＰＥＳ内のＰＴＳ、ＤＴＳ、及びＰＣＲに対して映像タイムスタンプの置き換えを実施し、デコーダ３１２１，３１２２，３１２３，３１２４へ出力する。
次に、監視カメラ２１，２２，２３，２４のエンコーダ２２における符号化の基準周波数と映像監視表示装置３のデコーダ３１２１，３１２２，３１２３，３１２４における復号の基準周波数が同一（周波数ロック）していない場合の動作について図３、図７、および図８にて説明する。
図３のそれぞれの映像タイムスタンプ置き換え部により置き換えられた映像タイムスタンプの映像ストリームが入力されたそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４の持つＶＣＸＯにて、エンコーダ２２のＶＣＸＯの周波数にて生成された基準周波数にて符号化された映像ストリームの映像復号を行っている。そのため、この出力するための映像同期信号は、デコーダ３１２１，３１２２，３１２３，３１２４それぞれのＶＣＸＯの周波数にロックしているため、復号映像が生成されフレームメモリ３１３１，３１３２，３１３３，３１３４へ出力されるときに用いられる映像クロック信号、映像フレーム同期信号等はそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４により異なっている。
図３のそれぞれの映像タイムスタンプ置き換え部により置き換えられた映像タイムスタンプの映像ストリームが入力されたそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４の持つＶＣＸＯにて、エンコーダ２２のＶＣＸＯの周波数にて生成された基準周波数にて符号化された映像ストリームの映像復号を行っている。そのため、この出力するための映像同期信号は、デコーダ３１２１，３１２２，３１２３，３１２４それぞれのＶＣＸＯの周波数にロックしているため、復号映像が生成されフレームメモリ３１３１，３１３２，３１３３，３１３４へ出力されるときに用いられる映像クロック信号、映像フレーム同期信号等はそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４により異なっている。
デコーダ３１２１，３１２２，３１２３，３１２４にて復号された復号映像はそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４の基準周波数にロックした映像クロック、映像フレーム同期信号によりフレームメモリ３１３１，３１３２，３１３３，３１３４へ出力される。
このときそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４は、復号映像に対する復号時の映像タイムスタンプ、及びそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４に対する映像フレーム同期信号を映像表示判定手段３８へ通知する。映像表示判定手段３８では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４より通知された映像フレーム同期信号により映像タイムスタンプ生成手段により生成された基準時刻情報であるＳＴＣ値をサンプリングし、１フレームあたりの基準時刻情報間隔を求める。
このときそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４は、復号映像に対する復号時の映像タイムスタンプ、及びそれぞれのデコーダ３１２１，３１２２，３１２３，３１２４に対する映像フレーム同期信号を映像表示判定手段３８へ通知する。映像表示判定手段３８では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４より通知された映像フレーム同期信号により映像タイムスタンプ生成手段により生成された基準時刻情報であるＳＴＣ値をサンプリングし、１フレームあたりの基準時刻情報間隔を求める。
エンコーダ２２の基準周波数が発信器３５の周波数と同期している場合には、この基準時刻情報間隔は一定である。しかし、エンコーダ２２の基準周波数が発信器３５の周波数と同期していない場合には、以下のように基準時刻情報としてずれが生じてくる。
エンコーダ２２の基準周波数 ＜ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が長くなる。・・・(1)
エンコーダ２２の基準周波数 ＞ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が短くなる。・・・(2)
エンコーダ２２の基準周波数 ＜ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が長くなる。・・・(1)
エンコーダ２２の基準周波数 ＞ 発信器３５の周波数
：１フレームあたりの基準時刻情報間隔が短くなる。・・・(2)
映像表示判定手段３８では、それぞれのデコーダ３１２１，３１２２，３１２３，３１２４による復号映像の映像フレーム同期信号による基準時刻情報間隔を監視し、映像フレーム同期タイミングと基準時刻情報間隔を判定し以下の処理を行う。
処理１： 基準時刻情報間隔が１フレーム分遅くなった場合：読み出す復号映像を先に読み出しを行った１フレームの映像の再読み出しを行う。（図７）
図７は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より遅い場合（段落番号［００３７］の(1)の場合）を示す。
映像同期タイミング５０３のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０１のタイムスタンプがβとすると（α−β＞Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、映像同期タイミング５０３で、監視カメラ１，２，４では５０１の復号映像データを出力するのに対し、監視カメラ３は５０１の復号映像データのフレームメモリへの映像出力が完了していないため５００の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０２、５０３、５０４とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム前の復号映像データ５０１，５０２，５０３をフレームメモリから出力する。
処理１： 基準時刻情報間隔が１フレーム分遅くなった場合：読み出す復号映像を先に読み出しを行った１フレームの映像の再読み出しを行う。（図７）
図７は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より遅い場合（段落番号［００３７］の(1)の場合）を示す。
映像同期タイミング５０３のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０１のタイムスタンプがβとすると（α−β＞Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、映像同期タイミング５０３で、監視カメラ１，２，４では５０１の復号映像データを出力するのに対し、監視カメラ３は５０１の復号映像データのフレームメモリへの映像出力が完了していないため５００の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０２、５０３、５０４とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム前の復号映像データ５０１，５０２，５０３をフレームメモリから出力する。
処理２： 基準時刻情報間隔が１フレーム分早くなった場合：読み出す復号映像を１フレーム分の読み飛ばしを行う。（図８）
図８は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より早い場合（段落番号［００３７］の(2)の場合）を示す。
映像同期タイミング５０２のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０３のタイムスタンプがγとすると（α−γ＜Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、監視カメラ１，２，４では５０２の復号映像データを出力するのに対し、監視カメラ３は５０３の復号映像データのフレームメモリへの映像出力が出来るため５０３の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０３、５０４、５０５とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム後の復号映像データ５０４，５０５，５０６をフレームメモリから出力する。
図８は、監視カメラ３の基準周波数が映像監視表示装置の発信器３５より早い場合（段落番号［００３７］の(2)の場合）を示す。
映像同期タイミング５０２のタイムスタンプがα、監視カメラ３の復号映像データデコーダ出力５０３のタイムスタンプがγとすると（α−γ＜Δ）（Δ＝３００３（フレームレートが２９．９７Ｈｚのとき））の条件に当てはまる場合には、監視カメラ１，２，４では５０２の復号映像データを出力するのに対し、監視カメラ３は５０３の復号映像データのフレームメモリへの映像出力が出来るため５０３の復号映像データをフレームメモリから出力する。その後、監視カメラ１，２，４は５０３、５０４、５０５とフレームメモリから出力するのに対し監視カメラ３の復号映像データは１フレーム後の復号映像データ５０４，５０５，５０６をフレームメモリから出力する。
「実施の形態における効果」
以上のように、それぞれの監視カメラとの間の伝送遅延により表示するタイミングがずれるような場合であっても、それぞれの監視カメラ２１，２２，２３，２４の映像ストリーム上の映像タイムスタンプを合わせることにより、ネットワーク上の遅延差による表示のずれを最小限にすることができる。
また、それぞれの監視カメラ２１，２２，２３，２４のエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラ２１，２２，２３，２４からの映像を同一の時間軸で表示することができる。
以上のように、それぞれの監視カメラとの間の伝送遅延により表示するタイミングがずれるような場合であっても、それぞれの監視カメラ２１，２２，２３，２４の映像ストリーム上の映像タイムスタンプを合わせることにより、ネットワーク上の遅延差による表示のずれを最小限にすることができる。
また、それぞれの監視カメラ２１，２２，２３，２４のエンコーダ２２の基準周波数に違いがある場合でも、映像監視表示装置３でその基準周波数の違いによる復号映像の表示ずれの発生を防ぎ、それぞれの監視カメラ２１，２２，２３，２４からの映像を同一の時間軸で表示することができる。
この発明は防犯カメラや、人が立ち入りできない危険個所に設置された機器の運転状況を離れた場所でモニタする映像監視システムに広く利用される可能性がある。
１：ネットワーク、２１、２２、２３、２４：監視カメラ、３：映像監視表示装置、４：映像表示装置、２０：映像入力手段、２１：フレームメモリ、２２：エンコーダ、２３：送信バッファ、２４：送信手段、２５：基準時間設定手段、２６：基準時間生成手段、２７：エンコード再開手段、３０：受信手段、３１１，３１２，３１３，３１４：映像復号部、３１１１，３１１２，３１１３，３１１４：受信バッファ、３１２１，３１２２，３１２３，３１２４：デコーダ、３１３１，３１３２，３１３３，３１３４：フレームメモリ、３１４１，３１４２，３１４３，３１４４：タイムスタンプ抽出手段、３１５１，３１５２，３１５３，３１５４：映像タイムスタンプ置き換え手段、３２：映像合成手段、３３：映像出力手段、３４：基準時間通知手段、３５：発信器、３６：映像再生時刻決定手段、３７：映像タイムスタンプ生成手段、３８：映像表示判定手段。
Claims (6)
- 監視対象を複数の監視カメラで撮影した映像データが符号化され生成された映像ストリームを伝送路を介して受信し、それぞれの映像ストリームを復号し、復号された映像データを合成し、1つの映像データとして表示可能な信号を生成する映像監視表示装置において、
映像表示を開始するに際し、前記複数の監視カメラに対し、映像データを符号化する時の各基準時間を共通化するための基準設定通知をする基準時間設定通知手段、
複数の監視カメラから出力され映像ストリームを伝送路より受信する受信手段、
受信手段により受信した複数の映像ストリームを各監視カメラに対応して格納する複数の蓄積手段、
各蓄積手段に格納された映像ストリームから映像タイムスタンプ情報を抽出するタイムスタンプ抽出手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較して複数の映像ストリームの到達時刻の差を求め、この到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの蓄積手段から対応映像ストリーム出力を開始する映像再生時刻決定手段、
各蓄積手段から出力された映像ストリームをそれぞれ復号する複数の復号手段、
復号された映像データに対する映像タイムスタンプと共通の映像タイムスタンプから表示同期とのずれを判定する映像表示判定手段、
複数の復号手段で復号された複数の映像データを映像表示判定手段の判定結果に基づきフレーム処理し合成する映像合成手段、
合成された映像データを出力する映像出力手段
を備えることを特徴とする映像監視表示装置。 - 映像合成手段の前段に配設され、各復号手段で復号された映像データを記憶するフレームメモリ、
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上遅くなった際には、フレームメモリに記憶されている映像データを１フレーム分繰り返して表示する指示を映像フレームメモリに行う映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。 - 映像合成手段の前段に配設され、各復号手段で復号された映像データを記憶するフレームメモリ、
それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上早くなった際には、フレームメモリに記憶されている映像データを１フレーム分飛び越して表示する指示を映像フレームメモリに行う映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。 - それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上遅くなった際には、上記映像タイムスタンプ置き換え手段が置き換える共通の映像タイムスタンプとして他の共通の映像タイムスタンプより１フレーム分加算したタイムスタンプに置き換える処理を映像タイムスタンプ置き換え手段に指示する映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。 - それぞれの復号手段に対して共通の映像タイムスタンプ情報を生成する映像タイムスタンプ生成手段、
タイムスタンプ抽出手段により抽出されたそれぞれの映像タイムスタンプ情報を比較し、複数の映像ストリームの到達時刻の差から映像再生時刻を求め、求められた映像再生時刻からそれぞれの映像タイムスタンプ情報に対応する映像ストリームを決定し、それぞれの映像ストリームの映像タイムスタンプを、映像タイムスタンプ生成手段により求められた同時刻である共通の映像タイムスタンプに置き換える映像タイムスタンプ置き換え手段、
映像タイムスタンプ置き換え手段により置き換えられた映像タイムスタンプを持つそれぞれの映像ストリームを復号手段への入力を開始する映像再生時刻決定手段、
共通の映像タイムスタンプに置き換えられたそれぞれの映像ストリームを、復号手段にて復号された映像に対する映像タイムスタンプが表示の基準となる表示時刻と比較し、その差分として１フレーム以上早くなった際には、上記映像タイムスタンプ置き換え手段が置き換える共通の映像タイムスタンプとして他の共通の映像タイムスタンプより１フレーム分減算したタイムスタンプに置き換える処理を映像タイムスタンプ置き換え手段に指示する映像表示判定手段を備えることを特徴とする請求項１記載の映像監視表示装置。 - 監視対象を撮影し、撮影した映像データを符号化して映像ストリームを生成し、この映像ストリームを伝送路に送信する複数の監視カメラと、
伝送路より受信した複数の映像ストリームを復号し、復号された映像データを合成し、1つの映像データとして表示可能な信号を生成する映像監視表示装置とを備えた映像監視システムにおいて、
上記映像監視表示装置は請求項１〜５の何れか1項に記載の構成にされ、
上記複数の監視カメラは各々、
監視対象を撮影した映像データを符号化して映像ストリームを生成する符号化手段、
上記映像監視表示装置からの符号化基準時間の設定の通知により複数の映像を符号化する複数の符号化手段に対して共通の符号化基準時間を与え、符号化基準時間が与えられたとき、符号化手段の符号化を一時停止する基準時間設定手段、
上記基準時間設定手段により、基準時間が与えられた際に、その基準時間より符号化手段の符号化を再開させる符号化再開手段
複数の符号化手段により符号化された映像ストリームを伝送路に送信する複数の送信手段を備えることを特徴とする映像監視システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009174038A JP2011029969A (ja) | 2009-07-27 | 2009-07-27 | 映像監視表示装置および映像監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009174038A JP2011029969A (ja) | 2009-07-27 | 2009-07-27 | 映像監視表示装置および映像監視システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011029969A true JP2011029969A (ja) | 2011-02-10 |
Family
ID=43638168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009174038A Pending JP2011029969A (ja) | 2009-07-27 | 2009-07-27 | 映像監視表示装置および映像監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011029969A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101384332B1 (ko) * | 2012-09-06 | 2014-04-10 | 현대모비스 주식회사 | 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템 |
| KR20140137251A (ko) * | 2013-05-22 | 2014-12-02 | 삼성테크윈 주식회사 | Rtp 패킷을 이용한 재생 영상의 시간 표시 방법 |
| JP2015033136A (ja) * | 2013-08-02 | 2015-02-16 | アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド | ビデオ監視システムにおけるビデオカメラ及びビデオ受信器 |
| CN104618673A (zh) * | 2015-01-20 | 2015-05-13 | 武汉烽火众智数字技术有限责任公司 | 一种基于nvr的多路录像同步回放控制方法和装置 |
| CN104980805A (zh) * | 2015-07-28 | 2015-10-14 | 无锡天脉聚源传媒科技有限公司 | 视频播放方法及装置 |
| US9571799B2 (en) | 2012-03-26 | 2017-02-14 | Panasonic Intellectual Property Management Co., Ltd. | Wireless communication system and method, and data receiving apparatus, method and program |
| JP2017535172A (ja) * | 2014-10-08 | 2017-11-24 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． | ビデオカメラシステムにおけるデータレートの設定 |
| WO2020174994A1 (ja) | 2019-02-26 | 2020-09-03 | パナソニックＩｐマネジメント株式会社 | カメラ映像伝送再生システム、それを構成するカメラおよびビューア |
| JPWO2021044621A1 (ja) * | 2019-09-06 | 2021-03-11 | ||
| CN112995735A (zh) * | 2017-04-26 | 2021-06-18 | 威盛电子股份有限公司 | 分布式视频显示系统、控制装置及控制方法 |
| US11877090B2 (en) | 2020-12-17 | 2024-01-16 | Mitsubishi Electric Corporation | Control device, image recording method, and recording medium |
-
2009
- 2009-07-27 JP JP2009174038A patent/JP2011029969A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9571799B2 (en) | 2012-03-26 | 2017-02-14 | Panasonic Intellectual Property Management Co., Ltd. | Wireless communication system and method, and data receiving apparatus, method and program |
| KR101384332B1 (ko) * | 2012-09-06 | 2014-04-10 | 현대모비스 주식회사 | 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템 |
| KR101974077B1 (ko) | 2013-05-22 | 2019-08-23 | 한화테크윈 주식회사 | Rtp 패킷을 이용한 재생 영상의 시간 표시 방법 |
| KR20140137251A (ko) * | 2013-05-22 | 2014-12-02 | 삼성테크윈 주식회사 | Rtp 패킷을 이용한 재생 영상의 시간 표시 방법 |
| JP2015033136A (ja) * | 2013-08-02 | 2015-02-16 | アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド | ビデオ監視システムにおけるビデオカメラ及びビデオ受信器 |
| JP2017535172A (ja) * | 2014-10-08 | 2017-11-24 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． | ビデオカメラシステムにおけるデータレートの設定 |
| CN104618673A (zh) * | 2015-01-20 | 2015-05-13 | 武汉烽火众智数字技术有限责任公司 | 一种基于nvr的多路录像同步回放控制方法和装置 |
| CN104618673B (zh) * | 2015-01-20 | 2018-05-01 | 武汉烽火众智数字技术有限责任公司 | 一种基于nvr的多路录像同步回放控制方法和装置 |
| CN104980805A (zh) * | 2015-07-28 | 2015-10-14 | 无锡天脉聚源传媒科技有限公司 | 视频播放方法及装置 |
| CN112995735A (zh) * | 2017-04-26 | 2021-06-18 | 威盛电子股份有限公司 | 分布式视频显示系统、控制装置及控制方法 |
| CN112995735B (zh) * | 2017-04-26 | 2023-09-22 | 威盛电子股份有限公司 | 分布式视频显示系统、控制装置及控制方法 |
| WO2020174994A1 (ja) | 2019-02-26 | 2020-09-03 | パナソニックＩｐマネジメント株式会社 | カメラ映像伝送再生システム、それを構成するカメラおよびビューア |
| JPWO2021044621A1 (ja) * | 2019-09-06 | 2021-03-11 | ||
| WO2021044621A1 (ja) * | 2019-09-06 | 2021-03-11 | ローランド株式会社 | 情報処理方法、情報処理装置、およびプログラム |
| US11706504B2 (en) | 2019-09-06 | 2023-07-18 | Roland Corporation | Information processing method, information processing device, and recording medium |
| US11877090B2 (en) | 2020-12-17 | 2024-01-16 | Mitsubishi Electric Corporation | Control device, image recording method, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011029969A (ja) | 映像監視表示装置および映像監視システム | |
| US6429902B1 (en) | Method and apparatus for audio and video end-to-end synchronization | |
| US9591283B2 (en) | Encoding appartus, decoding apparatus, encoding method, and decoding method | |
| US8620134B2 (en) | Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams | |
| JP5697743B2 (ja) | 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 | |
| JPH11205696A (ja) | 映像伝送装置及び映像伝送方法 | |
| US20160366431A1 (en) | Video decoding device and video decoding method | |
| US8526501B2 (en) | Decoder and decoding method based on video and audio time information | |
| US9948940B2 (en) | Encoding apparatus, decoding apparatus, encoding method, and decoding method | |
| JP2013026787A (ja) | 送信装置、受信システム、通信システム、送信方法、受信方法、及びプログラム | |
| JP2014230154A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP2013192148A (ja) | 受信装置、クロック復元方法及びプログラム | |
| Yang et al. | Time Stamp Synchronization in Video Systems | |
| JP7146574B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
| KR20160114586A (ko) | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 | |
| JP6813933B2 (ja) | 映像音声伝送システム、伝送方法、送信装置及び受信装置 | |
| WO2020241309A1 (ja) | 同期制御装置、同期制御方法及び同期制御プログラム | |
| JP5632711B2 (ja) | 送信装置、受信装置及び伝送システム | |
| JP2002176643A (ja) | 映像・音声復号処理における映像・音声の同期再生方式 | |
| JP2008244781A (ja) | 地上波デジタル放送のｉｐ再送信システム及びこれで用いるまだら編成時のシームレス切り替え制御方法 | |
| JP2007201797A (ja) | 伝送システム及び映像出力方法 | |
| JP2010187055A (ja) | 映像出力装置、映像出力システムおよび映像同期方法 | |
| JP2011176709A (ja) | 画像符号化装置及び画像伝送システム | |
| JP2006128823A (ja) | 符号化装置、復号装置及び映像伝送システム | |
| JP2004128869A (ja) | 映像復号出力装置および映像出力システム |