JP2012195795A - ネットワークカメラシステム - Google Patents
ネットワークカメラシステム Download PDFInfo
- Publication number
- JP2012195795A JP2012195795A JP2011058664A JP2011058664A JP2012195795A JP 2012195795 A JP2012195795 A JP 2012195795A JP 2011058664 A JP2011058664 A JP 2011058664A JP 2011058664 A JP2011058664 A JP 2011058664A JP 2012195795 A JP2012195795 A JP 2012195795A
- Authority
- JP
- Japan
- Prior art keywords
- timing
- network
- time
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
- H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】
ネットワークを介した符号化信号送受信システムにおいて、信号取り込みから出力までの合計の遅延時間を短縮する。
【解決手段】
送信機側と受信機側が基準時刻の同期を行ったうえで、信号取り込みから信号出力までの時間を短縮する送信機側の同期信号の位相を受信機側で計算し、基準同期信号の位相を調整する手段を備える。
【選択図】 図1
ネットワークを介した符号化信号送受信システムにおいて、信号取り込みから出力までの合計の遅延時間を短縮する。
【解決手段】
送信機側と受信機側が基準時刻の同期を行ったうえで、信号取り込みから信号出力までの時間を短縮する送信機側の同期信号の位相を受信機側で計算し、基準同期信号の位相を調整する手段を備える。
【選択図】 図1
Description
本発明はネットワークカメラシステムに関する。例えば、画像音声信号を圧縮伸張する技術を用いてネットワーク伝送する技術に関する。
背景技術として、例えば、特開2005−286453号公報(特許文献1)がある。該公報には「[課題]ネットワークで互いに接続された複数の監視カメラによる映像撮影において、ネットワーク以外の配線を用いずに、全ての監視カメラの間での映像撮影タイミングを同期させる。[解決手段]ネットワーク監視カメラは、撮影タイミングの基準となる同期情報をネットワークを介して送受信する同期情報通信手段と、該同期情報に基づいて監視カメラに内蔵する同期基準カウンタの読み出し値を調整するカウンタ読み出し値調整回路と、該同期基準カウンタの読み出し値を基に水平・垂直同期信号を生成する同期信号発生回路と、該同期信号発生回路から出力される水平・垂直同期信号に同期して映像を撮影するカメラモジュールを具備する。」と記載されている(要約参照)。
画像音声信号をネットワークを介して他の機器と通信する際、伝送帯域の制限内で高画質、高音質なデータを出力するため、映像および音声信号を圧縮符号化して伝送する技術がある。これらの技術を利用してネットワークを介したカメラシステムが存在する。例えば、上記特許文献1には、複数のカメラをネットワークに接続したネットワークカメラにおいてカメラ間の撮像タイミングを同期させる技術が開示されている。
しかし、映像音声システムをネットワーク経由で通信するシステムにおいては、実際のシステムにおいては圧縮伸張にかかる時間のみでなく、映像または音声信号を撮像センサやマイクで入力してから、受信側でディスプレイ機器あるいはスピーカで出力するまでの総遅延時間を最小化したいという要求がある。また、受信機側で復号した映像または音声信号をその後の映像物体認識、音声認識システムに転送し、他の制御を行うシステムでは、映像または音声信号の送信機側での取り込みタイミングから、認識システムまでの遅延時間が一定である必要がある。
上記特許文献1においては、上記のように送信機側から受信機までの遅延時間をシステムにおいて一定化さらに短縮化するための具体的な技術については記載されていない。
本発明は、ネットワークカメラシステムの使い勝手を向上することを目的とする。例えば、上記課題を解決するネットワークシステムを低コストで提供する。例えばさらに、映像音声信号をネットワーク経由で他の機器に送信するネットワークカメラがネットワークに接続されており、ひとつの受信器において、上記ネットワーク群から映像音声信号を受け取り、各カメラ映像音声信号の取り込みタイミングを制御し、受信機側の映像出力タイミングまでの時間を低遅延化するシステムを安価に構築し、その使い勝手を向上させることである。
上記目的は特許請求の範囲に記載の発明により達成される。
本発明によれば、ネットワークカメラシステムの使い勝手が向上する。例えば、映像音声システムをネットワーク経由で通信するシステムにおいて、映像を撮像センサで入力してから、受信側でディスプレイ機器で出力するまでのトータル時間を一定化、システムの制約内で低遅延化することが可能である。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
図1に本発明の実施例1のブロック図を示す。以下、本図を用いて実施例1を説明する。本実施例では、毎秒30フレーム/secで取り込まれる1920x1080ピクセルのビデオ画像をH.264/AVC(ISO/IEC14496−10)の規格に準拠して映像符号化し、また48KHzのサンプリングレート取り込まれた12ビット音声データをMPEG1LayerIIの音声符号化処理を施しパケット多重化し、ネットワークを介して送信するネットワークカメラである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるIEEE802.3規格で規定されている方式を用いることを前提とする。なお、本実施例では、音声については従来からあるPCMサンプリングし、MEPG1LayerIIによる符号化送信を行うことを前提とし、図面にブロック構成を図示するのみに留める。
図1のネットワーク送受信部29では、システム起動後、IEEE802.3規格に準拠するプロトコルにしたがって、端子10につながった図示しないネットワークに接続された受信機と通信リンクを行う。IEEE802.3入力されたパケット列を、例えばIEEE802.3規格に準拠したLANパケットとして受信する。IEEE1588:IEEE1588−2002 Precision Clock Synchronization Protocol for Networked Measurement and ControlSystemsに記載されるPTP(Precision Time Protocol)に従う方法でも良い。本実施例では、簡素化したプロトコルを想定して、時刻同期システムについて説明する。
本システムでは、受信機側を時刻同期のためのサーバと定義し、送信機側をサーバ側の時刻に合わせるクライアント側と定義する。
図2に、サーバ側とクライアント側が時刻同期をとるために行うパケット送受信の方法を示す。
サーバ側は、時刻同期を取るために、T1時刻地点で同期情報を取るための最初のパケットを送信機側に送信する。本パケットは、Syncパケットと呼ばれ、このパケットを受信した図1のネットワーク送受信部29は、パケット分離部11にパケットを送信する。さらにパケット分離部11はSyncパケットであることを識別子より判別し、後段の時刻情報抽出部12に送る。時刻情報抽出部12では、パケットに記載されたサーバ側のパケット送信時間(T1)と、時刻情報抽出部12にパケットが到着した時刻(T2)を送信機内の基準時刻カウンタ14より入手する。基準時刻カウンタは後述するように基準クロックリカバリ13において生成されたシステムクロックを用いて、基準時刻をカウントアップする。次に、遅延情報生成部15では、クライアントからサーバへ送信するパケット(DelayReq)を生成し、ネットワーク送受信部29に送る。ネットワーク送受信部29では、本パケットを送信するタイミング(T3)を基準時刻カウンタから読み取り、受信機(サーバ)に送信する。同時にT3の情報を時刻情報抽出部12に転送する。サーバにおいては、DelayReqのパケットが到着したタイミング(T4)を読み取り、これをDelayRespのパケット内に記述して、クライアント側に送信する。送信機側(クライアント)に到着したDelayRespパケットは、パケット分離部11に送信され、DelayRespパケットと確認された後、時刻情報抽出部12に送信される。時刻情報抽出部12では、DelayRespパケット内に記述されたT4情報を抽出する。以上の過程で、時刻情報抽出部12は、T1、T2、T3およびT4の時刻情報を得ることが可能となる。
サーバ側は、時刻同期を取るために、T1時刻地点で同期情報を取るための最初のパケットを送信機側に送信する。本パケットは、Syncパケットと呼ばれ、このパケットを受信した図1のネットワーク送受信部29は、パケット分離部11にパケットを送信する。さらにパケット分離部11はSyncパケットであることを識別子より判別し、後段の時刻情報抽出部12に送る。時刻情報抽出部12では、パケットに記載されたサーバ側のパケット送信時間(T1)と、時刻情報抽出部12にパケットが到着した時刻(T2)を送信機内の基準時刻カウンタ14より入手する。基準時刻カウンタは後述するように基準クロックリカバリ13において生成されたシステムクロックを用いて、基準時刻をカウントアップする。次に、遅延情報生成部15では、クライアントからサーバへ送信するパケット(DelayReq)を生成し、ネットワーク送受信部29に送る。ネットワーク送受信部29では、本パケットを送信するタイミング(T3)を基準時刻カウンタから読み取り、受信機(サーバ)に送信する。同時にT3の情報を時刻情報抽出部12に転送する。サーバにおいては、DelayReqのパケットが到着したタイミング(T4)を読み取り、これをDelayRespのパケット内に記述して、クライアント側に送信する。送信機側(クライアント)に到着したDelayRespパケットは、パケット分離部11に送信され、DelayRespパケットと確認された後、時刻情報抽出部12に送信される。時刻情報抽出部12では、DelayRespパケット内に記述されたT4情報を抽出する。以上の過程で、時刻情報抽出部12は、T1、T2、T3およびT4の時刻情報を得ることが可能となる。
サーバ・クライアント間のパケット送受信時の時間差は、ネットワークの伝送遅延Tnetと両者の装置の基準時刻の差Toffset(クライアントの時刻―サーバ側の時刻)を考えるとT2−T1=Tnet+Toffset、T4−T3=Tnet−Toffsetとなる(ただし、サーバ/クライアント間のネットワークの伝送遅延は、上りと下りで同時間と仮定している)ため、Tnet=(T2−T1+T4−T3)/2、Toffset=T2−T1−Tnetとして求めることができる。
時刻情報抽出部12は、T1、T2、T3およびT4情報が得られた段階で、上記計算によりToffsetを計算する。さらに、時刻情報抽出部12は、Toffset分、基準時刻カウンタ14を現在時刻から戻すように制御する。
上記と同様、複数回、Sync、DelayReq,DelayRespのパケットの送受信を繰り返し、数回にわたりToffsetを計算し、Toffsetが0に近づく方向に、基準クロックリカバリ部13に制御情報を送る。具体的には、基準クロックリカバリ部13はたとえば、VCXO(Voltage-Controlled Crystal Oscillator)で構成しておき、Toffsetがプラス値となっており、クロックを遅くしたい場合には、基準クロックリカバリ部13へ供給する電圧を下げ、反対にToffsetがマイナス値で、クロックを早めたい場合には、基準クロックリカバリ部13へ供給する電圧を上げる。
この制御を、Toffsetの絶対値に応じて、電圧制御幅を変更するフィードバック制御を設けることにより基準クロックリカバリ部13から基準時刻カウンタ14へ送出するクロックを安定させ、サーバ側に同期した周波数に収束させることが可能である。また、送信機側は受信機側と同期して基準時刻カウンタ14を更新することが可能となる。
ネットワーク送受信部29は、受信機側から受け取ったパケットのうち、時刻同期を取るためのパケットのほか、同期位相情報が含まれるパケットについてもパケット分離部11に送信する。パケット分離部11では、同期位相情報が含まれるパケットについては、同期位相情報抽出部16に送付する。本パケットには、送信機の動作同期信号のタイミングを、基準時刻カウンタ14を基準として、指し示したものである。例えば、図3に示すように、ネットワーク送受信部29が、受信した同期位相情報が含まれるパケット(以下SyncPahseと示す)30を受信し同期位相情報抽出部16に送る。
同期位相情報抽出部16では、SyncPhase内に記載された基準同期信号の発生タイミングTAを抽出する。TAは、送信機側で基準同期信号を発生すべき基準時刻カウンタ値を示したものである。
パケット内の格納位置を送受信側で規格化しておき、そのシンタックスに基づいてデータを解析すれば一意にTA情報の格納位置を特定し、データを抽出することが可能である。抽出されたタイミングTAは、基準同期信号発生器17に転送される。
基準同期信号発生器17は図3に示すように基準時刻カウンタ14から送られる基準時刻を参照し、TAのタイミングになった時点で、基準同期信号32を生成し、センサ制御部18に送信する。同様に後続のSyncPhase31以降のパケットが到着するごとに随時基準同期信号33を生成する。基準同期信号を受けとったセンサ制御部18は、それまで図3の34、35のように周期Tmsでフリーラン動作にて生成していたセンサ垂直同期信号を32の基準同期信号のタイミングにセンサ垂直同期信号の発生タイミングを変更する。
その後も、基準クロックリカバリ13から受け取った基準クロックに基づいて周期Tmsをカウントし、周期Tmsごとにセンサ垂直同期信号を発生する(図3の36〜39)。また、基準同期信号33以降の同期信号については、センサ制御部18で生成した垂直同期信号と同一のタイミングになっているため、位相ずれが検知されない限りは、そのまま周期Tmsごとの信号生成を継続する。
その後の基準同期信号到着時に、センサ制御部18で生成したセンサ垂直同期との位相が同一もしくは、ある時刻範囲内であることが一回、もしくは数回確認されれば、受信機側と送信機側の想定する同期信号のタイミングがそろったとみなし、位相調整の確認完了信号をシステム制御部28に送信する。
基準同期信号と垂直同期信号(例えば33と39)との間で位相ずれが見つかった場合には、受信機側での異常などにより同期信号のタイミングが変わったとみなし、システム制御部28に位相ずれの通知を行う。上記のように、位相調整のための情報(SyncPhase)の送信間隔タイミングが垂直同期信号の生成周期Tmsより相対的に長くとも、センサ制御部18において生成される垂直同期信号は、一度位相調整を行った段階で基準クロックと基準時刻を基に精度高く垂直同期信号を生成することが可能となる。この点において、本方式は、送信によるネットワークトラフィック低減にも効果的である。
また、定期的に送信されるSyncPhaseによって、システムのなんらかの異常により同期信号の位相がずれていることを検知することが可能であり、その後のエラー修正の制御を行うことが可能となる。
システム制御部28では、位相調整の確認完了信号を受信した後、レンズ部19、CMOSセンサ20、デジタル信号処理部21、映像符号化部22システムMux部を制御し、映像符号化を開始する。映像符号化については、一般的なデジタル映像の撮像、デジタル圧縮符号化を行う。例えば、レンズ部19では、システム制御部28から受けたAF(AutoFocus)のためのレンズ部の移動を行い、CMOSセンサ20では、レンズ部から受光し出力値を増幅した後、デジタル映像としてデジタル信号処理部21に出力する。デジタル信号処理部21では、CMOSセンサ20から受け取った例えばBayer配列状のRAWデータから、デジタル信号処理を施し、輝度、色差信号(YUV信号)に変換したのち、映像符号化部22に転送する。
映像符号化部では、各垂直同期間内にキャプチャされた画像軍をピクチャとしてまとまった単位として扱い、符号化処理をしていく。このとき、符号化遅延時間が数フレーム期間にならないように、例えば、イントラフレーム内での予測を用いるIピクチャ(Intra Picture)もしくは、前方予測のみを用いて、Pピクチャ(Predictive Picture)を生成する。この際、一定ビットレートのビット発生量に近づくように映像符号化部22は横16画素x縦16画素からなる各MB(Macroblock)を符号化したの後の符号化量を調整する。具体的には量子化ステップを調整することで、各MBごとの発生符号量を制御することが可能となる。数MBの処理が終了するまで、システムMux部ではビットストリームを内部バッファに格納し、所定のMB数分格納された段階で、システムMux部では、MPEG2TSストリームとしてビデオストリームを188バイトの固定長を持つTSパケット化し出力する。さらにネットワーク送受信部59において、MACパケット化され、ネットワークを介して受信機側に送信される。
図4は、システムMux部における内部バッファのストリーム蓄積量の遷移状況を例示した図である。本図では、便宜上、MB期間ごとに各MBを符号化した符号が瞬間的にバッファに蓄積され、各MB期間ごとに一定のスループットでネットワークにストリームが出力されるものとしている。
上記システムMux部におけるストリームの出力開始タイミングは、一定ビットレートで外部に出力した際に、ビットストリームの符号発生量(スループット)が変動し、システムMux部のバッファ内に格納した符号化データがもっとも少なくなった場合(図4の90のタイミング)てもシステムMux部のバッファが枯渇しない所定の待機時間(図4の91)だけ待つことにより制御される。一般的に、これらの制御は実際の符号化量を監視しつつ、バッファの遷移に応じて上記量子化ステップを変更することにより、所定のMB数期間内における符号化量を制御し、スループットを出力ビットレートに対して一定のジッタ範囲に抑えることが可能である。この収束に必要な時間分だけ図5の91分期間を設けることで、システムMux部のバッファが枯渇しないシステムを実現することができる。
本期間を送信機側の仕様として規定することで、その後の伝送遅延を受信機側で計算することが可能となる。
次に図5を用いてブロック構成および受信機側の動作を説明する。基準クロック生成部51では、受信機側の基準クロックが生成される。本基準クロックは、図2で示したサーバ側とクライアント側での時刻同期を取るための基準クロックとなり、51において水晶発信器などによって他の外部同期を用いずにフリーラン動作によってクロックが生成される。
本クロックを基準として基準時刻カウンタ52ではサーバ側の基準時刻をカウントする。時刻制御パケット生成部53では、本基準時刻を用いて図2で示した時刻同期のためのパケット(Sync)の生成を行う。Syncの送信時にパケット内に記載するT1は、本ブロックで生成される。生成された(Sync)のパケットはパケット多重化部58において他のパケットと多重化され、さらにネットワーク送受信部59において変調され、ネットワーク端子60より外部に接続されたネットワークを介して送信部に伝送される。一方、送信部より受け取ったSyncReqパケットの受信時に、ネットワーク送受信部59より受信タイミングの通知を受け、時刻制御パケット生成部53において基準時刻(図2のT4)が記録される。本T4を用いて時刻制御パケット生成部53においてDelayRespパケットが生成され、パケット多重化部58、NW送需信部59を介して送信機側に伝送される。
図5は本実施例における受信機側のブロック構成図を示すものである。次に、受信機側の垂直同期タイミングの生成について説明する。基準クロック生成部51において生成された基準クロックを基準として、出力同期信号生成部55では出力時の垂直同期信号が生成される。本垂直同期信号は、送信機同期位相計算部56に送られる。ここでは、後述のように送信機側の垂直同期信号の位相を受信機側の出力時の垂直同期信号の位相より計算し、基準時刻カウンタにおけるカウンタ情報を用いて、図3に示したSyncPhaseのパケットを生成する。SyncPhaseパケットは、パケット多重化部に送信され、Syncパケットと同様にネットワーク送受信部59、ネットワーク端子60より送信機側に送信される。
次に、受信機における映像の復号手順について説明する。ネットワーク送受信部59により受信された映像に関するMPEG2TSストリームを含むMACパケットは、システムDemux部61に転送する。システムDemux部61では、TSパケットの分離、映像ストリームの抽出が行われる。抽出された映像ストリームについては、映像復号部62に転送される。音声ストリームについては音声複合部65に送られ、DAコンバータ66でDigital/Audio変換をかけたのちスピーカに出力される。
システムDemux部61では、内部バッファに所定の待機時間だけストリームを蓄積した後、映像復号部62にストリームを出力し復号を開始する。
図6にシステムDemux部61における内部バッファにおいて、ストリームが蓄積量される際の遷移状況の一例を示す。本図においては、便宜上、ストリームが一定のビットレートでネットワークより供給され、各MB単位の時間ごとに瞬間的に映像復号部62において各MB分のストリームが出力されるようにモデル化して示す。
時刻T0の段階からストリームの入力が開始され、期間92に示す期間だけ待機してから、ストリームの復号を開始する。これは、タイミング93に示すようにストリームの格納量がもっとも少なくなったときにも、アンダーフローしないようにするために待機時間を設ける。この待機時間は、送信機側がネットワークの伝送ビットレートに発生符号量を収束させるために必要な最低の収束時間がわかる場合、その収束時間以上の時間を待機時間として規定することで実現可能である。
Demux部61から読み出された映像ストリームは映像復号部62において復号され、復号画像が生成される。生成された復号画像は、表示処理部63に転送され、垂直同期に同期したタイミングによってディスプレイ64に送信され、動画として表示される。また、例えば外部の図示されていない画像認識用機器などに送信するために外部端子69から映像信号として出力される。
図7は、送信機から受信機の各機能ブロックにおける制御タイミングの関係を示した図である。
図7中の垂直同期信号40は図1のセンサ制御部18が生成する垂直同期信号、図7中のセンサ読み出し信号41は、図1のCMOSセンサからデータが読み出されるタイミング、図7中の画像取り込み42は図1の映像符号化部22への映像入力タイミング、図7中の符号化データ出力43は、図1の22の映像符号化部22から映像符号化ストリームが出力されるタイミング、図7中の符号化データ入力44は、図5の映像復号部62に符号化データが入力されるタイミング、図7中の復号側出力垂直同期信号は、図5の表示処理部63からディスプレイもしくは外部端子69に出力される垂直同期信号、さらに図7の復号画像出力46は、図5の表示処理部63からディスプレイもしくは外部端子69に出力する画像の有効画素期間を示す。便宜上、垂直同期タイミング40からセンサ読み出しタイミング41までの垂直ブランキング期間と、復号側出力垂直同期信号から、復号画像出力46までの垂直ブランキング期間と同じと考える。
ここでは、送信機側のCMOSセンサ(図1の20)の画像出力開始(図7の41の各フレームの開始時刻)から、受信機側が受信したパケットを受信して復号画像としてディスプレイもしくは他の機器に出力する時刻(図7の46)までの遅延時間(図7のTdelay)が設計仕様などにより特定できる場合を想定する。Tdelayは送信機側の映像取り込みから符号処理を経由してパケットを送信するまでの遅延時間とネットワークの転送遅延、および受信機側のパケット取り込みから復号処理を介して出力までに必要とされる遅延時間を合計することで定義できる。
図7の送信機同期位相計算部56では、受信機側の出力垂直同期信号45の出力タイミング(ta、tb、tc・・・)を基準時刻を計算する。これは、ある1サンプルの出力垂直同期信号の基準時刻を参照し、フレーム周期Tmsに相当する基準時刻カウンタを加算していくことで、計算可能である。ta、tb、tcを計算した後、それよりTdelayさかのぼる時刻(TA,TB、TC・・・)を計算する。例えば、TA=ta−Tdelayとなる。
このように計算されたTA,TB,TCを図3に示したようにSyncPhaseによって送信機に送信する。
このとき、TA,TB,TCの時刻情報を格納したSyncPhaseが受信機側に到着する時刻が、各々、十分TA,TB,TCより手前に到着するようにネットワークの遅延時間Tnetを加味して送信機側に送信する。
具体的には、受信機側がSyncPhaseパケットにて時刻Txにて送信側の同期信号の位相を調整させる場合、送信するタイミングをTsp、さらに送信機側がSyncPhaseを受信してからSyncPhase内の情報を解析に必要な時間をTyとするとTsp+Tnet+Ty<Tx以上となるTxを選定し、SyncPhaseパケットを生成することで、実現可能である。なお、上記Tdelay,Tnet、Tyなど制御タイミングを規定する各期間は処理負荷などによりその期間にジッタが生じる際には、各々、該当期間の最悪値を持って考慮することで、同等の制御を行うことが可能である。
本システムにより、送信側と受信側で垂直同期信号の位相差が映像取り込から出力までに必要とされる遅延時間Tdelayと同等または、それに近づける方向に調整可能となる。上記のようにTdelayが規定できるのは、ネットワークの伝送遅延を求める手段を有し、さらに、送信機の符号化遅延、受信機の復号遅延をバッファ格納時間を所定の時間に固定したことによる。もし、本実施例のような制御を行わずに、TA+Tdelay>taとなるような関係である場合、TAからTBの間に取り込まれた映像は受信機側では、taから始まるフレーム期間に出力することができなくなり、tbまで出力タイミングを遅延させる必要がある。このため、Tdelayが垂直同期期間に比べて十分に小さい場合でも、不要に撮像タイミングから映像出力までの時間が大きくなってしまう。本実施例により、このような状況を回避し、ネットワークの伝送能力および送信機、受信機の符号化、復号に必要される遅延時間で実現可能な遅延時間に総遅延時間を近づけることができる。
上記実施例で説明したクロック同期、時刻同期、基準同期信号の位相調整および符号化ストリームの送信に関する手順を、送信機および受信機について各々図8および図9に示す。これらの一連の制御手順を踏むことで、撮像から映像出力までの時間の低遅延化を可能とするネットワークカメラシステムを構築することが可能である。
図10に、本実施例で説明した送信機を用いたネットワークカメラ部1および受信機5をネットワークで接続したシステムを示す。上記のようなネットワークカメラシステムを構成することにより伝送システムが破綻することなく映像情報を送り続けることができる遅延時間を保証しつつ、送信機における撮像から受信機側の映像出力までの合計遅延を小さくする映像転送システムを構築することができる。
また、受信機が映像を出力するための同期信号のタイミングに対して、送信機側の撮像のための同期信号の位相(両者の最近となる立ち上がりタイミングの時間差)がシステム起動の度に一定となり、その後の画像処理や他の機器との厳密な同期タイミングが必要されるシステムでも設計が容易になるという効果がある。
なお、ここでの映像出力は、ディスプレイにて映像が表示されるタイミングで規定しても外部機器への出力タイミングで規定しても同等の効果が得られることは明らかである。
また、本システムでは、同期信号のタイミングをそろえるための制御信号を送信するための通信経路を、符号化信号の送受信のためのネットワーク以外に設ける必要がなく、システムコストの低減の観点からも有効である。
また、本システムでは、同期信号のタイミングをそろえるための制御信号を送信するための通信経路を、符号化信号の送受信のためのネットワーク以外に設ける必要がなく、システムコストの低減の観点からも有効である。
また、本実施例では、送信機側の垂直同期信号の位相を受信機側から制御する例を示したが、送信機側の映像の取り込み、符号化タイミングを間接的あるいは直接的に規定する同期信号もしくは制御タイミングであれば、本実施例の垂直同期信号の代替として、受信機側から位相情報を転送することにより本実施例と同等の効果をもたらすことは明らかである。また、本実施例では、時刻同期のサーバが受信機と同じ定義であったが、時刻同期のサーバは受信機とは異なる個別の装置であっても良い。その際には、受信機にも送信機と同様にクライアントとなりクロック同期、基準時刻カウンタをサーバに同期させた後、同期位相情報を送信機に送信するようにすれば、本実施例と同等の効果をもたらす。このときには、複数の受信システムがネットワークに存在し、それらを共通のクロックで制御したい場合に有益である。
本実施例では、ネットワーク層の規格としてIEEE802.3規格に準拠する例を示したが、さらにネットワークプロトコルのIP(Internet Protocol)を使用し、その上位のトランスポートプロトコルにはTCP(Transmission Control Protocol)およびUDP(User Datagram Protocol)を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばRTP(Real−time Transport Protocol)やHTTP(Hyper Text Transfer Protocol)等を使用しても良い。あるいは、その他、IEEE802.3規格で規定されているプロトコル方式を用いてもよい。
1…送信機、2…受信機、10…ネットワーク端子、11…パケット分離部、12…時刻情報抽出部、13…基準クロックリカバリ、、14…基準時刻カウンタ、15…遅延情報生成部、16…同期位相情報抽出部、17…基準同期信号発生器、18…センサ制御部、19…レンズ部、20…CMOSセンサ、21…デジタル信号処理部、22…映像符号化部、24…マイク、25…AD変換器、26…音声符号化部、27…システムMux、28…システム制御部、29…ネットワーク送受信部、51…基準クロック生成部、52…基準時刻カウンタ、53…時刻制御パケット生成部、55…出力同期信号生成部、56…送信機同期位相計算部、58…多重化部、59…ネットワーク送受信部、60…NW端子、61…システムDemux部、62…映像復号部、63…表示処理部、64…ディスプレイ部、65…音声復号部、66…DA変換部、67…スピーカ部
Claims (5)
- 入力映像を撮像し符号化した後に符号化情報としてネットワークに出力する符号化信号送信装置と、該符号化信号を伝送するネットワークと、該符号化信号を受信し、符号化信号を復号し映像出力する符号化信号受信装置とを備えるネットワークカメラシステムであって、
上記撮像のタイミングから上記映像出力のタイミングまでの遅延時間を元に、上記デジタル信号の撮像のための同期信号の位相タイミングを調整する手段を備えること、
を特徴とするネットワークカメラシステム。 - 請求項1に記載のネットワークカメラシステムであり、
上記同期タイミングを調整する手段は、符号化信号受信装置から送信された同期信号の位相制御パケットにより指定された基準タイミングを元に符号化信号送信装置が撮像のための同期の位相タイミングを調整すること、
を特徴とするネットワークカメラシステム。 - 請求項2に記載のネットワークカメラシステムであり、
上記符号化信号受信装置は、撮像タイミングから映像出力するまでの遅延時間を小さくする位相タイミングを求め、上記位相タイミングを制御情報として送信することを特徴とするネットワークカメラシステム。 - 請求項2に記載のネットワークカメラシステムであり、
上記符号化信号受信装置は、符号化信号受信装置から符号化信号送信装置までの伝送遅延を求める手段を備え、該伝送時間に基づいて符号化信号送信装置が位相調整可能な同期タイミングを求め、該同期タイミングに関する情報を制御情報として、送信すること、
を特徴とするネットワークカメラシステム。 - 入力映像を撮像し符号化した後に符号化情報としてネットワークに出力する符号化信号送信装置と、該符号化信号を伝送するネットワークと、該符号化信号を受信し、符号化信号を復号し映像出力する符号化信号受信装置とを備えネットワークカメラシステムであって、
該ネットワークシステムは、上記デジタル信号の撮像のための同期信号の位相タイミングを調整する手段を備えること、
を特徴とするネットワークカメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011058664A JP2012195795A (ja) | 2011-03-17 | 2011-03-17 | ネットワークカメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011058664A JP2012195795A (ja) | 2011-03-17 | 2011-03-17 | ネットワークカメラシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012195795A true JP2012195795A (ja) | 2012-10-11 |
Family
ID=47087295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011058664A Withdrawn JP2012195795A (ja) | 2011-03-17 | 2011-03-17 | ネットワークカメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012195795A (ja) |
-
2011
- 2011-03-17 JP JP2011058664A patent/JP2012195795A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5697743B2 (ja) | 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 | |
WO2011125737A1 (ja) | 受信装置およびカメラシステム | |
US8745432B2 (en) | Delay controller, control method, and communication system | |
US9723193B2 (en) | Transmitting device, receiving system, communication system, transmission method, reception method, and program | |
US20110249181A1 (en) | Transmitting device, receiving device, control method, and communication system | |
US10038827B2 (en) | Semiconductor device, electronic device module and network system | |
WO2005088888A1 (ja) | データ受信装置及びデータ受信方法 | |
JP2017005611A (ja) | 動画像復号装置及び動画像復号方法 | |
US20150109411A1 (en) | Image playback apparatus for 3dtv and method performed by the apparatus | |
AU2005259240A1 (en) | Method for transmitting packets in a transmission system | |
WO2020017499A1 (ja) | 映像音声伝送システム、伝送方法、送信装置及び受信装置 | |
JP2015149761A (ja) | 符号化信号送信装置 | |
JP2012195794A (ja) | 符号化信号受信装置 | |
US20220360845A1 (en) | Reception apparatus, reception method, and transmission and reception system | |
JP2012195795A (ja) | ネットワークカメラシステム | |
JP2012195796A (ja) | 符号化信号送信装置 | |
JP5697494B2 (ja) | 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 | |
Mochida et al. | MMT-based Multi-channel Video Transmission System with Synchronous Processing Architecture | |
JP2008131591A (ja) | リップシンク制御装置及びリップシンク制御方法 | |
WO2014068629A1 (ja) | 映像処理装置、映像送信装置、映像受信装置、映像処理方法、映像送信方法、及び映像受信方法。 | |
US20170019245A1 (en) | Reception apparatus and system | |
KR20180119243A (ko) | 젠락 기능을 가진 멀티미디어 송수신 장치 | |
WO2010033311A2 (en) | Apparatus and method for controlling independent clock domains to perform synchronous operations in an asynchronous network | |
JP2024043926A (ja) | 送出システムおよび送出方法、ならびに送出システムに適用されるipゲートウェイおよび効果装置 | |
JP2012191284A (ja) | 映像送信装置、映像送信方法、映像受信装置、および映像受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140603 |