JP2012195796A - 符号化信号送信装置 - Google Patents

Abstract

【課題】
ネットワークを介した符号化信号送受信システムにおいて、信号取り込みから出力までの合計の遅延時間を短縮する。
【解決手段】
送信機側と受信機側が基準時刻の同期を行ったうえで、信号取り込みから信号出力までの時間を短縮する送信機側の同期信号の位相を受信機側で計算し、基準同期信号の位相を調整する手段を備える。
【選択図】 図１

Description

本発明は符号化信号送信装置に関する。例えば、画像音声信号を圧縮伸張する技術を用いてネットワーク伝送する技術に関する。

背景技術として、例えば、特開２００５−２８６４５３号公報（特許文献１）がある。該公報には「［課題］ネットワークで互いに接続された複数の監視カメラによる映像撮影において、ネットワーク以外の配線を用いずに、全ての監視カメラの間での映像撮影タイミングを同期させる。［解決手段］ネットワーク監視カメラは、撮影タイミングの基準となる同期情報をネットワークを介して送受信する同期情報通信手段と、該同期情報に基づいて監視カメラに内蔵する同期基準カウンタの読み出し値を調整するカウンタ読み出し値調整回路と、該同期基準カウンタの読み出し値を基に水平・垂直同期信号を生成する同期信号発生回路と、該同期信号発生回路から出力される水平・垂直同期信号に同期して映像を撮影するカメラモジュールを具備する。」と記載されている（要約参照）。

特開２００５−２８６４５３号公報

画像音声信号をネットワークを介して他の機器と通信する際、伝送帯域の制限内で高画質、高音質なデータを出力するため、映像および音声信号を圧縮符号化して伝送する技術がある。これらの技術を利用してネットワークを介したカメラシステムが存在する。例えば、上記特許文献１には、複数のカメラをネットワークに接続したネットワークカメラにおいてカメラ間の撮像タイミングを同期させる技術が開示されている。

しかし、映像音声システムをネットワーク経由で通信するシステムにおいては、実際のシステムにおいては圧縮伸張にかかる時間のみでなく、映像または音声信号を撮像センサやマイクで入力してから、受信側でディスプレイ機器あるいはスピーカで出力するまでの総遅延時間を最小化したいという要求がある。また、受信機側で復号した映像または音声信号をその後の映像物体認識、音声認識システムに転送し、他の制御を行うシステムでは、映像または音声信号の送信機側での取り込みタイミングから、認識システムまでの遅延時間が一定である必要がある。

上記特許文献１においては、上記のように送信機側から受信機までの遅延時間をシステムにおいて一定化さらに短縮化するための具体的な技術については記載されていない。

本発明は、符号化信号送信装置の使い勝手を向上することを目的とする。例えば、上記課題を解決するネットワークシステムを低コストで提供する。例えばさらに、映像音声信号をネットワーク経由で他の機器に送信するネットワークカメラがネットワークに接続されており、ひとつの受信器において、上記ネットワーク群から映像音声信号を受け取り、各カメラ映像音声信号の取り込みタイミングを制御し、受信機側の映像出力タイミングまでの時間を低遅延化するシステムを安価に構築し、その使い勝手を向上させることである。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、符号化信号送信装置の使い勝手が向上する。例えば、映像音声システムをネットワーク経由で通信するシステムにおいて、映像を撮像センサで入力してから、受信側でディスプレイ機器で出力するまでのトータル時間を一定化、システムの制約内で低遅延化することが可能である。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における送信機のブロック構成を示す図。 実施例１における時刻同期を行うためのプロトコルを示す図。 実施例１における同期位相調整パケットのタイミングを解説する図。 実施例１における送信機の符号化信号格納量の遷移を解説する図。 実施例１における受信機のブロック構成を示す図。 実施例１における受信機の符号化信号格納量の遷移を解説する図。 実施例１における各ブロックの制御タイミングを示す図。 実施例１における送信機の動作フローを示す図。 実施例１における受信機の動作フローを示す図。 実施例１におけるネットワークカメラシステムの図。

図１に本発明の実施例１のブロック図を示す。以下、本図を用いて実施例１を説明する。本実施例では、毎秒３０フレーム／ｓｅｃで取り込まれる１９２０ｘ１０８０ピクセルのビデオ画像をＨ．２６４／ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）の規格に準拠して映像符号化し、また４８ＫＨｚのサンプリングレート取り込まれた１２ビット音声データをＭＰＥＧ１ＬａｙｅｒＩＩの音声符号化処理を施しパケット多重化し、ネットワークを介して送信するネットワークカメラである。ネットワークにおいては、使用するプロトコルとして、例えばデータリンクプロトコルであるＩＥＥＥ８０２．３規格で規定されている方式を用いることを前提とする。なお、本実施例では、音声については従来からあるＰＣＭサンプリングし、ＭＥＰＧ１ＬａｙｅｒＩＩによる符号化送信を行うことを前提とし、図面にブロック構成を図示するのみに留める。

図１のネットワーク送受信部２９では、システム起動後、ＩＥＥＥ８０２．３規格に準拠するプロトコルにしたがって、端子１０につながった図示しないネットワークに接続された受信機と通信リンクを行う。ＩＥＥＥ８０２．３入力されたパケット列を、例えばＩＥＥＥ８０２．３規格に準拠したＬＡＮパケットとして受信する。ＩＥＥＥ１５８８：ＩＥＥＥ１５８８−２００２ Ｐｒｅｃｉｓｉｏｎ Ｃｌｏｃｋ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｎｅｔｗｏｒｋｅｄ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ ＣｏｎｔｒｏｌＳｙｓｔｅｍｓに記載されるＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に従う方法でも良い。本実施例では、簡素化したプロトコルを想定して、時刻同期システムについて説明する。

本システムでは、受信機側を時刻同期のためのサーバと定義し、送信機側をサーバ側の時刻に合わせるクライアント側と定義する。

図２に、サーバ側とクライアント側が時刻同期をとるために行うパケット送受信の方法を示す。
サーバ側は、時刻同期を取るために、Ｔ１時刻地点で同期情報を取るための最初のパケットを送信機側に送信する。本パケットは、Ｓｙｎｃパケットと呼ばれ、このパケットを受信した図１のネットワーク送受信部２９は、パケット分離部１１にパケットを送信する。さらにパケット分離部１１はＳｙｎｃパケットであることを識別子より判別し、後段の時刻情報抽出部１２に送る。時刻情報抽出部１２では、パケットに記載されたサーバ側のパケット送信時間（Ｔ１）と、時刻情報抽出部１２にパケットが到着した時刻（Ｔ２）を送信機内の基準時刻カウンタ１４より入手する。基準時刻カウンタは後述するように基準クロックリカバリ１３において生成されたシステムクロックを用いて、基準時刻をカウントアップする。次に、遅延情報生成部１５では、クライアントからサーバへ送信するパケット（ＤｅｌａｙＲｅｑ）を生成し、ネットワーク送受信部２９に送る。ネットワーク送受信部２９では、本パケットを送信するタイミング（Ｔ３）を基準時刻カウンタから読み取り、受信機（サーバ）に送信する。同時にＴ３の情報を時刻情報抽出部１２に転送する。サーバにおいては、ＤｅｌａｙＲｅｑのパケットが到着したタイミング（Ｔ４）を読み取り、これをＤｅｌａｙＲｅｓｐのパケット内に記述して、クライアント側に送信する。送信機側（クライアント）に到着したＤｅｌａｙＲｅｓｐパケットは、パケット分離部１１に送信され、ＤｅｌａｙＲｅｓｐパケットと確認された後、時刻情報抽出部１２に送信される。時刻情報抽出部１２では、ＤｅｌａｙＲｅｓｐパケット内に記述されたＴ４情報を抽出する。以上の過程で、時刻情報抽出部１２は、Ｔ１、Ｔ２、Ｔ３およびＴ４の時刻情報を得ることが可能となる。

サーバ・クライアント間のパケット送受信時の時間差は、ネットワークの伝送遅延Ｔnｅｔと両者の装置の基準時刻の差Ｔｏｆｆｓｅｔ（クライアントの時刻―サーバ側の時刻）を考えるとＴ２−Ｔ１＝Ｔｎｅｔ＋Ｔｏｆｆｓｅｔ、Ｔ４−Ｔ３＝Ｔｎｅｔ−Ｔｏｆｆｓｅｔとなる（ただし、サーバ／クライアント間のネットワークの伝送遅延は、上りと下りで同時間と仮定している）ため、Ｔｎｅｔ＝（Ｔ２−Ｔ１＋Ｔ４−Ｔ３）／２、Ｔｏｆｆｓｅｔ＝Ｔ２−Ｔ１−Ｔｎｅｔとして求めることができる。

時刻情報抽出部１２は、Ｔ１、Ｔ２、Ｔ３およびＴ４情報が得られた段階で、上記計算によりＴｏｆｆｓｅｔを計算する。さらに、時刻情報抽出部１２は、Ｔｏｆｆｓｅｔ分、基準時刻カウンタ１４を現在時刻から戻すように制御する。

上記と同様、複数回、Ｓｙｎｃ、ＤｅｌａｙＲｅｑ，ＤｅｌａｙＲｅｓｐのパケットの送受信を繰り返し、数回にわたりＴｏｆｆｓｅｔを計算し、Ｔｏｆｆｓｅｔが０に近づく方向に、基準クロックリカバリ部１３に制御情報を送る。具体的には、基準クロックリカバリ部１３はたとえば、ＶＣＸＯ（Voltage-Controlled Crystal Oscillator）で構成しておき、Ｔｏｆｆｓｅｔがプラス値となっており、クロックを遅くしたい場合には、基準クロックリカバリ部１３へ供給する電圧を下げ、反対にＴｏｆｆｓｅｔがマイナス値で、クロックを早めたい場合には、基準クロックリカバリ部１３へ供給する電圧を上げる。

この制御を、Ｔｏｆｆｓｅｔの絶対値に応じて、電圧制御幅を変更するフィードバック制御を設けることにより基準クロックリカバリ部１３から基準時刻カウンタ１４へ送出するクロックを安定させ、サーバ側に同期した周波数に収束させることが可能である。また、送信機側は受信機側と同期して基準時刻カウンタ１４を更新することが可能となる。

ネットワーク送受信部２９は、受信機側から受け取ったパケットのうち、時刻同期を取るためのパケットのほか、同期位相情報が含まれるパケットについてもパケット分離部１１に送信する。パケット分離部１１では、同期位相情報が含まれるパケットについては、同期位相情報抽出部１６に送付する。本パケットには、送信機の動作同期信号のタイミングを、基準時刻カウンタ１４を基準として、指し示したものである。例えば、図３に示すように、ネットワーク送受信部２９が、受信した同期位相情報が含まれるパケット（以下ＳｙｎｃＰａｈｓｅと示す）３０を受信し同期位相情報抽出部１６に送る。

同期位相情報抽出部１６では、ＳｙｎｃＰｈａｓｅ内に記載された基準同期信号の発生タイミングＴＡを抽出する。ＴＡは、送信機側で基準同期信号を発生すべき基準時刻カウンタ値を示したものである。

パケット内の格納位置を送受信側で規格化しておき、そのシンタックスに基づいてデータを解析すれば一意にＴＡ情報の格納位置を特定し、データを抽出することが可能である。抽出されたタイミングＴＡは、基準同期信号発生器１７に転送される。

基準同期信号発生器１７は図３に示すように基準時刻カウンタ１４から送られる基準時刻を参照し、ＴＡのタイミングになった時点で、基準同期信号３２を生成し、センサ制御部１８に送信する。同様に後続のＳｙｎｃＰｈａｓｅ３１以降のパケットが到着するごとに随時基準同期信号３３を生成する。基準同期信号を受けとったセンサ制御部１８は、それまで図３の３４、３５のように周期Ｔｍｓでフリーラン動作にて生成していたセンサ垂直同期信号を３２の基準同期信号のタイミングにセンサ垂直同期信号の発生タイミングを変更する。

その後も、基準クロックリカバリ１３から受け取った基準クロックに基づいて周期Ｔｍｓをカウントし、周期Ｔｍｓごとにセンサ垂直同期信号を発生する（図３の３６〜３９）。また、基準同期信号３３以降の同期信号については、センサ制御部１８で生成した垂直同期信号と同一のタイミングになっているため、位相ずれが検知されない限りは、そのまま周期Ｔｍｓごとの信号生成を継続する。

その後の基準同期信号到着時に、センサ制御部１８で生成したセンサ垂直同期との位相が同一もしくは、ある時刻範囲内であることが一回、もしくは数回確認されれば、受信機側と送信機側の想定する同期信号のタイミングがそろったとみなし、位相調整の確認完了信号をシステム制御部２８に送信する。

基準同期信号と垂直同期信号（例えば３３と３９)との間で位相ずれが見つかった場合には、受信機側での異常などにより同期信号のタイミングが変わったとみなし、システム制御部２８に位相ずれの通知を行う。上記のように、位相調整のための情報（ＳｙｎｃＰｈａｓｅ）の送信間隔タイミングが垂直同期信号の生成周期Ｔｍｓより相対的に長くとも、センサ制御部１８において生成される垂直同期信号は、一度位相調整を行った段階で基準クロックと基準時刻を基に精度高く垂直同期信号を生成することが可能となる。この点において、本方式は、送信によるネットワークトラフィック低減にも効果的である。

また、定期的に送信されるＳｙｎｃＰｈａｓｅによって、システムのなんらかの異常により同期信号の位相がずれていることを検知することが可能であり、その後のエラー修正の制御を行うことが可能となる。

システム制御部２８では、位相調整の確認完了信号を受信した後、レンズ部１９、ＣＭＯＳセンサ２０、デジタル信号処理部２１、映像符号化部２２システムＭｕｘ部を制御し、映像符号化を開始する。映像符号化については、一般的なデジタル映像の撮像、デジタル圧縮符号化を行う。例えば、レンズ部１９では、システム制御部２８から受けたＡＦ（ＡｕｔｏＦｏｃｕｓ）のためのレンズ部の移動を行い、ＣＭＯＳセンサ２０では、レンズ部から受光し出力値を増幅した後、デジタル映像としてデジタル信号処理部２１に出力する。デジタル信号処理部２１では、ＣＭＯＳセンサ２０から受け取った例えばＢａｙｅｒ配列状のＲＡＷデータから、デジタル信号処理を施し、輝度、色差信号（ＹＵＶ信号）に変換したのち、映像符号化部２２に転送する。

映像符号化部では、各垂直同期間内にキャプチャされた画像軍をピクチャとしてまとまった単位として扱い、符号化処理をしていく。このとき、符号化遅延時間が数フレーム期間にならないように、例えば、イントラフレーム内での予測を用いるＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）もしくは、前方予測のみを用いて、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）を生成する。この際、一定ビットレートのビット発生量に近づくように映像符号化部２２は横１６画素ｘ縦１６画素からなる各ＭＢ（Ｍａｃｒｏｂｌｏｃｋ）を符号化したの後の符号化量を調整する。具体的には量子化ステップを調整することで、各ＭＢごとの発生符号量を制御することが可能となる。数ＭＢの処理が終了するまで、システムＭｕｘ部ではビットストリームを内部バッファに格納し、所定のＭＢ数分格納された段階で、システムＭｕｘ部では、ＭＰＥＧ２ＴＳストリームとしてビデオストリームを１８８バイトの固定長を持つＴＳパケット化し出力する。さらにネットワーク送受信部５９において、ＭＡＣパケット化され、ネットワークを介して受信機側に送信される。

図４は、システムＭｕｘ部における内部バッファのストリーム蓄積量の遷移状況を例示した図である。本図では、便宜上、ＭＢ期間ごとに各ＭＢを符号化した符号が瞬間的にバッファに蓄積され、各ＭＢ期間ごとに一定のスループットでネットワークにストリームが出力されるものとしている。

上記システムＭｕｘ部におけるストリームの出力開始タイミングは、一定ビットレートで外部に出力した際に、ビットストリームの符号発生量（スループット）が変動し、システムＭｕｘ部のバッファ内に格納した符号化データがもっとも少なくなった場合（図４の９０のタイミング）てもシステムＭｕｘ部のバッファが枯渇しない所定の待機時間（図４の９１）だけ待つことにより制御される。一般的に、これらの制御は実際の符号化量を監視しつつ、バッファの遷移に応じて上記量子化ステップを変更することにより、所定のＭＢ数期間内における符号化量を制御し、スループットを出力ビットレートに対して一定のジッタ範囲に抑えることが可能である。この収束に必要な時間分だけ図５の９１分期間を設けることで、システムＭｕｘ部のバッファが枯渇しないシステムを実現することができる。

本期間を送信機側の仕様として規定することで、その後の伝送遅延を受信機側で計算することが可能となる。

次に図５を用いてブロック構成および受信機側の動作を説明する。基準クロック生成部５１では、受信機側の基準クロックが生成される。本基準クロックは、図２で示したサーバ側とクライアント側での時刻同期を取るための基準クロックとなり、５１において水晶発信器などによって他の外部同期を用いずにフリーラン動作によってクロックが生成される。

本クロックを基準として基準時刻カウンタ５２ではサーバ側の基準時刻をカウントする。時刻制御パケット生成部５３では、本基準時刻を用いて図２で示した時刻同期のためのパケット（Ｓｙｎｃ）の生成を行う。Ｓｙｎｃの送信時にパケット内に記載するＴ１は、本ブロックで生成される。生成された（Ｓｙｎｃ）のパケットはパケット多重化部５８において他のパケットと多重化され、さらにネットワーク送受信部５９において変調され、ネットワーク端子６０より外部に接続されたネットワークを介して送信部に伝送される。一方、送信部より受け取ったＳｙｎｃＲｅｑパケットの受信時に、ネットワーク送受信部５９より受信タイミングの通知を受け、時刻制御パケット生成部５３において基準時刻(図２のＴ４)が記録される。本Ｔ４を用いて時刻制御パケット生成部５３においてＤｅｌａｙＲｅｓｐパケットが生成され、パケット多重化部５８、ＮＷ送需信部５９を介して送信機側に伝送される。

図５は本実施例における受信機側のブロック構成図を示すものである。次に、受信機側の垂直同期タイミングの生成について説明する。基準クロック生成部５１において生成された基準クロックを基準として、出力同期信号生成部５５では出力時の垂直同期信号が生成される。本垂直同期信号は、送信機同期位相計算部５６に送られる。ここでは、後述のように送信機側の垂直同期信号の位相を受信機側の出力時の垂直同期信号の位相より計算し、基準時刻カウンタにおけるカウンタ情報を用いて、図３に示したＳｙｎｃＰｈａｓｅのパケットを生成する。ＳｙｎｃＰｈａｓｅパケットは、パケット多重化部に送信され、Ｓｙｎｃパケットと同様にネットワーク送受信部５９、ネットワーク端子６０より送信機側に送信される。

次に、受信機における映像の復号手順について説明する。ネットワーク送受信部５９により受信された映像に関するＭＰＥＧ２ＴＳストリームを含むＭＡＣパケットは、システムＤｅｍｕｘ部６１に転送する。システムＤｅｍｕｘ部６１では、ＴＳパケットの分離、映像ストリームの抽出が行われる。抽出された映像ストリームについては、映像復号部６２に転送される。音声ストリームについては音声複合部６５に送られ、ＤＡコンバータ６６でＤｉｇｉｔａｌ／Ａｕｄｉｏ変換をかけたのちスピーカに出力される。

システムＤｅｍｕｘ部６１では、内部バッファに所定の待機時間だけストリームを蓄積した後、映像復号部６２にストリームを出力し復号を開始する。

図６にシステムＤｅｍｕｘ部６１における内部バッファにおいて、ストリームが蓄積量される際の遷移状況の一例を示す。本図においては、便宜上、ストリームが一定のビットレートでネットワークより供給され、各ＭＢ単位の時間ごとに瞬間的に映像復号部６２において各ＭＢ分のストリームが出力されるようにモデル化して示す。

時刻Ｔ０の段階からストリームの入力が開始され、期間９２に示す期間だけ待機してから、ストリームの復号を開始する。これは、タイミング９３に示すようにストリームの格納量がもっとも少なくなったときにも、アンダーフローしないようにするために待機時間を設ける。この待機時間は、送信機側がネットワークの伝送ビットレートに発生符号量を収束させるために必要な最低の収束時間がわかる場合、その収束時間以上の時間を待機時間として規定することで実現可能である。

Ｄｅｍｕｘ部６１から読み出された映像ストリームは映像復号部６２において復号され、復号画像が生成される。生成された復号画像は、表示処理部６３に転送され、垂直同期に同期したタイミングによってディスプレイ６４に送信され、動画として表示される。また、例えば外部の図示されていない画像認識用機器などに送信するために外部端子６９から映像信号として出力される。

図７は、送信機から受信機の各機能ブロックにおける制御タイミングの関係を示した図である。

図７中の垂直同期信号４０は図１のセンサ制御部１８が生成する垂直同期信号、図７中のセンサ読み出し信号４１は、図１のＣＭＯＳセンサからデータが読み出されるタイミング、図７中の画像取り込み４２は図1の映像符号化部２２への映像入力タイミング、図７中の符号化データ出力４３は、図１の２２の映像符号化部２２から映像符号化ストリームが出力されるタイミング、図７中の符号化データ入力４４は、図５の映像復号部６２に符号化データが入力されるタイミング、図７中の復号側出力垂直同期信号は、図５の表示処理部６３からディスプレイもしくは外部端子６９に出力される垂直同期信号、さらに図７の復号画像出力４６は、図５の表示処理部６３からディスプレイもしくは外部端子６９に出力する画像の有効画素期間を示す。便宜上、垂直同期タイミング４０からセンサ読み出しタイミング４１までの垂直ブランキング期間と、復号側出力垂直同期信号から、復号画像出力４６までの垂直ブランキング期間と同じと考える。

ここでは、送信機側のＣＭＯＳセンサ（図１の２０）の画像出力開始（図７の４１の各フレームの開始時刻）から、受信機側が受信したパケットを受信して復号画像としてディスプレイもしくは他の機器に出力する時刻（図７の４６）までの遅延時間（図７のＴｄｅｌａｙ）が設計仕様などにより特定できる場合を想定する。Ｔｄｅｌａｙは送信機側の映像取り込みから符号処理を経由してパケットを送信するまでの遅延時間とネットワークの転送遅延、および受信機側のパケット取り込みから復号処理を介して出力までに必要とされる遅延時間を合計することで定義できる。

図７の送信機同期位相計算部５６では、受信機側の出力垂直同期信号４５の出力タイミング（ｔａ、ｔｂ、ｔｃ・・・）を基準時刻を計算する。これは、ある1サンプルの出力垂直同期信号の基準時刻を参照し、フレーム周期Ｔｍｓに相当する基準時刻カウンタを加算していくことで、計算可能である。ｔａ、ｔｂ、ｔｃを計算した後、それよりＴｄｅｌａｙさかのぼる時刻（ＴＡ，ＴＢ、ＴＣ・・・）を計算する。例えば、ＴＡ＝ｔａ−Ｔｄｅｌａｙとなる。

このように計算されたＴＡ，ＴＢ，ＴＣを図３に示したようにＳｙｎｃＰｈａｓｅによって送信機に送信する。

このとき、ＴＡ，ＴＢ，ＴＣの時刻情報を格納したＳｙｎｃＰｈａｓｅが受信機側に到着する時刻が、各々、十分ＴＡ，ＴＢ，ＴＣより手前に到着するようにネットワークの遅延時間Ｔｎｅｔを加味して送信機側に送信する。

具体的には、受信機側がＳｙｎｃＰｈａｓｅパケットにて時刻Ｔｘにて送信側の同期信号の位相を調整させる場合、送信するタイミングをＴｓｐ、さらに送信機側がＳｙｎｃＰｈａｓｅを受信してからＳｙｎｃＰｈａｓｅ内の情報を解析に必要な時間をＴｙとするとＴｓｐ＋Ｔｎｅｔ＋Ｔｙ＜Ｔｘ以上となるＴｘを選定し、ＳｙｎｃＰｈａｓｅパケットを生成することで、実現可能である。なお、上記Ｔｄｅｌａｙ，Ｔｎｅｔ、Ｔｙなど制御タイミングを規定する各期間は処理負荷などによりその期間にジッタが生じる際には、各々、該当期間の最悪値を持って考慮することで、同等の制御を行うことが可能である。

本システムにより、送信側と受信側で垂直同期信号の位相差が映像取り込から出力までに必要とされる遅延時間Ｔｄｅｌａｙと同等または、それに近づける方向に調整可能となる。上記のようにＴｄｅｌａｙが規定できるのは、ネットワークの伝送遅延を求める手段を有し、さらに、送信機の符号化遅延、受信機の復号遅延をバッファ格納時間を所定の時間に固定したことによる。もし、本実施例のような制御を行わずに、ＴＡ＋Ｔｄｅｌａｙ＞ｔａとなるような関係である場合、ＴＡからＴＢの間に取り込まれた映像は受信機側では、ｔａから始まるフレーム期間に出力することができなくなり、ｔｂまで出力タイミングを遅延させる必要がある。このため、Ｔｄｅｌａｙが垂直同期期間に比べて十分に小さい場合でも、不要に撮像タイミングから映像出力までの時間が大きくなってしまう。本実施例により、このような状況を回避し、ネットワークの伝送能力および送信機、受信機の符号化、復号に必要される遅延時間で実現可能な遅延時間に総遅延時間を近づけることができる。

上記実施例で説明したクロック同期、時刻同期、基準同期信号の位相調整および符号化ストリームの送信に関する手順を、送信機および受信機について各々図８および図９に示す。これらの一連の制御手順を踏むことで、撮像から映像出力までの時間の低遅延化を可能とするネットワークカメラシステムを構築することが可能である。

図１０に、本実施例で説明した送信機を用いたネットワークカメラ部１および受信機５をネットワークで接続したシステムを示す。上記のようなネットワークカメラシステムを構成することにより伝送システムが破綻することなく映像情報を送り続けることができる遅延時間を保証しつつ、送信機における撮像から受信機側の映像出力までの合計遅延を小さくする映像転送システムを構築することができる。

また、受信機が映像を出力するための同期信号のタイミングに対して、送信機側の撮像のための同期信号の位相（両者の最近となる立ち上がりタイミングの時間差）がシステム起動の度に一定となり、その後の画像処理や他の機器との厳密な同期タイミングが必要されるシステムでも設計が容易になるという効果がある。

なお、ここでの映像出力は、ディスプレイにて映像が表示されるタイミングで規定しても外部機器への出力タイミングで規定しても同等の効果が得られることは明らかである。
また、本システムでは、同期信号のタイミングをそろえるための制御信号を送信するための通信経路を、符号化信号の送受信のためのネットワーク以外に設ける必要がなく、システムコストの低減の観点からも有効である。

また、本実施例では、送信機側の垂直同期信号の位相を受信機側から制御する例を示したが、送信機側の映像の取り込み、符号化タイミングを間接的あるいは直接的に規定する同期信号もしくは制御タイミングであれば、本実施例の垂直同期信号の代替として、受信機側から位相情報を転送することにより本実施例と同等の効果をもたらすことは明らかである。また、本実施例では、時刻同期のサーバが受信機と同じ定義であったが、時刻同期のサーバは受信機とは異なる個別の装置であっても良い。その際には、受信機にも送信機と同様にクライアントとなりクロック同期、基準時刻カウンタをサーバに同期させた後、同期位相情報を送信機に送信するようにすれば、本実施例と同等の効果をもたらす。このときには、複数の受信システムがネットワークに存在し、それらを共通のクロックで制御したい場合に有益である。

本実施例では、ネットワーク層の規格としてＩＥＥＥ８０２．３規格に準拠する例を示したが、さらにネットワークプロトコルのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を使用し、その上位のトランスポートプロトコルにはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）およびＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いてもよい。映像や音声の伝送には更に上位のアプリケーションプロトコル、例えばＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等を使用しても良い。あるいは、その他、ＩＥＥＥ８０２．３規格で規定されているプロトコル方式を用いてもよい。

１…送信機、２…受信機、１０…ネットワーク端子、１１…パケット分離部、１２…時刻情報抽出部、１３…基準クロックリカバリ、、１４…基準時刻カウンタ、１５…遅延情報生成部、１６…同期位相情報抽出部、１７…基準同期信号発生器、１８…センサ制御部、１９…レンズ部、２０…ＣＭＯＳセンサ、２１…デジタル信号処理部、２２…映像符号化部、２４…マイク、２５…ＡＤ変換器、２６…音声符号化部、２７…システムＭｕｘ、２８…システム制御部、２９…ネットワーク送受信部、５１…基準クロック生成部、５２…基準時刻カウンタ、５３…時刻制御パケット生成部、５５…出力同期信号生成部、５６…送信機同期位相計算部、５８…多重化部、５９…ネットワーク送受信部、６０…ＮＷ端子、６１…システムＤｅｍｕｘ部、６２…映像復号部、６３…表示処理部、６４…ディスプレイ部、６５…音声復号部、６６…ＤＡ変換部、６７…スピーカ部

Claims (5)

1. 外部信号を入力する信号取り込み部と、
   上記外部信号を基準同期信号で区切られた所定の時間単位ごとの入力信号群ごとに符号化し、所定の遅延時間内に符号化情報を出力する符号化手段と、
   上記入力信号群の取り込み位相を調整する入力同期調整手段と、
   を備えることを特徴とする符号化信号送信装置。
2. 請求項１に記載の符号化信号送信装置であって、
   ネットワークから基準時刻信号と基準時刻信号に対する上記入力信号群の位相情報を受信し、該情報を基準に上記入力信号群の取り込み位相を調整することで上記入力信号群を符号化した符号化ストリームの伝送タイミングを調整すること、
   を特徴とする符号化信号送信装置。
3. 請求項１または２に記載の符号化信号送信装置であって、
   上記入力信号取り込み部は、外部からの映像を撮像センサを用いて連続して取り込む回路であり、
   上記入力同期調整手段は、上記撮像センサ部の同期信号の位相調整を行うことで映像信号の取り込みタイミングを調整すること、
   を特徴とする符号化信号送信装置。
4. 請求項３に記載の符号化信号送信であって、
   上記同期信号は撮像センサのフレーム取り込み時の垂直同期信号であること、
   を特徴とする符号化信号送信装置。
5. 外部信号を入力する信号取り込み部と、
   上記外部信号を基準同期信号で区切られた所定の時間単位ごとの入力信号群ごとに符号化し符号化情報を出力する符号化手段と、
   上記入力信号群の取り込み位相を調整する入力同期調整手段と、
   を備えることを特徴とする符号化信号送信装置。

Images