JP2014007584A

JP2014007584A - 映像符号化遅延測定装置及び映像復号遅延測定装置及び方法

Info

Publication number: JP2014007584A
Application number: JP2012142115A
Authority: JP
Inventors: Yasuhiro Mochida; 康弘持田; Daisuke Shirai; 大介白井; Tomoko Sawabe; 知子澤邉; Tatsuya Fujii; 竜也藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-06-25
Filing date: 2012-06-25
Publication date: 2014-01-16
Anticipated expiration: 2032-06-25
Also published as: JP5806980B2

Abstract

【課題】映像入力からパケット出力まで、またパケット入力から映像出力までの遅延測定を1ms以下の計測誤差とする。
【解決手段】本発明は、分岐されたHD-SDI信号の一方が符号化装置を経由して入力されたIPパケットに、時刻情報を付与して記憶手段に格納し、分岐されたHD-SDI信号のもう一方を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号と取得した時刻情報を組にして前記記憶手段に格納し、IPパケットの時刻情報と、タイムコード・ライン番号の時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する。
【選択図】図２

Description

本発明は、映像符号化遅延測定装置及び映像復号遅延測定装置及び方法に係り、特に、HD-SDI(High Definition Serial Digital Interface)方式で送出された映像信号を、受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定装置及び、映像信号のIPパケットを受信して復号し、HD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定装置及び方法に関する。

従来、高速な映像信号フォーマットの一つであるHD-SDI信号の符号化並びにIPパケットからの復号に要する遅延時間を精度良く計測することは、従来のHD-SDIの入出力ボード自身が持つ大きな遅延のために困難であった。これは従来のHD-SDI入出力ボードがフレーム単位で映像を読み込んでいたためであり、近年水平ライン単位で読み込むボードが登場したため遅延による困難は解決している。しかし、近年登場したライン単位のHD-SDI入出力ボードを使用し、その特性を活かした測定方法は存在しない。

映像の処理にかかる遅延を測定するという点で関連する技術として、映像処理に要する遅延時間を測定する技術（例えば、特許文献1参照）があるが、これは映像処理のプロセッサ部で生じる（色味などの映像調整やスケーリングなどの処理に要する）遅延を測定するための、プロセッサ内部構成に関する技術であり、既存の映像処理装置に対しては適用できない。

現在、遅延計測に用いられている再撮方式（例えば非特許文献1参照）を図１に示す。図１では、２つのタイムコードを１画面で撮像してタイムコードの値の差を測定する。HD-SDI出力端子を持つカメラの中にはタイムコードを映像中にオーバーレイして出力する機能を持つものがあり、その差分から符号化および復号に要する合計遅延時間を計測する。

特許04669854号公報

岩崎裕江、大西孝之、長沼次郎、遠藤真、八島由幸「サーバレス多地点ＴＶ会議ソフトウェア」，信学技報，TECHNICAL REPORET OF IEICE. SIP2004-7, IE2004-7, pp. 35-40.

しかしながら上記従来の再撮方式では、
１）測定に２フレームの不確定性が残る（60fpsで約33ms）、
２）符号化と復号の遅延を分離できない
という２つの問題点がある。

本発明は、上記の点に鑑みなされたもので、パケット伝送ネットワークを用いた映像伝送システムを設計する上での重要な指標となる、映像を伝送する装置における、映像入力からパケット出力まで、またパケット入力から映像出力までの遅延測定を1ms以下の計測誤差とすることが可能な映像符号化遅延測定装置及び映像復号遅延測定装置及び方法を提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、HD-SDI方式で送出された映像信号を受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定装置であって、
分岐されたHD-SDI信号の一方が符号化装置を経由して入力されたIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたHD-SDI信号のもう一方を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号と取得した時刻情報を組にして前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットの時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号の時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有する。

また、本発明（請求項２）は、前記IPパケット処理手段において、
前記IPパケットにHD-SDIタイムコードが挿入されている場合には、該タイムコードも合わせて前記記憶手段に格納する手段を含む。

また、本発明（請求項３）は、前記遅延計算手段において、前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する。

また、本発明（請求項４）は、映像信号のIPパケットを受信して復号し、HD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定装置であって、
映像符号化装置から出力され、分岐された一方のIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたもう一方のIPパケットを受信し、CPUが該HD-SDI信号のタイムコード・ライン番号と取得した時刻情報を組にして前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットの時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号の時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有する。

また、本発明（請求項５）は、前記遅延計算手段において、前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する。

上記のように、本発明によれば、既存の符号化装置や復号装置に変更を加えることなく、HD-SDI方式の映像信号の受信から符号化・IPパケット送出までに遅延時間と、IPパケットの受信から復号化・HD-SDI方式の映像信号送出までの遅延時間をそれぞれ独立に１ms以下の誤差で計測することが可能となる。

従来技術における再撮方式による遅延計測の例である。本発明の一実施の形態における符号化遅延計測装置の基本構成図である。本発明の一実施の形態におけるHD-SDI信号とIPパケットの対応関係である。本発明の一実施の形態における復号遅延計測装置の構成図である。本発明の一実施の形態における符号化遅延及び復号遅延同時計測装置の構成図である。本発明を適用した実際の使用時のシステム構成図である。

以下、図面と共に本発明の実施の形態を説明する。

本発明は、映像プロセッサが要する遅延を測定するのではなく、HD-SDI信号をIPパケットに符号化するまでに要する遅延及び、IPパケットをHD-SDI信号に復号するまでの遅延を測定するものである。

［符号化遅延計測装置の構成］
図２は、本発明の一実施の形態における符号化遅延計測装置の基本構成図である。

同図に示す符号化遅延測定装置１００は、IPパケット受信部１１０、バッファ１２０，１７０、CPU１３０，１８０、メモリ１４０、時刻計測部１５０、HD-SDI信号受信部１６０、遅延計算部１９０を有する。

同図の構成において、符号化装置１０の前段でHD-SDI信号を分岐し、一方は符号化装置１０を経由して遅延計測装置１００のIPパケット受信部１１０へ、他方は遅延計測装置１００のHD-SDI受信部１６０に入力される。

遅延計測装置１００のIPパケット受信部１１０で受信したパケットを、バッファ１２０からCPU１３０に取り込む際に時刻計測部１５０から時刻を取得し、パケットのデータと時刻情報をセットにしてメモリ１４０に格納する。

また、遅延計測装置１００のHD-SDI受信部１６０で受信したHD-SDI信号を、バッファ１７０からCPU１８０に取り込む。HD-SDI信号には、水平方向の１ライン毎にタイムコードとライン番号を含んでいる。CPU１８０がラインを読み込んだときにその時刻を取得し、タイムコード・ライン番号・時刻情報をセットにしてメモリ１４０に格納する。

このような方法は、近年登場した水平ライン単位で映像を読み込むHD-SDI入出力ボードを用いることで可能になる。遅延計算部１９０は、事後的にメモリ１４０に格納されたパケットのデータを解析してHD-SDI信号との対応関係を決定し、以下に示す「遅延時間の計算法」に基づき時刻情報を比較することで遅延時間を算出する。

［遅延時間の計算法］
遅延計算部１９０における遅延時間の計算について説明する。

符号化装置１０の真の遅延をa[ms]、本発明の方法によって計算される遅延をd[ms]、測定系に含まれる遅延に起因する測定誤差をe[ms]とすると、
d=a+e
符号化装置１０と遅延計測装置１００の距離は伝搬遅延が無視できるほどに近い場合、誤差eの主な要因はIPパケット受信部１１０とHD-SDI信号受信部１６０の後段にあるバッファ１２０と１７０でのそれぞれの遅延時間であるため、それぞれの仕様を調べれば値を知ることができる。CPU１８０の読み込みのタイミングに揺らぎが生じることは十分に考えられるが、以下の理由により誤差eの大きさは１msより小さく抑えられると考えられる。

・IPパケット受信部１１０にギガビットイーサNICを用いるとして、このNICが（多めに見積もって）10パケットをまとめてCPUに読み込むとしても、CPU１３０からの読み込みの基本間隔は約120us。

・HD-SDI側のバッファ１７０をライン単位でCPU１８０に読み込む実装ならば、CPU１８０からの読み込みの基本間隔は約30us。

IPパケット受信部のバッファ１２０とHD-SDI側のバッファ１７０に同時にデータが入ったとき、両方ともバッファで待たされてからCPUに読み込まれた場合には、先に読み込まれたデータの待ち時間は時刻比較の際にキャンセルされる。最悪のケースは、同時に入ったものの一方がすぐにCPUに読み込まれ、他方がバッファで最大限待たされるケースで、CPU読み込みが要因となる誤差の最大値は120usである。この他に、CPUにおける命令の実行待ちによって、さらなる誤差が生じることが有り得るが（例えば取り込んでから時刻情報を記録する間の遅延など）、1msを超えることは無いと思われる。

［遅延時刻計算の例］
遅延計算部１９０では、MPEGやJPEG2000などの符号化方式では、仕様によりIPパケットのコードストリーム中ではタイムスタンプによってフレームの同一性を判別する。HD-SDIのタイムコードとコードストリームのタイムスタンプを結び付ける仕組みを符号化装置に追加しない限り、タイムコードとの対応を取ることができない。もし、遅延が１フレーム未満であることが事前に分かっていれば、タイムスタンプによってフレームの切れ目がわかるので、遅延時間が計算できるが、何の事前情報も無い場合には何フレーム遅延しているのかを判別することができない。以下では、タイムコードが伝送されない一般的な場合と、オプション機能によりタイムコードが伝送される場合の２パターンで遅延時間を計算する方法を述べる。

＜タイムコードが伝送されない場合＞
ひとつの解決として相互相関を利用する方法が挙げられる。IP側では受信したパケットの中身をメモリ１４０に保存し解析することで非圧縮の画像が得られる。一方、HD-SDI側では，いくつかのラインにおいて、タイムコード・ライン番号・時刻情報に加えてラインのデータをメモリ１４０に保存しておく。ライン番号を利用して、近い時刻にIP側に到着した画像データの該当箇所と相互相関を取ることにより、対応フレームを特定する。相互相関を計算するラインが多いほどより確実な値が得られる。

HD-SDIの１フレームあたりのライン数をN、そのうちアクティブ領域のライン数をn、IPパケットに符号化された際の１ラインあたりのパケット数をkとする（図３）。

図３（ａ）は、HD-SDIの画像信号を示し、（ｂ）は、それがIPパケット化された状態を表す。IPパケットでは水平1ラインがいくつかのパケットに分割されて伝送される。アクティブ領域はHD-SDI信号の中で画素値が入っている部分で、アンシラリ領域は音声などの付加的な情報をオプションとして乗せることができる部分である。符号化装置１０でIPパケット化される際にはアクティブ領域だけが伝送される。なお、コーデックの仕様によっては、アンシラリ領域もIPパケットに格納して伝送する場合、SMPTEの規格によりアンシラリ領域に含まれるタイムコードが伝送されるため、より簡単にフレーム間の対応を取ることができる。タイムコードの挿入位置は、文献１「SMPTE291M(SMPTE 291M-2006, "SMPTE STANDARD for Television Ancillary Data Packet and Space Formatting", September 20, 2006、12頁ANNEX B)」に図示される。

１フレームでHD-SDI信号をNライン分受信する間に、IPパケット受信部１１０はnk個のパケットを受信する。すなわち、仮にこれらの信号が同時に送信され始めたとすれば、HD-SDI信号受信部１６０でi（1≦i≦n）番目のラインを受信すると同時に、IPパケット受信部１１０でkn(i‐1)/N+1番目のパケットを受信するはずである。符号化の遅延を計測するには、この間の遅延時間を比較すればよい。いずれの規格でもN=1125，n=1080なので、kn(i‐1)/Nが整数値になるようにi=25p+1（pは非負の整数）と選ぶ。HD-SDIは、文献２「SMPTE292(SMPTE292-2008, "SMPTE STANDARD 1.5 Gb/s Signal/Data Serial Interface", Feburuary 7, 2008)」に、画像フォーマットは、文献３「SMPTE274M(SMPTE 274M-2008, "SMPTE STANDARD for Television - 1920 x 1080 Image Sample Structure, Digital Representation and Digital Timing Reference Sequences for Multiple Picture Rates", January 29, 2008)」に規格化されている。

CPU１８０で刻印された25p+1番目のラインの時刻情報をt_p ¹、CPU１３０で刻印された25pkn/N+1 番目のパケットの時刻情報t_p ²とする。このフレーム内での遅延時間は複数のラインでの平均を取ることにより、

によって求める。

なお、複数のラインでの平均を算出する際に、二乗誤差を最小化する意味で相加平均を用いているが、算術平均（相加平均）以外の幾何平均（相乗平均）、調和平均、中央値等を用いてもよい。

＜タイムコードが伝送される場合＞
符号化装置１０の中には、IPパケットにHD-SDIのタイムコードを挿入して伝送するものがある。そのような場合には、タイムコードも合わせてメモリに格納しておくことにより、相互相関を計算することなくフレームの対応を取ることができる。遅延時間の計算はタイムコードが伝送されない場合と同様である。

［復号遅延計測装置の構成］
図４は、本発明の一実施の形態における復号遅延計測装置の構成図である。

復号遅延計測装置２００は、図２に示す符号遅延計測装置と同様に、IPパケット受信部２１０、バッファ２２０，２７０、CPU２３０，２８０、メモリ２４０、時刻計測部２５０、HD-SDI信号受信部２６０、遅延計算部２９０を有する。

符号化装置１０から出力されたIPパケットを分岐し、一方は遅延計測装置２００のIPパケット受信部２１０に入力され、他方は復号装置２０を通して遅延計測装置２００のHD-SDI信号受信部２６０へ入力する。符号化遅延計測の場合と同様、CPU２３０，２８０は、受信したデータに時刻計測部２５０から取得した時刻情報を刻印してメモリ２４０に格納し、遅延計算部２９０において時刻情報の比較によって遅延時間を算出する。

さらに、2つのHD-SDI端子を遅延計測装置に搭載すれば、符号化と復号の遅延を同時に計測することができる。同時計測装置の基本的構成を図５に示す。図５に示す遅延計測装置３００は、IPパケット受信部３１０、バッファ３２０，３７０_１，３７０_２、CPU３３０、３８０、HD-SDI信号受信部３６０_１，３６０_２、遅延計算部３９０を有する。

図５に示す構成では、 2つのHD-SDI端子３６０_１，３６０_２、IPパケット受信部３１０で信号を受信した時刻をメモリ３４０に記録しておけば、遅延計算部３９０における遅延時間の算出は符号化遅延計測装置１００、復号遅延計測装置２００単独の場合と同様に行うことができる。

［復号化遅延時間の計算法］
遅延計算部２９０，３９０における、復号化遅延は符号化遅延の計算と同様にして計算できる。符号化時にHD-SDIのタイムコードがIPパケットで伝送される場合、復号装置２０側にもタイムコードをHD-SDIのアンシラリ領域に刻印する機能を持たせることで、タイムコードによってフレーム対応を決定できる。

上記のように、本発明により、既存の符号化装置・復号装置に変更を加えることなく、映像入力からパケット出力まで、またパケット入力から映像出力までの遅延測定が1ms以下の計測誤差で可能になる。ここで、「変更を加えることなく」とは、規格に定められた最低限の情報の伝送以外のコーデックに独自仕様でタイムコード伝送機能を持たせるなど、「本来の機能とは別に何らかの機能を付加することなく」であることを意味する。計測に用いる映像に対しての制約が無いので、図６のように、実際に使用しながらの遅延計測が可能である。「実際に使用しながらの遅延計測」とは、撮像部（カメラ）３０からHD-SDI信号を送出し、符号化装置１０で符号化されたIPパケットをネットワーク５０を通して伝送し、復号装置２０でHD-SDI信号に復号した後にディスプレイ等の映像表示装置４０に入力する実際に使用をする際の構成で、信号を途中で分流することで、本発明の方式での遅延計測を同時に行うことを意味する。図６における遅延計測装置１００，２００は、図２、図４の構成と同様である。

本願で計測する、これらの値は、パケット伝送ネットワークを用いた映像伝送システムの設計において重要な指針となるものである。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

１０符号化装置
１１ HD-SDI受信部
１２映像符号化部
１３ IPパケット送信部
２０復号装置
２１ IPパケット受信部
２２映像符号化部
２３ HD-SDI送信部
３０撮像部
４０映像表示部
５０ネットワーク
１００遅延計測装置（符号化側）
１１０，２１０ IPパケット受信部
１２０，１７０，２２０，２７０バッファ
１３０，１８０，２３０，２８０ CPU
１４０，２４０メモリ
１５０，２５０時刻計測部
１６０，２６０ HD-SDI信号受信部
１９０，２９０遅延計算部

Claims

HD-SDI(High Definition Serial Digital Interface)方式で送出された映像信号を受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定装置であって、
分岐されたHD-SDI信号の一方が符号化装置を経由して入力されたIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたHD-SDI信号のもう一方を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号と取得した時刻情報を組にして前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットの時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号の時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有することを特徴とする映像符号化遅延測定装置。
前記IPパケット処理手段は、
前記IPパケットにHD-SDIタイムコードが挿入されている場合には、該タイムコードも合わせて前記記憶手段に格納する手段を含む
請求項１記載の映像符号化遅延測定装置。
前記遅延計算手段は、
前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する
請求項１記載の映像符号化遅延測定装置。
映像信号のIPパケットを受信して復号し、HD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定装置であって、
映像符号化装置から出力され、分岐された一方のIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたもう一方のIPパケットを受信し、CPUが該HD-SDI信号のタイムコード・ライン番号と取得した時刻情報を組にして前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットの時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号の時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有することを特徴とする映像復号遅延測定装置。
前記遅延計算手段は、
前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する
請求項４記載の映像復号遅延測定装置。
HD-SDI(High Definition Serial Digital Interface)方式で送出された映像信号を受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定方法であって、
時刻情報が付与されたIPパケット及びタイムコード・ライン番号を格納する記憶手段と、
IPパケット処理手段、
HD-SDI信号処理手段、
遅延計算手段、を有する装置において、
前記IPパケット処理手段が、分岐されたHD-SDI信号の一方が符号化装置を経由して入力されたIPパケットに、時刻情報を付与して前記記憶手段に格納するIPパケット処理ステップと、
前記HD-SDI信号処理手段が、前記分岐されたHD-SDI信号のもう一方を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号と取得した時刻情報を組にして前記記憶手段に格納するHD-SDI信号処理ステップと、
前記遅延計算手段が、前記記憶手段から前記IPパケット処理手段により格納されたIPパケットの時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号の時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算ステップと、
を行うことを特徴とする映像符号化遅延測定方法。
前記IPパケット処理ステップにおいて、
前記IPパケットにHD-SDIタイムコードが挿入されている場合には、該タイムコードも合わせて前記記憶手段に格納する
請求項６記載の映像符号化遅延測定方法。
映像信号のIPパケットを受信して復号してHD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定方法であって、
時刻情報が付与されたIPパケット及びタイムコード・ライン番号を格納する記憶手段と、
IPパケット処理手段、
HD-SDI信号処理手段、
遅延計算手段、を有する装置において、
前記IPパケット処理手段が、映像符号化装置から出力され、分岐された一方のIPパケットに、時刻情報を付与して前記記憶手段に格納するIPパケット処理ステップと、
前記HD-SDI信号処理手段が、前記分岐されたもう一方のIPパケットを受信し、CPUが該HD-SDI信号のタイムコード・ライン番号と取得した時刻情報を組にして前記記憶手段に格納するHD-SDI信号処理ステップと、
遅延計算手段が、前記記憶手段から前記IPパケット処理手段により格納されたIPパケットの時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号の時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算ステップと、
を行うことを特徴とする映像復号遅延測定方法。