JP2016116107A - 遅延時間測定システム及びカメラ - Google Patents

Abstract

【課題】映像表示遅延時間測定を人力に頼らず専用装置を必要とせずに行う技術を提供する。【解決手段】カメラの内部の遅延時間測定処理Ｓ１０１の開始時点が基点となる。カメラは、符号化処理Ｓ１０２、パケット作成処理Ｓ１０３、パケット送信処理Ｓ１０４を行う。映像データは、ネットワーク伝送処理Ｓ１０５によりカメラからモニタへ伝送される。モニタは、パケット受信処理Ｓ１０６、受信バッファ処理Ｓ１０７、復号処理Ｓ１０８、画面合成処理Ｓ１０９、ＤＶＩ出力処理Ｓ１１０、モニタ表示処理Ｓ１１１を行い、映像データを表示する。カメラはモニタの映像データのセンサ受光、デジタルデータ変換Ｓ１１２及びリサイズ処理Ｓ１１３を行い、遅延時間測定処理Ｓ１０１に戻る。遅延時間測定処理Ｓ１０１の開始時点から次の遅延時間測定処理Ｓ１０１の開始時点までの時間測定を行い、撮影〜映像表示までの遅延時間を取得する。【選択図】図１

Description

本発明は、遅延時間測定システム及びカメラに係り、例えば映像システム等において、映像撮影からモニタ表示までにかかる映像表示遅延時間を測定する遅延時間測定システム及びその様な機能を有するカメラに関する。

駅のホーム監視等のようにリアルタイム性が求められる映像システムにおいては、映像表示遅延時間、すなわち映像撮影からモニタ表示までに掛かる時間が非常に重要になることがあり、映像システムの提供者が映像表示遅延時間を測定する場合がある。

従来の映像表示遅延時間の測定方法としては、基準映像（フレームごとにカウントアップする時計の映像など）を撮影装置で撮影し、モニタに表示し、測定者が基準映像とモニタ表示映像中の時刻の差分から映像表示遅延時間を測定する方法がある。一般には、目視での確認は難しいことから、上記基準映像とモニタ表示を他の撮像・記録装置でさらに撮影、録画して、測定者が録画データを再生しながら観測し、測定するといった方法が採られる。また、上記録画データを専用のシステム、または、装置により解析し測定結果を得る方法などがある。なお、映像システムが複数種類の画像サイズ、フレームレート、符号化方式やパラメータをサポートする場合、それぞれ測定する必要がある。

また、ソフトウェアによる自動処理によって、ＰＣ（パーソナルコンピュータ）を用いた双方向画像通信システムにおける画像の伝送遅延時間を計測する技術もある（例えば、特許文献１参照）。

具体的には、自局側ＰＣに接続されたＴＶカメラによって、時間経過を指示するオブジェクト（時計の指針）が撮影される。つづいて、オブジェクトの撮影画像が自局側ＰＣから通信路を介して対局側ＰＣに送信され、対局側ＰＣで折り返し送信される。折り返し送信されたオブジェクトの撮影画像を自局側ＰＣで受信することで、自局側ＰＣに入力された画像情報が対局側ＰＣから出力されるまでの時間が計測される。

特開２００６−１８０２９４号公報

ところで、上記のような方法では、測定用の環境を用意する必要があり、特に撮影画像に映り込む基準映像等が十分識別できるように撮影装置の画角を適切に合わせなければならず、煩雑であるという課題があった。
また測定結果が判明するまでに時間がかかるという課題があった。また、結果を測定者の目視により得る場合には測定者個人の能力により測定結果に影響が出る可能性があるという課題があった。特許文献１に開示の技術では、現実に測定している期間は、撮影した時点からではなく、リアルタイム性が求められる映像システム等では別の技術が必要とされていた。

本発明は、このような従来の事情に鑑みなされたもので、上記の課題を解決することを目的とする。

本発明に係る遅延時間測定システムは、使用しているシステムの時刻情報を取得するシステム時刻取得部と、前記システム時刻取得部で取得した前記時刻情報を第１のシステム時刻情報としてモニタの所定の領域に表示する時刻表示出力部と、前記システムの時刻情報と関連づけられて作動し、かつ前記モニタに表示された前記第１のシステム時刻情報を撮影する撮像部と、撮影した画像データをもとに、前記時刻表示出力部において表示された前記時刻情報を特定する表示システム時刻特定部と、前記表示システム時刻特定部の前記時刻情報を特定する処理の後に、前記システム時刻取得部において新たな取得したシステムの時刻情報を第２のシステム時刻情報として取り込み、前記システム時刻特定部で特定した前記第１のシステム時刻情報と前記第２のシステム時刻情報時刻情報との差分を算出する差分算出部と、を備える。
また、前記時刻表示出力部は、前記差分算出部で前記差分を算出する処理後、前記第２のシステム時刻情報を前記所定の領域に表示するとともに、前記差分及び前記第１のシステム時刻情報を前記所定の領域と異なる領域に表示してもよい。
本発明のカメラは、使用しているシステムの時刻情報を取得するシステム時刻取得部と、前記システム時刻取得部で取得した前記時刻情報を第１のシステム時刻情報としてモニタの所定の領域に表示する時刻表示出力部と、前記システムの時刻情報と関連づけられて作動し、かつ前記モニタに表示された前記第１のシステム時刻情報を撮影する撮像部と、撮影した画像データをもとに、前記時刻表示出力部において表示された前記時刻情報を特定する表示システム時刻特定部と、前記表示システム時刻特定部の前記時刻情報を特定する処理の後に、前記システム時刻取得部において新たな取得したシステムの時刻情報を第２のシステム時刻情報として取り込み、前記システム時刻特定部で特定した前記第１のシステム時刻情報と前記第２のシステム時刻情報時刻情報との差分を算出する差分算出部と、を備える。

以上、本発明によると、映像撮影からモニタ表示までにかかる時間の測定に関して、専用の装置を使用することなく、かつ測定者の目視などの人力に頼らず、自動で遅延時間を測定することができる技術を提供できる。

本実施形態に係る、映像表示のタイムチャートを示す図である。 本実施形態に係る、遅延時間測定機能の初期状態を示す図である。 本実施形態に係る、遅延時間測定機能の測定・結果表示状態を示す図である。 本実施形態に係る、遅延時間測定機能を有するカメラの機能ブロックを示す図である。 本実施形態に係る、遅延時間測定機能の処理フローを示す図である。 本実施形態に係る、遅延時間測定機能のシステム構成状態を示す図である。 本実施形態に係る、遅延時間測定機能をＰＣ及びカメラで実現する構成を示す図である。 本実施形態に係る、遅延時間測定機能をＰＣ及びネットワーク接続されるカメラで実現する構成を示す図である。

次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。

図１は、本実施形態に係る処理の概要を説明するタイムチャートである。このタイムチャートの処理は、ネットワークに直接接続されるカメラカメラ（ネットワークカメラ）のフレームレートで繰り返し開始される処理に、遅延時間測定処理を追加したものである。なおこの一連の処理が１フレーム時間内で完結することは稀で、画面内符号化フレーム（Ｉフレーム）周期と同程度またはそれ以上の時間に及ぶ場合もある。

カメラ（ネットワークカメラ）の内部の遅延時間測定処理Ｓ１０１が計時の基点とされる。カメラは、遅延時間測定処理Ｓ１０１、符号化処理Ｓ１０２、パケット作成処理Ｓ１０３、パケット送信処理Ｓ１０４を順次行う。

遅延時間測定処理Ｓ１０１は、計時用画面データを生成し、メモリ上で撮像画像データと差し替える。遅延時間測定処理Ｓ１０１は、撮像画像データの取り込みと連動しており、フレーム間隔よりも十分細かい時間精度で周期的に動作している。このメモリは、後述のリサイズ処理Ｓ１１３から符号化処理Ｓ１０２へデータの受け渡しをするためのものである。計時用画面には、人が認識できる様態（例えば文字）で遅延時間測定結果も描画される。

符号化処理Ｓ１０２は、映像をH.264方式等で符号化する。映像監視の用途では、上限付きのＶＢＲ（変動ビットレート）が用いられることが多い。
パケット送信処理Ｓ１０４を終えて出力された映像データは、ネットワーク伝送処理Ｓ１０５によりカメラからモニタへ伝送される。ネットワーク伝送処理Ｓ１０５は、ネットワーク機器やケーブル等からなる伝送路で行われ、不確定な遅延が生じうる。

映像データを受信したモニタは、内部でパケット受信処理Ｓ１０６、受信バッファ処理Ｓ１０７、復号処理Ｓ１０８、画面合成処理Ｓ１０９、ＤＶＩ出力処理Ｓ１１０、モニタ表示処理Ｓ１１１を行い、映像データを表示する。

そのモニタの映像データ表示を上述のカメラがセンサ受光、デジタルデータ変換Ｓ１１２を行い、データサイズを所定のサイズに調整するリサイズ処理Ｓ１１３を行って、遅延時間測定処理Ｓ１０１に戻る。

遅延時間測定処理Ｓ１０１の開始時点から次の遅延時間測定処理Ｓ１０１の開始時点までの時間測定を行うことで、撮影から映像表示まで時間、即ち遅延時間を取得することができる。

なお、ネットワークカメラ以外を使用する場合には、カメラ側処理に遅延時間測定処理Ｓ１０１を挿入する位置が変わる可能性があるが、基本的には、符号化処理の前で、フレーム周期で行われる処理に隣接して（同期して）行われる。さらに、伝送路もネットワーク以外にアナログ、デジタル伝送路などに変わる可能性がある。さらにまた、モニタ側処理も、カメラ種別によりモニタ側処理の種類や順番が変わる可能性がある。カメラ、モニタ、伝送路以外の機器またはメディアが途中に追加される可能性がある。しかし、機器、処理の構成が変化する場合であっても、遅延時間測定処理から次の遅延時間測定処理までのループが形成できていれば、その間を映像データがループして戻ってくるまでの時間を測定することによる延時間測定処理は可能である。これらを考慮して以下具体的に説明する。

図２及び図３は、本実施形態の遅延時間測定システム１を示す図である。図２は、初期状態を示し、図３は計測時点の状態（測定・結果表示状態）を示している。この構成は、映像遅延時間測定機能を内蔵するカメラ１０において最も単純な構成で映像遅延時間測定を行う際の構成である。

カメラ１０の映像出力端子とモニタ１２の映像入力端子とが、映像伝送ケーブル１３で接続されている。

カメラ１０は、映像遅延時間測定機能を内蔵し、ハードウェア・スイッチ、または、ソフトウェア・スイッチにより標準モードと映像遅延時間測定モードの動作の切替が可能である。測定者はまず、カメラ１０の動作モードを標準モードにした状態で、カメラ１０を、モニタ１２の表示エリア全体を撮影可能な状態にセッティングする。

セッティング完了後に、動作モード切替スイッチにより、カメラ１０の動作モードは、映像遅延時間測定モードに切り替えられる。

動作モードが映像遅延時間測定モードに切り替わると、図２に示す様に、カメラ１０の映像出力端子から出力されるデータは、撮影映像データに代えて、映像遅延時間測定に使用するデータが出力される。

出力するデータは、カメラ１０のシステム時刻をYYYY-MM-DD HH:MM:SS.XXXの日付時刻のフォーマットでミリ秒の単位まで表わせる画像のデータである。なお、時刻のみをミリ秒の単位まで出力してもよいし、日付時刻のデータを基準時間を元に４８ビットや６４ビット整数形式でカウントアップする形式でミリ秒の単位まで出力してもよい。出力されたデータは、モニタ１２において、上側の第１エリアＡ１１に表示される。

つづいて、カメラ１０は、撮影した映像データ内に、図２で説明した時間データがあるか検索するための画像処理を行う。画像処理の結果、撮影映像データ内に時間の情報がある場合には、カメラ１０は、自身の現在のシステム時刻と画像処理により得た映像データ内の時刻情報との差分を計算する。

差分の計算後、カメラ１０は、映像出力端子に映像遅延時間測定に使用するデータ（現在のシステム時刻情報）と、画像処理により得た映像データ内の時刻情報と、現在のシステム時刻情報と画像処理により得た映像データ内の時刻情報の差分情報を、再度文字化し映像データ化して、モニタ１２へ出力する。

現在のシステム時刻情報は、モニタ１２の一番上の第１エリアＡ２１（図２のＡ１１と同位置）に表示される。映像データ内の時刻情報は、第１エリアＡ２１の下の領域である第２エリアＡ２２に表示される。差分情報は、一番下の第３エリアＡ２３に表示される。

現在のシステム時刻情報と画像処理により得た映像データ内の時刻情報の差分情報は、映像データのフレーム単位での計算結果（瞬間値）を単純に出力することも可能であり、また、複数回の集計結果を出力することも可能である。例えば、瞬間値、1分間の平均値、最大値、最小値を並べて出力することも可能である。なお遅延時間は、映像伝送の開始時に、受信側のバッファにデータが溜まるまでに要した時間によってほぼ決まるため、伝送の開始と停止を繰り返して計測した結果を平均することが望ましい。ネットワーク経由で映像を受信する機器の多くは、復号化処理の受信バッファの破綻（空になること）を許容するので、伝送の開始と停止には、ＲＴＣＰ等の送受間でのセッション制御は特に必要とせず、送信側（カメラ１０側）で一方的に行うことができる。伝送の開始時は、標準モードとしIフレームから伝送することが望ましく、その際モニタ１２に実際の運用時を想定した映像（動画）が表示されるように映像ソースを切り替えておくか、カメラの画角の所定範囲以上をモニタ１２以外の動く背景が占めるようにするとさらに良い。また停止の時間は、一例として、受信バッファが空になり且つＰＣＲが同期外れの状態になると見込まれる時間より長く設定することが望ましいが、この限りではない。

上記の構成においては、映像遅延時間の原因となるものはカメラ１０の内部処理による遅延、映像伝送ケーブル１３による映像データ伝送遅延、モニタ１２によるフレーム表示遅延が想定される。

カメラ１０の内部処理による遅延は、カメラ１０のファームウェア処理に掛かる時間が遅延時間となると考えられるので、処理時間をソフトウェアで計測することで個別に測定することができる。

映像データ伝送遅延は、長さの極端に異なる（例えば、１ｍ：１００ｍなど）映像伝送ケーブル１３を使用し、それぞれの映像伝送ケーブル１３を使用したときの構成での映像遅延時間を測定し、測定した映像遅延時間の差分を伝送ケーブル長の差分で割ることで伝送ケーブルの単位長さ辺りの伝送遅延時間を求めることができる。

映像遅延時間から、カメラ１０の内部処理による遅延と伝送遅延を引いた値がモニタ１２によるフレーム表示遅延と求まる。なお、モニタ１２やカメラ１０、場合によっては映像伝送ケーブル１３の一部のみを交換することで、装置単体の遅延性能の検証が可能である。例えば、モニタ１２を別機種のモニタと交換し映像遅延時間の測定を行う。元のモニタ１２を使用した構成と別のモニタを使用した構成とでの映像遅延時間の差分が元のモニタ１２と別のモニタとのフレーム表示遅延性能の差分である。或いは、ＮＴＰ（Network Time protocol）等を用いてモニタカメラ１０とモニタ１２の間で時計（システム時刻）が同期している場合、本例の方法による映像遅延時間から、映像のタイムスタンプの差分を引いたものが、ＤＶＩ出力処理及びやニタ表示処理による遅延であると推定できる。

なお、図２や図３の説明では、時間データを文字形式で表示する方法を示した。しかし、図形での表示でも同様の測定は可能である。例えば、バーコード表示、時間経過により伸びていくバー表示や時間経過ごとに増えていくドット表示、または、アナログ時計のような表示を、所定の映像処理により読取ることでも同様の測定が可能である。

図４は、カメラ１０の内部機能を示すブロック図である。カメラ１０は、イメージ・センサ２１、キャプチャ処理部２２、リサイズ処理部２３、遅延時間算出処理部２４、映像配信処理部２５、およびメモリ３０から構成される。

イメージ・センサ２１は、例えばＣＭＯＳ素子やＣＣＤ素子を有するセンサである。キャプチャ処理部２２は、予め設定されたクロック割り込み処理によって、定期的にイメージ・センサ２１から撮影映像データをキャプチャする。キャプチャ処理部２２は、イメージ・センサ２１からキャプチャした撮影映像データをリサイズ処理部２３に渡す。

リサイズ処理部２３は、キャプチャ処理部２２から渡された撮影映像データを設定により定められたサイズの映像データにリサイズする。リサイズ処理部２３は、リサイズした映像データをメモリ３０に一時的に保存する。

遅延時間算出処理部２４は、定期的、または、割り込み処理などのトリガー処理によって起動し、メモリ３０からリサイズされた映像データを読み込む。遅延時間算出処理部２４は、読み込んだ映像データ内の時間情報を検索する画像処理や、画像処理により取得した時間情報と現在システム時刻との差分の算出処理、及び、システム時刻情報と画像処理により取得した時間情報と時刻情報の差分情報を出力映像データとして作成する処理を含む。遅延時間算出処理部２４は作成した出力映像データをメモリ３０に一時的に保存する。これは、映像配信処理部２５が、リサイズ処理部２３により保存されたデータを読み込むタイミングより前に完了する必要がある。また、遅延時間算出処理部２４をソフトウェアで実現する場合、処理遅延に影響する他のソフトウェアの実行を妨げないように、低い優先度で実行することが望ましく、プロセッサの負荷率によっては毎フレームではなく間欠的に実行されうる。

映像配信処理部２５は、定期的、または、割り込み処理などのトリガー処理により起動し、メモリ３０から映像データを読み込む。映像配信処理部２５は、読み込んだ出力映像データを符号化及びパケット化し、映像出力端子から配信する。映像配信処理部２５は、動作モードが標準モードのときにはリサイズ処理部２３により保存されたデータのあるアドレスから読み込むように制御され、測定モードの時には、遅延時間算出処理部２４により保存されたデータのあるアドレスから読み込むように制御される。このアドレスの変更による処理遅延への影響はない。

図５は、本実施形態を示した図５の遅延時間算出処理部２４の処理フローを示す図である。

遅延時間算出処理では、まず遅延時間算出処理部２４は、現在のシステム時刻の取得処理を実行する（Ｓ２０１）。システム時刻が遅延時間算出処理の規準となるので測定中にはシステム時刻が一意に定まるように、システム時刻の外部同期処理（ＮＴＰなど）は停止させる。

次に、遅延時間算出処理部２４は、取得映像データＯＣＲ処理（Ｓ２０２）を実行し、撮影映像データ内に時刻情報が存在するか確認する。画像処理（光学文字認識（ＯＣＲ）やデジタル文字認識技術）を使用して撮影映像データを処理し、撮影映像内に時刻情報がある場合には、時刻情報を文字データ（文字コード）として取得する。映像中の時刻情報が現れる位置はほぼ一定であるので、以前のフレームで判明している位置で認識処理すれば、処理量を軽減できる。

取得映像データＯＣＲ処理（Ｓ２０２）に成功し撮影映像データ内の時刻情報を文字データとして取得に成功した場合には（Ｓ２０３のＹ）、遅延時間算出処理部２４は、撮影映像データに記録された時刻情報データを取得する（Ｓ２０４）。具体的には、遅延時間算出処理部２４は、取得文字を時刻に変換する処理を行うことで、文字データを時刻情報データに変換する。

取得文字を時刻に変換する処理により撮影映像データに記録された時刻情報データを取得することに成功したら（Ｓ２０５のＹ）、遅延時間算出処理部２４は、表示時刻情報変換処理（Ｓ２０６）を行う。具体的には、遅延時間算出処理部２４は、取得した撮影映像データに記録された時刻情報データを、基準時間を元に４８ビットや６４ビット整数形式でカウントアップする形式でミリ秒の単位の整数型データに変換する。

次に、遅延時間算出処理部２４は、システム時刻との差分を計算する処理（Ｓ２０７）を行う。

具体的には、遅延時間算出処理部２４は、システム時刻取得処理（Ｓ２０１）で取得した現在のシステム時刻情報と表示時刻情報変換処理（Ｓ２０６）により取得した撮影映像データに記録された時刻情報との差分を算出する。

より具体的には、遅延時間算出処理部２４は、システム時刻取得処理（Ｓ２０１）で取得した現在のシステム時刻情報を基準時間を元に４８ビットや６４ビット整数形式でカウントアップする形式でミリ秒の単位の整数型データに変換し、表示時刻情報変換処理（Ｓ２０６）により取得した撮影映像データに記録された時刻情報データとのデータ型をあわせてから差分の計算処理を行う。差分情報は、設定に基づき様々な値として出力されうる。そのために統計データを記憶する必要がある場合には、このタイミングで統計データを作成、記録するための処理がなされる。

つづいて、遅延時間算出処理部２４は、システム時刻確定処理（Ｓ２０８）を実行する。具体的には、遅延時間算出処理部２４は、システム時刻取得処理（Ｓ２０１）で取得した現在のシステム時刻情報を出力映像データに確定する。即ち、遅延時間算出処理部２４は、設定に基づき現在のシステム時刻情報を表示フォーマットに変換し、出力映像データ内の規定の位置に表示するための処理を行う。表示フォーマットはYYYY-MM-DD HH:MM:SS.XXXの日付時刻のフォーマットでミリ秒の単位まで出力する。なお、時刻のみをミリ秒の単位まで出力するフォーマット、または、日付時刻のデータを基準時間を元に４８ビットや６４ビット整数形式でカウントアップする形式でミリ秒の単位まで出力するフォーマット等が用いられてもよい。その場合、使用するフォーマットは、設定により変更可能とする。フォーマットによって映像中の動きのある部分の占める割合が異なるため、実際に映像システムが利用される際の映像に近いものを選んで、符号発生量およびそのパターンを再現することができる。

次に、遅延時間算出処理部２４は、映像時刻確定処理（Ｓ２０９）を実行する。具体的には、遅延時間算出処理部２４は、取得文字を時刻に変換する処理（Ｓ２０４）により取得した撮影映像データに記録された時刻情報データを出力映像データに変換する。遅延時間算出処理部２４は、設定に基づき撮影映像データに記録された時刻情報データを表示フォーマットに変換し、出力映像データ内の規定の位置に表示可能なデータとする。遅延時間算出処理部２４は、表示フォーマットがYYYY-MM-DD HH:MM:SS.XXXの日付時刻のフォーマットでミリ秒の単位まで出力する。なお、時刻のみをミリ秒の単位まで出力するフォーマット、または、日付時刻のデータを基準時間を元に４８ビットや６４ビット整数形式でカウントアップする形式でミリ秒の単位まで出力するフォーマット等が用いられてもよい。その場合、使用するフォーマットは、設定により変更可能とする。なお、Ｓ２０８、Ｓ２０９、Ｓ２１０の各処理で使用されているフォーマットは共通であることが望ましい。

次に、遅延時間算出処理部２４は、時刻差分確定処理（Ｓ２１０）を行う。具体的には、遅延時間算出処理部２４は、システム時刻との差分を計算する処理（Ｓ２０７）で取得した現在のシステム時刻情報と撮影映像データに記録された時刻情報との差分を出力映像データに表示可能に変換する。より具体的には、遅延時間算出処理部２４は、設定に基づき差分データを表示フォーマットの文字列に変換し、出力映像データ内の規定の位置にその文字列の画像データをコピーする。これは一般にキャラクタジェネレータ、スーパーインポーザ或いはＯＳＤ（On Screen Display）などと呼ばれる装置又は機能と同等である。画面内で文字列が配置される領域以外の領域（背景）は、無地でもよいが、実際の運用における映像に近い画像を予めメモリ上にロードしておき、その上に文字列画像を毎回上書きして出力映像データとするようにしてもよい。或いは符号化処理の出力ビットレートが上限に達するのに十分な複雑さと変化（動き）を出力映像に持たせるために、ランダムな映像を背景にしてもよい。このような映像は、小画像のデータをランダムな位置から繰り返し読み出すことで容易に得られる。
また、遅延時間算出処理部２４は、設定に基づき差分データの統計情報なども表示する必要がある場合には、統計データも出力映像データとして表示可能なデータに変換する。ここで、統計データとは、規定時間での差分の平均値などである。

取得映像データＯＣＲ処理（Ｓ２０２）に失敗した場合（Ｓ２０３のＮ）、または、取得文字を時刻に変換する処理（Ｓ２０４）に失敗した場合には（Ｓ２０５のＮ）、システム時刻確定処理（Ｓ２１２）を行う。具体的には、遅延時間算出処理部２４は、システム時刻取得処理（Ｓ２０１）で取得した現在のシステム時刻情報を出力映像データに表示可能に変換する。処理内容は、上述のシステム時刻確定処理（Ｓ２０８）の処理と同様である。

Ｓ２１０の処理またはＳ２１２の処理につづいて、遅延時間算出処理部２４は、映像データ作成処理（Ｓ２１１）を実行する。具体的には、遅延時間算出処理部２４は、システム時刻確定処理（Ｓ２０８）と映像時刻確定処理（Ｓ２０９）と時刻差分確定処理（Ｓ２１０）、または、システム時刻確定処理（Ｓ２１２）により作成された出力映像データを映像データフォーマットに変換し、映像出力端子から出力可能な状態にする。

上述したように、図５に示した遅延時間算出処理は、操作者の１回の指示により自動的に複数回実行されうる。指示は遠隔からネットワーク経由で与えられうる。計測対象とする映像システムが複数種類の画像サイズ、フレームレート、符号化方式やパラメータをサポートする場合、画像サイズ等を切り替えながら、計測指示を自動的に発行する制御をプログラムすることも可能である。そのような制御は、送信側（カメラ側）自身、或いは受信側（モニタ側）又はそれ以外の機器でも行うことができる。

図６は本実施形態の遅延時間測定システム１０１の構成を示すブロック図である。ここでは、カメラ１０とモニタ１２がネットワークを介して接続される例を示している。カメラ１０の映像出力端子と映像エンコード装置５１の映像入力装置が映像伝送ケーブル１３ａによって接続されている。映像伝送ケーブル１３ａは、ＵＳＢケーブル、ＬＡＮケーブル、ＢＮＣケーブルなどである。この構成によって、カメラ１０が作成した映像遅延時間測定に使用するデータが映像エンコード装置５１に入力される。

映像エンコード装置５１は、映像入力端子から入力された映像データをデジタルデータにエンコード（符号化）し、さらに必要に応じてネットワークデータ化する。映像エンコード装置５１のネットワーク端子は、ネットワーク伝送ケーブル１４ａによって、第１のネットワークスイッチ５２のネットワーク端子と接続されている。

または、映像エンコード装置５１の映像出力端子は、伝送ケーブル１５によって映像デコード装置５４の映像入力端子と接続されている。映像エンコード装置５１はネットワークデータ化した映像データを、ネットワーク伝送ケーブル１４ａを介して、第１のネットワークスイッチ５２に渡す。なお、第１のネットワークスイッチ５２と映像デコード装置５４とが伝送ケーブル１５によって直接接続されている場合は、第１のネットワークスイッチ５２は、デジタルデータ化した映像データを映像出力端子から伝送ケーブル１５により映像デコード装置５４の映像入力端子へと渡す。

第１のネットワークスイッチ５２のネットワーク端子は、ネットワーク伝送ケーブル１４ｂを介して、第２のネットワークスイッチ５３のネットワーク端子と接続されている。第１のネットワークスイッチ５２は、ネットワークの仕様に従って、映像エンコード装置５１から出力された映像データを第２のネットワークスイッチ５３へ転送する。

第２のネットワークスイッチ５３のネットワーク端子は、ネットワーク伝送ケーブル１４ｃを介して映像デコード装置５４のネットワーク端子と接続されている。第２のネットワークスイッチ５３は、第１のネットワークスイッチ５２から転送された映像データを、ネットワークの仕様に従って、映像デコード装置５４のネットワーク端子へと転送する。

映像デコード装置５４は、ネットワーク端子から受信したネットワークデータ化した映像データ、または、映像入力端子から受信したデジタルデータ化した映像データをデコード（復号）する。映像デコード装置５４の映像出力端子とモニタ１２の映像入力端子は映像伝送ケーブル１３ｂにより接続されている。映像デコード装置５４はデコードした映像データをモニタ１２の映像入力端子へ転送する。

モニタ１２は映像入力端子から受信した映像データを映像表示エリアに表示する。

図６の遅延時間測定システム１０１では、多数の構成装置を経由した映像サービスのシステム構成となっている。しかし、基本的な測定方法は図２や図３等で示した測定方法と同様である。

映像エンコード装置５１、映像デコード装置５４では映像データの符号化／復号処理を行っているので処理遅延時間が発生する。符号化／復号処理は、専用ハードウェアによるハードウェア処理、または、汎用のＣＰＵ／ＭＰＵによるソフトウェア処理である。符号化／復号処理の呼び出しの前後に測定処理を行うことで、符号化／復号処理に掛かる時間を個別に測定することができる。

また、第１のネットワークスイッチ５２や第２のネットワークスイッチ５３を経由するネットワーク伝送には、伝送遅延時間が発生する。ネットワーク伝送に伴う遅延時間は、ネットワークの仕様により測定可能である。

なお、図６で示す遅延時間測定システム１０１では、映像遅延時間測定のための機能はカメラ１０に実装されているが、映像遅延時間測定のための機能が必ずカメラ１０に実装されている必要性はない。例えば、映像エンコード装置５１、または、映像デコード装置５４に、像遅延時間測定のための機能が実装されている場合であっても、上述の映像遅延時間測定は可能である。

ただし、カメラ１０、映像エンコード装置５１、映像デコード装置５４のうち複数の装置に映像遅延時間測定機能が搭載される場合であっても、１つの装置の映像遅延時間測定機能を動作させる必要がある。２つ以上の装置で同時に映像遅延時間測定機能を動作させると、図４で示す映像サービスのためのシステムの映像遅延時間測定はできないためである。

なお、カメラ１０、映像エンコード装置５１、映像デコード装置５４のうちの２つ以上の装置で同時に映像遅延時間測定機能を動作させる場合には、図示の遅延時間測定システム１０１全体での映像遅延時間測定ではなく、特定区間での映像遅延時間測定になる。例えば、映像エンコード装置５１、映像デコード装置５４の映像遅延時間測定機能を同時に動作させる場合には、映像エンコード装置５１の内部処理、ネットワーク伝送、映像デコード装置５４の内部処理の遅延時間が測定可能である。

図７の遅延時間測定システム２０１は、遅延時間測定機能を有するＰＣ９０とカメラ１０と、モニタ１２とを備える。カメラ１０とＰＣ９０は、映像伝送ケーブル１３ａで接続される。ＰＣ９０では、ＰＣカメラ映像表示ソフトウェアが動作する。ＰＣカメラ映像表示ソフトウェアは、起動時やカメラ映像未受信時には、映像表示エリアの規定の場所（Ａ２１）にＰＣシステム時刻を表示する。

ＰＣカメラ映像表示ソフトウェアは、カメラ映像受信時には、カメラ映像データ内の規定の位置にある時間データの取得を行う。取得の方法は図２や図３等で説明した方法と同様の方法である。

ＰＣカメラ映像表示ソフトウェアは、ＰＣシステム時刻、取得したカメラ映像データ内の時間情報、その時間差を映像表示エリアの規定の場所（Ａ２１、Ａ２２、Ａ２３）に表示する。

測定結果の時間差には、カメラ処理遅延時間、伝送遅延時間、ＰＣカメラ映像表示ソフトウェア処理遅延時間、モニタ表示遅延時間が含まれる。

図８の遅延時間測定システム３０１は、図７の遅延時間測定システム１０１を拡張した構成である。すなわち、カメラ１０は、第１のネットワークスイッチ５２及び第２のネットワークスイッチ５３を介してＰＣ９０とネットワーク接続される。

カメラ１０と第１のネットワークスイッチ５２は、映像伝送ケーブル１３ａで接続される。ＰＣ９０と第２のネットワークスイッチ５３は、同様に映像伝送ケーブル１３ｂで接続される。第１のネットワークスイッチ５２と第２のネットワークスイッチ５３とはネットワーク伝送ケーブル１４によって接続される。

測定のための基本的な仕組みは、図７の遅延時間測定システム２０１の測定手順と同様である。測定結果得られる時間差には、カメラ処理遅延時間、ネットワーク遅延時間、ＰＣカメラ映像表示ソフトウェア処理遅延時間、モニタ表示遅延時間が含まれる。

以上、本実施形態によれば、上記の映像遅延時間測定方法を使用することで、映像撮影からモニタ表示までにかかる映像表示遅延時間の測定を人力に頼らず、専用装置を必要とせずに測定、解析することができる。その結果、コストの低減、測定の精度向上につながる。

なお、本実施形態では、計測モードにおいて撮影映像データは、出力映像データによって完全に置き換えられ、カメラから出力されないものとして説明したが、撮影映像の一部又は全部を、出力映像データの一部に含ませておき、モニタに表示されるようにしてもよい。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１、１０１、２０１、３０１ 遅延時間測定システム
１０ カメラ
１２ モニタ
２１ イメージ・センサ
２２ キャプチャ処理部
２３ リサイズ処理部
２４ 遅延時間算出処理部
２５ 映像配信処理部
３０ メモリ
５１ 映像エンコード装置
５２ 第１のネットワークスイッチ
５３ 第２のネットワークスイッチ
５４ 映像デコード装置

Claims (3)

1. 使用しているシステムの時刻情報を取得するシステム時刻取得部と、
   前記システム時刻取得部で取得した前記時刻情報を第１のシステム時刻情報としてモニタの所定の領域に表示する時刻表示出力部と、
   前記システムの時刻情報と関連づけられて作動し、かつ前記モニタに表示された前記第１のシステム時刻情報を撮影する撮像部と、
   撮影した画像データをもとに、前記時刻表示出力部において表示された前記時刻情報を特定する表示システム時刻特定部と、
   前記表示システム時刻特定部の前記時刻情報を特定する処理の後に、前記システム時刻取得部において新たな取得したシステムの時刻情報を第２のシステム時刻情報として取り込み、前記システム時刻特定部で特定した前記第１のシステム時刻情報と前記第２のシステム時刻情報時刻情報との差分を算出する差分算出部と、
   を備えることを特徴とする遅延時間測定システム。
2. 前記時刻表示出力部は、前記差分算出部で前記差分を算出する処理後、前記第２のシステム時刻情報を前記所定の領域に表示するとともに、前記差分及び前記第１のシステム時刻情報を前記所定の領域と異なる領域に表示することを特徴とする請求項１に記載の遅延時間測定システム。
3. 使用しているシステムの時刻情報を取得するシステム時刻取得部と、
   前記システム時刻取得部で取得した前記時刻情報を第１のシステム時刻情報としてモニタの所定の領域に表示する時刻表示出力部と、
   前記システムの時刻情報と関連づけられて作動し、かつ前記モニタに表示された前記第１のシステム時刻情報を撮影する撮像部と、
   撮影した画像データをもとに、前記時刻表示出力部において表示された前記時刻情報を特定する表示システム時刻特定部と、
   前記表示システム時刻特定部の前記時刻情報を特定する処理の後に、前記システム時刻取得部において新たな取得したシステムの時刻情報を第２のシステム時刻情報として取り込み、前記システム時刻特定部で特定した前記第１のシステム時刻情報と前記第２のシステム時刻情報時刻情報との差分を算出する差分算出部と、
   を備えることを特徴とするカメラ。

Images