JP2022168409A - 通信装置、通信装置の制御方法およびプログラム - Google Patents

Abstract

【課題】複数の種別の通信パケットをそれぞれ処理可能な通信装置において、他の通信装置との適切な時刻同期を可能とする。【解決手段】通信パケットを受信し、通信パケットが受信されたタイムスタンプを取得し、受信された通信パケットの種別を解析し、解析された通信パケットの種別を示す情報に基づいて、受信された通信パケットを所定のメモリに転送し、解析された通信パケットの種別を、取得されたタイムスタンプに対応付ける。【選択図】 図２

Description

本発明は、他の通信装置と時刻同期可能な通信装置に関する。

複数のカメラを異なる位置に設置して多視点で同期撮像し、この同期撮像により得られた複数視点画像を用いて、仮想視点コンテンツを生成する技術がある。この仮想視点コンテンツを用いれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができる。これにより、通常の画像と比較して、より高い臨場感がユーザに提供される。

このような同期撮影を実現するネットワークを用いた時刻同期技術の１つに、ＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ：ＩＥＥＥ１５８８－２００８）がある。ＰＴＰでは、正確な時刻を持つマスタ装置が、ＰＴＰパケットにその時刻情報を載せて送信する。スレーブ装置は、そのＰＴＰパケットを受信することで時刻同期を実行する。
ＰＴＰで時刻同期する通信ネットワークでは、様々な通信パケットが転送されている。転送される通信パケットの種別は、各通信装置間やマスタ装置および通信装置間の時刻同期を行うＰＴＰパケット、通信装置を制御するＴＣＰ／ＩＰパケット、カメラにより撮像された画像や映像のパケット等を含む。

特許文献１は、通信ネットワーク上で転送される通信パケットを、通信パケットの種別ごとに振り分ける通信装置を開示する。
具体的には、特許文献１の通信装置は、受信された通信パケットのＩＰヘッダのＴＯＳ（Ｔｙｐｅ ｏｆ Ｓｅｒｖｉｃｅ）フィールドを解析して、ＩＰ Ｐｒｅｃｅｄｅｎｃｅの値に応じて、通信パケットを振り分ける。

特開２０１８－１１３６２３号公報

しかしながら、複数の種別の通信パケットを振り分ける通信装置において、ＰＴＰの時刻同期処理を実行できない場合があった。
具体的には、ＰＴＰのスレーブ装置において、受信パケットと受信タイムスタンプとが分離して出力され、かつ受信パケットの種別に応じて異なるモジュールで受信処理を実行する場合、受信パケットと受信タイムスタンプとの対応付けが失われてしまう。このため、適切な受信タイムスタンプを用いてＰＴＰの時刻同期処理を実行することができず、マスター装置への時刻同期が外れるおそれがあった。

本発明は、上述の課題に鑑みてなされたものであり、その目的は、複数の種別の通信パケットをそれぞれ処理可能な通信装置において、他の通信装置との適切な時刻同期を可能とすることにある。

上記課題を解決するため、本発明に係る通信装置のある態様によれば、通信パケットを受信する受信手段と、前記受信手段により受信された前記通信パケットを所定のメモリに転送する転送手段と、前記通信パケットが前記受信手段により受信されたタイムスタンプを取得する取得手段と、前記受信手段により受信された前記通信パケットの種別を解析する解析手段と、前記解析手段により解析された前記通信パケットの種別を示す情報を、前記転送手段に通知するとともに、前記取得手段により取得された前記タイムスタンプに対応付けるよう制御する制御手段と、を備える通信装置が提供される。

本発明によれば、複数の種別の通信パケットをそれぞれ処理可能な通信装置において、他の通信装置との適切な時刻同期を可能とすることができる。

各実施形態に係る同期撮像システムのネットワーク構成の一例を示すブロック図 各実施形態に係るカメラアダプタ２（通信装置）のハードウエアおよび機能構成の一例を示すブロック図 ＰＴＰ時刻同期処理の一例を示すシーケンス図 各実施形態に係るカメラアダプタ２が実行する通信パケットの受信処理の処理手順の一例を示すフローチャート 実施形態１における図４の受信タイムスタンプ振分処理（Ｓ４７）の詳細処理手順の一例を示すフローチャート 図４の受信パケット振分処理（Ｓ４８）の詳細処理手順の一例を示すフローチャート 各実施形態に係るＰＴＰ時刻同期処理の処理手順の一例を示すフローチャート 実施形態２における図４の受信タイムスタンプ振分処理（Ｓ４７）の詳細処理手順の一例を示すフローチャート

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に必ずしも限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

（実施形態１）
本実施形態において、通信装置は、受信された通信パケットの種別に対応して、受信タイムスタンプを振り分け、受信された通信パケットと受信タイムスタンプとを対応付けることにより、時刻同期を実行する。
以下、通信装置が、ＩＥＥＥ１５８８規格に準拠するＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）により時刻同期を実行する例を説明するが、本実施形態の時刻同期プロトコルはこれに限定されない。

＜本実施形態のネットワーク構成＞
図１は、本実施形態に係る時刻同期を適用可能なシステムの一例として、競技場(スタジアム)やコンサートホールにおいて仮想視点画像を生成する同期撮像システムのネットワーク構成の一例を示す。

図１を参照して、同期撮像システム１０は、センサシステム３ａ、３ｂ、・・・、３ｚ、タイムサーバ４、ハブ５、制御端末６、画像コンピューティングサーバ７、ユーザ端末８を備える。ハブ５とセンサシステム３ａ、３ｂ、・・・、３ｚとは、デイジーチェーン９ａ、９ｂ、・・・で接続されている。デイジーチェーンは、ハブ５と各センサシステム３ａ、３ｂ、・・・、３ｚとを直列に接続する。各センサシステム３ａ、３ｂ、・・・、３ｚは、複数のコネクタを備え、各コネクタを介して別々の装置と接続することで、デイジーチェーンの接続を確立することができる。

以下、本実施形態において、特に説明する場合を除き、センサシステム３ａ～センサシステム３ｚまでの２６セットのシステムを区別せず、センサシステム３と総称する。各センサシステム３内の各装置についても同様に、特別に説明する場合を除き、区別せずに、カメラ１、カメラアダプタ２と総称する。
図１において、一例として２６セットのセンサシステム３が図示されているが、センサシステムの台数は２６に限定されない。また、複数のセンサシステム３は、同一の構成である必要はなく、例えばそれぞれが異なる機種の装置で構成されていてもよい。
なお、本実施形態では、特に説明する場合を除き、画像とは、動画および静止画の概念を含むものとして説明する。すなわち、本実施形態に係る同期撮像システム１０は、静止画および動画のいずれについても処理可能であるものとする。

タイムサーバ４は、時刻情報を配信する機能を有し、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｓｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）１１に同期した時刻情報をセンサシステム３に配信する。あるいは、タイムサーバ４は、タイムサーバ４が持つローカル時刻をマスタ時刻として、センサシステム３に配信してもよい。
ハブ５は、タイムサーバ４が配信する時刻情報を搬送するＰＴＰパケットや、センサシステム３が画像コンピューティングサーバ７に送信する画像データのパケットを、それぞれの宛先に振り分ける。

制御端末６は、同期撮像システム１０を構成するそれぞれのコンポーネントに対して、ネットワークを通じて動作状態の管理およびパラメータ設定制御等を実行する。ここで、ネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ規格準拠のＧｂＥ（ギガビットイーサネット）や１０ＧｂＥでもよく、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサネットなどを組み合わせて構成されてもよい。また、ネットワークは、これらに限定されず、他の任意の種別のネットワークであってよい。

図１において、センサシステム３は、それぞれ、カメラ１およびカメラアダプタ２を備える。ただし、センサシステムの構成は、これに限定されない。センサシステム３はさらに、例えば、マイク等の音声デバイスや、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージデバイス、カメラの向きを制御する雲台等を備えてもよい。

また、センサシステム３は、１台のカメラアダプタ２と、複数のカメラ１で構成されてもよく、１台のカメラ１と複数のカメラアダプタ２で構成されてもよい。複数のセンサシステム３ａ、３ｂ、・・・、３ｚ同士は、デイジーチェーン９ｂにより接続される。デイジーチェーン接続により、撮像画像の４Ｋや８Ｋ等への高解像度化および高フレームレート化に伴って大容量化する画像データの転送において、接続ケーブル数を削減するとともに配線作業を省力化することができる。
ただし、接続形態はデイジーチェーンに限定されない。各センサシステム３がそれぞれハブ５に接続され、ハブ５を経由して複数のセンサシステム３間のデータ送受信を行うスター型の接続形態を採用してもよい。

また、図１では、複数のセンサシステム３のすべてがデイジーチェーン接続されている構成が図示されているが、これに限定されない。例えば、複数のセンサシステム３ａ、３ｂ、・・・、３ｚをいくつかのグループに分割して、分割したグループ単位でセンサシステム３間をデイジーチェーン接続してもよい。このような構成は、スタジアムにおいて有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム３を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ７への入力を行うことができる。このように、すべてのセンサシステム３を１つのデイジーチェーンで接続する配線が困難な場所でも、設置の簡便化及びシステムの柔軟化を図ることができる。

カメラ１ａ、１ｂ、・・・、１ｚは、被写体を複数の方向から撮像する。なお、本実施形態において、複数のカメラ１は同一のものとして説明するが、各カメラ１の性能や機種は異なっていてもよい。
カメラアダプタ２ａ、２ｂ、・・・、２ｚは、それぞれ、カメラ１と接続し、カメラ１の制御、撮像画像の取得、同期信号の提供、および時刻設定等を実行する。

カメラアダプタ２は、カメラ１が撮像した撮像データに対して画像処理を実行する。具体的には、カメラアダプタ２は、撮像データから前景画像と背景画像とを出力する。複数のカメラアダプタ２により複数の視点から撮像された前景画像と背景画像に基づいて、仮想視点画像が生成される。なお、一部のカメラアダプタ２は、撮影画像から分離した前景画像を出力するが、背景画像を出力しなくともよい。カメラアダプタ２は、画像処理された画像データをデイジーチェーンで接続されたハブ５を介して、画像コンピューティングサーバ７へ伝送する。

ここで、カメラアダプタ２は、ＰＴＰスレーブ装置として動作し、ＧＭＣ（Ｇｒａｎｄ Ｍａｓｔｅｒ Ｃｌｏｃｋ）装置であるタイムサーバ４と時刻同期する。カメラアダプタ２はまた、ＰＴＰマスタ装置として、他のセンサシステム３とも時刻同期するＢＣ（Ｂｏｕｎｄａｒｙ Ｃｌｏｃｋ）装置として動作する。

あるいは、カメラアダプタ２は、ＧＭＣ装置からのＰＴＰパケットに対して時刻補正を行い、他のセンサシステム３に転送するＴＣ（Ｔｒａｎｓｐａｒｅｎｔ Ｃｌｏｃｋ）装置として動作してもよい。カメラアダプタ２はまた、ＧＭＣ装置からのＰＴＰパケット、および別のセンサシステム３から転送されたＰＴＰパケットを用いて時刻同期のみを行うＯＣ（Ｏｒｄｉｎａｒｙ Ｃｌｏｃｋ）装置として動作してもよい。

あるいは、カメラアダプタ２は、ＴＣ装置およびＯＣ装置として動作してもよい。この場合、カメラアダプタ２は、ＧＭＣ装置からおよび他のセンサシステム３から転送されたＰＴＰパケットを用いて時刻同期を行い、かつＰＴＰパケットに対して時刻補正を行って、時刻補正されたＰＴＰパケットを他のセンサシステム３に転送する。
カメラアダプタ２はさらに、同期した時刻やリファレンス信号を用いて、撮像タイミングを規定する制御クロックをカメラ１に供給する。なお、カメラアダプタ２における通信パケットの処理の詳細は、図２を参照して後述する。

画像コンピューティングサーバ７は、複数のセンサシステム３から取得されるデータの処理を行う。
具体的には、画像コンピューティングサーバ７はまず、センサシステム３から取得される画像データを再構成してそのデータ形式を変換し、変換後の画像データを、カメラ１の識別子やデータ種別、フレーム番号に応じて記憶装置に記憶する。画像コンピューティングサーバ７はまた、制御端末６から視点の指定を受け付け、受け付けられた視点に基づいて記憶された情報から対応する画像データを読み出し、読み出された画像データにレンダリング処理を行って仮想視点画像を生成する。すなわち、画像コンピューティングサーバ７は、複数のセンサシステム３により撮像された撮像画像（複数視点画像）と視点情報とに基づいて、仮想視点コンテンツを生成する。
なお、画像コンピューティングサーバ７の機能の少なくとも一部を、制御端末６、センサシステム３やユーザ端末８が有していてもよい。

ユーザ端末８は、画像コンピューティングサーバ７からレンダリング処理された画像を受信する。これにより、ユーザ端末８を操作するユーザは、指定に応じた視点の画像を閲覧することができる。なお、上記ではは、仮想視点コンテンツが画像コンピューティングサーバ７により生成される例を説明したが、これに限定されない。すなわち、仮想視点コンテンツは、制御端末６やユーザ端末８により生成されてもよい。

＜カメラアダプタ２のハードウエアおよび機能構成＞
図２は、各実施形態に係るカメラアダプタ２のハードウエアおよび機能構成の一例を示すブロック図であり、主に、本実施形態に係る通信装置の全部または一部の機能を奏するカメラアダプタ２のネットワーク制御部分を図示する。

図２に示すカメラアダプタ２の各機能モジュールのうち、ソフトウエアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがＲＯＭ等のメモリに記憶され、ＲＡＭに読み出してＣＰＵが実行することにより実現される。ハードウエアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図２に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

図２を参照して、カメラアダプタ２は、ＣＰＵ２１、映像パケット処理部２２、第１記憶部２３、第２記憶部２４、ＤＭＡ制御部２５、ＰＨＹ／ＭＡＣ２６、およびパケット解析処理部２７を備える。カメラアダプタ２内の各機能ブロック（２１～２４、２７）は、システムバス２８を介して相互に接続されている。また、カメラアダプタ２は、カメラ１と画像伝送用ケーブル２０３を介して接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１は、ＯＳＩ参照モデルで定義されるアプリケーション層でアプリケーションソフトウエアを実行するとともに、カメラアダプタ２全体の制御も実行する。ＣＰＵ２１はまた、アプリケーションソフトウエアを実行する上で必要となるデータやプログラムなどを第１記憶部２３の内部に記憶して、必要に応じてシステムバス２８を介して読み出しや書き込みを行う。
具体的には、本実施形態において、ＣＰＵ２１は、ＰＴＰスタック処理やＤＭＡ制御部２５を用いたＤＭＡ転送制御のためのディスクリプタを生成する。

映像パケット処理部２２は、カメラ１で撮像された画像データを、画像伝送用ケーブル２０３を介して受信して、受信された画像データをパケット化する。以下、パケット化された画像データを映像パケットという。映像パケット処理部２２はまた、ＤＭＡ制御部２５を用いたＤＭＡ転送制御のためのディスクリプタを生成する。
なお、図２において、映像パケット処理部２２は専用ハードウエアとして図示されているが、これに限定されず、映像パケット処理は、ＣＰＵ２１とは異なる、同様の機能を持つ他のＣＰＵにより処理されてもよい。

第１記憶部２３は、ＣＰＵ２１により用いられる記憶領域である。第１記憶部２３は、主にＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成されてよい。
第１記憶部２３の内部の領域は、プログラムを格納する領域やアプリケーションソフトウエアが使用するアプリケーションバッファ領域等に区分され、これらの領域にパケット転送用のディスクリプタ等が格納される。ここで、ディスクリプタとは、後述するＤＭＡ制御部２５がパケット転送に用いる情報であり、データ転送を行うソース側のアドレス情報、ディスティネーション側のアドレス情報、データ転送の転送サイズ等の情報を記述する。

第２記憶部２４は、映像パケット処理部２２により用いられる記憶領域である。第２記憶部２４は、第１記憶部２３と同様、主にＤＲＡＭやＳＲＡＭ等の半導体メモリで構成されている。第２記憶部２４の内部の領域は、映像パケットを伝送するためのディスクリプタ等が格納される。
なお、図２において、第１記憶部２３および第２記憶部２４が、ＣＰＵ２１および映像パケット処理部２２によりそれぞれ占有される例が図示されているが、その限りではない。例えば、第１記憶部２３および第２記憶部２４を１つの記憶部で構成し、ＣＰＵ２１および映像パケット処理部２２がこの記憶部を共有して使用してもよい。

ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）制御部２５は、ＣＰＵ２１または映像パケット処理部２２の指示に基づいて、ＰＨＹ／ＭＡＣ２６と各記憶部との間で直接データ転送を行うＤＭＡ転送を実行する。
具体的には、ＤＭＡ制御部２５は、ＣＰＵ２１、および映像パケット処理部２２がそれぞれ生成したディスクリプタの内容に従って、ＤＭＡ転送を実行する。
本実施形態において、ＤＭＡ制御部２５は、後述するパケット解析処理部２７内部の解析部２７２の指示に基づいて、ＤＭＡ転送に使用するディスクリプタを選択する。ＤＭＡ転送完了後、ＤＭＡ制御部２５は、ＤＭＡ転送に使用したディスクリプタに対応した完了割り込み２０１を、ＤＭＡ転送の指示元であるＣＰＵ２１または映像パケット処理部２２に通知する。

ＰＨＹ／ＭＡＣ２６は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク２０２とのインタフェースである。ＰＨＹ／ＭＡＣ２６は、通信におけるＰＨＹ層（物理層）とＭＡＣ層（データリンク層）の通信制御を担う。
ＰＨＹ／ＭＡＣ２６はまた、受信する全ての通信パケットの受信タイムスタンプを出力する。ここでタイムスタンプとは、ＰＨＹ／ＭＡＣ２６が通信パケットを送信または受信したタイミングの時刻情報をいう。このタイムスタンプは、ＰＴＰプロトコル処理の時刻補正の計算等に使用される。

パケット解析処理部２７は、タイムスタンプ一時記憶部２７１、解析部２７２、解析結果記憶部２７３、タイムスタンプ振分部２７４、タイムスタンプ記憶部２７５、およびレジスタ部２７６を備える。
タイムスタンプ一時記憶部２７１は、ＰＨＹ／ＭＡＣ２６から出力される受信タイムスタンプを一時的に格納する記憶部であり、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎｐｕｔ Ｆｉｒｓｔ Ｏｕｔｐｕｔ）構成のメモリであってよい。

解析部２７２は、ＰＨＹ／ＭＡＣ２６により受信された通信パケットのＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）ヘッダを解析する。具体的には、解析部２７２は、受信された通信パケットのＥｔｈｅｒＴｙｐｅを判別し、解析結果を、ＤＭＡ制御部２５および解析結果記憶部２７３にそれぞれ通知する。
なお、解析部２７２による解析結果を、解析結果記憶部２７３に格納せずに、直接、タイムスタンプ振分部２７４に通知してもよい。
解析結果記憶部２７３は、解析部２７２が受信された通信パケットを解析判別した解析結果を格納する記憶部であり、ＦＩＦＯ構成のメモリであってよい。

タイムスタンプ振分部２７４は、解析結果記憶部２７３に格納された解析結果を参照して、タイムスタンプ一時記憶部２７１に格納された受信タイムスタンプを、複数のタイムスタンプ記憶部２７５のいずれかに振り分ける。
複数のタイムスタンプ記憶部２７５（＃１～＃Ｎ）は、それぞれＩＦＯメモリで構成され、タイムスタンプ振分部２７４により振り分けられた受信タイムスタンプをそれぞれ格納する。受信タイムスタンプは、受信さされた通信パケットの解析結果であるパケット種別に基づいて、所定のＦＩＦＯに格納される。

レジスタ部２７６は、解析結果とディスクリプタとの対応、解析結果と破棄との対応、解析結果と当該解析結果を格納するタイムスタンプ記憶部２７５との対応等の情報を記憶する。レジスタ部２７６が記憶するこれらの情報は、ＤＭＡ制御部２５が受信された通信パケットに対してどのディスクリプタを使用するか、を判断する情報である。レジスタ部２７６が記憶するこれらの情報はまた、タイムスタンプ振分部２７４が受信タイムスタンプをどのタイムスタンプ記憶部２７５に振り分けるのか、を判断する情報である。
これらの情報は、ＣＰＵ２１がＤＭＡ転送を開始する前に、ＣＰＵ２１によりレジスタ部２７６にセットされる。

＜ＰＴＰ時刻同期のシーケンス＞
図３は、ＰＴＰ時刻同期処理の一例を示すシーケンス図である。
ＰＴＰ時刻同期においては、ＰＴＰのＧＭＣ（Ｇｒａｎｄ Ｍａｓｔｅｒ Ｃｌｏｃｋ）マスタ装置とＰＴＰスレーブ装置との間で時刻同期のための同期パケットが送受信される。
図３を参照して、図１のタイムサーバ４がＧＭＣマスタ装置として動作し、図１のセンサシステム３がＰＴＰスレーブ装置として動作する例を説明する。

Ｓ３１で、ＧＭＣマスタ装置であるタイムサーバ４は、ＰＴＰスレーブ装置であるセンサシステム３に対して、同期パケットＳｙｎｃを一定間隔で送信する。同期パケットＳｙｎｃを受信したセンサシステム３は、同期パケットＳｙｎｃを受信した受信タイムスタンプ情報ｔ２を保持する。

Ｓ３２で、ＧＭＣマスタ装置であるタイムサーバ４は、同期パケットＳｙｎｃを送信した送信タイムスタンプ情報ｔ１を、同期パケットＦｏｌｌｏｗ＿Ｕｐに載せて、ＰＴＰスレーブ装置であるセンサシステム３に対して送信する。センサシステム３は、同期パケットＦｏｌｌｏｗ＿Ｕｐを受信すると、Ｆｏｌｌｏｗ＿ｕｐで搬送される送信タイムスタンプ情報ｔ１を取得して保持する。
なお、図３では、同期パケットＳｙｎｃを送信した送信タイムスタンプ情報ｔ１をＦｏｌｌｏｗ＿Ｕｐに載せて送信する例が示されているが、これに限定されない。例えば、同期パケットＳｙｎｃの送信タイムスタンプ情報をＦｏｌｌｏｗ＿Ｕｐに載せず、Ｓｙｎｃ自身に載せて送信してもよい。

Ｓ３３で、ＰＴＰスレーブ装置であるセンサシステム３は、ＧＭＣマスタ装置であるタイムサーバ４に対して同期パケットＤｅｌａｙ＿Ｒｅｑｕｅｓｔを送信する。この際、センサシステム３は、Ｄｅｌａｙ＿Ｒｅｑｕｅｓｔを送信した送信タイムスタンプ情報ｔ３を保持する。

Ｓ３４で、ＧＭＣマスタ装置であるタイムサーバ４は、ＰＴＰスレーブ装置であるセンサシステム３に対して、同期パケットＤｅｌａｙ＿Ｒｅｓｐｏｎｓｅを送信する。この際、タイムサーバ４は、Ｄｅｌａｙ＿Ｒｅｑｕｅｓｔを受信した受信タイムスタンプ情報ｔ４をＤｅｌａｙ＿Ｒｅｓｐｏｎｓｅに載せて、センサシステム３に対して送信する。
センサシステム３は、同期パケットＤｅｌａｙ＿Ｒｅｓｐｏｎｓｅを受信することで、タイムサーバ４がＤｅｌａｙ＿Ｒｅｑｕｅｓｔを受信した受信タイムスタンプ情報ｔ４を取得して保持する。

ＰＴＰスレーブ装置であるセンサシステム３は、Ｓ３１～Ｓ３４の同期パケットの送受信により得られたタイムスタンプｔ１～ｔ４を用いて、平均伝送遅延時間を算出し、センサシステム３内の時刻を補正する。
ここで、平均伝送遅延時間は以下の数式で算出できる。
｛（ｔ２－ｔ１）＋（ｔ４－ｔ３）｝／２ ＝（平均伝送遅延時間）

本実施形態において、センサシステム３が同期パケットＳｙｎｃを受信した際、パケット解析処理部２７は、図３のＰＴＰ時刻同期処理シーケンスにおける受信タイムスタンプｔ２を、パケット種別に応じた所定のタイムスタンプ記憶部２７５に格納する。ＣＰＵ２１は、所定のパケット種別（ＰＴＰパケット）に応じた所定のタイムスタンプ記憶部２７５に格納された受信タイムスタンプｔ２を用いて、ＰＴＰ時刻同期処理を実行する。

＜パケット受信および解析処理＞
図４は、各実施形態に係るカメラアダプタ２が実行する、通信パケットを受信し、受信された通信パケットを解析する各処理の処理手順の一例を示すフローチャートである。
図４に示す処理は、例えば、センサシステム３が起動された際に開始されてよいが、開始のタイミングはこれに限定されず、例えば、センタシステム３の通信機能が開始された際に開始されてもよく、ユーザがＧＵＩを介してトリガを入力してもよい。

Ｓ４１で、カメラアダプタ２のＣＰＵ２１は、レジスタ部２７６に、設定情報をセットする。具体的には、ＣＰＵ２１は、受信される通信パケットの解析結果とディスクリプタとの対応、解析結果とパケット破棄との対応、および、解析結果と格納するタイムスタンプ記憶部２７５との対応等を、レジスタ部２７６にセットする。
なお、図４では、センサシステム３が起動された後に、ＣＰＵ２１がレジスタ部２７６に設定情報をセットする例が示されているが、これに限定されない。例えば、センサシステム３の起動時に、初期設定として設定情報をレジスタ部２７６にセットしてもよい。

Ｓ４２で、カメラアダプタ２のＰＨＹ／ＭＡＣ２６は、通信パケットを受信したか否かを判定する。ＰＨＹ／ＭＡＣ２６が通信パケットを受信した場合（Ｓ４２：Ｙｅｓ）、Ｓ４３およびＳ４４へ進み、一方、ＰＨＹ／ＭＡＣ２６が通信パケットを受信しない場合（Ｓ４２：Ｎｏ）、Ｓ４２の処理を繰り返して、通信パケットの受信を待ち受ける。

Ｓ４２でＰＨＹ／ＭＡＣ２６が通信パケットを受信すると、Ｓ４３で、カメラアダプタ２のタイムスタンプ一時記憶部２７１は、ＰＨＹ／ＭＡＣ２６から供給される受信タイムスタンプを、一時的に格納する。ＰＨＹ／ＭＡＣ２６から供給される受信タイムスタンプが、タイムスタンプ一時記憶部２７１に格納されると、Ｓ４７に進む。

Ｓ４２でＰＨＹ／ＭＡＣ２６が通信パケットを受信すると、Ｓ４３の処理と並行して、Ｓ４４で、カメラアダプタ２の解析部２７２は、受信された通信パケットのＭＡＣヘッダを解析する。
具体的には、解析部２７２は、受信された通信パケットのＭＡＣヘッダ（Ｅｔｈｅｒｎｅｔヘッダ）のタイプフィールドを読み取り、受信された通信パケットのパケット種別を示すＥｔｈｅｒＴｙｐｅを判別する。
ＥｔｈｅｒＴｙｐｅとは、イーサネットフレーム中にある２オクテットのフィールドであり、フレームのペイロードにカプセル化されている上位プロトコルを示す。

例えば、ＥｔｈｅｒＴｙｐｅが、０ｘ０８００であればＩＰｖ４パケット、０ｘ８６ＤＤであればＩＰｖ６パケット、０ｘ８８Ｆ７であればＰＴＰパケットであると判別することができる。解析部２７２が受信された通信パケットのＭＡＣヘッダを解析し、ＥｔｈｅｒＴｙｐｅを判別すると、Ｓ４５およびＳ４６に進む。

Ｓ４５で、カメラアダプタ２の解析部２７２は、Ｓ４４で判別したＥｔｙｅｒＴｙｐｅに応じて、Ｓ４３でタイムスタンプ一時記憶部２６１に格納された受信タイムスタンプに対応する通信パケットのパケット種別を、解析結果記憶部２７３に格納する。解析部２７２が解析結果であるパケット種別を解析結果記憶部２７３に格納すると、Ｓ４７に進む。

Ｓ４５の処理を並行して、Ｓ４６で、カメラアダプタ２の解析部２７２は、Ｓ４４で判別されたパケット種別（ＥｔｈｅｒＴｙｐｅ）に応じて、使用すべきディスクリプタを、ＤＭＡ制御部２５へ通知する。Ｓ４４で判別されたＥｔｈｅｒＴｙｐｅと、使用すべきディスクリプタとの対応は、Ｓ４１で予めレジスタ部２７６にセットされている設定情報を参照して取得すればよい。あるいは、解析部２７２は、ＤＭＡ制御部２４へ判別されたパケット種別を通知し、ＤＭＡ制御部２５がレジスタ部２７６を参照して、通知されたパケット種別に対応するディスクリプタを取得してもよい。すなわち、解析部２７２は、ＤＭＡ制御部２５に、解析結果であるパケット種別を示す情報を通知する。解析部２７２が使用すべきディスクリプタまたはパケット種別をＤＭＡ制御部２５へ通知すると、Ｓ４８に進む。

Ｓ４３の受信タイムスタンプ格納処理およびＳ４５のパケット種別格納処理が完了すると、Ｓ４７で、カメラアダプタ２のタイムスタンプ振分部２７４は、受信タイムスタンプを複数のタイムスタンプ記憶部２７５（＃１～＃Ｎ）のいずれかに振り分ける。なお、Ｓ４７の受信タイムスタンプ振分処理の詳細は、図５を参照して後述する。
タイムスタンプ振分部２７４が受信タイムスタンプの振分処理を完了すると、Ｓ４９に進む。

Ｓ４６で解析部２７２が受信された通信パケットに使用すべきディスクリプタまたはパケット種別をＤＭＡ制御部２５へ通知すると、Ｓ４８で、カメラアダプタ２のＤＭＡ制御部２５は、通知されたディスクリプタを選択する。ＤＭＡ制御部２５は、選択されたディスクリプタに従って、受信された通信パケットを所定のメモリに転送する。Ｓ４８で受信された通信パケットが転送される所定のメモリは、図１を参照して、第１記憶部２３および第２記憶部２４のいずれかである。なお、Ｓ４８の受信パケット転送処理の詳細は、図６を参照して後述する。

Ｓ４７の受信タイムスタンプ振分処理およびＳ４８の受信パケット転送処理が完了すると、Ｓ４９で、カメラアダプタ２のＣＰＵ２１は、Ｓ４２～Ｓ４８の一連の処理を継続するか否かを判定する。例えば、外部機器との通信状態を終了させる要因が発生した場合は、処理を継続しないと判定して、図４の処理を終了し、一方、そうでなければ、Ｓ４２に戻って、Ｓ４２～Ｓ４８の処理を繰り返す。

上記のとおり、解析されたパケット種別に基づいて、Ｓ４７で受信タイムスタンプが複数のタイムスタンプ記憶部２７５のいずれかに振り分けられ、Ｓ４８で受信された通信パケットが第１記憶部２３および第２記憶部２４のいずれかに転送される。
ここで、パケット種別ごとに、受信された通信パケットと受信タイムスタンプとは対応付けられている。このため、第１記憶部２３または第２記憶部２４に転送された通信パケットを処理する複数の受信制御モジュールはそれぞれ、処理すべき通信パケットに対応した受信タイムスタンプをタイムスタンプ記憶部２７５から取得することができる。

例えば、ＣＰＵ２１は、パケット種別がＰＴＰパケットである通信パケットを第１記憶部２３から読み出すとともに、読み出したＰＴＰパケットに対応する受信タイムスタンプを、タイムスタンプ記憶部２７５から読み出せる。これにより、ＣＰＵ２１は、ＰＴＰパケットに対応する適切な受信タイムスタンプを用いて、ＰＴＰ時刻同期処理を実行することができる。
一方、映像パケット処理部２２は、パケット種別が映像パケットである通信パケットを第２記憶部２４から読み出すとともに、読み出した映像パケットに対応する受信タイムスタンプを、タイムスタンプ記憶部２７５から読み出せる。

＜受信タイムスタンプ振分処理＞
図５は、図４の受信タイムスタンプ振分処理（Ｓ４７）の詳細処理手順の一例を示すフローチャートである。
図４のＳ４３で受信タイムスタンプがタイムスタンプ一時記憶部２７１に格納され、かつＳ４５で当該受信タイムスタンプに対応する通信パケットのパケット種別が解析結果記憶部２７３に格納されると、図５のＳ４７１に進む。

Ｓ４７１で、カメラアダプタ２のタイムスタンプ振分部２７４は、解析結果記憶部２７３に格納された受信タイムスタンプに対応する通信パケットのパケット種別が映像パケットであるか否かを判定する。パケット種別が映像パケットである場合（Ｓ４７１：Ｙｅｓ）、Ｓ４７２に進み、一方、パケット種別が映像パケットでない場合（Ｓ４７１：Ｎｏ）、Ｓ４７５に進む。

パケット種別が映像パケットである場合、Ｓ４７２で、タイムスタンプ振分部２７４は、映像パケットの受信タイムスタンプを破棄するか否かを判定する。
具体的には、タイムスタンプ振分部２７４は、ＣＰＵ２１により予めレジスタ部２７６にセットされた設定情報を読み出して、タイムスタンプ振分部２７４が受信タイムスタンプを破棄するか、タイムスタンプ記憶部２７５に格納するかを判定することができる。
受信タイムスタンプを破棄すると判定された場合（Ｓ４７２：Ｙｅｓ）、Ｓ４７３に進み、一方、受信タイムスタンプを破棄しないと判定された場合（Ｓ４７２：Ｎｏ）、Ｓ４７４に進む。

Ｓ４７２で受信タイムスタンプを破棄すると判定された場合、Ｓ４７３で、タイムスタンプ振分部２７４は、映像パケットに対応する受信タイムスタンプを破棄して、図４のＳ４９に進む。
具体的には、受信タイムスタンプを破棄するため、タイムスタンプ振分部２７４は、例えば、複数のタイムスタンプ記憶部２７５のうち破棄用のタイムスタンプ記憶部２７５に破棄すべき受信タイムスタンプを書き込んでよい。あるいは、タイムスタンプ振分部２７４は、タイムスタンプ記憶部２７５とは異なる、破棄用に用意された領域に破棄すべき受信タイムスタンプを書き込んでもよいし、一時記憶された受信タイムスタンプを読み捨ててもよい。受信タイムスタンプを破棄する手法は、以下のＳ４７７およびＳ４８０ａでも同様であってよい。

一方、Ｓ４７２で受信タイムスタンプを破棄しないと判定された場合、Ｓ４７４で、タイムスタンプ振分部２７４は、映像パケットに対応する受信タイムスタンプを、映像パケット用のタイムスタンプ記憶部２６５に格納して、図４のＳ４９に進む。
具体的には、３つのタイムスタンプ記憶部２６５が用意されている場合、タイムスタンプ振分部２７４は、ＰＴＰパケットの受信タイムスタンプをタイムスタンプ記憶部＃１（２７５）に振り分ける。また、タイムスタンプ振分部２７４は、映像パケットの受信タイムスタンプをタイムスタンプ記憶部＃２（２７５）に振り分ける。同様に、タイムスタンプ振分部２７４は、ＰＴＰパケットおよび映像パケットのいずれとも異なるパケットの受信タイムスタンプをタイムスタンプ記憶部＃３（２７５）に振り分ける。

なお、パケット種別と受信タイムスタンプの記憶先との対応付けはこれに限定されない。ＣＰＵ２１が、パケット種別と当該パケット種別の受信タイムスタンプを記憶するタイムスタンプ記憶部＃Ｎ（２７５）との対応付けを、予めレジスタ部２７６に設定情報としてセットすればよい。パケット種別とタイムスタンプの記憶先とを対応付ける手法は、以下のＳ４７８およびＳ４８０ｂでも同様であってよい。

Ｓ４７１に戻り、パケット種別が映像パケットでない場合、Ｓ４７５で、タイムスタンプ振分部２７４は、解析結果記憶部２７３に格納された受信タイムスタンプに対応する通信パケットのパケット種別がＰＴＰパケットであるか否かを判定する。パケット種別がＰＴＰパケットである場合（Ｓ４７５：Ｙｅｓ）、Ｓ４７６に進み、一方、パケット種別がＰＴＰパケットでない場合（Ｓ４７５：Ｎｏ）、Ｓ４７９に進む。

パケット種別がＰＴＰパケットである場合、Ｓ４７６で、タイムスタンプ振分部２７４は、ＰＴＰパケットの受信タイムスタンプを破棄するか否かを判定する。
具体的には、タイムスタンプ振分部２７４は、ＣＰＵ２１により予めレジスタ部２７６にセットされた設定情報を読み出して、タイムスタンプ振分部２７４が受信タイムスタンプを破棄するか、タイムスタンプ記憶部２７５に格納するかを判定することができる。
受信タイムスタンプを破棄すると判定された場合（Ｓ４７６：Ｙｅｓ）、Ｓ４７７に進み、一方、受信タイムスタンプを破棄しないと判定された場合（Ｓ４７６：Ｎｏ）、Ｓ４７８に進む。

Ｓ４７６で受信タイムスタンプを破棄すると判定された場合、Ｓ４７７で、タイムスタンプ振分部２７４は、ＰＴＰパケットに対応する受信タイムスタンプを破棄して、図４のＳ４９に進む。
一方、Ｓ４７６で受信タイムスタンプを破棄しないと判定された場合、Ｓ４７８で、タイムスタンプ振分部２７４は、映像パケットに対応する受信タイムスタンプを、ＰＴＰパケット用のタイムスタンプ記憶部２７５に格納して、図４のＳ４９に進む。

Ｓ４７５に戻り、パケット種別が映像パケットでもＰＴＰパケットでもない場合、Ｓ４７９で、タイムスタンプ振分部２７４は、その他のパケット種別の通信パケットの受信タイムスタンプを破棄するか否かを判定する。
具体的には、タイムスタンプ振分部２７４は、ＣＰＵ２１により予めレジスタ部２７６にセットされた設定情報を読み出して、タイムスタンプ振分部２７４が受信タイムスタンプを破棄するか、タイムスタンプ記憶部２７５に格納するかを判定することができる。
受信タイムスタンプを破棄すると判定された場合（Ｓ４７９：Ｙｅｓ）、Ｓ４８０ａに進み、一方、受信タイムスタンプを破棄しないと判定された場合（Ｓ４７９：Ｎｏ）、Ｓ４８０ｂに進む。

Ｓ４７９で受信タイムスタンプを破棄すると判定された場合、Ｓ４８０ａで、タイムスタンプ振分部２７４は、その他のパケット種別の通信パケットに対応する受信タイムスタンプを破棄して、図４のＳ４９に進む。
一方、Ｓ４７９で受信タイムスタンプを破棄しないと判定された場合、Ｓ４８０ｂで、タイムスタンプ振分部２７４は、その他のパケット種別の通信パケットに対応する受信タイムスタンプを、所定のタイムスタンプ記憶部２７５に格納して、図４のＳ４９に進む。

＜受信パケット振分処理＞
図６は、図４の受信パケット振分処理（Ｓ４８）の詳細処理手順の一例を示すフローチャートである。
図４のＳ４６で解析部２７２により判別されたパケット種別（ＥｔｈｅｒＴｙｐｅ）に応じて、解析部２６２がＤＭＡ制御部２５に使用すべきディスクリプタまたはパケット種別を通知すると、図６のＳ４８１に進む。

Ｓ４８１で、カメラアダプタ２のＤＭＡ制御部２５は、解析部２７２から通知された通知内容が映像パケット用ディスクリプタであることを示しているか否かを判定する。解析部２７２からの通知内容が映像パケット用ディスクリプタを示している場合（Ｓ４８１：Ｙｅｓ）、Ｓ４８２に進み、一方、解析部２７２からの通知内容が映像パケット用ディスクリプタを示してない場合（Ｓ４８１：Ｎｏ）、Ｓ４８３に進む。

Ｓ４８１で通知内容が映像パケット用ディスクリプタを示している場合、Ｓ４８２で、ＤＭＡ制御部２５は、映像パケット用ディスクリプタを選択し、映像パケットに対応する所定の記憶部に映像パケットをＤＭＡ転送して、図４のＳ４９に進む。
一方、Ｓ４８１で通知内容が映像パケット用ディスクリプタを示していない場合、Ｓ４８３で、ＤＭＡ制御部は、解析部２７２から通知された通知内容がＰＴＰパケット用ディスクリプタを示しているか否かを判定する。解析部２７２からの通知内容がＰＴＰパケット用ディスクリプタを示している場合（Ｓ４８３：Ｙｅｓ）、Ｓ４８４に進み、一方、解析部２７２からの通知内容がＰＴＰパケット用ディスクリプタを示していない場合（Ｓ４８３：Ｎｏ）、Ｓ４８５に進む。

Ｓ４８３で通知内容がＰＴＰパケット用ディスクリプタを示している場合、Ｓ４８４で、ＤＭＡ制御部２５は、ＰＴＰパケット用ディスクリプタを選択し、ＰＴＰパケットに対応する所定の記憶部にＰＴＰパケットをＤＭＡ転送して、図４のＳ４９に進む。
一方、Ｓ４８３で通知内容がＰＴＰパケット用ディスクリプタを示していない場合、Ｓ４８５で、ＤＭＡ制御部２５は、映像パケットおよびＰＴＰパケットのいずれとも異なる通信パケット用のディスクリプタを選択する。そして、ＤＭＡ制御部２５は、当該通信パケットのパケット種別に対応する所定の記憶部に通信パケットをＤＭＡ転送して、図４のＳ４９に進む。

＜センサシステム３におけるＰＴＰ時刻同期処理＞
図７は、センサシステム３が、タイムスタンプ振分部２７４により振り分けられたＰＴＰパケット（同期パケット）の受信タイムスタンプを用いて、タイムサーバとの間で実行するＰＴＰ時刻同期処理の処理手順の一例を示すフローチャートである。
図７を参照して、同期撮像システム１０において、タイムサーバ４がＰＴＰマスタ装置（ＧＭＣマスタ装置）として、センサシステム３がＰＴＰスレーブ装置として動作する例を説明する。センサシステム３における同期パケットの送受信処理およびＰＴＰ時刻同期処理は、カメラアダプタ２のＣＰＵ２１により実行されてよいが、これに限定されない。 同期パケットの送受信処理およびＰＴＰ時刻同期処理は、センサシステム３を構成するカメラ１や他の機器のＣＰＵにより実行されてもよく、これらの処理の一部または全部をハードウエアにオフロードしてもよい。

Ｓ７１で、センサシステム３のカメラアダプタ２のＣＰＵ２１は、タイムサーバ４から同期パケットＳｙｎｃ、Ｆｏｌｌｏｗ＿Ｕｐを受信したか否かを判定する。同期パケットＳｙｎｃ、Ｆｏｌｌｏｗ＿ｕｐを受信した場合（Ｓ７１：Ｙｅｓ）、Ｓ７２およびＳ７３に進み、一方、これら同期パケットを受信しない場合（Ｓ７１：Ｎｏ）、Ｓ７１に戻ってこれら同期パケットの受信を待ち受ける。

Ｓ７１で同期パケットＳｙｎｃ、Ｆｏｌｌｏｗ＿ｕｐを受信した場合、Ｓ７２で、ＣＰＵ２１は、同期パケットＳｙｎｃ、Ｆｏｌｌｏｗ＿uｐのタイムスタンプ情報をそれぞれ取得する。
具体的には、ＰＨＹ／ＭＡＣ２６が同期パケットＳｙｎｃを受信すると、パケット解析処理部２７（タイムスタンプ振分部２７４）は、同期パケットＳｙｎｃの受信タイムスタンプｔ２を、ＰＴＰパケット用の所定のタイムスタンプ記憶部２７５に格納する。
そして、ＤＭＡ制御部２５が、同期パケットＳｙｎｃを所定の記憶部（第１記憶部２３）にＤＭＡ転送完了すると、ＤＭＡ制御部２５はＣＰＵ２１に完了割り込み２０１を通知する。完了割り込み２０１を受信したＣＰＵ２１は、ＰＴＰパケット用の所定のタイムスタンプ記憶部２７５に格納された受信タイムスタンプｔ２を取得する。

一方、タイムサーバ４は、同期パケットＳｙｎｃを送信した送信タイムスタンプｔ１を、同期パケットＦｏｌｌｏｗ＿ｕｐに載せてセンサシステム３に送信する。センサシステム３のカメラアダプタ２のＰＨＹ／ＭＡＣ２６は、同期パケットＦｏｌｌｏｗ＿ｕｐを受信し、ＤＭＡ制御部２５は、受信された同期パケットＦｏｌｌｏｗ＿ｕｐを所定の記憶部（第１記憶部２３）にＤＭＡ転送し、ＣＰＵ２１に完了割り込み２０１を通知する。完了割り込み２０１を受信したＣＰＵ２１は、所定の記憶部にＤＭＡ転送された同期パケットＦｏｌｌｏｗ＿ｕｐ中から、タイムサーバ４が同期パケットＳｙｎｃを送信した送信タイムスタンプｔ１を取得する。

Ｓ７１に戻り、同期パケットＳｙｎｃ、Ｆｏｌｌｏｗ＿ｕｐを受信した場合、Ｓ７２の処理と並行して、Ｓ７３で、ＣＰＵ２１は、同期パケットＤｅｌａｙ＿ｒｅｑｕｅｓｔを生成する。ＣＰＵ２１は、生成された同期パケットＤｅｌａｙ＿ｒｅｑｕｅｓｔをタイムサーバ４に送信する。
ここで、ＣＰＵ２１は、同期パケットＤｅｌａｙ＿ｒｅｑｕｅｓｔを送信した送信タイムスタンプｔ３を取得する。

Ｓ７４で、ＣＰＵ２１は、タイムサーバ４から同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅを受信したか否かを判定する。同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅを受信した場合（Ｓ７４：Ｙｅｓ）、Ｓ７６に進む。一方、同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅを受信しない場合（Ｓ７４：Ｎｏ）、Ｓ７５に進む。
Ｓ７５で、ＣＰＵ２１は、一定時間が経過するまで（Ｓ７５：Ｎｏ）、Ｓ７４に戻ってタイムサーバ４からの同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅの受信を待ち受け、一定時間が経過すると（Ｓ７５：Ｙｅｓ）、Ｓ７１に戻る。

Ｓ７４に戻り、タイムサーバ４から同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅを受信すると、ＣＰＵ２１は、同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅのタイムスタンプ情報を取得する。
具体的には、ＰＨＹ／ＭＡＣ２６が同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅを受信し、ＤＭＡ制御部２５は、同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅを所定の記憶部（第１記憶部２３）にＤＭＡ転送する。同期パケットＤｅｌａｙ＿ｒｅｓｐｏｎｓｅのＤＭＡ転送が完了すると、ＤＭＡ制御部２５は、ＣＰＵ２１に完了割り込み２０１を通知する。完了割り込み２０１を受信したＣＰＵ２１は、所定の記憶部にＤＭＡ転送された同期パケットＤｅｌａｙ＿ｒｅｓｐｏｓｅ中から、タイムサーバ４が同期パケットＤｅｌａｙ＿ｒｅｑｕｅｓｔを受信した受信タイムスタンプｔ４を取得する。

Ｓ７２～Ｓ７６の処理が実行されると、Ｓ７７で、ＣＰＵ２１は、ＣＰＵ２１が取得したタイムスタンプ情報ｔ１～ｔ４を用いて、タイムサーバ４の時刻とセンサシステム３の時刻との時刻差を計算して、センサシステム３の時刻を補正する補正量を決定する。
Ｓ７８で、ＣＰＵ２１は、Ｓ７７で決定された補正量に基づいて、センサシステム３の時刻を補正する。この時刻補正処理が完了することで、センサシステム３はタイムサーバ４と時刻同期する。
ここで、一度に補正する量が大きい場合、センサシステム３全体の動作が不安定になりかねない。そのため、時刻補正は、一定時間をかけて段階的に補正してもよく、あるいは一度に補正する量に制限をかけてもよい。

Ｓ７９で、ＣＰＵ２１は、センサシステム３が継続して稼働し続けるか否かを判定する。例えば、制御端末６が、センサシステム３ａ、３ｂ、・・・、３ｚの全体の同期撮像処理を停止する場合、あるいは、センサシステム３ａ、３ｂ、・・・、３ｚのうち指定されたセンサシステムのみ同期撮像処理を停止する場合などである。
センサシステム３の稼働を継続する場合（Ｓ７９：Ｙｅｓ）、Ｓ７１に戻って、Ｓ７１～Ｓ７８までの処理を繰り返し、一方、センサシステム３の稼働を継続しない場合（Ｓ７９：Ｎｏ）、処理を終了する。

以上説明したように、本実施形態によれば、通信装置は、通信パケットを受信し、受信された通信パケットの受信タイムスタンプを取得するとともに、受信された通信パケットを解析して、通信パケットのパケット種別を判定する。さらに、通信装置は、判定されたパケット種別に基づいて、通信パケットを所定の記憶部へ転送するとともに、判定されたパケット種別を取得された受信タイムスタンプに対応付けて記憶する。

これにより、通信装置において、受信パケットと受信タイムスタンプとが分離して出力され、かつ受信パケットの種別に応じて異なるモジュールで受信処理を実行する場合であっても、受信パケットと受信タイムスタンプとを対応付けることができる。したがって、適切な受信タイムスタンプを用いて他の通信装置との時刻同期を実行することができる。したがって、本実施形態は、複数の通信装置間での時刻同期処理の精度向上に資する。

（実施形態２）
以下、本発明の実施形態２を、実施形態１と異なる点につき説明する。
上記実施形態１では、タイムスタンプ振分部２７４が、解析結果記憶部２７３に格納されたパケット種別の解析結果に基づいて、タイムスタンプ一時記憶部２７１に格納された受信タイムスタンプを、複数のタイムスタンプ記憶部２７５のいずれかに振り分けた。
実施形態２では、受信タイムスタンプにパケット種別の解析結果を付与して、１つのタイムスタンプ記憶部２７５に格納する例を説明する。

実施形態２に係るカメラアダプタ２（通信装置）のハードウエアおよび機能構成は、図２に示される実施形態１と同様である。ただし、実施形態２において、１つのタイムスタンプ記憶部２７５が使用されればよいため、タイムスタンプ記憶部２７５は１つであっても、複数設けられてもよいが、以下ではタイムスタンプ記憶部２７５が複数設けられる例を説明する。

図８は、実施形態２における図４の受信タイムスタンプ振分処理（Ｓ４７）の詳細処理手順の一例を示すフローチャートである。
図４のＳ４３で、受信された通信パケットの受信タイムスタンプが、タイムスタンプ一時記憶部２７１に格納され、Ｓ４５で、受信スタンプに対応するパケット種別が解析結果記憶部２７３に格納されると、図８に示す処理が開始される。

図８を参照して、Ｓ４７１～Ｓ４７３の処理は、図５に示す実施形態１のＳ４７１～Ｓ４７３の処理と同様である。
Ｓ４７２で、タイムスタンプ振分部２７４が映像パケットの受信タイムスタンプを破棄しないと判定すると（Ｓ４７２：Ｎｏ）、Ｓ４７４ｂに進む。
Ｓ４７４ｂで、タイムスタンプ振分処理部２７４は、映像パケットのパケット種別の解析結果を受信タイムスタンプに付加して、タイムスタンプ記憶部２７５のうちの１つに格納する。

例えば、タイムスタンプ振分部２７４は、上位ビットにパケット種の解析結果を、下位ビットに受信タイムスタンプを記述して、１つのタイムスタンプ情報のエントリーに纏める。ＣＰＵ２１は、タイムスタンプ記憶部２７５から受信タイムスタンプを読み出す際、パケット種別の解析結果と受信タイムスタンプとを同時に読み取ることができ、読み出した受信タイムスタンプがどのパケット種別であるかを判定することができる。

なお、上記では、１つのタイムスタンプ記憶部２７５を使用する例を説明したが、これに限定されない。例えば、受信タイムスタンプをさらに上位ビットと下位ビットとに分割して、異なるタイムスタンプ記憶部２７５に格納してもよい。例えば、タイムスタンプ記憶部＃１（２７５）に、解析結果+受信タイムスタンプ（上位ビット）を、タイムスタンプ記憶部＃２（２７５）に解析結果+受信タイムスタンプ（下位ビット）を、それぞれ格納してもよい。

以降、Ｓ４７５～Ｓ４７７の処理、およびＳ４７９～Ｓ４８０ａの処理は、図５に示す実施形態１のＳ４７５～Ｓ４７７の処理、およびＳ４７９～Ｓ４８０ａの処理とそれぞれ同様である。
図８を参照して、Ｓ４７４ｂと同様、Ｓ４７８ｂで、タイムスタンプ振分処理部２７４は、ＰＴＰパケットのパケット種別の解析結果を受信タイムスタンプに付加して、タイムスタンプ記憶部２７５のうちの１つに格納する。
また、Ｓ４７４ｂと同様、Ｓ４８０ｃで、タイムスタンプ振分処理部２７４は、映像パケットおよびＰＴＰパケット以外の所定のパケット種別の解析結果を受信タイムスタンプに付加して、タイムスタンプ記憶部２７５のうちの１つに格納する。

以上説明したように、本実施形態によれば、カメラアダプタ２のタイムスタンプ振分部２７４は、パケット種別を受信タイムスタンプに付加して１つのタイムスタンプ記憶部２７５に格納する。このため、本実施形態に係るセンサシステム３は、受信タイムスタンプを、複数のタイムスタンプ記憶部２７５のいずれかに振り分けることなく、適切な受信タイムスタンプを用いてＰＴＰ時刻同期処理を実行することができる。

＜他の実施形態＞
なお、上述した各実施形態は、その複数を組み合わせて実現することが可能である。
また、本発明は、上述の実施形態の一部または１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１…カメラ、２…カメラアダプタ、３…センサシステム、４…タイムサーバ、１０…同期撮像システム、１１…ＧＮＳＳ、２１…ＣＰＵ、２２…映像パケット処理部…２３…第１記憶部、２４…第２記憶部、２５…ＤＭＡ制御部、２６…ＰＨＹ／ＭＡＣ、２７…パケット解析処理部、２８…システムバス、２７１…タイムスタンプ一時記憶部、２７２…解析部、２７３…解析結果記憶部、２７４…タイムスタンプ振分部、２７５タイムスタンプ記憶部、２７６…レジスタ部

Claims (12)

1. 通信パケットを受信する受信手段と、
   前記受信手段により受信された前記通信パケットを所定のメモリに転送する転送手段と、
   前記通信パケットが前記受信手段により受信されたタイムスタンプを取得する取得手段と、
   前記受信手段により受信された前記通信パケットの種別を解析する解析手段と、
   前記解析手段により解析された前記通信パケットの種別を示す情報を、前記転送手段に通知するとともに、前記取得手段により取得された前記タイムスタンプに対応付けるよう制御する制御手段と、
   を備えることを特徴とする通信装置。
2. 前記タイムスタンプをそれぞれ記憶する複数の記憶手段をさらに備え、
   前記制御手段は、前記通信パケットの種別に基づいて、前記タイムスタンプを前記複数の記憶手段のいずれかに振り分ける
   ことを特徴とする請求項１に記載の通信装置。
3. 前記転送手段は、前記制御手段から通知される前記通信パケットの種別を示す情報に基づいて、前記通信パケットをＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送するために使用するディスクリプタを選択する
   ことを特徴とする請求項１または２に記載の通信装置。
4. 前記転送手段は、前記制御手段から通知される前記通信パケットの種別を示す情報に基づいて、前記通信パケットを処理すべきモジュールに対応するメモリを選択し、選択されたメモリに前記通信パケットを転送する
   ことを特徴とする請求項１から３のいずれか１項に記載の通信装置。
5. 前記制御手段は、前記通信パケットの種別に基づいて、前記タイムスタンプを破棄するか、あるいは前記タイムスタンプを前記通信パケットの種別に対応付けて記憶手段に格納するかを判定する
   ことを特徴とする請求項１から４のいずれか１項に記載の通信装置。
6. 前記解析手段により解析された前記通信パケットの種別を一時記憶する第１の一時記憶手段と、
   前記取得手段により取得された前記タイムスタンプを一時記憶する第２の一時記憶手段とをさらに備え、
   前記制御手段は、前記第１の一時記憶手段から読み出した前記通信パケットの種別を、前記第２の一時記憶手段から読み出した前記タイムスタンプに対応付ける
   ことを特徴とする請求項１から５のいずれか１項に記載の通信装置。
7. 前記制御手段は、前記通信パケットの種別を、前記タイムスタンプに付与し、前記通信パケットの種別が付与された前記タイムスタンプを記憶手段に格納する
   ことを特徴とする請求項１に記載の通信装置。
8. 前記転送手段により前記所定のメモリに転送された同期パケットを読み出し、かつ読み出された前記同期パケットに対応付けられた前記タイムスタンプを取得することにより、時刻同期処理を実行する同期手段をさらに備える
   ことを特徴とする請求項１から７のいずれか１項に記載の通信装置。
9. 前記同期手段は、ＩＥＥＥ１５８８規格に準拠するＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）により、前記時刻同期処理を実行する
   ことを特徴とする請求項８に記載の通信装置。
10. 前記解析手段は、前記受信手段により受信された前記通信パケットのＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）ヘッダに記述されるＥｔｈｅｒＴｙｐｅを参照することにより、前記通信パケットの種別を解析する
    ことを特徴とする請求項１から９のいずれか１項に記載の通信装置。
11. 通信パケットを受信する通信装置の制御方法であって、
    前記通信パケットを受信するステップと、
    前記通信パケットが受信されたタイムスタンプを取得するステップと、
    受信された前記通信パケットの種別を解析するステップと、
    解析された前記通信パケットの種別を示す情報に基づいて、受信された前記通信パケットを所定のメモリに転送するステップと、
    解析された前記通信パケットの種別を、取得された前記タイムスタンプに対応付けるステップと、
    を含むことを特徴とする制御方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の通信装置の各手段として機能させるためのプログラム。

Images