JP2009253987A - カメラシステムを同期するための方法および装置 - Google Patents

カメラシステムを同期するための方法および装置 Download PDF

Info

Publication number
JP2009253987A
JP2009253987A JP2009093981A JP2009093981A JP2009253987A JP 2009253987 A JP2009253987 A JP 2009253987A JP 2009093981 A JP2009093981 A JP 2009093981A JP 2009093981 A JP2009093981 A JP 2009093981A JP 2009253987 A JP2009253987 A JP 2009253987A
Authority
JP
Japan
Prior art keywords
image capture
image
signal
time
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009093981A
Other languages
English (en)
Inventor
Joachim Ihlefeld
イレフェルド ヨアヒム
Carsten Kunze
クンツェ カーステン
Thomas Oelschlaeger
オエルシュラエゲル トーマス
Frank Raedisch
ラエディシュ フランク
Dietmar Scharf
シャルフ ディートメー
Oliver Vietze
ヴィツェ オリヴァー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baumer Optronic GmbH
Original Assignee
Baumer Optronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baumer Optronic GmbH filed Critical Baumer Optronic GmbH
Publication of JP2009253987A publication Critical patent/JP2009253987A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】カメラによる画像キャプチャを同期するための方法および装置を提供すること。
【解決手段】この目的のために、二重通信可能ネットワークが提供される。ネットワークの中で、第1のタイプの論理チャネルを有する1つまたは複数のハードウェア支援同期モジュールが提供され、1つまたは複数の同期モジュールが、画像センサのキャプチャ時間を制御する画像キャプチャ信号を、論理チャネルを介して送信し、画像キャプチャ信号が画像キャプチャ装置によって受信され、画像キャプチャ装置がそれぞれ、画像キャプチャ信号の受信に対する応答として画像をキャプチャし、次いで、画像データが第2のタイプの論理チャネルを介して画像キャプチャ装置によってネットワークを介して送信される。
【選択図】図1

Description

本発明は、カメラによる画像キャプチャを同期するための方法および装置に関する。
自動画像処理では、カメラ、周辺センサ、およびコンピュータの複雑なシステムへのネットワーク接続は、ますます重要な役割を果たしている。通信は標準化されたネットワークを介して行われ、そのうち最もよく知られているネットワークは、ファイアワイヤIEEE1394およびイーサネット(登録商標)IEEE802.3である。カメラを接続するためには、他の規格が利用可能であり、そのうち最もよく知られている規格は、AIA(自動画像処理協会)によって発表されたDCAMおよびGigE−Vision(登録商標)規格である。
画像送信のための高帯域幅を提供すること以外に、カメラ、照明ユニット、および他のセンサの厳密な時間同期は、高性能のための基本的な必要条件である。
欧州特許第1793574号には、通信の分野で使用されることができる通信方法が一例として記載されており、この例では、トリガ・サーバによって、外部信号がネットワーク内でブロードキャスト・コールによって、定義された加入者回路に送信され、この信号がこの加入者回線によって確認応答され、次いで、接続がセットアップされる。しかし、前述の方法は、高速の応答時間には適しない。
産業用コントローラに関しては、IEEE1588に関連して相互に同期されるローカル・リアルタイム・クロック(RTC)を使用するネットワークのための同期方法が、この場合のように、例えば、欧州特許第1484869号および欧州特許第1860520号に記載されている。動作中、トリガ信号が、十分に長いリードタイムと共に、および所望のトリガ時間に関する情報と共にノードに送信される。この方法は、システム内に十分な数のRTCを必要とし、さらに、適切に速いプロトコルの使用を必要とする。
特に厳格な時間必要条件を有するシステムでは、固定データフォーマットでのギャップのないデータパケットの連続的送信のために、特別の予防策―例えば、キャッシュ・コントローラ―によって時間関連情報において特に低いジッタを達成する解決策が記載されている、例えば、欧州特許第1702245号。次いで、時間的に正確に送信されたデータパケットが受信側でハードウェアを用いて評価される。これらの解決策の不利な点は、1つの送信チャネルが絶えずビジーなので、柔軟性が低いことである。
欧州特許第1 554 839から、リアルタイムモードおよび非リアルタイムモードでデータを交換し、リアルタイムで2つの動作モードの時間分布を算出し適応するシステム設計がさらに知られている。しかし、これは、バス加入者の予め知られている振る舞いを必要とする。
欧州特許第1793574号 欧州特許第1484869号 欧州特許第1860520号 欧州特許第1702245号 欧州特許第1 554 839号
本発明の課題は、ネットワークにおける画像処理システムの同期のために、前述の不利な点を回避し、トリガ・イベントに対する速い応答と、知られていない長さの大データ量の最適化された送信との両方を可能にする、適切なアーキテクチャを提案することにある。
この課題は、独立請求項の主題によって解決される。本発明の有利な実施形態および洗練形態が、対応する従属請求項で詳述される。
本発明の課題は、2つの二重通信可能チャネル、つまり、
− 短いテレグラムのための短い応答時間のために最適化された論理制御チャネル
− 高データスループットのために最適化された論理チャネルであって、制御チャネルがプロキシとして実施され、ハードウェアによってリアルタイムで制御され、データチャネルが、データスループットのために最適化された一定のフォーマットまたは可変フォーマット、例えばジャンボフレームを使用する、論理データチャネル
が、画像処理タスクのためにネットワーク内で指定された装置に平行して提供されることで解決される。
画像処理システムは、一般に、比較的短く、時間に厳密な制御情報、例えば、パルス照明装置の使用のために同時に照明もアクティブにする画像のためのスタートパルス(露出時間の開始のためのトリガ)を必要とする。この場合、特にマルチカメラシステムでは、トリガが定義された時間許容範囲内に送信されることが重要である。正確な許容範囲は、実現されるべきアプリケーションに依存する。一般に、相互に関するカメラおよび照明装置のトリガ信号間の時間ジッタは、全ての信号、例えばSPSの共通の開始信号のための一様なオフセットよりクリティカルである。このようにして、同期モジュールがブロードキャスト信号をローカルに、例えばスイッチによって、グループに属する装置に送信する場合、特に有利なアーキテクチャが生成され、各装置は、同一の時間条件下でハードウェアを用いてこの信号を評価する。時間許容範囲は、全ての装置に対してほぼ等しく、典型的な画像処理アルゴリズムを用いて処理されることができるオフセットを含む。
より大きなネットワークでは、同期モジュールとカメラとの間の遅延時間が動作中に逸脱する可能性があるので、この遅延時間をモニタすることが有用である。この目的のために、典型的な遅延およびそれらのバリアンスが算出され、記憶され、次いで、誤りおよび例外処理によって評価される。
画像メモリからのデータ送信、または―必要な場合は―照明を切ることを含む他のプロセスは、内部ステートマシンによってトリガされ、したがって、一般に、追加の信号を必要としない。
送信されるべきデータ量は、カメラの選択された動作モードに、そしてまた画像前処理ユニットの使用のための画像コンテンツにも依存する。この情報は、制御コンピュータ(ホスト)にアプリオリには知られない。したがって、一般に、ホストからカメラの送信を計画し、次いで時間的に正確に制御することは不可能である。この目的のために、送信の定義された中断を可能にして、残っている送信されなかったデータを廃棄するか、またはそれを後で画像メモリから送信するか選択することができるようにすることが有利である。
前述の説明によれば、一般に、本発明は、ネットワークの中で、第1のタイプの論理チャネルを有する1つまたは複数のハードウェアによってサポートされた同期モジュールが使用される二重通信可能ネットワークによって、カメラシステムを同期するための、またはカメラによる画像キャプチャを同期するための方法であって、1つまたは複数の同期モジュールが画像キャプチャ信号を、論理チャネルを介して、特にトリガ・テレグラムの形で送信する、方法を提供する。この場合、トリガ・テレグラムは、画像センサのためのキャプチャ時間を制御し、ネットワークに接続された画像キャプチャ装置によって受信される。次いで、画像キャプチャ信号の受信に応答して、画像キャプチャ装置がそれぞれ、少なくとも1つの画像をキャプチャする。次いで、画像データが、このデータをさらに処理することができるように、画像キャプチャ装置によってネットワークを介して第2のタイプの論理チャネルを介して送信される。
本発明による方法を実行するために、いくつかの画像キャプチャ装置を有するネットワーク接続されたカメラシステムもしかるべく提供される。このカメラシステムは、二重通信可能ネットワークおよび第1のタイプの論理チャネルを有する二重通信可能ネットワークに接続された1つまたは複数のハードウェア支援同期モジュールを有し、1つまたは複数の同期モジュールは、第1のタイプの論理チャネルを介して画像キャプチャ装置の画像センサの画像キャプチャ時間を制御する画像キャプチャ信号を送信するように設計され、画像キャプチャ信号は、画像キャプチャ装置によって受信され、画像キャプチャ装置は、画像キャプチャ信号の受信に対する応答として画像をキャプチャし、次いで、画像キャプチャ装置は、キャプチャされた画像データを、ネットワークを介して第2のタイプの論理チャネルを介して送信するように設計される。
外部スイッチング信号はそれぞれ、1つまたは複数の同期モジュールの1つまたは複数のトリガ入力または出力によって受信または送信されることができる。同期モジュールによって出力されたスイッチング信号は、カメラをトリガするために、そしてまたフラッシュまたは一般に照明装置をトリガするためにも使用されることができる。このようにして、ネットワークを介しての伝搬におけるより少ないジッタ、または一般に、異なるカメラのキャプチャ間の最小時間差が等化されることができるので、いくつかのカメラを用いて本発明によって実現される同期されたキャプチャは、外部スイッチング信号によってトリガされる1つまたは複数のフラッシュによる照明に関連して特に有利である。
同様に、トリガ信号は、同期モジュールのトリガ入力に入力されることができ、次いで、同期モジュールは、このトリガ信号に応答して、ネットワークを介して少なくとも1つの画像キャプチャ信号を送信する。上記で名づけられたトリガ入力、およびトリガ出力は両方とも、具体的には、したがって二重通信可能ネットワーク上の端末ではない外部または追加の端末でもよい。
したがって、1つまたは複数のカメラは、イベント制御方式でトリガされる。例えば、イベントとして、キャプチャされるべき物体によって光線が遮られた場合、トリガ信号が光電バリヤによってトリガされることができる。トリガ信号が同期モジュールの外部トリガ入力に入力され、次いで、同期モジュールが第1の論理チャネルを介してトリガ・テレグラムを送信する。次いで、トリガ・テレグラムが、ネットワークに接続された1つまたは複数のカメラ内の画像キャプチャをトリガする。
これは、同期モジュールおよびカメラがデータ方向ごとに異なる優先順位を有する2つの論理チャネルを有する場合、遅延のないまたは少なくとも遅延の小さいカメラの制御に関して特に有利である。
2つの論理チャネルのうちの第1のものは、同期信号に関して第1優先順位を有し、2つの論理チャネルのうちの第2のチャネルは、画像データの送信に関して第2優先順位を有する。したがって、第1優先順位を有するチャネルは、第1のチャネルがリアルタイム機能を有するように、特に第2優先順位を有する第2のチャネルの送信が遅延なしに中断されることができるように、いつでも即時の情報送信を保証することができる。対照的に、第2のチャネルは、有利には、物理媒体のチャネル容量の可能性に対応する高データ伝送速度を提供され、このチャネルがリアルタイム機能を有しないように、第1優先順位を有する同期情報送信のためにいつでも中断されることができる。
具体的には、より複雑なネットワーク・アーキテクチャでは、これは、システムの同期モジュールが、異なる同期モジュール間の1つまたは複数の伝搬時間または遅延、および/またはそれらのバリアンスが格納されるメモリを備える場合有利であり得、これらの伝搬時間に関する情報を用いて画像キャプチャの遅延が計算装置によって算出または送信される。異なるカメラへの伝播時間がそれぞれ異なる場合、これは、画像キャプチャのためにカメラによって、および/またはネットワークを介して画像キャプチャ信号またはトリガ・テレグラムの送信時間のために同期モジュールによって、考慮に入れられることができる。
本発明のこの実施形態の洗練形態では、遅延行列は、測定されたポイント・ツー・ポイント接続の典型的な遅延時間から形成されることができ、この行列は、トリガ信号の出現後カメラによるキャプチャのための最適のジッタまたはできる限り小さい時間差を保証する遅延が選択されることができるように、任意のトリガ・ソースとカメラとの間の遅延を記述する。
さらに、同期モジュールはまた、ホストと同期モジュールとの間の遅延を考慮してホストのハートビートを提供するリアルタイム・クロックまたはカウンタを部分的にまたは完全に備えることができる。送信同期モジュールの時間を表す測定されたクロック時間または同等のデータをトリガ信号で送信するための機会が現れる。次いで、時間信号が、例えばオフセットの追加によって、受信機で評価されることができる。次いで、キャプチャが、算出された時間オフセットの後でだけトリガされる。
例えば、遅延はまた、特に、高く不安定な遅延時間を有するクリティカルなネットワークでは、いくつかのそのようなイベントを平均することにより、確認応答の送信と受信との間の平均時間差の半分を参照して簡単なやり方で算出されることができる。
特に、より複雑なネットワーク・アーキテクチャでは、これは、リアルタイム・クリティカルなカメラ制御信号またはトリガ信号が、ネットワークを介して、カメラにではなく、トリガ装置としての同期モジュールに間接的に送信され、そこで優先順位に従ってフィルタリングされ、次いで、カメラまたはカメラの選択グループに転送される場合は、さらに有利である。
本発明の他の洗練形態によれば、1つまたは複数のカメラは、有利にはリアルタイム・クリティカルな制御信号として、新規画像キャプチャのための準備ができていること、またはネットワークを介しての同期モジュールへの画像データ送信が終了したことを送信するように設計されることもできる。この信号を参照して、同期モジュールは、カメラによる画像データの送信を中断する必要なしに遅延のない画像キャプチャが今可能であることを認識することができる。本発明のこの実施形態は、同時の画像キャプチャが優先であり、画像キャプチャの絶対時間がより低い優先順位である場合に、特に有利である。
さらに、これは、同期モジュールが、画像送信を中断するための信号、および/またはこのカメラの画像メモリからの中断された画像の一部分の送信を繰り返すための別の信号をカメラに送信するように形成される場合は、有利であり得る。次いで、画像送信を中断するための別個の信号が、第1の論理チャネルを介してのトリガ信号または画像キャプチャ信号の送信のすぐ前に送信されることができる。これは、画像キャプチャ信号の送信中のネットワーク・トラフィックを低減し、したがってデータ損失のリスクをも低減する。
本発明は、以下で、諸実施形態を使用して、添付の図面を参照しながら、より詳細に説明される。この場合、異なる図における同一の参照数字は、同一の要素または対応する要素を表す。
ネットワーク接続されたカメラシステムの第1の実施形態の概略図である。 トリガ・シーケンスの流れ図である。 リアルタイム確認応答シーケンスの流れ図である。 同期モジュールがメモリを備えるシステムの実施形態の図である。 ネットワーク構成要素間の遅延時間およびジッタが画像キャプチャ時間のために考慮に入れられる実施形態の図である。 リアルタイム・クロックの同期の概略図である。 ネットワーク接続されたカメラシステムの要素に関連する制御データ再ルーティングの原理の図である。
実施形態1
図1は、一例として、カメラ・ネットワークの典型的な実現形態を示す。以下では、イーサネット(登録商標)では典型的である呼称が選択されている。しかし、この実施形態は、他の二重通信可能ネットワーク(IEEE1394など)にしかるべく適用されることができることは当業者には明らかである。
スイッチおよびハブ
イーサネット・ハブは、イーサネット装置を接続するための非インテリジェント・マルチパート・リピータである。ハブは、パケットが格納も中継もされないので、非常に高速である。ハブを用いた場合、これは「共用」イーサネット(登録商標)のことであり、すなわち、単一の時点では厳密に1つの装置しか送信することができず、この時間の間中、他の装置は全て待機しなければならない。伝搬時間は、低負荷を有するネットワークででも、もはや予測不可能である。この理由から、ハブは、ネットワーク構成要素を相互にネットワーク接続するためには好まれない。
したがって、少なくとも、スイッチング・ハブ(スイッチ)が好まれる。スイッチは、その埋込みターゲット・アドレスに関して各イーサネット・フレームを検査し、このフレームを対応するポートに選択的に中継する。したがって、ネットワーク負荷の低下および衝突が(全二重モードで)回避される。このようにして、スイッチの全帯域幅が各チャネルにとって利用可能にされ、ネットワーク装置は、もはや待機する必要がない。信号中継における遅延は、確かにスイッチによって生成されるが、スイッチング・ロジックによって生じるこの追加の遅延は、一般に一定であり、したがって算出されることができる。
ネットワーク・アーキテクチャ
原則として、任意選択でスイッチをカスケードすることが可能である。しかし、この場合、スイッチの格納および転送機能が中継を遅延させることが考慮に入れられるべきである。これらのスイッチ・ドウェル時間は、特定のアプリケーションの必要条件の関数としてのネットワーク・トポロジの制限特性を追加し、表す。
いわゆる管理されたスイッチが使用され、これらのスイッチがRSTPまたはSTP管理プロトコルを使用している場合は、任意のネットワーク・トポロジが実現されることもできる(RSTP:高速スパニング・ツリー・プロトコル)。
同期メッセージは、TCP/IP準拠パケットとして同期モジュールによって送信される。この場合、このパケットは、ユニキャスト、マルチキャスト、またはブロードキャスト・パケットとして送信されることができる。同期モジュールの優先順位制御によって、およびIEEE1588に基づく時間同期によって、最適のジッタが保証される。
同期モジュール優先順位制御
優先順位制御は、カメラの方向に移動する全データ・ストリームが同期モジュールを介して中継されるということに基づく。この場合、最高の優先順位を有する同期モジュールがハードウェア内で処理される。他の制御データは全て、より低い優先順位で処理される。
VLAN、QoS、または優先順位付きキューなどの技術も使用されることができるが、絶対に必要というわけではない。
図1は、ネットワーク接続されたカメラシステムの第1の実施形態の概略図を示す。図1では、参照数字1、26、28はそれぞれ、トリガ入力を表し、参照数字2、27、および29はそれぞれ、信号またはトリガ出力を表し、参照数字3、9、および11はそれぞれ、同期モジュールを表し、参照数字4、13、および14はそれぞれ、カメラ・ユニットを表し、参照数字5、20、および24はそれぞれ、高データ伝送速度を有する論理チャネルを表し、参照数字6、15、および18はそれぞれ、高優先順位またはリアルタイム機能を有する論理チャネルを表し、参照数字7、16、19、21、23、25はそれぞれ、物理イーサネット接続、例えばイーサネット・ネットワーク・ケーブルを表し、参照数字8は、スイッチを表し、参照数字10は、画像データを処理するためのコンピュータ、例えばPCを表す。
図1には、同期ユニットの3つの異なる実施形態が示されている。
同期モジュール3は、カメラ4に接続されている、あるいはカメラ4に組み込まれている。
同期モジュール3は、例えばカメラに存在するハードウェア構造体を用いて実現されることができる。既存のトリガ入力1上の信号がネットワークへのトリガ・コマンドの送信をトリガする。トリガ信号の直後にはまだ画像送信がないので、トリガおよび画像データ・トランスポートのためのインターフェースの一般的使用では、追加の遅延は生じない。トリガ入力1以外に、同期モジュール3はまたトリガ出力を有し、それによって、スイッチング信号が、具体的にはネットワークに接続された外部装置に送信されることができる。例えば、画像キャプチャの間中照明するためにフラッシュを生成するフラッシュ・ユニットがトリガ出力2に接続されることもできる。
それとは対照的に、同期モジュール9は、外部装置として構成される。
この実施形態では、この装置は1つまたは複数のトリガ入力および/または出力を有する。この装置は、その機械的および電気的インターフェースのために、画像処理装置に最適に組み込まれることができる。図1に示されている例では、同期モジュールは、外部要素からのおよびそれへの信号のためにそれぞれトリガ入力26およびトリガ出力27を有する。例えば、電気信号が光電バリヤまたは別のセンサによってトリガされ、トリガ入力26に与えられることができる。トリガ出力27は、例えばフラッシュ・ユニットに接続するために、トリガ出力2のように使用されることができる。
最後に、トリガ入力28およびトリガ出力29を有する同期モジュール11がPC/組込みシステム10の構成要素またはモジュールとして形成される。
コンピュータ・システムへの組込みのために、同期モジュール11は、有利にはスタンドアロン外部装置として外部にマップされる。いくつかのネットワーク・インターフェースが存在する場合は、スイッチ8は必要がない。
図1に示されているネットワーク・アーキテクチャによって、カメラ4、13、14の画像キャプチャは、同期モジュール3、9、11のうちの1つがそれに対応して割り当てられた高優先順位を有する論理チャネル6、15、18を介して画像キャプチャ信号を送信するので、同期されることができる。ネットワークを介して送信された画像キャプチャ信号または画像キャプチャ・テレグラムは、それが受信されると、カメラによる画像キャプチャをトリガする。次いで、画像データが、画像キャプチャ装置またはカメラ・ユニット4、13、14よって、それに対応して割り当てられた高データ伝送速度の論理チャネル、すなわちチャネル5、22、24を介して、ネットワークを介して送信され、次いで、コンピュータ10によってさらに処理されることができる。
一般に、図1に示されている例に制限されることなく、論理チャネルはそれぞれ異なるIPアドレスを有することができる。
図2はトリガ・シーケンスの流れを示す。トリガが現れた後、トリガ・コマンドが送信されるまで時間t1が経過する。パケット伝搬時間はt2に等しい。画像をトリガした後、遅延t3の後、確認応答が各トリガされたカメラからそれに対応する同期モジュールに送信される。確認応答テレグラムは、エラーおよび例外処理のために使用されるステータス・コードを含む。失われた同期テレグラムを処理するために、センサのAcknowledgeTimeoutが使用される。リターン時間t4の後、これが同期モジュールに現れる。t5は、別のトリガが受諾されることができるまでの最小時間である。
パケット伝搬時間は、コマンドの送信と確認応答の受信との間の時間差
Figure 2009253987
から判定されることができる。具体的には、パケット伝搬時間
Figure 2009253987
カメラは、
Figure 2009253987
にほぼ等しくセットされることができる。ジッタは、伝搬時間の標準偏差から算出されることができる。
リアルタイム確認応答シーケンスの流れが図3に示されている。図3では、参照数字71は、ハードウェア・トリガ信号を表し、72は、トリガ信号と、シーケンス、例えばIP/ARPシーケンスの開始との間の遅延を表し、73は、画像キャプチャ・テレグラムを送信するためのシーケンスの期間を表し、74は、同期モジュールからカメラ・ユニットへのシーケンスの開始と、トリガ・コマンドの検出との間の遅延を表し、75は、内部カメラ・トリガ信号を表し、76は、高データ伝送速度のストリーミング・パケットを表し、77は、内部カメラ・トリガ信号75と、データパケット76の送信が中断される時点78との間の遅延を表し、79は、トリガ・テレグラムの確認応答のリアルタイム送信のためのタイム・ウィンドウを表し、80は、画像キャプチャ・テレグラムの確認応答のためにカメラから同期モジュールに送信されるシーケンスの(例えばまた、IP/ARPシーケンスの形での)期間を表し、81は、データパケット76に対応するデータを有する再送信されたデータパケットを表す。確認応答信号80を送信するために、タイム・ウィンドウ79は、チャネルが他の論理接続によって占められていない間中使用される。これは、トリガ検出75の時点で行われるデータ送信76が中断された場合(時点78)、保証されることができる。トリガされたカメラの確認応答信号は、時間t4(タイム・ウィンドウ79)のオフセットで送信されることができる。
実施形態2
図4は、同期モジュールが異なる同期モジュール(38…40)間の伝搬時間を格納するメモリと共に使用されるシステムを示す。これらの伝搬時間の情報を用いて、パス依存遅延情報がトリガ・コマンドと共に送信されることができる。
図4では、参照数字8は、スイッチを表し、9、30、および34はそれぞれ、具体的にはスタンドアロン・ユニットとして形成された同期モジュールを表し、12は、画像処理装置、例えばPCを表し、13および14はそれぞれ、スタンドアロン・ユニットとして形成されたカメラ・ユニットを表し、16、21、23、25、32、35および36は、物理イーサネット接続またはイーサネット・ネットワーク・ケーブルを表し、26および31は、トリガ入力を表し、37は、例えばフラッシュをトリガするための信号出力を表し、38は、遅延Aを表し、39は、遅延Bを表し、40は、遅延Cを表す。本発明の意味では、スタンドアロン・ユニットは、ネットワークに直接結合されるユニットであると理解される。
実施形態3
図5では、参照数字54は、画像処理ユニット、例えばPCを表し、55および56はそれぞれ、スイッチを表し、57、58、59、60、61、62、63、64は、物理イーサネット接続またはイーサネット・ネットワーク・ケーブルを表し、65、66、67、および68は、スイッチ33または55に接続されたネットワークを表し、69は、遅延AおよびジッタAを有する論理パスを表し、70は、遅延BおよびジッタBを有する論理パスを表す。
図5には、ネットワーク構成要素間の遅延時間およびジッタ(例えば、スイッチ(8)とスイッチ(33)との間の遅延およびジッタ)が知られ、同期モジュール9、30、34に行列形式で格納されるネットワークが示されている。エンド・ツー・エンド接続(例えば、セクション(9.8)、(8.33)、(33.56)、(56.13)から成るパス(69))のための対応する時間が、セクションの時間の合計から算出されることができる。2つのパスがエンド・ツー・エンド接続のために可能な場合は、アプリケーションに最も適したパスが行列を参照して選択されることができる。
実施形態4
図6が参照される。図6では、参照数字8は、スイッチを表し、26は、トリガ入力を表し、37は、トリガ出力を表し、43、45、47、および49は、物理イーサネット接続またはイーサネット・ネットワーク・ケーブルを表し、44および48は、有利にはスタンドアロン・ユニットとして形成された同期モジュールを表し、46は、有利にはスタンドアロン・ユニットとして形成されたカメラ・ユニットを表す。クロック符号50、51、52、53はそれぞれ、システム時間の交換または更新を表す。この交換は、以下で説明される。
加入者全てのリアルタイム・クロックの同期は、「ネットワーク接続された測定および制御システムのためのプレシジョン・クロック同期プロトコル」または「PTP」とも呼ばれるIEEE1588規格に準拠して行われる。
このようにして、マスタ・クロックが第1の「同期」テレグラムを送信する。このテレグラムは、推定送信時間を含む。第2の「フォローアップ」テレグラムでは、正確な送信時間が送信される。次いで、受信側では、2つのクロック間の時間差がそれ自身のクロックによって算出されることができる。別の送信プロセスでは、テレグラム伝搬時間が算出されることができる。この遅延時間を用いて、受信機はそのクロックを修正し実際のバス伝搬時間を調整することができる。
マスタ・クロックまたはその時間は、例えばPC42によって提供されることができる。したがって、図6に示されている例では、最初にカメラ・ユニット46およびPC42の時間が同期され、スイッチ8は一定の遅延を有する。上記で説明されたように行われた交換50および52の後で、追加の交換50および51、ならびに、同期モジュール44、48を用いてPC42から開始する50および53が行われる。
図7には、制御データ・ルーティングの原理が示されている。PC12がこれらのハートビート・コマンドのうちのGigE管理コマンドを、接続83を介して同期モジュール9に送信する。同期モジュールが制御データおよびトリガ・コマンドを同期し、これらを、チャネル82を介してカメラ13に転送する。カメラ13が画像データを、リアルタイムでではなく、チャネル84を介してPC12に送信する。

Claims (14)

  1. 二重通信可能ネットワークを介してカメラシステムを同期するための方法であって、前記ネットワークの中で第1のタイプの論理チャネルを有する1つまたは複数のハードウェア支援同期モジュールが使用され、前記1つまたは複数の同期モジュールが前記論理チャネルを介して画像キャプチャ信号を送信し、これらの画像キャプチャ信号が画像センサのキャプチャ時間を制御し、前記画像キャプチャ信号が画像キャプチャ装置によって受信され、前記画像キャプチャ装置がそれぞれ、画像キャプチャ信号の前記受信に対する応答として画像をキャプチャし、次いで、前記画像データが第2のタイプの論理チャネルを介して前記画像キャプチャ装置によって前記ネットワークを介して送信される、方法。
  2. 外部スイッチング信号がそれぞれ、同期モジュールの1つまたは複数の出力によって受信または送信されることを特徴とする、請求項1に記載の方法。
  3. トリガ信号が同期モジュールのトリガ入力に与えられ、次いで、前記同期モジュールが、このトリガ信号に対する応答として、前記ネットワークを介して少なくとも1つの画像キャプチャ信号を送信することを特徴とする、請求項1乃至2のいずれか1項に記載の方法。
  4. 前記同期モジュールおよびカメラがデータ方向ごとに異なる優先順位を有する2つの論理接続チャネルを有することを特徴とする、請求項1乃至3のいずれか1項に記載の方法。
  5. 前記2つの論理チャネルのうちの第1のチャネルが同期信号のための第1優先順位を有し、前記2つの論理チャネルのうちの第2のチャネルが画像データの送信のための第2優先順位を有し、前記第1優先順位を有する前記チャネルが、いつでも情報の即時の送信を保証し、この目的のために、前記第2優先順位を有する前記第2のチャネルの送信が、前記第1のチャネルがリアルタイム機能を有するように、遅延なしに中断されることができ、前記第2のチャネルが物理媒体のチャネル容量の可能性に対応する高データ伝送速度を提供することを特徴とする、請求項4に記載の方法。
  6. 前記同期モジュールが、前記システムの異なる同期モジュール間の1つまたは複数の伝搬時間または遅延および/またはそれらのバリアンスが格納されるメモリを備え、これらの伝搬時間の情報を用いて、前記画像キャプチャのための遅延が計算装置によって算出または送信されることを特徴とする、請求項1乃至5のいずれか1項に記載の方法。
  7. 任意のトリガ・ソースとカメラとの間の遅延を記述する遅延行列が、トリガ信号の出現後、最適のジッタを保証する遅延が選択されることができるように、ポイント・ツー・ポイント接続の測定された典型的な遅延時間から形成されることを特徴とする、請求項6に記載の方法。
  8. 前記同期モジュールが、ホストと同期モジュールとの間の遅延を考慮に入れて、前記ホストのハートビートを介してセットされたリアルタイム・クロックまたはカウンタを部分的にまたは完全に備え、前記送信同期モジュールの前記測定されたクロック時間が前記トリガ信号で送信され、前記受信機で評価されることを特徴とする、請求項1乃至7のいずれか1項に記載の方法。
  9. リアルタイム・クリティカルなカメラ制御信号が、前記カメラにではなく、トリガ装置としての前記同期モジュールに間接的に送信され、そこで優先順位によってフィルタリングされ、カメラまたはカメラの選択グループに中継されることを特徴とする、請求項1乃至8のいずれか1項に記載の方法。
  10. 前記カメラが新規画像キャプチャのための準備ができていること、または前記画像データ送信の終了を、リアルタイム・クリティカルな制御信号として前記ネットワークを介して前記同期モジュールに送信することを特徴とする、請求項1乃至9のいずれか1項に記載の方法。
  11. 前記同期モジュールが、画像送信を中断するための信号、および/またはカメラの画像メモリからの中断された画像の一部分の繰返し送信のための別の信号を送信することを特徴とする、請求項1乃至10のいずれか1項に記載の方法。
  12. 請求項1乃至11のいずれか1項に記載の前記方法を実行するように構成されたいくつかの画像キャプチャ装置を有するネットワーク接続されたカメラシステムであって、二重通信可能ネットワーク、前記二重通信可能ネットワークに接続された第1のタイプの論理チャネルを有する1つまたは複数のハードウェア支援同期モジュールを備え、前記1つまたは複数の同期モジュールが前記第1のタイプの前記論理チャネルを介して画像キャプチャ信号を送信するように設計され、これらの画像キャプチャ信号が前記画像キャプチャ装置の画像センサのキャプチャ時間を制御し、前記画像キャプチャ信号が前記画像キャプチャ装置によって受信され、前記画像キャプチャ装置が画像キャプチャ信号の前記受信に応答して画像をキャプチャし、次いで、前記画像キャプチャ装置が、キャプチャされた画像データを、前記ネットワークを介して第2のタイプの論理チャネルを介して送信するように設計される、カメラシステム。
  13. 1つまたは複数の同期モジュールが、外部スイッチング信号を送信または受信するための出力を有することを特徴とする、請求項12に記載のカメラシステム。
  14. 同期モジュールが、受信されたトリガ信号に応答して、前記ネットワークを介して少なくとも1つの画像キャプチャ信号を送信するように設計されることを特徴とする、請求項12乃至13のいずれか1項に記載のカメラシステム。
JP2009093981A 2008-04-08 2009-04-08 カメラシステムを同期するための方法および装置 Pending JP2009253987A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008017933A DE102008017933B4 (de) 2008-04-08 2008-04-08 Verfahren und Vorrichtung zur Synchronisation von Kamerasystemen

Publications (1)

Publication Number Publication Date
JP2009253987A true JP2009253987A (ja) 2009-10-29

Family

ID=40793237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009093981A Pending JP2009253987A (ja) 2008-04-08 2009-04-08 カメラシステムを同期するための方法および装置

Country Status (4)

Country Link
US (1) US20090251601A1 (ja)
EP (1) EP2109305B1 (ja)
JP (1) JP2009253987A (ja)
DE (1) DE102008017933B4 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249132A1 (en) * 2010-04-09 2011-10-13 Hideaki Murayama Camera system, camera device, camera controller and relay device
JP2013149463A (ja) * 2012-01-19 2013-08-01 Iwasaki Electric Co Ltd 照明システム
JPWO2021014601A1 (ja) * 2019-07-24 2021-01-28

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058565B2 (en) * 2011-08-17 2015-06-16 At&T Intellectual Property I, L.P. Opportunistic crowd-based service platform
JP5803868B2 (ja) * 2012-09-20 2015-11-04 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
US20140192207A1 (en) * 2013-01-07 2014-07-10 Jinsong Ji Method and apparatus to measure video characteristics locally or remotely
WO2014145279A1 (en) * 2013-03-15 2014-09-18 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
JP5802727B2 (ja) * 2013-11-11 2015-10-28 東芝テリー株式会社 同期式カメラ
US9403482B2 (en) 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
JP6465555B2 (ja) 2014-03-25 2019-02-06 キヤノン株式会社 撮像装置、電子機器、カメラシステム、制御方法、およびプログラム
US20150304629A1 (en) * 2014-04-21 2015-10-22 Xiuchuan Zhang System and method for stereophotogrammetry
JP6372788B2 (ja) * 2014-08-26 2018-08-15 カシオ計算機株式会社 撮像装置、撮像システム、撮像方法及びプログラム
KR101589227B1 (ko) 2015-01-20 2016-01-27 현대자동차주식회사 차량용 이더넷 통신망에서의 카메라 셔터 동기화 제어 방법 및 장치
US9549100B2 (en) 2015-04-23 2017-01-17 Microsoft Technology Licensing, Llc Low-latency timing control
US10560609B2 (en) * 2016-11-04 2020-02-11 Karl Storz Endoscopy-America, Inc. System and related method for synchronized capture of data by multiple network-connected capture devices
US10743332B2 (en) * 2016-11-18 2020-08-11 Qualcomm Incorporated Techniques and apparatuses for complementary transmission relating to an interrupted traffic flow in new radio
US10701258B2 (en) * 2017-01-31 2020-06-30 Kowa Company, Ltd. Camera manipulation device
GB2595879B (en) * 2020-06-09 2022-08-17 Canon Kk Method for controlling an image capture device
DE102021103102A1 (de) * 2021-02-10 2022-08-11 Pandia GmbH Verfahren und Vorrichtung zur Maschinenüberwachung sowie Computerprogrammprodukt zur Maschinenüberwachung
CN113325838B (zh) * 2021-04-23 2022-08-12 武汉光庭信息技术股份有限公司 一种基于相机曝光特性的多传感器时间同步方法及装置
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统
CN114268706B (zh) * 2021-12-13 2024-02-02 北京元客视界科技有限公司 一种相机的时间授时方法和装置
CN114745512A (zh) * 2022-03-25 2022-07-12 天远三维(天津)科技有限公司 图像采集方法、装置、介质和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69608264T2 (de) * 1995-03-24 2000-09-28 Ppt Vision Inc Maschinensichtsteuersystem
US6684402B1 (en) * 1999-12-01 2004-01-27 Cognex Technology And Investment Corporation Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor
US7057663B1 (en) * 2001-05-17 2006-06-06 Be Here Corporation Audio synchronization pulse for multi-camera capture systems
US7511764B2 (en) * 2002-07-24 2009-03-31 Alan Neal Cooper Digital camera synchronization
DE10249851A1 (de) 2002-10-25 2004-05-13 Elektro Beckhoff Gmbh Unternehmensbereich Industrie Elektronik Verfahren, Schnittstelleneinheit und Knoten zur parallelen Nutzung eines Kommunikationsnetzwerkes für Echtzeitanwendungen und Nicht-Echtzeitanwendungen
US7337344B2 (en) * 2003-01-31 2008-02-26 Point Grey Research Inc. Methods and apparatus for synchronizing devices on different serial data buses
US7397823B2 (en) 2003-06-04 2008-07-08 Agilent Technologies, Inc. Providing time synchronization across store-and-forward communication devices using protocol-enabled switches
DE102004001435A1 (de) 2004-01-09 2005-08-04 Elektro Beckhoff Gmbh Unternehmensbereich Industrie Elektronik Verfahren, Schnittstelle und Netzwerk zum zyklischen Versenden von Ethernet-Telegrammen
US7511737B2 (en) * 2004-06-30 2009-03-31 Scenera Technologies, Llc Synchronized multi-perspective pictures
US7701487B2 (en) * 2005-08-26 2010-04-20 Sony Corporation Multicast control of motion capture sequences
ATE463927T1 (de) 2005-11-30 2010-04-15 Alcatel Lucent Verfahren zur steuerung eines rundrufs und entsprechendes system
EP1860520A1 (de) 2006-05-22 2007-11-28 Siemens Aktiengesellschaft Taktschläger- und Uhrzeit-Synchronisation zwischen Komponenten von Bussystemen

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249132A1 (en) * 2010-04-09 2011-10-13 Hideaki Murayama Camera system, camera device, camera controller and relay device
JP2011234347A (ja) * 2010-04-09 2011-11-17 Sony Corp カメラシステム、カメラ装置、カメラ制御装置、および中継装置
US9344645B2 (en) 2010-04-09 2016-05-17 Sony Corporation Camera system, camera device, camera controller and relay device
JP2013149463A (ja) * 2012-01-19 2013-08-01 Iwasaki Electric Co Ltd 照明システム
JPWO2021014601A1 (ja) * 2019-07-24 2021-01-28
JP7268736B2 (ja) 2019-07-24 2023-05-08 日本電信電話株式会社 同期制御装置

Also Published As

Publication number Publication date
DE102008017933B4 (de) 2012-04-26
DE102008017933A1 (de) 2009-12-03
US20090251601A1 (en) 2009-10-08
EP2109305A1 (de) 2009-10-14
EP2109305B1 (de) 2011-05-11

Similar Documents

Publication Publication Date Title
JP2009253987A (ja) カメラシステムを同期するための方法および装置
US11477107B2 (en) Method for data communication in an industrial network, control method, device, computer program and computer-readable medium
US10298380B2 (en) Method for transmitting data in a communication network of an industrial automation system and coupling communication device
US10873536B2 (en) Distribution node, automation network, and method for transmitting real-time-relevant and non-real-time-relevant data packets
JP5817785B2 (ja) 産業用デバイス、コントローラ、データ転送方法及びデータ送信方法
CN110393001B (zh) 用于模块化地引导avb串流的方法和设备
KR101364369B1 (ko) 노드 및 그것에 이용하는 감시 관리 방법 및 그것을 이용하는 전송 시스템, 입력 회로, 출력 회로
US20100111082A1 (en) Packet Switching Device and Local Communication Network With Such a Packet Switching Device
US11940943B2 (en) Low complexity ethernet node (LEN) one port
US11792099B2 (en) Troubleshooting method, device, and readable storage medium
CN114631290A (zh) 数据分组的传输
CN105553795B (zh) 一种在工业以太网中传输标准以太网数据的方法
JP2015019290A (ja) 伝送装置、伝送システム、及び伝送方法
US9344375B2 (en) Method for transmitting data packets between two communication modules and communication module for transmitting data packets, as well as communication module for receiving data packets
EP2122987B1 (en) Virtual multimedia matrix over packet switched network
CA2943875A1 (en) Method for asynchronous data communication in a real-time capable ethernet data network
CN115176427A (zh) 经由传送时间关键数据的通信网络将控制应用同步的方法、网络基建设备和通信终端设备
CN105227896B (zh) 一种在透明模式下视频会议优化技术方法和系统
JP2006352263A (ja) 通信制御方法及び,これを適用する通信装置
US11442432B2 (en) Communication device and method for data transmission within an industrial communication network
JP4430031B2 (ja) ネットワーク中継方法、ネットワーク要素およびネットワーク中継システム
KR20130134422A (ko) 링 네트워크 토폴로지에서 프레임기반 라우팅을 이용한 프레임 무손실 통신 방법
JP2006174000A (ja) ネットワークシステム
JP2006174002A (ja) ネットワークシステム
EP1901490A1 (en) Network architecture