JP2021097300A

JP2021097300A - Control unit, control method, and program

Info

Publication number: JP2021097300A
Application number: JP2019226667A
Authority: JP
Inventors: 聖坪井; Sei Tsuboi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2021-06-24

Abstract

To appropriately perform synchronization control processing when a control unit acquires a plurality of synchronization signals through a plurality of daisy chain connections.SOLUTION: A network unit 202 in a camera adapter 101 acquires, as a synchronization signal, at least one of a first synchronization signal acquired by using a first communication path and a second synchronization signal acquired by using a second communication path different from the first communication path. A time synchronization unit 203, when the first synchronization signal and the second synchronization signal are acquired by the network unit 202, determines synchronization control should be performed based on which synchronization signal of the first synchronization signal and the second synchronization signal based on priority information included in the first communication path and the second communication path.SELECTED DRAWING: Figure 2

Description

本発明は、複数の撮像手段の同期制御に関するものである。 The present invention relates to synchronous control of a plurality of imaging means.

近年、撮像領域の周囲に複数の撮像装置を配置し、各撮像装置を同期させて撮像領域を撮像することにより得られる複数の撮像画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、例えば、スポーツの試合やコンサート等のイベントを様々な角度から視聴することが出来るため、ユーザに高臨場感を与えることが出来る。 In recent years, a plurality of imaging devices are arranged around an imaging region, and a plurality of captured images obtained by synchronizing each imaging device to image the imaging region are used and viewed from a designated viewpoint (virtual viewpoint). Technology for generating images (virtual viewpoint images) is attracting attention. According to the technology for generating such a virtual viewpoint image, for example, an event such as a sports match or a concert can be viewed from various angles, so that the user can be given a high sense of presence.

特許文献１には、複数の撮像装置が撮像することにより得られる撮像画像に基づく画像データを用いて、仮想視点画像を生成する方法について記載されている。各撮像装置はデイジーチェーン接続されており、各撮像装置は、デイジーチェーン接続を用いて画像データを画像処理装置に送信する。また、特許文献１には、複数の撮像装置の撮像タイミングを同期させる方法についても記載されている。すなわち、複数の撮像装置は、それぞれ制御装置と接続され、各制御装置がタイムサーバと同期制御処理を行うことにより、各撮像装置による撮像が同期される。 Patent Document 1 describes a method of generating a virtual viewpoint image by using image data based on an captured image obtained by imaging by a plurality of imaging devices. Each image pickup device is connected in a daisy chain, and each image pickup device transmits image data to an image processing device using the daisy chain connection. Further, Patent Document 1 also describes a method of synchronizing the imaging timings of a plurality of imaging devices. That is, each of the plurality of imaging devices is connected to the control device, and each control device performs synchronous control processing with the time server to synchronize the imaging by each imaging device.

特開２０１８−２１１８２８号公報Japanese Unexamined Patent Publication No. 2018-21128

特許文献１に記載のシステムのように、デイジーチェーン接続を介して複数の撮像装置による撮像を同期させる場合、タイムサーバとの同期制御処理のロバスト性を高めるため、例えば２つのタイムサーバが設けられる場合がある。つまり、２つのタイムサーバのそれぞれとデイジーチェーン接続された制御装置は、デイジーチェーン接続が切断されたとしても、一方のタイムサーバから同期信号を得られるので、同期制御処理が可能となる。 When synchronizing imaging by a plurality of imaging devices via a daisy chain connection as in the system described in Patent Document 1, for example, two time servers are provided in order to enhance the robustness of the synchronization control process with the time server. In some cases. That is, the control device connected to each of the two time servers in a daisy chain can obtain a synchronization signal from one of the time servers even if the daisy chain connection is disconnected, so that the synchronization control processing can be performed.

しかし、制御装置は、２つのタイムサーバから別のデイジーチェーン接続により、２つの同期信号を取得した場合、制御装置は、取得した２つの同期信号のうち、いずれの同期信号と同期すべきかを適切に判定することができない虞があった。なお、ロバスト性をより向上させるため、タイムサーバが３つ以上設けられる場合であっても同様の課題が生じる。 However, when the control device acquires two synchronization signals from two time servers by another daisy chain connection, the control device appropriately determines which of the two acquired synchronization signals should be synchronized with. There was a risk that it could not be determined. In addition, in order to further improve the robustness, the same problem occurs even when three or more time servers are provided.

本発明は上記の課題に鑑みてなされたものである。その目的は、複数のデイジーチェーン接続を介して制御装置が複数の同期信号を取得した場合に、適切に同期制御処理が行われるようにすることである。 The present invention has been made in view of the above problems. The purpose is to ensure that the synchronization control process is appropriately performed when the control device acquires a plurality of synchronization signals via a plurality of daisy chain connections.

本発明に係る制御装置は、複数の撮像画像を取得する複数の撮像手段による撮像を同期させるための第１の同期信号を生成するタイムサーバから、他の制御装置とデイジーチェーン接続されることにより構成される第１の通信経路を介して通信される前記第１の同期信号と、前記複数の撮像手段による撮像を同期させるための第２の同期信号を生成するタイムサーバから、前記他の制御装置とデイジーチェーン接続されることにより構成される第２の通信経路であって、前記第１の通信経路とは異なる第２の通信経路を介して通信される前記第２の同期信号と、の少なくとも一方を取得する取得手段と、前記取得手段により、前記第１の同期信号と前記第２の同期信号とのいずれか一方が取得された場合、取得された同期信号に基づいて、前記複数の撮像手段による撮像を同期させるように制御する同期制御を行い、前記取得手段により、前記第１の同期信号と前記第２の同期信号との両方が取得された場合、前記第１の同期信号及び前記第２の同期信号のそれぞれに含まれる優先度情報であって、同期信号の優先度を示す優先度情報に基づいて決定される前記第１の同期信号及び前記第２の同期信号のうちいずれか一方の同期信号に基づいて、前記同期制御を行う制御手段とを有することを特徴とする。 The control device according to the present invention is daisy-chained to another control device from a time server that generates a first synchronization signal for synchronizing imaging by a plurality of imaging means that acquire a plurality of captured images. The other control from the time server that generates the first synchronization signal communicated via the configured first communication path and the second synchronization signal for synchronizing the imaging by the plurality of imaging means. A second communication path configured by being daisy-chained to the device, and the second synchronization signal communicated via a second communication path different from the first communication path. When either one of the first synchronization signal and the second synchronization signal is acquired by the acquisition means for acquiring at least one and the acquisition means, the plurality of said ones based on the acquired synchronization signals. When synchronization control is performed to control imaging by the imaging means and both the first synchronization signal and the second synchronization signal are acquired by the acquisition means, the first synchronization signal and the first synchronization signal and the second synchronization signal are acquired. Any of the first synchronization signal and the second synchronization signal, which is priority information included in each of the second synchronization signals and is determined based on the priority information indicating the priority of the synchronization signal. It is characterized by having a control means for performing the synchronization control based on one of the synchronization signals.

本発明によれば、複数のデイジーチェーン接続を介して制御装置が複数の同期信号を取得した場合に、適切に同期制御処理が行われる。 According to the present invention, when the control device acquires a plurality of synchronization signals via a plurality of daisy chain connections, the synchronization control processing is appropriately performed.

画像処理システム１００の機能構成について説明するための図である。It is a figure for demonstrating the functional structure of the image processing system 100. カメラアダプタの機能構成を説明するための図である。It is a figure for demonstrating the functional structure of a camera adapter. タイムサーバの機能構成を説明するための図である。It is a figure for demonstrating the functional structure of a time server. 撮像処理について説明するための図である。It is a figure for demonstrating the imaging process. タイムサーバが実行する処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process which a time server executes. タイムサーバが実行する処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process which a time server executes. 第１の実施形態におけるカメラアダプタが同期マスターを設定するための処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process for setting the synchronization master by the camera adapter in 1st Embodiment. 第１の実施形態におけるカメラアダプタがタイムサーバと時刻同期を行うための処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process for performing the time synchronization with the time server by the camera adapter in 1st Embodiment. 時刻同期処理を説明するための図である。It is a figure for demonstrating time synchronization processing. 第２の実施形態におけるカメラアダプタが同期マスターを設定するための処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process for setting the synchronization master by the camera adapter in 2nd Embodiment. 第３の実施形態におけるカメラアダプタがタイムサーバと時刻同期を行うための処理を説明するためのフローチャートである。It is a flowchart for demonstrating the process for performing the time synchronization with the time server by the camera adapter in 3rd Embodiment. カメラアダプタのハードウェア構成を説明するための図である。It is a figure for demonstrating the hardware configuration of a camera adapter.

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の形態の一例を示すものであり、本発明をそれらのみに限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The components described in the following embodiments show an example of the embodiments of the present invention, and the present invention is not limited to them.

（第１の実施形態）
本実施形態においては、仮想視点画像を生成するための処理を行う画像処理システムについて説明する。仮想視点画像とは、仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。また、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態における仮想視点画像は、静止画及び動画のいずれであってもよい。また、画像処理システムが扱う画像データについても、静止画及び動画のいずれであってもよい。すなわち、本実施形態の画像処理システムは、静止画及び動画の何れについても処理可能であるものとする。 (First Embodiment)
In the present embodiment, an image processing system that performs processing for generating a virtual viewpoint image will be described. What is a virtual viewpoint image? A virtual viewpoint image represents a view from a designated virtual viewpoint based on a plurality of images taken by a plurality of imaging devices and a designated arbitrary viewpoint (virtual viewpoint). It is an image. Further, the virtual viewpoint image in the present embodiment is also called a free viewpoint image, but is not limited to an image corresponding to a viewpoint freely (arbitrarily) specified by the user, and is selected by the user from a plurality of candidates, for example. Images corresponding to the viewpoint are also included in the virtual viewpoint image. Further, the virtual viewpoint image in the present embodiment may be either a still image or a moving image. Further, the image data handled by the image processing system may be either a still image or a moving image. That is, it is assumed that the image processing system of the present embodiment can process both still images and moving images.

本実施形態における画像処理システムが有する各装置のハードウェア構成について、図１２を用いて説明する。ここでは、後述するカメラアダプタを例として説明するが、後述するタイムサーバ、画像コンピューティングサーバ、制御端末、及びユーザ端末等も同様のハードウェア構成となりうる。図１２に示すカメラアダプタ１０１は、ＣＰＵ１４０１、ＲＯＭ１４０２、ＲＡＭ１４０３、補助記憶装置１４０４、表示部１４０５、操作部１４０６、通信Ｉ／Ｆ１４０７、及びバス１４０８を有する。 The hardware configuration of each device included in the image processing system according to the present embodiment will be described with reference to FIG. Here, a camera adapter described later will be described as an example, but a time server, an image computing server, a control terminal, a user terminal, and the like described later may have the same hardware configuration. The camera adapter 101 shown in FIG. 12 includes a CPU 1401, a ROM 1402, a RAM 1403, an auxiliary storage device 1404, a display unit 1405, an operation unit 1406, a communication I / F 1407, and a bus 1408.

ＣＰＵ１４０１は、ＲＯＭ１４０２やＲＡＭ１４０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１０１の全体を制御することで、カメラアダプタ１０１が有する各処理部の機能を実現する。なお、カメラアダプタ１０１がＣＰＵ１４０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１４０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１４０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１４０３は、補助記憶装置１４０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１４０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１４０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。 The CPU 1401 realizes the functions of each processing unit of the camera adapter 101 by controlling the entire camera adapter 101 using computer programs and data stored in the ROM 1402 and the RAM 1403. The camera adapter 101 may have one or more dedicated hardware different from the CPU 1401, and the dedicated hardware may execute at least a part of the processing by the CPU 1401. Examples of dedicated hardware include ASICs (application specific integrated circuits), FPGAs (field programmable gate arrays), and DSPs (digital signal processors). The ROM 1402 stores a program or the like that does not need to be changed. The RAM 1403 temporarily stores programs and data supplied from the auxiliary storage device 1404, data supplied from the outside via the communication I / F 1407, and the like. The auxiliary storage device 1404 is composed of, for example, a hard disk drive or the like, and stores various data such as image data and audio data.

表示部１４０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがカメラアダプタ１０１を操作するためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）などを表示する。操作部１４０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１４０１に入力する。ＣＰＵ１４０１は、表示部１４０５を制御する表示制御部、及び操作部１４０６を制御する操作制御部として動作する。 The display unit 1405 is composed of, for example, a liquid crystal display, an LED, or the like, and displays a GUI (Graphical User Interface) for the user to operate the camera adapter 101. The operation unit 1406 is composed of, for example, a keyboard, a mouse, a joystick, a touch panel, and the like, and inputs various instructions to the CPU 1401 in response to an operation by the user. The CPU 1401 operates as a display control unit that controls the display unit 1405 and an operation control unit that controls the operation unit 1406.

通信Ｉ／Ｆ１４０７は、カメラアダプタ１０１の外部の装置との通信に用いられる。例えば、カメラアダプタ１０１が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１４０７に接続される。カメラアダプタ１０１が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１４０７はアンテナを備える。バス１４０８は、カメラアダプタ１０１の各部をつないで情報を伝達する。 The communication I / F 1407 is used for communication with an external device of the camera adapter 101. For example, when the camera adapter 101 is connected to an external device by wire, a communication cable is connected to the communication I / F 1407. When the camera adapter 101 has a function of wirelessly communicating with an external device, the communication I / F 1407 includes an antenna. The bus 1408 connects each part of the camera adapter 101 to transmit information.

本実施形態では表示部１４０５と操作部１４０６とがカメラアダプタ１０１の内部に存在するものとするが、表示部１４０５と操作部７０６との少なくとも一方がカメラアダプタ１０１の外部に別の装置として存在していてもよい。また、表示部１４０５と操作部１４０６とのいずれか又は両方がない構成であってもよい。これらは、後述するタイムサーバ、画像コンピューティングサーバ、制御端末、及びユーザ端末等についても同様に当てはまる。 In the present embodiment, it is assumed that the display unit 1405 and the operation unit 1406 exist inside the camera adapter 101, but at least one of the display unit 1405 and the operation unit 706 exists as another device outside the camera adapter 101. You may be. Further, the configuration may be such that either or both of the display unit 1405 and the operation unit 1406 are not provided. These also apply to time servers, image computing servers, control terminals, user terminals, etc., which will be described later.

次に、図１を用いて、画像処理システム１００の機能構成について説明する。画像処理システム１００は、センサシステム１９０ａ―センサシステム１９０ｚ、画像コンピューティングサーバ１６０、制御端末１８０、ハブ１４０、タイムサーバ１０２ａ、タイムサーバ１０２ｂ、及び、ユーザ端末１２０を有する。以下、各処理部について説明する。 Next, the functional configuration of the image processing system 100 will be described with reference to FIG. The image processing system 100 includes a sensor system 190a-a sensor system 190z, an image computing server 160, a control terminal 180, a hub 140, a time server 102a, a time server 102b, and a user terminal 120. Hereinafter, each processing unit will be described.

センサシステム１９０ａ―センサシステム１９０ｚは、それぞれ撮像領域の撮像を行い、撮像により得られた撮像画像に基づく画像データを、後述する画像コンピューティングサーバ１６０に送信する。センサシステム１９０ａ―センサシステム１９０ｚは、それぞれ撮像領域を撮像するためのカメラ１０３ａ−１０３ｚ及びセンサシステムを制御するためのカメラアダプタ１０１ａ−カメラアダプタ１０１ｚを有する。以降の説明においては、特別な説明がない場合は、センサシステム１９０ａからセンサシステム１９０ｚまでの２６セットのシステムを区別せず、単にセンサシステム１９０と記載する。各センサシステム１９０が有するカメラ１０３ａ−カメラ１０３ｚ及びカメラアダプタ１０１ａ−カメラアダプタ１０１ｚについても同様に、特別な説明がない場合は区別せず、単にカメラ１０３及びカメラアダプタ１０１と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。 Each of the sensor system 190a and the sensor system 190z captures an imaging region, and transmits image data based on the captured image obtained by the imaging to an image computing server 160 described later. The sensor system 190a-sensor system 190z has a camera 103a-103z for capturing an imaging region and a camera adapter 101a-camera adapter 101z for controlling the sensor system, respectively. In the following description, unless otherwise specified, the 26 sets of systems from the sensor system 190a to the sensor system 190z are not distinguished and are simply referred to as the sensor system 190. Similarly, the camera 103a-camera 103z and the camera adapter 101a-camera adapter 101z included in each sensor system 190 are not distinguished unless otherwise specified, and are simply referred to as the camera 103 and the camera adapter 101. Although the number of sensor systems is described as 26 sets, this is just an example, and the number is not limited to this.

また、本実施形態における画像処理システム１００は、撮像手段として複数のカメラ１３０を有する構成であるが、これに限定されない。例えば、一つの筐体に複数の撮像部が含まれる装置を有する構成であってもよい。また、各センサシステム１９０が有する各カメラ１３０は同一符号（１３０）を用いて説明するが、各カメラ１３０同士の性能、設定及び機種等が異なっていてもよい。 Further, the image processing system 100 in the present embodiment has a configuration in which a plurality of cameras 130 are provided as imaging means, but the present invention is not limited to this. For example, it may be configured to have a device including a plurality of imaging units in one housing. Further, although each camera 130 included in each sensor system 190 will be described using the same reference numeral (130), the performance, setting, model, etc. of each camera 130 may be different from each other.

本実施形態における複数のセンサシステム１９０は、デイジーチェーン接続される。この接続形態により、撮像画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。図１に示す各センサシステム１９０は、それぞれネットワーク１１０ｂ−１１０ｚにより接続される。また、デイジーチェーン接続の終端となるセンサシステム１９０ａが有するカメラアダプタ１０１ａは、ネットワーク１１０ａによりハブ１４０と接続される。以降の説明において、特別な説明がない場合は、ネットワーク１１０ａ−１１０ｚを区別せず、単にネットワーク１１０と記載する。ただし、センサシステム１９０の接続方法はこれに限定されない。例えば、各センサシステム１９０ａ−１９０ｚがハブ１４０に接続されて、ハブ１４０を経由してセンサシステム１９０間のデータ送受信を行うスター型のネットワーク構成としてもよい。 The plurality of sensor systems 190 in this embodiment are daisy-chained. It is said that this connection form has the effect of reducing the number of connection cables and labor saving in wiring work in increasing the resolution of captured images to 4K or 8K and increasing the capacity of image data due to the increase in frame rate. I will specify it here. Each sensor system 190 shown in FIG. 1 is connected by a network 110b-110z. Further, the camera adapter 101a included in the sensor system 190a, which is the end of the daisy chain connection, is connected to the hub 140 by the network 110a. In the following description, unless otherwise specified, the network 110a-110z is not distinguished and is simply referred to as the network 110. However, the connection method of the sensor system 190 is not limited to this. For example, each sensor system 190a-190z may be connected to a hub 140 to form a star-type network configuration in which data is transmitted and received between the sensor systems 190 via the hub 140.

また、図１ではセンサシステム１９０ａ−１９０ｚの全てがデイジーチェーン接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１９０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１９０同士がデイジーチェーン接続され、各グループの終端となるカメラアダプタ１０１がハブ１４０に接続される構成であってもよい。グループごとにデイジーチェーン接続される構成は、以下のような場合に有効である。例えば、複数フロアにより構成されるスタジアムにおいて、フロア毎にセンサシステム１９０を配備する場合について考える。このとき、フロア毎又はスタジアムの半周毎にセンサシステム１９０をグループ分けし、グループごとにデイジーチェーン接続をすることにより、全センサシステム１９０を１つのデイジーチェーンで接続する配線が困難な場所でもシステムの設置が可能となる。 Further, FIG. 1 shows a configuration in which all of the sensor systems 190a-190z are connected in a daisy chain, but the present invention is not limited to this. For example, a plurality of sensor systems 190 are divided into several groups, the sensor systems 190 are daisy-chained to each other in each divided group, and the camera adapter 101 at the end of each group is connected to the hub 140. There may be. A configuration in which daisy chains are connected for each group is effective in the following cases. For example, consider a case where a sensor system 190 is deployed for each floor in a stadium composed of a plurality of floors. At this time, the sensor system 190 is divided into groups for each floor or half a lap of the stadium, and daisy chain connection is made for each group, so that all sensor systems 190 can be connected by one daisy chain. Installation is possible.

また、デイジーチェーン接続により後述する画像コンピューティングサーバ１６０へ画像データの送信を行うカメラアダプタ１０１が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ１６０での画像処理における処理が異なる場合がある。すなわち、センサシステム１９０が複数のグループに分割されているか否かに応じて、画像コンピューティングサーバ１６０における処理が異なる場合がある。画像データの送信を行うカメラアダプタ１０１が１つである場合、１つのカメラアダプタ１０１が他のセンサシステム１９０から送信された画像データも共に送信するため、画像コンピューティングサーバ１６０は全ての画像データを同時に取得することができる。 Further, processing in image processing in the image computing server 160 depends on whether there is one or two or more camera adapters 101 that transmit image data to the image computing server 160 described later by daisy chain connection. May be different. That is, the processing in the image computing server 160 may differ depending on whether or not the sensor system 190 is divided into a plurality of groups. When there is one camera adapter 101 that transmits image data, one camera adapter 101 also transmits the image data transmitted from the other sensor system 190, so that the image computing server 160 transmits all the image data. Can be acquired at the same time.

しかし、画像コンピューティングサーバ１６０に画像データの送信を行うカメラアダプタ１０１が複数ある場合は、カメラアダプタ１０１によって、画像データを送信するタイミングが異なる場合がある。すなわち、複数のセンサシステム１９０が複数のグループに分割される場合は、画像コンピューティングサーバ１６０が画像データを取得するタイミングがそろわない可能性がある。そのため、複数のカメラアダプタ１０１から画像データが送信される場合は、画像コンピューティングサーバ１６０は、後述する処理の他に、すべての画像データが取得されたか否かを確認する処理が必要となることを明記しておく。 However, when the image computing server 160 has a plurality of camera adapters 101 for transmitting image data, the timing for transmitting the image data may differ depending on the camera adapter 101. That is, when the plurality of sensor systems 190 are divided into a plurality of groups, the timing at which the image computing server 160 acquires the image data may not be the same. Therefore, when image data is transmitted from a plurality of camera adapters 101, the image computing server 160 needs to perform a process of confirming whether or not all the image data have been acquired, in addition to the process described later. Please specify.

また本実施形態におけるセンサシステム１９０は、カメラ１０３及びカメラアダプタ１０１を有するが、この構成に限定するものではない。例えば、マイク等の音声デバイスや、カメラの向きを制御する雲台等を含んでも良い。このように、センサシステム１９０が他の処理部を有する構成であってもよい。また例えば、センサシステム１９０は１台のカメラアダプタ１０１と、複数のカメラ１０３により構成されてもよいし、１台のカメラ１０３と複数のカメラアダプタ１０１により構成されてもよい。即ち、同期撮影システム１００内の複数のカメラ１０３と複数のカメラアダプタ１０１はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、カメラ１０２とカメラアダプタ１０１とが同一の筐体により構成されてもよい。また、カメラアダプタ１０１の機能の少なくとも一部を、後述する画像コンピューティングサーバ１６０が有していてもよい。また、複数のセンサシステム１９０のそれぞれが異なる構成であってもよい。 Further, the sensor system 190 in the present embodiment includes the camera 103 and the camera adapter 101, but is not limited to this configuration. For example, a voice device such as a microphone, a pan head that controls the orientation of the camera, or the like may be included. As described above, the sensor system 190 may have a configuration having another processing unit. Further, for example, the sensor system 190 may be composed of one camera adapter 101 and a plurality of cameras 103, or may be composed of one camera 103 and a plurality of camera adapters 101. That is, the plurality of cameras 103 and the plurality of camera adapters 101 in the synchronous photographing system 100 correspond to each other by N to M (N and M are both integers of 1 or more). Further, the camera 102 and the camera adapter 101 may be configured by the same housing. Further, the image computing server 160, which will be described later, may have at least a part of the functions of the camera adapter 101. Further, each of the plurality of sensor systems 190 may have a different configuration.

センサシステム１９０の動作について説明する。ここで、センサシステム１９０ｂを例として説明する。センサシステム１９０ｂが有するカメラアダプタ１０１ｂは、カメラ１０３ｂが撮像することにより取得された撮像画像に対し、後述する画像処理を行うことにより、撮像画像に基づく画像データを取得する。また、取得された画像データは、センサシステム１９０ａと接続される通信路であるネットワーク１１０ｂを通して、センサシステム１９０ａのカメラアダプタ１０１ａに送信される。センサシステム１９０ａは、センサシステム１９０ｂから送信された画像データを、ハブ１４０に送信する。また、センサシステム１９０ａが有するカメラアダプタ１０１ａは、カメラ１０３ａが撮像することにより取得された撮像画像に対して、カメラアダプタ１０１ｂが行う処理と同様の画像処理を行い、取得された画像データをハブ１４０に送信する。センサシステム１９０ｃ−１９０ｚも、それぞれ上述の処理と同様の処理を実施する。これにより、センサシステム１９０ａ―センサシステム１９０ｚが取得した画像データは、センサシステム１９０ａからネットワーク１１０ａを用いてハブ１４０に送信され、その後、後述する画像コンピューティングサーバ１６０に送信される。 The operation of the sensor system 190 will be described. Here, the sensor system 190b will be described as an example. The camera adapter 101b included in the sensor system 190b acquires image data based on the captured image by performing image processing described later on the captured image acquired by the camera 103b. Further, the acquired image data is transmitted to the camera adapter 101a of the sensor system 190a through the network 110b, which is a communication path connected to the sensor system 190a. The sensor system 190a transmits the image data transmitted from the sensor system 190b to the hub 140. Further, the camera adapter 101a included in the sensor system 190a performs image processing similar to the processing performed by the camera adapter 101b on the captured image acquired by the camera 103a, and uses the acquired image data as the hub 140. Send to. The sensor system 190c-190z also performs the same processing as the above processing. As a result, the image data acquired by the sensor system 190a-sensor system 190z is transmitted from the sensor system 190a to the hub 140 using the network 110a, and then transmitted to the image computing server 160 described later.

画像コンピューティングサーバ１６０は、センサシステム１９０から送信される画像データに対し、以下の処理を行う。まず、画像コンピューティングサーバ１６０は、画像データの再構成を行う。画像データは、センサシステム１９０ａによりパケットに分割された画像パケットとして送信される。画像コンピューティングサーバ１６０は、送信された画像パケットを用いて画像データを再構成する。また、画像コンピューティングサーバ１６０は、再構成した画像データを、画像データの取得元であるカメラの識別子、及びデータ種別等の情報と関連付けて記憶する。また、画像データが動画である場合は、例えば動画フレームごとに画像データをまとめた形で記憶する。 The image computing server 160 performs the following processing on the image data transmitted from the sensor system 190. First, the image computing server 160 reconstructs the image data. The image data is transmitted as an image packet divided into packets by the sensor system 190a. The image computing server 160 reconstructs image data using the transmitted image packet. Further, the image computing server 160 stores the reconstructed image data in association with information such as the identifier of the camera that is the acquisition source of the image data and the data type. When the image data is a moving image, for example, the image data is stored together for each moving image frame.

また、画像コンピューティングサーバ１６０は、制御端末１８０から取得される情報と、画像データとに基づいて、仮想視点画像の生成を行う。制御端末１８０は、画像処理システム１００を制御するための入力や、仮想視点を指定するための入力を受け付ける。制御端末１８０と画像処理システム１００が有する各処理部とはネットワークにより接続される。ネットワークとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥ等が使用される。しかし、それ以外にもインターコネクトＩｎｆｉｎｉｂａｎｄ、及び産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。例えば、ＩＥＥＥ８０２．１１標準準拠のＷｉｒｅｌｅｓｓＬＡＮで構築されても良い。 Further, the image computing server 160 generates a virtual viewpoint image based on the information acquired from the control terminal 180 and the image data. The control terminal 180 receives an input for controlling the image processing system 100 and an input for designating a virtual viewpoint. The control terminal 180 and each processing unit of the image processing system 100 are connected by a network. As the network, for example, GbE (Gigabit Ethernet) compliant with the IEEE standard (registered trademark), 10GbE, or the like is used. However, other than that, the interconnect Infiniband, the industrial Ethernet, and the like may be combined and configured. Further, the network is not limited to these, and may be another type of network. For example, it may be constructed by a Wireless LAN conforming to the IEEE802.11 standard.

画像コンピューティングサーバ１６０は、制御端末１８０が受け付けた、仮想視点を指定するための入力を取得し、取得した入力に基づいて指定される仮想視点に対応する仮想視点画像を生成する。このとき、画像コンピューティングサーバ１６０は、指定された仮想視点に応じて、必要な画像データを読み出し、読み出した画像データを用いてレンダリング処理を行うことにより仮想視点画像を生成する。生成された仮想視点画像は、画像コンピューティングサーバ１６０からユーザ端末１７０に送信さる。これにより、ユーザ端末１７０を操作するユーザは生成された仮想視点画像を閲覧することが出来る。なお、画像コンピューティングサーバ１６０の機能の少なくとも一部を、制御端末１８０、センサシステム１９０、又はユーザ端末１７０等が有する構成でもよい。制御端末１８０は、上述した入力の受付の他に、画像処理システム１００の操作状態の監視、及び、画像処理システム１００が行う処理の処理パラメータの制御等の処理を実行する。 The image computing server 160 acquires an input for designating a virtual viewpoint received by the control terminal 180, and generates a virtual viewpoint image corresponding to the virtual viewpoint designated based on the acquired input. At this time, the image computing server 160 reads out the necessary image data according to the designated virtual viewpoint, and generates a virtual viewpoint image by performing a rendering process using the read image data. The generated virtual viewpoint image is transmitted from the image computing server 160 to the user terminal 170. As a result, the user who operates the user terminal 170 can view the generated virtual viewpoint image. The control terminal 180, the sensor system 190, the user terminal 170, or the like may have at least a part of the functions of the image computing server 160. In addition to accepting the above-mentioned input, the control terminal 180 executes processing such as monitoring the operation state of the image processing system 100 and controlling the processing parameters of the processing performed by the image processing system 100.

タイムサーバ１０２ａ及びタイムサーバ１０２ｂは、センサシステム１９０を同期させるための時刻情報を送信する機能を有する。各センサシステム１９０は、タイムサーバ１０２ａ又はタイムサーバ１０２ｂと時刻同期を行う。詳細は後述する。なお、本実施形態においては、タイムサーバ１０２ｂはセンサシステム１９０ｚとネットワーク１１０ａａにより接続されているが、接続方法はこれに限定されない。例えば、タイムサーバ１０２ａと接続状態を対称にするために、センサシステム１９０ｚから新たにハブを経由してタイムサーバ１０２ｂが接続される構成であってもよい。タイムサーバ１０２ａ又はタイムサーバ１０２ｂから時刻情報を取得した各カメラアダプタ１０１は、時刻情報に基づき、各カメラ１０３をＧｅｎｌｏｃｋ信号を使用して同期させる。これにより、複数のカメラ１０３の撮像タイミングが同期される。画像処理システム１００は同じタイミングで撮像された複数の撮像画像に基づいて仮想視点画像を生成する。なお、同一のネットワークにおいて複数のタイムサーバを使用してシステム内の時刻同期を実現するに当たり、タイムサーバ同士の能力が一致している状態が望ましい。したがって、本実施形態におけるタイムサーバ１０２ａ及びタイムサーバ１０２ｂは、互いに同一の機能、設定及び処理能力を有するものとする。以下の説明において、特別な説明がない限り、タイムサーバ１０２ａとタイムサーバ１０２ｂとを区別せず、単にタイムサーバ１０２と記載する。 The time server 102a and the time server 102b have a function of transmitting time information for synchronizing the sensor system 190. Each sensor system 190 synchronizes time with the time server 102a or the time server 102b. Details will be described later. In the present embodiment, the time server 102b is connected to the sensor system 190z by the network 110aa, but the connection method is not limited to this. For example, in order to make the connection state symmetrical with the time server 102a, the time server 102b may be newly connected from the sensor system 190z via a hub. Each camera adapter 101 that has acquired the time information from the time server 102a or the time server 102b synchronizes each camera 103 using the Genlock signal based on the time information. As a result, the imaging timings of the plurality of cameras 103 are synchronized. The image processing system 100 generates a virtual viewpoint image based on a plurality of captured images captured at the same timing. In order to realize time synchronization in the system by using a plurality of time servers in the same network, it is desirable that the abilities of the time servers are the same. Therefore, the time server 102a and the time server 102b in the present embodiment shall have the same functions, settings, and processing capabilities as each other. In the following description, unless otherwise specified, the time server 102a and the time server 102b are not distinguished and are simply referred to as the time server 102.

次に、カメラアダプタ１０１の機能構成について、図２を用いて説明する。カメラアダプタ１０１は、内部時計２０１、ネットワーク部２０２、時計同期部２０３、時計制御部２０４、カメラ制御部２０５、及び、画像処理部２０６を有する。以下、各処理部について説明する。 Next, the functional configuration of the camera adapter 101 will be described with reference to FIG. The camera adapter 101 includes an internal clock 201, a network unit 202, a clock synchronization unit 203, a clock control unit 204, a camera control unit 205, and an image processing unit 206. Hereinafter, each processing unit will be described.

内部時計２０１は、例えば、現在時間を保持するハードウェアクロックである。内部時計２０１は、カメラアダプタ１０１内の時刻基準となるリファレンス信号を周期的に出力する。ネットワーク部２０２は、ネットワーク１１０により、隣接するカメラアダプタ１９０、タイムサーバ１０２ａ、タイムサーバ１０２ｂ、及びハブ１４０の少なくともいずれかと接続されている。ネットワーク部２０２は、接続されている装置とデータ通信を行う。通信されるデータとしては、画像データ及び同期信号等があり、これらのデータはパケットに分割された状態で送受信される。本実施形態におけるネットワーク部２０２は、デイジーチェーン接続を構成するために、通信ポートを少なくとも２つ備えているものとする。ネットワーク部２０２は、例えばＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）であるが、これに限らず、他の装置との間でデータ通信が可能な他の構成が用いられてもよい。ネットワーク部２０２は、例えばＩＥＥＥ１５８８規格に準拠し、タイムサーバ１０２との間でデータ通信を行った時のタイムスタンプを保存する機能を有する。また、ネットワーク部２０２は、マルチキャスト機能、及び、送信先が自分ではないパケットを受信したときに、パケットを受信した通信ポートとは異なる通信ポートへパケットを転送する機能等を有する。なお、ネットワーク部２０２は、パケット受信時及びパケット送信時にもタイムスタンプの保存を行うことが可能である。また、内部時計２０１の機能がネットワーク部２０２に内包されている構成であってもよい。 The internal clock 201 is, for example, a hardware clock that holds the current time. The internal clock 201 periodically outputs a reference signal that serves as a time reference in the camera adapter 101. The network unit 202 is connected to at least one of the adjacent camera adapter 190, the time server 102a, the time server 102b, and the hub 140 by the network 110. The network unit 202 performs data communication with the connected device. The data to be communicated includes image data, synchronization signals, and the like, and these data are transmitted and received in a state of being divided into packets. It is assumed that the network unit 202 in the present embodiment includes at least two communication ports in order to form a daisy chain connection. The network unit 202 is, for example, a NIC (Network Interface Card), but the present invention is not limited to this, and other configurations capable of data communication with other devices may be used. The network unit 202 conforms to, for example, the IEEE1588 standard, and has a function of storing a time stamp when data communication is performed with the time server 102. Further, the network unit 202 has a multicast function and a function of transferring a packet to a communication port different from the communication port that received the packet when the destination receives a packet other than itself. The network unit 202 can store the time stamp at the time of receiving the packet and at the time of transmitting the packet. Further, the function of the internal clock 201 may be included in the network unit 202.

時刻同期部２０３は、タイムサーバ１０２と時刻同期を行うための同期信号を生成する。時刻同期部２０３は、例えばＩＥＥＥ１５８８−２００８規格に準拠した方法により、同期信号として、時刻同期するための通信パケット（以下、時刻同期パケットという）を生成する。生成された時刻同期パケットはネットワーク部２０２を介してネットワーク１１０に送出され、タイムサーバ１０２へ送信される。時刻同期部２０３は、タイムサーバ１０２との通信により、内部時計２０１をタイムサーバ１０２における時刻と同期させる。また、時刻同期部２０３は、タイムサーバ１０２との間でデータ通信を行うことにより、タイムサーバ１０２とカメラアダプタ１０１との間の送信遅延を算出する。これにより、カメラアダプタ１０１における時刻とタイムサーバ１０２における時刻との誤差（オフセット）を算出することができる。また、時刻同期部２０３は、時刻同期に使用される時刻同期パケットが自装置内で滞留する時間を計測し、計測により取得された時間を、送信する時刻同期パケットの指定領域に加算する機能を有する。つまり、カメラアダプタ１０１はＩＥＥＥ１５８８−２００８規格におけるＴｒａｎｓｐａｒｅｎｔＣｌｏｃｋ（以下、ＴＣという）として動作するものとする。 The time synchronization unit 203 generates a synchronization signal for performing time synchronization with the time server 102. The time synchronization unit 203 generates a communication packet (hereinafter referred to as a time synchronization packet) for time synchronization as a synchronization signal by, for example, a method conforming to the IEEE1588-2008 standard. The generated time synchronization packet is sent to the network 110 via the network unit 202, and is transmitted to the time server 102. The time synchronization unit 203 synchronizes the internal clock 201 with the time on the time server 102 by communicating with the time server 102. Further, the time synchronization unit 203 calculates the transmission delay between the time server 102 and the camera adapter 101 by performing data communication with the time server 102. Thereby, the error (offset) between the time in the camera adapter 101 and the time in the time server 102 can be calculated. Further, the time synchronization unit 203 has a function of measuring the time that the time synchronization packet used for time synchronization stays in the own device and adding the time acquired by the measurement to the designated area of the time synchronization packet to be transmitted. Have. That is, the camera adapter 101 operates as a Transient Clock (hereinafter referred to as TC) in the IEEE1588-2008 standard.

なお、本システムのハブ１４０もＴＣにより動作するものとする。その結果、時刻の誤差のうち、時刻同期パケットがネットワークケーブルを通過する時間による誤差と、時刻同期パケットがカメラアダプタ１０１内を通過する時間による誤差とを分離することが可能となる。この結果、より高精度に時刻同期することが可能となる。なお、時刻同期部２０３は、算出した誤差を保持し、この誤差の情報を、後述の時刻制御部２０４に供給しうる。また、時刻同期部２０３はＢｅｓｔＭａｓｔｅｒＣｌｏｃｋＡｌｇｏｒｉｔｈｍ（以下、ＢＭＣＡとする）を実行し、自身が同期すべきタイムサーバ１０２を決定する。本実施形態におけるＢＭＣＡの具体的な処理内容は、ＩＥＥＥ１５８８−２００８規格と同様である。ＢＭＣＡの処理において使用される情報の説明については後述する。また、時刻同期部２０３はタイマー機能を有し、このタイマー機能はタイムサーバ１０２との時刻同期処理において使用される。なお、以降の説明において、カメラアダプタ１０１が時刻同期を行う際の基となる同期信号を生成するタイムサーバ１０２を、同期マスターという。 The hub 140 of this system is also assumed to be operated by TC. As a result, among the time errors, it is possible to separate the error due to the time when the time synchronization packet passes through the network cable and the error due to the time when the time synchronization packet passes through the camera adapter 101. As a result, time synchronization can be performed with higher accuracy. The time synchronization unit 203 holds the calculated error, and can supply the information of this error to the time control unit 204 described later. Further, the time synchronization unit 203 executes the Best Master Clock Algorithm (hereinafter referred to as BMCA), and determines the time server 102 to be synchronized by itself. The specific processing content of BMCA in this embodiment is the same as that of the IEEE1588-2008 standard. A description of the information used in the BMCA process will be described later. Further, the time synchronization unit 203 has a timer function, and this timer function is used in the time synchronization process with the time server 102. In the following description, the time server 102 that generates a synchronization signal that is the basis for the camera adapter 101 to perform time synchronization is referred to as a synchronization master.

時刻制御部２０４は、タイムサーバ１０２から送信される時刻情報と、タイムサーバ１０２とカメラアダプタ１０１との間の時刻の誤差に基づいて、内部時計２０１を調整する。時刻制御部２０４は、例えば、タイムサーバ１０２が保持する時間との誤差に関して閾値を定義し、誤差の値が閾値よりも大きい場合は内部時計２０１の時刻を大きく変更し、誤差が閾値以下の場合は内部時計２０１の時間を徐々に補正するように制御する。 The time control unit 204 adjusts the internal clock 201 based on the time information transmitted from the time server 102 and the time error between the time server 102 and the camera adapter 101. For example, the time control unit 204 defines a threshold value with respect to an error with the time held by the time server 102, and when the value of the error is larger than the threshold value, the time of the internal clock 201 is significantly changed, and when the error is equal to or less than the threshold value. Controls to gradually correct the time of the internal clock 201.

画像処理部２０６は、後述するカメラ制御部２０５が行う制御に基づいてカメラ１０３が撮像することにより取得された撮像画像に基づいて、仮想視点画像の生成に使用される画像データを取得するための画像処理を行う。画像処理部２０６は、直接接続されたカメラ１０３から取得される撮像画像だけでなく、他のカメラアダプタ１０１から送信された画像データに対しても画像処理を行うことが可能である。 The image processing unit 206 acquires image data used for generating a virtual viewpoint image based on the captured image acquired by the camera 103 taking an image based on the control performed by the camera control unit 205 described later. Perform image processing. The image processing unit 206 can perform image processing not only on the captured image acquired from the directly connected camera 103 but also on the image data transmitted from the other camera adapter 101.

画像処理部２０６が行う画像データを取得するための画像処理の例について説明する。画像処理部２０６は、撮像画像に基づいて、被写体領域を分離する処理を行う。この処理は、撮像画像における被写体（例えば、選手やボール等）に対応する領域を抽出する処理である。画像処理部２０６は、複数のカメラ１０３により連続する時間において撮像された複数の撮像画像同士を比較することにより、画素値に変化のない領域を検出する。画像処理部２０６は、検出した領域を背景領域であると判定し、背景領域に基づいて背景画像を生成する。また、画像処理部２０６は、生成した背景画像と撮像画像とを比較し、画像値の差が所定の閾値以上である領域を被写体領域であると判定し、被写体領域を抽出し、被写体領域を示す被写体画像を生成する。なお、被写体領域を抽出する方法は上記に限定されない。画像処理部２０６は、例えば、連続する時間において撮像された複数の撮像画像同士を比較し、画素値の変化量が所定の閾値以上である領域を被写体領域として抽出してもよい。 An example of image processing for acquiring image data performed by the image processing unit 206 will be described. The image processing unit 206 performs a process of separating the subject area based on the captured image. This process is a process of extracting a region corresponding to a subject (for example, a player, a ball, etc.) in a captured image. The image processing unit 206 detects a region in which the pixel value does not change by comparing a plurality of captured images captured by the plurality of cameras 103 at continuous times. The image processing unit 206 determines that the detected area is a background area, and generates a background image based on the background area. Further, the image processing unit 206 compares the generated background image with the captured image, determines that the area where the difference between the image values is equal to or greater than a predetermined threshold value is the subject area, extracts the subject area, and sets the subject area. Generate the subject image to be shown. The method of extracting the subject area is not limited to the above. For example, the image processing unit 206 may compare a plurality of captured images captured in continuous time and extract a region in which the amount of change in the pixel value is equal to or greater than a predetermined threshold value as a subject region.

画像処理部２０６は、抽出した被写体領域に基づいて、撮像画像における被写体の領域を示すシルエット画像を生成する。画像処理部２０６は、撮像画像において被写体領域に対応する画素の値を「１」、及び被写体領域以外の領域に対応する画素の値を「０」とすることにより、シルエット画像を生成する。なお、画素値は一例であり、他の値が使用されてもよい。また、画像処理部２０６は、抽出した被写体領域に基づいて、被写体の形状を表す形状データに色付けをするためのテクスチャデータを生成する。テクスチャデータは、撮像画像における被写体領域に対応する画素の値に基づいて生成される。 The image processing unit 206 generates a silhouette image showing the area of the subject in the captured image based on the extracted subject area. The image processing unit 206 generates a silhouette image by setting the value of the pixel corresponding to the subject area to "1" and the value of the pixel corresponding to the area other than the subject area to "0" in the captured image. The pixel value is an example, and other values may be used. Further, the image processing unit 206 generates texture data for coloring the shape data representing the shape of the subject based on the extracted subject area. The texture data is generated based on the pixel values corresponding to the subject area in the captured image.

画像処理部２０６は、被写体の形状を表す形状データを生成する。ここでは、形状データとして、被写体の３次元形状を表す３次元モデルデータが生成されるものとする。本実施形態における３次元モデルデータは、シルエット画像に基づいて、視体積交差法を用いて生成される。以上述べたように、画像処理部２０６は、画像データとして、被写体画像、シルエット画像、テクスチャデータ、及び３次元形状データを生成する。なお、必ずしも画像処理部２０６が上記の画像処理をすべて行う構成でなくてもよい。例えば、画像処理部２０６は、画像データとして、被写体画像、シルエット画像、テクスチャデータ、及び３次元形状データのうち少なくともいずれかを生成する画像処理を行う構成であってもよい。また、画像処理部２０６は、上記の画像処理を行わず、画像データとして撮像画像を扱う構成であってもよい。画像処理部２０６で行われなかった画像処理が画像コンピューティングサーバ１６０で行われる構成でもよい。 The image processing unit 206 generates shape data representing the shape of the subject. Here, it is assumed that three-dimensional model data representing the three-dimensional shape of the subject is generated as the shape data. The three-dimensional model data in the present embodiment is generated by using the visual volume crossing method based on the silhouette image. As described above, the image processing unit 206 generates subject images, silhouette images, texture data, and three-dimensional shape data as image data. It should be noted that the image processing unit 206 does not necessarily have to perform all the above image processing. For example, the image processing unit 206 may be configured to perform image processing that generates at least one of a subject image, a silhouette image, texture data, and three-dimensional shape data as image data. Further, the image processing unit 206 may be configured to handle the captured image as image data without performing the above image processing. The image processing that was not performed by the image processing unit 206 may be performed by the image computing server 160.

また、画像処理部２０６は、キャリブレーションに必要な画像データを、後述するカメラ制御部２０５を介してカメラ１０３から取得し、画像コンピューティングサーバ１６０に送信する機能を有する。画像コンピューティングサーバ１６０は、取得した画像データに基づいて、キャリブレーションに係る演算処理を行う。本実施形態におけるキャリブレーションは、複数のカメラ１０３それぞれに関するパラメータを対応付けて整合をとる処理である。キャリブレーションとしては、例えば、設置された各カメラ１０３が保持する世界座標系がカメラ１０３同士で一致するように調整する処理、及び、カメラ１０３同士の色のばらつきを抑えるための色補正処理などが行われる。 Further, the image processing unit 206 has a function of acquiring image data required for calibration from the camera 103 via the camera control unit 205, which will be described later, and transmitting the image data to the image computing server 160. The image computing server 160 performs arithmetic processing related to calibration based on the acquired image data. The calibration in the present embodiment is a process of associating and matching parameters related to each of the plurality of cameras 103. Calibration includes, for example, a process of adjusting the world coordinate system held by each installed camera 103 so that the cameras 103 match each other, and a color correction process for suppressing color variation between the cameras 103. Will be done.

なお、キャリブレーションの具体的な処理内容はこれに限定されない。また本実施形態ではキャリブレーションに係わる演算処理を画像コンピューティングサーバ１６０で行っているが、演算処理を行う処理部及び装置は画像コンピューティングサーバ１６０に限定されない。例えば、制御端末１８０及び各カメラアダプタ１０１等の他の処理部及び装置においてでキャリブレーションが行われてもよい。また、キャリブレーション処理の一例として、画像データに基づき、予め設定されたパラメータを使用して撮像中にキャリブレーション処理を行う動的キャリブレーションも行われる。 The specific processing content of the calibration is not limited to this. Further, in the present embodiment, the arithmetic processing related to the calibration is performed by the image computing server 160, but the processing unit and the device that perform the arithmetic processing are not limited to the image computing server 160. For example, calibration may be performed in other processing units and devices such as the control terminal 180 and each camera adapter 101. Further, as an example of the calibration process, dynamic calibration is also performed in which the calibration process is performed during imaging using preset parameters based on the image data.

カメラ制御部２０５は、カメラ１０３と接続し、カメラ１０３の制御、撮像画像の取得、同期信号の提供、及び時刻設定などの処理を行う機能を有している。カメラ１０３の制御は、例えば撮像パラメータ（画素数、色深度、フレームレート、及びホワイトバランス等）の設定及び参照、カメラ１０３の状態（撮像中、停止中、同期中、及びエラー状態等）の取得、撮像の開始、停止、及びピント調整の制御等である。同期信号の提供は、時刻同期部２０３がタイムサーバ１０２と同期した時刻を利用し、撮像タイミング（制御クロック）をカメラ１０３に提供することにより行われる。時刻設定は、時刻同期部２０３がタイムサーバ１０２と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードを提供することにより行われる。これにより、カメラ１０３が撮像することにより取得された撮像画像に基づく画像データに、提供したタイムコードが付与される。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されず、他のフォーマットであってもよい。なお、カメラ制御部２０５は、カメラ１０３に対するタイムコードの提供はせず、カメラ１０３から取得した画像データに対してタイムコードを付与してもよい。なお、カメラアダプタ１０１が一以上のカメラ１０３と接続される構成の場合、カメラ制御部２０５は、一以上のカメラ１０３のそれぞれに対して同期信号の提供等の処理を行う。 The camera control unit 205 has a function of connecting to the camera 103 and performing processing such as control of the camera 103, acquisition of a captured image, provision of a synchronization signal, and time setting. The control of the camera 103 is, for example, setting and referring to imaging parameters (number of pixels, color depth, frame rate, white balance, etc.), acquisition of the state of the camera 103 (during imaging, stopped, synchronizing, error status, etc.). , Start and stop of imaging, and control of focus adjustment. The synchronization signal is provided by providing the imaging timing (control clock) to the camera 103 by using the time synchronized with the time server 102 by the time synchronization unit 203. The time setting is performed by providing a time code in which the time synchronization unit 203 synchronizes with the time server 102, for example, in conformity with the SMPTE 12M format. As a result, the provided time code is added to the image data based on the captured image acquired by the camera 103. The time code format is not limited to SMPTE12M, and may be another format. The camera control unit 205 may not provide the time code to the camera 103, but may assign the time code to the image data acquired from the camera 103. When the camera adapter 101 is connected to one or more cameras 103, the camera control unit 205 performs processing such as providing a synchronization signal to each of the one or more cameras 103.

カメラ制御部２０５は、カメラ１０３と接続し、カメラ１０３の制御、撮像画像の取得、同期信号の提供、及び時刻設定などの処理を行う機能を有している。カメラ１０３の制御は、例えば撮像パラメータ（画素数、色深度、フレームレート、及びホワイトバランス等）の設定及び参照、カメラ１０３の状態（撮像中、停止中、同期中、及びエラー状態等）の取得、撮像の開始、停止、及びピント調整の制御等である。なお、本実施形態におけるカメラ制御部２０５は、カメラ１０３を介してピント調整を行うが、例えば取り外し可能なレンズがカメラ１０３に装着されている場合は、カメラアダプタ１０１がレンズに接続され、直接レンズの位置を調整する構成であってもよい。同期信号の提供は、時刻同期部２０３がタイムサーバ１０２と同期した時刻を利用し、撮像タイミング（制御クロック）をカメラ１０３に提供することにより行われる。時刻設定は、時刻同期制御部２３３がタイムサーバ１１０２と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードを提供することにより行われる。これにより、カメラ１０３が撮像することにより取得された撮像画像に、提供したタイムコードが付与される。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されず、他のフォーマットであってもよい。なお、カメラ制御部２０５は、カメラ１０３に対するタイムコードの提供はせず、カメラ１０３から取得した撮像画像に基づく画像データに対してタイムコードを付与してもよい。 The camera control unit 205 has a function of connecting to the camera 103 and performing processing such as control of the camera 103, acquisition of a captured image, provision of a synchronization signal, and time setting. The control of the camera 103 is, for example, setting and referring to imaging parameters (number of pixels, color depth, frame rate, white balance, etc.), acquisition of the state of the camera 103 (during imaging, stopped, synchronizing, error status, etc.). , Start and stop of imaging, and control of focus adjustment. The camera control unit 205 in the present embodiment adjusts the focus via the camera 103. For example, when a removable lens is attached to the camera 103, the camera adapter 101 is connected to the lens and the lens is directly connected. It may be configured to adjust the position of. The synchronization signal is provided by providing the imaging timing (control clock) to the camera 103 by using the time synchronized with the time server 102 by the time synchronization unit 203. The time is set by providing a time code in which the time synchronization control unit 233 synchronizes with the time server 1102, for example, in conformity with the SMPTE 12M format. As a result, the provided time code is added to the captured image acquired by the camera 103. The time code format is not limited to SMPTE12M, and may be another format. The camera control unit 205 may not provide the time code to the camera 103, but may assign the time code to the image data based on the captured image acquired from the camera 103.

次に、タイムサーバ１０２の機能ブロックについて、図３を用いて説明する。図３は、タイムサーバ１０２ａの機能構成を表す図であるが、タイムサーバ１０２ｂも同様の機能構成を有する。タイムサーバ１０２ａは、内部時計３０１、ネットワーク部３０２、時刻同期部３０３、時刻制御部３０４、ＧＰＳ（ＧｒｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）制御部２０５、及び、アンテナ３０６を有する。以下、各処理部について説明する。 Next, the functional block of the time server 102 will be described with reference to FIG. FIG. 3 is a diagram showing the functional configuration of the time server 102a, but the time server 102b also has the same functional configuration. The time server 102a includes an internal clock 301, a network unit 302, a time synchronization unit 303, a time control unit 304, a GPS (Global Positioning System) control unit 205, and an antenna 306. Hereinafter, each processing unit will be described.

内部時計３０１は、例えば、現在時間を保持するハードウェアクロックである。内部時計３０１が保持する建材時間は、後述するＧＰＳ処理部３０５から取得される時刻情報に基づく時刻である。ネットワーク部３０２は、ネットワーク１０５を介して、カメラアダプタ１０１と時刻同期するための同期信号（時刻同期パケット）の送受信を行う。なお、タイムサーバ１０２ａは、ネットワーク１５０によりハブと接続されるが、タイムサーバ１０２ｂは、ネットワーク１１０ａａを介して直接カメラアダプタ１０１と同期信号の送受信を行う。また、ネットワーク部３０２は、例えばＩＥＥＥ１５８８規格に準拠し、カメラアダプタ１０１との間でデータを送受信した時のタイムスタンプを保存する機能を有する。また、内部時計３０１の機能が、ネットワーク部３０２に含まれていてもよい。 The internal clock 301 is, for example, a hardware clock that holds the current time. The building material time held by the internal clock 301 is a time based on time information acquired from the GPS processing unit 305, which will be described later. The network unit 302 transmits and receives a synchronization signal (time synchronization packet) for time synchronization with the camera adapter 101 via the network 105. The time server 102a is connected to the hub by the network 150, and the time server 102b directly transmits and receives a synchronization signal to and from the camera adapter 101 via the network 110aa. Further, the network unit 302 conforms to, for example, the IEEE1588 standard, and has a function of storing a time stamp when data is transmitted / received to / from the camera adapter 101. Further, the function of the internal clock 301 may be included in the network unit 302.

時刻同期部３０３は、例えばＩＥＥＥ１５８８−２００８規格に準拠した方法により、時刻同期パケットを生成する。生成された時刻同期パケットはネットワーク部３０２を介してネットワークに送出され、カメラアダプタ１０１へ送信される。また、時刻同期部３０３はＢＭＣＡを実行し、自身が同期マスターとして動作するか否かを判断する。詳細は後述する。また、時刻同期部３０３はタイマー機能も保持しており、カメラアダプタ１０１との時刻同期処理において使用される。 The time synchronization unit 303 generates a time synchronization packet by, for example, a method conforming to the IEEE1588-2008 standard. The generated time synchronization packet is sent to the network via the network unit 302, and is transmitted to the camera adapter 101. Further, the time synchronization unit 303 executes BMCA and determines whether or not it operates as a synchronization master. Details will be described later. The time synchronization unit 303 also has a timer function, and is used in the time synchronization process with the camera adapter 101.

時刻制御部３０４は、後述するＧＰＳ処理部３０５により取得された時刻情報に基づいて、内部時計３０１の時刻を調整する。本実施形態においては、タイムサーバ１０２ａ及びタイムサーバ１０２ｂは、ＧＰＳ衛星３１０から送信される電波を受信することにより、内部時計３０１の時刻をＧＰＳ衛星３１０と同期させる。これにより、タイムサーバ１０２ａとタイムサーバ１０２ｂとが同一の機能、設定及び処理能力を有する場合、各タイムサーバ１０２における内部時計３０１が保持する時刻はほぼ一致する。したがって、１つのネットワーク内において２つの同期マスターが動作しても、システム内の時刻同期ずれ問題が発生しにくい。 The time control unit 304 adjusts the time of the internal clock 301 based on the time information acquired by the GPS processing unit 305 described later. In the present embodiment, the time server 102a and the time server 102b synchronize the time of the internal clock 301 with the GPS satellite 310 by receiving the radio waves transmitted from the GPS satellite 310. As a result, when the time server 102a and the time server 102b have the same function, setting, and processing capacity, the times held by the internal clock 301 in each time server 102 are substantially the same. Therefore, even if two synchronization masters operate in one network, the problem of time synchronization deviation in the system is unlikely to occur.

ＧＰＳ処理部３０５は、アンテナ３０６を用いて、ＧＰＳ衛星３１０から送信される時刻情報を受信する。なお、本実施形態におけるタイムサーバ１０２は、ＧＰＳ衛星３１０から送信される電波を受信することにより時刻同期を行うものとしたが、時刻同期の方法はこれに限定されない。ただし、システム全体の同期精度を鑑みると、カメラアダプタ１０１とタイムサーバ１０２間の同期精度よりも優れた精度を実現できる方法が望ましい。 The GPS processing unit 305 uses the antenna 306 to receive the time information transmitted from the GPS satellite 310. The time server 102 in the present embodiment performs time synchronization by receiving radio waves transmitted from the GPS satellite 310, but the time synchronization method is not limited to this. However, considering the synchronization accuracy of the entire system, a method capable of achieving an accuracy superior to the synchronization accuracy between the camera adapter 101 and the time server 102 is desirable.

次に、撮像処理のシーケンスについて、図４を用いて説明する。以下の処理は、カメラアダプタ１０１及びタイムサーバ１０２のそれぞれが有するＣＰＵが、ＲＯＭ又は補助記憶装置に記憶されたプログラムを読み出して実行することにより行われる。なお、以下の説明においては、処理ステップのことを単にＳと表記する。タイムサーバ１０２がＧＰＳ衛星３１０から送信される電波を受信すると、処理が開始される。 Next, the sequence of the imaging process will be described with reference to FIG. The following processing is performed by the CPUs of the camera adapter 101 and the time server 102 reading and executing the program stored in the ROM or the auxiliary storage device. In the following description, the processing step is simply referred to as S. When the time server 102 receives the radio wave transmitted from the GPS satellite 310, the process is started.

タイムサーバ１０２は、ＧＰＳ衛星３１０から送信される電波を受信する。タイムサーバ１０２における時刻制御部３０４は、受信した電波に基づいて内部時計３０１の時刻を調整することにより、ＧＰＳ衛星３１０との時刻同期を行う（Ｓ４０１）。カメラアダプタ１０１は、タイムサーバ１０２との間でＰＴＰｖ２（ＰｒｅｃｉｓｉｏｎＴｉｍｅＰｒｏｔｏｃｏｌＶｅｒｓｉｏｎ２）を使用した通信を行い、カメラアダプタ１０１における内部時計２０１の時刻を補正する。これにより、タイムサーバ１０２との時刻同期がされる（Ｓ４０２）。具体的には、カメラアダプタ１０１における時刻同期部２０３が、タイムサーバ１０１から送信される時刻同期パケットに基づいて内部時計２０１の時刻を補正することにより、タイムサーバ１０２との時刻同期がされる。 The time server 102 receives radio waves transmitted from the GPS satellite 310. The time control unit 304 in the time server 102 adjusts the time of the internal clock 301 based on the received radio wave to synchronize the time with the GPS satellite 310 (S401). The camera adapter 101 communicates with the time server 102 using PTPv2 (Precision Time Protocol Version 2) to correct the time of the internal clock 201 in the camera adapter 101. As a result, the time is synchronized with the time server 102 (S402). Specifically, the time synchronization unit 203 of the camera adapter 101 corrects the time of the internal clock 201 based on the time synchronization packet transmitted from the time server 101, so that the time is synchronized with the time server 102.

カメラアダプタ１０１は、カメラ１０３に対して、Ｇｅｎｌｏｃｋ信号や３値同期信号等の同期撮像信号及びタイムコードを提供する（Ｓ４０３）。提供されたタイムコートは、後段の処理においてカメラ１０３が撮像することにより取得された撮像画像に基づく画像データに付与される。なお提供される情報はタイムコードに限定されるものではなく、各画像データを識別できる識別子であれば他の情報でもよい。 The camera adapter 101 provides the camera 103 with a synchronous imaging signal such as a Genlock signal and a ternary synchronous signal, and a time code (S403). The provided time coat is added to the image data based on the captured image acquired by the camera 103 in the subsequent processing. The information provided is not limited to the time code, and other information may be used as long as it is an identifier that can identify each image data.

カメラアダプタ１０１は、カメラ１０３に対して撮像開始指示を行う（Ｓ４０４）。複数のカメラアダプタ１０１はタイムサーバ１０２との時刻同期がされているため、撮像開始のタイミングが同期される。カメラ１０３は、撮像開始指示を受けると、Ｇｅｎｌｏｃｋ信号に同期して撮像を行う（Ｓ４０５）。カメラ１０３は、撮像により取得された撮像画像に対し、Ｓ４０２においてカメラアダプタ１０１から提供されたタイムコードを付与し、撮像画像をカメラアダプタ１０１へ送信する（Ｓ４０６）。 The camera adapter 101 gives an imaging start instruction to the camera 103 (S404). Since the plurality of camera adapters 101 are time-synchronized with the time server 102, the timing of starting imaging is synchronized. Upon receiving the imaging start instruction, the camera 103 performs imaging in synchronization with the Genlock signal (S405). The camera 103 assigns the time code provided by the camera adapter 101 in S402 to the captured image acquired by imaging, and transmits the captured image to the camera adapter 101 (S406).

カメラ１０３が撮像を停止するまで、Ｇｅｎｌｏｃｋ信号に同期した撮像（Ｓ４０５）が行われる。このとき、カメラアダプタ１０１は、撮像途中にタイムサーバ１０２との間でのＰＴＰ時刻補正処理を行い、Ｇｅｎｌｏｃｋ信号の発生タイミングを補正する（Ｓ４０７）。必要な補正量が大きくなる場合は、予め設定された補正量が適用されてもよい。以上の処理を行うことにより、画像処理システム１００における複数のカメラ１０３が行う撮像を同期させることができる。なお、ここでは撮像処理について説明したが、センサシステム１９０がマイクを有する場合、カメラアダプタ１０１は同期撮像信号及びタイムコードをマイクに対して提供し、マイクによる集音を制御することにより、同期集音を実現することが可能である。 Imaging (S405) synchronized with the Genlock signal is performed until the camera 103 stops imaging. At this time, the camera adapter 101 performs PTP time correction processing with the time server 102 during imaging to correct the generation timing of the Genlock signal (S407). When the required correction amount becomes large, a preset correction amount may be applied. By performing the above processing, it is possible to synchronize the imaging performed by the plurality of cameras 103 in the image processing system 100. Although the imaging process has been described here, when the sensor system 190 has a microphone, the camera adapter 101 provides a synchronous imaging signal and a time code to the microphone, and controls sound collection by the microphone to perform synchronous collection. It is possible to realize sound.

次に、タイムサーバ１０２が実行する処理、及び、カメラアダプタ１０１が実行する処理について、図５、６及び７を用いて説明する。なお、後述する処理において、タイムサーバ１０２とカメラアダプタ１０１とが自身の状態を相手の装置に通知するための通知パケットに含まれる情報について先に説明する。通知パケットには、以下の情報が含まれる。
（１）ＧＭＩｄｅｎｔｉｔｙグランドマスター（ＧＭ）の識別コード
（２）ＧＭＰｒｉｏｒｉｔｙ１ＧＭの優先度１
（３）ＧＭＣｌｏｃｋＣｌａｓｓＧＭのトレーサビリティ
（４）ＧＭＣｌｏｃｋＡｃｃｕｒａｃｙＧＭの時刻精度
（５）ＧＭＯｆｆｓｅｔＳｃａｌｅｄＬｏｇＶａｒｉａｎｃｅＧＭの位相揺らぎ
（６）ＧＭＰｒｉｏｒｉｔｙ２ＧＭの優先度２
（７）ＳｔｅｐｓＲｅｍｏｖｅｄＧＭからの接続段数
（８）ＰｏｒｔＩｄｅｎｔｉｔｙポート識別番号
（９）ＰｏｒｔＮｕｍｂｅｒポート番号
これらの情報は、タイムサーバ１０２及びカメラアダプタ１０１がＢＭＣＡを実行するために使用される情報である。以下、各情報について説明する。 Next, the process executed by the time server 102 and the process executed by the camera adapter 101 will be described with reference to FIGS. 5, 6 and 7. In the process described later, the information included in the notification packet for the time server 102 and the camera adapter 101 to notify the other device of their own state will be described first. The notification packet contains the following information:
(1) GM Identity Grandmaster (GM) identification code (2) GM Priority1 GM priority 1
(3) Traceability of GM Lock Class GM (4) Time accuracy of GM Lock Accuracy GM (5) Phase fluctuation of GM OffsetScaled Log Variance GM (6) GM Priority 2 GM priority 2
(7) Number of connection stages from StepsRemoved GM (8) PortIdentity port identification number (9) PortNumber port number These information are information used by the time server 102 and the camera adapter 101 to execute BMCA. Each information will be described below.

（１）は８バイトで構成される情報であり、時刻同期パケットの送信元の装置のＭＡＣアドレスの上位３バイトと下位３バイトを８バイトのうちの最初の３バイト、及び最後の３バイトにマッピングされる。中央の２バイトは０ｘＦＦと０ｘＦＥで設定される。（２）は１バイトで構成される情報であり、複数の装置のうちいずれの装置が同期マスターとして選択されるかの優先度を示す優先度情報である。値が少ないほど優先度が高いことを意味する。 (1) is information composed of 8 bytes, and the upper 3 bytes and the lower 3 bytes of the MAC address of the device that is the source of the time synchronization packet are changed to the first 3 bytes and the last 3 bytes of the 8 bytes. It is mapped. The central 2 bytes are set by 0xFF and 0xFE. (2) is information composed of one byte, and is priority information indicating which device among a plurality of devices is selected as the synchronization master. The smaller the value, the higher the priority.

（３）は１バイトで構成される情報であり、例えば、６はＧＰＳのような第一義的な基本時間ソースに同期していることを意味しており、７は当初は第一義的なソースと同期されていたが、それ以降にソースと同期する能力が失われていることを意味する。（４）は１バイトで構成される情報であり、装置の時刻の精度を示す。例えば、（４）の値が０ｘ２０ｈである場合、時刻誤差が２５ナノ秒否であることが示される。 (3) is information composed of 1 byte, for example, 6 means that it is synchronized with a primary basic time source such as GPS, and 7 is initially primary. It means that it was synchronized with a new source, but has lost the ability to synchronize with the source since then. (4) is information composed of 1 byte, and indicates the accuracy of the time of the device. For example, when the value of (4) is 0x20h, it is shown that the time error is 25 nanoseconds.

（５）は２バイトで構成される情報であり、ＰＴＰ分散の推定値でクロックのアラン分散から導き出される。（６）は１バイトで構成される情報であり、複数の装置間で（２）〜（５）の値が等しい場合に、いずれの装置が同期マスターとして選択されるかの優先度を示す優先度情報である。（６）の値は、（１）と同様に、値が低いほど優先度が高いことを意味する。 (5) is information composed of 2 bytes, which is an estimated value of PTP variance and is derived from the allan variance of the clock. (6) is information composed of one byte, and when the values of (2) to (5) are equal among a plurality of devices, priority is given to indicate which device is selected as the synchronization master. It is degree information. Similar to (1), the value of (6) means that the lower the value, the higher the priority.

（７）は２バイトで構成される情報であり、通知パケットが渡される中継装置の数を示す値が含まれる。ＴＣで動作するカメラアダプタ１０１及びハブ１４０では、（７）の値は変化しない。（８）は１０バイトで構成される情報であり、（１）の情報と、時刻同期パケットの送信者又は受信者が使用したポート番号とから構成される。（９）は、２バイトで構成される情報であり、時刻同期パケットの送信者又は受信者が使用したポート番号を示す値が含まれる。 (7) is information composed of 2 bytes, and includes a value indicating the number of relay devices to which the notification packet is passed. The value of (7) does not change in the camera adapter 101 and the hub 140 that operate in TC. (8) is information composed of 10 bytes, and is composed of the information of (1) and the port number used by the sender or receiver of the time synchronization packet. (9) is information composed of 2 bytes, and includes a value indicating a port number used by the sender or receiver of the time synchronization packet.

以上説明した（１）〜（９）の情報は、ＩＥＥＥ１５８８−２００８に準拠するものであり、ＢＭＣＡが実行される際に使用される。ＢＭＣＡにおいては、（１）〜（９）に含まれる値に基づいて、同期マスターとしてふさわしいか否かの評価が行われる。すなわち、複数の通知パケットが取得された場合、カメラアダプタ１０１は、ＢＭＣＡを実行し、各通知パケットに含まれる（１）〜（９）の値を比較する。これにより、より評価の高い情報を含む通知パケットに対応する装置が、同期マスターとして選択される。ＢＭＣＡの処理においては、まず（１）の値を比較し、（１）の値が異なる場合、（２）、（３）、（４）、（５）、（６）の順番で値の比較が行われる。このとき、例えば（２）の値が異なる場合は、より評価の高い値を含む通知パケットに対応する装置が同期マスターとして選択され、（２）の値が等しい場合は（３）の比較を行う、というように処理が進む。（３）、（４）、（５）、（６）についても同様に、値が等しい場合はその時点で同期マスターが選択され、値が異なる場合に次の値の比較が行われる。なお、（６）の値も等しい場合は、（１）の値が小さい方の通知パケットに対応する装置が同期マスターとして選択される。（１）の値が等しい場合は、（７）、（８）、（９）の値の比較が行われる。 The information in (1) to (9) described above conforms to IEEE1588-2008 and is used when BMCA is executed. In BMCA, evaluation is performed based on the values included in (1) to (9) as to whether or not it is suitable as a synchronization master. That is, when a plurality of notification packets are acquired, the camera adapter 101 executes BMCA and compares the values (1) to (9) included in each notification packet. As a result, the device corresponding to the notification packet containing the more highly evaluated information is selected as the synchronization master. In the BMCA process, the values of (1) are first compared, and if the values of (1) are different, the values are compared in the order of (2), (3), (4), (5), (6). Is done. At this time, for example, if the values of (2) are different, the device corresponding to the notification packet containing the higher evaluation value is selected as the synchronization master, and if the values of (2) are equal, the comparison of (3) is performed. , And so on. Similarly, for (3), (4), (5), and (6), if the values are the same, the synchronization master is selected at that time, and if the values are different, the next value comparison is performed. If the value of (6) is also the same, the device corresponding to the notification packet having the smaller value of (1) is selected as the synchronization master. When the values of (1) are equal, the values of (7), (8), and (9) are compared.

まず、図５及び６を用いて、タイムサーバ１０２が行う処理について説明する。以下の処理は、タイムサーバ１０２が有するＣＰＵがＲＯＭ又は補助記憶装置に記憶されたプログラムを読み出して実行することにより行われる。図５及び６に示す処理は、タイムサーバ１０２の電源が投入され、ユーザ操作等に基づいて処理の開始が指示されることにより、開始される。また、本フローが終了し、再度処理を実行するための指示がされた場合も開始される。 First, the process performed by the time server 102 will be described with reference to FIGS. 5 and 6. The following processing is performed by the CPU of the time server 102 reading and executing the program stored in the ROM or the auxiliary storage device. The processing shown in FIGS. 5 and 6 is started when the power of the time server 102 is turned on and the start of the processing is instructed based on a user operation or the like. It also starts when this flow ends and an instruction is given to execute the process again.

Ｓ５０１において、タイムサーバ１０２は、図４に示すＳ４０１において行われる、ＧＰＳ衛星３１０との時刻同期を行う。ＧＰＳ衛星３１０との時刻同期が完了すると、タイムサーバ１０２はリスニング状態となる。Ｓ５０２において、タイムサーバ１０２は、ネットワーク１５０あるいはネットワーク１１０ａａを介して、通知パケットを送信する。通知パケットにはタイムサーバ１０２自身の状態に関する情報（１）〜（９）が含まれる。通知パケットとしては、例えば、ＩＥＥＥ１５８８−２００８規格のＡｎｎｏｕｎｃｅパケット等が使用される。以降の説明において、断りが無い場合、通知パケットのフォーマットはＩＥＥＥ１５８８−２００８規格のＡｎｎｏｕｎｃｅパケットであるものとする。 In S501, the time server 102 performs time synchronization with the GPS satellite 310, which is performed in S401 shown in FIG. When the time synchronization with the GPS satellite 310 is completed, the time server 102 is in the listening state. In S502, the time server 102 transmits a notification packet via the network 150 or the network 110aa. The notification packet contains information (1) to (9) regarding the state of the time server 102 itself. As the notification packet, for example, an Unknown packet of the IEEE1588-2008 standard is used. In the following description, unless otherwise specified, the format of the notification packet is assumed to be the Answer packet of the IEEE1588-2008 standard.

Ｓ５０３において、タイムサーバ１０２は、通知用タイマーを初期化し、通知用タイマーを開始する。Ｓ５０４において、タイムサーバ１０２は、Ｓ５０２において自身が送信した通知パケットに含まれる情報よりも評価の高い情報を含む通知パケットを受信したか否かを判定する。通知パケットに含まれる情報の評価にはＢＭＣＡが使用されるものとする。より評価の高い情報を含む通知パケットを受信した場合、Ｓ５１７へ処理が進み、受信しなかった場合はＳ５０５へ処理が進む。 In S503, the time server 102 initializes the notification timer and starts the notification timer. In S504, the time server 102 determines whether or not a notification packet containing information having a higher evaluation than the information included in the notification packet transmitted by itself in S502 has been received. BMCA shall be used to evaluate the information contained in the notification packet. When a notification packet containing more highly evaluated information is received, the process proceeds to S517, and when it is not received, the process proceeds to S505.

Ｓ５０５において、タイムサーバ１０２は、Ｓ５０３で開始した通知用タイマーが発火したか否かを判定する。通知用タイマーが発火した場合はＳ５０６へ処理が進み、発火していない場合はＳ５０９へ処理が進む。Ｓ５０６において、タイムサーバ１０２は、自身がリスニング状態であるか否かを判定する。タイムサーバ１０２がリスニング状態である場合、Ｓ５０７へ処理進み、リスニング状態でない場合はＳ５０２へ進む。 In S505, the time server 102 determines whether or not the notification timer started in S503 has fired. If the notification timer fires, the process proceeds to S506, and if it does not fire, the process proceeds to S509. In S506, the time server 102 determines whether or not it is in the listening state. If the time server 102 is in the listening state, the process proceeds to S507, and if the time server 102 is not in the listening state, the process proceeds to S502.

Ｓ５０７において、タイムサーバ１０２は、自身のステータスをグランドマスタ状態へ移行させる。グランドマスタ状態とは、時刻同期における同期マスターとして動作する状態であることを示す。タイムサーバ１０２がグランドマスタ状態に移行すると、Ｓ５０８へ処理が進む。Ｓ５０８において、タイムサーバ１０２は、Ｓｙｎｃ用タイマーを初期化し、Ｓｙｎｃ用タイマーを開始する。 In S507, the time server 102 shifts its status to the grand master state. The grand master state indicates that the state operates as a synchronization master in time synchronization. When the time server 102 shifts to the grand master state, the process proceeds to S508. In S508, the time server 102 initializes the Sync timer and starts the Sync timer.

Ｓ５０９において、タイムサーバ１０２は、Ｓｙｎｃ用タイマーが発火したか否かを判定する。Ｓｙｎｃ用タイマーが発火した場合はＳ５１０へ処理が進み、発火していない場合はＳ５１３へ処理が進む。Ｓ５１０において、タイムサーバ１０２は、ネットワーク１５０あるいはネットワーク１１０ａａを介してＳｙｎｃパケットを送信し、送信した時刻を保持する。送信した時刻の取得には、ネットワーク部３０２のタイムスタンプ機能が利用される。Ｓｙｎｃパケットとしては、例えば、ＩＥＥＥ１５８８−２００８規格のＳｙｎｃパケット等が使用される。なお、Ｓｙｎｃパケットの送信は、マルチキャスト送信であるものとするが、ユニキャスト送信であっても良い。一般的に、ユニキャスト送信の場合、タイムサーバ１０２の処理負荷が増加する。以降の説明において、断りが無い場合、ＳｙｎｃパケットはＩＥＥＥ１５８８−２００８規格のＳｙｎｃパケットであるものとする。 In S509, the time server 102 determines whether or not the Sync timer has fired. If the Sync timer fires, the process proceeds to S510, and if it does not fire, the process proceeds to S513. In S510, the time server 102 transmits a Sync packet via the network 150 or the network 110aa, and holds the transmitted time. The time stamp function of the network unit 302 is used to acquire the transmitted time. As the Sync packet, for example, an IEEE1588-2008 standard Sync packet or the like is used. The Sync packet transmission is assumed to be multicast transmission, but may be unicast transmission. Generally, in the case of unicast transmission, the processing load of the time server 102 increases. In the following description, unless otherwise specified, the Sync packet is assumed to be an IEEE1588-2008 standard Sync packet.

Ｓ５１１において、タイムサーバ１０２は、Ｓ５０８と同様にＳｙｎｃ用タイマーを初期化し、Ｓｙｎｃ用タイマーを開始する。Ｓ５１２において、タイムサーバ１０２は、ネットワーク１５０あるいはネットワーク１１０ａａを介して、Ｓ５１０で保持した送信時刻が付与されたＦｏｌｌｏｗ＿Ｕｐパケットを送信する。なお、Ｆｏｌｌｏｗ＿Ｕｐパケットはマルチキャスト送信されるものとするが、ユニキャスト送信であってもかまわない。Ｆｏｌｌｏｗ＿Ｕｐパケットとしては、例えばＩＥＥＥ１５８８−２００８規格のＦｏｌｌｏｗ＿Ｕｐパケット等が使用される。以降の説明においては、断りが無い場合、Ｆｏｌｌｏｗ＿ＵｐパケットはＩＥＥＥ１５８８−２００８規格のＦｏｌｌｏｗ＿Ｕｐパケットであるものとする。 In S511, the time server 102 initializes the Sync timer and starts the Sync timer in the same manner as in S508. In S512, the time server 102 transmits the Follow_Up packet with the transmission time held in S510 via the network 150 or the network 110aa. The Follow_Up packet is assumed to be multicast-transmitted, but may be unicast-transmitted. As the Follow_Up packet, for example, an IEEE1588-2008 standard Follow_Up packet or the like is used. In the following description, unless otherwise specified, the Follow_Up packet is assumed to be an IEEE1588-2008 standard Follow_Up packet.

Ｓ５１３において、タイムサーバ１０２は、自身が送信する時刻同期パケットに基づいて時刻同期を行うカメラアダプタ１０１から、ＤｅｌａｙＲｅｑパケットを受信したか否かを判定する。タイムサーバ１０２がＤｅｌａｙＲｅｑパケット受信した場合、Ｓ５１４へ処理が進み、受信しなかった場合はＳ５１６へ処理が進む。なお、ＤｅｌａｙＲｅｑパケットとしては、例えば、ＩＥＥＥ１５８８−２００８規格のＤｅｌａｙＲｅｑｕｅｓｔパケット等が使用される。以降の説明においては、断りが無い場合、ＤｅｌａｙＲｅｑパケットはＩＥＥＥ１５８８−２００８規格のＤｅｌａｙＲｅｑｕｅｓｔパケットであるものとする。また、以降の説明において、同期マスターが生成する時刻同期パケットに基づいて時刻同期を行う装置（本実施形態におけるカメラアダプタ１０２）を、同期スレーブともいう。 In S513, the time server 102 determines whether or not the DelayReq packet is received from the camera adapter 101 that synchronizes the time based on the time synchronization packet transmitted by the time server 102. If the time server 102 receives the DelayReq packet, the process proceeds to S514, and if it does not receive it, the process proceeds to S516. As the Delay Request packet, for example, a Delay Request packet of the IEEE1588-2008 standard is used. In the following description, unless otherwise specified, the DelayReq packet is assumed to be a Delay Request packet of the IEEE1588-2008 standard. Further, in the following description, the device (camera adapter 102 in the present embodiment) that performs time synchronization based on the time synchronization packet generated by the synchronization master is also referred to as a synchronization slave.

Ｓ５１４において、タイムサーバ１０２は、Ｓ５１３で受信したＤｅｌａｙＲｅｑパケットの受信時刻を保持する。受信時刻の取得には、ネットワーク部３０２のタイムスタンプ機能が利用される。Ｓ５１５において、タイムサーバ１０２は、Ｓ５１４で保持した受信時刻が付与されたＤｅｌａｙＲｅｓｐパケットを送信する。送信先は、ＤｅｌａｙＲｅｑパケットの送信元の同期スレーブである。なお、ＤｅｌａｙＲｅｓｐパケットとしては、例えば、ＩＥＥＥ１５８８−２００８規格のＤｅｌａｙＲｅｓｐｏｎｃｅパケット等が使用される。以降の説明において、断りが無い場合、ＤｅｌａｙＲｅｓｐパケットはＩＥＥＥ１５８８−２００８規格のＤｅｌａｙＲｅｓｐｏｎｃｅパケットであるものとする。 In S514, the time server 102 holds the reception time of the DelayReq packet received in S513. The time stamp function of the network unit 302 is used to acquire the reception time. In S515, the time server 102 transmits the DelayResp packet to which the reception time held in S514 is added. The destination is a synchronous slave that is the source of the DelayReq packet. As the DelayResp packet, for example, a Delay Response packet of the IEEE1588-2008 standard is used. In the following description, unless otherwise specified, the DelayResp packet is assumed to be an IEEE1588-2008 standard Delay Response packet.

Ｓ５１６において、タイムサーバ１０２は、ユーザ操作等により処理の終了が指示されたか否かを判定する。処理の終了が指示された場合、本処理は終了し、そうでない場合は、Ｓ５０４へ処理が進む。 In S516, the time server 102 determines whether or not the end of the process is instructed by a user operation or the like. If the end of the process is instructed, the present process ends, and if not, the process proceeds to S504.

図６に示す処理は、図５におけるＳ５０４から分岐する処理を示す。Ｓ５１７において、タイムサーバ１０２は、自身のステータスをスレーブ状態へ移行させる。スレーブ状態とは、自身を同期スレーブとして動作させる状態を示し、スレーブ状態のタイムサーバ１０２は同期マスターとの時刻同期を行う。Ｓ５１８において、タイムサーバ１０２は、Ｓｙｎｃ用タイマー及び通知用タイマーを停止させる。Ｓ５１９において、タイムサーバ１０２は、一定時間内に、自身が送信する通知パケットに含まれる情報よりも評価の高い通知パケットが受信されたか否かを判定する。評価の高い通知パケットが一定時間受信されない場合、Ｓ５０７へ処理が進み、一定時間内に受信された場合はＳ５２０へ処理が進む。一定時間の測定の際、タイムサーバ１０２は、Ｓ５１８において停止されたＳｙｎｃ用タイマー及び通知用タイマーのいずれかを動作させて時間の測定を行う構成であってもよいし、時間測定用の他のタイマーを使用する構成であってもよい。また、通知パケットに含まれる情報の評価は、ＢＭＣＡを実行することにより行われる。 The process shown in FIG. 6 shows a process of branching from S504 in FIG. In S517, the time server 102 shifts its status to the slave state. The slave state indicates a state in which the server itself operates as a synchronous slave, and the time server 102 in the slave state synchronizes the time with the synchronization master. In S518, the time server 102 stops the Sync timer and the notification timer. In S519, the time server 102 determines whether or not a notification packet having a higher evaluation than the information included in the notification packet transmitted by itself has been received within a certain period of time. If the highly evaluated notification packet is not received for a certain period of time, the process proceeds to S507, and if it is received within a certain period of time, the process proceeds to S520. At the time of measurement for a certain period of time, the time server 102 may be configured to operate either the Sync timer or the notification timer stopped in S518 to measure the time, or the other for time measurement. It may be configured to use a timer. Further, the evaluation of the information included in the notification packet is performed by executing BMCA.

Ｓ５２０において、タイムサーバ１０２は、ユーザ操作等により処理の終了が指示されたか否かを判定する。処理の終了が指示された場合、本処理は終了し、そうでない場合は、Ｓ５１９へ処理が進む。 In S520, the time server 102 determines whether or not the end of the process is instructed by a user operation or the like. If the end of the process is instructed, the present process ends, and if not, the process proceeds to S519.

以上説明したように、タイムサーバ１０１は、同期マスターとして一定間隔でＳｙｎｃパケット等の時刻同期パケットの送信を行うことにより、同期スレーブとなるカメラアダプタ１０１との時刻同期を実現する。 As described above, the time server 101 realizes time synchronization with the camera adapter 101, which is a synchronization slave, by transmitting time synchronization packets such as Sync packets at regular intervals as a synchronization master.

次に、カメラアダプタ１０１が実行する処理について、図７を用いて説明する。図７の処理は、カメラアダプタ１０１が同期マスターを設定するための処理を説明するためのフローチャートである。以下の処理は、カメラアダプタ１０１が有するＣＰＵ１４０１がＲＯＭ１４０２又は補助記憶装置１４０４に記憶されたプログラムを読み出して実行することにより行われる。図７の処理は、カメラアダプタ１０１の電源が投入され、ユーザ操作等に基づいて処理の開始が指示されることにより開始される。また、本フローが終了し、再度処理を実行するための指示がされた場合も開始される。 Next, the process executed by the camera adapter 101 will be described with reference to FIG. 7. The process of FIG. 7 is a flowchart for explaining the process for the camera adapter 101 to set the synchronization master. The following processing is performed by the CPU 1401 of the camera adapter 101 reading and executing the program stored in the ROM 1402 or the auxiliary storage device 1404. The process of FIG. 7 is started when the power of the camera adapter 101 is turned on and the start of the process is instructed based on a user operation or the like. It also starts when this flow ends and an instruction is given to execute the process again.

Ｓ７０１において、カメラアダプタ１０１は、システムの時刻同期を実現するための初期化処理を行う。ここで行われる初期化処理は、例えばネットワーク部２０２のレジスタ設定等を含む。本処理を終了した時点では、自身が時刻同期する同期マスターは設定されていない。Ｓ７０２において、カメラアダプタ１０１は、通知パケットを受信したか否かを判定する。カメラアダプタ１０１が通知パケットを受信した場合、Ｓ７０３へ処理が進み、通知パケットを受信しなかった場合は、Ｓ７１０へ処理が進む。 In S701, the camera adapter 101 performs an initialization process for realizing system time synchronization. The initialization process performed here includes, for example, register setting of the network unit 202. At the end of this process, the synchronization master that synchronizes the time with itself has not been set. In S702, the camera adapter 101 determines whether or not the notification packet has been received. If the camera adapter 101 receives the notification packet, the process proceeds to S703, and if the camera adapter 101 does not receive the notification packet, the process proceeds to S710.

Ｓ７０３において、カメラアダプタ１０１は、同期マスターが設定されているか否かを判定する。同期マスターが設定されている場合、Ｓ７０５へ処理が進み、設定されていない場合、Ｓ７０４へ処理が進む。Ｓ７０４において、カメラアダプタ１０１は、Ｓ７０２で受信した通知パケットの送信元のタイムサーバ１０２を同期マスターとして設定する。例えば、同期マスターが設定されていない段階で、タイムサーバ１０２ａから送信された通知パケットをカメラアダプタ１０１が受信した場合、当該カメラアダプタ１０１の同期マスターとして、タイムサーバ１０２ａが設定される。すなわち、カメラアダプタ１０１は、同期マスターが設定されていない段階で、タイムサーバ１０２ａ及びタイムサーバ１０２ｂのいずれか一方から通知パケットを受信すると、通知パケットの送信元を同期マスターとして設定する。 In S703, the camera adapter 101 determines whether or not the synchronization master is set. If the synchronization master is set, the process proceeds to S705, and if it is not set, the process proceeds to S704. In S704, the camera adapter 101 sets the time server 102, which is the source of the notification packet received in S702, as the synchronization master. For example, when the camera adapter 101 receives the notification packet transmitted from the time server 102a when the synchronization master is not set, the time server 102a is set as the synchronization master of the camera adapter 101. That is, when the camera adapter 101 receives a notification packet from either the time server 102a or the time server 102b when the synchronization master is not set, the camera adapter 101 sets the source of the notification packet as the synchronization master.

Ｓ７０５において、カメラアダプタ１０１は、Ｓ７０２で受信した通知パケットの送信元のタイムサーバ１０２が、設定されている同期マスターであるか否かを判定する。送信元のタイムサーバ１０２が同期マスターである場合、Ｓ７０７へ処理が進み、同期マスターでない場合、Ｓ７０６へ処理が進む。Ｓ７０６では、ＢＭＣＡを実行することにより、受信した通知パケットに含まれる情報と、過去に受信した通知パケットに含まれる情報とを比較し、評価の高い情報を含む通知パケットを特定する。なお、過去に受信した通知パケットに含まれる情報は、後述するＳ７０７において保持される情報である。Ｓ７０６における処理が行われることにより、同期マスターが更新される。Ｓ７０７において、カメラアダプタ１０１は、Ｓ７０２において受信した通知パケットに含まれる情報を変更する。ただし、次にＢＭＣＡを実行するために、変更前の情報を保持する。ここで保持される情報は、再度Ｓ７０６の処理が行われる際に使用される。 In S705, the camera adapter 101 determines whether or not the time server 102, which is the source of the notification packet received in S702, is the set synchronization master. If the source time server 102 is the synchronization master, the process proceeds to S707, and if it is not the synchronization master, the process proceeds to S706. In S706, by executing BMCA, the information included in the received notification packet is compared with the information contained in the previously received notification packet, and the notification packet containing the highly evaluated information is specified. The information included in the notification packet received in the past is the information held in S707 described later. The synchronization master is updated by performing the process in S706. In S707, the camera adapter 101 changes the information included in the notification packet received in S702. However, in order to execute BMCA next time, the information before the change is retained. The information held here is used when the processing of S706 is performed again.

Ｓ７０７において行われる情報の変更について説明する。通知パケットに含まれる情報のうち（２）〜（６）は、タイムサーバ１０２の初期化処理（Ｓ５０１）が終了した段階では、タイムサーバ１０２ａとタイムサーバ１０２ｂとで同一の値になるように調整されているものとする。ただし、初期化処理（Ｓ５０１）においてＧＰＳ衛星３１０と時刻同期が出来なかったタイムサーバ１０２が存在する場合は、異なる値となる。（６）はシステムの構成を加味して予め調整された値が設定されることが望ましい。本実施形態における画像処理システム１００では、タイムサーバ１０２ａはハブ１４０を介してカメラアダプタ１０１と接続する一方で、タイムサーバ１０２ｂは直接カメラアダプタ１０１と接続している。この場合、例えば、ハブ１４０の同期能力がカメラアダプタ１０１と同等であるものとし、タイムサーバ１０２ａに対応する通知パケットに含まれる（６）の値は、タイムサーバ１０２ｂに対応する通知パケットに含まれる（６）の値よりも１多いものとする。このように、ネットワーク構成が対称でない場合に（６）を事前調整しておくことで、カメラアダプタ１０１の同期マスターが切り替わる境界を変更することが可能となる。なお、調整量は、本実施形態のように、タイムサーバ１０２とカメラアダプタ１０１とを接続する通信経路に含まれる装置（例えば、ハブ１４０等）の数により決定されてもよいし、通信経路に含まれる装置の同期能力に応じて決定されてもよい。また、タイムサーバ１０２ａとタイムサーバ１０２ｂとで（６）の値が同一であってもよい。 The change of information made in S707 will be described. Of the information included in the notification packet, (2) to (6) are adjusted so that the time server 102a and the time server 102b have the same value when the initialization process (S501) of the time server 102 is completed. It is assumed that it has been done. However, if there is a time server 102 that could not be time-synchronized with the GPS satellite 310 in the initialization process (S501), the values will be different. For (6), it is desirable that a value adjusted in advance is set in consideration of the system configuration. In the image processing system 100 of the present embodiment, the time server 102a is connected to the camera adapter 101 via the hub 140, while the time server 102b is directly connected to the camera adapter 101. In this case, for example, assuming that the synchronization capability of the hub 140 is equivalent to that of the camera adapter 101, the value of (6) included in the notification packet corresponding to the time server 102a is included in the notification packet corresponding to the time server 102b. It shall be one more than the value of (6). By adjusting (6) in advance when the network configuration is not symmetrical in this way, it is possible to change the boundary at which the synchronization master of the camera adapter 101 is switched. The adjustment amount may be determined by the number of devices (for example, hub 140, etc.) included in the communication path connecting the time server 102 and the camera adapter 101 as in the present embodiment, or may be determined by the communication path. It may be determined according to the synchronization capability of the included device. Further, the value of (6) may be the same between the time server 102a and the time server 102b.

本実施形態においては、Ｓ７０７で変更されるのは、（６）の値である。カメラアダプタ１０１は、受信した通知パケットに含まれる（６）の値を１インクリメントする。ＩＥＥＥ１５８８−２００８規格のＢＭＣＡにおいては、通知パケットに含まれる（３）〜（５）の値はタイムサーバ１０２の同期能力の良し悪しを示す。同期能力の異なるタイムサーバ１０２を同一ネットワーク上で複数台運用してしまうと、システム全体での同期精度が悪くなる恐れがある。したがって、本実施形態においてはタイムサーバ１０２ａとタイムサーバ１０２ｂとが同一の機能、設定及び処理能力を有するものとし、ＢＭＣＡによって（２）〜（５）までが等しいことを確認してから（６）を比較する。（６）の値は、通知パケットがカメラアダプタ１０１に送信される度に１インクリメントされ、デイジーチェーン接続される次のカメラアダプタ１０１に送信される。すなわち、（６）は同期信号が送信される通信経路に含まれるカメラアダプタ１０１の数に相当する値となる。 In the present embodiment, what is changed in S707 is the value of (6). The camera adapter 101 increments the value of (6) included in the received notification packet by 1. In the BMCA of the IEEE1588-2008 standard, the values (3) to (5) included in the notification packet indicate the quality of the synchronization ability of the time server 102. If a plurality of time servers 102 having different synchronization capacities are operated on the same network, the synchronization accuracy of the entire system may deteriorate. Therefore, in the present embodiment, it is assumed that the time server 102a and the time server 102b have the same function, setting, and processing capacity, and after confirming by BMCA that (2) to (5) are equal, (6) To compare. The value of (6) is incremented by 1 each time the notification packet is transmitted to the camera adapter 101, and is transmitted to the next camera adapter 101 connected in a daisy chain. That is, (6) is a value corresponding to the number of camera adapters 101 included in the communication path to which the synchronization signal is transmitted.

ＢＭＣＡにおいては、（２）〜（５）の値が同一である場合、（６）の値がより小さい方の通知パケットの送信元が同期マスターとして決定される。この構成により、複数のタイムサーバ１０２を有するネットワークにおいて、各カメラアダプタ１０１は自身とタイムサーバ１０２とを接続する通信経路に含まれる装置の数がより少ない方のタイムサーバ１０２を同期マスターとして決定することが可能となる。本実施形態では、タイムサーバ１０２ａと通信するための通信経路（ここでは、第１の通信経路とする）と、タイムサーバ１０２ｂと通信するための通信経路（ここでは、第２の通信経路とする）について、通信経路に含まれる装置の数が比較される。第１の通信経路に含まれる装置の数が、第２の通信経路に含まれる装置の数未満である場合、カメラアダプタ１０１は、タイムサーバ１０２ａを同期マスターとし、タイムサーバ１０２ａから送信される同期信号に基づいて時刻同期を行う。また、第１の通信経路に含まれる装置の数が、第２の通信経路に含まれる装置の数以上である場合、カメラアダプタ１０１は、タイムサーバ１０２ｂを同期マスターとし、タイムサーバ１０２ｂから送信される同期信号に基づいて時刻同期を行う。なお、（６）の値（通信経路に含まれる装置の数）が同一であった場合の処理については、タイムサーバ１０２ａを同期マスターとする構成であってもよい。このような構成により、本実施形態における画像処理システム１００は、同期マスターが１台のみのシステムよりも同期精度を向上させることができる。 In BMCA, when the values of (2) to (5) are the same, the source of the notification packet having the smaller value of (6) is determined as the synchronization master. With this configuration, in a network having a plurality of time servers 102, each camera adapter 101 determines the time server 102 having a smaller number of devices included in the communication path connecting itself and the time server 102 as the synchronization master. It becomes possible. In the present embodiment, a communication path for communicating with the time server 102a (here, the first communication path) and a communication path for communicating with the time server 102b (here, the second communication path). ), The number of devices included in the communication path is compared. When the number of devices included in the first communication path is less than the number of devices included in the second communication path, the camera adapter 101 uses the time server 102a as the synchronization master, and the synchronization transmitted from the time server 102a. Time synchronization is performed based on the signal. When the number of devices included in the first communication path is equal to or greater than the number of devices included in the second communication path, the camera adapter 101 is transmitted from the time server 102b with the time server 102b as the synchronization master. Time synchronization is performed based on the synchronization signal. Regarding the processing when the value of (6) (the number of devices included in the communication path) is the same, the time server 102a may be used as the synchronization master. With such a configuration, the image processing system 100 in the present embodiment can improve the synchronization accuracy as compared with the system having only one synchronization master.

なお、Ｓ７０７において（２）の値を変更した場合、（２）の値が小さい通知パケットに対応するタイムサーバ１０２が常に同期マスターとして設定される。これは、ＢＭＣＡにおいて情報の評価が行われる場合に、（２）が優先して評価される為である。この構成の場合、例えば同期マスターとして設定されたタイムサーバ１０２ａに不具合が生じ、ＧＰＳ衛星３１０との時刻同期が行えなくなっても、継続してタイムサーバ１０２ａが同期マスターとして設定されるということが起こりうる。これにより、十区の精度の低いタイムサーバ１０２ａとカメラアダプタ１０１とが同期され、システム全体の同期精度が低下する可能性がある。このような状況を回避するため、本実施形態においては、Ｓ７０７で変更される情報は（６）の値であるものとする。 When the value of (2) is changed in S707, the time server 102 corresponding to the notification packet having a small value of (2) is always set as the synchronization master. This is because (2) is prioritized and evaluated when the information is evaluated in BMCA. In the case of this configuration, for example, even if a problem occurs in the time server 102a set as the synchronization master and the time synchronization with the GPS satellite 310 cannot be performed, the time server 102a may be continuously set as the synchronization master. sell. As a result, the time server 102a with low accuracy in the ten districts and the camera adapter 101 may be synchronized, and the synchronization accuracy of the entire system may decrease. In order to avoid such a situation, in the present embodiment, the information changed in S707 is the value of (6).

なお、Ｓ７０７において（６）の値が２５４である場合、カメラアダプタ１０１インクリメントを実施しない。（６）の値が２５５である場合、対応する通知パケットの送信元のタイムサーバ１０２は同期マスターになれないことを示すため、（６）のインクリメントは２５４までとする。これにより、タイムサーバ１０２のそれぞれが同期マスターになりうる状態となる。 When the value of (6) is 254 in S707, the camera adapter 101 increment is not performed. When the value of (6) is 255, the increment of (6) is limited to 254 in order to indicate that the time server 102 of the source of the corresponding notification packet cannot be the synchronization master. As a result, each of the time servers 102 can be a synchronization master.

Ｓ７０８において、カメラアダプタ１０１は、Ｓ７０７で変更した通知パケットを、ネットワーク１１０を介して、デイジーチェーン接続された下流のカメラアダプタ１０１に送信する。これにより、下流のカメラアダプタ１０１は、優先度情報（６）が変更された通知パケットを取得し、取得した通知パケットに基づいて同期マスターを決定売る処理を行うことが可能になる。Ｓ７０９において、カメラアダプタ１０１は、現在設定されている同期マスターを解除するためのタイマーを初期化し、タイマーを開始する。Ｓ７１０において、カメラアダプタ１０１は、Ｓ７０９で開始したタイマーが発火したか否かを判定する。タイマーが発火した場合、Ｓ７１１へ処理が進み、タイマーが発火していない場合、Ｓ７１２へ処理が進む。Ｓ７１１において、カメラアダプタ１０１は、現在設定されているベストマスターを解除する。同期マスターとなったタイムサーバ１０２は一定時間ごとに通知パケットを送り続ける。このとき、同期マスターから通知パケットが届かなくなった場合は、その同期マスターに不具合が発生している可能性がある。したがって、通知パケットが受信できなくなった場合に新たに同期マスターをシステム内に設定するため、Ｓ７０９〜Ｓ７１１の処理が行われる。 In S708, the camera adapter 101 transmits the notification packet changed in S707 to the downstream camera adapter 101 connected in a daisy chain via the network 110. As a result, the downstream camera adapter 101 can acquire the notification packet whose priority information (6) has been changed, and can perform the process of determining and selling the synchronization master based on the acquired notification packet. In S709, the camera adapter 101 initializes a timer for canceling the currently set synchronization master, and starts the timer. In S710, the camera adapter 101 determines whether or not the timer started in S709 has ignited. If the timer fires, the process proceeds to S711, and if the timer does not fire, the process proceeds to S712. In S711, the camera adapter 101 releases the currently set best master. The time server 102 that has become the synchronization master continues to send notification packets at regular intervals. At this time, if the notification packet does not arrive from the synchronization master, there is a possibility that the synchronization master has a problem. Therefore, when the notification packet cannot be received, the processes of S709 to S711 are performed in order to newly set the synchronization master in the system.

Ｓ７１２において、カメラアダプタ１０１は、ユーザ操作等による処理終了の指示がされたか否かを判定する。処理の終了が指示された場合、カメラアダプタ１０１は処理を終了し、処理の終了の指示がない場合は、Ｓ７０２以降の処理を再度実行する。 In S712, the camera adapter 101 determines whether or not a process end instruction has been given by a user operation or the like. When the end of the process is instructed, the camera adapter 101 ends the process, and if there is no instruction to end the process, the process after S702 is executed again.

以上説明したように、カメラアダプタ１０１は、受信した通知パケットに含まれる情報を変更し、他のカメラアダプタ１０１に送信する。デイジーチェーン接続においては、カメラアダプタ１０１は、タイムサーバ１０１ａから送信される通知パケットと、タイムサーバ１０１ｂから送信される通知パケットとの両方を取得しうる。この場合に、ＢＭＣＡを実行し、通知パケットの（６）の値に基づいて、同期マスターを決定する。この構成により、カメラアダプタ１０１は、複数のタイムサーバ１０２のうち、同期信号を取得する通信経路に含まれる他の装置（ハブやカメラアダプタ１０２等）がより少ない方のタイムサーバ１０２を同期マスターとして設定することが可能となる。したがって、本実施形態における画像処理システム１００は、複数の同期マスターを有することにより、システム全体の同期精度を向上させることができる。 As described above, the camera adapter 101 changes the information included in the received notification packet and transmits it to another camera adapter 101. In the daisy chain connection, the camera adapter 101 may acquire both the notification packet transmitted from the time server 101a and the notification packet transmitted from the time server 101b. In this case, BMCA is executed and the synchronization master is determined based on the value of (6) of the notification packet. With this configuration, the camera adapter 101 uses the time server 102, which has fewer other devices (hub, camera adapter 102, etc.) included in the communication path for acquiring the synchronization signal, as the synchronization master among the plurality of time servers 102. It becomes possible to set. Therefore, the image processing system 100 in the present embodiment can improve the synchronization accuracy of the entire system by having a plurality of synchronization masters.

次に、カメラアダプタ１０１が同期信号を受信したときのフローについて、図８を用いて説明する。図８は、カメラアダプタ１０１がタイムサーバ１０２と時刻同期を行うための処理を説明するためのフローチャートである。なお、以下の説明においては、カメラアダプタ１０１は、同期信号として、時刻同期パケットを受信するものとする。また、時刻同期パケットは、Ｓｙｎｃパケット／Ｆｏｌｌｏｗ＿Ｕｐパケット／ＤｅｌａｙＲｅｑパケット／ＤｅｌａｙＲｅｓｐパケットのいずれかをであるものとする。カメラアダプタ１０１がタイムサーバ１０２から送信される時刻同期パケットを受信すると、以下の処理が開始される。 Next, the flow when the camera adapter 101 receives the synchronization signal will be described with reference to FIG. FIG. 8 is a flowchart for explaining a process for the camera adapter 101 to synchronize the time with the time server 102. In the following description, it is assumed that the camera adapter 101 receives a time synchronization packet as a synchronization signal. Further, it is assumed that the time synchronization packet is any one of the Sync packet, the Follow_Up packet, the DelayReq packet, and the DelayResp packet. When the camera adapter 101 receives the time synchronization packet transmitted from the time server 102, the following processing is started.

Ｓ８０１において、カメラアダプタ１０１は、時刻同期パケットを受信し、且つ時刻同期パケットを受信した時点で同期マスターが設定されているか否かを判定する。同期マスターが設定されている場合、Ｓ８０２へ処理が進み、設定されていない場合、Ｓ８０５へ処理が進む。Ｓ８０２において、カメラアダプタ１０１は、受信した時刻同期パケットの送信元のタイムサーバ１０２が同期マスターか否かを判定する。送信元が同期マスターである場合、Ｓ８０６へ処理が進み、同期マスターでない場合、Ｓ８０３へ処理が進む。 In S801, the camera adapter 101 receives the time synchronization packet, and determines whether or not the synchronization master is set at the time of receiving the time synchronization packet. If the synchronization master is set, the process proceeds to S802, and if it is not set, the process proceeds to S805. In S802, the camera adapter 101 determines whether or not the time server 102, which is the source of the received time synchronization packet, is the synchronization master. If the source is the synchronous master, the process proceeds to S806, and if the source is not the synchronous master, the process proceeds to S803.

Ｓ８０３において、カメラアダプタ１０１は、受信した時刻同期パケットがＤｅｌａｙＲｅｑパケットであるか否かを判定する。ＤｅｌａｙＲｅｑパケットである場合、Ｓ８０４へ処理が進み、ＤｅｌａｙＲｅｑパケットではない場合、Ｓ８０５へ処理が進む。Ｓ８０４において、カメラアダプタ１０１は、Ｓ８０１で受信した時刻同期パケット（ＤｅｌａｙＲｅｑパケット）を、ネットワーク１１０を介して他の装置（ハブ、他のカメラアダプタ１０１又はタイムサーバ１０２）に転送する。ただし、時刻同期パケットを転送する際、カメラアダプタ１０１は時刻同期パケットを受信したときの受信時刻と転送時の送信時刻とをタイムスタンプ機能により取得し、ＤｅｌａｙＲｅｑパケットが自身の内部で滞留していた時間を算出して保持する。Ｓ８０４の処理が終了すると、本フローは終了する。なお、カメラアダプタ１０１は、保持した値を使用するため、受信した時刻同期パケットの送信元のタイムサーバ１０２を示す情報も記憶しておく。Ｓ８０５において、カメラアダプタ１０１は、Ｓ８０３においてＤｅｌａｙＲｅｑパケットではないと判定された時刻同期パケットを、ネットワーク１１０を介して他の装置（ハブ、他のカメラアダプタ１０１又はタイムサーバ１０２）に転送する。Ｓ８０５の処理が終了すると、本フローは終了する。 In S803, the camera adapter 101 determines whether or not the received time synchronization packet is a DelayReq packet. If it is a DelayReq packet, the process proceeds to S804, and if it is not a DelayReq packet, the process proceeds to S805. In S804, the camera adapter 101 transfers the time synchronization packet (DelayReq packet) received in S801 to another device (hub, other camera adapter 101, or time server 102) via the network 110. However, when transferring the time-synchronized packet, the camera adapter 101 acquires the reception time when the time-synchronized packet is received and the transmission time at the time of transfer by the time stamp function, and the DelayReq packet stays inside itself. Calculate and hold the time. When the processing of S804 is completed, this flow ends. Since the camera adapter 101 uses the retained value, it also stores information indicating the time server 102 that is the source of the received time synchronization packet. In S805, the camera adapter 101 transfers the time synchronization packet determined in S803 that is not a DelayReq packet to another device (hub, other camera adapter 101, or time server 102) via the network 110. When the processing of S805 is completed, this flow ends.

Ｓ８０６において、カメラアダプタ１０１は、受信した時刻同期パケットがＳｙｎｃパケットか否かを判定する。Ｓｙｎｃパケットである場合、Ｓ８０７へ処理が進み、Ｓｙｎｃパケットではない場合、Ｓ８０９へ処理が進む。Ｓ８０７において、カメラアダプタ１０１は、受信した時刻同期パケット（Ｓｙｎｃパケット）の受信時刻をタイムスタンプ機能により取得する。Ｓ８０８において、カメラアダプタ１０１は、受信した時刻同期パケット（Ｓｙｎｃパケット）を、ネットワーク１１０を介して他の装置（ハブ、他のカメラアダプタ１０１又はタイムサーバ１０２）に転送する。このとき、カメラアダプタ１０１は、Ｓ８０７において取得した受信時刻と、転送時の送信時刻とから、Ｓｙｎｃパケットが自身の内部で滞留していた時間を算出し、Ｓｙｎｃパケット内の所定領域に加算して転送する。所定領域は、ＰＴＰヘッダのＣｏｒｒｅｃｔｉｏｎＦｉｅｌｄ（８バイト）である。Ｓ８０８の処理が終了すると、本フローは終了する。 In S806, the camera adapter 101 determines whether or not the received time synchronization packet is a Sync packet. If it is a Sync packet, the process proceeds to S807, and if it is not a Sync packet, the process proceeds to S809. In S807, the camera adapter 101 acquires the reception time of the received time synchronization packet (Sync packet) by the time stamp function. In S808, the camera adapter 101 transfers the received time synchronization packet (Sync packet) to another device (hub, other camera adapter 101, or time server 102) via the network 110. At this time, the camera adapter 101 calculates the time during which the Sync packet stays inside itself from the reception time acquired in S807 and the transmission time at the time of transfer, and adds it to a predetermined area in the Sync packet. Forward. The predetermined area is the Correction Field (8 bytes) of the PTP header. When the processing of S808 is completed, this flow ends.

Ｓ８０９において、カメラアダプタ１０１は、受信した時刻同期パケットがＦｏｌｌｏｗ＿Ｕｐパケットか否かを判定する。Ｆｏｌｌｏｗ＿Ｕｐパケットである場合、Ｓ８１０へ処理が進み、Ｆｏｌｌｏｗ＿Ｕｐパケットではない場合、Ｓ８１２へ処理が進む。Ｓ８１０において、カメラアダプタ１０１は、受信した時刻同期パケット（Ｆｏｌｌｏｗ＿Ｕｐパケット）に含まれる、同期マスターのＳｙｎｃパケット送信時刻を取得する。また、カメラアダプタ１０１は、受信した時刻同期パケット（Ｆｏｌｌｏｗ＿Ｕｐパケット）を、ネットワーク１１０を介して他の装置（ハブ、他のカメラアダプタ１０１又はタイムサーバ１０２）に転送する。Ｓ８１１において、カメラアダプタ１０１は、同期マスターにＤｅｌａｙＲｅｑパケットを送信する。なお、カメラアダプタ１０１は、ＤｅｌａｙＲｅｑパケットの送信時に送信時刻をタイムスタンプ機能により取得する。Ｓ８１１の処理が終了すると、本フローは終了する。 In S809, the camera adapter 101 determines whether or not the received time synchronization packet is a Follow_Up packet. If it is a Follow_Up packet, the process proceeds to S810, and if it is not a Follow_Up packet, the process proceeds to S812. In S810, the camera adapter 101 acquires the Sync packet transmission time of the synchronization master included in the received time synchronization packet (Follow_Up packet). Further, the camera adapter 101 transfers the received time synchronization packet (follow_Up packet) to another device (hub, other camera adapter 101 or time server 102) via the network 110. In S811, the camera adapter 101 transmits a DelayReq packet to the synchronization master. The camera adapter 101 acquires the transmission time by the time stamp function at the time of transmitting the DelayReq packet. When the process of S811 is completed, this flow ends.

Ｓ８１２において、カメラアダプタ１０１は、受信した時刻同期パケットの送信先が自身であるか否かを判定する。送信先が自身である場合、Ｓ８１３へ処理が進み、送信先が自身ではない場合、Ｓ８１５へ処理が進む。Ｓ８１３において、カメラアダプタ１０１は、受信した時刻同期パケット（ＤｅｌａｙＲｅｓｐパケット）に含まれる、同期マスターがＤｅｌａｙＲｅｑパケットを受信した時刻を取得する。また、カメラアダプタ１０１は、受信した時刻同期パケットに含まれる、ＤｅｌａｙＲｅｑパケットの滞留時間の総和を取得する。Ｓ８１４において、カメラアダプタ１０１は、取得した情報を基に内部時計２０１の時刻の調整を行う。調整の処理の詳細は後述する。Ｓ８１４の処理が終了すると、本フローは終了する。 In S812, the camera adapter 101 determines whether or not the destination of the received time synchronization packet is itself. If the destination is itself, the process proceeds to S813, and if the destination is not itself, the process proceeds to S815. In S813, the camera adapter 101 acquires the time when the synchronization master receives the DelayReq packet included in the received time synchronization packet (DelayResp packet). Further, the camera adapter 101 acquires the total residence time of the DelayReq packet included in the received time synchronization packet. In S814, the camera adapter 101 adjusts the time of the internal clock 201 based on the acquired information. The details of the adjustment process will be described later. When the process of S814 is completed, this flow ends.

Ｓ８１５において、カメラアダプタ１０１は、Ｓ８０４で保持したＤｅｌａｙＲｅｑの滞留時間を、受信した時刻同期パケットの所定領域に加算し、時刻同期パケットを転送する。なお、所定領域は、Ｓ８０８と同様、ＰＴＰヘッダのＣｏｒｒｅｃｔｉｏｎＦｉｅｌｄである。ただし、加算される滞留時間は、Ｓ８０４で記憶した送信元とＳ８１５の送信先とで一致の取れたものである。Ｓ８１５の処理が終了すると、本フローは終了する。 In S815, the camera adapter 101 adds the residence time of the DelayReq held in S804 to a predetermined area of the received time synchronization packet, and transfers the time synchronization packet. The predetermined area is the Correction Field of the PTP header as in S808. However, the added residence time is the same as that of the transmission source stored in S804 and the transmission destination of S815. When the process of S815 is completed, this flow ends.

以上説明した図８の処理と、図５及び図６のタイムサーバ１０２が実行する処理とが行われることにより、同期マスターであるタイムサーバ１０２とカメラアダプタ１０１との間で時刻同期が行われる。 By performing the process of FIG. 8 described above and the process executed by the time server 102 of FIGS. 5 and 6, time synchronization is performed between the time server 102 which is the synchronization master and the camera adapter 101.

次に、タイムサーバ１０２とカメラアダプタ１０１との間の時刻同期をするための処理について、図９を用いて説明する。以下の処理においては、タイムサーバ１０２が送信するＳｙｎｃパケット及びＦｏｌｌｏｗ＿Ｕｐパケットはマルチキャスト送信されるものとして説明するが、送信方法はマルチキャスト送信に限定されない。また、図９は、説明のため、カメラアダプタ１０１ｚ及びカメラアダプタ１０１ｙの同期マスターとしてタイムサーバ１０２ｂが設定されている状況を表し、通知パケットの送受信は図９から省略されているものとする。なお、タイムサーバ１０１ａ及びタイムサーバ１０１ａと同期するカメラアダプタ１０１についても、図９と同様の処理により動作する。 Next, a process for synchronizing the time between the time server 102 and the camera adapter 101 will be described with reference to FIG. In the following processing, the Sync packet and the Follow_Up packet transmitted by the time server 102 will be described as being multicast-transmitted, but the transmission method is not limited to the multicast transmission. Further, for the sake of explanation, FIG. 9 shows a situation in which the time server 102b is set as the synchronization master of the camera adapter 101z and the camera adapter 101y, and it is assumed that the transmission / reception of the notification packet is omitted from FIG. The camera adapter 101 that synchronizes with the time server 101a and the time server 101a also operates by the same processing as in FIG.

Ｓ１１０１において、タイムサーバ１０２ｂは、ネットワーク１１０ａａを介してカメラアダプタ１０１ｚにＳｙｎｃパケットを送信する。このとき、タイムサーバ１０２ｂはＳｙｎｃパケットの送信時刻Ｔ１を保持しておく（Ｓ５１０に相当）。Ｓｙｎｃパケットを受信したカメラアダプタ１０１ｚは、Ｓｙｎｃパケットの受信時刻Ｔ２ａを取得し（Ｓ８０７に相当）、Ｓｙｎｃパケットの転送を行う（Ｓ１１０２）。なお、転送時には送信時刻を取得しておき、カメラアダプタ１０１ｚ内でのＳｙｎｃパケットの滞留時間Ｔｒ１ａを算出し、Ｓｙｎｃパケットの指定領域に加算して転送する（Ｓ８０８に相当）。Ｓｙｎｃパケットを受信したカメラアダプタ１０１ｙは受信時刻Ｔ２ｂを取得し（Ｓ８０７に相当）、同様の方法で滞留時間Ｔｒ１ｂを算出して、所定領域にＴｒ１ｂを加算して転送を行う。 In S1101, the time server 102b transmits a Sync packet to the camera adapter 101z via the network 110aa. At this time, the time server 102b holds the transmission time T1 of the Sync packet (corresponding to S510). The camera adapter 101z that has received the Sync packet acquires the reception time T2a of the Sync packet (corresponding to S807) and transfers the Sync packet (S1102). At the time of transfer, the transmission time is acquired, the residence time Tr1a of the Sync packet in the camera adapter 101z is calculated, added to the designated area of the Sync packet, and transferred (corresponding to S808). The camera adapter 101y that has received the Sync packet acquires the reception time T2b (corresponding to S807), calculates the residence time Tr1b by the same method, adds Tr1b to the predetermined area, and transfers the packet.

Ｓ１１０３において、タイムサーバ１０２ｂは、Ｆｏｌｌｏｗ＿Ｕｐパケットを送信する。なお、Ｆｏｌｌｏｗ＿ＵｐパケットにはＳ１１０１で保持していた送信時刻Ｔ１の情報が含まれている（Ｓ５１２に相当）。Ｓ１１０４において、カメラアダプタ１０１ｚは、受信したＦｏｌｌｏｗ＿Ｕｐパケットに含まれる送信時刻Ｔ１を取得し、カメラアダプタ１０１ｙに転送する（Ｓ８１０に相当）。 In S1103, the time server 102b transmits a Follow_Up packet. The Follow_Up packet contains the information of the transmission time T1 held in S1101 (corresponding to S512). In S1104, the camera adapter 101z acquires the transmission time T1 included in the received Follow_Up packet and transfers it to the camera adapter 101y (corresponding to S810).

Ｓ１１０５において、カメラアダプタ１０１ｚは、ＤｅｌａｙＲｅｑパケットをタイムサーバ１０２ｂへ送信し、ＤｅｌａｙＲｅｑパケットの送信時刻Ｔ３ａを取得する（Ｓ８１１に相当）。ＤｅｌａｙＲｅｑパケットを受信したタイムサーバ１０２は、ＤｅｌａｙＲｅｑパケットの受信時刻であるＴ４ａを保持する（Ｓ５１４に相当）。 In S1105, the camera adapter 101z transmits the DelayReq packet to the time server 102b and acquires the transmission time T3a of the DelayReq packet (corresponding to S811). The time server 102 that has received the DelayReq packet holds T4a, which is the reception time of the DelayReq packet (corresponding to S514).

Ｓ１１０６において、タイムサーバ１０２ｂは、Ｓ１１０５で受信したＤｅｌａｙＲｅｑパケットを送信したカメラアダプタ１０１ｚに対し、ＤｅｌａｙＲｅｓｐパケットを送信する。なお、ＤｅｌａｙＲｅｓｐパケットには、Ｓ１１０５で保持したＤｅｌａｙＲｅｑパケットの受信時刻Ｔ４ａの情報が含まれている（Ｓ５１５に相当）。自分宛のＤｅｌａｙＲｅｓｐパケットを受信したカメラアダプタ１０１ｚは、ＤｅｌａｙＲｅｓｐに含まれるＴ４ｂの情報を取得し（Ｓ８１３に相当）、内部時計２０１の時刻の調整を行う（Ｓ８１４に相当）。なお、カメラアダプタ１０１ｚは同期マスターと隣接しているため、ＳｙｎｃパケットやＤｅｌａｙＲｅｑパケットの滞留時間はゼロとなっている。 In S1106, the time server 102b transmits the DelayResp packet to the camera adapter 101z that has transmitted the DelayReq packet received in S1105. The DelayResp packet contains information on the reception time T4a of the DelayReq packet held in S1105 (corresponding to S515). The camera adapter 101z that has received the DelayResp packet addressed to itself acquires the information of T4b included in the DelayResp (corresponding to S813) and adjusts the time of the internal clock 201 (corresponding to S814). Since the camera adapter 101z is adjacent to the synchronization master, the residence time of the Sync packet and the DelayReq packet is zero.

Ｓ１１０７において、カメラアダプタ１０１ｙは、ＤｅｌａｙＲｅｑパケットをカメラアダプタ１０１ｚへ送信し、ＤｅｌａｙＲｅｑパケットの送信時刻Ｔ３ｂを取得する（Ｓ８１１に相当）。Ｓ１１０８において、カメラアダプタ１０１ｚは、カメラアダプタ１０１ｙから送信されたＤｅｌａｙＲｅｑパケットを、タイムサーバ１０２ｂに転送する。ここで、カメラアダプタ１０１ｚは、ＤｅｌａｙＲｅｑパケットの受信時刻、及び、ＤｅｌａｙＲｅｑパケットの転送時の送信時刻から、ＤｅｌａｙＲｅｑパケットの滞留時間Ｔｒ２を算出し保持する（Ｓ８０４に相当）。ＤｅｌａｙＲｅｑパケットを受信したタイムサーバ１０２ｂは、その受信時刻であるＴ４ｂを保持する（Ｓ５１４に相当）。 In S1107, the camera adapter 101y transmits the DelayReq packet to the camera adapter 101z and acquires the transmission time T3b of the DelayReq packet (corresponding to S811). In S1108, the camera adapter 101z transfers the DelayReq packet transmitted from the camera adapter 101y to the time server 102b. Here, the camera adapter 101z calculates and holds the residence time Tr2 of the DelayReq packet from the reception time of the DelayReq packet and the transmission time at the time of transferring the DelayReq packet (corresponding to S804). The time server 102b that has received the DelayReq packet holds T4b, which is the reception time (corresponding to S514).

Ｓ１１０９において、タイムサーバ１０２ｂは、Ｓ１１０６と同様に、Ｓ１１０８で受信したＤｅｌａｙＲｅｑパケットを送信したカメラアダプタ１０１ｙに対し、ＤｅｌａｙＲｅｓｐパケットを送信する。なお、ＤｅｌａｙＲｅｓｐパケットには、Ｓ１１０８で保持したＤｅｌａｙＲｅｑパケットの受信時刻Ｔ４ｂの情報が含まれている（Ｓ５１５に相当）。Ｓ１１１０において、自分宛ではないＤｅｌａｙＲｅｓｐパケットを受信したカメラアダプタ１０１ｚは、ＤｅｌａｙＲｅｓｐパケットの送信先を確認する。そして、その送信先と対応するＤｅｌａｙＲｅｑパケットの滞留時間（ここでは、Ｔｒ２）をＤｅｌａｙＲｅｑｐパケットの所定領域に加算し、ＤｅｌａｙＲｅｑｐパケットを転送する（Ｓ８１５に相当）。 In S1109, the time server 102b transmits the DelayResp packet to the camera adapter 101y that has transmitted the DelayReq packet received in S1108, similarly to S1106. The DelayResp packet contains information on the reception time T4b of the DelayReq packet held in S1108 (corresponding to S515). In S1110, the camera adapter 101z that has received the DelayResp packet that is not addressed to itself confirms the destination of the DelayResp packet. Then, the residence time (here, Tr2) of the DelayReq packet corresponding to the transmission destination is added to a predetermined area of the DelayReqp packet, and the DelayReqp packet is transferred (corresponding to S815).

自分宛のＤｅｌａｙＲｅｓｐパケットを受信したカメラアダプタ１０１ｙは、ＤｅｌａｙＲｅｓｐパケットに含まれるＴ４ｂの情報とＤｅｌａｙＲｅｑパケットの滞留時間（Ｔｒ２）とを取得し、内部時計２０１の時刻の調整を行う（Ｓ８１３、８１４に相当）。なお、図９の処理はカメラアダプタ１０１が２台であるものとしたが、カメラアダプタ１０１が３台以上の場合は、Ｓｙｎｃパケット及びＤｅｌａｙＲｅｑパケットに含まれる滞留時間は総和として算出される。 The camera adapter 101y that has received the DelayResp packet addressed to itself acquires the T4b information included in the DelayResp packet and the residence time (Tr2) of the DelayReq packet, and adjusts the time of the internal clock 201 (corresponding to S813 and 814). ). In the process of FIG. 9, it is assumed that there are two camera adapters 101, but when there are three or more camera adapters 101, the residence time included in the Sync packet and the DelayReq packet is calculated as a total.

ここで、図９に示す処理により得られる送受信時刻（Ｔ１〜Ｔ４ｂ）及び滞留時間（Ｔｒ１ａ〜Ｔｒ２）を使用して時刻同期を行う方法について、カメラアダプタ１０１ｙを例として説明する。同期マスターであるタイムサーバ１０２ｂと同期スレーブであるカメラアダプタ１０１ｙとの間の平均送信路遅延は以下のように求められる。
平均送信路遅延＝（（Ｔ４ｂ−Ｔ１）−（Ｔ３ｂ−Ｔ２ｂ））−（Ｔｒ１ａ＋Ｔｒ２）／２ Here, a method of performing time synchronization using the transmission / reception times (T1 to T4b) and residence times (Tr1a to Tr2) obtained by the processing shown in FIG. 9 will be described using the camera adapter 101y as an example. The average transmission path delay between the time server 102b, which is the synchronization master, and the camera adapter 101y, which is the synchronization slave, is calculated as follows.
Average transmission path delay = ((T4b-T1)-(T3b-T2b))-(Tr1a + Tr2) / 2

また、この平均送信路遅延と、Ｓｙｎｃパケットの滞留時間とを用いることで、同期マスターであるタイムサーバ１０２ｂとの時刻補正量（オフセット）は以下のように求められる。
補正量＝Ｔ２−Ｔ１−平均送信路遅延−Ｔｒ１ａ Further, by using this average transmission path delay and the residence time of the Sync packet, the time correction amount (offset) with the time server 102b, which is the synchronization master, can be obtained as follows.
Correction amount = T2-T1-Average transmission path delay-Tr1a

上記の計算式により、カメラアダプタ１０１ｙに関する平均送信路遅延及び補正量が算出される。すなわち、平均送信路遅延及び補正量を一般式に変換すると、以下のようになる。
平均送信路遅延＝（（ＤｅｌａｙＲｅｑ受信時刻−Ｓｙｎｃ送信時刻）−（Ｓｙｎｃ受信時刻−ＤｅｌａｙＲｅｑ送信時刻））−（Ｓｙｎｃ滞留時間の総和＋ＤｅｌａｙＲｅｑ滞留時間の総和）／２
補正量＝Ｓｙｎｃ受信時刻−Ｓｙｎｃ送信時刻−平均送信路遅延−Ｓｙｎｃ滞留時間の総和もしくはＤｅｌａｙＲｅｑ滞留時間の総和 The average transmission path delay and correction amount for the camera adapter 101y are calculated by the above calculation formula. That is, when the average transmission path delay and the correction amount are converted into the general formula, it becomes as follows.
Average transmission path delay = ((DelayReq reception time-Sync transmission time)-(Sync reception time-DelayReq transmission time))-(Total Sync residence time + Total DeliveryReq residence time) / 2
Correction amount = Sync reception time-Sync transmission time-Average transmission path delay-sum of Sync residence time or total of DelayReq residence time

上記の計算式により算出された補正量を用いて内部時計２０１を補正することにより、カメラアダプタ１０１は同期マスターとなるタイムサーバ１０２の時刻と同期することが可能となる。なお、本実施形態においては、時刻同期方法として２ｓｔｅｐ（ＳｙｎｃパケットとＦｏｌｌｏｗ＿Ｕｐパケットとの２種類の時刻同期パケットを使用する方法）が使用される例について説明したが、これに限定されない。すなわち、時刻同期方法として、１ｓｔｅｐ（Ｆｏｌｌｏｗ＿Ｕｐパケットを送信しない方法）が使用されてもよい。１ｓｔｅｐが使用される場合、タイムサーバ１０１ｂのＳｙｎｃ送信時間（Ｔ１）はＳｙｎｃパケットに付与される。また、カメラアダプタ１０１が計算するＳｙｎｃパケットの滞留時間（Ｔｒ１ａ，Ｔｒ１ｂ…）は、Ｓｙｎｃパケットに加算される。 By correcting the internal clock 201 using the correction amount calculated by the above formula, the camera adapter 101 can be synchronized with the time of the time server 102 which is the synchronization master. In the present embodiment, an example in which 2step (a method of using two types of time synchronization packets of a Sync packet and a Follow_Up packet) is used as a time synchronization method has been described, but the present invention is not limited to this. That is, as the time synchronization method, 1 step (a method in which the Follow_Up packet is not transmitted) may be used. When 1 step is used, the Sync transmission time (T1) of the time server 101b is given to the Sync packet. Further, the residence time (Tr1a, Tr1b ...) Of the Sync packet calculated by the camera adapter 101 is added to the Sync packet.

以上、本実施形態において説明した方法により、カメラアダプタ１０１は複数のタイムサーバ１０２のうち、自身が時刻同期を行う同期マスターを決定する。このとき、カメラアダプタ１０１は、複数のタイムサーバ１０２のうち、タイムサーバ１０２と自身とを接続する通信経路に含まれる他の装置（ハブ及び他のカメラアダプタ１０１等）がより少ないタイムサーバ１０２を同期マスターとして選択する。すなわち、画像処理システム１００は、同期マスターが複数存在しうる構成となる。この構成により、同期マスターが１つのみの構成と比較して、画像処理システム１００全体の同期精度が低下することを抑制することができる。 As described above, according to the method described in the present embodiment, the camera adapter 101 determines the synchronization master that itself performs time synchronization among the plurality of time servers 102. At this time, the camera adapter 101 uses the time server 102 having fewer other devices (hub and other camera adapter 101, etc.) included in the communication path connecting the time server 102 and itself among the plurality of time servers 102. Select as sync master. That is, the image processing system 100 has a configuration in which a plurality of synchronization masters can exist. With this configuration, it is possible to suppress a decrease in synchronization accuracy of the entire image processing system 100 as compared with a configuration in which there is only one synchronization master.

（第２の実施形態）
第１の実施形態においては、タイムサーバ１０２ａ及びタイムサーバ１０２ｂのうち、通信経路に含まれる他の装置の数がより少ないタイムサーバ１０２が同期マスターとして決定されるカメラアダプタ１０１の構成について説明した。しかしながら、第１の実施形態の方法によれば、タイムサーバ１０１ａと時刻同期を行うカメラアダプタ１０１にとって、タイムサーバ１０２ｂから送信される通知パケットは時刻同期に不要である。したがって、不要な通知パケットの送受信が行われることにより、各ネットワーク１１０の通信帯域が圧迫される。第２の実施形態においては、第１の実施形態の効果に加え、ネットワーク１１０の通信帯域の効率化を実現する方法について説明する。 (Second embodiment)
In the first embodiment, the configuration of the camera adapter 101 in which the time server 102, which has a smaller number of other devices included in the communication path among the time server 102a and the time server 102b, is determined as the synchronization master has been described. However, according to the method of the first embodiment, the notification packet transmitted from the time server 102b is unnecessary for the time synchronization for the camera adapter 101 that synchronizes the time with the time server 101a. Therefore, the communication band of each network 110 is compressed by transmitting and receiving unnecessary notification packets. In the second embodiment, in addition to the effects of the first embodiment, a method of realizing the efficiency of the communication band of the network 110 will be described.

画像処理システム１００、及び、画像処理システム１００が有する各装置の機能構成及びハードウェア構成は、第１の実施形態と同一であるため説明を省略する。また、以下の説明においては、画像処理システム１００が有する各装置が実行する処理のうち、第１の実施形態と異なる部分についてのみ説明する。また、第１の実施形態と同一の処理部及び処理ステップについては、第１の実施形態と同一の符号を付すものとする。 Since the functional configuration and the hardware configuration of the image processing system 100 and each device of the image processing system 100 are the same as those of the first embodiment, the description thereof will be omitted. Further, in the following description, only a part different from the first embodiment will be described among the processes executed by each device included in the image processing system 100. Further, the same processing unit and processing step as in the first embodiment shall be designated by the same reference numerals as those in the first embodiment.

第２の実施形態におけるカメラアダプタが実行する処理について、図１０を用いて説明する。なお、ここでは、第１の実施形態における処理と異なる処理ステップについて説明する。Ｓ１２０１において、カメラアダプタ１０１は、Ｓ７９６で実行されたＢＭＣＡにより、同期マスターが変更されたか否かを判定する。同期マスターが変更された場合、Ｓ７０７へ処理が進み、変更されない場合、Ｓ１２０２へ処理が進む。Ｓ１２０２において、カメラアダプタ１０１は、受信した通知パケットを転送せずに破棄する。処理終了後、Ｓ７１０へ進む。デイジーチェーン接続された複数のカメラアダプタ１０１を有する構成においては、同期マスターにならない通知パケットが隣接するカメラアダプタ１０１へ転送されても、転送先でもその通知パケットの送信元は同期マスターにならないことが予想される。したがって、同期マスターとならない送信元からの通知パケットは、次のカメラアダプタ１０１に転送せずに破棄することにより、ネットワーク１１０の通信帯域を効率よく使用することができる。 The process executed by the camera adapter in the second embodiment will be described with reference to FIG. Here, a processing step different from the processing in the first embodiment will be described. In S1201, the camera adapter 101 determines whether or not the synchronization master has been changed by the BMCA executed in S796. If the synchronization master is changed, the process proceeds to S707, and if it is not changed, the process proceeds to S1202. In S1202, the camera adapter 101 discards the received notification packet without forwarding it. After the processing is completed, the process proceeds to S710. In a configuration having a plurality of camera adapters 101 connected in a daisy chain, even if a notification packet that does not become a synchronization master is transferred to an adjacent camera adapter 101, the source of the notification packet may not become the synchronization master even at the transfer destination. is expected. Therefore, the communication band of the network 110 can be efficiently used by discarding the notification packet from the source that does not become the synchronization master without transferring it to the next camera adapter 101.

（第３の実施形態）
第２の実施形態においては、条件に合致する通知パケットの転送を行わないことにより、ネットワーク１１０の通信帯域を効率よく使用する方法について説明した。第３の実施形態においては、通知パケットだけでなく条件に合致する同期パケットの転送を行わないことにより、更なるネットワーク帯域の効率化を実現する方法について説明する。 (Third Embodiment)
In the second embodiment, a method of efficiently using the communication band of the network 110 by not forwarding the notification packet matching the conditions has been described. In the third embodiment, a method of further improving the efficiency of the network bandwidth by not forwarding not only the notification packet but also the synchronization packet matching the conditions will be described.

画像処理システム１００、及び、画像処理システム１００が有する各装置の機能構成及びハードウェア構成は、第１の実施形態又は第２の実施形態と同一であるため説明を省略する。また、以下の説明においては、画像処理システム１００が有する各装置が実行する処理のうち、第１の実施形態及び第２の実施形態と異なる部分についてのみ説明する。また、第１の実施形態及び第２の実施形態と同一の処理部及び処理ステップについては、第１の実施形態と同一の符号を付すものとする。 Since the functional configuration and hardware configuration of the image processing system 100 and each device of the image processing system 100 are the same as those of the first embodiment or the second embodiment, the description thereof will be omitted. Further, in the following description, only the parts different from the first embodiment and the second embodiment will be described among the processes executed by each device included in the image processing system 100. Further, the same processing unit and processing step as those of the first embodiment and the second embodiment shall be designated by the same reference numerals as those of the first embodiment.

同期撮影システム１００、カメラアダプタ１０１、タイムサーバ１０２の構成は実施例１と同一のため説明を割愛する。また、同期撮影システム１００の同期撮影シーケンスおよびタイムサーバ１０２の時刻同期フローも実施例１と同一のため説明を割愛する。カメラアダプタ１０１の時刻同期フローは実施例２と同一のため、説明を割愛する。ＢＭＣＡのフローおよびタイムサーバ１０２とカメラアダプタ１０１間の時刻同期シーケンスは実施例１と同等であるので説明を割愛する。 Since the configurations of the synchronous shooting system 100, the camera adapter 101, and the time server 102 are the same as those in the first embodiment, the description thereof will be omitted. Further, since the synchronous shooting sequence of the synchronous shooting system 100 and the time synchronization flow of the time server 102 are the same as those in the first embodiment, the description thereof will be omitted. Since the time synchronization flow of the camera adapter 101 is the same as that of the second embodiment, the description thereof will be omitted. Since the flow of BMCA and the time synchronization sequence between the time server 102 and the camera adapter 101 are the same as those in the first embodiment, the description thereof will be omitted.

第３の実施形態におけるカメラアダプタ１０１が実行する処理について、図１１を用いて説明する。なお、ここでは、第１の実施形態における処理と異なる処理ステップについて説明する。Ｓ１３０１において、カメラアダプタ１０１は、Ｓ８０１において受信した同期パケットを破棄する。Ｓ１３０１の処理が終了すると、本フローは終了する。Ｓ１３０１の処理が実行される際に受信される時刻同期パケットは、Ｓｙｎｃパケット及びＦｏｌｌｏｗ＿Ｕｐパケットのいずれかである。自身が時刻同期しないタイムサーバ１０２の時刻同期パケット（Ｓｙｎｃパケット及びＦｏｌｌｏｗ＿Ｕｐパケット）を転送しても、転送先でもそれらのパケットに含まれる情報が活用されることは無い。すなわち、不要なＳｙｎｃパケット及びＦｏｌｌｏｗ＿Ｕｐパケットの転送を行うことにより、ネットワーク１１０の通信帯域を圧迫したり、カメラアダプタ１０１の処理負荷を増加させるおそれがある。したがって、カメラアダプタ１０１は、受信された時刻同期パケットのうち、Ｓ１３０１の処理が実行される場合の時刻同期パケットは、転送せずに破棄する。この構成により、ネットワーク１１０の通信帯域をより効率的に使用することができる。 The process executed by the camera adapter 101 in the third embodiment will be described with reference to FIG. Here, a processing step different from the processing in the first embodiment will be described. In S1301, the camera adapter 101 discards the synchronization packet received in S801. When the process of S1301 is completed, this flow ends. The time synchronization packet received when the process of S1301 is executed is either a Sync packet or a Follow_Up packet. Even if the time synchronization packets (Sync packet and Follow_Up packet) of the time server 102 that does not synchronize the time by itself are transferred, the information contained in those packets is not utilized even at the transfer destination. That is, by transferring unnecessary Sync packets and Follow_Up packets, there is a possibility that the communication band of the network 110 may be compressed or the processing load of the camera adapter 101 may be increased. Therefore, among the received time synchronization packets, the camera adapter 101 discards the time synchronization packets when the process of S1301 is executed without transferring them. With this configuration, the communication band of the network 110 can be used more efficiently.

（その他の実施形態）
上述した実施形態においては、タイムサーバ１０２が２つである場合について説明したが、これに限定されない。例えば、タイムサーバ１０２が３台以上の場合も、上述した実施形態と同様の構成により、各カメラアダプタ１０１は同期マスターを決定することが可能である。３台以上の場合は、例えば、３台のタイムサーバ１０２と複数のカメラアダプタ１０１とをデイーチェーン接続する、又は、カメラアダプタ１０１ａからカメラアダプタ１０１ｚの間にハブを新しく設け、ハブにタイムサーバを接続する等の構成が考えられる。 (Other embodiments)
In the above-described embodiment, the case where the number of time servers 102 is two has been described, but the present invention is not limited to this. For example, even when there are three or more time servers 102, each camera adapter 101 can determine the synchronization master by the same configuration as in the above-described embodiment. In the case of three or more, for example, three time servers 102 and a plurality of camera adapters 101 are connected in a day chain, or a new hub is provided between the camera adapter 101a and the camera adapter 101z, and a time server is provided in the hub. A configuration such as connecting is conceivable.

また、デイジーチェーン接続された複数のカメラアダプタ１０１の始点と終点とが同一のタイムサーバに接続される構成であってもよい。例えば、図１におけるカメラアダプタ１０１ａとカメラアダプタ１０１ｚとがハブ１４０に接続され、ハブ１４０を介してタイムサーバ１０２ａと同期信号の送受信を行う構成である。この場合、タイムサーバ１０２ａからカメラアダプタ１０１へ同期信号を送信する通信経路として、カメラアダプタ１０１ａ側から送信する第１の通信経路と、カメラアダプタ１０１ｚ側から送信する第２の通信経路とが考えられる。この場合も、カメラアダプタ１０１は、第１の通信経路と第２の通信経路とで、通信経路に含まれる装置（カメラアダプタ１０１）の数がより少ない通信経路を用いて取得された同期信号に基づいて時刻同期を行う。この構成により、時刻同期の精度の低下を抑制することができる。 Further, the start point and the end point of the plurality of camera adapters 101 connected in a daisy chain may be connected to the same time server. For example, the camera adapter 101a and the camera adapter 101z in FIG. 1 are connected to the hub 140, and a synchronization signal is transmitted and received to and from the time server 102a via the hub 140. In this case, as the communication path for transmitting the synchronization signal from the time server 102a to the camera adapter 101, a first communication path transmitted from the camera adapter 101a side and a second communication path transmitted from the camera adapter 101z side can be considered. .. Also in this case, the camera adapter 101 is a synchronization signal acquired by using a communication path in which the number of devices (camera adapter 101) included in the communication path is smaller in the first communication path and the second communication path. Perform time synchronization based on. With this configuration, it is possible to suppress a decrease in the accuracy of time synchronization.

また、本実施形態においては、タイムサーバ１０２ａが送信する同期信号と、タイムサーバ１０２ｂが送信する同期信号とが、同じネットワーク１１０を介して送信される例について説明した。すなわち、タイムサーバ１０２ａが送信する同期信号は、ネットワーク１１０ｂから１１０ｚの順で送信され、タイムサーバ１０２ｂが送信する同期信号は、ネットワーク１１０ｚから１１０ｂの順で送信される。しかしながら、これに限定されず、タイムサーバ１０２ａが送信する同期信号とタイムサーバ１０２ｂが送信する同期信号とが、異なるネットワークを介して送信される構成でもよい。この場合、複数のカメラアダプタ１９０は２本のネットワークを有し、各ネットワークがそれぞれタイムサーバ１０２ａ及びタイムサーバ１０２ｂからの同期信号を送信する。 Further, in the present embodiment, an example in which the synchronization signal transmitted by the time server 102a and the synchronization signal transmitted by the time server 102b are transmitted via the same network 110 has been described. That is, the synchronization signal transmitted by the time server 102a is transmitted in the order of the network 110b to 110z, and the synchronization signal transmitted by the time server 102b is transmitted in the order of the network 110z to 110b. However, the present invention is not limited to this, and the synchronization signal transmitted by the time server 102a and the synchronization signal transmitted by the time server 102b may be transmitted via different networks. In this case, the plurality of camera adapters 190 have two networks, and each network transmits a synchronization signal from the time server 102a and the time server 102b, respectively.

また上述した実施形態におけるカメラアダプタ１０１は、通信経路に含まれる装置の数に基づく優先度に基づいて、いずれのタイムサーバ１０２を同期マスターとして決定するかを決定する。しかしながら、これに限定されない。カメラアダプタ１０１は、例えば、複数のタイムサーバ１０２のうち、カメラアダプタ１０１とタイムサーバ１０２とを接続するケーブルの長さ、あるいはカメラアダプタ１０１とタイムサーバ１０２との物理的な距離等に基づいて同期マスターを決定してもよい。 Further, the camera adapter 101 in the above-described embodiment determines which time server 102 is determined as the synchronization master based on the priority based on the number of devices included in the communication path. However, it is not limited to this. The camera adapter 101 synchronizes based on, for example, the length of the cable connecting the camera adapter 101 and the time server 102, or the physical distance between the camera adapter 101 and the time server 102 among the plurality of time servers 102. You may decide the master.

なお、上述した第１、第２及び第３の実施形態は、任意の実施形態を組み合わせて実施することが可能である。また、上述した実施形態においては、仮想視点画像を生成するシステムを例として説明したが、これに限定されない。すなわち、上述した実施形態は、複数の撮像装置を同期させて撮像を行う種々のシステムに適用可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The first, second, and third embodiments described above can be implemented by combining any of the embodiments. Further, in the above-described embodiment, the system for generating the virtual viewpoint image has been described as an example, but the present invention is not limited to this. That is, the above-described embodiment can be applied to various systems in which a plurality of imaging devices are synchronized to perform imaging. The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０１カメラアダプタ
２０２ネットワーク部
２０３時刻同期部 101 Camera adapter 202 Network part 203 Time synchronization part

Claims

It ’s a control device,
A first communication path configured by daisy-chaining with another control device from a time server that generates a first synchronization signal for synchronizing imaging by a plurality of imaging means that acquire a plurality of captured images. The time server that generates the first synchronization signal communicated via the above and the second synchronization signal for synchronizing the imaging by the plurality of imaging means is daisy-chained to the other control device. A second communication path composed of the above, and an acquisition means for acquiring at least one of the second synchronization signal communicated via a second communication path different from the first communication path. ,
When either one of the first synchronization signal and the second synchronization signal is acquired by the acquisition means, the imaging by the plurality of imaging means is synchronized based on the acquired synchronization signal. When both the first synchronization signal and the second synchronization signal are acquired by the acquisition means by performing the synchronization control to be controlled, the first synchronization signal and the second synchronization signal are respectively. Based on the synchronization signal of either one of the first synchronization signal and the second synchronization signal, which is the priority information included and is determined based on the priority information indicating the priority of the synchronization signal. A control device including a control means for performing the synchronous control.

The priority information included in the first synchronization signal is daisy-chained to the control device between the time server and the control device that generate the first synchronization signal in the first communication path. Contains priority information that is determined based on the number of controllers
The priority information included in the second synchronization signal is daisy-chained to the control device between the time server and the control device that generate the second synchronization signal in the second communication path. The control device according to claim 1, wherein the control device includes information on the priority determined based on the number of control devices.

When both the first synchronization signal and the second synchronization signal are acquired by the acquisition means, the control means has the acquired first synchronization signal and the second synchronization signal. The control device according to claim 1 or 2, wherein the synchronization control is performed based on a synchronization signal having a high priority indicated by the priority information included in each.

The control means transmits the first synchronization signal acquired by the acquisition means via the first communication path to another control device downstream in the first communication path, and At least one of the processes of transmitting the second synchronization signal acquired via the second communication path to another control device downstream in the second communication path is executed by the acquisition means. The control device according to any one of claims 1 to 3, wherein the control device is controlled so as to be the same.

The control means
When the first synchronization signal is acquired by the acquisition means via the first communication path, the first synchronization signal is changed by lowering the priority indicated by the priority information included in the first synchronization signal. The synchronization signal of 1 is controlled so as to be transmitted to another control device downstream in the first communication path.
When the second synchronization signal is acquired by the acquisition means via the second communication path, the second synchronization signal is changed by lowering the priority indicated by the priority information included in the second synchronization signal. The control device according to claim 4, wherein the synchronization signal of 2 is controlled so as to be transmitted to another control device downstream in the second communication path.

The priority information included in the first synchronization signal acquired by the acquisition means is the control device and the daisy between the time server and the control device that generate the first synchronization signal in the first communication path. Changed by other chained controllers
The priority information included in the second synchronization signal acquired by the acquisition means is the control device and the daisy between the time server and the control device that generate the second synchronization signal in the second communication path. The control device according to claim 4 or 5, wherein the control device is modified by another control device connected in a chain.

The control means
When both the first synchronization signal and the second synchronization signal are acquired by the acquisition means and it is determined that the synchronization control is performed based on the first synchronization signal, the second synchronization signal Is controlled so as not to execute the process of transmitting the signal to another control device downstream in the second communication path.
When both the first synchronization signal and the second synchronization signal are acquired by the acquisition means and it is determined that the synchronization control is performed based on the second synchronization signal, the first synchronization signal The control device according to any one of claims 4 to 6, wherein the process of transmitting the signal to another downstream control device in the first communication path is controlled so as not to be executed.

The control means captures the plurality of images based on the time information included in the first synchronization signal acquired by the acquisition means or the time information included in the second synchronization signal acquired by the acquisition means. The control device according to any one of claims 1 to 7, wherein the synchronous control is performed by setting the time information possessed by one or more imaging means included in the means.

The control according to any one of claims 1 to 8, wherein the time server that generates the first synchronization signal and the time server that generates the second synchronization signal are the same device. apparatus.

The control device according to any one of claims 1 to 9, wherein the priority information is Priority 2 included in an Knowledge packet of the IEEE1588-2008 standard.

It is a control method for controlling a control device.
A first communication path configured by daisy-chaining with another control device from a time server that generates a first synchronization signal for synchronizing imaging by a plurality of imaging means that acquire a plurality of captured images. The time server that generates the first synchronization signal communicated via the above and the second synchronization signal for synchronizing the imaging by the plurality of imaging means is daisy-chained to the other control device. A second communication path composed of the above, and an acquisition step of acquiring at least one of the second synchronization signal communicated via a second communication path different from the first communication path. ,
When either one of the first synchronization signal and the second synchronization signal is acquired in the acquisition step, imaging by the plurality of imaging means is synchronized based on the acquired synchronization signal. When both the first synchronization signal and the second synchronization signal are acquired in the acquisition step by performing the synchronization control to be controlled, the first synchronization signal and the second synchronization signal are respectively. Based on the synchronization signal of either one of the first synchronization signal and the second synchronization signal, which is the priority information included and is determined based on the priority information indicating the priority of the synchronization signal. A control method comprising a control step for performing the synchronous control.

The priority information included in the first synchronization signal is daisy-chained to the control device between the time server and the control device that generate the first synchronization signal in the first communication path. Contains priority information that is determined based on the number of controllers
The priority information included in the second synchronization signal is daisy-chained to the control device between the time server and the control device that generate the second synchronization signal in the second communication path. The control method according to claim 11, wherein the control method includes information on the priority determined based on the number of control devices.

In the control step, when both the first synchronization signal and the second synchronization signal are acquired in the acquisition step, of the acquired first synchronization signal and the second synchronization signal, The control method according to claim 11 or 12, wherein the synchronization control is performed based on a synchronization signal having a high priority indicated by the priority information included in each.

In the control step, in the acquisition step, a process of transmitting the first synchronization signal acquired via the first communication path to another control device downstream in the first communication path, and In the acquisition step, at least one of the processes of transmitting the second synchronization signal acquired via the second communication path to another control device downstream in the second communication path is executed. The control method according to any one of claims 11 to 13, wherein the control method is controlled so as to be the same.

In the control step,
In the acquisition step, when the first synchronization signal is acquired via the first communication path, the first synchronization signal is changed by lowering the priority indicated by the priority information included in the first synchronization signal. The synchronization signal of 1 is controlled so as to be transmitted to another control device downstream in the first communication path.
In the acquisition step, when the second synchronization signal is acquired via the second communication path, the second synchronization signal is changed by lowering the priority indicated by the priority information included in the second synchronization signal. The control method according to claim 14, wherein the synchronization signal of 2 is controlled so as to be transmitted to another control device downstream in the second communication path.

The priority information included in the first synchronization signal acquired in the acquisition step is the control device and the daisy chain between the time server and the control device that generate the first synchronization signal in the first communication path. Changed by other connected controllers
The priority information included in the second synchronization signal acquired in the acquisition step is the control device and the daisy chain between the time server and the control device that generate the second synchronization signal in the second communication path. The control method according to claim 14 or 15, characterized in that it is modified by another connected control device.

A computer program for causing a computer to function as the control device according to any one of claims 1 to 10.