JP2022155062A

JP2022155062A - Communication device, control method, and program

Info

Publication number: JP2022155062A
Application number: JP2021058393A
Authority: JP
Inventors: 昭彦熊取谷; Akihiko Kumatoriya
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2022-10-13

Abstract

To suppress loss of data in data transmission using a plurality of communication paths.SOLUTION: A camera adapter 120 includes a transmission data holding unit 131 that receives a plurality of pieces of data via two or more receiving ports from the first other camera adapter 120, a reception processing unit 132 that detects predetermined information is included in each of the plurality of pieces of received data, a transmission data generation unit 121 that generates data to be transmitted to the second other camera adapter 120, and a transmission data holding unit 134 that transmits the generated data by using a transmission port associated with the receiving port used to retrieve the data detected to contain given information from among two or more transmission ports.SELECTED DRAWING: Figure 3

Description

本開示は、データの通信技術に関するものである。 The present disclosure relates to data communication technology.

近年、撮像領域の周囲に複数の撮像装置を配置して撮像を行い、それぞれの撮像装置から取得された複数の撮像画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。仮想視点映像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。 In recent years, a plurality of imaging devices are arranged around an imaging region to capture images, and an image (virtual viewpoint) viewed from a specified viewpoint (virtual viewpoint) is obtained using a plurality of captured images obtained from each imaging device. A technology for generating images) is attracting attention. According to the technology for generating virtual viewpoint video, for example, highlight scenes of soccer or basketball can be viewed from various angles, so that the user can be given a high sense of realism compared to normal images.

複数の撮像装置から取得された撮像画像に基づく画像データをサーバに集約して仮想視点画像を生成する場合、複数の画像データを送信する必要があるため、送信帯域を効率よく活用する必要がある。特許文献１には、撮像画像を、動的なオブジェクトに対応する前景データと、動的なオブジェクト以外のオブジェクトに対応する背景データとに分離し、異なるフレームレートでサーバに送信することが記載されている。 When generating a virtual viewpoint image by aggregating image data based on captured images acquired from multiple imaging devices in a server, it is necessary to transmit multiple pieces of image data, so it is necessary to efficiently utilize the transmission bandwidth. . Patent Literature 1 describes separating a captured image into foreground data corresponding to a dynamic object and background data corresponding to an object other than the dynamic object, and transmitting the data to a server at different frame rates. ing.

特開２０１９－８４２９号公報JP 2019-8429 A

しかしながら、撮像装置により撮像されるシーンによっては、画像データのデータ量が変動するため、特許文献１に記載の技術を用いても、送信帯域の制限による送信データの欠落等が生じる可能性がある。この問題に対し、複数の通信経路を使用して送信を行う方法もあるが、この方法においても、送信のしかたによっては依然として送信データの欠落が生じる可能性がある。 However, depending on the scene captured by the imaging device, the amount of image data varies. Therefore, even if the technique described in Patent Document 1 is used, there is a possibility that transmission data may be lost due to transmission band limitations. . To solve this problem, there is a method of transmitting data using a plurality of communication paths.

本開示は上記の課題に鑑みてなされたものである。その目的は、複数の通信経路を使用したデータの送信におけるデータの欠落を抑制することである。 The present disclosure has been made in view of the above problems. The purpose is to suppress data loss in data transmission using a plurality of communication paths.

本開示に係る通信装置は、２以上の通信経路において前記通信装置と接続される第１の他の通信装置から、前記２以上の通信経路を介して複数のデータを受信する受信手段と、前記受信手段により受信される複数のデータのそれぞれに対し、所定の情報が含まれることを検出する検出手段と、前記２以上の通信経路において前記通信装置と接続される第２の他の通信装置に対して送信するためのデータを生成する生成手段と、前記２以上の通信経路のうち、前記検出手段により前記所定の情報が含まれることが検出されたデータの取得に使用された通信経路を使用して、前記生成手段により生成されるデータを送信する送信手段と、を有することを特徴とする。 A communication device according to the present disclosure includes receiving means for receiving a plurality of data via the two or more communication paths from a first other communication device connected to the communication device via the two or more communication paths; detecting means for detecting that predetermined information is included in each of a plurality of data received by the receiving means; and a second communication device connected to the communication device through the two or more communication paths. generating means for generating data to be transmitted to and, from among the two or more communication paths, using the communication path used to acquire the data detected by the detecting means as containing the predetermined information and transmitting means for transmitting the data generated by the generating means.

本開示によれば、複数の通信経路を使用したデータの送信におけるデータの欠落を抑制することができる。 According to the present disclosure, it is possible to suppress data loss in data transmission using a plurality of communication paths.

画像処理システムの構成を説明するための図である。1 is a diagram for explaining the configuration of an image processing system; FIG. 複数のカメラ及び複数のカメラアダプタの配置の一例を示す図である。FIG. 4 is a diagram showing an example of the arrangement of multiple cameras and multiple camera adapters; カメラアダプタの送受信処理部の構成を説明するための図である。4 is a diagram for explaining the configuration of a transmission/reception processing unit of a camera adapter; FIG. インターネットプロトコルのヘッダフォーマットを示す図である。FIG. 2 illustrates an Internet Protocol header format; 送受信処理部が行う処理を説明するためのフローチャートである。6 is a flowchart for explaining processing performed by a transmission/reception processing unit; 画像処理システム１００の送信シーケンスの一例を示す図である。4 is a diagram showing an example of a transmission sequence of the image processing system 100; FIG. カメラアダプタの送信タイミングの一例を示す図である。FIG. 4 is a diagram showing an example of transmission timing of a camera adapter; 画像処理システム１００の送信シーケンスの一例を示す図である。4 is a diagram showing an example of a transmission sequence of the image processing system 100; FIG. カメラアダプタの送信タイミングの一例を示す図である。FIG. 4 is a diagram showing an example of transmission timing of a camera adapter; カメラアダプタのハードウェア構成を説明するための図である。4 is a diagram for explaining the hardware configuration of a camera adapter; FIG. カメラアダプタの送信タイミングの一例を示す図である。FIG. 4 is a diagram showing an example of transmission timing of a camera adapter;

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、実施の形態の一例を示すものであり、本開示をそれらのみに限定するものではない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In addition, the components described in the following embodiments are examples of the embodiments, and the present disclosure is not limited to them.

（第１の実施形態）
本実施形態においては、競技場（スタジアム）やコンサートホールなどの施設に複数の撮像装置を設置し撮像を行い、仮想視点画像を生成するシステムについて説明する。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。 (First embodiment)
In this embodiment, a system will be described in which a plurality of imaging devices are installed in a facility such as a stadium or a concert hall to perform imaging and generate a virtual viewpoint image. The virtual viewpoint image in this embodiment is also called a free viewpoint video, but is not limited to an image corresponding to a viewpoint freely (arbitrarily) specified by the user. A corresponding image is also included in the virtual viewpoint image. Also, in the present embodiment, the case where the designation of the virtual viewpoint is performed by the user's operation will be mainly described, but the designation of the virtual viewpoint may be automatically performed based on the result of image analysis or the like. Also, in the present embodiment, the case where the virtual viewpoint image is a moving image will be mainly described, but the virtual viewpoint image may be a still image.

図１は、画像処理システム１００の構成を説明するための図である。画像処理システム１００は、カメラ１１２ａ－１１２ｆ、カメラアダプタ１２０ａ－１２０ｆ、スイッチングハブ１８０、画像コンピューティングサーバ２００、タイムサーバ２９０、及び、コントローラ３００を有する。なお、特別な説明がない場合は、カメラ１１２ａからカメラ１１２ｆまでを区別せずカメラ１１２と記載する。同様にカメラアダプタ１２０ａ－１２０ｆも特別な説明がない場合は区別せず、カメラアダプタ１２０と記載する。また、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、画像処理システム１００は、静止画及び動画の何れについても撮像可能である。 FIG. 1 is a diagram for explaining the configuration of an image processing system 100. As shown in FIG. Image processing system 100 includes cameras 112 a - 112 f , camera adapters 120 a - 120 f , switching hub 180 , image computing server 200 , time server 290 and controller 300 . Note that the cameras 112a to 112f are referred to as cameras 112 without distinction unless otherwise specified. Similarly, the camera adapters 120a to 120f are also referred to as the camera adapter 120 without distinction unless otherwise specified. In addition, unless otherwise specified, the term "image" is assumed to include the concepts of moving images and still images. That is, the image processing system 100 can capture both still images and moving images.

画像処理システム１００では、スイッチングハブ１８０にコントローラ３００、画像コンピューティングサーバ２００、タイムサーバ２９０、カメラアダプタ１２０ａが接続されている。また、カメラアダプタ１２０ａ－１２０ｆは２本のケーブルによりカスケード接続されている。すなわち、カメラアダプタ１２０ａ－１２０ｆは、２つの通信経路を有する。また、カメラ１１２ａ－１１２ｆは、それぞれ１台ずつのカメラアダプタ１２０ａ－１２０ｆに接続される。なお、本実施形態においては、カメラアダプタ１２０ａ－１２０ｆは２本のケーブルにより接続されるものとしたが、これに限定されない。カメラアダプタ１２０ａ－１２０ｆが２以上の任意の数のケーブルにより接続される、すなわち、２以上の通信経路を有する構成において、本実施形態は適用可能である。また、カメラアダプタ１２０ａ－１２０ｆ及びカメラ１１２ａ－１１２ｆの数についても、図１に限定されない。 In the image processing system 100, a switching hub 180 is connected to a controller 300, an image computing server 200, a time server 290, and a camera adapter 120a. Also, the camera adapters 120a-120f are cascaded by two cables. That is, camera adapters 120a-120f have two communication paths. The cameras 112a-112f are also connected to camera adapters 120a-120f, respectively. Although the camera adapters 120a to 120f are connected by two cables in this embodiment, the present invention is not limited to this. This embodiment can be applied to a configuration in which the camera adapters 120a to 120f are connected by any number of cables greater than or equal to two, that is, in a configuration having two or more communication paths. Also, the numbers of camera adapters 120a-120f and cameras 112a-112f are not limited to those shown in FIG.

カメラアダプタ１２０は、カメラ１１２に接続され、カメラ１１２の制御、撮像した画像の取得及び所定の画像データの生成処理、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば撮像パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照等の処理が含まれる。また、カメラ１１２の制御には、カメラ１１２の状態（撮像中、停止中、同期中、及びエラーなど）の取得、撮像の開始及び停止、及びピント調整などの処理が含まれる。 The camera adapter 120 is connected to the camera 112 and has the functions of controlling the camera 112, acquiring captured images, generating predetermined image data, providing synchronization signals, and setting the time. The control of the camera 112 includes processing such as setting and referencing imaging parameters (number of pixels, color depth, frame rate, white balance setting, etc.), for example. Further, control of the camera 112 includes processing such as acquisition of the state of the camera 112 (imaging, stopped, synchronizing, error, etc.), starting and stopping of imaging, and focus adjustment.

同期信号提供は、カメラアダプタ１２０がタイムサーバ２９０の時刻と同期した時刻を利用し、撮像タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、カメラアダプタ１２０がタイムサーバ２９０の時刻と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されず、他のフォーマットであってもよい。 The synchronization signal is provided by the camera adapter 120 using the time synchronized with the time of the time server 290 to provide the imaging timing (control clock) to the camera 112 . The time setting is performed by providing the time synchronized with the time of the time server 290 by the camera adapter 120 in a time code conforming to the SMPTE12M format, for example. As a result, the provided time code is attached to the image data received from the camera 112 . Note that the format of the time code is not limited to SMPTE12M, and other formats may be used.

また、カメラアダプタ１２０は、カメラ１１２から撮像画像を取得し、撮像画像に基づいて仮想視点画像の生成に使用される画像データの生成を行う。画像データの生成処理については後述する。カメラアダプタ１２０は、２つの通信経路のいずれかを選択して、生成した画像データを、カスケード接続における下流のカメラアダプタ１２０に送信する。また、カメラアダプタ１２０は、カスケード接続における上流のカメラアダプタ１２０から送信される画像データを取得し、取得した画像データを下流のカメラアダプタ１２０に転送する。 Also, the camera adapter 120 acquires a captured image from the camera 112 and generates image data used for generating a virtual viewpoint image based on the captured image. Image data generation processing will be described later. The camera adapter 120 selects one of two communication paths to transmit the generated image data to the downstream camera adapter 120 in the cascade connection. Also, the camera adapter 120 acquires image data transmitted from the upstream camera adapter 120 in the cascade connection, and transfers the acquired image data to the downstream camera adapter 120 .

コントローラ３００は画像処理システム１００のネットワークを介してカメラアダプタ１２０ａ－１２０ｆに制御信号を送ることにより、カメラ１１２ａ－１１２ｆ及びカメラアダプタ１２０ａ－１２０ｆの制御を行う。また、コントローラ３００は、画像コンピューティングサーバ２００の各種制御や、画像コンピューティングサーバ２００から任意の画像データを取得する等の処理を行う。 The controller 300 controls the cameras 112a-112f and the camera adapters 120a-120f by sending control signals to the camera adapters 120a-120f over the network of the image processing system 100. FIG. Further, the controller 300 performs various kinds of control of the image computing server 200 and processing such as acquiring arbitrary image data from the image computing server 200 .

画像コンピューティングサーバ２００は、各カメラアダプタ１２０から送信された画像データを使用して、仮想視点画像を生成する。 The image computing server 200 uses the image data sent from each camera adapter 120 to generate virtual viewpoint images.

図１に示した画像処理システムにおいては、カスケード接続においてスイッチングハブ１８０から最も遠いカメラアダプタ１２０ｆから画像データの送信が開始されるものとする。カメラアダプタ１２０ｆから送信される画像データは、カメラアダプタ１２０ｅ、１２０ｄ、１２０ｃ、１２０ｂ、１２０ａの順番で送信され、画像コンピューティングサーバ２００に転送されるものとする。同様に、カメラアダプタ１２０ｅから送信される画像データは、カメラアダプタ１２０ｄ、１２０ｃ、１２０ｂ、１２０ａの順番で送信され、画像コンピューティングサーバ２００に転送される。このとき、カメラアダプタ１２０ｅは、１２０ｆから送信された画像データも同様に転送する。カメラアダプタ２０ｄ、１２０ｃ、１２０ｂ、１２０ａも同様である。 In the image processing system shown in FIG. 1, it is assumed that transmission of image data is started from the camera adapter 120f farthest from the switching hub 180 in the cascade connection. The image data transmitted from the camera adapter 120f is transmitted to the camera adapters 120e, 120d, 120c, 120b, and 120a in that order, and transferred to the image computing server 200. FIG. Similarly, image data sent from camera adapter 120 e is sent to camera adapters 120 d , 120 c , 120 b , 120 a in that order and transferred to image computing server 200 . At this time, the camera adapter 120e also transfers the image data transmitted from 120f. The same applies to camera adapters 20d, 120c, 120b, and 120a.

図２は、本実施形態における複数のカメラ１１２及び複数のカメラアダプタ１２０の配置の一例を示す図である。カメラ１１２ａ－１１２ｆおよびカメラアダプタ１２０ａ－１２０ｆは撮像領域を取り囲むように設置されている。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数のカメラ１１２は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、望遠カメラと広角カメラなど機能が異なるカメラ１１２が設置されていてもよい。また、図２の例では、カメラ１１２ａ－１１２ｆは各々光軸が被写体０６３０２を向くように設置されているが、これに限定されず、複数のカメラ１１２でフィールド全体をカバーするようにカメラ１１２の姿勢が設定されてもよい。 FIG. 2 is a diagram showing an example of the arrangement of multiple cameras 112 and multiple camera adapters 120 in this embodiment. Cameras 112a-112f and camera adapters 120a-120f are positioned to surround the imaging area. The imaging area is, for example, a stadium where competitions such as soccer or karate are held, or a stage where concerts or dramas are held. A plurality of cameras 112 are installed at different positions so as to surround such an imaging area, and perform imaging in synchronism. Note that the plurality of imaging devices may not be installed over the entire periphery of the imaging area, and may be installed only in a part of the imaging area depending on restrictions on the installation location or the like. Cameras 112 having different functions, such as a telephoto camera and a wide-angle camera, may also be installed. In the example of FIG. 2, the cameras 112a to 112f are installed so that their optical axes are directed toward the object 06302. However, the present invention is not limited to this. A posture may be set.

図３は、カメラアダプタ１２０の送受信処理部の構成を説明するための図である。カメラアダプタ１２０は、送信データ生成部１２１、ポート１２２～１２５を有する。また、カメラアダプタ１２０は、受信データ保持部１３１、受信処理部１３２、送信処理部１３３、送信データ保持部１３４、カウンタ１３５、カウンタ１３６を含む送受信処理部１３０を有する。 FIG. 3 is a diagram for explaining the configuration of the transmission/reception processing unit of the camera adapter 120. As shown in FIG. The camera adapter 120 has a transmission data generator 121 and ports 122-125. The camera adapter 120 also has a transmission/reception processing section 130 including a reception data holding section 131 , a reception processing section 132 , a transmission processing section 133 , a transmission data holding section 134 , a counter 135 and a counter 136 .

送信データ生成部１２１は、カメラ１１２が行う撮像により取得される撮像画像を取得し、画像コンピューティングサーバ２００に送信するためのデータを生成する。本実施形態における送信データ生成部１２１は、仮想視点画像の生成に使用される前景画像、背景画像、シルエットデータ等の生成を行う。前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。 The transmission data generation unit 121 acquires a captured image obtained by imaging performed by the camera 112 and generates data for transmission to the image computing server 200 . The transmission data generation unit 121 in this embodiment generates a foreground image, a background image, silhouette data, and the like, which are used to generate a virtual viewpoint image. A foreground image is an image obtained by extracting an object area (foreground area) from a captured image captured by an imaging device. The object extracted as the foreground area refers to a dynamic object (moving object) that moves (its absolute position and shape can change) when the images are captured from the same direction in time series. Objects are, for example, people such as players and referees in the field where the game is played, for example, a ball in the case of ball games, and singers, performers, performers, and moderators in concerts and entertainment.

背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。 A background image is an image of an area (background area) different from at least the foreground object. Specifically, the background image is an image obtained by removing the foreground object from the captured image. In addition, the background refers to an object to be imaged that is stationary or continues to be nearly stationary when imaged from the same direction in time series. Such imaging targets are, for example, stages of concerts and the like, stadiums where events such as competitions are held, structures such as goals used in ball games, fields, and the like. However, the background is at least a region different from the foreground object, and the object to be imaged may include another object or the like in addition to the object and the background.

前景画像は、撮像画像に対し、例えば背景差分法やフレーム間差分法等を使用して前景領域を抽出することにより生成される。また背景画像は、前景領域として抽出されない領域に基づいて生成される。シルエットデータは、撮像画像において、前景領域と背景領域とを２値で表したデータである。例えば、前景領域の画素値を１、背景領域の画素値を０とすることにより、シルエットデータが生成される。本実施形態における画像コンピューティングサーバ２００は、複数のカメラアダプタ１２０から取得されたシルエットデータを使用して、例えば視体積交差法（Ｓｈａｐｅ－ｆｒｏｍ－Ｓｉｌｈｏｕｅｔｔｅ）などの方法を使用する。これにより、オブジェクトの三次元形状を表す三次元形状データが生成される。また、前景画像及び背景画像は、それぞれオブジェクト及び背景領域の三次元形状データの色付けに使用される。 A foreground image is generated by extracting a foreground region from a captured image using, for example, a background subtraction method or an inter-frame subtraction method. Also, the background image is generated based on the area that is not extracted as the foreground area. The silhouette data is binary data representing a foreground area and a background area in a captured image. For example, by setting the pixel value of the foreground area to 1 and the pixel value of the background area to 0, silhouette data is generated. The image computing server 200 in this embodiment uses silhouette data obtained from multiple camera adapters 120 to use methods such as the shape-from-silhouette method. Thereby, three-dimensional shape data representing the three-dimensional shape of the object is generated. Also, the foreground image and the background image are used for coloring the 3D shape data of the object and the background area, respectively.

ポート１２２、１２３は、カスケード接続において上流のカメラアダプタ１２０からデータのパケットを受信するためのポートである。ポート１２４、１２５は、カスケード接続において下流のカメラアダプタ１２０にデータのパケットを送信するためのポートである。 Ports 122 and 123 are ports for receiving packets of data from upstream camera adapter 120 in the cascade connection. Ports 124 and 125 are ports for sending packets of data to camera adapter 120 downstream in the cascade connection.

送受信処理部１３０は、カメラアダプタ１２０が送受信するパケットを処理するための処理部である。受信データ保持部１３１は、ポート１２２、１２３を介して受信したパケットを一時的に保持する。受信処理部１３２は、受信データ保持部１３１に保持されたデータを取得する。また、受信処理部１３２は、受信データ保持部１３１に保持されたデータのヘッダ情報を取得する。送信処理部１３３は、受信処理部１３２で受信されたデータおよび送信データ生成部１２１で生成されたデータを送信するための処理を行う。送信データ保持部１３４は、送信処理部１３３で送信処理された送信データを一時的に保持する。 The transmission/reception processing unit 130 is a processing unit for processing packets transmitted/received by the camera adapter 120 . The received data holding unit 131 temporarily holds packets received via the ports 122 and 123 . The reception processing unit 132 acquires data held in the reception data holding unit 131 . Also, the reception processing unit 132 acquires header information of the data held in the reception data holding unit 131 . The transmission processing unit 133 performs processing for transmitting the data received by the reception processing unit 132 and the data generated by the transmission data generation unit 121 . The transmission data holding unit 134 temporarily holds transmission data that has been processed for transmission by the transmission processing unit 133 .

カウンタ１３５は、スタートタイマーである。カメラ１１２により取得される撮像画像における１フレームに対応するデータの送信の開始時にリセットされた後、クロックをカウントする。あらかじめ設定されたカウント値に達すると、送信処理部１３３は送信データ生成部１２１が生成したデータの送信が開始される。カウンタ１３６は、ドロップタイマーである。カメラ１１２により取得される撮像画像における１フレームに対応するデータの送信の開始時にリセットされた後、クロックをカウントする。あらかじめ設定されたカウント値に達すると送信データ生成部１２１が生成した送信データが破棄される。 Counter 135 is a start timer. After being reset at the start of transmission of data corresponding to one frame in the captured image acquired by the camera 112, the clock is counted. When the preset count value is reached, the transmission processing unit 133 starts transmitting the data generated by the transmission data generation unit 121 . Counter 136 is a drop timer. After being reset at the start of transmission of data corresponding to one frame in the captured image acquired by the camera 112, the clock is counted. When a preset count value is reached, the transmission data generated by the transmission data generator 121 is discarded.

図１０は、カメラアダプタのハードウェア構成を説明するための図である。なお、画像コンピューティングサーバ２００、コントローラ３００のハードウェア構成も、以下で説明するカメラアダプタ１２０の構成と同様である。カメラアダプタ１２０は、ＣＰＵ（中央演算装置）２１１、ＲＯＭ（リードオンリーメモリ）２１２、ＲＡＭ（ランダムアクセスメモリ）２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。 FIG. 10 is a diagram for explaining the hardware configuration of the camera adapter. The hardware configurations of the image computing server 200 and the controller 300 are also the same as the configuration of the camera adapter 120 described below. The camera adapter 120 includes a CPU (central processing unit) 211, a ROM (read only memory) 212, a RAM (random access memory) 213, an auxiliary storage device 214, a display unit 215, an operation unit 216, a communication I/F 217, and a bus 218. have

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御することで、図１０に示すカメラアダプタ１２０の各機能を実現する。なお、カメラアダプタ１２０がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。 The CPU 211 implements each function of the camera adapter 120 shown in FIG. 10 by controlling the entire camera adapter 120 using computer programs and data stored in the ROM 212 and RAM 213 . Note that the camera adapter 120 may have one or a plurality of dedicated hardware different from the CPU 211, and at least a part of the processing by the CPU 211 may be executed by the dedicated hardware. Examples of dedicated hardware include ASICs (Application Specific Integrated Circuits), FPGAs (Field Programmable Gate Arrays), and DSPs (Digital Signal Processors). The ROM 212 stores programs that do not require modification. The RAM 213 temporarily stores programs and data supplied from the auxiliary storage device 214, data supplied from the outside via the communication I/F 217, and the like. The auxiliary storage device 214 is composed of, for example, a hard disk drive or the like, and stores various data such as image data and audio data.

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。通信Ｉ／Ｆ２１７は、カメラアダプタ１２０の外部の装置との通信に用いられる。例えば、カメラアダプタ１２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。カメラアダプタ１２０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、カメラアダプタ１２０の各部をつないで情報を伝達する。 The display unit 215 is composed of, for example, a liquid crystal display, an LED, etc., and displays a GUI (Graphical User Interface) for the user to operate the camera adapter 120, and the like. The operation unit 216 is composed of, for example, a keyboard, a mouse, a joystick, a touch panel, etc., and inputs various instructions to the CPU 211 in response to user's operations. A communication I/F 217 is used for communication with an external device of the camera adapter 120 . For example, when the camera adapter 120 is connected to an external device by wire, a communication cable is connected to the communication I/F 217 . If the camera adapter 120 has a function of wirelessly communicating with an external device, the communication I/F 217 has an antenna. A bus 218 connects each part of the camera adapter 120 and transmits information.

本実施形態では表示部２１５と操作部２１６が情報処理装置２００の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。また、図１０に示す構成の全てを有していなくともよく、例えばカメラアダプタ１２０は表示部２１５と操作部２１６との少なくとも一方を有さない構成であってもよい。 In this embodiment, the display unit 215 and the operation unit 216 exist inside the information processing apparatus 200, but at least one of the display unit 215 and the operation unit 216 exists outside the information processing apparatus 200 as a separate device. You may have In this case, the CPU 211 may operate as a display control unit that controls the display unit 215 and an operation control unit that controls the operation unit 216 . Also, the camera adapter 120 may not have all of the configuration shown in FIG.

図４はインターネットプロトコルのヘッダフォーマットを示す図である。実施形態１においては、カメラアダプタ１２０は、画像コンピューティングサーバ２００にカメラ１１２から取得された撮像画像に基づくデータに、ヘッダを付加したパケットを、フラグメント化して送信する。各フラグメントには、元のデータのヘッダ情報が付与される。本実施形態ではリザーブ領域であるヘッダのフラグフィールドのビット１６を、スタートフラグとして使用する。本実施形態におけるスタートフラグとは、各カメラアダプタ１２０がデータを送信するタイミングを特定するための情報である。各カメラアダプタ１２０は、生成したデータの最後のフラグメントのヘッダにおけるスタートフラグに１を設定し、その他のフラグメントのヘッダには０を設定する。 FIG. 4 is a diagram showing the header format of the Internet protocol. In the first embodiment, the camera adapter 120 fragments the data based on the captured image obtained from the camera 112 and adds a header to the image computing server 200 and transmits the fragmented packet. Each fragment is given the header information of the original data. In this embodiment, bit 16 of the flag field of the header, which is a reserved area, is used as a start flag. The start flag in this embodiment is information for specifying the timing at which each camera adapter 120 transmits data. Each camera adapter 120 sets 1 to the start flag in the header of the last fragment of the generated data, and sets 0 to the headers of other fragments.

ここで、本実施形態において解決すべき課題について説明する。複数の通信経路（例えば２本のケーブル）を介してデータの送信を行う際、送信の方法によっては、送信帯域を有効に活用できず、データの欠落が発生する場合がある。図１１を使用して、この問題について説明する。図１１の例では、各カメラアダプタ１２０がデータの送信に使用する通信経路があらかじめ定められている。パスＰ１は、ポート１２２を介して受信され、ポート１２５を介してデータの送信を行う通信経路であり、パスＰ２は、ポート１２３を介して受信され、ポート１２４を介してデータの送信を行う通信経路である。すなわち、パスＰ１では、受信用のポートであるポート１２２と、送信用のポートであるポート１２５とが対応付けられている。同様に、受信用のポートであるポート１２３と、送信用のポートであるポート１２４とが対応付けられている。 Here, problems to be solved in this embodiment will be described. When data is transmitted via a plurality of communication paths (for example, two cables), depending on the transmission method, the transmission band cannot be effectively used, and data may be lost. This problem will be explained using FIG. In the example of FIG. 11, the communication path used by each camera adapter 120 for data transmission is determined in advance. Path P1 is a communication path for receiving data via port 122 and transmitting data via port 125, and path P2 is a communication path for receiving data via port 123 and transmitting data via port 124. is the route. That is, in the path P1, the port 122 for reception and the port 125 for transmission are associated with each other. Similarly, port 123, which is a port for reception, and port 124, which is a port for transmission, are associated with each other.

カメラアダプタ１２０ｆ、１２０ｄ、１２０ｂは、パスＰ１を使用して、自身が生成したデータを下流のカメラアダプタに送信する。カメラアダプタ１２０ｅ、１２０ｃ、１２０ａは、パスＰ１を使用して、自身が生成したデータを下流のカメラアダプタ又はスイッチングハブ１８０に送信する。また、各カメラアダプタ１２０は、上流のカメラアダプタから取得したデータを、同じパスを使用して下流のカメラアダプタに転送する。また、カメラアダプタ１２０ａ～１２０ｆのそれぞれが生成及び送信するデータを、データ１２１ａ～１２１ｆとする。 Camera adapters 120f, 120d, and 120b use path P1 to send data they generate to downstream camera adapters. Camera adapters 120e, 120c, and 120a use path P1 to send the data they generate to downstream camera adapters or switching hubs 180 . Each camera adapter 120 also transfers data acquired from upstream camera adapters to downstream camera adapters using the same path. Data generated and transmitted by the camera adapters 120a to 120f are referred to as data 121a to 121f.

例えば送信されるデータ量が一定であれば、データの欠落が発生しないパスを予め各カメラアダプタ１２０に割り当てることができる。しかしながら、本実施形態においては、カメラアダプタ１２０が生成する前景画像やシルエットデータは、カメラ１１２が取得した撮像画像における前景領域の大きさに依存してデータ量が変動しうる。例えば、カメラ１１２が撮像したタイミングで、撮像フレームに映り込む選手の数が前の撮像フレームよりも多くなると、前景画像のデータ量は前の撮像フレームよりも大きくなる。このように、各カメラアダプタ１２０が送信するデータのデータ量が変動しうるため、予め各カメラアダプタ１２０に使用すべきパスを割り当てても、データが欠落する虞がある。図１１の例では、下流のカメラアダプタ１２０ａが送信するデータが、１フレームを送信するための所定の期間内に送信を完了することができないことを表している。これにより、カメラアダプタ１２０ａが送信するデータが欠落する。 For example, if the amount of data to be transmitted is constant, a path that does not cause data loss can be assigned in advance to each camera adapter 120 . However, in this embodiment, the foreground image and silhouette data generated by the camera adapter 120 may vary in data amount depending on the size of the foreground area in the captured image acquired by the camera 112 . For example, when the camera 112 captures an image, if the number of athletes captured in the imaged frame is larger than that of the previous imaged frame, the data amount of the foreground image becomes larger than that of the previous imaged frame. As described above, since the amount of data transmitted by each camera adapter 120 can vary, data may be lost even if a path to be used is assigned to each camera adapter 120 in advance. The example of FIG. 11 indicates that the data transmitted by the downstream camera adapter 120a cannot be completely transmitted within the predetermined period for transmitting one frame. As a result, the data transmitted by the camera adapter 120a is lost.

本実施形態では、この課題を解決するため、フラグメントに付与されたスタートフラグを使用して、複数の通信経路を効率よく活用する方法について説明する。 In this embodiment, in order to solve this problem, a method of efficiently utilizing multiple communication paths by using start flags attached to fragments will be described.

図５は実施形態１におけるカメラアダプタ１２０の送受信処理部１３０が行う処理を説明するためのフローチャートである。図５の処理は、カメラアダプタ１２０のＣＰＵ２１１がＲＯＭ２１２または補助記憶装置２１４に記憶されたプログラムを読み出して実行することにより行われる。また、図５の処理は、カメラ１１２が取得する撮像画像における１フレームの送信に係る処理である。 FIG. 5 is a flowchart for explaining processing performed by the transmission/reception processing unit 130 of the camera adapter 120 according to the first embodiment. The processing in FIG. 5 is performed by the CPU 211 of the camera adapter 120 reading and executing a program stored in the ROM 212 or the auxiliary storage device 214 . Also, the processing in FIG. 5 is processing related to transmission of one frame in the captured image acquired by the camera 112 .

送受信処理部１３０は、カメラ１１２の垂直同期信号をモニタしており、フレーム開始を検知するとスタートタイマー１３５、ドロップタイマー１３６はクロックのカウントを開始し、ステップＳ５０１に進む。ステップＳ５０１において、送受信処理部１３０はドロップタイマー１３６があらかじめ設定したタイマー値に到達しているか判定し、到達していればステップＳ５０７に進む。Ｓ５０７においては、送信処理部１３３は送信データ生成部１２１で生成した送信データを破棄し、フレームを終了する。一方、Ｓ５０１においてドロップタイムに到達していなければステップＳ５０２に進む。ステップＳ５０２において、送受信処理部１３０はスタートタイマー１３５があらかじめ設定したタイマー値に到達しているか判定し、到達していればステップＳ５０５に進み、到達していなければステップＳ５０３に進む。 The transmission/reception processing unit 130 monitors the vertical synchronization signal of the camera 112, and upon detecting the start of a frame, the start timer 135 and the drop timer 136 start counting clocks, and the process proceeds to step S501. In step S501, the transmission/reception processing unit 130 determines whether or not the drop timer 136 has reached a preset timer value, and if so, proceeds to step S507. In S507, the transmission processing unit 133 discards the transmission data generated by the transmission data generation unit 121, and ends the frame. On the other hand, if the drop time has not been reached in S501, the process proceeds to step S502. In step S502, the transmission/reception processing unit 130 determines whether or not the start timer 135 has reached a preset timer value.

ステップＳ５０３において送受信処理部１３０はパケットを受信したか判定する。パケットを受信していなければステップＳ５０１に戻り、受信していればステップＳ５０４に進む。 In step S503, the transmission/reception processing unit 130 determines whether a packet has been received. If the packet has not been received, the process returns to step S501, and if the packet has been received, the process proceeds to step S504.

ステップＳ５０４において、受信データ保持部１３１で一時保持した受信パケットを受信処理部１３２に送信する。受信処理部１３２はフラグメント化されたパケットのヘッダを参照し、フラグメントのヘッダに所定の情報が含まれているかを判定する。ここでは、受信処理部１３２は、ヘッダに１が含まれていることを検知する。スタートフラグが０である場合、ステップＳ５０８に進み、１であれば、受信処理部１３２により検知され、ステップＳ５０５に進む。ここで、カメラアダプタ１２０は２つのパスを介して複数のデータを並行して受信しうるが、受信処理部１３２は、受信される複数のデータのうち、最初にスタートフラグが１であることを検知したデータに対し、Ｓ５０５、５０６の処理を行う。 In step S504 , the received packet temporarily held in the received data holding unit 131 is transmitted to the reception processing unit 132 . The reception processing unit 132 refers to the header of the fragmented packet and determines whether predetermined information is included in the header of the fragment. Here, the reception processing unit 132 detects that 1 is included in the header. If the start flag is 0, the process proceeds to step S508, and if it is 1, it is detected by the reception processing unit 132, and the process proceeds to step S505. Here, the camera adapter 120 can receive a plurality of data in parallel via two paths. Processing of S505 and S506 is performed on the detected data.

ステップＳ５０５において、受信処理部１３２はスタートフラグを０に書き換え、ヘッダを書き換えたパケットを送信処理部１３３に送信する。すなわち、受信処理部１３２は、スタートフラグに含まれる情報（本実施形態では「１」）を削除する処理を行う。送信処理部１３３は受信処理部１３２から送信されたパケット、及び、送信データ生成部１２１で生成されたデータをポート１２４、ポート１２５のどちらから送信するか選択し、ステップＳ５０６に進む。ここでは、送信処理部１３３は、受信処理部１３によりスタートフラグが１であることが検知されたデータの取得に使用されたパスを、データの送信に使用するパスとして決定する。すなわち、スタートフラグが１であることが検知されたデータがパスＰ１を介して取得された場合は、データの送信はポート１２５から行われる。また、スタートフラグが１であることが検知されたデータがパスＰ２を介して取得された場合は、データの送信はポート１２４から行われる。送信処理部１３３は、受信処理部１３２から送信されたパケット、及び、送信データ生成部１２１で生成されたデータを、送信データ保持部１３４に送信する。ステップＳ５０６において送信処理部１３３は送信データ保持部１３４に保持したデータをステップＳ５０５で選択したポートを使用して送信する。 In step S505 , the reception processing unit 132 rewrites the start flag to 0 and transmits the packet with the rewritten header to the transmission processing unit 133 . That is, the reception processing unit 132 performs processing to delete information (“1” in this embodiment) included in the start flag. The transmission processing unit 133 selects from either the port 124 or the port 125 to transmit the packet transmitted from the reception processing unit 132 and the data generated by the transmission data generation unit 121, and proceeds to step S506. Here, the transmission processing unit 133 determines the path used to acquire the data whose start flag is detected to be 1 by the reception processing unit 13 as the path to be used for data transmission. That is, when the data for which the start flag is detected to be 1 is acquired via the path P1, the data is transmitted from the port 125. FIG. Also, when the data whose start flag is detected to be 1 is acquired via the path P2, the data is transmitted from the port 124. FIG. The transmission processing unit 133 transmits the packet transmitted from the reception processing unit 132 and the data generated by the transmission data generation unit 121 to the transmission data holding unit 134 . In step S506, the transmission processing unit 133 transmits the data held in the transmission data holding unit 134 using the port selected in step S505.

ステップＳ５０８は、スタートフラグが０である場合の処理である。Ｓ５０８において、受信処理部１３２は、受信処理したパケットを送信処理部１３３を介して下流のカメラアダプタに転送する。このとき、パケットの転送には、パケットの取得に使用されたパスと同じパスが使用される。以上が、送受信処理部１３０が行う処理である。 Step S508 is processing when the start flag is 0. In S508 , the reception processing unit 132 transfers the received packet to the downstream camera adapter via the transmission processing unit 133 . At this time, the same path used to acquire the packet is used for forwarding the packet. The above is the processing performed by the transmission/reception processing unit 130 .

図６は図１に示した画像処理システム１００の送信シーケンスを示した図である。また、図７はカメラアダプタ１２０ａ－１２０ｆの送信タイミングを示した図である。図６及び図７を使って実施形態１における画像処理システム１００のデータ送信動作を説明する。 FIG. 6 is a diagram showing a transmission sequence of the image processing system 100 shown in FIG. FIG. 7 is a diagram showing transmission timings of the camera adapters 120a-120f. A data transmission operation of the image processing system 100 according to the first embodiment will be described with reference to FIGS. 6 and 7. FIG.

ステップＳ６０１において、コントローラ３００は、カメラアダプタ１２０を介してカメラ１１２に撮像条件を決定するカメラパラメータ、および送受信制御に係る送信パラメータ等を設定する。ここでコントローラ３００はカメラアダプタ１２０およびカメラ１１２の時刻同期を行う。また、カメラアダプタ１２０はカメラ１１２により取得される撮像画像に基づいて生成されるデータデータに対して最後のフラグメントのヘッダのスタートフラグを１とするヘッダを生成する設定を行う。 In step S601 , the controller 300 sets camera parameters for determining imaging conditions, transmission parameters related to transmission/reception control, and the like to the camera 112 via the camera adapter 120 . Here, the controller 300 performs time synchronization of the camera adapter 120 and the camera 112 . Also, the camera adapter 120 performs settings for generating a header in which the start flag of the header of the last fragment is set to 1 for data data generated based on the captured image acquired by the camera 112 .

ステップＳ６０２において、コントローラ３００はカメラアダプタ１２０を介してカメラ１１２の撮像を開始する制御信号を送信する。ステップＳ６０３において、各カメラ１１２は撮像を開始する。ステップＳ６０４において、カメラアダプタ１２０に対して１フレーム分の撮像画像を出力する。以降、カメラ１１２は撮像を継続し、１フレーム毎にＳ６０３以降の処理を実行する。 In step S602, the controller 300 transmits a control signal to start the imaging of the camera 112 via the camera adapter 120. FIG. In step S603, each camera 112 starts imaging. In step S604 , the captured image for one frame is output to the camera adapter 120 . After that, the camera 112 continues imaging and executes the processing from S603 onward for each frame.

ステップＳ６０５において、各カメラアダプタ１２０は、取得した撮像画像に基づいて、仮想視点画像の生成に使用されるデータの生成を行う。ステップＳ６０６において、カメラアダプタ１２０ｆ，１２０ｅは、それぞれ生成したデータ１２１ｆ、１２１ｅを下流のカメラアダプタ１２０に送信する。ここでは、カメラアダプタ１２０ｆは、ポート１２５を介してパスＰ１に、カメラアダプタ１２０ｅは、ポート１２４を介してパスＰ２にデータを送信する。カメラ１１２ｆが送信したデータは、パスＰ１を使用してカメラアダプタ１２０ｅ、１２０ｄ、１２０ｃ、１２０ｂ、１２０ａの順で転送され、画像コンピューティングサーバ２００に送信される。同様にカメラ１１２ｅが送信したデータは、パスＰ２を使用してカメラアダプタ１２０ｄ、１２０ｃ、１２０ｂ、１２０ａの順で転送され、画像コンピューティングサーバ２００に送信される。 In step S605, each camera adapter 120 generates data used for generating a virtual viewpoint image, based on the acquired captured image. In step S606, the camera adapters 120f and 120e transmit the generated data 121f and 121e to the downstream camera adapter 120, respectively. Here, camera adapter 120f sends data to path P1 via port 125 and camera adapter 120e sends data to path P2 via port . Data transmitted by camera 112f is forwarded to Image Computing Server 200 using path P1 in the order camera adapters 120e, 120d, 120c, 120b, 120a. Similarly, data transmitted by camera 112e is forwarded to Image Computing Server 200 using path P2 in sequence through camera adapters 120d, 120c, 120b, and 120a.

Ｓ６０７において、カメラアダプタ１２０ｄは、生成したデータ１２１ｄをカメラアダプタ１２０ｃに送信する。このとき、データ１２１ｄの送信に使用するパスの決定について、図７を使用して説明する。図７に示すように、カメラアダプタ１２０ｄでは時刻ＴｄにおいてパスＰ１上でカメラ１１２ｆの撮像データの転送が終了する。このとき、カメラアダプタ１２０ｄ内の受信処理部１３２は、受信したデータ１２１ｆの最後のフラグメントにおいてヘッダのスタートフラグに１が含まれていることを検出する。送信処理部１３３はカメラ１１２ｆの最後のフラグメントのスタートフラグを０に書き換え、パスＰ１を使用して転送する。また、送信処理部１３３は、データ１２１ｆの取得に使用されたパスと同じパスであるパスＰ１を使用してデータ１２１ｄの送信を開始する。すなわち、データ１２１ｄは、受信ポート１２２と対応付けられた送信ポート１２５を使用して送信される。 In S607, the camera adapter 120d transmits the generated data 121d to the camera adapter 120c. Determination of the path to be used for transmitting the data 121d at this time will be described with reference to FIG. As shown in FIG. 7, in the camera adapter 120d, transfer of the imaging data of the camera 112f on the path P1 ends at time Td. At this time, the reception processing unit 132 in the camera adapter 120d detects that 1 is included in the start flag of the header in the last fragment of the received data 121f. The transmission processing unit 133 rewrites the start flag of the last fragment of the camera 112f to 0 and transfers it using the path P1. Also, the transmission processing unit 133 starts transmitting the data 121d using the path P1, which is the same path as the path used to acquire the data 121f. That is, data 121 d is transmitted using transmit port 125 associated with receive port 122 .

Ｓ６０８において、カメラアダプタ１２０ｃは、生成したデータ１２１ｃをカメラアダプタ１２０ｂに送信する。このとき、時刻ＴｃにおいてパスＰ１上でデータ１２１ｄの転送が終了したものとする。カメラアダプタ１２０ｃ内の受信処理部１３２は、受信したデータ１２１ｄの最後のフラグメントにおいてヘッダのスタートフラグが１であることを検出する。ステップＳ６０７において送信処理部１３３は、データ１２１ｄの最後のフラグメントのスタートフラグを０に書き換え、パスＰ１を使用して転送する。また、送信処理部１３３は、データ１２１ｄの取得に使用されたパスと同じパスであるパスＰ１を使用してデータ１２１ｃの送信を開始する。すなわち、データ１２１ｃは、受信ポート１２２と対応付けられた送信ポート１２５を使用して送信される。 In S608, the camera adapter 120c transmits the generated data 121c to the camera adapter 120b. At this time, it is assumed that the transfer of data 121d on path P1 is completed at time Tc. The reception processing unit 132 in the camera adapter 120c detects that the header start flag is 1 in the last fragment of the received data 121d. In step S607, the transmission processing unit 133 rewrites the start flag of the last fragment of the data 121d to 0, and transfers it using the path P1. Also, the transmission processing unit 133 starts transmitting the data 121c using the path P1, which is the same path as the path used to acquire the data 121d. That is, data 121 c is transmitted using transmit port 125 associated with receive port 122 .

Ｓ６０９において、カメラアダプタ１２０ｂは、生成したデータ１２１ｂをカメラアダプタ１２０ａに送信する。このとき、時刻ＴｂにおいてパスＰ２上でデータ１２１ｃの転送が終了したものとする。カメラアダプタ１２０ｂ内の受信処理部１３２は、受信したデータ１２１ｃの最後のフラグメントにおいてヘッダのスタートフラグが１であることを検出する。送信処理部１３３は、データ１２１ｃの最後のフラグメントのスタートフラグを０に書き換え、パスＰ２を使用して転送する。また、送信処理部１３３は、データ１２１ｃの取得に使用されたパスと同じパスであるパスＰ２を使用してデータ１２１ｂの送信を開始する。すなわち、データ１２１ｂは、受信ポート１２３と対応付けられた送信ポート１２４を使用して送信される。 In S609, the camera adapter 120b transmits the generated data 121b to the camera adapter 120a. At this time, it is assumed that the transfer of the data 121c is completed on the path P2 at the time Tb. The reception processing unit 132 in the camera adapter 120b detects that the header start flag is 1 in the last fragment of the received data 121c. The transmission processing unit 133 rewrites the start flag of the last fragment of the data 121c to 0 and transfers it using the path P2. Also, the transmission processing unit 133 starts transmitting the data 121b using the path P2, which is the same path as the path used to acquire the data 121c. That is, data 121 b is transmitted using transmit port 124 associated with receive port 123 .

Ｓ６１０において、カメラアダプタ１２０ａは、生成したデータ１２１ａをカメラアダプタ１２０ａに送信する。このとき、時刻ＴａにおいてパスＰ２上でカメラ１１２ｂの撮像データの転送が終了したものとする。カメラアダプタ１２０ａ内の受信処理部１３２は、受信したデータ１２１ｂの最後のフラグメントにおいてヘッダのスタートフラグが１であることを検出する。送信処理部１３３は、データ１２１ｂの最後のフラグメントのスタートフラグを０に書き換え、パスＰ２を使用して転送する。また、送信処理部１３３は、データ１２１ｃの取得に使用されたパスと同じパスであるパスＰ２を使用してデータ１２１ａの送信を開始する。すなわち、データ１２１ａは、受信ポート１２３と対応付けられた送信ポート１２４を使用して送信される。 In S610, the camera adapter 120a transmits the generated data 121a to the camera adapter 120a. At this time, it is assumed that the transfer of the imaging data of the camera 112b is completed on the path P2 at the time Ta. The reception processing unit 132 in the camera adapter 120a detects that the start flag of the header is 1 in the last fragment of the received data 121b. The transmission processing unit 133 rewrites the start flag of the last fragment of the data 121b to 0 and transfers it using the path P2. Also, the transmission processing unit 133 starts transmitting the data 121a using the path P2, which is the same path as the path used to acquire the data 121c. That is, data 121 a is transmitted using transmit port 124 associated with receive port 123 .

以上説明したように、本実施形態のカメラアダプタ１２０は、取得したパケットのヘッダ情報からスタートフラグが１であることを検出した場合、検出したデータの取得に使用されたパスと同じパスを使用してデータの送信を行う。この処理により、空きのある送信帯域が優先的に使用されるので、複数の通信経路を使用したデータの送信において各通信経路の帯域を効率よく活用し、データの欠落を抑制することが可能となる。なお、本実施形態ではパスが２本であるものとしたが、３本以上の場合においても本実施形態の方法は適用可能である。 As described above, when the camera adapter 120 of this embodiment detects that the start flag is 1 from the header information of the acquired packet, it uses the same path as the path used to acquire the detected data. to send data. This process prioritizes the use of available transmission bands, making it possible to efficiently utilize the bandwidth of each communication route when sending data using multiple communication routes and suppress data loss. Become. Although the number of paths is two in the present embodiment, the method of the present embodiment can also be applied to the case of three or more paths.

（第２の実施形態）
第１の実施形態では、各カメラアダプタ１２０が、それぞれ上流から取得したデータを転送してから、自身で生成したデータの送信を行う順次送信が行われる場合について説明した。本実施形態では複数のカメラアダプタ１２０間の送信が順次送信と同時送信が混在している場合の送信動作について説明する。ここでいう同時送信は、周波数多重送信であり、送信データをパケットに分割し、所定の頻度で送信するものを指す。本実施形態では、パスＰ１上の帯域をあらかじめ分割して順次送信用と同時送信用に割り当てる。ここで同時送信はフレーム周波数が順次送信の１／２とする。 (Second embodiment)
In the first embodiment, the case where each camera adapter 120 transfers the data obtained from the upstream and then transmits the data generated by itself is performed sequentially. In the present embodiment, a transmission operation when transmission between a plurality of camera adapters 120 includes both sequential transmission and simultaneous transmission will be described. Simultaneous transmission here means frequency multiplex transmission, which divides transmission data into packets and transmits them at a predetermined frequency. In this embodiment, the bandwidth on the path P1 is divided in advance and allocated for sequential transmission and simultaneous transmission. Here, simultaneous transmission is assumed to have a frame frequency of 1/2 that of sequential transmission.

本実施形態におけるカメラアダプタ１２０の機能構成、ハードウェア構成、及びカメラアダプタ１２０に含まれる送受信処理部１３０の処理については、第１の実施形態と同様のため、同様の符号を使用し、説明を省略する。 Since the functional configuration and hardware configuration of the camera adapter 120 and the processing of the transmission/reception processing unit 130 included in the camera adapter 120 in this embodiment are the same as those in the first embodiment, the same reference numerals are used and the description will be made. omitted.

図８は第２の実施形態における画像処理システム１００の送信シーケンスを示した図である。また、図９はカメラアダプタ１２０ａ－１２０ｆの送信タイミングを示した図である。図８及び図９を使って実施形態２における画像処理システム１００の送信動作を説明する。 FIG. 8 is a diagram showing a transmission sequence of the image processing system 100 according to the second embodiment. FIG. 9 is a diagram showing transmission timings of the camera adapters 120a-120f. The transmission operation of the image processing system 100 according to the second embodiment will be described with reference to FIGS. 8 and 9. FIG.

ステップＳ８０１およびステップＳ８０２は実施形態１のステップＳ６０１およびステップＳ６０２と同様の内容なので説明を省略する。ステップＳ８０３およびステップＳ８０４もカメラ１１２ｄ、カメラアダプタ１２０ｄを除いて実施形態１のステップＳ６０３およびステップＳ６０４と同様である。ステップＳ８０５において、各カメラアダプタ１２０は、取得した撮像画像に基づいて、仮想視点画像の生成に使用されるデータの生成を行う。カメラ１１２ｄのみカメラアダプタ１２０ｄに対して２フレーム毎に撮像画像の出力を行う。 Since steps S801 and S802 have the same contents as steps S601 and S602 of the first embodiment, description thereof will be omitted. Steps S803 and S804 are also the same as steps S603 and S604 of the first embodiment except for the camera 112d and camera adapter 120d. In step S805, each camera adapter 120 generates data used for generating a virtual viewpoint image, based on the acquired captured image. Only the camera 112d outputs captured images to the camera adapter 120d every two frames.

ステップＳ８０６においてカメラアダプタ１２０ｆは生成したデータ１２１ｆを、カメラアダプタ１２０ｄは生成したデータ１２１ｄを、ポート１２５からパスＰ１を使用して送信する。カメラアダプタ１２０ｅは生成したデータ１２１ｅをポート１２４からパスＰ２を使用して送信する。データ１２１ｆはカメラアダプタ１２０ｅ、１２０ｄ、１２０ｃ、１２０ｂ、１２０ａの順に転送され、画像コンピューティングサーバ２００に送信される。同様にデータ１２１ｄはカメラアダプタ１２０ｃ、１２０ｂ、１２０ａの順に転送され、画像コンピューティングサーバ２００に送信される。同様にデータ１２１ｅはカメラアダプタ１２０ｄ、１２０ｃ、１２０ｂ、１２０ａの順に転送され、画像コンピューティングサーバ２００に送信される。 In step S806, the camera adapter 120f transmits the generated data 121f, and the camera adapter 120d transmits the generated data 121d from the port 125 using the path P1. Camera adapter 120e transmits generated data 121e from port 124 using path P2. The data 121f is forwarded to the Image Computing Server 200 in the order of the camera adapters 120e, 120d, 120c, 120b, 120a. Similarly, data 121d is transferred to camera adapters 120c, 120b, 120a in that order and sent to Image Computing Server 200. FIG. Similarly, data 121 e is forwarded through camera adapters 120 d , 120 c , 120 b , 120 a in order and sent to Image Computing Server 200 .

ここで、パスＰ１の帯域は例えばカメラアダプタ１２０ｄからのデータの送信に２０％、他のカメラアダプタからのデータの送信に８０％というようにあらかじめ割り当てられ、各カメラアダプタ１２０から送信時にスループットを制限することにより制御される。また、カメラアダプタ１２０ｄから送信されるデータは最後のフラグメントのヘッダにおいても最初からスタートフラグに０を設定して送信することにより、他のカメラアダプタのデータ送信から独立した送信となる。 Here, the bandwidth of the path P1 is allocated in advance, for example, 20% for data transmission from the camera adapter 120d and 80% for data transmission from other camera adapters. is controlled by Also, the data transmitted from the camera adapter 120d is transmitted with the start flag set to 0 from the beginning even in the header of the last fragment, so that the transmission becomes independent from the data transmission of other camera adapters.

図９に示すようにカメラアダプタ１２０ｆ、１２０ｅ、１２０ｄは同時に送信を開始する。Ｓ８０７において、カメラアダプタ１２０ｃは、生成したデータ１２１ｃをカメラアダプタ１２０ｂに送信する。時刻ＴｃにおいてパスＰ１上でデータ１２１ｆの転送が終了する。カメラアダプタ１２０ｃ内の受信処理部１３２は、受信したデータ１２１ｆの最後のフラグメントにおいてヘッダ情報からスタートフラグが１であることを検出する。送信処理部１３３はデータ１２１ｆの最後のフラグメントのスタートフラグを０に書き換え、パスＰ１を使用して転送する。また、送信処理部１３３はデータ１２１ｆの取得に使用されたパスと同じパスであるパスＰ１を使用してデータ１２１ｃの送信を開始する。すなわち、データ１２１ｃは、受信ポート１２２と対応付けられた送信ポート１２５を使用して送信される。 As shown in FIG. 9, camera adapters 120f, 120e and 120d start transmitting simultaneously. In S807, the camera adapter 120c transmits the generated data 121c to the camera adapter 120b. Transfer of data 121f on path P1 ends at time Tc. The reception processing unit 132 in the camera adapter 120c detects from the header information that the start flag is 1 in the last fragment of the received data 121f. The transmission processing unit 133 rewrites the start flag of the last fragment of the data 121f to 0 and transfers it using the path P1. Also, the transmission processing unit 133 starts transmitting the data 121c using the path P1, which is the same path as the path used to acquire the data 121f. That is, data 121 c is transmitted using transmit port 125 associated with receive port 122 .

Ｓ８０８において、カメラアダプタ１２０ｂは、生成したデータ１２１ｂをカメラアダプタ１２０ａに送信する。時刻ＴｂにおいてパスＰ２上でデータ１２１ｅの転送が終了する。カメラアダプタ１２０ｂ内の受信処理部１３２は、受信したデータ１２１ｅの最後のフラグメントにおいてヘッダ情報からスタートフラグが１であることを検出する。ステップＳ８０７において送信処理部１３３はカメラ１１２ｅの撮像データの最後のフラグメントのスタートフラグを０に書き換え、ポート１２５を介してパスＰ２上に転送する。また、送信処理部１３３は、データ１２１ｆの取得に使用されたパスと同じパスであるパスＰ２を使用してデータ１２１ｂの送信を開始する。すなわち、データ１２１ｂは、受信ポート１２３と対応付けられた送信ポート１２４を使用して送信される。 In S808, the camera adapter 120b transmits the generated data 121b to the camera adapter 120a. At time Tb, the transfer of data 121e on path P2 ends. The reception processing unit 132 in the camera adapter 120b detects from the header information that the start flag is 1 in the last fragment of the received data 121e. In step S807, the transmission processing unit 133 rewrites the start flag of the last fragment of the imaging data of the camera 112e to 0, and transfers it via the port 125 onto the path P2. Also, the transmission processing unit 133 starts transmitting the data 121b using the path P2, which is the same path as the path used to acquire the data 121f. That is, data 121 b is transmitted using transmit port 124 associated with receive port 123 .

Ｓ８０９において、カメラアダプタ１２０ａは、生成したデータ１２１ａを画像コンピューティングサーバ２００に送信する。時刻Ｔａにおいてデータ１２１ｂの転送が終了する。カメラアダプタ１２０ａ内の受信処理部１３２は、受信したデータ１２１ｂの最後のフラグメントにおいてヘッダ情報からスタートフラグが１であることを検出する。送信処理部１３３は、データ１２１ｂの最後のフラグメントのスタートフラグを０に書き換え、パスＰ２を使用して転送する。また、送信処理部１３３は、データ１２１ｆの取得に使用されたパスと同じパスであるパスＰ２を使用してデータ１２１ａの送信を開始する。すなわち、データ１２１ａは、受信ポート１２３と対応付けられた送信ポート１２４を使用して送信される。 At S809 , the camera adapter 120 a sends the generated data 121 a to the image computing server 200 . Transfer of data 121b ends at time Ta. The reception processing unit 132 in the camera adapter 120a detects from the header information that the start flag is 1 in the last fragment of the received data 121b. The transmission processing unit 133 rewrites the start flag of the last fragment of the data 121b to 0 and transfers it using the path P2. Further, the transmission processing unit 133 starts transmitting the data 121a using the path P2, which is the same path as the path used to acquire the data 121f. That is, data 121 a is transmitted using transmit port 124 associated with receive port 123 .

このようにして１フレーム期間が過ぎると、ステップＳ８１０において、カメラ１１２ｄ以外の各カメラ１１２は１フレーム分の撮像画像を各カメラアダプタ１２０に転送する。 When one frame period has passed in this manner, each camera 112 other than the camera 112d transfers one frame of captured images to each camera adapter 120 in step S810.

次にステップＳ８１０においてカメラアダプタ１２０ｆ、１２０ｅは各々カメラ１１２ｆ、１１２ｅの撮像データの送信を開始する。Ｓ８１１以降の処理は、Ｓ８０５からＳ８０９の処理と同様に行われる。ただし、カメラアダプタ１２０ｄから送信されたデータ１２１ｄは、２フレーム分の期間を使用して送信されるため、次のフレーム機関までまたがって送信が行われる。 Next, in step S810, the camera adapters 120f and 120e start transmitting the imaging data of the cameras 112f and 112e, respectively. The processing after S811 is performed in the same manner as the processing from S805 to S809. However, since the data 121d transmitted from the camera adapter 120d is transmitted using a period of two frames, transmission is performed over the period of the next frame.

以上説明したように、カスケード接続された複数のカメラにカメラ間で順次送信しないものを混在させても各カメラの撮像データ量の変動に対応して複数の通信経路を適応的に選択した送信を行うことができる。 As described above, even if multiple cameras connected in cascade are mixed with data that is not sequentially transmitted between cameras, multiple communication paths can be adaptively selected for transmission in response to fluctuations in the amount of image data captured by each camera. It can be carried out.

（その他の実施形態）
上述した実施形態においては、スタートフラグを使用して、データの送信タイミングが特定される例について説明したが、送信タイミングを特定可能な情報であれば。これに限定されない。送受信処理部１３０は、受信したデータに所定の情報が含まれていることを検出し、データの送信を行う通信経路を決定する。 (Other embodiments)
In the above-described embodiment, the start flag is used to specify the data transmission timing, but any information that can specify the transmission timing can be used. It is not limited to this. The transmission/reception processing unit 130 detects that the received data contains predetermined information, and determines a communication route for transmitting the data.

また、上述した実施形態においては、送信されるデータとして前景画像、背景画像、及び視スエットデータ等の画像データである場合について説明したが、これに限定されない。例えば、カメラ１１２により取得された撮像画像そのものが、カメラアダプタ１２０により下流のカメラアダプタ１２０に送信される構成でもよい。上述した実施形態における通信方法は、複数の通信経路によりカスケード接続される構成において、任意のデータを送信する形態において適用可能である。 In the above-described embodiment, the data to be transmitted is image data such as a foreground image, a background image, and visual sweat data, but the data is not limited to this. For example, the captured image itself acquired by the camera 112 may be transmitted by the camera adapter 120 to the downstream camera adapter 120 . The communication method in the above-described embodiments can be applied in the form of transmitting arbitrary data in a configuration in which multiple communication paths are cascaded.

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present disclosure provides a program that implements one or more functions of the above-described embodiments to a system or device via a network or storage medium, and one or more processors in a computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１２０カメラアダプタ
１２１送信データ生成部
１３１受信データ保持部
１３２受信処理部
１３４送信データ保持部 120 camera adapter 121 transmission data generation unit 131 reception data storage unit 132 reception processing unit 134 transmission data storage unit

Claims

A communication device,
two or more receiving ports;
two or more transmission ports;
receiving means for receiving a plurality of data via the two or more reception ports from a first other communication device connected to the communication device;
detection means for detecting that predetermined information is included in each of the plurality of data received by the reception means;
generating means for generating data to be transmitted to a second other communication device connected to the communication device;
using the transmission port associated with the reception port used to acquire the data detected by the detection means to include the predetermined information, from among the two or more transmission ports, by the generation means a transmitting means for transmitting generated data;
A communication device comprising:

2. The communication apparatus according to claim 1, wherein said predetermined information is information for specifying timing for transmitting data generated by said generating means.

3. The communication apparatus according to claim 1, wherein said predetermined information is included in a header of the last fragment of fragmented data received by said receiving means.

The transmitting means is associated with the receiving port used to acquire the data first detected to contain the predetermined information by the detecting means in a predetermined period, among the two or more transmitting ports. 4. A communication device according to any one of claims 1 to 3, characterized in that a transmission port is used to transmit the data generated by said generating means.

5. The communication apparatus according to any one of claims 1 to 4, wherein said generating means generates data containing said predetermined information.

The transmitting means transmits each of the plurality of data received by the receiving means to the second other using the transmission port associated with the receiving port used to acquire each of the plurality of data. 6. A communication device according to any one of claims 1 to 5, characterized in that it transmits to a communication device.

The transmitting means deletes the predetermined information contained in the data first detected to include the predetermined information by the detecting means in a predetermined period from among the plurality of data received by the receiving means. 7. The communication device according to claim 6, wherein the data is transmitted to the second other communication device.

The generating means generates data to be transmitted to the second other communication device based on an image captured by an imaging device connected to the communication device. Item 8. The communication device according to any one of Items 1 to 7.

9. The method according to claim 8, wherein the data generated by said generating means includes image data representing an area corresponding to said subject in a captured image obtained by said imaging device capturing an image of said subject. Communication device.

3. The data generated by said generating means includes image data representing an area different from an area corresponding to said subject in a captured image obtained by said imaging device capturing an image of said subject. 10. The communication device according to 8 or 9.

The transmission means is configured such that the predetermined information is first detected by the detection means during a period in which one of the two or more transmission ports is used for transmission of data corresponding to one frame in the captured image acquired by the imaging device. 11. Data generated by said generation means is transmitted using a transmission port associated with a reception port used to acquire data whose inclusion is detected. A communication device according to any one of the preceding claims.

12. The communication device according to any one of claims 1 to 11, wherein the data generated by said generating means includes data used for generating a virtual viewpoint image.

A control method performed by a communication device having two or more reception ports and two or more transmission ports,
a receiving step of receiving a plurality of data via the two or more receiving ports from a first other communication device connected to the communication device;
a detecting step of detecting that predetermined information is included in each of the plurality of data received in the receiving step;
a generating step of generating data for transmission to a second other communication device connected to the communication device;
in the generating step, using, of the two or more transmission ports, the transmission port associated with the reception port used to acquire the data detected to contain the predetermined information in the detection step; a transmission step of transmitting the generated data;
A control method characterized by having

A program for causing a computer to function as the communication device according to any one of claims 1 to 12.