JP2020039072A

JP2020039072A - Information processing apparatus, information processing method, and program

Info

Publication number: JP2020039072A
Application number: JP2018165947A
Authority: JP
Inventors: 熊取谷　昭彦; Akihiko Kumatoriya; 昭彦熊取谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-09-05
Filing date: 2018-09-05
Publication date: 2020-03-12

Abstract

To reduce a situation in which the image quality of a synthesized image synthesized from a group of pieces of image data imaged in synchronization is degraded.SOLUTION: An information processing apparatus includes control means for controlling transfer of a plurality of pieces of image data based on a plurality of images captured synchronously at a plurality of timings by a plurality of imaging units, which are used for generating a virtual viewpoint image, and acquisition means for acquiring a load index indicating a degree of load applied to the transfer by the control means, and the control means suspends transfer of the plurality of pieces of image data based on the plurality of images captured synchronously at at least one timing among the plurality of pieces of image data in accordance with the load index acquired by the acquisition means.SELECTED DRAWING: Figure 5

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

異なる位置に設置された複数の撮影部を介して多視点で同期して撮影されて取得された複数視点画像を用いて仮想視点画像を生成する技術がある。
仮想視点画像を生成するシステムでは、複数の撮影部により同期して撮影された画像データの転送が行われる場合がある。特許文献１には、複数の撮影部から転送されるデータ量からネットワーク帯域使用率を算出し、許容レベルを超える場合は一部の撮影部の転送タイミングをずらしたり、データの順序を入れ替えたりして通信帯域を効率的に使う手法が開示されている。 There is a technique for generating a virtual viewpoint image by using a plurality of viewpoint images which are photographed in synchronization with multiple viewpoints via a plurality of photographing units installed at different positions and acquired.
In a system for generating a virtual viewpoint image, there is a case where image data taken synchronously by a plurality of photographing units is transferred. In Patent Document 1, a network bandwidth usage rate is calculated from the amount of data transferred from a plurality of photographing units, and when it exceeds an allowable level, the transfer timing of some photographing units is shifted or the order of data is changed. A technique for efficiently using a communication band is disclosed.

特開２０１２−１４７１０７号公報JP 2012-147107 A

複数の撮影部により同期して撮影された画像に基づく画像データの転送において、通信状況（通信帯域の逼迫、遅延の発生等）に応じて、転送される画像データを削減する必要が生じる場合がある。そのような場合、撮影部ごとに、一部の画像データを転送対象から外すことが考えられる。しかし、それにより、転送先において、複数の撮影部により同期して撮影された一群の画像データの一部が欠落してしまう事態が多発してしまう場合がある。これにより、同期して撮影された画像に基づく一群の画像データから合成される仮想視点画像等の合成画像の画質が劣化してしまう事態が多発する場合があるという問題がある。 In the transfer of image data based on images taken synchronously by a plurality of image capturing units, it may be necessary to reduce the amount of image data to be transferred depending on the communication conditions (tightening of communication band, occurrence of delay, etc.). is there. In such a case, it is conceivable to exclude some image data from the transfer target for each photographing unit. However, as a result, a situation in which a part of a group of image data shot in synchronization by a plurality of shooting units is lost at the transfer destination may occur frequently. As a result, there is a problem that the quality of a synthesized image such as a virtual viewpoint image synthesized from a group of image data based on the images captured in synchronization is often deteriorated.

本発明の情報処理装置は、複数の撮影部により複数のタイミングそれぞれにおいて同期して撮影された複数の画像に基づく複数の画像データであって、仮想視点画像の生成に用いられる前記複数の画像データを転送するよう制御する制御手段と、前記制御手段による転送にかかる負荷の程度を示す負荷指標を取得する取得手段と、を有し、前記制御手段は、前記取得手段により取得された前記負荷指標に応じて、前記複数の画像データのうち少なくとも一のタイミングにおいて同期して撮影された複数の画像に基づく複数の画像データの転送を中止するように制御する。 The information processing apparatus according to the present invention is a plurality of image data based on a plurality of images synchronously photographed by a plurality of photographing units at a plurality of timings, respectively, and the plurality of image data used for generating a virtual viewpoint image. Control means for controlling the transfer, and acquisition means for acquiring a load index indicating a degree of load applied to the transfer by the control means, wherein the control means includes the load index acquired by the acquisition means. And controlling the transfer of a plurality of image data based on a plurality of images synchronously photographed at least at one timing among the plurality of image data.

本発明によれば、同期して撮影された画像に基づく一群の画像データから合成される合成画像の画質が劣化してしまう事態を低減できる。 ADVANTAGE OF THE INVENTION According to this invention, the situation where the image quality of the synthetic | combination image combined from the group of image data based on the image image | photographed synchronously can be reduced.

撮影システムのシステム構成の一例を示す図である。It is a figure showing an example of the system configuration of a photography system. コントローラ等のハードウェア構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a hardware configuration of a controller and the like. 撮影状況の一例を説明する図である。It is a figure explaining an example of a photography situation. カメラアダプタの処理の一例を示すフローチャートである。9 is a flowchart illustrating an example of processing of a camera adapter. コントローラの処理の一例を示すフローチャートである。5 is a flowchart illustrating an example of a process of a controller. 転送処理の一例を説明する図である。FIG. 9 is a diagram illustrating an example of a transfer process. 転送処理の一例を説明する図である。FIG. 9 is a diagram illustrating an example of a transfer process. コントローラの処理の一例を示すフローチャートである。5 is a flowchart illustrating an example of a process of a controller. 転送処理の一例を説明する図である。FIG. 9 is a diagram illustrating an example of a transfer process.

以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。 Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.

＜実施形態１＞
図１は、撮影システム１００のシステム構成の一例である。撮影システム１００は、複数のカメラを備える。本実施形態においては、複数のカメラが競技場（スタジアム）やコンサートホール等の施設に設置されている場合を例に説明する。
撮影システム１００は、カメラ１１２ａ〜１１２ｅ、カメラアダプタ１２０ａ〜１２０ｅ、スイッチングハブ１８０、画像サーバ装置２００、タイムサーバ２９０、コントローラ３００を含む。以下では、カメラ１１２ａ〜１１２ｅを、適宜カメラ１１２と総称する。また、以下では、カメラアダプタ１２０ａ〜１２０ｅを、適宜カメラアダプタ１２０と総称する。
本実施形態では、特に断りがない限り、画像には、動画と静止画とが含まれるものとする。即ち、撮影システム１００は、静止画及び動画の何れについても撮影できる。 <First embodiment>
FIG. 1 is an example of a system configuration of the imaging system 100. The imaging system 100 includes a plurality of cameras. In the present embodiment, a case where a plurality of cameras are installed in a facility such as a stadium or a concert hall will be described as an example.
The imaging system 100 includes cameras 112a to 112e, camera adapters 120a to 120e, a switching hub 180, an image server device 200, a time server 290, and a controller 300. Hereinafter, the cameras 112a to 112e are collectively referred to as cameras 112 as appropriate. Hereinafter, the camera adapters 120a to 120e are collectively referred to as the camera adapter 120 as appropriate.
In the present embodiment, unless otherwise specified, images include moving images and still images. That is, the photographing system 100 can photograph both still images and moving images.

スイッチングハブ１８０は、ネットワークを介した通信の中継を行う装置である。スイッチングハブ１８０は、コントローラ３００、画像サーバ装置２００、タイムサーバ２９０、カメラアダプタ１２０ａ、カメラアダプタ１２０ｅそれぞれと接続されている。また、カメラアダプタ１２０ａ〜１２０ｅは、デイジーチェーン接続されている。また、カメラ１１２ａ〜１１２ｅは、それぞれカメラアダプタ１２０ａ〜１２０ｅと接続されている。
また、カメラアダプタ１２０ａ〜１２０ｅは、デイジーチェーン接続されていないこととしてもよい。例えば、カメラアダプタ１２０ａ〜１２０ｅは、それぞれスイッチングハブ１８０に接続されることしてもよい。その場合、スイッチングハブ１８０を経由してカメラアダプタ１２０ａ〜１２０ｅ間のデータ送受信を行うスター型のネットワークが構成される。 The switching hub 180 is a device that relays communication via a network. The switching hub 180 is connected to each of the controller 300, the image server device 200, the time server 290, the camera adapter 120a, and the camera adapter 120e. The camera adapters 120a to 120e are daisy-chain connected. The cameras 112a to 112e are connected to camera adapters 120a to 120e, respectively.
The camera adapters 120a to 120e may not be connected in a daisy chain. For example, each of the camera adapters 120a to 120e may be connected to the switching hub 180. In this case, a star network for transmitting and receiving data between the camera adapters 120a to 120e via the switching hub 180 is configured.

カメラ１１２は、レンズ、光学素子等を含み画像の撮影を行う撮影部である。カメラアダプタ１２０は、対応するカメラ１１２の制御、撮影画像の取得、同期信号の提供、時刻設定等を行うアダプタである。カメラ１１２の制御には、例えば、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整等がある。
同期信号とは、カメラ１１２ａ〜１１２ｅそれぞれに対して同期したタイミングでの撮影を指示するための信号である。カメラ１１２ａ〜１１２ｅは、受け付けた同期信号に応じたタイミングで、撮影を行うことで、同一のタイミングで同期して撮影することができる。カメラアダプタ１２０は、タイムサーバ２９０と同期した時刻に基づいて決定した撮影タイミング（制御クロック）を、同期信号として、対応するカメラ１１２に提供する。
カメラアダプタ１２０それぞれは、タイムサーバ２９０と同期した時刻を、ＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで、対応するカメラ１１２に提供する。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なお、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。 The camera 112 is a photographing unit that includes a lens, an optical element, and the like, and photographs an image. The camera adapter 120 is an adapter that controls the corresponding camera 112, acquires a captured image, provides a synchronization signal, sets time, and the like. The control of the camera 112 includes, for example, setting and referencing of shooting parameters (number of pixels, color depth, frame rate, white balance, etc.), and the state of the camera 112 (shooting, stopping, synchronizing, error, etc.) ), Start and stop of shooting, focus adjustment, and the like.
The synchronization signal is a signal for instructing each of the cameras 112a to 112e to perform shooting at a synchronized timing. The cameras 112a to 112e can shoot synchronously at the same timing by shooting at a timing corresponding to the received synchronization signal. The camera adapter 120 provides the shooting timing (control clock) determined based on the time synchronized with the time server 290 to the corresponding camera 112 as a synchronization signal.
Each camera adapter 120 provides the time synchronized with the time server 290 to the corresponding camera 112 with a time code conforming to the SMPTE12M format. Thus, the provided time code is added to the image data received from the camera 112. The format of the time code is not limited to SMPTE12M, but may be another format.

画像サーバ装置２００は、カメラ１１２により同一のタイミングで同期して撮影されて取得された複数の画像から合成画像を生成する情報処理装置である。本実施形態では、画像サーバ装置２００は、合成画像として、仮想視点画像を生成することとする。ただし、画像サーバ装置２００は、合成画像として、カメラ１１２の撮影対象の領域全体の鳥瞰図等を生成することとしてもよい。タイムサーバ２９０は、時刻情報を外部の装置に対して提供する情報処理装置である。
コントローラ３００は、ネットワークを介して、カメラアダプタ１２０それぞれに制御信号を送ることで、カメラ１１２それぞれを制御する情報処理装置である。コントローラ３００は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等である。また、コントローラ３００は、ネットワークを介して、カメラ１１２それぞれが撮影した画像データを画像サーバ装置２００に転送するよう制御する。また、コントローラ３００は、画像サーバ装置２００から選択した画像データを取り出す。 The image server device 200 is an information processing device that generates a composite image from a plurality of images captured and acquired by the camera 112 synchronously at the same timing. In the present embodiment, the image server device 200 generates a virtual viewpoint image as a composite image. However, the image server device 200 may generate a bird's-eye view or the like of the entire region to be captured by the camera 112 as a composite image. The time server 290 is an information processing device that provides time information to an external device.
The controller 300 is an information processing device that controls each of the cameras 112 by transmitting a control signal to each of the camera adapters 120 via a network. The controller 300 is, for example, a personal computer (PC), a server device, a tablet device, or the like. Further, the controller 300 controls to transfer image data captured by each of the cameras 112 to the image server device 200 via the network. Further, the controller 300 takes out the selected image data from the image server device 200.

図２（ａ）は、コントローラ３００のハードウェア構成の一例を示す図である。コントローラ３００は、ＣＰＵ３１１、主記憶装置３１２、補助記憶装置３１３、ネットワークＩ／Ｆ３１４を含む。各要素は、システムバス３１５を介して相互に通信可能に接続されている。
ＣＰＵ３１１は、コントローラ３００を制御する中央演算装置である。主記憶装置３１２は、ＣＰＵ３１１のワークエリア、データの一時的な記憶領域等として機能するＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置３１３は、各種プログラム、各種設定情報等を記憶する記憶装置である。補助記憶装置３１３は、例えば、ＲｅａｄＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。ネットワークＩ／Ｆ３１４は、カメラアダプタ１２０等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ３１１が、補助記憶装置３１３に記憶されたプログラムにしたがって処理を実行することで、コントローラ３００の機能、図５、８のフローチャートの処理等が実現される。 FIG. 2A is a diagram illustrating an example of a hardware configuration of the controller 300. The controller 300 includes a CPU 311, a main storage device 312, an auxiliary storage device 313, and a network I / F 314. The components are communicably connected to each other via a system bus 315.
The CPU 311 is a central processing unit that controls the controller 300. The main storage device 312 is a storage device such as a Random Access Memory (RAM) that functions as a work area for the CPU 311 and a temporary storage area for data. The auxiliary storage device 313 is a storage device that stores various programs, various setting information, and the like. The auxiliary storage device 313 is, for example, a read only memory (ROM), a hard disk drive (HDD), a solid state drive (SSD), or the like. The network I / F 314 is an interface used for communication with an external device such as the camera adapter 120 via a network.
The functions of the controller 300, the processing of the flowcharts in FIGS. 5 and 8, and the like are realized by the CPU 311 executing the processing according to the program stored in the auxiliary storage device 313.

図２（ｂ）は、カメラアダプタ１２０ａのハードウェア構成の一例を示す図である。カメラアダプタ１２０ａは、ＣＰＵ１２１、主記憶装置１２２、補助記憶装置１２３、デバイスＩ／Ｆ１２４、ネットワークＩ／Ｆ１２５を含む。各要素は、システムバス１２６を介して相互に通信可能に接続されている。
ＣＰＵ１２１は、カメラアダプタ１２０ａを制御する中央演算装置である。主記憶装置１２２は、ＣＰＵ１２１のワークエリア、データの一時的な記憶領域等として機能するＲＡＭ等の記憶装置である。補助記憶装置３１３は、各種プログラム、各種設定情報等を記憶する、ＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶装置である。デバイスＩ／Ｆ１２４は、カメラ１１２等の外部のデバイスとの接続に用いられるインターフェースである。ネットワークＩ／Ｆ１２５は、画像サーバ装置２００等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ１２１が、補助記憶装置１２３に記憶されたプログラムにしたがって処理を実行することで、カメラアダプタ１２０ａの機能、図４のフローチャートの処理等が実現される。 FIG. 2B is a diagram illustrating an example of a hardware configuration of the camera adapter 120a. The camera adapter 120a includes a CPU 121, a main storage device 122, an auxiliary storage device 123, a device I / F 124, and a network I / F 125. The components are communicably connected to each other via a system bus 126.
The CPU 121 is a central processing unit that controls the camera adapter 120a. The main storage device 122 is a storage device such as a RAM that functions as a work area for the CPU 121, a temporary storage area for data, and the like. The auxiliary storage device 313 is a storage device such as a ROM, an HDD, and an SSD that stores various programs, various setting information, and the like. The device I / F 124 is an interface used to connect to an external device such as the camera 112. The network I / F 125 is an interface used for communication with an external device such as the image server device 200 via a network.
The function of the camera adapter 120a, the processing of the flowchart in FIG. 4, and the like are realized by the CPU 121 executing the processing according to the program stored in the auxiliary storage device 123.

また、本実施形態では、カメラアダプタ１２０ｂ〜１２０ｅそれぞれのハードウェア構成は、図２（ｂ）に示すカメラアダプタ１２０ａのハードウェア構成と同様であるとする。
カメラアダプタ１２０ｂ〜１２０ｅそれぞれのＣＰＵ１２１が、カメラアダプタ１２０ｂ〜１２０ｅそれぞれの補助記憶装置１２３に記憶されたプログラムにしたがって処理を実行することで、以下の機能、処理が実現される。即ち、カメラアダプタ１２０ｂ〜１２０ｅそれぞれの機能、カメラアダプタ１２０ｂ〜１２０ｅそれぞれによる図４のフローチャートの処理と同様の処理等が実現される。 In the present embodiment, it is assumed that the hardware configuration of each of the camera adapters 120b to 120e is the same as the hardware configuration of the camera adapter 120a shown in FIG.
The following functions and processes are realized by the CPU 121 of each of the camera adapters 120b to 120e executing the processing according to the program stored in the auxiliary storage device 123 of each of the camera adapters 120b to 120e. That is, the functions of the camera adapters 120b to 120e, the same processing as the processing of the flowchart in FIG. 4 by the camera adapters 120b to 120e, and the like are realized.

図３は、本実施形態におけるカメラ１１２ａ〜１１２ｅの設置例を示す図である。図３の例では、カメラ１１２ａ〜１１２ｅは、何れも光軸が同一の注視点６３０２を向くように設置されている。なお、各カメラ１１２ａ〜１１２ｅの光軸が、注視点６３０２で交わらなくてもよく、注視点６３０２の近傍でフィールドと交わる場合も、本実施形態に含まれる。また、注視点６３０２は、フィールド上の点でなくてもよく、フィールドから離間した空中に位置していてもよい。 FIG. 3 is a diagram illustrating an example of installation of the cameras 112a to 112e in the present embodiment. In the example of FIG. 3, the cameras 112a to 112e are all installed such that their optical axes face the same gazing point 6302. Note that the present embodiment includes the case where the optical axes of the cameras 112a to 112e do not need to intersect at the gazing point 6302 and intersect the field near the gazing point 6302. The point of regard 6302 does not have to be a point on the field, and may be located in the air away from the field.

以下では、図４、５を用いて、カメラ１１２により撮影されて取得された画像データが画像サーバ装置２００に転送される際の撮影システム１００の処理について説明する。本実施形態では、カメラ１１２それぞれは、タイムサーバ２９０を介して内部の時刻が同期されている。カメラ１１２それぞれにより同期して撮影された画像データがカメラアダプタ１２０から画像サーバ装置２００に転送されることとなる。
以下では、画像サーバ装置２００に転送される画像データとして撮影画像を例として説明する。ただし、カメラアダプタ１２０は、撮影画像に基づき前景背景分離を行う機能を有していてもよく、この場合、画像サーバ装置２００に転送される画像データとしては、前景背景分離された前景画像や背景画像であってもよい。また、画像サーバ装置２００に転送される画像データは、撮影画像と前景画像と背景画像のうち全部でもよいし、そのうちの一つでもよいし、二つでもよい。このように、本実施形態において、画像データは、カメラ１１２の撮影によって取得された撮影画像に基づく画像であればよい。
前景画像とは、カメラにより撮影されて取得された撮影画像から、オブジェクトの領域を抽出した画像である。オブジェクトとは、時系列で同じ方向から撮影を行った場合において動きのある（その絶対位置が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、人物や球技におけるボールを指す。オブジェクトとなる人物としては、より具体的には、競技が行われるフィールド内にいる選手や審判、コンサート等のステージ上にいる歌手、演奏者、パフォーマー、司会者などである。
また、背景画像とは、少なくとも前景となるオブジェクトとは異なる領域の画像である。背景は、時系列で同じ方向から撮影を行った場合において静止している、又は静止に近い状態が継続している撮影対象物を指す。このような撮影対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、空や雲などである。ただし、背景としては少なくともオブジェクトとは異なる領域であり、撮影対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。
図４は、本実施形態のカメラアダプタ１２０ａの処理の一例を示すフローチャートである。 The processing of the image capturing system 100 when the image data captured and acquired by the camera 112 is transferred to the image server device 200 will be described below with reference to FIGS. In the present embodiment, the internal time of each of the cameras 112 is synchronized via the time server 290. Image data taken in synchronization by each of the cameras 112 is transferred from the camera adapter 120 to the image server device 200.
Hereinafter, a photographed image will be described as an example of image data transferred to the image server device 200. However, the camera adapter 120 may have a function of performing foreground / background separation based on a captured image. In this case, the image data transferred to the image server device 200 includes a foreground / background separated foreground image and background. It may be an image. The image data transferred to the image server device 200 may be all of the captured image, the foreground image, and the background image, or one or two of them. As described above, in the present embodiment, the image data may be any image based on the captured image obtained by the imaging by the camera 112.
The foreground image is an image obtained by extracting an object region from a captured image captured and acquired by a camera. An object refers to a dynamic object (moving body) that moves (the absolute position of which can change) when images are taken in the same direction in a time series. The object indicates, for example, a person or a ball in a ball game. More specifically, the person serving as the object is a singer, a performer, a performer, a presenter, etc., who are on the stage such as a player or a referee or a concert in the field where the competition is performed.
Further, the background image is an image in an area different from at least the foreground object. The background refers to an object to be photographed that is stationary or continuously close to stationary when photographing is performed in the same direction in time series. Such shooting targets are, for example, stages such as concerts, stadiums where events such as competitions are performed, structures such as goals used in ball games, fields, sky and clouds, and the like. However, the background is at least an area different from the object, and the shooting target may include another object or the like in addition to the object and the background.
FIG. 4 is a flowchart illustrating an example of processing of the camera adapter 120a according to the present embodiment.

Ｓ４０１において、カメラアダプタ１２０ａのＣＰＵ１２１は、他のカメラアダプタ１２０と同期して、同期信号を対応するカメラ１１２ａに対して入力する。これによりカメラアダプタ１２０ａは、対応するカメラ１１２ａに対して、他のカメラ１１２ｂ〜１１２ｅと同期した撮影を指示する。そして、カメラアダプタ１２０ａのＣＰＵ１２１は、カメラ１１２ａにより撮影された画像データを取得する。以下では、カメラ１１２により撮影された画像データを、フレームデータとする。また、カメラ１１２それぞれにより同期して撮影された一群のフレームデータを、同期フレームデータ群とする。カメラ１１２により撮影されるフレームデータは、転送対象である転送データの一例である。フレームデータは、音声データやメタデータ等の画像以外のデータを含むこととしてもよい。
以降、カメラアダプタ１２０ａのＣＰＵ１２１は、カメラ１１２ａに対して、予め定められた間隔で周期的に同期信号を入力する。また、他のカメラアダプタ１２０それぞれも、同様に、それぞれに対応するカメラ１１２に対して、この間隔で周期的に同期信号を入力することとなる。そのため、カメラ１１２それぞれは、複数のタイミングのそれぞれで同期して撮影を行うこととなる。 In step S401, the CPU 121 of the camera adapter 120a inputs a synchronization signal to the corresponding camera 112a in synchronization with another camera adapter 120. Thereby, the camera adapter 120a instructs the corresponding camera 112a to perform shooting in synchronization with the other cameras 112b to 112e. Then, the CPU 121 of the camera adapter 120a acquires image data captured by the camera 112a. Hereinafter, the image data captured by the camera 112 is referred to as frame data. In addition, a group of frame data shot synchronously by each of the cameras 112 is referred to as a synchronous frame data group. Frame data captured by the camera 112 is an example of transfer data to be transferred. The frame data may include data other than images, such as audio data and metadata.
Thereafter, the CPU 121 of the camera adapter 120a periodically inputs a synchronization signal to the camera 112a at predetermined intervals. Similarly, each of the other camera adapters 120 also periodically inputs a synchronization signal to the corresponding camera 112 at this interval. Therefore, each of the cameras 112 shoots in synchronization with each of the plurality of timings.

Ｓ４０２において、カメラアダプタ１２０ａのＣＰＵ１２１は、Ｓ４０１で取得したフレームデータからフレームデータ情報を生成する。フレームデータ情報とは、フレームデータの性質を示す情報である。本実施形態では、フレームデータ情報は、フレームデータのデータサイズを示す情報である。また、フレームデータ情報は、フレームデータがデータタイプ別に構成されている場合、データタイプ毎のデータサイズを示す情報であるとする。
Ｓ４０３において、カメラアダプタ１２０ａのＣＰＵ１２１は、Ｓ４０２で生成したフレームデータ情報をコントローラ３００に送信する。 In S402, the CPU 121 of the camera adapter 120a generates frame data information from the frame data acquired in S401. The frame data information is information indicating a property of the frame data. In the present embodiment, the frame data information is information indicating the data size of the frame data. Further, when the frame data is configured for each data type, the frame data information is assumed to be information indicating a data size for each data type.
In S403, the CPU 121 of the camera adapter 120a transmits the frame data information generated in S402 to the controller 300.

Ｓ４０４において、カメラアダプタ１２０ａのＣＰＵ１２１は、コントローラ３００よりフレームデータの転送開始通知を受信したか否かを判定する。フレームデータの転送開始通知とは、フレームデータの転送の開始を指示するための通知である。カメラアダプタ１２０ａのＣＰＵ１２１は、受信したと判定した場合、処理をＳ４０５に進め、受信していないと判定した場合、処理をＳ４０６に進める。
Ｓ４０５において、カメラアダプタ１２０ａのＣＰＵ１２１は、Ｓ４０１で取得したフレームデータを画像サーバ装置２００に転送することを決定し、フレームデータの転送を実行する。本実施形態では、カメラアダプタ１２０ａのＣＰＵ１２１は、フレームデータの転送を実行する。
Ｓ４０６において、カメラアダプタ１２０ａのＣＰＵ１２１は、Ｓ４０１で取得したフレームデータをコントローラ３００に送信することを中止することを決定する。
また、カメラアダプタ１２０ｂ〜１２０ｅも、図４を参照しつつ説明したカメラアダプタ１２０ａの処理と同様の処理を行う。 In step S404, the CPU 121 of the camera adapter 120a determines whether a frame data transfer start notification has been received from the controller 300. The transfer start notification of the frame data is a notification for instructing the start of the transfer of the frame data. If the CPU 121 of the camera adapter 120a determines that the information has been received, the process proceeds to step S405. If it determines that the image has not been received, the process proceeds to step S406.
In S405, the CPU 121 of the camera adapter 120a determines to transfer the frame data acquired in S401 to the image server device 200, and executes the transfer of the frame data. In the present embodiment, the CPU 121 of the camera adapter 120a executes transfer of frame data.
In S406, the CPU 121 of the camera adapter 120a determines to stop transmitting the frame data acquired in S401 to the controller 300.
Further, the camera adapters 120b to 120e also perform the same processing as the processing of the camera adapter 120a described with reference to FIG.

図５は、本実施形態のコントローラ３００の処理の一例を示すフローチャートである。
Ｓ３０１において、ＣＰＵ３１１は、カメラアダプタ１２０ａ〜１２０ｅそれぞれが転送予定の同期フレーム群のフレームデータ情報をカメラアダプタ１２０ａ〜１２０ｅから取得する。なお、本実施形態においては、カメラアダプタ１２０ａ〜１２０ｅから画像サーバ装置２００へのフレームデータの転送は、１フレーム毎に行われるものとする。これに対応し、Ｓ３０１において、ＣＰＵ３１１は、転送予定の１つのタイミングの同期フレーム群のフレームデータ情報を取得するものとする。ＣＰＵ３１１は、Ｓ３０１の処理の後、処理をＳ３０２に進める。
Ｓ３０２において、ＣＰＵ３１１は、Ｓ３０１でカメラアダプタ１２０それぞれから取得したフレームデータ情報に基づいて、これらのフレームデータ情報に対応する同期フレームデータ群の転送にかかる通信媒体の負荷の程度を示す指標である負荷指標を求める。本実施形態では、ＣＰＵ３１１は、転送予定データの負荷指標として、転送予定データの転送にかかる転送時間を求める。より具体的には、ＣＰＵ３１１は、転送予定データのデータサイズを求め、求めたデータサイズを、予め定められた単位時間当たりの転送可能なデータサイズで割ることで、転送時間を求める。ＣＰＵ３１１は、フレームデータ情報がデータタイプ別のデータサイズの情報を含む場合、データタイプ毎に転送時間を求める。ＣＰＵ３１１は、Ｓ３０２の処理の後、処理をＳ３０３に進める。 FIG. 5 is a flowchart illustrating an example of processing of the controller 300 according to the present embodiment.
In S301, the CPU 311 acquires frame data information of a synchronous frame group to be transferred by each of the camera adapters 120a to 120e from the camera adapters 120a to 120e. In the present embodiment, the transfer of frame data from the camera adapters 120a to 120e to the image server device 200 is performed for each frame. In response to this, in S301, the CPU 311 acquires frame data information of a synchronous frame group at one timing to be transferred. After the process in S301, the CPU 311 advances the process to S302.
In step S302, based on the frame data information acquired from each of the camera adapters 120 in step S301, the CPU 311 loads the load, which is an index indicating the degree of the load of the communication medium on the transfer of the synchronous frame data group corresponding to the frame data information. Find an indicator. In the present embodiment, the CPU 311 obtains a transfer time required to transfer the transfer-scheduled data as a load index of the transfer-scheduled data. More specifically, the CPU 311 calculates the data size of the data to be transferred, and divides the obtained data size by a predetermined data size that can be transferred per unit time to obtain a transfer time. When the frame data information includes information on the data size for each data type, the CPU 311 obtains a transfer time for each data type. After the process of S302, the CPU 311 advances the process to S303.

Ｓ３０３において、ＣＰＵ３１１は、Ｓ３０２で求めた転送時間に基づいて、転送予定の同期フレームデータ群を１フレーム期間内に画像サーバ装置２００へ転送可能か否かを判定する。１フレーム期間とは、１フレーム分の同期フレームデータ群の画像サーバ装置２００への転送に許容される期間である。本実施形態では、１フレーム期間は、予め定められている。本実施形態では、１フレーム期間は、同期信号が発せられる間隔と同じ期間であるとする。
ＣＰＵ３１１は、Ｓ３０２で求めた転送時間が、１フレーム期間以下であれば、１フレーム期間内に転送予定の同期フレームデータ群の画像サーバ装置２００への転送が可能と判定する。また、ＣＰＵ３１１は、Ｓ３０２で求めた転送時間が、１フレーム期間よりも大きければ、１フレーム期間内にこの同期フレームデータ群の画像サーバ装置２００への転送が不可能と判定する。ＣＰＵ３１１は、可能と判定した場合、処理をＳ３０４へ進める。ＣＰＵ３１１はまた、不可能と判定した場合、処理をＳ３０５へ進める。 In S303, the CPU 311 determines whether or not the synchronous frame data group to be transferred can be transferred to the image server device 200 within one frame period based on the transfer time obtained in S302. One frame period is a period permitted to transfer a group of synchronous frame data for one frame to the image server device 200. In the present embodiment, one frame period is predetermined. In the present embodiment, it is assumed that one frame period is the same as the interval at which the synchronization signal is issued.
If the transfer time obtained in S302 is equal to or shorter than one frame period, the CPU 311 determines that the synchronous frame data group to be transferred within one frame period can be transferred to the image server device 200. If the transfer time obtained in S302 is longer than one frame period, the CPU 311 determines that the synchronous frame data group cannot be transferred to the image server device 200 within one frame period. If the CPU 311 determines that it is possible, the process proceeds to S304. If the CPU 311 determines that it is impossible, the process proceeds to S305.

Ｓ３０４において、ＣＰＵ３１１は、カメラアダプタ１２０それぞれに対して、転送予定のフレームデータの転送開始通知を送信する。ＣＰＵ３１１は、Ｓ３０４の処理の後、処理をＳ３０１へ進める。各カメラアダプタ１２０ａ〜１２０ｅのＣＰＵ１２１は、この転送開始通知を受けて、転送予定のフレームデータの画像サーバ装置２００への転送を開始する。これにより、１フレーム分の同期フレームデータ群が画像サーバ装置２００に転送される。 In S304, the CPU 311 transmits a transfer start notification of the frame data to be transferred to each of the camera adapters 120. After the process of S304, the CPU 311 advances the process to S301. Upon receiving the transfer start notification, the CPU 121 of each of the camera adapters 120a to 120e starts transferring frame data to be transferred to the image server device 200. As a result, a group of synchronous frame data for one frame is transferred to the image server device 200.

Ｓ３０５において、ＣＰＵ３１１は、転送遅延時間を求める。転送遅延時間とは、転送予定のフレームデータの転送の開始が遅延する時間である。ＣＰＵ３１１は、Ｓ３０５の処理の時点よりも過去に転送開始通知を送信済みであるが、転送が完了していない同期フレームデータ群の転送にかかる時間を、転送予定データの転送遅延時間として求める。以下では、過去に転送が指示された同期フレームデータ群に含まれる転送が完了していないデータを、転送中データとする。転送中データの転送にかかる時間は、転送中データの転送のために通信路が用いられる時間を示し、転送中データの負荷指標の一例である。そのため、Ｓ３０５で求められた転送遅延時間は、転送中データの負荷指標の一例となる。ＣＰＵ３１１は、Ｓ３０５の処理の後、処理をＳ３０６に進める。
Ｓ３０６において、ＣＰＵ３１１は、Ｓ３０５で求めた転送遅延時間に基づいて、転送予定データの転送が可能か否かを判定する。より具体的には、ＣＰＵ３１１は、転送遅延時間が予め定められた閾値未満である場合、遅延時間が許容範囲であり、転送予定データの転送が可能であると判定し、処理をＳ３０４に進める。また、ＣＰＵ３１１は、転送遅延時間が予め定められた閾値以上である場合、遅延時間が許容範囲を超えており、転送予定データの転送が不可能であると判定し、処理をＳ３０７に進める。本実施形態では、予め定められた閾値は、１フレーム期間であるとする。
Ｓ３０７において、ＣＰＵ３１１は、カメラアダプタ１２０ａ〜１２０ｅそれぞれに、転送開始通知の代わりに転送予定データに含まれる各フレームデータの送信を中止することを指示する通知を送信する。このように、ＣＰＵ３１１は、カメラ１１２により同期して撮影された複数のフレームデータを単位として、転送予定データの転送を中止するよう制御する。ＣＰＵ３１１は、Ｓ３０７の処理の後、処理をＳ３０１に進める。 In S305, the CPU 311 obtains a transfer delay time. The transfer delay time is a time when the start of transfer of frame data to be transferred is delayed. The CPU 311 obtains, as the transfer delay time of the transfer-scheduled data, the time required for the transfer of the synchronous frame data group for which the transfer start notification has been transmitted before the processing of S305 but has not been completed. Hereinafter, data that has not been transferred and that is included in the synchronous frame data group to which transfer has been instructed in the past is referred to as data being transferred. The time required to transfer the data being transferred indicates the time during which the communication path is used for transferring the data being transferred, and is an example of a load index of the data being transferred. Therefore, the transfer delay time obtained in S305 is an example of the load index of the data being transferred. After the process of S305, the CPU 311 advances the process to S306.
In S306, the CPU 311 determines whether or not the transfer-scheduled data can be transferred based on the transfer delay time obtained in S305. More specifically, if the transfer delay time is less than a predetermined threshold, the CPU 311 determines that the delay time is within the allowable range, and that the transfer-scheduled data can be transferred, and advances the process to S304. If the transfer delay time is equal to or greater than the predetermined threshold, the CPU 311 determines that the delay time exceeds the allowable range, and the transfer of the scheduled transfer data is impossible, and advances the process to S307. In the present embodiment, the predetermined threshold is one frame period.
In step S307, the CPU 311 transmits, to each of the camera adapters 120a to 120e, a notification instructing to stop transmission of each frame data included in the scheduled transfer data, instead of the transfer start notification. As described above, the CPU 311 controls the transfer of the transfer-scheduled data to be stopped in units of a plurality of frame data shot synchronously by the camera 112. After the process of S307, the CPU 311 advances the process to S301.

図６は、Ｓ３０１からＳ３０４までの処理のタイミングチャートである。図６のチャートにおける左から右への流れは、時間の流れを示す。図６を用いて、連続して取得される複数の同期フレームデータ群の転送時間が１フレーム期間以内となる場合の図５の処理（Ｓ３０１〜Ｓ３０４の処理）について説明する。
図６のチャートが示すように、同期信号がカメラ１１２に入力されたことに応じて、カメラ１１２それぞれにより同期した撮影が行われ、同期フレームデータ群が取得される。
図６に示す同期フレームデータ群Ｎ〜Ｎ＋６は、それぞれタイミングＮ〜Ｎ＋６において得られた複数のフレームデータの同期フレームデータ群である。同期フレームデータ群の撮影が完了すると、カメラアダプタ１２０ａ〜１２０ｅは、撮影が完了した同期フレームデータ群に係るフレームデータ情報を画像サーバ装置２００に送信する。
画像サーバ装置２００は、フレームＮ〜Ｎ＋６それぞれについて、１フレーム期間内に転送可能と判定した場合には、カメラアダプタ１２０ａ〜１２０ｅそれぞれにフレームデータの転送開始通知を送信する。そして、図６に示すように、カメラアダプタ１２０ａ〜１２０ｅそれぞれは、転送予定の同期フレームデータ群のフレームデータを、画像サーバ装置２００に、１フレーム期間以内の転送時間で転送する。このため、図６に示すように、フレームＮ〜Ｎ＋６は、いずれも遅延なく１フレーム期間内に転送される。 FIG. 6 is a timing chart of the processing from S301 to S304. The flow from left to right in the chart of FIG. 6 indicates the flow of time. The processing of FIG. 5 (the processing of S301 to S304) in the case where the transfer time of a plurality of synchronous frame data groups acquired continuously is within one frame period will be described with reference to FIG.
As shown in the chart of FIG. 6, in response to the input of the synchronization signal to the camera 112, each of the cameras 112 performs synchronized shooting, and a group of synchronized frame data is obtained.
Synchronous frame data groups N to N + 6 shown in FIG. 6 are synchronous frame data groups of a plurality of frame data obtained at timings N to N + 6, respectively. When the capturing of the synchronous frame data group is completed, the camera adapters 120a to 120e transmit frame data information relating to the synchronous frame data group whose capturing has been completed to the image server device 200.
If the image server device 200 determines that the transfer is possible within one frame period for each of the frames N to N + 6, the image server device 200 transmits a frame data transfer start notification to each of the camera adapters 120a to 120e. Then, as shown in FIG. 6, each of the camera adapters 120a to 120e transfers the frame data of the synchronous frame data group to be transferred to the image server device 200 in a transfer time within one frame period. Therefore, as shown in FIG. 6, the frames N to N + 6 are all transferred within one frame period without delay.

図７は、Ｓ３０３で転送が不可能と判定された場合の図３のフローチャートの処理の一例を説明する図である。図７のチャートは、図６のタイミングチャートと同様に、時間の流れを示すタイミングチャートである。図７を用いて、連続して取得される複数の同期フレームデータ群の転送時間が１フレーム期間よりも大きい場合の図５の処理について説明する。
図７の例では、同期フレームデータ群Ｎ〜Ｎ＋６それぞれは、それぞれ異なるタイミングで同期して撮影された同期フレームデータ群である。同期フレームデータ群Ｎ〜Ｎ＋６は、それぞれ１フレーム期間で画像サーバ装置２００に転送することができるデータサイズを超えている。そのため、ＣＰＵ３１１は、同期フレームデータ群Ｎ〜Ｎ＋６それぞれについて、Ｓ３０３で、１フレーム期間での転送を不可能と判定し、処理をＳ３０５に進めることとなる。
図７の例では、同期フレームデータ群Ｎの転送が終了する時点で同期フレームデータ群Ｎ＋２の同期撮影が開始されている。そのため、同期フレームデータ群Ｎ＋２の撮影が開始した時点からフレームＮの転送が終了する時点までの間、同期フレームデータ群Ｎ＋１の各フレームデータは、カメラアダプタ１２０ａ〜１２０ｅの補助記憶装置内に保持されている。 FIG. 7 is a view for explaining an example of the processing of the flowchart in FIG. 3 when it is determined in S303 that transfer is impossible. The chart of FIG. 7 is a timing chart showing the flow of time, similarly to the timing chart of FIG. The process of FIG. 5 in the case where the transfer time of a plurality of synchronous frame data groups obtained continuously is longer than one frame period will be described with reference to FIG.
In the example of FIG. 7, each of the synchronous frame data groups N to N + 6 is a synchronous frame data group photographed synchronously at different timings. Each of the synchronization frame data groups N to N + 6 exceeds the data size that can be transferred to the image server device 200 in one frame period. Therefore, the CPU 311 determines in S303 that transfer in one frame period is impossible for each of the synchronous frame data groups N to N + 6, and advances the processing to S305.
In the example of FIG. 7, the synchronous imaging of the synchronous frame data group N + 2 has been started at the time when the transfer of the synchronous frame data group N ends. Therefore, during a period from the time when the shooting of the synchronous frame data group N + 2 starts to the time when the transfer of the frame N ends, each frame data of the synchronous frame data group N + 1 is held in the auxiliary storage device of the camera adapters 120a to 120e. ing.

次に、カメラアダプタ１２０ａ〜１２０ｅそれぞれは、同期フレームデータ群Ｎ＋１の各フレームデータの転送を行う。同期フレームデータ群Ｎ＋１の転送が終了する時点では、既に同期フレームデータ群Ｎ＋３の同期撮影が開始されている。そのため、同期フレームデータ群Ｎ＋３の撮影が開始した時点からフレームＮ＋１の転送が終了する時点までの間、同期フレームデータ群Ｎ＋２の各フレームデータは、カメラアダプタ１２０ａ〜１２０ｅの補助記憶装置内に保持されている。
続いて、カメラアダプタ１２０ａ〜１２０ｅそれぞれは、同期フレームデータ群Ｎ＋２の各フレームデータの転送を行う。同期フレームデータ群Ｎ＋２の転送が終了する時点において同期フレームデータ群Ｎ＋５の同期撮影が開始されている。即ち、同期フレームデータ群Ｎ＋３を転送予定データとなる際のＳ３０５の処理で、ＣＰＵ３１１は、同期フレームデータ群Ｎ＋３の転送の開始の遅延時間として１フレーム期間よりも長い時間を求めたこととなる。そのため、ＣＰＵ３１１は、続くＳ３０６の処理において、同期フレームデータ群Ｎ＋３の転送が不可能と判定し、処理をＳ３０７に進める。そして、ＣＰＵ３１１は、Ｓ３０７で同期フレームデータ群Ｎ＋３の各フレームデータの転送の中止をカメラアダプタ１２０ａ〜１２０ｅそれぞれに通知する。カメラアダプタ１２０それぞれは、保持していた同期フレームデータ群Ｎ＋３のデータを破棄する。他の例としては、カメラアダプタ１２０ａ〜１２０ｅそれぞれは、保持していた同期フレームデータ群Ｎ＋３のデータを破棄せずに保持しておき、後に画像サーバ装置２００から要求を受けたことに応じて、画像サーバ装置２００に転送することとしてもよい。 Next, each of the camera adapters 120a to 120e transfers each frame data of the synchronous frame data group N + 1. At the point in time when the transfer of the synchronous frame data group N + 1 ends, synchronous imaging of the synchronous frame data group N + 3 has already started. Therefore, during the period from the time when the shooting of the synchronous frame data group N + 3 starts to the time when the transfer of the frame N + 1 ends, each frame data of the synchronous frame data group N + 2 is held in the auxiliary storage device of the camera adapters 120a to 120e. ing.
Subsequently, each of the camera adapters 120a to 120e transfers each frame data of the synchronous frame data group N + 2. At the point in time when the transfer of the synchronous frame data group N + 2 ends, synchronous photographing of the synchronous frame data group N + 5 has started. That is, in the process of S305 when the synchronous frame data group N + 3 becomes the transfer scheduled data, the CPU 311 has obtained a time longer than one frame period as the delay time of the start of the transfer of the synchronous frame data group N + 3. Therefore, the CPU 311 determines in the subsequent processing of S306 that the transfer of the synchronous frame data group N + 3 is impossible, and advances the processing to S307. Then, in step S307, the CPU 311 notifies the camera adapters 120a to 120e of the suspension of the transfer of each frame data of the synchronous frame data group N + 3. Each of the camera adapters 120 discards the held data of the synchronous frame data group N + 3. As another example, each of the camera adapters 120a to 120e retains the retained data of the synchronous frame data group N + 3 without discarding it, and responds to a request from the image server 200 later. The information may be transferred to the image server device 200.

以上、本実施形態では、撮影システム１００は、転送予定の同期フレームデータ群の転送時間及び転送中の同期フレームデータ群の転送時間に応じて、転送予定の同期フレームデータ群の転送を中止するか否かを制御する。即ち、撮影システム１００は、転送されるフレームデータの転送時間に応じて、転送予定の同期フレームデータ群の転送を中止するか否かを制御する。ここで、転送予定の同期フレームデータ群のデータサイズ及び転送中の同期フレームデータ群のデータサイズは、データ転送に係る通信媒体の負荷の程度を示す負荷指標の一例である。
これにより、撮影システム１００は、転送先において、複数の同期フレームデータ群に渡って、一部のフレームデータが欠落するのを防ぐことができる。これにより、仮想視点画像を合成する際にフレームデータが足りないことに起因し、画質が低下するといった事態を低減することができる。
また、本実施形態では、撮影システム１００は、同期フレームデータ群の転送時間が１フレーム期間よりも大きい場合であっても、転送遅延時間が閾値未満なら、遅延が許容範囲として、同期フレームデータ群の転送を行うこととした。これにより、カメラ１１２により同期して撮影された同期フレームデータ群の転送時間が１フレーム期間よりも大きくなる事態が継続的に生じる場合であっても、撮影システム１００は、以下の効果を奏することができる。即ち、撮影システム１００は、欠落する同期フレームデータ群を低減することができる。結果として、撮影システム１００は、カメラ１１２から転送される画像のフレームレートが落ちることを防止できる。 As described above, in the present embodiment, the imaging system 100 determines whether to stop the transfer of the scheduled synchronization frame data group according to the transfer time of the synchronization frame data group scheduled to be transferred and the transfer time of the synchronization frame data group being transferred. Control whether or not. That is, the imaging system 100 controls whether or not to stop the transfer of the synchronous frame data group to be transferred according to the transfer time of the frame data to be transferred. Here, the data size of the synchronization frame data group to be transferred and the data size of the synchronization frame data group being transferred are examples of a load index indicating the degree of load on the communication medium related to the data transfer.
Accordingly, the imaging system 100 can prevent a part of frame data from being lost over a plurality of synchronization frame data groups at the transfer destination. Accordingly, it is possible to reduce a situation in which image quality is deteriorated due to insufficient frame data when synthesizing a virtual viewpoint image.
Further, in the present embodiment, even if the transfer time of the synchronous frame data group is longer than one frame period, if the transfer delay time is less than the threshold, the imaging system 100 determines that the delay is within the allowable range, Was decided to be transferred. As a result, even in a case where the transfer time of the synchronous frame data group synchronously photographed by the camera 112 continuously becomes longer than one frame period, the photographing system 100 has the following effects. Can be. That is, the imaging system 100 can reduce the number of missing synchronous frame data groups. As a result, the imaging system 100 can prevent the frame rate of the image transferred from the camera 112 from dropping.

＜実施形態２＞
実施形態１では、カメラ１１２により同期して撮影された全てのフレームデータについて転送を中止する制御を行う処理について説明した。本実施形態では、カメラ１１２により同期して撮影された一部のフレームデータの転送を中止する制御を行う処理について説明する。
本実施形態の撮影システム１００のシステム構成は、実施形態１と同様である。また、コントローラ３００のハードウェア構成及び機能構成は、実施形態１と同様である。また、カメラアダプタ１２０それぞれのハードウェア構成及び機能構成は、実施形態１と同様である。 <Embodiment 2>
In the first embodiment, the process of performing the control of stopping the transfer of all the frame data shot synchronously by the camera 112 has been described. In the present embodiment, a description will be given of a process of performing control for stopping transfer of some frame data shot synchronously by the camera 112.
The system configuration of the imaging system 100 of the present embodiment is the same as that of the first embodiment. The hardware configuration and the functional configuration of the controller 300 are the same as in the first embodiment. The hardware configuration and functional configuration of each camera adapter 120 are the same as in the first embodiment.

図８は、本実施形態のコントローラ３００の処理の一例を示すフローチャートである。
Ｓ７０１〜Ｓ７０４の処理は、図３のＳ３０１〜Ｓ３０４の処理と同様である。ただし、ＣＰＵ３１１は、Ｓ７０３において、転送予定データが１フレーム期間内に転送することが不可能と判定した場合、処理をＳ７０５に進める。
Ｓ７０５において、ＣＰＵ３１１は、転送予定データから、転送中止対象とするフレームデータを複数、選択する。本実施形態では、ＣＰＵ３１１は、カメラ１１２ａ〜１１２ｅにより撮影される各フレームデータの仮想視点画像への寄与度に基づいて、転送予定データから転送中止対象とするフレームデータを選択する。より具体的には、ＣＰＵ３１１は、転送予定データから転送中止対象となるフレームデータを除いたもののデータサイズが、１フレーム期間内に転送可能なデータサイズとするように、寄与度の低いものから転送中止対象となるフレームデータを選択する。この寄与度は、カメラ１１２ａ〜１１２ｅそれぞれについて予め定められていることとする。また、この寄与度の情報は、補助記憶装置３１３に予め記憶されている。ＣＰＵ３１１は、補助記憶装置３１３からカメラ１１２ａ〜１１２ｅそれぞれについての寄与度の情報を取得する。カメラ１１２ａ〜１１２ｅにより撮影される各フレームデータの仮想視点画像への寄与度は、各フレームデータの有用度（有用さの度合）の一例である。本実施形態では、ＣＰＵ３１１は、カメラ１１２ｄにより撮影されたフレームデータを転送中止対象として選択することとする。画像およびカメラアダプタ１２０ｄを除いたカメラからのみ撮影データを転送するものとする。ＣＰＵ３１１は、寄与度に基づいて選択されたフレームデータの転送を中止することで、転送予定データから生成される仮想視点画像の画質の劣化を低減できる。 FIG. 8 is a flowchart illustrating an example of processing of the controller 300 according to the present embodiment.
The processing of S701 to S704 is the same as the processing of S301 to S304 in FIG. However, if the CPU 311 determines in S703 that the transfer-scheduled data cannot be transferred within one frame period, the process proceeds to S705.
In step S <b> 705, the CPU 311 selects a plurality of frame data to be a transfer stop target from the transfer schedule data. In the present embodiment, the CPU 311 selects transfer-target frame data from the transfer-scheduled data based on the contribution of each frame data captured by the cameras 112a to 112e to the virtual viewpoint image. More specifically, the CPU 311 transfers the data from low-contribution data so that the data size of the data to be transferred, excluding the frame data to be transferred, is the data size that can be transferred within one frame period. Select the frame data to be aborted. It is assumed that this degree of contribution is predetermined for each of the cameras 112a to 112e. The information on the degree of contribution is stored in the auxiliary storage device 313 in advance. The CPU 311 acquires, from the auxiliary storage device 313, information on the degree of contribution of each of the cameras 112a to 112e. The contribution of each frame data captured by the cameras 112a to 112e to the virtual viewpoint image is an example of the usefulness (degree of usefulness) of each frame data. In the present embodiment, the CPU 311 selects frame data captured by the camera 112d as a transfer stop target. It is assumed that image data is transferred only from the camera excluding the image and the camera adapter 120d. By stopping the transfer of the frame data selected based on the degree of contribution, the CPU 311 can reduce the deterioration of the image quality of the virtual viewpoint image generated from the transfer-scheduled data.

Ｓ７０６において、ＣＰＵ３１１は、転送予定データからＳ７０５で転送中止対象として選択したフレームデータを除いたデータである転送対象データの転送にかかる負荷指標を求める。ＣＰＵ３１１は、転送対象データの負荷指標として、転送対象データの転送時間を求める。そして、ＣＰＵ３１１は、求めた転送時間が１フレーム期間以下であるか否かを判定する。ＣＰＵ３１１は、１フレーム期間以下であると判定した場合、処理をＳ７０７に進め、１フレーム期間よりも大きいと判定した場合、処理をＳ７０８に進める。
Ｓ７０７において、ＣＰＵ３１１は、カメラアダプタ１２０ａ〜１２０ｃ、１２０ｅそれぞれに、フレームデータの転送を指示する転送開始通知を送信する。また、ＣＰＵ３１１は、カメラアダプタ１２０ｄにフレームデータの送信を中止することを指示する通知を送信する。このように、ＣＰＵ３１１は、カメラ１１２により同期して撮影された複数のフレームデータである転送予定データのうち、転送中止対象として選択したフレームデータの転送を中止するよう制御する。
Ｓ７０８において、ＣＰＵ３１１は、カメラアダプタ１２０ａ〜１２０ｅそれぞれに、転送開始通知の代わりに転送予定データに含まれる各フレームデータの送信を中止することを指示する通知を送信する。 In S706, the CPU 311 obtains a load index for transfer of transfer target data, which is data obtained by removing the frame data selected as the transfer stop target in S705 from the transfer scheduled data. The CPU 311 obtains the transfer time of the transfer target data as a load index of the transfer target data. Then, the CPU 311 determines whether or not the obtained transfer time is shorter than one frame period. If the CPU 311 determines that the time is equal to or shorter than one frame period, the process proceeds to S707. If the CPU 311 determines that the time is longer than the one frame period, the process proceeds to S708.
In step S707, the CPU 311 transmits a transfer start notification instructing the transfer of the frame data to each of the camera adapters 120a to 120c and 120e. Further, the CPU 311 transmits a notification instructing the camera adapter 120d to stop transmitting frame data. As described above, the CPU 311 controls to stop the transfer of the frame data selected as the transfer stop target among the transfer scheduled data which is the plurality of frame data shot synchronously by the camera 112.
In step S708, the CPU 311 transmits, to each of the camera adapters 120a to 120e, a notification instructing to stop transmission of each frame data included in the transfer schedule data instead of the transfer start notification.

図９のタイミングチャートを用いて、本実施形態の撮影システム１００の処理について説明する。図９のチャートは、図６のタイミングチャートと同様に、時間の流れを示すタイミングチャートである。
図９の例では、同期フレームデータ群Ｎ〜Ｎ＋６は、それぞれ異なるタイミングで同期して撮影された同期フレームデータ群である。同期フレームデータ群Ｎは、１フレーム期間で画像サーバ装置２００に転送することができるデータサイズを超えている。そのため、ＣＰＵ３１１は、同期フレームデータ群Ｎについて、Ｓ７０３で、１フレーム期間での転送を不可能と判定し、処理をＳ７０５に進めることとなる。ＣＰＵ３１１は、Ｓ７０５で同期フレームデータ群Ｎに含まれる各フレームデータの仮想視点画像への寄与度に基づいて、同期フレームデータ群Ｎに含まれる一部のフレームデータを転送中止対象として選択する。そして、ＣＰＵ３１１は、Ｓ７０７で、転送予定データに含まれる転送中止対象のフレームデータを除くフレームデータの転送を指示する。これにより、図９に示されるように、撮影システム１００は、同期フレームデータ群Ｎについて、１フレーム期間内に転送を完了することができている。 The processing of the image capturing system 100 according to the present embodiment will be described with reference to the timing chart of FIG. The chart of FIG. 9 is a timing chart showing the flow of time, similarly to the timing chart of FIG.
In the example of FIG. 9, the synchronous frame data groups N to N + 6 are synchronous frame data groups photographed synchronously at different timings. The synchronization frame data group N exceeds the data size that can be transferred to the image server device 200 in one frame period. Therefore, the CPU 311 determines that the transfer in one frame period is not possible for the synchronous frame data group N in S703, and advances the processing to S705. The CPU 311 selects a part of frame data included in the synchronous frame data group N as a transfer stop target based on the contribution of each frame data included in the synchronous frame data group N to the virtual viewpoint image in S705. Then, in S707, the CPU 311 instructs the transfer of the frame data excluding the frame data of the transfer stop target included in the transfer scheduled data. Thereby, as shown in FIG. 9, the imaging system 100 can complete the transfer of the synchronous frame data group N within one frame period.

同期フレームデータ群に含まれるフレームデータの一部のみ削除することで、１フレーム期間内に転送可能な場合がある。本実施形態では、撮影システム１００は、このような場合に転送対象の同期フレームデータ群に属する全てのフレームデータを削除するのに替えて、一部のフレームデータのみを削除することとした。これにより、残りのフレームデータから仮想視点画像を生成することができる。また、フレームレートが落ちることを防止できる。
さらに、仮想視点画像への寄与度に応じて転送すべきフレームデータを選択するので、フレームデータの欠落による仮想視点画像の画質の劣化をより抑えることができる。 In some cases, transfer can be performed within one frame period by deleting only a part of the frame data included in the synchronous frame data group. In this embodiment, in such a case, the imaging system 100 deletes only some frame data instead of deleting all frame data belonging to the synchronous frame data group to be transferred. Thereby, a virtual viewpoint image can be generated from the remaining frame data. Further, it is possible to prevent the frame rate from being lowered.
Furthermore, since the frame data to be transferred is selected according to the degree of contribution to the virtual viewpoint image, deterioration of the image quality of the virtual viewpoint image due to the lack of the frame data can be further suppressed.

＜その他の実施形態＞
実施形態１、２では、１台のカメラ１１２に１台のカメラアダプタ１２０が接続されることとした。しかし、複数のカメラ１１２に１台のカメラアダプタ１２０が接続されることとしてもよい。
例えば、２台のカメラ１１２それぞれが、１台のカメラアダプタ１２０に接続されることとしてもよい。また、例えば、カメラ１１２ａ〜ｅの５台それぞれが、１台のカメラアダプタ１２０に接続されることとしてもよい。そのような場合、１台のカメラアダプタ１２０が、接続された複数のカメラ１１２それぞれを制御する。また、１台のカメラアダプタ１２０が、接続された複数のカメラ１１２により同期して撮影された複数のフレームデータを同期フレームデータ群として取得し、取得した同期フレームデータ群を画像サーバ装置２００に転送する。 <Other embodiments>
In the first and second embodiments, one camera adapter 120 is connected to one camera 112. However, one camera adapter 120 may be connected to a plurality of cameras 112.
For example, each of the two cameras 112 may be connected to one camera adapter 120. Further, for example, each of the five cameras 112a to 112e may be connected to one camera adapter 120. In such a case, one camera adapter 120 controls each of the plurality of connected cameras 112. Also, one camera adapter 120 acquires a plurality of frame data synchronously photographed by the plurality of connected cameras 112 as a synchronous frame data group, and transfers the acquired synchronous frame data group to the image server device 200. I do.

また、実施形態１、２では、コントローラ３００は、データの転送にかかる負荷指標として、データの転送時間を用いることとした。しかし、コントローラ３００は、データの転送にかかる負荷指標として、データのデータサイズを用いることとしてもよい。例えば、ＣＰＵ３１１は、Ｓ３０２で転送予定データの負荷指標として、転送予定データのデータサイズを求めることとしてもよい。その場合、ＣＰＵ３１１は、Ｓ３０３で、転送予定データの負荷指標であるデータサイズが１フレーム期間に転送可能なデータサイズ以下か否かを判定することとしてもよい。ＣＰＵ３１１は、以下であると判定した場合、処理をＳ３０４に進め、大きいと判定した場合、処理をＳ３０５に進めることとしてもよい。
また、コントローラ３００は、データの負荷指標として、データが転送される際に転送されるパケットの個数を用いることとしてもよい。 In the first and second embodiments, the controller 300 uses the data transfer time as a load index for data transfer. However, the controller 300 may use the data size of the data as the load index for the data transfer. For example, the CPU 311 may determine the data size of the transfer scheduled data as the load index of the transfer scheduled data in S302. In this case, the CPU 311 may determine in step S303 whether the data size, which is the load index of the data to be transferred, is equal to or smaller than the data size that can be transferred in one frame period. The CPU 311 may advance the process to S304 if it is determined to be the following, or may advance the process to S305 if it is determined to be larger.
Further, the controller 300 may use the number of packets transferred when data is transferred as the data load index.

また、実施形態１、２では、撮影システム１００は、１度の転送で、カメラ１１２により同一のタイミングで同期して撮影された複数のフレームデータを、画像サーバ装置２００に転送することとした。しかし、撮影システム１００は、１度の転送で、カメラ１１２によりそれぞれ異なる複数のタイミングそれぞれで同期して撮影された複数のフレームデータを、画像サーバ装置２００に転送することとしてもよい。即ち、撮影システム１００は、１度の転送で、複数の同期フレームデータ群を転送することとしてもよい。この場合、撮影システム１００は、１度に転送される複数の同期フレームデータ群のうちの１つの同期フレームデータ群に含まれるフレームデータの転送を中止するよう制御する。
また、撮影システム１００は、複数回の転送で、カメラ１１２により同一のタイミングで同期して撮影された複数のフレームデータを、画像サーバ装置２００に転送することとしてもよい。即ち、撮影システム１００は、複数回に分けて１つの同期フレームデータ群を転送することとしてもよい。この場合、撮影システム１００は、複数回に分けて転送される１つの同期フレームデータ群に含まれるフレームデータの転送を中止するよう制御する。 In the first and second embodiments, the imaging system 100 transfers a plurality of frame data shot synchronously by the camera 112 at the same timing to the image server device 200 in one transfer. However, the imaging system 100 may transfer a plurality of frame data shot synchronously by the camera 112 at a plurality of different timings to the image server device 200 in one transfer. That is, the imaging system 100 may transfer a plurality of synchronization frame data groups in one transfer. In this case, the imaging system 100 controls the transfer of the frame data included in one synchronous frame data group among a plurality of synchronous frame data groups transmitted at once to be stopped.
In addition, the imaging system 100 may transfer a plurality of frame data shot synchronously by the camera 112 at the same timing to the image server device 200 in a plurality of transfers. That is, the imaging system 100 may transfer one synchronization frame data group in a plurality of times. In this case, the imaging system 100 controls the transfer of the frame data included in one synchronous frame data group transferred in a plurality of times to be stopped.

撮影システム１００は、フレームデータの転送に係る負荷の程度（負荷指標）に応じて同期して撮影された複数の画像データの転送を中止するか否かを制御すればよく、そのための具体的な処理は、実施形態１、２に限定されるものではない。
他の例としては、撮影システム１００は、転送中データの転送時間（転送予定データの転送遅延時間）のみに基づいて、転送予定データのフレームデータの転送を中止するか否かを制御してもよい。即ち、撮影システム１００は、負荷指標として、転送中データの転送時間（転送予定データの転送遅延時間）のみを用いてもよい。例えば、ＣＰＵ３１１は、転送中データの転送時間を求めて、求めた転送時間が予め定められた閾値以下であれば、転送予定データの転送を実行するよう制御してもよい。また、ＣＰＵ３１１は、求めた転送時間が予め定められた閾値よりも大きければ、転送予定データの転送を中止するよう制御してもよい。
また、例えば、撮影システム１００は、転送予定のデータの転送時間のみに基づいて、転送予定データのフレームデータの転送を中止するか否かを制御してもよい。即ち、撮影システム１００は、負荷指標として、転送予定のデータの転送時間のみを用いてもよい。例えば、ＣＰＵ３１１は、転送予定データの転送時間を求めて、求めた転送時間が予め定められた閾値以下であれば、転送予定データの転送を実行するよう制御してもよい。また、ＣＰＵ３１１は、求めた転送時間が予め定められた閾値よりも大きければ、転送予定データの転送を中止するよう制御してもよい。 The imaging system 100 only has to control whether or not to stop the transfer of a plurality of image data shot in synchronization in accordance with the degree of load (load index) related to the transfer of frame data. The processing is not limited to the first and second embodiments.
As another example, the imaging system 100 may control whether to stop the transfer of the frame data of the transfer scheduled data based only on the transfer time of the data being transferred (the transfer delay time of the transfer scheduled data). Good. That is, the image capturing system 100 may use only the transfer time of the data being transferred (the transfer delay time of the scheduled transfer data) as the load index. For example, the CPU 311 may calculate the transfer time of the data being transferred, and control to execute the transfer of the scheduled transfer data if the calculated transfer time is equal to or less than a predetermined threshold. Further, the CPU 311 may control to stop the transfer of the transfer-scheduled data if the obtained transfer time is larger than a predetermined threshold.
Further, for example, the imaging system 100 may control whether to stop the transfer of the frame data of the transfer scheduled data based only on the transfer time of the transfer scheduled data. That is, the imaging system 100 may use only the transfer time of the data to be transferred as the load index. For example, the CPU 311 may calculate the transfer time of the transfer-scheduled data, and control to execute the transfer of the transfer-scheduled data if the obtained transfer time is equal to or less than a predetermined threshold. Further, the CPU 311 may control to stop the transfer of the transfer-scheduled data if the obtained transfer time is larger than a predetermined threshold.

また、例えば、撮影システム１００は、フレームデータの送信に用いられる通信帯域の利用率に基づいて、転送予定データのフレームデータの転送を中止するか否かを制御してもよい。即ち、撮影システム１００は、負荷指標として、フレームデータの送信に用いられる通信帯域の利用率を用いてもよい。ＣＰＵ３１１は、通信帯域の利用率を監視し、転送予定データの送信の際に通信帯域の利用率が予め定められた閾値以下であれば、転送予定データの転送を実行するよう制御してもよい。また、ＣＰＵ３１１は、通信帯域の利用率を監視し、転送予定データの送信の際に通信帯域の利用率が予め定められた閾値よりも大きければ、転送予定データの転送を中止するよう制御してもよい。
また、例えば、撮影システム１００は、フレームデータの転送に用いられる通信路に置ける通信障害の有無に基づいて、転送予定データのフレームデータの転送を中止するか否かを制御してもよい。即ち、撮影システム１００は、負荷指標として、通信障害の有無を用いてもよい。ＣＰＵ３１１は、通信障害が生じてない場合、転送予定データの転送を実行するよう制御し、通信障害が生じている場合、転送予定データの転送を中止するよう制御してもよい。 Further, for example, the imaging system 100 may control whether to stop the transfer of the frame data of the transfer-scheduled data, based on the utilization rate of the communication band used for the transmission of the frame data. That is, the imaging system 100 may use the utilization rate of the communication band used for transmitting the frame data as the load index. The CPU 311 monitors the utilization rate of the communication band, and may control the transmission of the scheduled data to be executed if the utilization rate of the communication band is equal to or less than a predetermined threshold when transmitting the scheduled data. . Also, the CPU 311 monitors the utilization rate of the communication band, and controls the transmission of the scheduled data to be stopped if the utilization rate of the communication band is larger than a predetermined threshold when transmitting the scheduled data. Is also good.
Further, for example, the imaging system 100 may control whether to stop the transfer of the frame data of the transfer-scheduled data, based on the presence or absence of a communication failure in the communication path used for the transfer of the frame data. That is, the imaging system 100 may use the presence or absence of a communication failure as the load index. The CPU 311 may control the transfer of the transfer-scheduled data when the communication failure does not occur, and may control the transfer of the transfer-scheduled data to be stopped when the communication failure occurs.

また、実施形態１では、負荷指標の１つである転送予定データの転送遅延時間を、転送予定データの転送の開始が遅延する時間であるとした。しかし、転送予定データの転送遅延時間を、転送予定データの転送の終了が遅延する時間であるとしてもよい。その場合、ＣＰＵ３１１は、例えば、Ｓ３０５で、転送中データの転送時間と、転送予定データの転送時間から１フレーム期間を引いた時間と、の和を、転送予定データの転送遅延時間として取得してもよい。
そして、ＣＰＵ３１１は、Ｓ３０６で、この転送遅延時間が予め定められた閾値以下であるか否かを判定することとしてもよい。ＣＰＵ３１１は、この転送遅延時間が予め定められた閾値以下であると判定した場合、転送予定データの転送を実行するよう制御し、この転送遅延時間が予め定められた閾値以下であると判定した場合、転送予定データの転送を中止するよう制御してもよい。また、転送予定データを中止するのに代えて、転送データ量を削減したうえで転送するようにしてもよい。 In the first embodiment, the transfer delay time of the scheduled transfer data, which is one of the load indices, is defined as the time when the start of the transfer of the scheduled transfer data is delayed. However, the transfer delay time of the transfer-scheduled data may be a time that delays the end of transfer of the transfer-scheduled data. In this case, the CPU 311 acquires, for example, in S305, the sum of the transfer time of the data being transferred and the time obtained by subtracting one frame period from the transfer time of the transfer scheduled data as the transfer delay time of the transfer scheduled data. Is also good.
Then, in S306, the CPU 311 may determine whether or not the transfer delay time is equal to or less than a predetermined threshold. When the CPU 311 determines that the transfer delay time is equal to or less than a predetermined threshold, the CPU 311 controls the transfer of the transfer-scheduled data, and determines that the transfer delay time is equal to or less than the predetermined threshold. Alternatively, control may be performed to stop the transfer of the transfer-scheduled data. Further, instead of canceling the data to be transferred, the data may be transferred after reducing the amount of data to be transferred.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This process can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.

例えば、上述した撮影システム１００の機能構成の一部又は全てをハードウェアとしてコントローラ３００、カメラアダプタ１２０等に実装してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせたり、適宜改良乃至は応用したりする等してもよい。 For example, part or all of the functional configuration of the above-described imaging system 100 may be implemented as hardware in the controller 300, the camera adapter 120, or the like.
As described above, an example of the embodiment of the present invention has been described in detail, but the present invention is not limited to the specific embodiment. For example, the above-described embodiments may be arbitrarily combined, or may be appropriately improved or applied.

１００撮影システム
２００画像サーバ
３００コントローラ 100 Imaging system 200 Image server 300 Controller

Claims

Control means for controlling transfer of a plurality of image data based on a plurality of images synchronously photographed by a plurality of photographing units at a plurality of timings respectively, the plurality of image data being used for generating a virtual viewpoint image When,
Acquisition means for acquiring a load index indicating the degree of load on the transfer by the control means,
Has,
The control unit suspends transfer of a plurality of image data based on a plurality of images taken synchronously at at least one timing among the plurality of image data in accordance with the load index acquired by the acquisition unit. Information processing device that controls

2. The information processing apparatus according to claim 1, wherein the control unit performs control so as to stop transfer of a part of image data among a plurality of image data based on the plurality of images synchronously photographed at the at least one timing. 3. .

Based on the usefulness of each of the plurality of image data based on the plurality of images synchronously photographed at the at least one timing, transfer of the plurality of image data synchronously photographed at the at least one timing is performed. Further comprising a determining means for determining the image data to be stopped,
The information processing apparatus according to claim 2, wherein the control unit controls to stop the transfer of the image data determined to stop the transfer by the determining unit.

The information processing apparatus according to claim 3, wherein the usefulness is a degree of contribution of each of the plurality of image data based on the plurality of images captured at the at least one timing to generation of a virtual viewpoint image.

The information processing apparatus according to claim 1, wherein the obtaining unit obtains, as the load index, an index indicating a degree of load applied to transfer of the image data to be transferred.

The information processing apparatus according to claim 1, wherein the obtaining unit obtains, as the load index, an index indicating a degree of a load applied to the transfer of the image data being transferred.

The information processing apparatus according to claim 1, wherein the acquisition unit acquires a data size of the image data transferred by the control unit as the load index.

The information processing apparatus according to claim 1, wherein the acquisition unit acquires a transfer time of image data transferred by the control unit as the load index.

An information processing method executed by an information processing apparatus,
A plurality of image data based on a plurality of images taken in synchronization at a plurality of timings by a plurality of photographing units, respectively, and a degree of a load applied to transfer of the plurality of image data used for generating a virtual viewpoint image is described. An acquisition step of acquiring a load index to be indicated;
In accordance with the load index acquired in the acquiring step, control is performed so as to stop transferring a plurality of image data based on a plurality of images taken synchronously at at least one timing among the plurality of image data. A control step;
An information processing method including:

10. The information processing method according to claim 9, wherein in the control step, control is performed such that transfer of a part of image data among a plurality of image data based on the plurality of images shot synchronously at the at least one timing is stopped. .

Based on the usefulness of each of the plurality of image data based on the plurality of images synchronously photographed at the at least one timing, transfer of the plurality of image data synchronously photographed at the at least one timing is performed. A determining step of determining image data to be stopped;
11. The information processing method according to claim 10, wherein, in the control step, control is performed so as to stop the transfer of the image data determined to stop the transfer in the determining step.

12. The information processing method according to claim 11, wherein the usefulness is a degree of contribution of each of the plurality of image data based on the plurality of images captured at the at least one timing to generation of the virtual viewpoint image.

A program for causing a computer to function as each unit of the information processing apparatus according to claim 1.