JP7104504B2 - Image processing system, image processing device, image transmission method, and program - Google Patents

Image processing system, image processing device, image transmission method, and program Download PDF

Info

Publication number
JP7104504B2
JP7104504B2 JP2017201955A JP2017201955A JP7104504B2 JP 7104504 B2 JP7104504 B2 JP 7104504B2 JP 2017201955 A JP2017201955 A JP 2017201955A JP 2017201955 A JP2017201955 A JP 2017201955A JP 7104504 B2 JP7104504 B2 JP 7104504B2
Authority
JP
Japan
Prior art keywords
image
area
camera
image processing
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017201955A
Other languages
Japanese (ja)
Other versions
JP2019075740A (en
Inventor
充 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017201955A priority Critical patent/JP7104504B2/en
Priority to US16/128,159 priority patent/US10812770B2/en
Publication of JP2019075740A publication Critical patent/JP2019075740A/en
Application granted granted Critical
Publication of JP7104504B2 publication Critical patent/JP7104504B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、被写体を複数の方向から撮影するための複数のカメラで撮影した画像を伝送する技術に関するものである。 The present invention relates to a technique for transmitting images taken by a plurality of cameras for shooting a subject from a plurality of directions.

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。 Recently, a technique of installing a plurality of cameras at different positions to perform synchronous shooting from multiple viewpoints and generating virtual viewpoint contents using the multiple viewpoint images obtained by the shooting has attracted attention. According to such a technique, for example, a highlight scene of soccer or basketball can be viewed from various angles, so that a user can be given a high sense of presence as compared with a normal image.

一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。特許文献１では、複数のカメラで撮像した画像から前景と背景を分離し、それぞれを合成して仮想視点画像の生成を行うことについて記載されている。 On the other hand, in the generation and viewing of virtual viewpoint content based on a multi-viewpoint image, images taken by a plurality of cameras are aggregated in an image processing unit such as a server, and the image processing unit performs processing such as 3D model generation and rendering. It can be realized by performing the above and transmitting the image to the user terminal. Patent Document 1 describes that the foreground and the background are separated from the images captured by a plurality of cameras, and the foreground and the background are combined to generate a virtual viewpoint image.

特開２０００－５７３５０号公報Japanese Unexamined Patent Publication No. 2000-57350

上述の複数視点画像に基づく仮想視点コンテンツ生成や閲覧のためには、撮影画像から三次元モデル生成等の処理を高精度かつ高速に行う必要がある。特許文献１の画像処理システムでは、仮想視点画像生成のために、各カメラで撮影した画像の共通する領域についても冗長に伝送しており、多数の撮影画像を伝送するための伝送線容量が膨大になってしまうという課題があった。 In order to generate and browse virtual viewpoint content based on the above-mentioned multi-view image, it is necessary to perform processing such as 3D model generation from the captured image with high accuracy and high speed. In the image processing system of Patent Document 1, in order to generate a virtual viewpoint image, the common area of the images taken by each camera is also redundantly transmitted, and the transmission line capacity for transmitting a large number of captured images is enormous. There was a problem that it became.

本発明は、上記の課題に鑑みてなされたものであり、その目的は、複数のカメラの撮影画像を効率よく伝送することである。 The present invention has been made in view of the above problems, and an object of the present invention is to efficiently transmit images captured by a plurality of cameras.

本発明の一態様による画像処理システムは以下の構成を備える。すなわち、
異なる位置に配置された複数の撮影装置が撮影することにより得られる複数の撮影画像に基づく画像データを伝送する複数の画像処理装置を含む画像処理システムであって、
前記複数の画像処理装置は、
前記複数の撮影装置が撮影することにより得られる複数の撮影画像のそれぞれから前景領域と背景領域とを分離することにより、仮想視点画像の生成に用いられる前景画像と背景画像とを生成する分離手段を有し、
前記複数の撮影装置のそれぞれにより撮影される領域における背景領域から前記複数の撮影装置のそれぞれの伝送領域を決定する決定手段であって、前記複数の撮影装置の伝送領域が互いに重複しないように伝送領域を決定する決定手段と、
前記分離手段により生成された前記背景画像のうち、前記決定手段により決定された前記伝送領域に対応する部分である背景領域画像と、前記分離手段により生成された前記前景画像とが伝送されるよう前記複数の画像処理装置を制御する制御手段と、を備える。 The image processing system according to one aspect of the present invention has the following configurations. That is,
An image processing system including a plurality of image processing devices for transmitting image data based on a plurality of captured images obtained by photographing by a plurality of photographing devices arranged at different positions.
The plurality of image processing devices
Separation means for generating a foreground image and a background image used for generating a virtual viewpoint image by separating a foreground area and a background area from each of a plurality of captured images obtained by the plurality of photographing devices. Have,
It is a determination means for determining the transmission area of each of the plurality of photographing devices from the background area in the area photographed by each of the plurality of photographing devices, so that the transmission areas of the plurality of photographing devices do not overlap each other . Determining means for determining the transmission area and
Of the background image generated by the separation means , the background area image which is a portion corresponding to the transmission area determined by the determination means and the foreground image generated by the separation means are transmitted so as to be transmitted. A control means for controlling the plurality of image processing devices is provided.

本発明によれば、複数のカメラの撮影画像を効率よく伝送することができる。 According to the present invention, images captured by a plurality of cameras can be efficiently transmitted.

画像処理システム１００の構成図。The block diagram of the image processing system 100. カメラアダプタ１２０の機能ブロック図。The functional block diagram of the camera adapter 120. 画像処理部６１３０の機能ブロック図。The functional block diagram of the image processing unit 6130. フロントエンドサーバ２３０の機能ブロック図。The functional block diagram of the front-end server 230. 伝送領域算出部４０１の機能ブロック図。The functional block diagram of the transmission area calculation unit 401. 伝送領域の決定を説明するためのフローチャート。A flowchart for explaining the determination of the transmission area. センサシステムの配置の一例を示す図。The figure which shows an example of the arrangement of a sensor system. カメラの伝送領域決定の算出手順を示す図。The figure which shows the calculation procedure of the transmission area determination of a camera. カメラの伝送領域決定の算出手順を示す図。The figure which shows the calculation procedure of the transmission area determination of a camera. カメラの伝送領域決定の算出手順を示す図。The figure which shows the calculation procedure of the transmission area determination of a camera. 背景画像を示す図。The figure which shows the background image. カメラアダプタ１２０のハードウェア構成を示すブロック図。The block diagram which shows the hardware configuration of a camera adapter 120. 伝送領域算出部１４０１の機能ブロック図。The functional block diagram of the transmission area calculation unit 1401. 競技場の構造を模式的に表した図。The figure which represented the structure of the stadium schematically. 背景画像を示す図。The figure which shows the background image. 背景範囲を示す図。The figure which shows the background range. 実施の形態３に係る画像処理システム１００の構成図。The block diagram of the image processing system 100 which concerns on Embodiment 3. 伝送領域算出部２４０１の機能ブロック図。The functional block diagram of the transmission area calculation unit 2401. 背景領域の決定を説明するためのフローチャート。A flowchart for explaining the determination of the background area. 仮想カメラの撮影範囲を示す図。The figure which shows the shooting range of a virtual camera. 仮想視点画像生成のための伝送領域決定の算出手順を示す図。The figure which shows the calculation procedure of the transmission area determination for virtual viewpoint image generation. 仮想視点画像生成のための伝送領域決定の算出手順を示す図。The figure which shows the calculation procedure of the transmission area determination for virtual viewpoint image generation. 仮想視点画像生成のための伝送領域決定の算出手順を示す図。The figure which shows the calculation procedure of the transmission area determination for virtual viewpoint image generation. カメラの選択方法を説明する図。The figure explaining the selection method of a camera. 新たに伝送領域を算出し直す場合を説明する図。The figure explaining the case which recalculates the transmission area newly. 伝送領域算出部３４０１の機能ブロック図。The functional block diagram of the transmission area calculation unit 3401. 小領域からのカメラの距離計算を表す図。The figure which shows the distance calculation of a camera from a small area.

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜実施の形態１＞
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１を用いて説明する。 Hereinafter, the present invention will be described in detail with reference to the accompanying drawings, based on its preferred embodiments. The configuration shown in the following embodiments is only an example, and the present invention is not limited to the illustrated configuration.
<Embodiment 1>
A system in which a plurality of cameras and microphones are installed in a facility such as a stadium or a concert hall to take a picture and collect sound will be described with reference to FIG.

＜画像処理システム１００の説明＞
図１は、画像処理システム１００の一例を示す構成図である。画像処理システム１００は、センサシステム１１０ａ，...，１１０ｚと、画像コンピューティングサーバ２００と、コントローラ３００と、スイッチングハブ１８０と、エンドユーザ端末１９０とを含む。 <Explanation of image processing system 100>
FIG. 1 is a configuration diagram showing an example of an image processing system 100. The image processing system 100 includes a sensor system 110a, ..., 110z, an image computing server 200, a controller 300, a switching hub 180, and an end user terminal 190.

コントローラ３００は、制御ステーション３１０と、仮想カメラ操作ＵＩ３３０とを含む。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク３１０ａ－３１０ｄ、１８０ａ、１８０ｂ、及び１７０ａ，...，１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。 The controller 300 includes a control station 310 and a virtual camera operation UI 330. The control station 310 manages the operating state and controls the parameter setting for each block constituting the image processing system 100 through the networks 310a-310d, 180a, 180b, and 170a, ..., 170y.

＜センサシステム１１０の説明＞
最初に、センサシステム１１０ａ，...，センサシステム１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作について説明する。 <Explanation of sensor system 110>
First, an operation of transmitting 26 sets of images and sounds of the sensor systems 110a, ..., And the sensor system 110z from the sensor system 110z to the image computing server 200 will be described.

画像処理システム１００では、センサシステム１１０ａ，...，センサシステム１１０ｚがデイジーチェーンにより接続される。ここで、本実施の形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。また、本実施形態では、特に断りがない限り、画像という文言は、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。 In the image processing system 100, the sensor systems 110a, ..., And the sensor system 110z are connected by a daisy chain. Here, in the present embodiment, unless otherwise specified, the 26 sets of systems from the sensor system 110a to the sensor system 110z are referred to as the sensor system 110 without distinction. Similarly, the devices in each sensor system 110 are not distinguished unless otherwise specified, and are described as a microphone 111, a camera 112, a pan head 113, and a camera adapter 120. Although the number of sensor systems is described as 26 sets, this is just an example, and the number is not limited to this. Further, in the present embodiment, unless otherwise specified, the word "image" is described as including the concepts of moving images and still images. That is, the image processing system 100 of the present embodiment can process both still images and moving images.

また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。 Further, in the present embodiment, an example in which the virtual viewpoint content provided by the image processing system 100 includes a virtual viewpoint image and a virtual viewpoint sound will be mainly described, but the present invention is not limited to this. For example, the virtual viewpoint content does not have to include audio. Further, for example, the sound included in the virtual viewpoint content may be the sound collected by the microphone closest to the virtual viewpoint. Further, in the present embodiment, for the sake of simplification of the explanation, the description about the sound is partially omitted, but basically both the image and the sound are processed.

センサシステム１１０ａ，...，１１０ｚは、それぞれ１台ずつのカメラ１１２ａ，...，１１２ｚを含む。すなわち、画像処理システム１００は、同一の被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士は、デイジーチェーンにより接続される。 The sensor systems 110a, ..., 110z include one camera 112a, ..., 112z, respectively. That is, the image processing system 100 has a plurality of cameras for photographing the same subject from a plurality of directions. The plurality of sensor systems 110 are connected to each other by a daisy chain.

センサシステム１１０は、マイク１１１と、カメラ１１２と、雲台１１３と、カメラアダプタ１２０とを含んで構成されるが、この構成に限定するものではない。カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、マイク１１１ａにて集音された音声とともに、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。センサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。 The sensor system 110 includes, but is not limited to, a microphone 111, a camera 112, a pan head 113, and a camera adapter 120. The image taken by the camera 112a is transmitted to the camera adapter 120b of the sensor system 110b through the daisy chain 170a together with the sound collected by the microphone 111a after the image processing described later is performed by the camera adapter 120a. .. The sensor system 110b transmits the collected sound and the captured image to the sensor system 110c together with the image and the sound acquired from the sensor system 110a.

前述した動作を続けることにより、センサシステム１１０ａ，...，１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。 By continuing the above-described operation, the images and sounds acquired by the sensor systems 110a, ..., 110z are transmitted from the sensor system 110z to the switching hub 180 using the network 180b, and then transmitted to the image computing server 200. To.

なお、本実施形態では、カメラ１１２ａ，...，１１２ｚと、カメラアダプタ１２０ａ，...，１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ，...，１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。 In the present embodiment, the cameras 112a, ..., 112z and the camera adapters 120a, ..., 120z are separated from each other, but they may be integrated in the same housing. In that case, the microphones 111a, ..., 111z may be built in the integrated camera 112 or may be connected to the outside of the camera 112.

＜画像コンピューティングサーバ２００の説明＞
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。 <Explanation of image computing server 200>
Next, the configuration and operation of the image computing server 200 will be described. The image computing server 200 processes the data acquired from the sensor system 110z.

画像コンピューティングサーバ２００は、フロントエンドサーバ２３０と、データベース２５０（以下、ＤＢと記載する場合がある。）と、バックエンドサーバ２７０と、タイムサーバ２９０とを含む。さらに、画像コンピューティングサーバ２００は、伝送領域算出部４０１と、カメラ配置記憶部４００とを含む。また、データベース２５０は、伝送領域情報記憶部４０２を含む。 The image computing server 200 includes a front-end server 230, a database 250 (hereinafter, may be referred to as a DB), a back-end server 270, and a time server 290. Further, the image computing server 200 includes a transmission area calculation unit 401 and a camera arrangement storage unit 400. The database 250 also includes a transmission area information storage unit 402.

カメラ配置記憶部４００は、制御ステーション３１０から取得した、各カメラ１１２の位置、姿勢、方向、レンズ焦点距離等の情報（以下、カメラ配置情報と記載する。）を記憶する。 The camera arrangement storage unit 400 stores information such as the position, posture, direction, and lens focal length of each camera 112 (hereinafter, referred to as camera arrangement information) acquired from the control station 310.

伝送領域算出部４０１は、カメラ配置記憶部４００に記憶されているカメラの位置、画角から各カメラ１１２が撮影した画像のうち、仮想視点画像生成のために伝送される画像に対応する領域（以下、伝送領域と記載する。）を算出し、伝送領域情報を生成する。 The transmission area calculation unit 401 is an area corresponding to an image transmitted for generating a virtual viewpoint image among the images taken by each camera 112 from the camera position and angle of view stored in the camera arrangement storage unit 400. Hereinafter referred to as a transmission area) is calculated to generate transmission area information.

伝送領域情報記憶部４０２は、伝送領域算出部４０１で生成された各カメラ１１２の伝送領域情報を記憶する。伝送領域情報は、カメラ１１２の位置または画角が変わるたびに更新される。 The transmission area information storage unit 402 stores the transmission area information of each camera 112 generated by the transmission area calculation unit 401. The transmission area information is updated every time the position or angle of view of the camera 112 changes.

タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ，...，１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ，...，１２０ｚは、カメラ１１２ａ，...，１１２ｚを、時刻と同期信号とをもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。 The time server 290 has a function of distributing the time and synchronization signals, and distributes the time and synchronization signals to the sensor systems 110a, ..., 110z via the switching hub 180. The camera adapters 120a, ..., 120z that have received the time and synchronization signals genlock the cameras 112a, ..., 112z based on the time and the synchronization signal to perform image frame synchronization. That is, the time server 290 synchronizes the shooting timings of the plurality of cameras 112. As a result, the image processing system 100 can generate a virtual viewpoint image based on a plurality of captured images taken at the same timing, so that deterioration of the quality of the virtual viewpoint image due to a deviation in the shooting timing can be suppressed.

フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。その後、カメラの識別子、画像か音声かを示すデータ種別、フレーム番号に応じてデータベース２５０に書き込む。 The front-end server 230 reconstructs segmented transmission packets from images and sounds acquired from the sensor system 110z to convert the data format. After that, it is written in the database 250 according to the identifier of the camera, the data type indicating whether it is an image or sound, and the frame number.

データベース２５０は、フロントエンドサーバ２３０から取得した、各カメラアダプタ１２０からの各フレームや画像データの受信状況を状態管理テーブルで管理する。例えば、各時刻と各カメラについて画像データが届いていなければ０、届いていれば１のフラグを立てることで対応できる。また、所定の時間ごと（例えば、１秒間）に、全て届いていれば１を、届いていない場合は所定時間内の各時刻と各カメラについて同様のフラグを立てることで管理できる。 The database 250 manages the reception status of each frame and image data from each camera adapter 120 acquired from the front-end server 230 in the state management table. For example, if the image data for each time and each camera has not arrived, it can be flagged as 0, and if it has arrived, it can be flagged as 1. In addition, it can be managed by setting a similar flag for each time within a predetermined time and for each camera if all of them have arrived at a predetermined time (for example, 1 second).

バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。そして、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体に構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数存在していてもよい。また、画像コンピューティングサーバ２００の任意の位置に、上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。 The back-end server 270 accepts the designation of the virtual viewpoint from the virtual camera operation UI 330. Then, based on the received viewpoint, the corresponding image and audio data are read from the database 250, and rendering processing is performed to generate a virtual viewpoint image. The configuration of the image computing server 200 is not limited to this. For example, at least two of the front-end server 230, the database 250, and the back-end server 270 may be integrally configured. Further, at least one of the front-end server 230, the database 250, and the back-end server 270 may exist in plurality. Further, a device other than the above device may be included at an arbitrary position of the image computing server 200. Further, the end user terminal 190 and the virtual camera operation UI 330 may have at least a part of the functions of the image computing server 200.

レンダリング処理された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像の閲覧及び音声の視聴が出来る。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。具体的には、バックエンドサーバ２７０は、例えば、複数のカメラアダプタ１２０により複数のカメラ１１２の撮影画像から切り出された所定領域の画像データ（図４にて詳述）と、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。 The rendered virtual viewpoint image is transmitted from the back end server 270 to the end user terminal 190, and the user who operates the end user terminal 190 can view the image and listen to the sound according to the designation of the viewpoint. That is, the back-end server 270 generates virtual viewpoint contents based on the captured images (multi-viewpoint images) captured by the plurality of cameras 112 and the viewpoint information. Specifically, the back-end server 270 is designated, for example, by user operation with image data (detailed in FIG. 4) of a predetermined area cut out from images taken by a plurality of cameras 112 by a plurality of camera adapters 120. Generate virtual viewpoint content based on the viewpoint. Then, the back end server 270 provides the generated virtual viewpoint content to the end user terminal 190.

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、エンドユーザ端末１９０へ送信されてもよい。 The virtual viewpoint content in the present embodiment is content including a virtual viewpoint image as an image obtained when a subject is photographed from a virtual viewpoint. In other words, the virtual viewpoint image can be said to be an image representing the appearance at the specified viewpoint. The virtual viewpoint (virtual viewpoint) may be specified by the user, or may be automatically specified based on the result of image analysis or the like. That is, the virtual viewpoint image includes an arbitrary viewpoint image (free viewpoint image) corresponding to a viewpoint arbitrarily specified by the user. In addition, an image corresponding to a viewpoint designated by the user from a plurality of candidates and an image corresponding to a viewpoint automatically designated by the device are also included in the virtual viewpoint image. In addition, the back-end server 270 displays the virtual viewpoint image in H. It may be compressed and encoded by a standard technique represented by 264 or HEVC, and then transmitted to the end user terminal 190 using the MPEG-DASH protocol. Further, the virtual viewpoint image may be transmitted to the end user terminal 190.

このように、画像処理システム１００は、被写体を異なる方向から撮影する複数のカメラ１１２による撮影画像に基づいて、バックエンドサーバ２７０により仮想視点画像を生成する。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。 In this way, the image processing system 100 generates a virtual viewpoint image by the back-end server 270 based on the images captured by the plurality of cameras 112 that capture the subject from different directions. The image processing system 100 in the present embodiment is not limited to the physical configuration described above, and may be logically configured.

＜機能ブロック図の説明＞
次に、図１に記載の画像処理システム１００における各ノード（カメラアダプタ１２０、フロントエンドサーバ２３０、伝送領域算出部４０１）の機能ブロック図を説明する。 <Explanation of functional block diagram>
Next, a functional block diagram of each node (camera adapter 120, front-end server 230, transmission area calculation unit 401) in the image processing system 100 shown in FIG. 1 will be described.

＜カメラアダプタ１２０の説明＞
図２は、カメラアダプタ１２０の機能構成を説明するためのブロック図である。カメラアダプタ１２０は、ネットワークアダプタ６１１０と、伝送部６１２０と、画像処理部６１３０と、外部機器制御部６１４０とを含む。 <Explanation of camera adapter 120>
FIG. 2 is a block diagram for explaining the functional configuration of the camera adapter 120. The camera adapter 120 includes a network adapter 6110, a transmission unit 6120, an image processing unit 6130, and an external device control unit 6140.

ネットワークアダプタ６１１０は、データ送受信部６１１１と、時刻制御部６１１２とを含む。データ送受信部６１１１は、デイジーチェーン１７０、ネットワーク２９１、及びネットワーク３１０ａを介し、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えば、データ送受信部６１１１は、伝送領域算出部４０１から伝送領域情報を受信する。また、データ送受信部６１１１は、カメラ１１２の撮影画像に対して前景背景分離部６１３１が分離処理を行って生成した前景画像や、伝送領域更新部６１３４で生成した背景領域画像を、別のカメラアダプタ１２０に対して送信する。送信先のカメラアダプタ１２０は、画像処理システム１００のカメラアダプタ１２０のうち、データルーティング処理部６１２２の処理に応じて予め定められた順序における次のカメラアダプタ１２０である。各カメラアダプタ１２０が、前景画像及び背景画像を出力することで、複数の視点から撮影された前景画像と背景画像とに基づいた仮想視点画像が生成される。 The network adapter 6110 includes a data transmission / reception unit 6111 and a time control unit 6112. The data transmission / reception unit 6111 performs data communication with the other camera adapter 120, the front-end server 230, the time server 290, and the control station 310 via the daisy chain 170, the network 291 and the network 310a. For example, the data transmission / reception unit 6111 receives the transmission area information from the transmission area calculation unit 401. Further, the data transmission / reception unit 6111 uses another camera adapter for the foreground image generated by the foreground background separation unit 6131 for separating the captured image of the camera 112 and the background area image generated by the transmission area update unit 6134. Send to 120. The destination camera adapter 120 is the next camera adapter 120 in the camera adapter 120 of the image processing system 100 in a predetermined order according to the processing of the data routing processing unit 6122. Each camera adapter 120 outputs a foreground image and a background image to generate a virtual viewpoint image based on the foreground image and the background image taken from a plurality of viewpoints.

時刻制御部６１１２は、例えば、ＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを有する。なお、ＩＥＥＥ１５８８に限定する訳ではなく、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。 The time control unit 6112 has, for example, a function of storing a time stamp of data transmitted / received to / from the time server 290 and a function of performing time synchronization with the time server 290 in accordance with the Oldinay Lock of the IEEE 1588 standard. It is not limited to IEEE1588, and time synchronization with a time server may be realized by another EtherAVB standard or an original protocol.

伝送部６１２０は、データ圧縮・伸張部６１２１と、データルーティング処理部６１２２と、時刻同期制御部６１２３と、画像・音声伝送処理部６１２４と、データルーティング情報保持部６１２５と、フレームレート変更部６１２６とを含む。データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。 The transmission unit 6120 includes a data compression / decompression unit 6121, a data routing processing unit 6122, a time synchronization control unit 6123, an image / audio transmission processing unit 6124, a data routing information holding unit 6125, and a frame rate changing unit 6126. including. The data compression / decompression unit 6121 has a function of compressing data transmitted / received via the data transmission / reception unit 6111 by applying a predetermined compression method, compression rate, and frame rate, and a function of decompressing the compressed data. And have.

データルーティング処理部６１２２は、後述するデータルーティング情報保持部６１２５が保持するデータを利用し、データ送受信部６１１１が受信したデータ及び画像処理部６１３０で処理されたデータのルーティング先を決定する。さらに、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれのデータルーティング処理部６１２２による決定に応じて、画像処理システム１００において前景画像や背景領域画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。 The data routing processing unit 6122 uses the data held by the data routing information holding unit 6125, which will be described later, to determine the routing destination of the data received by the data transmitting / receiving unit 6111 and the data processed by the image processing unit 6130. Furthermore, it has a function of transmitting data to the determined routing destination. As the routing destination, it is preferable to use a camera adapter 120 corresponding to the cameras 112 focused on the same gazing point in order to perform image processing because the image frame correlation between the cameras 112 is high. The order of the camera adapters 120 that output the foreground image and the background area image in the relay format in the image processing system 100 is determined according to the determination by the data routing processing unit 6122 of each of the plurality of camera adapters 120.

時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく、他の同様のプロトコルを利用して時刻同期してもよい。 The time synchronization control unit 6123 conforms to PTP (Precision Time Protocol) of the IEEE1588 standard, and has a function of performing processing related to time synchronization with the time server 290. It should be noted that the time is not limited to PTP, and time synchronization may be performed using another similar protocol.

画像・音声伝送処理部６１２４は、画像データ又は音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まれる。本実施形態のメタ情報には、画像の撮影または音声のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお、送信する画像データまたは音声データは、データ圧縮・伸張部６１２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０からデータ送受信部６１１１を介してメッセージを受け取る。 The image / audio transmission processing unit 6124 has a function of creating a message for transferring the image data or the audio data to another camera adapter 120 or the front-end server 230 via the data transmission / reception unit 6111. The message includes image data or audio data, and meta information of each data. The meta information of the present embodiment includes a time code or sequence number at the time of taking an image or sampling sound, a data type, an identifier indicating an individual of the camera 112 or the microphone 111, and the like. The image data or audio data to be transmitted may be data-compressed by the data compression / decompression unit 6121. Further, the image / audio transmission processing unit 6124 receives a message from another camera adapter 120 via the data transmission / reception unit 6111.

データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。 The data routing information holding unit 6125 has a function of holding address information for determining a transmission destination of data transmitted / received by the data transmitting / receiving unit 6111.

画像処理部６１３０は、前景背景分離部６１３１と、三次元モデル情報生成部６１３２と、キャリブレーション制御部６１３３と、伝送領域更新部６１３４とを含む。画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う。画像処理部６１３０については、図３において詳述する。 The image processing unit 6130 includes a foreground background separation unit 6131, a three-dimensional model information generation unit 6132, a calibration control unit 6133, and a transmission area update unit 6134. The image processing unit 6130 processes the image data taken by the camera 112 and the image data received from the other camera adapter 120 under the control of the camera control unit 6141. The image processing unit 6130 will be described in detail in FIG.

外部機器制御部６１４０は、カメラアダプタ１２０に接続する機器を制御する機能を有し、カメラ制御部６１４１と、マイク制御部６１４２と、雲台制御部６１４３とを含む。 The external device control unit 6140 has a function of controlling a device connected to the camera adapter 120, and includes a camera control unit 6141, a microphone control unit 6142, and a pan head control unit 6143.

カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスなど）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。 The camera control unit 6141 has a function of connecting to the camera 112 and performing control of the camera 112, acquisition of captured images, provision of synchronization signals, time setting, and the like. The control of the camera 112 includes, for example, setting and reference of shooting parameters (number of pixels, color depth, frame rate, white balance, etc.), and the state of the camera 112 (shooting, stopped, synchronizing, error, etc.). There are acquisition, start and stop of shooting, focus adjustment, etc. The synchronization signal is provided by the time synchronization control unit 6123 using the time synchronized with the time server 290 and providing the shooting timing (control clock) to the camera 112. The time setting is performed by providing the time synchronized with the time server 290 by the time synchronization control unit 6123 with a time code conforming to, for example, the SMPTE 12M format. As a result, the provided time code is added to the image data received from the camera 112.

マイク制御部６１４２および雲台制御部６１４３は、それぞれ接続される、マイク１１１および雲台１１３を制御する機能を有する。雲台制御部６１４３は、例えば、パン・チルト制御や、状態取得を行う。 The microphone control unit 6142 and the pan head control unit 6143 have a function of controlling the microphone 111 and the pan head 113, respectively, which are connected to each other. The pan head control unit 6143 performs, for example, pan / tilt control and state acquisition.

＜カメラアダプタ１２０内の画像処理部６１３０の説明＞
図３は、カメラアダプタ１２０内の画像処理部６１３０の機能ブロック図である。画像処理部６１３０は、前景背景分離部６１３１と、三次元モデル情報生成部６１３２と、キャリブレーション制御部６１３３と、伝送領域更新部６１３４とを含む。 <Explanation of the image processing unit 6130 in the camera adapter 120>
FIG. 3 is a functional block diagram of the image processing unit 6130 in the camera adapter 120. The image processing unit 6130 includes a foreground background separation unit 6131, a three-dimensional model information generation unit 6132, a calibration control unit 6133, and a transmission area update unit 6134.

キャリブレーション制御部６１３３は、キャリブレーションに必要な画像データを、カメラ制御部６１４１を介してカメラ１１２から取得する。そして、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理などを行う。 The calibration control unit 6133 acquires image data necessary for calibration from the camera 112 via the camera control unit 6141. Then, the input image is subjected to color correction processing for suppressing color variation for each camera, blur correction processing for stabilizing the position of the image against blur caused by vibration of the camera, and the like.

前景背景分離部６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離処理を行う。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部６１３１は、複数のカメラ１１２のうち対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は、例えば、撮影画像に対するオブジェクト検出処理の結果、オブジェクトが検出された領域である。 The foreground background separation unit 6131 separates the image data captured by the camera 112 into a foreground image and a background image. That is, the foreground background separation unit 6131 of each of the plurality of camera adapters 120 extracts a predetermined area from the images captured by the corresponding camera 112 among the plurality of cameras 112. The predetermined area is, for example, an area in which an object is detected as a result of an object detection process for a captured image.

前景背景分離部６１３１は、撮影画像から抽出した所定領域内の画像を前景画像、所定領域以外の領域の画像（すなわち、前景画像以外）を背景画像として、撮影画像を前景画像と背景画像とに分離する。なお、オブジェクトとは、例えば、人物である。ただし、これに限られず、オブジェクトは、特定の人物（選手、監督、および／または審判など）であっても良いし、ボール等の画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景画像を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景画像と背景画像の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。 The foreground background separation unit 6131 uses the image in the predetermined area extracted from the captured image as the foreground image, the image in the area other than the predetermined area (that is, other than the foreground image) as the background image, and the captured image as the foreground image and the background image. To separate. The object is, for example, a person. However, the object is not limited to this, and the object may be a specific person (player, manager, and / or referee, etc.) or an object having a predetermined image pattern such as a ball. Further, a moving object may be detected as an object. By separating and processing the foreground image including an important object such as a person and the background image not including such an object, the image of the part corresponding to the above object of the virtual viewpoint image generated in the image processing system 100. The quality of the object can be improved. Further, by separating the foreground image and the background image by each of the plurality of camera adapters 120, it is possible to distribute the load in the image processing system 100 provided with the plurality of cameras 112.

なお、分離処理が行われる画像は、当該画像を撮影したカメラと、隣接設置されたカメラの画像とで位置合わせが実行された画像である。位置合わせは、例えば、隣接のカメラ画像をカメラの設置情報から射影変換し、各画像の輝度分布から特徴点を抽出し、当該特徴点同士をマッチングさせることで行う。 The image to which the separation process is performed is an image in which the image of the camera that captured the image and the image of the camera installed adjacent to the image are aligned. Alignment is performed, for example, by projecting and transforming adjacent camera images from camera installation information, extracting feature points from the brightness distribution of each image, and matching the feature points with each other.

前景背景分離部６１３１は、前景分離部５００１と、背景画像５００２と、背景更新部５００３とを有する。前景分離部５００１は、入力された画像に対して、オブジェクト検出を行って前景領域を抽出する。例えば、背景画像５００２と比較して得られた背景差分情報に基づいて、前景領域を抽出する。そして、前景領域の各画素を連結して前景画像を生成する。 The foreground background separation unit 6131 includes a foreground background separation unit 5001, a background image 5002, and a background update unit 5003. The foreground separation unit 5001 detects an object on the input image and extracts the foreground region. For example, the foreground region is extracted based on the background subtraction information obtained by comparing with the background image 5002. Then, each pixel in the foreground region is connected to generate a foreground image.

背景更新部５００３は、背景画像５００２とカメラの位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像５００２を新しい背景画像に更新する。 The background update unit 5003 generates a new background image using the background image 5002 and the image in which the camera is aligned, and updates the background image 5002 with the new background image.

伝送領域更新部６１３４は、伝送領域保持部５０１１と、背景領域画像生成部５０１２とを有する。 The transmission area update unit 6134 has a transmission area holding unit 5011 and a background area image generation unit 5012.

伝送領域保持部５０１１は、伝送部６１２０を介して伝送領域算出部４０１から伝送領域情報を取得し、背景領域画像生成部５０１２に送る。 The transmission area holding unit 5011 acquires the transmission area information from the transmission area calculation unit 401 via the transmission unit 6120 and sends it to the background area image generation unit 5012.

背景領域画像生成部５０１２は、伝送領域保持部５０１１より取得した伝送領域情報に従って、背景画像５００２から背景領域画像を生成する。背景領域画像の生成については、図１１の参照により後述する。 The background area image generation unit 5012 generates a background area image from the background image 5002 according to the transmission area information acquired from the transmission area holding unit 5011. The generation of the background area image will be described later with reference to FIG.

三次元モデル情報生成部６１３２は、三次元モデル処理部５００５と、他カメラ前景受信部５００６と、カメラパラメータ受信部５００７とを有する。他カメラ前景受信部５００６は、他のカメラアダプタ１２０で前景背景分離された前景画像を受信する。 The three-dimensional model information generation unit 6132 includes a three-dimensional model processing unit 5005, another camera foreground receiving unit 5006, and a camera parameter receiving unit 5007. The other camera foreground receiving unit 5006 receives the foreground image separated from the foreground and background by the other camera adapter 120.

カメラパラメータ受信部５００７は、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を受信する。 The camera parameter receiving unit 5007 receives internal parameters unique to the camera (focal length, image center, lens distortion parameter, etc.) and external parameters representing the position and orientation of the camera (rotation matrix, position vector, etc.).

三次元モデル処理部５００５は、前景分離部５００１で分離された前景画像と、伝送部６１２０を介して受信した他のカメラ１１２の前景画像を用いて、例えば、ステレオカメラの原理等から三次元モデルに関わる画像情報を逐次生成する。 The three-dimensional model processing unit 5005 uses the foreground image separated by the foreground separation unit 5001 and the foreground image of another camera 112 received via the transmission unit 6120, and uses, for example, a three-dimensional model from the principle of a stereo camera or the like. The image information related to is sequentially generated.

＜フロントエンドサーバ２３０の説明＞
図４は、フロントエンドサーバ２３０の機能構成を説明するためのブロック図である。フロントエンドサーバ２３０は、制御部２１１０と、データ入力制御部２１２０と、データ同期部２１３０と、ＣＡＤデータ記憶部２１３５と、キャリブレーション部２１４０と、画像処理部２１５０とを含む。さらに、フロントエンドサーバ２３０は、三次元モデル結合部２１６０と、画像結合部２１７０と、撮影データファイル生成部２１８０と、非撮影データファイル生成部２１８５と、ＤＢアクセス制御部２１９０と、伝送領域記憶部２２００とを含む。 <Explanation of front-end server 230>
FIG. 4 is a block diagram for explaining the functional configuration of the front-end server 230. The front-end server 230 includes a control unit 2110, a data input control unit 2120, a data synchronization unit 2130, a CAD data storage unit 2135, a calibration unit 2140, and an image processing unit 2150. Further, the front-end server 230 includes a three-dimensional model coupling unit 2160, an image coupling unit 2170, a shooting data file generation unit 2180, a non-shooting data file generation unit 2185, a DB access control unit 2190, and a transmission area storage unit. Includes 2200 and.

制御部２１１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体の制御を行う。また、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作などの動作モードを切り替える。また、例えば、ネットワーク３１０ｂ（Ｅｔｈｅｒｎｅｔ（登録商標））を通じて制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力などを行う。また、同じくネットワーク３１０ｂを通じて制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、スタジアムＣＡＤデータをＣＡＤデータ記憶部２１３５と撮影データファイル生成部２１８０に送信する。なお、本実施形態におけるスタジアムＣＡＤデータ（スタジアム形状データ）はスタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、ＣＡＤ形式に限定されない。 The control unit 2110 is composed of a CPU, a DRAM, a storage medium such as an HDD or a NAND memory that stores program data and various data, and hardware such as Ethernet (registered trademark). Then, each functional block of the front-end server 230 and the entire system of the front-end server 230 are controlled. In addition, mode control is performed to switch operation modes such as calibration operation, preparatory operation before shooting, and operation during shooting. Further, for example, a control instruction from the control station 310 is received through the network 310b (Ethernet (registered trademark)), and each mode is switched and data is input / output. Similarly, the stadium CAD data (stadium shape data) is acquired from the control station 310 through the network 310b, and the stadium CAD data is transmitted to the CAD data storage unit 2135 and the shooting data file generation unit 2180. The stadium CAD data (stadium shape data) in the present embodiment is three-dimensional data indicating the shape of the stadium, and may be any data representing a mesh model or other three-dimensional shape, and is not limited to the CAD format.

データ入力制御部２１２０は、ネットワーク１８０ａ，１８０ｂ（Ｅｔｈｅｒｎｅｔ（登録商標））等の通信路とスイッチングハブ１８０を介して、カメラアダプタ１２０とネットワーク接続されている。そして、データ入力制御部２１２０は、ネットワーク１８０ａ，１８０ｂ、スイッチングハブ１８０を通してカメラアダプタ１２０から前景画像、背景領域画像、被写体の三次元モデル、音声データ、及びカメラキャリブレーション撮影画像データを取得する。また、データ入力制御部２１２０は、取得した前景画像及び背景領域画像を、データ同期部２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２１４０に送信する。 The data input control unit 2120 is network-connected to the camera adapter 120 via a communication path such as networks 180a and 180b (Ethernet (registered trademark)) and a switching hub 180. Then, the data input control unit 2120 acquires the foreground image, the background area image, the three-dimensional model of the subject, the audio data, and the camera calibration photographed image data from the camera adapter 120 through the networks 180a and 180b and the switching hub 180. Further, the data input control unit 2120 transmits the acquired foreground image and background area image to the data synchronization unit 2130, and transmits the camera calibration photographed image data to the calibration unit 2140.

データ同期部２１３０は、カメラアダプタ１２０から取得したデータをＤＲＡＭ上に一次的に記憶し、前景画像、背景領域画像、音声データ及び三次元モデルデータがそろうまでバッファする。なお、前景画像、背景領域画像、音声データ及び三次元モデルデータをまとめて、以降では撮影データと称する。撮影データにはルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、データ同期部２１３０は、このメタ情報を元にデータの属性を確認する。これにより、データ同期部２１３０は、同一時刻のデータであることなどを判断してデータがそろったことを確認する。これは、ネットワークによって各カメラアダプタ１２０から転送されたデータについて、ネットワークパケットの受信順序は保証されず、ファイル生成に必要なデータがそろうまでバッファする必要があるためである。データがそろったら、データ同期部２１３０は、前景画像及び背景領域画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。 The data synchronization unit 2130 temporarily stores the data acquired from the camera adapter 120 on the DRAM, and buffers the foreground image, the background area image, the audio data, and the three-dimensional model data until they are available. The foreground image, background area image, audio data, and three-dimensional model data are collectively referred to as shooting data hereafter. Meta information such as routing information, time code information (time information), and camera identifier is added to the shooting data, and the data synchronization unit 2130 confirms the data attributes based on this meta information. As a result, the data synchronization unit 2130 determines that the data is at the same time and confirms that the data is complete. This is because the reception order of network packets is not guaranteed for the data transferred from each camera adapter 120 by the network, and it is necessary to buffer the data necessary for file generation. When the data is prepared, the data synchronization unit 2130 transmits the foreground image and the background area image to the image processing unit 2150, the three-dimensional model data to the three-dimensional model coupling unit 2160, and the audio data to the shooting data file generation unit 2180. ..

ＣＡＤデータ記憶部２１３５は、制御部２１１０から受け取ったスタジアム形状を示す三次元データを、ＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、画像結合部２１７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。 The CAD data storage unit 2135 stores the three-dimensional data indicating the stadium shape received from the control unit 2110 in a storage medium such as a DRAM or an HDD or a NAND memory. Then, the stadium shape data saved when the request for the stadium shape data is received is transmitted to the image combining unit 2170.

キャリブレーション部２１４０は、カメラのキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを後述する非撮影データファイル生成部２１８５に送る。また同時に、自身の記憶領域にもカメラパラメータを保持し、後述する三次元モデル結合部２１６０にカメラパラメータ情報を提供する。 The calibration unit 2140 performs a camera calibration operation and sends the camera parameters obtained by the calibration to the non-photographing data file generation unit 2185, which will be described later. At the same time, the camera parameters are also held in its own storage area, and the camera parameter information is provided to the three-dimensional model coupling unit 2160 described later.

画像処理部２１５０は、前景画像や背景領域画像に対して、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合には現像処理、及びカメラのレンズ歪みの補正等の処理を行う。そして、画像処理を行った前景画像は、撮影データファイル生成部２１８０に、背景領域画像は画像結合部２１７０にそれぞれ送信する。 The image processing unit 2150 performs processing such as matching of color and brightness values between cameras, development processing when RAW image data is input, and correction of camera lens distortion with respect to the foreground image and background area image. I do. Then, the foreground image that has undergone image processing is transmitted to the shooting data file generation unit 2180, and the background area image is transmitted to the image combination unit 2170.

三次元モデル結合部２１６０は、カメラアダプタ１２０から取得した同一時刻の三次元モデルデータをキャリブレーション部２１４０が生成したカメラパラメータを用いて結合する。そして、例えば、ＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。生成した三次元モデルは撮影データファイル生成部２１８０に送信される。 The three-dimensional model coupling unit 2160 combines the three-dimensional model data acquired from the camera adapter 120 at the same time using the camera parameters generated by the calibration unit 2140. Then, for example, a method called VisualHull is used to generate three-dimensional model data of the foreground image of the entire stadium. The generated three-dimensional model is transmitted to the shooting data file generation unit 2180.

伝送領域記憶部２２００は、データベース２５０内の伝送領域情報記憶部４０２から伝送領域情報を読み出し、記憶しておく。 The transmission area storage unit 2200 reads and stores the transmission area information from the transmission area information storage unit 402 in the database 250.

画像結合部２１７０は、画像処理部２１５０から背景領域画像を取得し、また、伝送領域記憶部２２００から関係する伝送領域情報を取得する。さらに、画像結合部２１７０は、ＣＡＤデータ記憶部２１３５から背景構造情報であるスタジアムの三次元形状データ（スタジアム形状データ）を取得し、取得したスタジアムの三次元形状データの座標に対する背景領域画像の位置を特定する。背景領域画像の各々についてスタジアムの三次元形状データの座標に対する位置が特定できると、伝送領域情報に基づいて、背景領域画像を結合して１つの背景画像とする。なお、本背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。 The image combining unit 2170 acquires a background area image from the image processing unit 2150, and also acquires related transmission area information from the transmission area storage unit 2200. Further, the image combining unit 2170 acquires the three-dimensional shape data (stadium shape data) of the stadium, which is the background structure information, from the CAD data storage unit 2135, and the position of the background area image with respect to the coordinates of the acquired three-dimensional shape data of the stadium. To identify. When the position of each of the background area images with respect to the coordinates of the three-dimensional shape data of the stadium can be specified, the background area images are combined into one background image based on the transmission area information. The back-end server 270 may perform the creation of the three-dimensional shape data of the background image.

撮影データファイル生成部２１８０は、データ同期部２１３０から音声データを、画像処理部２１５０から前景画像を、三次元モデル結合部２１６０から三次元モデルデータを、画像結合部２１７０から三次元形状に結合された背景画像を取得する。そして、取得したこれらのデータをＤＢアクセス制御部２１９０に対して出力する。ここで、撮影データファイル生成部２１８０は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。ただし、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部２１８０は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。また例えば、撮影データファイル生成部２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて撮影データとして出力する。 The shooting data file generation unit 2180 combines audio data from the data synchronization unit 2130, a foreground image from the image processing unit 2150, three-dimensional model data from the three-dimensional model coupling unit 2160, and three-dimensional shape from the image coupling unit 2170. Get the background image. Then, these acquired data are output to the DB access control unit 2190. Here, the shooting data file generation unit 2180 outputs these data in association with each other based on the respective time information. However, some of these data may be associated and output. For example, the shooting data file generation unit 2180 outputs the foreground image and the background image in association with each other based on the time information of the foreground image and the time information of the background image. Further, for example, the shooting data file generation unit 2180 associates the foreground image, the background image, and the three-dimensional model data with each other based on the time information of the foreground image, the time information of the background image, and the time information of the three-dimensional model data. Output as shooting data.

非撮影データファイル生成部２１８５は、キャリブレーション部２１４０からカメラパラメータ、制御部２１１０からスタジアムの三次元形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２１９０に送信する。 The non-photographing data file generation unit 2185 acquires camera parameters from the calibration unit 2140 and three-dimensional shape data of the stadium from the control unit 2110, shapes the data according to the file format, and then transmits the data to the DB access control unit 2190.

ＤＢアクセス制御部２１９０は、ＩｎｆｉｎｉＢａｎｄなどにより高速な通信が可能となるようにデータベース２５０と接続される。そして、撮影データファイル生成部２１８０及び非撮影データファイル生成部２１８５から受信したファイルをデータベース２５０に対して送信する。本実施形態では、撮影データファイル生成部２１８０が時間情報に基づいて対応付けた撮影データは、フロントエンドサーバ２３０とネットワークを介して接続される記憶装置であるデータベース２５０へＤＢアクセス制御部２１９０を介して出力される。ただし、対応付けられた撮影データの出力先はこれに限らない。例えば、フロントエンドサーバ２３０は、時間情報に基づいて対応付けられた撮影データを、フロントエンドサーバ２３０とネットワークを介して接続され仮想視点画像を生成する画像生成装置であるバックエンドサーバ２７０に出力してもよい。また、データベース２５０とバックエンドサーバ２７０の両方に出力してもよい。 The DB access control unit 2190 is connected to the database 250 so that high-speed communication is possible by InfiniBand or the like. Then, the files received from the shooting data file generation unit 2180 and the non-shooting data file generation unit 2185 are transmitted to the database 250. In the present embodiment, the shooting data associated with the shooting data file generation unit 2180 based on the time information is sent to the database 250, which is a storage device connected to the front-end server 230 via the network, via the DB access control unit 2190. Is output. However, the output destination of the associated shooting data is not limited to this. For example, the front-end server 230 outputs the shooting data associated based on the time information to the back-end server 270, which is an image generation device that is connected to the front-end server 230 via a network and generates a virtual viewpoint image. You may. Further, it may be output to both the database 250 and the back end server 270.

＜伝送領域算出部４０１の説明＞
図５は、伝送領域算出部４０１の機能構成を説明するためのブロック図である。伝送領域算出部４０１は、カメラ順設定部２４０１と、画角算出部２４０２と、背景範囲算出部２４０３と、伝送領域決定部２４０４と、伝送領域保持部２４０５とを含む。 <Explanation of transmission area calculation unit 401>
FIG. 5 is a block diagram for explaining the functional configuration of the transmission area calculation unit 401. The transmission area calculation unit 401 includes a camera order setting unit 2401, an angle of view calculation unit 2402, a background range calculation unit 2403, a transmission area determination unit 2404, and a transmission area holding unit 2405.

カメラ順設定部２４０１は、カメラ配置記憶部４００から各カメラ１１２の配置情報を取得する。カメラ順設定部２４０１は、各カメラ１１２のカメラ配置情報からスイッチングハブ１８０に最も近いカメラを選択し、最初に背景領域画像を伝送するカメラとして設定する。そして、デイジーチェーン接続の順に、以下に説明するように、そのカメラの背景画像について伝送する伝送領域を決める。ただし、最初に背景領域画像を伝送するカメラの選択についてはこれに限定されず、スタジアムの正面スタンド中央に最も近いカメラを選択してもよく、一意に決定されていれば構わない。 The camera order setting unit 2401 acquires the arrangement information of each camera 112 from the camera arrangement storage unit 400. The camera order setting unit 2401 selects the camera closest to the switching hub 180 from the camera arrangement information of each camera 112, and first sets the camera as the camera to transmit the background area image. Then, in the order of daisy chain connection, the transmission area to be transmitted for the background image of the camera is determined as described below. However, the selection of the camera that first transmits the background area image is not limited to this, and the camera closest to the center of the front stand of the stadium may be selected and may be uniquely determined.

画角算出部２４０２は、カメラ配置記憶部４００から各カメラ１１２のカメラ配置情報を取得し、伝送領域を決定するカメラの姿勢、焦点距離に基づいて画角を算出する。 The angle of view calculation unit 2402 acquires the camera arrangement information of each camera 112 from the camera arrangement storage unit 400, and calculates the angle of view based on the posture and focal length of the cameras that determine the transmission area.

背景範囲算出部２４０３は、算出された画角から、背景画像として撮影される範囲（以下、背景範囲と記載する。）を算出する。なお、背景範囲は、各カメラ１１２が撮影する撮影範囲と一致する。 The background range calculation unit 2403 calculates a range to be captured as a background image (hereinafter, referred to as a background range) from the calculated angle of view. The background range coincides with the shooting range shot by each camera 112.

伝送領域決定部２４０４は、後述する伝送領域保持部２４０５から、当該カメラより以前に伝送された伝送領域を読み出し、当該カメラの背景範囲との重なりを検出する。そして、背景範囲からその重なりを除いた部分を当該カメラの伝送領域として決定する。 The transmission area determination unit 2404 reads out the transmission area transmitted before the camera from the transmission area holding unit 2405 described later, and detects the overlap with the background range of the camera. Then, the portion of the background range excluding the overlap is determined as the transmission area of the camera.

伝送領域保持部２４０５は決定された伝送領域をカメラ１１２毎に保持しておく。また、伝送領域保持部２４０５は、決定された伝送領域を示す伝送領域情報を伝送領域情報記憶部４０２及びスイッチングハブ１８０を経由してカメラアダプタ１２０へ送る。 The transmission area holding unit 2405 holds the determined transmission area for each camera 112. Further, the transmission area holding unit 2405 sends the transmission area information indicating the determined transmission area to the camera adapter 120 via the transmission area information storage unit 402 and the switching hub 180.

次に、図６から図１０を用いて、上記動作の手順を説明する。 Next, the procedure of the above operation will be described with reference to FIGS. 6 to 10.

図６は、決定の方法を記したフローチャートである。なお、以下で説明する処理は、特に明示が無い場合、コントローラ３００の制御により実現される。すなわち、コントローラ３００が画像処理システム１００内の他の装置（例えば、フロントエンドサーバ２３０やデータベース２５０等）を制御することにより、制御が実現される。 FIG. 6 is a flowchart showing the determination method. Unless otherwise specified, the processing described below is realized by the control of the controller 300. That is, the control is realized by the controller 300 controlling other devices (for example, the front-end server 230, the database 250, etc.) in the image processing system 100.

図７は、センサシステムの配置の一例を示す図であり、図８～図１０は、図７のセンサシステムにおけるカメラの伝送領域決定の算出手順を示す図である。図７～図１０では、競技場を囲むようにセンサシステム１０００－１～１００２－６のカメラ１１２（以下、カメラ１０００－１～１００２－６と記載する場合もある。）が配置されている。カメラ１０００－１から１０００－８は、注視点１０００について撮影している。同様に、カメラ１００１，１００２は、それぞれ注視点１００１，１００２について撮影している。また、それぞれのセンサシステムは、カスケード接続されているものとする。右回りに順に配置されるセンサシステム１０００－１，１００１－１，１００２－１，...，１００２－６は、例えば、図１のセンサシステム１１０ａ，１１０ｂ，１１０ｃ，...，１１０ｔに該当し、スイッチングハブ１８０に接続されている。なお、本実施形態では説明を簡易にするために、全てのカメラは同じ高さに設置されるものとし、そのレンズの焦点距離も同じに設定されているとする。 FIG. 7 is a diagram showing an example of the arrangement of the sensor system, and FIGS. 8 to 10 are diagrams showing a calculation procedure for determining the transmission area of the camera in the sensor system of FIG. 7. In FIGS. 7 to 10, cameras 112 of the sensor systems 1000-1 to 1002-6 (hereinafter, may be referred to as cameras 1000-1 to 1002-6) are arranged so as to surround the stadium. Cameras 1000-1 to 1000-8 are photographing the gaze point 1000. Similarly, the cameras 1001 and 1002 photograph the gazing points 1001 and 1002, respectively. Further, it is assumed that each sensor system is cascaded. The sensor systems 1000-1, 1001-1, 1002-1, ..., 1002-6 arranged in order clockwise correspond to, for example, the sensor systems 110a, 110b, 110c, ..., 110t in FIG. It is connected to the switching hub 180. In this embodiment, for the sake of simplicity, it is assumed that all the cameras are installed at the same height, and the focal lengths of the lenses are also set to be the same.

図６に戻って、ステップＳ６０１において、カメラ順設定部２４０１は、配置されたセンサシステムから、伝送領域を決定するカメラを選択する。例えば、図７のカメラ１０００－１が最初に選択される。また、伝送領域保持部２４０５が保持する伝送領域は、最初は空である。 Returning to FIG. 6, in step S601, the camera order setting unit 2401 selects a camera for determining the transmission region from the arranged sensor systems. For example, the camera 1000-1 of FIG. 7 is selected first. Further, the transmission area held by the transmission area holding unit 2405 is initially empty.

ステップＳ６０２において、画角算出部２４０２は、カメラ１１２の焦点距離等から画角を算出する。例えば、焦点距離７０ｍｍであれば、画角は水平２９度、垂直は１９度３０分と決まる。 In step S602, the angle of view calculation unit 2402 calculates the angle of view from the focal length of the camera 112 and the like. For example, if the focal length is 70 mm, the angle of view is determined to be 29 degrees horizontally and 19 degrees 30 minutes vertically.

ステップＳ６０３において、背景範囲算出部２４０３は、カメラ１１２の位置、姿勢等と画角算出部２４０２が算出した画角から、カメラ１１２の背景範囲を算出する。図８において、カメラ１００１－１の背景範囲１０００－１ａが算出されている。 In step S603, the background range calculation unit 2403 calculates the background range of the camera 112 from the position, posture, etc. of the camera 112 and the angle of view calculated by the angle of view calculation unit 2402. In FIG. 8, the background range 1000-1a of the camera 1001-1 is calculated.

図６に戻って、ステップＳ６０４において、伝送領域決定部２４０４は、背景範囲１０００－１ａと、それ以前に伝送された伝送領域との重なりを検出する。図８において、カメラ１０００－１は、最初に伝送領域が決定されるカメラであり、伝送領域保持部２４０５の保持する伝送領域は、上述したように空であるので、背景範囲１０００－１ａとの重なりは検出されない。 Returning to FIG. 6, in step S604, the transmission area determination unit 2404 detects the overlap between the background range 1000-1a and the transmission area transmitted before that. In FIG. 8, the camera 1000-1 is a camera whose transmission area is first determined, and the transmission area held by the transmission area holding unit 2405 is empty as described above, so that the camera 1000-1 has a background range of 1000-1a. No overlap is detected.

図６に戻って、ステップＳ６０５において、伝送領域決定部２４０４は、背景範囲からステップＳ６０４で検出された重なりを除去して伝送領域を決定する。カメラ１０００－１については、上述のように重なりは検出されないので、その背景範囲１０００－１ａの全てが伝送領域として決定される。 Returning to FIG. 6, in step S605, the transmission area determination unit 2404 determines the transmission area by removing the overlap detected in step S604 from the background range. As for the camera 1000-1, the overlap is not detected as described above, so that the entire background range 1000-1a is determined as the transmission region.

ステップＳ６０６において、伝送領域保持部２４０５では、ステップＳ６０５で決定された伝送領域を保持する。 In step S606, the transmission area holding unit 2405 holds the transmission area determined in step S605.

ステップＳ６０７において、カメラ順設定部２４０１は、全カメラの伝送領域を決定したかを判断する。全カメラの伝送領域が決定している場合（ステップＳ６０７において、ＹＥＳ）、本処理を終了する。そうでない場合（ステップＳ６０７において、ＮＯ）、ステップＳ６０１に戻り、伝送順に次のカメラの伝送領域の決定を行う。ここでは、カメラ１０００－１の右隣のカメラ１００１－１についての伝送領域を決定する。 In step S607, the camera order setting unit 2401 determines whether the transmission areas of all the cameras have been determined. When the transmission areas of all the cameras have been determined (YES in step S607), this process ends. If not (NO in step S607), the process returns to step S601 to determine the transmission area of the next camera in the order of transmission. Here, the transmission area for the camera 1001-1 to the right of the camera 1000-1 is determined.

ステップＳ６０１に戻り、カメラ順設定部２４０１は、カメラ１００１－１を選択する。ステップＳ６０２、ステップＳ６０３にて、当該カメラの背景範囲を算出する。図９にその様子を示す。カメラ１００１－１の撮影する背景範囲１００１－１ｒ（点線にて示す）が算出される。 Returning to step S601, the camera order setting unit 2401 selects the camera 1001-1. In step S602 and step S603, the background range of the camera is calculated. FIG. 9 shows the situation. The background range 1001-1r (indicated by the dotted line) to be photographed by the camera 1001-1 is calculated.

ステップＳ６０４において、伝送領域決定部２４０４は、背景範囲１００１－１ｒと、それ以前に伝送された伝送領域との重なりを検出する。ここでは、伝送領域１０００－１ａとの重なりを検出する。図９において、領域１００１－１ｐがその重なりに該当する。 In step S604, the transmission area determination unit 2404 detects the overlap between the background range 1001-1r and the transmission area transmitted before that. Here, the overlap with the transmission area 1000-1a is detected. In FIG. 9, the region 1001-1p corresponds to the overlap.

図６に戻って、ステップＳ６０５において、伝送領域決定部２４０４は、背景範囲からその重なりを除去して伝送領域を決定する。ここでは、背景範囲１００１－１ｒから領域１００１－１ｐが除去された領域１００１－１ａ及び領域１００１－１ｂが、カメラ１００１－１の伝送領域として決定される。 Returning to FIG. 6, in step S605, the transmission area determination unit 2404 determines the transmission area by removing the overlap from the background range. Here, the region 1001-1a and the region 1001-1b in which the region 1001-1p is removed from the background range 1001-1r are determined as the transmission regions of the camera 1001-1.

ステップＳ６０６において、伝送領域保持部２４０５は、新たに決定された伝送領域を保持する。すなわち、伝送領域保持部２４０５は、新たに決定された領域１００１－１ａ，１００１－１ｂ及び、すでに記憶していた領域１０００－１ａを保持する。 In step S606, the transmission area holding unit 2405 holds the newly determined transmission area. That is, the transmission area holding unit 2405 holds the newly determined areas 1001-1a and 1001-1b and the already stored areas 1000-1a.

ステップＳ６０７において、カメラ順設定部２４０１は、全カメラの伝送領域を決定したかを判断する。全てを決定していない場合（ステップＳ６０７において、ＮＯ）、ステップＳ６０１からステップＳ６０６を繰り返す。この場合、次にカメラ１００２－１が選択される。図１０に、カメラ１００１－１からカメラ１００２－６まで処理を行った結果、伝送領域保持部２４０５が保持している伝送領域を示す。このように、各カメラの伝送される背景範囲が重ならないように伝送領域が決定される。そして、これらの伝送領域に従って背景領域画像が生成されるように、伝送領域算出部４０１は、スイッチングハブ１８０を介して各センサシステムのカメラアダプタ１２０に、伝送領域を示す伝送領域情報を通知する。 In step S607, the camera order setting unit 2401 determines whether the transmission areas of all the cameras have been determined. If not all have been determined (NO in step S607), steps S601 to S606 are repeated. In this case, the camera 1002-1 is then selected. FIG. 10 shows a transmission area held by the transmission area holding unit 2405 as a result of processing from the camera 1001-1 to the camera 1002-6. In this way, the transmission area is determined so that the transmission background ranges of the cameras do not overlap. Then, the transmission area calculation unit 401 notifies the camera adapter 120 of each sensor system of the transmission area information indicating the transmission area via the switching hub 180 so that the background area image is generated according to these transmission areas.

図１１は、背景画像を示す図である。図１１において、背景画像１１０５は、画像１１０１からなる背景領域画像と、画像１１０２及び１１０３からなる背景領域画像とを結合して構成される。画像１１０１からなる背景領域画像は、例えば、カメラ１１２ａの背景画像のうち、カメラ１１２ａについて決定された伝送領域に対応する画像である。また、画像１１０２及び１１０３からなる背景領域画像は、例えば、カメラ１１２ｂの背景画像のうち、カメラ１１２ｂについて決定された伝送領域に対応する画像である。 FIG. 11 is a diagram showing a background image. In FIG. 11, the background image 1105 is configured by combining a background area image composed of the image 1101 and a background area image composed of the images 1102 and 1103. The background area image composed of the image 1101 is, for example, an image corresponding to the transmission area determined for the camera 112a among the background images of the camera 112a. The background area image composed of the images 1102 and 1103 is, for example, an image corresponding to the transmission area determined for the camera 112b among the background images of the camera 112b.

各カメラには、伝送領域算出部４０１から、伝送領域情報が入力される。伝送領域情報は、例えば、伝送領域の数とそれぞれの伝送領域の形状、位置である。伝送領域の形状は、その外接矩形を設定し、その大きさとの内側を１、外側を０とする２値画像とすることで実現される。伝送領域の位置は、当該外接矩形の左上の座標として表すことも可能である。なお、伝送領域情報はこれに限定されず、輪郭をチェイン符号化等で表現することも可能である。このような伝送領域情報に基づいて、背景領域画像は生成される。 Transmission area information is input to each camera from the transmission area calculation unit 401. The transmission area information is, for example, the number of transmission areas and the shape and position of each transmission area. The shape of the transmission region is realized by setting the circumscribed rectangle and making it a binary image in which the inside with the size is 1 and the outside is 0. The position of the transmission region can also be expressed as the upper left coordinates of the circumscribed rectangle. The transmission area information is not limited to this, and the contour can be expressed by chain coding or the like. The background area image is generated based on such transmission area information.

＜ハードウェア構成＞
続いて、本実施形態を構成する各装置のハードウェア構成について説明する。 <Hardware configuration>
Subsequently, the hardware configuration of each device constituting the present embodiment will be described.

図１２は、カメラアダプタ１２０のハードウェア構成を示すブロック図である。 FIG. 12 is a block diagram showing a hardware configuration of the camera adapter 120.

カメラアダプタ１２０は、ＣＰＵ１２０１と、ＲＯＭ１２０２と、ＲＡＭ１２０３と、補助記憶装置１２０４と、表示部１２０５と、操作部１２０６と、通信部１２０７と、バス１２０８とを含む。 The camera adapter 120 includes a CPU 1201, a ROM 1202, a RAM 1203, an auxiliary storage device 1204, a display unit 1205, an operation unit 1206, a communication unit 1207, and a bus 1208.

ＣＰＵ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信部１２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。 The CPU 1201 controls the entire camera adapter 120 by using computer programs and data stored in the ROM 1202 and the RAM 1203. The ROM 1202 stores programs and parameters that do not need to be changed. The RAM 1203 temporarily stores programs and data supplied from the auxiliary storage device 1204, data supplied from the outside via the communication unit 1207, and the like. The auxiliary storage device 1204 is composed of, for example, a hard disk drive or the like, and stores content data such as still images and moving images.

表示部１２０５は、例えば、液晶ディスプレイ等で構成され、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１２０６は、例えば、キーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２０１に入力する。通信部１２０７は、カメラ１１２やフロントエンドサーバ２３０などの外部の装置と通信を行う。バス１２０８は、カメラアダプタ１２０の各部を繋いで情報を伝達する。 The display unit 1205 is composed of, for example, a liquid crystal display or the like, and displays a GUI (Graphical User Interface) for the user to operate the camera adapter 120 or the like. The operation unit 1206 is composed of, for example, a keyboard, a mouse, or the like, and inputs various instructions to the CPU 1201 in response to an operation by the user. The communication unit 1207 communicates with an external device such as the camera 112 or the front-end server 230. Bus 1208 connects each part of the camera adapter 120 to transmit information.

なお、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０などの装置も、図１２のハードウェア構成となりうる。また、上述した各装置の機能は、ＣＰＵなどを用いてソフトウェア処理によって実現してもよい。 Devices such as the front-end server 230, the database 250, the back-end server 270, the control station 310, the virtual camera operation UI 330, and the end-user terminal 190 may also have the hardware configuration shown in FIG. Further, the functions of the above-mentioned devices may be realized by software processing using a CPU or the like.

以上において説明した構成及び動作（画像伝送）により、注視点に関連して、複数のカメラから画像を伝送する際に、背景範囲の重なりを除去し、伝送する画像の情報量を抑えることで、安価なネットワークで高精細な画像の伝送が可能になる。 By the configuration and operation (image transmission) described above, when transmitting an image from a plurality of cameras in relation to the gazing point, the overlap of the background range is removed and the amount of information of the transmitted image is suppressed. High-definition image transmission becomes possible with an inexpensive network.

なお、上述の実施形態では、伝送領域情報記憶部４０２をデータベース２５０の内部に設置して説明したが、これに限定されない。例えば、独立した記憶部であっても構わないし、制御ステーション３１０や伝送領域算出部４０１の内部にあってももちろん構わない。 In the above-described embodiment, the transmission area information storage unit 402 is installed inside the database 250 and described, but the present invention is not limited to this. For example, it may be an independent storage unit, or may be inside the control station 310 or the transmission area calculation unit 401.

また、上述の実施形態は、画像処理システム１００が競技場やコンサートホールなどの施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウスなどがある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであっても良い。また、本実施形態における施設は、一時的に（期間限定で）建設される施設も含む。 Further, the above-described embodiment has been described focusing on an example in which the image processing system 100 is installed in a facility such as a stadium or a concert hall. Other examples of facilities include, for example, amusement parks, parks, racetracks, keirin racetracks, casinos, pools, skate rinks, ski resorts, live houses and the like. In addition, the events held at various facilities may be held indoors or outdoors. The facilities in this embodiment also include facilities that are temporarily constructed (for a limited time).

＜実施の形態２＞
以下に、実施の形態２として、実施の形態１とは異なる伝送領域の決定処理について説明する。ここでは、撮影対象である競技場（スタジアム）の三次元形状データ（スタジアム形状データ）を用いて、伝送領域を決定する。 <Embodiment 2>
Hereinafter, as the second embodiment, a process for determining a transmission region different from that of the first embodiment will be described. Here, the transmission area is determined using the three-dimensional shape data (stadium shape data) of the stadium (stadium) to be photographed.

図１３は、実施の形態２に係る伝送領域算出部１４０１の機能ブロック図である。同図において、図５と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。伝送領域算出部１４０１は、画角算出部２４０２と、背景範囲算出部１２４０３と、伝送領域決定部２４０４と、伝送領域保持部２４０５と、スタジアム形状データ部２４１０とを含む。 FIG. 13 is a functional block diagram of the transmission area calculation unit 1401 according to the second embodiment. In the figure, the blocks having the same functions as those in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted. The transmission area calculation unit 1401 includes an angle of view calculation unit 2402, a background range calculation unit 12403, a transmission area determination unit 2404, a transmission area holding unit 2405, and a stadium shape data unit 2410.

スタジアム形状データ部２４１０は、制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、格納する。背景範囲算出部１２４０３は、画角算出部２４０２で算出された画角と、スタジアム形状データ部２４１０からのスタジアム形状データから、背景画像として撮影される背景範囲を算出する。 The stadium shape data unit 2410 acquires and stores stadium CAD data (stadium shape data) from the control station 310. The background range calculation unit 12403 calculates the background range to be captured as a background image from the angle of view calculated by the angle of view calculation unit 2402 and the stadium shape data from the stadium shape data unit 2410.

図１４は、競技場の構造を模式的に表した図である。グラウンド３０００と観客席３００２の間に壁３００１が存在する。このため、カメラから取得する背景範囲は台形ではなく、観客席の角度などによって形状が変化する。 FIG. 14 is a diagram schematically showing the structure of the stadium. There is a wall 3001 between the ground 3000 and the spectators' seats 3002. Therefore, the background range acquired from the camera is not trapezoidal, but the shape changes depending on the angle of the audience seats and the like.

図１５は、背景画像を示す図である。図１５において、背景画像１５００は、画像１５０１からなる背景領域画像と、画像１５０２及び１５０３からなる背景領域画像とから構成される。壁３００１と観客席３００２とは、その傾きがグラウンド３０００と異なるため、画像１５０２は、図１１の画像１１０２と比較すると、形状が変化している。 FIG. 15 is a diagram showing a background image. In FIG. 15, the background image 1500 is composed of a background area image composed of the image 1501 and a background area image composed of the images 1502 and 1503. Since the inclination of the wall 3001 and the audience seat 3002 is different from that of the ground 3000, the shape of the image 1502 is different from that of the image 1102 of FIG.

図１６は、背景範囲を示す図である。スタジアム形状データを考慮しない場合、背景範囲は、点線で囲まれた領域７００２であるが、これを考慮することによって、その背景範囲は領域７００１となる。 FIG. 16 is a diagram showing a background range. When the stadium shape data is not taken into consideration, the background range is the area 7002 surrounded by the dotted line, but by taking this into consideration, the background range becomes the area 7001.

このように、スタジアム形状データを考慮しないで伝送領域を算出する場合は、領域７００１と領域７００２の差をカバーするために、２重に伝送される部分が生じる。しかしながら、スタジアム形状を考慮することで、当該部分の重複を防ぐことができる。 As described above, when the transmission area is calculated without considering the stadium shape data, a portion to be transmitted twice is generated in order to cover the difference between the area 7001 and the area 7002. However, by considering the shape of the stadium, it is possible to prevent duplication of the relevant parts.

以上において説明した構成及び動作により、背景画像の伝送時に注視点に関連して、競技場（スタジアム）の三次元形状データを用いることで、より正確な伝送領域の決定ができ、さらに伝送時のデータ量を減らすことが可能になる。 With the configuration and operation described above, the transmission area can be determined more accurately by using the three-dimensional shape data of the stadium (stadium) in relation to the gazing point when transmitting the background image, and further during transmission. It is possible to reduce the amount of data.

＜実施の形態３＞
図１７は、実施の形態３に係る画像処理システム１００の構成図である。同図において、図１と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。実施の形態３に係る伝送領域算出部２４０１は、制御ステーション３１０と信号線３１０ｅを介して接続され、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける点が、実施の形態１と異なる。 <Embodiment 3>
FIG. 17 is a configuration diagram of the image processing system 100 according to the third embodiment. In the figure, the blocks having the same functions as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted. The transmission area calculation unit 2401 according to the third embodiment is different from the first embodiment in that the transmission area calculation unit 2401 is connected to the control station 310 via the signal line 310e and receives the designation of the virtual viewpoint from the virtual camera operation UI 330.

図１８は、伝送領域算出部２４０１の機能ブロック図である。図１８において、図５と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。 FIG. 18 is a functional block diagram of the transmission area calculation unit 2401. In FIG. 18, blocks having the same functions as those in FIG. 5 are designated by the same reference numerals, and description thereof will be omitted.

カメラ順設定部１２４０１、仮想カメラ撮影範囲算出部１２４１０、および伝送領域決定部１２４０４は、制御ステーション３１０からカメラの数（Ｎ：自然数）を取得する。伝送領域決定部１２４０４は、後述する仮想カメラ撮影範囲算出部１２４１０により算出された仮想カメラの撮影範囲（以下、仮想撮影範囲と記載する場合がある。）に基づいて、各カメラの伝送領域を決定する。 The camera order setting unit 12401, the virtual camera shooting range calculation unit 12410, and the transmission area determination unit 12404 acquire the number of cameras (N: natural number) from the control station 310. The transmission area determination unit 12404 determines the transmission area of each camera based on the shooting range of the virtual camera (hereinafter, may be referred to as a virtual shooting range) calculated by the virtual camera shooting range calculation unit 12410 described later. do.

仮想カメラ撮影範囲算出部１２４１０は、制御ステーション３１０から、仮想カメラの位置、方向、画角を取得する。そして、仮想カメラの撮影範囲を算出する。 The virtual camera shooting range calculation unit 12410 acquires the position, direction, and angle of view of the virtual camera from the control station 310. Then, the shooting range of the virtual camera is calculated.

図１９から図２４を用いて、伝送領域算出部２４０１の動作を説明する。 The operation of the transmission area calculation unit 2401 will be described with reference to FIGS. 19 to 24.

図１９は、伝送領域算出部２４０１の決定の方法を記したフローチャートである。なお、以下で説明する処理は、特に明示が無い場合、コントローラ３００の制御により実現される。すなわち、コントローラ３００が画像処理システム１００内の他の装置（例えば、フロントエンドサーバ２３０やデータベース２５０等）を制御することにより、制御が実現される。 FIG. 19 is a flowchart showing a method of determining the transmission area calculation unit 2401. Unless otherwise specified, the processing described below is realized by the control of the controller 300. That is, the control is realized by the controller 300 controlling other devices (for example, the front-end server 230, the database 250, etc.) in the image processing system 100.

図２０は、仮想カメラの撮影範囲を示す図であり、図２１から図２４は、図２０のセンサシステムにおける仮想カメラ１１００の仮想視点画像生成のための伝送領域決定の算出手順を示す図である。なお、図２０におけるセンサシステムは、図７において説明したセンサシステムと同様のものである。 FIG. 20 is a diagram showing a shooting range of the virtual camera, and FIGS. 21 to 24 are diagrams showing a calculation procedure for determining a transmission area for generating a virtual viewpoint image of the virtual camera 1100 in the sensor system of FIG. 20. .. The sensor system in FIG. 20 is the same as the sensor system described in FIG. 7.

図１９に戻って、ステップＳ１９０１において、カメラ順設定部１２４０１、仮想カメラ撮影範囲算出部１２４１０、および伝送領域決定部１２４０４は、制御ステーション３１０から、配置されているカメラの数（Ｎ）を取得する。 Returning to FIG. 19, in step S1901, the camera order setting unit 12401, the virtual camera shooting range calculation unit 12410, and the transmission area determination unit 12404 acquire the number (N) of the arranged cameras from the control station 310. ..

ステップＳ１９０２において、仮想カメラ撮影範囲算出部１２４１０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付ける。受け付けられた視点に基づいて、仮想カメラの位置、方向、画角を設定し、仮想撮影範囲を決定する。図２０を参照すると、仮想カメラ撮影範囲算出部１２４１０は、仮想カメラ１１００の位置、方向、画角から、仮想撮影範囲１１０１を算出する。なお、仮想撮影範囲１１０１の算出にあたっては、実施の形態２に記載したように、三次元形状データを用いて撮影範囲を算出しても構わない。 In step S1902, the virtual camera shooting range calculation unit 12410 receives the designation of the viewpoint from the virtual camera operation UI 330. Based on the received viewpoint, the position, direction, and angle of view of the virtual camera are set, and the virtual shooting range is determined. With reference to FIG. 20, the virtual camera shooting range calculation unit 12410 calculates the virtual shooting range 1101 from the position, direction, and angle of view of the virtual camera 1100. In calculating the virtual shooting range 1101, the shooting range may be calculated using the three-dimensional shape data as described in the second embodiment.

図１９に戻って、ステップＳ１９０３において、カメラ順設定部１２４０１は、仮想撮影範囲をカバーする（背景範囲が重なる）カメラのうち、仮想カメラに最も近いカメラを選択する。図２１を参照すると、カメラ順設定部１２４０１は、仮想カメラ１１００の位置とカメラ配置記憶部４００から入力された各カメラの配置情報に基づいて、伝送領域を決定するカメラを選択する。すなわち、仮想撮影範囲１１０１をカバーするカメラのうち、仮想カメラ１１００に最も近い位置にあるカメラ１００１－５を選択する。 Returning to FIG. 19, in step S1903, the camera order setting unit 12401 selects the camera closest to the virtual camera from the cameras covering the virtual shooting range (overlapping background ranges). Referring to FIG. 21, the camera order setting unit 12401 selects a camera that determines a transmission area based on the position of the virtual camera 1100 and the arrangement information of each camera input from the camera arrangement storage unit 400. That is, among the cameras covering the virtual shooting range 1101, the camera 1001-5 closest to the virtual camera 1100 is selected.

図１９に戻って、ステップＳ１９０４において、画角算出部２４０２は、カメラの画角を算出する。次いで、ステップＳ１９０５において、背景範囲算出部２４０３は、背景範囲を算出する。 Returning to FIG. 19, in step S1904, the angle of view calculation unit 2402 calculates the angle of view of the camera. Next, in step S1905, the background range calculation unit 2403 calculates the background range.

ステップＳ１９０６において、伝送領域決定部１２４０４は、カメラの数Ｎと閾値Ｔｈを比較する。カメラの数Ｎが閾値Ｔｈよりも大きい場合（ステップＳ１９０６において、Ｙｅｓ）、処理はステップＳ１９０７に進む。そうでない場合（ステップＳ１９０６において、Ｎｏ）、処理はステップＳ１９０８に進む。なお、閾値Ｔｈは、各カメラの背景範囲が重ならないよう配置されている場合の最大カメラ数を表す。カメラ数が閾値Ｔｈ以下のときは、各カメラの背景範囲は重ならない。また、各カメラの背景範囲が重なるように配置されている場合であっても、重なった背景範囲の伝送量がシステムにおいて許容できるデータ量であるときのカメラの台数を閾値Ｔｈとしてもよい。 In step S1906, the transmission area determination unit 12404 compares the number N of cameras with the threshold Th. If the number N of cameras is greater than the threshold Th (Yes in step S1906), the process proceeds to step S1907. If not (No in step S1906), the process proceeds to step S1908. The threshold Th represents the maximum number of cameras when the background ranges of the cameras are arranged so as not to overlap. When the number of cameras is equal to or less than the threshold value Th, the background ranges of the cameras do not overlap. Further, even when the background ranges of the cameras are arranged so as to overlap each other, the number of cameras may be set as the threshold value Th when the transmission amount of the overlapping background ranges is an amount of data that can be tolerated in the system.

ステップＳ１９０７において、伝送領域決定部１２４０４は、算出された背景範囲と、それ以前に伝送された伝送領域との重なりを検出する。図２１の場合、センサシステム１００１－５のカメラは、最初に伝送領域が決定されるカメラであり、その背景範囲１０００－５１ａでは重なりは検出されない。 In step S1907, the transmission area determination unit 12404 detects the overlap between the calculated background range and the transmission area transmitted before that. In the case of FIG. 21, the camera of the sensor system 1001-5 is the camera whose transmission region is determined first, and the overlap is not detected in the background range 1000-51a.

図１９に戻って、ステップＳ１９０８において、伝送領域決定部１２４０４は背景範囲から、ステップＳ１９０７で検出された重なりを除去して伝送領域を決定する。ステップＳ１９０６からステップＳ１９０８に進んだ場合は、背景範囲の全てが伝送領域となる。図２１において、最初に選択されたカメラ１００１－５は、以前に伝送された伝送領域と重なりが検出されないので、その背景範囲１０００－５１ａの全てが伝送領域として決定される。 Returning to FIG. 19, in step S1908, the transmission area determination unit 12404 determines the transmission area by removing the overlap detected in step S1907 from the background range. When the process proceeds from step S1906 to step S1908, the entire background range becomes the transmission area. In FIG. 21, the first selected camera 1001-5 does not detect an overlap with the previously transmitted transmission region, so that the entire background range 1000-51a is determined as the transmission region.

図１９に戻って、ステップＳ１９０９において、伝送領域保持部２４０５では、ステップＳ１９０８で決定された伝送領域を保持する。 Returning to FIG. 19, in step S1909, the transmission area holding unit 2405 holds the transmission area determined in step S1908.

ステップＳ１９１０において、カメラ順設定部１２４０１は、全カメラの伝送領域を決定したかを判断する。全カメラの伝送領域が決定している場合（ステップＳ１９１０において、ＹＥＳ）、本処理を終了する。そうでない場合（ステップＳ１９１０において、ＮＯ）、ステップＳ１９０３に戻り、次のカメラを選択する。図２２を参照すると、カメラ１００１－５の次に仮想カメラ１１００に近いカメラは、カメラ１０００－８である。当該カメラの背景範囲１０００－８１ａで仮想撮影範囲１１０１にかかる部分は、既に伝送領域１００１－５１ａに含まれているため、カメラ１０００－８はこの時点では選択されない。その次に仮想カメラ１１００に近いカメラ１０００－７の背景範囲は、仮想撮影範囲１１０１に新たに重なるため、カメラ１０００－７が選択される。 In step S1910, the camera order setting unit 12401 determines whether the transmission areas of all the cameras have been determined. When the transmission areas of all the cameras have been determined (YES in step S1910), this process ends. If not (NO in step S1910), the process returns to step S1903 and selects the next camera. Referring to FIG. 22, the camera closest to the virtual camera 1100 next to the camera 1001-5 is the camera 1000-8. Since the portion of the background range 1000-81a of the camera that covers the virtual shooting range 1101 is already included in the transmission area 1001-51a, the camera 1000-8 is not selected at this time. Next, the background range of the camera 1000-7, which is closest to the virtual camera 1100, newly overlaps the virtual shooting range 1101, so the camera 1000-7 is selected.

図１９に戻って、ステップＳ１９０４、およびＳ１９０５において、カメラ１０００－７の画角、背景範囲が算出される。 Returning to FIG. 19, in steps S1904 and S1905, the angle of view and the background range of the cameras 1000-7 are calculated.

ステップＳ１９０６において、カメラの数Ｎと閾値Ｔｈを比較し、カメラ数Ｎが閾値Ｔｈよりも大きければ、処理はステップＳ１９０７に進み、そうでなければ、処理はステップＳ１９０８に進む。 In step S1906, the number N of cameras and the threshold value Th are compared, and if the number of cameras N is larger than the threshold value Th, the process proceeds to step S1907, and if not, the process proceeds to step S1908.

ステップＳ１９０７において、伝送領域決定部１２４０４は点線で表される背景範囲１０００－７１ｒと、それ以前に伝送される伝送領域との重なりを検出する。 In step S1907, the transmission area determination unit 12404 detects the overlap between the background range 1000-71r represented by the dotted line and the transmission area transmitted before that.

ステップＳ１９０８において、伝送領域決定部１２４０４は背景範囲からその重なりを除去して伝送領域を決定する。ここでは、領域１０００－７１ａ、および領域１０００－７１ｂが伝送領域として決定される。 In step S1908, the transmission area determination unit 12404 determines the transmission area by removing the overlap from the background range. Here, the areas 1000-71a and 1000-71b are determined as transmission areas.

なお、ステップＳ１９０６からステップＳ１９０８に進んだ場合は、背景範囲１０００－７１ｒの全てがとなる。 When the process proceeds from step S1906 to step S1908, the entire background range 1000-71r becomes.

ステップＳ１９０９、Ｓ１９１０が処理され、カメラ順設定部１２４０１は、次のカメラを選択し、同様の処理を続ける。図２３を参照すると、仮想撮影範囲１１０１を全てカバーした時点の様子が示されている。仮想撮影範囲１１０１を全てカバーするまでに、伝送領域決定部１２４０４は、カメラ１００１－５，１０００－７，１００１－６，１００１－４，１００１－３の伝送領域を決定している。続いて、伝送領域が決定されていないカメラ（仮想撮影範囲をカバーしていないカメラ）について、実施の形態１と同様の処理を行う。すなわち、カメラ１０００－８が選択され、その後、カメラ１００２－６等と続いて処理がされる。以下、全てのカメラについて決定が行われ、その伝送領域情報が各カメラに通知される。 Steps S1909 and S1910 are processed, and the camera order setting unit 12401 selects the next camera and continues the same process. With reference to FIG. 23, the state at the time when the entire virtual shooting range 1101 is covered is shown. By the time the virtual shooting range 1101 is completely covered, the transmission area determination unit 12404 has determined the transmission area of the cameras 1001-5, 1000-7, 1001-6, 1001-4, 1001-3. Subsequently, the same processing as in the first embodiment is performed on the camera whose transmission area is not determined (the camera that does not cover the virtual shooting range). That is, the camera 1000-8 is selected, and then the camera 1002-6 and the like are subsequently processed. Hereinafter, decisions are made for all cameras, and the transmission area information is notified to each camera.

以上において説明した構成及び動作により、仮想視点画像生成に必要な画像から送ることで、バックエンドサーバは必要な画像が揃った時点で画像の生成が可能になり、全ての画像の到達を待たずに処理を開始することができるようになる。このため、仮想視点の移動に対して、レスポンスを向上させることができ、仮想カメラ操作ＵＩ３３０のユーザが違和感なく仮想視点合成を行うことが可能になる。 With the configuration and operation described above, by sending from the images required for virtual viewpoint image generation, the back end server can generate images when the required images are ready, and does not wait for the arrival of all the images. You will be able to start processing. Therefore, the response to the movement of the virtual viewpoint can be improved, and the user of the virtual camera operation UI 330 can perform the virtual viewpoint composition without discomfort.

なお、ステップＳ１９０３において、カメラ順設定部１２４０１での仮想カメラ１１００の撮影範囲１１０１に基づくカメラの選択方法はこれに限定されない。図２４は、カメラの選択方法を説明するための図である。例えば、図２４に示すように、仮想撮影範囲１１０１をカバーするのに必要なカメラが最小になるようにカメラを選択することも可能である。これらは、仮想カメラの撮影範囲の位置、形状、及び各カメラの背景範囲から容易に求めることができる。例えば、カメラ１台での背景範囲を算出する。あるカメラ１台の背景範囲で仮想カメラの撮影範囲がカバーできればそのカメラを選択する。１台でカバーできなければ２台の組合せ、さらに３台の組合せと増やした場合の仮想撮影範囲１１０１のカバー状況を算出する。このように組み合わせを増やしていく過程で、最初に全てをカバーした組合せに基づいて、カメラの選択を行えばよい。 In step S1903, the method of selecting a camera based on the shooting range 1101 of the virtual camera 1100 by the camera order setting unit 12401 is not limited to this. FIG. 24 is a diagram for explaining a method of selecting a camera. For example, as shown in FIG. 24, it is possible to select a camera so that the number of cameras required to cover the virtual shooting range 1101 is minimized. These can be easily obtained from the position and shape of the shooting range of the virtual camera and the background range of each camera. For example, the background range of one camera is calculated. If the shooting range of a virtual camera can be covered by the background range of one camera, that camera is selected. If it cannot be covered by one unit, the coverage status of the virtual shooting range 1101 when the combination of two units and the combination of three units is increased is calculated. In the process of increasing the number of combinations in this way, the camera may be selected based on the combination that covers all of them first.

また、制御ステーション３１０からセンサシステムの故障、ネットワークの切断や故障など、任意のセンサシステムから背景領域画像が送付されないことが通知された場合、伝送領域算出部２４０１は、伝送領域の算出を行う。伝送領域算出部２４０１は、制御ステーション３１０から背景領域画像が送付されないセンサシステム（カメラ）を特定する。ここでは、カメラ１１０Ｘが特定されたとする。カメラ１１０Ｘの伝送領域については、その伝送領域と重なる伝送領域を持つカメラでカバーするように当該カメラの伝送領域を算出し直す。 Further, when the control station 310 notifies that the background area image is not sent from any sensor system such as a sensor system failure, network disconnection or failure, the transmission area calculation unit 2401 calculates the transmission area. The transmission area calculation unit 2401 identifies a sensor system (camera) to which the background area image is not sent from the control station 310. Here, it is assumed that the camera 110X is specified. Regarding the transmission area of the camera 110X, the transmission area of the camera is recalculated so as to be covered by a camera having a transmission area overlapping the transmission area.

図２５は、新たに伝送領域を算出し直す場合を説明するための図である。図２５において、上述のカメラ１１０Ｘを、カメラ１０００－１とする。カメラ１０００－１のである点線で示された１０００－１ａは、１００１－１ａ，１０００－２ａ，１００２－１ａ，１００２－２ａ，１００１－６ａでカバーすることができる。このように伝送領域の算出を行い、それぞれの伝送領域情報は、センサシステム１０００－１を除くセンサシステムに伝送される。また、伝送領域情報記憶部４０２に格納する。 FIG. 25 is a diagram for explaining a case where the transmission area is newly calculated. In FIG. 25, the above-mentioned camera 110X is referred to as a camera 1000-1. The dotted line 1000-1a of the camera 1000-1 can be covered by 1001-1a, 1000-2a, 1002-1a, 1002-2a, 1001-6a. The transmission area is calculated in this way, and each transmission area information is transmitted to the sensor systems other than the sensor system 1000-1. It is also stored in the transmission area information storage unit 402.

以上の動作によって、センサシステムに故障等が生じても当該センサシステムの背景領域画像にあたる画像が伝送されることにより、後段での仮想視点画像の合成に影響を与えないようにすることができる。 By the above operation, even if a failure occurs in the sensor system, the image corresponding to the background area image of the sensor system is transmitted, so that the composition of the virtual viewpoint image in the subsequent stage can be prevented from being affected.

＜実施の形態４＞
以下に、実施の形態４として、実施の形態１～３とは異なる伝送領域の決定方法について説明する。すなわち、実施の形態１～３では、カメラの撮影範囲に注目して伝送領域を決定した。実施の形態４では、スタジアムの三次元形状データ（スタジアム形状データ）を用い、撮影される領域の各地点からカメラまでの距離に注目して伝送領域を決定する。 <Embodiment 4>
Hereinafter, as the fourth embodiment, a method of determining a transmission region different from that of the first to third embodiments will be described. That is, in the first to third embodiments, the transmission region is determined by paying attention to the shooting range of the camera. In the fourth embodiment, the three-dimensional shape data of the stadium (stadium shape data) is used, and the transmission area is determined by paying attention to the distance from each point of the area to be photographed to the camera.

図２６は、実施の形態４に係る伝送領域算出部３４０１の機能ブロック図である。同図において、図５と同じ機能を果たすブロックについては同じ符号を付し、説明を省略する。 FIG. 26 is a functional block diagram of the transmission area calculation unit 3401 according to the fourth embodiment. In the figure, the blocks having the same functions as those in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted.

伝送領域算出部３４０１は、画角算出部２４０２と、背景分布算出部２４２０と、伝送領域決定部２４３０と、伝送領域保持部２４０５とを含む。 The transmission area calculation unit 3401 includes an angle of view calculation unit 2402, a background distribution calculation unit 2420, a transmission area determination unit 2430, and a transmission area holding unit 2405.

背景分布算出部２４２０は、各センサシステムのカメラによって撮影される全領域を複数の小領域に分割し、その小領域がいずれのカメラに最も近いかを算出する。そして、小領域ごとに、算出した最も近いカメラを記録する。なお、小領域は空間を構成する点群の最小単位からそれらを複数集めた点群単位でも構わない。 The background distribution calculation unit 2420 divides the entire area captured by the cameras of each sensor system into a plurality of small areas, and calculates which camera the small area is closest to. Then, the closest calculated camera is recorded for each small area. The small area may be a point cloud unit obtained by collecting a plurality of them from the smallest unit of the point cloud constituting the space.

伝送領域決定部２４３０は、背景分布算出部２４２０によって記録された、小領域についての最も近いカメラの情報をもとに、各カメラについて領域をグルーピングする。そして、グルーピングされた領域を、各カメラの伝送領域とする。 The transmission area determination unit 2430 groups the areas for each camera based on the information of the nearest camera for the small area recorded by the background distribution calculation unit 2420. Then, the grouped area is used as the transmission area of each camera.

図２７は、小領域からのカメラの距離計算を表す図である。背景分布算出部２４２０は、距離を計算する小領域２５００を視野に収めるカメラを全カメラの画角から選択する。図２７では、カメラ１００１－１，１０００－３，１０００－４，１００１－２，１００１－３，１００１－４，１０００－７，１００１－５，１００１－６である。小領域２５００とこれらのカメラとの距離は、それぞれ距離１００１－１ｄ，１０００－３ｄ，１０００－４ｄ，１００１－２ｄ，１００１－３ｄ，１００１－４ｄ，１０００－７ｄ，１００１－５ｄ，１００１－６ｄである。 FIG. 27 is a diagram showing the calculation of the distance of the camera from the small area. The background distribution calculation unit 2420 selects a camera that covers the small area 2500 for calculating the distance in the field of view from the angles of view of all the cameras. In FIG. 27, the cameras are 1001-1, 1000-3, 1000-4, 1001-2, 1001-3, 1001-4, 1000-7, 1001-5, 1001-6. The distances between the small area 2500 and these cameras are 1001-1d, 1000-3d, 1000-4d, 1001-2d, 1001-3d, 1001-4d, 1000-7d, 1001-5d, and 1001-6d, respectively. be.

背景分布算出部２４２０は、これらの距離で最も短距離であるものを選択する。ここでは、距離１００１－６ｄが最小である。背景分布算出部２４２０は、小領域２５００の最短距離のカメラはカメラ１００１－６であると記録する。このようにして、背景分布算出部２４２０は、小領域２５００以外についての小領域（不図示）についても最短距離のカメラを算出し、記録する。 The background distribution calculation unit 2420 selects the one having the shortest distance among these distances. Here, the distance 1001-6d is the minimum. The background distribution calculation unit 2420 records that the camera with the shortest distance in the small area 2500 is the camera 1001-6. In this way, the background distribution calculation unit 2420 calculates and records the camera having the shortest distance even for a small area (not shown) other than the small area 2500.

そして、伝送領域決定部２４３０は、背景分布算出部２４２０が小領域単位で記録した最短距離のカメラの情報からこれらをグルーピングし、各カメラの伝送領域を決定する。 Then, the transmission area determination unit 2430 groups these from the information of the cameras with the shortest distance recorded by the background distribution calculation unit 2420 in small area units, and determines the transmission area of each camera.

以上において説明した構成及び動作により、各地点で最も近いカメラからの画像を使用することで、高解像度で正確な画像データを取得することができる。これにより、より高画質化を図ることが可能になる。 With the configuration and operation described above, it is possible to acquire high-resolution and accurate image data by using the image from the camera closest to each point. This makes it possible to improve the image quality.

上述した実施の形態によれば、カメラ１１２の台数などのシステムを構成する装置の規模、及び撮影画像の出力解像度や出力フレームレートなどに依らず、撮影画像を効率よく伝送することができる。以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。 According to the above-described embodiment, the captured image can be efficiently transmitted regardless of the scale of the devices constituting the system such as the number of cameras 112, the output resolution of the captured image, the output frame rate, and the like. Although the embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various modifications and modifications are made within the scope of the gist of the present invention described in the claims. Is possible.

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other Examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１１０ センサシステム、１１１ マイク、１１２ カメラ、１１３ 雲台、１２０ カメラアダプタ、１８０ スイッチングハブ、１９０ ユーザ端末、２３０ フロントエンドサーバ、２５０ データベース、２７０ バックエンドサーバ、２９０ タイムサーバ、３１０ 制御ステーション、３３０ 仮想カメラ操作ＵＩ、４００ カメラ配置記憶部、４０１ 伝送領域算出部、４０２ 伝送領域情報記憶部、２４０１ カメラ順設定部、２４０２ 画角算出部、２４０３ 背景範囲算出部、２４０４ 伝送領域決定部、２４０５ 伝送領域保持部。 110 sensor system, 111 microphone, 112 camera, 113 cloud stand, 120 camera adapter, 180 switching hub, 190 user terminal, 230 front-end server, 250 database, 270 back-end server, 290 time server, 310 control station, 330 virtual camera Operation UI, 400 camera layout storage unit, 401 transmission area calculation unit, 402 transmission area information storage unit, 2401 camera order setting unit, 2402 angle angle calculation unit, 2403 background range calculation unit, 2404 transmission area determination unit, 2405 transmission area retention Department.

Claims (16)

異なる位置に配置された複数の撮影装置が撮影することにより得られる複数の撮影画像に基づく画像データを伝送する複数の画像処理装置を含む画像処理システムであって、
前記複数の画像処理装置は、
前記複数の撮影装置が撮影することにより得られる複数の撮影画像のそれぞれから前景領域と背景領域とを分離することにより、仮想視点画像の生成に用いられる前景画像と背景画像とを生成する分離手段を有し、
前記複数の撮影装置のそれぞれにより撮影される領域における背景領域から前記複数の撮影装置のそれぞれの伝送領域を決定する決定手段であって、前記複数の撮影装置の伝送領域が互いに重複しないように伝送領域を決定する決定手段と、
前記分離手段により生成された前記背景画像のうち、前記決定手段により決定された前記伝送領域に対応する部分である背景領域画像と、前記分離手段により生成された前記前景画像とが伝送されるよう前記複数の画像処理装置を制御する制御手段と、
を備えることを特徴とする画像処理システム。 An image processing system including a plurality of image processing devices for transmitting image data based on a plurality of captured images obtained by photographing by a plurality of photographing devices arranged at different positions.
The plurality of image processing devices
Separation means for generating a foreground image and a background image used for generating a virtual viewpoint image by separating a foreground area and a background area from each of a plurality of captured images obtained by the plurality of photographing devices. Have,
It is a determination means for determining the transmission area of each of the plurality of photographing devices from the background area in the area photographed by each of the plurality of photographing devices, so that the transmission areas of the plurality of photographing devices do not overlap each other . Determining means for determining the transmission area and
Of the background image generated by the separation means , the background area image which is a portion corresponding to the transmission area determined by the determination means and the foreground image generated by the separation means are transmitted so as to be transmitted. A control means for controlling the plurality of image processing devices and
An image processing system characterized by being equipped with. 前記制御手段は、前記複数の画像処理装置に対して、前記伝送領域を通知することを特徴とする請求項１に記載の画像処理システム。 The image processing system according to claim 1, wherein the control means notifies the plurality of image processing devices of the transmission area. 前記複数の撮影装置のそれぞれにより撮影される領域における背景領域を特定する特定手段をさらに有することを特徴とする請求項１または請求項２に記載の画像処理システム。 The image processing system according to claim 1 or 2, further comprising a specific means for specifying a background area in an area photographed by each of the plurality of photographing devices. 前記特定手段は、前記複数の撮影装置の配置情報に基づいて前記背景領域を特定することを特徴とする請求項３に記載の画像処理システム。 The image processing system according to claim 3, wherein the specifying means specifies the background area based on the arrangement information of the plurality of photographing devices. 前記配置情報は、撮影装置の位置、姿勢、方向、レンズ焦点距離の少なくとも１つを含むことを特徴とする請求項４に記載の画像処理システム。 The image processing system according to claim 4, wherein the arrangement information includes at least one of a position, a posture, a direction, and a lens focal length of the photographing device . 前記特定手段は、前記複数の撮影装置により撮影される撮影対象の三次元形状を表す三次元形状データに基づいて前記背景領域を特定することを特徴とする請求項３から請求項５のいずれか一項に記載の画像処理システム。 Any of claims 3 to 5, wherein the specifying means specifies the background region based on three-dimensional shape data representing a three-dimensional shape of an imaged object photographed by the plurality of photographing devices . The image processing system described in item 1. 前記決定手段は、前記仮想視点画像に対応する仮想視点の仮想撮影範囲と、前記複数の撮影装置のそれぞれにより撮影される領域における背景領域との位置関係に基づいて前記複数の撮影装置の順位を決定し、前記順位に従って背景領域の伝送が優先されるように、前記伝送領域を決定することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理システム。 The determining means determines the order of the plurality of photographing devices based on the positional relationship between the virtual shooting range of the virtual viewpoint corresponding to the virtual viewpoint image and the background area in the area photographed by each of the plurality of photographing devices. The image processing system according to any one of claims 1 to 6, wherein the transmission area is determined so that the transmission of the background area is prioritized according to the order. 前記決定手段は、前記複数の撮影装置のうち、前記背景領域が前記仮想視点の仮想撮影範囲の少なくとも一部と重なる撮影装置が、前記背景領域が前記仮想視点の仮想撮影範囲と重ならない撮影装置よりも高い順位となるように、前記複数の撮影装置の順位を決定することを特徴とする請求項７に記載の画像処理システム。 In the determination means, among the plurality of imaging devices, an imaging device in which the background area overlaps at least a part of the virtual imaging range of the virtual viewpoint does not overlap the background area with the virtual imaging range of the virtual viewpoint. The image processing system according to claim 7 , wherein the order of the plurality of photographing devices is determined so as to have a higher order than the devices . 前記決定手段は、前記複数の撮影装置のうち、前記仮想撮影範囲の全体をカバーする背景領域の組み合わせが得られる撮影装置の組み合わせであって、撮影装置の数が最小となる組み合わせを第１のグループとし、前記第１のグループに所属しない撮影装置を第２のグループとし、前記第１のグループの撮影装置が前記第２のグループの撮影装置よりも高い順位となるように、前記複数の撮影装置の順位を決定することを特徴とする請求項７に記載の画像処理システム。 The determination means is a combination of imaging devices that can obtain a combination of background areas covering the entire virtual imaging range among the plurality of imaging devices, and the combination that minimizes the number of imaging devices is the first. The plurality of photographing devices are grouped, and the photographing devices that do not belong to the first group are designated as the second group, and the photographing devices of the first group have a higher rank than the photographing devices of the second group. The image processing system according to claim 7, wherein the order of the devices is determined. 前記決定手段は、前記仮想視点に近い順に撮影装置の順位を決定することを特徴とする請求項８または請求項９に記載の画像処理システム。 The image processing system according to claim 8 or 9 , wherein the determination means determines the order of the photographing apparatus in the order of proximity to the virtual viewpoint. 前記決定手段は、前記複数の撮影装置により撮影される領域を複数の部分領域に分割し、前記複数の部分領域のそれぞれの部分領域が、部分領域を背景領域に含む撮影装置のうち前記部分領域に最も近い撮影装置の伝送領域に含まれるように、前記複数の撮影装置の伝送領域を決定することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理システム。 The determination means divides an area photographed by the plurality of photographing devices into a plurality of partial areas, and each partial area of the plurality of partial areas includes the partial area as a background area. The image processing system according to any one of claims 1 to 6 , wherein the transmission area of the plurality of photographing devices is determined so as to be included in the transmission area of the photographing device closest to the above . .. 異なる位置に配置された複数の撮影装置と、
前記複数の撮影装置が撮影した撮影画像を伝送する複数の第１の画像処理装置と、
前記複数の第１の画像処理装置により伝送された撮影画像に基づいて仮想視点画像を生成する第２の画像処理装置と、を有し、
前記第２の画像処理装置は、
前記複数の撮影装置のそれぞれにより撮影される領域における背景領域から伝送領域を決定する決定手段であって、前記複数の撮影装置について決定される伝送領域が互いに重複しないように伝送領域を決定する決定手段と、
前記複数の第１の画像処理装置のそれぞれに対して、前記伝送領域を通知する通知手段と、を含み、
前記複数の第１の画像処理装置のそれぞれは、前記伝送領域に対応する部分である背景領域画像と、前記背景領域とは異なる領域に対応する前景画像とを前記第２の画像処理装置へ伝送する伝送手段を含む、ことを特徴とする画像処理システム。 With multiple imaging devices located at different positions,
A plurality of first image processing devices for transmitting captured images taken by the plurality of photographing devices, and a plurality of first image processing devices.
It has a second image processing device that generates a virtual viewpoint image based on a captured image transmitted by the plurality of first image processing devices .
The second image processing device is
It is a determination means for determining a transmission area from a background area in an area photographed by each of the plurality of photographing devices, and determines a transmission area so that the transmission areas determined for the plurality of photographing devices do not overlap each other . The means of deciding what to do
Each of the plurality of first image processing devices includes a notification means for notifying the transmission area.
Each of the plurality of first image processing devices transmits a background area image, which is a portion corresponding to the transmission region, and a foreground image corresponding to a region different from the background area to the second image processing device. An image processing system comprising a transmission means to perform. 前記第２の画像処理装置は、前記伝送手段により伝送される複数の背景領域画像に基づいて、前記仮想視点画像における背景画像を生成する画像結合手段をさらに含む、ことを特徴とする請求項１２に記載の画像処理システム。 The second image processing apparatus further includes an image combining means for generating a background image in the virtual viewpoint image based on a plurality of background region images transmitted by the transmission means. The image processing system according to 12 . 前記決定手段は、前記仮想視点画像の仮想視点の仮想撮影範囲と、前記複数の撮影装置のそれぞれにより撮影される撮影領域における背景領域との位置関係に基づいて前記複数の撮影装置の順位を決定し、前記順位に従って背景領域の伝送が優先されるように、前記伝送領域を決定することを特徴とする請求項１２または請求項１３に記載の画像処理システム。 The determination means is based on the positional relationship between the virtual shooting range of the virtual viewpoint of the virtual viewpoint image and the background area in the shooting area shot by each of the plurality of shooting devices . The image processing system according to claim 12 or 13 , wherein the order of the above is determined, and the transmission area is determined so that the transmission of the background area is prioritized according to the order . 異なる位置に配置された複数の撮影装置が撮影することにより得られる複数の撮影画像に基づく画像データを伝送する画像伝送方法であって、
前記複数の撮影装置が撮影することにより得られる複数の撮影画像のそれぞれから前景領域と背景領域とを分離することにより、仮想視点画像の生成に用いられる前景画像と背景画像とを生成する分離工程と、
前記複数の撮影装置のそれぞれにより撮影される領域における背景領域から前記複数の撮影装置のそれぞれの伝送領域を決定する決定工程であって、前記複数の撮影装置の伝送領域が互いに重複しないように伝送領域を決定する決定工程と、
前記分離工程により生成された前記背景画像のうち、前記決定工程により決定された前記伝送領域に対応する部分である背景領域画像と、前記分離工程により生成された前記前景画像とが伝送されるよう制御する制御工程と、
を有することを特徴とする画像伝送方法。 An image transmission method for transmitting image data based on a plurality of captured images obtained by photographing by a plurality of photographing devices arranged at different positions.
Separation step of generating a foreground image and a background image used for generating a virtual viewpoint image by separating a foreground area and a background area from each of a plurality of captured images obtained by the plurality of photographing devices. When,
It is a determination step of determining each transmission area of the plurality of photographing devices from the background area in the area photographed by each of the plurality of photographing devices, so that the transmission areas of the plurality of photographing devices do not overlap each other . The decision process to determine the transmission area and
Of the background image generated by the separation step , the background region image which is a portion corresponding to the transmission region determined by the determination step and the foreground image generated by the separation step are transmitted so as to be transmitted. Control process to control and
An image transmission method characterized by having. コンピュータに、請求項１５に記載の画像伝送方法を実現させるためのプログラム。 A program for causing a computer to realize the image transmission method according to claim 15.
JP2017201955A 2017-09-13 2017-10-18 Image processing system, image processing device, image transmission method, and program Active JP7104504B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017201955A JP7104504B2 (en) 2017-10-18 2017-10-18 Image processing system, image processing device, image transmission method, and program
US16/128,159 US10812770B2 (en) 2017-09-13 2018-09-11 Image processing system, image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017201955A JP7104504B2 (en) 2017-10-18 2017-10-18 Image processing system, image processing device, image transmission method, and program

Publications (2)

Publication Number Publication Date
JP2019075740A JP2019075740A (en) 2019-05-16
JP7104504B2 true JP7104504B2 (en) 2022-07-21

Family

ID=66543373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017201955A Active JP7104504B2 (en) 2017-09-13 2017-10-18 Image processing system, image processing device, image transmission method, and program

Country Status (1)

Country Link
JP (1) JP7104504B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923354B (en) * 2021-09-30 2023-08-01 卡莱特云科技股份有限公司 Video processing method and device based on multi-frame images and virtual background shooting system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193941A (en) 2002-12-11 2004-07-08 Nippon Telegr & Teleph Corp <Ntt> Arbitrary viewpoint picture transmission method, apparatus for implementing the method, processing program therefor and recording medium
JP2005323310A (en) 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> Visual field sharing instrument, visual field movement input unit, picture image display device, photographing scope projection method, control method of visual field movement input unit, control method of picture image display device, program of visual field sharing device. and program of both visual field movement input device and picture image dispaly device
JP2013106324A (en) 2011-11-16 2013-05-30 Casio Comput Co Ltd Image processor, image processing method and program
WO2014024475A1 (en) 2012-08-10 2014-02-13 パナソニック株式会社 Video provision method, transmission device, and reception device
JP2015187797A (en) 2014-03-27 2015-10-29 シャープ株式会社 Image data generation device and image data reproduction device
WO2016088437A1 (en) 2014-12-04 2016-06-09 ソニー株式会社 Information processing device, information processing method and program
JP2017135464A (en) 2016-01-25 2017-08-03 キヤノン株式会社 Video transmitter, video transmission system, video transmission method and program
JP2017188046A (en) 2016-04-08 2017-10-12 キヤノン株式会社 Image processing device and control method thereof, and image processing system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357559B2 (en) * 1996-12-09 2002-12-16 株式会社エヌ・ティ・ティ・ドコモ Image data receiving device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193941A (en) 2002-12-11 2004-07-08 Nippon Telegr & Teleph Corp <Ntt> Arbitrary viewpoint picture transmission method, apparatus for implementing the method, processing program therefor and recording medium
JP2005323310A (en) 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> Visual field sharing instrument, visual field movement input unit, picture image display device, photographing scope projection method, control method of visual field movement input unit, control method of picture image display device, program of visual field sharing device. and program of both visual field movement input device and picture image dispaly device
JP2013106324A (en) 2011-11-16 2013-05-30 Casio Comput Co Ltd Image processor, image processing method and program
WO2014024475A1 (en) 2012-08-10 2014-02-13 パナソニック株式会社 Video provision method, transmission device, and reception device
JP2015187797A (en) 2014-03-27 2015-10-29 シャープ株式会社 Image data generation device and image data reproduction device
WO2016088437A1 (en) 2014-12-04 2016-06-09 ソニー株式会社 Information processing device, information processing method and program
JP2017135464A (en) 2016-01-25 2017-08-03 キヤノン株式会社 Video transmitter, video transmission system, video transmission method and program
JP2017188046A (en) 2016-04-08 2017-10-12 キヤノン株式会社 Image processing device and control method thereof, and image processing system

Also Published As

Publication number Publication date
JP2019075740A (en) 2019-05-16

Similar Documents

Publication Publication Date Title
US11750792B2 (en) Information processing apparatus, image generation method, control method, and storage medium
US11689706B2 (en) Method for generating virtual viewpoint image and image processing apparatus
US11012674B2 (en) Information processing apparatus, image generation method, control method, and program
US11190673B2 (en) Control device, control method, and program
JP7121470B2 (en) Image processing system, control method, and program
JP6894687B2 (en) Image processing system, image processing device, control method, and program
US20200322584A1 (en) Control device, control method, and storage medium
JP2018112997A (en) Image processor, method of the same, program, and image processing system
US11095871B2 (en) System that generates virtual viewpoint image, method and storage medium
US10812770B2 (en) Image processing system, image processing apparatus, image processing method, and program
US11677925B2 (en) Information processing apparatus and control method therefor
JP2019050451A (en) Image processing apparatus and method for controlling the same, and program, and image processing system
JP2019022151A (en) Information processing apparatus, image processing system, control method, and program
JP2019008429A (en) Image processing apparatus, image processing system, image processing method and program
JP7104504B2 (en) Image processing system, image processing device, image transmission method, and program
JP2018191251A (en) Information processing system, information processing method, and program
JP6827996B2 (en) Image processing device, control method, and program
JP2019140483A (en) Image processing system, image processing system control method, transmission device, transmission method, and program
JP2023075859A (en) Information processing apparatus, information processing method, and program
JP2021077120A (en) Image processing system, controller and control method therefor, image transmission method and program
JP2019003325A (en) Image processing system, image processing method and program
JP2018191236A (en) Information processing system, information processing method, apparatus, and program
JP2023075860A (en) Information processing apparatus, information processing method, and program
JP2021068373A (en) Control apparatus, image processing system, control method, and program
JP2021093648A (en) Image data processing device, image data processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220708

R151 Written notification of patent or utility model registration

Ref document number: 7104504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151