JP2019003325A - Image processing system, image processing method and program - Google Patents
Image processing system, image processing method and program Download PDFInfo
- Publication number
- JP2019003325A JP2019003325A JP2017115986A JP2017115986A JP2019003325A JP 2019003325 A JP2019003325 A JP 2019003325A JP 2017115986 A JP2017115986 A JP 2017115986A JP 2017115986 A JP2017115986 A JP 2017115986A JP 2019003325 A JP2019003325 A JP 2019003325A
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreground
- background
- background image
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、被写体を撮影した画像を処理する画像処理装置、画像処理方法、プログラム及び画像処理システムに関する。 The present invention relates to an image processing apparatus, an image processing method, a program, and an image processing system that process an image obtained by photographing a subject.
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、これら複数のカメラとは異なる仮想的な視点または仮想的なカメラからの仮想視点コンテンツを生成する技術が注目されている。複数視点画像から任意に視点を変更可能な仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来る。したがって、仮想視点コンテンツを生成する技術は、任意に視点を変更できない通常の画像と比較してユーザに高臨場感を与えることが出来る。このようにして生成された画像は仮想視点画像と呼ばれる。 Nowadays, multiple cameras are installed at different positions and synchronized shooting from multiple viewpoints. Using multiple viewpoint images obtained by the shooting, virtual viewpoints or virtual cameras different from these multiple cameras are used. A technique for generating virtual viewpoint content has attracted attention. According to the technology for generating virtual viewpoint content in which viewpoints can be arbitrarily changed from a plurality of viewpoint images, for example, a soccer or basketball highlight scene can be viewed from various angles. Therefore, the technology for generating the virtual viewpoint content can give the user a higher sense of presence compared with a normal image in which the viewpoint cannot be arbitrarily changed. The image generated in this way is called a virtual viewpoint image.
特許文献１には、同一の範囲を取り囲むように複数のカメラを配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。 Patent Document 1 discloses a technique for arranging and arranging a plurality of cameras so as to surround the same range, and generating and displaying a virtual viewpoint image corresponding to an arbitrary designation using an image obtained by photographing the same range. Has been.
また、仮想視点画像を生成するには、一般的に、画像内でモデル生成の対象となるオブジェクトが存在する部分が識別されている必要がある。そのオブジェクトが存在する部分は前景と呼ばれ、それ以外は背景と呼ばれる。 In order to generate a virtual viewpoint image, it is generally necessary to identify a portion where an object to be model generated exists in the image. The part where the object exists is called the foreground, otherwise it is called the background.
複数の撮影画像を合成して例えば仮想視点画像のような１つの画像を生成する際には、撮影画像の輝度や色合いに差が出ないようにすることが望まれる。しかしながら、仮想視点画像を生成する際の合成に用いる前景画像と背景画像とで例えば撮影された際のタイミングや撮影した撮影装置が異なると、撮影時の露出が異なる場合が生じ得る。露出が異なる前景画像と背景画像とを仮想視点画像の生成に用いると不自然な画像が合成されるという問題が生ずることがある。 When a plurality of photographed images are combined to generate one image such as a virtual viewpoint image, it is desirable to prevent differences in brightness and color of the photographed images. However, if the foreground image and the background image used for composition when generating the virtual viewpoint image are different in timing at the time of shooting, for example, and the shooting device used for shooting, the exposure at the time of shooting may be different. When a foreground image and a background image having different exposures are used for generating a virtual viewpoint image, there may be a problem that an unnatural image is synthesized.
そこで、本発明は、仮想視点画像を生成する際に前景画像と背景画像との撮影時の露出の差による不自然さを低減することを目的とする。 Therefore, an object of the present invention is to reduce unnaturalness due to a difference in exposure during shooting of a foreground image and a background image when generating a virtual viewpoint image.
本発明は、複数の撮像装置にて撮影された複数の画像を用いて仮想視点画像を生成する画像処理装置であって、前記複数の画像のうちの何れかに基づく画像であって、所定のオブジェクトに対応する前景画像を取得する第１取得手段と、前記第１取得手段により取得された前記前景画像が撮影された際の露出を示す露出情報を取得する第２取得手段と、前記複数の画像のうちの何れかに基づく画像であって、前記第２取得手段により取得された露出情報に対応する露出で撮影され、前記所定のオブジェトが含まれない背景画像を、前記第２取得手段により取得された露出情報に基づいて取得する第３取得手段と、前記第１取得手段により取得された前記前景画像と前記第３取得手段により取得された前記背景画像とを用いて仮想視点画像を生成する生成手段と、を有することを特徴とする。 The present invention is an image processing device that generates a virtual viewpoint image using a plurality of images photographed by a plurality of imaging devices, and is an image based on any of the plurality of images, wherein A first acquisition unit that acquires a foreground image corresponding to an object; a second acquisition unit that acquires exposure information indicating exposure when the foreground image acquired by the first acquisition unit is captured; An image based on any one of the images, which is captured with an exposure corresponding to the exposure information acquired by the second acquisition unit, and does not include the predetermined object, a background image is acquired by the second acquisition unit. A virtual viewpoint image is generated using third acquisition means acquired based on the acquired exposure information, the foreground image acquired by the first acquisition means, and the background image acquired by the third acquisition means. Characterized in that it has a generation unit configured to, a.
また、本発明の他の態様は、複数の撮像装置にて撮影された複数の画像をそれぞれ分離した複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定手段と、前記決定された前記前景画像の撮影時の露出情報と、前記決定された前記背景画像の撮影時の露出情報とを取得する取得手段と、前記前景画像と前記背景画像を基に、前記仮想視点画像を生成する処理手段と、を有し、前記処理手段は、前記決定された前記前景画像と前記背景画像との前記露出情報が異なる場合、前記決定された前景画像の露出に前記背景画像の露出を合わせる処理を行い、前記露出を合わせる処理後の前記背景画像と、前記決定された前景画像とを使用して、前記仮想視点画像を生成することを特徴とする。 Another aspect of the present invention provides a foreground image and a background used for generating a virtual viewpoint image from a plurality of foreground images and a plurality of background images obtained by separating a plurality of images taken by a plurality of imaging devices, respectively. Determining means for determining an image; acquisition means for acquiring exposure information at the time of shooting of the determined foreground image; and exposure information at the time of shooting of the determined background image; the foreground image and the background; Processing means for generating the virtual viewpoint image based on an image, and the processing means, when the exposure information of the determined foreground image and the background image is different, the determined foreground Performing the process of adjusting the exposure of the background image to the exposure of the image, and generating the virtual viewpoint image using the background image after the process of adjusting the exposure and the determined foreground image. You .
本発明によれば、仮想視点画像を生成する際に前景画像と背景画像との撮影時の露出の差による不自然さを低減することができる。 According to the present invention, when generating a virtual viewpoint image, it is possible to reduce unnaturalness due to a difference in exposure during photographing between the foreground image and the background image.
以下、図面を参照しながら、本発明の実施形態の一例を詳細に説明する。
本実施形態では、複数のカメラをスタジアム等に設置して同期撮影を行い、撮影途中に撮影パラメータが変更された撮影データを用いて、仮想視点画像を生成する画像処理システムを例に挙げて説明する。
＜第１の実施形態＞
第１の実施形態では、撮影時の撮影パラメータ変更によって仮想視点画像の生成に用いる画像の露出情報が異なっている場合に、露出情報の一致する画像をデータベースより再取得して仮想視点画像を生成する例について説明する。
Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.
In the present embodiment, an example of an image processing system that installs a plurality of cameras in a stadium or the like, performs synchronous shooting, and generates a virtual viewpoint image using shooting data in which shooting parameters are changed during shooting will be described as an example. To do.
<First Embodiment>
In the first embodiment, when exposure information of an image used for generating a virtual viewpoint image differs due to a change in shooting parameters at the time of shooting, a virtual viewpoint image is generated by re-acquiring images with matching exposure information from the database. An example will be described.
図１は、本実施形態に係わる画像処理システム１００の概略構成を示すブロック図である。
画像処理システム１００は、センサシステム１１０ａ〜センサシステム１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。
コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対してネットワーク３１０ａ〜３１０ｃ、１８０ａ、１８０ｂ、及びデイジーチェーン１７０ａ〜１７０ｙを通じて動作状態の管理及びパラメータ設定制御等を行う。これら各ネットワークは、例えば、Ｅｔｈｅｒｎｅｔ（Ｅｔｈｅｒｎｅｔ、イーサネットは登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサネット）や１０ＧｂＥを用いることができる。また、各ネットワークは、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサネット等を組合せて構成されてもよい。さらに、これらにも限定されず、他の種別のネットワークであってもよい。
FIG. 1 is a block diagram showing a schematic configuration of an
The
The
先ず、センサシステム１１０ａ〜１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００では、センサシステム１１０ａ〜１１０ｚがデイジーチェーン１７０ａ〜１７０ｙにより接続される。
なお、本実施形態において、特別な説明がない場合には、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットの各システムを区別せずに、センサシステム１１０と記載する。各センサシステム１１０内の各装置についても同様に、特別な説明がない場合にはそれらを区別せずに、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットを記載しているが、これはあくまでも一例であり、台数はこの例に限定されるものではない。また、本実施形態では、特に断りがない限り、画像という文言が動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれるが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくてもよい。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であってもよい。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。さらに、本実施形態では、特に断りがない限り、ネットワークを介して伝送される画像データ、音声データを、単に画像、音声と記載する。
First, an operation of transmitting 26 sets of images and sounds of the
In addition, in this embodiment, when there is no special description, each system of 26 sets from the
センサシステム１１０ａ〜１１０ｚは、それぞれが１台ずつのカメラ１１２ａ〜１１２ｚを有する。すなわち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーン１７０により接続されている。この接続形態により、撮影画像のいわゆる４Ｋや８Ｋ等への高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化が可能となっている。また、接続形態はデイジーチェーン１７０に限らず、各センサシステム１１０ａ〜１１０ｚがスイッチングハブ１８０に接続され、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成であってもよい。
Each of the
また、図１では、デイジーチェーン１７０となるようセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続されている構成を示したが、この接続例に限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブ１８０に接続されて画像コンピューティングサーバ２００へ画像データの入力を行うようになされていてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合、フロア毎或いはスタジアムの半周毎に、画像コンピューティングサーバ２００への入力を行うことができ、全センサシステム１１０を一つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
1 shows a configuration in which all of the
本実施形態において、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。カメラアダプタ１２０の機能の少なくとも一部はフロントエンドサーバ２３０が有していてもよい。本実施形態の場合、センサシステム１１０ｂ〜１１０ｚについては、センサシステム１１０ａと同様の構成なのでその説明を省略する。なお、センサシステム１１０ｂ〜１１０ｚは、センサシステム１１０ａと同じ構成に限定されるものではなく、それぞれのセンサシステム１１０が異なる構成になされていてもよい。
In the present embodiment, the
カメラ１１２ａにて撮影された画像と、マイク１１１ａにて集音された音声とは、カメラアダプタ１２０ａにおいて様々な画像処理、音声処理が施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。カメラアダプタ１２０は、撮影した画像から、オブジェクトの画像を含む前景画像と、それ以外の背景画像とを分離する。カメラアダプタ１２０ａで実施される画像処理の詳細については後述する。また、カメラ１１２ａは、撮影時の絞りやシャッタースピード、ＩＳＯ感度といったカメラ露出情報を出力する機能を備えている。カメラアダプタ１２０ａからは、カメラ１１２ａにて撮影された画像のデータと一緒に、その露出情報も、カメラアダプタ１２０ｂに送られる。本実施形態では、露出情報としてＥＶ値を用いることとする。なお、シャッタースピードをＴ、絞りをＦとした場合、ＥＶ値は、下記の式（１）により求めることができる。
ＥＶ＝ｌｏｇ2Ｆ2−ｌｏｇ2Ｔ 式（１）
The image captured by the
EV = log 2 F 2 -log 2 T Formula (1)
同様に、センサシステム１１０ｂは、カメラ１１２ｂで撮影した画像とマイク１１１ｂで集音した音声とを、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。このような動作が各センサシステム１１０にて続けられることにより、それらセンサシステム１１０ａ〜１１０ｚで取得された画像及び音声は、最終段のセンサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝送される。そして、それら画像及び音声のデータは、スイッチングハブ１８０から画像コンピューティングサーバ２００へ伝送される。
Similarly, the sensor system 110b transmits the image captured by the camera 112b and the sound collected by the
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。
本実施形態の画像コンピューティングサーバ２００は、スイッチングハブ１８０を介してセンサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、フロントエンドサーバ２３０、データベース２５０（データベースは、適宜、ＤＢとも記載する。）、バックエンドサーバ２７０、タイムサーバ２９０を有する。
Next, the configuration and operation of the
The
タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介して、センサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、時刻と同期信号を基にカメラ１１２ａ〜１１２ｚをゲンロック（Ｇｅｎｌｏｃｋ）させて画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は、同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できることになり、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。
The
フロントエンドサーバ２３０は、スイッチングハブ１８０を介してセンサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。そして、フロントエンドサーバ２３０は、そのデータ形式変換後の画像データを、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。この時、各カメラアダプタ１２０からの前景画像や背景画像と一緒に伝送されたカメラ露出情報は、データ形式変換後の画像データと関連付けてフレーム単位でデータベース２５０に書き込まれる。
The front-
次に、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０の中に保存されている複数の画像及び音声の中から、仮想視点コンテンツの生成に必要な画像及び音声を決定する。そして、バックエンドサーバ２７０は、それら決定した画像及び音声のデータをデータベース２５０から読み出し、それら読み出したデータを用いて、レンダリング処理等を行うことにより仮想視点コンテンツを生成する。
Next, the back-
なお、画像コンピューティングサーバ２００の構成は図１の構成例に限らない。例えば、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０のうち少なくとも二つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に、それら装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部は、エンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
The configuration of the
バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツをレンダリング処理により生成する。より具体的には、バックエンドサーバ２７０は、複数のカメラ１１２にて取得された撮影画像から、それぞれ対応したカメラアダプタ１２０により抽出された所定領域の画像データと、ユーザ操作により指定された視点とに基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ２７０は、生成した仮想視点コンテンツの画像と、音声とを、エンドユーザ端末１９０に送信する。エンドユーザ端末１９０はディスプレイとスピーカを有しており、バックエンドサーバ２７０から送信されてきた仮想視点コンテンツの画像をディスプレイに表示させ、音声をスピーカから出力させる。
The back-
本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想的な視点（仮想視点）は、ユーザにより任意に指定されてもよいし、画像解析の結果等に基づいて自動的に指定されてもよい。すなわち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の視点候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツには音声（オーディオデータ）が含まれる場合の例を挙げて説明しているが、必ずしも音声が含まれていなくてもよい。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化した上で、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。したがって、本実施形態によれば、エンドユーザ端末１９０を操作するユーザは、例えば自ら指定した任意の視点に応じた仮想視点画像と音声を視聴することができることになる。
The virtual viewpoint content in the present embodiment is content including a virtual viewpoint image as an image obtained when a subject is photographed from a virtual viewpoint. In other words, the virtual viewpoint image is an image representing the appearance at the designated viewpoint. The virtual viewpoint (virtual viewpoint) may be arbitrarily specified by the user, or may be automatically specified based on the result of image analysis or the like. That is, the virtual viewpoint image includes an arbitrary viewpoint image (free viewpoint image) corresponding to the viewpoint arbitrarily designated by the user. An image corresponding to a viewpoint designated by the user from a plurality of viewpoint candidates and an image corresponding to a viewpoint automatically designated by the apparatus are also included in the virtual viewpoint image. In the present embodiment, the virtual viewpoint content is described with an example in which audio (audio data) is included, but the audio may not necessarily include audio. Further, the back-
このように、本実施形態の画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという、３つの機能ドメインを有している。すなわち本実施形態において、映像収集ドメインはセンサシステム１１０ａ〜１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含む。また、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお、本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ〜１１０ｚから画像を取得することも可能である。
As described above, the
ただし、本実施形態の画像処理システム１００では、例えば仮想カメラ操作ＵＩ３３０がセンサシステム１１０ａ〜１１０ｚから直接画像を取得する構成ではなく、図１に示したように、データ保存ドメインを中間に配置する構成を採用している。具体的には、データ保存ドメインのフロントエンドサーバ２３０は、センサシステム１１０ａ〜１１０ｚで取得された画像や音声及びそれらのデータのメタ情報を、データベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ〜１１０ｚのカメラ１１２が例えば他機種のカメラに変更されたとしても、そのカメラ機種変更による差分をフロントエンドサーバ２３０により吸収して、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種のカメラに変更された場合に、仮想カメラ操作ＵＩ３３０が適切に動作しなくなってしまうという状態が生ずるのを防ぐことができる。
However, in the
また本実施形態の画像処理システム１００において、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成となされている。すなわち、バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を、仮想カメラ操作ＵＩ３３０で行っている。このことにより、例えば仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力することができるようになる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除することも可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応することができる。このように、本実施形態の画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影で得られた画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態の画像処理システム１００は、前述した物理的な構成に限定される場合だけでなく、論理的に構成されていてもよい。
In the
次に、本実施形態の画像処理システム１００におけるカメラアダプタ１２０、フロントエンドサーバ２３０、バックエンドサーバ２７０が備える機能について、図２以降の各図を用いて詳細に説明する。
図２は、本実施形態のカメラアダプタ１２０の機能ブロックを示した図である。
図２に示すように、カメラアダプタ１２０は、ネットワークアダプタ６１１０、伝送部６１２０、画像処理部６１３０、及び外部機器制御部６１４０を有して構成されている。
Next, functions of the
FIG. 2 is a diagram illustrating functional blocks of the
As shown in FIG. 2, the
ネットワークアダプタ６１１０は、データ送受信部６１１１と時刻制御部６１１２を有して構成されている。
データ送受信部６１１１は、デイジーチェーン１７０、スイッチングハブ１８０、ネットワーク２９１，３１０ａ等を介して、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、制御ステーション３１０等とデータ通信を行う。データ送受信部６１１１は、後述する前景背景分離部６１３１がカメラ１１２の撮影画像から分離した前景画像及び背景画像を、別のカメラアダプタ１２０に対して出力する。
また、データ送受信部６１１１は、前景画像と背景画像をそれぞれ異なるフレームレートで出力する機能を備えているものとする。本実施形態の場合、前景画像は高フレームレートで出力され、撮影対象（所定領域）を含まない背景画像は低フレームレートで出力されるものとする。出力先のカメラアダプタ１２０は、画像処理システム１００内の各カメラアダプタ１２０のうち、後述するデータルーティング処理部６１２２の処理に応じて予め定められた順序における次のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、バックエンドサーバ２７０では複数の視点から撮影された前景画像と背景画像に基づく仮想視点画像の生成が可能となる。
The
The data transmission /
Further, the data transmitting / receiving
時刻制御部６１１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能を有し、タイムサーバ２９０と時刻同期を行う。なお、時刻同期は、ＩＥＥＥ１５８８に限定されず、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期が実現されてもよい。
The
伝送部６１２０は、ネットワークアダプタ６１１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有する。伝送部６１２０は、データ圧縮・伸張部６１２１、データルーティング処理部６１２２、時刻同期制御部６１２３、画像・音声伝送処理部６１２４、データルーティング情報保持部６１２５の各機能部を有して構成されている。
The
データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報等を保持する機能を有する。
データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。
The data routing
The data compression /
データルーティング処理部６１２２は、データルーティング情報保持部６１２５が保持しているアドレス情報を基に、データ送受信部６１１１が受信したデータ及び画像処理部６１３０で処理されたデータのルーティング先を決定する。さらに、データルーティング処理部６１２２は、決定したルーティング先へデータを送信する機能をも有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれに対するデータルーティング処理部６１２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が決められる。
The data routing processing unit 6122 determines the routing destination of the data received by the data transmission /
時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰだけでなく、他の同様のプロトコルを利用して時刻同期が行われてもよい。
The time synchronization control unit 6123 conforms to the IEEE 1588 standard PTP (Precision Time Protocol) and has a function of performing processing related to time synchronization with the
画像・音声伝送処理部６１２４は、画像又は音声のデータを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには、画像又は音声のデータ、及び各データのメタ情報が含まれる。本実施形態の場合、メタ情報には、画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、カメラ１１２やマイク１１１の個体を示す識別子等が含まれる。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０から、データ送受信部６１１１を介してメッセージを受け取る。そして、画像・音声伝送処理部６１２４は、そのメッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を、画像または音声のデータに復元する。なお、データを復元した際に、そのデータが圧縮されている場合、データ圧縮・伸張部６１２１は、その圧縮に対応した伸張処理を行う。
The image / audio
画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データ、及び、他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有する。画像処理部６１３０は、前景背景分離部６１３１、三次元モデル情報生成部６１３２、キャリブレーション制御部６１３３の各機能部を有して構成されている。
The
前景背景分離部６１３１は、カメラ１１２が撮影した画像データを、前景画像と背景画像に分離する機能を有している。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部６１３１は、それぞれ対応したカメラ１１２による撮影画像から所定領域を抽出する。本実施形態における所定領域は、例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、前景背景分離部６１３１は、この所定領域の抽出を行うことにより、撮影画像を前景画像と背景画像に分離する。なお、本実施形態のように、例えばスタジアムに画像処理システム１００が設置される場合、撮影画像に対するオブジェクトとしては、例えば人物を例に挙げることができる。この場合の人物のオブジェクトは、特定人物（例えば選手、監督、審判等）であってもよいし、ボールやゴール等のように画像パターンが予め定められている物体であってもよい。また、オブジェクトは、人物等のような動体だけでなく、静止した物体であってもよい。本実施形態の画像処理システム１００では、人物等の重要なオブジェクトを含む前景画像と、それらオブジェクトを含まない背景領域とを分離して処理することで、生成される仮想視点画像のオブジェクトに該当する部分の画像の品質を向上させることができる。また、本実施形態によれば、前景画像と背景画像の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は、前景画像に限らず、例えば背景画像であってもよい。
The foreground /
三次元モデル情報生成部６１３２は、前景背景分離部６１３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。また、三次元モデル生成には、例えばＶｉｓｕａｌ Ｈｕｌｌを用いる方法が使用されてもよい。
The 3D model
キャリブレーション制御部６１３３は、後述するカメラ制御部６１４１を介してカメラ１１２から、キャリブレーションに必要な画像データを取得して、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有している。
The
外部機器制御部６１４０は、カメラ制御部６１４１、マイク制御部６１４２、雲台制御部６１４３、センサ制御部６１４４の各機能部を有して構成されている。カメラ制御部６１４１はこのカメラアダプタ１２０に備えられているカメラ１１２と接続され、同様に、マイク制御部６１４２はマイク１１１と、雲台制御部６１４３は雲台１１３と、センサ制御部６１４４は外部センサ１１４と接続されている。
The external
カメラ制御部６１４１は、接続されているカメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定等を行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、ホワイトバランス等）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、エラー等）の取得、撮影の開始と停止、ピント調整等がある。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に送ることで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで送ることにより行われる。これにより、カメラ１１２から受取る画像データには、そのタイムコードが付与されることになる。なお、タイムコードのフォーマットは、ＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部６１４１は、カメラ１１２に対するタイムコードの送信を行わず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。
The
マイク制御部６１４２は、接続されているマイク１１１の制御、集音の開始や停止、集音された音声データの取得等を行う機能を有している。マイク１１１の制御には、例えば、ゲイン調整、状態取得等がある。また、カメラ制御部６１４１の場合と同様、マイク１１１には、音声サンプリングのタイミングとタイムコードが送信される。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報を例えば４８ＫＨｚのワードクロックに変換した情報等が用いられる。
The
雲台制御部６１４３は、接続されている雲台１１３の制御を行う機能を有している。雲台１１３の制御は、例えばいわゆるパン・チルト制御や、状態取得等がある。
センサ制御部６１４４は、接続されている外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、センサ制御部６１４４は、振動を表す情報を取得することができる。このセンサ制御部６１４４が取得した振動情報は、画像処理部６１３０に送られる。これにより、画像処理部６１３０は、センサ制御部６１４４が取得した振動情報を用いて、前景背景分離部６１３１での処理に先立って振動を抑えた画像を生成することができる。
The pan
The
図３は、本実施形態のフロントエンドサーバ２３０の機能ブロックを示した図である。
図３に示すように、フロントエンドサーバ２３０は、データ入力制御部２１２０、データ同期部２１３０、画像処理部２１５０、三次元モデル結合部２１６０、画像結合部２１７０、撮影データファイル生成部２１８０を有する。さらに、フロントエンドサーバ２３０は、制御部２１１０、ＣＡＤデータ記憶部２１３５、キャリブレーション部２１４０、非撮影データファイル生成部２１８５、ＤＢアクセス制御部２１９０を有して構成されている。
FIG. 3 is a diagram showing functional blocks of the front-
As shown in FIG. 3, the front-
制御部２１１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリ等の記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、制御部２１１０は、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体の制御を行う。また、制御部２１１０は、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作等の動作モードを切り替える。また、制御部２１１０は、ネットワークを介して制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力等を行う。また制御部２１１０は、ネットワークを通じて制御ステーション３１０からスタジアムＣＡＤデータを取得し、そのスタジアムＣＡＤデータをＣＡＤデータ記憶部２１３５と非撮影データファイル生成部２１８５に送信する。
The
データ入力制御部２１２０は、ネットワークとスイッチングハブ１８０を介して、カメラアダプタ１２０と接続されている。そして、データ入力制御部２１２０は、カメラアダプタ１２０から前述した前景画像、背景画像、前述したオブジェクト等の被写体の三次元モデル、音声データ、及びカメラ露出情報を取得する。また、データ入力制御部２１２０は、取得した前景画像及び背景画像をデータ同期部２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２１４０に送信する。また、データ入力制御部２１２０は、受信したデータの圧縮伸張やデータルーティング処理等を行う機能を有する。ここで、制御部２１１０とデータ入力制御部２１２０は共に、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワークによる通信機能を有しているが、通信機能はこれらで共有されていてもよい。その場合、制御ステーション３１０からの制御コマンドによる指示やスタジアムＣＡＤデータをデータ入力制御部２１２０が受けて、制御部２１１０に対して送る方法を用いてもよい。
The data
データ同期部２１３０は、カメラアダプタ１２０から取得されたデータを不図示のＤＲＡＭ上に一次的に記憶し、前景画像、背景画像、音声データ、三次元モデルデータ、及びカメラ露出情報が揃うまでバッファリングする。なお、前景画像、背景画像、音声データ、三次元モデルデータ、及びカメラ露出情報をまとめて、以下の説明では撮影データと称する。撮影データには、ルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、データ同期部２１３０は、このメタ情報を元にデータの属性を確認する。これにより、データ同期部２１３０は、同一時刻のデータであることなどを判断してデータが揃ったことを確認する。データが揃ったら、データ同期部２１３０は、前景画像及び背景画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。なお、ここで揃えるデータは、後述する撮影データファイル生成部２１８０でファイル生成を行うために必要なデータである。
The data synchronizer 2130 temporarily stores data acquired from the
ＣＡＤデータ記憶部２１３５は、制御部２１１０から受け取ったスタジアム形状を示す三次元データ（以下、スタジアム形状データと称する。）を不図示のＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、ＣＡＤデータ記憶部２１３５は、画像結合部２１７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。
The CAD
キャリブレーション部２１４０は、カメラ１１２のキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを、後述する非撮影データファイル生成部２１８５に送る。また同時に、キャリブレーション部２１４０は、自身の記憶領域にもカメラパラメータを保持し、その保持したカメラパラメータの情報を、後述する三次元モデル結合部２１６０に送信する。
The
画像処理部２１５０は、データ同期部２１３０を介して供給された前景画像と背景画像に対し、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合にはその現像処理、カメラのレンズ歪みの補正等の処理を行う。そして、画像処理部２１５０は、画像処理を行った前景画像を撮影データファイル生成部２１８０に、背景画像を画像結合部２１７０にそれぞれ送信する。
The
三次元モデル結合部２１６０は、データ同期部２１３０を介して供給された同一時刻の三次元モデルデータを、キャリブレーション部２１４０が生成したカメラパラメータを用いて結合する。そして、三次元モデル結合部２１６０は、いわゆるＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。三次元モデル結合部２１６０にて生成された三次元モデルは、撮影データファイル生成部２１８０に送られる。
The 3D
画像結合部２１７０は、画像処理部２１５０から背景画像を取得し、ＣＡＤデータ記憶部２１３５からスタジアム形状データを取得し、そのスタジアム形状データの座標に対する背景画像の位置を特定する。画像結合部２１７０は、背景画像の各々についてスタジアム形状データの座標に対する位置が特定できると、それら背景画像を結合して一つの背景画像とする。なお、背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。
The
撮影データファイル生成部２１８０は、データ同期部２１３０から音声とカメラ露出情報を、画像処理部２１５０から前景画像を、三次元モデル結合部２１６０から三次元モデルデータを、画像結合部２１７０から三次元形状に結合された背景画像を、取得する。そして、撮影データファイル生成部２１８０は、それら取得したデータをＤＢアクセス制御部２１９０に対して出力する。ここで、撮影データファイル生成部２１８０は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。なお、撮影データファイル生成部２１８０は、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部２１８０は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。なお、カメラアダプタ１２０が出力した背景画像のフレームレートは前景画像のフレームレートより低いため、ある時刻においては背景画像が存在しない場合がある。この場合、撮影データファイル生成部２１８０は、背景画像の対応付けは行わない。また、撮影データファイル生成部２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて出力する。なお、撮影データファイル生成部２１８０は、対応付けられたデータをデータの種類別にファイル化して出力してもよいし、複数種類のデータを時間情報が示す時刻ごとにまとめてファイル化して出力してもよい。そして、このようにして対応付けられた撮影データが、ＤＢアクセス制御部２１９０を介してデータベース２５０に出力される。これにより、バックエンドサーバ２７０は、時刻情報が対応した前景画像と背景画像とから仮想視点画像を生成可能となる。
The shooting data file
非撮影データファイル生成部２１８５は、キャリブレーション部２１４０からカメラパラメータ、制御部２１１０からスタジアム形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２１９０に送信する。なお、非撮影データファイル生成部２１８５は、入力されるデータであるカメラパラメータ又はスタジアム形状データを、個別にファイル形式に応じて成形する。すなわち、非撮影データファイル生成部２１８５は、カメラパラメータとスタジアム形状データのどちらか一方のデータを受信した場合、それらを個別にＤＢアクセス制御部２１９０に送信する。
The non-photographed data file
ＤＢアクセス制御部２１９０は、いわゆるＩｎｆｉｎｉＢａｎｄ等により高速な通信が可能となるようにデータベース２５０と接続される。そして、ＤＢアクセス制御部２１９０は、撮影データファイル生成部２１８０と非撮影データファイル生成部２１８５から受信したデータを、データベース２５０に対して送信する。本実施形態の場合、撮影データファイル生成部２１８０が時刻情報に基づいて対応付けた撮影データは、ＤＢアクセス制御部２１９０を介して、データベース２５０へ出力される。
The DB
なお、本実施形態では、フロントエンドサーバ２３０が前景画像と背景画像の対応付けを行うものとするが、これに限らず、データベース２５０が対応付けを行ってもよい。この場合、データベース２５０は、フロントエンドサーバ２３０から、時刻情報を有する前景画像及び背景画像を取得する。そして、データベース２５０は、前景画像と背景画像とを前景画像の時刻情報及び背景画像の時刻情報に基づいて対応付けて、データベース２５０が備える記憶部に出力してもよい。
In the present embodiment, the front-
図４は、本実施形態のバックエンドサーバ２７０の機能ブロックを示した図である。
図４に示すように、バックエンドサーバ２７０は、データ受信部３００１、前景の処理のための、前景テクスチャ決定部３００３、テクスチャ境界色合わせ部３００４、仮想視点前景画像生成部３００５を有する。また、バックエンドサーバ２７０は、背景テクスチャ貼り付け部３００２、レンダリングモード管理部３０１４、レンダリング部３００６を有する。さらに、バックエンドサーバ２７０は、仮想視点音声生成部３００７、合成部３００８、画像出力部３００９を有する。また、バックエンドサーバ２７０は、前景のデータの読出しのために、前景オブジェクト決定部３０１０、要求リスト生成部３０１１、要求データ出力部３０１２を有する。加えて、バックエンドサーバ２７０は、前景画像カメラ露出情報取得部３０１５、背景画像カメラ露出情報取得部３０１６、カメラ露出情報比較部３０１７、背景画像取得判定部３０１８、背景画像要求部３０１９を有する。
FIG. 4 is a diagram illustrating functional blocks of the back-
As shown in FIG. 4, the back-
データ受信部３００１は、データベース２５０及びコントローラ３００から送信されるデータを受信する。また、データ受信部３００１は、データベース２５０から、スタジアム形状データ、前景画像、背景画像、前景画像の三次元モデル（以降、前景三次元モデルと称する）、及び音声を受信する。さらに、データ受信部３００１は、受信した前景画像及び背景画像に関連づけられたカメラ露出情報をもデータベース２５０から受信する。
The
また、データ受信部３００１は、コントローラ３００から、仮想視点画像の生成に係る視点を指定する仮想カメラパラメータを受信する。仮想カメラパラメータは、仮想視点の位置や姿勢等を表すデータであり、例えば外部パラメータの行列と内部パラメータの行列が用いられる。なお、データ受信部３００１がコントローラ３００から取得するデータは、仮想カメラパラメータに限らない。コントローラ３００から出力される情報は、視点の指定方法、コントローラ３００が動作させているアプリケーションを特定する情報、コントローラ３００の識別情報、コントローラ３００を使用するユーザの識別情報の、少なくとも何れかを含んでいてもよい。また、データ受信部３００１は、コントローラ３００から出力される上記の情報と同様の情報を、エンドユーザ端末１９０から取得してもよい。さらに、データ受信部３００１は、データベース２５０やコントローラ３００等の装置から、複数のカメラ１１２に関する情報を取得してもよい。複数のカメラ１１２に関する情報は、例えば、複数のカメラ１１２の数に関する情報や複数のカメラ１１２の動作状態に関する情報等である。カメラ１１２の動作状態には、例えば、カメラ１１２の正常状態、故障状態、待機状態、起動状態、及び再起動状態の少なくとも何れかが含まれる。
The
背景テクスチャ貼り付け部３００２は、背景メッシュモデル管理部３０１３から背景メッシュモデル（スタジアム形状データ）を取得する。背景テクスチャ貼り付け部３００２は、背景メッシュモデルで示される三次元空間形状に対して、データベース２５０から取得した背景画像をテクスチャとして貼り付けることでテクスチャ付き背景メッシュモデルを生成する。メッシュモデルとは、例えばＣＡＤデータ等の三次元の空間形状を面の集合で表現したデータのことである。テクスチャとは、物体の表面の質感を表現するために貼り付ける画像のことである。ただし、データ受信部３００１がデータベース２５０より受信するデータの中に、背景メッシュモデル及び背景画像が存在しない場合がある。この場合、背景テクスチャ貼り付け部３００２は、直前にデータベース２５０より受信した背景メッシュモデル及び背景画像を用いてテクスチャ付き背景メッシュモデルを生成する。
The background
前景テクスチャ決定部３００３は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。
前景テクスチャ境界色合わせ部３００４は、各前景三次元モデルのテクスチャ情報と各三次元モデル群からテクスチャの境界の色合わせを行い、前景オブジェクト毎に色付き前景三次元モデル群を生成する。
仮想視点前景画像生成部３００５は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。
The foreground
The foreground texture boundary
The virtual viewpoint foreground
レンダリング部３００６は、レンダリングモード管理部３０１４で決定された、仮想視点画像の生成に用いられる方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。なお、仮想視点画像の生成方式の一例としては、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）やイメージベース（Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＩＢＲ）がある。
The
レンダリングモード管理部３０１４は、複数のレンダリングモードの中から使用するレンダリングモードを決定する。この決定は、データ受信部３００１が取得した情報に基づいて行われる。本実施形態では、複数のレンダリングモードを要求に応じて切り替え可能な構成にすることで、柔軟にシステムを構成することが可能になり、本実施形態の画像処理システム１００をスタジアム以外の被写体にも適用可能となる。なお、レンダリングモード管理部３０１４が保持するレンダリングモードは、システムに予め設定された方式であってもよい。
The rendering
仮想視点音声生成部３００７は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声（音声群）を生成する。
合成部３００８は、レンダリング部３００６で生成された画像群と仮想視点音声生成部３００７で生成された音声とを合成して仮想視点コンテンツを生成する。なお、バックエンドサーバ２７０は、レンダリング部３００６で生成された、音声を含まない仮想視点画像を出力してもよい。
画像出力部３００９は、合成部３００８にて生成された仮想視点コンテンツを、ネットワークを介してコントローラ３００とエンドユーザ端末１９０へ出力する。ただし、外部への伝送には、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワークに限定されるものではなく、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＨＤＭＩ（登録商標）等の信号伝送路が用いられてもよい。
The virtual viewpoint
The
The
前景オブジェクト決定部３０１０は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。つまり、前景オブジェクト決定部３０１０は、仮想視点の画像情報を物理的なカメラ１１２にマッピングする処理を実施する。この仮想視点は、レンダリングモード管理部３０１４で決定されるレンダリングモードに応じてマッピング結果が異なる。そのため、前景オブジェクト決定部３０１０は、複数の前景オブジェクトを決定する制御部を備えており、その制御部がレンダリングモードと連動して制御を行うようになされている。
The foreground
要求リスト生成部３０１１は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データを、データベース２５０に要求するための、要求リストを生成する。前景オブジェクトについては仮想視点を考慮して選択されたデータがデータベース２５０に要求されるが、背景画像と音声データについてはそのフレームに関する全てのデータが要求される。バックエンドサーバ２７０の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。また、要求リストには、要求する前景画像群及び背景画像に関連付けられたカメラ露出情報も含まれる。
The request
要求データ出力部３０１２は、入力された要求リストを基に、データベース２５０に対してデータ要求のコマンドを出力する。
背景メッシュモデル管理部３０１３は、データベース２５０から受信した背景メッシュモデルを記憶する。
前景画像カメラ露出情報取得部３０１５は、データベース２５０から取得する前景画像群に関連付けられたカメラ露出情報を全て取得する。
背景画像カメラ露出情報取得部３０１６は、データベース２５０から取得した背景画像に関連付けられたカメラ露出情報を取得する。
The request
The background mesh
The foreground image camera exposure
The background image camera exposure
カメラ露出情報比較部３０１７は、前景画像カメラ露出情報取得部３０１５が取得した全てのカメラ露出情報と、背景画像カメラ露出情報取得部３０１６が取得したカメラ露出情報とを比較する。本実施形態の場合、カメラ露出情報比較部３０１７は、背景画像のカメラ露出情報が、前景画像群のカメラ露出情報と一致しているかの観点で比較を行う。カメラ露出情報比較部３０１７は、先ず、取得した前景画像群のカメラ露出情報について、各前景画像のカメラ露出情報のＥＶ値が同一値であるかを確認する。次に、カメラ露出情報比較部３０１７は、前景画像群のカメラ露出情報のうち異なる数値が複数存在する場合には、露出情報ごとの数が最も多いカメラ露出情報のＥＶ値を、前景画像のカメラ露出情報とする。そして、カメラ露出情報比較部３０１７は、前記前景画像のカメラ露出情報のＥＶ値と、背景画像カメラ露出情報取得部３０１６が取得した背景画像のカメラ露出情報のＥＶ値との差分を算出し、差分値を背景画像取得判定部３０１８に出力する。なお、本実施形態では、前景画像と背景画像のＥＶ値の差分を比較結果としたが、一致または不一致を示すフラグであってもよい。
The camera exposure
背景画像取得判定部３０１８は、カメラ露出情報比較部３０１７による比較結果に応じて背景画像の再取得の指示を生成して出力する。例えば比較結果が前景画像と背景画像のカメラ露出情報の一致を示す場合、背景画像取得判定部３０１８は、背景テクスチャ貼り付け部３００２に対し、生成したテクスチャ付き背景メッシュモデルをレンダリング部３００６に出力するよう指示する。一方、例えば、比較結果が前景画像と背景画像のカメラ露出情報の不一致を示す場合、背景画像取得判定部３０１８は、背景画像要求部３０１９に対して、背景画像の再取得を指示する。その際、背景画像取得判定部３０１８は、カメラ露出情報比較部３０１７より前景画像のカメラ露出情報も取得し、背景画像要求部３０１９に出力する。
The background image
背景画像要求部３０１９は、背景画像取得判定部３０１８からの指示に応じて、前景画像のカメラ露出情報と一致したカメラ露出情報を持つ背景画像を要求するコマンドを、データベース２５０に出力する。本実施形態の場合、データベース２５０に要求する背景画像は、仮想視点画像の生成に使用可能な背景画像の中で、前景画像のカメラ露出情報と一致したカメラ露出情報を持つ背景画像である。具体的には、データベース２５０に要求する背景画像は、データ受信部３００１が直前に取得した背景画像における撮影時刻より後の時刻であって、且つ最も近い撮影時刻の背景画像とする。この結果、前景画像のカメラ露出情報と同一のカメラ露出情報を持つ背景画像データが、背景テクスチャ貼り付け０３００２に入力されることになる。
In response to an instruction from the background image
なお、本実施形態では、バックエンドサーバ２７０が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を行う場合を中心に説明するが、これには限らない。すなわち、生成方式を決定した装置はその決定結果に応じたデータを出力すればよい。例えば、フロントエンドサーバ２３０が、複数のカメラ１１２に関する情報や仮想視点画像の生成に係る視点を指定する装置から出力される情報等に基づいて、仮想視点画像の生成に用いられる生成方式を決定してもよい。そして、フロントエンドサーバ２３０は、カメラ１１２による撮影に基づく画像データと決定された生成方式を示す情報とを、データベース２５０等の記憶装置とバックエンドサーバ２７０等の画像生成装置の少なくとも何れかに出力してもよい。この場合、例えばフロントエンドサーバ２３０が出力した生成方式を示す情報に基づいて、バックエンドサーバ２７０が仮想視点画像を生成する。このようにフロントエンドサーバ２３０が生成方式を決定することで、決定された方式とは別の方式での画像生成のためのデータを、データベース２５０やバックエンドサーバ２７０が処理することによる処理負荷を低減できる。一方、本実施形態のように、バックエンドサーバ２７０が生成方式を決定する場合、データベース２５０は、複数の生成方式に対応可能なデータを保持するため、複数の生成方式それぞれに対応する複数の仮想視点画像の生成が可能となる。
In this embodiment, the case where the back-
次に、本実施形態における仮想視点画像生成方法について、図５を用いて説明する。
図５は、オペレータ（ユーザ）により仮想カメラ操作ＵＩ３３０の操作が行われてから、仮想視点画像が生成されてエンドユーザ端末１９０に表示されるまでの、仮想カメラ操作ＵＩ３３０、バックエンドサーバ２７０及びデータベース２５０の処理フローである。
Next, a virtual viewpoint image generation method according to this embodiment will be described with reference to FIG.
FIG. 5 illustrates the virtual
先ず、図５のＳ３３００において、仮想カメラ操作ＵＩ３３０は、オペレータ（ユーザ）から仮想カメラを操作するための入力を取得する。仮想カメラ操作ＵＩ３３０への入力装置としては、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウス等が用いられるとする。ここでは、オペレータによる仮想カメラの操作として、例えば仮想カメラの位置や姿勢、ズーム倍率等の操作指示が入力されたとする。オペレータから仮想カメラの操作指示が入力されると、仮想カメラ操作ＵＩ３３０は、Ｓ３３０１において、その操作指示に応じた仮想カメラパラメータを導出（算出）する。この場合の仮想カメラパラメータには、仮想カメラの位置と姿勢等を示す外部パラメータ、及び仮想カメラのズーム倍率等を示す内部パラメータが含まれる。そして、仮想カメラ操作ＵＩ３３０は、Ｓ３３０２において、導出した仮想カメラパラメータを、バックエンドサーバ２７０に送信する。
First, in S3300 of FIG. 5, the virtual
バックエンドサーバ２７０は、仮想カメラパラメータを受信すると、Ｓ３３０３において、データベース２５０に対して前景三次元モデル群を要求する。データベース２５０は、Ｓ３３０４において、バックエンドサーバ２７０からの要求に応じて前景オブジェクトの位置情報を含む前景三次元モデル群をバックエンドサーバ２７０に送信する。これにより、バックエンドサーバ２７０は、Ｓ３３０５において、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの位置情報に基づいて、仮想カメラの視野に入る前景オブジェクト群を幾何学的に導出（算出）する。そして、バックエンドサーバ２７０は、Ｓ３３０６において、前景オブジェクト群を要求するリクエストを、データベース２５０に送信する。
When receiving the virtual camera parameter, the back-
データベース２５０は、バックエンドサーバ２７０からリクエストを受信すると、Ｓ３３０７において、そのリクエストに応じたデータを読み出してバックエンドサーバ２７０に送信する。バックエンドサーバ２７０は、データベース２５０からデータを受信すると、Ｓ３３０８において、前景オブジェクト群の前景画像に関連付けられた全てのカメラ露出情報から前景画像のカメラ露出情報のＥＶ値を算出する。さらに、バックエンドサーバ２７０は、その算出したＥＶ値と、受信した背景画像のカメラ露出情報ＥＶ値とが一致しているか否かの比較を行う。なお、バックエンドサーバ２７０は、仮想視点画像の生成に用いる複数の前景画像の平均ＥＶ値を前景画像のカメラ露出情報ＥＶ値とし、仮想視点画像の生成に用いる複数の背景画像の平均ＥＶ値を背景画像のカメラ露出情報ＥＶ値としてもよい。なお、バックエンドサーバ２７０は、前景画像のカメラ露出情報のＥＶ値と、背景画像のカメラ露出情報ＥＶ値との差が所定の閾値より小さいか否かを判定するようにしてもよい。そして、バックエンドサーバ２７０は、前景画像と背景画像のカメラ露出情報（ＥＶ値）が不一致の場合、Ｓ３３０９において、前景画像と同じカメラ露出情報が関連付けられた背景画像の送信を、データベース２５０にリクエストする。なお、バックエンドサーバ２７０は、仮想視点画像の生成に用いる複数の前景画像を取得し、取得した前景画像に基づいて定めたＥＶ値を有する背景画像をデータベース２５０にリクエストするようにしてもよい。
Upon receiving a request from the
データベース２５０は、バックエンドサーバ２７０からのリクエストを受信すると、Ｓ３３１０において、そのリクエストに応じて、前景画像と同じカメラ露出情報が関連付けられた背景画像のデータを読み出して、バックエンドサーバ２７０に送信する。バックエンドサーバ２７０は、Ｓ３３１１において、データベース２５０から受信した前景画像、前景三次元モデル及び背景画像を基に仮想視点の前景画像及び背景画像を生成し、それらを合成して仮想視点の全景画像を生成する。また、バックエンドサーバ２７０は、Ｓ３３１１において、音声データ群に基づいて仮想カメラの位置に応じた音声データの合成を行い、仮想視点の全景画像と統合して仮想視点の画像及び音声を生成する。そして、バックエンドサーバ２７０は、その生成した仮想視点の画像及び音声を、Ｓ３３１２において、仮想カメラ操作ＵＩ３３０に送信する。仮想カメラ操作ＵＩ３３０は、受信した画像を例えばエンドユーザ端末１９０に表示等させることで、仮想カメラの撮影画像の表示等を実現する。
Upon receiving the request from the back-
以上、前景画像と背景画像とを異なるフレームレートで出力する第１の実施形態の画像処理システム１００において、撮影時の撮影パラメータ変更等によって前景画像と背景画像とでカメラ露出情報が異なった際の仮想視点画像の生成方法について説明した。
本実施形態の画像処理システム１００においては、仮想視点画像生成に使用される前景画像と背景画像のカメラ露出情報を一致させることができる。これにより、本実施形態の画像処理システム１００によれば、複数のカメラ１１２にて撮像された画像データを基に仮想視点画像を生成する場合に、カメラ露出情報の一致する前景画像と背景画像を用いて仮想視点画像を生成できる。すなわち、本実施形態によれば、輝度が不連続になるような不自然さのない自然な仮想視点画像の生成が可能となる。なお、バックエンドサーバ２７０は、前景画像と背景画像とでカメラ露出情報が異なる場合、背景画像を優先し、背景画像が撮影された際の露出で撮影された前景画像を仮想視点画像の生成に用いる構成としてもよい。
As described above, in the
In the
＜第２の実施形態＞
以下、第２の実施形態として、撮影時の撮影パラメータ変更等によって仮想視点画像の生成に用いる前景画像と背景画像の露出情報が異なった場合に、背景画像の画質を前景画像に適するように調整して、仮想視点画像を生成する方法について説明する。
<Second Embodiment>
Hereinafter, as the second embodiment, when the exposure information of the foreground image and the background image used for generating the virtual viewpoint image is different due to the shooting parameter change at the time of shooting or the like, the image quality of the background image is adjusted to be suitable for the foreground image. A method for generating a virtual viewpoint image will be described.
第２の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、フロントエンドサーバ２３０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。
The schematic configuration of the
図６は、第２の実施形態におけるバックエンドサーバ２７０の機能ブロックを示した図である。第２の実施形態のバックエンドサーバ２７０は、図４に示したバックエンドサーバ２７０のカメラ露出情報比較部３０１７、背景画像取得判定部３０１８、及び背景画像要求部３０１９を備えず、一方、背景画像画質補正部３０２０を備えている。なお、図６のデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６は、概ね図４に示したデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６と同様の構成であるためそれらの説明は省略する。
FIG. 6 is a diagram illustrating functional blocks of the back-
背景画像画質補正部３０２０は、前景画像及び背景画像のカメラ露出情報に基づき、背景画像の画質を補正する。このため、背景画像画質補正部３０２０は、先ず、前景画像カメラ露出情報取得部３０１５が取得した全てのカメラ露出情報と、背景画像カメラ露出情報取得部３０１６が取得したカメラ露出情報とを取得する。なお、第２の実施形態においても第１の実施形態と同様に、前景画像群のカメラ露出情報のうち異なる数値が存在する場合、それら複数ある前景画像のカメラ露出情報のうち最も多数のカメラ露出情報のＥＶ値が、前景画像のカメラ露出情報となされる。そして、背景画像画質補正部３０２０は、データベース２５０からデータ受信部３００１を介して供給される背景画像の画質を、それら前景画像及び背景画像のカメラ露出情報を基に補正する。具体的には、前景画像のカメラ露出情報をＥＶｆ、背景画像のカメラ露出情報をＥＶｂ、背景画像データをＢＰとして表した場合、背景画像画質補正部３０２０は、下記式（２）演算により、補正後の背景画像データＢＰｃを算出する。
ＢＰｃ＝ＢＰ＊２(EVf-EVb) 式（２）
The background image image
BPc = BP * 2 (EVf-EVb) formula (2)
第２の実施形態の場合、背景画像画質補正部３０２０により画質補正がなされた後の背景画像（ＢＰｃ）は、背景テクスチャ貼り付け部３００２に出力される。第２の実施形態の場合、背景テクスチャ貼り付け部３００２は、画質補正後の背景画像を三次元空間形状に貼り付けて、テクスチャ付き背景メッシュモデルを生成する。
In the case of the second embodiment, the background image (BPc) after the image quality correction by the background image image
第２の実施形態のバックエンドサーバ２７０は、前景画像のカメラ露出情報と背景画像のカメラ露出情報が異なる場合、前景画像のカメラ露出情報に基づいて背景画像の画質補正を行うことで、不自然さのない仮想視点画像を得ることができる。また、バックエンドサーバ２７０は、前景画像のカメラ露出情報に基づいて背景画像の画像処理を行うことで前景画像の明るさや色味と背景画像の明るさや色味とを対応させることができる。したがって、このような前景画像および背景画像を用いて仮想視点画像を生成するので不自然さのない仮想視点画像を得ることができる。
When the camera exposure information of the foreground image and the camera exposure information of the background image are different from each other, the back-
なお、第２の実施形態の場合、背景画像画質補正部３０２０による背景画像の補正処理は、バックエンドサーバ２７０が前景画像及び背景画像をデータベース２５０より取得する度に実行されるが、この例に限定されるものではない。例えば、背景画像画質補正部３０２０は、前景画像のカメラ露出情報と背景画像のカメラ露出情報とを比較し、これら二つのカメラ露出情報が不一致である場合にのみ背景画像データの補正を行うようにしてもよい。
In the case of the second embodiment, the background image correction processing by the background image image
また、本実施形態のバックエンドサーバ２７０は、前景画像群のカメラ露出情報のうち異なる数値が存在する場合、最も多数のカメラ露出情報のＥＶ値を前景画像のカメラ露出情報とし、それ以外のＥＶ値を持つ前景画像を背景画像と同様に補正してもよい。これにより、カメラ間でも露出が異なる場合、前景画像と背景画像の輝度の不一致を簡単に調整することができる。なお、バックエンドサーバ２７０は、前景画像と背景画像とでカメラ露出情報が異なる場合、前景画像を背景画像に対応させるために画像処理し、前景画像の色調や明るさを補正する構成としてもよい。
Further, when there are different values among the camera exposure information of the foreground image group, the back-
＜第３の実施形態＞
前述した実施形態では、前景画像のカメラ露出情報と背景画像のカメラ露出情報が一致しなくなった時点で、適切な背景画像を再取得（第１の実施形態）、または背景画像の画質補正（第２の実施形態）を行い、前景画像と背景画像の輝度の不一致を解消している。しかしながら、例えば前景画像のカメラ露出情報が或る時刻を挟んだ前後で急激に変更された場合、生成された仮想視点画像は、時間方向で輝度が不連続になった不自然な映像になってしまう虞がある。
<Third Embodiment>
In the above-described embodiment, when the camera exposure information of the foreground image and the camera exposure information of the background image no longer match, an appropriate background image is reacquired (first embodiment), or the image quality of the background image is corrected (first image). Embodiment 2) is performed, and the brightness mismatch between the foreground image and the background image is eliminated. However, for example, when the camera exposure information of the foreground image is changed abruptly before and after a certain time, the generated virtual viewpoint image becomes an unnatural image with luminance discontinuity in the time direction. There is a risk of it.
そこで、第３の実施形態では、前景画像のカメラ露出情報が或る時刻を挟んで急激に変更された場合でも、時間方向で輝度が不連続になることなのない自然な仮想視点画像を生成可能にする処理について説明する。
第３の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、フロントエンドサーバ２３０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。
Therefore, in the third embodiment, even when the camera exposure information of the foreground image is abruptly changed at a certain time, it is possible to generate a natural virtual viewpoint image in which the luminance does not become discontinuous in the time direction. The process of making will be described.
The schematic configuration of the
図７は、第３の実施形態におけるバックエンドサーバ２７０の機能ブロックを示した図である。第３の実施形態のバックエンドサーバ２７０は、図４のバックエンドサーバ２７０のカメラ露出情報比較部３０１７、背景画像取得判定部３０１８、背景画像要求部３０１９を備えず、一方、背景画像画質補正部３０２０と時刻情報要求部３０２１を有する。なお、図７のデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６は、概ね図４に示したデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６と同様の構成であるためそれらの説明は省略する。
FIG. 7 is a diagram illustrating functional blocks of the back-
時刻情報要求部３０２１は、バックエンドサーバ２７０が取得した前景画像及び背景画像の時刻情報、さらに、前景画像のカメラ露出情報と同じ値が関連付けられた背景画像の時刻情報をデータベース２５０に要求する。
The time
背景画像画質補正部３０２０は、前景画像及び背景画像のカメラ露出情報と、データベース２５０から取得した時刻情報とを用いて、仮想視点画像を生成したいフレームの時刻に適した背景画像のカメラ露出情報を算出し、背景画像の画質補正を行う。
The background image
以下、第３の実施形態における背景画像の画質補正処理について、図８を用いて詳細に説明する。
図８において、仮想視点画像を生成したいフレームの時刻をｔｘ、背景画像がデータベース２５０に存在する時刻をｔ１、ｔ２（ｔ１＜ｔ２）とする。また、露出変更は時刻ｔｘの直前で行われており、露出変更以前のカメラ露出情報はＥＶα、露出変更後のカメラ露出情報はＥＶβとする。
Hereinafter, the image quality correction processing of the background image in the third embodiment will be described in detail with reference to FIG.
In FIG. 8, the time of the frame for which the virtual viewpoint image is to be generated is tx, and the time when the background image exists in the
先ず、前景画像カメラ露出情報取得部３０１５は前景画像のカメラ露出情報を取得し、背景画像カメラ露出情報取得部３０１６は背景画像のカメラ露出情報を取得する。ここで、時刻ｔｘ時点ではその直前に露出変更が行われているため、前景画像カメラ露出情報取得部３０１５が取得している前景画像のカメラ露出情報はＥＶβとなる。一方、背景画像には対応するデータが存在しないため、背景画像カメラ露出情報取得部３０１６が取得する背景画像のカメラ露出情報は、バックエンドサーバ２７０が直前に取得した背景画像のカメラ露出情報であるＥＶαとなる。
First, the foreground image camera exposure
次に、時刻情報要求部３０２１は、バックエンドサーバ２７０が直前に取得した背景画像の時刻情報、及び、前景画像のカメラ露出情報ＥＶβと同じ値をもつ背景画像が存在する時刻情報を、データベース２５０に要求する。
Next, the time
データベース２５０は、時刻情報要求部３０２１の要求に応じて所定の時刻情報をバックエンドサーバ２７０に出力する。なお、バックエンドサーバ２７０が直前に取得した背景画像の時刻情報はｔ１、前景画像のカメラ露出情報ＥＶβと同じ値をもつ背景画像が存在する時刻情報はｔ２である。
The
バックエンドサーバ２７０が時刻情報をデータベース２５０より取得すると、背景画像画質補正部３０２０は、前景画像カメラ露出情報取得部３０１５と背景画像カメラ露出情報取得部３０１６とから、それぞれカメラ露出情報を取得する。第３の実施形態においても第１、第２の実施形態と同様に、前景画像群のカメラ露出情報のうち異なる数値が存在する場合には、最も多数のカメラ露出情報のＥＶ値が前景画像のカメラ露出情報となされる。
When the back-
第３の実施形態の場合、背景画像画質補正部３０２０は、下記式（３）の演算により、仮想視点画像を生成するフレーム時刻ｔｘのカメラ露出情報ＥＶｘを算出する。
ＥＶｘ＝ＥＶβ＊（ｔｘ−ｔ１）／（ｔ２−ｔ１）＋ＥＶα＊（ｔ２−ｔｘ）／（ｔ２−ｔ１） 式（３）
In the case of the third embodiment, the background image
EVx = EVβ * (tx−t1) / (t2−t1) + EVα * (t2−tx) / (t2−t1) Equation (3)
さらに、背景画像画質補正部３０２０は、下記式（４）の演算を行い、背景画像データの補正を行う。なお、式（４）のＢＰは補正前の背景画像データ、ＢＰｃは補正後の背景画像データを表している。
ＢＰｃ＝ＢＰ＊２(EVx-EVα) 式（４）
Further, the background image image
BPc = BP * 2 (EVx-EVα ) Formula (4)
そして、背景画像画質補正部３０２０は、画質補正した背景画像を背景テクスチャ貼り付け部３００２に出力する。背景テクスチャ貼り付け部３００２は、画質補正後の背景画像を三次元空間形状に貼り付けて、テクスチャ付き背景メッシュモデルを生成する。
Then, the background image
以上説明したように、第３の実施形態のバックエンドサーバ２７０は、前景画像のカメラ露出情報と背景画像のカメラ露出情報が異なる場合、前景画像及び背景画像のカメラ露出情報と時刻情報に基づいて、背景画像の画質補正を行う。これにより、第３の実施形態によれば、時間方向においても輝度が不連続になることのない自然な仮想視点画像を生成することができる。
As described above, the back-
＜第４の実施形態＞
前述の実施形態では、仮想視点画像生成時に前景画像と背景画像のカメラ露出情報が不一致の場合に、適切な背景画像を再取得（第１の実施形態）、または背景画像の画質補正（第２、第３の実施形態）行って前景画像と背景画像の輝度の不一致を解消している。
第４の実施形態では、データベース２５０に撮影データを格納する前に、前景画像と背景画像のカメラ露出情報の不一致を検出して、輝度の不一致を解消した背景画像を生成する処理について説明する。
第４の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。
<Fourth Embodiment>
In the above-described embodiment, if the camera exposure information of the foreground image and the background image does not match when the virtual viewpoint image is generated, an appropriate background image is reacquired (first embodiment), or the image quality of the background image is corrected (the second image). In the third embodiment, the brightness mismatch between the foreground image and the background image is eliminated.
In the fourth embodiment, a process of detecting a mismatch between camera exposure information of a foreground image and a background image before storing shooting data in the
The schematic configuration of the
図９は、第４の実施形態におけるフロントエンドサーバ２３０の機能ブロックを示した図である。第４の実施形態のフロントエンドサーバ２３０は、図３に示したフロントエンドサーバ２３０にカメラ露出情報比較部２２００が加えられた構成となされている。なお、図９のデータ入力制御部２１２０〜ＤＢアクセス制御部２１９０は、概ね図３に示したデータ入力制御部２１２０〜ＤＢアクセス制御部２１９０と同様の構成であるためそれらの説明は省略する。
FIG. 9 is a functional block diagram of the front-
フロントエンドサーバ２３０のデータ同期部２１３０は、第１の実施形態と同様に、同一時刻の撮影データを揃うまでデータをバッファする。データ同期部２１３０は、撮影データが揃うと、前景画像及び背景画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。また、データ同期部２１３０は、カメラ露出情報をカメラ露出情報比較部２２００に出力する。
Similar to the first embodiment, the
カメラ露出情報比較部２２００は、データ同期部２１３０から、全てのセンサシステム１１０の前景画像及び背景画像のカメラ露出情報を取得する。先ず、カメラ露出情報比較部２２００は、複数ある前景画像のカメラ露出情報のうち異なる数値が存在する場合には、最も多数のカメラ露出情報のＥＶ値を前景画像のカメラ露出情報とする。次に、カメラ露出情報比較部２２００は、全ての背景画像のカメラ露出情報について、前景画像のカメラ露出情報との比較を行う。第４の実施形態において、カメラ露出情報比較部２２００は、前景画像のカメラ露出情報のＥＶ値と、各センサシステム１１０の背景画像のＥＶ値との差分を算出し、それら差分値をカメラ識別子と一緒に画像処理部２１５０へ出力する。
The camera exposure
第４の実施形態における画像処理部２１５０は、第１の実施形態と同様に、前景画像及び背景画像のＲＡＷ画像データが入力される場合にはその現像処理、及び、カメラのレンズ歪みの補正等の処理を行う。そして、画像処理部２１５０は、カメラ露出情報比較部２２００から入力されたＥＶ値の差分値及びカメラ識別子を基に、前景画像のカメラ露出情報の値とは異なる値をもつ背景画像の画質を補正する。背景画像の画質の補正の際には、第２の実施形態の式（２）、又は第３の実施形態の式（３）、式（４）等を用いた補正処理を行う。そして、画像処理部２１５０は、画像処理後の前景画像を撮影データファイル生成部２１８０に、また、画像処理後の背景画像を画像結合部２１７０にそれぞれ出力する。
As in the first embodiment, the
画像結合部２１７０は、画像処理部２１５０から背景画像を取得し、ＣＡＤデータ記憶部２１３５からスタジアムの三次元形状データ（スタジアム形状データ）を取得して、取得したスタジアム形状データの座標に対する背景画像の位置を特定する。そして、画像結合部２１７０は、背景画像の各々についてスタジアム形状データの座標に対する位置が特定できると、背景画像を結合して一つの背景画像とする。
The
図１０は、第４の実施形態におけるバックエンドサーバ２７０の機能ブロックを示した図である。第４の実施形態のバックエンドサーバ２７０は、図４の前景画像カメラ露出情報取得部３０１５、背景画像カメラ露出情報取得部３０１６、カメラ露出情報比較部３０１７、背景画像取得判定部３０１８、背景画像要求部３０１９を除いた構成となされている。なお、図１０のデータ受信部３００１〜レンダリングモード管理部３０１４は、概ね図４に示したデータ受信部３００１〜レンダリングモード管理部３０１４と同様の構成であるためそれらの説明は省略する。
FIG. 10 is a diagram illustrating functional blocks of the back-
第４の実施形態におけるバックエンドサーバ２７０は、前景画像及び背景画像のカメラ露出情報を取得してカメラ露出情報の比較処理を行う必要がない。したがって、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０を介して指定された視点を基に、データベース２５０から対応する前景画像及び背景画像と音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
The back-
すなわち、第４の実施形態の画像処理システム１００は、前景画像のカメラ露出情報と背景画像のカメラ露出情報が異なる場合、フロントエンドサーバ２３０にて背景画像の画質補正を行うことで、輝度が不連続になることにない自然な仮想視点画像を生成できる。
That is, in the
＜第５の実施形態＞
第５の実施形態では、センサシステム１１０にて背景画像の伝送タイミングを変更することで、前景画像と背景画像のカメラ露出情報の不一致解消する処理について説明する。
第５の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、フロントエンドサーバ２３０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。また、第５の実施形態のバックエンドサーバ２７０は、前述した第４の実施形態と同様の機能を備えるため、その説明も省略する。
<Fifth Embodiment>
In the fifth embodiment, description will be given of processing for eliminating the mismatch between the camera exposure information of the foreground image and the background image by changing the transmission timing of the background image in the sensor system 110.
The schematic configuration of the
以下、図２を参照して、第５の実施形態において、センサシステム１１０内のカメラアダプタ１２０で実施される、背景画像の伝送タイミング変更処理について説明する。
第５の実施形態のカメラアダプタ１２０のカメラ制御部６１４１は、カメラ１１２と接続され、撮影パラメータ（画素数、色深度、フレームレート、ホワイトバランスの設定等）の変更指示に応じてカメラ制御を行う。同時に、カメラ制御部６１４１は、撮影パラメータを変更したことをデータ送受信部６１１１に通知する。
Hereinafter, with reference to FIG. 2, background image transmission timing change processing performed by the
A
データ送受信部６１１１は、前述の第１の実施形態と同様に、前景背景分離部６１３１がカメラ１１２の撮影画像から分離した前景画像及び背景画像を、別のカメラアダプタ１２０に対して出力する。この時、データ送受信部６１１１は、カメラ１１２の撮影画像から分離した背景画像の一部フレームを間引きし、前景画像より低フレームレートで背景画像を出力する。ただし、データ送受信部６１１１は、カメラ制御部６１４１より撮影パラメータ変更の通知を受信すると、撮影パラメータ変更直後の背景画像の間引き処理をキャンセルし、その背景画像を別のカメラアダプタ１２０に対して出力する。
Similar to the first embodiment, the data transmission /
以上説明したように、第５の本実施形態の画像処理システム１００では、撮影パラメータ変更直後の前景画像と背景画像が共にデータベース２５０に格納されることになり、バックエンドサーバ２７０では輝度が不連続になることのない仮想視点画像を生成できる。
As described above, in the
＜第６の実施形態＞
第５の実施形態では、センサシステム１１０にて背景画像の伝送タイミングを変更することで、前景画像と背景画像のカメラ露出情報の不一致解消する処理を例に挙げた。第６の実施形態では、カメラアダプタ１２０の外部より撮影パラメータ変更指示が入力された際、カメラ１１２に撮影パラメータを設定するタイミングを制御することで前景画像と背景画像のカメラ露出情報の不一致を解消する処理について説明する。なお、第６の実施形態の画像処理システム１００の構成は、第５の実施形態の場合と同様である。
<Sixth Embodiment>
In the fifth embodiment, an example is given of processing for eliminating the mismatch between the camera exposure information of the foreground image and the background image by changing the transmission timing of the background image in the sensor system 110. In the sixth embodiment, when a shooting parameter change instruction is input from the outside of the
第６の実施形態の場合、先ず、カメラ制御部６１４１は、データ送受信部６１１１で実施される背景画像の間引きタイミングを取得しておく。そして、カメラ制御部６１４１は、撮影パラメータ変更指示が入力されても、前景画像及び背景画像の両方が別のカメラアダプタ１２０に出力されることが確定している撮影画像から、変更後の撮影パラメータが適用されるようにカメラ１１２を制御する。
In the case of the sixth embodiment, first, the
第６の実施形態によれば、撮影パラメータ変更直後の前景画像と背景画像が共にデータベース２５０に格納されることになり、バックエンドサーバ２７０では輝度が不連続になることのない仮想視点画像を生成できる。
According to the sixth embodiment, both the foreground image and the background image immediately after the shooting parameter change are stored in the
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read the program. It can also be realized by processing to be executed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００：画像処理システム、１１０：センサシステム、１１２：カメラ、１２０：カメラアダプタ、１８０：スイッチングハブ、２００：画像コンピューティングサーバ、２３０：フロントエンドサーバ、２５０：データベース、２７０：バックエンドサーバ、２９０：タイムサーバ、３００：コントローラ、３１０：制御ステーション、３３０：仮想カメラ操作ＵＩ、１９０：エンドユーザ端末 100: Image processing system, 110: Sensor system, 112: Camera, 120: Camera adapter, 180: Switching hub, 200: Image computing server, 230: Front end server, 250: Database, 270: Back end server, 290: Time server, 300: Controller, 310: Control station, 330: Virtual camera operation UI, 190: End user terminal
Claims (22)
前記複数の画像のうちの何れかに基づく画像であって、所定のオブジェクトに対応する前景画像を取得する第１取得手段と、
前記第１取得手段により取得された前記前景画像が撮影された際の露出を示す露出情報を取得する第２取得手段と、
前記複数の画像のうちの何れかに基づく画像であって、前記第２取得手段により取得された露出情報に対応する露出で撮影され、前記所定のオブジェクトが含まれない背景画像を、前記第２取得手段により取得された露出情報に基づいて取得する第３取得手段と、
前記第１取得手段により取得された前記前景画像と前記第３取得手段により取得された前記背景画像とを用いて仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。 An image processing device that generates a virtual viewpoint image using a plurality of images photographed by a plurality of imaging devices,
First acquisition means for acquiring a foreground image corresponding to a predetermined object, the image being based on any of the plurality of images;
Second acquisition means for acquiring exposure information indicating exposure when the foreground image acquired by the first acquisition means is captured;
A background image that is based on any one of the plurality of images and is photographed with an exposure corresponding to the exposure information acquired by the second acquisition means and does not include the predetermined object, Third acquisition means for acquiring based on the exposure information acquired by the acquisition means;
Generating means for generating a virtual viewpoint image using the foreground image acquired by the first acquisition means and the background image acquired by the third acquisition means;
An image processing apparatus comprising:
前記第３取得手段は、前記第２取得手段により取得された前記複数の前景画像の露出情報に基づいて定めた露出で撮影された前記背景画像を取得することを特徴とする請求項１又は２に記載の画像処理装置。 The first acquisition means acquires a plurality of foreground images corresponding to the predetermined object,
The said 3rd acquisition means acquires the said background image image | photographed with the exposure defined based on the exposure information of these foreground images acquired by the said 2nd acquisition means. An image processing apparatus according to 1.
前記決定された前記前景画像の撮影時の露出情報と、前記決定された前記背景画像の撮影時の露出情報とを取得する取得手段と、
前記前景画像と前記背景画像を基に、前記仮想視点画像を生成する処理手段と、を有し、
前記処理手段は、前記決定された前記前景画像と前記背景画像との前記露出情報が異なる場合、前記決定された前景画像の露出に前記背景画像の露出を合わせる処理を行い、前記露出を合わせる処理後の前記背景画像と、前記決定された前景画像とを使用して、前記仮想視点画像を生成することを特徴とする画像処理装置。 Determining means for determining a foreground image and a background image to be used for generating a virtual viewpoint image from a plurality of foreground images and a plurality of background images obtained by separating a plurality of images captured by a plurality of imaging devices, respectively;
Acquisition means for acquiring exposure information at the time of shooting of the determined foreground image and exposure information at the time of shooting of the determined background image;
Processing means for generating the virtual viewpoint image based on the foreground image and the background image,
When the exposure information of the determined foreground image and the background image is different, the processing means performs a process of adjusting the exposure of the background image to the exposure of the determined foreground image, and a process of adjusting the exposure An image processing apparatus that generates the virtual viewpoint image using the subsequent background image and the determined foreground image.
前記決定された前景画像が複数存在し、前記複数の前景画像の露出情報が異なっている場合、前記複数の前景画像の複数の露出情報の中で、露出情報ごとの数が最も多い露出情報を前記決定された前景画像の露出情報として設定し、
前記設定した露出情報とは異なる露出情報の前景画像に対して、前記設定された露出情報の前記前景画像に画質を合わせる前記画質補正処理を行うことを特徴とする請求項６に記載の画像処理装置。 The processing means includes
When there are a plurality of the determined foreground images and the exposure information of the plurality of foreground images is different, the exposure information having the largest number for each exposure information among the plurality of exposure information of the plurality of foreground images. Set as exposure information of the determined foreground image,
The image processing according to claim 6, wherein the image quality correction process is performed on a foreground image having exposure information different from the set exposure information so as to match an image quality with the foreground image having the set exposure information. apparatus.
前記撮影された画像が分離された前景画像と背景画像とで、撮影時の露出情報が異なる場合には、前記前景画像および前記背景画像の露出情報を基に、前記背景画像に対して、前記前景画像に画質を合わせる所定の画質補正処理を行い、前記画質補正処理がなされた後の背景画像を前記保持手段に保持させる処理手段と、
前記保持手段に保持されている複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定手段と、
前記決定された前景画像と前記背景画像とを用いて仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。 Holding means for holding a plurality of foreground images and a plurality of background images obtained by respectively separating a plurality of images taken by a plurality of imaging devices;
When the foreground image and the background image from which the captured image is separated have different exposure information at the time of shooting, the exposure information of the foreground image and the background image is used for the background image. Processing means for performing a predetermined image quality correction process for matching the image quality to the foreground image, and holding the background image after the image quality correction process is performed in the holding means;
Determining means for determining a foreground image and a background image used for generating a virtual viewpoint image from among a plurality of foreground images and a plurality of background images held in the holding means;
Generating means for generating a virtual viewpoint image using the determined foreground image and the background image;
An image processing apparatus comprising:
前記制御手段から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理手段と、を有し、
前記制御手段は、前記画像の撮影時に露出が変更された場合、前記背景画像に対する前記間引き処理をキャンセルすることを特徴とする画像処理装置。 Control means for separating a captured image into a foreground image and a background image, performing a thinning process on the separated background image, and outputting a frame rate of the background image as a frame rate lower than the frame rate of the foreground image; ,
Processing means for generating a virtual viewpoint image based on the foreground image and the background image output from the control means,
The image processing apparatus according to claim 1, wherein the control unit cancels the thinning-out process for the background image when an exposure is changed at the time of photographing the image.
前記制御手段から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理手段と、を有し、
前記制御手段は、前記画像の撮影時の露出を変更する指示が入力された場合には、前記撮像した画像から分離された前記前景画像と背景画像の両方を出力するタイミングに合わせて、前記露出の変更を適用することを特徴とする画像処理装置。 Control means for separating a captured image into a foreground image and a background image, and outputting the foreground image and the background image at different frame rates;
Processing means for generating a virtual viewpoint image based on the foreground image and the background image output from the control means,
When an instruction to change the exposure at the time of capturing the image is input, the control unit adjusts the exposure in accordance with a timing to output both the foreground image and the background image separated from the captured image. An image processing apparatus characterized by applying the change.
前記決定された前記前景画像の撮影時の露出情報と、前記決定された前記背景画像の撮影時の露出情報とを取得する取得工程と、
前記前景画像と前記背景画像を基に、前記仮想視点画像を生成する処理工程と、を有し、
前記処理工程では、前記決定された前記前景画像と前記背景画像との前記露出情報が異なる場合、前記決定された前景画像の露出に前記背景画像の露出を合わせる処理を行い、前記露出を合わせる処理後の前記背景画像と、前記決定された前景画像とを使用して、前記仮想視点画像を生成することを特徴とする画像処理装置の画像処理方法。 A determination step of determining a foreground image and a background image used for generating a virtual viewpoint image from a plurality of foreground images and a plurality of background images obtained by separating a plurality of images captured by a plurality of imaging devices, respectively;
An acquisition step of acquiring exposure information at the time of shooting of the determined foreground image and exposure information at the time of shooting of the determined background image;
A process for generating the virtual viewpoint image based on the foreground image and the background image, and
In the processing step, if the exposure information of the determined foreground image and the background image is different, a process of adjusting the exposure of the background image to the exposure of the determined foreground image, and the process of adjusting the exposure An image processing method for an image processing apparatus, wherein the virtual viewpoint image is generated by using the background image after and the determined foreground image.
前記撮影された画像が分離された前景画像と背景画像とで、撮影時の露出情報が異なる場合には、前記前景画像および前記背景画像の露出情報を基に、前記背景画像に対して、前記前景画像に画質を合わせる所定の画質補正処理を行い、前記画質補正処理がなされた後の背景画像を前記保持工程に保持させる処理工程と、
前記保持工程にて保持されている複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定工程と、
前記決定された前景画像と前記背景画像とを用いて仮想視点画像を生成する生成工程と、
を有することを特徴とする画像処理装置の画像処理方法。 A holding step of holding a plurality of foreground images and a plurality of background images obtained by separating a plurality of images taken by a plurality of imaging devices, respectively;
When the foreground image and the background image from which the captured image is separated have different exposure information at the time of shooting, the exposure information of the foreground image and the background image is used for the background image. Performing a predetermined image quality correction process for matching the image quality to the foreground image, and holding the background image after the image quality correction process in the holding process;
A determining step for determining a foreground image and a background image used for generating a virtual viewpoint image from a plurality of foreground images and a plurality of background images held in the holding step;
Generating a virtual viewpoint image using the determined foreground image and the background image;
An image processing method for an image processing apparatus, comprising:
前記制御工程から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理工程と、を有し、
前記制御工程では、前記画像の撮影時に露出が変更された場合、前記背景画像に対する前記間引き処理をキャンセルすることを特徴とする画像処理装置の画像処理方法。 A control step of separating the captured image into a foreground image and a background image, performing a thinning process on the separated background image, and outputting the frame rate of the background image as a frame rate lower than the frame rate of the foreground image; ,
A processing step of generating a virtual viewpoint image based on the foreground image and the background image output from the control step,
An image processing method of an image processing apparatus, wherein, in the control step, the thinning process for the background image is canceled when an exposure is changed when the image is captured.
前記制御工程から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理工程と、を有し、
前記制御工程では、前記画像の撮影時の露出を変更する指示が入力された場合には、前記撮像した画像から分離された前記前景画像と背景画像の両方を出力するタイミングに合わせて、前記露出の変更を適用することを特徴とする画像処理装置の画像処理方法。 A control step of separating the captured image into a foreground image and a background image and outputting the foreground image and the background image at different frame rates;
A processing step of generating a virtual viewpoint image based on the foreground image and the background image output from the control step,
In the control step, when an instruction to change the exposure at the time of capturing the image is input, the exposure is performed in accordance with a timing for outputting both the foreground image and the background image separated from the captured image. An image processing method for an image processing apparatus, characterized by applying a change of
前記撮像装置から出力された前記前景画像および背景画像と前記露出情報とを取得する請求項５から１４の何れか１項に記載の画像処理装置と、
を有する画像処理システム。 An imaging device that separates a captured image into a foreground image and a background image and outputs them at different frame rates, and outputs exposure information at the time of capturing the image together with the foreground image and the background image;
The image processing device according to any one of claims 5 to 14, wherein the foreground image and the background image output from the imaging device and the exposure information are acquired.
An image processing system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017115986A JP2019003325A (en) | 2017-06-13 | 2017-06-13 | Image processing system, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017115986A JP2019003325A (en) | 2017-06-13 | 2017-06-13 | Image processing system, image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019003325A true JP2019003325A (en) | 2019-01-10 |
Family
ID=65006872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017115986A Pending JP2019003325A (en) | 2017-06-13 | 2017-06-13 | Image processing system, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019003325A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020191598A (en) * | 2019-05-23 | 2020-11-26 | キヤノン株式会社 | Image processing system |
-
2017
- 2017-06-13 JP JP2017115986A patent/JP2019003325A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020191598A (en) * | 2019-05-23 | 2020-11-26 | キヤノン株式会社 | Image processing system |
| US11935157B2 (en) | 2019-05-23 | 2024-03-19 | Canon Kabushiki Kaisha | Image processing system, image processing method, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11750792B2 (en) | Information processing apparatus, image generation method, control method, and storage medium | |
| US11689706B2 (en) | Method for generating virtual viewpoint image and image processing apparatus | |
| JP6894687B2 (en) | Image processing system, image processing device, control method, and program | |
| KR102121931B1 (en) | Control device, control method and storage medium | |
| JP6957215B2 (en) | Information processing equipment, information processing methods and programs | |
| KR102129792B1 (en) | Information processing device, image generation method, control method and program | |
| JP2018112997A (en) | Image processor, method of the same, program, and image processing system | |
| US20200329189A1 (en) | Control device, control method, and program | |
| US11095871B2 (en) | System that generates virtual viewpoint image, method and storage medium | |
| US11677925B2 (en) | Information processing apparatus and control method therefor | |
| US10708469B2 (en) | Image processing apparatus, method of controlling the same, non-transitory computer-readable storage medium, and image processing system | |
| JP2019022151A (en) | Information processing apparatus, image processing system, control method, and program | |
| JP6790145B2 (en) | Control device, control method, and program | |
| JP6827996B2 (en) | Image processing device, control method, and program | |
| JP2019003325A (en) | Image processing system, image processing method and program | |
| JP2019140483A (en) | Image processing system, image processing system control method, transmission device, transmission method, and program | |
| JP2023075859A (en) | Information processing apparatus, information processing method, and program | |
| JP7104504B2 (en) | Image processing system, image processing device, image transmission method, and program | |
| JP2019102940A (en) | Virtual viewpoint content generation system, voice processing device, control method for virtual viewpoint content generation system, and program | |
| JP2018191236A (en) | Information processing system, information processing method, apparatus, and program | |
| JP7134636B2 (en) | Control device, control method and program | |
| JP2021068373A (en) | Control apparatus, image processing system, control method, and program | |
| JP2023075860A (en) | Information processing apparatus, information processing method, and program | |
| JP2019096926A (en) | Image processing system, image processing method and program | |
| JP2021073799A (en) | Control device, control method, and program |