JP2019053738A - Image processing apparatus, image processing system, image processing method, and program - Google Patents
Image processing apparatus, image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP2019053738A JP2019053738A JP2018192134A JP2018192134A JP2019053738A JP 2019053738 A JP2019053738 A JP 2019053738A JP 2018192134 A JP2018192134 A JP 2018192134A JP 2018192134 A JP2018192134 A JP 2018192134A JP 2019053738 A JP2019053738 A JP 2019053738A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- display device
- viewpoint image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract 3
- 238000000034 method Methods 0.000 claims description 77
- 239000003086 colorant Substances 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract 2
- 238000004891 communication Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000004040 coloring Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、仮想視点画像を生成する技術に関するものである。 The present invention relates to a technique for generating a virtual viewpoint image.
昨今、複数のカメラを異なる位置に設置して多視点から被写体を撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像や3次元モデルを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。 In recent years, attention has been paid to a technique in which a plurality of cameras are installed at different positions, a subject is photographed from multiple viewpoints, and a virtual viewpoint image and a three-dimensional model are generated using the plurality of viewpoint images obtained by the photographing. According to the technique for generating a virtual viewpoint image from a plurality of viewpoint images as described above, for example, since a highlight scene of soccer or basketball can be viewed from various angles, the user can compare it with a normal image. A high sense of reality can be given.
特許文献1では、複数の視点から撮影した画像を合成して仮想視点画像を生成する場合に、画像内のオブジェクトの境界領域におけるレンダリング単位を小さくすることで、仮想視点画像の画質を向上することについて記載されている。 In Patent Document 1, when a virtual viewpoint image is generated by synthesizing images taken from a plurality of viewpoints, the image quality of the virtual viewpoint image is improved by reducing the rendering unit in the boundary region of the object in the image. Is described.
しかしながら、従来の技術では、異なる複数の要件に応じた仮想視点画像を生成できない場合が考えられる。例えば、高画質の仮想視点画像だけを生成する場合には、生成に係る処理時間が長くなることが考えられ、画質は低くともリアルタイムで仮想視点画像を見たいユーザの要件に応えることが困難になる虞がある。一方、低画質の仮想視点画像だけを生成する場合には、リアルタイム性よりも仮想視点画像が高画質であることを優先するユーザの要件に応えることが困難になる虞がある。 However, in the conventional technique, there may be a case where a virtual viewpoint image corresponding to a plurality of different requirements cannot be generated. For example, when generating only a high-quality virtual viewpoint image, the processing time for generation may be longer, making it difficult to meet the requirements of users who want to view the virtual viewpoint image in real time even if the image quality is low. There is a risk of becoming. On the other hand, when only a low-quality virtual viewpoint image is generated, it may be difficult to meet the requirements of users who prioritize that the virtual viewpoint image has higher image quality than real-time characteristics.
本発明は上記の課題に鑑みてなされたものであり、異なる複数の要件に応じた仮想視点画像を生成することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to generate a virtual viewpoint image according to a plurality of different requirements.
上記課題を解決するため、本発明に係る画像処理システムは、例えば以下の構成を有する。すなわち、複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、仮想視点を示す視点情報を取得する情報取得手段と、前記画像取得手段により取得された画像と前記情報取得手段により取得された前記視点情報とに基づいて仮想視点画像を生成する生成手段であって、表示装置へ出力される第1の仮想視点画像と、前記第1の仮想視点画像より画質が高い第2の仮想視点画像であって前記表示装置への前記第1の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される第2の仮想視点画像とを生成する生成手段とを有する。 In order to solve the above problems, an image processing system according to the present invention has, for example, the following configuration. That is, an image acquisition unit that acquires images based on photographing from a plurality of directions by a plurality of cameras, an information acquisition unit that acquires viewpoint information indicating a virtual viewpoint, an image acquired by the image acquisition unit, and the information acquisition Generation means for generating a virtual viewpoint image based on the viewpoint information acquired by the means, and a first virtual viewpoint image output to a display device and a first image having a higher image quality than the first virtual viewpoint image. Generating means for generating a second virtual viewpoint image that is output to another display device at a timing later than the output of the first virtual viewpoint image to the display device. .
本発明によれば、異なる複数の要件に応じた仮想視点画像を生成することができる。 According to the present invention, a virtual viewpoint image according to a plurality of different requirements can be generated.
[システム構成]
以下、本発明の実施形態について図面を参照して説明する。まず図1を用いて、仮想視点画像を生成し出力する画像処理システム10の構成について説明する。本実施形態における画像処理システム10は、画像処理装置1、カメラ群2、表示装置3、及び表示装置4を有する。
[System configuration]
Embodiments of the present invention will be described below with reference to the drawings. First, the configuration of an
なお、本実施形態における仮想視点画像は、仮想的な視点から被写体を撮影した場合に得られる画像である。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想的な視点(仮想視点)は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像(自由視点画像)が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。 Note that the virtual viewpoint image in the present embodiment is an image obtained when a subject is photographed from a virtual viewpoint. In other words, the virtual viewpoint image is an image representing the appearance at the designated viewpoint. The virtual viewpoint (virtual viewpoint) may be specified by the user, or may be automatically specified based on the result of image analysis or the like. That is, the virtual viewpoint image includes an arbitrary viewpoint image (free viewpoint image) corresponding to the viewpoint arbitrarily designated by the user. An image corresponding to the viewpoint designated by the user from a plurality of candidates and an image corresponding to the viewpoint automatically designated by the apparatus are also included in the virtual viewpoint image. In the present embodiment, the case where the virtual viewpoint image is a moving image will be mainly described. However, the virtual viewpoint image may be a still image.
カメラ群2は、複数のカメラを含み、各カメラはそれぞれ異なる方向から被写体を撮影する。本実施形態において、カメラ群2に含まれる複数のカメラは、それぞれが画像処理装置1と接続されており、撮影画像や各カメラのパラメータ等を画像処理装置1に送信する。ただしこれに限らず、カメラ群2に含まれる複数のカメラ同士が通信可能であり、カメラ群2に含まれる何れかのカメラが複数のカメラによる撮影画像や複数のカメラのパラメータ等を画像処理装置1に送信してもよい。また、カメラ群2に含まれる何れかのカメラが、撮影画像に代えて、複数のカメラによる撮影画像の差分に基づいて生成された画像など、カメラ群2による撮影に基づく画像を送信してもよい。
The
表示装置3は、仮想視点画像を生成するための仮想視点の指定を受け付け、指定に応じた情報を画像処理装置1に送信する。例えば、表示装置3はジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの入力部を有し、仮想視点を指定するユーザ(操作者)は入力部を操作することで仮想視点を指定する。本実施形態におけるユーザとは、表示装置3の入力部を操作して仮想視点を指定する操作者または表示装置4により表示される仮想視点画像を見る視聴者であり、操作者と視聴者を特に区別しない場合には単にユーザと記載する。本実施形態では視聴者と操作者が異なる場合を中心に説明するが、これに限らず、視聴者と操作者が同一のユーザであってもよい。なお、本実施形態において、表示装置3から画像処理装置1に送信される仮想視点の指定に応じた情報は、仮想視点の位置や向きを示す仮想視点情報である。ただしこれに限らず、仮想視点の指定に応じた情報は仮想視点画像における被写体の形状や向きなど仮想視点に応じて定まる内容を示す情報であってもよく、画像処理装置1はこのような仮想視点の指定に応じた情報に基づいて仮想視点画像を生成してもよい。
The
さらに表示装置3は、カメラ群2による撮影に基づく画像と表示装置3が受け付けた仮想視点の指定とに基づいて画像処理装置1により生成され出力された仮想視点画像を表示する。これにより操作者は、表示装置3に表示された仮想視点画像を見ながら仮想視点の指定を行うことができる。なお、本実施形態では仮想視点画像を表示する表示装置3が仮想視点の指定を受け付けるものとするが、これに限らない。例えば、仮想視点の指定を受け付ける装置と、操作者に仮想視点を指定させるための仮想視点画像を表示する表示装置とが、別々の装置であってもよい。
Further, the
また表示装置3は、操作者による操作に基づいて、仮想視点画像の生成を開始させるための生成指示を画像処理装置1に対して行う。なお生成指示はこれに限らず、例えば所定の時刻に仮想視点画像の生成が開始されるように画像処理装置1に仮想視点画像の生成を予約するための指示であってもよい。また例えば、所定のイベントが発生した場合に仮想視点画像の生成が開始されるように予約するための指示であってもよい。なお、画像処理装置1に対して仮想視点画像の生成指示を行う装置が表示装置3と異なる装置であってもよいし、ユーザが画像処理装置1に対して生成指示を直接入力してもよい。
Further, the
表示装置4は、表示装置3を用いた操作者による仮想視点の指定に基づいて画像処理装置1により生成される仮想視点画像を、仮想視点を指定する操作者とは異なるユーザ(視聴者)に対して表示する。なお、画像処理システム10は複数の表示装置4を有していてもよく、複数の表示装置4がそれぞれ異なる仮想視点画像を表示してもよい。例えば、生放送される仮想視点画像(ライブ画像)を表示する表示装置4と、収録後に放送される仮想視点画像(非ライブ画像)を表示する表示装置4とが、画像処理システム10に含まれていてもよい。
The display device 4 gives the virtual viewpoint image generated by the image processing device 1 based on the designation of the virtual viewpoint by the operator using the
画像処理装置1は、カメラ情報取得部100、仮想視点情報取得部110(以降、視点取得部110)、画像生成部120、及び出力部130を有する。カメラ情報取得部100は、カメラ群2による撮影に基づく画像や、カメラ群2に含まれる各カメラの外部パラメータ及び内部パラメータなどを、カメラ群2から取得し、画像生成部120へ出力する。視点取得部110は、操作者による仮想視点の指定に応じた情報を表示装置3から取得し、画像生成部120へ出力する。また視点取得部110は、表示装置3による仮想視点画像の生成指示を受け付ける。画像生成部120は、カメラ情報取得部100により取得された撮影に基づく画像と、視点取得部110により取得された指定に応じた情報と、視点取得部110により受け付けられた生成指示とに基づいて、仮想視点画像を生成し、出力部130へ出力する。出力部130は、画像生成部120により生成された仮想視点画像を、表示装置3や表示装置4などの外部の装置へ出力する。
The image processing apparatus 1 includes a camera
なお、本実施形態において画像処理装置1は、画質の異なる複数の仮想視点画像を生成し、各仮想視点画像に応じた出力先に出力する。例えば、リアルタイム(低遅延)の仮想視点画像を要望する視聴者が見ている表示装置4には、生成に係る処理時間が短い低画質の仮想視点画像を出力する。一方、高画質の仮想視点画像を要望する視聴者が見ている表示装置4には、生成に係る処理時間が長い高画質の仮想視点画像を出力する。なお、本実施形態における遅延は、カメラ群2による撮影が行われてからその撮影に基づく仮想視点画像が表示されるまでの期間に対応する。ただし遅延の定義はこれに限らず、例えば現実世界の時刻と表示画像に対応する時刻との時間差を遅延としてもよい。
Note that in the present embodiment, the image processing apparatus 1 generates a plurality of virtual viewpoint images with different image quality and outputs them to an output destination corresponding to each virtual viewpoint image. For example, a low-quality virtual viewpoint image with a short processing time is generated to the display device 4 viewed by a viewer who desires a virtual viewpoint image in real time (low delay). On the other hand, a high-quality virtual viewpoint image with a long processing time is generated to the display device 4 viewed by a viewer who desires a high-quality virtual viewpoint image. Note that the delay in the present embodiment corresponds to a period from when the
続いて、画像処理装置1のハードウェア構成について、図2を用いて説明する。画像処理装置1は、CPU201、ROM202、RAM203、補助記憶装置204、表示部205、操作部206、通信部207、及びバス208を有する。CPU201は、ROM202やRAM203に格納されているコンピュータプログラムやデータを用いて画像処理装置1の全体を制御する。なお、画像処理装置1がGPU(Graphics Processing Unit)を有し、CPU201による処理の少なくとも一部をGPUが行ってもよい。ROM202は、変更を必要としないプログラムやパラメータを格納する。RAM203は、補助記憶装置204から供給されるプログラムやデータ、及び通信部207を介して外部から供給されるデータなどを一時記憶する。補助記憶装置204は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
Next, the hardware configuration of the image processing apparatus 1 will be described with reference to FIG. The image processing apparatus 1 includes a
表示部205は、例えば液晶ディスプレイ等で構成され、ユーザが画像処理装置1を操作するためのGUI(Graphical User Interface)などを表示する。操作部206は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をCPU201に入力する。通信部207は、カメラ群2や表示装置3、表示装置4などの外部の装置と通信を行う。例えば、画像処理装置1が外部の装置と有線で接続される場合には、LANケーブル等が通信部207に接続される。なお、画像処理装置1が外部の装置と無線通信する機能を有する場合、通信部207はアンテナを備える。バス208は、画像処理装置1の各部を繋いで情報を伝達する。
The
なお、本実施形態では表示部205と操作部206は画像処理装置1の内部に存在するが、画像処理装置1は表示部205及び操作部206の少なくとも一方を備えていなくてもよい。また、表示部205及び操作部206の少なくとも一方が画像処理装置1の外部に別の装置として存在していて、CPU201が、表示部205を制御する表示制御部、及び操作部206を制御する操作制御部として動作してもよい。
In the present embodiment, the
[動作フロー]
次に図3を用いて、画像処理装置1の動作の1形態について説明する。図3に示す処理は、視点取得部110が仮想視点画像の生成指示の受付を行ったタイミングで開始され、定期的(例えば仮想視点画像が動画である場合の1フレームごと)に繰り返される。ただし、図3に示す処理の開始タイミングは上記タイミングに限定されない。図3に示す処理は、CPU201がROM202に格納されたプログラムをRAM203に展開して実行することで実現される。なお、図3に示す処理の少なくとも一部を、CPU201とは異なる専用のハードウェアにより実現してもよい。
[Operation flow]
Next, one form of the operation of the image processing apparatus 1 will be described with reference to FIG. The process shown in FIG. 3 is started at the timing when the
図3に示すフローにおいて、S2010とS2020は情報を取得する処理に対応し、S2030−S2050は操作者に仮想視点を指定させるための仮想視点画像(指定用画像)を生成し出力する処理に対応する。また、S2070−S2100は、ライブ画像を生成し出力する処理に対応する。S2110−S2130は、非ライブ画像を生成し出力する処理に対応する。以下、各ステップにおける処理の詳細を説明する。 In the flow shown in FIG. 3, S2010 and S2020 correspond to processing for acquiring information, and S2030 to S2050 correspond to processing for generating and outputting a virtual viewpoint image (designation image) for allowing the operator to specify a virtual viewpoint. To do. S2070-S2100 correspond to processing for generating and outputting a live image. S2110 to S2130 correspond to processing for generating and outputting a non-live image. Details of the processing in each step will be described below.
S2010において、カメラ情報取得部100は、カメラ群2による撮影に基づく各カメラの撮影画像と、各カメラの外部パラメータ及び内部パラメータを取得する。外部パラメータはカメラの位置や姿勢に関する情報であり、内部パラメータはカメラの焦点距離や画像中心に関する情報である。
In step S2010, the camera
S2020において、視点取得部110は、操作者による仮想視点の指定に応じた情報として仮想視点情報を取得する。本実施形態において仮想視点情報は、仮想視点から被写体を撮影する仮想カメラの外部パラメータと内部パラメータに対応し、仮想視点画像の1フレームを生成するために1つの仮想視点情報が必要となる。
In S2020, the
S2030において、画像生成部120は、カメラ群2による撮影画像に基づいて、被写体となるオブジェクトの3次元形状を推定する。被写体となるオブジェクトは、例えば、カメラ群2の撮影範囲内に存在する人物や動体などである。画像生成部120は、カメラ群2から取得した撮影画像と、予め取得した各カメラに対応する背景画像との差分を算出することにより、撮影画像内のオブジェクトに対応する部分(前景領域)が抽出されたシルエット画像を生成する。そして画像生成部120は、各カメラに対応するシルエット画像と各カメラのパラメータを用いて、オブジェクトの3次元形状を推定する。3次元形状の推定には、例えばVisual Hull手法が用いられる。この処理の結果、被写体となるオブジェクトの3次元形状を表現した3D点群(3次元座標を持つ点の集合)が得られる。なお、カメラ群2による撮影画像からオブジェクトの3次元形状を導出する方法はこれに限らない。
In step S <b> 2030, the
S2040において、画像生成部120は、取得された仮想視点情報に基づいて、3D点群と背景3Dモデルをレンダリングし、仮想視点画像を生成する。背景3Dモデルは、例えばカメラ群2が設置されている競技場などのCGモデルであり、予め作成されて画像処理システム10内に保存されている。ここまでの処理により生成される仮想視点画像において、オブジェクトに対応する領域や背景領域はそれぞれ所定の色(例えば一色)で表示される。なお、3D点群や背景3Dモデルをレンダリングする処理はゲームや映画の分野において既知であり、例えばGPUを用いて処理する方法など、高速に処理を行うための方法が知られている。そのため、S2040までの処理で生成される仮想視点画像は、カメラ群2による撮影及び操作者による仮想視点の指定に応じて高速に生成可能である。
In S2040, the
S2050において、出力部130は、画像生成部120によりS2040で生成された仮想視点画像を、操作者に仮想視点を指定させるための表示装置3へ出力する。ここで、表示装置3により表示される表示画面30の画面構成を、図4を用いて説明する。表示画面30は領域310と領域320と領域330から構成される。例えば、指定用画像として生成された仮想視点画像は領域310に表示され、ライブ画像として生成された仮想視点画像は領域320に表示され、非ライブ画像として生成された仮想視点画像は領域330に表示される。すなわち、S2040において生成されS2050において出力された仮想視点画像は、領域310に表示される。そして操作者は領域310の画面を見ながら仮想視点の指定を行う。なお、表示装置3は少なくとも指定用画像を表示すればよく、ライブ画像や非ライブ画像を表示しなくてもよい。
In S2050, the
S2060において、画像生成部120は、S2040で生成した仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、仮想視点を指定させるための低画質な画像だけが必要とされている場合は、S2070へは進まず処理を終了する。一方、より高画質な画像が必要である場合は、S2070へ進み処理を続ける。
In step S2060, the
S2070において、画像生成部120は、S2030で推定したオブジェクトの形状モデル(3D点群)を、例えばPhotoHull手法を用いてさらに高精度化する。具体的には、3D点群の各点を各カメラの撮影画像に射影し、各撮影画像における色の一致度を評価することで、その点が被写体形状を表現するために必要な点かどうかを判定する。例えば3D点群内のある点について、射影先の画素値の分散が閾値より大きければ、その点は被写体の形状を表す点としては正しくないと判定され、3D点群からその点が削除される。この処理を3D点群内の全点に対して行い、オブジェクトの形状モデルの高精度化を実現する。なお、オブジェクトの形状モデルを高精度化する方法はこれに限らない。
In step S2070, the
S2080において、画像生成部120は、S2070で高精度化された3D点群に色を付け、それを仮想視点の座標に射影して前景領域に対応する前景画像を生成する処理と、仮想視点から見た背景画像を生成する処理とを実行する。そして画像生成部120は、生成された背景画像に前景画像を重ねることでライブ画像としての仮想視点画像を生成する。
In step S2080, the
ここで、仮想視点画像の前景画像(オブジェクトに対応する領域の画像)を生成する方法の一例について説明する。前景画像を生成するために、3D点群に色を付ける処理が実行される。色付け処理は点の可視性判定と色の算出処理で構成される。可視性の判定では、3D点群内の各点とカメラ群2に含まれる複数のカメラとの位置関係から、各点について撮影可能なカメラを特定することができる。次に各点について、その点を撮影可能なカメラの撮影画像に点を射影し、射影先の画素の色をその点の色とする。ある点が複数のカメラにより撮影可能な場合、複数のカメラの撮影画像に点を射影し、射影先の画素値を取得し、画素値の平均を算出することでその点の色を決める。このようにして色が付けられた3D点群を既存のCGレンダリング手法によりレンダリングすることで、仮想視点画像の前景画像を生成することができる。
Here, an example of a method for generating a foreground image (an image of an area corresponding to an object) of a virtual viewpoint image will be described. In order to generate the foreground image, a process of coloring the 3D point group is executed. The coloring process includes a point visibility determination and a color calculation process. In the visibility determination, it is possible to specify a camera that can be photographed for each point from the positional relationship between each point in the 3D point group and a plurality of cameras included in the
次に、仮想視点画像の背景画像を生成する方法の一例について説明する。まず、背景3Dモデルの頂点(例えば競技場の端に対応する点)が設定される。そして、これらの頂点が、仮想視点に近い2台のカメラ(第1カメラ及び第2カメラとする)の座標系と仮想視点の座標系に射影される。また、仮想視点と第1カメラの対応点、及び仮想視点と第2カメラの対応点を用いて、仮想視点と第1カメラの間の第1射影行列と仮想視点と第2カメラの間の第2射影行列が算出される。そして、第1射影行列と第2射影行列を用いて、背景画像の各画素が第1カメラの撮影画像と第2カメラの撮影画像に射影され、射影先の2つの画素値の平均を算出することで、背景画像の画素値が決定される。なお、同様の方法により、3台以上のカメラの撮影画像から背景画像の画素値を決定してもよい。 Next, an example of a method for generating a background image of a virtual viewpoint image will be described. First, the vertex of the background 3D model (for example, a point corresponding to the end of the playing field) is set. These vertices are projected onto the coordinate system of two cameras (referred to as the first camera and the second camera) close to the virtual viewpoint and the coordinate system of the virtual viewpoint. In addition, the first projection matrix between the virtual viewpoint and the first camera and the first projection matrix between the virtual viewpoint and the second camera using the corresponding points of the virtual viewpoint and the first camera and the corresponding points of the virtual viewpoint and the second camera. A two-projection matrix is calculated. Then, using the first projection matrix and the second projection matrix, each pixel of the background image is projected onto the captured image of the first camera and the captured image of the second camera, and the average of the two pixel values of the projection destination is calculated. Thus, the pixel value of the background image is determined. Note that the pixel value of the background image may be determined from the captured images of three or more cameras by a similar method.
このようにして得られた仮想視点画像の背景画像上に前景画像を重ねることで、色が付いた仮想視点画像が生成できる。すなわち、S2080で生成された仮想視点画像はS2040で生成された仮想視点画像よりも色の階調数に関して画質が高い。逆に言うと、S2040で生成された仮想視点画像に含まれる色の階調数は、S2080で生成された仮想視点画像に含まれる色の階調数より少ない。なお、仮想視点画像に色情報を付加する方法はこれに限らない。 By overlaying the foreground image on the background image of the virtual viewpoint image obtained in this way, a colored virtual viewpoint image can be generated. That is, the virtual viewpoint image generated in S2080 has higher image quality with respect to the number of color gradations than the virtual viewpoint image generated in S2040. In other words, the number of gradations of colors included in the virtual viewpoint image generated in S2040 is smaller than the number of gradations of colors included in the virtual viewpoint image generated in S2080. Note that the method of adding color information to the virtual viewpoint image is not limited to this.
S2090において、出力部130は、画像生成部120によりS2080において生成された仮想視点画像を、ライブ画像として表示装置3及び表示装置4へ出力する。表示装置3に出力された画像は領域320へ表示されて操作者が見ることができ、表示装置4に出力された画像は視聴者が見ることができる。
In S2090, the
S2100において、画像生成部120は、S2080において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、仮想視点画像を視聴者に対して生放送でのみ提供する場合は、S2110へは進まず処理を終了する。一方、収録後に視聴者に向けてより高画質な画像を放送する場合は、S2110へ進み処理を続ける。
In step S2100, the
S2110において、画像生成部120は、S2070で生成されたオブジェクトの形状モデルをさらに高精度化する。本実施形態では、形状モデルの孤立点を削除することで高精度化を実現する。孤立点除去においては、まず、Photo Hullで算出されたボクセル集合(3D点群)について、各ボクセルの周囲に別のボクセルが存在するか否か調べられる。周囲にボクセルがない場合、そのボクセルは孤立した点であると判断され、そのボクセルはボクセル集合から削除される。このようにして孤立点を削除した形状モデルを用いてS2080と同様の処理を実行することで、S2080で生成された仮想視点画像よりもオブジェクトの形状が高精度化された仮想視点画像が生成される。
In step S2110, the
S2120において、画像生成部120は、S2110で生成された仮想視点画像の前景領域と背景領域との境界に平滑化処理をかけ、境界領域が滑らかに表示されるように画像の修正を行う。
In step S2120, the
S2130において、出力部130は、画像生成部120によりS2120において生成された仮想視点画像を非ライブ画像として表示装置3及び表示装置4へ出力する。表示装置3へ出力された非ライブ画像は領域330へ表示される。
In S2130, the
以上の処理により画像処理装置1は、指定用画像としての仮想視点画像と、指定用画像より画質が高い仮想視点画像であるライブ画像とを、1組の撮影画像と仮想視点情報に基づいて生成する。また、画像処理装置1は、ライブ画像よりさらに画質が高い仮想視点画像である非ライブ画像も生成する。そして画像処理装置1は、生成したライブ画像及び非ライブ画像を、非ライブ画像が表示されるより前にライブ画像が表示されるように、表示装置4へ出力する。また画像処理装置1は、生成した指定用画像を、ライブ画像が表示装置4に表示されるより前に指定用画像が表示装置3に表示されるように、表示装置3へ出力する。
Through the above processing, the image processing apparatus 1 generates a virtual viewpoint image as a designation image and a live image that is a virtual viewpoint image with higher image quality than the designation image based on a set of captured images and virtual viewpoint information. To do. The image processing apparatus 1 also generates a non-live image that is a virtual viewpoint image with higher image quality than the live image. Then, the image processing device 1 outputs the generated live image and non-live image to the display device 4 so that the live image is displayed before the non-live image is displayed. The image processing apparatus 1 outputs the generated designation image to the
これにより、表示装置4は、低画質の指定用画像と、指定用画像より高画質であり生放送されるライブ画像と、ライブ画像よりさらに高画質であり収録後に放送される非ライブ画像とを表示することが可能となる。なお、表示装置4はライブ画像と非ライブ画像の何れか一方だけを表示してもよく、その場合には画像処理装置1は表示装置4に適した仮想視点画像を出力する。また、表示装置3は、指定用画像としての低画質の仮想視点画像と、ライブ画像としての中画質の仮想視点画像と、非ライブ画像としての高画質の仮想視点画像との、3種類の仮想視点画像を表示することが可能となる。なお、表示装置3はライブ画像及び非ライブ画像の少なくとも何れかを表示しなくてもよい。
Thereby, the display device 4 displays a low-quality designation image, a live image that is higher in quality than the designation image and is broadcast live, and a non-live image that is higher in quality than the live image and broadcast after recording. It becomes possible to do. Note that the display device 4 may display only one of the live image and the non-live image. In this case, the image processing device 1 outputs a virtual viewpoint image suitable for the display device 4. Further, the
すなわち、画像処理装置1は、ユーザに仮想視点を指定させるための表示装置3に対して指定用画像を出力する。そして画像処理装置1は、ユーザによる仮想視点の指定に基づいて生成される仮想視点画像を表示するための表示装置4に対して指定用画像より高画質なライブ画像及び非ライブ画像の少なくとも何れかを出力する。これにより、仮想視点を指定するために低遅延で仮想視点画像を表示させたい操作者と、高画質な仮想視点画像を見たい視聴者の、両方の要件に応えることができる。
That is, the image processing apparatus 1 outputs a designation image to the
なお、以上の処理では、カメラ群2による撮影に基づく画像と仮想視点の指定に応じた情報とに基づいて仮想視点画像が生成され、その生成のための処理の結果に基づいてより高画質の仮想視点画像が生成される。そのため、低画質の仮想視点画像と高画質の仮想視点画像をそれぞれ独立した処理で生成する場合よりも、全体の処理量を低減することができる。ただし、低画質の仮想視点画像と高画質の仮想視点画像を独立した処理により生成してもよい。また、仮想視点画像を競技会場やライブ会場に設置されたディスプレイに表示させたり生放送したりする場合であって、収録後に放送する必要がない場合には、画像処理装置1は非ライブ画像を生成するための処理を行わない。これにより、高画質な非ライブ画像を生成するための処理量を削減することができる。
In the above processing, a virtual viewpoint image is generated based on the image based on the photographing by the
次に図5を用いて、画像処理装置1の動作の別の1形態について説明する。図3を用いて上述した動作形態では、低画質の仮想視点画像を生成した後に、新たな種別の処理を追加で行うことで、高画質の仮想視点画像を生成する。一方、図5を用いて以下で説明する動作形態では、仮想視点画像を生成するために使用するカメラの台数を増やすことで仮想視点画像の高画質化を実現する。以下の説明において、図3の処理と同様の部分については説明を省略する。 Next, another embodiment of the operation of the image processing apparatus 1 will be described with reference to FIG. In the operation mode described above with reference to FIG. 3, after a low-quality virtual viewpoint image is generated, a new type of processing is additionally performed to generate a high-quality virtual viewpoint image. On the other hand, in the operation mode described below with reference to FIG. 5, the image quality of the virtual viewpoint image is improved by increasing the number of cameras used to generate the virtual viewpoint image. In the following description, the description of the same part as the process of FIG. 3 is omitted.
図5に示す処理は、視点取得部110が仮想視点画像の生成指示の受付を行ったタイミングで開始される。ただし図5の処理の開始タイミングはこれに限定されない。S2010及びS2020において、画像処理装置1は、図3で説明したものと同様の処理により、カメラ群2の各カメラによる撮影画像と仮想視点情報とを取得する。
The process illustrated in FIG. 5 is started at the timing when the
S4030において、画像生成部120は、仮想視点画像の生成に用いる撮影画像に対応するカメラの数を設定する。ここで画像生成部120は、S4050−S4070の処理が所定の閾値(例えば仮想視点画像が動画である場合の1フレームに対応する時間)以下の処理時間で完了するようにカメラの数を設定する。例えば、予め100台のカメラの撮影画像を用いてS4050−S4070の処理を実行し、その処理時間が0.5秒であったとする。この場合に、フレームレートが60fps(frame per second)である仮想視点画像の1フレームに対応する0.016秒以内にS4050−S4070の処理を完了させたければ、カメラの数を3台に設定する。
In step S4030, the
なお、S4050−S4070の処理によって仮想視点画像が出力された後に、S4080において画像生成を続ける判断がされた場合、S4030に戻って使用するカメラの数を再設定する。ここでは、先に出力した仮想視点画像より高画質な仮想視点画像が生成されるように、許容する処理時間を長くし、それに応じてカメラの数を増やす。例えば、0.1秒以下の処理時間でS4050−S4070の処理が完了されるように、使用する撮影画像に対応するカメラの数を20台に設定する。 If it is determined in S4080 that image generation is to be continued after the virtual viewpoint image is output in the processes of S4050 to S4070, the process returns to S4030 to reset the number of cameras to be used. Here, the permissible processing time is increased and the number of cameras is increased accordingly so that a virtual viewpoint image with higher image quality than the previously output virtual viewpoint image is generated. For example, the number of cameras corresponding to the captured image to be used is set to 20 so that the processing of S4050 to S4070 is completed in a processing time of 0.1 seconds or less.
S4040において、画像生成部120は、仮想視点画像を生成するために使用する撮影画像に対応するカメラを、S4030で設定されたカメラの数に応じてカメラ群2の中から選択する。例えば、100台のカメラから3台のカメラを選択する場合、仮想視点に一番近いカメラと、そのカメラから数えて34台目のカメラ及び67台目のカメラを選択する。
In S4040, the
また、仮想視点画像を1回生成した後に、使用する撮影画像の数を増やして2回目の処理を行う場合には、1回目の処理で推定した形状モデルをさらに高精度化することから、1回目で選択されたカメラ以外のカメラが選択される。具体的には、100台のカメラから20台のカメラを選択する場合、1回目の処理で選択されていないカメラの中から仮想視点に一番近いカメラをまず選択し、そこから5台間隔でカメラを選択していく。この際、1回目で既に選択したカメラは飛ばして次のカメラを選択する。なお、例えば非ライブ画像として最も高画質な仮想視点画像を生成する場合には、カメラ群2に含まれる全てのカメラを選択し、各カメラの撮影画像を使用してS4050−S4070の処理を実行する。
Further, after the virtual viewpoint image is generated once, when the number of captured images to be used is increased and the second processing is performed, the shape model estimated in the first processing is further improved in accuracy. A camera other than the camera selected at the second time is selected. Specifically, when 20 cameras are selected from 100 cameras, the camera closest to the virtual viewpoint is first selected from the cameras not selected in the first processing, and then 5 cameras are selected at intervals of 5 cameras. Select the camera. At this time, the camera already selected in the first time is skipped and the next camera is selected. For example, when generating the highest-quality virtual viewpoint image as a non-live image, all the cameras included in the
なお、使用する撮影画像に対応するカメラを選択する方法はこれに限らない。例えば、仮想視点に近いカメラを優先して選択してもよい。この場合、被写体となるオブジェクトの形状推定において仮想視点からは見えない背面領域の形状推定の精度は低くなるが、仮想視点から見える前面領域の形状推定の精度は向上する。つまり、仮想視点画像の中で視聴者にとって目につき易い領域の画質を優先的に向上させることができる。 Note that the method of selecting a camera corresponding to a captured image to be used is not limited to this. For example, a camera close to the virtual viewpoint may be selected with priority. In this case, the accuracy of shape estimation of the rear region that cannot be seen from the virtual viewpoint in the shape estimation of the object that is the subject is lowered, but the accuracy of shape estimation of the front region that is visible from the virtual viewpoint is improved. That is, it is possible to preferentially improve the image quality of an area that is easily noticeable by the viewer in the virtual viewpoint image.
S4050において、画像生成部120は、S4040で選択されたカメラによる撮影画像を用いて、オブジェクトの形状推定処理を実行する。ここでの処理は、例えば、図3のS2030における処理(VisualHull)とS2070における処理(PhotoHull)の組み合わせである。VisualHullの処理は、使用する複数の撮影画像に対応する複数のカメラの視体積の論理積を計算する処理を含む。また、PhotoHullの処理は形状モデルの各点を複数の撮影画像に射影して画素値の一貫性を計算する処理を含む。そのため、使用する撮影画像に対応するカメラの数が少ないほど、形状推定の精度は低くなり処理時間が短くなる。
In step S4050, the
S4060において、画像生成部120は、レンダリング処理を実行する。ここでの処理は、図3のS2080における処理と同様であり、3D点群の色付け処理と背景画像の生成処理を含む。3D点群の色付け処理も背景画像の生成処理も、複数の撮影画像の対応する点の画素値を用いた計算により色を決定する処理を含む。そのため、使用する撮影画像に対応するカメラの数が少ないほど、レンダリングの精度は低くなり処理時間が短くなる。
In S4060, the
S4070において、出力部130は、画像生成部120によりS4060において生成された仮想視点画像を、表示装置3や表示装置4へ出力する。
In step S4070, the
S4080において、画像生成部120は、S4060において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、S4060において生成された仮想視点画像が操作者に仮想視点を指定させるための画像であり、さらにライブ画像を生成する場合には、S4030に戻って、使用するカメラの数を増やしてライブ画像としての仮想視点画像を生成する。また、さらにライブ画像を生成した後に、非ライブ画像を生成する場合には、さらにカメラの数を増やして非ライブ画像としての仮想視点画像を生成する。すなわち、ライブ用画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数は、指定用画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数より多いため、ライブ画像は指定用画像よりも画質が高い。同様に、非ライブ画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数は、ライブ画像としての仮想視点画像の生成に用いられる撮影画像に対応するカメラの数よりも多いため、非ライブ画像はライブ画像よりも画質が高い。
In step S4080, the
なおS4080において、既に生成した仮想視点画像より高画質な仮想視点画像を生成する必要がないと判断された場合、もしくはより高画質な仮想視点画像を生成することはできないと判断された場合には、処理を終了する。 If it is determined in S4080 that it is not necessary to generate a higher-quality virtual viewpoint image than the already generated virtual viewpoint image, or if it is determined that a higher-quality virtual viewpoint image cannot be generated. The process is terminated.
以上の処理により、画像処理装置1は、画質を段階的に向上させた複数の仮想視点画像をそれぞれ適切なタイミングで生成して出力することが可能となる。例えば、仮想視点画像の生成に使用するカメラを、設定された処理時間以内に生成処理が完了できるような台数に制限することで、遅延の少ない指定用画像を生成することができる。また、ライブ画像や非ライブ画像を生成する場合には、使用するカメラの数を増やして生成処理を行うことで、より高画質の画像を生成することができる。 Through the above processing, the image processing apparatus 1 can generate and output a plurality of virtual viewpoint images whose image quality is improved in stages at appropriate timings. For example, by limiting the number of cameras used for generating the virtual viewpoint image to the number that can complete the generation process within the set processing time, it is possible to generate the designation image with a small delay. Further, when generating a live image or a non-live image, it is possible to generate a higher quality image by increasing the number of cameras used and performing the generation process.
次に図6を用いて、画像処理装置1の動作の別の1形態について説明する。図5を用いて上述した動作形態では、仮想視点画像を生成するために使用するカメラの台数を増やすことで仮想視点画像の高画質化を実現する。一方、図6を用いて以下で説明する動作形態では、仮想視点画像の解像度を段階的に高めていくことで仮想視点画像の高画質化を実現する。以下の説明において、図3や図5の処理と同様の部分については説明を省略する。なお、以下で説明する動作形態においては、生成される仮想視点画像の画素数は常に4K(3840×2160)であり、画素値の計算を大きい画素ブロックごとに行うか小さい画素ブロックごとに行うかによって仮想視点画像の解像度を制御する。ただしこれに限らず、生成される仮想視点画像の画素数を変更することで解像度を制御してもよい。 Next, another embodiment of the operation of the image processing apparatus 1 will be described with reference to FIG. In the operation mode described above with reference to FIG. 5, the image quality of the virtual viewpoint image is improved by increasing the number of cameras used for generating the virtual viewpoint image. On the other hand, in the operation mode described below with reference to FIG. 6, the image quality of the virtual viewpoint image is improved by gradually increasing the resolution of the virtual viewpoint image. In the following description, the description of the same part as the process of FIG. 3 or 5 is omitted. In the operation mode described below, the number of pixels of the generated virtual viewpoint image is always 4K (3840 × 2160), and whether the pixel value is calculated for each large pixel block or each small pixel block. To control the resolution of the virtual viewpoint image. However, the present invention is not limited to this, and the resolution may be controlled by changing the number of pixels of the generated virtual viewpoint image.
図6に示す処理は、視点取得部110が仮想視点画像の生成指示の受付を行ったタイミングで開始される。ただし図6の処理の開始タイミングはこれに限定されない。S2010及びS2020において、画像処理装置1は、図3で説明したものと同様の処理により、カメラ群2の各カメラによる撮影画像と仮想視点情報とを取得する。
The process illustrated in FIG. 6 is started at the timing when the
S5030において、画像生成部120は、生成する仮想視点画像の解像度を設定する。ここで画像生成部120は、S5050及びS4070の処理が所定の閾値以下の処理時間で完了するように解像度を設定する。例えば、予め4K解像度の仮想視点画像を生成する場合のS5050及びS4070の処理を実行し、その処理時間が0.5秒であったとする。この場合に、フレームレートが60fpsである仮想視点画像の1フレームに対応する0.016秒以内にS5050及びS4070の処理を完了させたければ、解像度を4Kの0.016/0.5=1/31.25倍以下にする必要がある。そこで、仮想視点画像の解像度を縦横それぞれ4K解像度の1/8倍に設定すれば、画素値を計算すべき画素ブロックの数は1/64になり、0.016秒未満で処理を完了できる。
In step S5030, the
なお、S5050及びS4070の処理によって仮想視点画像が出力された後に、S4080において画像生成を続ける判断がされた場合、S5030に戻って解像度を再設定する。ここでは、先に出力した仮想視点画像より高画質な仮想視点画像が生成されるように、許容する処理時間を長くし、それに応じて解像度を高くする。例えば、解像度を縦横それぞれ4K解像度の1/4に設定すると、0.1秒以下の処理時間でS5050及びS4070の処理が完了される。S5040において、画像生成部120は、仮想視点画像において画素値を計算すべき画素の位置を、S5030で設定された解像度に応じて決定する。例えば、仮想視点画像の解像度を4K解像度の1/8に設定した場合、縦横それぞれ8画素毎に画素値が算出される。そして、画素値が算出された画素(x,y)と画素(x+8,y+8)の間に存在する画素には、画素(x,y)と同じ画素値が設定される。
If it is determined in S4080 that image generation is to be continued after the virtual viewpoint image is output in the processes of S5050 and S4070, the process returns to S5030 to reset the resolution. Here, the allowable processing time is increased and the resolution is increased accordingly so that a virtual viewpoint image with higher image quality than the previously output virtual viewpoint image is generated. For example, when the resolution is set to 1/4 of the 4K resolution in the vertical and horizontal directions, the processing of S5050 and S4070 is completed in a processing time of 0.1 second or less. In S5040, the
また、仮想視点画像を1回生成した後に、解像度を高くして2回目の処理を行う場合には、1回目に画素値が算出された画素は飛ばして画素値を算出する。例えば、解像度が4K解像度の1/4に設定された場合、画素(x+4,y+4)の画素値を算出し、画素(x+4,y+4)と画素(x+8,y+8)の間に存在する画素には、画素(x+4,y+4)と同じ画素値が設定される。このように、画素値を算出する画素の数を増やしていくことで、仮想視点画像の解像度を最大で4K解像度まで高くすることができる。 In addition, after the virtual viewpoint image is generated once, when the resolution is increased and the second processing is performed, the pixel value calculated at the first time is skipped to calculate the pixel value. For example, when the resolution is set to 1/4 of the 4K resolution, the pixel value of the pixel (x + 4, y + 4) is calculated, and the pixel existing between the pixel (x + 4, y + 4) and the pixel (x + 8, y + 8) is calculated. , The same pixel value as the pixel (x + 4, y + 4) is set. Thus, by increasing the number of pixels for calculating the pixel value, the resolution of the virtual viewpoint image can be increased to a maximum of 4K resolution.
S5050において、画像生成部120は、S5040で決定された位置の画素の画素値を算出して仮想視点画像への色付け処理を行う。画素値の算出方法としては、例えばImage−Based Visual Hullの方法を使用することができる。この方法では画素毎に画素値が算出されるので、画素値を算出すべき画素の数が少ないほど、すなわち仮想視点画像の解像度が低いほど、処理時間が短くなる。
In step S5050, the
S4070において、出力部130は、画像生成部120によりS5050において生成された仮想視点画像を、表示装置3や表示装置4へ出力する。
In step S4070, the
S4080において、画像生成部120は、S5050において生成された仮想視点画像よりも高画質な仮想視点画像を生成する処理を行うか否か判断する。例えば、S5050において生成された仮想視点画像が操作者に仮想視点を指定させるための画像であり、さらにライブ画像を生成する場合には、S5030に戻って、解像度を高くした仮想視点画像を生成する。また、ライブ画像を生成した後に、さらに非ライブ画像を生成する場合には、さらに解像度を高くした非ライブ画像としての仮想視点画像を生成する。すなわち、ライブ画像としての仮想視点画像は、指定用画像としての仮想視点画像より解像度が高いため、ライブ画像は指定用画像よりも画質が高い。同様に、非ライブ画像としての仮想視点画像は、ライブ画像としての仮想視点画像よりも解像度が高いため、非ライブ画像はライブ画像よりも画質が高い。
In step S4080, the
なおS4080において、既に生成した仮想視点画像より高画質な仮想視点画像を生成する必要がないと判断された場合、もしくはより高画質な仮想視点画像を生成することはできないと判断された場合には、処理を終了する。 If it is determined in S4080 that it is not necessary to generate a higher-quality virtual viewpoint image than the already generated virtual viewpoint image, or if it is determined that a higher-quality virtual viewpoint image cannot be generated. The process is terminated.
以上の処理により、画像処理装置1は、解像度を段階的に向上させた複数の仮想視点画像をそれぞれ適切なタイミングで生成して出力することが可能となる。例えば、仮想視点画像の解像度を、設定された処理時間以内に生成処理が完了できるような解像度に設定することで、遅延の少ない指定用画像を生成することができる。また、ライブ画像や非ライブ画像を生成する場合には、解像度を高く設定して生成処理を行うことで、より高画質の画像を生成することができる。 With the above processing, the image processing apparatus 1 can generate and output a plurality of virtual viewpoint images whose resolution is improved in stages at appropriate timings. For example, by setting the resolution of the virtual viewpoint image so that the generation process can be completed within the set processing time, it is possible to generate a designating image with little delay. Further, when generating a live image or a non-live image, a higher-quality image can be generated by performing generation processing with a high resolution.
以上のように、画像処理装置1は、仮想視点画像の画質を向上させるための画像処理を行うことにより高画質の画像(例えば非ライブ画像)を生成する。また画像処理装置1は、該画像処理に含まれる部分的な処理であって所定の閾値以下の処理時間で実行される処理によって低画質の画像(例えばライブ画像)を生成する。これにより、所定時間以下の遅延で表示される仮想視点画像と、高画質な仮想視点画像とを両方生成して表示することが可能となる。 As described above, the image processing apparatus 1 generates a high-quality image (for example, a non-live image) by performing image processing for improving the image quality of the virtual viewpoint image. Further, the image processing apparatus 1 generates a low-quality image (for example, a live image) by a process that is a partial process included in the image process and is executed in a processing time that is equal to or less than a predetermined threshold. This makes it possible to generate and display both a virtual viewpoint image displayed with a delay of a predetermined time or less and a high-quality virtual viewpoint image.
なお、図6の説明においては、所定の閾値以下の処理時間で生成処理を完了させるための生成パラメータ(解像度)を推定し、推定された生成パラメータで仮想視点画像を生成するものとした。ただしこれに限らず、画像処理装置1は、仮想視点画像の画質を段階的に向上させていき、処理時間が所定の閾値に達した時点において生成済みの仮想視点画像を出力してもよい。例えば、処理時間が所定の閾値に達した時点において、解像度が4K解像度の1/8である仮想視点画像が生成済みであり、解像度が4K解像度の1/4である仮想視点画像が未完成である場合には、1/8の解像度の仮想視点画像を出力してもよい。また、1/8の解像度から1/4の解像度へ解像度を向上させる処理が途中まで行われた仮想視点画像を出力してもよい。 In the description of FIG. 6, it is assumed that a generation parameter (resolution) for completing the generation process within a processing time equal to or less than a predetermined threshold is estimated, and a virtual viewpoint image is generated using the estimated generation parameter. However, the present invention is not limited to this, and the image processing apparatus 1 may improve the image quality of the virtual viewpoint image in stages, and output the generated virtual viewpoint image when the processing time reaches a predetermined threshold. For example, when the processing time reaches a predetermined threshold, a virtual viewpoint image whose resolution is 1/8 of 4K resolution has been generated, and a virtual viewpoint image whose resolution is 1/4 of 4K resolution has not been completed. In some cases, a virtual viewpoint image with 1/8 resolution may be output. Further, a virtual viewpoint image in which the process of improving the resolution from 1/8 resolution to 1/4 resolution is performed halfway may be output.
本実施形態では、画像処理装置1が有する画像生成部120が、カメラ情報取得部100が取得した画像と視点取得部110が取得した仮想視点情報とに基づいて仮想視点画像の生成を制御し、異なる画質の複数の仮想視点画像を生成する場合を中心に説明した。ただしこれに限らず、仮想視点画像の生成を制御する機能と、実際に仮想視点画像を生成する機能とが、それぞれ異なる装置に備わっていてもよい。
In the present embodiment, the
例えば、画像処理システム10内に、画像生成部120の機能を有し仮想視点画像を生成する生成装置(不図示)が存在してもよい。そして、画像処理装置1はカメラ情報取得部100が取得した画像及び視点取得部110が取得した情報に基づいて生成装置による仮想視点画像の生成を制御してもよい。具体的には、画像処理装置1が撮影画像と仮想視点情報を生成装置に送信し、仮想視点画像の生成を制御する指示を行う。そして生成装置は、第1の仮想視点画像と、第1の仮想視点画像が表示されるより早いタイミングで表示されるべき第2の仮想視点画像であって第1の仮想視点画像より画質が低い第2の仮想視点画像とを、受信した撮影画像と仮想視点情報とに基づいて生成する。ここで第1の仮想視点画像は例えば非ライブ画像であり、第2の仮想視点画像は例えばライブ画像である。ただし第1の仮想視点画像と第2の仮想視点画像の用途はこれに限定されない。なお、画像処理装置1は、第1の仮想視点画像と第2の仮想視点画像とがそれぞれ異なる生成装置により生成されるように制御を行ってもよい。また、画像処理装置1は、生成装置による仮想視点画像の出力先や出力タイミングを制御する等の出力制御を行ってもよい。
For example, a generation device (not shown) that has the function of the
また、生成装置が視点取得部110及び画像生成部120の機能を有しており、画像処理装置1がカメラ情報取得部100により取得される画像に基づいて生成装置による仮想視点画像の生成を制御してもよい。ここでカメラ情報取得部100により取得される画像は、カメラ群2により撮影された撮影画像や複数の撮影画像の差分に基づいて生成された画像などの、撮影に基づく画像である。また、生成装置がカメラ情報取得部100及び画像生成部120の機能を有しており、画像処理装置1が視点取得部110により取得される画像に基づいて生成装置による仮想視点画像の生成を制御してもよい。ここで視点取得部110により取得される画像は、仮想視点画像における被写体の形状や向きなど仮想視点に応じて定まる内容を示す情報や仮想視点情報など、仮想視点の指定に応じた情報である。すなわち、画像処理装置1は、撮影に基づく画像及び仮想視点の指定に応じた情報の少なくとも何れかを含む仮想視点画像の生成に係る情報を取得し、取得した情報に基づいて仮想視点画像の生成を制御してもよい。
Further, the generation device has the functions of the
また例えば、画像処理システム10内に存在する生成装置がカメラ情報取得部100、視点取得部110及び画像生成部120の機能を有しており、画像処理装置1は仮想視点画像の生成に係る情報に基づいて生成装置による仮想視点画像の生成を制御してもよい。この場合における仮想視点画像の生成に係る情報は、例えば生成装置により生成される第1の仮想視点画像の画質に関するパラメータ及び第2の仮想視点画像の画質に関するパラメータの少なくとも何れかを含む。画質に関するパラメータの具体例としては、仮想視点画像の生成に用いられる撮影画像に対応するカメラの数、仮想視点画像の解像度、仮想視点画像の生成に係る処理時間として許容される時間等がある。画像処理装置1は例えば操作者による入力に基づいてこれらの画質に関するパラメータを取得し、パラメータを生成装置に送信するなど、取得したパラメータに基づいて生成装置を制御する。これにより操作者は、それぞれ異なる所望の画質の複数の仮想視点画像を生成させることができる。
In addition, for example, the generation apparatus existing in the
以上説明したように、画像処理装置1は、複数のカメラによるそれぞれ異なる方向からの被写体の撮影に基づく画像と仮想視点の指定に応じた情報とに基づく仮想視点画像の生成指示を受け付ける。そして画像処理装置1は、第1表示装置に出力される第1の仮想視点画像と第2表示装置に出力される第2の仮想視点画像とが、撮影に基づく画像と仮想視点の指定に応じた情報とに基づいて生成されるように、生成指示の受け付けに応じて制御を行う。ここで、第2の仮想視点画像は、第1の仮想視点画像より画質が高い仮想視点画像である。これにより、例えばリアルタイムで仮想視点画像を見たいユーザとリアルタイム性よりも仮想視点画像が高画質であることを優先するユーザの両方がいるような場合にも、表示されるべきタイミングに適した仮想視点画像を生成することができる。 As described above, the image processing apparatus 1 receives a virtual viewpoint image generation instruction based on an image based on photographing of a subject from different directions by a plurality of cameras and information according to designation of the virtual viewpoint. Then, the image processing apparatus 1 determines that the first virtual viewpoint image output to the first display apparatus and the second virtual viewpoint image output to the second display apparatus are based on the image based on the shooting and the designation of the virtual viewpoint. Control is performed in response to reception of the generation instruction so that the generation instruction is generated based on the received information. Here, the second virtual viewpoint image is a virtual viewpoint image with higher image quality than the first virtual viewpoint image. Thus, for example, even when there are both a user who wants to see a virtual viewpoint image in real time and a user who prioritizes that the virtual viewpoint image has higher image quality than real-time characteristics, a virtual suitable for the timing to be displayed A viewpoint image can be generated.
なお、本実施形態では仮想視点画像の画質として色の階調、解像度、及び仮想視点画像の生成に用いられる撮影画像に対応するカメラの数を制御する場合について説明したが、画質としてその他のパラメータを制御してもよい。また、画質に関する複数のパラメータを同時に制御してもよい。 In this embodiment, the case of controlling the color gradation, the resolution, and the number of cameras corresponding to the captured image used for generating the virtual viewpoint image as the image quality of the virtual viewpoint image has been described. May be controlled. A plurality of parameters relating to image quality may be controlled simultaneously.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC等)によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. Further, the program may be provided by being recorded on a computer-readable recording medium.
1 画像処理装置
2 カメラ群
100 カメラ情報取得部
110 仮想視点情報取得部
120 画像生成部
DESCRIPTION OF SYMBOLS 1
Claims (25)
仮想視点を示す視点情報を取得する情報取得手段と、
前記画像取得手段により取得された画像と前記情報取得手段により取得された前記視点情報とに基づいて仮想視点画像を生成する生成手段であって、表示装置へ出力される第1の仮想視点画像と、前記第1の仮想視点画像より画質が高い第2の仮想視点画像であって前記表示装置への前記第1の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される前記第2の仮想視点画像とを生成する生成手段とを有することを特徴とする画像処理システム。 Image acquisition means for acquiring images based on photographing from a plurality of directions by a plurality of cameras;
Information acquisition means for acquiring viewpoint information indicating a virtual viewpoint;
Generation means for generating a virtual viewpoint image based on the image acquired by the image acquisition means and the viewpoint information acquired by the information acquisition means; a first virtual viewpoint image output to a display device; The second virtual viewpoint image having a higher image quality than the first virtual viewpoint image, and is output to another display device at a timing later than the output of the first virtual viewpoint image to the display device. An image processing system comprising: generating means for generating two virtual viewpoint images.
前記第2の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項1又は2に記載の画像処理システム。 The display device from which the first virtual viewpoint image is output is a display device used to designate a virtual viewpoint to the user,
The image processing according to claim 1, wherein the another display device from which the second virtual viewpoint image is output is a display device that is not used for allowing a user to specify a virtual viewpoint. system.
前記第2の仮想視点画像は、前記オブジェクトの形状に加えてさらに前記第1の仮想視点画像には表れない前記オブジェクトの色を表す画像であることを特徴とする請求項1乃至10の何れか1項に記載の画像処理システム。 The first virtual viewpoint image is an image representing the shape of an object photographed by at least one of the plurality of cameras.
11. The second virtual viewpoint image is an image representing the color of the object that does not appear in the first virtual viewpoint image in addition to the shape of the object. The image processing system according to item 1.
仮想視点を示す視点情報を取得する情報取得手段と、
前記画像取得手段により取得された画像と前記情報取得手段により取得された前記視点情報とに基づいて仮想視点画像を生成する生成手段であって、表示装置へ出力される第1の仮想視点画像と、前記表示装置への前記第1の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される第2の仮想視点画像とを生成する生成手段とを有し、
前記画像取得手段により取得された撮影に基づく画像から前記第2仮想視点画像を生成する処理に係る前記生成手段の処理量は、当該撮影に基づく画像から前記第1仮想視点画像を生成する処理に係る前記生成手段の処理量より大きいことを特徴とする画像処理システム。 Image acquisition means for acquiring images based on photographing from a plurality of directions by a plurality of cameras;
Information acquisition means for acquiring viewpoint information indicating a virtual viewpoint;
Generation means for generating a virtual viewpoint image based on the image acquired by the image acquisition means and the viewpoint information acquired by the information acquisition means; a first virtual viewpoint image output to a display device; Generating means for generating a second virtual viewpoint image output to another display device at a timing later than the output of the first virtual viewpoint image to the display device;
The processing amount of the generating unit related to the process of generating the second virtual viewpoint image from the image based on the image acquired by the image acquiring unit is the process of generating the first virtual viewpoint image from the image based on the image capturing. An image processing system having a larger processing amount than the generating means.
前記第2の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項16又は17に記載の画像処理システム。 The display device from which the first virtual viewpoint image is output is a display device used to designate a virtual viewpoint to the user,
The image processing according to claim 16 or 17, wherein the another display device from which the second virtual viewpoint image is output is a display device that is not used for allowing a user to designate a virtual viewpoint. system.
複数のカメラによる複数の方向からの撮影に基づく画像と仮想視点を示す視点情報とに基づいて仮想視点画像を生成する生成手段を制御する制御手段であって、表示装置へ出力される第1の仮想視点画像と、前記第1の仮想視点画像より画質が高い第2の仮想視点画像であって前記表示装置への前記第1の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される前記第2の仮想視点画像とが前記生成手段により生成されるように、前記受付手段による前記生成指示の受け付けに応じて前記生成手段を制御する制御手段とを有することを特徴とする画像処理装置。 Receiving means for receiving a virtual viewpoint image generation instruction;
Control means for controlling a generating means for generating a virtual viewpoint image based on images based on images taken from a plurality of directions by a plurality of cameras and viewpoint information indicating a virtual viewpoint, and is output to a display device. A virtual viewpoint image and a second virtual viewpoint image having higher image quality than the first virtual viewpoint image, and output to another display device at a timing later than the output of the first virtual viewpoint image to the display device Control means for controlling the generation means in response to acceptance of the generation instruction by the reception means so that the second virtual viewpoint image to be generated is generated by the generation means. Processing equipment.
前記第2の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項19又は20に記載の画像処理装置。 The display device from which the first virtual viewpoint image is output is a display device used to designate a virtual viewpoint to the user,
The image processing according to claim 19 or 20, wherein the another display device from which the second virtual viewpoint image is output is a display device that is not used for allowing a user to specify a virtual viewpoint. apparatus.
仮想視点を示す視点情報を取得する情報取得工程と、
前記画像取得工程において取得された画像と前記情報取得工程において取得された前記視点情報とに基づいて仮想視点画像を生成する生成工程であって、表示装置へ出力される第1の仮想視点画像と、前記第1の仮想視点画像より画質が高い第2の仮想視点画像であって前記表示装置への前記第1の仮想視点画像の出力よりも遅いタイミングで別の表示装置へ出力される前記第2の仮想視点画像とを生成する生成工程とを有することを特徴とする画像処理方法。 An image acquisition step of acquiring an image based on photographing from a plurality of directions by a plurality of cameras;
An information acquisition step of acquiring viewpoint information indicating a virtual viewpoint;
A generation step of generating a virtual viewpoint image based on the image acquired in the image acquisition step and the viewpoint information acquired in the information acquisition step; and a first virtual viewpoint image output to a display device; The second virtual viewpoint image having a higher image quality than the first virtual viewpoint image, and is output to another display device at a timing later than the output of the first virtual viewpoint image to the display device. And a generation step of generating two virtual viewpoint images.
前記第2の仮想視点画像が出力される前記別の表示装置は、ユーザに仮想視点を指定させるためには用いられない表示装置であることを特徴とする請求項22又は23に記載の画像処理方法。 The display device from which the first virtual viewpoint image is output is a display device used to designate a virtual viewpoint to the user,
The image processing according to claim 22 or 23, wherein the another display device from which the second virtual viewpoint image is output is a display device that is not used for allowing a user to designate a virtual viewpoint. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192134A JP6672417B2 (en) | 2018-10-10 | 2018-10-10 | Image processing apparatus, image processing system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192134A JP6672417B2 (en) | 2018-10-10 | 2018-10-10 | Image processing apparatus, image processing system, image processing method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016211905A Division JP6419128B2 (en) | 2016-10-28 | 2016-10-28 | Image processing apparatus, image processing system, image processing method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020036313A Division JP7016899B2 (en) | 2020-03-03 | 2020-03-03 | Image processing equipment, image processing system, image processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019053738A true JP2019053738A (en) | 2019-04-04 |
JP6672417B2 JP6672417B2 (en) | 2020-03-25 |
Family
ID=66013478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018192134A Active JP6672417B2 (en) | 2018-10-10 | 2018-10-10 | Image processing apparatus, image processing system, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6672417B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021126339A1 (en) * | 2019-12-20 | 2021-06-24 | Raytheon Company | Information weighted rendering of 3d point set |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285074A (en) * | 2000-03-31 | 2001-10-12 | Toshiba Corp | Image compositing method and medium with image compositing program recorded thereon |
JP2004152133A (en) * | 2002-10-31 | 2004-05-27 | Nippon Telegr & Teleph Corp <Ntt> | Virtual view image generation method, virtual view image generation apparatus, virtual view image generation program and recording medium |
JP2013223008A (en) * | 2012-04-13 | 2013-10-28 | Canon Inc | Image processing device and method |
JP2013255171A (en) * | 2012-06-08 | 2013-12-19 | Canon Inc | Image distribution apparatus and image display apparatus |
JP2014215828A (en) * | 2013-04-25 | 2014-11-17 | シャープ株式会社 | Image data reproduction device, and viewpoint information generation device |
JP2016519546A (en) * | 2013-05-26 | 2016-06-30 | ピクセルロット エルティーディー.Pixellot Ltd. | Method and system for producing television programs at low cost |
-
2018
- 2018-10-10 JP JP2018192134A patent/JP6672417B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285074A (en) * | 2000-03-31 | 2001-10-12 | Toshiba Corp | Image compositing method and medium with image compositing program recorded thereon |
JP2004152133A (en) * | 2002-10-31 | 2004-05-27 | Nippon Telegr & Teleph Corp <Ntt> | Virtual view image generation method, virtual view image generation apparatus, virtual view image generation program and recording medium |
JP2013223008A (en) * | 2012-04-13 | 2013-10-28 | Canon Inc | Image processing device and method |
JP2013255171A (en) * | 2012-06-08 | 2013-12-19 | Canon Inc | Image distribution apparatus and image display apparatus |
JP2014215828A (en) * | 2013-04-25 | 2014-11-17 | シャープ株式会社 | Image data reproduction device, and viewpoint information generation device |
JP2016519546A (en) * | 2013-05-26 | 2016-06-30 | ピクセルロット エルティーディー.Pixellot Ltd. | Method and system for producing television programs at low cost |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021126339A1 (en) * | 2019-12-20 | 2021-06-24 | Raytheon Company | Information weighted rendering of 3d point set |
US11682142B2 (en) | 2019-12-20 | 2023-06-20 | Raytheon Company | Information weighted rendering of 3D point set |
Also Published As
Publication number | Publication date |
---|---|
JP6672417B2 (en) | 2020-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6419128B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP7051457B2 (en) | Image processing equipment, image processing methods, and programs | |
JP7086522B2 (en) | Image processing equipment, information processing methods and programs | |
JP7140487B2 (en) | Information processing device, display control method, and program | |
JP7023696B2 (en) | Information processing equipment, information processing methods and programs | |
JP7439146B2 (en) | Image processing system, image processing method and program | |
JP7027049B2 (en) | Image processing equipment, image processing methods and programs | |
JP6672417B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP2022016929A (en) | Information processing device, information processing method, and program | |
JP2022126205A (en) | Information processing apparatus, information processing method, and program | |
WO2022176719A1 (en) | Image processing device, image processing method, and program | |
JP2022073648A (en) | Information processing apparatus, information processing method, and program | |
JP2023175503A (en) | Image processing apparatus and its image processing method | |
JP2022103836A (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200304 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6672417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |