JP2022029567A - Control device, control method, and program - Google Patents
Control device, control method, and program Download PDFInfo
- Publication number
- JP2022029567A JP2022029567A JP2020132904A JP2020132904A JP2022029567A JP 2022029567 A JP2022029567 A JP 2022029567A JP 2020132904 A JP2020132904 A JP 2020132904A JP 2020132904 A JP2020132904 A JP 2020132904A JP 2022029567 A JP2022029567 A JP 2022029567A
- Authority
- JP
- Japan
- Prior art keywords
- range
- camera
- shooting
- image
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、撮影装置を制御する技術に関する。 The present invention relates to a technique for controlling a photographing device.
従来、異なる位置に設置された複数の撮影装置によって複数の方向から実空間内の被写体等を同期して撮影し、それら撮影にて得られた複数の撮影画像を用いて仮想視点画像を生成する技術が知られている。仮想視点画像は、撮影装置の設置位置に限定されない仮想的な視点における見え方を表す画像である。 Conventionally, a plurality of photographing devices installed at different positions synchronizely photograph a subject in a real space from a plurality of directions, and a virtual viewpoint image is generated using a plurality of captured images obtained by those photographs. The technology is known. The virtual viewpoint image is an image showing the appearance from a virtual viewpoint, which is not limited to the installation position of the photographing device.
複数の撮影装置で取得された複数の撮影画像を用いて仮想視点画像を生成する場合において、各撮影装置の合焦範囲（ピントが合っている範囲）が重なっている部分の画像を用いれば、高画質の仮想視点画像を生成することができる。特許文献１には、複数の撮影装置を合焦範囲の共通部分（重なる部分）が大きくなるように制御することで、広い範囲において高画質の仮想視点画像を生成可能とする技術が開示されている。
When generating a virtual viewpoint image using a plurality of captured images acquired by a plurality of photographing devices, if the image of the part where the in-focus range (the in-focus range) of each photographing device overlaps is used, It is possible to generate a high-quality virtual viewpoint image.
しかしながら、仮想視点画像生成の対象になる被写体等が各撮影装置の合焦範囲から外れることがある。撮影装置の合焦範囲から外れた被写体等の画像領域は合焦度の低い低品位な画像になり、その合焦度の低い低品位な画像領域から生成される仮想視点画像の画質は低くなる虞がある。 However, the subject or the like that is the target of virtual viewpoint image generation may be out of the focusing range of each photographing device. An image area such as a subject outside the focusing range of the photographing device becomes a low-quality image with a low degree of focusing, and the image quality of a virtual viewpoint image generated from the low-quality image area having a low degree of focusing becomes low. There is a risk.
そこで、本発明は、高画質の仮想視点画像の生成を可能にすることを目的とする。 Therefore, an object of the present invention is to enable the generation of a high-quality virtual viewpoint image.
本発明の制御装置は、仮想視点画像を生成するために用いられる撮影装置から撮影パラメータを取得するパラメータ取得手段と、前記仮想視点画像の生成の対象となる範囲のうち当該撮影装置の撮像範囲に含まれる画像生成範囲が、前記取得された前記撮影パラメータに基づいて特定される撮影装置の合焦範囲に含まれるように、前記撮影装置の合焦範囲を制御する範囲制御手段と、を有することを特徴とする。 The control device of the present invention includes a parameter acquisition means for acquiring shooting parameters from a shooting device used for generating a virtual viewpoint image, and an imaging range of the shooting device in the range to be generated of the virtual viewpoint image. Having a range control means for controlling the focusing range of the imaging device so that the included image generation range is included in the focusing range of the imaging device specified based on the acquired imaging parameters. It is characterized by.
本発明によれば、高画質の仮想視点画像の生成が可能となる。 According to the present invention, it is possible to generate a high-quality virtual viewpoint image.
以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。また同一の構成または処理については、同じ参照符号を付して説明する。
＜第１の実施形態＞
図１は、仮想視点画像を生成する本実施形態に係る画像処理システム１０の構成の一例を示している。画像処理システム１０は、複数の撮影装置（以下、カメラとする）からなるカメラ群１００と、ハブ２１０と、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２６０と、制御装置２２０と、画像生成装置２３０と、仮想視点設定部２４０とを有する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration shown in the following embodiments is only an example, and the present invention is not limited to the illustrated configuration. Further, the same configuration or processing will be described with the same reference numerals.
<First Embodiment>
FIG. 1 shows an example of the configuration of the
図２は、カメラ群１００に含まれる複数のカメラ１０１～１１０の配置の一例を示している。
図２に示すように、複数のカメラ１０１～１１０は、仮想視点画像の生成に用いる画像を取得する撮影装置である。これらカメラ１０１～１１０は、競技場を取り囲むように配置されている。これらカメラ１０１～１１０のレンズは、同一の注視点１３０に向けられ、それぞれ異なる方向から撮影を行って、仮想視点画像の生成に用いられる複数の撮影画像を取得する。本実施形態における注視点１３０は、複数のカメラ１０１～１１０の光軸が交わる点、すなわち複数のカメラ１０１～１１０における撮影画像の中心に対応する点であるとする。ただし、必ずしもすべてのカメラの光軸が注視点において交わらなくてもよく、少なくとも複数のカメラの撮影画像内に注視点が含まれていればよい。この場合、あるカメラの光軸上の位置のうち他のカメラの光軸に最も近接する位置が、そのカメラにとっての注視点となる。
FIG. 2 shows an example of the arrangement of a plurality of
As shown in FIG. 2, the plurality of
カメラ群１００に含まれる各カメラ１０１～１１０は、例えばデジタルカメラであるとする。なお、各カメラは、静止画像または動画像のいずれかを撮影するカメラであってもよいし、静止画像と動画像の両方を撮影するカメラであってもよい。本実施形態では、画像という文言を、特に断りがない限り静止画及び動画を含むものとして説明する。また本実施形態の説明では、各構成要素間で通信される画像データを簡略化して画像と記している。また本実施形態では、撮像センサを有する撮像部と光線を撮像センサに集めるレンズとを少なくとも含む撮影装置を、カメラと呼んでいる。画像処理システム１０は、カメラ群１００の各カメラ１０１～１１０でそれぞれ取得された複数の撮影画像を用いて、注視点１３０付近で発生するシーンの仮想視点画像を生成可能なシステムである。
It is assumed that each of the
なお、本実施形態では簡略化のために注視点が１つである場合を挙げて説明するが、これに限らず、注視点は複数存在していてもよい。すなわちカメラ群１００に含まれる一部のカメラは第１の注視点を向いて撮影を行い、その他のカメラは第１の注視点とは異なる第２の注視点を向いて撮影を行ってもよい。また、カメラ群１００に含まれるカメラの台数は１０台に限定されるものではなく、さらに多数のカメラが含まれていてもよい。また、カメラ群１００に含まれる各カメラの配置は、注視点１３０を全方向から取り囲むような配置に限定されるものではない。また、カメラ群１００の設置場所は、競技場に限らず、劇場やライブステージなどであってもよい。
In this embodiment, the case where there is only one gazing point will be described for simplification, but the present invention is not limited to this, and a plurality of gazing points may exist. That is, some cameras included in the
カメラ群１００で撮影された複数の撮影画像は、ハブ２１０を介して制御装置２２０と画像生成装置２３０とに送られる。
制御装置２２０は、カメラ群１００に含まれる各カメラ１０１～１１０を制御する。本実施形態に係る制御装置２２０は、複数のカメラ１０１～１１０の各合焦範囲が、仮想視点画像生成の対象となる参照領域を含むように、それら各カメラ１０１～１１０の撮影パラメータを制御する。
The plurality of captured images captured by the
The
撮影パラメータには、例えば、カメラのズーム値、フォーカス値、絞り値の、少なくとも何れかが含まれる。ただし、撮影パラメータの内容はこれらに限定されない。各カメラは、制御装置２２０から受信した指示に応じて撮影パラメータを変更する。第１の実施形態の場合、仮想視点画像生成の対象となる参照領域を含むようにカメラの合焦範囲を制御する際の撮影パラメータは、フォーカス値を調整するためのパラメータである。フォーカス値の調整とは、フォーカスレンズの位置を調整することであり、フォーカスレンズの位置が変更されることでカメラの合焦点は光軸に沿って移動する。
The shooting parameters include, for example, at least one of a camera zoom value, a focus value, and an aperture value. However, the contents of the shooting parameters are not limited to these. Each camera changes the shooting parameters according to the instruction received from the
また本実施形態において、仮想視点画像生成の対象となる参照領域とは、仮想視点画像生成の対象になる被写体等が存在可能な実空間領域に相当する。図２の場合、仮想視点画像生成の対象になる被写体等が存在可能な実空間領域とは、競技場のフィールド１２０において例えば選手や審判といった人物やボールのような、仮想視点画像生成の対象となる被写体が移動可能な実空間内の範囲である。そして第１の実施形態では、カメラの合焦範囲内に、仮想視点画像生成の対象になる被写体等が存在可能（移動可能）な実空間領域が含まれるように、カメラのフォーカス値を調整するための撮影パラメータを制御する。これらの詳細は後述する。以下の説明では、仮想視点画像生成の対象になる被写体等が存在可能（移動可能）な実空間領域を、参照空間領域と呼ぶことにする。
Further, in the present embodiment, the reference area to be generated as a virtual viewpoint image corresponds to a real space area in which a subject or the like to be generated as a virtual viewpoint image can exist. In the case of FIG. 2, the real space area in which the subject or the like to be the target of the virtual viewpoint image generation can exist is the target of the virtual viewpoint image generation such as a person such as a player or a referee or a ball in the
また制御装置２２０は、ＵＩ部２６０を介してユーザから指示を受け付け可能となされている。ＵＩ部２６０は、操作用のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する表示部と、マウスやキーボード、操作ボタン、タッチパネルなどの操作部とを有し、ユーザによる操作を受け付ける。制御装置２２０は、ＵＩ部２６０からユーザ操作に応じた情報を受け取ると、その情報に基づいて、カメラ群１００の各カメラに対し、それぞれ撮影に係る撮影パラメータの変更指示やカメラ位置（撮影位置）及び撮影方向の変更指示などを送信する。
Further, the
また、各カメラは電動型の雲台を有していてもよい。この場合、制御装置２２０は、各カメラの雲台を個別に制御可能であり、制御装置２２０からの指示によって各カメラの雲台が制御されることで、各カメラのカメラ位置や撮影方向が個別に変更される。
Further, each camera may have an electric pan head. In this case, the
仮想視点設定部２４０は、ユーザによる操作に基づいて指定された仮想視点、あるいは自動で指定された仮想視点を設定する。そして、仮想視点設定部２４０は、その指定された仮想視点の情報を画像生成装置２３０に送る。
画像生成装置２３０は、ハブ２１０を介してカメラ群１００から取得した複数の撮影画像と、仮想視点設定部２４０で設定された仮想視点の情報とを基に、仮想視点画像を生成する。
The virtual
The
画像生成装置２３０は、カメラ群１００から取得した複数の撮影画像から、各撮影画像内の所定のオブジェクト領域とその他の領域とを分離する処理を実行し、その分離処理によって分離した所定のオブジェクト領域から３Ｄモデルを生成する。本実施形態において、所定のオブジェクト領域は、例えば、競技場内の選手や審判、ボールなどのような前景となる被写体領域である。分離処理では、撮影画像から、選手などの被写体領域である前景領域と、それ以外の領域である背景領域と、を分離する処理が行われる。これにより、画像生成装置２３０では、選手や審判、ボールなどの３Ｄモデルが生成される。
The
そして、画像生成装置２３０は、仮想視点設定部２４０にて指定された仮想視点の位置及び向きを示す視点情報を取得し、その仮想視点の位置及び向きに応じて３Ｄモデルを用いたレンダリング処理を行う。これより、画像生成装置２３０では、指定された仮想視点における見えを表す仮想視点画像が生成される。本実施形態における仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。
Then, the
本実施形態のように、撮影画像から仮想視点画像を生成する処理には、Ｖｉｓｕａｌ Ｈｕｌｌなどの既知の方法を用いることができる。なお、仮想視点画像を生成するアルゴリズムは、これに限るものではなく、ビルボード方式など、３Ｄモデルを作らない方式でもよい。
そして、前述のようにして生成された仮想視点画像は、例えば視聴者が保持する視聴端末（不図示）などに送信される。これにより、その視聴端末において仮想視点画像が表示される。
As in the present embodiment, a known method such as Visual Hull can be used for the process of generating the virtual viewpoint image from the captured image. The algorithm for generating the virtual viewpoint image is not limited to this, and a method such as a billboard method that does not create a 3D model may be used.
Then, the virtual viewpoint image generated as described above is transmitted to, for example, a viewing terminal (not shown) held by the viewer. As a result, the virtual viewpoint image is displayed on the viewing terminal.
なお、画像処理システム１０の構成は、図１に示した構成に限定されるものではない。カメラ群１００に含まれる複数のカメラは、制御装置２２０や画像生成装置２３０に直接接続されていてもよいし、カメラ同士がデイジーチェーンで接続されていても良い。画像生成装置２３０は、単一の装置として構成されていてもよいし、互いに接続された複数の装置により構成されていてもよい。また、制御装置２２０がＵＩ部２６０を内部に有していてもよいし、制御装置２２０と画像生成装置２３０とが一体となって構成されていてもよい。画像処理システム１０に含まれる各装置は、有線で接続されていてもよいし、無線で接続されていてもよい。
The configuration of the
図３は、制御装置２２０のハードウェア構成の一例を示した図である。
制御装置２２０は、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５３、補助記憶装置２５４、通信Ｉ／Ｆ２５５、及びバス２５６を有する。
ＣＰＵ２５１は、本実施形態に係るプログラムを含むコンピュータプログラムを実行することで制御装置２２０の全体を制御し、また各種データ処理を行う。なお、制御装置２２０がＣＰＵ２５１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２５１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。
FIG. 3 is a diagram showing an example of the hardware configuration of the
The
The
ＲＯＭ２５２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２５３は、ＲＯＭ２５２や補助記憶装置２５４から供給されるプログラムやデータ、通信Ｉ／Ｆ２５５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２５４は、例えばハードディスクドライブ等で構成され、コンピュータプログラムや、画像および音声などの種々のコンテンツデータを記憶する。本実施形態に係るプログラムは、補助記憶装置２５４に記憶されていてもよいし、ＲＯＭ２５２に記憶されていてもよい。本実施形態に係るプログラムは例えばＲＡＭ２５３に展開されてＣＰＵ２５１により実行される。
The
通信Ｉ／Ｆ２５５は、カメラ群１００や画像生成装置２３０などの外部の装置との通信を行う。例えば、制御装置２２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２５５に接続される。制御装置２２０が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ２５５はアンテナを備える。
バス２５６は、制御装置２２０の各部を繋いで情報を伝達する。
なお、制御装置２２０がＵＩ部２６０を内部に有している場合には、図３に示す構成に加え、制御装置２２０は表示部や操作部を有する。
The communication I /
The
When the
図示は省略するが、画像生成装置２３０のハードウェア構成も基本的に図３の構成と同様である。ただし、画像生成装置２３０の場合、ＣＰＵ２５１は、ＲＯＭ２５２または補助記憶装置２５４に記憶された仮想視点画像生成プログラムを実行することにより、前述した仮想視点画像を生成する処理を実行する。
Although not shown, the hardware configuration of the
図４は、制御装置２２０の機能構成を示したブロック図である。
図４に示すように、制御装置２２０は、機能ブロックとして、画像取得部２２１、パラメータ取得部２２２、パラメータ設定部２２７、範囲取得部２２３、パラメータ決定部２２６、位置管理部２２５、及び領域設定部２２４を有する。
FIG. 4 is a block diagram showing a functional configuration of the
As shown in FIG. 4, the
本実施形態において、範囲取得部２２３、領域設定部２２４、位置管理部２２５、パラメータ決定部２２６、およびパラメータ設定部２２７は、カメラ群１００の各カメラの合焦範囲を制御する範囲制御部を構成する要素となされている。範囲制御部は、各カメラから取得された撮影パラメータに対応する各カメラの合焦範囲と、参照空間領域（仮想視点画像生成の対象になる被写体等が存在可能な実空間領域）に対応した画像生成範囲と、を基に各カメラの合焦範囲を制御する。画像生成範囲は、各カメラで異なる。画像生成範囲は、参照空間領域とカメラの撮像範囲とが重複する実空間における部分空間をいう。言い換えると、参照空間領域に対応した画像生成範囲とは、カメラの撮像範囲に含まれる参照空間領域である。また、画像生成範囲は、参照空間領域のうちカメラの撮像範囲に含まれる範囲でもある。カメラの撮像範囲には、参照空間領域のうちの一部が含まれてもよいし、参照空間領域の全部が含まれていてもよい。参照空間領域と画像生成範囲の詳細は後述する。
In the present embodiment, the
画像取得部２２１は、ハブ２１０を介し、各カメラ１０１～１１０から撮影画像を取得してＵＩ部２６０に送る。このときユーザは、ＵＩ部２６０により表示された画像を見ながら操作を行い、各カメラの位置及び向きの調整を指示したり、各カメラの焦点の調整を指定したりすることができる。
The
パラメータ取得部２２２は、カメラ群１００の各カメラから撮影パラメータを取得する。本実施形態の場合、パラメータ取得部２２２は、ハブ２１０を介し、各カメラ１０１～１１０から、現在のズーム値、フォーカス値、絞り値などの撮影に関する撮影パラメータを取得する。なお、フォーカス値に関しては、カメラが備えているレンズのフォーカスエンコーダ値だけでなく、画面内でフォーカスを合わせる位置を表すフォーカス枠の位置座標やフォーカス領域のコントラスト値を取得してもよい。
The
範囲取得部２２３は、パラメータ取得部２２２によってカメラ毎に取得された撮影パラメータに基づいて、カメラ毎に、合焦点の前後におけるピントが合う範囲である合焦範囲を取得する。合焦範囲の詳細は後述する。
The
領域設定部２２４は、参照空間領域を設定、すなわち仮想視点画像生成の対象になる被写体等が存在可能（移動可能）な実空間領域に関する設定を行う。本実施形態の場合、領域設定部２２４は、競技場のフィールド１２０において選手や審判といった人物やボールのような、仮想視点画像生成の対象となる被写体が移動可能な実空間内の範囲を、参照空間領域として設定する。図２の例では、競技場のフィールド１２０内及びそのフィールド１２０に描かれている線１２１から外側の周囲１０ｍまでを含む範囲を底面とし、地面から高さ方向に５ｍの範囲までを含む、直方体形状の領域が参照空間領域に設定されるとする。
The area setting unit 224 sets the reference space area, that is, sets the real space area in which the subject or the like to be the target of the virtual viewpoint image generation can exist (moveable). In the case of the present embodiment, the area setting unit 224 refers to a range in the real space in which the subject to be the target of virtual viewpoint image generation, such as a person such as a player or a referee or a ball, can move in the
なお、参照空間領域は前述の例に限定されるものではない。例えば、底面や地面からの高さは、競技に応じて異なる値になされてもよい。また、参照空間領域の形状は、直方体形状に限定されず、競技に応じて例えば球体や多面体となされてもよい。また参照空間領域の数は複数であってもよい。さらに、底面や地面からの高さ、参照空間領域の形状、及び参照空間領域の数の少なくとも一つ以上は、撮影の途中で変更されてもよい。撮影途中での参照空間領域の変更は、例えば、指定時間の到来、撮影画像内での特定被写体の検出や解析、ＵＩ部２６０を介したユーザ入力を、所定のトリガとして行われてもよい。本実施形態では、カメラから取得した撮影パラメータに対応する合焦範囲と、参照空間領域に対応した画像生成範囲とを基に、カメラの合焦範囲を制御するため、参照空間領域の数や形状が変われば画像生成範囲も変わることになる。また、所定のトリガに応じて参照空間領域の設定が変更される場合は、そのトリガに応じて画像生成範囲も変更される。
The reference space area is not limited to the above example. For example, the height from the bottom surface or the ground may be set to different values depending on the competition. Further, the shape of the reference space region is not limited to the rectangular parallelepiped shape, and may be, for example, a sphere or a polyhedron depending on the competition. Further, the number of reference space areas may be plural. Further, at least one of the height from the bottom surface and the ground, the shape of the reference space region, and the number of reference space regions may be changed during shooting. The change of the reference space area during shooting may be performed, for example, by the arrival of a designated time, detection and analysis of a specific subject in the shot image, and user input via the
位置管理部２２５は、実空間内における各カメラ１０１～１１０のそれぞれのカメラ位置及びカメラの撮影方向を管理する。位置管理部２２５は、競技場内の特定の１点を世界座標（基準点）としたときの位置座標をカメラ毎のカメラ位置として管理し、また、そのカメラ位置からの撮影方向を管理する。なお、各カメラ１０１～１１０のカメラ位置及び撮影方向は、撮影の前にキャリブレーションを実施することで算出する。
The
パラメータ決定部２２６は、カメラから取得された撮影パラメータに応じて範囲取得部２２３が取得した合焦範囲と、領域設定部２２４が設定した参照空間領域の設定情報と、位置管理部２２５が管理するカメラ位置座標及び撮影方向と、を取得する。さらにパラメータ決定部２２６は、それらを基に、参照空間領域に対応する画像生成範囲に対して適切な各カメラの合焦位置を算出する。そして、パラメータ決定部２２６は、カメラ毎に決定した合焦位置となるように、各カメラに対してそれぞれ設定するべき撮影パラメータを決定する。この詳細は後述する。
The parameter determination unit 226 manages the focusing range acquired by the
パラメータ設定部２２７は、パラメータ決定部２２６にて決定されたカメラ毎の撮影パラメータを、ハブ２１０を介して対応する各カメラに送ることで、それら各カメラに対してそれぞれ撮影パラメータを設定する。
The
本実施形態における各カメラの合焦範囲制御の手順について説明する前に、カメラにおける合焦点とボケ量との関係について説明する。
図５は、カメラの絞り値と合焦点を固定した場合の、当該カメラから被写体までの距離とボケ量との関係を特性曲線５００により示している。合焦点３４０は、カメラの焦点が合っている位置（カメラからの距離）を表している。例えば固定された特定の被写体にカメラの焦点を合わせているとした場合、その被写体の位置が合焦点３４０となる。
Before explaining the procedure for controlling the in-focus range of each camera in the present embodiment, the relationship between the in-focus and the amount of blur in the camera will be described.
FIG. 5 shows the relationship between the distance from the camera to the subject and the amount of blur when the aperture value and the in-focus point of the camera are fixed by the
図５に示した特性曲線５００では、合焦点３４０からカメラ側に近づく方向（図５の横軸の左方向）では、カメラからの距離の変化に応じて急激にボケ量が増加する。一方、カメラから遠ざかる方向（図５の横軸の右方向）では、カメラからの距離の変化に応じて緩やかにボケ量が増加する。本実施形態では、撮影画像から生成される仮想視点画像の画質に大きく影響しない程度のボケ量を、許容ボケ量３１０と定義する。そして本実施形態では、図５の縦軸に示したボケ量が許容ボケ量以下となっている横軸上の距離範囲を、カメラのピントが合っているとみなせる範囲とし、その範囲を合焦範囲３５０と定義する。本実施形態の場合、合焦範囲３５０の大きさは、例えばカメラの被写界深度に対応しているとする。なお、合焦範囲３５０の中心位置３５２は、合焦点３４０と比較してカメラから遠い位置となる。
In the
本実施形態の場合、制御装置２２０の範囲取得部２２３は、以下のようにして合焦範囲３５０を取得する。
合焦範囲３５０のうち、カメラに近い側の端部を前端３５１とし、カメラから遠い側の端部を後端３５３とする。つまり合焦範囲３５０は、前端３５１の位置から後端３５３の位置までの間である。ここで、合焦範囲３５０の前端３５１からカメラまでの距離をＡとし、後端３５３からカメラまでの距離をＢとする。またカメラ位置の座標を（Ｘ，Ｙ，Ｚ）、合焦点の座標を（ｘ，ｙ，ｚ）、カメラから合焦点までの合焦点距離をＣ、許容錯乱円径をＤ、絞り値をＥ、被写体距離をＦ、焦点距離をＧとすると、距離Ａと距離Ｂは以下の計算式で求められる。なお、焦点距離Ｇと絞り値Ｅは、パラメータ取得部２２２がカメラから取得した値を用いる。許容錯乱円径Ｄは、予め定められた固定値を用いる。各距離の単位はｍｍであるとする。
In the case of the present embodiment, the
Of the focusing
Ａ＝Ｃ－（Ｄ×Ｅ×Ｆ2）／（Ｇ2＋Ｄ×Ｅ×Ｆ）
Ｂ＝Ｃ＋（Ｄ×Ｅ×Ｆ2）／（Ｇ2－Ｄ×Ｅ×Ｆ）
Ｃ＝√（(Ｘ－ｘ)2＋(Ｙ－ｙ)2＋(Ｚ－ｚ)2）
A = C- (D × E × F 2 ) / (G 2 + D × E × F)
B = C + (D × E × F 2 ) / (G 2 −D × E × F)
C = √ ((X-x) 2 + (Y-y) 2 + (Z-z) 2 )
図６は、地面４１０上にある注視点１３０へカメラ１０１を向けて焦点を合わせて、その注視点１３０を合焦位置４４０とした場合の例を示している。この図６の例の場合、注視点１３０と合焦位置４４０とは等位置であり、カメラ１０１における合焦範囲３５０に相当する領域は合焦領域４５０となる。すなわち図６の場合、カメラ１０１の合焦範囲３５０に相当する合焦領域４５０は、「カメラ１０１から距離Ａだけ離れた位置」から「カメラ１０１から距離Ｂだけ離れた位置」までの領域となる。なお、距離Ａと距離Ｂは、各カメラで異なる値になる。ここでは簡略化のため、カメラ群１００のうちカメラ１０１に着目して説明を行っているが、他のカメラについても同様である。
FIG. 6 shows an example in which the
図７は、合焦領域４５０と参照空間領域４６０との関係を示している。ここで、仮想視点画像の画質を担保するには、カメラ１０１が撮影する参照空間領域４６０、つまり仮想視点画像生成の対象にするために撮影する実空間領域が、当該カメラ１０１の被写界深度内に入っている必要がある。すなわち、カメラ１０１の撮影画像において参照空間領域４６０に対応した部分のボケ量が、被写界深度に対応した許容ボケ量以下でなければならない。さらに言い換えると、参照空間領域４６０が、カメラ１０１の合焦領域４５０に含まれている必要がある。
FIG. 7 shows the relationship between the focusing
ここで、参照空間領域４６０が許容ボケ量以下であり、参照空間領域４６０が合焦領域４５０に含まれるかどうかは、例えば以下の２つの条件を基に判定することができる。すなわちカメラ１０１から参照空間領域４６０までの最小距離ａと最大距離ｂとを算出し、それらが以下の条件１と条件２とを満足する場合、参照空間領域が許容ボケ量以下であり、参照空間領域が合焦領域に含まれるとの判定を下すことができる。なお、距離Ａは前述したようにカメラ１０１から合焦範囲（合焦領域４５０）の前端までの距離であり、距離Ｂはカメラ１０１から合焦範囲（合焦領域４５０）の後端までの距離である。
Here, whether or not the
条件１ Ａ≦ａ
条件２ Ｂ≧ｂ
Condition 1 A ≤ a
Condition 2 B ≧ b
図７の例では、参照空間領域４６０のうちカメラ側に近い領域は合焦領域４５０に含まれていない。参照空間領域４６０は、前述したように例えば直方体形状の実空間領域であるため、すなわち図７の例の場合、参照空間領域４６０のうち例えば最小距離ａの付近の領域は、合焦領域４５０から外れている。そのため、カメラ１０１の撮影画像内で、その領域に相当する画像は合焦度が低く、低品位な画質となる可能性が高い。つまりこの領域の画像を仮想視点画像の生成に用いると、低画質な画像を使うことになり、その結果、仮想視点画像の画質が低下してしまうことになる。
In the example of FIG. 7, the region of the
図８は、前述した図５の特性曲線５００を表した図に、図７の参照空間領域４６０に対応した範囲を画像生成範囲３６０として描くことで、当該画像生成範囲３６０と合焦範囲３５０との関係を示している。画像生成範囲３６０は、カメラ１０１から参照空間領域４６０の最小距離ａと最大距離ｂとの間の距離に相当する範囲を表している。図８の特性曲線５００から判るように、画像生成範囲３６０のうちカメラ１０１に近い側の一部分は合焦範囲３５０から外れており、その部分のボケ量は許容ボケ量３１０を超えている。このため、カメラ１０１の撮影画像のうち、その許容ボケ量３１０を超えた部分に対応した画像の画質は低品位になる。
FIG. 8 shows the
そこで、本実施形態の制御装置２２０は、例えばカメラ１０１の合焦点を、合焦点３４０よりもカメラに近い方向側へずらすようなフォーカス制御を行う。このように、カメラ１０１の合焦点をカメラに近い方向をずらし、画像生成範囲３６０のうちカメラに近い側が合焦範囲内に入るようにすることで、その部分のボケ量を許容ボケ量３１０以下にすることができる。
Therefore, the
図９は、参照空間領域４６０におけるボケ量が許容ボケ量以下になるように、カメラ１０１の合焦点を当該カメラに近い方向側へ移動したときの特性曲線９００と、合焦範囲５５０とを示している。なお、特性曲線５００は、前述した図５及び図８に示したものである。画像生成範囲３６０におけるボケ量が許容ボケ量以下になるように合焦点を移動させる際には、前述した図７で説明した条件１，２を満足するようにフォーカス制御を行えばよい。特に、合焦範囲５５０の中心と画像生成範囲３６０の中心とが等しい位置になるようにすれば、画像生成範囲３６０におけるボケ量を最小にすることができる。この場合、例えば前述したａ－Ａの距離（参照空間領域の最小距離－合焦範囲の前端までの距離）とＢ－ｂの距離（合焦範囲の後端までの距離－参照空間領域の最大距離）とが正で、且つ等しくなるように合焦位置を決定すればよい。
FIG. 9 shows a
以上の方法によって、カメラ１０１の合焦点を図９に示すような新しい合焦点５４０へ移動した場合の新しい合焦範囲５５０の前端５５１の位置は、カメラから距離Ａ'だけ離れた場所となる。また、新しい合焦範囲５５０の後端５５３の位置は、カメラから距離Ｂ'だけ離れた場所となる。さらに、新しい合焦範囲５５０の中心位置５５２は、画像生成範囲３６０の中心位置と等しくなる。
By the above method, when the in-focus of the
本実施形態の制御装置２２０では、前述のようにして範囲取得部２２３が計算した新しい合焦範囲５５０を基に、パラメータ決定部２２６が合焦点３４０を合焦点５４０へ移動させる合焦位置を求める。そして、パラメータ決定部２２６は、その合焦位置に応じた撮影パラメータを決定し、その決定された撮影パラメータをパラメータ設定部２２７がカメラ１０１に設定する。本実施形態の制御装置２２０では、カメラ群１００の各カメラに対して同様の処理を行う。
In the
図１０は、制御装置２２０において、合焦点を移動させる移動距離を基にフォーカスレンズの位置の変更量を算出し、それを撮影パラメータの一つとして各カメラへ設定してフォーカス制御を行う際の処理の流れを示すフローチャートである。
図１０に示すフローチャートの処理は、カメラ群１００が設置され、仮想視点画像の生成前にそれらカメラ群１００の調整を行うための指示が制御装置２２０に入力されたタイミングで開始される。なお、調整を行うための指示は、ＵＩ部２６０を介したユーザ操作により行われてもよいし、他の装置から指示が入力されてもよい。ただし、図１０の処理の開始タイミングはこれに限定されない。図１０に示すフローチャートの処理は、ＣＰＵ２５１がＲＯＭ２５２又は補助記憶装置２５４に記憶された本実施形態に係るプログラムをＲＡＭ２５３に展開して実行することで実現される。なお、図１０に示す処理の少なくとも一部は、ＣＰＵ２５１とは異なる１又は複数の専用のハードウェアにより実現されてもよい。以降の各フローチャートにおける符号の「Ｓ」は処理ステップを表しているとする。
FIG. 10 shows a case where the
The processing of the flowchart shown in FIG. 10 is started at the timing when the
まずＳ７００において、制御装置２２０はカメラ群１００の中から制御対象とするカメラ（以下、対象カメラとする）を選択し、パラメータ取得部２２２はその対象カメラから撮影パラメータを取得する。
次にＳ７１０において、パラメータ設定部２２７は、注視点に対象カメラの焦点を合わせる指示を行う。
First, in S700, the
Next, in S710, the
次にＳ７２０において、パラメータ決定部２２６は、図９に示したように合焦範囲５５０の中心位置５５２が画像生成範囲３６０の中心位置と等しくなるように、対象カメラの撮影パラメータに基づく合焦点を注視点から移動させる移動量を計算する。
さらにＳ７３０において、パラメータ決定部２２６は、合焦点の移動量から、対象カメラにおけるフォーカスレンズの位置の変更量（フォーカス変更量とする）を計算する。そして、パラメータ決定部２２６は、フォーカス変更量に応じて撮影パラメータの調整量を求め、その調整量に応じた撮影パラメータを決定する。
Next, in S720, the parameter determination unit 226 performs the focus based on the shooting parameters of the target camera so that the
Further, in S730, the parameter determination unit 226 calculates the amount of change in the position of the focus lens (referred to as the amount of focus change) in the target camera from the amount of movement of the in-focus focus. Then, the parameter determination unit 226 obtains the adjustment amount of the shooting parameter according to the focus change amount, and determines the shooting parameter according to the adjustment amount.
次にＳ７４０において、パラメータ設定部２２７は、Ｓ７３０で決定された撮影パラメータを対象カメラに送信することで、対象カメラの合焦点を変更する指示を行う。合焦点をこのように設定することにより、対象カメラは、撮影画像内における参照空間領域のボケ量が小さい状態で撮影することができる。
Next, in S740, the
次にＳ７５０において、制御装置２２０は、カメラ群１００に含まれるすべてのカメラについて、Ｓ７１０からＳ７４０の処理が完了したか確認し、完了していなければＳ７００に戻って未処理のカメラを制御対象のカメラとして選択する。一方、制御装置２２０は、すべてのカメラについての処理が完了していれば、図１０の処理を終了する。なお、ここでは制御装置２２０がすべてのカメラを制御する場合について説明しているが、これに限らず、制御装置２２０はカメラ群１００に含まれるカメラのうちの一部のカメラに対してのみＳ７１０からＳ７４０の処理を行ってもよい。
Next, in S750, the
図１１は、フォーカスレンズの調整による合焦位置の変化を示している。フォーカスレンズ調整後の合焦位置６４０は、光軸上にある調整前の合焦位置４４０よりもカメラ１０１に近い位置となる。合焦位置６４０は、図９の合焦点５４０と同意である。このように、新しい合焦領域６５０は、フォーカスレンズを調整する前よりもカメラに近い方向へ移動し、カメラ１０１の撮影画像内における参照空間領域４６０の画像のボケ量は許容ボケ量以下になり、得られる画像は高精細なものとなる。
FIG. 11 shows a change in the in-focus position due to the adjustment of the focus lens. The in-
以上説明したように、第１の実施形態の制御装置２２０は、複数のカメラの合焦範囲が参照空間領域に相当する画像形成範囲を含むように、各カメラのフォーカスレンズを制御する。これにより、第１の実施形態の画像処理システム１０では、高画質な仮想視点画像を生成することが可能となる。
As described above, the
＜第２の実施形態＞
第２の実施形態では、カメラの画面内でフォーカス合わせを行う位置を示すフォーカス枠を制御して、カメラの合焦範囲が参照空間領域に相当する画像生成範囲を含むようにする例を説明する。なお、第１の実施形態と同等の機能および処理に関しては、同一の符号を付けてそれらの説明を省略する。
<Second embodiment>
In the second embodiment, an example will be described in which a focus frame indicating a position for focusing on the screen of the camera is controlled so that the focusing range of the camera includes an image generation range corresponding to a reference space area. .. The functions and processes equivalent to those of the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
図１２は、第２の実施形態の制御装置２２０において、前述同様に求めた合焦点を移動させる距離を基に、フォーカス枠の移動量を算出し、そのフォーカス枠の移動量に応じた撮影パラメータを各カメラに設定する処理のフローチャートである。
FIG. 12 shows, in the
まずＳ８００において、制御装置２２０は、カメラ群１００の中から制御対象とする対象カメラを選択し、パラメータ取得部２２２が対象カメラから撮影パラメータを取得する。
次にＳ８１０において、パラメータ設定部２２７は、注視点に対象カメラの焦点を合わせる指示を行う。
次にＳ８２０において、パラメータ決定部２２６は、図９に示したように合焦範囲の中心位置が画像生成範囲の中心位置と等しくなるように、対象カメラの撮影パラメータに基づく合焦点を注視点から移動させる移動量を計算する。
First, in S800, the
Next, in S810, the
Next, in S820, the parameter determination unit 226 focuses the focal point based on the shooting parameters of the target camera from the gazing point so that the center position of the focusing range becomes equal to the center position of the image generation range as shown in FIG. Calculate the amount of movement to move.
さらにＳ８３０において、パラメータ決定部２２６は、Ｓ８２０で求めた合焦点の移動量を基に、フォーカス枠を移動させる移動量を計算する。具体的には、カメラから地面４１０までの距離が合焦点５４０までの位置と等しくなる場所を求め、その場所についてカメラ１０１の撮影画像内で対応する位置を算出する。そして、パラメータ決定部２２６は、フォーカス枠の中心位置が当該撮影画像内の対応する位置となるように、フォーカス枠の移動量を求める。そして、パラメータ決定部２２６は、フォーカス枠移動量に応じて撮影パラメータの調整量を求め、その調整量に応じた撮影パラメータを決定する。
Further, in S830, the parameter determination unit 226 calculates the amount of movement to move the focus frame based on the amount of movement of the focal point obtained in S820. Specifically, a place where the distance from the camera to the
次にＳ８４０において、パラメータ設定部２２７は、Ｓ８３０で決定された撮影パラメータを対象カメラに送信する。
さらにＳ８５０において、パラメータ設定部２２７は、対象カメラの焦点を合わせる指示を行う。このように合焦点を設定することにより、カメラにおいて参照空間領域内をボケ量の小さい状態で撮影することができるようになる。
Next, in S840, the
Further, in S850, the
その後、Ｓ８６０において、制御装置２２０は、カメラ群１００に含まれるすべてのカメラについてＳ８００からＳ８５０の処理が完了したか確認し、完了していなければＳ８００に戻って未処理のカメラを制御対象のカメラとして選択する。一方、制御装置２２０は、すべてのカメラについての処理が完了していれば、図１２の処理を終了する。なお、図１２の例でも、制御装置２２０がすべてのカメラを制御する場合について説明しているが、これに限らず、制御装置２２０はカメラ群１００に含まれるカメラのうちの一部のカメラに対してのみＳ８００からＳ８５０の処理を行ってもよい。
After that, in S860, the
図１３は、合焦点の移動距離に基づいてフォーカス枠の移動量を算出し、その算出結果に基づいてフォーカス枠を移動した時の位置を示している。ここでは、図９と同様の例を用いて説明する。フォーカス枠移動後の合焦位置８４０は、地面４１０上にあり、調整前の合焦位置４４０よりカメラに近い位置となる。合焦位置８４０は、図９の合焦点５４０と同意である。この移動により、新しい合焦領域６５０は、フォーカス枠を調整する前の領域よりカメラに近い方向へ移動し、カメラ１０１の撮影画像内における参照空間領域４６０の部分のボケ量は、許容ボケ量を超えないため、高精細な撮影画像が得られる。
FIG. 13 calculates the movement amount of the focus frame based on the movement distance of the in-focus point, and shows the position when the focus frame is moved based on the calculation result. Here, the same example as in FIG. 9 will be used for description. The in-
図１４は、カメラにより取得された撮影画像によって例えばＵＩ部２６０に表示されたカメラ画面の一例を示している。
合焦位置４４０は、移動前のフォーカス枠１４００における合焦位置に相当する。合焦位置４４０は、撮影画像が表示された画面において、図７の合焦位置４４０が映っている箇所になる。合焦位置８４０は、図１３のＳ８３０で算出されたフォーカス枠移動量ｇだけ合焦位置４４０から移動した後の合焦位置である。この合焦位置８４０の位置は、撮影画像が表示された画面において、図１３の合焦位置８４０が映っている箇所になる。フォーカス枠１４１０は、合焦位置８４０がフォーカス枠の中心となるように移動した時のフォーカス枠である。フォーカス枠１４１０の状態で焦点合わせを実行すると、合焦領域は、図１３に示した合焦領域６５０になり、カメラ１０１の撮影画像内における参照空間領域４６０の部分のボケ量は、許容ボケ量を超えないため、高精細な撮影画像が得られる。
FIG. 14 shows an example of a camera screen displayed on the
The in-
以上のように、第２の実施形態の制御装置２２０は、複数のカメラの合焦範囲が参照空間領域に相当する画像形成範囲を含むように、各カメラのフォーカス枠を移動制御する。これにより、第２の実施形態の画像処理システム１０では、高画質な仮想視点画像を生成することが可能となる。
As described above, the
＜第３の実施形態＞
第３の実施形態では、各カメラの絞り値を制御することで、各カメラの合焦範囲が参照空間領域に相当する画像生成範囲を含むようにする例を説明する。第１の実施形態と同等の機能および処理については、同一の符号を付けてそれらの説明を省略する。
<Third embodiment>
In the third embodiment, an example will be described in which the aperture value of each camera is controlled so that the focusing range of each camera includes the image generation range corresponding to the reference space region. The functions and processes equivalent to those of the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
図１５は、カメラの撮影画像内の参照空間領域が許容ボケ量以下になるように絞り値を変更したときの特性曲線１５００と合焦範囲９５０とを示している。なお、特性曲線５００は、前述した図５及び図８に示したものである。第３の実施形態では、絞りを閉口側へ調整（絞りのｆ値が大きい値になるように調整）することで、被写界深度を深くして、合焦範囲が広くなるようにすることで、参照空間領域の全体が許容ボケ量以下になるようにする。すなわち第３の実施形態では、撮影画像内で参照空間領域に相当する画像生成範囲３６０におけるボケ量が許容ボケ量３１０より小さくなる絞り値を計算し、その絞り値にするための絞り変更量を算出して絞りを調整する。
FIG. 15 shows a
このように絞り調整を行うと、値調整後の合焦範囲９５０の新しい前端９５１の位置はカメラから距離Ａ''だけ離れた場所となり、また新しい後端９５３の位置はカメラから距離Ｂ''だけ離れた場所となり、それらの中心は中心位置９５２になる。すなわち絞り値調整後の新しい合焦範囲９５０は、前端９５１から後端９５３までの間の範囲となる。第３の実施形態では、パラメータ決定部２２６は、参照空間領域が被写界深度の範囲内に入るような絞りの変化量を求め、その絞りの変化量に応じた撮影パラメータを決定する。そして、パラメータ設定部２２７は、その撮影パラメータを各カメラへ設定する。
When the aperture is adjusted in this way, the position of the new
図１６は、第３の実施形態の制御装置２２０において、各カメラの合焦範囲が画像生成範囲を含むような絞り値を算出し、その絞り値にするための絞り変更量を算出して各カメラへ設定する処理の流れを示すフローチャートである。
FIG. 16 shows in the
Ｓ１０００において、制御装置２２０は、カメラ群１００の中から制御対象とする対象カメラを選択し、パラメータ取得部２２２が対象カメラから撮影パラメータを取得する。
次にＳ１０１０において、パラメータ設定部２２７は、注視点に対象カメラの焦点を合わせる指示を行う。
In S1000, the
Next, in S1010, the
次にＳ１０２０において、パラメータ決定部２２６は、図１５に示したように、画像生成範囲のボケ量が許容ボケ量以下になるように、対象カメラの撮影パラメータに基づいて被写界深度の変化量を計算する。
さらにＳ１０３０において、パラメータ決定部２２６は、被写界深度の変化量に基づいて絞りの変更量を計算する。そして、パラメータ決定部２２６は、絞りの変更量に応じた撮影パラメータの調整量を求め、その調整量に応じた撮影パラメータを決定する。
Next, in S1020, as shown in FIG. 15, the parameter determination unit 226 changes the depth of field based on the shooting parameters of the target camera so that the amount of blur in the image generation range is equal to or less than the allowable amount of blur. To calculate.
Further, in S1030, the parameter determination unit 226 calculates the amount of change in the aperture based on the amount of change in the depth of field. Then, the parameter determination unit 226 obtains the adjustment amount of the shooting parameter according to the change amount of the aperture, and determines the shooting parameter according to the adjustment amount.
次にＳ１０４０において、パラメータ設定部２２７は、Ｓ１０３０で決定された撮影パラメータを対象カメラに送信する。これにより対象カメラの絞り値が調整される。そして、このように絞り値を調整することにより、カメラの撮影画像内における参照空間領域の部分をボケ量の少ない状態で撮影することができる。
Next, in S1040, the
その後、Ｓ１０５０において、制御装置２２０は、カメラ群１００に含まれるすべてのカメラについてＳ１０００からＳ１０４０の処理が完了したか確認し、完了していなければＳ１０００に戻って未処理のカメラを制御対象のカメラとして選択する。一方、制御装置２２０は、すべてのカメラについての処理が完了していれば、図１６の処理を終了する。なお本実施形態でも制御装置２２０がすべてのカメラを制御する場合について説明しているが、これに限らず、制御装置２２０はカメラ群１００に含まれるカメラのうちの一部のカメラに対してのみＳ１０００からＳ１０４０の処理を行ってもよい。
After that, in S1050, the
以上のように、第３の実施形態の制御装置２２０は、複数のカメラの合焦範囲が参照空間領域に相当する画像形成範囲を含むように、各カメラの絞り値を制御する。これにより、第３の実施形態の画像処理システム１０では、高画質な仮想視点画像を生成することが可能となる。
As described above, the
前述した各実施形態では、フォーカスレンズのフォーカス変更量、フォーカス枠移動量、絞り値の変更量をそれぞれ個別に制御したが、制御装置２２０は、それらの二つ以上を組み合わせてカメラを制御してもよい。
In each of the above-described embodiments, the focus change amount, the focus frame movement amount, and the aperture value change amount of the focus lens are individually controlled, but the
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
The above-mentioned embodiments are merely examples of embodiment in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from its technical idea or its main features.
２２０：制御装置、２２１：画像取得部、２２２：パラメータ取得部、２２３：範囲取得部、２２４：領域設定部、２２５：位置管理部、２２６：パラメータ決定部、２２７：パラメータ設定部 220: Control device, 221: Image acquisition unit 222: Parameter acquisition unit 223: Range acquisition unit 224: Area setting unit 225: Position management unit 226: Parameter determination unit 227: Parameter setting unit
Claims (9)
前記仮想視点画像の生成の対象となる範囲のうち当該撮影装置の撮像範囲に含まれる画像生成範囲が、前記取得された前記撮影パラメータに基づいて特定される撮影装置の合焦範囲に含まれるように、前記撮影装置の合焦範囲を制御する範囲制御手段と、
を有することを特徴とする制御装置。 A parameter acquisition means for acquiring shooting parameters from a shooting device used to generate a virtual viewpoint image, and
The image generation range included in the imaging range of the photographing device among the ranges to be generated of the virtual viewpoint image is included in the focusing range of the photographing device specified based on the acquired shooting parameters. In addition, a range control means for controlling the focusing range of the photographing apparatus and
A control device characterized by having.
前記取得された前記撮影パラメータに対応した前記撮影装置の前記合焦範囲を取得する範囲取得手段と、
前記仮想視点画像の生成の対象になる範囲に対応した画像生成範囲を設定する領域設定手段と、
前記撮影装置が設置された実空間内の位置を管理する位置管理手段と、
前記取得された撮影パラメータに対応した前記撮影装置の前記合焦範囲と、前記画像生成範囲と、前記撮影装置の位置とに基づいて、前記撮影装置に対する撮影パラメータを決定する決定手段と、
前記決定手段にて決定された撮影パラメータを前記撮影装置に対して設定する設定手段と、
を有することを特徴とする請求項１から請求項４のいずれか１項に記載の制御装置。 The range control means is
A range acquisition means for acquiring the in-focus range of the imaging device corresponding to the acquired imaging parameter, and
An area setting means for setting an image generation range corresponding to the range to be generated of the virtual viewpoint image, and
A position management means for managing the position in the real space where the photographing device is installed, and
A determination means for determining a shooting parameter for the shooting device based on the focusing range of the shooting device corresponding to the acquired shooting parameter, the image generation range, and the position of the shooting device.
A setting means for setting a shooting parameter determined by the determination means for the shooting device, and a setting means.
The control device according to any one of claims 1 to 4, wherein the control device comprises.
前記範囲制御手段は、前記複数の撮影装置の前記合焦範囲を制御することを特徴とする請求項１から請求項６のいずれか１項に記載の制御装置。 The parameter acquisition means acquires the imaging parameters from a plurality of imaging devices and obtains the imaging parameters.
The control device according to any one of claims 1 to 6, wherein the range control means controls the focusing range of the plurality of photographing devices.
仮想視点画像を生成するために用いられる撮影装置から撮影パラメータを取得するパラメータ取得工程と、
前記仮想視点画像の生成の対象となる範囲のうち当該撮影装置の撮像範囲に含まれる画像生成範囲が、前記取得された前記撮影パラメータに基づいて特定される撮影装置の合焦範囲に含まれるように、前記撮影装置の合焦範囲を制御する範囲制御工程と、
を有することを特徴とする制御方法。 It is a control method that controls the imaging device.
A parameter acquisition process for acquiring shooting parameters from a shooting device used to generate a virtual viewpoint image, and
The image generation range included in the imaging range of the photographing device among the ranges to be generated of the virtual viewpoint image is included in the focusing range of the photographing device specified based on the acquired shooting parameters. In addition, a range control step for controlling the focusing range of the photographing apparatus and
A control method characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020132904A JP2022029567A (en) | 2020-08-05 | 2020-08-05 | Control device, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020132904A JP2022029567A (en) | 2020-08-05 | 2020-08-05 | Control device, control method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022029567A true JP2022029567A (en) | 2022-02-18 |
Family
ID=80324911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020132904A Pending JP2022029567A (en) | 2020-08-05 | 2020-08-05 | Control device, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022029567A (en) |
-
2020
- 2020-08-05 JP JP2020132904A patent/JP2022029567A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6230239B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP5456020B2 (en) | Information processing apparatus and method | |
| JP5968107B2 (en) | Image processing method, image processing apparatus, and program | |
| JP7146662B2 (en) | Image processing device, image processing method, and program | |
| CN108432230B (en) | Imaging device and method for displaying an image of a scene | |
| CN113572963A (en) | System and method for fusing images | |
| WO2019176713A1 (en) | Control device, image processing system, control method, and program | |
| KR20150050172A (en) | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object | |
| WO2021134179A1 (en) | Focusing method and apparatus, photographing device, movable platform and storage medium | |
| JP2019036790A (en) | Image generation apparatus, image generation method, and program | |
| JP2019083402A (en) | Image processing apparatus, image processing system, image processing method, and program | |
| JP2013041103A (en) | Image pickup apparatus, control method thereof, and program | |
| JP2013026844A (en) | Image generation method and device, program, recording medium, and electronic camera | |
| US20120019709A1 (en) | Assisting focusing method using multiple face blocks | |
| WO2019065260A1 (en) | Information processing device, information processing method, and program, and interchangeable lens | |
| JP6700935B2 (en) | Imaging device, control method thereof, and control program | |
| WO2021031210A1 (en) | Video processing method and apparatus, storage medium, and electronic device | |
| CN114363522A (en) | Photographing method and related device | |
| JP6168220B2 (en) | Image generation apparatus, image processing apparatus, image generation method, and image processing program | |
| JP2013162416A (en) | Imaging apparatus, image processing apparatus, image processing method and program | |
| CN109923853B (en) | Image processing apparatus, image processing method, and program | |
| JP2022029567A (en) | Control device, control method, and program | |
| KR20200069078A (en) | System and method for generating panorama image | |
| CN115393182A (en) | Image processing method, device, processor, terminal and storage medium | |
| JP2022038176A (en) | Control device, control method, and program |