JP2020005109A - Imaging system, arrangement determining device, arrangement determining method, and program - Google Patents
Imaging system, arrangement determining device, arrangement determining method, and program Download PDFInfo
- Publication number
- JP2020005109A JP2020005109A JP2018122420A JP2018122420A JP2020005109A JP 2020005109 A JP2020005109 A JP 2020005109A JP 2018122420 A JP2018122420 A JP 2018122420A JP 2018122420 A JP2018122420 A JP 2018122420A JP 2020005109 A JP2020005109 A JP 2020005109A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- camera
- information
- arrangement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims description 59
- 230000003287 optical effect Effects 0.000 claims description 83
- 230000008859 change Effects 0.000 claims description 80
- 239000013598 vector Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像システム、撮像手段の配置を決定する配置決定装置、撮像手段の配置を決定する配置決定方法及びプログラムに関する。 The present invention relates to an imaging system, an arrangement determining device for determining an arrangement of an imaging unit, an arrangement determining method for determining an arrangement of an imaging unit, and a program.
被写体(オブジェクト)を複数のカメラで撮像して得られた画像(複数視点画像)から、当該オブジェクトを任意の仮想視点から見た際に得られる画像(仮想視点画像)を生成する技術が知られている。特許文献1には、以下の方法が記載されている。まず、複数のカメラにより取得された撮像画像に基づいて3次元形状データを生成する。次に、複数の撮像画像に基づくテクスチャデータと3次元形状データとに基づいて、カメラが配置されていない仮想視点から見たときの仮想視点画像が生成される。また、特許文献1には、3次元形状データを生成する方法として、撮像画像からオブジェクトの領域を抽出したシルエット画像を用いる視体積交差法が例示されている。 2. Description of the Related Art A technique for generating an image (virtual viewpoint image) obtained when an object (object) is viewed from an arbitrary virtual viewpoint from an image (multiple viewpoint images) obtained by capturing an object with a plurality of cameras is known. ing. Patent Document 1 describes the following method. First, three-dimensional shape data is generated based on captured images obtained by a plurality of cameras. Next, based on the texture data based on the plurality of captured images and the three-dimensional shape data, a virtual viewpoint image when viewed from a virtual viewpoint where no camera is arranged is generated. Patent Document 1 exemplifies a method of generating three-dimensional shape data, such as a volume intersection method using a silhouette image in which an object region is extracted from a captured image.
ところで、仮想視点画像の品質は、3次元形状データの精度に依存する。特許文献1に例示されているようなシルエット画像を用いる場合、この3次元形状データの精度を向上させるには、複数のオブジェクト画像を用いることが求められる。つまり、より異なる方向から撮像されることが求められる。 Incidentally, the quality of the virtual viewpoint image depends on the accuracy of the three-dimensional shape data. When a silhouette image as exemplified in Patent Document 1 is used, it is required to use a plurality of object images to improve the accuracy of the three-dimensional shape data. That is, it is required that images are taken from different directions.
しかし、複数のカメラが異なる方向から撮像するように配置されたとしてもカメラの配置位置によっては、実質的に同じシルエット画像となる可能性がある。例えば、2つのカメラが、ある中心軸に対して2回対称となる関係の位置に配置されている場合、その2つのカメラの撮影画像から抽出されるシルエット画像は、左右が反転している点で異なるが、実質的に同じシルエット画像となる。そのため、カメラ台数に応じた精度の3次元形状データが得られないおそれが生じる。 However, even if a plurality of cameras are arranged to capture images from different directions, there is a possibility that substantially the same silhouette image will be obtained depending on the arrangement positions of the cameras. For example, when two cameras are arranged at positions that are symmetrical twice with respect to a certain central axis, a silhouette image extracted from images captured by the two cameras has a point where the left and right are reversed. , But substantially the same silhouette image. For this reason, there is a possibility that three-dimensional shape data with an accuracy corresponding to the number of cameras cannot be obtained.
本発明では、カメラ台数に応じた精度の3次元形状データを得ることを目的としている。 An object of the present invention is to obtain three-dimensional shape data with an accuracy corresponding to the number of cameras.
本発明の撮像システムは、複数の撮像手段により取得された複数の画像に基づくオブジェクトの領域情報に基づいて3次元形状データを生成するために用いられる撮像システムであって、所定の位置を異なる方向から撮像するように配置された複数の撮像手段を有し、前記所定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の2回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されていることを特徴とする。 An imaging system according to the present invention is an imaging system used to generate three-dimensional shape data based on region information of an object based on a plurality of images acquired by a plurality of imaging means, and a predetermined position is set in a different direction. A plurality of image pickup means arranged so as to pick up an image from at least one of the plurality of image pickup means, the center being about an axis passing through the predetermined position and perpendicular to an image pickup field. In addition to the rotationally symmetric position, another imaging means different from the at least one imaging means among the plurality of imaging means is arranged.
本発明によれば、カメラ台数に応じた精度の3次元形状データを得ることができる。 According to the present invention, it is possible to obtain three-dimensional shape data with an accuracy corresponding to the number of cameras.
以下、本発明の実施形態について図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the following embodiments do not limit the present invention, and not all combinations of the features described in the present embodiments are necessarily essential to the solution of the present invention. The same components will be described with the same reference numerals.
<実施形態1>
本実施形態では、仮想視点画像の品質、3次元形状データの精度の低下を軽減させるためのカメラ(撮像手段)の配置構成について説明する。なお、仮想視点画像とは、エンドユーザ及び/又は選任のオペレータ等が自由に仮想視点に対応するカメラ(仮想カメラ)の位置及び姿勢を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよい。また、仮想視点は、自動的に設定されてもよい。
<First embodiment>
In the present embodiment, an arrangement configuration of a camera (imaging unit) for reducing a decrease in quality of a virtual viewpoint image and accuracy of three-dimensional shape data will be described. The virtual viewpoint image is an image generated by an end user and / or an appointed operator or the like freely operating the position and orientation of a camera (virtual camera) corresponding to the virtual viewpoint, and includes a free viewpoint image and Also called an arbitrary viewpoint image. The virtual viewpoint image may be a moving image or a still image. Further, the virtual viewpoint may be automatically set.
本実施形態において、オブジェクトとは、時系列で同じ方向から撮影を行った場合において動きのある(その絶対位置が変化し得る)動的オブジェクト(動体)を指す。オブジェクトは、例えば、人物や球技におけるボールを指す。 In the present embodiment, an object refers to a dynamic object (moving body) that has a motion (its absolute position may change) when photographing is performed in the same direction in a time series. The object indicates, for example, a person or a ball in a ball game.
本実施形態において、3次元形状データは、オブジェクトの3次元形状を表すデータであり、例えば、撮像対象となる撮像空間を一意に示す世界座標空間における3次元空間のx、y、zの位置情報を持った点群で表現されるものである。また、3次元形状データは、点群で表現されるものに限定されず、他のデータ形式で表現されてもよく、例えば、三角形や四角形などの単純な凸多角形(ポリゴンと呼ばれる)の面で構成されるポリゴンメッシュデータやボクセルなどで表現されてもよい。 In the present embodiment, the three-dimensional shape data is data representing a three-dimensional shape of the object, and for example, position information of x, y, z in a three-dimensional space in a world coordinate space that uniquely indicates an imaging space to be imaged. Is represented by a point cloud having. In addition, the three-dimensional shape data is not limited to data represented by a point group, but may be represented by another data format. For example, a surface of a simple convex polygon (called a polygon) such as a triangle or a quadrangle may be used. May be represented by voxels or polygon mesh data.
[撮像システム]
本実施形態に係る撮像システム10について、図1を用いて説明する。図1は、本実施形態に係る、オブジェクトを異なる方向から撮像するためのカメラ配置の一例を示す図であり、(a)は3次元の俯瞰図、(b)は真上から見た2次元平面図を示している。このカメラ配置では、6台のカメラ13〜18で撮像を行って、仮想視点画像を生成するための複数視点画像を取得する。6台という台数は一例であり、サッカーやラグビーといった広大な空間を対象に撮像を行う場合にはさらに多くのカメラが設置されることはいうまでもない。
[Imaging system]
An
図1(a)及び(b)に示すように、カメラ13〜18は、撮像空間の底面である撮像フィールド12上に設定される任意の注視点11を撮像するように配置されている。ここで、注視点とは、カメラの光軸と撮像フィールド12との交点を示す。図1に示すカメラ13〜18は、同一の注視点11を撮像するように配置されている。また、カメラ13〜18の光軸はこの注視点11を通る。また、注視点11の位置は任意であり、例えば撮像空間内の空中に設定されていてもよい。ただし、各カメラの注視点は、同一の所定の位置でなくてもよく、微小に異なっていてもよく、注視点の位置は図1で示す位置に限られない。また、撮像フィールド12は、サッカーやラグビーなどの競技においてはグラウンドを指す。
As shown in FIGS. 1A and 1B, the
本実施形態の撮像システム10において、カメラ13〜18はそれぞれ、いずれのカメラの注視点11を含んで撮像フィールド12に垂直な軸に対して2回対称の位置以外の位置に配置されている。つまり、カメラ13〜18はそれぞれ、いずれのカメラの注視点11を含んで撮像フィールド12に垂直な軸に対して2回対称の位置に別のカメラが配置されることがないように、配置されている。
In the
具体的に図1(b)を用いて説明する。例えば、注視点11を通り撮像フィールド12に垂直な軸に対してカメラ13の2回対称の位置には別のカメラが配置されていない。当然ながら、カメラ13と注視点11とを結ぶ線分19a上には、カメラ13と異なるカメラは配置されていない。なお、線分19aに最も近い位置には、カメラ14〜16の中でカメラ16が配置されているが、線分19a上に配置されていない。同様に、他のカメラにおいても、注視点11を含んで撮像フィールド12に垂直な軸に対して2回対称の位置には別のカメラが配置されていない。また、カメラと注視点11とを結ぶ線分19a〜19f上には、そのカメラのみが配置されており、他のカメラが配置されていない。なお、以下では、注視点を通り撮像フィールドに垂直な軸に対してカメラの2回対称の位置を、単に対称位置という場合がある。ここで、線分とは、光軸の撮像フィールド面への射影した直線の一部に相当する。
This will be specifically described with reference to FIG. For example, another camera is not disposed at a position symmetrical twice with respect to the axis passing through the
一方、図2を用いて、いずれのカメラの対称位置にも別のカメラが配置されている場合に生じる問題について説明する。図2(a)は、注視点21を中心として6台のカメラが等角度間隔になるように配置されている撮像システム20の3次元の俯瞰図、(b)はそれを真上から見た2次元平面図を示している。このようなカメラ配置の場合、図2(b)で示すように、カメラ23の対称位置にカメラ26が配置されることになる。また、カメラ24とカメラ27は、互いに、対称位置に配置されている。カメラ25とカメラ28も同様の配置である。言い換えると、線分29a上にはカメラ23とカメラ26が配置されている。また、線分29b上にはカメラ24とカメラ27が配置されている。さらに、線分29c上にはカメラ25とカメラ28が配置されている。
On the other hand, with reference to FIG. 2, a problem that occurs when another camera is arranged at a symmetric position of any camera will be described. FIG. 2A is a three-dimensional bird's-eye view of an
図3(a)は、図2で示した撮像システム20により取得された撮像画像と、その撮像画像内のオブジェクト31の領域を示すオブジェクト領域情報であるシルエット画像と、を示す図である。具体的には、カメラ23により取得された撮像画像32と、その撮像画像32から取得されるオブジェクト31の領域を示すオブジェクト領域情報であるシルエット画像33が示されている。また、カメラ26により取得された撮像画像34と、その撮像画像34から取得されるオブジェクト31の領域を示すオブジェクト領域情報であるシルエット画像35が示されている。なお、カメラ23とカメラ26の画角は、同じに設定されているとする。
FIG. 3A is a diagram illustrating a captured image acquired by the
シルエット画像33とシルエット画像35に含まれるオブジェクト31の数は同じである。また、カメラ23とカメラ26は、互いに対称位置に配置されているため、シルエット画像33は、左右反転するとシルエット画像35と同じものとなる。このため、視体積公差法などの方法によりオブジェクト31のシルエット画像を用いて、オブジェクト31の3次元形状データを生成する場合において、シルエット画像33とシルエット画像35とは、左右の反転に違いはあるが得られる情報に大きな違いはない。言い換えると、3次元形状データを生成する上で、シルエット画像33とシルエット画像35から得られる情報は、価値が同じである。また、カメラ24とカメラ27それぞれにより撮像された画像から取得されるオブジェクトのシルエット画像も同様である。カメラ25とカメラ28それぞれにより撮像された画像から取得されるオブジェクトのシルエット画像も同様である。このため、図2の撮像システム20により得られる実質的に有効なシルエット画像は、3つであると言える。
The number of
一方、図3(b)は、本実施形態の撮像システム10により取得された撮像画像と、その撮像画像内のオブジェクト31の領域を示すシルエット画像と、を示す図である。カメラ13により取得された撮像画像36と、その撮像画像36から取得されるオブジェクト31の領域を示すオブジェクト領域情報であるシルエット画像37が示されている。また、カメラ16により取得された撮像画像38と、その撮像画像38から取得されるオブジェクト31の領域を示すオブジェクト領域情報であるシルエット画像39が示されている。なお、カメラ13とカメラ16の画角は、同じに設定されているとする。
On the other hand, FIG. 3B is a diagram illustrating a captured image acquired by the
カメラ16は、カメラ13の対称位置に配置されていないので、シルエット画像39は、左右反転してもシルエット画像37とは一致しない。そのため、撮像システム10により得られるシルエット画像は、カメラの台数と同じ6つである。そのため、図2の撮像システム20とカメラ台数が変わらないにもかかわらず、実質的に有効なシルエット画像を、撮像システム20よりも増やすことができる。そのため、オブジェクト31の領域を示すシルエット画像に基づいて3次元形状データを生成する場合、3次元形状データの精度の低下を軽減させることができる。さらには、仮想視点画像の画質の低下を軽減させることができる。
Since the
本実施形態では、設置するカメラが6台の場合を例に説明を行ったが、これに限られず、少なくとも2台以上のカメラを含む撮像システムであればよい。2台とは、互いに対称位置に配置されないカメラの組み合わせを構成する最小の台数を示している。また、本実施形態では、撮像システムに含まれる全てのカメラが別のカメラの対称位置に配置されない例を説明したが、一部のカメラにおいて対称位置にカメラが配置される構成を排除するものではない。 In the present embodiment, the case where six cameras are installed is described as an example, but the present invention is not limited to this, and an imaging system including at least two or more cameras may be used. The two units indicate the minimum number that constitutes a combination of cameras that are not arranged symmetrically to each other. Further, in the present embodiment, an example has been described in which all cameras included in the imaging system are not arranged at symmetric positions of another camera.However, a configuration in which cameras are arranged at symmetric positions in some cameras is not excluded. Absent.
また、本実施形態では、所定の位置を含んで撮像フィールドに対して垂直な軸を挟んで、カメラと対向しないように、他のカメラが配置されている構成例を説明した。しかし、2つのカメラが対称位置の関係を満たさない位置関係であれば、2つのカメラが、所定の位置を含んで撮像フィールドに対して垂直な軸を挟んで対向する位置関係であってもよい。つまり、2つのカメラそれぞれから撮像フィールドに対して垂直な注視点を通る軸までの距離が異なっていれば、その2つのカメラが対向していてもよい。 Further, in the present embodiment, the configuration example in which another camera is arranged so as not to face the camera with an axis perpendicular to the imaging field including the predetermined position interposed therebetween. However, if the two cameras do not satisfy the relationship of the symmetrical position, the two cameras may include a predetermined position and face the imaging field across a vertical axis. . That is, as long as the distance from each of the two cameras to the axis passing through the gazing point perpendicular to the imaging field is different, the two cameras may face each other.
また、本実施形態では、あるカメラの対象位置に最も近い位置に配置された別のカメラが、そのあるカメラと画角が同一である場合を説明したがこれに限られない。例えば、焦点距離が同一である場合でも、対称位置となる位置関係に2つのカメラが配置された場合には、得られるシルエット画像に大きな違いが生じず、上述した問題が生じる。その他に、シルエット画像に影響を与える、カメラの特性を決めるカメラパラメータが同じであれば上述した問題が生じる。そのようなカメラパラメータは、例えば、撮像センサのサイズ、レンズの種類などである。 Further, in the present embodiment, the case where another camera arranged at a position closest to the target position of a certain camera has the same angle of view as that of the certain camera has been described, but the present invention is not limited to this. For example, even when the focal lengths are the same, when two cameras are arranged in a symmetrical positional relationship, there is no significant difference in the obtained silhouette images, and the above-described problem occurs. In addition, if the camera parameters that affect the silhouette image and determine the characteristics of the camera are the same, the above-described problem occurs. Such camera parameters are, for example, the size of the imaging sensor, the type of lens, and the like.
画角や焦点距離などが異なる2つのカメラから得られるオブジェクトの領域情報(シルエット画像)に大きな違いが発生する場合においては、注視点を基準に対称位置に別のカメラが存在してもよい。また、本実施形態では、対称位置の関係にない少なくとも2つのカメラで、これらのカメラパラメータが異なっていてもよい。また、すべてのカメラで互いにカメラパラメータが異なっていてもよい。 When a large difference occurs in the area information (silhouette image) of the object obtained from two cameras having different angles of view, focal lengths, and the like, another camera may be present at a symmetric position with respect to the gazing point. Further, in the present embodiment, at least two cameras having no relation of the symmetric position may have different camera parameters. In addition, camera parameters may be different for all cameras.
また、本実施形態では、2次元平面上において注視点を中心に対称位置に別のカメラが存在しない構成について説明したが、これに限らない。例えば、サッカースタジアムの1階席にあるカメラと2階席にあるカメラとは、3次元空間において、カメラの撮像フィールドからの高さが異なるので、当然、対称位置に存在しないと言える。 Further, in the present embodiment, a configuration in which another camera does not exist at a symmetric position with respect to the gazing point on the two-dimensional plane has been described, but the present invention is not limited to this. For example, the camera on the first floor seat and the camera on the second floor seat of the soccer stadium have different heights from the imaging field of the camera in the three-dimensional space.
また、複数の注視点がある場合、つまり、撮像システムが、異なる注視点を撮像するように配置された異なるカメラ群に分類される場合には、そのカメラ群ごとに上述したカメラ配置とすればよい。つまり、一つのカメラ群内のカメラの対称位置に、注視点が異なる他のカメラ群のカメラが配置されてもよい。 Further, when there are a plurality of gazing points, that is, when the imaging system is classified into different camera groups arranged so as to capture different gazing points, the camera arrangement described above is used for each camera group. Good. That is, cameras of another camera group having a different gazing point may be arranged at symmetric positions of the cameras in one camera group.
以上、本実施形態の撮像システムにより撮像した多視点画像を用いれば、3次元形状データの精度の低下を軽減し、高画質な仮想視点画像を再構成することができる。 As described above, by using the multi-viewpoint image captured by the imaging system of the present embodiment, it is possible to reduce a decrease in accuracy of the three-dimensional shape data and reconstruct a high-quality virtual viewpoint image.
[画像処理システム]
以下では、本実施形態の撮像システムを有する仮想視点画像を生成する画像処理システムについて説明する。
[Image processing system]
Hereinafter, an image processing system that generates a virtual viewpoint image having the imaging system of the present embodiment will be described.
競技場(スタジアム)やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図11のシステム構成図を用いて説明する。画像処理システム100は、センサシステム110a〜110f、画像コンピューティングサーバ200、コントローラ300、スイッチングハブ180、及びエンドユーザ端末190を有する。
A system in which a plurality of cameras and microphones are installed in facilities such as a stadium or a concert hall to perform photographing and sound collection will be described with reference to a system configuration diagram in FIG. The
コントローラ300は、制御ステーション310と仮想カメラ操作UI330を有する。制御ステーション310は、画像処理システム100を構成するそれぞれのブロックに対してネットワーク310a〜310c、291、180a、180b、及び170a〜170eを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはEthernet(登録商標、以下省略)であるIEEE標準準拠のGbE(ギガビットイーサーネット)や10GbEでもよいし、インターコネクトInfiniband、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
The
最初に、センサシステム110a〜110fの6セットの画像及び音声をセンサシステム110fから画像コンピューティングサーバ200へ送信する動作を説明する。本実施形態の画像処理システム100は、センサシステム110a〜110fがデイジーチェーンにより接続される。
First, an operation of transmitting six sets of images and sounds of the
本実施形態において、特別な説明がない場合は、センサシステム110a〜110fまでの6セットのシステムを区別せずセンサシステム110と記載する。各センサシステム110内の装置についても同様に、特別な説明がない場合は区別せず、マイク111、カメラ112、雲台113、外部センサ114、及びカメラアダプタ120と記載する。なお、センサシステムの台数として6セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。上述した撮像システムは、画像処理システム100においてカメラ112a〜112fにより構成されるシステムに相当する。また、撮像システムのカメラ112a〜112fそれぞれは、異なるカメラの対称位置以外の位置に配置されている。
In the present embodiment, unless otherwise specified, the sensor system 110 is described without discriminating the six sets of the
また、複数のセンサシステム110は同一の構成でなくてもよく、例えばそれぞれが異なる機種の装置で構成されていてもよい。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム100は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム100により提供される仮想視点コンテンツには、仮想視点画像と仮想聴収点音響が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくてもよい。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音響であってもよい。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
In addition, the plurality of sensor systems 110 may not have the same configuration, and for example, may each be configured by a device of a different model. In the present embodiment, unless otherwise specified, the term image is described as including the concept of a moving image and a still image. That is, the
センサシステム110a〜110fは、それぞれ1台ずつのカメラ112a〜112fを有する。すなわち、画像処理システム100は、被写体を複数の方向から撮影するための複数のカメラ112を有する。なお、複数のカメラ112は同一符号を用いて説明するが、性能や機種が異なっていてもよい。複数のセンサシステム110同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の4Kや8Kなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。
Each of the
なおこれに限らず、接続形態として、各センサシステム110a〜110fがスイッチングハブ180に接続されて、スイッチングハブ180を経由してセンサシステム110間のデータ送受信を行うスター型のネットワーク構成としてもよい。
The connection configuration is not limited to this, and a star network configuration in which the
また、図11では、デイジーチェーンとなるようセンサシステム110a〜110fの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム110をいくつかのグループに分割して、分割したグループ単位でセンサシステム110間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ120がスイッチングハブに接続されて画像コンピューティングサーバ200へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム110を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ200への入力を行うことができ、全センサシステム110を1つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
FIG. 11 shows a configuration in which all of the
また、デイジーチェーン接続されて画像コンピューティングサーバ200へ画像入力を行うカメラアダプタ120が1つであるか2つ以上であるかに応じて、画像コンピューティングサーバ200での画像処理の制御が切り替えられる。すなわち、センサシステム110が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ120が1つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ200において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム110がグループに分割されていなければ、同期はとれる。
Further, control of image processing in the
しかし、画像入力を行うカメラアダプタ120が複数になる場合は、画像が撮影されてから画像コンピューティングサーバ200に入力されるまでの遅延がデイジーチェーンのレーン(経路)ごとに異なる場合が考えられる。すなわち、センサシステム110がグループに分割される場合は、画像コンピューティングサーバ200に全周の画像データが入力されるタイミングは同期がとられないことがある。そのため、画像コンピューティングサーバ200において、全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要があることを明記しておく。
However, when a plurality of camera adapters 120 perform image input, the delay from when an image is captured to when the image is input to the
本実施形態では、センサシステム110aはマイク111a、カメラ112a、雲台113a、外部センサ114a、及びカメラアダプタ120aを有する。なお、この構成に限定するものではなく、少なくとも1台のカメラアダプタ120aと、1台のカメラ112aまたは1台のマイク111aを有していればよい。また例えば、センサシステム110aは1台のカメラアダプタ120aと、複数のカメラ112aで構成されてもよいし、1台のカメラ112aと複数のカメラアダプタ120aで構成されてもよい。すなわち、画像処理システム100内の複数のカメラ112と複数のカメラアダプタ120はN対M(NとMは共に1以上の整数)で対応する。また、センサシステム110は、マイク111a、カメラ112a、雲台113a、及びカメラアダプタ120a以外の装置を含んでいてもよい。さらに、カメラアダプタ120の機能の少なくとも一部をフロントエンドサーバ230が有していてもよい。本実施形態では、センサシステム110b〜110fについては、センサシステム110aと同様の構成なので省略する。なお、センサシステム110aと同じ構成に限定されるものではなく、其々のセンサシステム110が異なる構成でもよい。
In the present embodiment, the
マイク111aにて集音された音声と、カメラ112aにて撮影された画像は、カメラアダプタ120aにおいて、様々な処理などが施された後、デイジーチェーン170aを通してセンサシステム110bのカメラアダプタ120bに伝送される。同様にセンサシステム110bは、集音された音声と撮影された画像を、センサシステム110aから取得した画像及び音声と合わせてセンサシステム110cに伝送する。
The sound collected by the microphone 111a and the image captured by the camera 112a are subjected to various processes in the
カメラアダプタ120は、カメラ112が撮影した画像データ及び他のカメラアダプタ120から受取った画像データに対して、前景背景分離処理、前景3次元形状データ情報生成処理、動的キャリブレーションなどの処理を行う。カメラアダプタ120により、撮像画像に対する前景背景分離処理に基づき、オブジェクトのシルエット画像が生成される。また、他のカメラアダプタ120から受け取った複数のシルエット画像に基づき、視体積交差法などにより、オブジェクトに対応する3次元形状データを生成する。後述する画像コンピューティングサーバ200により複数の3次元形状データが統合される。なお、カメラアダプタ120では、オブジェクトに対応する3次元形状データを生成せずに、画像コンピューティングサーバ200により、一括で複数のオブジェクトに対応する3次元形状データを生成するようにしてもよい。
The camera adapter 120 performs processing such as foreground / background separation processing, foreground three-dimensional shape data information generation processing, and dynamic calibration on image data captured by the camera 112 and image data received from another camera adapter 120. . The camera adapter 120 generates a silhouette image of the object based on the foreground / background separation process on the captured image. Further, based on a plurality of silhouette images received from another camera adapter 120, three-dimensional shape data corresponding to the object is generated by a visual volume intersection method or the like. A plurality of three-dimensional shape data is integrated by an
前述した動作を続けることにより、センサシステム110a〜センサシステム110fが取得した画像及び音声は、センサシステム110fから180bを用いてスイッチングハブ180に伝わり、その後、画像コンピューティングサーバ200へ伝送される。
By continuing the above-described operation, the images and sounds acquired by the
なお、本実施形態では、カメラ112a〜112fとカメラアダプタ120a〜120fが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク111a〜111fは一体化されたカメラ112に内蔵されてもよいし、カメラ112の外部に接続されていてもよい。
In this embodiment, the cameras 112a to 112f and the
次に、画像コンピューティングサーバ200の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ200は、センサシステム110fから取得したデータの処理を行う。画像コンピューティングサーバ200はフロントエンドサーバ230、データベース250(以下、DBとも記載する。)、バックエンドサーバ270、タイムサーバ290を有する。
Next, the configuration and operation of the
タイムサーバ290は時刻及び同期信号を配信する機能を有し、スイッチングハブ180を介してセンサシステム110a〜センサシステム110fに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ120a〜120fは、カメラ112a〜112fを時刻と同期信号をもとにGenlockさせ画像フレーム同期を行う。すなわち、タイムサーバ290は、複数のカメラ112の撮影タイミングを同期させる。これにより、画像処理システム100は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ290が複数のカメラ112の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ112又は各カメラアダプタ120が独立して行ってもよい。
The
フロントエンドサーバ230は、センサシステム110fから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース250に書き込む。
The front-
次に、バックエンドサーバ270では、仮想カメラ操作UI330から視点の指定を受け付け、受け付けられた視点に基づいて、データベース250から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
Next, the back-
なお、画像コンピューティングサーバ200の構成はこれに限らない。例えば、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270のうち少なくとも2つが一体となって構成されていてもよい。また、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ200内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ200の機能の少なくとも一部をエンドユーザ端末190や仮想カメラ操作UI330が有していてもよい。
The configuration of the
レンダリング処理された画像は、バックエンドサーバ270からエンドユーザ端末190に送信され、エンドユーザ端末190を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴ができる。すなわち、バックエンドサーバ270は、複数のカメラ112により撮影された撮影画像(複数視点画像)と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ270は、例えば複数のカメラアダプタ120により複数のカメラ112による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ270は、生成した仮想視点コンテンツをエンドユーザ端末190に提供する。なお、本実施形態において仮想視点コンテンツは画像コンピューティングサーバ200により生成されるものであり、特にバックエンドサーバ270により生成される場合を中心に説明する。ただしこれに限らず、仮想視点コンテンツは、画像コンピューティングサーバ200に含まれるバックエンドサーバ270以外の装置により生成されてもよいし、コントローラ300やエンドユーザ端末190により生成されてもよい。
The rendered image is transmitted from the back-
本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点(仮想視点)は、ユーザにより指定されてもよいし、画像解析の結果等に基づいて自動的に指定されてもよい。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像(自由視点画像)が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。 The virtual viewpoint content according to the present embodiment is a content including a virtual viewpoint image as an image obtained when a subject is photographed from a virtual viewpoint. In other words, it can be said that the virtual viewpoint image is an image representing the appearance at the designated viewpoint. The virtual viewpoint (virtual viewpoint) may be specified by the user, or may be automatically specified based on a result of image analysis or the like. That is, the virtual viewpoint image includes an arbitrary viewpoint image (free viewpoint image) corresponding to the viewpoint arbitrarily specified by the user. In addition, an image corresponding to a viewpoint designated by the user from a plurality of candidates and an image corresponding to a viewpoint automatically designated by the device are also included in the virtual viewpoint image.
なお、本実施形態では、仮想視点コンテンツに音声データ(オーディオデータ)が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくてもよい。また、バックエンドサーバ270は、仮想視点画像を例えばH.264やHEVCなどの符号化方式に従って圧縮符号化したうえで、MPEG−DASHプロトコルを使ってエンドユーザ端末190へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末190へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末190としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末190の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはMPEG−DASHに限らず、例えば、HLS(HTTP Live Streaming)やその他の送信方法を用いてもよい。
In the present embodiment, an example in which audio data (audio data) is included in the virtual viewpoint content will be mainly described, but audio data may not necessarily be included. Further, the back-
このように、画像処理システム100は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという3つの機能ドメインを有する。映像収集ドメインはセンサシステム110〜110fを含み、データ保存ドメインはデータベース250、フロントエンドサーバ230及びバックエンドサーバ270を含み、映像生成ドメインは仮想カメラ操作UI330及びエンドユーザ端末190を含む。なお本構成に限らず、例えば、仮想カメラ操作UI330が直接センサシステム110a〜110fから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム110a〜110fから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ230がセンサシステム110a〜110fが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース250の共通スキーマ及びデータ型に変換している。これにより、センサシステム110a〜110fのカメラ112が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ230が吸収し、データベース250に登録することができる。このことによって、カメラ112が他機種カメラに変わった場合に、仮想カメラ操作UI330が適切に動作しないおそれを低減できる。
As described above, the
また、仮想カメラ操作UI330は、直接データベース250にアクセスせずにバックエンドサーバ270を介してアクセスする構成である。バックエンドサーバ270で画像生成処理に係わる共通処理を行い、操作UIに係わるアプリケーションの差分部分を仮想カメラ操作UI330で行っている。このことにより、仮想カメラ操作UI330の開発において、UI操作デバイスや、生成したい仮想視点画像を操作するUIの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ270は、仮想カメラ操作UI330の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作UI330の要求に柔軟に対応する事ができる。
Further, the virtual
このように、画像処理システム100においては、被写体を複数の方向から撮影するための複数のカメラ112による撮影に基づく画像データに基づいて、バックエンドサーバ270により仮想視点画像が生成される。なお、本実施形態における画像処理システム100は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
As described above, in the
以上、画像処理システム100で動作する、カメラ112a〜112fを有する撮像システムについて説明した。この撮像システムのカメラ112a〜112fの配置位置はそれぞれ、上述したような位置関係となっている。このため、3次元形状データの精度の低下を軽減し、仮想視点画像の画質の低下を軽減することができる。
The imaging system having the cameras 112a to 112f that operates in the
<実施形態2>
実施形態1では、様々な方向の仮想視点において3次元形状データの精度の低下を軽減させるための撮像システムとそれを有する画像処理システムについて説明した。本実施形態では、実施形態1で説明した撮像システムにおけるカメラ配置を決定する配置決定装置及びその方法について説明する。
<Embodiment 2>
In the first embodiment, an imaging system for reducing a decrease in accuracy of three-dimensional shape data at virtual viewpoints in various directions and an image processing system including the imaging system have been described. In the present embodiment, an arrangement determining apparatus and method for determining an arrangement of cameras in the imaging system described in the first embodiment will be described.
この配置決定装置は、所定の位置を異なる方向から撮像するように配置される複数のカメラの台数の情報及び注視点の位置情報を取得し、それらの情報基づき、撮像手段の配置を決定する装置である。具体的には、配置決定装置によって、注視点を通り撮像フィールドに対して垂直な軸を中心とする、カメラの2回対称の位置(対称位置)以外に、別のカメラが配置されるように、複数のカメラの配置が決定される。この配置決定装置を用いれば、カメラ台数の情報と注視点の位置情報とを外部から入力して、適切なカメラ配置を決定することが可能となる。また、この配置決定装置によってカメラの配置を自動的に行うようにしてもよいし、決定された配置を基に、人がカメラ配置を行うようにしてもよい。 This arrangement determining apparatus acquires information on the number of cameras arranged to capture an image of a predetermined position from different directions and position information on a gazing point, and determines the arrangement of the imaging unit based on the information. It is. Specifically, the arrangement determining device arranges another camera at a position other than the two-fold symmetric position (symmetric position) of the camera centered on an axis passing through the gazing point and perpendicular to the imaging field. , The arrangement of the plurality of cameras is determined. With this arrangement determining device, it is possible to input information on the number of cameras and positional information on the point of gaze from outside, and determine an appropriate camera arrangement. Further, the arrangement of the cameras may be automatically performed by the arrangement determining device, or a person may perform the camera arrangement based on the determined arrangement.
また、配置決定装置は、台数の情報及び注視点の位置情報に加え、複数のカメラの配置位置を示す配置情報を取得し、それらの情報に基づき、対称位置に別のカメラが存在するか否かを示す対称情報を取得するようにしてもよい。そして、配置決定装置は、あるカメラの対称位置にカメラが存在することを示す対称情報が取得された場合には、対称位置にカメラが存在しないように、カメラの配置を変更することを決定するようにしてもよい。 In addition, the arrangement determination device acquires the arrangement information indicating the arrangement positions of the plurality of cameras in addition to the information on the number of vehicles and the position information of the gazing point, and based on the information, determines whether another camera exists at the symmetric position. Alternatively, symmetry information indicating whether or not the information may be obtained. Then, when the symmetry information indicating that the camera exists at the symmetric position of a certain camera is obtained, the arrangement determining device determines to change the camera arrangement so that the camera does not exist at the symmetric position. You may do so.
なお、配置決定装置は、実施形態1で説明した画像処理システム内の、例えばコントローラ300であってもよいし、画像処理システムに含まれない装置であってよい。以下では、画像処理システムに含まれない別の装置で行う場合を例に説明する。この場合、配置決定装置によって決定されたカメラ配置に従い、実施形態1の撮像システム内の各カメラを配置する、またはすでに配置されている場合はその配置位置を変更する。カメラの実際の配置又は配置位置の変更は、自動で行われてもよいし、人が行ってもよい。以下では、配置決定装置が、カメラの配置の変更を行う例について説明する。
The arrangement determining device may be, for example, the
以下、本実施形態の具体的な構成について述べる。図4は、複数のカメラ401a〜401fを有する撮像システムの各カメラの配置を決定する配置決定装置402を示す図である。配置決定装置402は、撮像システムの複数のカメラとネットワークを介して接続されている。カメラ401a〜401fの台数の情報、初期の配置位置情報、光軸の方向を示す姿勢情報、及び注視点の位置情報が配置決定装置402に入力される。また、配置決定装置402によって更新されたカメラ401a〜401fの配置情報に基づき、カメラ401a〜401fの配置が変更される。また、配置決定装置402は、表示装置403、入力装置404a、404bとネットワークを介して接続されている。表示装置403は、例えば、カメラの初期の配置位置を示す初期の配置情報や更新された配置情報を表示したり、配置位置が変更となるカメラの変更量やその方向などを表示する。入力装置404a、404bは、ユーザから、カメラの初期の配置位置を示す初期配置情報の入力を受け付けたり、ユーザが指定する変更量の入力を受け付ける。
Hereinafter, a specific configuration of the present embodiment will be described. FIG. 4 is a diagram illustrating an
各カメラ401a〜401fは、概略平面上の領域に配置されたオブジェクト405を囲むような複数の方向から、オブジェクト405a、405bを撮像する。オブジェクト405aは、競技グラウンドである撮影フィールド406上の人物(選手)を表し、オブジェクト405bは、ボールを表している。
Each of the
次に、本実施形態で行う、カメラの位置を決定する方法の概要について、図7を用いて説明する。まず、配置決定装置402は、図7(a)で示されている撮像システムに含まれる複数のカメラ702〜707の台数の情報、初期の配置位置を示す初期配置情報、及び光軸の方向を示す姿勢情報を取得する。また、配置決定装置402は、撮像システム内の各カメラの注視点701の位置情報を取得する。その後、決定装置は、台数の情報、初期の配置位置情報、姿勢情報及び注視点の位置情報に基づき、注視点701を含む撮像フィールドに垂直な軸を中心とする対称位置関係になっているカメラの組み合わせが存在するか否かを判定する。そして、決定装置は、対称位置関係になっていると判定されたカメラ702とカメラ705の組について、対称位置関係とならないように、カメラの位置を変更するためのずらす方向(変更する方向)とずらし量(変更量)を決定する。また、決定装置は、カメラ703とカメラ706の組、カメラ704とカメラ707の組についても、対称位置関係とならないように、カメラの位置を変更するためのずらす方向(変更する方向)とずらし量(変更量)を決定する。
Next, an outline of a method for determining the position of the camera performed in the present embodiment will be described with reference to FIG. First, the
例えば、カメラ704から706を、図7(b)で示すような位置に変更した場合、上述したように、各カメラと注視点701を結ぶ線分709a〜709fが6本できる。このようなカメラ配置の撮像システムでは、実質的に有効なシルエット画像を6つ取得できる。一方、図7(a)では、各カメラと注視点701を結ぶ線分708a〜708cが3本しかなく、有効なシルエット画像を3つしか取得できない。そのため、図7(a)に示す撮像システムに比べて図7(b)の撮像システムは、3次元形状データの精度及び仮想視点画像の品質を向上させることができる。
For example, when the
しかし、図7(b)の撮像システムは、カメラ703とカメラ704との間、カメラ706と707との間においては、カメラが配置されていないので、撮像画像を取得できない。そのため、カメラ703とカメラ704との間、カメラ706と707との間においては、シルエット画像を取得できない。そこで、本実施形態では、配置位置を変更した後のカメラと注視点とを結ぶ線分が、注視点701を中心におおよそ均等な角度で配置されるように、カメラをずらす方向とそのずらし量とを決定するようにしてもよい。例えば、図7(c)に示すように、図7(a)のカメラ位置からカメラ705からカメラ707の位置を変更し、カメラと注視点701を結ぶ線分709a〜709fがおおよそ均等に分散するように撮像システムを構築する。このような、撮像システムにより、3次元形状データの精度及び仮想視点画像の品質の低下をより軽減させることができる。なお、本実施形態では、オブジェクトの全体を高品質にする場合を例に挙げて、カメラの位置を決定する方法を説明するが、これに限られない。例えば、仮想視点からの方向が限定されている場合は、限定された方向の領域で上記線分が均等となるように、位置を変更するカメラ及びその変更量を決定されるようにしてもよい。
However, the imaging system in FIG. 7B cannot acquire a captured image since no camera is arranged between the
以下、本実施形態の決定装置で行われる処理について、図5と図6を参照して説明する。図5は、配置決定装置402の構成の一例を示すブロック図である。配置決定装置402は、カメラ情報取得部501と、対称情報取得部502と、光軸隣接情報取得部503と、変更情報決定部504と、カメラ情報更新部505と、カメラ制御部506とを有する。
Hereinafter, processing performed by the determination device of the present embodiment will be described with reference to FIGS. FIG. 5 is a block diagram illustrating an example of the configuration of the
また、図6は、配置決定装置402における処理の流れの一例を示す図である。以下、各構成部により行われる処理の流れを説明する。なお、以下の説明における記号「S」はステップを表す。
FIG. 6 is a diagram illustrating an example of a processing flow in the
カメラ情報取得部501は、カメラの台数、カメラの初期配置情報、カメラの姿勢情報及びカメラの注視点の位置情報などのカメラ情報を取得する。対称情報取得部502は、カメラ情報に基づいて、カメラ毎に、別のカメラとの対称度を算出し、対称情報を算出する。対称度とは、注視点を含む撮像フィールドに対して垂直な軸を中心として、カメラの2回対称の位置に別のカメラが存在するのか、又はその位置にどれくらい近い位置に別のカメラが存在するのかを示す指標である。この対称度及び対称情報については、後述する。
The camera
光軸隣接情報取得部503は、カメラ情報を用いて、カメラ毎に、光軸隣接度を算出し、光軸隣接情報を取得する。光軸隣接度とは、自身のカメラの光軸と別のカメラとの光軸との近さを示すもので、カメラそれぞれの光軸を示すベクトルを2次元平面に投影した直線間の角度を示す指標により定義される。光軸隣接度及び光軸隣接情報については、後述する。
The optical axis adjacent
変更情報決定部504は、対称情報に基づき、カメラの初期配置を変更するか否かを判定する。また、変更情報決定部504は、光軸隣接情報に基づき、変更すると決定したカメラの位置の変更量を決定する。変更量は、ユーザが入力装置404a、404bを用いて入力してもよい。
The change
カメラ情報更新部505は、カメラ情報取得部501又は変更情報決定部504から出力されるカメラ情報を更新する。カメラ情報更新部505は、変更情報決定部504により決定された内容、例えば、位置を変更するカメラとその変更量、位置を変更しないカメラなどの情報を、カメラ制御部506に出力する。なお、図4の表示装置403で、その内容が表示されるように、配置決定装置402内又は表示装置403内にある表示制御部(不図示)に出力し、その表示制御部がその内容を表示するようにしてもよい。この場合、表示装置403で表示された内容に従い、人がカメラの配置位置を変更するようにしてもよい。
The camera
カメラ制御部506は、カメラ情報更新部505により更新されたカメラ情報に基づいて、撮像システムに含まれる複数のカメラの位置を変更する。
The
S601において、カメラ情報取得部501は、撮像システムに含まれるカメラの台数の情報、初期配置情報、姿勢情報、及び注視点の位置情報を含むカメラ情報を取得する。カメラ情報は、撮像空間の底面(撮像フィールド)をx軸,y軸、高さをz軸とした3次元座標軸を定義し、各カメラの位置を座標空間での位置pi(pxi,pyi,pzi)、各カメラの姿勢をベクトルvi[vxi,vyi,vzi]で表現した情報である。ここで、iは設置された複数のカメラそれぞれの識別番号である。なお、カメラ情報の内容は、上述のものに限られず、各カメラの座標位置と注視点の座標位置の情報でもよい。また、カメラの位置情報及び姿勢情報の表現方法はこれに限らず、カメラの位置と姿勢を特定可能な表現であればよい。また、本実施形態では、カメラの初期位置は、注視点を中心に光軸間の角度が均等となるように自動的に決められてもいし、入力装置404a、404bを介してユーザが定めたカメラの位置をカメラの初期位置として取得されてもよい。カメラ情報取得部501は、取得したカメラの初期配置情報と姿勢情報とをカメラ情報として、対称情報取得部502と光軸隣接情報取得部503とカメラ情報更新部505とに出力する。
In step S <b> 601, the camera
S602において、変更情報決定部504は、変更情報を初期化する。変更情報は、各カメラにおいて、カメラの位置を変更するか否かを示す値を第1の値と、変更する場合は変更する量を示す変更量を第2の値として示す情報である。
In S602, the change
S603において、カメラ情報更新部505は、撮像システムに含まれる複数のカメラの中から、カメラ情報を更新するか否かを決定する対象となる基準カメラを決定する。通常は、上述のカメラを識別する番号iが若いものから順に、基準カメラに決定されるが、これに限られない。例えば、複数のカメラの中からランダムに選択されたカメラを基準カメラとして決定してもよいし、他の方法で決定してもよい。
In step S603, the camera
S604において、対称情報取得部502は、カメラ情報取得部501又はカメラ情報更新部505から取得したカメラ情報を用いて、対称情報をカメラ毎に算出する。カメラ情報は、カメラ情報更新部505から取得したカメラ情報を優先的に用いる。以下に、対称情報の算出方法を具体的に説明する。すなわち、例えば、以下の1)〜3)のような手順で行われる。
In step S604, the symmetry
1)各カメラの光軸方向を示すベクトルを2次元平面に投影し、かつ、正規化して得られた方向ベクトル(以下、光軸投影ベクトルという)vi[vpi,vqi]を、カメラ毎に算出する。ここで、iは各カメラを識別する番号であり、いまi=1〜6である。 1) A vector indicating the optical axis direction of each camera is projected onto a two-dimensional plane, and a direction vector (hereinafter referred to as an optical axis projection vector) vi [vpi, vqi] obtained by normalization is calculated for each camera. I do. Here, i is a number for identifying each camera, and i = 1-6.
2)他のカメラとの対称度を算出する。具体的には、基準カメラの光軸投影ベクトルvo[vpo,vqo]と、基準カメラ以外のカメラの光軸投影ベクトルvj[vpj,vqj]との内積vo・vjを算出する。ここで、oは基準カメラの識別番号を表し、jは基準カメラ以外のカメラの識別番号を表す。例えば、i=1のとき、o=1、j=2〜6である。 2) Calculate the degree of symmetry with another camera. Specifically, an inner product vo · vj of an optical axis projection vector vo [vpo, vqo] of the reference camera and an optical axis projection vector vj [vpj, vqj] of a camera other than the reference camera is calculated. Here, o represents the identification number of the reference camera, and j represents the identification number of a camera other than the reference camera. For example, when i = 1, o = 1 and j = 2-6.
3)上記2)で算出した対称度を用いて対称情報を取得する。具体的には、他のカメラとの内積vo・vojの値が負、かつ、内積vo・vjの符号を反転した値の中で、最大の値を基準カメラの対称情報として取得する。この対称情報が1であれば、基準カメラの対称位置に他のカメラが存在することを示す。対称情報が1でなければ、基準カメラの対称位置に他のカメラが存在しないことを示す。つまり、対称情報は、そのカメラの対称位置に他のカメラが存在するか否かを示す情報である。 3) Symmetry information is acquired using the degree of symmetry calculated in 2) above. Specifically, the value of the inner product vo · voj with another camera is negative, and the maximum value among the values obtained by inverting the sign of the inner product vo · vj is acquired as the symmetric information of the reference camera. If the symmetry information is 1, it indicates that another camera exists at the symmetry position of the reference camera. If the symmetry information is not 1, it indicates that no other camera exists at the symmetric position of the reference camera. That is, the symmetric information is information indicating whether or not another camera exists at the symmetric position of the camera.
対称情報取得部502は、取得した対称情報を変更情報決定部504に出力する。本実施形態では、2次元平面と内積を用いて対称情報の算出を行ったが、これに限られず、基準カメラと他のカメラとが対称位置関係にあるか否か、及びその度合いを判断することができる他の方法を用いてもよい。
The symmetry
S605において、変更情報決定部504は、S604で取得した対称情報を用いて、基準カメラに対して注視点を基準として対称位置となるカメラが存在するか否かを判定する。本実施形態では、基準カメラの対称情報が1である場合は、上述したように、対称位置に別のカメラが存在すると判定し(S605でYES)、S606に移る。ただし、これに限らず、例えば、対称情報が0.8以上であれば、対称位置に別のカメラが存在すると判定してもよい。つまり、基準カメラに対して完全な対称位置に別のカメラが存在する場合にのみ対称位置に別のカメラが存在すると判定するのではなく、おおよその対称位置に別のカメラが存在する場合も対称位置に存在すると判定することが許容されてもよい。また、本実施形態では、2次元のベクトルにより算出した対称情報を用いて、基準カメラの対称位置に別のカメラが存在するか否かの判定を行ったがこれに限らず、高さ方向を含む3次元的な位置関係に基づいて判定を行ってもよい。その場合、2次元の場合においては対称位置であっても、高さの位置が異なる場合は対称位置には存在しないカメラとであると判定されることがある。
In step S605, the change
S606において、変更情報決定部504は、S605でYESと判定した場合には、変更情報の第1の値を1に更新する。この第1の値が1であることは、そのカメラの位置を変更することを表す。
In S606, the change
また、S605でNO、つまり、変更情報決定部504は、基準カメラの対称位置に別のカメラが存在しないと判定した場合はS612に進み、変更情報の第1の値と第2の値とをともに0に更新する。第1の値が0であることは、そのカメラの位置を変更しないことを表す。また、第2の値が0であることは、変更量が0であることを表す。この場合は、S610に進む。
If NO in S605, that is, if the change
次に、S607において、光軸隣接情報取得部503は、カメラ情報取得部501又はカメラ情報更新部505から取得したカメラ情報を用いて、光軸隣接度を取得する。カメラ情報は、カメラ情報更新部505から取得したカメラ情報を優先的に用いる。以下に光軸隣接度の取得方法を具体的に述べる。すなわち、例えば、以下の1)〜3)のような手順で行われる。
Next, in step S607, the optical axis adjacent
1)各カメラの光軸投影ベクトルvi[vpi,vqi]を、カメラ毎に算出する。ここで、iは各カメラを識別する番号であり、いまi=1〜6である。なお、この手順は、対称情報の算出方法の1)と同じであり、対称情報取得部502からこの情報を取得するようにしてもよい。
1) The optical axis projection vector vi [vpi, vqi] of each camera is calculated for each camera. Here, i is a number for identifying each camera, and i = 1-6. Note that this procedure is the same as the method 1) of calculating the symmetry information, and this information may be acquired from the symmetry
2)基準カメラの光軸投影ベクトルvo[vpo,vqo]と、基準カメラ以外のカメラの光軸投影ベクトルvj[vpj,vqj]との内積vo・vjと外積vo×vjとを算出する。ここで、oは基準カメラの識別番号を表し、jは基準カメラ以外のカメラの識別番号を表す。例えば、i=1のとき、o=1、j=2〜6である。なお、この内積vo・vjは、対称情報取得部502から取得するようにしてもよい。
2) The inner product vo · vj and the outer product vo × vj of the optical axis projection vector vo [vpo, vqo] of the reference camera and the optical axis projection vectors vj [vpj, vqj] of the cameras other than the reference camera are calculated. Here, o represents the identification number of the reference camera, and j represents the identification number of a camera other than the reference camera. For example, when i = 1, o = 1 and j = 2-6. The inner product vo · vj may be obtained from the symmetry
3)上記2)で算出した、他のカメラとの内積vo・vojと外積vo×vjの値から、外積vo×vjを内積vo・vjで除した値を算出し、その値をカメラの光軸隣接度とする。なお、この光軸隣接度は、カメラの光軸を示すベクトルを2次元平面に投影した直線間の角度を示す指標である。本実施形態では、2次元平面と内積と外積とを用いて光軸隣接度の算出を行ったが、これに限られず、他の方法を用いてもよい。光軸隣接情報取得部503は、基準カメラの別カメラとの光軸隣接度をまとめた情報を光軸隣接情報として変更情報決定部504に出力する。
3) The value obtained by dividing the outer product vo × vj by the inner product vo · vj from the value of the inner product vo · voj and the outer product vo × vj with the other camera calculated in the above 2) is calculated, and the calculated value is used as the light of the camera. Axis adjacency. The optical axis adjacency is an index indicating an angle between straight lines obtained by projecting a vector indicating the optical axis of the camera onto a two-dimensional plane. In the present embodiment, the calculation of the optical axis adjacency is performed using the two-dimensional plane, the inner product, and the outer product. However, the present invention is not limited to this, and another method may be used. The optical axis adjacent
ステップS608において、変更情報決定部504は、S606で取得した光軸隣接情報から、基準カメラの位置を変更する際の変更量を決定し、変更情報の第2の値を更新する。以下に具体的に述べる。すなわち、例えば、以下の1)〜3)(又は1)〜3’))のような手順で行われる。
In step S608, the change
1)光軸隣接情報の中から光軸隣接度が正かつ最小となる値cpと、光軸隣接度が負かつ最小となる値cmを抽出する。 1) A value cp at which the optical axis adjacency is positive and minimum and a value cm at which the optical axis adjacency is negative and minimum are extracted from the optical axis adjacency information.
2)光軸隣接情報から光軸隣接度が0となるカメラが基準カメラ以外に存在するか否かを判定する。 2) It is determined from the optical axis adjacency information whether a camera having an optical axis adjacency of 0 exists other than the reference camera.
3)光軸隣接情報から光軸隣接度が0となるカメラが基準カメラ以外に存在すると判定された場合は、光軸隣接度が正の最小値cpの絶対値と光軸隣接度が負の最小値cmの絶対値とを比較し、絶対値が最小となる値cを抽出する。そして、検出した値cを使用して、基準カメラの光軸と最も隣接する光軸との中間角度θ=arctan(c/2)を算出する。 3) If it is determined from the optical axis adjacency information that the camera having the optical axis adjacency of 0 is other than the reference camera, the absolute value of the minimum value cp having the positive optical axis adjacency and the negative optical axis adjacency are negative. The absolute value of the minimum value cm is compared with the absolute value, and a value c that minimizes the absolute value is extracted. Then, using the detected value c, an intermediate angle θ = arctan (c / 2) between the optical axis of the reference camera and the optical axis closest to the reference camera is calculated.
3’)光軸隣接度が0となるカメラが基準カメラ以外に存在しないと判定された場合は、中間角度θを(arctan(cp)−arctan(cm))/2+arctan(cp)により算出する。 3 ') When it is determined that there is no camera other than the reference camera having the optical axis adjacency of 0, the intermediate angle θ is calculated by (arctan (cp) -arctan (cm)) / 2 + arctan (cp).
変更情報決定部504は、上記のように算出した中間角度θを基準カメラの変更量として、変更情報の第2の値を中間角度θの値に更新する。そして、変更情報決定部504は、更新した変更情報をカメラ情報更新部505に出力する。このため、2つのカメラそれぞれの光軸を示すベクトルを2次元平面に投影した直線間の角度が大きいほど、変更量が小さくなることになる。
The change
なお、本実施形態では、逆正接を用いて変更量の算出を行ったがこれに限らず、基準カメラの光軸と他のカメラの光軸との角度又は移動量を算出可能な別の方法を用いてもよい。また、ユーザが任意で指定する変更量を利用し、その変更量を変更情報の第2の値として用いてもよい。また、変更情報の第2の値として角度を用いたがこれに限らず、3次元空間中での距離及びベクトルなど他の方法を用いてもよい。 In the present embodiment, the change amount is calculated using the arc tangent. However, the present invention is not limited to this, and another method capable of calculating the angle or the movement amount between the optical axis of the reference camera and the optical axis of another camera is used. May be used. Alternatively, a change amount arbitrarily specified by the user may be used, and the change amount may be used as the second value of the change information. Although the angle is used as the second value of the change information, the present invention is not limited to this, and another method such as a distance and a vector in a three-dimensional space may be used.
S609において、カメラ情報更新部505は、変更情報決定部504から取得した変更情報を用いて、カメラ情報取得部501から取得した基準カメラのカメラ情報を更新する。変更情報における第1の値が1である場合は、基準カメラの位置及び姿勢情報を更新する。本実施形態では、変更情報の第2の値が示す角度の大きさの分、注視点を基準として基準カメラを回転させた位置に、基準カメラの位置情報pi(pxi,pyi,pzi)を更新する。また、更新した位置情報piと注視点とを用いて、基準カメラの姿勢ベクトルviを更新する。本実施形態では、基準カメラを変更情報の第2の値に従って回転させることで移動させるようにカメラ情報を更新するが、これに限られない。例えば、カメラが配置可能な位置に制限がある場合などにおいては、単純に移動させた位置からその制限内で最も近い位置に基準カメラを移動させるようにカメラ情報を更新してもよい。なお、変更情報における第一の値が0である場合は、カメラ情報における基準カメラの位置及び姿勢情報の更新は行われない。
In step S609, the camera
S610において、カメラ情報更新部505は、撮像システムに含まれる全てのカメラを基準カメラとして、カメラ情報を更新するか否かの決定を行ったかを判定する。全てのカメラに対してその決定を行ったと判定した場合(S610でYES)は、カメラ情報更新部505は、更新したカメラ情報をカメラ制御部506に出力する。また、必要に応じて、表示装置403の表示を制御する表示制御部(不図示)に更新したカメラ情報を出力する。
In step S610, the camera
一方、S610でNOの判定の結果場合は、S613において、カメラ情報更新部505は、基準カメラを変更する。その後、S604に戻る。S613において、本実施形態では、それまでに基準カメラとして選択されないカメラが新たな基準カメラとして選択される。すでに基準カメラとしてカメラ情報が更新された場合、その更新されたカメラ情報を用いて、別のカメラを基準カメラとした場合の対称度や光軸隣接度が算出される。
On the other hand, when the result of the determination in step S610 is NO, in step S613, the camera
S611において、カメラ制御部506は、カメラ情報更新部505から取得した更新されたカメラ情報に従って、撮像システムに含まれる複数のカメラの位置を変更する。
In step S611, the
以上が、本実施形態における決定装置及びその処理方法についての説明である。上記で説明した構成によれば、撮像システムに含まれるカメラの台数や、仮想視点の方向によらず高画質な仮想視点画像を生成する撮像システムを構築することができる。 The above is the description of the determining device and the processing method in the present embodiment. According to the configuration described above, it is possible to construct an imaging system that generates a high-quality virtual viewpoint image regardless of the number of cameras included in the imaging system and the direction of the virtual viewpoint.
<実施形態3>
実施形態2では、カメラと注視点とを結ぶ線分が撮像空間の全周でおよそ等間隔に分散されるように、カメラの位置を決定する方法について説明した。本実施形態では、カメラと注視点とを結ぶ線分に加えて、カメラ自体も全周でおよそ等間隔に存在するようにカメラの配置を決定する配置決定装置及び、その方法について説明する。具体的には、実施形態2で説明した、光軸隣接度に加え、カメラ間の隣接度を示すカメラ隣接度にも基づいて、カメラの位置を決定する。以下に、本実施形態で行われるカメラ配置の決定方法の概要とその意義について図10を用いて説明する。
<Embodiment 3>
In the second embodiment, the method of determining the position of the camera has been described so that the line segment connecting the camera and the point of interest is distributed at substantially equal intervals all around the imaging space. In the present embodiment, a description will be given of an arrangement determining apparatus and an arrangement determining method for determining the arrangement of cameras such that the cameras themselves are also present at substantially equal intervals around the entire circumference, in addition to the line segment connecting the camera and the gazing point. Specifically, the position of the camera is determined based on the camera adjacency indicating the adjacency between the cameras in addition to the optical axis adjacency described in the second embodiment. The outline of the method for determining the camera arrangement performed in the present embodiment and its significance will be described below with reference to FIG.
図10(a)、(b)のように、カメラ1003〜1006の4台のカメラが含まれる撮像システム1000の場合を例に挙げて説明する。図10(a)は、撮像システム1000において、各カメラと注視点1001を結ぶ線分1009a〜1009dについてだけ全周でおおよそ等角度となるようにカメラを配置した場合を示している。図10(a)の撮像システム1000では、全周の様々な方向において光軸が存在するとともに、様々な方向におけるシルエット画像が得られるため、3次元形状データを高精度に生成することができる。ただし、カメラ1003とカメラ1006との光軸間の角度1007は大きく、カメラ1003とカメラ1006の間にカメラが配置されていない。そのため、撮像対象であるオブジェクトにおいて、カメラ1003とカメラ1006の両方で撮像できない領域が発生する可能性がある。その結果、3次元形状データが高精度であっても、レンダリングに用いるテクスチャ情報が存在しない、又は少なくなってしまう。このテクスチャ情報は、仮想視点画像の品質に影響するため、カメラ1003とカメラ1006間に仮想視点が設定された場合には、その仮想視点画像が低画質となる。
An example of an
これに対し、図10(b)は、撮像システム1000において、注視点1001を基準として各カメラが対称位置関係に配置されておらず、かつ、カメラ自体が全周においておおよそ等角度に配置されている。図10(a)に比べて図10(b)は、各カメラの光軸の全周における分散度合いは劣る一方で、図10(a)におけるカメラ1003とカメラ1006間の角度1008が小さくなる。図10(a)の構成よりも、カメラ1003とカメラ1006の両方で撮像できない領域が小さくなり、仮想視点画像の生成の際に用いるオブジェクトのテクスチャ情報が欠損を少なくすることができる。その結果、仮想視点画像を高画質にすることが可能となる。そのため、本実施形態では、図10(b)に示すように、光軸の分散の度合いだけでなく、カメラの分散の度合いを考慮しカメラが配置された撮像システムを構成する。
On the other hand, FIG. 10B shows that, in the
なお、上述した例では、カメラが4台の場合を説明したがこれに限らず、カメラが任意の台数の場合にも適用可能である。また、上述した例では、撮像システムの全てのカメラが対称位置の関係を満たさない場合を説明したがこれに限られず、設置上の制約上などの理由から、対称位置関係を満たすカメラが撮像システムに含まれてもよい許容することができる。 In the example described above, the case where the number of cameras is four has been described. However, the present invention is not limited to this, and the present invention can be applied to a case where the number of cameras is arbitrary. Further, in the above-described example, the case where all the cameras of the imaging system do not satisfy the relationship of the symmetrical position has been described. However, the present invention is not limited to this. May be acceptable.
以下、本実施形態のカメラの配置を決定する決定装置及びその処理方法について、図8及び図9を参照して説明する。図8は、配置決定装置803の構成の一例を示すブロック図である。配置決定装置803は、カメラ情報取得部501と、対称情報取得部502と、光軸隣接情報取得部503と、変更情報決定部802と、カメラ情報更新部505と、カメラ制御部506を有し、さらにカメラ隣接情報取得部801を有する。カメラ隣接情報取得部801は、カメラ情報に基づいて、カメラ間の距離の近さを示すカメラ隣接度を取得し、それをカメラ毎にまとめてカメラ隣接情報とする。なお、カメラ隣接度は、撮像手段の間の距離を示す指標である。また、変更情報決定部802は、光軸隣接度に加え、カメラ隣接情報にも基づき、カメラの配置位置の変更量を決定する点で、実施形態2と異なる。
Hereinafter, a determination device for determining the arrangement of cameras and a processing method thereof according to the present embodiment will be described with reference to FIGS. 8 and 9. FIG. 8 is a block diagram illustrating an example of a configuration of the
また、図9は、配置決定装置803における処理の流れの一例を示す図である。以下、各構成部により行われる処理の流れを説明する。実施形態2と同様の構成及び同様の処理については、実施形態2と同様の符号を付して説明を省略する。具体的にはS607までとS609以降、S612,S613は実施形態2と同様である。
FIG. 9 is a diagram illustrating an example of a processing flow in the
S901において、カメラ隣接情報取得部801は、カメラ情報取得部501又はカメラ情報更新部505から取得したカメラ情報を用いて、基準カメラと他のカメラとの距離を示すカメラ隣接情報を取得する。カメラ情報は、カメラ情報更新部505から取得したカメラ情報を優先的に用いる。以下にカメラ隣接情報の取得方法を具体的に述べる。
In step S901, the camera neighboring
本実施形態では、カメラ隣接情報として基準カメラ毎に2つの値を保持する。第1の値は基準カメラに対する距離の近さを示すカメラ隣接度を示し、第2の値は基準カメラに対する方向を示す。本実施形態では、第2の値として正(1)と負(0)との二種類のいずれかの値を保持する。しかしながら、カメラ隣接情報の表現方法は上記に限らず、基準カメラに対して他のカメラがどの程度、近いかまたその方向を表す他の方法を用いてもよい。以下に、カメラ隣接情報の算出方法を具体的に説明する。すなわち、例えば、以下の1)〜3)のような手順で行われる。 In the present embodiment, two values are held for each reference camera as camera adjacent information. The first value indicates the camera proximity indicating the closeness of the distance to the reference camera, and the second value indicates the direction to the reference camera. In the present embodiment, one of two types of positive (1) and negative (0) is held as the second value. However, the method of expressing the camera adjacent information is not limited to the above, and another method indicating how close another camera is to the reference camera and the direction thereof may be used. Hereinafter, a method of calculating the camera adjacent information will be specifically described. That is, for example, the following steps 1) to 3) are performed.
1)各カメラの光軸投影ベクトルvi[vpi,vqi]を、カメラ毎に算出する。ここで、iは各カメラを識別する番号であり、いまi=1〜6である。なお、この手順は、対称情報の算出方法の1)と同じであり、対称情報取得部502からこの情報を取得するようにしてもよい。
1) The optical axis projection vector vi [vpi, vqi] of each camera is calculated for each camera. Here, i is a number for identifying each camera, and i = 1-6. Note that this procedure is the same as the method 1) of calculating the symmetry information, and this information may be acquired from the symmetry
2)カメラ隣接度を算出する。具体的には、基準カメラの光軸投影ベクトルvo[vpo,vqo]と、基準カメラ以外のカメラの光軸投影ベクトルvj[vpj,vqj]との内積vo・vjと外積vo×vjとを算出する。ここで、oは基準カメラの識別番号を表し、jは基準カメラ以外のカメラの識別番号を表す。例えば、i=1のとき、o=1、j=2〜6である。なお、この内積vo・vjは、対称情報取得部502から取得するようにしてもよい。また、外積vo×vjは、光軸隣接情報取得部503から取得するようにしてもよい。
2) Calculate the camera adjacency. Specifically, an inner product vo · vj and an outer product vo × vj of an optical axis projection vector vo [vpo, vqo] of the reference camera and an optical axis projection vector vj [vpj, vqj] of a camera other than the reference camera are calculated. I do. Here, o represents the identification number of the reference camera, and j represents the identification number of a camera other than the reference camera. For example, when i = 1, o = 1 and j = 2-6. The inner product vo · vj may be obtained from the symmetry
3)上記2)で算出した、内積vo・vojの値をカメラ隣接情報の第1の値とする。また、外積vo×vjの値における正負に従ってカメラ隣接情報の第2の値を決定する。外積vo×vjの値が正である場合は、カメラ隣接情報の第2の値を1、外積vo×vjの値が負である場合は、カメラ隣接情報の第2の値を0とする。 3) The value of the inner product vo · voj calculated in the above 2) is set as the first value of the camera adjacent information. Further, the second value of the camera adjacent information is determined according to the sign of the value of the cross product vo × vj. When the value of the cross product vo × vj is positive, the second value of the camera adjacency information is 1, and when the value of the cross product vo × vj is negative, the second value of the camera adjacency information is 0.
本実施形態では、2次元平面と内積と外積とを用いてカメラ隣接度の算出を行ったが、これに限らず、他の方法を用いてもよい。カメラ隣接情報取得部801は、取得したカメラ毎のカメラ隣接度を全カメラでまとめた情報を変更情報決定部802に出力する。
In the present embodiment, the camera adjacency is calculated using the two-dimensional plane, the inner product, and the outer product. However, the present invention is not limited to this, and another method may be used. The camera adjacency
S902において、変更情報決定部802は、光軸隣接情報取得部503から取得した光軸隣接情報と、カメラ隣接情報取得部801から取得した全カメラでまとめたカメラ隣接情報とから、基準カメラの位置を変更する際の変更量を決定する。そして、変更情報決定部802は、変更情報の第2の値を更新する。以下に具体的に述べる。すなわち、例えば、以下の1)〜6)のような手順で行われる。
In step S <b> 902, the change
1)光軸隣接情報の中から光軸隣接度が正かつ最小となる値cpと、光軸隣接度が負かつ最小となる値cmを抽出する。 1) A value cp at which the optical axis adjacency is positive and minimum and a value cm at which the optical axis adjacency is negative and minimum are extracted from the optical axis adjacency information.
2)同様に、カメラ隣接情報の中からカメラ隣接情報の第2の値が1かつ第1の値が最小となる値dpと、第2の値が0かつ第1の値が最小となる値dmを取得する。 2) Similarly, a value dp at which the second value of the camera adjacency information is 1 and the first value is minimum, and a value at which the second value is 0 and the first value is minimum among the camera adjacency information Get dm.
3)取得したdpとdmとから、基準カメラと隣接するカメラとのなす角の中間を示すθd=(arctan(dp)−arctan(dm))/2を算出する。 3) From the obtained dp and dm, calculate θd = (arctan (dp) −arctan (dm)) / 2 indicating the middle of the angle between the reference camera and the adjacent camera.
4)光軸隣接情報から光軸隣接度が0となるカメラが基準カメラ以外に存在するか否かを判定する。 4) It is determined from the optical axis adjacency information whether a camera having an optical axis adjacency of 0 exists other than the reference camera.
5)光軸隣接情報から光軸隣接度が0となるカメラが基準カメラ以外に存在すると判定された場合は、光軸隣接度が正の最小値cpの絶対値と光軸隣接度が負の最小値cmの絶対値とを比較し、絶対値が最小となる値cを抽出する。そして、検出した値cを使用して、基準カメラの光軸と最も隣接する光軸との中間角度θc=arctan(c/2)を算出する。一方、光軸隣接度が0となるカメラが基準カメラ以外に存在しないと判定された場合は、中間角度θcを(arctan(cp)−arctan(cm))/2により算出する。 5) If it is determined from the optical axis adjacency information that the camera having the optical axis adjacency of 0 is other than the reference camera, the absolute value of the minimum value cp having the positive optical axis adjacency and the negative optical axis adjacency are negative. The absolute value of the minimum value cm is compared with the absolute value, and a value c that minimizes the absolute value is extracted. Then, using the detected value c, an intermediate angle θc = arctan (c / 2) between the optical axis of the reference camera and the optical axis closest to the reference camera is calculated. On the other hand, when it is determined that there is no camera other than the reference camera having the optical axis adjacency of 0, the intermediate angle θc is calculated by (arctan (cp) −arctan (cm)) / 2.
6)θcとθdとの中間角度θを(θc−θd)/2+θdにより算出する。 6) The intermediate angle θ between θc and θd is calculated by (θc−θd) / 2 + θd.
変更情報決定部802は、変更情報の第2の値を、算出した中間角度θを基準カメラの変更量で更新する。変更情報決定部802は、更新した変更情報をカメラ情報更新部505に出力する。なお、本実施形態では、逆正接を用いて変更量の算出を行ったがこれに限らず、基準カメラの光軸と隣接する光軸との角度又は移動量を算出可能な別の方法を用いてもよい。また、ユーザが任意で指定する変更量を利用し、その変更量を変更情報の第2の値として用いてもよい。また、変更情報の第2の値として角度を用いたがこれに限らず、3次元空間中での距離及びベクトルなど他の方法を用いてもよい。
The change
なお、カメラの間の距離が大きいほど、カメラ配置位置の変更量が小さくなる。 In addition, the larger the distance between the cameras, the smaller the change amount of the camera arrangement position.
また、本実施形態では、カメラ隣接情報と光軸隣接情報とを等価の割合で用いて変更量を決定したがこれに限らず、中間角度θを(α×θc−β×θd)/2+θdのように、重み付け和により決定してもよい。この場合、αをβよりも大きくするほど光軸の均等度合いが優先され、逆に、βをαよりも大きくするほどカメラ間の均等度合いが優先される。 In the present embodiment, the change amount is determined by using the camera adjacent information and the optical axis adjacent information at an equivalent ratio. However, the present invention is not limited to this, and the intermediate angle θ is set to (α × θc−β × θd) / 2 + θd. As described above, it may be determined by the weighted sum. In this case, as α becomes larger than β, the degree of equality of the optical axis takes priority, and conversely, as β becomes larger than α, the degree of equality between cameras takes precedence.
以上が、本実施形態における決定装置及びその処理方法についての説明である。上記で説明した構成によれば、撮像システムに含まれるカメラの台数や、仮想視点の方向によらず高画質な仮想視点画像を生成する撮像システムを構築することができる。 The above is the description of the determining device and the processing method in the present embodiment. According to the configuration described above, it is possible to construct an imaging system that generates a high-quality virtual viewpoint image regardless of the number of cameras included in the imaging system and the direction of the virtual viewpoint.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. It can also be realized by the following processing. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
10 撮像システム
12 撮像フィールド
13,14,15,16,17,18 カメラ
Claims (20)
所定の位置を異なる方向から撮像するように配置された複数の撮像手段を有し、
前記所定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の2回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されていることを特徴とする撮像システム。 An imaging system used to generate three-dimensional shape data based on region information of an object based on a plurality of images acquired by a plurality of imaging means,
Having a plurality of imaging means arranged to image a predetermined position from different directions,
Centering on an axis passing through the predetermined position and perpendicular to the imaging field, other than the two-fold symmetric position of at least one of the plurality of imaging means, the other of the plurality of imaging means An imaging system, wherein another imaging means different from at least one imaging means is arranged.
前記所定の位置の位置情報を取得する第2の取得手段と、
前記第1の取得手段により取得された前記台数の情報と前記第2の取得手段により取得された前記所定の位置の位置情報に基づき、前記所定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の2回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置を決定する決定手段と、を有することを特徴とする配置決定装置。 First acquisition means for acquiring information on the number of a plurality of imaging means arranged to image a predetermined position from different directions;
Second acquisition means for acquiring position information of the predetermined position;
Based on the information on the number acquired by the first acquisition unit and the position information on the predetermined position acquired by the second acquisition unit, an axis that passes through the predetermined position and is perpendicular to an imaging field is In addition to the two-fold symmetric position of at least one of the plurality of imaging units as a center, another imaging unit different from the at least one imaging unit of the plurality of imaging units is arranged. Determining means for determining an arrangement of the plurality of image pickup means as described above.
前記決定手段は、前記第1の取得手段により取得された前記台数の情報と、前記第2の取得手段により取得された前記所定の位置の位置情報と、前記第3の取得手段により取得された前記配置情報とに基づき、前記所定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の2回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置を決定することを特徴とする請求項7に記載の配置決定装置。 A third acquisition unit that acquires arrangement information indicating an arrangement position of the plurality of imaging units;
The determining unit is configured to obtain the number information obtained by the first obtaining unit, the position information of the predetermined position obtained by the second obtaining unit, and the position information of the predetermined position obtained by the third obtaining unit. On the basis of the arrangement information, centering on an axis passing through the predetermined position and perpendicular to the imaging field, in addition to the two-fold symmetric position of at least one imaging unit of the plurality of imaging units, The arrangement determining apparatus according to claim 7, wherein the arrangement of the plurality of imaging units is determined such that another one of the imaging units different from the at least one imaging unit is arranged. .
前記第4の取得手段により、前記所定の位置を通り前記撮像フィールドに対して垂直な軸を中心とする2回対称の位置に撮像手段が配置されていることを示す対称情報が取得された場合、前記決定手段は、前記所定の位置を通り前記撮像フィールドに対して垂直な軸を中心とする2回対称の位置に撮像手段が存在しないように、前記複数の撮像手段の少なくとも一つの撮像手段の配置を変更することを決定することを特徴とする請求項8に記載の配置決定装置。 The information of the number obtained by the first obtaining unit, the position information of the predetermined position obtained by the second obtaining unit, and the arrangement information obtained by the third obtaining unit. Based on each of the plurality of imaging units, obtains symmetry information indicating whether or not the imaging unit exists at a two-fold symmetric position about an axis passing through the predetermined position and perpendicular to an imaging field. 4, further comprising:
When the fourth acquisition unit acquires symmetry information indicating that the imaging unit is arranged at a two-fold symmetric position about an axis passing through the predetermined position and perpendicular to the imaging field. The deciding means includes at least one imaging means of the plurality of imaging means such that the imaging means does not exist at a two-fold symmetric position centered on an axis passing through the predetermined position and perpendicular to the imaging field. 9. The arrangement determining apparatus according to claim 8, wherein the arrangement is determined to be changed.
前記所定の位置の位置情報を取得する第2の取得工程と、
前記第1の取得工程により取得された前記台数の情報と、前記第2の取得手段により取得された前記所定の位置の位置情報に基づき、前記所定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の2回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置を決定する決定工程と、を有することを特徴とする配置決定方法。 A first acquisition step of acquiring information on the number of a plurality of imaging units arranged to image a predetermined position from different directions;
A second acquisition step of acquiring position information of the predetermined position;
Based on the information on the number obtained in the first obtaining step and the position information on the predetermined position obtained by the second obtaining unit, an axis passing through the predetermined position and perpendicular to an imaging field In addition to the two-fold symmetric position of at least one of the plurality of imaging units, another imaging unit different from the at least one imaging unit of the plurality of imaging units is disposed. And determining the arrangement of the plurality of imaging means.
前記決定工程は、前記第1の取得工程により取得された前記台数の情報と、前記第2の取得工程により取得された前記所定の位置の位置情報と、前記第3の取得工程により取得された前記配置情報とに基づき、前記所定の位置を通り撮像フィールドに対して垂直な軸を中心とする、前記複数の撮像手段のうちの少なくとも一つの撮像手段の2回対称の位置以外に、前記複数の撮像手段のうちの前記少なくとも一つの撮像手段とは異なる他の撮像手段が配置されるように、前記複数の撮像手段の配置を決定することを特徴とする請求項15に記載の配置決定方法。 A third acquisition step of acquiring arrangement information indicating an arrangement position of the plurality of imaging units,
In the determining step, the information on the number obtained in the first obtaining step, the position information on the predetermined position obtained in the second obtaining step, and the position information obtained in the third obtaining step On the basis of the arrangement information, centering on an axis passing through the predetermined position and perpendicular to the imaging field, in addition to the two-fold symmetric position of at least one imaging unit of the plurality of imaging units, 16. The arrangement determining method according to claim 15, wherein the arrangement of the plurality of imaging units is determined such that another one of the imaging units different from the at least one imaging unit is arranged. .
前記第4の取得工程により、前記所定の位置を通り前記撮像フィールドに対して垂直な軸を中心とする2回対称の位置に撮像手段が配置されていることを示す情報が取得された場合、前記決定工程は、前記所定の位置を通り前記撮像フィールドに対して垂直な軸を中心とする2回対称の位置に撮像手段が存在しないように、前記複数の撮像手段の少なくとも一つの撮像手段の配置を変更することを決定することを特徴とする請求項16に記載の配置決定方法。 The information of the number obtained by the first obtaining unit, the position information of the predetermined position obtained by the second obtaining unit, and the arrangement information obtained by the third obtaining unit. Based on each of the plurality of imaging units, obtains symmetry information indicating whether or not the imaging unit exists at a two-fold symmetric position about an axis passing through the predetermined position and perpendicular to an imaging field. 4 acquisition process;
In the case where the information indicating that the imaging unit is arranged at a symmetric position twice around the axis perpendicular to the imaging field through the predetermined position is obtained by the fourth obtaining step, The determining step is such that at least one imaging unit of the plurality of imaging units does not include an imaging unit at a two-fold symmetric position about an axis passing through the predetermined position and perpendicular to the imaging field. 17. The arrangement determining method according to claim 16, wherein it is determined to change the arrangement.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122420A JP7250448B2 (en) | 2018-06-27 | 2018-06-27 | Imaging system, placement determination device, placement determination method and program |
PCT/JP2019/024218 WO2020004162A1 (en) | 2018-06-27 | 2019-06-19 | Imaging system, arrangement determination device, arrangement determination method, and program |
US17/126,979 US11297301B2 (en) | 2018-06-27 | 2020-12-18 | Image capturing system, arrangement determination apparatus, arrangement determination method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122420A JP7250448B2 (en) | 2018-06-27 | 2018-06-27 | Imaging system, placement determination device, placement determination method and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020005109A true JP2020005109A (en) | 2020-01-09 |
JP2020005109A5 JP2020005109A5 (en) | 2021-07-29 |
JP7250448B2 JP7250448B2 (en) | 2023-04-03 |
Family
ID=69100637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018122420A Active JP7250448B2 (en) | 2018-06-27 | 2018-06-27 | Imaging system, placement determination device, placement determination method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7250448B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010154052A (en) * | 2008-12-24 | 2010-07-08 | Hitachi Ltd | System for controlling a plurality of cameras |
US20160205341A1 (en) * | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
JP2018056971A (en) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | Imaging system, image processing device, image processing method, and program |
WO2018088037A1 (en) * | 2016-11-14 | 2018-05-17 | ソニー株式会社 | Control device for mobile imaging device, control method for mobile imaging device and program |
JP2018092491A (en) * | 2016-12-06 | 2018-06-14 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
-
2018
- 2018-06-27 JP JP2018122420A patent/JP7250448B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010154052A (en) * | 2008-12-24 | 2010-07-08 | Hitachi Ltd | System for controlling a plurality of cameras |
US20160205341A1 (en) * | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
JP2018056971A (en) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | Imaging system, image processing device, image processing method, and program |
WO2018088037A1 (en) * | 2016-11-14 | 2018-05-17 | ソニー株式会社 | Control device for mobile imaging device, control method for mobile imaging device and program |
JP2018092491A (en) * | 2016-12-06 | 2018-06-14 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7250448B2 (en) | 2023-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7121470B2 (en) | Image processing system, control method, and program | |
US10757397B2 (en) | Information processing apparatus, information processing system, information processing method, and storage medium | |
JP7187182B2 (en) | Data generator, method and program | |
US11095871B2 (en) | System that generates virtual viewpoint image, method and storage medium | |
CN110574076A (en) | Generation device, generation method, and program | |
US12033355B2 (en) | Client/server distributed camera calibration | |
JP5856344B1 (en) | 3D image display device | |
WO2020004162A1 (en) | Imaging system, arrangement determination device, arrangement determination method, and program | |
JP2008140271A (en) | Interactive device and method thereof | |
US11244423B2 (en) | Image processing apparatus, image processing method, and storage medium for generating a panoramic image | |
JP2019022151A (en) | Information processing apparatus, image processing system, control method, and program | |
JP2019103067A (en) | Information processing device, storage device, image processing device, image processing system, control method, and program | |
JP2019036791A (en) | Image processing apparatus, image processing system, control method, and program | |
CN113873264A (en) | Method and device for displaying image, electronic equipment and storage medium | |
JP5963006B2 (en) | Image conversion apparatus, camera, video system, image conversion method, and recording medium recording program | |
JP2021119459A (en) | Generation device and generation method | |
JP2019103126A (en) | Camera system, camera control device, camera control method, and program | |
JP7154841B2 (en) | IMAGING SYSTEM, IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM | |
US11317082B2 (en) | Information processing apparatus and information processing method | |
JP7250448B2 (en) | Imaging system, placement determination device, placement determination method and program | |
JP7278720B2 (en) | Generation device, generation method and program | |
JP2023075859A (en) | Information processing apparatus, information processing method, and program | |
CN115002345A (en) | Image correction method and device, electronic equipment and storage medium | |
JP2019075740A (en) | Image processing system, image processing apparatus, image transmission method, and program | |
JP2019096926A (en) | Image processing system, image processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210617 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230322 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7250448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |