JP2019020952A - Image processing apparatus, method, and program - Google Patents
Image processing apparatus, method, and program Download PDFInfo
- Publication number
- JP2019020952A JP2019020952A JP2017137830A JP2017137830A JP2019020952A JP 2019020952 A JP2019020952 A JP 2019020952A JP 2017137830 A JP2017137830 A JP 2017137830A JP 2017137830 A JP2017137830 A JP 2017137830A JP 2019020952 A JP2019020952 A JP 2019020952A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mesh
- illumination light
- light source
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 25
- 238000005286 illumination Methods 0.000 claims abstract description 94
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000003672 processing method Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 9
- 239000007787 solid Substances 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Abstract
Description
本発明は、画像処理装置、方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, method, and program.
従来、カメラ等の画像撮影装置により、２つ以上の異なる視点から撮影された複数枚の画像（多視点画像）を用いることで、被写体の立体形状を復元する技術が提案されている（例えば、非特許文献１）。 2. Description of the Related Art Conventionally, there has been proposed a technique for restoring a three-dimensional shape of a subject by using a plurality of images (multi-viewpoint images) captured from two or more different viewpoints by an image capturing device such as a camera (for example, Non-patent document 1).
また、多視点画像上における各対応点の位置と、多視点画像の撮影に用いた画像撮影装置の位置、向き、及び画角といった幾何情報から、三角測量の原理を用いることで該当の対応点の三次元空間内における位置情報を算出する技術が提案されている（例えば、非特許文献２）。この技術では、対応点の位置情報を算出する処理を、検出された全ての対応点に施すことにより、被写体表面を構成する点の位置が求められる。また、位置情報が得られた３つの点の組み合わせを定めることで、被写体表面を構成する面（メッシュ）が得られる。また、全ての点の組み合わせが決定されると三次元メッシュモデルが生成される。そして、各メッシュに該当する領域の画像を多視点画像から抽出してテクスチャ画像とし、全てのメッシュに対してテクスチャ画像の貼り付けを行った後に、再現したい画像の視点に合わせて陰面処理を施すことで、任意視点における観察画像が生成される。 Also, by using the principle of triangulation from the position of each corresponding point on the multi-viewpoint image and geometric information such as the position, orientation, and angle of view of the image capturing device used for capturing the multi-viewpoint image, the corresponding corresponding point Has been proposed (for example, Non-Patent Document 2). In this technique, the position of points constituting the subject surface is obtained by performing processing for calculating the position information of corresponding points on all detected corresponding points. Further, by defining a combination of three points from which position information is obtained, a surface (mesh) constituting the subject surface can be obtained. When all the combinations of points are determined, a three-dimensional mesh model is generated. Then, the image of the area corresponding to each mesh is extracted from the multi-viewpoint image as a texture image, and after applying the texture image to all the meshes, the hidden surface processing is performed according to the viewpoint of the image to be reproduced. Thus, an observation image at an arbitrary viewpoint is generated.
各メッシュに貼り付けるテクスチャ画像を撮影画像（多視点画像）から抽出する際に適切な撮影画像が選択できない場合には、陰影や幾何的制約の影響により、テクスチャ画像における色、明るさ、及び空間解像度等の品質が不十分となる場合があった。そして、この場合、最終的に出力される任意視点からの画像も、実物に対する忠実度が低下する。 When an appropriate photographed image cannot be selected when extracting a texture image to be pasted to each mesh from a photographed image (multi-viewpoint image), the color, brightness, and space in the texture image due to the influence of shadows and geometric constraints. In some cases, the quality such as resolution is insufficient. In this case, the fidelity with respect to the real image of the finally output image from an arbitrary viewpoint also decreases.
本発明は、上記の点に鑑みてなされたものであり、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus, a method, and a program that can generate an appropriate texture image for a three-dimensional mesh model.
上記目的を達成するために、本発明に係る画像処理装置は、画像撮影装置により複数の異なる視点から被写体を撮影した複数の画像を取得する画像取得部と、前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成するメッシュモデル生成部と、前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出する重み係数算出部と、前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成するテクスチャ画像生成部と、を含んで構成されている。 In order to achieve the above object, an image processing apparatus according to the present invention includes an image acquisition unit that acquires a plurality of images obtained by photographing an object from a plurality of different viewpoints by an image photographing device, and the subject using the plurality of images. A mesh model generation unit that generates a three-dimensional mesh model expressing the surface of the image with a mesh, and the image capturing device and the illumination at the time of capturing each of the mesh and the plurality of images for each mesh of the three-dimensional mesh model A weighting factor calculation unit that calculates a weighting factor for each of the plurality of images according to a positional relationship and posture with at least one of the light sources, and a texture image corresponding to each mesh of the three-dimensional mesh model. And generating the texture image by weighting the mesh according to the weighting coefficient of each of the plurality of images. Is configured to include a texture image generating unit that generates, a.
本発明に係る画像処理方法は、画像撮影装置により複数の異なる視点から被写体を撮影した複数の画像を取得し、前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成し、前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出し、前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成する。 An image processing method according to the present invention obtains a plurality of images obtained by photographing a subject from a plurality of different viewpoints by an image photographing device, and a three-dimensional mesh model in which the surface of the subject is represented by a mesh using the plurality of images. Generating, for each mesh of the three-dimensional mesh model, according to the positional relationship and posture between the mesh and at least one of the image capturing device and the illumination light source at the time of capturing each of the plurality of images, When calculating a weighting factor for each of the images and generating a texture image corresponding to each mesh of the three-dimensional mesh model from the plurality of images, the weighting factor corresponding to each of the plurality of images for the mesh Weighting is performed to generate the texture image.
また、本発明のプログラムは、コンピュータを、上記の画像処理装置の各部として機能させるためのプログラムである。 The program of the present invention is a program for causing a computer to function as each unit of the image processing apparatus.
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、三次元メッシュモデルの各メッシュと画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じた重み係数を算出し、重み係数に応じた重み付けを行ってテクスチャ画像を生成することにより、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる、という効果が得られる。 As described above, according to the image processing device, method, and program of the present invention, the weighting coefficient corresponding to the positional relationship and posture between each mesh of the three-dimensional mesh model and at least one of the image capturing device and the illumination light source is set. By calculating and weighting according to the weighting coefficient to generate a texture image, it is possible to generate an appropriate texture image for the three-dimensional mesh model.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜画像処理システムの構成＞
本実施の形態に係る画像処理システムの構成について説明する。図１に示すように、本実施の形態に係る画像処理システム１０は、画像撮影装置の一例としての複数のカメラ２０１〜２０Ｎと、画像処理装置３０とを備えている。
<Configuration of image processing system>
A configuration of the image processing system according to the present embodiment will be described. As shown in FIG. 1, the image processing system 10 according to the present embodiment includes a plurality of cameras 201 to 20N as an example of an image capturing device, and an image processing device 30.
カメラ２０１〜２０Ｎは、被写体を複数の異なる視点から撮影可能なように、三次元的（例えば、水平方向）に配置される。なお、Ｎは２以上の整数である。例えば、図２に示すように、３台のカメラが水平方向に並べられて配置される。 The cameras 201 to 20N are arranged three-dimensionally (for example, in the horizontal direction) so that the subject can be photographed from a plurality of different viewpoints. N is an integer of 2 or more. For example, as shown in FIG. 2, three cameras are arranged side by side in the horizontal direction.
なお、被写体を複数の異なる視点から撮影可能であれば、カメラは１台でもよい。例えば、図３に示すように、１台のカメラを固定し、被写体を一方向（図３の例では水平方向）に回転させながら、複数回被写体を撮影してもよい。また、例えば、図４に示すように、１台のカメラを一方向（図４の例では水平方向）に移動させて、複数の異なる位置で被写体を撮影してもよい。 Note that one camera may be used as long as the subject can be photographed from a plurality of different viewpoints. For example, as shown in FIG. 3, one camera may be fixed and the subject may be photographed multiple times while rotating the subject in one direction (horizontal direction in the example of FIG. 3). Further, for example, as shown in FIG. 4, one camera may be moved in one direction (horizontal direction in the example of FIG. 4) to photograph the subject at a plurality of different positions.
本実施の形態に係る画像処理装置３０は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。画像処理装置３０は、機能的には図１に示すように、画像取得部３１、撮影幾何情報記憶部３２、立体形状推定部３３、メッシュモデル生成部３４、メッシュ幾何情報計算部３５、重み係数算出部３６、テクスチャ画像生成部３７、出力画像生成部３８、及び色再現処理部３９を備えている。 The image processing apparatus 30 according to the present embodiment can be configured by a computer including a CPU, a RAM, and a ROM that stores a program for executing each processing routine described later and various data. As shown in FIG. 1, the image processing device 30 functionally includes an image acquisition unit 31, a shooting geometric information storage unit 32, a solid shape estimation unit 33, a mesh model generation unit 34, a mesh geometric information calculation unit 35, a weighting factor. A calculation unit 36, a texture image generation unit 37, an output image generation unit 38, and a color reproduction processing unit 39 are provided.
画像取得部３１は、照明光源からの照明光が照射されているときに立体形状の推定対象の被写体をカメラ２０１〜２０Ｎにより撮影して得られた複数の撮影画像（以下、単に「撮影画像」という）を取得する。また、画像取得部３１は、チェッカーパターン等の予め立体形状、及びテクスチャのパターンが既知の被写体をカメラ２０１〜２０Ｎにより撮影して得られた複数の画像を取得する。詳細は後述するが、この予め撮影して得られた画像は撮影幾何情報の算出に用いられるため、以下では、「撮影幾何情報算出用画像」という。なお、立体形状の推定対象の被写体の一部の形状が既知である場合は、撮影画像が撮影幾何情報算出用画像を兼ねてもよい。 The image acquisition unit 31 captures a plurality of captured images (hereinafter simply referred to as “captured images”) obtained by capturing the subject of the estimation target of the three-dimensional shape with the cameras 201 to 20N when the illumination light from the illumination light source is irradiated. Get). In addition, the image acquisition unit 31 acquires a plurality of images obtained by capturing images of subjects having a known three-dimensional shape and texture pattern, such as a checker pattern, with the cameras 201 to 20N. Although details will be described later, the image obtained by photographing in advance is used to calculate the photographing geometric information. Therefore, the image is hereinafter referred to as “photographing geometric information calculating image”. When the shape of a part of the subject whose solid shape is to be estimated is known, the captured image may also serve as the captured geometric information calculation image.
撮影幾何情報記憶部３２は、画像取得部３１により取得された撮影幾何情報算出用画像の各々に基づいて、カメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータ（画素数、画角度、及び焦点距離等）を算出する。撮影幾何情報算出用画像がチェッカーパターンを有する被写体を撮影した画像の場合、チェッカーパターンの各矩形の辺の長さが既知であるため、画像中の各矩形と既知の辺の長さとに基づいて、カメラ２０１〜２０Ｎと被写体との位置関係が算出される。また、撮影幾何情報算出用画像が立体形状が既知の被写体を撮影した画像の場合、被写体の立体形状と、画像内の被写体の輝度値と、カメラ２０１〜２０Ｎと被写体との位置関係とに基づいて、照明光源とカメラ２０１〜２０Ｎとの位置関係が算出される。そして、撮影幾何情報記憶部３２は、算出したカメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータを、算出に用いた撮影幾何情報算出用画像を撮影したカメラ２０１〜２０Ｎにより撮影された撮影画像に対応付けて、撮影幾何情報データとしてメモリに出力する。なお、撮影幾何情報記憶部３２は、撮影幾何情報データを、電子ファイルとして不揮発性の記憶部に出力してもよい。また、撮影幾何情報データを予め記憶部に記憶しておき、撮影画像の撮影時に読み出してもよい。 The imaging geometric information storage unit 32, based on each of the imaging geometric information calculation images acquired by the image acquisition unit 31, the positional relationship between the cameras 201 to 20N, the illumination light source, and the subject, and the optical parameters of the cameras 201 to 20N. (Number of pixels, field angle, focal length, etc.) are calculated. When the shooting geometric information calculation image is an image obtained by shooting a subject having a checker pattern, since the length of each rectangular side of the checker pattern is known, based on each rectangle in the image and the known side length The positional relationship between the cameras 201 to 20N and the subject is calculated. In addition, when the image for calculating the geometrical information is an image obtained by photographing a subject whose solid shape is known, based on the solid shape of the subject, the luminance value of the subject in the image, and the positional relationship between the cameras 201 to 20N and the subject. Thus, the positional relationship between the illumination light source and the cameras 201 to 20N is calculated. The imaging geometric information storage unit 32 captures the imaging geometric information calculation image used for calculating the calculated positional relationship between the cameras 201 to 20N, the illumination light source and the subject, and the optical parameters of the cameras 201 to 20N. In association with the captured images captured by 201 to 20N, the captured geometric information data is output to the memory. Note that the shooting geometric information storage unit 32 may output the shooting geometric information data as an electronic file to the nonvolatile storage unit. Further, the photographed geometric information data may be stored in advance in the storage unit and read when the photographed image is photographed.
立体形状推定部３３は、図５に示すように、複数の撮影画像の各ペア間で対応点の追跡を行い、撮影幾何情報データを用いて、三角測量の原理によって被写体表面の点に関する位置及び奥行きを算出する。立体形状推定部３３は、この位置及び奥行きを算出する処理を、検出された全ての対応点について行うことによって、三次元点群データを生成する。なお、本実施の形態では、立体形状推定部３３は、画像間での対応点を検出する際に画像中の特徴量を算出するが、この特徴量の算出において、画像の振幅情報及び位相情報の少なくとも一方を使用する。 As shown in FIG. 5, the three-dimensional shape estimation unit 33 tracks corresponding points between each pair of a plurality of captured images, and uses the captured geometric information data to determine the position and the position of the subject surface according to the principle of triangulation. Depth is calculated. The three-dimensional shape estimation unit 33 generates the three-dimensional point group data by performing the process of calculating the position and depth for all detected corresponding points. In the present embodiment, the three-dimensional shape estimation unit 33 calculates the feature amount in the image when detecting corresponding points between the images. In this feature amount calculation, the amplitude information and the phase information of the image are calculated. Use at least one of
図６に示すように、立体形状推定部３３により生成された三次元点群データの中から３点を選択することで１つの面（三角形のメッシュ）を定義することができる。メッシュモデル生成部３４は、被写体表面が正しく表現できるように、点の削除及び統合を行い、また最適な３点の組み合せを算出することによって、立体形状推定部３３により生成された三次元点群データから、被写体表面をメッシュで表現した三次元メッシュモデルを生成する。 As shown in FIG. 6, one surface (triangular mesh) can be defined by selecting three points from the three-dimensional point group data generated by the three-dimensional shape estimation unit 33. The mesh model generation unit 34 deletes and integrates the points so that the subject surface can be correctly expressed, and calculates the optimal combination of the three points, thereby generating the three-dimensional point group generated by the three-dimensional shape estimation unit 33. From the data, a three-dimensional mesh model representing the subject surface with a mesh is generated.
図７に示すように、各メッシュを構成する３点が決まると、３点の位置及び奥行きに基づいて、そのメッシュの法線を算出することができる。メッシュ幾何情報計算部３５は、メッシュの位置と法線の向きと撮影幾何情報データとを用いて、メッシュに対する各撮影画像を撮影した際のカメラ２０１〜２０Ｎの位置及び姿勢を算出する。また、メッシュ幾何情報計算部３５は、メッシュの位置と法線の向きと撮影幾何情報データとを用いて、メッシュと照明光源との位置関係及び照明光源からの照明光の入射角を算出する。なお、この入射角はメッシュの法線と照明光源からの照明光の光軸とがなす角である。また、以下では、メッシュ幾何情報計算部３５が算出したメッシュに対する各撮影画像を撮影した際のカメラの位置及び姿勢と、メッシュと照明光源との位置関係及び照明光源からの照明光の入射角と、を「メッシュ幾何情報データ」という。 As shown in FIG. 7, when three points constituting each mesh are determined, the normal line of the mesh can be calculated based on the position and depth of the three points. The mesh geometric information calculation unit 35 calculates the positions and orientations of the cameras 201 to 20N when each captured image with respect to the mesh is captured using the mesh position, the normal direction, and the captured geometric information data. Further, the mesh geometric information calculation unit 35 calculates the positional relationship between the mesh and the illumination light source and the incident angle of the illumination light from the illumination light source using the mesh position, the normal direction, and the shooting geometric information data. The incident angle is an angle formed between the normal line of the mesh and the optical axis of the illumination light from the illumination light source. In the following, the position and orientation of the camera when capturing each captured image with respect to the mesh calculated by the mesh geometric information calculation unit 35, the positional relationship between the mesh and the illumination light source, and the incident angle of illumination light from the illumination light source Are referred to as “mesh geometric information data”.
重み係数算出部３６は、三次元メッシュモデルの各メッシュに対し、当該メッシュのメッシュ幾何情報データに基づいて、当該メッシュに対応する画像情報が含まれる撮影画像の各々の重み係数を算出する。 For each mesh of the three-dimensional mesh model, the weight coefficient calculation unit 36 calculates the weight coefficient of each captured image including image information corresponding to the mesh based on the mesh geometric information data of the mesh.
図８に示すように、メッシュの法線方向とカメラの光軸（視線方向）とが一致する撮影画像においては、メッシュ領域（テクスチャとして使用される領域）における空間解像度が最大となる。そこで、重み係数算出部３６は、テクスチャの解像度を最優先とする場合には、メッシュの法線方向とカメラの光軸とが一致する撮影画像の重み係数を１とし、一致しない撮影画像の重み係数を０とする。なお、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とが一致する撮影画像が無い場合は、メッシュの法線方向とカメラの光軸とが最も近い撮影画像の重み係数を１とし、それ以外の撮影画像の重み係数を０としてもよい。また、例えば、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とのなす角が所定の範囲内の撮影画像の重み係数を１とし、メッシュの法線方向とカメラの光軸とのなす角が所定の範囲外の撮影画像の重み係数を０としてもよい。また、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とのなす角が小さいほど大きい値を重み係数として算出してもよい。この場合の重み係数としては、例えば、メッシュの法線方向とカメラの光軸とのなす角のコサイン値が挙げられる。 As shown in FIG. 8, in a captured image in which the normal direction of the mesh and the optical axis (line-of-sight direction) of the camera coincide with each other, the spatial resolution in the mesh area (area used as a texture) is maximized. In view of this, when the texture resolution is given the highest priority, the weighting coefficient calculation unit 36 sets the weighting coefficient of the captured image in which the normal direction of the mesh and the optical axis of the camera match to 1 and the weight of the captured image that does not match The coefficient is 0. When there is no captured image in which the normal direction of the mesh and the optical axis of the camera coincide with each other, the weight coefficient calculation unit 36 calculates the weight coefficient of the captured image in which the normal direction of the mesh and the optical axis of the camera are closest. 1 may be used, and the weight coefficient of other captured images may be 0. Further, for example, the weighting factor calculation unit 36 sets the weighting factor of the captured image within a predetermined range of the angle between the normal direction of the mesh and the optical axis of the camera to 1, and sets the normal direction of the mesh and the optical axis of the camera. The weighting coefficient of a photographed image whose angle formed between and outside the predetermined range may be set to zero. Further, the weighting factor calculation unit 36 may calculate a larger value as the weighting factor as the angle between the normal direction of the mesh and the optical axis of the camera is smaller. As a weighting coefficient in this case, for example, a cosine value of an angle formed by the normal direction of the mesh and the optical axis of the camera can be cited.
また、メッシュにおける照明光源からの照明光の正反射方向とカメラの光軸とが一致する場合、もしくは比較的近い場合には、メッシュに対応する撮影画像中の領域に照明光の正反射が含まれる可能性が高い。そこで、重み係数算出部３６は、テクスチャの色情報を最優先とする場合には、照明光の正反射の影響を除去するために、照明光の正反射方向とカメラの光軸とのなす角が所定の範囲内である撮影画像の重み係数を０とし、照明光の正反射方向とカメラの光軸とのなす角が所定の範囲外である撮影画像の重み係数を１とする。なお、重み係数算出部３６は、照明光の正反射方向とカメラの光軸とのなす角が大きいほど大きい値を重み係数として算出してもよい。この場合の重み係数としては、例えば、メッシュの法線方向とカメラの光軸とのなす角のサイン値が挙げられる。また、図９に示すように、照明光の入射角の影響を抑制するために、照明光の入射角のコサイン値を撮影画像の重み係数としてもよい。この場合の重み係数は０以上１以下の値となる。なお、照明光の入射角が小さいほど大きい値であれば、重み係数は照明光の入射角のコサイン値に限定されず、例えば、照明光の入射角のコサイン値のｎ乗（指数乗）を重み係数としてもよい。また、オイラーの公式に基づき、コサイン関数の代わりに、複素指数（exp(ai)＝cos a＋i sin a）の指数乗を重み係数として用いてもよい。 In addition, when the specular direction of illumination light from the illumination light source in the mesh and the optical axis of the camera match or are relatively close, regular reflection of the illumination light is included in the area in the captured image corresponding to the mesh. There is a high possibility of being. Therefore, when the texture color information is given the highest priority, the weight coefficient calculation unit 36 removes the influence of the regular reflection of the illumination light, and the angle formed between the regular reflection direction of the illumination light and the optical axis of the camera. Is set to 0, and the weighting coefficient of a captured image in which the angle between the regular reflection direction of the illumination light and the optical axis of the camera is outside the predetermined range is set to 1. Note that the weighting factor calculating unit 36 may calculate a larger value as the weighting factor as the angle between the regular reflection direction of the illumination light and the optical axis of the camera is larger. As a weighting coefficient in this case, for example, a sine value of an angle formed by the normal direction of the mesh and the optical axis of the camera can be cited. Further, as shown in FIG. 9, in order to suppress the influence of the incident angle of the illumination light, the cosine value of the incident angle of the illumination light may be used as the weighting coefficient of the captured image. In this case, the weight coefficient is a value between 0 and 1. The weighting factor is not limited to the cosine value of the incident angle of the illumination light as long as the incident angle of the illumination light is smaller. For example, the cosine value of the incident angle of the illumination light is raised to the nth power (exponential power). It is good also as a weighting coefficient. Further, based on Euler's formula, a complex exponent (exp (ai) = cos a + i sin a) exponential power may be used as a weighting factor instead of the cosine function.
また、重み係数算出部３６は、空間解像度と色情報とのバランスを取る場合には、前述した３つの手法を組み合わせて撮影画像の重み係数を算出してもよい。例えば、重み係数算出部３６は、メッシュの法線方向とカメラの光軸とのなす角が所定の範囲内の撮影画像の重み係数を１とし、この重み係数に、照明光の入射角から算出される重み係数を乗算して得られた結果を、撮影画像の最終的な重み係数としてもよい。また、例えば、３つの手法のそれぞれで算出された重み係数を乗算して得られた結果を、撮影画像の最終的な重み係数としてもよい。 In addition, the weighting factor calculation unit 36 may calculate the weighting factor of the captured image by combining the three methods described above when balancing the spatial resolution and the color information. For example, the weighting factor calculation unit 36 sets the weighting factor of a captured image within a predetermined range of the angle between the normal direction of the mesh and the optical axis of the camera, and calculates the weighting factor from the incident angle of the illumination light. The result obtained by multiplying the weighting factor may be used as the final weighting factor of the captured image. Further, for example, a result obtained by multiplying the weighting factors calculated by each of the three methods may be used as the final weighting factor of the captured image.
なお、１枚の撮影画像には複数のメッシュに対応する領域が含まれている場合が多いため、１枚の撮影画像には、複数のメッシュのそれぞれに関する重み係数がメッシュに対応付けられる形式となる。 Since a single captured image often includes regions corresponding to a plurality of meshes, a single captured image has a format in which a weighting factor associated with each of a plurality of meshes is associated with a mesh. Become.
また、空間解像度と色情報との何れを優先するか、又は空間解像度と色情報とのバランスを取るかは、例えば、ユーザにより指定することができる。 In addition, for example, the user can specify which of the spatial resolution and the color information is prioritized or whether the spatial resolution and the color information are balanced.
テクスチャ画像生成部３７は、撮影画像から各メッシュに対応する領域の画像を抽出し、各メッシュに対応するテクスチャ画像を生成する。この際、テクスチャ画像生成部３７は、各メッシュに対し、各撮影画像から抽出した画像に、各撮影画像の当該メッシュに対応付けられた重み係数を乗算し、乗算した結果を加算することによって、当該メッシュに対応するテクスチャ画像を生成する。なお、テクスチャ画像生成部３７は、重み係数が０の撮影画像は予め処理の対象外としてもよい。 The texture image generation unit 37 extracts an image of an area corresponding to each mesh from the captured image, and generates a texture image corresponding to each mesh. At this time, the texture image generation unit 37 multiplies the image extracted from each captured image by the weighting coefficient associated with the mesh of each captured image, and adds the result of multiplication to each mesh. A texture image corresponding to the mesh is generated. Note that the texture image generation unit 37 may exclude a captured image having a weighting coefficient of 0 in advance.
出力画像生成部３８は、図１０に示すように、ユーザ等により指定された位置の視点から被写体を見た画像であって、例えば表示装置等の画像出力装置に出力するための画像（以下、「出力画像」という）を生成する。具体的には、出力画像生成部３８は、三次元メッシュモデル及びメッシュ幾何情報データに基づいて、テクスチャ画像生成部３７により生成されたテクスチャ画像を三次元メッシュモデルの各メッシュに貼り付ける。また、出力画像生成部３８は、指定された視点、照明光源の位置及び方向と、三次元メッシュモデル及びメッシュ幾何情報データとに基づいて、各メッシュと視点との位置関係、及び各メッシュに対する照明光の入射角を算出する。そして、出力画像生成部３８は、指定された視点からは観察できないメッシュを除去する陰面処理を行った後に、光線追跡処理並びに陰影処理を行うことによって、指定された視点から観察された被写体を表す画像に相当する出力画像を生成する。なお、撮影画像がマルチバンド画像の場合は、出力画像生成部３８が生成する出力画像もマルチバンド画像でもよい。 As shown in FIG. 10, the output image generation unit 38 is an image obtained by viewing the subject from the viewpoint at a position specified by the user or the like, for example, an image to be output to an image output device such as a display device (hereinafter, referred to as “display device”). "Output image"). Specifically, the output image generation unit 38 pastes the texture image generated by the texture image generation unit 37 on each mesh of the three-dimensional mesh model based on the three-dimensional mesh model and mesh geometric information data. The output image generation unit 38 also determines the positional relationship between each mesh and the viewpoint, and the illumination for each mesh based on the specified viewpoint, the position and direction of the illumination light source, the three-dimensional mesh model, and mesh geometric information data. The incident angle of light is calculated. The output image generation unit 38 represents the subject observed from the specified viewpoint by performing the ray tracing process and the shadow process after performing the hidden surface process for removing the mesh that cannot be observed from the specified viewpoint. An output image corresponding to the image is generated. When the captured image is a multiband image, the output image generated by the output image generation unit 38 may be a multiband image.
色再現処理部３９は、入力された色再現パラメータに基づき、出力画像生成部３８により出力された出力画像の各画素に対応する色を算出し、算出した各画素の色を画像出力装置に出力する。なお、色再現パラメータの例としては、カメラ２０１〜２０Ｎのカメラ感度等の光学特性、画像撮影時の照明光に関する分光情報、再現したい環境での照明光に関する分光情報、及び画像出力装置の特性データ等が挙げられる。 The color reproduction processing unit 39 calculates a color corresponding to each pixel of the output image output by the output image generation unit 38 based on the input color reproduction parameter, and outputs the calculated color of each pixel to the image output device. To do. Examples of color reproduction parameters include optical characteristics such as camera sensitivity of the cameras 201 to 20N, spectral information regarding illumination light at the time of image capturing, spectral information regarding illumination light in an environment to be reproduced, and characteristic data of the image output device. Etc.
例えば、画像取得部３１により取得された撮影画像がカラー画像である場合、すなわち、出力画像生成部３８により出力された出力画像がカラー画像である場合、色再現処理部３９は、画像出力装置の特性に合わせた画像補正処理（色変換及びガンマ補正等）を行う。 For example, when the photographed image acquired by the image acquisition unit 31 is a color image, that is, when the output image output by the output image generation unit 38 is a color image, the color reproduction processing unit 39 includes the image output device. Perform image correction processing (color conversion, gamma correction, etc.) according to the characteristics.
また、出力画像生成部３８により出力された出力画像がマルチバンド画像である場合、色再現処理部３９は、色再現パラメータを用いて、分光反射率の推定、反射光スペクトルの算出、カラー画像（ＲＧＢ画像及びＬａｂ画像等）への変換、及び画像出力装置の特性に合わせた補正処理を順次行う。なお、この場合、色再現処理部３９は、分光反射率の推定及び反射光スペクトルの算出を行わずに、直接、マルチバンド画像からカラー画像を算出してもよい。また、色再現処理部３９による色再現処理は、テクスチャ画像生成部３７によるテクスチャ画像の生成時に行ってもよいし、出力画像生成部３８が出力画像を生成する際に用いるテクスチャ画像に対して行ってもよい。 When the output image output by the output image generation unit 38 is a multiband image, the color reproduction processing unit 39 uses the color reproduction parameter to estimate spectral reflectance, calculate reflected light spectrum, and color image ( RGB image, Lab image, etc.) and correction processing according to the characteristics of the image output apparatus are sequentially performed. In this case, the color reproduction processing unit 39 may directly calculate a color image from the multiband image without estimating the spectral reflectance and calculating the reflected light spectrum. The color reproduction processing by the color reproduction processing unit 39 may be performed when the texture image generation unit 37 generates the texture image, or may be performed on the texture image used when the output image generation unit 38 generates the output image. May be.
＜画像処理システムの作用＞
次に、本実施の形態に係る画像処理システム１０の作用について説明する。複数のカメラ２０１〜２０Ｎが立体形状の推定対象の被写体を撮影して得られた複数の撮影画像が画像処理装置３０に入力されると、画像処理装置３０によって図１１に示す画像処理ルーチンが実行される。なお、ここでは、撮影幾何情報算出用画像は予め撮影され、カメラ２０１〜２０Ｎの各々に記憶されている場合について説明する。
<Operation of image processing system>
Next, the operation of the image processing system 10 according to the present embodiment will be described. When a plurality of photographed images obtained by photographing the subject whose solid shape is to be estimated by the plurality of cameras 201 to 20N are input to the image processing device 30, the image processing routine shown in FIG. Is done. Here, a case will be described in which the imaging geometric information calculation image is previously captured and stored in each of the cameras 201 to 20N.
ステップＳ１０では、画像取得部３１は、カメラ２０１〜２０Ｎにより撮影して得られた複数の撮影画像、及び複数の撮影幾何情報算出用画像をカメラ２０１〜２０Ｎから取得する。次に、ステップＳ１２では、撮影幾何情報記憶部３２は、前述したように、ステップＳ１０で取得された撮影幾何情報算出用画像の各々に基づいて、カメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータを算出する。そして、撮影幾何情報記憶部３２は、算出したカメラ２０１〜２０Ｎと照明光源と被写体との位置関係、及びカメラ２０１〜２０Ｎの光学パラメータを、算出に用いた撮影幾何情報算出用画像を撮影したカメラ２０１〜２０Ｎにより撮影された撮影画像に対応付けて、撮影幾何情報データとしてメモリに出力する。 In step S10, the image acquisition unit 31 acquires a plurality of captured images obtained by capturing with the cameras 201 to 20N and a plurality of captured geometric information calculation images from the cameras 201 to 20N. Next, in step S12, as described above, the imaging geometric information storage unit 32 determines the positions of the cameras 201 to 20N, the illumination light source, and the subject based on each of the imaging geometric information calculation images acquired in step S10. The relationship and the optical parameters of the cameras 201 to 20N are calculated. The imaging geometric information storage unit 32 captures the imaging geometric information calculation image used for calculating the calculated positional relationship between the cameras 201 to 20N, the illumination light source and the subject, and the optical parameters of the cameras 201 to 20N. In association with the captured images captured by 201 to 20N, the captured geometric information data is output to the memory.
次に、ステップＳ１４では、立体形状推定部３３は、ステップＳ１０で取得された複数の撮影画像の各ペア間で対応点の追跡を行い、各ペアの撮影画像に対応する撮影幾何情報データを用いて、三角測量の原理によって被写体表面の点に関する位置及び奥行きを算出する。立体形状推定部３３は、この位置及び奥行きを算出する処理を、検出された全ての対応点について行うことによって、三次元点群データを生成する。 Next, in step S14, the three-dimensional shape estimation unit 33 tracks corresponding points between each pair of the plurality of captured images acquired in step S10, and uses the captured geometric information data corresponding to the captured images of each pair. Thus, the position and depth of a point on the surface of the subject are calculated by the principle of triangulation. The three-dimensional shape estimation unit 33 generates the three-dimensional point group data by performing the process of calculating the position and depth for all detected corresponding points.
次に、ステップＳ１６では、メッシュモデル生成部３４は、被写体表面が正しく表現できるように、点の削除及び統合を行い、また最適な３点の組み合せを算出することによって、ステップＳ１４で生成された三次元点群データから、被写体表面をメッシュで表現した三次元メッシュモデルを生成する。 Next, in step S16, the mesh model generation unit 34 deletes and integrates the points so that the subject surface can be correctly expressed, and calculates the optimal combination of three points, thereby generating the step S14. From the 3D point cloud data, a 3D mesh model representing the subject surface with a mesh is generated.
次に、ステップＳ１８では、メッシュ幾何情報計算部３５は、ステップＳ１６で生成された三次元メッシュモデルの各メッシュについて、メッシュの位置と法線の向きとステップＳ１２で算出された撮影幾何情報データとを用いて、メッシュ幾何情報データを算出する。次に、ステップＳ２０では、重み係数算出部３６は、前述したように、ステップＳ１６で生成された三次元メッシュモデルの各メッシュに対し、ステップＳ１８で算出された当該メッシュのメッシュ幾何情報データに基づいて、当該メッシュに対応する画像情報が含まれる撮影画像の各々の重み係数を算出する。 Next, in step S18, the mesh geometric information calculation unit 35, for each mesh of the three-dimensional mesh model generated in step S16, the mesh position and normal direction, the shooting geometric information data calculated in step S12, and Is used to calculate mesh geometric information data. Next, in step S20, as described above, the weight coefficient calculation unit 36, for each mesh of the three-dimensional mesh model generated in step S16, is based on the mesh geometric information data of the mesh calculated in step S18. Thus, each weight coefficient of the captured image including the image information corresponding to the mesh is calculated.
次に、ステップＳ２２では、テクスチャ画像生成部３７は、撮影画像から各メッシュに対応する領域の画像を抽出し、各メッシュに対応するテクスチャ画像を生成する。この際、テクスチャ画像生成部３７は、各メッシュに対し、各撮影画像から抽出した画像に、各撮影画像の当該メッシュに対応付けられた重み係数を乗算し、乗算した結果を加算することによって、当該メッシュに対応するテクスチャ画像を生成する。 Next, in step S22, the texture image generation unit 37 extracts an image of a region corresponding to each mesh from the captured image, and generates a texture image corresponding to each mesh. At this time, the texture image generation unit 37 multiplies the image extracted from each captured image by the weighting coefficient associated with the mesh of each captured image, and adds the result of multiplication to each mesh. A texture image corresponding to the mesh is generated.
次に、ステップＳ２４では、出力画像生成部３８は、三次元メッシュモデル及びメッシュ幾何情報データに基づいて、ステップＳ２２で生成されたテクスチャ画像を三次元メッシュモデルの各メッシュに貼り付ける。また、出力画像生成部３８は、指定された視点、照明光源の位置及び方向と、三次元メッシュモデル及びメッシュ幾何情報データとに基づいて、各メッシュと視点との位置関係、及び各メッシュに対する照明光の入射角を算出する。そして、出力画像生成部３８は、指定された視点からは観察できないメッシュを除去する陰面処理を行った後に、光線追跡処理並びに陰影処理を行うことによって、指定された視点から観察された被写体を表す画像に相当する出力画像を生成する。 Next, in step S24, the output image generation unit 38 pastes the texture image generated in step S22 on each mesh of the three-dimensional mesh model based on the three-dimensional mesh model and mesh geometric information data. The output image generation unit 38 also determines the positional relationship between each mesh and the viewpoint, and the illumination for each mesh based on the specified viewpoint, the position and direction of the illumination light source, the three-dimensional mesh model, and mesh geometric information data. The incident angle of light is calculated. The output image generation unit 38 represents the subject observed from the specified viewpoint by performing the ray tracing process and the shadow process after performing the hidden surface process for removing the mesh that cannot be observed from the specified viewpoint. An output image corresponding to the image is generated.
次に、ステップＳ２６では、色再現処理部３９は、前述したように、入力された色再現パラメータに基づき、出力画像生成部３８により出力された出力画像の各画素に対応する色を算出し、算出した各画素の色を画像出力装置に出力する。ステップＳ２６の処理が終了すると、画像処理ルーチンが終了する。 Next, in step S26, as described above, the color reproduction processing unit 39 calculates a color corresponding to each pixel of the output image output by the output image generating unit 38 based on the input color reproduction parameter, The calculated color of each pixel is output to the image output device. When the process of step S26 ends, the image processing routine ends.
以上説明したように、本実施の形態に係る画像処理装置によれば、三次元メッシュモデルの各メッシュと画像撮影装置及び照明光源との位置関係及び姿勢に応じた重み係数を算出し、重み係数に応じた重み付けを行ってテクスチャ画像を生成することにより、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる。 As described above, according to the image processing apparatus according to the present embodiment, the weighting coefficient is calculated according to the positional relationship and posture between each mesh of the three-dimensional mesh model and the image capturing apparatus and the illumination light source. It is possible to generate an appropriate texture image for the three-dimensional mesh model by generating a texture image by performing weighting according to.
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 Note that the present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、上記実施の形態では、画像処理装置３０の各機能部を、プログラムを実行することによって実現する場合を例に説明したが、これに限定されない。例えば、画像処理装置３０の各機能部を、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで実現してもよいし、ハードウェアとソフトウェアとの組み合わせで実現してもよい。 For example, although cases have been described with the above embodiment as examples where the respective functional units of the image processing device 30 are realized by executing programs, the present invention is not limited thereto. For example, each functional unit of the image processing apparatus 30 may be realized by hardware such as an FPGA (Field-Programmable Gate Array) or may be realized by a combination of hardware and software.
また、上記実施の形態において、重み係数算出部３６は、メッシュの法線方向と画像の撮影時のカメラの光軸とがなす角と、メッシュの法線方向と出力画像生成部３８が出力画像を生成する際に使用する指定された視点からの視線方向とがなす角と、の差に応じて重み係数を算出してもよい（変形例１）。この場合、この差が小さい撮影画像であるほど、大きい重み係数を算出する形態が例示される。 In the above-described embodiment, the weighting factor calculation unit 36 includes the angle formed between the normal direction of the mesh and the optical axis of the camera at the time of image capture, and the normal direction of the mesh and the output image generation unit 38 output the image. The weighting factor may be calculated according to the difference between the angle formed by the line-of-sight direction from the designated viewpoint used when generating the image (Modification 1). In this case, a mode in which a larger weight coefficient is calculated for a captured image with a smaller difference is exemplified.
また、上記実施の形態において、重み係数算出部３６は、メッシュにおける画像の撮影時の照明光の正反射方向とカメラの光軸とのなす角と、メッシュにおける出力画像生成部３８が出力画像を生成する際に使用する指定された照明光源からの照明光の正反射方向と指定された視点からの視線方向とのなす角と、の差に応じて重み係数を算出してもよい（変形例２）。この場合、この差が小さい撮影画像であるほど、大きい重み係数を算出する形態が例示される。 In the above-described embodiment, the weighting factor calculation unit 36 uses the angle formed by the regular reflection direction of illumination light and the optical axis of the camera at the time of capturing an image on the mesh, and the output image generation unit 38 on the mesh outputs the output image. A weighting factor may be calculated in accordance with a difference between a regular reflection direction of illumination light from a designated illumination light source used for generation and a line-of-sight direction from a designated viewpoint (modified example) 2). In this case, a mode in which a larger weight coefficient is calculated for a captured image with a smaller difference is exemplified.
また、上記実施の形態において、重み係数算出部３６は、メッシュの法線方向に対する画像の撮影時の照明光の入射角と、メッシュの法線方向に対する出力画像生成部３８が出力画像を生成する際に使用する指定された照明光源からの照明光の入射角と、差に応じて重み係数を算出してもよい（変形例３）。この場合、この差が小さい撮影画像であるほど、大きい重み係数を算出する形態が例示される。 In the above-described embodiment, the weighting factor calculation unit 36 generates the output image by using the incident angle of the illumination light when the image is captured with respect to the mesh normal direction and the output image generation unit 38 with respect to the mesh normal direction. The weighting factor may be calculated according to the incident angle of the illumination light from the designated illumination light source used at the time and the difference (Modification 3). In this case, a mode in which a larger weight coefficient is calculated for a captured image with a smaller difference is exemplified.
これらの３つの変形例では、複数の異なる視点で撮影された画像に対し、指定された視点及び光源に応じて生成される出力画像（すなわち、再現したい画像）により近い状況で撮影されて得られた画像の重み係数が大きくなるため、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる。また、これらの３つの変形例では、図１２に示すように、重み係数算出部３６に対して、指定された視点及び照明光源の位置や姿勢等の再現環境幾何情報データが入力される。また、これらの３つの変形例の重み係数の算出手法と上記実施の形態で説明した３つの重み係数の算出手法との２つ以上を組み合わせて撮影画像の重み係数を算出してもよい。この場合、組み合わせの算出手法の各々により算出された重み係数を乗算して得られた結果を、撮影画像の最終的な重み係数とする形態が例示される。 In these three modifications, images obtained from a plurality of different viewpoints are obtained by being photographed in a situation closer to an output image (that is, an image to be reproduced) generated according to a designated viewpoint and a light source. Since the weight coefficient of the obtained image becomes large, an appropriate texture image can be generated for the three-dimensional mesh model. In these three modified examples, as shown in FIG. 12, reproduction environment geometric information such as the designated viewpoint and the position and orientation of the illumination light source is input to the weighting coefficient calculation unit 36. Further, the weighting factor of the captured image may be calculated by combining two or more of the weighting factor calculation methods of these three modified examples and the three weighting factor calculation methods described in the above embodiments. In this case, the form which makes the result obtained by multiplying the weighting coefficient computed by each of the calculation methods of a combination the final weighting coefficient of a picked-up image is illustrated.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。 Further, in the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium or provided via a network. It is also possible to do.
１０ 画像処理システム
２０１〜２０Ｎ カメラ
３０ 画像処理装置
３１ 画像取得部
３２ 撮影幾何情報記憶部
３３ 立体形状推定部
３４ メッシュモデル生成部
３５ メッシュ幾何情報計算部
３６ 重み係数算出部
３７ テクスチャ画像生成部
３８ 出力画像生成部
３９ 色再現処理部
DESCRIPTION OF SYMBOLS 10 Image processing systems 201-20N Camera 30 Image processing apparatus 31 Image acquisition part 32 Shooting geometric information storage part 33 Solid shape estimation part 34 Mesh model generation part 35 Mesh geometric information calculation part 36 Weight coefficient calculation part 37 Texture image generation part 38 Output Image generation unit 39 color reproduction processing unit
Claims (10)
前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成するメッシュモデル生成部と、
前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出する重み係数算出部と、
前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成するテクスチャ画像生成部と、
を含む画像処理装置。 An image acquisition unit that acquires a plurality of images of a subject taken from a plurality of different viewpoints by the image capturing device;
A mesh model generation unit that generates a three-dimensional mesh model that represents the surface of the subject with a mesh using the plurality of images;
For each mesh of the three-dimensional mesh model, each of the plurality of images according to the positional relationship and posture between the mesh and at least one of the image capturing device and the illumination light source at the time of capturing each of the plurality of images. A weighting factor calculation unit for calculating the weighting factor of
When a texture image corresponding to each mesh of the three-dimensional mesh model is generated from the plurality of images, the texture image is generated by weighting the mesh according to the weight coefficient of each of the plurality of images. A texture image generator,
An image processing apparatus.
前記重み係数算出部は、前記メッシュにおける前記画像の撮影時の前記照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角に応じて前記重み係数を算出する請求項１に記載の画像処理装置。 The plurality of images are images obtained by photographing a subject by the image photographing device when illumination light from an illumination light source is irradiated,
The weight coefficient calculation unit is configured to determine the weight according to an angle formed between a specular direction of illumination light from the illumination light source when the image is captured on the mesh and an optical axis of the image capturing apparatus when the image is captured. The image processing apparatus according to claim 1, wherein the coefficient is calculated.
前記重み係数算出部は、前記メッシュの法線方向に対する前記画像の撮影時の前記照明光源からの照明光の入射角に応じて前記重み係数を算出する請求項１に記載の画像処理装置。 The plurality of images are images obtained by photographing a subject by the image photographing device when illumination light from an illumination light source is irradiated,
The image processing apparatus according to claim 1, wherein the weighting factor calculation unit calculates the weighting factor according to an incident angle of illumination light from the illumination light source when the image is captured with respect to a normal direction of the mesh.
前記重み係数算出部は、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された視点及び前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュにおける前記画像の撮影時の照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角と、前記メッシュにおける前記指定された照明光源からの照明光の正反射方向と前記指定された視点からの視線方向とのなす角と、の差に応じて前記重み係数を算出する請求項１に記載の画像処理装置。 The plurality of images are images obtained by photographing a subject by the image photographing device when illumination light from an illumination light source is irradiated,
The weighting factor calculation unit is configured to generate the image viewed from a specified viewpoint when illumination light is irradiated from a specified illumination light source, the specified viewpoint, and the specified Using the positional relationship and orientation with the illumination light source, an angle formed between the regular reflection direction of illumination light from the illumination light source at the time of capturing the image on the mesh and the optical axis of the image capturing device at the time of capturing the image, The weighting factor is calculated according to a difference between a regular reflection direction of illumination light from the designated illumination light source in the mesh and an angle formed by a line-of-sight direction from the designated viewpoint. Image processing apparatus.
前記重み係数算出部は、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュの法線方向に対する前記画像の撮影時の照明光源からの照明光の入射角と、前記メッシュの法線方向に対する前記指定された照明光源からの照明光の入射角と、の差に応じて前記重み係数を算出する請求項１に記載の画像処理装置。 The plurality of images are images obtained by photographing a subject by the image photographing device when illumination light from an illumination light source is irradiated,
The weighting factor calculation unit is a positional relationship between the mesh and the designated illumination light source used when generating an image viewed from a designated viewpoint when illumination light is irradiated from the designated illumination light source. And the orientation, the incident angle of the illumination light from the illumination light source at the time of photographing the image with respect to the normal direction of the mesh, and the incident angle of the illumination light from the designated illumination light source with respect to the normal direction of the mesh The image processing apparatus according to claim 1, wherein the weighting coefficient is calculated according to a difference between the two.
前記重み係数算出部は、前記メッシュの法線方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角に応じて第１の重み係数を算出し、前記メッシュにおける前記画像の撮影時の前記照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角に応じて第２の重み係数を算出し、前記メッシュの法線方向に対する前記画像の撮影時の前記照明光源からの照明光の入射角に応じて第３の重み係数を算出し、指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された視点との位置関係及び姿勢を用いて、前記メッシュの法線方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角と、前記メッシュの法線方向と前記指定された視点からの視線方向とのなす角と、の差に応じて第４の重み係数を算出し、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された視点及び前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュにおける前記画像の撮影時の照明光源からの照明光の正反射方向と前記画像の撮影時の前記画像撮影装置の光軸とのなす角と、前記メッシュにおける前記指定された照明光源からの照明光の正反射方向と前記指定された視点からの視線方向とのなす角と、の差に応じて第５の重み係数を算出し、指定された照明光源から照明光が照射された場合における指定された視点から見た画像を生成する際に使用される前記メッシュと前記指定された照明光源との位置関係及び姿勢を用いて、前記メッシュの法線方向に対する前記画像の撮影時の照明光源からの照明光の入射角と、前記メッシュの法線方向に対する前記指定された照明光源からの照明光の入射角と、の差に応じて第６の重み係数を算出したうえで、前記第１から前記第６までの重み係数のうちの２つ以上に基づいて、前記メッシュに対する前記画像の最終的な重み係数を算出する請求項１に記載の画像処理装置。 The plurality of images are images obtained by photographing a subject by the image photographing device when illumination light from an illumination light source is irradiated,
The weighting factor calculating unit calculates a first weighting factor according to an angle formed by a normal direction of the mesh and an optical axis of the image capturing device at the time of capturing the image, and captures the image on the mesh. A second weighting factor is calculated according to an angle formed between the regular reflection direction of the illumination light from the illumination light source at the time and the optical axis of the image capturing apparatus at the time of capturing the image, and the normal direction of the mesh A third weighting factor is calculated in accordance with an incident angle of illumination light from the illumination light source at the time of capturing the image, and the mesh used for generating an image viewed from a designated viewpoint is designated. Using the positional relationship and orientation with the viewpoint, the angle formed between the normal direction of the mesh and the optical axis of the image capturing apparatus at the time of capturing the image, the normal direction of the mesh, and the designated viewpoint Depending on the difference between the direction of the line of sight Calculating the fourth weighting factor, and generating the image viewed from the specified viewpoint when the illumination light is irradiated from the specified illumination light source, the specified viewpoint, and the Using the positional relationship and posture with the designated illumination light source, the regular reflection direction of illumination light from the illumination light source at the time of capturing the image on the mesh and the optical axis of the image capturing device at the time of capturing the image A fifth weighting factor is calculated according to the difference between the angle formed by the angle formed by the specular reflection direction of the illumination light from the specified illumination light source and the line-of-sight direction from the specified viewpoint on the mesh. Using the positional relationship and posture between the mesh and the designated illumination light source used when generating an image viewed from the designated viewpoint when illumination light is irradiated from the designated illumination light source, Above Depending on the difference between the incident angle of the illumination light from the illumination light source at the time of capturing the image with respect to the normal direction of the mesh and the incident angle of the illumination light from the designated illumination light source with respect to the normal direction of the mesh The final weighting factor of the image for the mesh is calculated based on two or more of the first to sixth weighting factors after calculating a sixth weighting factor. The image processing apparatus described.
前記複数の画像を用いて前記被写体の表面をメッシュで表現した三次元メッシュモデルを生成し、
前記三次元メッシュモデルの各メッシュに対し、前記メッシュと前記複数の画像の各々の撮影時の前記画像撮影装置及び照明光源の少なくとも一方との位置関係及び姿勢に応じて、前記複数の画像の各々の重み係数を算出し、
前記三次元メッシュモデルの各メッシュに対応するテクスチャ画像を前記複数の画像から生成する場合に、前記メッシュに対する前記複数の画像の各々の前記重み係数に応じた重み付けを行って前記テクスチャ画像を生成する
画像処理方法。 Acquire multiple images of the subject from multiple different viewpoints using the image capture device,
Generating a three-dimensional mesh model representing the surface of the subject with a mesh using the plurality of images;
For each mesh of the three-dimensional mesh model, each of the plurality of images according to the positional relationship and posture between the mesh and at least one of the image capturing device and the illumination light source at the time of capturing each of the plurality of images. Calculate the weighting factor for
When a texture image corresponding to each mesh of the three-dimensional mesh model is generated from the plurality of images, the texture image is generated by weighting the mesh according to the weight coefficient of each of the plurality of images. Image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017137830A JP6867645B2 (en) | 2017-07-14 | 2017-07-14 | Image processing equipment, methods, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017137830A JP6867645B2 (en) | 2017-07-14 | 2017-07-14 | Image processing equipment, methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019020952A true JP2019020952A (en) | 2019-02-07 |
| JP6867645B2 JP6867645B2 (en) | 2021-05-12 |
Family
ID=65354475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017137830A Active JP6867645B2 (en) | 2017-07-14 | 2017-07-14 | Image processing equipment, methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6867645B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113428374A (en) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
| US11164374B2 (en) | 2019-05-29 | 2021-11-02 | Sony Interactive Entertainment Inc. | Mesh model generation method, mesh model generation device, and program |
| JP7334509B2 (en) | 2019-07-05 | 2023-08-29 | 凸版印刷株式会社 | 3D geometric model generation system, 3D geometric model generation method and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11120372A (en) * | 1996-08-30 | 1999-04-30 | Sanyo Electric Co Ltd | Texture information imparting method, medium recorded with texture information imparting program and texture information imparting device |
| JP2001236510A (en) * | 2000-02-24 | 2001-08-31 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for generating three-dimensional visualized image and recording medium with three- dimensional visualized image generation program recorded thereon |
| JP2017509972A (en) * | 2014-02-21 | 2017-04-06 | クアルコム，インコーポレイテッド | View-independent color equalization 3D scene texture processing |
-
2017
- 2017-07-14 JP JP2017137830A patent/JP6867645B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11120372A (en) * | 1996-08-30 | 1999-04-30 | Sanyo Electric Co Ltd | Texture information imparting method, medium recorded with texture information imparting program and texture information imparting device |
| JP2001236510A (en) * | 2000-02-24 | 2001-08-31 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for generating three-dimensional visualized image and recording medium with three- dimensional visualized image generation program recorded thereon |
| JP2017509972A (en) * | 2014-02-21 | 2017-04-06 | クアルコム，インコーポレイテッド | View-independent color equalization 3D scene texture processing |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11164374B2 (en) | 2019-05-29 | 2021-11-02 | Sony Interactive Entertainment Inc. | Mesh model generation method, mesh model generation device, and program |
| JP7334509B2 (en) | 2019-07-05 | 2023-08-29 | 凸版印刷株式会社 | 3D geometric model generation system, 3D geometric model generation method and program |
| CN113428374A (en) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
| CN113428374B (en) * | 2021-07-29 | 2023-04-18 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6867645B2 (en) | 2021-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| US11763518B2 (en) | Method and system for generating a three-dimensional image of an object | |
| EP3134868B1 (en) | Generation and use of a 3d radon image | |
| TWI451750B (en) | Image capture apparatus, computer readable recording medium and control method | |
| CN109474780B (en) | Method and device for image processing | |
| US9025862B2 (en) | Range image pixel matching method | |
| JP7378219B2 (en) | Imaging device, image processing device, control method, and program | |
| JP6867645B2 (en) | Image processing equipment, methods, and programs | |
| WO2014002521A1 (en) | Image processing device and image processing method | |
| TWI581051B (en) | Three - dimensional panoramic image generation method | |
| DK3189493T3 (en) | PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP | |
| TW201716743A (en) | Three dimensional characteristic information sensing system and sensing method | |
| JP2015046678A (en) | Image processing device, image processing method and imaging device | |
| JP2020506390A (en) | Method and optical system for obtaining tomographic distribution of wavefront of electromagnetic field | |
| CN108307179A (en) | A kind of method of 3D three-dimensional imagings | |
| KR20110133677A (en) | Method and apparatus for processing 3d image | |
| JP2022024688A (en) | Depth map generation device and program thereof, and depth map generation system | |
| JP6835227B2 (en) | Image processing equipment, image processing methods and computer programs | |
| JP6071142B2 (en) | Image converter | |
| KR101765257B1 (en) | Method for acquiring three dimensional image information, and computing device implementing the samemethod | |
| JP6168601B2 (en) | Image converter | |
| JP2016024490A (en) | Image processing apparatus, image processing method, and program | |
| KR101323195B1 (en) | 3D image generating method from 2D images | |
| CN117671159A (en) | Three-dimensional model generation method and device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170718 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6867645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |