JP2014067372A - Motion parallax reproduction program and device and three-dimensional model generation program and device therefor - Google Patents
Motion parallax reproduction program and device and three-dimensional model generation program and device therefor Download PDFInfo
- Publication number
- JP2014067372A JP2014067372A JP2012214194A JP2012214194A JP2014067372A JP 2014067372 A JP2014067372 A JP 2014067372A JP 2012214194 A JP2012214194 A JP 2012214194A JP 2012214194 A JP2012214194 A JP 2012214194A JP 2014067372 A JP2014067372 A JP 2014067372A
- Authority
- JP
- Japan
- Prior art keywords
- polygon
- model
- subject
- motion parallax
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置に係り、特に、カメラ画像に加えて同一視点における奥行き値を活用することにより運動視差を再現する運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置三次元表示方法および装置に関する。 The present invention relates to a motion parallax reproduction program and apparatus and a three-dimensional model generation program and apparatus thereof, and in particular, a motion parallax reproduction program and apparatus for reproducing motion parallax by utilizing depth values at the same viewpoint in addition to camera images. The present invention also relates to a three-dimensional model generation program and apparatus three-dimensional display method and apparatus.
多眼立体ディスプレイを対象とした運動視差再現を行う手法として、カメラ間隔が人間の目幅程度であるような、密なカメラ配置を前提に、カメラ間の対応点マッチングに基づく奥行推定、および奥行情報を用いた3D warpingによるカメラ間の補間画像生成方式が、非特許文献1に開示されている。 Depth estimation based on matching of corresponding points between cameras and depth based on the premise of a dense camera arrangement, where the camera parallax is about the width of a human eye as a method to perform motion parallax for multi-view stereoscopic displays Non-Patent Document 1 discloses a method for generating an interpolated image between cameras by 3D warping using information.
また、上記のカメラアレイに比べて比較的広く設置されるカメラ配置を対象に、オブジェクトの三次元モデルを構築可能な視体積交差法や、少なくとも1台のカメラからオブジェクトの簡易三次元モデルを構築可能なビルボードモデル等が、特許文献1に開示されている。 In addition, the visual volume intersection method that can construct a three-dimensional model of an object, and a simple three-dimensional model of an object from at least one camera, targeting a camera arrangement that is installed relatively widely compared to the above camera array. A possible billboard model and the like are disclosed in Patent Document 1.
非特許文献1の提案手法では、人間の目幅と同程度の間隔で配置されたカメラアレイを対象に、カメラ間の対応点マッチングに基づき画素毎の奥行推定を行うと共に、視差補償によりカメラ間の補間画像を生成する手法が提案されている。しかしながら、オクルージョン領域に穴が生じる問題が避けられず、特に、カメラ間隔が大きくなると合成画質が大きく劣化するという技術課題があった。 In the proposed method of Non-Patent Document 1, depth estimation for each pixel is performed based on matching of corresponding points between cameras for a camera array arranged at an interval approximately equal to a human eye width, and between cameras by parallax compensation. A method for generating the interpolated image has been proposed. However, the problem that holes are generated in the occlusion area is unavoidable, and in particular, there is a technical problem that the combined image quality is greatly degraded when the camera interval is increased.
特許文献1の提案手法では、最低1台のカメラからオブジェクトの簡易モデルを生成可能であり、サッカー等の大空間における仮想視点再現には有効であることが示されている。しかしながら、オブジェクトの三次元形状が「ビルボード」と呼ばれる長方形ポリゴンで近似されるため、オブジェクト表面の細かな凹凸等を再現することができず、運動視差再現が求められるような視聴には適さないという技術課題があった。 In the proposed method of Patent Document 1, it is shown that a simple model of an object can be generated from at least one camera, and is effective for reproducing a virtual viewpoint in a large space such as soccer. However, since the three-dimensional shape of an object is approximated by a rectangular polygon called a “billboard”, fine irregularities on the surface of the object cannot be reproduced, which is not suitable for viewing where motion parallax reproduction is required. There was a technical problem.
本発明の目的は、上記の技術課題を解決し、オブジェクト表面の細かな凹凸等を再現でき、セルフオクルージョンによる画質劣化の少ない運動視差を再現できる運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置を提供することにある。 An object of the present invention is to solve the above technical problem, reproduce a motion parallax that can reproduce fine irregularities on the surface of an object, and reproduce motion parallax with little image quality degradation due to self-occlusion, and a three-dimensional model generation program thereof And providing an apparatus.
上記の目的を達成するために、本発明は、被写体を模した三次元モデルの運動視差を再現する運動視差再現装置およびその三次元モデル生成装置において、以下のような手段を講じた点に特徴がある。 In order to achieve the above object, the present invention is characterized by the following means in the motion parallax reproduction device that reproduces the motion parallax of a three-dimensional model simulating a subject and the three-dimensional model generation device thereof There is.
(1)本発明の三次元モデル生成装置は、被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、被写体を固定位置から測定した深度マップを取得する手段と、カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段とを具備した。 (1) The three-dimensional model generation device of the present invention includes a means for acquiring a camera image obtained by photographing a subject from a viewpoint from a fixed position, a means for obtaining a depth map obtained by measuring the subject from a fixed position, a camera image and a depth. Means for generating a polygon model of the subject based on the map, and means for generating a three-dimensional polygon texture model by projecting a texture from each local region corresponding to the camera image onto each polygon of the polygon model.
(2)本発明の運動視差再現装置は、被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、被写体を固定位置から測定した深度マップを取得する手段と、カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段と、固定視点におけるポリゴンテクスチャモデルに基づいて仮想視点の二次元画像をレンダリングする手段とを具備した。 (2) The motion parallax reproduction device of the present invention includes a means for acquiring a camera image obtained by photographing a subject from a viewpoint from a fixed position, a means for obtaining a depth map obtained by measuring the subject from a fixed position, a camera image, and a depth map. Generating a polygon model of a subject based on the image, means for projecting a texture from each corresponding local region of the camera image to each polygon of the polygon model, generating a three-dimensional polygon texture model, and polygon texture at a fixed viewpoint Means for rendering a two-dimensional image of a virtual viewpoint based on the model.
本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.
(1)被写体の三次元モデルが、そのカメラ画像および深度マップに基づいて、各ポリゴンの頂点が三次元座標で与えられるポリゴンテクスチャモデルとして構築されるので、三次元モデルの各局所領域(ポリゴン)に対して、その位置に応じて異なる固有の向き(法線)を定義できるようになる。 (1) Since the 3D model of the subject is constructed as a polygon texture model in which the vertex of each polygon is given in 3D coordinates based on the camera image and depth map, each local area (polygon) of the 3D model However, it is possible to define different specific directions (normals) depending on the position.
(2)上記のように、三次元モデルの各局所領域に対して、その位置に応じた固有の向きを定義できるので、各局所領域が全て同一の向き(正面)で定義されるビルボードモデルの場合に較べて、運動視差を精度良く再現できるようになる。 (2) As mentioned above, a unique orientation can be defined for each local area of the 3D model according to its position, so that each billboard model is defined with the same orientation (front). Compared to the case, the motion parallax can be accurately reproduced.
(3)上記のように、運動視差を精度良く再現できるので、複数の三次元モデルの画像を合成してレンダリング画像を取得する際に、セルフオクルージョン領域の画質劣化を抑えられるようになる。 (3) As described above, since motion parallax can be accurately reproduced, deterioration of image quality in the self-occlusion area can be suppressed when a rendering image is obtained by combining a plurality of three-dimensional model images.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る運動視差再現装置およびその三次元モデル生成装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram showing the configuration of the main part of the motion parallax reproduction device and its three-dimensional model generation device according to the first embodiment of the present invention. Here, the configuration unnecessary for the description of the present invention is shown. The illustration is omitted.
距離画像センサ1は、CCDまたはCMOSなどの画像センサを備え、固定位置Pからの視点で被写体Mを撮影してカラー(RGB)のカメラ画像を取得する撮像部1aおよび当該固定位置Pまたはその近傍位置P'からの視点で被写体Mの深度マップを作成する深度マップ作成部1bを備える。 The distance image sensor 1 includes an image sensor such as a CCD or CMOS, and captures the subject M from a viewpoint from a fixed position P to acquire a color (RGB) camera image and the fixed position P or the vicinity thereof. A depth map creation unit 1b that creates a depth map of the subject M from the viewpoint from the position P ′ is provided.
図2は、固定位置Pからの視点で被写体Mから取得、作成されたカメラ画像[同図(a)]および深度マップ[同図(b)]の一例を示した図であり、前記深度マップ作成部1bは、光源2からLED光またはレーザ光を被写体Mに向けて照射すると共に、その反射光を前記画像センサで検知し、到達時間を画素ごとに計測することにより深度マップを作成する。 FIG. 2 is a diagram illustrating an example of a camera image [FIG. (A)] and a depth map [(b)] obtained and created from the subject M from the viewpoint from the fixed position P. The creation unit 1b irradiates the subject M with LED light or laser light from the light source 2, detects the reflected light with the image sensor, and creates a depth map by measuring the arrival time for each pixel.
なお、カメラ画像用の画像センサと深度測定用の画像センサとが異なり、両者の位置にズレがある場合には、深度マップ上の各画素の奥行き値を中心射影行列によりカメラ画像に投影することで対応画素を特定し、各位置のズレを調整することが望ましい。 If the image sensor for the camera image is different from the image sensor for depth measurement and there is a difference between the positions, the depth value of each pixel on the depth map is projected onto the camera image by the central projection matrix. It is desirable to specify the corresponding pixel and adjust the displacement of each position.
ポリゴンモデル生成部3において、ポリゴン決定部3aは、図3に示したように、カメラ画像の各2×2=4の画素ブロックから選択される3つの画素の組み合わせごとに、各画素の三次元座標をカメラ画像上での二次元座標および奥行き値から算出し、各三次元座標を頂点座標とする三角形のポリゴンを生成する。ポリゴンモデル生成部3は、図4に一例を示したように、深度マップ[同図(a)]から生成された全てのポリゴンを連結してポリゴンモデル[同図(b)]を生成する。このとき、頂点座標間の距離が閾値以上のパターンはノイズと見なされて排除される。 In the polygon model generation unit 3, the polygon determination unit 3 a performs the three-dimensional of each pixel for each combination of three pixels selected from each 2 × 2 = 4 pixel block of the camera image, as shown in FIG. 3. The coordinates are calculated from the two-dimensional coordinates and the depth value on the camera image, and a triangular polygon having the three-dimensional coordinates as vertex coordinates is generated. As shown in FIG. 4, the polygon model generation unit 3 generates a polygon model [(b)] by connecting all the polygons generated from the depth map [(a)]. At this time, a pattern in which the distance between the vertex coordinates is equal to or greater than the threshold is regarded as noise and eliminated.
ポリゴンテクスチャモデル生成部4は、図5に示したように、ポリゴンモデル[同図(b)]の各ポリゴン位置に、カメラ画像[同図(a)]の対応位置からテクスチャマッピングにより取得したテクスチャを貼り付けることで、三次元のポリゴンテクスチャモデル[同図(c)]を生成する。 As shown in FIG. 5, the polygon texture model generation unit 4 applies the texture acquired by texture mapping from the corresponding position of the camera image [FIG. (A)] to each polygon position of the polygon model [FIG. (B)]. By pasting, a three-dimensional polygon texture model [FIG. (C)] is generated.
本実施形態では、前記ポリゴンテクスチャモデル生成部4が、各ポリゴンの各頂点座標を中心射影行列でカメラ画像に射影する射影部4a、および前記射影されたカメラ画像内の各画素を各ポリゴンへ逆射影する逆射影部4bを備え、この逆射影により各ポリゴンにカメラ画像のテクスチャが貼り付けられる。 In this embodiment, the polygon texture model generation unit 4 projects each vertex coordinate of each polygon onto a camera image using a central projection matrix, and converts each pixel in the projected camera image to each polygon. A reverse projection unit 4b for projecting is provided, and the texture of the camera image is pasted on each polygon by this reverse projection.
レンダリング部5は、前記ポリゴンテクスチャモデルに対して一般的なCGレンダリング技術を適用することにより、被写体Mの画像を仮想視点Pvから撮影したレンダリング画像を生成する。 The rendering unit 5 generates a rendering image obtained by capturing an image of the subject M from the virtual viewpoint Pv by applying a general CG rendering technique to the polygon texture model.
本実施形態によれば、被写体Mの三次元モデルが、そのカメラ画像および深度マップに基づいて、各ポリゴンの頂点が三次元座標で与えられるポリゴンテクスチャモデルとして構築されるので、三次元モデルの各局所領域(ポリゴン)PGに対して、その位置に応じて異なる固有の向き(法線)を定義できるようになる。 According to the present embodiment, the 3D model of the subject M is constructed as a polygon texture model in which the vertices of each polygon are given in 3D coordinates based on the camera image and the depth map. Different local orientations (normal lines) can be defined for the local region (polygon) PG depending on its position.
その結果、図6に模式的に表現したように、仮想視点Pvにおいて対向する位置の局所領域PGの法線と視線との角度差θを、前記特許文献1のように各局所領域が全て同一の向きで定義されるビルボードモデル[同図(a)]により構成される場合と較べて、本実施形態[同図(b)]では小さくできる。その結果、各局所領域において被写体Mのテクスチャをより正確に表現できるようになるので、運動視差を精度良く再現できるようになる。 As a result, as schematically represented in FIG. 6, the angle difference θ between the normal line and the line of sight of the local region PG at the opposite position at the virtual viewpoint Pv is the same for each local region as in Patent Document 1. Compared to the case of the billboard model [Fig. (A)] defined by the orientation, the present embodiment [Fig. (B)] can reduce the size. As a result, the texture of the subject M can be expressed more accurately in each local region, so that motion parallax can be accurately reproduced.
図7は、本発明の第2実施形態に係る運動視差再現装置およびその三次元モデル生成装置の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。 FIG. 7 is a functional block diagram showing a configuration of a main part of the motion parallax reproduction device and its three-dimensional model generation device according to the second embodiment of the present invention, where the same reference numerals as those described above represent the same or equivalent parts. Therefore, the explanation is omitted.
本実施形態では、距離画像センサ1が少なくとも二箇所P1,P2に設けられ、視点の異なる複数のカメラ画像および深度マップのペアに基づいて作成された複数のポリゴンテクスチャモデルに基づいて仮想視点Pvの二次元画像がレンダリングされる点に特徴がある。ここでは、2つの距離画像センサ1A,1Bを設けた場合を例にして説明する。 In the present embodiment, the distance image sensor 1 is provided in at least two places P1 and P2, and the virtual viewpoint Pv is based on a plurality of polygon texture models created based on a plurality of camera images and depth map pairs with different viewpoints. A feature is that a two-dimensional image is rendered. Here, a case where two distance image sensors 1A and 1B are provided will be described as an example.
図8は、一方の距離画像センサ1Aにより取得されたカメラ画像I1[同図(a)]およびその深度マップD1[同図(b)]ならびに他方の距離画像センサ1Bにより取得されたカメラ画像I2[同図(c)]およびその深度マップD2[同図(d)]の一例を示した図である。 FIG. 8 shows a camera image I1 [FIG. (A)] acquired by one distance image sensor 1A and its depth map D1 [FIG. (B)] and a camera image I2 acquired by the other distance image sensor 1B. FIG. 6C is a diagram showing an example of [FIG. (C)] and its depth map D2 [FIG. (D)].
レンダリング部6は、各固定位置P1、P2で取得されたカメラ画像I1,I2および深度マップD1,D2のペア[I1,D1]、[I2,D2]に基づいて、固定位置P1、P2間の仮想位置Pvを視点とする二次元画像を、当該各固定視点P1、P2と仮想視点Pvとの距離に応じた比率で各ポリゴンテクスチャモデルの画像を統合することによりレンダリングする。 The rendering unit 6 determines between the fixed positions P1 and P2 based on the pair [I1, D1] and [I2, D2] of the camera images I1 and I2 and the depth maps D1 and D2 acquired at the fixed positions P1 and P2. A two-dimensional image with the virtual position Pv as the viewpoint is rendered by integrating the images of the polygon texture models at a ratio corresponding to the distance between the fixed viewpoints P1 and P2 and the virtual viewpoint Pv.
図9は、前記レンダリング部6によるレンダリング例を示した図であり、一方の距離画像センサ1Aにより取得されたカメラ画像I1およびその深度マップD1から生成されたポリゴンテクスチャモデルの画像[同図(a)]と、他方の距離画像センサ1Bにより取得されたカメラ画像I2およびその深度マップD2から生成されたポリゴンテクスチャモデルの画像[同図(b)]とを、固定位置P1と仮想位置Pvとの距離差(P1-Pv)および固定位置P2と仮想位置Pvとの距離差(P2-Pv)の比(P1-Pv)/(P2-Pv)に応じてアルファブレンディングすることによりレンダリング画像[同図(c)]が生成される。 FIG. 9 is a diagram showing an example of rendering by the rendering unit 6. The image of the polygon texture model generated from the camera image I1 acquired by one distance image sensor 1A and its depth map D1 [FIG. )] And a polygonal texture model image [b (b)] generated from the camera image I2 obtained by the other distance image sensor 1B and the depth map D2 between the fixed position P1 and the virtual position Pv. Rendered image by alpha blending according to distance difference (P1-Pv) and ratio of distance difference (P2-Pv) between fixed position P2 and virtual position Pv (P2-Pv) / (P2-Pv) (c)] is generated.
本実施形態によれば、仮想視点Pvにおいて対向する位置の局所領域PGの法線と視線との角度差θを小さくできるので、複数の三次元モデルを合成してレンダリング画像を取得する際に、セルフオクルージョン領域の画質劣化を抑えられるようになる。 According to the present embodiment, since the angle difference θ between the normal line and the line of sight of the local region PG at the position facing in the virtual viewpoint Pv can be reduced, when a rendering image is obtained by combining a plurality of three-dimensional models, Image quality degradation in the self-occlusion area can be suppressed.
なお、本発明の目的は、上記実施形態の機能を実現するプログラムのコードを記録媒体に記録し、これをコンピュータが読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体およびプログラムコードを記憶した記憶媒体は本発明を構成することになる。 The object of the present invention can also be achieved by recording a program code for realizing the functions of the above-described embodiments on a recording medium, and reading and executing the program by a computer. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.
1…距離画像センサ,1a…撮像部,1b…深度マップ作成部,2…光源,3…ポリゴンモデル生成部,3a…ポリゴン決定部,4…ポリゴンテクスチャモデル生成部,5,6…レンダリング部 DESCRIPTION OF SYMBOLS 1 ... Distance image sensor, 1a ... Imaging part, 1b ... Depth map creation part, 2 ... Light source, 3 ... Polygon model production | generation part, 3a ... Polygon determination part, 4 ... Polygon texture model production | generation part, 5, 6 ... Rendering part
Claims (10)
被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、
被写体を前記固定位置から測定した深度マップを取得する手段と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段とを具備したことを特徴とする運動視差再現装置の三次元モデル生成装置。 In the 3D model generation device of the motion parallax reproduction device that reproduces the motion parallax of the 3D model imitating the subject,
Means for acquiring a camera image obtained by photographing a subject from a fixed point of view;
Means for obtaining a depth map obtained by measuring the subject from the fixed position;
Means for generating a polygon model of the subject based on the camera image and the depth map;
3D model generation apparatus for motion parallax reproduction apparatus, comprising: means for projecting a texture from each local region corresponding to a camera image to each polygon of said polygon model to generate a 3D polygon texture model .
前記ポリゴンモデルを生成する手段は、カメラ画像の各2×2の画素ブロックから選択される3つの画素の組み合わせごとに、各画素の二次元座標および奥行き値に基づいて三次元座標を取得し、各三次元座標を結んで三角形のポリゴンを生成することを特徴とする請求項1に記載の運動視差再現装置の三次元モデル生成装置。 The means for acquiring the depth map acquires a depth value for each pixel of the camera image,
The means for generating the polygon model obtains a three-dimensional coordinate based on a two-dimensional coordinate and a depth value of each pixel for each combination of three pixels selected from each 2 × 2 pixel block of the camera image, The three-dimensional model generation device for a motion parallax reproduction device according to claim 1, wherein the three-dimensional coordinates are connected to generate a triangular polygon.
各ポリゴンの各頂点座標を中心射影行列でカメラ画像に射影する手段と、
前記射影されたカメラ画像内の各画素を各ポリゴンへ逆射影する手段とを含むことを特徴とする請求項1または2に記載の運動視差再現装置の三次元モデル生成装置。 The means for generating the polygon texture model includes:
Means for projecting each vertex coordinate of each polygon to a camera image with a central projection matrix;
3. The three-dimensional model generation device for a motion parallax reproduction device according to claim 1, further comprising means for back-projecting each pixel in the projected camera image onto each polygon. 4.
被写体を固定位置からの視点で撮影したカメラ画像を取得する手順と、
被写体を前記固定位置から測定した深度マップを取得する手順と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手順と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手順と、
をコンピュータに実行させるための運動視差再現装置の三次元モデル生成プログラム。 In the 3D model generation program of the motion parallax reproduction device that reproduces the motion parallax of the 3D model imitating the subject,
A procedure for acquiring a camera image of a subject taken from a fixed point of view;
Obtaining a depth map obtained by measuring the subject from the fixed position;
Generating a polygon model of the subject based on the camera image and the depth map;
Projecting a texture from each corresponding local region of the camera image to each polygon of the polygon model to generate a three-dimensional polygon texture model;
3D model generation program of motion parallax reproduction device for causing computer to execute.
被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、
被写体を前記固定位置から測定した深度マップを取得する手段と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段と、
前記固定視点におけるポリゴンテクスチャモデルに基づいて仮想視点の二次元画像をレンダリングする手段とを具備したことを特徴とする運動視差再現装置。 In a motion parallax reproduction device that reproduces the motion parallax of a three-dimensional model simulating a subject,
Means for acquiring a camera image obtained by photographing a subject from a fixed point of view;
Means for obtaining a depth map obtained by measuring the subject from the fixed position;
Means for generating a polygon model of the subject based on the camera image and the depth map;
Means for projecting a texture from each corresponding local region of the camera image to each polygon of the polygon model to generate a three-dimensional polygon texture model;
A motion parallax reproduction device comprising: means for rendering a two-dimensional image of a virtual viewpoint based on a polygon texture model at the fixed viewpoint.
被写体を複数の異なる固定意位からの視点で撮影したカメラ画像をそれぞれ取得する手段と、
被写体を前記各固定位置から測定した深度マップをそれぞれ取得する手段と、
前記固定位置ごとに取得されたカメラ画像および深度マップに基づいて被写体のポリゴンモデルをそれぞれ生成する手段と、
前記各ポリゴンモデルの各ポリゴンに各カメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルをそれぞれ生成する手段と、
前記各固定視点におけるポリゴンテクスチャモデルの画像に基づいて仮想視点の二次元画像をレンダリングする手段とを具備したことを特徴とする運動視差再現装置。 In a motion parallax reproduction device that reproduces the motion parallax of a three-dimensional model simulating a subject,
Means for acquiring a camera image obtained by photographing a subject from a plurality of different fixed viewpoints;
Means for acquiring a depth map obtained by measuring a subject from each of the fixed positions;
Means for generating a polygon model of a subject based on a camera image and a depth map acquired for each of the fixed positions;
Means for projecting a texture from each corresponding local region of each camera image to each polygon of each polygon model to generate a three-dimensional polygon texture model;
A motion parallax reproduction device comprising: means for rendering a two-dimensional image of a virtual viewpoint based on an image of a polygon texture model at each fixed viewpoint.
被写体を固定位置からの視点で撮影したカメラ画像を取得する手順と、
被写体を前記固定位置から測定した深度マップを取得する手順と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手順と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手順と、
前記固定視点のポリゴンテクスチャモデルに基づいて仮想視点の二次元画像をレンダリングする手順と、
をコンピュータに実行させるための運動視差再現プログラム。 In a motion parallax reproduction program that reproduces the motion parallax of a three-dimensional model simulating a subject,
A procedure for acquiring a camera image of a subject taken from a fixed point of view;
Obtaining a depth map obtained by measuring the subject from the fixed position;
Generating a polygon model of the subject based on the camera image and the depth map;
Projecting a texture from each corresponding local region of the camera image to each polygon of the polygon model to generate a three-dimensional polygon texture model;
Rendering a virtual viewpoint two-dimensional image based on the fixed viewpoint polygon texture model;
Motion parallax reproduction program to make computer execute.
被写体を複数の異なる固定意位からの視点で撮影したカメラ画像をそれぞれ取得する手順と、
被写体を前記各固定位置から測定した深度マップをそれぞれ取得する手順と、
前記固定位置ごとに取得されたカメラ画像および深度マップに基づいて被写体のポリゴンモデルをそれぞれ生成する手順と、
前記各ポリゴンモデルの各ポリゴンに各カメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルをそれぞれ生成する手順と、
前記各固定視点のポリゴンテクスチャモデルの画像に基づいて仮想視点の二次元画像をレンダリングする手順と、
をコンピュータに実行させるための運動視差再現プログラム。 In a motion parallax reproduction program that reproduces the motion parallax of a three-dimensional model simulating a subject,
A procedure for acquiring camera images of a subject taken from a plurality of different fixed viewpoints;
Obtaining a depth map obtained by measuring the subject from each of the fixed positions;
A procedure for generating a polygon model of a subject based on a camera image and a depth map acquired for each of the fixed positions;
A procedure of projecting a texture from each corresponding local region of each camera image to each polygon of each polygon model to generate a three-dimensional polygon texture model;
Rendering a virtual viewpoint two-dimensional image based on the polygonal texture model image of each fixed viewpoint;
Motion parallax reproduction program to make computer execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214194A JP2014067372A (en) | 2012-09-27 | 2012-09-27 | Motion parallax reproduction program and device and three-dimensional model generation program and device therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214194A JP2014067372A (en) | 2012-09-27 | 2012-09-27 | Motion parallax reproduction program and device and three-dimensional model generation program and device therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014067372A true JP2014067372A (en) | 2014-04-17 |
Family
ID=50743665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012214194A Pending JP2014067372A (en) | 2012-09-27 | 2012-09-27 | Motion parallax reproduction program and device and three-dimensional model generation program and device therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014067372A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105791798A (en) * | 2016-03-03 | 2016-07-20 | 北京邮电大学 | Method and device for converting 4K multi-viewpoint 3D video in real time based on GPU (Graphics Processing Unit) |
JP2017530626A (en) * | 2014-09-09 | 2017-10-12 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Simultaneous localization and mapping for video coding |
GB2567530A (en) * | 2017-10-11 | 2019-04-17 | Adobe Inc | Virtual reality parallax correction |
CN111583373A (en) * | 2020-05-11 | 2020-08-25 | 上海米哈游天命科技有限公司 | Model rendering method, device, equipment and storage medium |
WO2021166690A1 (en) | 2020-02-19 | 2021-08-26 | ソニーグループ株式会社 | Information processing device and method, and program |
JP7009996B2 (en) | 2015-11-11 | 2022-01-26 | ソニーグループ株式会社 | Image processing device and image processing method |
EP3409012B1 (en) * | 2016-01-29 | 2022-10-05 | Nokia Technologies Oy | Method and apparatus for processing video information |
-
2012
- 2012-09-27 JP JP2012214194A patent/JP2014067372A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017530626A (en) * | 2014-09-09 | 2017-10-12 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Simultaneous localization and mapping for video coding |
US10484697B2 (en) | 2014-09-09 | 2019-11-19 | Qualcomm Incorporated | Simultaneous localization and mapping for video coding |
JP7009996B2 (en) | 2015-11-11 | 2022-01-26 | ソニーグループ株式会社 | Image processing device and image processing method |
EP3409012B1 (en) * | 2016-01-29 | 2022-10-05 | Nokia Technologies Oy | Method and apparatus for processing video information |
CN105791798A (en) * | 2016-03-03 | 2016-07-20 | 北京邮电大学 | Method and device for converting 4K multi-viewpoint 3D video in real time based on GPU (Graphics Processing Unit) |
CN105791798B (en) * | 2016-03-03 | 2018-06-26 | 北京邮电大学 | A kind of 4K based on GPU surpasses the real-time method for transformation of multiple views 3D videos and device |
GB2567530B (en) * | 2017-10-11 | 2021-09-15 | Adobe Inc | Virtual reality parallax correction |
US11050994B2 (en) | 2017-10-11 | 2021-06-29 | Adobe Inc. | Virtual reality parallax correction |
US10701334B2 (en) | 2017-10-11 | 2020-06-30 | Adobe Inc. | Virtual reality parallax correction |
GB2567530A (en) * | 2017-10-11 | 2019-04-17 | Adobe Inc | Virtual reality parallax correction |
WO2021166690A1 (en) | 2020-02-19 | 2021-08-26 | ソニーグループ株式会社 | Information processing device and method, and program |
CN111583373A (en) * | 2020-05-11 | 2020-08-25 | 上海米哈游天命科技有限公司 | Model rendering method, device, equipment and storage medium |
CN111583373B (en) * | 2020-05-11 | 2023-06-27 | 上海米哈游天命科技有限公司 | Model rendering method, device, equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210065432A1 (en) | Method and system for generating an image of a subject in a scene | |
US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
JP5340952B2 (en) | 3D projection display | |
JP2014067372A (en) | Motion parallax reproduction program and device and three-dimensional model generation program and device therefor | |
KR101697184B1 (en) | Apparatus and Method for generating mesh, and apparatus and method for processing image | |
Bimber et al. | Enabling view-dependent stereoscopic projection in real environments | |
KR101713875B1 (en) | Method and system for generation user's vies specific VR space in a Projection Environment | |
JP2013003848A (en) | Virtual object display device | |
JP2014522591A (en) | Alignment, calibration, and rendering systems and methods for square slice real-image 3D displays | |
AU2006217569A1 (en) | Automatic scene modeling for the 3D camera and 3D video | |
JP7123127B2 (en) | Generate new frames with rendered and unrendered content from the previous eye | |
JP2014085925A (en) | Image processing apparatus, method, and program | |
US8633926B2 (en) | Mesoscopic geometry modulation | |
WO2012140397A2 (en) | Three-dimensional display system | |
JP6319804B2 (en) | Projection image generation apparatus, projection image generation method, and projection image generation program | |
CN107562185A (en) | It is a kind of based on the light field display system and implementation method of wearing VR equipment | |
US10902554B2 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
KR101208767B1 (en) | Stereoscopic image generation method, device and system using circular projection and recording medium for the same | |
KR101748674B1 (en) | Method and apparatus for producing three-dimensional image | |
KR101567002B1 (en) | Computer graphics based stereo floting integral imaging creation system | |
JP2003288612A (en) | Method, program, and device for image formation | |
Lee | Wand: 360∘ video projection mapping using a 360∘ camera | |
JP6619686B2 (en) | Viewing range estimation method and viewing range estimation apparatus | |
US20220044351A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
WO2024105281A1 (en) | A method and a process for displaying video files for immersive experience without real-time rendering |