JP2019185283A - Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system - Google Patents

Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system Download PDF

Info

Publication number
JP2019185283A
JP2019185283A JP2018073633A JP2018073633A JP2019185283A JP 2019185283 A JP2019185283 A JP 2019185283A JP 2018073633 A JP2018073633 A JP 2018073633A JP 2018073633 A JP2018073633 A JP 2018073633A JP 2019185283 A JP2019185283 A JP 2019185283A
Authority
JP
Japan
Prior art keywords
stereoscopic image
dimensional model
image display
depth
model generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018073633A
Other languages
Japanese (ja)
Inventor
健佑 池谷
Takesuke Iketani
健佑 池谷
三科　智之
Tomoyuki Mishina
智之 三科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2018073633A priority Critical patent/JP2019185283A/en
Publication of JP2019185283A publication Critical patent/JP2019185283A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

To provide a three-dimensional model generation apparatus that improves the quality of a stereoscopic image displayed by an IP stereoscopic image display apparatus.SOLUTION: A three-dimensional model generation apparatus 3 comprises: reproduction area setting means 31 for setting a reproduction area of an IP stereoscopic image display apparatus 5 in a virtual space; linear sampling position calculation means 32 for calculating a linear sampling position in the reproduction area set in the virtual space; non-linear sampling position calculation means 33 for calculating a non-linear sampling position where the near side of the reproduction area is denser than the back side from the linear sampling position; and three-dimensional model generation means 34 for performing depth estimation for a multi-viewpoint image at a non-linear sampling position and generating a three-dimensional generation model.SELECTED DRAWING: Figure 2

Description

本発明は、３次元モデル生成装置及びそのプログラム、並びに、ＩＰ立体像表示システムに関する。   The present invention relates to a three-dimensional model generation apparatus, a program thereof, and an IP stereoscopic image display system.

任意の視点で自由に立体像を視認することが可能な立体像表示方式の一つとして、インテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。このＩＰ方式では、実体のある被写体を１台のカメラで撮影し、平面上に配列されたレンズアレイを利用して要素画像を生成する。また、ＩＰ方式では、コンピュータグラフィックス（ＣＧ）や複数のカメラで撮影された映像から生成した３次元モデルを用いて、要素画像を生成することもできる。   An integral photography (hereinafter referred to as IP) method is known as one of the three-dimensional image display methods capable of visually recognizing a three-dimensional image freely from an arbitrary viewpoint. In this IP method, an actual subject is photographed with one camera, and an element image is generated using a lens array arranged on a plane. In the IP method, an element image can also be generated using a three-dimensional model generated from images taken by computer graphics (CG) or a plurality of cameras.

このＩＰ方式では、表示される立体像の奥行き位置がレンズアレイやピンホール群から離れると、解像度が低下するという奥行き再現範囲の問題が知られている。図９には、観察者がレンズアレイからある距離（視距離Ｌ）だけ離間して立体像を視認したときの立体像の奥行き位置と解像度との関係を図示した。図９において、横軸は視点（ｚ＝０）から立体像までの距離（立体像の奥行き位置）、縦軸は立体像の解像度（空間周波数）を示す。ここで、立体像の空間周波数とは、再生された立体像を観察したときに単位角度内に再生できる縞の最大数（視覚あたりの解像度）である。例えば、１度あたりで６０画素視認可能であれば、空間周波数は３０ｃｐｄ（cycles per degree）である。   In this IP method, there is a known depth reproduction range problem that the resolution decreases when the depth position of the displayed stereoscopic image is separated from the lens array or the pinhole group. FIG. 9 illustrates the relationship between the depth position of the stereoscopic image and the resolution when the observer visually recognizes the stereoscopic image at a certain distance (viewing distance L) from the lens array. In FIG. 9, the horizontal axis indicates the distance from the viewpoint (z = 0) to the stereoscopic image (the depth position of the stereoscopic image), and the vertical axis indicates the resolution (spatial frequency) of the stereoscopic image. Here, the spatial frequency of the stereoscopic image is the maximum number of stripes (resolution per vision) that can be reproduced within a unit angle when the reproduced stereoscopic image is observed. For example, if 60 pixels are visible per degree, the spatial frequency is 30 cpd (cycles per degree).

図９に示すように、ＩＰ方式で再生される立体像の解像度は、レンズアレイ位置（ｚ＝Ｌ）近傍の前後一定の奥行き再現範囲で最大解像度（ナイキスト周波数）を維持し、その範囲を超えると急激に低下する。この最大解像度は、レンズアレイを構成する要素レンズの間隔（ピッチ）で特定され、この奥行き再現範囲を超えた立体像は、レンズアレイの位置から離れるにつれてボケてしまう。これは、ＩＰ方式においては、原理的に立体像がボケずに表示可能な奥行き再現範囲が存在することを意味する。   As shown in FIG. 9, the resolution of the stereoscopic image reproduced by the IP method maintains the maximum resolution (Nyquist frequency) in the constant depth reproduction range near the lens array position (z = L) and exceeds that range. And suddenly drops. This maximum resolution is specified by the interval (pitch) of the element lenses constituting the lens array, and a three-dimensional image exceeding the depth reproduction range becomes blurred as the distance from the lens array position increases. This means that, in the IP system, there is a depth reproduction range in which a stereoscopic image can be displayed without blurring in principle.

そこで、多視点カメラを用いたＩＰ立体撮影手法の３次元モデル生成では、この奥行き再現範囲の問題に対応するために、非線形奥行き圧縮技術が提案されている（例えば、特許文献１）。この従来技術は、図１０に示すように、３次元モデルの奥行きを非線形に圧縮することで、ＩＰ立体像表示装置の奥行き再現範囲に表示対象の３次元モデルを収めるものである。具体的には、この従来技術は、下記の式（９−１）で表される非線形奥行き圧縮関数を用いて、３次元モデルを変換する。   Therefore, in order to cope with the problem of the depth reproduction range, a nonlinear depth compression technique has been proposed in generating a three-dimensional model of the IP stereoscopic photographing method using a multi-viewpoint camera (for example, Patent Document 1). In this prior art, as shown in FIG. 10, the depth of the three-dimensional model is nonlinearly compressed, and the three-dimensional model to be displayed is placed in the depth reproduction range of the IP stereoscopic image display device. Specifically, this conventional technique converts a three-dimensional model using a nonlinear depth compression function expressed by the following equation (9-1).

Figure 2019185283
Figure 2019185283

なお、ｘ，ｙ，ｚが奥行き圧縮前の座標値であり、ｘ´，ｙ´，ｚ´が奥行き圧縮後の座標値であり、Ｄが奥行き圧縮後の奥行範囲（ＩＰ立体像表示装置の奥行き再現範囲）を表す。
また、図１０では、非線形奥行き圧縮関数の変換結果を実線で図示し、参考として、下記の式（９−２）で表される線形奥行き圧縮関数の変換結果を破線で図示した。なお、式（９−２）において、ａは予め設定された圧縮率を表す（但し、０＜ａ＜１）。 Note that x, y, and z are coordinate values before depth compression, x ′, y ′, and z ′ are coordinate values after depth compression, and D is a depth range after depth compression (of the IP stereoscopic image display device). Depth reproduction range).
In FIG. 10, the conversion result of the nonlinear depth compression function is illustrated by a solid line, and as a reference, the conversion result of the linear depth compression function represented by the following equation (9-2) is illustrated by a broken line. In Expression (9-2), a represents a preset compression rate (where 0 <a <1).

Figure 2019185283
Figure 2019185283

特開２０１７−１１５２０号公報JP 2017-11520 A

図１１（ａ）の被写体αを多視点カメラで撮影し、ＩＰ立体像表示装置で表示するための３次元モデルβを生成する場合を考える。この場合、図１１（ｂ）に示すように、非線形奥行き圧縮前の３次元モデルβを、奥行き方向（Ｚ軸方向）で線形にサンプリングしてから奥行推定を行うことが多い。３次元モデルβに非線形奥行き圧縮を適用した場合、図１１（ｃ）に示すように、手前が疎に、奥が密にサンプリングされた３次元モデルβが生成されることになる。ＩＰ立体像表示装置においては、３次元モデルβの手前側が奥側よりも顕著に観察者に認識される。その結果、手前側が疎にサンプリングされた３次元モデルβの表示は、立体像の品質低下につながる。
なお、図１１（ｂ）及び図１１（ｃ）では、Ｚ軸方向のサンプリング位置を破線で図示した。 Consider a case where the subject α in FIG. 11A is photographed with a multi-viewpoint camera and a three-dimensional model β to be displayed on an IP stereoscopic image display device is generated. In this case, as shown in FIG. 11B, the depth estimation is often performed after linearly sampling the three-dimensional model β before nonlinear depth compression in the depth direction (Z-axis direction). When nonlinear depth compression is applied to the three-dimensional model β, as shown in FIG. 11C, a three-dimensional model β sampled with a sparse front and a dense back is generated. In the IP stereoscopic image display device, the front side of the three-dimensional model β is recognized more remarkably by the observer than the back side. As a result, the display of the three-dimensional model β in which the front side is sparsely sampled leads to a reduction in quality of the stereoscopic image.
In FIGS. 11B and 11C, the sampling position in the Z-axis direction is indicated by a broken line.

そこで、本発明は、ＩＰ立体像表示装置が表示する立体像の品質を向上させる３次元モデル生成装置及びそのプログラム、並びに、ＩＰ立体像表示システムを提供することを課題とする。   Therefore, an object of the present invention is to provide a three-dimensional model generation apparatus and program for improving the quality of a stereoscopic image displayed by the IP stereoscopic image display apparatus, and an IP stereoscopic image display system.

前記した課題に鑑みて、本発明に係る３次元モデル生成装置は、非線形奥行き圧縮された被写体の３次元モデルをＩＰ立体像表示装置で立体表示するために、３次元モデルを生成する３次元モデル生成装置であって、パラメータ入力手段と、再現領域設定手段と、線形サンプリング位置算出手段と、非線形サンプリング位置算出手段と、３次元モデル生成手段と、を備える構成とした。   In view of the above-described problems, a 3D model generation apparatus according to the present invention generates a 3D model for stereoscopic display of a 3D model of a subject subjected to nonlinear depth compression on an IP stereoscopic image display apparatus. The generation apparatus is configured to include parameter input means, reproduction region setting means, linear sampling position calculation means, nonlinear sampling position calculation means, and three-dimensional model generation means.

かかる構成によれば、３次元モデル生成装置は、パラメータ入力手段によって、被写体を撮影する多視点カメラのうち予め定めた１台の基準カメラの姿勢及び画角と、ＩＰ立体像表示装置の奥行き方向再現範囲及び画面サイズとがパラメータとして入力される。
３次元モデル生成装置は、再現領域設定手段によって、姿勢及び画角で表される基準カメラの撮影領域に、奥行き方向再現範囲及び画面サイズで表されるＩＰ立体像表示装置の再現領域を設定し、再現領域を３次元モデルが配置される仮想空間に設定する。 According to this configuration, the three-dimensional model generation apparatus uses the parameter input unit to determine the posture and angle of view of one reference camera that is predetermined among the multi-viewpoint cameras that photograph the subject, and the depth direction of the IP stereoscopic image display apparatus. The reproduction range and screen size are input as parameters.
The three-dimensional model generation device sets the reproduction region of the IP stereoscopic image display device represented by the depth direction reproduction range and the screen size in the photographing region of the reference camera represented by the posture and the angle of view by the reproduction region setting means. The reproduction area is set in a virtual space where the three-dimensional model is arranged.

３次元モデル生成装置は、線形サンプリング位置算出手段によって、仮想空間に設定された再現領域において、奥行き方向で等間隔の線形サンプリング位置を算出する。
３次元モデル生成装置は、非線形サンプリング位置算出手段によって、線形サンプリング位置から、再現領域の手前側が奥側よりも密の非線形サンプリング位置を算出する。
３次元モデル生成装置は、３次元モデル生成手段によって、多視点カメラが被写体を撮影した多視点画像に対し、非線形サンプリング位置で奥行き推定を行い、３次元モデルを生成する。 The three-dimensional model generation apparatus calculates linear sampling positions at equal intervals in the depth direction in the reproduction region set in the virtual space by the linear sampling position calculation means.
In the three-dimensional model generation device, the nonlinear sampling position calculation unit calculates a nonlinear sampling position where the near side of the reproduction region is denser than the back side from the linear sampling position.
The three-dimensional model generation device generates a three-dimensional model by performing depth estimation at a non-linear sampling position on a multi-view image obtained by photographing a subject by a multi-view camera using a three-dimensional model generation unit.

また、前記した課題に鑑みて、本発明に係るＩＰ立体像表示システムは、前記した３次元モデル生成装置と、３次元モデル生成装置が生成した３次元モデルを非線形奥行き圧縮し、奥行きが圧縮された３次元モデルの立体画像を生成する立体像奥行き圧縮装置と、立体像奥行き圧縮装置が生成した立体画像を立体表示するＩＰ立体像表示装置と、を備える構成とした。   Further, in view of the above-described problems, the IP stereoscopic image display system according to the present invention performs non-linear depth compression on the 3D model generation device and the 3D model generated by the 3D model generation device, and the depth is compressed. A stereoscopic image depth compression device that generates a stereoscopic image of the three-dimensional model, and an IP stereoscopic image display device that stereoscopically displays the stereoscopic image generated by the stereoscopic image depth compression device.

これにより、３次元モデルは、手前側が奥側よりも密にサンプリングされている。従って、この３次元モデルは、非線形奥行き圧縮の際、観察者に認識されやすい手前側から等間隔でサンプリングされることになる。
なお、前記した３次元モデル生成装置は、一般的なコンピュータを前記した各手段として動作させる３次元モデル生成プログラムで実現することもできる。 Thereby, the front side of the three-dimensional model is sampled more densely than the back side. Therefore, this three-dimensional model is sampled at equal intervals from the near side that is easily recognized by the observer during nonlinear depth compression.
The three-dimensional model generation apparatus described above can also be realized by a three-dimensional model generation program that causes a general computer to operate as each of the above-described means.

本発明によれば、非線形奥行き圧縮後に、観察者に認識されやすい手前側から等間隔でサンプリングされる３次元モデルを生成するので、ＩＰ立体像表示装置が表示する立体像の品質を向上させることができる。   According to the present invention, after nonlinear depth compression, a three-dimensional model sampled at equal intervals from the front side that is easily recognized by the observer is generated, so that the quality of the stereoscopic image displayed by the IP stereoscopic image display device is improved. Can do.

本発明の実施形態に係るＩＰ立体像表示システムの全体構成図である。1 is an overall configuration diagram of an IP stereoscopic image display system according to an embodiment of the present invention. 図１のＩＰ立体像表示システムの構成を示すブロック図である。It is a block diagram which shows the structure of the IP stereoscopic image display system of FIG. 実施形態におけるマスターカメラの撮影領域を説明する説明図である。It is explanatory drawing explaining the imaging | photography area | region of the master camera in embodiment. 実施形態において、マスターカメラの撮影領域に設定したＩＰ立体像表示装置の再現領域を説明する説明図である。In embodiment, it is explanatory drawing explaining the reproduction area | region of the IP stereoscopic image display apparatus set to the imaging | photography area | region of a master camera. 図４の再現領域を垂直方向で示した説明図である。It is explanatory drawing which showed the reproduction area of FIG. 4 in the perpendicular direction. 実施形態において、線形サンプリング位置の算出を説明する説明図であるIn an embodiment, it is an explanatory view explaining calculation of a linear sampling position. 実施形態において、（ａ）は被写体を表し、（ｂ）は非線形奥行き圧縮前の３次元モデルにおける非線形サンプリング位置を表し、（ｃ）は非線形奥行き圧縮後の３次元モデルにおけるサンプリング位置を表す図である。In the embodiment, (a) represents a subject, (b) represents a nonlinear sampling position in the three-dimensional model before nonlinear depth compression, and (c) represents a sampling position in the three-dimensional model after nonlinear depth compression. is there. 図２のＩＰ立体像表示システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the IP stereoscopic image display system of FIG. 従来のＩＰ立体像表示装置において、解像度と奥行き再現範囲の関係を示すグラフである。It is a graph which shows the relationship between the resolution and the depth reproduction range in the conventional IP stereoscopic image display device. 従来の非線形奥行き圧縮技術において、変換前後の奥行き位置の関係を示すグラフである。It is a graph which shows the relationship of the depth position before and behind conversion in the conventional nonlinear depth compression technique. 従来技術において、（ａ）は被写体を表し、（ｂ）は非線形奥行き圧縮前の３次元モデルにおける非線形サンプリング位置を表し、（ｃ）は非線形奥行き圧縮後の３次元モデルにおけるサンプリング位置を表す図である。In the prior art, (a) represents a subject, (b) represents a nonlinear sampling position in a three-dimensional model before nonlinear depth compression, and (c) represents a sampling position in a three-dimensional model after nonlinear depth compression. is there.

（実施形態）
［ＩＰ立体像表示システムの全体構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、本発明の実施形態に係るＩＰ立体像表示システム１の全体構成について、説明する。
図１に示すように、ＩＰ立体像表示システム１は、被写体αの立体像γをＩＰ立体像表示装置５で立体表示するものであり、多視点ロボットカメラ（多視点カメラ）２と、３次元モデル生成装置３と、立体像奥行き圧縮装置４と、ＩＰ立体像表示装置５と、測距装置６とを備える。 (Embodiment)
[Overall configuration of IP stereoscopic image display system]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
With reference to FIG. 1, the overall configuration of an IP stereoscopic image display system 1 according to an embodiment of the present invention will be described.
As shown in FIG. 1, the IP stereoscopic image display system 1 displays a stereoscopic image γ of a subject α in a stereoscopic manner on an IP stereoscopic image display device 5. A model generation device 3, a stereoscopic image depth compression device 4, an IP stereoscopic image display device 5, and a distance measuring device 6 are provided.

多視点ロボットカメラ２は、被写体αの多視点画像を撮影し、撮影した多視点画像を３次元モデル生成装置３に出力するものである。本実施形態では、多視点ロボットカメラ２は、マスターカメラ（基準カメラ）２Ｍ、及び、６台のリファレンスカメラ２１〜２６の計７台のロボットカメラで構成されている。また、多視点ロボットカメラ２は、ロボットカメラの輻輳角が許容視差角以下となるベースラインで、ロボットカメラが正六角形状に配置されている。
なお、マスターカメラ２Ｍとは、カメラマンが操作するロボットカメラのことである。また、リファレンスカメラ２１〜２６とは、マスターカメラ２Ｍに追従するように自動制御されるロボットカメラのことである。 The multi-viewpoint robot camera 2 captures a multi-viewpoint image of the subject α and outputs the captured multi-viewpoint image to the three-dimensional model generation device 3. In the present embodiment, the multi-viewpoint robot camera 2, the master camera (reference camera) 2 M, and, and a six reference camera 2 1 to 2 6 seven robots camera. The multi-viewpoint robot camera 2 has a baseline in which the convergence angle of the robot camera is equal to or less than the allowable parallax angle, and the robot cameras are arranged in a regular hexagonal shape.
The master camera 2M is a robot camera operated by a cameraman. Reference cameras 2 1 to 26 are robot cameras that are automatically controlled to follow the master camera 2M .

多視点ロボットカメラ２では、カメラマンがマスターカメラ２Ｍを操作して、注視点を基準とした撮影領域を指定する。すると、多視点ロボットカメラ２は、指定された注視点に向けてリファレンスカメラ２１〜２６をパン・チルト制御すると共に、この撮影領域が収まる最小画角でリファレンスカメラ２１〜２６をズーム制御する。このようにして、多視点ロボットカメラ２は、被写体αの多視点画像を撮影する。 In the multi-viewpoint robot camera 2, the cameraman operates the master camera 2M to designate a shooting area based on the gazing point. Then, the multi-viewpoint robot camera 2 performs pan / tilt control of the reference cameras 2 1 to 26 toward the designated gazing point, and zooms the reference cameras 2 1 to 26 with a minimum angle of view within which this shooting area can be accommodated. Control. In this way, the multi-viewpoint robot camera 2 captures a multi-viewpoint image of the subject α.

なお、注視点とは、３次元空間中の各点の中で、観察者Ｍに注視させたい被写体αの１点のことを言う。
また、多視点ロボットカメラ２の詳細は、下記の参考文献に記載されているため、これ以上の説明を省略する。
参考文献：池谷他、「多視点ロボットカメラを用いたインテグラル立体撮影技術」、映像情報メディア学会技術報告、２０１７年１１月３０日 Note that the gazing point refers to one point of the subject α that the observer M wants to gaze at among the points in the three-dimensional space.
Further, details of the multi-viewpoint robot camera 2 are described in the following references, and thus further explanation is omitted.
References: Ikeya et al., “Integral stereoscopic photography using multi-viewpoint robot camera”, IEICE Technical Report, November 30, 2017

３次元モデル生成装置３は、多視点ロボットカメラ２より入力された多視点画像から３次元モデルを生成するものである。
具体的には、３次元モデル生成装置３は、３次元モデルを生成する仮想空間にＩＰ立体像表示装置５の再現領域を設定する。次に、３次元モデル生成装置３は、ＩＰ立体像表示装置５の再現領域を奥行き方向に線形にサンプリングする位置を求める。次に、３次元モデル生成装置３は、非線形奥行き圧縮後に等間隔でサンプリングされる３次元モデルを生成するため、手前側が奥側よりも密となる非線形サンプリング位置を求める。そして、３次元モデル生成装置３は、求めた非線形サンプリング位置で奥行き推定を行い、その結果から３次元モデルを生成する。
その後、３次元モデル生成装置３は、生成した３次元モデルを、放送、通信、オフライン等の既知の手法により、立体像奥行き圧縮装置４に出力する。 The three-dimensional model generation device 3 generates a three-dimensional model from the multi-viewpoint image input from the multi-viewpoint robot camera 2.
Specifically, the three-dimensional model generation device 3 sets a reproduction area of the IP stereoscopic image display device 5 in a virtual space where a three-dimensional model is generated. Next, the three-dimensional model generation device 3 obtains a position where the reproduction region of the IP stereoscopic image display device 5 is linearly sampled in the depth direction. Next, since the three-dimensional model generation apparatus 3 generates a three-dimensional model that is sampled at equal intervals after nonlinear depth compression, the three-dimensional model generation device 3 obtains a nonlinear sampling position where the near side is denser than the far side. Then, the three-dimensional model generation device 3 performs depth estimation at the obtained nonlinear sampling position, and generates a three-dimensional model from the result.
Thereafter, the three-dimensional model generation device 3 outputs the generated three-dimensional model to the stereoscopic image depth compression device 4 by a known method such as broadcasting, communication, or offline.

立体像奥行き圧縮装置４は、３次元モデル生成装置３から入力された３次元モデルを非線形奥行き圧縮し、奥行きが圧縮された３次元モデルの要素画像（立体画像）を生成するものである。本実施形態では、立体像奥行き圧縮装置４は、予め設定した変換関数を用いて、観察者ＭとＩＰ立体像表示装置５との距離（視距離）に応じて、３次元モデルの奥行きを圧縮する。この非線形奥行き圧縮により、手前側が奥側よりも密にサンプリングされた３次元モデルが、所定解像度を満たす奥行き再現範囲内で、等間隔にサンプリングされた３次元モデルに変換される。そして、立体像奥行き圧縮装置４は、圧縮した３次元モデルから要素画像を生成し、生成した要素画像をＩＰ立体像表示装置５に出力する。
なお、立体像奥行き圧縮装置４の詳細は、特開２０１７−１１５２０号公報に記載されているため、これ以上の説明を省略する。 The stereoscopic image depth compression device 4 performs nonlinear depth compression on the three-dimensional model input from the three-dimensional model generation device 3, and generates an element image (stereoscopic image) of the three-dimensional model with the compressed depth. In the present embodiment, the stereoscopic image depth compression device 4 compresses the depth of the three-dimensional model according to the distance (viewing distance) between the observer M and the IP stereoscopic image display device 5 using a preset conversion function. To do. By this non-linear depth compression, the three-dimensional model sampled closer to the front side than the back side is converted into a three-dimensional model sampled at equal intervals within a depth reproduction range that satisfies a predetermined resolution. Then, the stereoscopic image depth compression device 4 generates an element image from the compressed three-dimensional model, and outputs the generated element image to the IP stereoscopic image display device 5.
Note that details of the stereoscopic image depth compression device 4 are described in Japanese Patent Application Laid-Open No. 2017-11520, and thus further description thereof is omitted.

ＩＰ立体像表示装置５は、ＩＰ方式で立体像γを表示する一般的なＩＰ立体ディスプレイである。このＩＰ立体像表示装置５は、レンズアレイ及び表示素子で構成される画面５ａに、立体像奥行き圧縮装置４から入力された要素画像を表示することで、観察者Ｍに対して立体像γを提示する。   The IP stereoscopic image display device 5 is a general IP stereoscopic display that displays a stereoscopic image γ by the IP method. The IP stereoscopic image display device 5 displays the elemental image input from the stereoscopic image depth compression device 4 on a screen 5a composed of a lens array and a display element, thereby giving a stereoscopic image γ to the observer M. Present.

測距装置６は、ＩＰ立体像表示装置５から観察者Ｍまでの視距離を測定するものである。この測距装置６は、例えば、一般的な距離センサー等で構成することができる。また、測距装置６は、２台のステレオカメラで観察者Ｍを撮影したカメラ画像から、強膜反射法や角膜・瞳孔反射法で観察者Ｍの左右の角膜を検出し、三角測量の原理により視距離を測定してもよい。そして、測距装置６は、測定した視距離を立体像奥行き圧縮装置４に出力する。
なお、ＩＰ立体像表示システム１は、予め固定の値を視距離（例えば、画面高の３倍等、推奨の視距離）とする形態であってもよい。その場合、ＩＰ立体像表示システム１は、測距装置６を構成から省略してもよい。 The distance measuring device 6 measures the visual distance from the IP stereoscopic image display device 5 to the observer M. The distance measuring device 6 can be constituted by, for example, a general distance sensor. The distance measuring device 6 detects the left and right corneas of the observer M from the camera images obtained by photographing the observer M with two stereo cameras by the sclera reflection method or the cornea / pupil reflection method, and the principle of triangulation The viewing distance may be measured by Then, the distance measuring device 6 outputs the measured viewing distance to the stereoscopic image depth compression device 4.
Note that the IP stereoscopic image display system 1 may have a form in which a fixed value is set as a viewing distance (for example, a recommended viewing distance such as three times the screen height). In that case, the IP stereoscopic image display system 1 may omit the distance measuring device 6 from the configuration.

このようにして、ＩＰ立体像表示システム１は、観察者Ｍの視距離に応じて、所定の解像度を満たした立体像γを表示することができる。このとき、ＩＰ立体像表示システム１は、顕著に観察者Ｍに認識される手前側も含め、等間隔でサンプリングされた３次元モデルの立体像γを表示するので、立体像γの品質を向上させることができる。   In this way, the IP stereoscopic image display system 1 can display the stereoscopic image γ satisfying a predetermined resolution according to the viewing distance of the observer M. At this time, since the IP stereoscopic image display system 1 displays the stereoscopic image γ of the three-dimensional model sampled at equal intervals including the near side that is noticeably recognized by the observer M, the quality of the stereoscopic image γ is improved. Can be made.

［３次元モデル生成装置の構成］
図２を参照し、３次元モデル生成装置３の構成について説明する。
図２に示すように、３次元モデル生成装置３は、パラメータ入力手段３０と、再現領域設定手段３１と、線形サンプリング位置算出手段３２と、非線形サンプリング位置算出手段３３と、３次元モデル生成手段３４とを備える。 [Configuration of 3D model generator]
The configuration of the three-dimensional model generation device 3 will be described with reference to FIG.
As shown in FIG. 2, the three-dimensional model generation apparatus 3 includes a parameter input unit 30, a reproduction region setting unit 31, a linear sampling position calculation unit 32, a nonlinear sampling position calculation unit 33, and a three-dimensional model generation unit 34. With.

パラメータ入力手段３０は、３次元モデルの生成に必要な各種パラメータを入力するものである。本実施形態では、パラメータ入力手段３０は、パラメータとして、多視点ロボットカメラ２から、マスターカメラ２Ｍの姿勢及び画角と、デプスとを取得する。また、３次元モデル生成装置３のユーザが、図示を省略したマウス、キーボード等の操作手段を用いて、ＩＰ立体像表示装置５の奥行き方向再現範囲、画面サイズ及び飛び出し量をパラメータ入力手段３０に入力する。
その後、パラメータ入力手段３０は、入力された各種パラメータを再現領域設定手段３１に出力する。 The parameter input means 30 inputs various parameters necessary for generating a three-dimensional model. In the present embodiment, the parameter input unit 30 acquires the attitude and angle of view of the master camera 2M and the depth from the multi-viewpoint robot camera 2 as parameters. Further, the user of the three-dimensional model generation apparatus 3 uses the operation means such as a mouse and a keyboard (not shown) to set the depth direction reproduction range, screen size, and pop-out amount of the IP stereoscopic image display apparatus 5 to the parameter input means 30. input.
Thereafter, the parameter input means 30 outputs the input various parameters to the reproduction area setting means 31.

＜パラメータの説明＞
図３を参照し、パラメータ入力手段３０に入力される各種パラメータについて説明する。
図３に示すように、マスターカメラ２Ｍの姿勢は、カメラマンがマスターカメラ２Ｍを操作して被写体αを撮影したときのパン・チルトを表す。また、マスターカメラ２Ｍの画角θは、カメラマンがマスターカメラ２Ｍを操作して被写体αを撮影したときの水平方向及び垂直方向の画角を表す。また、デプスｄは、マスターカメラ２Ｍから注視点Ｐまでの距離を表す。
なお、図３では、Ｘ軸が水平方向を表し、Ｙ軸が垂直方向を表し、Ｚ軸が奥行き方向を表す。 <Description of parameters>
Various parameters input to the parameter input unit 30 will be described with reference to FIG.
As shown in FIG. 3, the attitude of the master camera 2 M represents a pan-tilt when the cameraman photographing an object α by operating the master camera 2 M. Further, the angle θ of the master camera 2 M represents a field angle in the horizontal direction and the vertical direction when the cameraman photographing an object α by operating the master camera 2 M. In addition, the depth d represents the distance from the master camera 2 M to gaze point P.
In FIG. 3, the X axis represents the horizontal direction, the Y axis represents the vertical direction, and the Z axis represents the depth direction.

ＩＰ立体像表示装置５の奥行き方向再現範囲は、ＩＰ立体像表示装置５が奥行き方向（Ｚ軸方向）で立体像γ（図１）を再現できる範囲を表す。図４に示すように、ＩＰ立体像表示装置５の奥行き方向再現範囲は、ＩＰ立体像表示装置５の画面５ａを中心とした、手前再現範囲（再現領域ＡＲの手前位置）ｚ´ｒｎから奥再現範囲（再現領域ＡＲの奥側位置）ｚ´ｒｆまでの間を表す。ＩＰ立体像表示装置５の画面サイズは、ＩＰ立体像表示装置５の画面５ａの幅及び高さを表す。ＩＰ立体像表示装置５の飛び出し量は、注視点ＰがＩＰ立体像表示装置５の画面５ａから奥行き方向に離れて表示される距離を表す。 The depth direction reproduction range of the IP stereoscopic image display device 5 represents a range in which the IP stereoscopic image display device 5 can reproduce the stereoscopic image γ (FIG. 1) in the depth direction (Z-axis direction). As shown in FIG. 4, the depth direction reproduction range of the IP stereoscopic image display device 5 is from the near reproduction range (front position of the reproduction area AR) z ′ rn around the screen 5 a of the IP stereoscopic image display device 5. This represents the range up to the reproduction range (the rear side position of the reproduction region AR) z ′ rf . The screen size of the IP stereoscopic image display device 5 represents the width and height of the screen 5a of the IP stereoscopic image display device 5. The pop-out amount of the IP stereoscopic image display device 5 represents the distance at which the gazing point P is displayed away from the screen 5a of the IP stereoscopic image display device 5 in the depth direction.

図２に戻り、３次元モデル生成装置３の構成について、説明を続ける。
再現領域設定手段３１は、マスターカメラ２Ｍの撮影領域に、ＩＰ立体像表示装置５の再現領域を設定し、ＩＰ立体像表示装置５の再現領域を３次元モデルが配置される仮想空間に設定するものである。ここで、マスターカメラ２Ｍの撮影領域は、図３に破線で図示したように、マスターカメラ２Ｍの姿勢及び画角θで表される、実空間上の領域である。また、ＩＰ立体像表示装置５の再現領域は、ＩＰ立体像表示装置５の奥行き方向再現範囲及び画面サイズで表される。図４の太線で囲われた領域が、ＩＰ立体像表示装置５の再現領域ＡＲである。 Returning to FIG. 2, the description of the configuration of the three-dimensional model generation device 3 will be continued.
The reproduction area setting means 31 sets the reproduction area of the IP stereoscopic image display device 5 in the photographing area of the master camera 2M , and sets the reproduction area of the IP stereoscopic image display device 5 in a virtual space in which the three-dimensional model is arranged. To do. Here, the imaging area of the master camera 2 M, as shown by a broken line in FIG. 3, represented by the position of the master camera 2 M and the angle theta, is a region in the real space. The reproduction area of the IP stereoscopic image display device 5 is represented by the depth direction reproduction range and the screen size of the IP stereoscopic image display device 5. A region surrounded by a thick line in FIG. 4 is a reproduction region AR of the IP stereoscopic image display device 5.

まず、再現領域設定手段３１は、デプスｄ、水平方向の画角θ、画面サイズ（画面幅Ｗ）及び飛び出し量Δが含まれる式（１）を用いて、縮尺比ｋを算出する。この縮尺比ｋは、仮想空間と実空間とのスケールの比を表す。具体的には、再現領域設定手段３１は、パラメータ入力手段３０から入力されたデプスｄ、画角θ、画面サイズＷ及び飛び出し量Δを式（１）に代入し、縮尺比ｋを算出する。   First, the reproduction region setting unit 31 calculates the scale ratio k using the equation (1) including the depth d, the horizontal angle of view θ, the screen size (screen width W), and the pop-out amount Δ. The scale ratio k represents the ratio of the scale between the virtual space and the real space. Specifically, the reproduction region setting unit 31 calculates the scale ratio k by substituting the depth d, the angle of view θ, the screen size W, and the pop-out amount Δ input from the parameter input unit 30 into Expression (1).

Figure 2019185283
Figure 2019185283

次に、再現領域設定手段３１は、ＩＰ立体像表示装置５の再現領域ＡＲを縮尺比ｋに応じたスケールでマスターカメラ２Ｍの撮影領域（実空間）に設定する。このとき、実空間上の再現領域ＡＲは、図４に示すように、画面５ａにおける幅がｋＷとなり、実空間上の飛び出し量がｋΔとなる。また、奥行き方向再現範囲は、画面５ａを中心としてｋＤとなる。従って、再現領域ＡＲの手前再現範囲ｚ´ｒｎ及び奥再現範囲ｚ´ｒｆは、以下の式（２）で表すことができる。 Next, the reproduction area setting unit 31 sets the reproduction area AR of the IP stereoscopic image display device 5 to the photographing area (real space) of the master camera 2M with a scale corresponding to the scale ratio k. At this time, as shown in FIG. 4, the reproduction area AR in the real space has a width of kW on the screen 5a and a pop-up amount in the real space of kΔ. The depth direction reproduction range is kD with the screen 5a as the center. Therefore, before reproduction range z 'rn and the rear gamut z' rf reproduction region AR can be expressed by the following equation (2).

Figure 2019185283
Figure 2019185283

次に、再現領域設定手段３１は、３次元モデルを生成する仮想空間のスケールを実空間と等しくし、実空間に規定したＩＰ立体像表示装置５の再現領域ＡＲを仮想空間に同一の位置及びスケールで設定する。
その後、再現領域設定手段３１は、ＩＰ立体像表示装置５の再現領域ＡＲ及び縮尺比ｋと、各種パラメータとを線形サンプリング位置算出手段３２に出力する。
なお、再現領域設定手段３１は、水平方向だけでなく、図５に示すように、垂直方向にもＩＰ立体像表示装置５の再現領域ＡＲを設定する。この図５では、θＨが垂直方向の画角を表し、Ｈが画面高さを表す。従って、ＩＰ立体像表示装置５の再現領域ＡＲは、図４及び図５では台形状となっているが、実際には四角錐台状の領域となる。 Next, the reproduction region setting unit 31 makes the virtual space scale for generating the three-dimensional model equal to the real space, and sets the reproduction region AR of the IP stereoscopic image display device 5 defined in the real space at the same position and in the virtual space. Set by scale.
Thereafter, the reproduction region setting unit 31 outputs the reproduction region AR and the scale ratio k of the IP stereoscopic image display device 5 and various parameters to the linear sampling position calculation unit 32.
The reproduction area setting means 31 sets the reproduction area AR of the IP stereoscopic image display device 5 not only in the horizontal direction but also in the vertical direction as shown in FIG. In FIG. 5, θ H represents the angle of view in the vertical direction, and H represents the screen height. Therefore, the reproduction area AR of the IP stereoscopic image display device 5 has a trapezoidal shape in FIGS. 4 and 5, but is actually a quadrangular pyramid shaped area.

線形サンプリング位置算出手段３２は、再現領域設定手段３１が設定したＩＰ立体像表示装置５の再現領域ＡＲにおいて、等間隔の線形サンプリング位置を算出するものである。本実施形態では、線形サンプリング位置算出手段３２は、奥行き方向で奥再現範囲ｚ´ｒｆを超えない範囲において、線形サンプリング位置を算出する。つまり、線形サンプリング位置算出手段３２は、図６に示すように、手前再現範囲ｚ´ｒｎから奥再現範囲ｚ´ｒｆの手前まで、奥行き方向で等間隔に線形サンプリング位置ｚ´ｒを求める。ここで、線形サンプリング位置ｚ´ｒの個数は、任意に定めることができる。図６の例では、奥再現範囲ｚ´ｒｆを含めないので、線形サンプリング位置ｚ´ｒが４個である。
その後、線形サンプリング位置算出手段３２は、算出した線形サンプリング位置ｚ´ｒと、手前再現範囲ｚ´ｒｎと、縮尺比ｋと、各種パラメータとを非線形サンプリング位置算出手段３３に出力する。 The linear sampling position calculation means 32 calculates linear sampling positions at equal intervals in the reproduction area AR of the IP stereoscopic image display device 5 set by the reproduction area setting means 31. In the present embodiment, the linear sampling position calculating means 32, to the extent that in the depth direction does not exceed the inner gamut z 'rf, it calculates a linear sampling position. That is, as shown in FIG. 6, the linear sampling position calculation means 32 obtains linear sampling positions z ′ r at equal intervals in the depth direction from the near reproduction range z ′ rn to the near reproduction range z ′ rf . Here, the number of linear sampling positions z ′ r can be arbitrarily determined. In the example of FIG. 6, since the back reproduction range z ′ rf is not included, the number of linear sampling positions z ′ r is four.
Thereafter, the linear sampling position calculation means 32 outputs the calculated linear sampling position z ′ r , the near reproduction range z ′ rn , the scale ratio k, and various parameters to the nonlinear sampling position calculation means 33.

非線形サンプリング位置算出手段３３は、線形サンプリング位置算出手段３２より入力された線形サンプリング位置ｚ´ｒから、ＩＰ立体像表示装置５の再現領域の手前側が奥側よりも密の非線形サンプリング位置を算出するものである。具体的には、非線形サンプリング位置算出手段３３は、以下の式（３）に、線形サンプリング位置ｚ´ｒと、手前再現範囲ｚ´ｒｎと、縮尺比ｋと、奥行き方向再現範囲Ｄとを代入し、非線形サンプリング位置ｚｒを算出する。
その後、非線形サンプリング位置算出手段３３は、算出した非線形サンプリング位置ｚｒ及び各種パラメータを３次元モデル生成手段３４に出力する。 Nonlinear sampling position calculating means 33, the linear sampling position calculating means 32 linear sampling position z 'r input from the near side of the reproduction area of IP stereoscopic image display device 5 calculates the nonlinear sampling position of the dense than the back side Is. Specifically, the non-linear sampling position calculation means 33 substitutes the linear sampling position z ′ r , the near reproduction range z ′ rn , the scale ratio k, and the depth direction reproduction range D into the following equation (3). Then, the non-linear sampling position zr is calculated.
Thereafter, the non-linear sampling position calculation means 33 outputs the calculated non-linear sampling position z r and various parameters to the three-dimensional model generation means 34.

Figure 2019185283
Figure 2019185283

３次元モデル生成手段３４は、多視点ロボットカメラ２から入力された多視点画像に対し、非線形サンプリング位置算出手段３３から入力された非線形サンプリング位置ｚｒで奥行き推定を行い、３次元モデルを生成するものである。本実施形態では、３次元モデル生成手段３４は、ステレオマッチングを用いて、多視点画像から３次元モデルを生成する。 3D model generation unit 34, with respect to multi-view images input from the multiview robot camera 2 performs depth estimation nonlinear sampling position z r input from the nonlinear sampling position calculating means 33, to generate a three-dimensional model Is. In the present embodiment, the three-dimensional model generation unit 34 generates a three-dimensional model from the multi-viewpoint image using stereo matching.

まず、３次元モデル生成手段３４は、多視点ロボットカメラ２に対し、既知のカメラキャリブレーションを施す。次に、３次元モデル生成手段３４は、奥行き推定の対象となる１台のロボットカメラ（以下、対象カメラ２Ａ）と、他のロボットカメラ（以下、参照カメラ２Ｂ）とを組み合わせて、カメラペアを６つ設定する。そして、３次元モデル生成手段３４は、それぞれのカメラペアのステレオマッチングによって、以下の式（４）に示すように、正規化相互相関（ＺＮＣＣ）に基づいたコストＣを算出し、奥行き推定を行う。 First, the three-dimensional model generation unit 34 performs known camera calibration on the multi-viewpoint robot camera 2. Next, the three-dimensional model generation means 34 combines one robot camera (hereinafter referred to as the target camera 2 A ) to be depth-estimated with another robot camera (hereinafter referred to as the reference camera 2 B ). Set 6 pairs. Then, the three-dimensional model generation unit 34 calculates the cost C based on the normalized cross-correlation (ZNCC) as shown in the following equation (4) by stereo matching of each camera pair, and performs depth estimation. .

Figure 2019185283
Figure 2019185283

なお、ｍはカメラペア番号、ｐは処理対象の画素、ｌは奥行き値のラベル、ｍｉｎは最小値を返す関数、Ｒ（ｐ）は画素ｐを中心としたブロック内の画素集合、ｉ，ｊはブロック内の画素のインデックス、Ｉは対象カメラ２Ａが撮影した視点映像の画素値、Ｉ￣は画素値Ｉの平均値、Ｉ´は参照カメラ２Ｂが撮影した視点映像の画素値、Ｉ´￣は画素値Ｉ´の平均値、ｄ（ｌ）は奥行き値のラベルに対応した視差値、ＴＤは予め設定した閾値を表す。
また、式（４）では、非線形サンプリング位置算出手段３３から入力された非線形サンプリング位置ｚｒが、ｄ（ｌ）に反映される。すなわち、式（４）のｄ（ｌ）が、非線形サンプリング位置ｚｒでサンプリングされた視差値を表す。 Note that m is a camera pair number, p is a pixel to be processed, l is a depth value label, min is a function that returns a minimum value, R (p) is a pixel set in a block centered on the pixel p, i, j pixel values of the index of the pixels in the block, I is view image target camera 2 a is taken, it is an average value of the pixel values I, I'the pixel values of the view image reference camera 2 B is taken, I '¯ the average value of pixel values I', d (l) is the disparity value corresponding to the label of the depth value represents a T D is a threshold set in advance.
In the equation (4), the non-linear sampling position z r input from the non-linear sampling position calculation means 33 is reflected in d (l). That, d of formula (4) (l) is representative of the sampled parallax values in the nonlinear sampling position z r.

そして、３次元モデル生成手段３４は、全てのカメラペアのコストＣを統合（平均）し、コストボリュームフィルタリング（Cost Volume Filtering）を適用し、統合したコストが最小となる奥行き値を各画素に割り当てる。さらに、３次元モデル生成手段３４は、割り当てた奥行き値に基づいて、視点画像の全画素を仮想空間に投影し、３次元点群モデル（３次元モデル）を生成する。   Then, the three-dimensional model generation unit 34 integrates (averages) the costs C of all the camera pairs, applies cost volume filtering, and assigns a depth value that minimizes the integrated cost to each pixel. . Further, the three-dimensional model generation unit 34 projects all pixels of the viewpoint image on the virtual space based on the assigned depth value, and generates a three-dimensional point cloud model (three-dimensional model).

その後、３次元モデル生成手段３４は、生成した３次元モデルを立体像奥行き圧縮装置４に出力する。
なお、多視点画像から３次元モデルを生成する手法は、前記した参考文献に記載されているため、これ以上の説明を省略する。 Thereafter, the three-dimensional model generation unit 34 outputs the generated three-dimensional model to the stereoscopic image depth compression device 4.
Note that the method for generating a three-dimensional model from a multi-viewpoint image is described in the above-mentioned reference document, and thus further description thereof is omitted.

ここで、図７（ａ）の被写体αを多視点ロボットカメラ２で撮影し、ＩＰ立体像表示装置５が表示する３次元モデルβを生成する場合を考える。図７（ｂ）に示すように、３次元モデル生成手段３４は、手前側が奥側よりも密にサンプリングされた３次元モデルβを生成する。そして、立体像奥行き圧縮装置４は、手前が疎、奥が密となるように非線形奥行き圧縮を行うので、図７（ｃ）に示すように、等間隔にサンプリングされた３次元モデルβを生成できる。   Here, a case where the subject α in FIG. 7A is photographed by the multi-viewpoint robot camera 2 and a three-dimensional model β displayed by the IP stereoscopic image display device 5 is generated is considered. As shown in FIG. 7B, the three-dimensional model generation unit 34 generates a three-dimensional model β in which the front side is sampled more densely than the back side. The stereoscopic image depth compression apparatus 4 performs nonlinear depth compression so that the front side is sparse and the back side is dense, so that a three-dimensional model β sampled at equal intervals is generated as shown in FIG. it can.

［ＩＰ立体像表示システムの動作］
図８を参照し、ＩＰ立体像表示システム１の動作について説明する（適宜図２参照）。
ここで、多視点ロボットカメラ２が多視点画像を撮影し、パラメータが３次元モデル生成装置３に入力されていることとする。 [Operation of IP stereoscopic image display system]
The operation of the IP stereoscopic image display system 1 will be described with reference to FIG. 8 (see FIG. 2 as appropriate).
Here, it is assumed that the multi-viewpoint robot camera 2 captures a multi-viewpoint image and parameters are input to the three-dimensional model generation device 3.

図８に示すように、再現領域設定手段３１は、仮想空間にＩＰ立体像表示装置５の再現領域ＡＲを設定する（ステップＳ１）。
線形サンプリング位置算出手段３２は、ステップＳ１で設定したＩＰ立体像表示装置５の再現領域ＡＲにおいて、奥行き方向で等間隔の線形サンプリング位置ｚ´ｒを算出する（ステップＳ２）。 As shown in FIG. 8, the reproduction area setting means 31 sets the reproduction area AR of the IP stereoscopic image display device 5 in the virtual space (step S1).
The linear sampling position calculation means 32 calculates linear sampling positions z ′ r equally spaced in the depth direction in the reproduction area AR of the IP stereoscopic image display device 5 set in step S1 (step S2).

非線形サンプリング位置算出手段３３は、ステップＳ２で算出した線形サンプリング位置ｚ´ｒから、ＩＰ立体像表示装置５の再現領域ＡＲの手前側が奥側よりも密の非線形サンプリング位置ｚｒを算出する（ステップＳ３）。
３次元モデル生成手段３４は、多視点ロボットカメラ２が撮影した多視点画像に対し、ステップＳ３で算出した非線形サンプリング位置ｚｒで奥行き推定を行い（ステップＳ４）、３次元モデルβを生成する（ステップＳ５）。この３次元モデルβは、手前側が奥側よりも密となるように、非線形でサンプリングされている。 Nonlinear sampling position calculating means 33, the linear sampling position z 'r calculated in step S2, the front side of the reproduction area AR of the IP stereoscopic image display device 5 calculates the nonlinear sampling position z r dense than the back side (step S3).
3D model generation unit 34, with respect to the multi-view image multiview robot camera 2 is taken, performs depth estimation nonlinear sampling position z r calculated in step S3 (step S4), and generates a three-dimensional model beta ( Step S5). This three-dimensional model β is sampled non-linearly so that the near side is denser than the far side.

立体像奥行き圧縮装置４は、ステップＳ５で生成した３次元モデルβを非線形奥行き圧縮し（ステップＳ６）、等間隔でサンプリングされた３次元モデルから要素画像を生成する。
ＩＰ立体像表示装置５は、立体像奥行き圧縮装置４が生成した要素画像を表示する。 The stereoscopic image depth compression apparatus 4 nonlinearly compresses the three-dimensional model β generated in step S5 (step S6), and generates an element image from the three-dimensional model sampled at equal intervals.
The IP stereoscopic image display device 5 displays the element image generated by the stereoscopic image depth compression device 4.

［作用・効果］
以上のように、本発明の実施形態に係る３次元モデル生成装置３は、非線形奥行き圧縮前、手前側が奥側よりも密にサンプリングされた３次元モデルβを生成する（図７（ｂ））。そして、立体像奥行き圧縮装置４は、非線形奥行き圧縮により、観察者に認識されやすい手前側から等間隔でサンプリングされた３次元モデルβを生成し（図７（ｃ））、この３次元モデルβから要素画像を生成する。従って、ＩＰ立体像表示装置５は、高品質な立体像γを表示することができる。 [Action / Effect]
As described above, the three-dimensional model generation device 3 according to the embodiment of the present invention generates the three-dimensional model β in which the front side is sampled more densely than the back side before nonlinear depth compression (FIG. 7B). . Then, the stereoscopic image depth compression apparatus 4 generates a three-dimensional model β sampled at equal intervals from the near side that is easily recognized by the observer by nonlinear depth compression (FIG. 7C), and this three-dimensional model β. An element image is generated from Therefore, the IP stereoscopic image display device 5 can display a high-quality stereoscopic image γ.

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、多視点カメラが正六角形状に配置された７台のロボットカメラであることとして説明したが、多視点カメラの台数及び配置はこれに制限されない。例えば、多視点カメラは、一般的なステレオカメラであってもよい。 (Modification)
As mentioned above, although embodiment of this invention was explained in full detail, this invention is not limited to above-described embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
In the above-described embodiment, the multi-view camera is described as seven robot cameras arranged in a regular hexagon. However, the number and arrangement of the multi-view cameras are not limited to this. For example, the multi-view camera may be a general stereo camera.

前記した実施形態では、ステレオマッチングにより３次元モデルを生成することとして説明したが、３次元モデルの生成手法は、これに限定されない。
前記した実施形態では、変換関数により非線形奥行き圧縮を行うこととして説明したが、非線形奥行き圧縮の手法は、これに限定されない。 In the above-described embodiment, it has been described that a three-dimensional model is generated by stereo matching, but the method of generating a three-dimensional model is not limited to this.
In the above-described embodiment, it has been described that nonlinear depth compression is performed by a conversion function, but the nonlinear depth compression method is not limited to this.

前記した実施形態では、３次元モデル生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した３次元モデル生成装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。   In the above-described embodiment, the three-dimensional model generation apparatus has been described as independent hardware, but the present invention is not limited to this. For example, the present invention can also be realized by a program that causes hardware resources such as a CPU, a memory, and a hard disk included in a computer to operate cooperatively as the above-described three-dimensional model generation apparatus. These programs may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.

１ ＩＰ立体像表示システム
２ 多視点ロボットカメラ（多視点カメラ）
２Ｍ マスターカメラ（基準カメラ）
２１〜２６ リファレンスカメラ
３ ３次元モデル生成装置
４ 立体像奥行き圧縮装置
５ ＩＰ立体像表示装置
６ 測距装置
３０ パラメータ入力手段
３１ 再現領域設定手段
３２ 線形サンプリング位置算出手段
３３ 非線形サンプリング位置算出手段
３４ ３次元モデル生成手段
ＡＲ 再現領域
Ｍ 観察者
Ｐ 注視点
α 被写体
β ３次元モデル
γ 立体像 1 IP stereoscopic image display system 2 Multi-viewpoint robot camera (multi-viewpoint camera)
2 M master camera (reference camera)
2 1 to 2 6 Reference camera 3 Three-dimensional model generation device 4 Stereoscopic image depth compression device 5 IP stereoscopic image display device 6 Distance measuring device 30 Parameter input means 31 Reproduction area setting means 32 Linear sampling position calculation means 33 Nonlinear sampling position calculation means 34 3D model generation means AR reproduction area M observer P gazing point α subject β 3D model γ 3D image

Claims (5)

非線形奥行き圧縮された被写体の３次元モデルをＩＰ立体像表示装置で立体表示するために、前記３次元モデルを生成する３次元モデル生成装置であって、
前記被写体を撮影する多視点カメラのうち予め定めた１台の基準カメラの姿勢及び画角と、前記ＩＰ立体像表示装置の奥行き方向再現範囲及び画面サイズとがパラメータとして入力されるパラメータ入力手段と、
前記姿勢及び前記画角で表される基準カメラの撮影領域に、前記奥行き方向再現範囲及び前記画面サイズで表される前記ＩＰ立体像表示装置の再現領域を設定し、当該再現領域を前記３次元モデルが配置される仮想空間に設定する再現領域設定手段と、
前記仮想空間に設定された再現領域において、奥行き方向で等間隔の線形サンプリング位置を算出する線形サンプリング位置算出手段と、
前記線形サンプリング位置から、前記再現領域の手前側が奥側よりも密の非線形サンプリング位置を算出する非線形サンプリング位置算出手段と、
前記多視点カメラが前記被写体を撮影した多視点画像に対し、前記非線形サンプリング位置で奥行き推定を行い、前記３次元モデルを生成する３次元モデル生成手段と、
を備えることを特徴とする３次元モデル生成装置。 A three-dimensional model generation device that generates the three-dimensional model in order to stereoscopically display a three-dimensional model of a subject subjected to nonlinear depth compression on an IP stereoscopic image display device,
Parameter input means for inputting, as parameters, the posture and angle of view of a predetermined reference camera of the multi-viewpoint camera that captures the subject, and the depth direction reproduction range and screen size of the IP stereoscopic image display device; ,
A reproduction region of the IP stereoscopic image display device represented by the depth direction reproduction range and the screen size is set in the photographing region of the reference camera represented by the posture and the angle of view, and the reproduction region is the three-dimensional Reproduction area setting means for setting in the virtual space where the model is placed,
Linear sampling position calculation means for calculating linear sampling positions at equal intervals in the depth direction in the reproduction region set in the virtual space;
From the linear sampling position, a nonlinear sampling position calculation means for calculating a nonlinear sampling position where the near side of the reproduction region is denser than the back side;
3D model generation means for performing depth estimation at the non-linear sampling position on the multi-viewpoint image obtained by capturing the subject by the multi-viewpoint camera, and generating the 3D model;
A three-dimensional model generation device comprising: 前記再現領域設定手段は、前記基準カメラから前記被写体までの距離を表すデプスｄ、前記画角θ、前記画面サイズＷ、及び、前記ＩＰ立体像表示装置の飛び出し量Δが含まれる式（１）を用いて、前記撮影領域と前記再現領域の縮尺比ｋを算出し、
Figure 2019185283
 前記撮影領域に前記縮尺比ｋに応じた寸法の前記再現領域を設定することを特徴とする請求項１に記載の３次元モデル生成装置。 The reproduction area setting means includes a depth d representing the distance from the reference camera to the subject, the angle of view θ, the screen size W, and the pop-up amount Δ of the IP stereoscopic image display device (1) Is used to calculate the scale ratio k between the shooting area and the reproduction area,
Figure 2019185283
 The three-dimensional model generation apparatus according to claim 1, wherein the reproduction region having a size corresponding to the scale ratio k is set in the photographing region. 前記非線形サンプリング位置算出手段は、前記奥行き方向再現範囲Ｄ、及び、前記再現領域の手前位置ｚ´ｒｎが含まれる式（３）を用いて、前記非線形サンプリング位置ｚｒを算出する
Figure 2019185283
 ことを特徴とする請求項２に記載の３次元モデル生成装置。 The non-linear sampling position calculation means calculates the non-linear sampling position z r using Expression (3) including the depth direction reproduction range D and the position z ′ rn in front of the reproduction area.
Figure 2019185283
 The three-dimensional model generation apparatus according to claim 2. コンピュータを、請求項１から請求項３の何れか一項に記載の３次元モデル生成装置として機能させるための３次元モデル生成プログラム。   A three-dimensional model generation program for causing a computer to function as the three-dimensional model generation device according to any one of claims 1 to 3. 請求項１から請求項３の何れか一項に記載の３次元モデル生成装置と、
前記３次元モデル生成装置が生成した３次元モデルを非線形奥行き圧縮し、奥行きが圧縮された前記３次元モデルの立体画像を生成する立体像奥行き圧縮装置と、
前記立体像奥行き圧縮装置が生成した立体画像を立体表示するＩＰ立体像表示装置と、
を備えることを特徴とするＩＰ立体像表示システム。 The three-dimensional model generation device according to any one of claims 1 to 3,
A stereoscopic image depth compression device that nonlinearly compresses the three-dimensional model generated by the three-dimensional model generation device and generates a stereoscopic image of the three-dimensional model in which the depth is compressed;
An IP stereoscopic image display device that stereoscopically displays a stereoscopic image generated by the stereoscopic image depth compression device;
An IP stereoscopic image display system comprising:
JP2018073633A 2018-04-06 2018-04-06 Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system Pending JP2019185283A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018073633A JP2019185283A (en) 2018-04-06 2018-04-06 Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018073633A JP2019185283A (en) 2018-04-06 2018-04-06 Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system

Publications (1)

Publication Number Publication Date
JP2019185283A true JP2019185283A (en) 2019-10-24

Family

ID=68341255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018073633A Pending JP2019185283A (en) 2018-04-06 2018-04-06 Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system

Country Status (1)

Country Link
JP (1) JP2019185283A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021111859A (en) * 2020-01-09 2021-08-02 日本放送協会 Stereoscopic image generation device and program thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017011520A (en) * 2015-06-23 2017-01-12 日本放送協会 Stereoscopic image depth conversion device and program therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017011520A (en) * 2015-06-23 2017-01-12 日本放送協会 Stereoscopic image depth conversion device and program therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"２ 立体映像 ", ＮＨＫ技研 研究年報 ２０１６, JPN6021049512, May 2017 (2017-05-01), pages 18 - 23, ISSN: 0004791829 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021111859A (en) * 2020-01-09 2021-08-02 日本放送協会 Stereoscopic image generation device and program thereof
JP7437941B2 (en) 2020-01-09 2024-02-26 日本放送協会 Stereoscopic image generation device and its program

Similar Documents

Publication Publication Date Title
JP5887267B2 (en) 3D image interpolation apparatus, 3D imaging apparatus, and 3D image interpolation method
JP6734620B2 (en) Video processing method and video processing apparatus
JP4928476B2 (en) Stereoscopic image generating apparatus, method thereof and program thereof
TWI547901B (en) Simulating stereoscopic image display method and display device
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
JPH07287761A (en) Device and method for processing picture
JP2000354257A (en) Image processor, image processing method and program provision medium
JP6585938B2 (en) Stereoscopic image depth conversion apparatus and program thereof
JP6406853B2 (en) Method and apparatus for generating optical field images
CN106170086B (en) Method and device thereof, the system of drawing three-dimensional image
JP5522794B2 (en) Stereoscopic image generating apparatus and program thereof
JP6018468B2 (en) Depth range calculation device and program thereof
JPH08115439A (en) Picture data processor and picture reproduction device
JP5809607B2 (en) Image processing apparatus, image processing method, and image processing program
JP5840022B2 (en) Stereo image processing device, stereo image imaging device, stereo image display device
JPH07129792A (en) Method and device for image processing
JP2011234142A (en) Stereoscopic image generation device and its program
CN107659772B (en) 3D image generation method and device and electronic equipment
KR20200014631A (en) Image processing method and apparatus of parallel axis typed stereo camera system for 3d-vision of near objects
JP6622621B2 (en) Multi-view camera control device, program thereof, and multi-view video shooting system
JP2019185283A (en) Three-dimensional model generation apparatus and program thereof, and IP stereoscopic image display system
KR101634225B1 (en) Device and Method for Multi-view image Calibration
JP2011211551A (en) Image processor and image processing method
JP3054312B2 (en) Image processing apparatus and method
JP6076083B2 (en) Stereoscopic image correction apparatus and program thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220607