JP2015219634A - Image processing program, image processing method and image processor - Google Patents
Image processing program, image processing method and image processor Download PDFInfo
- Publication number
- JP2015219634A JP2015219634A JP2014101390A JP2014101390A JP2015219634A JP 2015219634 A JP2015219634 A JP 2015219634A JP 2014101390 A JP2014101390 A JP 2014101390A JP 2014101390 A JP2014101390 A JP 2014101390A JP 2015219634 A JP2015219634 A JP 2015219634A
- Authority
- JP
- Japan
- Prior art keywords
- distortion
- perspective projection
- image processing
- image
- user viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 16
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Abstract
Description
本発明は、３次元空間映像の処理技術に関し、より詳細には、３次元空間映像から広視野角の平面画像を生成する画像処理プログラム、画像処理方法および画像処理装置に関する。 The present invention relates to 3D spatial video processing technology, and more particularly to an image processing program, an image processing method, and an image processing apparatus for generating a planar image with a wide viewing angle from a 3D spatial video.
従来、半球ドームや壁面、円柱型スクリーン等の広視野角映像を表示可能な表示面において、ユーザの視点から見て自然な立体映像を表示したいというニーズがあった。このようなニーズに鑑み、ユーザの位置を検知し、適切な位置や画角を設定した仮想カメラを用いて、三次元空間映像を平面画像に透視投影し、ユーザ位置や表示面の形状に起因する歪みを補正して、広視野角の平面映像を生成する技術が提案されている。 Conventionally, there has been a need to display a natural three-dimensional image from the viewpoint of the user on a display surface capable of displaying a wide viewing angle image such as a hemispherical dome, a wall surface, or a cylindrical screen. In view of such needs, a virtual camera that detects the user's position and sets an appropriate position and angle of view is used to perspectively project a three-dimensional spatial image onto a flat image, resulting from the user position and the shape of the display surface. There has been proposed a technique for correcting a distortion to generate a planar image with a wide viewing angle.
このような技術の一例として、特許文献１は、ユーザの周囲に配置された複数の表示装置を制御する表示制御装置が、各表示装置で表示すべき映像を生成して表示装置に表示させる表示システムを開示する。この表示システムでは、表示制御装置が、ユーザを取り囲むような形式で表現された映像データを分割して分割映像データを生成し、各表示装置が表示すべき分割映像データを表示装置に表示させる。 As an example of such a technique, Patent Document 1 discloses a display in which a display control device that controls a plurality of display devices arranged around a user generates a video to be displayed on each display device and displays the video on the display device. Disclose the system. In this display system, the display control device divides the video data expressed in a format surrounding the user to generate divided video data, and displays the divided video data to be displayed by each display device on the display device.
しかしながら、特許文献１が開示する表示システムでは、離接された複数の表示装置に分割映像データを生成するため、連続した広視野角映像を生成できないという問題があった。 However, the display system disclosed in Patent Document 1 has a problem that continuous wide-viewing-angle images cannot be generated because divided image data is generated in a plurality of separated display devices.
本発明は、上記従来技術の問題に鑑みてなされたものであり、連続した広視野角映像を生成する画像処理プログラム、画像処理方法および画像処理装置を提供することを目的とするものである。 The present invention has been made in view of the above-described problems of the prior art, and an object thereof is to provide an image processing program, an image processing method, and an image processing apparatus that generate continuous wide viewing angle images.
上記課題を解決するために、本発明の画像処理プログラムは、画像処理装置に対し、水平方向または垂直方向に連続した三次元空間映像から、所定のユーザ視点において水平方向または垂直方向に連続する複数の透視投影画像を生成させるステップと、透視投影画像の歪みを算出するステップと、透視投影画像の歪みに応じて、水平方向または垂直方向に連続する複数の透視投影画像の歪みを補正するステップとを実行させる。 In order to solve the above problems, an image processing program according to the present invention provides a plurality of images that are continuously or horizontally transmitted from a three-dimensional spatial image that is continuous in a horizontal direction or a vertical direction to a predetermined user viewpoint. Generating a perspective projection image, calculating a distortion of the perspective projection image, correcting a distortion of a plurality of consecutive perspective projection images in the horizontal direction or the vertical direction according to the distortion of the perspective projection image, Is executed.
本発明の画像処理プログラムは、画像処理装置に対し、上述したステップを実行させることにより、連続した広視野角映像を生成することができる。 The image processing program of the present invention can generate a continuous wide viewing angle image by causing the image processing apparatus to execute the steps described above.
図１は、本発明の画像処理システムの一実施形態を示す図である。図１に示す画像処理システム１００は、表示装置１１０と、画像処理装置（図示せず）と、ユーザ視点検知装置１２０とを含む。 FIG. 1 is a diagram showing an embodiment of an image processing system of the present invention. An image processing system 100 shown in FIG. 1 includes a display device 110, an image processing device (not shown), and a user viewpoint detection device 120.
画像処理装置は、表示装置１１０に表示すべき映像を生成する装置である。画像処理装置は、表示装置１１０の内側に位置するユーザ視点から見た三次元空間映像を透視投影して、複数の仮想平面上の透視投影画像を生成し、これらの透視投影画像の歪みを補正して、広視野角の平面映像を生成する。 The image processing device is a device that generates a video to be displayed on the display device 110. The image processing device perspectively projects a three-dimensional space image viewed from the user's viewpoint located inside the display device 110, generates perspective projection images on a plurality of virtual planes, and corrects distortion of these perspective projection images. Then, a plane image with a wide viewing angle is generated.
表示装置１１０は、画像処理装置が生成する映像を表示する装置である。図１に示す実施形態では、表示装置１１０は、水平方向に連続しており、画像処理装置が生成する映像を表示することにより、表示装置１１０の内側に居るユーザに対し、連続した３６０°のパノラマ映像を提供する。 The display device 110 is a device that displays video generated by the image processing device. In the embodiment shown in FIG. 1, the display device 110 is continuous in the horizontal direction, and displays a video generated by the image processing device, so that the user who is inside the display device 110 has a continuous 360 ° angle. Provide panoramic video.
本実施形態では、円柱型の表示装置１１０を水平方向に連続するように設置するが、他の実施形態では、円柱型の表示装置１１０を垂直方向に連続するように設置してもよい。また、円柱型の表示装置１１０ではなく、多角形の表示装置を採用してもよい。 In this embodiment, the columnar display device 110 is installed so as to be continuous in the horizontal direction, but in other embodiments, the columnar display device 110 may be installed so as to be continuous in the vertical direction. Further, a polygonal display device may be employed instead of the columnar display device 110.
ユーザ視点検知装置１２０は、ユーザ視点を検知する装置である。ユーザ視点検知装置は、マイクロソフト社のＫＩＮＥＣＴ（登録商標）が採用する骨格情報取得技術や種々の顔認識アルゴリズムなどを用いてユーザを検知し、ユーザ視点を検知することができる。ユーザ視点検知装置１２０は、ユーザ視点を正しく検出できる限り、画像処理システム１００内の任意の位置に設置することができる。 The user viewpoint detection device 120 is a device that detects a user viewpoint. The user viewpoint detection device can detect a user's viewpoint by detecting a user using a skeleton information acquisition technology adopted by Microsoft Corporation's KINECT (registered trademark), various face recognition algorithms, and the like. The user viewpoint detection device 120 can be installed at any position in the image processing system 100 as long as the user viewpoint can be correctly detected.
図２は、画像処理装置２００のハードウェア構成を示す図である。画像処理装置２００は、プロセッサ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４とを備える。 FIG. 2 is a diagram illustrating a hardware configuration of the image processing apparatus 200. The image processing apparatus 200 includes a processor 201, a ROM 202, a RAM 203, and an HDD 204.
プロセッサ２０１は、本発明のプログラムを実行する演算装置である。ＲＯＭ２０２は、ブートプログラムなどが保存される不揮発性メモリである。ＲＡＭ２０３は、本発明のプログラムの実行空間を提供する不揮発性メモリである。ＨＤＤ２０４は、本発明のプログラムや映像などの様々なデータが保存される不揮発性メモリである。 The processor 201 is an arithmetic device that executes the program of the present invention. The ROM 202 is a non-volatile memory that stores a boot program and the like. The RAM 203 is a non-volatile memory that provides an execution space for the program of the present invention. The HDD 204 is a non-volatile memory that stores various data such as a program and video of the present invention.
プロセッサ２０１は、ＨＤＤ２０４から本発明のプログラムを読み出し、種々のＯＳの管理下で、本発明のプログラムをＲＡＭ２０３に展開して実行することにより、後述する機能を実現する。 The processor 201 reads out the program of the present invention from the HDD 204 and develops and executes the program of the present invention on the RAM 203 under the management of various OSs, thereby realizing the functions described later.
図３は、画像処理装置２００の機能構成の一実施形態を示す図である。画像処理装置２００は、三次元空間映像生成部３００と、ユーザ視点設定部３０１と、パラメータ設定部３０２と、透視投影画像生成部３０３と、歪み算出部３０４と、歪み補正部３０５とを有する。 FIG. 3 is a diagram illustrating an embodiment of a functional configuration of the image processing apparatus 200. The image processing apparatus 200 includes a 3D spatial video generation unit 300, a user viewpoint setting unit 301, a parameter setting unit 302, a perspective projection image generation unit 303, a distortion calculation unit 304, and a distortion correction unit 305.
三次元空間映像生成部３００は、ユーザの指示に基づいて、ユーザ視点における三次元空間映像を生成する手段である。三次元空間映像生成部３００は、例えば、ＯｐｅｎＧＬ（Open Graphics Library）やＤｉｒｅｃｔＸなどのＡＰＩを用いて、三次元空間映像を生成することができる。 The 3D spatial video generation unit 300 is a means for generating a 3D spatial video at the user's viewpoint based on a user instruction. The 3D spatial video generation unit 300 can generate a 3D spatial video using an API such as OpenGL (Open Graphics Library) or DirectX, for example.
本実施形態では、画像処理装置２００に実装される三次元空間映像生成部３００が三次元空間映像を生成するが、他の実施形態では、他の装置が生成した三次元空間映像を取得して加工してもよい。 In the present embodiment, the 3D spatial video generation unit 300 mounted on the image processing device 200 generates a 3D spatial video. In other embodiments, the 3D spatial video generated by other devices is acquired. It may be processed.
ユーザ視点設定部３０１は、ユーザ視点の位置を設定する手段である。ユーザ視点設定部３０１は、ユーザ視点検知装置１２０が検出したユーザ視点の三次元位置を、リアルタイムまたは非リアルタイムに記憶装置に保存する。別の実施形態では、ユーザ視点設定部３０１は、ユーザが予め指定したユーザ視点の位置を設定してもよい。他の実施形態では、ユーザ視点設定部３０１は、両眼のユーザ視点の位置をそれぞれ設定してもよい。 The user viewpoint setting unit 301 is a means for setting the position of the user viewpoint. The user viewpoint setting unit 301 stores the three-dimensional position of the user viewpoint detected by the user viewpoint detection device 120 in a storage device in real time or non-real time. In another embodiment, the user viewpoint setting unit 301 may set the position of the user viewpoint specified in advance by the user. In other embodiments, the user viewpoint setting unit 301 may set the positions of the user viewpoints of both eyes.
パラメータ設定部３０２は、ユーザ視点における仮想カメラのパラメータ（以下、「カメラパラメータ」とする。）を設定する手段である。仮想カメラとは、図４に示すように、表示装置１１０内のユーザ視点からの三次元空間画像の透視投影画像を生成する仮想的なカメラである。カメラパラメータは、仮想カメラの画角、位置および姿勢を表すパラメータである。 The parameter setting unit 302 is a means for setting virtual camera parameters (hereinafter referred to as “camera parameters”) from the user's viewpoint. As shown in FIG. 4, the virtual camera is a virtual camera that generates a perspective projection image of a three-dimensional space image from the user viewpoint in the display device 110. The camera parameter is a parameter that represents the angle of view, position, and orientation of the virtual camera.
水平方向に連続する表示装置１１０を採用する実施形態では、仮想カメラの水平方向の画角は、各仮想カメラに割り当てられる表示装置１１０の表示面Ａ，Ｂ，Ｃ，Ｄが均等になるように設定される。仮想カメラの垂直方向の画角は、総ての仮想カメラで同一になるように設定される。 In the embodiment employing the display device 110 that is continuous in the horizontal direction, the horizontal view angle of the virtual camera is such that the display surfaces A, B, C, and D of the display device 110 assigned to each virtual camera are equal. Is set. The vertical angle of view of the virtual camera is set to be the same for all virtual cameras.
垂直方向に連続する表示装置を採用する実施形態では、仮想カメラの垂直方向の画角は、各仮想カメラに割り当てられる表示装置１１０の表示面が均等になるように設定されると共に、水平方向の画角は、総ての仮想カメラで同一になるように設定される。 In an embodiment employing a display device that is continuous in the vertical direction, the vertical angle of view of the virtual camera is set so that the display surface of the display device 110 assigned to each virtual camera is uniform, The angle of view is set to be the same for all virtual cameras.
仮想カメラの水平方向の画角θは、下記数式１を用いて算出することができる。 The horizontal angle of view θ of the virtual camera can be calculated using Equation 1 below.
他の実施形態では、仮想カメラの水平方向の画角が均等になるように設定してもよい。例えば、４つの仮想カメラを用いる実施形態の場合、仮想カメラの水平方向の画角は９０度となる。 In other embodiments, the horizontal angle of view of the virtual camera may be set to be equal. For example, in the case of an embodiment using four virtual cameras, the horizontal angle of view of the virtual camera is 90 degrees.
仮想カメラの位置は、ユーザ視点と同一である。ユーザ視点は、仮想カメラの水平方向の画角が１８０度以内となるような範囲４００内にあることが好ましい。 The position of the virtual camera is the same as the user viewpoint. The user viewpoint is preferably within a range 400 such that the horizontal angle of view of the virtual camera is within 180 degrees.
仮想カメラの姿勢は、仮想カメラの水平方向および垂直方向の傾きを示すパラメータである。本実施形態では、仮想カメラの姿勢は一定である。 The attitude of the virtual camera is a parameter indicating the tilt of the virtual camera in the horizontal direction and the vertical direction. In this embodiment, the posture of the virtual camera is constant.
透視投影画像生成部３０３は、カメラパラメータに基づく複数の仮想カメラが、ユーザ視点から表示装置１１０内を撮影した場合に得られる画像、すなわち、ユーザ視点から見た三次元空間映像の透視投影画像を生成する手段である。透視投影画像生成部３０３は、例えば、ＯｐｅｎＧＬやＤｉｒｅｃｔＸなどのＡＰＩを用いて、透視投影画像を生成することができる。 The perspective projection image generation unit 303 obtains an image obtained when a plurality of virtual cameras based on camera parameters photograph the inside of the display device 110 from the user viewpoint, that is, a perspective projection image of a three-dimensional space image viewed from the user viewpoint. Means for generating. The perspective projection image generation unit 303 can generate a perspective projection image using an API such as OpenGL or DirectX, for example.
歪み算出部３０４は、透視投影画像の歪みを算出する手段である。歪み算出部３０４が実行する歪み算出処理については、図６を参照して詳述する。 The distortion calculation unit 304 is a means for calculating the distortion of the perspective projection image. The distortion calculation process executed by the distortion calculation unit 304 will be described in detail with reference to FIG.
歪み補正部３０５は、透視投影画像の歪みに応じて透視投影画像の歪みを補正する手段である。歪み補正部３０５は、歪み算出部３０４が算出した透視投影画像の歪みを示す情報を用いて、透視投影画像内の表示面を表す歪んだメッシュの各点の座標値を算出し、当該歪んだメッシュの各点の座標値を、各点が等間隔となるような座標値に変形する射影変換を行うことにより、透視投影画像の歪みを補正する。 The distortion correction unit 305 is a unit that corrects the distortion of the perspective projection image according to the distortion of the perspective projection image. The distortion correction unit 305 calculates the coordinate value of each point of the distorted mesh representing the display surface in the perspective projection image using the information indicating the distortion of the perspective projection image calculated by the distortion calculation unit 304, and the distortion The distortion of the perspective projection image is corrected by performing projective transformation that transforms the coordinate values of each point of the mesh into coordinate values such that the points are equally spaced.
図５は、画像処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図５を参照して、三次元空間映像の透視投影画像の歪みを補正する処理について説明する。 FIG. 5 is a flowchart illustrating an embodiment of processing executed by the image processing apparatus. Hereinafter, with reference to FIG. 5, processing for correcting distortion of a perspective projection image of a three-dimensional space image will be described.
図５に示す処理は、ステップＳ５００から開始し、ステップＳ５０１では、変数ｍが１で初期化される。ステップＳ５０２では、ユーザ視点設定部３０１がユーザ視点を設定する。ステップＳ５０３では、パラメータ設定部３０２が、ステップＳ５０２で設定したユーザ視点における仮想カメラのカメラパラメータを設定する。 The process shown in FIG. 5 starts from step S500. In step S501, the variable m is initialized to 1. In step S502, the user viewpoint setting unit 301 sets a user viewpoint. In step S503, the parameter setting unit 302 sets the camera parameters of the virtual camera at the user viewpoint set in step S502.
ステップＳ５０４では、透視投影画像生成部３０３が、補正対象となる三次元空間映像の透視投影画像を生成する。ステップＳ５０５では、歪み算出部３０４が、図６に示す歪み算出処理を実行する。ステップＳ５０６では、歪み補正部３０５が、歪み算出部３０４の算出した透視投影画像の歪みに応じて、補正対象の透視投影画像の歪みを補正する。 In step S504, the perspective projection image generation unit 303 generates a perspective projection image of a three-dimensional space image to be corrected. In step S505, the distortion calculation unit 304 executes a distortion calculation process illustrated in FIG. In step S506, the distortion correction unit 305 corrects the distortion of the perspective projection image to be corrected according to the distortion of the perspective projection image calculated by the distortion calculation unit 304.
ステップＳ５０７では、変数ｍの値が、仮想カメラの個数を示すＮの値と同じであるか否か、すなわち、総ての仮想カメラについて上述した処理を実行したか否か判断される。変数ｍの値がＮの値と同一でない場合（Ｎｏ）、すなわち、総ての仮想カメラについて上述した処理を実行していない場合には、ステップＳ５０８に処理が分岐する。 In step S507, it is determined whether or not the value of the variable m is the same as the value of N indicating the number of virtual cameras, that is, whether or not the above-described processing has been executed for all virtual cameras. If the value of the variable m is not the same as the value of N (No), that is, if the above-described processing is not executed for all virtual cameras, the processing branches to step S508.
ステップＳ５０８では、変数ｍがインクリメントされ、ステップＳ５０３に処理が戻り、次の仮想カメラのカメラパラメータを設定し、ステップＳ５０４〜ステップＳ５０７の処理を実行する。一方、変数ｍの値がＮの値と同一である場合（Ｙｅｓ）、すなわち、総ての仮想カメラについて上述した処理を実行した場合には、ステップＳ５０９で処理が終了する。 In step S508, the variable m is incremented, the process returns to step S503, the camera parameter of the next virtual camera is set, and the processes of steps S504 to S507 are executed. On the other hand, when the value of the variable m is the same as the value of N (Yes), that is, when the above-described processing is executed for all virtual cameras, the processing ends in step S509.
図６は、図５のステップＳ５０５に示す歪み算出処理のフローチャートである。以下、図６を参照して、透視投影画像の垂直方向および水平方向の歪みの算出処理について説明する。 FIG. 6 is a flowchart of the distortion calculation process shown in step S505 of FIG. Hereinafter, with reference to FIG. 6, processing for calculating the distortion in the vertical direction and the horizontal direction of the perspective projection image will be described.
図６に示す処理は、ステップＳ６００から開始し、ステップＳ６０１では、変数ｎが１で初期化される。ステップＳ６０２では、歪み算出部３０４が、図７に示すように、１の仮想カメラについて、当該仮想カメラの水平方向の画角によって規定される水平撮影範囲を算出する。ステップＳ６０３では、歪み算出部３０４は、当該水平撮影範囲を等間隔で分割する。ステップＳ６０４では、歪み算出部３０４は、数式２を用いて、図７，８に示すように、表示装置１１０の表示面の水平撮影範囲を等間隔で分割する分割点を仮想平面上に透視投影した点のｘ座標を算出する。 The process shown in FIG. 6 starts from step S600. In step S601, the variable n is initialized with 1. In step S602, as shown in FIG. 7, the distortion calculation unit 304 calculates, for one virtual camera, a horizontal photographing range defined by the horizontal angle of view of the virtual camera. In step S603, the distortion calculation unit 304 divides the horizontal photographing range at equal intervals. In step S <b> 604, the distortion calculation unit 304 uses the mathematical expression 2 to project the division points for dividing the horizontal shooting range of the display surface of the display device 110 at equal intervals onto the virtual plane as illustrated in FIGS. 7 and 8. The x coordinate of the point is calculated.
ステップＳ６０５では、歪み算出部３０４は、ユーザ視点から表示装置１１０の表示面上の分割点への奥行き方向の距離を示す水平距離Ｄを算出する。ステップＳ６０６では、歪み算出部３０４は、図８に示すように、総ての分割点について当該分割点を中点とする仮想平面上の表示面の線分であって、ベクトルｄと垂直な線分（以下、「垂直分割線」とする。）の長さＬを算出する。 In step S <b> 605, the distortion calculation unit 304 calculates a horizontal distance D indicating the distance in the depth direction from the user viewpoint to the division point on the display surface of the display device 110. In step S606, the distortion calculation unit 304, as shown in FIG. 8, is a line segment on the display plane on the virtual plane with the division point as a midpoint for all the division points, and is a line perpendicular to the vector d. The length L of minutes (hereinafter referred to as “vertical dividing line”) is calculated.
より詳細には、歪み算出部３０４は、数式３を用いて、透視投影画像の垂直方向の歪みの程度を示す垂直分割線の長さＬを算出することができる。 More specifically, the distortion calculation unit 304 can calculate the length L of the vertical dividing line indicating the degree of distortion in the vertical direction of the perspective projection image using Equation 3.
ステップＳ６０７では、歪み算出部３０４は、総ての分割点について、仮想平面上の垂直分割線の中点のｙ座標を算出する。より詳細には、歪み算出部３０４は、数式４を用いて、透視投影画像の垂直方向の歪みの程度を示す垂直分割線の中点のｙ座標を算出することができる。 In step S607, the distortion calculation unit 304 calculates the y coordinate of the midpoint of the vertical dividing line on the virtual plane for all the dividing points. More specifically, the distortion calculation unit 304 can calculate the y coordinate of the midpoint of the vertical dividing line indicating the degree of vertical distortion of the perspective projection image using Equation 4.
ステップＳ６０８では、変数ｎの値が、仮想カメラの個数を示すＮの値と同じであるか否か、すなわち、総ての仮想カメラについて上述した処理を実行したか否か判断される。変数ｎの値がＮの値と同一でない場合（Ｎｏ）、すなわち、総ての仮想カメラについて上述した処理を実行していない場合は、ステップＳ６０９に処理が分岐する。 In step S608, it is determined whether or not the value of the variable n is the same as the value of N indicating the number of virtual cameras, that is, whether or not the above-described processing has been executed for all virtual cameras. If the value of the variable n is not the same as the value of N (No), that is, if the above-described processing is not executed for all virtual cameras, the processing branches to step S609.
ステップＳ６０９では、変数ｎがインクリメントされ、ステップＳ６０２に処理が戻り、次の仮想カメラの水平方向の画角によって規定される水平撮影範囲を算出し、ステップＳ６０３〜ステップＳ６０８の処理を実行する。一方、変数ｎの値がＮの値と同一である場合（Ｙｅｓ）、すなわち、総ての仮想カメラについて上述した処理を実行した場合は、ステップＳ６１０で処理が終了する。 In step S609, the variable n is incremented, and the process returns to step S602 to calculate the horizontal shooting range defined by the horizontal field angle of the next virtual camera, and execute the processes of steps S603 to S608. On the other hand, if the value of the variable n is the same as the value of N (Yes), that is, if the above-described processing has been executed for all virtual cameras, the processing ends in step S610.
本実施形態では、歪み補正部３０５は、歪み算出部３０４が算出した各分割点について垂直分割線のｘ座標、ｙ座標および長さＬを用いて、歪んだメッシュの各点の座標値を算出し、当該歪んだメッシュの各点の座標値を、各点が等間隔となるような座標値に変形する射影変換を行うことにより、透視投影画像の歪みを補正する。 In the present embodiment, the distortion correction unit 305 calculates the coordinate value of each point of the distorted mesh using the x coordinate, y coordinate, and length L of the vertical dividing line for each division point calculated by the distortion calculation unit 304. Then, the distortion of the perspective projection image is corrected by performing projective transformation that transforms the coordinate value of each point of the distorted mesh into a coordinate value such that each point is equally spaced.
他の実施形態では、歪み補正部３０５は、表示装置１１０の表示面を模擬したメッシュを仮想平面上で生成した後、透視投影画像生成部３０３による透視投影処理に対応する透視投影行列を用いて、三次元映像座標系の仮想平面上のメッシュを二次元映像座標系のメッシュに変換し、変換後の仮想平面上のメッシュを歪みの無い格子形状に変形することにより、透視投影画像の歪みを補正してもよい。 In another embodiment, the distortion correction unit 305 generates a mesh simulating the display surface of the display device 110 on a virtual plane, and then uses a perspective projection matrix corresponding to the perspective projection processing by the perspective projection image generation unit 303. By transforming the mesh on the virtual plane of the 3D video coordinate system to the mesh of the 2D video coordinate system, and transforming the mesh on the virtual plane after conversion into a lattice shape without distortion, the distortion of the perspective projection image is reduced. It may be corrected.
図９は、ユーザ視点の高さの違いによる仮想平面上のメッシュの違いを示す図である。 FIG. 9 is a diagram illustrating a difference in mesh on the virtual plane due to a difference in height of the user viewpoint.
表示装置１１０の表示面の上端および下端の中間点付近レベルに位置するユーザ視点Ａから表示装置１１０を見ると、透視投影画像９００に示すように、表示面の上下に誤差α，βが生じる。表示装置１１０の表示面の下端レベルに位置するユーザ視点Ｂから表示装置１１０を見ると、透視投影画像９１０に示すように、表示面の上側に誤差γが生じる。表示装置１１０の表示面の上端レベルに位置するユーザ視点Ｃから表示装置１１０を見ると、透視投影画像９２０に示すように、表示面の下側に誤差δが生じる。 When the display device 110 is viewed from the user viewpoint A located at a level near the midpoint between the upper end and the lower end of the display surface of the display device 110, as shown in the perspective projection image 900, errors α and β are generated above and below the display surface. When the display device 110 is viewed from the user viewpoint B located at the lower end level of the display surface of the display device 110, an error γ is generated on the upper side of the display surface as shown in the perspective projection image 910. When the display device 110 is viewed from the user viewpoint C located at the upper end level of the display surface of the display device 110, as shown in the perspective projection image 920, an error δ is generated on the lower side of the display surface.
歪み補正部３０５は、これらの誤差が解消するように、すなわち、表示装置１１０の表示面を表す各メッシュが格子状になるような射影変換を行う。なお、本実施形態では、仮想カメラの垂直方向の画角θｖは一定である。 The distortion correction unit 305 performs projective transformation so that these errors are eliminated, that is, each mesh representing the display surface of the display device 110 has a lattice shape. In the present embodiment, the angle theta v in the vertical direction of the virtual camera is constant.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要件を変更又は削除し、他の構成要件を付加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment, and those skilled in the art such as changing or deleting the configuration requirements of the present embodiment and adding other configuration requirements. Can be changed within the range that can be conceived. Any aspect is included in the scope of the present invention as long as the operations and effects of the present invention are exhibited.
１００…画像処理システム、１１０…表示装置、１２０…ユーザ視点検知装置 DESCRIPTION OF SYMBOLS 100 ... Image processing system, 110 ... Display apparatus, 120 ... User viewpoint detection apparatus
Claims (8)
水平方向または垂直方向に連続した三次元空間映像から、所定のユーザ視点において水平方向または垂直方向に連続する複数の透視投影画像を生成するステップと、
前記透視投影画像の歪みを算出するステップと、
前記透視投影画像の歪みに応じて、前記水平方向または垂直方向に連続する複数の透視投影画像の歪みを補正するステップと
を実行させる画像処理プログラム。 An image processing program executed by an image processing apparatus that processes image data.
Generating a plurality of perspective projection images continuous in a horizontal direction or a vertical direction at a predetermined user viewpoint from a three-dimensional spatial image continuous in a horizontal direction or a vertical direction;
Calculating distortion of the perspective projection image;
An image processing program that executes a step of correcting distortion of a plurality of perspective projection images continuous in the horizontal direction or the vertical direction according to distortion of the perspective projection image.
前記透視投影画像を生成するステップは、
前記ユーザ視点を取得するステップで取得したユーザ視点において水平方向または垂直方向に連続する複数の透視投影画像を生成するステップを含む、請求項１又は２に記載の画像処理プログラム。 The image processing program further causes the image processing apparatus to execute a step of acquiring a user viewpoint,
The step of generating the perspective projection image includes
The image processing program according to claim 1, further comprising: generating a plurality of perspective projection images that are continuous in a horizontal direction or a vertical direction at the user viewpoint acquired in the step of acquiring the user viewpoint.
水平方向または垂直方向に連続した三次元空間映像から、所定のユーザ視点において水平方向または垂直方向に連続する複数の透視投影画像を生成するステップと、
前記透視投影画像の歪みを算出するステップと、
前記透視投影画像の歪みに応じて、前記水平方向または垂直方向に連続する複数の透視投影画像の歪みを補正するステップと
を含む画像処理方法。 An image processing method executed by an image processing apparatus that processes image data, the image processing method comprising:
Generating a plurality of perspective projection images continuous in a horizontal direction or a vertical direction at a predetermined user viewpoint from a three-dimensional spatial image continuous in a horizontal direction or a vertical direction;
Calculating distortion of the perspective projection image;
Correcting the distortion of the plurality of perspective projection images continuous in the horizontal direction or the vertical direction according to the distortion of the perspective projection image.
前記透視投影画像を生成するステップは、
前記ユーザ視点を取得するステップで取得したユーザ視点において水平方向または垂直方向に連続する複数の透視投影画像を生成するステップを含む、請求項４又は５に記載の画像処理方法。 The image processing method further includes a step in which the image processing apparatus acquires a user viewpoint.
The step of generating the perspective projection image includes
The image processing method according to claim 4, further comprising: generating a plurality of perspective projection images that are continuous in a horizontal direction or a vertical direction at the user viewpoint acquired in the step of acquiring the user viewpoint.
水平方向または垂直方向に連続した三次元空間映像から、所定のユーザ視点において水平方向または垂直方向に連続する複数の透視投影画像を生成する透視投影画像生成手段と、
前記透視投影画像の歪みを算出する歪み算出手段と、
前記透視投影画像の歪みに応じて、前記水平方向または垂直方向に連続する複数の透視投影画像の歪みを補正する歪み補正手段と
を備える画像処理装置。 An image processing apparatus for processing image data,
Perspective projection image generating means for generating a plurality of perspective projection images continuous in the horizontal direction or the vertical direction at a predetermined user viewpoint from a three-dimensional spatial image continuous in the horizontal direction or the vertical direction;
Distortion calculating means for calculating distortion of the perspective projection image;
An image processing apparatus comprising: a distortion correction unit that corrects distortion of a plurality of perspective projection images continuous in the horizontal direction or the vertical direction according to distortion of the perspective projection image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014101390A JP2015219634A (en) | 2014-05-15 | 2014-05-15 | Image processing program, image processing method and image processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014101390A JP2015219634A (en) | 2014-05-15 | 2014-05-15 | Image processing program, image processing method and image processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015219634A true JP2015219634A (en) | 2015-12-07 |
Family
ID=54778965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014101390A Pending JP2015219634A (en) | 2014-05-15 | 2014-05-15 | Image processing program, image processing method and image processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015219634A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106710000A (en) * | 2016-12-05 | 2017-05-24 | 武汉大学 | Image projection method for constructing continuous scene based on discrete panoramic view |
| CN114785996A (en) * | 2017-10-11 | 2022-07-22 | 奥多比公司 | Virtual reality parallax correction |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000310826A (en) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Works Ltd | Virtual environmental experience display device |
| JP2004152047A (en) * | 2002-10-31 | 2004-05-27 | National Institute Of Advanced Industrial & Technology | Image division/composition method and system, program therefor and recording medium |
| JP2005099064A (en) * | 2002-09-05 | 2005-04-14 | Sony Computer Entertainment Inc | Display system, display control apparatus, display apparatus, display method and user interface device |
-
2014
- 2014-05-15 JP JP2014101390A patent/JP2015219634A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000310826A (en) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Works Ltd | Virtual environmental experience display device |
| JP2005099064A (en) * | 2002-09-05 | 2005-04-14 | Sony Computer Entertainment Inc | Display system, display control apparatus, display apparatus, display method and user interface device |
| JP2004152047A (en) * | 2002-10-31 | 2004-05-27 | National Institute Of Advanced Industrial & Technology | Image division/composition method and system, program therefor and recording medium |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106710000A (en) * | 2016-12-05 | 2017-05-24 | 武汉大学 | Image projection method for constructing continuous scene based on discrete panoramic view |
| CN106710000B (en) * | 2016-12-05 | 2019-07-09 | 武汉大学 | A kind of image projecting method constructing continuous scene based on discrete panorama sketch |
| CN114785996A (en) * | 2017-10-11 | 2022-07-22 | 奥多比公司 | Virtual reality parallax correction |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038886B (en) | Binocular camera system calibration method and device and automobile | |
| US20180114348A1 (en) | Method and apparatus for generating panoramic image with rotation, translation and warping process | |
| KR20060113514A (en) | Image processing apparatus, image processing method, and program and recording medium used therewith | |
| JP5331047B2 (en) | Imaging parameter determination method, imaging parameter determination device, imaging parameter determination program | |
| JP2007183948A (en) | Method and apparatus for providing panoramic view with geometric correction | |
| JP2011243205A (en) | Image processing system and method for the same | |
| US10142616B2 (en) | Device and method that compensate for displayed margin of error in IID | |
| JP2015219679A (en) | Image processing system, information processing device, and program | |
| EP3659337B1 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
| US20220180560A1 (en) | Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program | |
| JP6594170B2 (en) | Image processing apparatus, image processing method, image projection system, and program | |
| JP2011155412A (en) | Projection system and distortion correction method in the same | |
| JP7076097B2 (en) | Image leveling device and its program, and drawing generation system | |
| JP2015219634A (en) | Image processing program, image processing method and image processor | |
| JP5410328B2 (en) | Optical projection stabilization device, optical projection stabilization method, and program | |
| US10218920B2 (en) | Image processing apparatus and control method for generating an image by viewpoint information | |
| JP2019121945A (en) | Imaging apparatus, control method of the same, and program | |
| JP7192526B2 (en) | Image processing device, image processing method and program | |
| JP4778569B2 (en) | Stereo image processing apparatus, stereo image processing method, and stereo image processing program | |
| JP6317611B2 (en) | Display display pattern generating apparatus and program thereof | |
| JP5882153B2 (en) | Three-dimensional coordinate calculation device | |
| JP6168597B2 (en) | Information terminal equipment | |
| JP6121746B2 (en) | Imaging position determining apparatus, program, and method | |
| JP6405539B2 (en) | Label information processing apparatus for multi-viewpoint image and label information processing method | |
| WO2018212272A1 (en) | Image processing device, image processing program, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180501 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181106 |