JP2019029721A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2019029721A JP2019029721A JP2017144516A JP2017144516A JP2019029721A JP 2019029721 A JP2019029721 A JP 2019029721A JP 2017144516 A JP2017144516 A JP 2017144516A JP 2017144516 A JP2017144516 A JP 2017144516A JP 2019029721 A JP2019029721 A JP 2019029721A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- angle
- information
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、ヘッドマウントディスプレイに表示する視差画像を生成する画像処理技術に関する。 The present invention relates to an image processing technique for generating a parallax image to be displayed on a head mounted display.
視聴者が立体的な映像を楽しむために用いられる表示装置として、差異を有する左目用画像および右目用画像から構成される画像（以下「視差画像」と記す）を表示する表示装置が提案されている。このような表示装置において、左目用画像に含まれる被写体の大きさと、右目用画像に含まれる被写体の大きさとが大きく異なってしまうと、視聴者の眼精疲労や融像不能などを招来してしまうおそれがある。 As a display device used for a viewer to enjoy a stereoscopic image, a display device that displays an image (hereinafter referred to as “parallax image”) composed of a left-eye image and a right-eye image having a difference has been proposed. Yes. In such a display device, if the size of the subject included in the left-eye image is significantly different from the size of the subject included in the right-eye image, it causes viewers' eye strain and inability to fuse. There is a risk that.
特許文献１は、平面パネルを備える表示装置に視差映像を表示する場合、表示装置から視聴者の左目までの距離と、右目までの距離との比率に応じて、左目用映像と右目用映像との大きさを調整して被写体の大きさのずれを抑制する画像処理技術を開示している。 When displaying a parallax image on a display device including a flat panel, Patent Document 1 discloses a left-eye image and a right-eye image according to a ratio between a distance from the display device to the viewer's left eye and a distance to the right eye. An image processing technique for adjusting the size of the image to suppress the deviation of the size of the subject is disclosed.
近年、頭に装着して映像を視聴することにより、視聴者が臨場感あふれる映像を楽しむことができる、ヘッドマウントディスプレイが広く利用されている。ヘッドマウントディスプレイに視差画像を表示する場合、例えば魚眼レンズを備える撮像装置で撮像された入力画像から全天球画像を生成し、さらに全天球画像から表示用の視差画像をサンプリングするなどの高度な画像処理が行われる。 2. Description of the Related Art In recent years, head-mounted displays have been widely used that allow viewers to enjoy realistic videos by wearing them on their heads and watching videos. When displaying a parallax image on a head-mounted display, for example, an omnidirectional image is generated from an input image captured by an imaging device including a fisheye lens, and a display parallax image is sampled from the omnidirectional image. Image processing is performed.
このとき、左目用画像と右目用画像とに含まれる被写体の大きさを揃えるために、これらの画像を単純に拡大縮小した場合、ヘッドマウントディスプレイで視聴する際の視野角が狭くなってしまう場合があった。そのため、ヘッドマウントディスプレイに表示された映像を視聴する際に、視聴者が違和感を覚えてしまうという課題があった。 In this case, if these images are simply scaled to match the size of the subject included in the left-eye image and the right-eye image, the viewing angle when viewing on the head-mounted display becomes narrow was there. Therefore, there is a problem that the viewer feels uncomfortable when viewing the video displayed on the head mounted display.
本発明は上記課題に鑑みなされたものであり、ヘッドマウントディスプレイに表示された映像を視聴する際の違和感を低減することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to reduce a sense of incongruity when viewing a video displayed on a head mounted display.
本発明の画像処理装置は、ヘッドマウントディスプレイの姿勢情報を取得する姿勢情報取得手段と、入力視差画像に含まれる被写体までの距離情報を取得する距離情報取得手段と、前記入力視差画像を撮像した撮像装置に関する情報を取得する撮像情報取得手段と、前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの画角を調整する画角調整手段と、前記姿勢情報と、前記調整された画角と、前記ヘッドマウントディスプレイの表示パラメータとに基づいて、前記入力視差画像から前記表示視差画像を生成する生成手段と、を有することを特徴とする。 The image processing apparatus of the present invention captures the input parallax image, the posture information acquisition unit that acquires the posture information of the head mounted display, the distance information acquisition unit that acquires the distance information to the subject included in the input parallax image, and Used to generate a display parallax image displayed on the head-mounted display based on imaging information acquisition means for acquiring information related to the imaging device, the posture information, the distance information, and information related to the imaging device. The display parallax image from the input parallax image on the basis of the angle-of-view adjustment means for adjusting the angle of view of the virtual camera, the posture information, the adjusted angle of view, and the display parameters of the head mounted display. Generating means for generating.
本発明の画像処理装置によれば、ヘッドマウントディスプレイに表示された映像を視聴する際の違和感を低減することができる、という効果を奏する。 According to the image processing apparatus of the present invention, there is an effect that it is possible to reduce a sense of incongruity when viewing a video displayed on a head mounted display.
以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成はあくまで例示であり、本発明の範囲を必ずしもそれらに限定する趣旨のものではない。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. However, the configuration described in this embodiment is merely an example, and is not necessarily intended to limit the scope of the present invention.
［実施形態１］
図１は、本実施形態における画像処理装置１００のハードウェア構成例を示す図である。図１において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３およびハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各ブロックの動作を制御する。ＨＤＤインターフェース（以下、インターフェースは「Ｉ／Ｆ」と記す）１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する。ＨＤＤ Ｉ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）などのＩ／Ｆである。ＣＰＵ１０１は、ＨＤＤ Ｉ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出しおよびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開することができ、逆に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することもできる。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。入力Ｉ／Ｆ１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７を接続する。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことができる。出力Ｉ／Ｆ１０８は、画像処理装置１００と、出力デバイスであるヘッドマウントディスプレイ８００とを接続する。出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力Ｉ／Ｆである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介してヘッドマウントディスプレイ８００にデータを送り、ヘッドマウントディスプレイ８００に所定の映像を表示させることができる。姿勢検出Ｉ／Ｆ１１０は、加速度センサや角速度センサなどの姿勢検出部８０２を接続する。姿勢検出Ｉ／Ｆ１１０は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆである。姿勢検出部８０２は、ヘッドマウントディスプレイ８００に取り付けられており、ＣＰＵ１０１は姿勢検出Ｉ／Ｆ１１０を介して姿勢検出部８０２からヘッドマウントディスプレイ８００の姿勢情報を読み込むことができる。姿勢情報はマウスやキーボード、カメラなどを介しても入力することができる。
[Embodiment 1]
FIG. 1 is a diagram illustrating a hardware configuration example of an image processing apparatus 100 according to the present embodiment. In FIG. 1, a CPU 101 executes a program stored in a ROM 103 and a hard disk drive (HDD) 105 using a RAM 102 as a work memory, and controls operations of respective blocks to be described later via a system bus 112. An HDD interface (hereinafter referred to as “I / F”) 104 connects a secondary storage device such as an HDD 105 or an optical disk drive. The HDD I / F 104 is an I / F such as a serial ATA (SATA). The CPU 101 can read data from the HDD 105 and write data to the HDD 105 via the HDD I / F 104. Further, the CPU 101 can expand the data stored in the HDD 105 in the RAM 102, and conversely, can store the data expanded in the RAM 102 in the HDD 105. The CPU 101 can execute the data expanded in the RAM 102 as a program. The input I / F 106 connects an input device 107 such as a keyboard, mouse, digital camera, or scanner. The input I / F 106 is a serial bus I / F such as USB or IEEE1394. The CPU 101 can read data from the input device 107 via the input I / F 106. The output I / F 108 connects the image processing apparatus 100 and a head mounted display 800 that is an output device. The output I / F 108 is a video output I / F such as DVI or HDMI (registered trademark). The CPU 101 can send data to the head mounted display 800 via the output I / F 108 and cause the head mounted display 800 to display a predetermined video. The posture detection I / F 110 connects a posture detection unit 802 such as an acceleration sensor or an angular velocity sensor. The attitude detection I / F 110 is a serial bus I / F such as USB or IEEE1394. The posture detection unit 802 is attached to the head mounted display 800, and the CPU 101 can read posture information of the head mounted display 800 from the posture detection unit 802 via the posture detection I / F 110. Posture information can also be input via a mouse, keyboard, camera, or the like.
本実施形態における表示画像生成手順について、図２の機能ブロック図と図３のフローチャートとを参照して説明する。画像処理装置１００によって生成された表示画像は、ヘッドマウントディスプレイ上に表示される。図２は、本実施形態における画像処理装置１００の機能構成例を示すブロック図である。本実施形態において画像処理部２００は、姿勢情報取得部２０１から得られるヘッドマウントディスプレイ８００の姿勢情報に基づいて、ヘッドマウントディスプレイ８００に表示する表示視差画像を生成する。具体的には、全天球画像において、ヘッドマウントディスプレイ８００を装着した視聴者の視線方向に対応する部分画像を、左目用と右目用それぞれに対応するように順次表示する。これよりヘッドマウントディスプレイ８００を装着した視聴者が全天球画像の中に存在するかのように、視差画像を視聴することができる。まず距離情報取得部２０３は、撮像情報と画像データとに基づいて、姿勢情報取得部２０１から取得した姿勢情報に対応する中心視野における距離情報を取得する。ここで距離情報とは、視点から被写体までの距離を示す。画角調整部２０６は、姿勢情報に対応する表示視差画像を生成するための仮想カメラの画角を調整する。ここで仮想カメラは、左目用と右目用２つのカメラがあるものとし、デフォルトの画角が設定されている。画角調整部２０６は、左目用仮想カメラおよび右目用仮想カメラの少なくともいずれかに対して、距離情報に基づいて予め設定された画角を調整する。表示画像生成部２０８は、画角調整部２０６により出力される画角に基づいて左目用仮想カメラおよび右目用仮想カメラそれぞれに撮像される画像を表示画像として生成し、表示する。 The display image generation procedure in this embodiment will be described with reference to the functional block diagram of FIG. 2 and the flowchart of FIG. The display image generated by the image processing apparatus 100 is displayed on the head mounted display. FIG. 2 is a block diagram illustrating a functional configuration example of the image processing apparatus 100 according to the present embodiment. In the present embodiment, the image processing unit 200 generates a display parallax image to be displayed on the head mounted display 800 based on the posture information of the head mounted display 800 obtained from the posture information acquisition unit 201. Specifically, in the omnidirectional image, partial images corresponding to the viewing direction of the viewer wearing the head mounted display 800 are sequentially displayed so as to correspond to the left eye and the right eye, respectively. Thus, the parallax image can be viewed as if the viewer wearing the head mounted display 800 exists in the omnidirectional image. First, the distance information acquisition unit 203 acquires distance information in the central visual field corresponding to the posture information acquired from the posture information acquisition unit 201 based on the imaging information and the image data. Here, the distance information indicates the distance from the viewpoint to the subject. The view angle adjustment unit 206 adjusts the view angle of the virtual camera for generating a display parallax image corresponding to the posture information. Here, it is assumed that the virtual camera has two cameras for the left eye and the right eye, and a default angle of view is set. The angle-of-view adjustment unit 206 adjusts a preset angle of view based on the distance information for at least one of the left-eye virtual camera and the right-eye virtual camera. The display image generation unit 208 generates and displays images captured by the left-eye virtual camera and the right-eye virtual camera as display images based on the angle of view output by the angle-of-view adjustment unit 206.
図３は、本実施形態における表示画像生成手順例を示すフローチャートである。図２および図３における各ブロックおよび各ステップの機能は、ＣＰＵ１０１がＲＯＭ１０３などの記憶領域に格納されたプログラムコードをＲＡＭ１０２に読み出して実行することにより実現される。あるいはまた、図２および図３におけるブロックおよびステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実装してもよい。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。これらは図４のフローチャートについても同様である。 FIG. 3 is a flowchart showing an example of a display image generation procedure in the present embodiment. The functions of the blocks and steps in FIGS. 2 and 3 are realized by the CPU 101 reading out the program code stored in the storage area such as the ROM 103 to the RAM 102 and executing it. Alternatively, some or all of the blocks and steps in FIGS. 2 and 3 may be implemented by hardware such as an ASIC or an electronic circuit. Each symbol S below means a step in the flowchart. The same applies to the flowchart of FIG.
Ｓ３０１において、姿勢情報取得部２０１は、姿勢検出部８０２や入力デバイス１０７から姿勢情報を取得する。姿勢情報はＲＡＭ１０２やＨＤＤ１０５（以下、これらを「記憶領域」と記す）に一旦保存されたものが取得されてもよい。本実施形態において、姿勢情報はヘッドマウントディスプレイ８００の姿勢を表すデータであり、ヘッドマウントディスプレイ８００を装着する視聴者の視線方向に対応する。この姿勢情報は、３×３の回転行列Ｒと、ロール、ピッチ、ヨーとを用いて表現される。この他、姿勢情報は、クォータニオンなどを用いて表現されてもよい。 In step S <b> 301, the posture information acquisition unit 201 acquires posture information from the posture detection unit 802 and the input device 107. Posture information may be acquired once stored in the RAM 102 or HDD 105 (hereinafter referred to as “storage area”). In the present embodiment, the posture information is data representing the posture of the head mounted display 800 and corresponds to the viewing direction of the viewer wearing the head mounted display 800. This attitude information is expressed using a 3 × 3 rotation matrix R and roll, pitch, and yaw. In addition, the posture information may be expressed using quaternions or the like.
Ｓ３０２において、画像データ取得部２０２は、ＨＤＤ１０５や入力デバイス１０７から取得した画像データを距離情報取得部２０３に送出する。本実施形態において、ＨＤＤ１０５や入力デバイス１０７から取得される画像データは、魚眼レンズを備えるステレオ撮像装置によって撮像された全天球画像を表す画像データである例について説明する。 In step S <b> 302, the image data acquisition unit 202 sends the image data acquired from the HDD 105 or the input device 107 to the distance information acquisition unit 203. In the present embodiment, an example in which the image data acquired from the HDD 105 or the input device 107 is image data representing an omnidirectional image captured by a stereo imaging device including a fisheye lens will be described.
図５は、本実施形態における全天球画像の一例を示す図である。図５に示される全天球画像を表す画像データは、全ての向き（ある基準位置から３６０°の全ての方向）からの入射光線が表す色が保存された画像データである。本実施形態では、左目用表示画像を生成するために入力される全天球画像をＩL、右目用表示画像を生成するために入力される全天球画像をＩRとする。本実施形態において、全天球画像ＩL,ＩRは入力視差画像として取り扱われる。図５では、横軸を方位角θ［０〜２π］とし、縦軸を仰角φ［−π／２〜π／２］とした場合の座標系における全天球画像ＩL,ＩRが示されている。全天球画像ＩL,ＩRを撮像する撮像装置は、図６に示される通り、少なくとも２系統の撮像系を備えるステレオ撮像装置が、２セット組み合わされて構成されるステレオ撮像装置６０１である。各撮像系の画角が同じ場合、各撮像系は１８０°以上の画角を有する必要がある。なお、ステレオ撮像装置６０１は、２セット組み合わされて構成される例が示されているが、３セット以上組み合わされて構成されてもよい。この場合望ましくは、各撮像系の画角が１２０°以上程度であれば、本実施形態で説明されるように、仮想カメラの画角調整の効果を得ることができる。 FIG. 5 is a diagram showing an example of the omnidirectional image in the present embodiment. The image data representing the omnidirectional image shown in FIG. 5 is image data in which colors represented by incident light rays from all directions (all directions 360 ° from a certain reference position) are stored. In this embodiment, the omnidirectional image input to generate the left-eye display image is I L , and the omnidirectional image input to generate the right-eye display image is I R. In the present embodiment, the omnidirectional images I L and I R are handled as input parallax images. FIG. 5 shows omnidirectional images I L and I R in the coordinate system when the horizontal axis is the azimuth angle θ [0 to 2π] and the vertical axis is the elevation angle φ [−π / 2 to π / 2]. Has been. As shown in FIG. 6, the imaging device that captures the omnidirectional images I L and I R is a stereo imaging device 601 configured by combining two stereo imaging devices including at least two imaging systems. . When the angle of view of each imaging system is the same, each imaging system needs to have an angle of view of 180 ° or more. Note that an example in which two sets of the stereo imaging device 601 are combined is shown, but three or more sets may be combined. In this case, preferably, if the angle of view of each imaging system is about 120 ° or more, the effect of adjusting the angle of view of the virtual camera can be obtained as described in the present embodiment.
図７は、本実施形態における表示画像例を示す図である。図７に示される表示画像は、ヘッドマウントディスプレイに表示するための表示視差画像であり、視聴者の左目に提示するための左目用表示画像ＪLと、視聴者の右目に提示するための右目用表示画像ＪRとから構成される。そして、これら表示画像ＪLと、表示画像ＪRとは、視聴者が接眼レンズを通して見た場合に、レンズの歪曲を考慮した補正が施されている。 FIG. 7 is a diagram illustrating an example of a display image in the present embodiment. The display image shown in FIG. 7 is a display parallax image to be displayed on the head-mounted display. The left-eye display image J L to be presented to the viewer's left eye and the right eye to be presented to the viewer's right eye Display image JR . The display image J L and the display image J R are corrected in consideration of lens distortion when viewed by the viewer through the eyepiece.
図８は、本実施形態におけるヘッドマウントディスプレイ８００である、ヘッドマウントディスプレイ８００の一例を示す図である。ヘッドマウントディスプレイ８００の筐体８０１には、ヘッドマウントディスプレイ８００の姿勢情報を取得可能な姿勢検出部８０２と、表示視差画像が表示されるディスプレイパネル８０３と、一対の接眼レンズ８０４とが設けられている。図８に示されるヘッドマウントディスプレイ８００は、視聴者の頭部に装着されて用いられる。そして、ヘッドマウントディスプレイ８００は、視聴者の頭部の向き（すなわち、ヘッドマウントディスプレイの向き）に応じた表示視差画像をディスプレイパネル８０３に表示することができる。 FIG. 8 is a diagram illustrating an example of the head mounted display 800 which is the head mounted display 800 in the present embodiment. The housing 801 of the head mounted display 800 is provided with a posture detecting unit 802 that can acquire posture information of the head mounted display 800, a display panel 803 on which a display parallax image is displayed, and a pair of eyepieces 804. Yes. A head mounted display 800 shown in FIG. 8 is used by being mounted on the head of a viewer. The head mounted display 800 can display a display parallax image on the display panel 803 according to the orientation of the viewer's head (that is, the orientation of the head mounted display).
Ｓ３０３において、撮像情報取得部２０４は、取得した撮像情報を距離情報取得部２０３に送出する。本実施形態において、撮像情報は、全天球画像ＩL,ＩRを撮像したステレオ撮像装置に関する撮像情報である。具体的には、本実施形態の撮像情報は、ステレオ撮像装置の正面方向θc,基線長ｂcおよび焦点距離ｆcを示す情報である。撮像情報取得部２０４は、これらの撮像情報を記憶領域から取得する。また、ｃはステレオ撮像装置の番号を示す。 In step S <b> 303, the imaging information acquisition unit 204 sends the acquired imaging information to the distance information acquisition unit 203. In the present embodiment, the imaging information is imaging information related to a stereo imaging device that images the omnidirectional images I L and I R. Specifically, the imaging information of the present embodiment is information indicating the front direction θ c, the baseline length b c, and the focal length f c of the stereo imaging device. The imaging information acquisition unit 204 acquires these imaging information from the storage area. C represents the number of the stereo imaging device.
Ｓ３０４において、距離情報取得部２０３は、全天球画像ＩLと全天球画像ＩRとに基づいて注目領域における距離を示す距離情報を取得し、取得した距離情報を画角調整部２０６に送出する。 In S304, the distance information obtaining unit 203 obtains distance information indicating a distance in the region of interest based on the celestial sphere image I L and celestial sphere image I R, the view angle adjusting section 206 the acquired distance information Send it out.
注目領域における距離は、全天球画像ＩLを表す画像データと、全天球画像ＩRが表す画像データとに基づいて予め生成された距離マップから取得されてもよいし、ＣＰＵ１０１が所定の計算を行うことにより取得されてもよい。注目領域における距離が計算によって取得される場合、まずヘッドマウントディスプレイの姿勢情報が示す位置が中心視野とされる。つまり、距離情報取得部２０３は、ヘッドマウントディスプレイの姿勢情報が示す位置のうち方位角θd，仰角Φdが示す座標を全天球画像ＩLおよび全天球画像ＩRにおける中心視野に設定する。これは、視聴者の頭の動きに追従して映像を表示するタイプのヘッドマウントディスプレイでは、視聴者が頭を動かして周囲を見回すため、左目用表示画像ＪＬと右目用表示画像ＪＲとのそれぞれの中心視野が注目領域となる場合が多いからである。 Distance in the target region, the image data representing the celestial sphere image I L, may be obtained from the previously generated distance map based on the image data representing the celestial sphere image I R, CPU 101 is a predetermined It may be obtained by performing a calculation. When the distance in the attention area is obtained by calculation, first, the position indicated by the posture information of the head mounted display is set as the central visual field. In other words, the distance information obtaining unit 203, sets azimuth theta d of a position indicated by the position information of the head mounted display, a coordinate indicated by the elevation angle [Phi d in the central field of the omnidirectional image I L and celestial sphere image I R To do. This is because in a head-mounted display of a type that displays an image following the movement of the viewer's head, the viewer moves the head and looks around, so each of the left-eye display image JL and the right-eye display image JR is displayed. This is because the central field of view is often the region of interest.
全天球画像ＩLにおける中心視野のＮ×Ｍ画素の領域を中心領域ＡLとし、このＡLをテンプレートとして全天球画像ＩRにおける中心領域を水平方向に走査してマッチングを行い、マッチングの結果、最も類似度が高い領域が中心領域ＡRとして抽出される。類似度の評価指標はＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）など領域間の類似度を評価できるものであればよい。そして、求めた中心領域ＡRと中心領域ＡLとの水平方向のずれ量を注目領域の視差量ｄとする。視差量ｄと、ステレオ撮像装置の基線長ｂcと、カメラの焦点距離ｆcとから、距離Ｄを以下の（式１）で算出することができる。
Ｄ＝ｆcｂc／ｄ・・・（式１）
An area of N × M pixels in the central field of view in the omnidirectional image I L is defined as a central area A L, and the central area in the omnidirectional image I R is scanned in the horizontal direction using this A L as a template for matching. as a result, most similarity is high region is extracted as the central region a R. The similarity evaluation index may be any index that can evaluate the similarity between regions such as SSD (Sum of Squared Difference) and SAD (Sum of Absolute Difference). Then, the horizontal shift amount between the central region A R and the center region A L determined the parallax amount d in the region of interest. From the parallax amount d, the base line length b c of the stereo imaging device, and the focal length f c of the camera, the distance D can be calculated by the following (Equation 1).
D = f c b c / d (Formula 1)
ここで、ｃは中心視野を撮影したステレオ撮像装置の番号を示す。本実施形態では、中心視野が注目領域である例を説明したが、表示画像中で最も距離が近い領域、最も顕著度が高い領域、または、マニュアルで指定された領域を注目対象として距離を求めても構わない。 Here, c indicates the number of the stereo imaging device that has captured the central visual field. In the present embodiment, the example in which the central visual field is the attention area has been described. However, the distance is obtained by using the closest distance area, the highest saliency area, or the manually specified area in the display image as the attention object. It doesn't matter.
また、距離情報取得部２０３は、取得した距離を時間方向に平滑化することにより、後述される仮想カメラの画角が瞬間的に変化してしまうことを防ぐことができる。例えば、図９に示されるように、視聴者が視点からの距離が異なる複数の被写体が含まれる映像を視聴する場合、視聴者が遠くの物体９０１を見ている状態から右方向に振り向くと、最終的に近くの物体９０４を見ることになる。この場合、物体９０１を含む表示視差画像が表示された後、物体９０４を含む表示視差画像が表示される。このとき、中心視野における物体が切り替わる時に、仮想カメラの画角が大きく変化してしまう可能性がある。そこで、現時点における中心領域の距離ｄnだけではなく、前回表示視差画像を生成した際の距離の出力値ｄn-1に基づいて現在の距離の出力値を平滑化する。例えば、現時点の距離の影響度をａ（０≦ａ≦１）とすると、平滑化後の距離の出力値ｄn’は、以下の（式２）で算出することができる。
ｄn’＝ｄｎ×ａ＋ｄn-1’×（１−ａ）・・・（式２）
Moreover, the distance information acquisition unit 203 can prevent the angle of view of a virtual camera, which will be described later, from changing instantaneously by smoothing the acquired distance in the time direction. For example, as shown in FIG. 9, when a viewer watches a video including a plurality of subjects with different distances from the viewpoint, when the viewer turns to the right from a state of looking at a distant object 901, Eventually, a nearby object 904 will be seen. In this case, after the display parallax image including the object 901 is displayed, the display parallax image including the object 904 is displayed. At this time, when the object in the central visual field is switched, the angle of view of the virtual camera may change greatly. Therefore, the output value of the current distance is smoothed based not only on the distance d n of the central area at the current time but also on the output value d n−1 of the distance when the display parallax image was generated last time. For example, assuming that the influence degree of the current distance is a (0 ≦ a ≦ 1), the output value d n ′ of the distance after smoothing can be calculated by the following (Formula 2).
d n ′ = dn × a + d n−1 ′ × (1-a) (Formula 2)
図１０（ａ）（ｂ）は、図９に示されるシーンにおいて、横軸を時間とし、縦軸を距離として、注目領域における被写体（物体９０１〜９０４）までの距離の遷移を示すグラフである。図１０（ａ）に示されるグラフでは、平滑化される前の距離の出力値が示されている。一方、図１０（ｂ）に示されるグラフでは、平滑化された後の距離の出力値が示されている。このように、距離情報取得部２０３は、取得した距離を時間方向に平滑化することにより、仮想カメラの画角が大きく変化してしまうことを抑制することができる。 FIGS. 10A and 10B are graphs showing the transition of the distance to the subject (objects 901 to 904) in the attention area, with the horizontal axis representing time and the vertical axis representing distance in the scene shown in FIG. . In the graph shown in FIG. 10A, the output value of the distance before smoothing is shown. On the other hand, the graph shown in FIG. 10B shows the output value of the distance after smoothing. In this way, the distance information acquisition unit 203 can suppress the view angle of the virtual camera from changing greatly by smoothing the acquired distance in the time direction.
Ｓ３０５において、視野角取得部２０５は、視聴者が接眼レンズ８０４を通じてディスプレイパネル８０３を見た場合の視野角βを取得し、取得した視野角βを画角調整部２０６に送出する。本実施形態では、例えば、ｘ軸方向（横方向）の視野角βが取得される。この視野角βは予め記憶領域に保存されていて、必要に応じて読み出されてもよい。 In step S <b> 305, the viewing angle acquisition unit 205 acquires the viewing angle β when the viewer views the display panel 803 through the eyepiece 804, and sends the acquired viewing angle β to the view angle adjustment unit 206. In the present embodiment, for example, the viewing angle β in the x-axis direction (lateral direction) is acquired. This viewing angle β is stored in the storage area in advance, and may be read out as necessary.
Ｓ３０６において、画角調整部２０６は、ヘッドマウントディスプレイの姿勢情報と、距離情報と、ステレオ撮像装置に関する情報とに基づき、左目用表示画像ＪLと、右目用表示画像ＪRとを仮想的に撮像する仮想カメラの画角を調整する。本実施形態において、画角調整部２０６は、ヘッドマウントディスプレイ８００の上下方向に延びる軸周りの回転量αと、ステレオ撮像装置の正面方向θcとを利用して仮想カメラの画角を調整する。 In S306, the angle-of-view adjustment unit 206 virtually generates the left-eye display image JL and the right-eye display image JR based on the posture information of the head mounted display, the distance information, and the information related to the stereo imaging device. Adjust the angle of view of the virtual camera to be imaged. In the present embodiment, the angle-of-view adjustment unit 206 adjusts the angle of view of the virtual camera using the rotation amount α around the axis extending in the vertical direction of the head mounted display 800 and the front direction θ c of the stereo imaging device. .
ここで、本実施形態における仮想カメラは、入力視差画像である全天球画像ＩL,ＩRに対して、指定した撮像方向および画角でフレーミングして表示画像ＪL，ＪRを抽出することができる仮想的な撮像装置である。このとき、画角調整部２０６は、まず、全天球画像ＩL,ＩRを内表面にマッピングした球を仮想空間上に配置する。そして、画角調整部２０６は、仮想カメラの撮像方向および画角を調整することにより、あたかも実際のカメラで撮像するように、全天球画像ＩL,ＩRの一部をフレーミングして表示画像ＪL，ＪRを出力することができる。 Here, the virtual camera according to the present embodiment extracts display images J L and J R by framing the omnidirectional images I L and I R that are input parallax images with a designated imaging direction and angle of view. It is a virtual imaging device that can. At this time, the angle-of-view adjustment unit 206 first arranges a sphere in which the omnidirectional images I L and I R are mapped on the inner surface in the virtual space. Then, the angle-of-view adjusting unit 206 adjusts the imaging direction and angle of view of the virtual camera to frame and display a part of the omnidirectional images I L and I R as if they were captured by an actual camera. Images J L and J R can be output.
図１１は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とを示す模式図である。図１１（ａ）は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とのずれが０°の場合の例を示す図であり、これは視聴者が図６における方向Ａを見ている状態と一致する。このとき、ステレオ撮像装置の向きと、視聴者が映像を見る方向とは同じ方向を向いているため、図７に示されるように、左目用表示画像ＪLに含まれる被写体と、右目用表示画像ＪRに含まれる被写体との間で大きさのずれは発生しない。一方、図１１（ｂ）は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とが所定の角度ずれている場合の例を示す図であり、これは視聴者が図６における方向Ｂを見ている状態と一致する。このとき、左目用表示画像ＪLを生成するために用いられる左仮想カメラの画角と、右目用表示画像ＪRを生成するために用いられる右仮想カメラの画角とを調整せずに生成した画像例が、図１２に示される。 FIG. 11 is a schematic diagram illustrating the direction of the stereo imaging device and the direction in which the viewer views the video. FIG. 11A is a diagram illustrating an example in which the deviation between the direction of the stereo imaging device and the direction in which the viewer views the video is 0 °. This is because the viewer looks at direction A in FIG. It matches the state. At this time, since the direction of the stereo imaging device and the direction in which the viewer views the video are facing the same direction, the subject included in the left-eye display image J L and the right-eye display as shown in FIG. There is no difference in size between the subject included in the image JR . On the other hand, FIG. 11B is a diagram illustrating an example in which the orientation of the stereo imaging device and the direction in which the viewer views the video are deviated from each other by a predetermined angle. Matches the state of watching. At this time, it is generated without adjusting the angle of view of the left virtual camera used to generate the display image J L for the left eye and the angle of view of the right virtual camera used to generate the display image J R for the right eye. An example of such an image is shown in FIG.
図１２示されるように、左目用表示画像ＪLに含まれる被写体は小さく、右目用表示画像ＪRに含まれる被写体は大きく表示されてしまう。これは、左仮想カメラは右仮想カメラに比べて被写体までの距離が遠くなるためである。そのため、本実施形態の画像処理装置１００は、左仮想カメラの画角を狭くすることにより左目用表示画像ＪLにおける被写体を大きくし、右仮想カメラの画角を広くすることにより右目用表示画像ＪRにおける被写体を小さくする。これにより、画角調整部２０６は、左目用表示画像ＪLと右目用表示画像ＪRとにおける被写体の大きさを揃えることができる。 As shown in FIG. 12, the subject included in the left-eye display image J L is small, and the subject included in the right-eye display image J R is displayed large. This is because the left virtual camera has a longer distance to the subject than the right virtual camera. Therefore, the image processing apparatus 100 of this embodiment, on the subject in the left-eye display image J L by narrowing the angle of view of the left virtual camera, the right-eye display image by widening the angle of view of the right virtual camera Reduce the subject in JR . Thereby, the angle-of-view adjusting unit 206 can align the sizes of the subjects in the left-eye display image J L and the right-eye display image J R.
図１３および図１４は、全天球画像ＩL,ＩRからフレーミングされる範囲の一例を示す図である。図１３は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とのずれが０°の場合の例を示す図であり、左右の仮想カメラが全天球画像ＩL,ＩRをフレーミングしている範囲１３０１，１３０２は等しい。一方、図１４は、ステレオ撮像装置の向きと、視聴者が映像を見る方向とが所定の角度ずれている場合の例を示す図である。図１４において、被写体からの距離が遠い左仮想カメラによってフレーミングされる範囲１４０１は小さく、被写体からの距離が近い右仮想カメラによってフレーミングされる範囲１４０２は大きい。調整後の左仮想カメラの画角βLと、調整後の右仮想カメラの画角βRとは、以下の（式３）（式４）をそれぞれ用いて算出することができる。 FIG. 13 and FIG. 14 are diagrams illustrating an example of a range that is framed from the omnidirectional images I L and I R. FIG. 13 is a diagram illustrating an example in which the deviation between the direction of the stereo imaging device and the direction in which the viewer views the video is 0 °, and the left and right virtual cameras frame the omnidirectional images I L and I R. The ranges 1301 and 1302 are equal. On the other hand, FIG. 14 is a diagram illustrating an example in which the direction of the stereo imaging device and the direction in which the viewer views the video are shifted by a predetermined angle. In FIG. 14, the range 1401 that is framed by the left virtual camera that is far from the subject is small, and the range 1402 that is framed by the right virtual camera that is close to the subject is large. And angle beta L of the left virtual camera after adjustment, the angle beta R Reconciled right virtual camera, the following equation (3) can be calculated using (Equation 4), respectively.
注目被写体までの距離が遠くなるほど、全天球画像ＩL,ＩRに含まれる被写体の大きさのずれは小さくなるため、仮想カメラの画角調整による効果は小さくなる。そのため、予め閾値を設定しておき、注目被写体までの距離が所定の閾値以上の場合は画角の調整を行わないように制御してもよい。 As the distance to the subject of interest increases, the difference in size of the subject included in the omnidirectional images I L and I R becomes smaller, so the effect of adjusting the angle of view of the virtual camera becomes smaller. Therefore, a threshold value may be set in advance, and control may be performed so that the angle of view is not adjusted when the distance to the subject of interest is greater than or equal to a predetermined threshold value.
また、別実施形態では、画像処理装置１００は、画角調整部２０６に代えて、焦点距離調整部を有していてもよい。別実施形態の焦点距離調整部は、左仮想カメラの焦点距離を長くすることにより左目用表示画像ＪLにおける被写体を大きくし、右仮想カメラの焦点距離を短くすることにより右目用表示画像ＪRにおける被写体を小さくする。これにより、焦点距離調整部は、左目用表示画像ＪLと右目用表示画像ＪRとにおける被写体の大きさを揃えることができる。 In another embodiment, the image processing apparatus 100 may include a focal length adjustment unit instead of the view angle adjustment unit 206. Focal length adjusting portion of another embodiment, to increase the subject in the left-eye display image J L by increasing the focal length of the left virtual camera, focal distance display for the right eye by the shorter image of the right virtual camera J R Reduce the subject at. Thereby, the focal length adjustment unit can align the sizes of the subjects in the left-eye display image JL and the right-eye display image JR .
Ｓ３０７において、表示パラメータ取得部２０７は、入力デバイス１０７から表示パラメータを取得する。本実施形態において、表示パラメータは、ヘッドマウントディスプレイ８００に表示画像ＪL，ＪRを表示させるために必要なパラメータである。表示パラメータは、接眼レンズ８０４の歪曲率および中心位置、ならびに、ディスプレイパネル８０３の解像度およびサイズなどが相当する。表示パラメータ取得部２０７は、入力デバイス１０７からだけではなく、一旦記憶領域に保存された表示パラメータを取得してもよい。 In step S <b> 307, the display parameter acquisition unit 207 acquires display parameters from the input device 107. In the present embodiment, the display parameter is a parameter necessary for displaying the display images J L and J R on the head mounted display 800. The display parameters correspond to the distortion rate and center position of the eyepiece 804, the resolution and size of the display panel 803, and the like. The display parameter acquisition unit 207 may acquire the display parameters once stored in the storage area, not only from the input device 107.
Ｓ４００において、表示画像生成部２０８は、姿勢情報と、仮想カメラの画角と、全天球画像ＩL,ＩRを表す画像データと、表示パラメータとに基づいて、ヘッドマウントディスプレイ８００に表示させるための表示画像を生成する。上述の通り、本実施形態では、ヘッドマウントディスプレイ８００に表示される表示画像は、左目に提示される左目用表示画像ＪLと、右目に提示される右目用表示画像ＪRとから構成される。本実施形態において、それぞれの表示画像ＪL，ＪRは、接眼レンズ８０４を通して見たときに、視聴者が歪みなく表示画像ＪL，ＪRを見ることができるように、接眼レンズ８０４の歪曲を考慮して補正されている。本実施形態では、接眼レンズの歪曲を考慮した補正と、透視投影処理とが同時に行われるため、表示画像ＪL，ＪRを生成する処理に必要な時間を短縮することができる。 In S400, the display image generation unit 208 causes the head mounted display 800 to display based on the posture information, the angle of view of the virtual camera, the image data representing the omnidirectional images I L and I R , and the display parameters. A display image for generating is generated. As described above, in the present embodiment, the display image displayed on the head mounted display 800 includes the left-eye display image J L presented to the left eye and the right-eye display image JR presented to the right eye. . In this embodiment, the display images J L and J R are distorted by the eyepiece 804 so that the viewer can view the display images J L and JR without distortion when viewed through the eyepiece 804. It has been corrected to take into account. In the present embodiment, since the correction considering the distortion of the eyepiece lens and the perspective projection process are performed simultaneously, the time required for the process of generating the display images J L and J R can be shortened.
次に、図４のフローチャートを参照して、本実施形態における表示画像生成手順（Ｓ４００）の詳細について説明する。本実施形態の画像処理装置１００は、ヘッドマウントディスプレイ８００に表示する表示画像ＪL，ＪRを、ヘッドマウントディスプレイ８００を装着している視聴者が向いている方向に応じて、全天球画像ＩL,ＩRからサンプリングして生成する。表示画像生成部２０８は、ヘッドマウントディスプレイ８００の姿勢情報を仮想カメラの姿勢情報として用い、ディスプレイパネル８０３上のいずれの画素位置にいずれの向きからの光線を再現するかを演算する。この光線の向きは、ヘッドマウントディスプレイ８００における上下方向に延びる軸周りの角度を表す方位角θと、左右方向に延びる軸周りの角度を表す仰角φとによって表される。表示画像生成部２０８は、接眼レンズ８０４の中心を原点とした座標系における画素の位置を（ｘ，ｙ）とした場合、光線の向き（θ，φ）を計算し、その向きから表示画像ＪL，ＪRにおける画素値を求めることができる。以下、図４のフローチャートを参照して詳細を説明する。また、図４のフローチャートによる処理は、左目用表示画像ＪLの全ての画素と、右目用表示画像ＪRの全ての画素についてそれぞれ実行される。 Next, details of the display image generation procedure (S400) in the present embodiment will be described with reference to the flowchart of FIG. The image processing apparatus 100 according to the present embodiment displays the display images J L and J R displayed on the head mounted display 800 according to the direction in which the viewer wearing the head mounted display 800 faces. Generated by sampling from I L and I R. The display image generation unit 208 uses the posture information of the head mounted display 800 as the posture information of the virtual camera, and calculates which light beam from which direction is reproduced at which pixel position on the display panel 803. The direction of the light beam is represented by an azimuth angle θ representing an angle around an axis extending in the vertical direction in the head mounted display 800 and an elevation angle φ representing an angle around the axis extending in the left-right direction. The display image generation unit 208 calculates the direction (θ, φ) of the light beam when the pixel position in the coordinate system with the center of the eyepiece 804 as the origin is (x, y), and displays the display image J from the direction. Pixel values at L and J R can be obtained. Details will be described below with reference to the flowchart of FIG. Further, the process according to the flowchart of FIG. 4 is executed for all the pixels of the left-eye display image J L and for all the pixels of the right-eye display image J R.
Ｓ４０１において、表示画像生成部２０８は、ヘッドマウントディスプレイ８００上に表示される表示画像ＪL，ＪRにおける画素位置（ｘ，ｙ）の歪曲率を取得する。図１５は、接眼レンズ８０４の歪曲によって、画素位置がずれる一例を示す模式図である。接眼レンズ８０４の歪曲量は、接眼レンズ８０４の中心からの距離ｒと、接眼レンズの光学特性とによって定まる。そのため、画像処理装置１００は、接眼レンズ８０４に使用するレンズの種類に応じて、接眼レンズ８０４の中心からの距離ｒと、レンズの歪曲率とが対応付けられたルックアップテーブルを参照して、接眼レンズ８０４の歪曲率を取得することができる。なお、このようなルックアップテーブルは、記憶領域に予め記憶されておくものとする。また、入射光線の波長ごとに接眼レンズ８０４の歪曲率が異なる場合、Ｒ，Ｇ，Ｂ色成分の波長ごとのルックアップテーブルを記憶領域に予め記憶しておいてもよい。そして、Ｒ，Ｇ，Ｂ色成分ごとの歪曲率を取得して、以後のステップでＲ，Ｇ，Ｂ色成分ごとに異なる歪曲率を使用して表示画像の生成処理を行う。また、歪曲率の算出において、あらかじめ画素位置ごとに歪曲率を参照できるようにルックアップテーブルを作成しておき、接眼レンズ８０４の中心からの距離ｒに関する計算を省略できるようにしてもよい。さらに、接眼レンズ８０４の中心からの距離が遠く、視聴者が接眼レンズ８０４を通して視聴可能な範囲を超えている場合、表示画像ＪL，ＪRにおける画素値を黒に設定してＳ４０２〜Ｓ４０５処理をスキップしてもよい。 In step S <b> 401, the display image generation unit 208 acquires the distortion rate of the pixel position (x, y) in the display images J L and J R displayed on the head mounted display 800. FIG. 15 is a schematic diagram illustrating an example in which the pixel position is shifted due to distortion of the eyepiece lens 804. The amount of distortion of the eyepiece 804 is determined by the distance r from the center of the eyepiece 804 and the optical characteristics of the eyepiece. Therefore, the image processing apparatus 100 refers to a lookup table in which the distance r from the center of the eyepiece lens 804 and the distortion rate of the lens are associated with each other according to the type of lens used for the eyepiece lens 804. The distortion rate of the eyepiece 804 can be acquired. It is assumed that such a lookup table is stored in advance in the storage area. Further, when the distortion rate of the eyepiece 804 is different for each wavelength of incident light, a lookup table for each wavelength of R, G, B color components may be stored in advance in the storage area. Then, the distortion rate for each of the R, G, and B color components is acquired, and display image generation processing is performed using a different distortion rate for each of the R, G, and B color components in subsequent steps. In calculating the distortion rate, a lookup table may be created in advance so that the distortion rate can be referred to for each pixel position, and the calculation regarding the distance r from the center of the eyepiece 804 may be omitted. Further, when the distance from the center of the eyepiece lens 804 is far and the viewer is beyond the range that can be viewed through the eyepiece lens 804, the pixel values in the display images J L and J R are set to black and the processing in S402 to S405 is performed. May be skipped.
Ｓ４０２において、表示画像生成部２０８は、接眼レンズ８０４の歪曲に起因する屈折によって、光線が射出しているように見える画素位置を計算する。接眼レンズ８０４の歪曲を考慮した画素位置（ｘd，ｙd）は、画素位置（ｘ，ｙ）にそれぞれ歪曲率ｄを積算することによって計算することができる。具体的には、以下の（式５）（式６）をそれぞれ用いて計算することができる。
ｘd＝ｘ×ｄ・・・（式５）
ｙd＝ｙ×ｄ・・・（式６）
In step S <b> 402, the display image generation unit 208 calculates a pixel position where a light beam appears to be emitted by refraction caused by distortion of the eyepiece lens 804. The pixel position (x d , y d ) considering the distortion of the eyepiece 804 can be calculated by adding the distortion rate d to the pixel position (x, y), respectively. Specifically, it can be calculated using (Equation 5) and (Equation 6) below.
x d = x × d (Formula 5)
y d = y × d (Formula 6)
Ｓ４０３において、表示画像生成部２０８は、Ｓ４０２の演算で求めた画素位置（ｘd，ｙd）を、視聴者の視点を原点とする３次元空間における座標（Ｘ，Ｙ，Ｚ）に変換する。図１６は、本実施形態において、視聴者の視点を原点とする３次元座標系の一例を示す模式図である。ヘッドマウントディスプレイ８００（仮想カメラ）の姿勢情報を３×３の回転行列Ｒ、画素単位で表現した焦点距離をｆとすると、３次元空間における座標（Ｘ，Ｙ，Ｚ）は、以下の（式７）によって計算することができる。なお、Ｓ４０２、Ｓ４０３における一連の処理は、本実施形態において位置取得手段に相当する。
［Ｘ Ｙ Ｚ］t＝Ｒ×［ｘ ｙ ｆ］t・・・（式７）
In S403, the display image generation unit 208 converts the pixel position (x d , y d ) obtained by the calculation in S402 into coordinates (X, Y, Z) in a three-dimensional space with the viewer's viewpoint as the origin. . FIG. 16 is a schematic diagram illustrating an example of a three-dimensional coordinate system having the viewer's viewpoint as the origin in the present embodiment. When the posture information of the head mounted display 800 (virtual camera) is 3 × 3 rotation matrix R and the focal length expressed in units of pixels is f, the coordinates (X, Y, Z) in the three-dimensional space can be expressed as 7). Note that a series of processing in S402 and S403 corresponds to position acquisition means in the present embodiment.
[X Y Z] t = R × [x y f] t (Expression 7)
上記（式７）において、左目用表示画像ＪLか、右目用表示画像ＪRかによって、仮想カメラの画角が異なるため、左目用、右目用それぞれで異なる焦点距離の値が用いられる。具体的には、表示画像生成部２０８は、左目用表示画像ＪLにおける画素値を求める場合はｆ＝ｆLとし、右目用表示画像ＪRにおける画素値を求める場合はｆ＝ｆRとして、上記３次元空間における座標（Ｘ，Ｙ，Ｚ）を算出する。ｆLとｆRとは、以下の（式８）（式９）によって算出することができる。
ｆL＝ｆ×ｔａｎ（βL／２）／ｔａｎ（β／２）・・・（式８）
ｆR＝ｆ×ｔａｎ（βR／２）／ｔａｎ（β／２）・・・（式９）
In (Expression 7), since the angle of view of the virtual camera differs depending on whether the left-eye display image J L or the right-eye display image J R , different focal length values are used for the left eye and the right eye. Specifically, the display image generation unit 208 sets f = f L when obtaining the pixel value in the left-eye display image J L , and sets f = f R when obtaining the pixel value in the right-eye display image J R. The coordinates (X, Y, Z) in the three-dimensional space are calculated. f L and f R can be calculated by the following (formula 8) and (formula 9).
f L = f × tan (β L / 2) / tan (β / 2) (Equation 8)
f R = f × tan (β R / 2) / tan (β / 2) (Equation 9)
Ｓ４０４において、表示画像生成部２０８は、３次元空間における座標（Ｘ，Ｙ，Ｚ）から方位角θと、仰角φとを導出する。図１６に示される通り、原点から（Ｘ，Ｙ，Ｚ）までの距離をＬ＝（Ｘ2＋Ｙ2＋Ｚ2）1/2とすると、方位角θと、仰角φとは以下の（式１０）（式１１）によって計算することができる。
φ＝ａｓｉｎ（Ｙ／Ｌ） ・・・（式１０）
θ＝ａｓｉｎ（Ｚ／Ｌ／ｃｏｓφ）・・・（式１１）
In S404, the display image generation unit 208 derives the azimuth angle θ and the elevation angle φ from the coordinates (X, Y, Z) in the three-dimensional space. As shown in FIG. 16, if the distance from the origin to (X, Y, Z) is L = (X 2 + Y 2 + Z 2 ) 1/2 , the azimuth angle θ and the elevation angle φ are ) (Equation 11).
φ = asin (Y / L) (Formula 10)
θ = asin (Z / L / cos φ) (Equation 11)
Ｓ４０５において、表示画像生成部２０８は、Ｓ４０４で導出された方位角θと仰角φとによって特定される、全天球画像ＩL，ＩRにおける画素位置の画素値を取得して、取得した画素値を表示画像ＪL，ＪRの描画配列に格納する。このとき、左目用表示画像ＪLが生成される場合は全天球画像ＩLから画素値が取得され、右目用表示画像ＪRが生成される場合は全天球画像ＩRから画素値が取得される。 In S405, the display image generation unit 208 acquires the pixel values of the pixel positions in the omnidirectional images I L and I R specified by the azimuth angle θ and the elevation angle φ derived in S404, and acquires the acquired pixels. The value is stored in the drawing array of the display images J L and J R. At this time, if the left-eye display image J L is generated is acquired pixel value from the celestial sphere image I L, the pixel value from the celestial sphere image I R If the right-eye display image J R is generated To be acquired.
図１７は、本実施形態において、接眼レンズ８０４の中心に対応するディスプレイパネル８０３上の位置を原点とした場合の、表示画像ＪL，ＪRにおける位置関係を表した模式図である。Ｓ４０５で取得された画素値が格納される表示画像ＪL，ＪR中の位置は、図１７に示される原点から（ｘ，ｙ）移動した位置に相当する。なお、表示画像生成部２０８は、全天球画像ＩLから画素値を取得する際、バイリニア補間やバイキュービック補間など、取得対象となる画素の周辺画素から補間して画素値を取得してもよい。さらに、表示画像生成部２０８は、魚眼カメラなどで撮影した全天球画像から画素値を取得する場合、光線の向きと対応する画素位置との対応関係を規定したルックアップテーブルを予め記憶領域に保存しておいてもよい。表示画像生成部２０８は、このようなルックアップテーブルを参照することにより、複雑な演算を行うことなく、光線の向き（θ、φ）や画素位置（ｘ，ｙ）を導出することができる。 FIG. 17 is a schematic diagram showing the positional relationship between the display images J L and J R when the position on the display panel 803 corresponding to the center of the eyepiece lens 804 is the origin in the present embodiment. The positions in the display images J L and J R in which the pixel values acquired in S405 are stored correspond to positions moved (x, y) from the origin shown in FIG. Incidentally, the display image generating unit 208, when acquiring the pixel values from the celestial sphere image I L, such as bilinear interpolation or bicubic interpolation, also acquire the pixel value by interpolating from surrounding pixels of the pixel to be the acquisition target Good. Furthermore, when the display image generation unit 208 obtains pixel values from an omnidirectional image captured by a fisheye camera or the like, a display table that prescribes a correspondence relationship between the direction of light rays and the corresponding pixel position is stored in advance in a storage area. You may save it in The display image generation unit 208 can derive the direction of light (θ, φ) and the pixel position (x, y) without performing a complicated calculation by referring to such a lookup table.
Ｓ４０６において、表示画像生成部２０８は、表示画像ＪL，ＪRにおける全画素の処理が完了したか否かを判定する。全画素の処理が完了した場合（Ｓ４０６：ＹＥＳ）、表示画像生成処理を完了して再び図３のフローチャートに復帰する。全画素の処理が完了していない場合（Ｓ４０６：ＮＯ）、再びＳ４０１〜Ｓ４０５の処理を繰り返す。 In step S406, the display image generation unit 208 determines whether or not the processing of all the pixels in the display images J L and J R has been completed. When the process for all pixels is completed (S406: YES), the display image generation process is completed and the process returns to the flowchart of FIG. If all the pixels have not been processed (S406: NO), the processes of S401 to S405 are repeated again.
再び図３のフローチャートに戻り、Ｓ３０９において、画像データ出力部２０９は、Ｓ４００において生成された表示画像ＪL，ＪRをヘッドマウントディスプレイ８００に出力し、表示画像ＪL，ＪRをディスプレイパネル８０３に表示する。 Returning to the flowchart of FIG. 3 again, in S309, the image data output unit 209 outputs the display images J L and J R generated in S400 to the head mounted display 800, and displays the display images J L and J R on the display panel 803. To display.
Ｓ３１０において、画像処理部２００は、次の表示画像を生成するか否かを判定する。次の表示画像は、例えば、動画における次フレームの画像などが相当する。次の表示画像が生成される場合（Ｓ３１０：ＹＥＳ）、再びＳ３０１に戻り表示画像生成処理が繰り返される。次の表示画像が生成されない場合（Ｓ３１０：ＮＯ）、本フローチャートの処理を終了する。 In step S310, the image processing unit 200 determines whether to generate the next display image. The next display image corresponds to, for example, an image of the next frame in the moving image. When the next display image is generated (S310: YES), the process returns to S301 again and the display image generation process is repeated. When the next display image is not generated (S310: NO), the process of this flowchart is terminated.
以上説明した通り、本実施形態の画像処理装置によれば、ヘッドマウントディスプレイの姿勢情報と、撮像装置に関する情報と、注目領域における距離情報とに基づき、入力視差画像をフレーミングする仮想カメラの画角を調整する。そのため、ステレオ撮像装置の向きと、視聴者が映像を見る方向とが所定の角度ずれている場合であっても、左目用表示画像ＪLと右目用表示画像ＪRとにおける被写体の大きさを揃えることができる。この結果、本実施形態の画像処理装置によれば、ヘッドマウントディスプレイに表示された映像を視聴する際の違和感を低減することができる。 As described above, according to the image processing apparatus of the present embodiment, the angle of view of the virtual camera that frames the input parallax image based on the attitude information of the head mounted display, the information about the imaging apparatus, and the distance information in the attention area. Adjust. Therefore, even if the orientation of the stereo imaging device and the direction in which the viewer views the video are shifted by a predetermined angle, the size of the subject in the left-eye display image J L and the right-eye display image J R is determined. Can be aligned. As a result, according to the image processing apparatus of this embodiment, it is possible to reduce a sense of discomfort when viewing the video displayed on the head mounted display.
また、仮想カメラの画角を調整する手法に依らず、左目用画像と右目用画像とに含まれる被写体の大きさを揃えるために、これらの画像を単純に拡大縮小した場合、接眼レンズの歪曲率を考慮した画像補正を正しく行えないという課題もあった。本実施形態の画像処理手法（Ｓ４００）によれば、全天球画像ＩL,ＩRの一部をフレーミングスする左仮想カメラと右仮想カメラとの画角をそれぞれ調整するため、表示画像ＪL，ＪRに対して、歪曲率を考慮した画像補正を正しく行えることができる。 Regardless of the method used to adjust the angle of view of the virtual camera, if these images are simply scaled to match the size of the subject contained in the left-eye image and the right-eye image, distortion of the eyepiece will occur. There is also a problem that image correction considering the rate cannot be performed correctly. According to the image processing method of the present embodiment (S400), omnidirectional image I L, for adjusting respectively the angle between the left virtual camera and the right virtual camera framing scan a portion of the I R, a display image J Image correction considering the distortion rate can be performed correctly for L and JR .
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other Examples]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００・・画像処理装置
２０１・・姿勢情報取得部
２０３・・距離情報取得部
２０４・・撮像情報取得部
２０６・・画角調整部
２０８・・表示画像生成部
８００・・ヘッドマウントディスプレイ
DESCRIPTION OF SYMBOLS 100 .. Image processing apparatus 201 .. Attitude information acquisition part 203 ... Distance information acquisition part 204 ... Imaging information acquisition part 206 ... Angle of view adjustment part 208 ... Display image generation part 800 ... Head mount display
Claims (15)
入力視差画像に含まれる被写体までの距離情報を取得する距離情報取得手段と、
前記入力視差画像を撮像した撮像装置に関する情報を取得する撮像情報取得手段と、
前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの画角を調整する画角調整手段と、
前記姿勢情報と、前記調整された画角と、前記ヘッドマウントディスプレイの表示パラメータとに基づいて、前記入力視差画像から前記表示視差画像を生成する生成手段と、を有する
ことを特徴とする画像処理装置。 Attitude information acquisition means for acquiring attitude information of the head mounted display;
Distance information acquisition means for acquiring distance information to a subject included in the input parallax image;
Imaging information acquisition means for acquiring information related to the imaging device that captured the input parallax image;
An angle-of-view adjusting unit that adjusts an angle of view of a virtual camera used to generate a display parallax image displayed on the head-mounted display based on the posture information, the distance information, and information on the imaging device. When,
Image processing comprising: generating means for generating the display parallax image from the input parallax image based on the posture information, the adjusted angle of view, and a display parameter of the head mounted display. apparatus.
ことを特徴とする請求項１に記載の画像処理装置。 The angle-of-view adjusting unit includes an angle of view of a left virtual camera used for generating a left-eye display image presented to the viewer's left eye among the displayed parallax images, and a right eye presented to the viewer's right eye. The image processing apparatus according to claim 1, wherein the angle of view of the right virtual camera used for generating the display image for use is adjusted.
ことを特徴とする請求項２に記載の画像処理装置。 The angle-of-view adjusting unit is configured to detect the size of the subject included in the display image for the left eye based on a deviation between the orientation of the head mounted display indicated by the posture information and the orientation of the imaging device indicated by information related to the imaging device. The angle of view of the left virtual camera and the angle of view of the right virtual camera are respectively adjusted so that the difference between the size of the subject included in the display image for the right eye and the size of the subject is reduced. An image processing apparatus according to 1.
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 The angle of view adjustment unit does not adjust the angle of view of the virtual camera when the distance indicated by the distance information is greater than or equal to a predetermined threshold value. Image processing apparatus.
前記姿勢情報と、前記表示パラメータとに基づいて、前記ヘッドマウントディスプレイ上に表示される前記表示視差画像における画素位置であって、視聴者の視点を含む３次元空間における画素位置を取得する位置取得手段と、
前記調整された画角と、前記取得された画素位置とに基づいて導出された方位角と仰角とによって特定される、前記入力視差画像における画素位置の画素値を、前記取得された画素位置の画素値とするサンプリング手段と、をさらに有する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 The generating means includes
Based on the posture information and the display parameter, position acquisition is performed for acquiring a pixel position in the display parallax image displayed on the head-mounted display and in a three-dimensional space including a viewer's viewpoint. Means,
The pixel value of the pixel position in the input parallax image specified by the adjusted angle of view and the azimuth angle and elevation angle derived based on the acquired pixel position is determined as the pixel position of the acquired pixel position. The image processing apparatus according to claim 1, further comprising: a sampling unit that sets a pixel value.
ことを特徴とする請求項５に記載の画像処理装置。 The image processing according to claim 5, wherein the position acquisition unit acquires a pixel position in the display parallax image in consideration of a distortion rate of an eyepiece included in the head-mounted display indicated by the display parameter. apparatus.
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the distance information acquisition unit calculates the distance information based on a parallax amount of the input parallax image.
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。 The distance information acquisition unit acquires distance information to a subject included in a central area among areas of the input parallax image framed by the virtual camera. The image processing apparatus according to item.
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 The image processing according to any one of claims 1 to 8, wherein the distance information acquisition unit smoothes a distance indicated by the distance information in a time direction, and acquires the smoothed distance information. apparatus.
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the input parallax image is an omnidirectional image.
ことを特徴とする請求項１０に記載の画像処理装置。 The said generation means produces | generates the said display parallax image in the area | region framed by the said virtual camera from the said omnidirectional image mapped by the inner surface of the ball | bowl arrange | positioned in virtual space. An image processing apparatus according to 1.
前記撮像装置に関する情報は、前記ステレオ撮像装置の向き、基線長および焦点距離を少なくとも含む
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。 The imaging device is a stereo imaging device including at least two imaging systems,
The image processing apparatus according to claim 1, wherein the information regarding the imaging apparatus includes at least a direction, a base line length, and a focal length of the stereo imaging apparatus.
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。 Instead of the angle-of-view adjustment unit, a virtual camera used for generating a display parallax image displayed on the head-mounted display based on the posture information, the distance information, and information on the imaging device The image processing apparatus according to claim 1, further comprising: a focal length adjusting unit that adjusts a focal length.
入力視差画像に含まれる被写体までの距離情報を取得する距離情報取得ステップと、
前記入力視差画像を撮像した撮像装置に関する情報を取得する撮像情報取得ステップと、
前記姿勢情報と、前記距離情報と、前記撮像装置に関する情報とに基づいて、前記ヘッドマウントディスプレイに表示される表示視差画像を生成するために用いられる仮想カメラの画角を調整する画角調整ステップと、
前記姿勢情報と、前記調整された画角と、前記ヘッドマウントディスプレイの表示パラメータとに基づいて、前記入力視差画像から前記表示視差画像を生成する生成ステップと、を有する
ことを特徴とする画像処理方法。 Attitude information acquisition step for acquiring the attitude information of the head mounted display;
A distance information acquisition step of acquiring distance information to a subject included in the input parallax image;
An imaging information acquisition step of acquiring information related to an imaging device that captured the input parallax image;
An angle-of-view adjustment step of adjusting an angle of view of a virtual camera used to generate a display parallax image displayed on the head-mounted display based on the posture information, the distance information, and information on the imaging device When,
An image processing comprising: generating a display parallax image from the input parallax image based on the posture information, the adjusted angle of view, and a display parameter of the head mounted display. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017144516A JP2019029721A (en) | 2017-07-26 | 2017-07-26 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017144516A JP2019029721A (en) | 2017-07-26 | 2017-07-26 | Image processing apparatus, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019029721A true JP2019029721A (en) | 2019-02-21 |
Family
ID=65478761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017144516A Pending JP2019029721A (en) | 2017-07-26 | 2017-07-26 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019029721A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021002256A1 (en) * | 2019-07-02 | 2021-01-07 | ソニー株式会社 | Information processing system, information processing method, and program |
| WO2022070270A1 (en) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | Image generation device and image generation method |
| US11706396B2 (en) | 2020-09-10 | 2023-07-18 | Canon Kabushiki Kaisha | Image processing apparatus that performs processing concerning display of stereoscopic image, image processing method, and storage medium |
-
2017
- 2017-07-26 JP JP2017144516A patent/JP2019029721A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021002256A1 (en) * | 2019-07-02 | 2021-01-07 | ソニー株式会社 | Information processing system, information processing method, and program |
| US11706396B2 (en) | 2020-09-10 | 2023-07-18 | Canon Kabushiki Kaisha | Image processing apparatus that performs processing concerning display of stereoscopic image, image processing method, and storage medium |
| WO2022070270A1 (en) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | Image generation device and image generation method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113382168B (en) | Apparatus and method for storing overlapping regions of imaging data to produce an optimized stitched image | |
| JP6808484B2 (en) | Image processing device and image processing method | |
| US8768043B2 (en) | Image display apparatus, image display method, and program | |
| US10497140B2 (en) | Hybrid depth sensing pipeline | |
| US8908011B2 (en) | Three-dimensional video creating device and three-dimensional video creating method | |
| JP5666069B1 (en) | Coordinate calculation apparatus and method, and image processing apparatus and method | |
| JP5812716B2 (en) | Image processing apparatus and method | |
| JP2008085446A (en) | Image generator and image generation method | |
| US8965105B2 (en) | Image processing device and method | |
| JP2010072477A (en) | Image display apparatus, image display method, and program | |
| US11812009B2 (en) | Generating virtual reality content via light fields | |
| US10277891B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20190266802A1 (en) | Display of Visual Data with a Virtual Reality Headset | |
| WO2018032841A1 (en) | Method, device and system for drawing three-dimensional image | |
| JP4819834B2 (en) | 3D image processing apparatus and 3D image processing method | |
| JP2019029721A (en) | Image processing apparatus, image processing method, and program | |
| EP3189493B1 (en) | Depth map based perspective correction in digital photos | |
| JP2015213299A (en) | Image processing system and image processing method | |
| EP3190566A1 (en) | Spherical virtual reality camera | |
| JP6700935B2 (en) | Imaging device, control method thereof, and control program | |
| JP2019121945A (en) | Imaging apparatus, control method of the same, and program | |
| JP2011211551A (en) | Image processor and image processing method | |
| KR101632514B1 (en) | Method and apparatus for upsampling depth image | |
| JPWO2018189880A1 (en) | Information processing apparatus, information processing system, and image processing method | |
| KR20110025083A (en) | Apparatus and method for displaying 3d image in 3d image system |