JP2010256534A - Head-mounted display for omnidirectional image display - Google Patents

Head-mounted display for omnidirectional image display Download PDF

Info

Publication number
JP2010256534A
JP2010256534A JP2009105134A JP2009105134A JP2010256534A JP 2010256534 A JP2010256534 A JP 2010256534A JP 2009105134 A JP2009105134 A JP 2009105134A JP 2009105134 A JP2009105134 A JP 2009105134A JP 2010256534 A JP2010256534 A JP 2010256534A
Authority
JP
Japan
Prior art keywords
head
image
omnidirectional
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009105134A
Other languages
Japanese (ja)
Inventor
Katsuo Kawamura
佳津男 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009105134A priority Critical patent/JP2010256534A/en
Publication of JP2010256534A publication Critical patent/JP2010256534A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head-mounted display for easily watching a surrounding 360-degree panoramic image with a wide viewing angle. <P>SOLUTION: An annular display part 54 which is installed in the whole periphery of the head of a viewer 60 and which displays the 360-degree panoramic image; a gyro sensor which detects a rotation angle of the head of the viewer 60; and a rotary drive means (motor) 52 which rotates the annular display part 54 in the direction negating the rotation angle of the head detected by the gyro sensor are included. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、周囲３６０度の全方位撮像画像を表示するヘッドマウントディスプレイ装置に関する。   The present invention relates to a head mounted display device that displays 360-degree surrounding omnidirectional images.

複数台のカメラ（撮像部）をリング状に配置して周囲３６０度の画像を撮影できる全方位撮像装置が、下記の特許文献１，２に記載されている。この様な全方位撮像装置により、周囲３６０度のパノラマ画像を撮影するのは容易であるが、このパノラマ画像を表示するのは容易でない。   The following Patent Documents 1 and 2 describe omnidirectional imaging apparatuses that can arrange a plurality of cameras (imaging units) in a ring shape and capture an image of 360 degrees around. With such an omnidirectional imaging device, it is easy to capture a panoramic image of 360 degrees around, but it is not easy to display this panoramic image.

例えば、全方位撮像装置を監視カメラや定点カメラとして用い、周囲３６０度のパノラマ画像を撮影し、これを監視所設置の巨大な円筒状表示装置の内周面側に表示する構成にすれば、３６０度のパノラマ画像をそのまま表示することができる。しかし、これでは、個人が周囲３６０度のパノラマ画像を手軽に楽しむことはできない。   For example, if an omnidirectional imaging device is used as a monitoring camera or a fixed point camera, a panoramic image of 360 degrees around is taken, and this is displayed on the inner peripheral surface side of a huge cylindrical display device installed at a monitoring station, A 360-degree panoramic image can be displayed as it is. However, this makes it difficult for individuals to enjoy panoramic images around 360 degrees.

そこで、下記の特許文献３では、ヘッドマウントディスプレイ装置に表示する技術を提案している。この特許文献３の全方位撮像装置は、特許文献１，２に示される全方位撮像装置と構成が異なり、複数台のカメラの各々が凸面鏡を用いた全方位撮像カメラとなっており、且つ、２台１組とし、各組がステレオカメラとなっている。   Therefore, Patent Document 3 below proposes a technique for displaying on a head-mounted display device. The omnidirectional imaging device of Patent Document 3 is different in configuration from the omnidirectional imaging devices shown in Patent Documents 1 and 2, each of a plurality of cameras is an omnidirectional imaging camera using a convex mirror, and Two sets are one set, and each set is a stereo camera.

そして、撮像された画像を表示するヘッドマウントディスプレイ装置の左目前に置かれた左目用表示部と、右目前に置かれた右目用表示部とに、各組のステレオカメラの映像を切り替えながら表示することとしている。しかし、この切り替えの詳細についての記載はない。   Then, the images of each pair of stereo cameras are displayed while switching between the left-eye display unit placed in front of the left eye and the right-eye display unit placed in front of the right eye of the head-mounted display device that displays the captured image. To do. However, there is no description about the details of this switching.

ヘッドマウントディスプレイ装置に関しては、特許文献４にも記載がある。このヘッドマウントディスプレイ装置では、頭部にジャイロセンサを取り付け、使用者の頭部の動きに合わせて、全空間の３６０度の映像を実感できるようにしている。   The head mounted display device is also described in Patent Document 4. In this head mounted display device, a gyro sensor is attached to the head so that a 360-degree image of the entire space can be realized in accordance with the movement of the user's head.

しかしながら、この特許文献４記載のヘッドマウントディスプレイ装置は、特許文献３と同様に表示部が目の直前部分にしかないため視界が狭く、周囲３６０度の雄大なパノラマ画像を観賞するには不十分である。   However, the head-mounted display device described in Patent Document 4 has a narrow field of view because the display unit is only in front of the eyes as in Patent Document 3, and is insufficient for viewing a magnificent panoramic image of 360 degrees around. is there.

特開平１１―９８３４２号公報Japanese Patent Laid-Open No. 11-98342 特開２００４―６１８０８号公報JP 2004-61808 A 特開２００２―３５４５０５号公報JP 2002-354505 A 特開平９―１０６３２２号公報JP-A-9-106322

人間の目は、両目だとその視野が２００度程度と広いため、この広い視野を利用して周囲３６０度のパノラマ画像を観賞できる表示装置を提供できれば、全方位撮像装置の更なる普及が図れることになる。   Since the human eye has a wide field of view of about 200 degrees with both eyes, if a display device capable of viewing a 360-degree panoramic image using this wide field of view can be provided, the omnidirectional imaging device can be further spread. It will be.

本発明の目的は、人間の視野を最大限利用することができる周囲３６０度のパノラマ画像を観賞するのに好適な全方位画像表示用ヘッドマウントディスプレイ装置を提供することにある。   An object of the present invention is to provide an omnidirectional image display head-mounted display device suitable for viewing a 360-degree panoramic image that can make maximum use of the human visual field.

本発明の全方位画像表示用ヘッドマウントディスプレイ装置は、観賞者の頭部全周囲に設置され３６０度のパノラマ画像を内周面に表示する環状表示部と、観賞者の頭部の回転角を検出するジャイロセンサと、該ジャイロセンサが検出した前記頭部の回転角を打ち消す方向に前記環状表示部を回転させる回転駆動手段とを備えることを特徴とする。   The head mounted display device for omnidirectional image display according to the present invention includes an annular display unit that is installed around the entire head of the viewer and displays a 360-degree panoramic image on the inner peripheral surface, and the rotation angle of the head of the viewer. A gyro sensor to be detected and rotation driving means for rotating the annular display unit in a direction to cancel the rotation angle of the head detected by the gyro sensor are provided.

本発明によれば、周囲３６０度のパノラマ画像を広い視界で手軽に観賞することができる。   According to the present invention, it is possible to easily view a 360-degree panoramic image with a wide field of view.

全方位撮像装置の一例を示す上面図である。It is a top view which shows an example of an omnidirectional imaging device. 図１に示す各カメラの機能ブロック図である。It is a functional block diagram of each camera shown in FIG. 図１に示す各カメラを統括制御する制御部の機能ブロック図である。FIG. 2 is a functional block diagram of a control unit that performs overall control of each camera illustrated in FIG. 1. 本発明の一実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置の外観斜視図である。1 is an external perspective view of an omnidirectional image display head mounted display device according to an embodiment of the present invention. 図４に示す全方位画像表示用ヘッドマウントディスプレイ装置の横断面図である。It is a cross-sectional view of the omnidirectional image display head-mounted display device shown in FIG. 図４に示す円盤状制御箱内に収納する制御部の機能図である。It is a functional diagram of the control part accommodated in the disk shaped control box shown in FIG. 全方位ステレオ画像撮像装置の一例を示す上面図である。It is a top view which shows an example of an omnidirectional stereo image imaging device. 図４に示すヘッドマウントディスプレイ装置で全方位ステレオ画像を表示するときの動作説明図である。It is operation | movement explanatory drawing when displaying an omnidirectional stereo image with the head mounted display apparatus shown in FIG. 図８に続く動作説明図である。It is operation | movement explanatory drawing following FIG. 本発明の別実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置の説明図である。It is explanatory drawing of the head mounted display apparatus for an omnidirectional image display concerning another embodiment of this invention. 本発明の更に別実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置の説明図である。It is explanatory drawing of the head mounted display apparatus for the omnidirectional image display which concerns on another embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図１は、全方位撮像装置の平面図の一例である。この全方位撮像装置２０は、円盤状筐体２１の周壁部に等間隔に複数台のカメラ（撮像部）、この例では１６台のカメラ１，２，３，…，１６がリング状に固設されている。各カメラ１〜１６は、その入射光軸が、円盤状筐体２１の軸２２を中心として放射状となるように取り付けられ、隣接する入射光軸間の角度が３６０度÷１６＝２２．５度に設定される。   FIG. 1 is an example of a plan view of an omnidirectional imaging apparatus. In this omnidirectional imaging device 20, a plurality of cameras (imaging units) are arranged at equal intervals on the peripheral wall portion of the disk-shaped housing 21, and in this example, 16 cameras 1, 2, 3,. It is installed. Each camera 1-16 is attached so that its incident optical axis is radially centered on the axis 22 of the disk-shaped housing 21, and the angle between adjacent incident optical axes is 360 degrees ÷ 16 = 22.5 degrees. Set to

そして、隣接するカメラ同士の撮影画角が、端部分で重複するように設けられ、このため周囲３６０度の画像を各カメラが略１６分割して撮影し、各カメラ１〜１６の各撮像画像１６枚を貼り合わせ合成することで、周囲３６０度のパノラマ画像を得る様になっている。   The shooting angle of view between adjacent cameras is provided so as to be overlapped at the end portion. For this reason, each camera captures an image of 360 degrees around the camera by dividing it into approximately 16 parts. A panoramic image of 360 degrees around is obtained by combining 16 sheets.

図２は、カメラ１（他のカメラ２〜１６も同一構成）の機能ブロック図である。カメラ１は、固体撮像素子２５を備える。この固体撮像素子２５の前段に、絞り２６が配置され、その前段に、撮影レンズ２７が配置される。   FIG. 2 is a functional block diagram of the camera 1 (the other cameras 2 to 16 have the same configuration). The camera 1 includes a solid-state image sensor 25. A diaphragm 26 is disposed in front of the solid-state image sensor 25, and a photographing lens 27 is disposed in front of the diaphragm 26.

固体撮像素子２５から出力される撮像画像信号は、ＣＤＳＶＧＡ部（ＣＤＳ：相関二重サンプリング処理，ＶＧＡ：可変利得増幅器）２８、アナログ／デジタル（Ａ／Ｄ）変換部２９、ホワイトバランス（ＷＢ）演算部３０を通って、カメラ１の外部に設けられた制御部４０に入力される。   A picked-up image signal output from the solid-state image pickup device 25 includes a CDSVGA unit (CDS: correlated double sampling processing, VGA: variable gain amplifier) 28, an analog / digital (A / D) conversion unit 29, and a white balance (WB) calculation. The signal is input to the control unit 40 provided outside the camera 1 through the unit 30.

また、カメラ１には、制御部４０からの指示信号に基づいて各種タイミングパルスを生成するタイミングジェネレータ（ＴＧ）３１と、制御部４０からの指示信号に基づいて絞り２６の開口量調整を行う絞り駆動回路３２と、制御部４０からの指示信号に基づいて撮影レンズ２７の焦点位置調整等を行うレンズ駆動回路３３と、タイミングジェネレータ３１から出力される転送指示パルス等によって撮像素子２５を駆動する撮像素子駆動回路３４とを備える。また、ＣＤＳＶＧＡ部２８，Ａ／Ｄ変換部２９，ＷＢ演算部３０は、タイミングジェネレータ３１から出力される各タイミングパルスに従って動作する。   The camera 1 also includes a timing generator (TG) 31 that generates various timing pulses based on an instruction signal from the control unit 40, and an aperture that adjusts the opening amount of the diaphragm 26 based on the instruction signal from the control unit 40. Imaging that drives the imaging device 25 by a drive circuit 32, a lens drive circuit 33 that adjusts the focal position of the photographic lens 27 based on an instruction signal from the control unit 40, a transfer instruction pulse output from the timing generator 31, and the like. And an element driving circuit 34. Further, the CDSVGA unit 28, the A / D conversion unit 29, and the WB calculation unit 30 operate according to each timing pulse output from the timing generator 31.

図３は、図２に示す制御部４０のブロック構成図である。制御部４０は、カメラ１〜１６に対して指示信号を与えるＣＰＵ４１と、カメラ１〜１６から出力される各撮像画像信号を取り込むメモリ４２と、メモリ４２に取り込まれた各撮像画像信号に対して周知の画像処理（オフセット処理，ガンマ補正処理，ＲＧＢ／ＹＣ変換処理，同時化処理等）を施すと共に１６枚の画像を貼り合わせ合成して周囲３６０度のパノラマ画像を生成するデジタル信号処理部（ＤＳＰ）４３と、デジタル信号処理部４３によって処理された画像データを例えばＪＰＥＧ画像やＭＰＥＧ画像等に圧縮する圧縮部４４と、パノラマ合成されたＪＰＥＧ画像，ＭＰＥＧ画像等の画像データを記録メディア４５に格納するメディアインタフェース（Ｉ／Ｆ）４６と、１６台のカメラ１〜１６によって撮像された個々の画像やパノラマ画像を表示したり操作メニュー画面を表示する液晶表示部（ＬＣＤ）４７と、これらを相互接続するバス４８と、ＣＰＵ４１に対して操作員が指示を入力する操作部４９とを備える。   FIG. 3 is a block diagram of the control unit 40 shown in FIG. The control unit 40 provides a CPU 41 that gives an instruction signal to the cameras 1 to 16, a memory 42 that captures each captured image signal output from the cameras 1 to 16, and each captured image signal captured in the memory 42. A digital signal processing unit that performs well-known image processing (offset processing, gamma correction processing, RGB / YC conversion processing, synchronization processing, etc.) and combines and synthesizes 16 images to generate a 360-degree panoramic image. DSP) 43, a compression unit 44 that compresses the image data processed by the digital signal processing unit 43 into, for example, a JPEG image, an MPEG image, and the like, and image data such as a panorama synthesized JPEG image, MPEG image, etc. on the recording medium 45 Individual images captured by the media interface (I / F) 46 to be stored and the 16 cameras 1 to 16 Comprising a liquid crystal display unit for displaying a display or operation menu screen panorama image and (LCD) 47, and these bus 48 interconnecting, an operation unit 49 for operator against CPU41 to input instructions.

本発明の実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置５０（以下、ＨＭＤ装置５０ともいう。）は、メディアインタフェース４６を介してパノラマ画像が書き込まれた記録メディア４５を装着することで、周囲３６０度のパノラマ画像を表示する。尚、ＨＭＤ装置５０を制御部４０のバス４８にインタフェース装置を介して直接接続し、パノラマ画像データを取り込む構成とすることも可能である。   An omnidirectional image display head-mounted display device 50 (hereinafter also referred to as an HMD device 50) according to an embodiment of the present invention attaches a recording medium 45 on which a panoramic image is written via a media interface 46. A 360-degree panoramic image is displayed. The HMD device 50 may be directly connected to the bus 48 of the control unit 40 via an interface device to capture panoramic image data.

図４は、ＨＭＤ装置５０の外観斜視図であり、図５は、その横断面図である。ＨＭＤ装置５０は、全方位画像を観賞する観賞者６０の頭頂部に帽子のように被り固定するお椀形状のヘッド部５１と（図５）、ヘッド部５１にモータ５２によって回転可能に取り付けられた円盤状制御箱５３と、環状のディスプレイ装置５４と、このディスプレイ装置５４を円盤状制御箱５３に固定する支柱５５とを備える。円盤状制御箱５３の側面部には、記録メディア４５の挿入口５６が設けられている。   4 is an external perspective view of the HMD device 50, and FIG. 5 is a cross-sectional view thereof. The HMD device 50 has a bowl-shaped head portion 51 (FIG. 5) fixed like a hat on the top of the viewer 60 who appreciates an omnidirectional image, and is rotatably attached to the head portion 51 by a motor 52. A disk-shaped control box 53, an annular display device 54, and a column 55 for fixing the display device 54 to the disk-shaped control box 53 are provided. An insertion port 56 for the recording medium 45 is provided on the side surface of the disc-shaped control box 53.

円盤状制御箱５３内には、後述の制御部５７が設けられる。環状のディスプレイ装置５４は、観賞者６０の頭部全周を若干隙間を開けて囲む様に設けられた環状支持材５８と、この環状支持材５８の内周面に３６０度に渡って貼り付けられたフラットパネルディスプレイ（ＦＰＤ）５９とで構成される。   In the disc-like control box 53, a control unit 57 described later is provided. The annular display device 54 is attached to the annular support member 58 so as to surround the entire circumference of the head of the viewer 60 with a slight gap, and to the inner peripheral surface of the annular support member 58 over 360 degrees. Flat panel display (FPD) 59.

このＨＭＤ装置５０のヘッド部５１を観賞者６０が被ったとき、観賞者６０の目の位置がフラットパネルディスプレイ５９の上下の中央位置に対面するように位置調整が可能になっており、また、モータ５２が回転することで、円盤状制御箱５３と共に環状のフラットパネルディスプレイ５９が観賞者６０の目の位置で回転する様になっている。   When the viewer 60 wears the head portion 51 of the HMD device 50, the position of the viewer 60 can be adjusted so that the position of the eyes of the viewer 60 faces the upper and lower central positions of the flat panel display 59. As the motor 52 rotates, the annular flat panel display 59 rotates with the disc-shaped control box 53 at the eye position of the viewer 60.

図６は、ＨＭＤ装置５０の制御部５７の機能構成図である。制御部５７は、中央演算処理装置（ＣＰＵ）６１と、モータ５２の駆動信号生成部６２と、ジャイロセンサ（角速度検出センサ）６３と、ＣＰＵ６１がプログラム処理するときに使用するメモリ６４と、フラットパネルディスプレイ５９の表示制御を行う表示制御部６５と、記録メディア４５を装着する装着部６６とを備える。   FIG. 6 is a functional configuration diagram of the control unit 57 of the HMD device 50. The control unit 57 includes a central processing unit (CPU) 61, a drive signal generation unit 62 for the motor 52, a gyro sensor (angular velocity detection sensor) 63, a memory 64 used when the CPU 61 performs program processing, and a flat panel. A display control unit 65 for performing display control of the display 59 and a mounting unit 66 for mounting the recording medium 45 are provided.

斯かるＨＭＤ装置５０に、パノラマ画像データを格納した記録メディア４５を装着すると、周囲３６０度のパノラマ画像データが読み出され、表示制御部６５により、環状のフラットパネルディスプレイ５９に３６０度の画像が表示される。   When the recording medium 45 storing the panorama image data is attached to the HMD device 50, panorama image data of 360 degrees around the periphery is read out, and the 360 degrees image is displayed on the annular flat panel display 59 by the display control unit 65. Is displayed.

観賞者６０が少し右方向の画像を見ようとして頭部を少し右方向に回転させると、ジャイロセンサ６３がこの動きを感知してＣＰＵ６１に通知する。ＣＰＵ６１は、この通知により観賞者６０が右側の画像を見ようとしていると判断してモータ駆動信号生成部６２に環状ディスプレイ装置５４を左方向（反時計方向）に回転させる信号を生成させてモータ５２を駆動させる。   When the viewer 60 tries to view the image in the right direction and rotates his head slightly in the right direction, the gyro sensor 63 detects this movement and notifies the CPU 61 of it. Based on this notification, the CPU 61 determines that the viewer 60 is about to see the right image, and causes the motor drive signal generation unit 62 to generate a signal for rotating the annular display device 54 counterclockwise (counterclockwise). Drive.

もし、モータ５２が回転しないと、頭部の回転動作に従って環状ディスプレイ装置５４も同じ方向に回転してしまい、観賞者６０は右方向の画像を見ることはできない。しかし、モータ５２が頭部の回転方向を相殺する方向に回転するため、環状ディスプレイ装置５４の対地位置は一定で動かないことになる。この結果、観賞者６０はフラットパネルディスプレイ５９上の右方向の画像を見ることが可能となる。   If the motor 52 does not rotate, the annular display device 54 also rotates in the same direction according to the rotation of the head, and the viewer 60 cannot see the image in the right direction. However, since the motor 52 rotates in a direction that cancels the rotation direction of the head, the ground position of the annular display device 54 is constant and does not move. As a result, the viewer 60 can view the image in the right direction on the flat panel display 59.

人間の目の視野は、両目で２００度程度あり、目に正対する位置の画像はハッキリ見え、横方向の位置の画像はぼんやりとしか見えないが、横方向に画像があることで、パノラマ画像の広大さを感じることが可能となる。頭部を回転させて横方向の画像を見た場合でも、本実施形態の全方位画像表示用ヘッドマウントディスプレイ装置５０は周囲３６０度に渡ってパノラマ画像が表示されているため、観賞者６０の両目の視野２００度の範囲内に全てパノラマ画像が存在することになり、視野の広大さを感じることができる。   The field of vision of the human eye is about 200 degrees for both eyes, the image at the position facing the eyes is clearly visible, and the image at the horizontal position is only faintly visible. It becomes possible to feel the vastness. Even when the head is rotated and the image in the horizontal direction is viewed, the panoramic image is displayed over 360 degrees in the omnidirectional image display head-mounted display device 50 of the present embodiment. All panoramic images exist within the range of 200 degrees of the field of view of both eyes, and the breadth of the field of view can be felt.

この様に、観賞者６０の目を中心とした頭部全周囲に表示部を設けることにより、パノラマ画像の観賞に適したディスプレイ装置を提供可能となる。また、観賞者６０は、本能的に見たいと思う方向に頭部を動かすだけで、ジャイロセンサ６３が頭部の回転角速度を感知し、この回転角を打ち消す方向に環状ディスプレイ装置５４を逆回転させるため、操作が容易となる。   In this manner, by providing the display unit around the entire head centering on the eyes of the viewer 60, it is possible to provide a display device suitable for viewing panoramic images. In addition, the viewer 60 simply moves his head in the direction he wants to see instinctively, and the gyro sensor 63 senses the rotational angular velocity of the head and reversely rotates the annular display device 54 in a direction to cancel out this rotational angle. Therefore, the operation becomes easy.

上記説明では、モータ５２は頭部の回転角を打ち消す方向に回転して環状ディスプレイ装置５４の対地位置を不動となるように制御している。人間の頭部は、通常、真後ろを見れるまで回転させることはできないので、周囲３６０度のパノラマ画像のうち真後ろの画像まで見ることはできない。   In the above description, the motor 52 is controlled to rotate in a direction that cancels the rotation angle of the head so that the ground position of the annular display device 54 does not move. Since the human head usually cannot be rotated until it can be seen directly behind, it cannot see the image directly behind the 360-degree panoramic image.

真後ろの画像まで見たい場合には、別の手段で環状ディスプレイ装置５４を対地位置不動の位置から更に回転させる必要が生じる。例えばＨＭＤ装置５０に操作指示入力を行う操作部を取り付け、ここから回転指示を入力する構成としてもよい。また、ジャイロセンサ６３が感知する回転角速度の時間変化を算出し、ある程度以上の回転加速度を検出したとき、モータ５２を過回転させる様にしておけば、頭部の回転動作だけで真後ろの画像まで見ることが可能となる。   When it is desired to view the image immediately behind, it is necessary to further rotate the annular display device 54 from the position where the ground position does not move by another means. For example, an operation unit for inputting an operation instruction may be attached to the HMD device 50, and a rotation instruction may be input from here. In addition, if the temporal change of the rotational angular velocity sensed by the gyro sensor 63 is calculated and the rotational acceleration of a certain degree or more is detected, if the motor 52 is over-rotated, the head image can be obtained just by rotating the head. It becomes possible to see.

図７は、図１と異なる実施形態の全方位撮像装置の平面図である。この全方位撮像装置７０は、図１の全方位撮像装置２０を構成する各カメラ１〜１６のうち、隣接する２台のカメラ（１，２）（３，４）（５，６）（７，８）（９，１０）（１１，１２）（１３，１４）（１５，１６）をステレオカメラとしている点が図１と異なり、他の構成は図１〜図３と同じである。   FIG. 7 is a plan view of an omnidirectional imaging apparatus according to an embodiment different from FIG. This omnidirectional imaging device 70 includes two adjacent cameras (1, 2) (3,4) (5, 6) (7) among the cameras 1 to 16 constituting the omnidirectional imaging device 20 of FIG. , 8) (9, 10), (11, 12), (13, 14), (15, 16) are different from FIG. 1, and the other configurations are the same as those in FIGS.

即ち、図７の全方位撮像装置７０では、ステレオカメラを構成する各２台のカメラの入射光軸は並行となっており、各カメラ対の入射光軸が、軸２２の周りに３６０度÷８＝４５度毎に放射状に配置される。   That is, in the omnidirectional imaging apparatus 70 of FIG. 7, the incident optical axes of the two cameras constituting the stereo camera are parallel, and the incident optical axes of each camera pair are 360 degrees / axis around the axis 22 8 = disposed radially every 45 degrees.

各組カメラの左目用カメラ１，３，５，７，９，１１，１３，１５の各撮影視野画像をＬ１，Ｌ３，Ｌ５，Ｌ７，Ｌ９，Ｌ１１，Ｌ１３，Ｌ１５とし、右目用カメラ２，４，６，８，１０，１２，１４，１６の各撮影視野画像をＲ２，Ｒ４，Ｒ６，Ｒ８，Ｒ１０，Ｒ１２，Ｒ１４，Ｒ１６としたとき、左目用カメラだけで周囲３６０度の画像が撮影できるように各撮影画角の端部分が重なるように設置され、右目用カメラだけで周囲３６０度の画像が撮影できるように各撮影画角の端部分が重なるように設置される。   L1, L3, L5, L7, L9, L11, L13, and L15 are taken as the field-of-view images of the left-eye cameras 1, 3, 5, 7, 9, 11, 13, and 15 of each set camera. When the field of view images of 4, 6, 8, 10, 12, 14, and 16 are R2, R4, R6, R8, R10, R12, R14, and R16, an image of 360 degrees around is photographed only with the left-eye camera. It is installed so that the end portions of the shooting angle of view overlap each other, and the end portions of the shooting angle of view overlap so that an image of the surrounding 360 degrees can be taken only by the right-eye camera.

この様な全方位撮像装置７０で撮影した画像は、図３の信号処理部４３でパノラマ合成されるが、このとき、右目用カメラの８枚の撮像画像から周囲３６０度のパノラマ画像が合成され、左目用カメラの８枚の撮像画像から周囲３６０度のパノラマ画像が合成され、記録メディア４５に夫々保存される。   An image captured by such an omnidirectional imaging device 70 is panorama synthesized by the signal processing unit 43 of FIG. 3. At this time, a panoramic image of 360 degrees around is synthesized from eight captured images of the right-eye camera. 360-degree panoramic images are synthesized from the eight captured images of the left-eye camera and stored in the recording medium 45, respectively.

このステレオカメラによる撮像画像を、ＨＭＤ装置５０に表示する場合、図８に示す様に、観賞者の正対中心位置Ｐから右側１８０度の範囲７５に渡って、３６０度の右目用パノラマ画像のうち右側１８０度分の画像を表示する。そして、残りの左側１８０度分の画像は、ＨＭＤ装置５０には表示しないが、図６の表示制御部６５内のＶＲＡＭ上に画像データを展開しておき、必要時には直ちに表示可能な状態にしておく。   When an image captured by the stereo camera is displayed on the HMD device 50, as shown in FIG. 8, a 360-degree panoramic image for the right eye is spread over a range 75 of 180 degrees on the right side from the center position P of the viewer. Among them, an image for 180 degrees on the right side is displayed. The remaining 180-degree image on the left side is not displayed on the HMD device 50, but the image data is developed on the VRAM in the display control unit 65 of FIG. 6 so that it can be displayed immediately when necessary. deep.

同様に、正対中心位置Ｐから左側１８０度の範囲７６に渡って、３６０度の左目用パノラマ画像のうち左側１８０度分の画像を表示する。そして、残りの右側１８０度分の画像は、ＨＭＤ装置５０には表示しないが、図６の表示制御部６５内のＶＲＡＭ上に画像データを展開しておき、必要時には直ちに表示可能な状態にしておく。   Similarly, an image corresponding to 180 degrees on the left side of the 360-degree left-eye panoramic image is displayed over a range 76 of 180 degrees on the left side from the center position P. The remaining 180-degree image on the right side is not displayed on the HMD device 50, but the image data is developed on the VRAM in the display control unit 65 of FIG. 6 so that it can be displayed immediately when necessary. deep.

図８に示す状態では、観賞者の右目直前の画像はカメラ２の撮像視野画像Ｒ２となっており、左目直前の画像は、カメラ１の撮像視野画像Ｌ１になっており、観賞者６０は被写体のステレオ画像（立体画像）を見ることができる状態になっている。   In the state shown in FIG. 8, the image immediately before the right eye of the viewer is the imaging field image R2 of the camera 2, the image immediately before the left eye is the imaging field image L1 of the camera 1, and the viewer 60 is the subject. The stereo image (stereoscopic image) can be seen.

そして、前述した実施形態と同様にして、観賞者６０が左方向の画像を見たいとして頭部を左方向に回転させると、これをジャイロセンサ６３が感知してモータ５２を逆方向に回転させ、図９の状態となる。   In the same manner as in the above-described embodiment, when the viewer 60 wants to view the left image and rotates the head in the left direction, the gyro sensor 63 detects this and rotates the motor 52 in the reverse direction. FIG. 9 shows the state.

即ち、右目用として表示されている３６０度のパノラマ画像から切り出された１８０度の画像部分が回転角に応じて回転移動し、左目用として表示されている３６０のパノラマ画像から切り出された１８０度の画像部分が回転角に応じて回転移動する。   That is, the 180 degree image portion cut out from the 360 degree panoramic image displayed for the right eye is rotated according to the rotation angle, and the 180 degree cut out from the 360 panorama image displayed for the left eye is used. The image portion of the image is rotated according to the rotation angle.

この結果、観賞者６０の右目直前にはカメラ１６の撮像視野画像Ｒ１６が表示され、左目直前にはカメラ１５の撮像視野画像Ｌ１５が来る。この様にして、観賞者６０は、全方位のステレオ画像を容易に本能的な頭部（首）の動作によって見ることが可能となる。   As a result, the captured visual field image R16 of the camera 16 is displayed immediately before the right eye of the viewer 60, and the captured visual field image L15 of the camera 15 comes immediately before the left eye. In this way, the viewer 60 can easily view the omnidirectional stereo image by the instinct of the head (neck).

図９に示す撮像視野画像Ｒ１６は、図８の状態ではＨＭＤ装置５０に表示されていないが、上述した様に、ＶＲＡＭ上に画像データが展開されているため、図９の状態に移行するとき、環状ディスプレイ装置５４の回転に従って、正対中心位置Ｐから右側に移動してくるように表示される。   The captured visual field image R16 shown in FIG. 9 is not displayed on the HMD device 50 in the state of FIG. 8, but since the image data is developed on the VRAM as described above, when the state of FIG. In accordance with the rotation of the annular display device 54, it is displayed so as to move to the right side from the directly-facing center position P.

図１０は、本発明の別実施形態に係るＨＭＤ装置８０の説明図である。この実施形態のＨＭＤ装置８０は、図４，図５に示すＨＭＤ装置５０に、図１〜図３に示す全方位撮像装置２０を一体に組み込んだ構成となっている。   FIG. 10 is an explanatory diagram of an HMD device 80 according to another embodiment of the present invention. The HMD device 80 of this embodiment has a configuration in which the omnidirectional imaging device 20 shown in FIGS. 1 to 3 is integrated into the HMD device 50 shown in FIGS. 4 and 5.

即ち、図４，図５の環状ディスプレイ装置５４の外周部に、複数、図示する例では計１６台のカメラ１〜１６を等間隔に設け、図１０では図示していないが、図５の円盤状制御箱５３内に図３に示す制御部４０（この場合、図３のＬＣＤ４７は不要で、フラットパネルディスプレイ５９で代用される。）も収納している。   That is, a plurality of, in the illustrated example, a total of 16 cameras 1 to 16 are provided at equal intervals on the outer peripheral portion of the annular display device 54 of FIGS. 4 and 5, and the disk of FIG. A control unit 40 shown in FIG. 3 (in this case, the LCD 47 of FIG. 3 is unnecessary and is replaced by the flat panel display 59) is also housed in the shape control box 53.

各カメラ１〜１６内の構成は、図２と同様であるが、図２に示すＣＤＳＶＧＡ２８，Ａ／Ｄ２９，ＷＢ演算部３０，ＴＧ３１，絞り駆動回路３２，レンズ駆動回路３３を、１６台のカメラの共通部品として制御部４０内に設けても良い。これにより、各カメラ１〜１６の小型化を図ると同時に、部品コストの軽減を図ることが可能となる。   The configuration in each camera 1-16 is the same as that in FIG. 2, but the CDSVGA 28, A / D 29, WB calculation unit 30, TG31, aperture drive circuit 32, and lens drive circuit 33 shown in FIG. The common part may be provided in the control unit 40. As a result, it is possible to reduce the cost of components while simultaneously reducing the size of each camera 1-16.

図１１は、本発明の更に別実施形態に係るＨＭＤ装置９０の説明図である。本実施形態は、図４，図５に示すＨＭＤ装置５０に、図２，図３，図７に示す全方位撮像装置を一体に組み込んだことを特徴としている。   FIG. 11 is an explanatory diagram of an HMD device 90 according to still another embodiment of the present invention. The present embodiment is characterized in that the omnidirectional imaging device shown in FIGS. 2, 3 and 7 is integrated into the HMD device 50 shown in FIGS.

図１０，図１１の実施形態に示す様に、ＨＭＤ装置に全方位撮像装置を一体に組み込むことで、例えば歩行者がこのＨＭＤ装置８０，９０を装着して歩行するときに、前方ばかりでなく、側方や後方の画像も見ることが可能となる。   As shown in the embodiment of FIGS. 10 and 11, by incorporating an omnidirectional imaging device into the HMD device, for example, when a pedestrian walks wearing the HMD devices 80 and 90, not only in front, It is also possible to see the side and rear images.

以上述べた実施形態によれば、全方位撮像装置が撮影した周囲３６０度のパノラマ画像を、複雑な指示操作を行うことなく手軽に観賞することが可能となる。   According to the embodiment described above, it is possible to easily view a 360-degree panoramic image taken by the omnidirectional imaging apparatus without performing a complicated instruction operation.

以上述べた様に、本実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、観賞者の頭部全周囲に設置され３６０度のパノラマ画像を内周面に表示する環状表示部と、観賞者の頭部の回転角を検出するジャイロセンサと、該ジャイロセンサが検出した前記頭部の回転角を打ち消す方向に前記環状表示部を回転させる回転駆動手段とを備えることを特徴とする。   As described above, the head-mounted display device for omnidirectional image display according to the present embodiment includes an annular display unit that is installed all around the viewer's head and displays a 360-degree panoramic image on the inner peripheral surface, and the viewer. A gyro sensor for detecting a rotation angle of the head of the head, and a rotation driving means for rotating the annular display unit in a direction to cancel the rotation angle of the head detected by the gyro sensor.

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置の前記回転駆動手段は、前記環状表示部の対地位置を一定に保つように前記頭部の回転に合わせて前記環状表示部を回転させることを特徴とする。   Further, the rotation driving means of the head mounted display device for omnidirectional image display of the embodiment rotates the annular display unit in accordance with the rotation of the head so as to keep the ground position of the annular display unit constant. It is characterized by.

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、前記環状表示部のうち前記観賞者が正対する位置から右側１８０度の範囲には右目用の３６０度のパノラマ画像のうち右側１８０度の画像を表示し前記正対する位置から左側１８０度の範囲には左目用の３６０度のパノラマ画像のうち左側１８０度の画像を表示することを特徴とする。   Further, the head mounted display device for omnidirectional image display according to the embodiment includes 180 degrees on the right side of the 360-degree panoramic image for the right eye within a range of 180 degrees on the right side from the position where the viewer directly faces in the annular display unit. The left image of the 360 ° panoramic image for the left eye is displayed in the range of 180 ° on the left side from the directly facing position.

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、前記頭部の回転に従って前記観賞者の右目直前に来る画像部分と左目直前に来る画像部分とが１対のステレオ画像となる様に前記環状表示部に表示する右目用のパノラマ画像と左目用のパノラマ画像の表示位置を移動させることを特徴とする。   In addition, in the omnidirectional image display head-mounted display device according to the embodiment, the image portion immediately before the viewer's right eye and the image portion immediately before the left eye according to the rotation of the head form a pair of stereo images. The display position of the panorama image for the right eye and the panorama image for the left eye displayed on the annular display unit is moved.

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、前記環状表示部の外周面側に全方位撮像装置が設けられ該全方位撮像装置が撮影した周囲３６０度のパノラマ画像を該環状表示部に表示することを特徴とする。   In the omnidirectional image display head-mounted display device according to the embodiment, an omnidirectional imaging device is provided on the outer peripheral surface side of the annular display unit, and a 360-degree panoramic image taken by the omnidirectional imaging device is annularly displayed. It is characterized by being displayed on the part.

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、２台１組のステレオカメラが複数組等間隔に前記環状表示部の外周面側に設けられた前記全方位撮像装置を搭載することを特徴とする。   In addition, the omnidirectional image display head-mounted display device according to the embodiment includes the omnidirectional imaging device in which two sets of stereo cameras are provided on the outer peripheral surface side of the annular display unit at equal intervals. It is characterized by.

実施形態の全方位画像表示用ヘッドマウントディスプレイ装置によれば、手軽な操作により広い視野角で３６０度のパノラマ画像を観賞することが可能となる。   According to the omnidirectional image display head-mounted display device of the embodiment, it is possible to view a 360-degree panoramic image with a wide viewing angle by a simple operation.

本発明に係る全方位画像表示用ヘッドマウントディスプレイ装置は、全方位撮像装置が撮影した周囲３６０度のパノラマ画像を手軽に観賞することができ、全方位撮像装置を普及させる機器として有用である。   The head mounted display device for omnidirectional image display according to the present invention can easily view a 360-degree panoramic image taken by the omnidirectional imaging device, and is useful as a device for spreading the omnidirectional imaging device.

１〜１６ 撮像部（カメラ）
２０，７０ 全方位撮像装置
２１ 円盤状筐体
２５ 固体撮像素子
２７ 撮影レンズ
４０ 制御部
４３ 信号処理部
４５ 記録メディア
５０，８０，９０ ヘッドマウントディスプレイ（ＨＭＤ）装置
５１ ヘッド部
５２ モータ
５３ 円盤状制御箱
５４ 環状ディスプレイ装置
５５ 支柱
５８ 環状支持材
５９ フラットパネルディスプレイ
６３ ジャイロセンサ（角速度センサ） 1-16 Imaging unit (camera)
20, 70 Omnidirectional imaging device 21 Disc-shaped housing 25 Solid-state imaging device 27 Imaging lens 40 Control unit 43 Signal processing unit 45 Recording media 50, 80, 90 Head mounted display (HMD) device 51 Head unit 52 Motor 53 Disc control Box 54 annular display device 55 support 58 annular support material 59 flat panel display 63 gyro sensor (angular velocity sensor)

Claims (6)

観賞者の頭部全周囲に設置され３６０度のパノラマ画像を内周面に表示する環状表示部と、観賞者の頭部の回転角を検出するジャイロセンサと、該ジャイロセンサが検出した前記頭部の回転角を打ち消す方向に前記環状表示部を回転させる回転駆動手段とを備える全方位画像表示用ヘッドマウントディスプレイ装置。   An annular display unit that is installed around the head of the viewer and displays a 360-degree panoramic image on the inner peripheral surface, a gyro sensor that detects the rotation angle of the head of the viewer, and the head detected by the gyro sensor An omnidirectional image display head-mounted display device comprising rotation driving means for rotating the annular display unit in a direction to cancel the rotation angle of the unit. 請求項１に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記回転駆動手段は、前記環状表示部の対地位置を一定に保つように前記頭部の回転に合わせて前記環状表示部を回転させる全方位画像表示用ヘッドマウントディスプレイ装置。   2. The omnidirectional image display head-mounted display device according to claim 1, wherein the rotation driving means is configured to rotate the head so as to keep the ground position of the annular display unit constant. Omnidirectional image display head-mounted display device that rotates the screen. 請求項１または請求項２に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記環状表示部のうち前記観賞者が正対する位置から右側１８０度の範囲には右目用の３６０度のパノラマ画像のうち右側１８０度の画像を表示し前記正対する位置から左側１８０度の範囲には左目用の３６０度のパノラマ画像のうち左側１８０度の画像を表示する全方位画像表示用ヘッドマウントディスプレイ装置。   3. The omnidirectional image display head-mounted display device according to claim 1, wherein 360 ° for the right eye is within a range of 180 degrees on the right side of the annular display unit from a position facing the viewer. An omnidirectional image display head-mounted display that displays an image of 180 degrees on the right side of the panoramic image and displays an image of 180 degrees on the left side of the 360 degree panoramic image for the left eye within a range of 180 degrees on the left side from the directly facing position apparatus. 請求項３に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記頭部の回転に従って前記観賞者の右目直前に来る画像部分と左目直前に来る画像部分とが１対のステレオ画像となる様に前記環状表示部に表示する右目用のパノラマ画像と左目用のパノラマ画像の表示位置を移動させる全方位画像表示用ヘッドマウントディスプレイ装置。   4. The head mounted display device for omnidirectional image display according to claim 3, wherein an image portion immediately before the right eye of the viewer and an image portion immediately before the left eye according to the rotation of the head are a pair of stereo images. An omnidirectional image display head-mounted display device that moves the display position of the panorama image for the right eye and the panorama image for the left eye displayed on the annular display unit. 請求項１乃至請求項４のいずれかに記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記環状表示部の外周面側に全方位撮像装置が設けられ該全方位撮像装置が撮影した周囲３６０度のパノラマ画像を該環状表示部に表示する全方位画像表示用ヘッドマウントディスプレイ装置。   The omnidirectional image display head-mounted display device according to any one of claims 1 to 4, wherein an omnidirectional imaging device is provided on an outer peripheral surface side of the annular display portion, and the omnidirectional imaging device takes a picture. An omnidirectional image display head-mounted display device that displays a 360-degree panoramic image on the annular display unit. 請求項５に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、２台１組のステレオカメラが複数組等間隔に前記環状表示部の外周面側に設けられた前記全方位撮像装置を搭載する全方位画像表示用ヘッドマウントディスプレイ装置。   The omnidirectional image display head-mounted display device according to claim 5, wherein the omnidirectional imaging device includes a set of two stereo cameras provided on the outer peripheral surface side of the annular display unit at equal intervals. Head mounted display device for omnidirectional image display.
JP2009105134A 2009-04-23 2009-04-23 Head-mounted display for omnidirectional image display Pending JP2010256534A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009105134A JP2010256534A (en) 2009-04-23 2009-04-23 Head-mounted display for omnidirectional image display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009105134A JP2010256534A (en) 2009-04-23 2009-04-23 Head-mounted display for omnidirectional image display

Publications (1)

Publication Number Publication Date
JP2010256534A true JP2010256534A (en) 2010-11-11

Family

ID=43317535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009105134A Pending JP2010256534A (en) 2009-04-23 2009-04-23 Head-mounted display for omnidirectional image display

Country Status (1)

Country Link
JP (1) JP2010256534A (en)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012166593A2 (en) * 2011-05-27 2012-12-06 Thomas Seidl System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
WO2014077046A1 (en) 2012-11-13 2014-05-22 ソニー株式会社 Image display device and image display method, mobile body device, image display system, and computer program
CN103841332A (en) * 2014-03-21 2014-06-04 英华达（上海）科技有限公司 Panorama scene shooting and browsing moving device, system and method
CN104378544A (en) * 2013-08-15 2015-02-25 联想(北京)有限公司 Method for obtaining image and electronic device
US9007430B2 (en) 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
WO2015098211A1 (en) 2013-12-25 2015-07-02 ソニー株式会社 Orientation measurement device, orientation measurement method, image processing device, image processing method, display device, display method, computer program, and image display system
WO2015098292A1 (en) 2013-12-25 2015-07-02 ソニー株式会社 Image processing device, image processing method, computer program, and image display system
WO2016017245A1 (en) * 2014-07-31 2016-02-04 ソニー株式会社 Information processing device, information processing method, and image display system
WO2016017062A1 (en) 2014-07-28 2016-02-04 Sony Corporation Information processing for motion sickness prevention in an image display system
JP2016092642A (en) * 2014-11-06 2016-05-23 株式会社アクセル Image edition method, image edition system, and image edition program
KR20160058186A (en) * 2013-12-04 2016-05-24 인텔 코포레이션 Wearable map and image display
KR20160147735A (en) 2014-04-22 2016-12-23 소니 주식회사 Head region position detection device and head region position detection method, image processing device and image processing method, display device, and computer program
CN106357966A (en) * 2016-11-01 2017-01-25 乐视控股（北京）有限公司 Panoramic image photographing device and panoramic image acquiring method
US9582073B2 (en) 2013-12-25 2017-02-28 Sony Corporation Image processing device and image processing method, display device and display method, computer program, and image display system
KR20170028313A (en) 2014-06-30 2017-03-13 소니 주식회사 Information processing device, information processing method, computer program, and image processing system
WO2017043398A1 (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image generation method
JP6126272B1 (en) * 2016-05-17 2017-05-10 株式会社コロプラ Method, program, and recording medium for providing virtual space
EP3161828A4 (en) * 2014-05-27 2017-08-09 Chase, Stephen Video headphones, systems, helmets, methods and video content files
CN107111928A (en) * 2014-11-17 2017-08-29 洋马株式会社 Remotely controlled operation machine display system
WO2017175366A1 (en) * 2016-04-08 2017-10-12 株式会社日立製作所 Video display device and video display method
JP2018502504A (en) * 2015-12-09 2018-01-25 ジオスペェィシャル インフォメーション テクノロジー カンパニー リミテッドＧｅｏｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． Subject space movement tracking system using multiple stereo cameras
CN107995408A (en) * 2016-10-26 2018-05-04 贵州火星探索科技有限公司 A kind of 360 ° of panoramic shooting systems and method
WO2018166275A1 (en) * 2017-03-17 2018-09-20 北京京东尚科信息技术有限公司 Playing method and playing apparatus, and computer-readable storage medium
JP2018165985A (en) * 2018-05-24 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント Information processing device and information processing method
US10269184B2 (en) 2014-07-23 2019-04-23 Sony Corporation Information processing apparatus, information processing method, and image display system
WO2019117377A1 (en) * 2017-12-11 2019-06-20 링크플로우 주식회사 Wearable camera device
EP3547663A1 (en) * 2018-03-27 2019-10-02 Honeywell International Inc. Panaoramic vision system with parallax mitigation
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP2020135192A (en) * 2019-02-15 2020-08-31 株式会社Ｊｖｃケンウッド Image adjustment system, image adjustment device, and image adjustment method
WO2023094945A1 (en) * 2021-11-26 2023-06-01 株式会社半導体エネルギー研究所 Display device
US11703948B2 (en) 2019-02-15 2023-07-18 Jvckenwood Corporation Image adjustment system, image adjustment device, and image adjustment method

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012166593A2 (en) * 2011-05-27 2012-12-06 Thomas Seidl System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
US9007430B2 (en) 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
WO2012166593A3 (en) * 2011-05-27 2013-04-04 Thomas Seidl System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
US10108018B2 (en) 2012-11-13 2018-10-23 Sony Corporation Image display apparatus for displaying an image captured by a mobile apparatus
WO2014077046A1 (en) 2012-11-13 2014-05-22 ソニー株式会社 Image display device and image display method, mobile body device, image display system, and computer program
CN104378544A (en) * 2013-08-15 2015-02-25 联想(北京)有限公司 Method for obtaining image and electronic device
KR101876284B1 (en) * 2013-12-04 2018-08-09 인텔 코포레이션 Wearable map and image display
JP2017503240A (en) * 2013-12-04 2017-01-26 インテル コーポレイション Wearable map and image display
KR20160058186A (en) * 2013-12-04 2016-05-24 인텔 코포레이션 Wearable map and image display
KR20160101894A (en) 2013-12-25 2016-08-26 소니 주식회사 Image processing device, image processing method, computer program, and image display system
WO2015098292A1 (en) 2013-12-25 2015-07-02 ソニー株式会社 Image processing device, image processing method, computer program, and image display system
US9990032B2 (en) 2013-12-25 2018-06-05 Sony Corporation Image processing for generating a display image based on orientation information and an angle of view
US10185389B2 (en) 2013-12-25 2019-01-22 Sony Corporation Posture measuring device, posture measuring method, image processing device, image processing method, and image display system
WO2015098211A1 (en) 2013-12-25 2015-07-02 ソニー株式会社 Orientation measurement device, orientation measurement method, image processing device, image processing method, display device, display method, computer program, and image display system
US9582073B2 (en) 2013-12-25 2017-02-28 Sony Corporation Image processing device and image processing method, display device and display method, computer program, and image display system
US10324523B2 (en) 2013-12-25 2019-06-18 Sony Corporation Rendering virtual images based on predicted head posture
US10534428B2 (en) 2013-12-25 2020-01-14 Sony Corporation Image processing device and image processing method, display device and display method, and image display system
CN103841332A (en) * 2014-03-21 2014-06-04 英华达（上海）科技有限公司 Panorama scene shooting and browsing moving device, system and method
KR20160147735A (en) 2014-04-22 2016-12-23 소니 주식회사 Head region position detection device and head region position detection method, image processing device and image processing method, display device, and computer program
EP3161828A4 (en) * 2014-05-27 2017-08-09 Chase, Stephen Video headphones, systems, helmets, methods and video content files
US10310595B2 (en) 2014-06-30 2019-06-04 Sony Corporation Information processing apparatus, information processing method, computer program, and image processing system
KR20170028313A (en) 2014-06-30 2017-03-13 소니 주식회사 Information processing device, information processing method, computer program, and image processing system
US10269184B2 (en) 2014-07-23 2019-04-23 Sony Corporation Information processing apparatus, information processing method, and image display system
US10692300B2 (en) 2014-07-23 2020-06-23 Sony Corporation Information processing apparatus, information processing method, and image display system
WO2016017062A1 (en) 2014-07-28 2016-02-04 Sony Corporation Information processing for motion sickness prevention in an image display system
JPWO2016017245A1 (en) * 2014-07-31 2017-04-27 ソニー株式会社 Information processing apparatus, information processing method, and image display system
US20170278262A1 (en) 2014-07-31 2017-09-28 Sony Corporation Information processing device, method of information processing, and image display system
US10269132B2 (en) 2014-07-31 2019-04-23 Sony Corporation Displaying images according to head posture and camera posture
WO2016017245A1 (en) * 2014-07-31 2016-02-04 ソニー株式会社 Information processing device, information processing method, and image display system
JP2016092642A (en) * 2014-11-06 2016-05-23 株式会社アクセル Image edition method, image edition system, and image edition program
CN107111928A (en) * 2014-11-17 2017-08-29 洋马株式会社 Remotely controlled operation machine display system
JP2018501684A (en) * 2014-11-17 2018-01-18 ヤンマー株式会社 Display system for remote control of work equipment
CN107111928B (en) * 2014-11-17 2020-07-31 洋马动力科技有限公司 Display system for remote control working machine
WO2017043398A1 (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image generation method
US11030771B2 (en) 2015-09-07 2021-06-08 Sony Interactive Entertainment Inc. Information processing apparatus and image generating method
JP2017055173A (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and image generation method
US10614589B2 (en) 2015-09-07 2020-04-07 Sony Interactive Entertainment Inc. Information processing apparatus and image generating method
JP2018502504A (en) * 2015-12-09 2018-01-25 ジオスペェィシャル インフォメーション テクノロジー カンパニー リミテッドＧｅｏｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． Subject space movement tracking system using multiple stereo cameras
JPWO2017175366A1 (en) * 2016-04-08 2018-08-30 株式会社日立製作所 Video display device and video display method
WO2017175366A1 (en) * 2016-04-08 2017-10-12 株式会社日立製作所 Video display device and video display method
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP6126272B1 (en) * 2016-05-17 2017-05-10 株式会社コロプラ Method, program, and recording medium for providing virtual space
JP2017207595A (en) * 2016-05-17 2017-11-24 株式会社コロプラ Method, program and recording medium for providing virtual space
CN107995408A (en) * 2016-10-26 2018-05-04 贵州火星探索科技有限公司 A kind of 360 ° of panoramic shooting systems and method
CN106357966A (en) * 2016-11-01 2017-01-25 乐视控股（北京）有限公司 Panoramic image photographing device and panoramic image acquiring method
US10924637B2 (en) 2017-03-17 2021-02-16 Beijing Jingdong Shangke Information Technology Co, Ltd. Playback method, playback device and computer-readable storage medium
WO2018166275A1 (en) * 2017-03-17 2018-09-20 北京京东尚科信息技术有限公司 Playing method and playing apparatus, and computer-readable storage medium
WO2019117377A1 (en) * 2017-12-11 2019-06-20 링크플로우 주식회사 Wearable camera device
EP3547663A1 (en) * 2018-03-27 2019-10-02 Honeywell International Inc. Panaoramic vision system with parallax mitigation
US10582181B2 (en) 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
JP2018165985A (en) * 2018-05-24 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント Information processing device and information processing method
JP2020135192A (en) * 2019-02-15 2020-08-31 株式会社Ｊｖｃケンウッド Image adjustment system, image adjustment device, and image adjustment method
JP7247636B2 (en) 2019-02-15 2023-03-29 株式会社Ｊｖｃケンウッド Image adjustment system, image adjustment device, and image adjustment method
US11703948B2 (en) 2019-02-15 2023-07-18 Jvckenwood Corporation Image adjustment system, image adjustment device, and image adjustment method
WO2023094945A1 (en) * 2021-11-26 2023-06-01 株式会社半導体エネルギー研究所 Display device

Similar Documents

Publication Publication Date Title
JP2010256534A (en) Head-mounted display for omnidirectional image display
EP3596543B1 (en) Camera with panoramic scanning range
JP4931668B2 (en) Compound eye imaging device
US7697035B1 (en) Rotating camera attachment
JP5593695B2 (en) Image processing apparatus, image processing method, and program
KR101685418B1 (en) Monitoring system for generating 3-dimensional picture
JP2018522510A (en) Multi-purpose portable device case / cover integrated with camera system for 3D and / or 2D high quality video shooting, photography, selfie recording and non-electric 3D / multi video and still frame viewer
CN106464817B (en) Image capturing apparatus
JP2017505565A (en) Multi-plane video generation method and system
US20180052308A1 (en) Optical lens accessory for wide-angle photography
JP5834177B2 (en) Stereoscopic image display system and stereoscopic glasses
JP2016507775A (en) Panoramic camera
JP2015149634A (en) Image display device and method
US20120033046A1 (en) Image processing apparatus, image processing method, and program
KR20170095716A (en) 360 degree image capture apparatus enclosed in a ball-shape housing
JP6679856B2 (en) Display control device, display control method, and program
JP2015023512A (en) Imaging apparatus, imaging method and imaging program for imaging apparatus
US20220365314A1 (en) Imaging device, imaging system, and recording medium
US10234660B2 (en) Optical lens accessory for panoramic photography
JP2011101300A (en) Photographing device and remote operation support system
WO2012108187A1 (en) Device and method for generation of image for 3d vision, and programme
JP2007333929A (en) Video display system
JP2008113317A (en) Remote operation support system
US9667869B2 (en) Camera apparatus for automatically maintaining horizontality and method for the same
JP3897196B2 (en) Vibration correction device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216