JP2002354505A - Stereoscopic system - Google Patents

Stereoscopic system

Info

Publication number
JP2002354505A
JP2002354505A JP2001161362A JP2001161362A JP2002354505A JP 2002354505 A JP2002354505 A JP 2002354505A JP 2001161362 A JP2001161362 A JP 2001161362A JP 2001161362 A JP2001161362 A JP 2001161362A JP 2002354505 A JP2002354505 A JP 2002354505A
Authority
JP
Japan
Prior art keywords
image data
image
stereoscopic
photographing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001161362A
Other languages
Japanese (ja)
Inventor
Hiroshi Ishiguro
浩 石黒
Takeshi Maeda
武志 前田
Nobuo Yamato
信夫 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vstone Co Ltd
Original Assignee
Vstone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vstone Co Ltd filed Critical Vstone Co Ltd
Priority to JP2001161362A priority Critical patent/JP2002354505A/en
Publication of JP2002354505A publication Critical patent/JP2002354505A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a stereoscopic system which is capable of presenting to a user a stereoscopic image that is less distorted and clear even if the image is of wide angle. SOLUTION: Eight omnidirectional image pickup devices 1A to 1H which are capable of imaging objects in a visual field covering nearly the whole circumferential directions are arranged in a circle at equal intervals. Two image pickup devices having each parallax are selected out of the eight omnidirectional image pickup devices 1A to 1H corresponding to the direction of an HMD(head- mounted display) put on a user, image data of a desired image angle are extracted from the image data obtained through the two selected omnidirectional image pickup devices by the use of extraction units 3a and 3b, and a right eye image and a left eye image having different parallax corresponding to the extracted image data are displayed on displays 2a and 2b, respectively, to present a stereoscopic image to a user.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ユーザに装着させ
たディスプレイに、第1の画像データ(右目用の画像デ
ータ)と第2の画像データ(左目用の画像データ)とを
供給して夫々に応じた画像を表示させることにより、立
体視画像をユーザに呈示する立体視システムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention supplies first image data (right-eye image data) and second image data (left-eye image data) to a display worn by a user. The present invention relates to a stereoscopic vision system that presents a stereoscopic vision image to a user by displaying an image corresponding to the image.

【0002】[0002]

【従来の技術】立体視画像をユーザに呈示する際には、
2個1対のディスプレイを有するヘッドマウントディス
プレイ(Head Mount Display:HMD)をユーザの頭部
に装着し、所定距離(人間の両目間隔の7cm程度)隔
てて配置した2個のカメラにて取得した夫々の画像デー
タを、右目用の画像データ,左目用の画像データとして
各別にHMDの各ディスプレイに供給し、夫々の画像デ
ータに応じた右目用の画像,左目用の画像を各別にディ
スプレイに表示する。両目の間隔だけ離れているため、
各カメラ間において視差が存在するので、各カメラで撮
影された画像夫々をユーザが右目,左目で見ることによ
り、ユーザに立体視画像が呈示されることになる。
2. Description of the Related Art When a stereoscopic image is presented to a user,
A head mounted display (HMD) having a pair of displays was mounted on the user's head, and acquired by two cameras arranged at a predetermined distance (about 7 cm between human eyes). The respective image data are supplied to the respective displays of the HMD as image data for the right eye and image data for the left eye, respectively, and the image for the right eye and the image for the left eye corresponding to the respective image data are separately displayed on the display. I do. Because they are separated by the distance between the eyes,
Since there is a parallax between the cameras, a stereoscopic image is presented to the user when the user views each of the images captured by each camera with the right eye and the left eye.

【0003】このような立体視システムでは、事前に取
得して格納しておいた画像データを読み出して利用する
立体視システムとは異なり、CAD(Computer Aided D
esign)モデルによる計算処理などが不要であり、実世
界,実時間での立体視画像をユーザに呈示できるという
利点がある。
In such a stereoscopic system, unlike a stereoscopic system that reads out and uses image data that has been acquired and stored in advance, a CAD (Computer Aided D) is used.
There is no need for calculation processing using an esign) model, and there is an advantage that a stereoscopic image in the real world and in real time can be presented to the user.

【0004】[0004]

【発明が解決しようとする課題】従来の立体視システム
にあっては、カメラにて歪みが少ない画像データが得ら
れる画角の上限値は限られているため、広い画角の画像
表示が可能であるHMDを設けた場合にあっても、広い
画角における立体視画像をユーザに呈示できないという
問題がある。
In the conventional stereoscopic system, since the upper limit of the angle of view at which image data with less distortion is obtained by a camera is limited, an image with a wide angle of view can be displayed. However, even when the HMD is provided, there is a problem that a stereoscopic image at a wide angle of view cannot be presented to the user.

【0005】本発明は斯かる事情に鑑みてなされたもの
であり、広い画角における歪みが少ない立体視画像をユ
ーザに呈示できる立体視システムを提供することを目的
とする。
The present invention has been made in view of such circumstances, and has as its object to provide a stereoscopic vision system capable of presenting a stereoscopic image with little distortion at a wide angle of view to a user.

【0006】本発明の他の目的は、HMDが何れの方向
を向いていても、視差がある2種類の画像データを常に
取得して明瞭な立体視画像をユーザに呈示できる立体視
システムを提供することにある。
Another object of the present invention is to provide a stereoscopic vision system capable of always acquiring two types of image data having parallax and presenting a clear stereoscopic image to a user, regardless of which direction the HMD faces. Is to do.

【0007】[0007]

【課題を解決するための手段】第1発明に係る立体視シ
ステムは、視差がある第1の画像データと第2の画像デ
ータとを各別に2個のディスプレイ夫々へ供給して立体
視画像を呈示する立体視システムにおいて、夫々が自身
の周方向略全域を撮影する2個の撮影器と、該撮影器夫
々で得られた画像データの一部を前記ディスプレイの向
きに応じて抽出し、抽出した2つの画像データを前記第
1の画像データ及び第2の画像データとして前記ディス
プレイ夫々へ供給する手段とを備えることを特徴とす
る。
A stereoscopic system according to a first aspect of the present invention supplies a first image data and a second image data each having a parallax to two displays, respectively, to generate a stereoscopic image. In the stereoscopic system to be presented, two photographers each photographing substantially the entire area in the circumferential direction of themselves, and a part of image data obtained by each photographer are extracted and extracted according to the orientation of the display. Means for supplying the two sets of image data to the display as the first image data and the second image data.

【0008】第1発明の立体視システムにあっては、2
個の撮影器にて取得された周方向略全域の画像データ夫
々の一部を抽出した画像データを第1の画像データ(一
方の目の画像データ),第2の画像データ(他方の目の
画像データ)として使用する。よって、広角の立体視画
像をユーザに呈示でき、また、その画角範囲を任意に設
定できる。
[0008] In the stereoscopic vision system of the first invention, 2
The image data obtained by extracting a part of the image data of substantially the whole area in the circumferential direction obtained by the plurality of photographing devices are used as first image data (image data of one eye) and second image data (image data of the other eye). Image data). Therefore, a wide-angle stereoscopic image can be presented to the user, and the angle of view range can be set arbitrarily.

【0009】第2発明に係る立体視システムは、視差が
ある第1の画像データと第2の画像データとを各別に2
個のディスプレイ夫々へ供給して立体視画像を呈示する
立体視システムにおいて、撮影空間において着目する面
に沿った寸法比が撮影された画像の少なくとも一方向で
の寸法比と一致するように反射面が形成されている反射
鏡を夫々有する2個の撮影装置と、該撮影装置夫々で得
られた画像データの一部を前記ディスプレイの向きに応
じて抽出し、抽出した2つの画像データを前記第1の画
像データ及び第2の画像データとして前記ディスプレイ
夫々へ供給する手段とを備えることを特徴とする。
[0009] The stereoscopic vision system according to the second aspect of the present invention separates the first image data and the second image data having parallax into two each.
In a stereoscopic system that supplies a stereoscopic image by supplying to each of a plurality of displays, a reflecting surface such that a dimensional ratio along a plane of interest in a photographing space matches a dimensional ratio in at least one direction of a photographed image. Two photographing devices each having a reflecting mirror formed with a plurality of image data, a part of image data obtained by each of the photographing devices is extracted according to the orientation of the display, and the extracted two image data are Means for supplying each of the displays as first image data and second image data.

【0010】第2発明の立体視システムにあっては、撮
影空間において着目する面に沿った寸法比が撮影された
画像の少なくとも一方向での寸法比と一致するように反
射面が形成されている反射鏡を有する2個の撮影装置に
て得られた夫々の画像データの一部を抽出した画像デー
タを第1の画像データ(一方の目の画像データ),第2
の画像データ(他方の目の画像データ)として使用す
る。反射鏡の反射面の形状が、撮影された画像の少なく
とも一方向での寸法比が撮影空間において着目する面に
沿った寸法比と一致するように設定されているので、広
い画角であっても歪みが少ない立体視画像をユーザに呈
示できる。
In the stereoscopic system according to the second aspect of the present invention, the reflecting surface is formed such that the dimensional ratio along the plane of interest in the photographing space matches the dimensional ratio in at least one direction of the photographed image. Image data obtained by extracting a part of the respective image data obtained by the two photographing apparatuses having the reflecting mirrors, is referred to as first image data (one-eye image data) and second image data.
(Image data of the other eye). Since the shape of the reflecting surface of the reflecting mirror is set so that the dimensional ratio in at least one direction of the captured image matches the dimensional ratio along the surface of interest in the imaging space, a wide angle of view is provided. Also, a stereoscopic image with little distortion can be presented to the user.

【0011】第3発明に係る立体視システムは、視差が
ある第1の画像データと第2の画像データとを各別に2
個のディスプレイ夫々へ供給して立体視画像を呈示する
立体視システムにおいて、環状に配設されており、夫々
が自身の周方向略全域を撮影する3個以上の撮影器と、
前記ディスプレイの向きに応じて前記撮影器から2個の
撮影器を選択する手段と、前記ディスプレイの向きに応
じて、選択した2個の撮影器夫々で得られた画像データ
の一部を抽出し、抽出した2つの画像データを前記第1
の画像データ及び第2の画像データとして前記ディスプ
レイ夫々へ供給する手段とを備えることを特徴とする。
[0011] The stereoscopic vision system according to the third aspect of the present invention separates the first image data and the second image data having parallax from each other by two.
In a stereoscopic vision system that supplies a stereoscopic image by supplying to each of the three displays, three or more photographing devices that are arranged in a ring shape and each photograph substantially the entire area in the circumferential direction,
Means for selecting two photographing devices from the photographing device according to the orientation of the display, and extracting a part of image data obtained by each of the selected two photographing devices according to the orientation of the display. , The extracted two image data in the first
Means for supplying the image data and the second image data to the respective displays.

【0012】第3発明の立体視システムにあっては、デ
ィスプレイの向きに応じて、環状に配設されている3個
以上の撮影器から2個の撮影器を選択し、選択した2個
の撮影器にて取得された周方向略全域の画像データ夫々
の一部を抽出した画像データを第1の画像データ(一方
の目の画像データ),第2の画像データ(他方の目の画
像データ)として使用する。よって、第1発明と同様
に、その画角範囲を任意に設定した広角の立体視画像を
ユーザに呈示できると共に、ディスプレイの向きに合わ
せて視差が生じるような最適な2個の撮影器を選択する
ため、ディスプレイがどんな向きであっても、明瞭な立
体視画像を常に呈示できる。
In the stereoscopic system according to the third aspect of the present invention, two photographing devices are selected from three or more photographing devices arranged in a ring according to the orientation of the display, and the selected two photographing devices are selected. Image data obtained by extracting a part of the image data of substantially the entire area in the circumferential direction acquired by the photographing device is used as first image data (image data of one eye) and second image data (image data of the other eye). ). Therefore, similarly to the first invention, a wide-angle stereoscopic image in which the angle of view range is set arbitrarily can be presented to the user, and two optimal photographing devices that generate parallax in accordance with the direction of the display are selected. Therefore, a clear stereoscopic image can always be presented regardless of the orientation of the display.

【0013】第4発明に係る立体視システムは、視差が
ある第1の画像データと第2の画像データとを各別に2
個のディスプレイ夫々へ供給して立体視画像を呈示する
立体視システムにおいて、撮影空間において着目する面
に沿った寸法比が撮影された画像の少なくとも一方向で
の寸法比と一致するように反射面が形成されている反射
鏡を夫々有しており、環状に配設されている3個以上の
撮影装置と、前記ディスプレイの向きに応じて前記撮影
装置から2個の撮影装置を選択する手段と、前記ディス
プレイの向きに応じて、選択した2個の撮影装置夫々で
得られた画像データの一部を抽出し、抽出した2つの画
像データを前記第1の画像データ及び第2の画像データ
として前記ディスプレイ夫々へ供給する手段とを備える
ことを特徴とする。
[0013] The stereoscopic vision system according to a fourth aspect of the present invention is a system in which the first image data and the second image data each having a parallax are separated by two.
In a stereoscopic system that supplies a stereoscopic image by supplying to each of a plurality of displays, a reflecting surface such that a dimensional ratio along a plane of interest in a photographing space matches a dimensional ratio in at least one direction of a photographed image. And three or more photographing devices arranged in a ring, and means for selecting two photographing devices from the photographing devices according to the orientation of the display. Extracting a part of the image data obtained by each of the two selected photographing devices according to the orientation of the display, and using the extracted two image data as the first image data and the second image data Means for supplying to each of the displays.

【0014】第4発明の立体視システムにあっては、デ
ィスプレイの向きに応じて、撮影空間において着目する
面に沿った寸法比が撮影された画像の少なくとも一方向
での寸法比と一致するように反射面が形成されている反
射鏡を有する環状に配設された3個以上の撮影装置から
2個の撮影装置を選択し、選択した2個の撮影装置にて
得られた夫々の画像データの一部を抽出した画像データ
を第1の画像データ(一方の目の画像データ),第2の
画像データ(他方の目の画像データ)として使用する。
よって、第2発明と同様に、広い画角であっても歪みが
少ない立体視画像をユーザに呈示できると共に、ディス
プレイの向きに合わせて視差が生じるような最適な2個
の撮影装置を選択するため、ディスプレイがどんな向き
であっても、明瞭な立体視画像を常に呈示できる。
[0014] In the stereoscopic vision system according to the fourth aspect of the present invention, the dimensional ratio along the plane of interest in the photographing space matches the dimensional ratio in at least one direction of the photographed image in accordance with the orientation of the display. Two photographing devices are selected from three or more photographing devices arranged in a ring having a reflecting mirror having a reflecting surface formed thereon, and respective image data obtained by the selected two photographing devices are selected. Are used as first image data (image data of one eye) and second image data (image data of the other eye).
Therefore, as in the second aspect, a stereoscopic image with little distortion even at a wide angle of view can be presented to the user, and two optimal photographing apparatuses that generate parallax in accordance with the orientation of the display are selected. Therefore, a clear stereoscopic image can always be presented regardless of the orientation of the display.

【0015】第5発明に係る立体視システムは、前記撮
影器または前記撮影装置で得られた画像データを格納す
る手段を更に備えることを特徴とする。
[0015] The stereoscopic vision system according to a fifth aspect of the present invention is characterized by further comprising means for storing image data obtained by the photographing device or the photographing device.

【0016】第5発明の立体視システムにあっては、撮
影器または撮影装置で得られた画像データを格納してお
くので、画像データに対する合成、削除等の編集処理を
行える。
In the stereoscopic vision system according to the fifth aspect of the present invention, since image data obtained by the photographing device or the photographing device is stored, editing processing such as combining and deleting image data can be performed.

【0017】[0017]

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面を参照して具体的に説明する。 (第1実施の形態)図1は、第1実施の形態による立体
視システムの構成を示す図である。図1において、1
a,1bは、人間の左右の目の間隔(7cm程度)だけ
離隔させて設置した2個の全方位撮影器であり、各全方
位撮影器1a,1bは、略全方位つまり周方向略360
度の視野範囲を一度に撮影して、全方位撮影器1aは右
目用の画像データを取得し、全方位撮影器1bは左目用
の画像データを取得する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings showing the embodiments. (First Embodiment) FIG. 1 is a diagram showing a configuration of a stereoscopic vision system according to a first embodiment. In FIG. 1, 1
Reference numerals a and 1b denote two omnidirectional photographers installed at a distance (about 7 cm) between the left and right eyes of a human. Each omnidirectional photographer 1a and 1b has a substantially omnidirectional, that is, approximately 360 circumferential direction.
The omnidirectional camera 1a obtains image data for the right eye, and the omnidirectional camera 1b obtains image data for the left eye, by photographing the visual field range at a time.

【0018】図2は、この全方位撮影器1a,1bの構
成例を示す斜視図である。図2において、31はガラス
材からなる凸面鏡であり、支持体32に取付け支持され
ている。凸面鏡31の頂部と対向する位置には、レン
ズ,CCD等を有するカメラ33が配置されており、カ
メラ33は透明な筒体34を介して凸面鏡31に連結さ
れている。筒体34は、一端側が凸面鏡31の外周の支
持体32に固定されると共に、他端側が光透過用の窓孔
35を有する連結部材36を介してカメラ33に接続さ
れている。また、凸面鏡31の頂部には、先端側が凸面
鏡31の軸線延長上をカメラ33方向に延出する棒状体
37が設けられている。
FIG. 2 is a perspective view showing a configuration example of the omnidirectional photographing devices 1a and 1b. In FIG. 2, reference numeral 31 denotes a convex mirror made of a glass material, which is mounted and supported on a support 32. A camera 33 having a lens, a CCD, and the like is disposed at a position facing the top of the convex mirror 31, and the camera 33 is connected to the convex mirror 31 via a transparent cylinder 34. One end of the cylindrical body 34 is fixed to the support 32 on the outer periphery of the convex mirror 31, and the other end is connected to the camera 33 via a connecting member 36 having a window 35 for light transmission. At the top of the convex mirror 31, there is provided a rod 37 whose tip end extends in the direction of the camera 33 along the extension of the axis of the convex mirror 31.

【0019】このような構成により、カメラ33の光軸
を中心とした360度の全方位からの光が筒体34を介
して凸面鏡31に当たり、カメラ33のレンズに集光さ
れて周方向略全域の画像を撮影することができる。筒体
34の内面反射光が凸面鏡31にてカメラ33のレンズ
に集光されて、撮影画像の精度が低下する可能性がある
が、図2の構成例ではこれを防止するために、つまり、
不要な反射光がカメラ33側に導かれないように、棒状
体37を設けている。筒体34の内面で反射して凸面鏡
31に達するような光は、その内面で反射する前に必ず
凸面鏡31の軸線延長上を横切ることになるため、その
位置に棒状体37を設けておくことにより、内面反射さ
れて凸面鏡31に達するような光を全てこの棒状体37
で遮ることができる。よって、取得画像データの精度の
向上を図れる。
With such a configuration, light from all directions of 360 degrees around the optical axis of the camera 33 hits the convex mirror 31 via the cylindrical body 34, and is condensed by the lens of the camera 33 to substantially cover the entire area in the circumferential direction. Images can be taken. There is a possibility that the inner surface reflected light of the cylindrical body 34 is condensed on the lens of the camera 33 by the convex mirror 31 and the accuracy of the captured image may be reduced. However, in the configuration example of FIG.
A rod 37 is provided so that unnecessary reflected light is not guided to the camera 33 side. Since the light that is reflected by the inner surface of the cylindrical body 34 and reaches the convex mirror 31 always crosses the extension of the axis of the convex mirror 31 before being reflected by the inner surface, the rod 37 must be provided at that position. As a result, all the light that is internally reflected and reaches the convex mirror 31 is reflected by the rod 37
Can be blocked by Therefore, the accuracy of the acquired image data can be improved.

【0020】図1において、2はユーザが頭部に装着す
るHMDであり、HMD2は、右目用のディスプレイ2
a及び抽出部3aと、左目用のディスプレイ2b及び抽
出部3bとを有する。右目用の全方位撮影器1aと右目
用の抽出部3aとはデータ回線4aにて接続されてお
り、抽出部3aは、HMD2の向きに応じて、全方位撮
影器1aから入力された周方向略全域の画像データから
所望の画角範囲の画像データを抽出して右目用のディス
プレイ2aへ出力し、ディスプレイ2aがその抽出され
た画像データに応じた右目用の画像を表示する。同様
に、左目用の全方位撮影器1bと左目用の抽出部3bと
はデータ回線4bにて接続されており、抽出部3bは、
HMD2の向きに応じて、全方位撮影器1bから入力さ
れた周方向略全域の画像データから所望の画角範囲の画
像データを抽出して左目用のディスプレイ2bへ出力
し、ディスプレイ2bがその抽出された画像データに応
じた左目用の画像を表示する。また、全方位撮影器1
a,1bにはデータ回線4a,4bを介して格納部5が
接続されており、格納部5は全方位撮影器1a,1bに
て取得された画像データを格納する。
In FIG. 1, reference numeral 2 denotes an HMD worn by the user on the head, and HMD 2 denotes a display 2 for the right eye.
a and an extraction unit 3a, and a display 2b and an extraction unit 3b for the left eye. The omnidirectional imaging device 1a for the right eye and the extraction unit 3a for the right eye are connected by a data line 4a, and the extraction unit 3a determines the circumferential direction input from the omnidirectional imaging device 1a according to the direction of the HMD 2. Image data of a desired angle of view range is extracted from the image data of substantially the entire area and output to the display 2a for the right eye, and the display 2a displays an image for the right eye according to the extracted image data. Similarly, the omnidirectional imaging device 1b for the left eye and the extraction unit 3b for the left eye are connected by a data line 4b, and the extraction unit 3b
In accordance with the orientation of the HMD 2, image data in a desired angle of view range is extracted from image data in substantially the entire circumferential direction input from the omnidirectional imaging device 1b and output to the display 2b for the left eye, and the display 2b extracts the image data. The left-eye image corresponding to the input image data is displayed. In addition, omnidirectional camera 1
A storage unit 5 is connected to a and 1b via data lines 4a and 4b, and the storage unit 5 stores image data acquired by the omnidirectional imaging devices 1a and 1b.

【0021】このような構成により、2個の全方位撮影
器1a,1bにて取得された夫々の周方向略全域の画像
データから、HMD2の向きに応じて、抽出部3a,3
bにて所望の画角の画像データが夫々抽出されて対応す
るディスプレイ2a,2bへ出力され、各ディスプレイ
2a,2bに画像が夫々表示される。全方位撮影器1
a,1bは両目の間隔だけ離隔して設けられているた
め、視差がある右目用の画像,左目用の画像がディスプ
レイ2a,2b夫々に表示されるので、HMD2を装着
したユーザに立体視画像を呈示することが可能となる。
With such a configuration, the extraction units 3a, 3a are extracted in accordance with the direction of the HMD 2 from the image data of substantially the entire circumferential direction obtained by the two omnidirectional imaging devices 1a, 1b.
In step b, the image data having the desired angle of view is extracted and output to the corresponding displays 2a and 2b, and the images are displayed on the displays 2a and 2b, respectively. Omnidirectional camera 1
Since a and 1b are provided with an interval between both eyes, a right-eye image and a left-eye image having parallax are displayed on the displays 2a and 2b, respectively, so that a stereoscopic image is displayed to the user wearing the HMD 2. Can be presented.

【0022】この第1実施の形態では、周方向略全域
(略360度)の取得画像データから表示用の画像デー
タを抽出するようにしているので、任意の画角範囲の画
像データを抽出することが可能となり、通常のカメラを
用いた従来例よりも広い画角の画像データを得ることが
でき、広画角の立体視画像をユーザに呈示することを実
現できる。
In the first embodiment, image data for display is extracted from the acquired image data in substantially the entire circumferential direction (approximately 360 degrees), so that image data in an arbitrary angle of view range is extracted. This makes it possible to obtain image data with a wider angle of view than in the conventional example using a normal camera, and to present a stereoscopic image with a wide angle of view to the user.

【0023】(第2実施の形態)図3は、第2実施の形
態による立体視システムの構成を示す図である。図3に
おいて、11a,11bは、人間の左右の目の間隔(7
cm程度)だけ離隔させて設置した2個の撮影装置であ
り、各撮影装置11a,11bは、180度程度の画角
の視野範囲を撮影して、撮影装置11aは右目用の画像
データを取得し、撮影装置11bは左目用の画像データ
を取得する。なお、他の構成部材は図1に示した第1実
施の形態と同様であり、同様の構成部分には同一符号を
付してそれらの説明を省略する。
(Second Embodiment) FIG. 3 is a diagram showing a configuration of a stereoscopic vision system according to a second embodiment. In FIG. 3, 11a and 11b are the distances between the left and right eyes of the human (7
(approximately 1 cm). The two photographing apparatuses 11a and 11b photograph a field of view having an angle of view of about 180 degrees, and the photographing apparatus 11a acquires image data for the right eye. Then, the photographing device 11b acquires image data for the left eye. The other components are the same as those of the first embodiment shown in FIG. 1, and the same components are denoted by the same reference numerals and their description is omitted.

【0024】図4は、この撮影装置11a,11bの構
成例を示す斜視図である。図4において、41はカメラ
であり、カメラ41は、撮像素子としてのCCDとCC
Dの受光面に物体空間の像を結像させる受光レンズとを
有する。カメラ41の前方には反射鏡42が配置され、
カメラ41は反射鏡42により反射された像を撮影す
る。即ち、反射鏡42は物体空間の着目領域をカメラ4
1の視野内の所望領域に写像する。反射鏡42はカメラ
41の視野を広げるようにその反射面が設計されてお
り、反射鏡42で反射されてカメラ41により撮影され
る範囲のほうがカメラ41の視野より広くなる。この結
果、広い画角での画像データを取得できる。反射鏡42
の反射面は滑らかな形状であって、全体として凸面状に
形成されている。このような反射面は、カメラ41と反
射鏡42の反射面との位置関係に応じて、カメラ41で
撮影される画像が物体空間において着目する面を歪みが
ない画像とするように、反射面の微小区画ごとに数値計
算することによって設計される。
FIG. 4 is a perspective view showing a configuration example of the photographing devices 11a and 11b. In FIG. 4, reference numeral 41 denotes a camera, and the camera 41 includes a CCD and a CC as image pickup devices.
And a light receiving lens for forming an image of the object space on the light receiving surface of D. A reflecting mirror 42 is arranged in front of the camera 41,
The camera 41 captures an image reflected by the reflecting mirror 42. That is, the reflecting mirror 42 sets the region of interest in the object space to the camera 4.
An image is mapped to a desired area in one field of view. The reflecting surface of the reflecting mirror 42 is designed so as to widen the field of view of the camera 41, and the area reflected by the reflecting mirror 42 and photographed by the camera 41 is wider than the field of view of the camera 41. As a result, image data with a wide angle of view can be obtained. Reflecting mirror 42
Has a smooth shape and is formed in a convex shape as a whole. Such a reflecting surface is used in accordance with the positional relationship between the camera 41 and the reflecting surface of the reflecting mirror 42 so that the image taken by the camera 41 has no distortion in the surface of interest in the object space. It is designed by numerical calculation for each micro section of.

【0025】各微小区画の向きは、カメラ41の視野を
広げ、しかも画像に歪みが生じないように設定されてい
る。即ち、カメラ41により撮影しようとする物体空間
における着目領域の範囲,カメラ41の仕様,カメラ4
1と反射鏡42との相対的な位置関係等に応じて各微小
区画が配置される。具体的には、カメラ41で撮影した
画像が物体空間における着目領域の正射投影の像となる
ように、画像の横方向と縦方向とについて物体空間との
相似比が共に一定かつ等しくなるように微小区画を設定
する場合と、カメラ41で撮影した画像が物体空間にお
ける着目領域の透視投影の像となるように、画像の横方
向についてのみ物体空間との相似比が一定となるように
微小区画を設定する場合とが可能である。
The direction of each minute section is set so that the field of view of the camera 41 is widened and the image is not distorted. That is, the range of the region of interest in the object space to be photographed by the camera 41, the specifications of the camera 41, the camera 4
Each minute section is arranged according to the relative positional relationship between the mirror 1 and the reflecting mirror 42 and the like. Specifically, the similarity ratio between the object space and the object space in the horizontal and vertical directions is constant and equal so that the image photographed by the camera 41 is an orthographic image of the region of interest in the object space. Is set so that the similarity ratio with the object space is constant only in the horizontal direction of the image so that the image captured by the camera 41 is a perspective projection image of the region of interest in the object space. It is possible to set a section.

【0026】第2実施の形態では、このような反射鏡4
2を備えることにより、撮影装置11a,11bにて、
広い画角であっても歪みが少ない画像データを取得する
ことが可能となる。
In the second embodiment, such a reflecting mirror 4
2, the imaging devices 11a and 11b
Even with a wide angle of view, image data with little distortion can be obtained.

【0027】このような構成により、2個の撮影装置1
1a,11bにて取得された夫々の画角180度程度の
画像データから、HMD2の向きに応じて、抽出部3
a,3bにて所望の画角の画像データが夫々抽出されて
対応するディスプレイ2a,2bへ出力され、各ディス
プレイ2a,2bに画像が夫々表示される。撮影装置1
1a,11bは両目の間隔だけ離隔して設けられている
ため、視差がある右目用の画像、左目用の画像がディス
プレイ2a,2b夫々に表示されるので、HMD2を装
着したユーザに立体視画像を呈示することが可能とな
る。
With this configuration, the two photographing devices 1
From the image data of about 180 degrees of the angle of view acquired in 1a and 11b, the extraction unit 3 according to the direction of the HMD 2
The image data of the desired angle of view is respectively extracted at a and 3b and output to the corresponding displays 2a and 2b, and the images are displayed on the displays 2a and 2b, respectively. Photographing device 1
Since 1a and 11b are provided apart from each other by an interval between both eyes, a right-eye image and a left-eye image having parallax are displayed on the displays 2a and 2b, respectively, so that a stereoscopic image is displayed to the user wearing the HMD 2. Can be presented.

【0028】この第2実施の形態では、歪みが少ない広
い画角(180度)での取得画像データから表示用の画
像データを抽出するようにしているので、広い画角を有
していても歪みが少ない画像データを得ることができ、
歪みが少ない広画角の立体視画像をユーザに呈示するこ
とを実現できる。
In the second embodiment, image data for display is extracted from image data obtained at a wide angle of view (180 degrees) with little distortion, so even if the image has a wide angle of view. Image data with little distortion can be obtained,
It is possible to realize a wide-angle stereoscopic image with little distortion to the user.

【0029】ところで、上述した第1,第2実施の形態
では、2個の全方位撮影器1a,1bまたは撮影装置1
1a,11bを設けているため、それらの前方領域にお
いては視差がある画像を互いの全方位撮影器1a,1b
または撮影装置11a,11bにて撮影することができ
るが、それらの配設方向(図1,図3での左右方向)に
あっては互いの全方位撮影器1a,1bまたは撮影装置
11a,11bにて視差がなくなるので視差がある画像
を撮影できず、明瞭な立体視画像をユーザに呈示できな
い可能性がある。このような可能性を解消するようにし
た立体視システムを第3,第4実施の形態として、以下
に説明する。
In the first and second embodiments described above, the two omnidirectional photographing devices 1a and 1b or the photographing device 1 are used.
1a and 11b, the images having parallax in the area in front of them are omnidirectional photographers 1a and 1b.
Alternatively, the photographing can be performed by the photographing devices 11a and 11b, but in their disposition directions (left and right directions in FIGS. 1 and 3), the omnidirectional photographing devices 1a and 1b or the photographing devices 11a and 11b Therefore, there is a possibility that an image having parallax cannot be captured, and a clear stereoscopic image cannot be presented to the user. A stereoscopic system which eliminates such a possibility will be described below as third and fourth embodiments.

【0030】(第3実施の形態)図5は、第3実施の形
態による立体視システムの構成を示す図である。第3実
施の形態では、8個の全方位撮影器1A,1B,1C,
1D,1E,1F,1G,1Hが円環状に等間隔に配置
されている。これらの全方位撮影器の配置間隔は、中心
角で90度離れた2個の全方位撮影器(例えば全方位撮
影器1A,1C)間の直線距離を人間の左右の目の間隔
(7cm程度)としている。これらの全方位撮影器1A
〜1Hの構成は前述した全方位撮影器1a,1bの構成
(図2参照)と同一であり、各全方位撮影器1A〜1H
は、略全方位つまり周方向略360度の視野範囲を一度
に撮影する。
(Third Embodiment) FIG. 5 is a diagram showing a configuration of a stereoscopic vision system according to a third embodiment. In the third embodiment, eight omnidirectional imaging devices 1A, 1B, 1C,
1D, 1E, 1F, 1G, and 1H are annularly arranged at equal intervals. The arrangement interval of these omnidirectional imaging devices is determined by determining the linear distance between two omnidirectional imaging devices (for example, omnidirectional imaging devices 1A and 1C) 90 degrees apart from each other by the distance between human right and left eyes (about 7 cm). ). These omnidirectional camera 1A
The configuration of the omnidirectional imaging devices 1A to 1H is the same as the configuration of the omnidirectional imaging devices 1a and 1b described above (see FIG. 2).
Captures at once a substantially omnidirectional, that is, a 360-degree view in the circumferential direction.

【0031】ユーザが頭部に装着するHMD2は、第1
実施の形態(図1)と同様の右目用のディスプレイ2a
及び抽出部3a並びに左目用のディスプレイ2b及び抽
出部3bと、HMD2の向きに応じて8個の全方位撮影
器1A〜1Hから2個の全方位撮影器を選択する選択部
6とを有する。選択部6は、データ回線4A〜4Hを介
して各全方位撮影器1A〜1Hに接続されており、HM
D2の向きに応じて、2個の全方位撮影器を選択し、そ
の選択した一方の全方位撮影器から入力された周方向略
全域の画像データを右目用の抽出部3aへ出力すると共
に、その選択した他方の全方位撮影器から入力された周
方向略全域の画像データを左目用の抽出部3bへ出力す
る。
The HMD 2 worn by the user on the head is the first
Display 2a for right eye similar to embodiment (FIG. 1)
And an extraction unit 3a, a left-eye display 2b and an extraction unit 3b, and a selection unit 6 that selects two omnidirectional imaging devices from the eight omnidirectional imaging devices 1A to 1H according to the orientation of the HMD 2. The selection unit 6 is connected to each of the omnidirectional imaging devices 1A to 1H via the data lines 4A to 4H.
In accordance with the direction of D2, two omnidirectional imaging devices are selected, and image data in substantially the entire circumferential direction input from one of the selected omnidirectional imaging devices is output to the right-eye extracting unit 3a. The image data of substantially the entire circumferential direction input from the other selected omnidirectional imaging device is output to the left-eye extraction unit 3b.

【0032】抽出部3aは、HMD2の向きに応じて、
選択した一方の全方位撮影器で取得された周方向略全域
の画像データから所望の画角範囲の画像データを抽出し
て右目用のディスプレイ2aへ出力し、ディスプレイ2
aがその抽出された画像データに応じた右目用の画像を
表示する。同様に、抽出部3bは、HMD2の向きに応
じて、選択した他方の全方位撮影器から入力された周方
向略全域の画像データから所望の画角範囲の画像データ
を抽出して左目用のディスプレイ2bへ出力し、ディス
プレイ2bがその抽出された画像データに応じた左目用
の画像を表示する。
[0032] The extraction unit 3a, depending on the orientation of the HMD 2,
Image data of a desired angle of view range is extracted from image data of substantially the entire circumferential direction acquired by one selected omnidirectional photographing device, and is output to the display 2a for the right eye.
a displays an image for the right eye according to the extracted image data. Similarly, the extraction unit 3b extracts image data of a desired angle of view range from image data of substantially the entire circumferential direction input from the selected other omnidirectional imaging device according to the orientation of the HMD 2, and extracts the image data for the left eye. The image is output to the display 2b, and the display 2b displays an image for the left eye according to the extracted image data.

【0033】また、各全方位撮影器1A〜1Hにはデー
タ回線4A〜4Hを介して格納部5が接続されており、
格納部5は全方位撮影器1A〜1Hにて取得された画像
データを格納する。
A storage unit 5 is connected to each of the omnidirectional imaging devices 1A to 1H via data lines 4A to 4H.
The storage unit 5 stores image data obtained by the omnidirectional imaging devices 1A to 1H.

【0034】このような構成により、まず、HMD2の
向きに応じて、視差が生じるように、8個の全方位撮影
器1A〜1Hから使用する2個の全方位撮影器を選択す
る。そして、選択した2個の全方位撮影器にて取得され
た夫々の周方向略全域の画像データから、HMD2の向
きに応じて、抽出部3a,3bにて所望の画角の画像デ
ータが夫々抽出されて対応するディスプレイ2a,2b
へ出力され、各ディスプレイ2a,2bに画像が夫々表
示される。
With such a configuration, first, two omnidirectional photographing devices to be used are selected from the eight omnidirectional photographing devices 1A to 1H so that parallax is generated according to the orientation of the HMD 2. Then, based on the image data of substantially the entire circumferential direction obtained by the two selected omnidirectional imaging devices, the image data of the desired angle of view is extracted by the extraction units 3a and 3b in accordance with the direction of the HMD 2. Display 2a, 2b corresponding to the extracted display
And the image is displayed on each of the displays 2a and 2b.

【0035】例えば前方向(図5の上方向)にHMD2
が向けられている場合には、右目用としての全方位撮影
器1Aと左目用としての全方位撮影器1Gとが選択され
て、全方位撮影器1Aにて取得された周方向略全域の画
像データが右目用の抽出部3aへ入力され、全方位撮影
器1Gにて取得された周方向略全域の画像データが左目
用の抽出部3bへ入力される。また、左方向(図5の左
方向)にHMD2が向けられている場合には、右目用と
しての全方位撮影器1Gと左目用としての全方位撮影器
1Eとが選択されて、全方位撮影器1Gにて取得された
周方向略全域の画像データが右目用の抽出部3aへ入力
され、全方位撮影器1Eにて取得された周方向略全域の
画像データが左目用の抽出部3bへ入力される。同様
に、後方向(図5の下方向)にHMD2が向けられてい
る場合には、右目用としての全方位撮影器1Eと左目用
としての全方位撮影器1Cとが選択され,右方向(図5
の右方向)にHMD2が向けられている場合には、右目
用としての全方位撮影器1Cと左目用としての全方位撮
影器1Aとが選択され,更に、右前方向(図5の右上方
向)にHMD2が向けられている場合には、右目用とし
ての全方位撮影器1Bと左目用としての全方位撮影器1
Hとが選択される。
For example, the HMD 2 moves forward (upward in FIG. 5).
Is oriented, the omnidirectional imaging device 1A for the right eye and the omnidirectional imaging device 1G for the left eye are selected, and the image in substantially the entire circumferential direction acquired by the omnidirectional imaging device 1A is selected. The data is input to the extraction unit 3a for the right eye, and the image data of substantially the entire circumferential direction acquired by the omnidirectional imaging device 1G is input to the extraction unit 3b for the left eye. When the HMD 2 is directed leftward (leftward in FIG. 5), the omnidirectional camera 1G for the right eye and the omnidirectional camera 1E for the left eye are selected to perform omnidirectional imaging. The image data of substantially the entire circumferential direction acquired by the device 1G is input to the extraction unit 3a for the right eye, and the image data of substantially the entire circumferential direction acquired by the omnidirectional imaging device 1E is extracted to the extraction unit 3b for the left eye. Will be entered. Similarly, when the HMD 2 is directed backward (downward in FIG. 5), the omnidirectional camera 1E for the right eye and the omnidirectional camera 1C for the left eye are selected, and the right direction ( FIG.
When the HMD 2 is directed to the right (in the right direction), the omnidirectional imaging device 1C for the right eye and the omnidirectional imaging device 1A for the left eye are selected, and further, the right front direction (upper right direction in FIG. 5). Is directed to the omnidirectional camera 1B for the right eye and the omnidirectional camera 1B for the left eye
H is selected.

【0036】このようにして選択された2個の全方位撮
影器は両目の間隔だけ離隔して設けられているため、視
差がある右目用の画像,左目用の画像がディスプレイ2
a,2b夫々に表示されるので、HMD2を装着したユ
ーザに立体視画像を呈示することが可能となる。
Since the two omnidirectional photographing devices selected in this way are spaced apart from each other by the distance between both eyes, a right-eye image and a left-eye image having parallax are displayed on the display 2.
Since the images are displayed on a and 2b respectively, it is possible to present a stereoscopic image to the user wearing the HMD 2.

【0037】この第3実施の形態では、第1実施の形態
と同様に、周方向略全域(略360度)の取得画像デー
タから表示用の画像データを抽出するようにしているの
で、任意の画角範囲の画像データを抽出することが可能
となり、通常のカメラを用いた従来例よりも広い画角の
画像データを得ることができ、広画角の立体視画像をユ
ーザに呈示することを実現できる。また、HMD2の向
きに応じて最適な2個の全方位撮影器を選択できるの
で、HMD2が何れの向きであっても、視差がある2種
の画像データを常に取得することができ、明瞭な立体視
画像を常時ユーザに呈示することができる。
In the third embodiment, as in the first embodiment, the image data for display is extracted from the acquired image data in substantially the entire circumferential direction (approximately 360 degrees). It is possible to extract image data in the angle of view range, obtain image data with a wider angle of view than the conventional example using a normal camera, and present a stereoscopic image with a wide angle of view to the user. realizable. Further, since two optimal omnidirectional photographing devices can be selected according to the orientation of the HMD 2, it is possible to always acquire two types of image data having parallax, regardless of the orientation of the HMD 2, and to obtain a clear image. A stereoscopic image can always be presented to the user.

【0038】(第4実施の形態)図6は、第4実施の形
態による立体視システムの構成を示す図である。第4実
施の形態では、8個の撮影装置11A,11B,11
C,11D,11E,11F,11G,11Hが円環状
に等間隔に配置されている。これらの撮影装置の配置間
隔は、中心角で90度離れた2個の撮影装置(例えば撮
影装置11A,11C)間の直線距離を人間の左右の目
の間隔(7cm程度)としている。これらの撮影装置1
1A〜11Hの構成は前述した撮影装置11a,11b
の構成(図4参照)と同一であり、各撮影装置11A〜
11Hは、180度程度の画角の視野範囲を撮影する。
なお、他の構成部材は図5に示した第3実施の形態と同
様であり、同様の構成部分には同一符号を付してそれら
の説明を省略する。
(Fourth Embodiment) FIG. 6 is a diagram showing a configuration of a stereoscopic vision system according to a fourth embodiment. In the fourth embodiment, eight photographing devices 11A, 11B, 11
C, 11D, 11E, 11F, 11G, and 11H are annularly arranged at equal intervals. The distance between these photographing devices is such that the straight line distance between two photographing devices (for example, photographing devices 11A and 11C) separated by 90 degrees in center angle is the distance between human right and left eyes (about 7 cm). These photographing devices 1
The configurations of 1A to 11H are the same as those of the imaging devices 11a and 11b described above.
(See FIG. 4), and each of the photographing devices 11A to 11A to
11H captures a field of view with an angle of view of about 180 degrees.
The other components are the same as those in the third embodiment shown in FIG. 5, and the same components are denoted by the same reference numerals and description thereof will be omitted.

【0039】このような構成により、まず、HMD2の
向きに応じて、視差が生じるように、選択部6にて、8
個の撮影装置11A〜11Hから使用する2個の撮影装
置を選択する。そして、選択した2個の撮影装置にて取
得された180度程度の画角の夫々の画像データから、
HMD2の向きに応じて、抽出部3a,3bにて所望の
画角の画像データが夫々抽出されて対応するディスプレ
イ2a,2bへ出力され、各ディスプレイ2a,2bに
画像が夫々表示される。
According to such a configuration, first, the selection unit 6 sets the 8 bits so that parallax is generated according to the direction of the HMD 2.
Two photographing devices to be used are selected from the photographing devices 11A to 11H. Then, from each of the image data having an angle of view of about 180 degrees acquired by the two selected photographing devices,
According to the orientation of the HMD 2, image data of a desired angle of view is extracted by the extraction units 3a and 3b, respectively, and output to the corresponding displays 2a and 2b, and the images are displayed on the displays 2a and 2b, respectively.

【0040】なお、この際のHMD2の向きに応じた2
個の撮影装置の選択パターンは上述した第3実施の形態
における全方位撮影器の選択パターンと同様であり、例
えば前方向(図6の上方向)にHMD2が向けられてい
る場合には、右目用としての撮影装置11Aと左目用と
しての撮影装置11Gとが選択されて、撮影装置11A
にて取得された歪みが少ない広画角の画像データが右目
用の抽出部3aへ入力され、撮影装置11Gにて撮影さ
れた歪みが少ない広画角の画像データが左目用の抽出部
3bへ入力される。また、左方向(図6の左方向)にH
MD2が向けられている場合には、右目用としての撮影
装置11Gと左目用としての撮影装置11Eとが選択さ
れ、右前方向(図6の右上方向)にHMD2が向けられ
ている場合には、右目用としての撮影装置11Bと左目
用としての撮影装置11Hとが選択される。
In this case, 2 according to the direction of the HMD 2
The selection pattern of the three imaging devices is the same as the selection pattern of the omnidirectional imaging device in the above-described third embodiment. For example, when the HMD 2 is directed forward (upward in FIG. 6), the right eye The photographing device 11A for the left eye and the photographing device 11G for the left eye are selected.
Is input to the right-eye extraction unit 3a, and the wide-angle image data with little distortion captured by the imaging device 11G is sent to the left-eye extraction unit 3b. Will be entered. In addition, H in the left direction (left direction in FIG. 6).
When the MD2 is pointed, the photographing device 11G for the right eye and the photographing device 11E for the left eye are selected, and when the HMD2 is pointed in the right front direction (upper right direction in FIG. 6), The photographing device 11B for the right eye and the photographing device 11H for the left eye are selected.

【0041】このようにして選択された2個の撮影装置
は両目の間隔だけ離隔して設けられているため、視差が
ある右目用の画像,左目用の画像がディスプレイ2a,
2b夫々に表示されるので、HMD2を装着したユーザ
に立体視画像を呈示することが可能となる。
Since the two photographing devices selected in this way are spaced apart from each other by the distance between both eyes, a right-eye image and a left-eye image having parallax are displayed on the display 2a,
2B, the stereoscopic image can be presented to the user wearing the HMD 2.

【0042】この第4実施の形態では、第2実施の形態
と同様に、歪みが少ない広い画角(180度)での取得
画像データから表示用の画像データを抽出するようにし
ているので、広い画角を有していても歪みが少ない画像
データを得ることができ、歪みが少ない広画角の立体視
画像をユーザに呈示することを実現できる。また、HM
D2の向きに応じて最適な2個の撮影装置を選択できる
ので、HMD2が何れの向きであっても、視差がある2
種の画像データを常に取得することができ、明瞭な立体
視画像を常時ユーザに呈示することができる。
In the fourth embodiment, similar to the second embodiment, image data for display is extracted from image data obtained at a wide angle of view (180 degrees) with little distortion. Even if it has a wide angle of view, it is possible to obtain image data with little distortion, and it is possible to present a wide-angle stereoscopic image with little distortion to the user. Also, HM
Since the optimum two photographing devices can be selected according to the direction of D2, there is no parallax regardless of the direction of the HMD2.
Kind of image data can always be obtained, and a clear stereoscopic image can always be presented to the user.

【0043】上述した第1〜第4の各実施の形態にあっ
ては、全方位撮影器または撮影装置にて取得された画像
データを格納部5にて格納しておくようにしているの
で、取得した画像データに対する編集処理(合成,圧
縮,削除など)を任意のタイミングにて行うことが可能
となる。
In each of the above-described first to fourth embodiments, the image data acquired by the omnidirectional photographing device or the photographing device is stored in the storage unit 5, so that Editing processing (compositing, compression, deletion, etc.) on the acquired image data can be performed at an arbitrary timing.

【0044】また、第3,第4実施の形態では、8個の
全方位撮影器,撮影装置を設置しておき、それらから2
個のものを選択するようにしたので、1つの立体視シス
テムにおいて同時に複数のユーザに対して異なる方向で
の立体視画像を呈示することが可能である。
In the third and fourth embodiments, eight omnidirectional photographers and photographing devices are installed, and two
Since a plurality of objects are selected, it is possible to simultaneously present stereoscopic images in different directions to a plurality of users in one stereoscopic system.

【0045】また、第1〜第4実施の形態では、使用す
る2個の全方位撮影器または撮影装置の設置間隔を人間
の両目の間隔(7cm)に合わせたが、この設置間隔を
変更することにより、巨人の視点または小人の視点に基
づく立体視画像をユーザに呈示することが可能である。
In the first to fourth embodiments, the installation interval of the two omnidirectional imaging devices or imaging devices used is adjusted to the interval (7 cm) between both eyes of a human, but this installation interval is changed. Thereby, it is possible to present a stereoscopic image based on the viewpoint of the giant or the viewpoint of the dwarf to the user.

【0046】なお、第3,第4実施の形態における全方
位撮影器,撮影装置の設置個数を8個としたが、これは
例示であり、3個以上の任意の個数の全方位撮影器,撮
影装置を設けた場合にも同様に行えることは勿論であ
る。
Although the number of omnidirectional photographing devices and photographing devices in the third and fourth embodiments is set to eight, this is an example, and an arbitrary number of three or more omnidirectional photographing devices, Of course, the same can be done in the case where an imaging device is provided.

【0047】また、第1,第3実施の形態では、図2に
示すような構成を有する全方位撮影器を用いることとし
たが、その全方位撮影器の構成は一例であり、他の構成
例であっても良いことは言うまでもない。
Further, in the first and third embodiments, the omnidirectional photographing device having the configuration as shown in FIG. 2 is used. However, the configuration of the omnidirectional photographing device is an example, and other configurations are used. It goes without saying that this may be an example.

【0048】また、第1〜第4実施の形態では、データ
回線を介して画像データを伝送するようにしたが、無線
伝送によって全方位撮影器または撮影装置からHMD2
及び格納部2へ画像データを伝送するようにしても良
い。
Further, in the first to fourth embodiments, the image data is transmitted via the data line.
Alternatively, the image data may be transmitted to the storage unit 2.

【0049】[0049]

【発明の効果】以上のように第1発明の立体視システム
では、2個の撮影器にて取得された夫々の周方向略全域
の画像データの一部を抽出した画像データを第1の画像
データ(一方の目の画像データ),第2の画像データ
(他方の目の画像データ)として使用するようにしたの
で、広角の立体視画像をユーザに呈示でき、また、その
画角範囲を任意に設定することが可能である。
As described above, in the stereoscopic system according to the first aspect of the present invention, the image data obtained by extracting a part of the image data in substantially the entire circumferential direction obtained by the two photographing devices is converted into the first image. Since it is used as data (image data of one eye) and second image data (image data of the other eye), a wide-angle stereoscopic image can be presented to the user, and the range of the angle of view can be arbitrarily set. Can be set to

【0050】第2発明の立体視システムでは、撮影空間
において着目する面に沿った寸法比が撮影された画像の
少なくとも一方向での寸法比と一致するように反射面が
形成されている反射鏡を有する2個の撮影装置にて得ら
れた夫々の画像データの一部を抽出した画像データを第
1の画像データ(一方の目の画像データ),第2の画像
データ(他方の目の画像データ)として使用するように
したので、広い画角であっても歪みが少ない立体視画像
をユーザに呈示できる。
In the stereoscopic system according to the second aspect of the present invention, the reflecting mirror is formed with a reflecting surface such that the dimensional ratio along the plane of interest in the photographing space matches the dimensional ratio in at least one direction of the photographed image. The image data obtained by extracting a part of the respective image data obtained by the two photographing apparatuses having the first image data (the image data of one eye) and the second image data (the image data of the other eye) Since it is used as data, a stereoscopic image with little distortion can be presented to the user even with a wide angle of view.

【0051】第3発明の立体視システムでは、ディスプ
レイの向きに応じて、環状に配設されている3個以上の
撮影器から2個の撮影器を選択し、選択した2個の撮影
器にて取得された夫々の周方向略全域の画像データの一
部を抽出した画像データを第1の画像データ(一方の目
の画像データ),第2の画像データ(他方の目の画像デ
ータ)として使用するようにしたので、第1発明と同様
に、その画角範囲を任意に設定した広角の立体視画像を
ユーザに呈示できると共に、ディスプレイがどんな向き
であっても、明瞭な立体視画像をユーザに常に呈示する
ことが可能である。
In the stereoscopic system according to the third aspect of the present invention, two photographing devices are selected from three or more photographing devices arranged in a ring according to the direction of the display, and the two photographing devices are selected. Image data obtained by extracting a part of the image data of substantially the entire area in the circumferential direction acquired as the first image data (image data of one eye) and the second image data (image data of the other eye). Since it is used, similarly to the first invention, a wide-angle stereoscopic image in which the angle of view range is arbitrarily set can be presented to the user, and a clear stereoscopic image can be displayed regardless of the orientation of the display. It can always be presented to the user.

【0052】第4発明の立体視システムでは、ディスプ
レイの向きに応じて、撮影空間において着目する面に沿
った寸法比が撮影された画像の少なくとも一方向での寸
法比と一致するように反射面が形成されている反射鏡を
有する環状に配設された3個以上の撮影装置から2個の
撮影装置を選択し、選択した2個の撮影装置にて得られ
た夫々の画像データの一部を抽出した画像データを第1
の画像データ(一方の目の画像データ),第2の画像デ
ータ(他方の目の画像データ)として使用するようにし
たので、第2発明と同様に、広い画角であっても歪みが
少ない立体視画像をユーザに呈示できると共に、ディス
プレイがどんな向きであっても、明瞭な立体視画像をユ
ーザに常に呈示することが可能である。
In the stereoscopic vision system according to the fourth aspect of the present invention, the reflecting surface is adjusted so that the dimensional ratio along the plane of interest in the photographing space matches the dimensional ratio in at least one direction of the photographed image in accordance with the orientation of the display. Is selected from two or more photographing devices arranged in a ring having a reflecting mirror in which a plurality of photographing devices are formed, and a part of each image data obtained by the selected two photographing devices. Image data extracted from
Are used as the image data (the image data of one eye) and the second image data (the image data of the other eye), so that the distortion is small even at a wide angle of view as in the second invention. The stereoscopic image can be presented to the user, and a clear stereoscopic image can always be presented to the user regardless of the orientation of the display.

【0053】第5発明の立体視システムでは、撮影器ま
たは撮影装置で得られた画像データを格納しておくよう
にしたので、画像データに対する合成,削除等の編集処
理を行うことが可能である。
In the stereoscopic system according to the fifth aspect of the present invention, the image data obtained by the photographing device or the photographing device is stored, so that it is possible to perform editing processing such as combining and deleting the image data. .

【図面の簡単な説明】[Brief description of the drawings]

【図1】第1実施の形態による立体視システムの構成を
示す図である。
FIG. 1 is a diagram illustrating a configuration of a stereoscopic vision system according to a first embodiment.

【図2】全方位撮影器の構成例を示す斜視図である。FIG. 2 is a perspective view illustrating a configuration example of an omnidirectional imaging device.

【図3】第2実施の形態による立体視システムの構成を
示す図である。
FIG. 3 is a diagram illustrating a configuration of a stereoscopic vision system according to a second embodiment.

【図4】撮影装置の構成例を示す斜視図である。FIG. 4 is a perspective view illustrating a configuration example of a photographing device.

【図5】第3実施の形態による立体視システムの構成を
示す図である。
FIG. 5 is a diagram illustrating a configuration of a stereoscopic vision system according to a third embodiment.

【図6】第4実施の形態による立体視システムの構成を
示す図である。
FIG. 6 is a diagram illustrating a configuration of a stereoscopic vision system according to a fourth embodiment.

【符号の説明】[Explanation of symbols]

1a,1b,1A,1B,1C,1D,1E,1F,1
G,1H 全方位撮影器 2 HMD(ヘッドマウントディスプレイ) 2a,2b ディスプレイ 3a,3b 抽出部 5 格納部 6 選択部 11a,11b,11A,11B,11C,11D,1
1E,11F,11G,11H 撮影装置 42 反射鏡
1a, 1b, 1A, 1B, 1C, 1D, 1E, 1F, 1
G, 1H Omnidirectional camera 2 HMD (head mounted display) 2a, 2b Display 3a, 3b Extraction unit 5 Storage unit 6 Selection unit 11a, 11b, 11A, 11B, 11C, 11D, 1
1E, 11F, 11G, 11H Imaging device 42 Reflector

───────────────────────────────────────────────────── フロントページの続き (72)発明者 前田 武志 大阪府大阪市此花区春日出北3丁目8番地 4 ハイツすみれ201 (72)発明者 大和 信夫 大阪府大阪市浪速区下寺2−2−18 ヴイ ストン株式会社内 Fターム(参考) 5B050 BA04 DA07 EA13 FA02 FA06 5C061 AA01 AB04 AB11 AB18 AB20 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Takeshi Maeda 3-8-4 Kasugaide Kita, Konohana-ku, Osaka-shi, Osaka 4 Heights Sumire 201 (72) Inventor Nobuo Yamato 2-2 Shimoji, Namiwa-ku, Osaka-shi, Osaka 18 V-Stone Co., Ltd. F-term (reference) 5B050 BA04 DA07 EA13 FA02 FA06 5C061 AA01 AB04 AB11 AB18 AB20

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 視差がある第1の画像データと第2の画
像データとを各別に2個のディスプレイ夫々へ供給して
立体視画像を呈示する立体視システムにおいて、夫々が
自身の周方向略全域を撮影する2個の撮影器と、該撮影
器夫々で得られた画像データの一部を前記ディスプレイ
の向きに応じて抽出し、抽出した2つの画像データを前
記第1の画像データ及び第2の画像データとして前記デ
ィスプレイ夫々へ供給する手段とを備えることを特徴と
する立体視システム。
1. A stereoscopic system which supplies a first image data and a second image data each having a parallax to two displays, respectively, to present a stereoscopic image. Two photographing devices for photographing the entire area, and a part of the image data obtained by each of the photographing devices is extracted in accordance with the orientation of the display, and the extracted two image data are divided into the first image data and the first image data. Means for supplying the image data to each of the displays as the second image data.
【請求項2】 視差がある第1の画像データと第2の画
像データとを各別に2個のディスプレイ夫々へ供給して
立体視画像を呈示する立体視システムにおいて、撮影空
間において着目する面に沿った寸法比が撮影された画像
の少なくとも一方向での寸法比と一致するように反射面
が形成されている反射鏡を夫々有する2個の撮影装置
と、該撮影装置夫々で得られた画像データの一部を前記
ディスプレイの向きに応じて抽出し、抽出した2つの画
像データを前記第1の画像データ及び第2の画像データ
として前記ディスプレイ夫々へ供給する手段とを備える
ことを特徴とする立体視システム。
2. A stereoscopic system for presenting a stereoscopic image by supplying first image data and second image data each having a parallax to two displays, respectively, in a stereoscopic view system in which a plane of interest in an imaging space is used. Two photographing devices each having a reflecting mirror in which a reflecting surface is formed so that a dimension ratio along the photographed image coincides with a dimension ratio in at least one direction of the photographed image, and images obtained by the photographing devices, respectively. Means for extracting a part of the data in accordance with the orientation of the display, and supplying the extracted two image data as the first image data and the second image data to each of the displays. Stereoscopic system.
【請求項3】 視差がある第1の画像データと第2の画
像データとを各別に2個のディスプレイ夫々へ供給して
立体視画像を呈示する立体視システムにおいて、環状に
配設されており、夫々が自身の周方向略全域を撮影する
3個以上の撮影器と、前記ディスプレイの向きに応じて
前記撮影器から2個の撮影器を選択する手段と、前記デ
ィスプレイの向きに応じて、選択した2個の撮影器夫々
で得られた画像データの一部を抽出し、抽出した2つの
画像データを前記第1の画像データ及び第2の画像デー
タとして前記ディスプレイ夫々へ供給する手段とを備え
ることを特徴とする立体視システム。
3. A stereoscopic vision system that supplies a first image data and a second image data having a parallax respectively to two displays and presents a stereoscopic image, and is arranged in a ring. , Three or more photographers each photographing substantially the entire circumferential direction of their own, means for selecting two photographers from the photographer according to the orientation of the display, and according to the orientation of the display, Means for extracting a part of the image data obtained by each of the selected two photographing devices and supplying the extracted two image data to the display as the first image data and the second image data. A stereoscopic system, comprising:
【請求項4】 視差がある第1の画像データと第2の画
像データとを各別に2個のディスプレイ夫々へ供給して
立体視画像を呈示する立体視システムにおいて、撮影空
間において着目する面に沿った寸法比が撮影された画像
の少なくとも一方向での寸法比と一致するように反射面
が形成されている反射鏡を夫々有しており、環状に配設
されている3個以上の撮影装置と、前記ディスプレイの
向きに応じて前記撮影装置から2個の撮影装置を選択す
る手段と、前記ディスプレイの向きに応じて、選択した
2個の撮影装置夫々で得られた画像データの一部を抽出
し、抽出した2つの画像データを前記第1の画像データ
及び第2の画像データとして前記ディスプレイ夫々へ供
給する手段とを備えることを特徴とする立体視システ
ム。
4. In a stereoscopic vision system for presenting a stereoscopic vision image by supplying first and second image data having parallax to two displays, respectively, in a stereoscopic vision system, a surface to which attention is paid in a photographing space. Three or more imaging mirrors each having a reflecting mirror formed with a reflecting surface so that the dimensional ratio along the image coincides with the dimensional ratio in at least one direction of the captured image. A device, means for selecting two photographing devices from the photographing device according to the orientation of the display, and a part of image data obtained by each of the two photographing devices selected according to the orientation of the display And a means for extracting the extracted two pieces of image data as the first image data and the second image data to each of the displays.
【請求項5】 前記撮影器または前記撮影装置で得られ
た画像データを格納する手段を更に備える請求項1〜4
の何れかに記載の立体視システム。
5. The image processing apparatus according to claim 1, further comprising a unit configured to store image data obtained by the photographing device or the photographing device.
The stereoscopic vision system according to any one of the above.
JP2001161362A 2001-05-29 2001-05-29 Stereoscopic system Pending JP2002354505A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001161362A JP2002354505A (en) 2001-05-29 2001-05-29 Stereoscopic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001161362A JP2002354505A (en) 2001-05-29 2001-05-29 Stereoscopic system

Publications (1)

Publication Number Publication Date
JP2002354505A true JP2002354505A (en) 2002-12-06

Family

ID=19004654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001161362A Pending JP2002354505A (en) 2001-05-29 2001-05-29 Stereoscopic system

Country Status (1)

Country Link
JP (1) JP2002354505A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172851A (en) * 2003-12-05 2005-06-30 Sony Corp Image display apparatus
JP2011182003A (en) * 2010-02-26 2011-09-15 Let's Corporation Panorama camera and 360-degree panorama stereoscopic video system
JP2011199556A (en) * 2010-03-19 2011-10-06 Nippon Hoso Kyokai <Nhk> Stereoscopy imaging device, stereoscopic signal generator, and program
JP2014131154A (en) * 2012-12-28 2014-07-10 Pioneer Electronic Corp Video processor, video receiver, video transmitter and video processing method
JP2017518663A (en) * 2014-04-07 2017-07-06 ノキア テクノロジーズ オサケユイチア 3D viewing
JP2017158153A (en) * 2016-03-04 2017-09-07 キヤノン株式会社 Image processing apparatus and image processing method
JP2017539120A (en) * 2014-10-22 2017-12-28 パラルラクスター Method for collecting image data for the purpose of generating immersive video and spatial visualization method based on those image data
US9918066B2 (en) 2014-12-23 2018-03-13 Elbit Systems Ltd. Methods and systems for producing a magnified 3D image
WO2018056155A1 (en) * 2016-09-21 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント Information processing device, image generation method and head-mounted display
JP2018110295A (en) * 2016-12-28 2018-07-12 キヤノン株式会社 Image processing device and image processing method
JP2018523142A (en) * 2015-05-04 2018-08-16 グーグル エルエルシー Pass-through display of captured images
WO2020050179A1 (en) * 2018-09-03 2020-03-12 川崎重工業株式会社 Robot system
WO2020066008A1 (en) * 2018-09-28 2020-04-02 株式会社ソニー・インタラクティブエンタテインメント Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
WO2020166581A1 (en) * 2019-02-15 2020-08-20 株式会社Jvcケンウッド Image adjustment system, image adjustment device, and image adjustment method
JP2020136801A (en) * 2019-02-15 2020-08-31 株式会社Jvcケンウッド Image adjustment system, image adjustment device, and image adjustment method

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172851A (en) * 2003-12-05 2005-06-30 Sony Corp Image display apparatus
JP2011182003A (en) * 2010-02-26 2011-09-15 Let's Corporation Panorama camera and 360-degree panorama stereoscopic video system
JP2011199556A (en) * 2010-03-19 2011-10-06 Nippon Hoso Kyokai <Nhk> Stereoscopy imaging device, stereoscopic signal generator, and program
JP2014131154A (en) * 2012-12-28 2014-07-10 Pioneer Electronic Corp Video processor, video receiver, video transmitter and video processing method
JP2017518663A (en) * 2014-04-07 2017-07-06 ノキア テクノロジーズ オサケユイチア 3D viewing
US10455221B2 (en) 2014-04-07 2019-10-22 Nokia Technologies Oy Stereo viewing
US11575876B2 (en) 2014-04-07 2023-02-07 Nokia Technologies Oy Stereo viewing
US10645369B2 (en) 2014-04-07 2020-05-05 Nokia Technologies Oy Stereo viewing
JP2017539120A (en) * 2014-10-22 2017-12-28 パラルラクスター Method for collecting image data for the purpose of generating immersive video and spatial visualization method based on those image data
US9918066B2 (en) 2014-12-23 2018-03-13 Elbit Systems Ltd. Methods and systems for producing a magnified 3D image
JP2018523142A (en) * 2015-05-04 2018-08-16 グーグル エルエルシー Pass-through display of captured images
US11024082B2 (en) 2015-05-04 2021-06-01 Google Llc Pass-through display of captured imagery
JP2017158153A (en) * 2016-03-04 2017-09-07 キヤノン株式会社 Image processing apparatus and image processing method
WO2018056155A1 (en) * 2016-09-21 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント Information processing device, image generation method and head-mounted display
US11184597B2 (en) 2016-09-21 2021-11-23 Sony Interactive Entertainment Inc. Information processing device, image generation method, and head-mounted display
JP2018110295A (en) * 2016-12-28 2018-07-12 キヤノン株式会社 Image processing device and image processing method
WO2020050179A1 (en) * 2018-09-03 2020-03-12 川崎重工業株式会社 Robot system
JP7169130B2 (en) 2018-09-03 2022-11-10 川崎重工業株式会社 robot system
JP2020037145A (en) * 2018-09-03 2020-03-12 川崎重工業株式会社 Robot system
US11833698B2 (en) 2018-09-03 2023-12-05 Kawasaki Jukogyo Kabushiki Kaisha Vision system for a robot
JPWO2020066008A1 (en) * 2018-09-28 2021-05-13 株式会社ソニー・インタラクティブエンタテインメント Image data output device, content creation device, content playback device, image data output method, content creation method, and content playback method
WO2020066008A1 (en) * 2018-09-28 2020-04-02 株式会社ソニー・インタラクティブエンタテインメント Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
JP7011728B2 (en) 2018-09-28 2022-01-27 株式会社ソニー・インタラクティブエンタテインメント Image data output device, content creation device, content playback device, image data output method, content creation method, and content playback method
JP2020136801A (en) * 2019-02-15 2020-08-31 株式会社Jvcケンウッド Image adjustment system, image adjustment device, and image adjustment method
WO2020166581A1 (en) * 2019-02-15 2020-08-20 株式会社Jvcケンウッド Image adjustment system, image adjustment device, and image adjustment method
JP7127569B2 (en) 2019-02-15 2022-08-30 株式会社Jvcケンウッド Image adjustment system, image adjustment device, and image adjustment method

Similar Documents

Publication Publication Date Title
JP7076447B2 (en) Light field capture and rendering for head-mounted displays
US7429997B2 (en) System and method for spherical stereoscopic photographing
JP3129719B2 (en) Video display device
JP2002354505A (en) Stereoscopic system
JP2017204674A (en) Imaging device, head-mounted display, information processing system, and information processing method
JP2002232913A (en) Double eye camera and stereoscopic vision image viewing system
CN113112407B (en) Method, system, device and medium for generating field of view of television-based mirror
JP2000230806A (en) Position and method for position recognition and virtual image three-dimensional composition device
JP2000184398A (en) Virtual image stereoscopic synthesis device, virtual image stereoscopic synthesis method, game machine and recording medium
JP3205552B2 (en) 3D image pickup device
WO2003054625A1 (en) A panoramic stereoscopic imaging method and apparatus
JP2741063B2 (en) Wide-field display device
JP2020154430A (en) Device with multiple markers
JP2000132329A (en) Device and method for recognizing surface and virtual image solid synthesizer
CN108696740A (en) A kind of live broadcasting method and equipment based on augmented reality
JP3330129B2 (en) Video display device
CN213522118U (en) Display device, dressing table and mirror
CN214756700U (en) 3D display device
CN208353467U (en) A kind of pan-shot image real time transfer synthesis system
JP2008227834A (en) Head-mounted image presenting device, head-mounted photographing device, and head-mounted video device
JP2023178093A (en) Display unit, control method, and program
JP2017216522A (en) Head-mounted augmented reality display device and augmented reality display system using the same
JP2022140424A (en) Image pickup apparatus, control method therefor, and program
JP2022140421A (en) Imaging system, imaging apparatus, display unit, control method, and program
JP2023067530A (en) Imaging apparatus, control method therefor, and program