JP2019525509A - 水平視差ステレオパノラマ取込方法 - Google Patents
水平視差ステレオパノラマ取込方法 Download PDFInfo
- Publication number
- JP2019525509A JP2019525509A JP2018558380A JP2018558380A JP2019525509A JP 2019525509 A JP2019525509 A JP 2019525509A JP 2018558380 A JP2018558380 A JP 2018558380A JP 2018558380 A JP2018558380 A JP 2018558380A JP 2019525509 A JP2019525509 A JP 2019525509A
- Authority
- JP
- Japan
- Prior art keywords
- mirror surfaces
- panorama
- camera
- eye panorama
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
- G02B30/35—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/08—Mirrors
- G02B5/09—Multifaceted or polygonal mirrors, e.g. polygonal scanning mirrors; Fresnel mirrors
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Claims (12)
- (a)複数の鏡面(112A〜N)及び(b)視野開口(114)を有し、前記複数の鏡面(112A〜N)が密着形状に配置され、(a)(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得し、(b)前記光線間で内部反射させることなく前記光線を反射させる多面選択光反射ユニット(104)と、
前記多面選択光反射ユニット(104)に取り付けられ、(a)前記多面選択光反射ユニット(104)からの反射光線を取得し、(b)前記光線を前記視野開口(114)に反射させる二次反射体(106)であって、前記3Dシーンの上側部分を反映させる凹レンズ(116)を有する二次反射体(106)と、
(i)前記二次反射体(106)からの前記反射光線及び(ii)前記凹レンズ(116)からの前記3Dシーンの前記上側部分を歪み画像の形式で前記視野開口(114)を介して取り込むカメラ(110)、並びに、
前記歪み画像を(a)前記左眼パノラマ及び(b)前記右眼パノラマに加工するプロセッサ
を有する演算ユニット(102)と、を備える水平視差ステレオパノラマ取込システム。 - 前記プロセッサが
前記カメラ(110)の視軸を前記演算ユニット(102)の中心軸と一致させ、
前記歪み画像を校正するための(i)通常二値系列パターン及び(ii)逆二値系列パターンを含む二値光パターンを前記3Dシーンのスクリーンに投影する
カメラ配向モジュール(204)と、
前記カメラ(110)から前記歪み画像を取得する歪み画像取得モジュール(206)と、
(a)各画素において前記歪み画像から前記二値光パターンを復号することによりワールド座標系から歪み画像座標系へのマッピングを計算し、
(b)(i)前記カメラ(110)及び(ii)前記多面選択光反射ユニット(104)の不具合を分析し、
(c)前記ワールド座標系から前記歪み画像座標系への前記マッピングを計算しつつ、分析した前記不具合を最小限に抑える
校正モジュール(208)と、
(a)各画素における前記歪み画像の正確な視界を判定し、(b)前記歪み画像の歪みを取り除いて(i)前記左眼パノラマ及び(ii)前記右眼パノラマにするパノラマ作成モジュール(210)と、
少なくとも(a)ヘッドマウントディスプレイ、(b)三次元(3D)プロジェクタ又は(c)三次元(3D)ディスプレイのいずれか1つであるステレオ表示ユニットに(a)前記左眼パノラマ及び(b)前記右眼パノラマを表示する表示モジュール(212)と、を備えることを特徴とする請求項1に記載のシステム。 - 前記複数の鏡面(112A〜N)が、連続配置された(a)複数の左鏡面及び(b)複数の右鏡面を有し、(i)前記複数の左鏡面及び(ii)前記複数の右鏡面により、(a)前記左眼パノラマに対応する関連光線と(b)前記右眼パノラマに対応する関連光線とをそれぞれ取得することを特徴とする請求項1に記載のシステム。
- 前記連続配置された前記複数の左鏡面及び前記複数の右鏡面は、(i)(a)前記左眼パノラマ及び(b)前記右眼パノラマのつなぎ合わせの不自然さを最小限に抑え、(ii)前記3Dシーンの死角を最小限に抑え、(iii)少なくとも(a)前記左眼パノラマを作成する連続左鏡面、又は(b)前記右眼パノラマを作成する連続右鏡面のいずれか1つの間での視点視差を最小限に抑え、(iv)前記3Dシーンから取り込んだ前記光線のむらを最小限に抑えることを特徴とする請求項3に記載のシステム。
- 前記複数の鏡面(112A〜N)が湾曲形状であり、前記湾曲形状の複数の鏡面(112A〜N)により、前記3Dシーンの視野が拡大され、前記視野は(a)水平視野と(b)垂直視野を含むことを特徴とする請求項1に記載のシステム。
- 前記カメラ(110)が複数のカメラに置換されることを特徴とする請求項1に記載のシステム。
- (i)前記複数の左鏡面の個々の左鏡面と(ii)前記複数の右鏡面の個々の右鏡面の鉛直断面が少なくとも(a)直線形状、(b)放物線形状、(c)双曲線形状又は(d)楕円形状のいずれか1つであり、(i)前記複数の左鏡面の前記個々の左鏡面と(ii)前記複数の右鏡面の前記個々の右鏡面の水平断面が少なくとも(a)円形状又は(b)直線形状のいずれか1つであることを特徴とする請求項3に記載のシステム。
- 前記カメラ(110)が少なくとも(i)デジタルカメラセンサ、(ii)ハイパースペクトル撮像センサ、(iii)赤外線画像センサ又は(iv)暗視センサのいずれか1つであることを特徴とする請求項1に記載のシステム。
- 前記カメラ(110)が、左視界及び右視界に対応する前記多面選択光反射ユニット(104)からの前記光線を、パノラマステレオディスプレイとして作用する前記スクリーンに投影するプロジェクタに置換されることを特徴とする請求項1に記載のシステム。
- 前記カメラ(110)を前記二次反射体(106)の位置に配置し、前記多面選択光反射ユニット(104)からの前記反射光線を直接取得し、前記凹レンズ(116)が、前記多面選択光反射ユニット(104)の底部に配置され、前記3Dシーンの前記上側部分を前記カメラ(110)に反射することを特徴とする請求項1に記載のシステム。
- 多面選択光反射ユニット(104)を使用して、(i)左眼パノラマ及び(ii)右眼パノラマの作成に関連する外界の三次元(3D)シーンからの光線を取得するステップと、
前記多面選択光反射ユニット(104)を使用して、前記光線を二次反射体(106)に反射させるステップと、
前記カメラ(110)を使用して、(i)前記二次反射体(106)からの歪み画像の形式の前記反射光線及び(ii)凹レンズ(116)からの前記3Dシーンの上側部分を取り込むステップと、
演算ユニット(102)を使用して、前記歪み画像を(a)前記左眼パノラマ及び(b)前記右眼パノラマに加工するステップと、を備える水平視差ステレオパノラマ取込方法。 - 前記加工は、
カメラ配向モジュール(204)を使用して、前記カメラ(110)の視軸を前記演算ユニット(102)の中心軸と一致させるステップと、
前記カメラ配向モジュール(204)を使用して、二値光パターンを前記3Dシーンのスクリーンに投影するステップと、
歪み画像取得モジュール(206)を使用して、前記カメラ(110)から前記歪み画像を取得するステップと、
校正モジュール(208)を使用して、ワールド座標系から歪み画像座標系へのマッピングを計算するステップと、
前記校正モジュール(208)を使用して、(i)前記カメラ(110)及び(ii)前記多面選択光反射ユニット(104)の不具合を分析するステップと、
前記校正モジュール(208)を使用して、前記ワールド座標系から前記歪み画像座標系へのマッピングを計算しつつ、分析した前記不具合を最小限にするステップと、
パノラマ作成モジュール(210)を使用して、各画素において前記歪み画像の正確な視界を判定するステップと、
前記パノラマ作成モジュール(210)を使用して、前記歪み画像の歪みを取り除いて前記左眼パノラマ及び前記右眼パノラマにするステップと、
表示モジュール(212)を使用して、(a)前記左眼パノラマ及び(b)前記右眼パノラマをステレオ表示ユニットに表示するステップと、を含むことを特徴とする請求項11に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN201641021124 | 2016-06-20 | ||
IN201641021124 | 2016-06-20 | ||
PCT/IN2017/050248 WO2017221266A1 (en) | 2016-06-20 | 2017-06-19 | System and method for capturing horizontal disparity stereo panorama |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019525509A true JP2019525509A (ja) | 2019-09-05 |
JP7295641B2 JP7295641B2 (ja) | 2023-06-21 |
Family
ID=60659136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018558380A Active JP7295641B2 (ja) | 2016-06-20 | 2017-06-19 | 水平視差ステレオパノラマ取込方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10154249B2 (ja) |
EP (1) | EP3472667B1 (ja) |
JP (1) | JP7295641B2 (ja) |
KR (1) | KR102176963B1 (ja) |
ES (1) | ES2884323T3 (ja) |
WO (1) | WO2017221266A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102401168B1 (ko) * | 2017-10-27 | 2022-05-24 | 삼성전자주식회사 | 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치 |
US11025888B2 (en) | 2018-02-17 | 2021-06-01 | Dreamvu, Inc. | System and method for capturing omni-stereo videos using multi-sensors |
USD931355S1 (en) | 2018-02-27 | 2021-09-21 | Dreamvu, Inc. | 360 degree stereo single sensor camera |
USD943017S1 (en) | 2018-02-27 | 2022-02-08 | Dreamvu, Inc. | 360 degree stereo optics mount for a camera |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001068540A2 (en) * | 2000-03-16 | 2001-09-20 | Lee Scott Friend | Imaging apparatus |
US6333826B1 (en) * | 1997-04-16 | 2001-12-25 | Jeffrey R. Charles | Omniramic optical system having central coverage means which is associated with a camera, projector, or similar article |
WO2002008817A2 (en) * | 2000-07-21 | 2002-01-31 | Lee Scott Friend | Stereoscopic omnidirectional imaging devices |
JP2008537157A (ja) * | 2005-04-18 | 2008-09-11 | シャープ株式会社 | 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ |
JP2010181826A (ja) * | 2009-02-09 | 2010-08-19 | Panasonic Corp | 立体画像形成装置 |
CN102053475A (zh) * | 2010-10-15 | 2011-05-11 | 肖继忠 | 单相机全方位立体视觉系统 |
JP2013172444A (ja) * | 2012-02-23 | 2013-09-02 | Ricoh Co Ltd | 画像投射装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6459451B2 (en) * | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
AU752405B2 (en) * | 1998-03-27 | 2002-09-19 | Hideyoshi Horimai | Three-dimensional image display |
US20150358539A1 (en) * | 2014-06-06 | 2015-12-10 | Jacob Catt | Mobile Virtual Reality Camera, Method, And System |
KR102491749B1 (ko) * | 2015-03-01 | 2023-01-25 | 아카이브 코퍼레이션 | 파노라마 입체 이미징 시스템 |
-
2017
- 2017-06-19 WO PCT/IN2017/050248 patent/WO2017221266A1/en unknown
- 2017-06-19 US US15/627,224 patent/US10154249B2/en active Active
- 2017-06-19 JP JP2018558380A patent/JP7295641B2/ja active Active
- 2017-06-19 EP EP17814909.2A patent/EP3472667B1/en active Active
- 2017-06-19 KR KR1020187033309A patent/KR102176963B1/ko active IP Right Grant
- 2017-06-19 ES ES17814909T patent/ES2884323T3/es active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6333826B1 (en) * | 1997-04-16 | 2001-12-25 | Jeffrey R. Charles | Omniramic optical system having central coverage means which is associated with a camera, projector, or similar article |
WO2001068540A2 (en) * | 2000-03-16 | 2001-09-20 | Lee Scott Friend | Imaging apparatus |
WO2002008817A2 (en) * | 2000-07-21 | 2002-01-31 | Lee Scott Friend | Stereoscopic omnidirectional imaging devices |
JP2008537157A (ja) * | 2005-04-18 | 2008-09-11 | シャープ株式会社 | 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ |
JP2010181826A (ja) * | 2009-02-09 | 2010-08-19 | Panasonic Corp | 立体画像形成装置 |
CN102053475A (zh) * | 2010-10-15 | 2011-05-11 | 肖继忠 | 单相机全方位立体视觉系统 |
JP2013172444A (ja) * | 2012-02-23 | 2013-09-02 | Ricoh Co Ltd | 画像投射装置 |
Also Published As
Publication number | Publication date |
---|---|
US20170366800A1 (en) | 2017-12-21 |
EP3472667A1 (en) | 2019-04-24 |
WO2017221266A1 (en) | 2017-12-28 |
EP3472667A4 (en) | 2020-01-08 |
KR102176963B1 (ko) | 2020-11-10 |
JP7295641B2 (ja) | 2023-06-21 |
EP3472667B1 (en) | 2021-05-19 |
US10154249B2 (en) | 2018-12-11 |
ES2884323T3 (es) | 2021-12-10 |
KR20190019059A (ko) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6859442B2 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
US7079173B2 (en) | Displaying a wide field of view video image | |
TWI554976B (zh) | 監控系統及其影像處理方法 | |
US7837330B2 (en) | Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument | |
KR20180111798A (ko) | 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭 | |
US9436973B2 (en) | Coordinate computation device and method, and an image processing device and method | |
JP2019525509A (ja) | 水平視差ステレオパノラマ取込方法 | |
CN110505468B (zh) | 一种增强现实显示设备的测试标定及偏差修正方法 | |
JP2020144864A (ja) | 画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
WO2021104308A1 (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
TW202008064A (zh) | 投影機校正方法與使用此方法的投影系統 | |
CN113259642B (zh) | 一种影片视角调节方法及系统 | |
JP5169787B2 (ja) | 画像変換装置および画像変換方法 | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
JP2003141527A (ja) | 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法 | |
CN111325790A (zh) | 目标追踪方法、设备及系统 | |
EP3882846B1 (en) | Method and device for collecting images of a scene for generating virtual reality data | |
WO2018150086A2 (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
JP6984583B2 (ja) | 情報処理装置および情報処理方法 | |
JP2012191380A (ja) | カメラ、画像変換装置、及び画像変換方法 | |
US20230300315A1 (en) | Information processing apparatus, information processing method, program, and display apparatus | |
KR102611481B1 (ko) | 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치 | |
WO2022044806A1 (ja) | 情報処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190529 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210728 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7295641 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |