JP6126821B2 - 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 - Google Patents
画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 Download PDFInfo
- Publication number
- JP6126821B2 JP6126821B2 JP2012247337A JP2012247337A JP6126821B2 JP 6126821 B2 JP6126821 B2 JP 6126821B2 JP 2012247337 A JP2012247337 A JP 2012247337A JP 2012247337 A JP2012247337 A JP 2012247337A JP 6126821 B2 JP6126821 B2 JP 6126821B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- panoramic
- imaging
- virtual camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 77
- 238000003384 imaging method Methods 0.000 claims description 137
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 230000010365 information processing Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 description 59
- 230000008569 process Effects 0.000 description 30
- 230000001133 acceleration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Description
31…制御部
32…記憶部
33…プログラム格納部
34…入力部
341…加速度センサ
342…ジャイロセンサ
35…表示部
Claims (10)
- 立体視可能なパノラマ画像を生成する画像生成方法であって、
実空間に配置された3つ以上のパノラマカメラによってそれぞれ撮像されたパノラマ画像を取得するパノラマ画像取得ステップと、
前記パノラマ画像取得ステップにおいて取得されたパノラマ画像の一部をそれぞれ合成することによって左目用画像および右目用画像を生成する立体視画像生成ステップとを含み、
前記パノラマ画像取得ステップでは、多角形の各頂点となる実空間における位置にそれぞれ配置された前記パノラマカメラによってそれぞれ撮像されたパノラマ画像が取得され、
前記立体視画像生成ステップは、
前記パノラマ画像取得ステップにおいて取得されたパノラマ画像を、その撮像方向に応じてそれぞれ分割画像に分割するパノラマ画像分割ステップと、
前記撮像方向毎に前記左目用画像および前記右目用画像としてそれぞれ採用する画像を、隣接する一対の前記パノラマカメラによってそれぞれ撮像された前記分割画像から選択し、当該選択された分割画像を前記撮像方向に応じて連結することによって前記左目用画像および前記右目用画像を生成するパノラマ画像合成ステップとを含み、
前記パノラマ画像分割ステップでは、前記パノラマ画像の撮像方向において前記多角形の中心からそれぞれの前記パノラマカメラの中心位置に向かう方向を境界として、当該多角形の角の数で撮像方向を分割した複数の撮像範囲が設定され、当該撮像範囲を撮像したパノラマ画像の一部がそれぞれ前記分割画像として分割され、
前記立体視画像生成ステップは、
左目用仮想カメラが配置される側の面に前記左目用画像を貼りつけるための左目用モデルを、仮想空間において当該左目用仮想カメラが配置される位置を囲むように配置する左目用モデル配置ステップと、
右目用仮想カメラが配置される側の面に前記右目用画像を貼りつけるための右目用モデルを、仮想空間において当該右目用仮想カメラが配置される位置を囲むように配置する右目用モデル配置ステップとを含む、画像生成方法。 - 前記パノラマ画像合成ステップでは、前記3つ以上のパノラマカメラによってそれぞれ撮像されたパノラマ画像毎に、前記左目用画像に採用する分割画像と前記右目用画像に採用する分割画像とを1つずつ選択する、請求項1に記載の画像生成方法。
- 前記パノラマ画像合成ステップでは、前記撮像方向毎に前記左目用画像および前記右目用画像として採用する前記パノラマカメラの組を設定し、当該設定に応じて前記分割画像を選択する、請求項1または2に記載の画像生成方法。
- 前記パノラマ画像合成ステップでは、前記撮像方向に対する分割画像を選択する際、前記3つ以上のパノラマカメラのうち当該撮像方向に最も近い一対のパノラマカメラを選択し、当該一対のパノラマカメラにおいて当該撮像方向に向かって左側に配置されたパノラマカメラが当該撮像方向を撮像した前記分割画像を当該撮像方向における左目用画像として採用し、当該一対のパノラマカメラにおいて当該撮像方向に向かって右側に配置された前記パノラマカメラが当該撮像方向を撮像した前記分割画像を当該撮像方向における右目用画像として採用する、請求項1に記載の画像生成方法。
- 前記パノラマ画像合成ステップでは、前記分割画像のうち、他のパノラマカメラが撮像されている画像を除いて前記左目用画像および前記右目用画像としてそれぞれ採用する画像を選択する、請求項1乃至4の何れか1つに記載の画像生成方法。
- 請求項1乃至5の何れか1つに記載の画像生成方法によって生成された前記左目用画像および前記右目用画像を、表示装置に表示させる画像表示ステップを含む、画像表示方法。
- 前記左目用モデル内に左目用仮想カメラを配置して前記左目用画像を当該左目用モデルの当該左目用仮想カメラ側の面に貼りつけ、前記右目用モデル内に右目用仮想カメラを配置して前記右目用画像を当該右目用モデルの当該右目用仮想カメラ側の面に貼りつけた状態で、前記表示装置の姿勢に応じて当該左目用仮想カメラおよび当該右目用仮想カメラをそれぞれ同じ方向に回転させることによって、前記左目用画像および前記右目用画像から当該表示装置に表示する表示範囲をそれぞれ設定する表示範囲設定ステップを、さらに含み、
前記画像表示ステップでは、前記表示範囲設定ステップにおいて設定された表示範囲内の前記左目用画像および前記右目用画像が、前記表示装置に表示される、請求項6に記載の画像表示方法。 - 立体視可能なパノラマ画像を生成する情報処理装置に含まれるコンピュータで実行される画像生成プログラムであって、
実空間に配置された3つ以上のパノラマカメラによってそれぞれ撮像されたパノラマ画像を取得するパノラマ画像取得ステップと、
前記パノラマ画像取得ステップにおいて取得されたパノラマ画像の一部をそれぞれ合成することによって左目用画像および右目用画像を生成する立体視画像生成ステップとを、前記コンピュータに実行させ、
前記パノラマ画像取得ステップでは、多角形の各頂点となる実空間における位置にそれぞれ配置された前記パノラマカメラによってそれぞれ撮像されたパノラマ画像が取得され、
前記立体視画像生成ステップは、
前記パノラマ画像取得ステップにおいて取得されたパノラマ画像を、その撮像方向に応じてそれぞれ分割画像に分割するパノラマ画像分割ステップと、
前記撮像方向毎に前記左目用画像および前記右目用画像としてそれぞれ採用する画像を、隣接する一対の前記パノラマカメラによってそれぞれ撮像された前記分割画像から選択し、当該選択された分割画像を前記撮像方向に応じて連結することによって前記左目用画像および前記右目用画像を生成するパノラマ画像合成ステップとを含み、
前記パノラマ画像分割ステップでは、前記パノラマ画像の撮像方向において前記多角形の中心からそれぞれの前記パノラマカメラの中心位置に向かう方向を境界として、当該多角形の角の数で撮像方向を分割した複数の撮像範囲が設定され、当該撮像範囲を撮像したパノラマ画像の一部がそれぞれ前記分割画像として分割され、
前記立体視画像生成ステップは、
左目用仮想カメラが配置される側の面に前記左目用画像を貼りつけるための左目用モデルを、仮想空間において当該左目用仮想カメラが配置される位置を囲むように配置する左目用モデル配置ステップと、
右目用仮想カメラが配置される側の面に前記右目用画像を貼りつけるための右目用モデルを、仮想空間において当該右目用仮想カメラが配置される位置を囲むように配置する右目用モデル配置ステップとを含む、画像生成プログラム。 - 立体視可能なパノラマ画像を生成する画像生成システムであって、
実空間に配置された3つ以上のパノラマカメラによってそれぞれ撮像されたパノラマ画像を取得するパノラマ画像取得手段と、
前記パノラマ画像取得手段において取得されたパノラマ画像の一部をそれぞれ合成することによって左目用画像および右目用画像を生成する立体視画像生成手段とを備え、
前記パノラマ画像取得手段は、多角形の各頂点となる実空間における位置にそれぞれ配置された前記パノラマカメラによってそれぞれ撮像されたパノラマ画像を取得し、
前記立体視画像生成手段は、
前記パノラマ画像取得手段によって取得されたパノラマ画像を、その撮像方向に応じてそれぞれ分割画像に分割するパノラマ画像分割手段と、
前記撮像方向毎に前記左目用画像および前記右目用画像としてそれぞれ採用する画像を、隣接する一対の前記パノラマカメラによってそれぞれ撮像された前記分割画像から選択し、当該選択された分割画像を前記撮像方向に応じて連結することによって前記左目用画像および前記右目用画像を生成するパノラマ画像合成手段とを含み、
前記パノラマ画像分割手段は、前記パノラマ画像の撮像方向において前記多角形の中心からそれぞれの前記パノラマカメラの中心位置に向かう方向を境界として、当該多角形の角の数で撮像方向を分割した複数の撮像範囲を設定し、当該撮像範囲を撮像したパノラマ画像の一部をそれぞれ前記分割画像として分割し、
前記立体視画像生成手段は、
左目用仮想カメラが配置される側の面に前記左目用画像を貼りつけるための左目用モデルを、仮想空間において当該左目用仮想カメラが配置される位置を囲むように配置する左目用モデル配置手段と、
右目用仮想カメラが配置される側の面に前記右目用画像を貼りつけるための右目用モデルを、仮想空間において当該右目用仮想カメラが配置される位置を囲むように配置する右目用モデル配置手段とを含む、画像生成システム。 - 立体視可能なパノラマ画像を表示する画像表示装置であって、
左目用画像および右目用画像を表示することによって立体視可能な表示手段と、
実空間に配置された3つ以上のパノラマカメラによってそれぞれ撮像されたパノラマ画像の一部をそれぞれ合成することによって生成された一対のパノラマ画像を前記左目用画像および前記右目用画像として前記表示手段に表示する表示制御手段とを備え、
前記表示制御手段は、多角形の各頂点となる実空間における位置にそれぞれ配置された前記パノラマカメラによってそれぞれ撮像されたパノラマ画像が、当該パノラマ画像の撮像方向において当該多角形の中心からそれぞれの前記パノラマカメラの中心位置に向かう方向を境界として、当該多角形の角の数で撮像方向を分割した複数の撮像範囲をそれぞれ撮像したパノラマ画像の一部である分割画像にそれぞれ分割され、撮像方向毎に前記左目用画像および前記右目用画像としてそれぞれ採用する画像が、隣接する一対の前記パノラマカメラによってそれぞれ撮像された前記分割画像から選択されて、当該選択された分割画像が当該撮像方向に応じて連結されることによって生成された前記左目用画像および前記右目用画像を前記表示手段に表示し、
前記表示制御手段は、
仮想空間において左目用仮想カメラを配置する左目用仮想カメラ配置手段と、
仮想空間において右目用仮想カメラを配置する右目用仮想カメラ配置手段と、
前記左目用仮想カメラを囲む左目用モデルを配置する左目用モデル配置手段と、
前記右目用仮想カメラを囲む右目用モデルを配置する右目用モデル配置手段と、
前記左目用画像を前記左目用モデルの前記左目用仮想カメラ側の面に貼りつける左目用貼りつけ手段と、
前記右目用画像を前記右目用モデルの前記右目用仮想カメラ側の面に貼りつける右目用貼りつけ手段とを含み、
前記表示制御手段は、前記左目用貼りつけ手段において前記左目用画像が前記左目用モデルに貼り付けられた状態で前記左目用仮想カメラから見た左目用表示範囲の左目用画像と、前記右目用貼りつけ手段において前記右目用画像が前記右目用モデルに貼り付けられた状態で前記右目用仮想カメラから見た右目用表示範囲の右目用画像とを前記表示手段に表示する、画像表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247337A JP6126821B2 (ja) | 2012-11-09 | 2012-11-09 | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
US13/870,517 US9554119B2 (en) | 2012-11-09 | 2013-04-25 | Image generation method, image display method, storage medium storing image generation program, image generation system, and image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247337A JP6126821B2 (ja) | 2012-11-09 | 2012-11-09 | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014095809A JP2014095809A (ja) | 2014-05-22 |
JP6126821B2 true JP6126821B2 (ja) | 2017-05-10 |
Family
ID=50681311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012247337A Active JP6126821B2 (ja) | 2012-11-09 | 2012-11-09 | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9554119B2 (ja) |
JP (1) | JP6126821B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6450064B2 (ja) * | 2013-03-18 | 2019-01-09 | 任天堂株式会社 | 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。 |
US20180063507A1 (en) * | 2015-04-09 | 2018-03-01 | Philippe Cho Van Lieu | Apparatus for recording stereoscopic panoramic photography |
DE102016100656A1 (de) | 2016-01-15 | 2017-07-20 | Fachhochschule Nordwestschweiz | Stereobilderfassungssystem |
US10257501B2 (en) * | 2016-04-06 | 2019-04-09 | Facebook, Inc. | Efficient canvas view generation from intermediate views |
US9934615B2 (en) * | 2016-04-06 | 2018-04-03 | Facebook, Inc. | Transition between binocular and monocular views |
JP7133478B2 (ja) * | 2016-07-01 | 2022-09-08 | メタ プラットフォームズ, インク. | 立体画像キャプチャ |
CN109643467B (zh) * | 2016-07-29 | 2023-06-02 | 索尼公司 | 图像处理设备和图像处理方法 |
CN110100435B9 (zh) * | 2016-12-28 | 2021-10-12 | 索尼公司 | 生成装置、识别信息生成方法、再现装置和图像再现方法 |
TW201909627A (zh) * | 2017-07-12 | 2019-03-01 | 旺玖科技股份有限公司 | 同步的3d全景視訊播放系統 |
CN109661816A (zh) * | 2018-11-21 | 2019-04-19 | 京东方科技集团股份有限公司 | 基于渲染引擎生成和显示全景图像的方法和显示装置 |
CN112104853A (zh) | 2019-06-17 | 2020-12-18 | 上海哔哩哔哩科技有限公司 | 3d视频的全景渲染方法、计算机设备和可读存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3600422B2 (ja) * | 1998-01-30 | 2004-12-15 | 株式会社リコー | ステレオ画像表示方法及び装置 |
JP3929346B2 (ja) * | 2002-04-24 | 2007-06-13 | 日立造船株式会社 | ステレオ画像表示方法およびステレオ画像表示装置 |
JP4183466B2 (ja) * | 2002-09-24 | 2008-11-19 | ディー・リンク株式会社 | 全方位双眼立体視画像の生成方法 |
US7308131B2 (en) | 2002-12-03 | 2007-12-11 | Ntt Docomo, Inc. | Representation and coding of panoramic and omnidirectional images |
US9270976B2 (en) * | 2005-11-02 | 2016-02-23 | Exelis Inc. | Multi-user stereoscopic 3-D panoramic vision system and method |
US8564663B2 (en) * | 2009-04-14 | 2013-10-22 | Bae Systems Information And Electronic Systems Integration Inc. | Vehicle-mountable imaging systems and methods |
US20120154518A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | System for capturing panoramic stereoscopic video |
JP5483027B2 (ja) * | 2011-02-04 | 2014-05-07 | 国際航業株式会社 | 3次元画像計測方法、及び3次元画像計測装置 |
-
2012
- 2012-11-09 JP JP2012247337A patent/JP6126821B2/ja active Active
-
2013
- 2013-04-25 US US13/870,517 patent/US9554119B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014095809A (ja) | 2014-05-22 |
US9554119B2 (en) | 2017-01-24 |
US20140132706A1 (en) | 2014-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6126821B2 (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
JP6126820B2 (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
US8750599B2 (en) | Stereoscopic image processing method and apparatus | |
CN109952760A (zh) | 多视图场景流拼接 | |
US20110306413A1 (en) | Entertainment device and entertainment methods | |
JP2018523326A (ja) | 全球状取込方法 | |
JP2017532847A (ja) | 立体録画及び再生 | |
JP6147966B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
JP2003284093A (ja) | 立体画像処理方法および装置 | |
WO2012070636A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR101198557B1 (ko) | 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법 | |
JP2020173529A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2013108285A1 (ja) | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 | |
WO2020166376A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
KR20190011224A (ko) | 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치 | |
KR20180136891A (ko) | 전방향 비디오에 관한 영상 처리 방법 및 장치 | |
US9225968B2 (en) | Image producing apparatus, system and method for producing planar and stereoscopic images | |
JP6530453B2 (ja) | ゲームプログラム及びゲームシステム | |
JP5448739B2 (ja) | 画像再生装置、撮像装置、画像再生方法 | |
JP2003284095A (ja) | 立体画像処理方法および装置 | |
US10902554B2 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
US11187895B2 (en) | Content generation apparatus and method | |
US20120306855A1 (en) | Storage medium having stored therein display control program, display control apparatus, display control method, and display control system | |
JP2003284094A (ja) | 立体画像処理方法および装置 | |
TWI653882B (zh) | 視訊裝置及其三維物件編解碼方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6126821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |