JP2016010160A - 多視点画像システムの視差推定 - Google Patents
多視点画像システムの視差推定 Download PDFInfo
- Publication number
- JP2016010160A JP2016010160A JP2015125100A JP2015125100A JP2016010160A JP 2016010160 A JP2016010160 A JP 2016010160A JP 2015125100 A JP2015125100 A JP 2015125100A JP 2015125100 A JP2015125100 A JP 2015125100A JP 2016010160 A JP2016010160 A JP 2016010160A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- images
- image
- computer
- implemented method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】 本発明は、先ず、スペクトル符号化プレノプティックカメラを用いて深さ/視差マップを推定し、次に、該視差マップに基づき、異なるスペクトルチャネル間のパララックスが修正される、アプローチを提示する。新規な技術に基づき、マルチスペクトル画像のみならず、深さ/視差マップも再構成できる。さらに、再構成スペクトル画像の品質は、本発明のパララックス修正を用いて有意に向上される。
【選択図】 図1A
Description
1つであり、Mは計算に用いられたスペクトル画像の総数であり、Nはピクセルの総数である。
112 1次画像光学系
114 2次画像化アレイ
115 画像形成要素アレイ
125 カラーフィルタモジュール
127A−D フィルタ
150 オブジェクト
155 光学画像
170 光学画像
171 サブアレイ
180センサアレイ
190 処理モジュール
255 オブジェクト領域
Claims (20)
- 多視点画像から視差を推定する、コンピュータが実施する方法であって、前記方法は、
シーンのN個の画像を受信するステップであって、N≧3であり、前記画像は異なる視点から撮られる、ステップと、
画像間の視差を(a)視差パラメータ及び(b)前記画像の前記視点の間の視点差の関数としてモデル化するステップと、
前記N個の画像及び画像間の前記視点差に基づき、前記視差パラメータを推定するステップと、
を有するコンピュータが実施する方法。 - 前記視差パラメータを推定するステップは、
パララックス修正の後に、前記画像間の相関を増大することに基づき、前記視差パラメータを推定するステップ、
を有する、請求項1に記載のコンピュータが実施する方法。 - 2つの視点間の前記視点差は、前記2つの視点間の基線により定められ、前記基線は基線距離及び前記基線の角度を有する、請求項1に記載のコンピュータが実施する方法。
- 2つの視点間の前記視差は、(前記2つの視点間の視差)/(前記2つの視点間の基線距離)=既知の関数、としてモデル化される、請求項3に記載のコンピュータが実施する方法。
- 前記画像のうちの1つは、基準画像として選択され、前記視差パラメータを推定するステップは、前記基準画像と他の画像のうちの各々との間の前記視点差に基づく、請求項1に記載のコンピュータが実施する方法。
- 前記視差は、さらに前記画像内の位置の関数である、請求項1に記載のコンピュータが実施する方法。
- 異なる画像は異なるスペクトル成分を有し、前記画像の前記異なるスペクトル成分により、必ずしも全てのオブジェクトは全ての画像内に見えない、請求項1に記載のコンピュータが実施する方法。
- 前記視差パラメータ及び前記視点差に基づき、前記画像の視差マップを推定するステップであって、前記視差マップは、前記画像内の位置の関数として視差を定める、請求項1に記載のコンピュータが実施する方法。
- 前記視差パラメータ及び前記視点差に基づき、並びに視差と深さとの間の関係に基づき、前記画像の深さマップを推定するステップであって、前記深さマップは、前記画像内の位置の関数として深さを定める、請求項1に記載のコンピュータが実施する方法。
- 前記画像にパララックス修正を適用するステップであって、前記パララックス修正は、前記視差パラメータ及び前記視点差に基づく、請求項1に記載のコンピュータが実施する方法。
- 前記のパララックス修正された画像をマルチスペクトル画像に結合するステップ、
を更に有する請求項10に記載のコンピュータが実施する方法。 - 前記画像は、赤色、緑色、及び青色フィルタ済み画像を有する、請求項1に記載のコンピュータが実施する方法。
- 前記画像の前記視点はグリッドに配置される、請求項1に記載のコンピュータが実施する方法。
- N=4であり、4個の前記画像の前記視点は正方形に配置される、請求項13に記載のコンピュータが実施する方法。
- N個の前記画像はN個の別個のカメラによりキャプチャされる、請求項1に記載のコンピュータが実施する方法。
- N個の前記画像は単一のプレノプティックカメラによりキャプチャされる、請求項1に記載のコンピュータが実施する方法。
- プログラムコードを格納するよう構成される非一時的コンピュータ可読媒体であって、前記プログラムコードは、多視点画像から視差を推定する命令を有し、前記命令はプロセッサにより実行されると前記プロセッサに方法を実行させ、前記方法は、
シーンのN個の画像を受信するステップであって、N≧3であり、前記画像は異なる視点から撮られる、ステップと、
画像間の視差を(a)視差パラメータ及び(b)前記画像の前記視点の間の視点差の関数としてモデル化するステップと、
前記N個の画像及び画像間の前記視点差に基づき、前記視差パラメータを推定するステップと、
を有する、非一時的コンピュータ可読媒体。 - 異なる画像は、異なるスペクトル成分を有する、請求項17に記載の非一時的コンピュータ可読媒体。
- シーンのN個の画像をキャプチャする1又は複数のカメラであって、N≧3であり、前記画像は異なる視点から撮られる、1又は複数のカメラと、
処理モジュールであって、
前記N個の画像を受信し、
画像間の視差を(a)視差パラメータ及び(b)前記画像の前記視点の間の視点差の関数としてモデル化し、
前記N個の画像及び画像間の前記視点差に基づき、前記視差パラメータを推定する、
処理モジュールと、
を有する多視点カメラシステム。 - 異なる画像は異なるスペクトル成分を有する、請求項19に記載の多視点カメラシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/312,586 US9888229B2 (en) | 2014-06-23 | 2014-06-23 | Disparity estimation for multiview imaging systems |
US14/312,586 | 2014-06-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016010160A true JP2016010160A (ja) | 2016-01-18 |
JP6565371B2 JP6565371B2 (ja) | 2019-08-28 |
Family
ID=54870851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015125100A Active JP6565371B2 (ja) | 2014-06-23 | 2015-06-22 | 多視点画像システムの視差推定 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9888229B2 (ja) |
JP (1) | JP6565371B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017153071A (ja) * | 2016-02-22 | 2017-08-31 | 株式会社リコー | プレノプティック撮像システムの深度及び視差のマッピングを較正するための方法及びコンピュータプログラム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014132257A (ja) * | 2012-12-03 | 2014-07-17 | Ricoh Co Ltd | 類似度判定システム及び類似度判定方法 |
US9565996B2 (en) | 2013-01-18 | 2017-02-14 | Ricoh Company, Ltd. | Plenoptic otoscope |
CA2848794C (en) * | 2014-04-11 | 2016-05-24 | Blackberry Limited | Building a depth map using movement of one camera |
US9883798B2 (en) * | 2014-11-14 | 2018-02-06 | Ricoh Company, Ltd. | Simultaneous capture of filtered images of the eye |
US10117579B2 (en) | 2014-11-14 | 2018-11-06 | Ricoh Company, Ltd. | Simultaneous capture of filtered images of the eye |
US20160241797A1 (en) * | 2015-02-17 | 2016-08-18 | Canon Kabushiki Kaisha | Devices, systems, and methods for single-shot high-resolution multispectral image acquisition |
US11792511B2 (en) | 2015-03-21 | 2023-10-17 | Mine One Gmbh | Camera system utilizing auxiliary image sensors |
CN113014906B (zh) | 2016-04-12 | 2023-06-30 | 奎蒂安特有限公司 | 3d场景重建方法、系统及计算机程序存储介质 |
US10832430B2 (en) | 2016-12-23 | 2020-11-10 | Intel Corporation | Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras |
EP3586269A4 (en) | 2017-02-22 | 2021-04-14 | Mine One GmbH | IMAGE RECONSTRUCTION FOR VIRTUAL 3D |
US10296780B2 (en) | 2017-03-07 | 2019-05-21 | Ricoh Company, Ltd. | Automatic eardrum registration from light field data |
JP2019161462A (ja) * | 2018-03-13 | 2019-09-19 | キヤノン株式会社 | 制御装置、画像処理システム、制御方法、及びプログラム |
CA3097202A1 (en) | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
US11055866B2 (en) | 2018-10-29 | 2021-07-06 | Samsung Electronics Co., Ltd | System and method for disparity estimation using cameras with different fields of view |
EP4018645A4 (en) * | 2019-08-20 | 2023-08-16 | Mine One GmbH | CAMERA SYSTEM USING AUXILIARY IMAGE SENSORS |
DE102019133515B3 (de) * | 2019-12-09 | 2021-04-01 | Cubert GmbH | Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems |
IT202000023494A1 (it) * | 2020-10-06 | 2022-04-06 | E Novia S P A | Metodo di generazione di un’immagine monocromatica allineata e relativo programma per elaboratore |
CN117097879B (zh) * | 2023-08-28 | 2024-03-12 | 山东天竞电子科技有限公司 | 一种像素化的裸眼3d显示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189171A (ja) * | 2001-10-12 | 2003-07-04 | Canon Inc | 画像処理装置及び方法及び制御プログラム及び記録媒体 |
JP2013247653A (ja) * | 2012-05-29 | 2013-12-09 | Canon Inc | 画像処理装置および画像処理方法 |
JP2014016537A (ja) * | 2012-07-10 | 2014-01-30 | Sony Corp | 撮像装置 |
JP2014022867A (ja) * | 2012-07-17 | 2014-02-03 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7050646B2 (en) * | 1999-12-10 | 2006-05-23 | British Telecommunications Public Limited Company | Image processing system and method for image segmentation using intensity contrast and depth contrast values |
EP2439697A3 (en) * | 2005-09-22 | 2012-07-04 | 3M Innovative Properties Company | Method for refining the calibration of an imaging system |
EP1938141A1 (en) * | 2005-09-28 | 2008-07-02 | Mirage Innovations Ltd. | Stereoscopic binocular system, device and method |
US8179969B2 (en) * | 2006-08-18 | 2012-05-15 | Gwangju Institute Of Science And Technology | Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity |
BRPI0822142A2 (pt) * | 2008-01-29 | 2015-06-30 | Thomson Licensing | Método e sistema para converter dados de imagem em 2d para dados de imagem estereoscópica |
ATE551841T1 (de) | 2009-04-22 | 2012-04-15 | Raytrix Gmbh | Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten |
JP6061150B2 (ja) * | 2011-03-18 | 2017-01-18 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
CN104662589B (zh) | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
US10080036B2 (en) * | 2013-05-16 | 2018-09-18 | City University Of Hong Kong | Method and apparatus for depth video coding using endurable view synthesis distortion |
-
2014
- 2014-06-23 US US14/312,586 patent/US9888229B2/en not_active Expired - Fee Related
-
2015
- 2015-06-22 JP JP2015125100A patent/JP6565371B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189171A (ja) * | 2001-10-12 | 2003-07-04 | Canon Inc | 画像処理装置及び方法及び制御プログラム及び記録媒体 |
JP2013247653A (ja) * | 2012-05-29 | 2013-12-09 | Canon Inc | 画像処理装置および画像処理方法 |
JP2014016537A (ja) * | 2012-07-10 | 2014-01-30 | Sony Corp | 撮像装置 |
JP2014022867A (ja) * | 2012-07-17 | 2014-02-03 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017153071A (ja) * | 2016-02-22 | 2017-08-31 | 株式会社リコー | プレノプティック撮像システムの深度及び視差のマッピングを較正するための方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20150373316A1 (en) | 2015-12-24 |
JP6565371B2 (ja) | 2019-08-28 |
US9888229B2 (en) | 2018-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6565371B2 (ja) | 多視点画像システムの視差推定 | |
KR102543392B1 (ko) | 깊이 획득을 위한 명시야 이미지 처리 방법 | |
JP5929553B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
US9030580B2 (en) | Color filter modules for plenoptic XYZ imaging systems | |
JP5681954B2 (ja) | 撮像装置及び撮像システム | |
JP2021506168A5 (ja) | ||
JP5909443B2 (ja) | 立体イメージ取得方法、システム及びカメラ | |
JP5358039B1 (ja) | 撮像装置 | |
JP6509914B2 (ja) | 深度推定のための画像センサ | |
CN106575035B (zh) | 用于光场成像的系统和方法 | |
JP5904281B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
CN109716176A (zh) | 用于深度采集和三维成像的光场成像装置和方法 | |
US20160241797A1 (en) | Devices, systems, and methods for single-shot high-resolution multispectral image acquisition | |
JP5224046B2 (ja) | 画像処理装置、撮像装置および表示装置 | |
US9294663B2 (en) | Imaging apparatus and imaging method for generating increased resolution images, hyperspectral images, steroscopic images, and/or refocused images | |
JP6131545B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5186517B2 (ja) | 撮像装置 | |
US9544570B2 (en) | Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program | |
JP2011182237A (ja) | 複眼撮像装置及び該装置における画像処理方法 | |
KR20160004912A (ko) | 영상 획득 및 동시의 깊이 추출을 위한 장치 및 방법 | |
JP5673764B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
KR102135372B1 (ko) | 구조광 시스템 | |
KR20140077771A (ko) | 거리 영상 획득 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6565371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |