JP2011151798A - 多眼撮像装置および多眼撮像方法 - Google Patents
多眼撮像装置および多眼撮像方法 Download PDFInfo
- Publication number
- JP2011151798A JP2011151798A JP2010287601A JP2010287601A JP2011151798A JP 2011151798 A JP2011151798 A JP 2011151798A JP 2010287601 A JP2010287601 A JP 2010287601A JP 2010287601 A JP2010287601 A JP 2010287601A JP 2011151798 A JP2011151798 A JP 2011151798A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance information
- area
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【解決手段】多眼撮像装置は、画像を撮像する複数系統の撮像部と、撮像部のうち、基準となる第1の撮像部の出力映像と、第1の撮像部と異なる複数系統の撮像部のうち少なくとも1つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、距離算出部において距離情報を算出できた領域について、その距離情報に基づき複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、距離算出部において距離情報が算出できなかった領域について、第1の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備える。
【選択図】図2
Description
本願は、2009年12月24日に、日本に出願された特願2009−291624号に基づき優先権を主張し、その内容をここに援用する。
撮像素子2003は、このレンズ系を通して結像する光学像を撮像する。
演算装置2004は、撮像素子2003により得られた複数の画像を画像処理して全体の画像を再構成する。
液晶駆動装置2005は、演算装置2004からフォーカス情報を検出して液晶レンズアレイ2002を駆動する。
この構成により焦点距離を短くした小型薄型の撮像レンズ装置が実現可能としている。
加えて、対応点探索ができなかったことにより高精細化できなかった領域を、人間の左右両眼で見た視覚心理的見え方に近づけるように演出することで、高精細合成画像全体の見栄えを良くすることが可能な多眼撮像装置および多眼撮像方法を提供することを目的とする。
以下、図面を参照して、本発明の第1の実施形態による多眼撮像装置を説明する。図1は、本発明の第1の実施形態による多眼撮像装置の概観を示す図である。図2は、同実施形態の多眼撮像装置の構成を示すブロック図である。図1に示すように、本実施形態による多眼撮像装置10は、4系統の撮像部101、102、103、104を備える。各撮像部101、102、103、104は、撮像レンズ11と撮像素子12とを備えている。撮像レンズ11は、被写体からの光を撮像素子12上に結像し、結像されたイメージは、例えばCMOS撮像素子などの撮像素子12で光電変換されて映像信号V1、V2、V3、V4として出力される。4つの撮像部101、102、103、104のそれぞれで撮影することにより、4系統の撮像部101、102、103、104のそれぞれから出力する映像信号V1、V2、V3、V4は、映像処理部20に入力する。また、4系統の映像信号V1、V2、V3、V4のうち2つの撮像部101、102から出力する映像信号V1、V2は、距離算出部21にも同時に入力する。距離算出部21は、入力した2つの映像信号V1、V2から対応点探索を行い、その探索結果から2つの撮像部間の視差データD1を算出して映像処理部20に出力する。映像処理部20は、入力した映像信号V1、V2、V3、V4を、距離算出部21から出力する視差データD1に基づき合成処理して高精細映像V5を出力する。
撮像部102で撮像した画像P12の一番上のラインの画素を、同様に、左から順にG21、G22、G23、・・・とする。以下同様に、2番目のラインの画素を左から順にG24、G25、G26、・・・とする。また、3番目のラインの画素を左から順にG27、G28、G29、・・・とする。
撮像部103、104で撮像した画像P13、P14の画素にも、同様に図11に示すような符号G31〜G39、G41〜G49を、それぞれ付加する。高解像度合成処理後の画像P15としては、一番上のラインについては、左から順にG11、G21、G12、G22、G13、G23、・・・のように、撮像装置101、102で撮像した画像P11、P12の画素の一番上のラインの画素を入れ子にして配置する。2番目のラインについては、左から順にG31、G41、G32、G42、G33、G43、・・・のように、撮像装置103、104で撮像した画像P13、P14の画素の一番上のラインの画素を入れ子にして配置する。以下、図11の高解像度合成処理後の画像P15に示すように、同様の配置になるように処理を繰り返す。
視差データが算出できないオクルージョン領域63は、図9に示す単眼映像合成処理部403にて、基準となる撮像部101の映像を用いた映像処理が行われ、それ以外の領域は距離が算出できるため、図10と図11により説明した高解像度合成処理が実施される。図13に示す符号65は、映像処理部20にて生成された高精細画像を示している。また、図13において、符号67、68、69で示す3つのグラフは、高精細画像65の直線66における輝度変化を示している。3つのグラフ67、68、69の縦軸は、輝度を示しており、横軸は位置を示している。横軸は左から手前領域61、オクルージョン領域63、奥領域62と続いている。奥領域62と手前領域61とは、視差データ64が算出できるため、4つの撮像部101、102、103、104にて、図10と図11で説明した高解像度合成処理が実施される。
次に、図15および図16を参照して、本発明の第2の実施形態について説明する。図15は、第2の実施形態による多眼撮像装置の構成を示すブロック図である。図16は、図15に示す距離算出部151の構成を示すブロック図である。図15に示す多眼撮像装置10が、図2に示す多眼撮像装置10と同一の部分には同一の符号を付し、その説明を省略する。図15に示す多眼撮像装置が図2に示す多眼撮像装置10と異なる点は、距離算出部21に代えて、距離算出部151が設けられている点である。距離算出部151が出力する視差データD11は、図15に示す映像処理部20に送られる。図15に示す映像処理部20は、図9に示す映像処理部20の視差データD1をD11と読み替えることを除いて、図9に示す映像処理部20と同様であるため、その説明を省略する。図15に示す距離算出部151は、4つの撮像部101、102、103、104のそれぞれから出力する映像信号V1、V2、V3、V4を入力して距離(視差)を算出する。
また、オクルージョン領域などの距離情報が算出できなかった領域の彩度を該領域と隣接して奥側にある領域の彩度と一致させて生成しても良い。これにより、オクルージョン領域とそれと連続すべき奥側の領域とを彩度の連続例を保ち、視覚心理的に違和感なく見えるように合成することができる。
さらに、オクルージョン領域などの距離情報が算出できなかった領域をぼかすようにしても良い。これにより、その領域を目立たなく合成することができるとともに、オクルージョンのためぼやけて見えるといった人間の視覚心理の奥行によるボケの見えを効果的に演出することができる。
101〜104 撮像部
11 撮像レンズ
12 撮像素子
20 映像処理部
21、151 距離算出部
30、80 カメラパラメータ記憶部
31、32、81〜84 座標変換部
33、85〜87 対応点探索部
401 位置合わせ補正処理部
403 単眼映像合成処理部
404 多眼映像合成処理部
40b 撮像部101の画素
40c 撮像部102の画素
40d 撮像部101と撮像部102のオフセット
61 手前側の領域
62 奥側の領域
63 オクルージョン領域
64 視差データ
65 高精細画像
66 高精細画像65の輝度変化を示す領域
88 視差データ合成処理
Claims (9)
- 画像を撮像する複数系統の撮像部と、
前記撮像部のうち、基準となる第1の撮像部の出力映像と、前記第1の撮像部と異なる前記複数系統の撮像部のうち少なくとも1つの撮像部の出力映像とから被写体までの距離情報を算出する距離算出部と、
前記距離算出部において距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成する多眼映像合成処理部と、
前記距離算出部において距離情報が算出できなかった領域について、前記第1の撮像部の出力映像から合成映像を生成する単眼映像合成処理部とを備え、
前記距離算出部は、前記第1の撮像部の出力映像と、前記第1の撮像部と異なる第2の撮像部の出力映像とから被写体までの第1の距離情報を算出し、前記第1の距離情報が算出できなかった領域があった場合、その第1の距離情報が算出できなかった領域について、少なくとも1度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第1の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像装置。 - 前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を所定の割合で下げて前記合成画像を生成する請求項1に記載の多眼撮像装置。
- 前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して手前にある領域の輝度値よりも低くして前記合成画像を生成する請求項1に記載の多眼撮像装置。
- 前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度を、その領域と隣接して奥側にある領域の輝度値と一致させ前記合成画像を生成する請求項1に記載の多眼撮像装置。
- 前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、所定の割合で下げて前記合成画像を生成する請求項1に記載の多眼撮像装置。
- 前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して手前にある領域の彩度よりも下げて前記合成画像を生成する請求項1に記載の多眼撮像装置。
- 前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の彩度を、その領域と隣接して奥側にある領域の彩度と一致させて前記合成画像を生成する請求項1に記載の多眼撮像装置。
- 前記単眼映像合成処理部は、前記距離算出部で距離情報が算出できなかった領域の輝度変化を抑えて前記合成画像を生成する請求項1に記載の多眼撮像装置。
- 画像を撮像する複数系統の撮像部のうち、基準となる第1の撮像部の出力映像と、前記第1の撮像部と異なる前記複数系統の撮像部のうち少なくとも1つの撮像部の出力映像とから被写体までの距離情報を算出し、
距離情報を算出できた領域について、その距離情報に基づき前記複数系統の撮像部の出力映像から合成映像を生成し、
距離情報が算出できなかった領域について、前記第1の撮像部の出力映像から合成映像を生成し、
前記距離情報を算出する際に、前記第1の撮像部の出力映像と、前記第1の撮像部と異なる第2の撮像部の出力映像とから被写体までの第1の距離情報を算出し、前記第1の距離情報が算出できなかった領域があった場合、その第1の距離情報が算出できなかった領域について、少なくとも1度は、前記複数系統の撮像部のうち距離算出に用いていない撮像部の出力映像と、前記第1の撮像部の出力映像とから被写体までの距離情報を再度算出する多眼撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010287601A JP4790086B2 (ja) | 2009-12-24 | 2010-12-24 | 多眼撮像装置および多眼撮像方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009291624 | 2009-12-24 | ||
JP2009291624 | 2009-12-24 | ||
JP2010287601A JP4790086B2 (ja) | 2009-12-24 | 2010-12-24 | 多眼撮像装置および多眼撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011151798A true JP2011151798A (ja) | 2011-08-04 |
JP4790086B2 JP4790086B2 (ja) | 2011-10-12 |
Family
ID=44195771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010287601A Expired - Fee Related JP4790086B2 (ja) | 2009-12-24 | 2010-12-24 | 多眼撮像装置および多眼撮像方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8885067B2 (ja) |
EP (1) | EP2518995B1 (ja) |
JP (1) | JP4790086B2 (ja) |
CN (1) | CN102668537B (ja) |
WO (1) | WO2011078244A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013054160A1 (en) * | 2011-10-11 | 2013-04-18 | Sony Ericsson Mobile Communications Ab | Light sensitive, low height, and high dynamic range camera |
JP2013093836A (ja) * | 2011-10-03 | 2013-05-16 | Canon Inc | 撮像装置、画像処理装置およびその方法 |
JP2013183353A (ja) * | 2012-03-02 | 2013-09-12 | Toshiba Corp | 画像処理装置 |
JP2015035799A (ja) * | 2013-07-09 | 2015-02-19 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
WO2018016151A1 (ja) * | 2016-07-22 | 2018-01-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
WO2018016150A1 (ja) * | 2016-07-22 | 2018-01-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JP2018032986A (ja) * | 2016-08-24 | 2018-03-01 | ソニー株式会社 | 情報処理装置および方法、車両、並びに情報処理システム |
WO2018179671A1 (ja) * | 2017-03-27 | 2018-10-04 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
KR20180112016A (ko) * | 2016-03-14 | 2018-10-11 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 객체 영역을 캡쳐하는 멀티-개구 이미징 디바이스, 이미징 시스템 및 방법 |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
KR101733443B1 (ko) * | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8446492B2 (en) * | 2009-12-10 | 2013-05-21 | Honda Motor Co., Ltd. | Image capturing device, method of searching for occlusion region, and program |
WO2011143501A1 (en) | 2010-05-12 | 2011-11-17 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
IN2014CN02708A (ja) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
GB201117143D0 (en) | 2011-10-05 | 2011-11-16 | Nctech Ltd | Camera |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
CN103152527B (zh) * | 2012-05-07 | 2015-09-30 | 北京普邦基烨科技发展有限公司 | 多镜头切换变焦的3d摄录放一体机 |
EP2677734A3 (en) * | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
EP2677733A3 (en) * | 2012-06-18 | 2015-12-09 | Sony Mobile Communications AB | Array camera imaging system and method |
KR20150023907A (ko) * | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
AU2013305770A1 (en) | 2012-08-21 | 2015-02-26 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
EP4307659A1 (en) | 2012-09-28 | 2024-01-17 | Adeia Imaging LLC | Generating images from light fields utilizing virtual viewpoints |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
WO2014165244A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
JP2016524125A (ja) | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US20140300691A1 (en) * | 2013-04-04 | 2014-10-09 | Panasonic Corporation | Imaging system |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
JP6349842B2 (ja) * | 2014-03-25 | 2018-07-04 | 富士ゼロックス株式会社 | 光輝性トナー、静電荷像現像剤、現像剤カートリッジ、プロセスカートリッジ、画像形成装置、及び、画像形成方法 |
US9330436B2 (en) | 2014-04-01 | 2016-05-03 | Gopro, Inc. | Multi-camera array with adjacent fields of view |
US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
US10582186B1 (en) * | 2014-06-11 | 2020-03-03 | Amazon Technologies, Inc. | Approaches for identifying misaligned cameras |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
KR102446442B1 (ko) * | 2015-11-24 | 2022-09-23 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
CN107851321B (zh) * | 2015-11-30 | 2020-09-11 | 华为技术有限公司 | 图像处理方法和双摄像头系统 |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
WO2018006246A1 (zh) * | 2016-07-04 | 2018-01-11 | 曹亮 | 四相机组平面阵列特征点匹配方法及基于其的测量方法 |
WO2018235163A1 (ja) * | 2017-06-20 | 2018-12-27 | 株式会社ソニー・インタラクティブエンタテインメント | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 |
WO2019003258A1 (ja) * | 2017-06-26 | 2019-01-03 | 三菱電機株式会社 | カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 |
TWI775869B (zh) * | 2017-06-29 | 2022-09-01 | 佳能企業股份有限公司 | 影像擷取裝置及影像處理方法 |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
KR102479492B1 (ko) | 2018-01-08 | 2022-12-20 | 삼성전자주식회사 | 차량 주변의 이미지를 제공하는 전자 장치 및 방법 |
CN108337431B (zh) * | 2018-02-10 | 2020-05-22 | 上海汇观展示设计工程有限公司 | 一种多机位按序拍摄的控制装置及其系统 |
CN108334862A (zh) * | 2018-03-02 | 2018-07-27 | 中控智慧科技股份有限公司 | 一种虹膜识别系统及其虹膜识别方法 |
TWI768127B (zh) * | 2018-09-21 | 2022-06-21 | 先進光電科技股份有限公司 | 光學成像模組、光學成像系統及光學成像模組製造方法 |
EP3667414B1 (en) * | 2018-12-14 | 2020-11-25 | Axis AB | A system for panoramic imaging |
KR102648912B1 (ko) | 2019-01-23 | 2024-03-19 | 삼성전자주식회사 | 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서 |
JP7273250B2 (ja) | 2019-09-17 | 2023-05-12 | ボストン ポーラリメトリックス,インコーポレイティド | 偏光キューを用いた面モデリングのためのシステム及び方法 |
US20220307819A1 (en) | 2019-10-07 | 2022-09-29 | Intrinsic Innovation Llc | Systems and methods for surface normals sensing with polarization |
MX2022005289A (es) | 2019-11-30 | 2022-08-08 | Boston Polarimetrics Inc | Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion. |
US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
JP2023511747A (ja) | 2020-01-30 | 2023-03-22 | イントリンジック イノベーション エルエルシー | 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08102970A (ja) * | 1994-09-30 | 1996-04-16 | Toshiba Corp | 3次元画像撮像装置 |
JP2003018617A (ja) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 撮像装置 |
JP2004096488A (ja) * | 2002-08-30 | 2004-03-25 | Fujitsu Ltd | 物体検知装置、物体検知方法および物体検知プログラム |
JP2004120527A (ja) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | 2眼式デジタルカメラ |
JP2008153997A (ja) * | 2006-12-18 | 2008-07-03 | Matsushita Electric Ind Co Ltd | 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4845641A (en) * | 1986-09-19 | 1989-07-04 | Hoya Corporation | Method of forming a synthetic image in simulation system for attachment of spectacles |
DE69313694T2 (de) * | 1992-03-23 | 1998-02-19 | Canon Kk | Bildaufnahmevorrichtung mit mehreren Linsen und Korrektur von Falschregistrierung |
JP3107929B2 (ja) | 1992-10-22 | 2000-11-13 | キヤノン株式会社 | 複眼撮像装置 |
US5682198A (en) * | 1993-06-28 | 1997-10-28 | Canon Kabushiki Kaisha | Double eye image pickup apparatus |
EP1418766A3 (en) * | 1998-08-28 | 2010-03-24 | Imax Corporation | Method and apparatus for processing images |
EP2315448B1 (en) | 2004-01-26 | 2018-03-07 | DigitalOptics Corporation | Thin camera having sub-pixel resolution |
JP2006251613A (ja) * | 2005-03-14 | 2006-09-21 | Citizen Watch Co Ltd | 撮像レンズ装置 |
CN100579185C (zh) * | 2005-07-26 | 2010-01-06 | 松下电器产业株式会社 | 复眼方式的摄像装置 |
KR100731979B1 (ko) * | 2005-10-18 | 2007-06-25 | 전자부품연구원 | 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 |
WO2007119468A1 (ja) * | 2006-03-22 | 2007-10-25 | Matsushita Electric Industrial Co., Ltd. | 撮像装置 |
US8139142B2 (en) * | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
WO2008102898A1 (ja) * | 2007-02-19 | 2008-08-28 | Tokyo Institute Of Technology | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
WO2009101798A1 (ja) * | 2008-02-12 | 2009-08-20 | Panasonic Corporation | 複眼撮像装置、測距装置、視差算出方法及び測距方法 |
KR101733443B1 (ko) * | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
JP2011060216A (ja) * | 2009-09-14 | 2011-03-24 | Fujifilm Corp | 画像処理装置および画像処理方法 |
US8446492B2 (en) * | 2009-12-10 | 2013-05-21 | Honda Motor Co., Ltd. | Image capturing device, method of searching for occlusion region, and program |
-
2010
- 2010-12-22 US US13/518,294 patent/US8885067B2/en active Active
- 2010-12-22 EP EP10839474.3A patent/EP2518995B1/en not_active Not-in-force
- 2010-12-22 CN CN201080057930.0A patent/CN102668537B/zh not_active Expired - Fee Related
- 2010-12-22 WO PCT/JP2010/073175 patent/WO2011078244A1/ja active Application Filing
- 2010-12-24 JP JP2010287601A patent/JP4790086B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08102970A (ja) * | 1994-09-30 | 1996-04-16 | Toshiba Corp | 3次元画像撮像装置 |
JP2003018617A (ja) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 撮像装置 |
JP2004096488A (ja) * | 2002-08-30 | 2004-03-25 | Fujitsu Ltd | 物体検知装置、物体検知方法および物体検知プログラム |
JP2004120527A (ja) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | 2眼式デジタルカメラ |
JP2008153997A (ja) * | 2006-12-18 | 2008-07-03 | Matsushita Electric Ind Co Ltd | 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013093836A (ja) * | 2011-10-03 | 2013-05-16 | Canon Inc | 撮像装置、画像処理装置およびその方法 |
US9143749B2 (en) | 2011-10-11 | 2015-09-22 | Sony Corporation | Light sensitive, low height, and high dynamic range camera |
WO2013054160A1 (en) * | 2011-10-11 | 2013-04-18 | Sony Ericsson Mobile Communications Ab | Light sensitive, low height, and high dynamic range camera |
JP2013183353A (ja) * | 2012-03-02 | 2013-09-12 | Toshiba Corp | 画像処理装置 |
JP2015035799A (ja) * | 2013-07-09 | 2015-02-19 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
KR20180112016A (ko) * | 2016-03-14 | 2018-10-11 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 객체 영역을 캡쳐하는 멀티-개구 이미징 디바이스, 이미징 시스템 및 방법 |
KR102340698B1 (ko) * | 2016-03-14 | 2021-12-16 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 객체 영역을 캡쳐하는 멀티-개구 이미징 디바이스, 이미징 시스템 및 방법 |
US10650506B2 (en) | 2016-07-22 | 2020-05-12 | Sony Corporation | Image processing apparatus and image processing method |
JPWO2018016151A1 (ja) * | 2016-07-22 | 2019-05-09 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JPWO2018016150A1 (ja) * | 2016-07-22 | 2019-05-16 | ソニー株式会社 | 画像処理装置と画像処理方法 |
WO2018016150A1 (ja) * | 2016-07-22 | 2018-01-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US10789512B2 (en) | 2016-07-22 | 2020-09-29 | Sony Corporation | Image processing apparatus and image processing method |
WO2018016151A1 (ja) * | 2016-07-22 | 2018-01-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JP2018032986A (ja) * | 2016-08-24 | 2018-03-01 | ソニー株式会社 | 情報処理装置および方法、車両、並びに情報処理システム |
US11195292B2 (en) | 2016-08-24 | 2021-12-07 | Sony Corporation | Information processing apparatus and method, vehicle, and information processing system |
WO2018179671A1 (ja) * | 2017-03-27 | 2018-10-04 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
US10999562B2 (en) | 2017-03-27 | 2021-05-04 | Sony Corporation | Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image |
Also Published As
Publication number | Publication date |
---|---|
EP2518995B1 (en) | 2018-08-22 |
JP4790086B2 (ja) | 2011-10-12 |
WO2011078244A1 (ja) | 2011-06-30 |
EP2518995A4 (en) | 2015-03-18 |
US20120262607A1 (en) | 2012-10-18 |
CN102668537A (zh) | 2012-09-12 |
US8885067B2 (en) | 2014-11-11 |
EP2518995A1 (en) | 2012-10-31 |
CN102668537B (zh) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4790086B2 (ja) | 多眼撮像装置および多眼撮像方法 | |
US9247227B2 (en) | Correction of the stereoscopic effect of multiple images for stereoscope view | |
JP4699995B2 (ja) | 複眼撮像装置及び撮像方法 | |
WO2015081870A1 (zh) | 一种图像处理方法、装置及终端 | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
WO2012008224A1 (ja) | 画像撮像装置 | |
US9008412B2 (en) | Image processing device, image processing method and recording medium for combining image data using depth and color information | |
JP5901781B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP2016129289A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP7027064B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
JPWO2006064770A1 (ja) | 撮像装置 | |
JP2013192182A (ja) | 固体撮像装置および携帯情報端末 | |
JP5214547B2 (ja) | 画像表示装置および方法並びにプログラム | |
JP2010181826A (ja) | 立体画像形成装置 | |
JP2013247543A (ja) | 撮像装置、表示装置、および画像処理方法、並びにプログラム | |
JP2005020606A (ja) | デジタルカメラ | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2017143504A5 (ja) | ||
JP2006135823A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2011182325A (ja) | 撮像装置 | |
JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
JP2015080169A (ja) | 撮像装置及びその制御方法 | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP2016134886A (ja) | 撮像装置およびその制御方法 | |
JP2006295329A (ja) | 画像処理装置、撮像装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110621 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110719 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4790086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |