CN103945115A - 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法 - Google Patents

用于通过使用多个微透镜拍照的拍摄装置和拍摄方法 Download PDF

Info

Publication number
CN103945115A
CN103945115A CN201410030528.3A CN201410030528A CN103945115A CN 103945115 A CN103945115 A CN 103945115A CN 201410030528 A CN201410030528 A CN 201410030528A CN 103945115 A CN103945115 A CN 103945115A
Authority
CN
China
Prior art keywords
color
lenticule
described multiple
pixel
microlens array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410030528.3A
Other languages
English (en)
Inventor
李太熙
斯捷潘·图莱克
韩熙喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103945115A publication Critical patent/CN103945115A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供一种用于通过使用多个微透镜拍照的拍摄装置和拍摄方法。所述拍摄装置包括：主透镜，被构造为发送从对象反射的光束；微透镜阵列，包括被构造为将反射的光束滤为不同的颜色并发送反射的光束的多个微透镜；图像传感器，被构造为感测由所述多个微透镜发送的光束；数据处理器，被构造为从由图像传感器感测的多个原始图像收集彼此相应的位置的像素，以产生多个子图像；存储装置，被构造为存储所述多个子图像；控制器，被构造为在存储在存储装置中的所述多个子图像中检测彼此匹配的像素，并获取对象的图像的颜色信息和深度信息。因此，在未降低分辨率的情况下恢复了颜色信息和深度信息。

Description

用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
本申请要求于2013年1月22日提交到韩国知识产权局的第10-2013-0007173号韩国专利申请的优先权，其公开通过引用其全部合并于此。
技术领域
与示例性实施例一致的设备和方法涉及提供一种拍摄装置和拍摄方法，更具体地，涉及提供一种用于通过使用多个微透镜拍照的拍摄装置和拍摄方法。
背景技术
随着电子技术的发展，已开发并提供了各种类型的电子装置。具体地，提供与其他人交流的服务（如社交网络服务（SNS））已受到欢迎。因此，已越来越多地使用通过拍摄周围的画面来产生内容的拍摄装置。
拍摄装置的示例包括各种类型的装置，诸如，数码相机、便携式电话、平板个人计算机（PC）、膝上型PC、个人数字助理（PDA）等。用户使用拍摄装置来拍摄和使用各种画面。
在现有技术中，拍摄装置使用通过使用电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）图像传感器对对象进行聚焦并存储对象图像的方法来执行拍摄。拍摄装置可支持自动聚焦功能来对对象进行自动聚焦。然而，如果当聚焦未被适当执行时或当若干对象存在时执行了拍摄，则可能在用户期望的对象未被聚焦时执行了拍摄。
在这种情况下，用户难以重新执行拍摄。为了解决这一困难，已开发了光场相机来通过使用多个微透镜并随后执行聚焦来执行拍摄。
在现有技术中，光场相机对由滤光器滤过的光产生的图像执行去马赛克工作，以对颜色进行插值。因此，插值图像的对象的边界周围发生模糊现象。因此，插值图像的分辨率降低。
发明内容
示例性实施例至少解决上述问题和/或缺点以及上面未描述的其它缺点。此外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服上述任何问题。
一个或多个示例性实施例提供一种用于通过使用执行滤色的多个微透镜来拍摄画面以防止分辨率降低的拍摄装置和拍摄方法。
根据示例性实施例的一方面，提供一种拍摄装置，包括：主透镜，被构造为发送从对象反射的光束；微透镜阵列，包括被构造为将反射的光束滤为不同颜色并发送反射的光束多个微透镜；图像传感器，被构造为感测由所述多个微透镜发送的光束以感测多个原始图像；数据处理器，被构造为从由图像传感器感测的多个原始图像收集彼此相应的位置的像素，以产生多个子图像；存储装置，被构造为存储所述多个子图像；控制器，被构造为在存储在存储装置中的所述多个子图像中检测彼此匹配的像素，并基于检测的结果获取对象的图像的颜色信息和深度信息。
控制器可通过使用所述多个子图像来执行三维（3D）对象检测工作和重新聚焦工作中的至少一个。
微透镜阵列可被划分为重复排列的多个微透镜组。多个微透镜可根据预设颜色图案被排列在所述多个微透镜组中的每一组中，其中，分别从至少红色（R）、蓝色（B）、绿色（G）、青色（C）、黄色（Y）、白色（W）和翠绿色（E）选择的颜色被分别分配给所述多个微透镜。
图像传感器可被划分为与所述多个微透镜相应的多个像素组。所述多个像素组中的每一组可包括多个像素，并且图像传感器的像素的总数量超过微透镜的数量。
颜色涂层可被形成在所述多个微透镜的表面上，颜色涂层的颜色可按照预设图案重复。
微透镜阵列可包括：第一基底，在所述第一基底上按照矩阵图案排列所述多个微透镜；第二基底，在所述第二基底上排列与所述多个微透镜分别相应的多个滤色器。所述多个滤色器的颜色可按照预设图案重复。
根据另一示例性实施例的一方面，提供一种拍摄方法，包括：通过使用包括多个微透镜的微透镜阵列对通过主透镜入射的光束进行过滤和发送；使用图像传感器感测由所述多个微透镜发送的光束，以获取多个原始图像；从所述多个原始图像收集彼此相应的位置的像素，以产生多个子图像；存储所述多个子图像；在所述多个子图像中检测彼此匹配的像素，以恢复对象图像的颜色信息和深度信息。
拍摄方法可还包括：通过使用颜色信息和深度信息执行三维（3D）对象检测工作和重新聚焦工作中的至少一个。
微透镜阵列可被划分为重复排列的多个微透镜组。多个微透镜可根据预设颜色图案被排列在所述多个微透镜组中的每一组中，其中，分别从至少红色（R）、蓝色（B）、绿色（G）、青色（C）、黄色（Y）、白色（W）和翠绿色（E）选择的颜色被分别分配给所述多个微透镜。
颜色涂层可被形成在所述多个微透镜的表面上，颜色涂层的颜色可按照预设图案重复。
附图说明
通过参照附图对特定示例性实施例的描述，上述和/或其它方面将更加清楚，其中：
图1是示出根据示例性实施例的拍摄装置的结构的示图；
图2和图3是示出允许已透过主透镜的光入射到微透镜阵列的处理的示图；
图4是示出通过使用多个微透镜获取多视点图像的原理的示图；
图5是示出根据示例性实施例的微透镜阵列的颜色图案的示图；
图6是示出根据示例性实施例的微透镜阵列和图像传感器的截面的示图；
图7是示出通过使用多个微透镜感测的多个原始图像的示图；
图8A和图8B是示出通过从与图7的原始图像中的彼此相应的位置收集像素而产生的多个子图像的示图；
图9和图10是示出微透镜阵列的各种截面的示图；
图11A至图15是示出根据各种示例性实施例的微透镜阵列的颜色图案的示图；
图16是示出根据示例性实施例的拍摄方法的流程图；
图17是示出根据示例性实施例的使用多个子图像的图像处理方法的流程图；
图18是示出根据示例性实施例的图像处理的重新聚焦方法的示图。
具体实施方式
参照附图更详细地描述特定示例性实施例。
在下面的描述中，即使在不同的附图中，相同的附图标号也用于相同的元件。在描述中限定的内容（诸如，详细的结构和元件）被提供以帮助对示例性实施例的全面理解。然而，可在没有那些具体限定的内容的情况下实现示例性实施例。此外，由于公知的功能或结构会以不必要的细节模糊示例性实施例，因此没有对公知的功能或结构进行详细描述。
图1是示出根据示例性实施例的拍摄装置100的结构的示图。参照图1，拍摄装置100包括主透镜110、微透镜阵列120、图像传感器130、数据处理器140、存储装置150和控制器160。为了便于描述，图1的拍摄装置100具有简化的元件，但是可还包括各种类型的附加元件。例如，拍摄装置100可还包括各种类型的附加元件，诸如，闪光灯、反射镜、光圈、外壳等。主透镜110可被省略或者其他透镜可被附加地包括在拍摄装置100中。
图1的拍摄装置100可被实现为通过使用多个微透镜捕获多视点图像的全光相机或光场相机。
主透镜110发送从对象反射的光束。主透镜110可被实现为通用镜头、广角镜头等。主透镜110不限于如图2中所示的单个透镜，而是可包括一组多个透镜。
微透镜阵列120包括多个微透镜。颜色被分别分配给微透镜，以便微透镜将从主透镜110入射的反射光束滤为不同颜色并发送反射光束。具体地，微透镜发送各种颜色（诸如，红色（R）、蓝色（B）、绿色（G）、青色（C）、品红色（M）、黄色（Y）、白色（W）、翠绿色（E）等）的光束。为了滤色，颜料层可被分别涂在微透镜或基底的表面上。基底可被布置在微透镜上，其中，在所述基底上，不同颜色的滤光器被形成为与微透镜的位置相应的图案。
可根据预设的颜色图案布置所述多个微透镜。将稍后详细描述预设的颜色图案和根据预设的颜色图案的布置方法。
透过微透镜阵列120的光束被入射在布置在微透镜阵列120后面的图像传感器130上。图像传感器130感测已透过多个微透镜的光束。图像传感器130可被实现为布置有多个互补金属氧化物半导体（CMOS）或电荷耦合器件（CCD）图像传感器的图像传感器阵列。因此，图像传感器130根据已透过微透镜的光束来产生多个原始图像。
数据处理器140通过使用由图像传感器130感测的多个原始图像来产生多个子图像。子图像指通过对在各种视点捕获的像素进行组合而产生的图像。换句话说，所述多个子图像可包括通过在不同视点捕获对象而产生的图像。
图像处理器140从多个原始图像收集相应位置的像素，以产生多个子图像。将稍后描述产生子图像的方法。
存储装置150存储由数据处理器140产生的多个子图像。
控制器160通过使用存储在存储装置150中的所述多个子图像来执行各种操作。例如，控制器160检测所述多个子图像中彼此匹配的像素来执行视差匹配。视差匹配指当指示相同对象的像素存在于根据多个子图像的不同位置中时，通过使用指示相同对象的像素之间的位置差来计算离对象的距离（即，深度信息）的操作。
如上所述，由于多个微透镜执行滤色，因此子图像的像素具有不同类型的颜色信息。因此，控制器160将彼此匹配的像素的颜色值进行组合，以恢复对象的颜色信息。
控制器160通过使用恢复的颜色信息、深度信息等来执行各种图像处理工作。例如，控制器160基于用户期望的点执行用于重新调整焦距的重新聚焦工作，以便产生图像。控制器160执行用于检测（3D）对象的三维（3D）对象检测工作。
图2和图3是示出允许已透过主透镜110的光入射到微透镜阵列120的处理的示图。如图2中所示，从对象10反射的光透过主透镜110，并沿着光学方向汇聚。当微透镜阵列120被放置在汇聚点（即，第二主点）以内时，反射光被正常地入射到微透镜阵列120。
当微透镜阵列120被放置在汇聚点以外时，反射光被入射到微透镜阵列120成为倒像。
微透镜将入射光转换为色光（color light），并发送色光。发送的光被入射到图像传感器130。
图4是示出通过使用多个微透镜获取多视点图像的原理的示图。如图4中所示，从点X-2、X1和X0反射的光束通过主透镜110被折射，并随后入射到微透镜阵列120。如图4中所示，场透镜（field lens）115用于调整折射角。场透镜115面向微透镜阵列120的表面可以是平坦的，并且场透镜115的另一面（即，面向主透镜110的表面）可以是凸面。场透镜115将已透过主透镜110的光束发送到微透镜阵列120。如图4中所示，已分别透过主透镜110的区域θ1至θ5的光束形成不同视点的图像。因此，在区域θ1至θ5获取五个视点的图像。
可根据预设颜色图案将颜色分配到微透镜阵列120的微透镜。可不同地实现颜色图案。
图5是示出根据示例性实施例的微透镜阵列的颜色图案的示图。
参照图5，微透镜阵列120被划分为多个微透镜组120-1、120-2、…、和120-xy。被分别分配有分别选择的颜色的多个微透镜根据预设颜色图案被布置在多个微透镜组120-1、120-2、…、和120-xy中的每一组中。在图5中，分配有R颜色的微透镜121和分配有G颜色的微透镜122被布置在微透镜组的第一行中。分配有G颜色的微透镜123和分配有B颜色的微透镜124被布置在微透镜组的第二行中。该微透镜组被重复地布置在微透镜阵列120上。在图5中，多个微透镜组被排列在微透镜阵列120的y行和x列上。
图6是示出根据示例性实施例的微透镜阵列120的截面和图像传感器130的截面的示图。
具体地，图6示出沿图5中示出的微透镜阵列120的第一行的横截面。
参照图6，微透镜120包括布置有多个微透镜121、122、125、…、和图像传感器130的基底180。图像传感器130被布置与微透镜阵列120接触。可由透明材料形成基底180。
图像传感器130包括第一绝缘层190、第二绝缘层300和支撑基底200。用于电连接的金属线191至196被布置在第一绝缘层190中。金属线191至196可被设计为不阻挡已透过微透镜的光束的路径。如图6中所示，金属线191至196被布置在一个绝缘层190中。然而，金属线191至196可被分散地布置在多个绝缘层中。
多个像素组210、220、230被布置在支撑基底200中。图像传感器211至214、221至224和231至234形成多个像素，并被分别布置在像素组210、220、230、…中。图像传感器211至214、221至224和231至234分别感测已透过微透镜121、122和123的光束。隔离层410、420、430和440被形成在像素组之间，以防止图像传感器211至214、221至224和231至234之间的干扰。
金属线191至196将图像传感器211至214、221至224和231至234连接到外部电极极板。因此，金属线191至196可将分别从图像传感器211至214、221至224和231至234输出的电信号发送到数据处理器140和存储装置150。
如图6中所示，像素组中的图像传感器的总数量超过微透镜的数量。具体地，4×4个图像传感器被布置在与一个微透镜相应的位置中。
图7是示出通过使用包括R、G和B颜色图案的微透镜阵列120感测的多个原始图像的示图。各种颜色的微透镜被布置在微透镜阵列120中。
参照图7，已透过微透镜121、122、123、124、125、…的光束形成4×4个像素的图像。为了便于描述，分别由微透镜121、122、123、124、125、…产生的图像被称为原始图像。微透镜121、122、123、124、125、…分别用根据颜色的英文大写字母“R”、“G”、“B”来表示，并根据它们各自的位置被划分为n行m列（其中，n表示行数，m表示列数）。构成一个图像的像素分别用于小写字母“r”、“g”和“b”来表示。数字1至16根据像素的位置被添加，以对像素进行划分。原始图像的数量与微透镜的数量相应。在图7中示出的示例中，n×m个原始图像被获取。
数据处理器140将构成感测的图像的像素之中的彼此相应的位置中的像素进行组合，以产生多个子图像。
图8A和图8B是示出产生多个子图像的方法的示图。参照图8A，子图像1包括n×m个像素。子图像1由位于多个原始图像的第一行第一列的像素r1、g1和b1的组合形成。
参照图8B，子图像2由位于多个原始图像的第一行第二列的像素r2、g2和b2的组合形成。如上所述，总共16个子图像可被数据处理器140产生并被存储在存储装置150中。
微透镜阵列120的微透镜可还包括颜色涂层或滤色器，以执行滤色。
图9是示出根据示例性实施例的微透镜阵列120的结构的示图。具体地，图9示出图5中示出的微透镜阵列120的第一行的截面。
微透镜阵列120包括微透镜121、122、125和126以及支撑微透镜121、122、125和126的基底180。颜色涂层121-1、122-1、125-1和126-1被分别形成在微透镜121、122、125和126的表面上。颜色涂层121-1、122-1、125-1和126-1可由具有颜色的染料形成。颜色涂层121-1、122-1、125-1和126-1的颜色可按照预设图案被重复。例如，R颜色和G颜色在奇数行重复，G颜色和B颜色在偶数行重复。
图10是示出根据另一示例性实施例的微透镜阵列120的结构的示图。参照图10，微透镜阵列120包括第一基底层610和第二基底层620。第一基底层610包括多个微透镜612和排列有微透镜612的基底611。空白空间613被形成在微透镜612和第一基底610之间，或者透明材料可被布置在空白空间613中，以填充在微透镜612和第一基底610之间。
第二基底620包括多个滤色器621至626。滤色器621至626被排列为与多个微透镜612的位置相应。滤色器621至626执行用于发送预定颜色的光束的滤色。多个滤色器621至626的颜色可按照预定图案重复。例如，如果多个滤色器621至626的颜色具有如图5中所示的颜色图案，则可用重复R颜色和G颜色的颜色图案来实现微透镜阵列120的第一行。
如上所述，微透镜可被实现为用于执行滤色的各种类型的结构。微透镜的颜色可被实现为各种图案。现在将详细描述根据各种示例性实施例的颜色图案的示例。
图11A至图11D是示出以四个微透镜为单位重复的颜色图案的示图。在图11A中，G颜色和R颜色的微透镜在奇数行被重复，B颜色和G颜色的微透镜在偶数行被重复。具体地，在图11A中，按照重复排列的2×2矩阵排列分别具有G颜色、R颜色、B颜色和G颜色的四个颜色的微透镜的微透镜组。
在图11B中，B颜色、R颜色、R颜色和G颜色的微透镜组被重复排列。在图11C中，C颜色、Y颜色、Y颜色和M颜色的微透镜组被重复排列。在图11D中，C颜色、Y颜色、G颜色和M颜色的微透镜组被重复排列。
图12A至图12D是示出根据示例性实施例的包括白（W）色的微透镜的颜色图案的示图。
在图12A中，W颜色和R颜色的微透镜在奇数行被重复排列，B颜色和G颜色的微透镜在偶数行被重复排列。W颜色的透镜指发送W光的透镜。例如，W颜色的透镜可以是仅由透明材料形成的透镜，而无需额外的颜色涂层或滤色层。
在图12B中，W颜色、B颜色、W颜色和G颜色的微透镜在奇数行被重复排列，B颜色、W颜色、G颜色和W颜色的微透镜在偶数行被重复排列。在上述示例性实施例中，在每行中颜色以两个微透镜为单位重复。然而，如图12B中所示，颜色被重复的周期可以是2个或更多个。
在图12C中，W颜色的微透镜被排列在所有偶数列中，在奇数列中，微透镜被排列为G、G、B和B以及R、R、G和G交替重复的图案。
在图12D中，W颜色的微透镜被排列在偶数列，在奇数列中，微透镜被排列为G、B、G和B以及R、G、R和G交替重复的图案。
在图11A至图12D中，微透镜阵列可被划分为均包括2×2个微透镜的组。然而，可不同地实现每个组中的微透镜的数量。
图13是示出包括多个微透镜组的微透镜阵列120的结构的示图，其中，每个微透镜组包括3×3个微透镜。
参照图13，R颜色、G颜色和B颜色的微透镜被排列在一个微透镜组的第一行上，B颜色、R颜色和G颜色的微透镜被排列在所述一个微透镜组的第二行上，G颜色、B颜色和R颜色的微透镜被排列在所述一个微透镜组的第三行上。微透镜阵列120可被实现为包括3×3个微透镜的组，并被重复排列。
图14是示出包括多个微透镜组的微透镜阵列120的结构的示图，其中，每个微透镜组包括6×6个微透镜。
参照图14，G颜色、B颜色、G颜色、G颜色、R颜色和G颜色的微透镜被排列在一个微透镜组的第一行上，R颜色、G颜色、R颜色、B颜色、G颜色和B颜色的微透镜被排列在所述一个微透镜组的第二行上，G颜色、B颜色、G颜色、G颜色、R颜色和G颜色的微透镜被布置在所述一个微透镜组的第三行上，G颜色、R颜色、G颜色、G颜色、B颜色和G颜色的微透镜被排列在所述一个微透镜组的第四行上，B颜色、G颜色、B颜色、R颜色、G颜色和R颜色的微透镜被排列在所述一个微透镜组的第五行上，G颜色、R颜色、G颜色、G颜色、B颜色和G颜色的微透镜被排列在所述一个微透镜组的第六行上。具有这些颜色图案的微透镜组可被重复排列。
在上述示例性实施例中，每个微透镜按照矩阵被排列，但是排列形式不限于矩阵形式。
图15是示出根据示例性实施例的沿着对角线方向排列的多个微透镜的示图。参照图15，微透镜阵列120包括多个对角线列1500、1510、1520、1530、1540、1550、1560、1570、1580、1590和1600。两个R颜色的微透镜和两个B颜色的微透镜被交替排列在中心对角线列1500上。包括多个G颜色的微透镜的列被排列在中心对角线列1500的两侧。如图15中所示，包括R颜色和B颜色的混合的列和仅包括G颜色的列可沿着对角线方向被交替排列。
如上所述，已透过微透镜阵列120的具有各种颜色的光束被入射到图像处理器130。因此，多个原始图像被获取。如参照图8所述，数据处理器140从原始图像的像素收集位于彼此相应的点的像素，以产生多个子图像。
微透镜阵列120通过使用多个微透镜对光束进行滤色。由于颜色信息根据子图像被划分、获取并被恢复，因此可在无需基于像素值执行颜色插值（例如，如去马赛克技术）的情况下恢复图像的颜色信息。因此，可防止由发生在颜色插值处理中的模糊造成的分辨率的下降。
图16是示出根据示例性实施例的拍摄方法的流程图。参照图16，如果输入了拍摄命令，则拍摄装置打开快门。如果光束通过主透镜被入射，则在操作S1610，拍摄装置通过使用多个微透镜发送入射光束，并根据颜色对发送的光束进行过滤。微透镜可被实现为如图9和图10中所示的各种类型的结构以对与微透镜分别匹配的颜色进行过滤。如上所述，可不同地实现微透镜阵列的颜色图案。
已分别透过微透镜的光束入射到图像传感器。在操作S1620，图像传感器基于已透过多个微透镜的光束来获取多个原始图像。通过在不同视点捕获对象来获取原始图像，并且所述原始图像包括与微透镜分别相应的颜色。
在操作S1630，拍摄装置将多个原始图像的像素进行组合，以产生多个子图像。
在操作S1640，拍摄装置存储产生的子图像。
在操作S1650，拍摄装置从子图像检测彼此匹配的像素，以恢复颜色信息和深度信息。颜色信息和深度信息可用于重新聚焦工作、3D对象检测工作等。
图17是示出根据示例性实施例的根据用户选择来执行各种类型的图像处理的方法的流程图。参照图17，用户从包括捕获对象和对捕获的对象执行图像处理的菜单进行选择。菜单可还包括重新聚焦菜单、3D对象检测菜单、视点改变菜单等。
如果在操作S1710通过菜单的选择输入了重新聚焦命令，则拍摄装置选择并显示多个子图像中的一个。例如，拍摄装置可显示包括中间位置的像素的子图像。
在操作S1720，用户选择显示的子图像的用户想聚焦的参考点。
如果参考点被选择，则在操作S1730，控制器160检查参考点的深度信息。可通过使用具有彼此相应的像素值的像素之间的位置差从多个子图像的像素检测深度信息。控制器160根据检查的深度信息改变子图像的像素。在操作S1740，改变的像素的像素值被调整为它们的平均值，以产生聚焦在选择的参考点的图像。作为结果，具有与选择的参考点相应的深度信息的对象可被清楚地显示。
如果在操作S1750，3D对象检测命令被输入，则在操作S1760，多个子图像之间彼此相应的像素执行用于提取像素的视差的视差匹配工作。
在操作S1770，根据像素的视差产生左眼图像和右眼图像。具体地，在具有深的深度的对象中，左眼图像中的像素位置和右眼图像中的像素位置之间的像素距离大。相反的，在具有浅的深度的对象中，左眼图像中的像素位置和右眼图像中的像素位置之间的像素距离小。因此，3D图像可被产生。
如参照图16和图17的描述，根据各种示例性实施例，在拍摄装置捕获对象之后，拍摄装置根据用户选择通过使用各种方法来调整对象。因此，彩色图像可被产生，而无需执行去马赛克处理。
图18是示出作为图像处理的示例的重新聚焦工作的示图。入射到拍摄装置的光可被表示为r(q,p)。也就是说，具有位置q和角度p的光的辐射。光透过透镜并随后通过形成在透镜和图像传感器之间的空间入射到图像传感器上。因此，由图像传感器获取的图像的辐射的转换矩阵被表示为特征矩阵和所述空间的特征矩阵的乘法。
重新聚焦指用于获取聚焦的图像和形成重新聚焦的图像的工作。换句话说，可通过使用预先获取的辐射信息，根据在另一位置计算达到图像传感器的平坦表面的辐射信息的方法来执行重新聚焦。
图18是示出重新聚焦工作的示例的示图。图18示出从r1调整到r2的焦距。
参照图18，如果处于离主透镜110距离a的点处的对象的图像被形成在表面r1（即，朝向微透镜阵列120离主透镜110距离b的点）上，则离主透镜110距离a'的点处的对象的图像被形成在表面r2（即，朝向微透镜阵列120离主透镜110距离b'的点）上。
控制器160可通过使用聚焦在表面r1上的光的辐射信息，获取聚焦在表面r2上的光的辐射信息。例如，可通过使用以下等式获取改变的辐射信息：r'(q,p)=r(q-tp,p)，其中，t表示主透镜110和图像传感器130之间的距离。如果改变的辐射信息被获取，则控制器160可基于改变的辐射信息，形成已执行重新聚焦的图像。控制器160可检查多个子图像的像素的深度信息来根据改变的辐射信息对像素进行组合，以获取已改变焦距的图像。参照图18描述的重新聚焦方法仅是示例，因此，可根据各种方法执行重新聚焦或其他类型的图像处理。
根据各种示例性实施例，使用通过使用多个微透镜获取的多个子图像来恢复颜色信息。因此，可在没有降低分辨率的情况下产生各种图像。
根据上述示例性实施例的拍摄方法可被应用于包括包含滤色器的多个微透镜的拍摄设备。具体地，拍摄方法可被编码为用于执行该拍摄方法的程序代码，并被存储在非暂时性计算机可读介质上。非暂时性计算机可读介质可被安装在如上所述的拍摄装置中，以支持拍摄装置，从而在其中执行上述方法。
非暂时性计算机可读介质是指不像寄存器、缓存、内存等短时间的存储数据，而是半永久性地存储数据并由装置可读的介质。具体地讲，上述应用或程序可被存储并设置在非永久性计算机可读介质（诸如CD、DVD、硬盘、蓝光盘、通用串行总线（USB）、存储卡、ROM等）上。
前述示例性实施例及优点仅是示例性的，并且将不被解释为限制性的。本教导可被容易地应用于其他类型的设备。此外，示例性实施例的描述意图是示意性的，而不是限制权利要求的范围，许多可替代物、修改和变形对于本领域技术人员而言将是清楚的。

Claims (10)

1.一种拍摄装置，包括：
主透镜，发送从对象反射的光束；
微透镜阵列，包括将反射的光束滤为不同颜色并发送反射的光束的多个微透镜；
图像传感器，感测已分别透过多个微透镜的光束；
数据处理器，从由图像传感器感测的多个原始图像收集彼此相应的位置的像素，以产生多个子图像；
存储装置，存储所述多个子图像；
控制器，在存储在存储装置中的所述多个子图像中检测彼此匹配的像素，以获取对象的图像的颜色信息和深度信息。
2.如权利要求1所述的拍摄装置，其中，控制器通过使用所述多个子图像执行三维（3D）对象检测工作或重新聚焦工作。
3.如权利要求1所述的拍摄装置，其中，微透镜阵列被划分为重复排列的多个微透镜组，
其中，多个微透镜根据预设颜色图案被排列在所述多个微透镜组中的每一组中，
其中，分别从至少红色（R）、蓝色（B）、绿色（G）、青色（C）、黄色（Y）、白色（W）和翠绿色（E）选择的颜色被分别分配给所述多个微透镜。
4.如权利要求1所述的拍摄装置，其中，图像传感器被划分为与所述多个微透镜分别相应的多个像素组，
其中，所述多个像素组中的每一组包括多个像素，并且图像传感器的像素的总数量超过微透镜的数量。
5.如权利要求4所述的拍摄装置，其中，颜色涂层被形成在所述多个微透镜的表面上，
其中，颜色涂层的颜色按照预设图案重复。
6.如权利要求4所述的拍摄装置，其中，微透镜阵列包括：
第一基底，在所述第一基底上按照矩阵图案排列所述多个微透镜；
第二基底，在所述第二基底上排列与所述多个微透镜分别相应的多个滤色器，
其中，所述多个滤色器的颜色按照预设图案重复。
7.一种拍摄方法，包括：
通过使用包括多个微透镜的微透镜阵列对通过主透镜入射的光束进行过滤和发送；
通过使用图像传感器感测已透过所述多个微透镜的光束，以获取多个原始图像；
从所述多个原始图像收集彼此相应的位置的像素，以产生多个子图像；
存储所述多个子图像；
在所述多个子图像中检测彼此匹配的像素，以恢复对象图像的颜色信息和深度信息。
8.如权利要求7所述的拍摄方法，还包括：
使用颜色信息和深度信息执行三维（3D）对象检测工作或重新聚焦工作。
9.如权利要求7所述的拍摄方法，其中，微透镜阵列被划分为重复排列的多个微透镜组，
其中，多个微透镜根据预设颜色图案被排列在所述多个微透镜组中的每一组中，其中，分别从至少红色（R）、蓝色（B）、绿色（G）、青色（C）、黄色（Y）、白色（W）和翠绿色（E）选择的颜色被分别分配给所述多个微透镜。
10.如权利要求7所述的拍摄方法，其中，颜色涂层被形成在所述多个微透镜的表面上，
其中，颜色涂层的颜色按照预设图案重复。
CN201410030528.3A 2013-01-22 2014-01-22 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法 Pending CN103945115A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0007173 2013-01-22
KR1020130007173A KR20140094395A (ko) 2013-01-22 2013-01-22 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법

Publications (1)

Publication Number Publication Date
CN103945115A true CN103945115A (zh) 2014-07-23

Family

ID=50030067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410030528.3A Pending CN103945115A (zh) 2013-01-22 2014-01-22 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法

Country Status (8)

Country Link
US (1) US20140204183A1 (zh)
EP (1) EP2757790A1 (zh)
JP (1) JP2016511562A (zh)
KR (1) KR20140094395A (zh)
CN (1) CN103945115A (zh)
AU (1) AU2014210553B2 (zh)
TW (1) TW201433159A (zh)
WO (1) WO2014115984A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303166A (zh) * 2015-05-22 2017-01-04 电信科学技术研究院 一种图像采集设备
CN107991838A (zh) * 2017-11-06 2018-05-04 万维科研有限公司 自适应三维立体成像系统
CN109348114A (zh) * 2018-11-26 2019-02-15 Oppo广东移动通信有限公司 成像装置和电子设备
CN111182179A (zh) * 2019-11-26 2020-05-19 浙江大学 奇偶透镜线阵交替分布的分段平面侦察成像系统和方法
CN111479075A (zh) * 2020-04-02 2020-07-31 青岛海信移动通信技术股份有限公司 拍照终端及其图像处理方法
CN112816493A (zh) * 2020-05-15 2021-05-18 奕目(上海)科技有限公司 一种芯片打线缺陷检测方法及装置

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
CN104864849B (zh) * 2014-02-24 2017-12-26 电信科学技术研究院 视觉导航方法和装置以及机器人
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9521319B2 (en) * 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9883151B2 (en) 2014-11-28 2018-01-30 Electronics And Telecommunications Research Institute Apparatus and method for capturing lightfield image
US9797716B2 (en) 2015-01-09 2017-10-24 Ricoh Company, Ltd. Estimating surface properties using a plenoptic camera
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3110130A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Plenoptic camera and method of controlling the same
US10325753B2 (en) 2015-09-23 2019-06-18 Kla Tencor Corporation Method and system for focus adjustment of a multi-beam scanning electron microscopy system
TWI701459B (zh) 2015-09-23 2020-08-11 美商克萊譚克公司 用於多波束掃描式電子顯微系統之聚焦調整之方法及系統
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
US11099304B2 (en) * 2016-12-05 2021-08-24 Photonic Sensors & Algorithms, S.L. Microlens array
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11143865B1 (en) * 2017-12-05 2021-10-12 Apple Inc. Lens array for shifting perspective of an imaging system
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
JPWO2021060118A1 (zh) * 2019-09-26 2021-04-01
US20220307819A1 (en) 2019-10-07 2022-09-29 Intrinsic Innovation Llc Systems and methods for surface normals sensing with polarization
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
KR102561678B1 (ko) * 2021-11-04 2023-07-31 국민대학교산학협력단 라이트 필드 이미지 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030198377A1 (en) * 2002-04-18 2003-10-23 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
CN101426085A (zh) * 2004-10-01 2009-05-06 科兰·斯坦福青年大学托管委员会 成像装置及其方法
US20120176506A1 (en) * 2011-01-06 2012-07-12 Sony Corporation Image pickup apparatus and image processing method
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
KR100947366B1 (ko) * 2007-05-23 2010-04-01 광운대학교 산학협력단 입체영상 디스플레이 방법 및 시스템
JP4607208B2 (ja) * 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 立体映像ディスプレイ方法
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5332423B2 (ja) * 2008-09-08 2013-11-06 ソニー株式会社 撮像装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5246424B2 (ja) * 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
US9001227B2 (en) * 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US20120019703A1 (en) * 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
MX2013010174A (es) * 2011-03-04 2013-10-25 Samsung Electronics Co Ltd Dispositivo de visualizacion de imagenes de multiples puntos de vision.
JP2013009274A (ja) * 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030198377A1 (en) * 2002-04-18 2003-10-23 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
CN101426085A (zh) * 2004-10-01 2009-05-06 科兰·斯坦福青年大学托管委员会 成像装置及其方法
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US20120176506A1 (en) * 2011-01-06 2012-07-12 Sony Corporation Image pickup apparatus and image processing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303166A (zh) * 2015-05-22 2017-01-04 电信科学技术研究院 一种图像采集设备
CN107991838A (zh) * 2017-11-06 2018-05-04 万维科研有限公司 自适应三维立体成像系统
CN107991838B (zh) * 2017-11-06 2020-10-23 万维科研有限公司 自适应三维立体成像系统
CN109348114A (zh) * 2018-11-26 2019-02-15 Oppo广东移动通信有限公司 成像装置和电子设备
CN111182179A (zh) * 2019-11-26 2020-05-19 浙江大学 奇偶透镜线阵交替分布的分段平面侦察成像系统和方法
CN111479075A (zh) * 2020-04-02 2020-07-31 青岛海信移动通信技术股份有限公司 拍照终端及其图像处理方法
CN111479075B (zh) * 2020-04-02 2022-07-19 青岛海信移动通信技术股份有限公司 拍照终端及其图像处理方法
CN112816493A (zh) * 2020-05-15 2021-05-18 奕目(上海)科技有限公司 一种芯片打线缺陷检测方法及装置

Also Published As

Publication number Publication date
JP2016511562A (ja) 2016-04-14
TW201433159A (zh) 2014-08-16
EP2757790A1 (en) 2014-07-23
AU2014210553B2 (en) 2016-03-17
AU2014210553A1 (en) 2015-07-23
WO2014115984A1 (en) 2014-07-31
US20140204183A1 (en) 2014-07-24
KR20140094395A (ko) 2014-07-30

Similar Documents

Publication Publication Date Title
CN103945115A (zh) 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
US20230353718A1 (en) Imaging apparatus and image sensor array
CN101455071B (zh) 改进的全光照相机
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN101971072B (zh) 图像传感器和焦点检测装置
KR101701528B1 (ko) 3차원 촬상 장치
CN103140925B (zh) 固态图像拾取元件和图像拾取设备
CN202750183U (zh) 视差成像设备和视差成像系统
WO2013042518A1 (ja) デジタルカメラ
JP2008005488A (ja) カメラモジュール
CN105306786A (zh) 用于具有相位检测像素的图像传感器的图像处理方法
JP6217918B2 (ja) アレイ状光学素子、撮像用部材、撮像素子、撮像装置および測距装置
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN104380342A (zh) 图像处理设备、成像设备以及图像处理方法
CN109981939A (zh) 成像系统
CN103037180A (zh) 图像传感器和摄像设备
JP2003007994A (ja) 固体撮像素子、立体カメラ装置及び測距装置
CN103167239A (zh) 图像处理装置、图像处理方法、摄像装置及显示设备
CN104935793A (zh) 配有滤光器阵列的微透镜和固态成像设备
CN104508531A (zh) 拍摄元件和拍摄装置
JPWO2012157209A1 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
JP6589006B2 (ja) シフトされたマイクロレンズアレイを有するイメージセンサ
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
JP2012211942A (ja) 固体撮像素子及び撮像装置
GB2540922B (en) Full resolution plenoptic imaging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140723

WD01 Invention patent application deemed withdrawn after publication