CN108111714A - 基于多透镜的捕获设备和方法 - Google Patents

基于多透镜的捕获设备和方法 Download PDF

Info

Publication number
CN108111714A
CN108111714A CN201710800048.4A CN201710800048A CN108111714A CN 108111714 A CN108111714 A CN 108111714A CN 201710800048 A CN201710800048 A CN 201710800048A CN 108111714 A CN108111714 A CN 108111714A
Authority
CN
China
Prior art keywords
lens
sensor pixel
pixel
sensitive information
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710800048.4A
Other languages
English (en)
Other versions
CN108111714B (zh
Inventor
赵良镐
南东暻
黄孝锡
郑英珠
许珍九
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108111714A publication Critical patent/CN108111714A/zh
Application granted granted Critical
Publication of CN108111714B publication Critical patent/CN108111714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)

Abstract

提供一种基于多透镜的捕获设备和方法。所述捕获设备包括：透镜阵列，包括多个透镜；传感器，包括多个感测像素；其中，传感器中的所述多个感测像素中的至少一部分感测像素可基于通过透镜阵列中的不同透镜进入的光产生感测信息，其中，入射到所述多个感测像素中的所述至少一部分感测像素中的每个感测像素上的光对应于视点的不同组合。

Description

基于多透镜的捕获设备和方法
本申请要求于2016年11月25日提交到韩国知识产权局的第10-2016-0158539号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
与示例实施例一致的设备和方法涉及一种基于多透镜的捕获设备和方法。
背景技术
由于光学技术和图像处理技术的发展，捕获设备正被用于大范围的领域(例如，多媒体内容、安全和识别)。例如，捕获设备可安装在移动装置、相机、车辆或计算机中，并可被配置为捕获图像以识别对象或获取用于控制装置的数据。捕获设备的体积可基于例如镜头的尺寸、镜头的焦距或传感器的尺寸来确定。例如，捕获设备的体积可基于镜头的尺寸或传感器的尺寸来调整。随着传感器的尺寸减小，入射到传感器上的光的量可减少。因此，图像的分辨率可降低，或者可能难以在低照明环境下执行捕获。为减小捕获设备的体积，包括小透镜的多透镜可被使用。当镜头的尺寸减小时，镜头的焦距可减小。因此，捕获设备的体积可基于多透镜被减小。
发明内容
示例实施例可至少解决上面的问题和/或缺点以及上面未描述的其他缺点。此外，不要求示例实施例克服上述的缺点，示例实施例可不克服上述问题中的任何一个。
根据示例性实施例的方面，提供一种捕获设备，包括：透镜阵列，具有多个透镜；传感器，具有多个感测像素；其中，传感器中的所述多个感测像素中的至少一部分感测像素可基于通过透镜阵列中的不同透镜进入的光产生感测信息，其中，入射到所述多个感测像素中的所述部分感测像素中的每个感测像素上的光可对应于视点的不同组合。
在捕获设备中，传感器中的所述多个感测像素的数量与透镜阵列中的所述多个透镜的数量可互质。
在捕获设备中，所述多个感测像素的数量与所述多个透镜的数量之间的比率可以是实数。
在捕获设备中，指示所述多个感测像素中的所述部分感测像素与视点之间的对应关系的矩阵可具有满秩。
所述捕获设备还可包括：处理器，可被配置为基于感测信息和根据所述多个感测像素中的所述部分感测像素与视点之间的对应关系确定的变换矩阵来产生捕获图像。
处理器还可被配置为：基于感测信息，产生感测信息矩阵；基于感测信息矩阵和变换矩阵确定对应于视点的像素值，所述像素值包括在像素值矩阵中；基于所述像素值，产生捕获图像。
在捕获设备中，透镜阵列的焦距可基于透镜阵列中的透镜的数量来确定。
在捕获设备中，当透镜阵列中的透镜的数量增大时，透镜阵列的焦距可减小。
根据另一示例性实施例的方面，提供一种捕获方法，包括：从多个感测像素获取感测信息；基于感测信息，产生捕获图像，其中，所述多个感测像素中的至少一部分感测像素可被配置为基于通过包括多个透镜的透镜阵列中的不同透镜进入的光产生感测信息，其中，入射到所述多个感测像素中的所述部分感测像素中的每个感测像素上的光可对应于视点的不同组合。
在捕获方法中，所述多个感测像素的数量与透镜阵列中的所述多个透镜的数量可互质。
在捕获方法中，所述多个感测像素的数量与所述多个透镜的数量之间的比率可以是实数。
在捕获方法中，指示所述多个感测像素中的所述部分感测像素与视点之间的对应关系的矩阵可具有满秩。
在捕获方法中，产生捕获图像的步骤可包括：基于感测信息和根据所述多个感测像素中的所述部分感测像素与视点之间的对应关系确定的变换矩阵来产生捕获图像。
在捕获方法中，产生捕获图像的步骤可包括：基于感测信息，产生感测信息矩阵；基于感测信息矩阵和变换矩阵确定对应于视点的像素值，所述像素值包括在像素值矩阵中；基于所述像素值，产生捕获图像。
在捕获方法中，透镜阵列的焦距可基于透镜阵列中的透镜的数量来确定。
在捕获方法中，当透镜阵列中的透镜的数量增大时，透镜阵列的焦距可减小。
根据另一示例性实施例的方面，提供一种存储程序的非暂时性计算机可读存储介质，其中，所述程序用于使处理器执行捕获方法，其中，所述捕获方法包括：从多个感测像素获取感测信息；基于感测信息，产生捕获图像，其中，所述多个感测像素中的至少一部分感测像素可被配置为基于通过包括多个透镜的透镜阵列中的不同透镜进入的光产生感测信息，其中，入射到所述多个感测像素中的所述部分感测像素中的每个感测像素上的光可对应于视点的不同组合。
根据另一示例性实施例的方面，提供一种捕获设备，包括：处理器；存储器，具有计算机可读的指令，其中，当所述指令被处理器执行时，处理器可被配置为从多个感测像素获取感测信息并基于感测信息产生捕获图像。感测信息可由所述多个感测像素中的至少一部分感测像素基于通过包括多个透镜的透镜阵列中的不同透镜进入的光产生，其中，入射到所述多个感测像素中的所述部分感测像素中的每个感测像素上的光可对应于视点的不同组合。
在捕获设备中，传感器中的所述多个感测像素的数量与透镜阵列中的所述多个透镜的数量可互质。
在捕获设备中，所述多个感测像素的数量与所述多个透镜的数量之间的比率可以是实数。
在捕获设备中，指示所述多个感测像素中的所述部分感测像素与视点之间的对应关系的矩阵可具有满秩。
处理器还可被配置为基于感测信息产生捕获图像，可根据所述多个感测像素中的所述部分感测像素与视点之间的对应关系来确定变换矩阵。
处理器还可被配置为：基于感测信息，产生感测信息矩阵；基于感测信息矩阵和变换矩阵确定对应于视点的像素值，所述像素值包括在像素值矩阵中；基于所述像素值，产生捕获图像。
根据另一示例性实施例的方面，提供一种捕获设备，包括：透镜阵列，包括多个透镜；传感器，包括多个感测像素；其中，所述多个感测像素的数量与所述多个透镜的数量之间的比率是实数，其中，入射到所述多个感测像素中的第一感测像素上的第一光模式不同于入射到所述多个感测像素中的第二感测像素上的第二光模式。
第一光模式可对应于视点的第一组合，第二光模式可对应于视点的第二组合。
视点的第一组合可不同于视点的第二组合。
附图说明
通过下面结合附图对示例性实施例进行的详细描述，示例性实施例的上述和/或其他方面将会变得清楚和更加容易理解，其中：
图1是示出根据示例性实施例的捕获设备的示图；
图2是示出根据示例性实施例的透镜的尺寸的影响的示图；
图3是示出根据示例性实施例的通过透镜阵列入射到感测像素上的光的示例的示图；
图4是示出根据示例性实施例的通过透镜阵列入射到感测像素上的光的另一示例的示图；
图5是示出根据示例性实施例的透镜的数量与焦距之间的关系的示图；
图6是示出根据示例性实施例的透镜阵列和传感器的截面的示图；
图7是示出根据示例性实施例的针孔掩模(pinhole mask)和传感器的截面的示图；
图8是示出根据示例性实施例的移动装置的示图；
图9是示出根据示例性实施例的曲面(curved)透镜阵列的示图；
图10是示出根据示例性实施例的智能车辆的示图；
图11是示出根据示例性实施例的捕获设备的框图；
图12是示出根据示例性实施例的捕获方法的流程图。
具体实施方式
下面的结构或功能的描述是示例性的，仅用于描述示例性实施例，并且示例性实施例的范围不被限制到本说明书中提供的描述。本领域普通技术人员可对其做出各种改变和修改。
虽然术语“第一”或“第二”被用来说明各种组件，但是这些组件不限于这些术语。这些术语应仅被用于区分一个组件与另一组件。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
如这里所使用，除非上下文清楚地另有指示，否则单数形式意图同样包括复数形式。还将理解，当在本说明书中使用术语“包括”时，说明存在阐述的特征、整体、步骤、操作、元件、组件和/或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
除非这里另有定义，否则这里使用的包括技术或科学术语的所有术语具有与本领域普通技术人员通常理解的含义相同的含义。除非这里另有定义，否则在通用字典中定义的术语应被解释为具有与相关领域中的上下文的含义匹配的含义，而将不被解释为理想化或过于形式化的含义。
以下，将参照附图对示例性实施例进行更加详细地描述，并且附图中相同的参考标记始终表示相同的元件。
图1是示出根据示例性实施例的捕获设备的示图。
在描述捕获设备之前，将提供对根据示例性实施例的用于确定捕获设备的体积和由捕获设备捕获的图像的质量的因素的简单描述。
根据示例性实施例，由捕获设备捕获的图像的质量可基于包括在传感器中的感测像素的数量和入射到感测像素上的光的量来确定。例如，图像的分辨率可基于包括在传感器中的感测像素的数量来确定，图像的感光度可基于入射到感测像素上的光的量来确定。入射到感测像素上的光的量可基于感测像素的尺寸来确定。当感测像素的尺寸增大时，入射到感测像素上的光的量和传感器的动态范围可增大。因此，由传感器捕获的图像的分辨率可随着包括在传感器中的感测像素的数量增大而增大。此外，当感测像素的尺寸增大时，传感器可方便地操作以甚至在低照明下捕获高感光度图像。
捕获设备的体积可基于镜头的焦距来确定。例如，捕获设备的体积可基于镜头与传感器之间的间隙来确定。因为传感器需要位于镜头的焦点，以采集由镜头折射的光，所以包括在捕获设备中的传感器和镜头可需要彼此隔开镜头的焦距。镜头的焦距可基于捕获设备的视角和镜头的尺寸(例如，镜头的光圈的半径)来确定。例如，当视角固定时，焦距可与镜头的尺寸成比例地增大。此外，镜头的尺寸可基于传感器的尺寸来确定。例如，为捕获预定范围的视角内的图像，镜头的尺寸可需要随着传感器的尺寸增大而增大。
如上所述，为了在保持视角和图像的分辨率的同时增大图像的感光度，捕获设备的体积可被增大。例如，为了在保持图像的分辨率的同时增大图像的感光度，可需要在保持包括在传感器中的感测像素的数量的同时增大每个感测像素的尺寸。因此，传感器的尺寸可增大。在这个示例中，为了保持视角，镜头的尺寸可随着传感器的尺寸增大而增大，并且镜头的焦距可增大。因此，捕获设备的体积可增大。
为了减小捕获设备的体积，在保持传感器的分辨率的同时减小感测像素的尺寸的设计方案或在保持感测像素的尺寸的同时降低传感器的分辨率的设计方案可被使用。在示例中，当在保持传感器的分辨率的同时减小感测像素的尺寸时，传感器的尺寸和镜头的焦距可减小，这可造成捕获设备的体积的减小。然而，在这个示例中，图像的感光度也可减小，并且低照明图像的质量可被降低。在另一示例中，当在保持感测像素的尺寸的同时降低传感器的分辨率时，传感器的尺寸和镜头的焦距可减小，这可造成捕获设备的体积的减小。然而，在这个示例中，图像的分辨率可被降低。
下面的示例性实施例可提供一种在满足期望的视角、期望的分辨率和期望的感光度的同时减小捕获设备的体积的技术。参照图1，捕获设备包括透镜阵列110和传感器120。透镜阵列110包括透镜，传感器120包括感测像素。
例如，当包括在透镜阵列110中的每个透镜的尺寸减小时，也就是说，当包括在相同面积中的透镜的数量增大时，每个透镜的焦距和捕获设备的厚度可减小。在这个示例中，可通过组合由透镜阵列110捕获的低分辨率图像来恢复原始高分辨率图像。因此，薄的相机可通过划分透镜阵列110中的透镜来实现。
透镜阵列110中的每个透镜可覆盖传感器120的与每个透镜的尺寸对应的预定区域。穿过每个透镜的光可入射到包括在传感器120的区域中的感测像素上。传感器120中的每个感测像素可基于穿过透镜的光产生感测信息。例如，感测像素121和122可基于通过透镜111进入的光产生感测信息，感测像素123可基于通过透镜111和透镜112进入的光产生感测信息。捕获设备可基于由传感器120输出的感测信息来确定与包括在捕获设备的视场(FoV)中的视点对应的像素值，并可基于确定的像素值产生捕获图像。在这个示例中，可分辨的视点的数量可基于感测信息的多样性(diversity)来确定。当感测信息的多样性增加时，可分辨的视点的数量和捕获图像的分辨率可增加。
感测信息的多样性可基于由入射到每个感测像素上的光表示的视点的组合来确定。例如，与当与第一视点对应的光被提供到感测像素121至123时相比，当与第一视点至第三视点对应的光被提供到感测像素121至123时，感测信息的多样性可增加。
当充分确保感测信息的多样性时，并且当形成感测信息和与捕获设备的FoV中的视点对应的像素值之间的满秩(full rank)关系时，与传感器120的最大分辨率对应的捕获图像可被得到。感测信息的多样性可基于捕获设备的参数(例如，透镜阵列110中的透镜的数量或传感器120中的感测像素的数量)来确保。
图2是示出根据示例性实施例的透镜的尺寸的影响的示图。参照图2，由透镜210提供的FoV与由透镜230提供的FoV相同，并且透镜230的数量是透镜210的三倍。透镜230的焦距可被减小为透镜210的焦距的1/3。
光可通过透镜210入射到感测像素A1、A2、A3、A4、A5、A6、A7、A8和A9上。与包括在捕获设备的FoV中的视点X1、X2、X3、X4、X5、X6、X7、X8和X9对应的光可均匀地入射到感测像素A1至A9上。例如，与视点X5对应的光可入射到感测像素A5上。因此，与视点X5对应的像素值可基于由感测像素A5输出的感测信息来恢复。
光可通过透镜230入射到感测像素B1、B2、B3、B4、B5、B6、B7、B8和B9上。与包括在FoV中的视点X1至X9对应的光可重叠地入射到感测像素B1至B9。例如，与视点X4至X6对应的光可入射到感测像素B5上。因此，与视点X4至X6对应的像素值可基于由感测像素B5输出的感测信息来恢复。
与当使用透镜230时相比，当使用透镜210时，视点可被彼此精确地识别。例如，使用透镜210捕获的图像的分辨率可高于使用透镜230捕获的图像的分辨率。当使用多透镜时，可需要通过适当调节捕获设备的参数来防止分辨率的降低。
图3是示出根据示例性实施例的通过透镜阵列入射到感测像素上的光的示例的示图。在图3中，光通过透镜310、320和330入射到感测像素S1、S2、S3、S4、S5、S6、S7、S8和S9上。
由感测像素S1至S3产生的感测信息、由感测像素S4至S6产生的感测信息以及由感测像素S7至S9产生的感测信息可重叠。因此，当捕获设备具有图3的结构时，捕获设备可能难以获得与捕获视点X1、X2、X3、X4、X5、X6、X7、X8和X9对应的全部像素值，并且捕获设备可基于低于最大分辨率的分辨率来恢复捕获图像。如下面等式1所示，可表示由感测像素S1至S9产生的感测信息。
[等式1]
在等式1中，I1至I9表示由感测像素S1至S9产生的感测信息，P1至P9表示与捕获视点X1至X9对应的像素值。当提供用于将像素值矩阵P变换为感测信息矩阵I的变换矩阵T的逆矩阵T-1时，可获得全部的像素值P1至P9，并可因此从感测信息I1至I9恢复具有最大分辨率的捕获图像。针对逆矩阵T-1，变换矩阵T可需要具有满秩。因此，可调节捕获设备的参数，使得变换矩阵T可具有满秩。
图4是示出根据示例性实施例的通过透镜阵列入射到感测像素上的光的另一示例的示图。在图4中，光通过透镜410和420入射到感测像素S1、S2、S3、S4、S5、S6、S7、S8和S9上。
当具有不同模式的光入射到全部的感测像素上时，变换矩阵T可具有满秩。当入射到每个感测像素上的光对应于视点的不同组合时，变换矩阵T可具有满秩。例如，入射到感测像素S1上的光可对应于视点X1和X2的组合，入射到感测像素S2上的光可对应于视点X3和X4的组合。因此，入射到感测像素S1至S9上的光可对应于视点X1至X9的不同组合。如下面等式2所示，可表示由感测像素S1至S9产生的感测信息。
[等式2]
在等式2中，I1至I9表示由感测像素S1至S9产生的感测信息，P1至P9表示与视点X1至X9对应的像素值。基于等式2，与作为不同关系的数量的未知量对应的相同数量的像素值P1至P9可被获得。因此，在等式2中，变换矩阵T可被确定为具有满秩。
捕获设备可获得用于将像素值矩阵P变换为感测信息矩阵I的变换矩阵T的逆矩阵T-1。捕获设备可基于等式3获得全部像素值P1至P9，并可基于像素值P1至P9恢复具有最大分辨率的捕获图像。
[等式3]
P＝T-1·1
逆矩阵T-1可基于感测像素S1至S9与视点X1至X9之间的对应关系来确定，并可被预先存储在捕获设备中。捕获设备可基于存储的逆矩阵T-1和感测信息矩阵I确定像素值矩阵P。
当如图4所示地提供九个感测像素和两个透镜时，光可被提供给“4.5”个像素每透镜。例如，当提供“4001”个感测像素和“100”个透镜时，光可被提供到“40.01”个像素每透镜。在这个示例中，第一透镜可覆盖“0”至“40.01”的透镜偏移，第二透镜可覆盖“40.01”至“80.02”的透镜偏移，第一透镜可覆盖“80.02”至“120.03”的透镜偏移。此外，作为第100透镜的最后透镜可覆盖“3960.99”至“4001”的透镜偏移。当感测像素的数量和透镜的数量互质时，也就是说，当感测像素的数量与透镜的数量之间的比率是非整数的实数时，变换矩阵T可具有满秩。
当感测像素的数量和透镜的数量互质时，也就是说，当感测像素的数量与透镜的数量之间的比率是非整数的实数时，传感器中的至少一部分感测像素可基于通过透镜阵列中的不同透镜进入的光来产生感测信息。例如，感测像素S5可基于通过透镜410进入的光和通过透镜420进入的光来产生感测信息。当传感器中的至少一部分感测像素基于通过透镜阵列中的不同透镜进入的光来产生感测信息时，变换矩阵T可具有满秩。
根据示例性实施例，捕获设备的参数可被确定，使得具有不同模式的光可入射到全部的感测像素上或者入射到每个感测像素上的光可对应于视点的不同组合。此外，捕获设备的参数可被确定，使得传感器中的至少一部分感测像素可基于通过透镜阵列中的不同透镜进入的光来产生感测信息。例如，捕获设备的参数可包括感测像素的数量和透镜的数量。感测像素的数量和透镜的数量可被确定为互质，或者感测像素的数量与透镜的数量之间的比率可被确定为非整数的实数。因此，能够使用多透镜得到具有最大分辨率的捕获图像。
图5是示出根据示例性实施例的透镜的数量与焦距之间的关系的示图。参照图5，透镜530的数量与感测像素540的数量互质，透镜550的数量与感测像素560的数量互质，透镜570的数量与感测像素580的数量互质。因此，通过透镜530、550和570以及感测像素540、560和580，变换矩阵T可具有满秩。当变换矩阵T具有满秩时，透镜阵列的焦距可基于应用捕获设备的应用的特性来确定。例如，当相机的传感器被设置，并且到镜头的目标厚度和相机的视角被确定时，透镜阵列中的透镜的数量可被确定。
在图5中，相同的FoV可由透镜510以及透镜530、550和570提供。透镜510、530、550和570的多个焦距中的每个焦距可与透镜510、530、550和570的数量成反比。例如，因为透镜530的数量是透镜510的数量的两倍，所以透镜530的焦距可以是透镜510的焦距的1/2。类似地，透镜550的焦距可以是透镜510的焦距的1/4，透镜570的焦距可以是透镜510的焦距的1/5。因此，透镜阵列的焦距可基于包括在透镜阵列中的透镜的数量来调节。通过增大透镜阵列中的透镜的数量，透镜阵列的焦距可被减小，这可实现薄的相机。
图6是示出根据示例性实施例的透镜阵列610和传感器630的截面的示图。在图6中，L表示包括在透镜阵列610中的透镜的数量，P表示包括在传感器620中的感测像素的数量。因此，P/L表示感测像素的数量P与透镜的数量L之间的比率。每个透镜可覆盖与对应于P/L的像素偏移相同的数量的感测像素。如上所述，当P/L是非整数的实数时，捕获图像的分辨率可被最大化。因此，在设计捕获设备的处理中，P和L中的至少一个可被调节，使得P/L可以是非整数的实数。在图6中，P和L分别是“37”和“6”，因此捕获图像的分辨率可被最大化。
图7是示出根据示例性实施例的针孔掩模710和传感器720的截面的示图。在图7中，P表示包括在传感器720中的感测像素的数量，H表示包括在针孔掩模710中的针孔的数量。上面的描述可应用于除镜头之外的光学系统。在图7中，针孔可被应用来替代透镜。P/H表示感测像素的数量P与针孔的数量H之间的比率。每个针孔可覆盖与对应于P/H的像素偏移相同的数量的感测像素。与上面的描述类似，当P/H是非整数的实数时，捕获图像的分辨率可被最大化。因此，在设计捕获设备的处理中，P和H中的至少一个可被调节，使得P/H可以是非整数的实数。在图7中，P和H分别是“37”和“6”，因此捕获图像的分辨率可被最大化。
图8是示出根据示例性实施例的移动装置800的示图。在图8中，移动装置800包括捕获设备810。根据示例性实施例，减小移动装置800的体积可在设计中很重要。如图8所示，移动装置800可以是智能电话，然而，不限于此。例如，移动装置800可包括诸如智能手表、智能带或智能眼镜的可穿戴装置。根据示例性实施例，减小可穿戴装置的体积可在设计中更加重要。如上所述，捕获设备810可包括多透镜，并且捕获设备810的厚度可基于包括在多透镜中的单独的透镜的数量来调节。因此，移动设备800可不受捕获设备810的厚度对体积的限制的影响。
图9是示出根据示例性实施例的曲面(curved)透镜阵列910的示图。曲面透镜阵列910可包括如上所述的多个透镜，因此可被设计为通过透镜之间的连接部分被弯曲。此外，曲面透镜阵列910可被设计为使得：在曲面状态下，入射到每个感测像素上的光可对应于视点的不同组合。曲面透镜阵列910可被用于曲面装置(例如，曲面智能电话)。
图10是示出根据示例性实施例的智能车辆的示图。参照图10，智能车辆可包括在点1010、1020和1030处的捕获设备。捕获设备的厚度可基于包括在多透镜中的透镜的数量来调节，因此捕获设备可安装在智能车辆中而不会妨碍设计或安全方面。
图11是示出根据示例性实施例的捕获设备1100的框图。参照图11，捕获设备1100包括处理器1110和存储器1120。
处理器1110可执行上述方法中的至少一种方法。例如，处理器1110可处理上述捕获操作。处理器1110可从感测像素获取感测信息，并可基于感测信息产生捕获图像。存储器1120可存储计算机可读指令。例如，当存储在存储器1120中的指令被处理器1110执行时，处理器1110可处理上述捕获操作。此外，存储器1120可存储用于捕获的数据，例如，基于感测像素与视点之间的对应关系确定的逆矩阵。
处理器1110可执行指令或程序代码，或可控制捕获设备1100。捕获设备1100可经由输入/输出装置(未示出)连接到外部装置(例如，个人计算机(PC)或网络)，并可与外部装置交换数据。捕获设备1100可被实现为以下项中的至少一部分：例如，移动装置(诸如，移动电话、智能电话、个人数字助理(PAD)、上网本、平板计算机或膝上型计算机)、计算装置(诸如，台式计算机)、电子产品(诸如，电视(TV)、智能TV或用于门控的安保装置)和智能车辆。上面的描述也适用于捕获设备1100，因此这里不再重复。
图12是示出根据示例性实施例的捕获方法的流程图。参照图12，在操作1210，捕获设备从感测像素获取感测信息。在操作1220，捕获设备基于感测信息产生捕获图像。至少一部分的感测像素可基于通过透镜阵列中的不同透镜进入的光产生感测信息。入射到每个感测像素上的光可对应于视点的不同组合。上面的描述也适用于图12的方法，因此这里不再重复。
这里描述的示例性实施例可使用硬件组件、软件组件和它们的组合来实现。处理装置可使用一个或多个通用或专用计算机(诸如，例如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其他装置)来实现。处理装置可运行操作系统(OS)以及在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置，然而，本领域的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器，或包括处理器和控制器。此外，不同的处理配置是可行的，诸如，并行处理器。
软件可包括计算机程序、代码段、指令或它们的某些组合，以独立地或共同地指示或配置处理装置如期望地进行操作。可以以任意类型的机器、组件、物理或虚拟设备、非暂时性计算机存储介质或装置，或者以能够提供指令或数据或被处理装置解释的传播信号波，来永久地或暂时地实现软件和数据。软件也可被分布在联网的计算机系统上，从而以分布方式存储和执行软件。可通过一个或多个非暂时性计算机可读记录介质来存储软件和数据。
根据上述示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中，以实现可由计算机执行的各种操作。非暂时性计算机可读介质可包括单独的或与程序指令结合的数据文件、数据结构等。在非暂时性计算机可读介质上记录的程序指令可以是为了示例性实施例的目的而专门设计和构造的程序指令。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD ROM盘和DVD)、磁光介质(诸如，光盘)和专门配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括诸如由编译器生成的代码的机器代码和包含可由计算机使用解释器执行的更高级代码的文件二者。为了执行上述示例实施例的操作，所述硬件装置可被配置为用作一个或多个软件模块，反之亦然。
虽然本公开包括示例性实施例，但是对本领域普通技术人员将清楚的是，在不脱离权利要求和它们的等同物的精神和范围的情况下，可以对示例性实施例做出形式和细节上的各种改变。这里描述的示例性实施例仅被认为是描述性的，而不是为了限制的目的。在每个示例性实施例中的特征或方面的描述将被认为是可适用于其它示例性实施例中的相似特征或方面。如果描述的技术按不同的顺序执行和/或如果在描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其它元件或它们的等同物取代或补充，可获得适当的结果。因此，本公开的范围不是由详细的描述限定，而是由权利要求及其等同物限定，并且在权利要求及其等同物的范围内的所有变化将被解释为被包括在本公开内。

Claims (25)

1.一种捕获设备，包括：
透镜阵列，包括多个透镜；
传感器，包括多个感测像素；
其中，传感器中的所述多个感测像素中的至少一部分感测像素被配置为基于通过透镜阵列中的不同透镜进入的光产生感测信息，
其中，入射到所述多个感测像素中的所述至少一部分感测像素中的每个感测像素上的光对应于视点的不同组合。
2.如权利要求1所述的捕获设备，其中，传感器中的所述多个感测像素的数量与透镜阵列中的所述多个透镜的数量互质。
3.如权利要求1所述的捕获设备，其中，所述多个感测像素的数量与所述多个透镜的数量之间的比率是实数。
4.如权利要求1所述的捕获设备，其中，指示所述多个感测像素中的所述至少一部分感测像素与视点之间的对应关系的矩阵具有满秩。
5.如权利要求1所述的捕获设备，还包括：
处理器，被配置为基于感测信息和根据所述多个感测像素中的所述至少一部分感测像素与视点之间的对应关系确定的变换矩阵来产生捕获图像。
6.如权利要求5所述的捕获设备，其中，处理器还被配置为：
基于感测信息，产生感测信息矩阵；
基于感测信息矩阵和变换矩阵确定对应于视点的像素值，所述像素值包括在像素值矩阵中；
基于所述像素值，产生捕获图像。
7.如权利要求1所述的捕获设备，其中，透镜阵列的焦距基于透镜阵列中的透镜的数量来确定。
8.如权利要求1所述的捕获设备，其中，当透镜阵列中的透镜的数量增大时，透镜阵列的焦距减小。
9.一种捕获方法，包括：
从多个感测像素获取感测信息；
基于感测信息，产生捕获图像，
其中，所述多个感测像素中的至少一部分感测像素被配置为基于通过包括多个透镜的透镜阵列中的不同透镜进入的光产生感测信息，
其中，入射到所述多个感测像素中的所述至少一部分感测像素中的每个感测像素上的光对应于视点的不同组合。
10.如权利要求9所述的捕获方法，其中，所述多个感测像素的数量与透镜阵列中的所述多个透镜的数量互质。
11.如权利要求9所述的捕获方法，其中，所述多个感测像素的数量与所述多个透镜的数量之间的比率是实数。
12.如权利要求9所述的捕获方法，其中，指示所述多个感测像素中的所述至少一部分感测像素与视点之间的对应关系的矩阵具有满秩。
13.如权利要求9所述的捕获方法，其中，产生捕获图像的步骤包括：基于感测信息和根据所述多个感测像素中的所述至少一部分感测像素与视点之间的对应关系确定的变换矩阵来产生捕获图像。
14.如权利要求13所述的捕获方法，其中，产生捕获图像的步骤包括：
基于感测信息，产生感测信息矩阵；
基于感测信息矩阵和变换矩阵确定对应于视点的像素值，所述像素值包括在像素值矩阵中；
基于所述像素值，产生捕获图像。
15.如权利要求9所述的捕获方法，其中，透镜阵列的焦距基于透镜阵列中的透镜的数量来确定。
16.如权利要求9所述的捕获方法，其中，当透镜阵列中的透镜的数量增大时，透镜阵列的焦距减小。
17.一种存储程序的非暂时性计算机可读存储介质，其中，所述程序用于使处理器执行如权利要求9所述的方法。
18.一种捕获设备，包括：
处理器；
存储器，包括计算机可读的指令，
其中，当所述指令被处理器执行时，处理器被配置为从传感器中的多个感测像素获取感测信息并基于感测信息产生捕获图像，
其中，感测信息由所述多个感测像素中的至少一部分感测像素基于通过包括多个透镜的透镜阵列中的不同透镜进入的光产生，
其中，入射到所述多个感测像素中的所述至少一部分感测像素中的每个感测像素上的光对应于视点的不同组合。
19.如权利要求18所述的捕获设备，其中，传感器中的所述多个感测像素的数量与透镜阵列中的所述多个透镜的数量互质。
20.如权利要求18所述的捕获设备，其中，所述多个感测像素的数量与所述多个透镜的数量之间的比率是实数。
21.如权利要求18所述的捕获设备，其中，指示所述多个感测像素中的所述至少一部分感测像素与视点之间的对应关系的矩阵具有满秩。
22.如权利要求18所述的捕获设备，处理器还被配置为：基于感测信息和根据所述多个感测像素中的所述至少一部分感测像素与视点之间的对应关系确定的变换矩阵来产生捕获图像。
23.如权利要求22所述的捕获设备，其中，处理器还被配置为：
基于感测信息，产生感测信息矩阵；
基于感测信息矩阵和变换矩阵确定对应于视点的像素值，所述像素值包括在像素值矩阵中；
基于所述像素值，产生捕获图像。
24.一种捕获设备，包括：
透镜阵列，包括多个透镜；
传感器，包括多个感测像素；
其中，所述多个感测像素的数量与所述多个透镜的数量之间的比率是实数，
其中，入射到所述多个感测像素中的第一感测像素上的第一光模式不同于入射到所述多个感测像素中的第二感测像素上的第二光模式。
25.如权利要求24所述的方法，其中，第一光模式对应于视点的第一组合，第二光模式对应于视点的第二组合，其中，视点的第一组合不同于视点的第二组合。
CN201710800048.4A 2016-11-25 2017-09-07 基于多透镜的捕获设备和方法 Active CN108111714B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160158539A KR102646437B1 (ko) 2016-11-25 2016-11-25 멀티 렌즈 기반의 촬영 장치 및 방법
KR10-2016-0158539 2016-11-25

Publications (2)

Publication Number Publication Date
CN108111714A true CN108111714A (zh) 2018-06-01
CN108111714B CN108111714B (zh) 2021-05-28

Family

ID=59631532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710800048.4A Active CN108111714B (zh) 2016-11-25 2017-09-07 基于多透镜的捕获设备和方法

Country Status (5)

Country Link
US (3) US10187627B2 (zh)
EP (1) EP3328058B1 (zh)
JP (1) JP7039265B2 (zh)
KR (1) KR102646437B1 (zh)
CN (1) CN108111714B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
KR102646437B1 (ko) * 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
US10916575B2 (en) 2018-04-04 2021-02-09 Samsung Electronics Co., Ltd. Image sensor and method of manufacturing image sensor
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
US11375092B2 (en) 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method
US10924667B2 (en) 2018-10-04 2021-02-16 Samsung Electronics Co., Ltd. Image sensor and image sensing method
KR102653106B1 (ko) * 2018-10-18 2024-04-01 삼성전자주식회사 영상 처리 장치 및 방법
KR20200072136A (ko) * 2018-12-12 2020-06-22 삼성전자주식회사 렌즈 어레이 카메라 및 렌즈 어레이 카메라의 구동 방법
KR20210046465A (ko) 2019-10-18 2021-04-28 삼성전자주식회사 수차 보정 방법 및 장치
KR20210051242A (ko) 2019-10-30 2021-05-10 삼성전자주식회사 멀티 렌즈 영상 복원 장치 및 방법
KR20210081767A (ko) 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
KR20220053361A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치
KR20220121533A (ko) 2021-02-25 2022-09-01 삼성전자주식회사 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
KR20230037953A (ko) 2021-09-10 2023-03-17 삼성전자주식회사 컬러 변환 방법 및 이를 수행하는 전자 장치와 이미지 센서

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607418A (zh) * 2003-08-30 2005-04-20 夏普株式会社 一种多视角方向显示器
US20120229691A1 (en) * 2011-03-10 2012-09-13 Canon Kabushiki Kaisha Image pickup apparatus having lens array and image pickup optical system
WO2012140397A2 (en) * 2011-04-11 2012-10-18 News Plus Media Technologies Ltd Three-dimensional display system
US20130083233A1 (en) * 2011-10-04 2013-04-04 Sony Corporation Image pickup unit
CN103888641A (zh) * 2012-12-19 2014-06-25 财团法人工业技术研究院 图像处理装置及图像再对焦方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7196391B2 (en) 2002-02-05 2007-03-27 E-Phocus, Inc. MOS or CMOS sensor with micro-lens array
US20040032525A1 (en) 2002-05-09 2004-02-19 Oren Aharon Video camera with multiple fields of view
JP2005109092A (ja) 2003-09-30 2005-04-21 Konica Minolta Opto Inc 固体撮像装置及び該固体撮像装置を備えた撮像装置
US7773143B2 (en) * 2004-04-08 2010-08-10 Tessera North America, Inc. Thin color camera having sub-pixel resolution
JP2008078692A (ja) 2006-09-19 2008-04-03 Ricoh Co Ltd 画像入力装置及び電子機器
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
JP5127899B2 (ja) 2010-09-14 2013-01-23 株式会社東芝 固体撮像装置
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5943596B2 (ja) 2011-12-19 2016-07-05 キヤノン株式会社 撮像装置
JP6031260B2 (ja) 2012-05-31 2016-11-24 日本放送協会 画像符号化装置および画像復号装置
JP6305053B2 (ja) 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR20140094395A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
EP2961153B1 (en) 2013-02-21 2020-05-06 Fujifilm Corporation Image pickup device
WO2015004886A1 (ja) 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
KR20160091083A (ko) 2015-01-23 2016-08-02 엘지이노텍 주식회사 이미지 센서 및 이를 이용한 스테레오 카메라
EP3065394A1 (en) * 2015-03-05 2016-09-07 Thomson Licensing Light field metadata
US10033986B2 (en) * 2015-05-26 2018-07-24 Google Llc Capturing light-field images with uneven and/or incomplete angular sampling
US10303041B2 (en) * 2016-08-10 2019-05-28 Apple Inc. Closed loop position control for camera actuator
KR102646437B1 (ko) * 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607418A (zh) * 2003-08-30 2005-04-20 夏普株式会社 一种多视角方向显示器
US20120229691A1 (en) * 2011-03-10 2012-09-13 Canon Kabushiki Kaisha Image pickup apparatus having lens array and image pickup optical system
WO2012140397A2 (en) * 2011-04-11 2012-10-18 News Plus Media Technologies Ltd Three-dimensional display system
US20130083233A1 (en) * 2011-10-04 2013-04-04 Sony Corporation Image pickup unit
CN103888641A (zh) * 2012-12-19 2014-06-25 财团法人工业技术研究院 图像处理装置及图像再对焦方法

Also Published As

Publication number Publication date
US10652518B2 (en) 2020-05-12
EP3328058B1 (en) 2020-09-02
KR20180059233A (ko) 2018-06-04
US20190158810A1 (en) 2019-05-23
US20200236337A1 (en) 2020-07-23
JP7039265B2 (ja) 2022-03-22
KR102646437B1 (ko) 2024-03-11
JP2018085728A (ja) 2018-05-31
US11064183B2 (en) 2021-07-13
EP3328058A1 (en) 2018-05-30
CN108111714B (zh) 2021-05-28
US10187627B2 (en) 2019-01-22
US20180152692A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
CN108111714A (zh) 基于多透镜的捕获设备和方法
Ando et al. Deep over-sampling framework for classifying imbalanced data
Tyagi Understanding digital image processing
Kaehler et al. Learning OpenCV 3: computer vision in C++ with the OpenCV library
US11663691B2 (en) Method and apparatus for restoring image
Eichhorn et al. Image features of spinning regular black holes based on a locality principle
JP2018537742A (ja) エッジ認識双方向画像処理
Wang et al. Projected Barzilai–Borwein method for large-scale nonnegative image restoration
CN107797733A (zh) 用于选择图像中的对象的技术
US20200104673A1 (en) Method for protecting a machine learning ensemble from copying
Joshi OpenCV with Python by example
Greco et al. Benchmarking deep networks for facial emotion recognition in the wild
CN104067308B (zh) 图像中的对象选择
Kwon et al. Implementation of human action recognition system using multiple Kinect sensors
Sfikas et al. Quaternion generative adversarial networks for inscription detection in byzantine monuments
US20210266490A1 (en) Lens array camera and method of driving lens array camera
CN105612558B (zh) 用于处理图像的装置和方法
US11405547B2 (en) Method and apparatus for generating all-in-focus image using multi-focus image
CN109919902A (zh) 用于减少衍射效应的互补孔径
Wang Application of Dynamic Image Fusion Technology in Development of Innovation Capabilities of College Students Majoring in Art Design.
Nallamothu et al. Interactive image generation using cycle GAN over AWS cloud
US20240135632A1 (en) Method and appratus with neural rendering based on view augmentation
KR101849605B1 (ko) 영상 매칭 방법 및 영상 매칭 장치
Samejima et al. Fast general norm approximation via iteratively reweighted least squares
KR102669255B1 (ko) 다중 초점 영상을 이용한 올인포커스 영상 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant