CN111009534A - 图像传感器和图像感测方法 - Google Patents

图像传感器和图像感测方法 Download PDF

Info

Publication number
CN111009534A
CN111009534A CN201910793309.3A CN201910793309A CN111009534A CN 111009534 A CN111009534 A CN 111009534A CN 201910793309 A CN201910793309 A CN 201910793309A CN 111009534 A CN111009534 A CN 111009534A
Authority
CN
China
Prior art keywords
lens
sensing
elements
image sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910793309.3A
Other languages
English (en)
Inventor
姜德宁
赵良镐
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180154741A external-priority patent/KR102644944B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111009534A publication Critical patent/CN111009534A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

提供了一种图像传感器和图像感测方法。图像传感器可基于与不同视场(FOV)对应并且通过具有相同焦距和不同透镜尺寸的透镜元件接收的感测信息，针对高倍率恢复高分辨率图像。

Description

图像传感器和图像感测方法
本申请要求于2018年10月4日提交到美国专利商标局的第62/741,147号美国临时申请的优先权和于2018年12月4日提交到韩国知识产权局的第10-2018-0154741号韩国专利申请的优先权，所述美国临时申请和所述韩国专利申请的公开通过整体引用包含于此。
技术领域
与本公开一致的示例实施例涉及用于感测图像的技术。
背景技术
由于光学技术和图像处理技术的发展，图像捕获设备正被用在大范围的领域(例如，多媒体内容、安全和识别)。例如，图像捕获设备可被安装在移动装置、相机、车辆或计算机中，以捕获图像，识别对象，或获取用于控制装置的数据。图像捕获设备的尺寸可基于例如镜头的尺寸、镜头的焦距或传感器的尺寸来确定。例如，图像捕获设备的尺寸可取决于镜头的尺寸或传感器的尺寸。随着传感器的尺寸减小，入射到传感器上的光的量可减少。因此，图像的分辨率可降低，或者可能难以在低照度环境下捕获图像。为减小图像捕获设备的尺寸，包括小透镜的多透镜可被使用。当镜头的尺寸减小时，镜头的焦距可减小。因此，图像捕获设备的尺寸可基于多透镜被减小。
发明内容
一个或多个示例实施例可至少解决以上问题和/或缺点以及以上未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述问题中的任何问题。
一个或多个示例实施例提供图像传感器和图像感测方法。
根据本公开的一个方面，一种图像传感器包括透镜阵列以及多个感测元件，其中，透镜阵列包括多个透镜元件，其中，所述多个透镜元件中的每个具有相同的焦距；其中，所述多个感测元件与透镜阵列分隔开所述焦距，并被配置为感测穿过透镜阵列的光，其中，所述多个透镜元件之中的至少一个透镜元件的透镜尺寸不同于所述多个透镜元件之中的另一透镜元件的透镜尺寸。
所述多个透镜元件可基于透镜尺寸被分类为多个透镜组，所述多个透镜组之中的每个透镜组可对应于各自的透镜尺寸，使得针对所述多个透镜组之中的每个透镜组，包括在透镜组中的透镜元件具有相应的透镜尺寸；并且与所述多个透镜组之中的每个透镜组对应的各自的透镜尺寸可不同于所述多个透镜组之中的剩余透镜组的各自的透镜尺寸。
所述多个透镜组之中的每个透镜组可被配置为覆盖所述多个感测元件之中的相同数量的感测元件，包括在所述多个透镜组之中的每个透镜组中的透镜元件的数量可基于被覆盖的感测元件的数量来确定。
针对所述多个透镜组之中的每个透镜组，包括在透镜组中的透镜元件可被安置得彼此相邻。
所述多个透镜组之中的一个透镜组可包括单个透镜元件。
所述多个透镜元件之中的第一透镜元件可被安置得比所述多个透镜元件之中的第二透镜元件更靠近透镜阵列的中心位置，其中，第二透镜元件具有大于第一透镜元件的透镜尺寸的透镜尺寸。
所述多个透镜元件中的每个透镜元件可在与透镜阵列对应的平面上相对于所述多个感测元件随机安置。
所述多个透镜元件之中的每个透镜元件可被配置为：覆盖所述多个感测元件之中的相同数量的感测元件。
所述多个透镜元件之中的至少一个透镜元件可被布置为：覆盖少于所述多个感测元件之中的至少一个感测元件的全部部分。
所述图像传感器还可包括：处理器，被配置为：基于由所述多个感测元件感测的感测信息来恢复图像，使得透镜阵列的视场(FOV)内的中心区域的分辨率高于与中心区域相邻的区域的分辨率。
所述图像传感器还可包括：处理器，被配置为：基于由所述多个感测元件感测的感测信息来获取复眼视觉(compound eye vision)(CEV)图像。
处理器还可被配置为：基于由所述多个感测元件感测的光场(LF)信息重新布置包括在CEV图像中的像素。
处理器还可被配置为：基于所述多个感测元件与所述多个透镜元件之间的几何关系从CEV图像恢复场景图像。
处理器还可被配置为：基于在CEV图像被获取之前被完全训练的图像恢复模型，从CEV图像恢复场景图像。
所述图像传感器还可包括：处理器，被配置为：从由所述多个感测元件感测的感测信息之中选择目标感测信息，其中，目标感测信息对应于由用户指定的缩放因数；处理器还可被配置为：基于选择的目标感测信息来恢复场景图像。
处理器还可被配置为：选择与对应于指定的缩放因数的视场对应的信息作为目标感测信息。
所述多个透镜元件之中的每个透镜元件可被配置为：折射入射光并在包括所述多个感测元件的感测阵列上的点处形成离开透镜元件的光的焦点。
所述多个透镜元件可基于视场(FOV)被分类为多个透镜组，所述多个透镜组之中的每个透镜组对应于各自的FOV，使得与所述多个透镜组之中的每个透镜组对应的各自的FOV不同于所述多个透镜组之中的剩余透镜组的各自的FOV；针对所述多个透镜组之中的每个透镜组，所述多个感测元件之中的包括在由透镜组覆盖的感测区域中的感测元件可被配置为：感测与对应于透镜组的FOV对应的光线。
所述图像传感器可包括在移动终端中。
根据本公开的一个方面，一种图像感测方法包括：通过多个感测元件来感测穿过多个透镜元件的光，其中，所述多个透镜元件中的每个具有相同的焦距；以及通过处理器基于由所述多个感测元件感测的光的强度，来恢复场景图像，其中，所述多个透镜元件之中的至少一个透镜元件的透镜尺寸不同于所述多个透镜元件之中的另一透镜元件的透镜尺寸。
根据本公开的一个方面，一种相机包括：透镜阵列，被配置为：折射从成像被摄体反射的入射光线；以及传感器，被配置为：感测由透镜阵列折射的光线，其中，透镜阵列包括具有第一直径的第一透镜和具有与第一直径不同的第二直径的第二透镜。
透镜阵列可包括具有第一直径的多个第一透镜和具有第二直径的多个第二透镜。
由所述多个第一透镜覆盖的传感器的第一区域与由所述多个第二透镜覆盖的传感器的第二区域可具有相同的尺寸。
传感器可包括多个感测元件，所述多个第一透镜和所述多个第二透镜中的每个可覆盖所述多个感测元件之中的相同数量的感测元件。
所述感测元件的数量可以是非整数。
所述多个感测元件之中的每个感测元件可被配置为：感测从成像被摄体的第一点反射的第一光线和来自成像被摄体的第二点的第二光线。
所述多个感测元件可包括：第一感测元件，被配置为：感测由具有第一直径的第一透镜折射的第一光线以及由具有第一直径的所述多个第一透镜之中的另一透镜折射的第二光线。
所述多个第一透镜可对应于第一视场，所述多个第二透镜可对应于与第一视场不同的第二视场。
附图说明
通过以下结合附图对示例实施例的描述，以上和/或其他方面将更清楚，其中：
图1是示出根据示例实施例的图像传感器的结构的示图；
图2是示出根据示例实施例的感测元件接收穿过透镜元件的光线的示例的示图；
图3是示出根据示例实施例的感测元件的数量与透镜元件的数量之间的关系的示图；
图4是示出根据示例实施例的基于透镜阵列中的焦距和期望的视场(FOV)确定的透镜元件的数量和透镜元件的尺寸的示图；
图5是示出根据示例实施例的透镜阵列中的透镜元件的布置的示图；
图6是示出经由如以上参照图5所述布置的透镜元件通过感测元件感测的场景的FOV的示图；
图7至图10是示出根据示例实施例的透镜元件的布置的示例的示图；
图11是示出根据示例实施例的图像传感器的结构的框图；
图12和图13是示出根据示例实施例的在其中实现图像传感器的设备的示例的示图。
具体实施方式
现将详细参照在附图中示出的示例实施例，其中，相同的参考标号始终表示相同的元件。以下描述示例实施例以通过参照附图来解释本公开。
以下结构或功能的描述仅描述示例实施例，并且示例实施例的范围不限于本说明书中提供的描述。本领域普通技术人员可对示例实施例进行各种改变和修改。
还应理解，当在本说明书中使用术语“包括”和/或“包含”时，表明存在陈述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。当诸如“……中的至少一个”的表述在一列元素之后时，修饰整列元素而不是修饰列中的单个元素。例如，表述“a、b和c中的至少一个”应被理解为：仅包括a、仅包括b、仅包括c、包括a和b二者、包括a和c二者、包括b和c二者或者包括全部的a、b和c。
除非在此另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非在此另有定义，否则通用词典中定义的术语应被解释为具有与相关领域中的上下文含义匹配的含义，并且不被解释为理想化或过于形式化的含义。
关于分配给附图中的元件的参考标号，应注意，无论在何处，即使相同的参考标号在不同附图中被示出，它们也通过相同的元件指定。
图1是示出根据示例实施例的图像传感器的结构的示图。
由图像传感器100捕获并恢复的图像的质量可基于包括在感测阵列120中的感测元件的数量和入射到感测元件上的光的量来确定。例如，图像的分辨率可基于包括在感测阵列120中的感测元件的数量来确定，并且图像的感光度可基于入射到感测元件上的光的量来确定。入射到感测元件上的光的量可基于感测元件的尺寸来确定。当感测元件的尺寸增大时，入射到感测元件上的光的量和感测阵列120的动态范围可增大。在另一方面，由图像传感器100捕获的图像的分辨率可随着包括在感测阵列120中的感测元件的数量增大而增大。此外，当感测元件的尺寸增大时，图像传感器100可在低照度下提高高感光度成像的质量。
图像传感器100的尺寸(体积)可基于透镜元件111的焦距f来确定。例如，图像传感器100的尺寸可基于透镜元件111与感测阵列120之间的间隙来确定。因为感测阵列120需要被安置在透镜元件111的焦点处，以采集由透镜元件111折射的光190，所以包括在图像传感器100中的感测阵列120和透镜元件111可能需要彼此分隔开等于透镜元件111的焦距f的距离。透镜元件111的焦距f可基于图像传感器100的视场(FOV)和透镜元件111的尺寸(例如，透镜元件111的光圈的半径)来确定。例如，当FOV固定时，焦距f可与透镜元件111的尺寸成比例地增大。此外，透镜元件111的尺寸可基于感测阵列120的尺寸来确定。例如，为了捕获预定FOV内的图像，透镜元件111的尺寸可能需要随着感测阵列120的尺寸的增大而增大。
如上所述，为了在保持FOV和图像的分辨率的同时增大图像的感光度，图像传感器100的尺寸可被增大。例如，为了在保持图像的分辨率的同时增大图像的感光度，可能需要在保持包括在感测阵列120中的感测元件的数量相同的同时增大每个感测元件的尺寸。因此，感测阵列120的尺寸可增大。在这个示例中，为了保持FOV，透镜元件111的尺寸可随着感测阵列120的尺寸的增大而增大，并且透镜元件111的焦距f可增大。因此，图像传感器100的尺寸可增大。
为了减小图像传感器100的尺寸，在保持感测阵列120的分辨率的同时用于减小感测元件的尺寸的设计方案或在保持感测元件的尺寸的同时用于降低感测阵列120的分辨率的设计方案可被使用。在一个示例中，当在保持感测阵列120的分辨率的同时减小感测元件的尺寸时，感测阵列120的尺寸和透镜元件111的焦距f可减小，这可造成图像传感器100的尺寸的减小。然而，在这个示例中，图像的感光度也会减小，并且在低照度下图像的质量会降低。在另一示例中，当在保持感测元件的尺寸的同时降低感测阵列120的分辨率时，感测阵列120的尺寸和透镜元件111的焦距f可减小，这可造成图像传感器100的尺寸的减小。然而，在这个示例中，图像的分辨率也会降低。
参照图1，图像传感器100可包括透镜阵列110和感测阵列120。透镜阵列110可包括透镜元件111，感测阵列120可包括感测元件121。
当包括在透镜阵列110中的每个透镜元件的尺寸减小时，也就是说，当透镜阵列110的每单位面积的透镜元件的数量增加时，透镜元件111的焦距f和图像传感器100的厚度可减小。在这个示例中，图像传感器100可通过重新布置并组合基于穿过各个透镜元件111的光线获得的低分辨率图像来恢复高分辨率图像。因此，可通过增加透镜阵列110中的透镜元件的数量来实现较薄的相机。
如图1中所示，透镜阵列110的透镜元件111可覆盖感测阵列120的与透镜元件111的尺寸对应的预定感测区域125。由透镜元件111覆盖的感测区域125可基于透镜元件111的尺寸来确定。感测区域125可表示感测阵列120上的由预定FOV内的光线穿过透镜元件111到达的区域。感测区域125的尺寸可被表示为从感测区域125的中心点到感测区域125的最外侧点的距离D。穿过透镜元件111的光190可入射到感测阵列120的包括在感测区域125中的感测元件上。光190可包括多条光线。光线191可对应于光子101的流动(即，路径)。
例如，透镜尺寸可对应于透镜的直径。
感测阵列120中的每个感测元件可基于穿过包括在透镜阵列110中的透镜元件111的入射光线191生成感测信息。例如，感测元件121可基于通过透镜元件111入射的光线191生成感测信息。图像传感器100可基于从感测阵列120输出的感测信息，确定与原始信号(其与包括在图像传感器100的FOV中的点相关联)对应的强度信息。此外，图像传感器100可基于确定的强度信息恢复捕获的图像。
感测元件121还可包括用于感测任意颜色的滤色器。在这种情况下，感测元件121可生成与预定颜色对应的颜色值作为感测信息。包括在感测阵列120中的每个感测元件可被安置为感测与在空间上与感测元件相邻的邻近感测元件的颜色不同的颜色。然而，感测元件121和感测元件121的滤色器的布置不限于此。
当感测信息的多样性被充分保证时，并且当感测信息和与图像传感器100的FOV中的点对应的原始信号信息之间的满秩(full rank)关系被形成时，与感测阵列120的最大分辨率对应的捕获的图像可被得到。感测信息的多样性可基于图像传感器100的参数(例如，包括在透镜阵列110中的透镜元件的数量或包括在感测阵列120中的感测元件的数量)被保证。
尽管未在图1中示出，但是图像传感器100可包括存储器和处理器，其中，存储器被配置为存储用于恢复图像的图像恢复模型，处理器被配置为使用存储在存储器中的图像恢复模型来恢复图像。
图像传感器100可针对偏离理想条件的各种噪声分量鲁棒地恢复图像。此外，图像传感器100可恢复图像，而不受可被布置在感测元件上的任意图案(诸如，拜耳图案)的影响。以下将描述基于由图像传感器100使用多个透镜捕获的多个低分辨率图像来恢复高分辨率图像的操作的示例。组合使用以形成高分辨率图像的多个低分辨率图像可被共同称为复眼视觉(compound eye vision)(CEV)图像。
图2是示出根据示例实施例的感测元件接收穿过透镜元件的光线的示例的示图。
如上所述，感测阵列220可接收与各个点230(如示出的X1至X10)对应的光线。可由感测阵列220经由透镜阵列210检测光线。例如，可从各个点230中的每个发出多条光线。从相同的点发出的光线可形成光场(LF)。从被摄体上的任意点发出的LF可以是指示从被摄体上的任意点反射的光线的强度和方向二者的场。例如，从第一点X1发出的光线可形成第一LF，并可入射到第一感测元件S1、第四感测元件S4和第七感测元件S7上。从其他点(即，点X2到点X10)中的每个发出的光线也可形成相应的LF。例如，各个点230可以是可作为成像的被摄体的任意对象上的点。例如，从各个点230发出的光线可以是在对象的表面反射太阳光时获得的光线。尽管如图2中所示，为了便于描述，透镜阵列210包括三个透镜元件，并且感测阵列220包括十个感测元件(例如，感测元件S1至S10)，但是示例实施例不限于此。
感测元件S1至感测元件S10可感测穿过多个透镜元件并且彼此重叠的光线。例如，在图2的透镜阵列210中，可减小透镜元件与感测阵列220之间的焦距。因此，第一感测元件S1可生成感测信息，例如，作为从点X1至点X3发射并且彼此重叠的光线的强度值的和的强度值。因此，由每个感测元件生成的信息包括来自多个点230的原始信号信息。例如，图像传感器可使用如下所述的模型从感测信息恢复原始信号信息。
如以下等式1中所示，由感测元件S1至感测元件S10生成的感测信息可被建模为与从各个点230中的每个入射的光线对应的原始信号信息(例如，强度值)。
[等式1]
S＝T·X
在等式1中，S表示指示由每个感测元件感测的感测信息(例如，检测到的强度值)的矩阵。X表示指示与从每个点入射到感测元件S1至S10上的光线对应的原始信号值(例如，入射光线的颜色值)的矩阵。T表示代表由感测元件S1至S10检测的感测信息与对应于入射光线的原始信号信息之间的关系的变换矩阵。可如以下等式2中所示，对图2的结构中的与各个点X1至X10对应的光线、透镜和感测元件S1至S10进行建模。在等式2中，各个点X1至X10可被建模为被安置在距图像传感器无限焦点处。例如，图像传感器与各个点X1至X10中的每个点之间的距离可大于阈值距离。
[等式2]
Figure BDA0002180107410000091
为了便于等式2中的描述，X1至X10表示与各个点X1至X10中的每个点对应的光线的原始信号信息(例如，光线强度值)。此外，S1至S10表示由感测元件S1至S10检测到的感测信息(例如，感测强度值)。例如，与包括在感测阵列220中的感测元件S1至S10对应的感测信息(例如，颜色信息)和与从各个点X1至X10入射的光线对应的原始信号之间的关系(例如，上述变换矩阵)可基于透镜元件和感测元件的布置、包括在透镜阵列210中的透镜元件的数量或者包括在感测阵列220中的感测元件S1至S10的数量来确定。在图2中示出的示例中，基于存在十个感测元件S1至S10和三个透镜元件来确定变换矩阵T。
参照等式2描述各个点X1至X10中的每个点被安置在距图像传感器无限焦点处的示例。例如，当各个点X1至X10中的每个点被安置在距图像传感器无限焦点处时，由每个感测元件感测的原始信号可基于被摄体与图像传感器之间的距离以及图像传感器的几何结构而改变。
图3是示出根据示例实施例的感测元件的数量与透镜元件的数量之间的关系的示图。
多个透镜元件中的至少一个可相对于多个感测元件中的至少一个偏心地布置。换言之，至少一个透镜元件可覆盖少于至少一个感测元件的全部部分。例如，多个透镜元件可被偏心地布置，并且与多个感测元件可以不是一对一的关系。透镜元件可覆盖非整数个感测元件，而不是覆盖整数个感测元件。在一个示例中，多透镜阵列结构可被实现为分数对准结构。例如，多透镜阵列结构的参数可包括感测元件的数量P和透镜元件的数量L。感测元件的数量P与透镜元件的数量L之间的比P/L可被确定为非整数有理数。每个透镜元件可覆盖与像素偏移相同数量(即，P/L)的感测元件。在图3中，十个感测元件和三个透镜元件被示出。因此，每个透镜元件覆盖10/3或大约3.33个感测元件。
如上所述，图像传感器可具有透镜元件的布置，其中，透镜元件可具有与感测阵列中的感测元件的光学中心轴(OCA)略微不同的OCA。因此，包括在透镜阵列中的透镜元件可接收不同的LF信息。由于每个透镜元件的主光线的方向也被改变，因此图像传感器可光学地获取更大量的感测信息。因此，图像传感器可基于如上所述获取的各种感测信息来恢复具有更高分辨率的图像。
当包括在透镜阵列中的透镜元件都具有相同的透镜尺寸时，透镜阵列中的透镜元件的数量和包括在感测阵列中的感测元件的数量可满足如以下示出的等式3。在这个示例中，透镜元件的数量和感测元件的数量可以是互质的。
[等式3]
Figure BDA0002180107410000102
在等式3中，R表示指示针对一个轴的感测阵列的分辨率的整数(即，感测阵列的单行中的感测元件的数量)，P表示指示针对一个轴的感测阵列中的感测元件的数量的整数，L表示指示针对一个轴的透镜阵列中的透镜元件的数量(即，透镜阵列的单行中的透镜元件的数量)的整数，
Figure BDA0002180107410000101
表示用于满足等式3的任意自然数。在等式3中，R，P和L可在二维(2D)平面上被表示。例如，分辨率R可以是针对水平轴或垂直轴的图像传感器的分辨率。针对水平轴或垂直轴的分辨率R可对应于在与水平轴或垂直轴对应的方向上的单行中的感测元件的数量P。在这个示例中，L可指示基于相应的轴的透镜元件的数量。因此，感测阵列的全二维分辨率可由R×R表示，二维感测阵列中的感测元件的总数可以是P×P，并且二维透镜阵列中的透镜元件的总数可以是L×L。
例如，图3示出图像传感器的水平轴或垂直轴的剖视图。针对一个轴，透镜元件的数量L可以是3，并且感测元件的数量P可以是10，以满足互质关系。在这个示例中，针对该一个轴每个透镜元件可覆盖大约3.33个感测元件。
在图3中，第一透镜元件可覆盖感测元件S1至感测元件S3的全部以及感测元件S4的1/3。第二透镜元件可覆盖感测元件S4的剩余2/3、感测元件S5和感测元件S6的全部以及感测元件S7的2/3。相似地，最后一个透镜元件可覆盖感测元件S7的剩余1/3以及感测元件S8至感测元件S10的全部。换言之，每个透镜元件可覆盖至少一个感测元件的对应于与1/L相同的视差的一部分(即，感测元件的作为1/L的整数倍的一部分)，其中，L是透镜的数量。
基于上述透镜阵列和感测阵列的几何结构，来自被一个透镜元件覆盖的感测元件感测的点230的组合的LF信息可不同于来自被另一透镜元件覆盖的感测元件感测的点230的组合的LF信息。LF信息可表示关于来自多个点230的多个LF的组合的信息。例如，第一感测元件S1可感测具有图2的第一点X1的第一LF、第二点X2的第二LF和第三点X3的第三LF的组合的LF信息。在另一方面，与第一感测元件S1相邻的第二感测元件S2可感测具有图2的结构中的第四点X4的第四LF、第五点X5的第五LF和第六点X6的第六LF的组合的LF信息。因此，一个感测元件可感测与另一感测元件感测的LF信息不同的LF信息。
图像传感器可基于LF信息之间的相关性来重新布置捕获的图像的像素的位置。例如，图像传感器可重新布置捕获的图像(例如，CEV图像)的像素，以生成多个感测元件之中的感测相似的LF信息的感测元件的像素彼此相邻的输出图像。
例如，如图3中所示，图像传感器可基于由感测元件感测的LF信息与由另一感测元件感测的LF信息之间的相似度，来重新布置指示由单独的感测元件感测的信号的强度值的像素。例如，可确定随着由两个感测元件感测到的LF信息中的重叠的LF的数量增加，两个感测元件的LF信息之间的相似度增大。
当假设反射光线的点在距图像传感器无限焦点处时，图像传感器可确定由每个感测元件感测的LF信息。例如，图像传感器可基于多个感测元件之间的位置关系以及从与图像传感器分隔开大于阈值距离的距离的点发射的光线，来确定发出由多个感测元件中的每个感测的LF的点。与图像传感器分隔开大于阈值距离的距离的点还可被称为“无限焦点处的点”。图像传感器可重新布置像素，使得表示成像的被摄体中的在空间上彼此相邻的点的像素在输出图像中彼此相邻。
图2的各个点X1到X10以图2中示出的顺序彼此相邻。例如，第一点X1可与第二点X2相邻，第二点X2可与第一点X1和第三点X3相邻。例如，两个相邻的点可以是被摄体中的在空间上彼此相邻的点。
由未被重新布置的感测元件311之中的第一感测元件S1感测的LF信息和由第八感测元件S8感测的LF信息二者都可包括来自第二点X2和第三点X3二者的LF。因此，第一感测元件S1和第八感测元件S8可被确定为感测相似的LF信息。当与相似的LF信息对应的像素被重新布置为彼此相邻时，等式2可被表示为如以下等式4中所示。
[等式4]
Figure BDA0002180107410000121
参照图3，感测元件311基于等式4被重新布置为感测元件312。在实际的感测阵列中，第一感测元件S1可被第一透镜覆盖，第八感测元件S8可被第三透镜覆盖，第五感测元件S5可被第二透镜覆盖。在基于等式4重新布置像素之后，与第一感测元件S1、第八感测元件S8和第五感测元件S5对应的三个像素被布置为彼此相邻。
图像传感器可将重新布置和恢复应用于通过满足互质条件和等式3的透镜阵列和感测阵列捕获的图像，以恢复具有更相似于原始场景的颜色的高分辨率场景图像。
图4是示出根据示例实施例的基于透镜阵列中的焦距和期望的FOV确定的透镜元件的数量和透镜元件的尺寸的示图。
如上所述，图像传感器可包括透镜阵列410和感测阵列420。透镜阵列410可包括多个透镜元件。多个透镜元件中的至少一个透镜元件的透镜尺寸可不同于另一透镜元件的透镜尺寸。
例如，多个透镜元件可基于透镜尺寸被分类为多个透镜组。透镜组可以是通过透镜尺寸分类的透镜元件的组。例如，包括在相同透镜组中的透镜元件可具有相同的透镜尺寸，并且包括在不同透镜组中的透镜元件可具有不同的透镜尺寸。换言之，对应于任何一个透镜组的透镜尺寸可不同于对应于所有其他透镜组的透镜尺寸。图像传感器可包括具有各种FOV的透镜元件。透镜元件的FOV可被表示为如以下等式5中所示。
[等式5]
Figure BDA0002180107410000131
在等式5中，FOV表示FOV，D表示由透镜元件覆盖的感测区域的尺寸，F表示焦距419。
图像传感器可被实现在(即，包括在)移动终端中，并且焦距419可被限制以满足移动终端的形状因数。例如，焦距419可小于移动终端的厚度。为了在移动终端中实现图像传感器，透镜组可被设计成使得它们都具有相同的焦距419。此外，透镜组都可具有彼此不同的FOV。
为了获取远距离被摄体的信息，图像传感器可包括包含具有各种FOV的透镜组的透镜阵列410。例如，当如上所述焦距419针对所有透镜元件被固定时，并且当等式5的FOV改变时，由透镜元件覆盖的感测区域的尺寸(例如，等式5的D)可改变。例如，透镜阵列410可被设计成使得包括在透镜组中的透镜元件的数量随着该透镜组的缩放因数(zoom factor)的增大而增加。在这个示例中，基于透镜阵列410的设计，FOV与感测区域的尺寸之间的关系使得透镜组的恒定焦距能够被维持。此外，包括在透镜组中的透镜元件的透镜尺寸可随着该透镜组的缩放因数的增大而减小。包括在透镜组中的每个透镜元件的透镜尺寸可随着包括在该透镜组中的透镜元件的数量的增加而减小。因此，包括在任意透镜组中的透镜元件的数量可基于透镜尺寸来确定，其中，透镜尺寸自身可基于透镜组的焦距和FOV来确定。
此外，针对透镜组i，沿着透镜阵列410的一个轴示出的透镜元件的数量(即，透镜组的每行中的透镜元件的数量)可满足如下所示的等式6。
[等式6]
Figure BDA0002180107410000141
在等式6中，Ri表示由第i透镜组感测的图像的分辨率(即，对应于透镜组的感测区域的每行中的感测元件的数量)，Li表示与沿着透镜阵列410的一个轴的第i透镜组对应的透镜元件的数量，
Figure BDA0002180107410000142
表示任意自然数，并且M表示包括在透镜阵列410中的透镜组的数量。Ri、Li、
Figure BDA0002180107410000143
和M各自可以是大于或等于1的整数。此外，i可以是大于或等于1并且小于或等于M的整数。例如，包括在第i透镜组中的第i透镜元件的数量可以是Li×Li。
图4是透镜组的数量M是3的透镜阵列410的剖视图。为了便于描述，第一透镜组411、第二透镜组412和第三透镜组413从左边开始被顺序地示出。L1可表示与沿着透镜阵列410的一个轴的第一透镜组411对应的透镜元件的数量，并且如图4中所示L1可以是3。L2可表示与沿着透镜阵列410的一个轴的第二透镜组412对应的透镜元件的数量，并且如图4中所示L2可以是9。L3可表示与沿着透镜阵列410的一个轴的第三透镜组413对应的透镜元件的数量，并且如图4中所示L3可以是27。如以上参照图3所述，由于图4中也示出了关于图像传感器的基于一个轴的剖视图，所以L1、L2和L3各自可以是沿着该一个轴的透镜元件的数量。第一透镜组411可包括通过3×3获得的九个第一透镜元件(即，三行透镜元件，每行包括三个透镜元件)，第二透镜组412可包括通过9×9获得的81个第二透镜元件(即，九行透镜元件，每行包括九个透镜元件)，第三透镜组413可包括通过27×27获得的729个第三透镜元件(即，27行透镜元件，每行包括27个透镜元件)。
第一透镜组411可将第一FOV 451(例如，77度)内的光线传送到第一感测元件。第一感测元件可被包括在第一透镜组411中的第一透镜元件覆盖，并且可接收穿过第一透镜元件的光。第一感测元件可感测与第一缩放因数(例如，1倍的缩放因数)对应的信息。第二透镜组412可将第二FOV 452(例如，30度)内的光线传送到第二感测元件。第二感测元件可被包括在第二透镜组412中的第二透镜元件覆盖，并且可接收穿过第二透镜元件的光。第二感测元件可感测与第二缩放因数(例如，3倍的缩放因数)对应的信息。第三透镜组413可将第三FOV 453(例如，10度)内的光线传送到第三感测元件。第三感测元件可被包括在第三透镜组413中的第三透镜元件覆盖，并且可接收穿过第三透镜元件的光。第三感测元件可感测与第三缩放因数(例如，9倍的缩放因数)对应的信息。
例如，图像传感器可被实现为单个传感器、或者可被实现为均包括相同的感测元件的多个传感器。在这个示例中，图像传感器可被设计为使得每个透镜组可支持相同的分辨率。例如，由任何一个透镜组覆盖的感测区域可包括与另一透镜组覆盖的感测元件的数量相同的数量的感测元件。在这个示例中，沿着透镜阵列410的一个轴示出的透镜元件的数量R可满足以下示出的等式7、等式8和等式9。
[等式7]
Figure BDA0002180107410000151
[等式8]
LM＝αi×Li s.t.i＝1，…，M-1
[等式9]
Figure BDA0002180107410000152
在等式7至等式9中，R表示与透镜阵列的由所有透镜组共享的一个轴对应的分辨率。LM表示与沿着透镜阵列的一个轴的第M透镜组对应的透镜元件的数量。Li表示与沿着透镜阵列的一个轴的第i透镜组对应的透镜元件的数量。
Figure BDA0002180107410000153
和αi各自表示任意自然数。可基于由多个透镜元件共享的分辨率来确定包括在多个透镜组中的每个透镜组中的透镜元件的数量。因此，基于通过将等式8的LM的表达式代入等式7的R的表达式而导出的等式9，每个透镜组可具有由所有透镜组共享的分辨率。此外，每个透镜组可包括与由每个透镜元件覆盖的感测元件的数量互质的数量的透镜元件。
因此，图像传感器可将重新布置和恢复应用于通过满足互质条件和等式9的透镜阵列410和感测阵列420捕获的图像，以恢复具有更相似于原始场景的颜色的高分辨率场景图像。
例如，图像传感器可对通过使用以拜耳图案布置的透镜元件和颜色传感器(例如，用于感测可见光频带中的红色通道、绿色通道和蓝色通道的图像的传感器)的相机获取的图像进行重新布置，其中，在颜色传感器中，感测元件按照如上所述的相似的LF的顺序以拜耳图案被布置。图像传感器可获得均匀的颜色图案，以提供具有更高性能的颜色插值。
图5是示出根据示例实施例的透镜阵列中的透镜元件的布置的示图。
包括在相同透镜组中的透镜元件可被布置成彼此相邻。在图5中，具有第一透镜尺寸的第一透镜组511的第一透镜元件可被彼此相邻地布置。包括在其他透镜组(例如，第二透镜组512、第三透镜组513和第四透镜组514)中的每个透镜组中的透镜元件也可被彼此相邻地布置。
图5示出透镜阵列510包括四个透镜组(即，M＝4)的结构的俯视图。作为L1＝2的示例，第一透镜组511可包括以2×2形状布置的四个透镜元件，作为L2＝4的示例，第二透镜组512可包括以4×4形状布置的16个透镜元件。相似地，第三透镜组513可包括64个透镜元件，第四透镜组514可包括256个透镜元件。在一个实施例中，第一透镜组511、第二透镜组512、第三透镜组513和第四透镜组514覆盖的区域的尺寸可彼此相等。尽管为了便于图5中的描述，图像传感器被实现为单个传感器，但是示例实施例不限于此。例如，图像传感器可被实现为四个单独的图像传感器(每个图像传感器包括上述透镜组中的一个)，或者被实现为不同类型的图像传感器(例如，具有在尺寸上不同的单独的感测元件的传感器)。
例如，图像传感器的处理器可基于由多个感测元件感测的感测信息来获取CEV图像。在本公开中，CEV图像可表示以与昆虫的复眼的操作相似的方式通过重叠地捕获相同或相似的场景获取的图像。例如，图像传感器可基于通过以阵列布置的多个透镜从多个感测元件接收的光线的强度来获取CEV图像。
处理器可生成CEV图像，其中，CEV图像包括通过感测经由第一透镜组511接收的光而获得的2×2个第一组图像、通过感测经由第二透镜组512接收的光而获得的4×4个第二组图像、通过感测经由第三透镜组513接收的光而获得的8×8个第三组图像以及通过感测经由第四透镜组514接收的光而获得的16×16个第四组图像。如以上参照图3所述，处理器可基于由多个感测元件感测的LF信息重新布置CEV图像。
以下参照图6描述感测与场景相关联并且通过图5的透镜阵列510获取的感测信息。
图6是示出经由如以上参照图5所述布置的透镜元件通过感测元件感测的场景的FOV的示图。
透镜阵列可从图像传感器的外部接收光并且可将光传送到感测阵列。透镜阵列中的透镜元件可基于透镜尺寸而具有不同的FOV。例如，参照图5，包括在第一透镜组511中的第一透镜元件可具有第一FOV，包括在第二透镜组512中的第二透镜元件可具有第二FOV，包括在第三透镜组513中的第三透镜元件可具有第三FOV，包括在第四透镜组514中的第四透镜元件可具有第四FOV。
包括在由每个透镜组覆盖的感测区域中的感测元件可感测与相应的透镜组的FOV对应的光线。图6示出针对透镜组的每个FOV通过由相应的透镜组覆盖的感测元件感测的感测信息。
由第一透镜元件覆盖的第一感测元件可通过第一透镜元件接收对应于第一FOV的光线，并且可感测第一感测信息611。第一感测信息611可以是与对应于第一FOV的区域610相关联的感测信息。第二感测元件可通过第二透镜元件接收对应于第二FOV的光线，并且可感测第二感测信息621。第二感测信息621可以是与对应于第二FOV的区域620相关联的感测信息。如图6中所示，区域620可小于区域610。第三感测元件可通过第三透镜元件接收对应于第三FOV的光线，并且可感测第三感测信息631。第三感测信息631可以是与对应于第三FOV的区域630(在图6中示出小于区域620)相关联的感测信息。此外，第四感测元件可通过第四透镜元件接收对应于第四FOV的光线，并且可感测第四感测信息641。第四感测信息641可以是与对应于第四FOV的区域640(在图6中示出小于区域630)相关联的感测信息。
如图6中所示，由于对应于整个FOV(例如，第一FOV)的区域610的在区域620外部的边缘部分中，感测信息仅由第一感测元件收集，因此收集的感测信息的密度可能小于中心区域(例如，对应于第四FOV的区域640)的收集的感测信息的密度。在中心区域中可收集所有的由第一感测元件至第四感测元件感测的感测信息，因此感测信息的密度可相对于边缘部分较高。因此，图像传感器的处理器可基于由多个感测元件感测的感测信息来恢复图像，使得对应于透镜阵列的FOV内的中心区域可比与中心区域相邻的区域具有高的分辨率。
响应于来自用户的缩放因数的输入，图像传感器可基于输入的缩放因数生成放大的场景图像。例如，图像传感器可从由多个感测元件感测的感测信息，选择与用户指定的缩放因数对应的目标感测信息。图像传感器可从感测信息选择与对应于缩放因数的FOV对应的信息作为目标感测信息。图像传感器可使用选择的目标感测信息来恢复场景图像。例如，当与指定给图6中的第二透镜组的第二FOV对应的缩放因数被输入时，图像传感器可基于在对应于第二FOV的区域620中感测的感测信息来恢复场景图像。恢复场景图像的操作可包括基于图像传感器的几何结构重新布置像素的操作，或者使用图像恢复模型从CEV图像估计输出图像的操作。
当放大的图像(例如，FOV随着缩放因数的增大而减小的图像)被恢复时，针对放大的图像与通过每个透镜元件提供的FOV对应的区域可重叠。由于区域的上述重叠，图像传感器可通过同时使用来自所有透镜组的所有信息(例如，使用来自具有各种透镜尺寸的透镜元件的信息)，来恢复具有更高分辨率的放大的场景图像。
在图6中，假设从无限焦点处的点反射或发出的光线被接收。当来自有限焦点的光线被接收到时，图像传感器的每个透镜组的FOV范围可改变。
图7至图10是示出根据示例实施例的透镜元件的布置的示例的示图。
在图7的透镜阵列710中，多个透镜组中的一个透镜组可包括单个透镜元件。例如，第一透镜组711可包括单个透镜元件。如上所述，其他透镜组712、713和714中的每个可包括多个透镜元件。因此，图像传感器可基于通过感测穿过具有图7的结构的透镜阵列710的光线而获得的感测信息来恢复场景图像，使得广角图像的质量和对应于缩放因数的图像的质量二者可被提高。
在图8的透镜阵列810中，透镜元件可基于透镜尺寸来布置。例如，多个透镜元件之中的一个透镜元件可被安置得比具有大于所述一个透镜元件的透镜尺寸的透镜尺寸的另一透镜元件，更靠近透镜阵列810的中心位置。此外，多个透镜元件之中的一个透镜元件可被安置得比具有小于所述一个透镜元件的透镜尺寸的透镜尺寸的另一透镜元件，更远离透镜阵列810的中心位置。
参照图8，在四个透镜组之中具有作为最大的透镜尺寸的第一透镜尺寸的第一透镜组中包括的第一透镜元件811可被安置在透镜阵列810的边缘上。具有小于第一透镜尺寸的第二透镜尺寸的第二透镜元件812可被安置得比第一透镜元件811更靠近中心位置。具有小于第二透镜尺寸的第三透镜尺寸的第三透镜元件813可被安置得比第二透镜元件812更靠近中心位置。具有小于第三透镜尺寸的第四透镜尺寸的第四透镜元件814可被安置得比第三透镜元件813更靠近中心位置。
图9的透镜阵列可包括以与图8的透镜阵列810相同的方式或以与图8的透镜阵列810相似的方式布置的透镜元件。在图9中，多个透镜元件中的每个可覆盖相同数量的感测元件。例如，第一透镜元件911中的每个可覆盖以4×4形状布置的16个感测元件。相似地，第二透镜元件912、第三透镜元件913和第四透镜元件914中的每个也可覆盖16个感测元件。在这个示例中，感测阵列920中的感测元件的尺寸可被设计成使得每个透镜元件可覆盖相同数量的感测元件。例如，由第一透镜元件911覆盖的第一感测元件的第一尺寸(例如，像素尺寸)可大于由第二透镜元件912覆盖的第二感测元件的第二尺寸。此外，第三感测元件的第三尺寸可小于第二尺寸，第四感测元件的第四尺寸可小于第三尺寸。在本公开中，例如，感测元件的尺寸可以是感测元件的像素间距。根据一个示例实施例，提供小FOV的透镜元件可覆盖与提供大FOV的透镜元件覆盖的感测元件的数量相同的数量的感测元件。因此，由于多个透镜导致的分辨率的降低的程度可被减少，并且将被恢复的场景图像的质量可被提高。
尽管为了便于描述，如图9中所示，由每个透镜元件覆盖的感测元件的数量被设置为整数，但是示例实施例不限于此。例如，每个透镜元件可覆盖分数个感测元件。
在图10的透镜阵列1010中，多个透镜元件1011中的每个可在与透镜阵列1010对应的平面上相对于多个感测元件随机布置。透镜元件1011的数量可针对每个透镜尺寸满足等式9，透镜元件1011可被布置在透镜阵列1010的平面上。基于透镜的随机布置的一部分，图像传感器可均匀地恢复具有高分辨率的场景图像，而不管由各个透镜尺寸支持的缩放因数以及广角如何。
图11是示出根据示例实施例的图像传感器的结构的框图。
参照图11，图像传感器1100包括透镜阵列1111、感测阵列1120和处理器1130。
参照图11，透镜阵列1111可包括多个透镜元件。多个透镜元件可被安置在透镜平面上。所有的多个透镜元件可具有相同或相似的焦距。多个透镜元件可被设计成具有相同的焦距，但是由于制造公差，多个焦距可略微彼此不同。例如，多个透镜元件的焦距之间的差异可小于阈值误差。如上所述，多个透镜元件中的至少一个透镜元件的透镜尺寸可不同于至少一个其他透镜元件的透镜尺寸。多个透镜元件中的每个可折射光并在包括多个感测元件的感测阵列1120上的点形成焦点。
感测阵列1120可包括多个感测元件。多个感测元件可被安置在与透镜平面平行的感测平面上。多个感测元件可被安置在与透镜阵列1111分间隔开等于透镜元件的焦距的距离的感测平面上。多个感测元件中的每个可感测穿过透镜阵列1111的光。例如，多个感测元件中的每个可接收穿过覆盖相应的感测元件的透镜元件的光。
处理器1130可基于由多个感测元件感测的光的强度来恢复场景图像。例如，处理器1130可基于由多个感测元件感测的感测信息来获取CEV图像。处理器1130可从CEV图像恢复场景图像。场景图像可以是从图像传感器1100输出的图像，并且可被恢复得与原始场景相同或相似。
在一个示例中，处理器1130可基于多个感测元件与多个透镜元件之间的几何结构从CEV图像恢复场景图像。例如，处理器1130可重新布置捕获的图像(例如，CEV图像)的像素以生成输出图像，其中，如以上参照图3所述，多个感测元件之中感测相似的LF信息的感测元件的像素被重新布置为彼此相邻。
在另一示例中，处理器1130可基于在CEV图像被获取之前被完全训练的图像恢复模型，从CEV图像恢复场景图像。图像恢复模型可以是被设计为输出与任意CEV图像对应的场景图像的模型，并且可具有机器学习结构。例如，图像恢复模型可具有神经网络结构。图像恢复模型可被训练为响应于任意参考CEV图像的输入，输出作为地面真值给出的参考输出图像。然而，图像恢复模型不限于此。
图12和图13是示出根据示例实施例的在其中实现图像传感器的设备的示例的示图。
图像传感器可适用于各种技术领域。图像传感器可被设计为使得包括多个透镜的透镜阵列可与包括多个感测元件的传感器分隔开等于透镜阵列中的透镜元件的焦距的相对小的距离。例如，图像传感器可被实现为具有用于高清晰度捕获的大传感器的超薄相机。换言之，可使用多透镜阵列结构来减小图像传感器的厚度。图像传感器可被实现为应用处理器(AP)、现场可编程门阵列(FPGA)或芯片，并可用作相机的图像信号处理器。
此外，图像传感器可使用具有超薄结构的透镜阵列以及具有不同透镜尺寸和相同焦距的透镜元件，来获取与多个缩放因数相关联的感测信息。因此，图像传感器可针对多个缩放因数恢复高分辨率场景图像。
在一个示例中，图像传感器可被实现在移动终端中。移动终端可以是可移动的终端而不是被固定在任何地理位置处的终端，并且可包括例如便携式装置(例如，智能装置(诸如，智能电话或平板计算机))、人工智能扬声器或车辆。在图12和图13中示出移动终端的示例，然而，示例实施例不限于此。
参照图12，图像传感器1210可被应用于智能电话的前置相机或后置相机。图像传感器1210可具有组合大的全帧传感器和微透镜阵列的结构，并且可被应用于移动电话的相机。例如，如图12中所示，图像传感器1210可包括在智能装置1200的前置相机或后置相机中。例如，图像传感器1210的感测阵列和透镜阵列可分别被实现为全帧感测阵列和微透镜阵列。
在另一示例中，图像传感器可具有薄的结构或弯曲的结构，并且可针对车辆来实现。参照图13，图像传感器1310可被实现为车辆1300的弯曲的前置相机或后置相机。然而，示例实施例不限于此，例如，图像传感器1310可用于数码单反(DSLR)相机、无人机、闭路电视(CCTV)、网络摄像头相机、全景相机、用于电影或广播的相机、或者虚拟现实/增强现实(VR/AR)相机。此外，图像传感器1310可适用于各种领域，例如，柔性/可伸缩相机、复眼相机或隐形眼镜型相机(contact lens type camera)。
在另一示例中，图像传感器还可适用于多帧超分辨率图像恢复，多帧超分辨率图像恢复用于基于关于捕获的多个连续帧的信息来增大视频图像的分辨率。
可使用硬件组件、软件组件或它们的组合来实现在此描述的示例实施例。例如，可使用一个或多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其他装置)来实现处理装置。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行访问、存储、操作、处理和创建数据。为了简明起见，处理装置被描述为单个处理装置；然而，本领域技术人员将理解：处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者处理器和控制器。此外，不同的处理配置(诸如，并行处理器)是可行的。
软件可包括计算机程序、代码段、指令或它们的一些组合，以单独或共同地指示或配置处理装置如期望的那样进行操作。软件和数据可永久地或暂时地包含在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中，或者永久地或暂时地包含在能够向处理装置提供指令或数据或者能够由处理装置解释的传播的信号波中。软件还可被分布在联网的计算机系统上，使得软件以分布的方式来存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质存储。
根据上述示例实施例的方法可被记录在包括用于实现可由计算机执行的各种操作的程序指令的非暂时性计算机可读介质中。介质还可单独包括程序指令、数据文件、数据结构等，或者还可包括程序指令、数据文件、数据结构等的组合。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计并构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，CD-ROM盘和DVD)；磁光介质(诸如，光盘)；专门被配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。程序指令的示例包括机器代码(诸如，由编译器产生的代码)和包含可由计算机使用解释器执行的高级代码的文件二者。所述硬件装置可被配置为用作一个或多个软件模块，以便执行上述示例实施例的操作，反之亦然。
虽然本公开包括示例实施例，但是对本领域普通技术人员将清楚的是，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例实施例中做出形式和细节上的各种改变。在此描述的示例实施例仅被认为是描述性的，而不是为了限制的目的。在每个示例中的特征或方面的描述将被认为适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序执行和/或如果在描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其他组件或它们的等同物替代或补充，则可实现适当的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且在权利要求及其等同物的范围内的所有变化将被解释为被包括在本公开中。

Claims (28)

1.一种图像传感器，包括：
透镜阵列，包括：多个透镜元件，其中，所述多个透镜元件中的每个具有相同的焦距；以及
多个感测元件，与透镜阵列分隔开所述焦距，并被配置为感测穿过透镜阵列的光，
其中，所述多个透镜元件之中的至少一个透镜元件的透镜尺寸不同于所述多个透镜元件之中的另一透镜元件的透镜尺寸。
2.根据权利要求1所述的图像传感器，其中，所述多个透镜元件基于透镜尺寸被分类为多个透镜组，
其中，所述多个透镜组之中的每个透镜组对应于各自的透镜尺寸，使得针对所述多个透镜组之中的每个透镜组，包括在透镜组中的透镜元件具有相应的透镜尺寸，
其中，与所述多个透镜组之中的每个透镜组对应的各自的透镜尺寸不同于所述多个透镜组之中的剩余透镜组的各自的透镜尺寸。
3.根据权利要求2所述的图像传感器，其中，所述多个透镜组之中的每个透镜组被配置为：覆盖所述多个感测元件之中的相同数量的感测元件，
其中，包括在所述多个透镜组之中的每个透镜组中的透镜元件的数量基于被覆盖的感测元件的数量来确定。
4.根据权利要求2所述的图像传感器，其中，针对所述多个透镜组之中的每个透镜组，包括在透镜组中的透镜元件被安置得彼此相邻。
5.根据权利要求2所述的图像传感器，其中，所述多个透镜组之中的一个透镜组包括单个透镜元件。
6.根据权利要求1所述的图像传感器，其中，所述多个透镜元件之中的第一透镜元件被安置得比所述多个透镜元件之中的第二透镜元件更靠近透镜阵列的中心位置，其中，第二透镜元件具有大于第一透镜元件的透镜尺寸的透镜尺寸。
7.根据权利要求1所述的图像传感器，其中，所述多个透镜元件中的每个透镜元件在与透镜阵列对应的平面上随机安置。
8.根据权利要求1所述的图像传感器，其中，所述多个透镜元件之中的每个透镜元件被配置为：覆盖所述多个感测元件之中的相同数量的感测元件。
9.根据权利要求1所述的图像传感器，其中，所述多个透镜元件之中的至少一个透镜元件被布置为：覆盖非整数个感测元件。
10.根据权利要求1所述的图像传感器，还包括：
处理器，被配置为：基于由所述多个感测元件感测的感测信息来恢复图像，使得透镜阵列的视场内的中心区域的分辨率高于与中心区域相邻的区域的分辨率。
11.根据权利要求1所述的图像传感器，还包括：
处理器，被配置为：基于由所述多个感测元件感测的感测信息来获取复眼视觉图像。
12.根据权利要求11所述的图像传感器，其中，处理器还被配置为：基于由所述多个感测元件感测的光场信息重新布置包括在复眼视觉图像中的像素。
13.根据权利要求11所述的图像传感器，其中，处理器还被配置为：基于所述多个感测元件与所述多个透镜元件之间的几何关系从复眼视觉图像恢复场景图像。
14.根据权利要求11所述的图像传感器，其中，处理器还被配置为：基于在复眼视觉图像被获取之前被完全训练的图像恢复模型，从复眼视觉图像恢复场景图像。
15.根据权利要求1所述的图像传感器，还包括：
处理器，被配置为：从由所述多个感测元件感测的感测信息之中选择目标感测信息，其中，目标感测信息对应于由用户指定的缩放因数，
其中，处理器还被配置为：基于选择的目标感测信息来恢复场景图像。
16.根据权利要求15所述的图像传感器，其中，处理器还被配置为：选择与对应于指定的缩放因数的视场对应的信息作为目标感测信息。
17.根据权利要求1所述的图像传感器，其中，所述多个透镜元件之中的每个透镜元件被配置为：折射入射光并在包括所述多个感测元件的感测阵列上的点处形成离开透镜元件的光的焦点。
18.根据权利要求1所述的图像传感器，其中，所述多个透镜元件基于视场被分类为多个透镜组，
其中，所述多个透镜组之中的每个透镜组对应于各自的视场，使得与所述多个透镜组之中的每个透镜组对应的各自的视场不同于所述多个透镜组之中的剩余透镜组的各自的视场，
其中，针对所述多个透镜组之中的每个透镜组，所述多个感测元件之中的包括在由透镜组覆盖的感测区域中的感测元件被配置为：感测与对应于透镜组的视场对应的光线。
19.根据权利要求1所述的图像传感器，其中，所述图像传感器包括在移动终端中。
20.一种图像感测方法，包括：
通过多个感测元件来感测穿过多个透镜元件的光，其中，所述多个透镜元件中的每个具有相同的焦距；以及
通过处理器基于由所述多个感测元件感测的光的强度，来恢复场景图像，
其中，所述多个透镜元件之中的至少一个透镜元件的透镜尺寸不同于所述多个透镜元件之中的另一透镜元件的透镜尺寸。
21.一种相机，包括：
透镜阵列，被配置为：折射从成像被摄体反射的入射光线；以及
传感器，被配置为：感测由透镜阵列折射的光线，
其中，透镜阵列包括具有第一直径的第一透镜和具有与第一直径不同的第二直径的第二透镜。
22.根据权利要求21所述的相机，其中，透镜阵列包括具有第一直径的多个第一透镜和具有第二直径的多个第二透镜。
23.根据权利要求22所述的相机，其中，由所述多个第一透镜覆盖的传感器的第一区域与由所述多个第二透镜覆盖的传感器的第二区域具有相同的尺寸。
24.根据权利要求22所述的相机，其中，传感器包括多个感测元件；
其中，所述多个第一透镜和所述多个第二透镜中的每个覆盖所述多个感测元件之中的相同数量的感测元件。
25.根据权利要求24所述的相机，其中，由所述多个第一透镜和所述多个第二透镜中的每个覆盖的感测元件的数量是非整数。
26.根据权利要求24所述的相机，其中，所述多个感测元件之中的每个感测元件被配置为：感测从成像被摄体的第一点反射的第一光线和来自成像被摄体的第二点的第二光线。
27.根据权利要求25所述的相机，其中，所述多个感测元件包括：第一感测元件，被配置为：感测由具有第一直径的第一透镜折射的第一光线以及由具有第一直径的所述多个第一透镜之中的另一透镜折射的第二光线。
28.根据权利要求22所述的相机，其中，所述多个第一透镜对应于第一视场，
其中，所述多个第二透镜对应于与第一视场不同的第二视场。
CN201910793309.3A 2018-10-04 2019-08-27 图像传感器和图像感测方法 Pending CN111009534A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862741147P 2018-10-04 2018-10-04
US62/741,147 2018-10-04
KR10-2018-0154741 2018-12-04
KR1020180154741A KR102644944B1 (ko) 2018-10-04 2018-12-04 이미지 센서 및 이미지 센싱 방법

Publications (1)

Publication Number Publication Date
CN111009534A true CN111009534A (zh) 2020-04-14

Family

ID=68137945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910793309.3A Pending CN111009534A (zh) 2018-10-04 2019-08-27 图像传感器和图像感测方法

Country Status (4)

Country Link
US (1) US10924667B2 (zh)
EP (1) EP3633969B1 (zh)
JP (1) JP2020060763A (zh)
CN (1) CN111009534A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840064A (zh) * 2021-08-24 2021-12-24 中国科学院光电技术研究所 一种基于电控选通的大视场光学成像方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
US10868945B2 (en) * 2019-04-08 2020-12-15 Omnivision Technologies, Inc. Light-field camera and method using wafer-level integration process
KR20220053361A (ko) * 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3462736B2 (ja) * 1997-11-17 2003-11-05 ペンタックス株式会社 固体撮像素子
US7414661B2 (en) * 2002-08-13 2008-08-19 Micron Technology, Inc. CMOS image sensor using gradient index chip scale lenses
WO2005020328A1 (ja) * 2003-08-22 2005-03-03 Konica Minolta Opto, Inc. 固体撮像装置及び該固体撮像装置を備えた撮像装置並びに固体撮像装置のマイクロレンズアレイ製造方法
JP4956988B2 (ja) 2005-12-19 2012-06-20 カシオ計算機株式会社 撮像装置
JP2009206922A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP5446797B2 (ja) * 2009-12-04 2014-03-19 株式会社リコー 撮像装置
US20110175981A1 (en) * 2010-01-19 2011-07-21 Chun-Hung Lai 3d color image sensor
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
JP5836821B2 (ja) * 2012-01-30 2015-12-24 オリンパス株式会社 撮像装置
US9707892B2 (en) 2012-04-25 2017-07-18 Gentex Corporation Multi-focus optical system
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
KR102269599B1 (ko) 2014-04-23 2021-06-25 삼성전자주식회사 직경이 상이한 렌즈 소자들을 구비하는 촬상 장치
EP3687156B1 (en) 2015-07-10 2022-03-16 SZ DJI Technology Co., Ltd. Dual lens system having a light splitter
JP6724560B2 (ja) * 2016-05-30 2020-07-15 株式会社ニコン 撮像装置および画像処理装置
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
US10297629B2 (en) * 2017-09-11 2019-05-21 Semiconductor Components Industries, Llc Image sensors with in-pixel lens arrays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840064A (zh) * 2021-08-24 2021-12-24 中国科学院光电技术研究所 一种基于电控选通的大视场光学成像方法

Also Published As

Publication number Publication date
EP3633969B1 (en) 2024-04-24
US20200112671A1 (en) 2020-04-09
EP3633969A1 (en) 2020-04-08
US10924667B2 (en) 2021-02-16
JP2020060763A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
US11375092B2 (en) Image sensor and image sensing method
CN110896467B (zh) 用于恢复图像的方法和设备
CN111009534A (zh) 图像传感器和图像感测方法
CN109842749B (zh) 用于恢复图像的方法和设备
CN113037956A (zh) 成像装置、移动终端和图像感测方法
US11595575B2 (en) Image sensor
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
KR102614908B1 (ko) 이미지 복원 방법 및 장치
US9584722B2 (en) Electronic device, method for generating an image and filter arrangement with multi-lens array and color filter array for reconstructing image from perspective of one group of pixel sensors
US11988849B2 (en) Imaging device and method
KR102653106B1 (ko) 영상 처리 장치 및 방법
US11899169B2 (en) Lens assembly and electronic device including the same
KR20210137886A (ko) 이미지 센서
EP4346199A1 (en) Imaging method and device for autofocusing
US20240137661A1 (en) Single image sensor for restoring images corresponding to various fields of view
CN114596201A (zh) 用于处理图像的方法和设备
CN114390162A (zh) 成像装置和电子终端
EP3765816A1 (en) Monocentric multiscale (mms) camera having enhanced field of view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination