CN106255913A - 包括具有不同直径的透镜元件的图像拾取设备 - Google Patents
包括具有不同直径的透镜元件的图像拾取设备 Download PDFInfo
- Publication number
- CN106255913A CN106255913A CN201580021388.6A CN201580021388A CN106255913A CN 106255913 A CN106255913 A CN 106255913A CN 201580021388 A CN201580021388 A CN 201580021388A CN 106255913 A CN106255913 A CN 106255913A
- Authority
- CN
- China
- Prior art keywords
- lens element
- image pickup
- pickup region
- image
- diameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003644 lens cell Anatomy 0.000 claims description 18
- 238000009738 saturating Methods 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 27
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 23
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 15
- 239000000284 extract Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/12—Beam splitting or combining systems operating by refraction only
- G02B27/123—The splitting element being a lens or a system of lenses, including arrays and surfaces with refractive power
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Cameras In General (AREA)
- Lenses (AREA)
Abstract
一种图像拾取设备包括透镜元件以及分别与透镜元件对应布置的图像拾取区域。多个透镜元件中的至少两个透镜元件具有不同的直径。多个图像拾取区域中的至少两个图像拾取区域具有不同的尺寸。多个图像拾取区域中的具有多个图像拾取区域的尺寸中最小的尺寸的最小图像拾取区域相对于多个透镜元件中的具有最大直径的透镜元件被布置。多个图像拾取区域中的具有多个图像拾取区域的尺寸中最大的尺寸的最大图像拾取区域相对于多个透镜元件中的具有最小直径的透镜元件被布置。
Description
技术领域
与示例性实施例一致的设备涉及一种包括具有不同直径的透镜元件的图像拾取设备。
背景技术
由于移动装置(诸如,移动电话)的厚度正持续地降低,所以有降低放置在移动装置中的相机的光学系统的厚度的需求。当光学系统的厚度降低时,光学系统的焦距降低,并因此,图像传感器的大小降低。作为结果,通过光学系统拾取的图像的质量可能劣化。劣化的原因在于像素的数量随着像的大小减小而减少。然而,如果图像传感器的像素的大小与图像传感器的大小减小一致地减小,则可获得具有足够高分辨率的图像。因此,正在做出各种尝试,以减小图像传感器的像素节距。例如,当前图像传感器的像素节距已经减小至大约1μm。
发明内容
技术问题
同时,因为移动装置中的相机的厚度受限,所以通常采用具有短焦距的单焦镜头代替具有可变焦距的变焦镜头。因此,对于移动装置的相机来说,可能难以提供变焦功能。大多数移动装置中的相机提供数码变焦功能而不是光学变焦功能。换言之,因为数码变焦是用于仅通过信号处理将由相机拾取的原始图像的部分进行放大的功能,所以放大的图像的质量可能随着放大的图像的视角变窄而劣化。
解决问题的方案
示例性实施例解决至少上面的问题和/或缺点以及上面未描述的其他缺点。此外,不要求示例性实施例克服上述的缺点,并且示例性实施例可不克服上述问题中的任何一个。
根据示例性实施例的方面,提供有一种包括透镜元件以及分别与透镜元件对应放置的图像拾取区域的图像拾取设备。多个透镜元件中的至少两个透镜元件具有不同的直径,并且多个图像拾取区域中的至少两个图像拾取区域具有不同的大小。多个图像拾取区域中的具有多个图像拾取区域的大小中的最小的大小的最小图像拾取区域相对于多个透镜元件中的具有最大直径的透镜元件被布置,并且多个图像拾取区域中的具有多个图像拾取区域的大小中的最大的大小的最大图像拾取区域相对于多个透镜元件中的具有最小直径的透镜元件被放置。
图像拾取区域可包括彼此物理分离的图像传感器。
多个图像拾取区域中的至少两个图像拾取区域可具有不同的像素节距,并且多个图像拾取区域中的图像拾取区域的像素节距可随着多个透镜元件中的各自透镜元件的直径增加而减小。
图像拾取区域可以是单个图像传感器中的被逻辑划分的区域。
多个透镜元件中的至少两个透镜元件可被配置为在各自的图像拾取区域上形成具有不同大小的光斑。
图像拾取设备可被配置为从通过多个透镜元件和各自的图像拾取区域获得的图像提取深度信息。
多个透镜元件中的至少两个透镜元件可包括具有第一直径的第一透镜元件、具有大于第一直径的第二直径的第二透镜元件和具有大于第二直径的第三直径的第三透镜元件。多个图像拾取区域中的至少两个图像拾取区域可包括对应于第一透镜元件并具有第一大小的第一图像拾取区域、对应于第二透镜元件并具有第一大小的第二图像拾取区域和对应于第三透镜元件并具有小于第一大小的第二大小的第三图像拾取区域。第一图像拾取区域可具有第一像素节距,第二图像拾取区域可具有小于第一像素节距的第二像素节距,而第三图像拾取区域可具有小于第二像素节距的第三像素节距。
多个透镜元件中的至少两个透镜元件可包括具有第一直径的第一透镜元件、具有第一直径的第二透镜元件和具有大于第一直径的第二直径的第三透镜元件。多个图像拾取区域中的至少两个图像拾取区域可包括对应于第一透镜元件并具有第一大小的第一图像拾取区域、对应于第二透镜元件并具有第一大小的第二图像拾取区域和对应于第三透镜元件并具有小于第一大小的第二大小的第三图像拾取区域。第一图像拾取区域和第二图像拾取区域可具有第一像素节距,而第三图像拾取区域可具有小于第一像素节距的第二像素节距。
当从图像拾取设备的前面或后面观察时,第一透镜元件至第三透镜元件可沿水平方向成直线地放置。第一透镜元件可放置在第二透镜元件与第三透镜元件之间,并且第一图像拾取区域可放置在第二图像拾取区域与第三图像拾取区域之间。
当从图像拾取设备的前面或后面观察时,第一透镜元件至第三透镜元件可沿水平方向成直线地放置。第三透镜元件可放置在第一透镜元件与第二透镜元件之间,并且第三图像拾取区域可放置在第一图像拾取区域与第二图像拾取区域之间。
多个透镜元件中的至少两个透镜元件可包括具有第一直径的第一透镜元件、具有大于第一直径的第二直径的第二透镜元件、具有第二直径的第三透镜元件、具有大于第二直径的第三直径的第四透镜元件和具有第三直径的第五透镜元件。
多个图像拾取区域中的至少两个图像拾取区域可包括对应于第一透镜元件并具有第一大小的第一图像拾取区域、对应于第二透镜元件并具有第一大小的第二图像拾取区域、对应于第三透镜元件并具有第一大小的第三图像拾取区域、对应于第四透镜元件并具有小于第一大小的第二大小的第四图像拾取区域和对应于第五透镜元件并具有第二大小的第五图像拾取区域。第一图像拾取区域可具有第一像素节距,第二图像拾取区域和第三图像拾取区域可具有小于第一像素节距的第二像素节距,而第四图像拾取区域和第五图像拾取区域可具有小于第二像素节距的第三像素节距。
当从图像拾取设备的前面或后面观察时,第一透镜元件至第五透镜元件可沿水平方向成直线地放置。第一透镜元件可放置在第二透镜元件与第三透镜元件之间,第二透镜元件可放置在第一透镜元件与第四透镜元件之间,而第三透镜元件可放置在第一透镜元件与第五透镜元件之间。
多个透镜元件中的至少两个透镜元件可包括具有第一直径的第一透镜元件、具有大于第一直径的第二直径的第二透镜元件至第五透镜元件和具有大于第二直径的第三直径的第六透镜元件至第九透镜元件。多个图像拾取区域中的至少两个图像拾取区域可包括对应于第一透镜元件至第五透镜元件并具有第一大小的第一图像拾取区域至第五图像拾取区域以及对应于第六透镜元件至第九透镜元件并具有小于第一大小的第二大小的第六图像拾取区域至第九图像拾取区域。
第六透镜元件至第九透镜元件可分别放置在图像拾取设备的表面上的四边形的四个顶点上,第二透镜元件至第五透镜元件可分别放置在四边形的四边的中点,而第一透镜元件可放置在四边形的中心。
多个透镜元件中的至少两个透镜元件可包括具有第一直径的第一透镜元件至第三透镜元件以及具有大于第一直径的第二直径的第四透镜元件和第五透镜元件。
当从图像拾取设备的前面或后面观察时,第一透镜元件至第三透镜元件可沿第一方向成直线地放置,而第四透镜元件和第五透镜元件可沿垂直于第一方向的第二方向成直线地放置。
根据另一示例性实施例的方面,图像拾取设备包括:具有第一直径的第一透镜元件和具有大于第一直径的第二直径的第二透镜元件;与第一透镜元件对应放置的具有第一大小的第一图像拾取区域以及与第二透镜元件对应放置的具有小于第一大小的第二大小的第二图像拾取区域。
第一图像拾取区域可具有第一像素节距,而第二图像拾取区域可具有小于第一像素节距的第二像素节距。
图像拾取设备还可包括:具有大于第一直径并小于第二直径的第三直径的第三透镜元件;和与第三透镜元件对应放置的具有第一大小的第三图像拾取区域,所述第三图像拾取区域具有小于第一像素节距并大于第二像素节距的第三像素节距。
图像拾取设备还可包括:具有第一直径的第三透镜元件;和与第三透镜元件对应放置的具有第一大小的第三图像拾取区域,所述第三图像拾取区域具有第一像素节距。
附图说明
通过下面结合附图对示例性实施例进行的描述,这些和/或其他方面将会变得清楚和更容易理解,其中:
图1a是示出根据示例性实施例的图像拾取设备的结构的示意图;
图1b是示出图1a中示出的图像拾取设备的透镜元件和图像拾取区域的布置的示意剖面图;
图1c是示出图1a中示出的图像拾取设备的图像区域的大小和像素节距的示图;
图2a是示出根据另一示例性实施例的图像拾取设备的结构的示意图;
图2b是示出图2a中示出的图像拾取设备的透镜元件和图像拾取区域的布置的示意剖面图;
图2c是示出图2a中示出的图像拾取设备的图像拾取区域的大小和像素节距的示图;
图3a是示出根据另一示例性实施例的图像拾取设备的结构的示意图;
图3b是示出图3a中示出的图像拾取设备的透镜元件和图像拾取区域的布置的示意剖面图;
图3c是示出图3a中示出的图像拾取设备的图像区域的大小和像素节距的示图;
图4a是示出根据另一示例性实施例的图像拾取设备的结构的示意图;
图4b是示出图4a中示出的图像拾取设备的透镜元件和图像拾取区域的布置的示意剖面图;
图4c是示出图4a中示出的图像拾取设备的图像拾取区域的大小的示图;
图5a是示出根据另一示例性实施例的图像拾取设备的结构的示意图;
图5b是示出图5a中示出的图像拾取设备的透镜元件和图像拾取区域的布置的示意剖面图;
图5c是示出图5a中示出的图像拾取设备的图像拾取区域的大小和像素节距的示图;
图6a是示出根据另一示例性实施例的图像拾取设备的结构的示意图;
图6b是示出图6a中示出的图像拾取设备的图像拾取区域的示例的示图;
图6c是示出图6a中示出的图像拾取设备的图像拾取区域的另一示例的示图;
图7是示出根据另一示例性实施例的图像拾取设备的结构的示意图。
具体实施方式
现在将详细参照示例性实施例,在附图中示出示例性实施例的示例,其中,相同的参考标号始终表示相同的元件。在这一点上,本示例性实施例可具有不同的形式,并不应被视为限于这里阐明的描述。因此,下面仅通过参照附图对示例性实施例进行描述以说明本发明的方面。当诸如“中的至少一个”的表述出现在一列元素前面时,其修饰整列元素,而不是修饰列表的单个元素。将理解,当元件或层被称为在另一元件或层“上”时,元件或层可直接在其他元件或层上,或者中间元件或层可出现在其上。
图1a是示出根据示例性实施例的图像拾取设备100的结构的示意图。例如,图像拾取设备100可以是移动装置(诸如,移动电话、平板电脑(PC)或膝上型PC)。参照图1a,图像拾取设备100包括具有不同直径的第一透镜元件101、第二透镜元件102和第三透镜元件103。在该示例中,第一透镜元件101具有第一直径,第一直径是最小的直径;第二透镜元件102具有第二直径,第二直径大于第一直径;第三透镜元件103具有第三直径,第三直径大于第二直径。此外,当从图像拾取设备100的后面、前面或表面观察时,第一透镜元件101、第二透镜元件102和第三透镜元件103沿水平方向成直线地被放置。在该示例中,第三透镜元件103被放置在左侧,第一透镜元件101被放置在中心,第二透镜元件102被放置在右侧。
图1b是示出图1a中示出的图像拾取设备100的第一透镜元件101、第二透镜元件102和第三透镜元件103以及第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113的布置的示意剖面图。参照图1b,分别与第一透镜元件101、第二透镜元件102和第三透镜元件103对应的第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113被布置。例如,第一图像拾取区域111被布置在第一透镜元件101的焦平面上,第二图像拾取区域112被布置在第二透镜元件102的焦平面上,第三图像拾取区域113被布置在第三透镜元件103的焦平面上。因此,第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113通过使用由分别与其对应的第一透镜元件101、第二透镜元件102和第三透镜元件103会聚的光束来形成像。第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113可分别包括彼此物理分离的单独的图像传感器。图像传感器可以是电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
第一透镜元件101、第二透镜元件102和第三透镜元件103可具有相同的焦距。或者,只要图像拾取设备100的内部空间允许,第一透镜元件101、第二透镜元件102和第三透镜元件103就可具有彼此不同的焦距。然而,因为焦距之间的不同可由于图像拾取设备100内的狭窄空间而变得不重要,所以可基于第一透镜元件101、第二透镜元件102和第三透镜元件103的直径来确定第一透镜元件101、第二透镜元件102和第三透镜元件103的亮度。例如,具有最小直径的第一透镜元件101的F数可以是2.2,第二透镜元件102的F数可以是1.5,而具有最大直径的第三透镜元件103的F数可以是1.0。可基于透镜元件的F数确定通过透镜元件聚焦的光斑的理论大小。具体地,随着透镜元件的F数减小(即,透镜元件的亮度增加),光斑的大小可减小。因此,通过具有最小F数的第三透镜元件103形成的光斑的大小可能是最小的。
图1c是示出图1a中示出的图像拾取设备100的第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113的大小和像素节距的示图。参照图1c,第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113的大小可彼此不同。在该示例中,第一图像拾取区域111和第二图像拾取区域112具有相同的第一大小,而第三图像拾取区域113具有小于第一大小的第二大小。如上所述,因为第一透镜元件101、第二透镜元件102和第三透镜元件103的焦距彼此相同或相似,所以基于第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113的大小确定视角。在该示例中,通过第一图像拾取区域111和第二图像拾取区域112获得的图像具有相同的第一视角,而通过第三图像拾取区域113获得的图像具有比第一视角小的第二视角。因此,与第一图像拾取区域111和第二图像拾取区域112相比,第三图像拾取区域113提供相对的望远镜的变焦。换言之,第一图像拾取区域111和第二图像拾取区域112提供与相对广的视角对应的第一变焦,而第三图像拾取区域113提供与相对的望远镜的视角对应的第二变焦。因此,图像拾取设备100提供包括第一变焦(广角)和第二变焦(望远镜的角度/远摄角)的变焦功能。
此外,图1c示出像素121、像素122和像素123,像素121、像素122和像素123分别是以相同的放大倍率放大的第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113的相同尺寸的部分。如图1c所示,第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113具有彼此不同的像素节距。在该示例中,第一图像拾取区域111具有第一像素节距,第二图像拾取区域112具有小于第一像素节距的第二像素节距,而第三图像拾取区域113具有小于第二像素节距的第三像素节距。换言之,随着分别与第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113对应的第一透镜元件101、第二透镜元件102和第三透镜元件103的F数(或直径)增大,第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113的像素节距减小。此外,随着分别与第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113对应的第一透镜元件101、第二透镜元件102和第三透镜元件103的F数(或直径)减小,第一图像拾取区域111、第二图像拾取区域112和第三图像拾取区域113的像素节距增大。例如,与具有最大的F数的第一透镜元件101对应的第一图像拾取区域111的第一像素节距是最大的,而与具有最小的F数的第三透镜元件103对应的第三图像拾取区域113的第三节距是最小的。
图像的分辨率可以是与光学系统的调制传递函数(MTF)和像素的频率响应特性成比例的,其中,MTF随着光学系统的F数减小而增加。因此,可通过减小光学系统的F数来提高图像的分辨率。然而,即使光斑的大小减小,如果像素节距太大,则像素的响应特性也可能劣化,并因此不会提高图像分辨率。因此,当像素节距与光斑的减小一致地减小时,可提高图像分辨率。
根据示例性实施例,通过具有最小的F数的第三透镜元件103形成的光斑可具有最小的大小,而通过具有最大的F数的第一透镜元件101形成的光斑可具有最大的大小。此外,与具有最大的F数的第一透镜元件101对应的第一图像拾取区域111具有最大的像素节距,而与具有最小的F数的第三透镜元件103对应的第三图像拾取区域113具有最小的像素节距。作为结果,通过第三透镜元件103和第三图像拾取区域113形成的图像可具有最高的分辨率,而通过第一透镜元件101和第一图像拾取区域111形成的图像可具有最低的分辨率。如上所述,第三透镜元件103和第三图像拾取区域113用作望远镜变焦。因此,可通过提高由第三透镜元件103和第三图像拾取区域113形成的图像的分辨率来提高具有窄视角的图像的质量。因此,在没有具有可变焦距的光学系统的情况下,图像拾取设备100可提供在广角度变焦与望远镜变焦之间切换时不造成图像质量劣化的变焦功能。
与此同时,因为第一图像拾取区域111和第二图像拾取区域112具有相同的大小,所以通过第一图像拾取区域111和第二图像拾取区域112分别获得的第一图像和第二图像具有相同的视角,并且由于第一透镜元件101与第二透镜元件102的位置之间的不同而获得视差效应。因此,图像拾取设备100可通过使用具有相同的视角的第一图像和第二图像以及视差效应来提取深度信息。换言之,第一透镜元件101和第一图像拾取区域111的组以及第二透镜元件102和第二图像拾取区域112的组可用作立体相机。此外,可通过使用经由第三图像拾取区域113获得的高分辨率第三图像来提取更精确的深度信息。例如,因为第一图像的中心和第二图像的中心可对应于具有窄视角的第三图像,所以通过使用具有高于第一图像的分辨率的分辨率的第二图像的中心部分和第三图像可提取针对中心视角的深度信息,而通过使用第一图像的外围部分和第二图像的外围部分可提取针对外围视角的深度信息。
此外,因为第二图像具有与第一图像相同的视角并具有比第一图像更高的分辨率,所以图像拾取设备100可选择和显示第二图像以将第一变焦的图像显示给用户。另一方面,因为第三图像具有比第二图像高的分辨率并具有比第二图像窄的视角,所以图像拾取设备100可将第二图像的对应于第三图像的中心部分替换为第三图像,并将修改的图像显示给用户作为第一变焦的图像。此外,图像拾取设备100可通过信号处理来提供第一变焦与第二变焦之间的数码变焦。这里,为了提供第一变焦与第二变焦之间的平滑数码变焦,可使用具有相对高的分辨率的第二图像和第三图像。
如上所述,图像拾取设备100可同时地获得具有不同视角的多个图像。因此,可在不增加图像拾取设备100的厚度的情况下,实施光学变焦功能。此外,可针对具有窄视角的图像获得高分辨率。
虽然上面描述了在图1a至图1c中示出的示例性实施例中图像拾取设备100包括三个透镜元件101、102和103以及三个图像拾取区域111、112和113,但它仅仅是个示例,并且发明构思不限于此。例如,可以以各种方式来放置两个透镜元件和两个图像拾取区域,或者四个或更多个透镜元件以及四个或更多个图像拾取区域。此外,透镜元件的直径、图像拾取区域的大小和图像拾取区域的像素节距可随着场合需要而变化。虽然下面描述了各种示例性实施例,但是本发明构思不限于下面描述的示例性实施例。
图2a是示出根据另一示例性实施例的图像拾取设备200的结构的示意图,图2b是示出图2a中示出的图像拾取设备200的第一透镜元件201、第二透镜元件202和第三透镜元件203以及第一图像拾取区域211、第二图像拾取区域212和第三图像拾取区域213的布置的示意示图,图2c是示出图2a中示出的图像拾取设备200的第一图像拾取区域211、第二图像拾取区域212和第三图像拾取区域213的大小和像素节距的示图。
参照图2a,图像拾取设备200包括具有第一直径的第一透镜元件201、具有第一直径的第二透镜元件202和具有第二直径的第三透镜元件203。换言之,第一透镜元件201和第二透镜元件202具有相同的直径,而第三透镜元件203具有比第一透镜元件201和第二透镜元件202的直径大的直径。因此,由于第三透镜元件203具有最小的F数,所以通过第三透镜元件203形成的光斑具有最小的尺寸。此外,当从图像拾取设备200的后面、前面或表面观察时,第一透镜元件201、第二透镜元件202和第三透镜元件203沿水平方向成直线地被布置。在该示例中,第三透镜元件203被放置在左侧,第一透镜元件201被放置在中心,而第二透镜元件202被放置在右侧。
参照图2b和图2c,分别与第一透镜元件201、第二透镜元件202和第三透镜元件203对应的第一图像拾取区域211、第二图像拾取区域212和第三图像拾取区域213被布置。第一图像拾取区域211、第二图像拾取区域212和第三图像拾取区域213可分别包括彼此物理分离的单独的图像传感器。在该示例中,第一图像拾取区域211和第二图像拾取区域212具有相同的第一大小,而第三图像拾取区域213具有小于第一大小的第二大小。因此,通过第一图像拾取区域211和第二图像拾取区域212获得的图像具有相同的第一视角,而通过第三图像拾取区域213获得的图像具有窄于第一视角的第二视角。
此外,参照图2c中示出的像素221、像素222和像素223,第一图像拾取区域211和第二图像拾取区域212具有相同的第一像素节距,而第三图像拾取区域213具有小于第一像素节距的第二像素节距。因此,通过第一图像拾取区域211和第二图像拾取区域212获得的图像具有比通过第三图像拾取区域213获得的图像低的分辨率。然而,可通过使用分辨率提高技术(例如,超分辨率)来提高通过第一图像拾取区域211和第二图像拾取区域212获得的图像的分辨率。例如,可通过合成分别通过第一图像拾取区域211和第二图像拾取区域212获得的两个图像来生成具有提高的分辨率的单个图像。通过使用超分辨率技术,当执行用于生成具有第一视角与第二视角之间的视角的图像的数码变焦功能时,可平滑地处理图像。图像拾取设备200的其他操作和功能可等同于上面参照图1a至1c描述的操作和功能。
图3a是示出根据另一示例性实施例的图像拾取设备300的结构的示意图,图3b是示出图3a中示出的图像拾取设备300的第一透镜元件301、第二透镜元件302和第三透镜元件303以及第一图像拾取区域311、第二图像拾取区域312和第三图像拾取区域313的布置的示意性剖面图,而图3c是示出图3a中示出的图像拾取设备300的第一图像拾取区域311、第二图像拾取区域312和第三图像拾取区域313的大小和像素节距的示图。
参照图3a,图像拾取设备300包括具有第一直径的第一透镜元件301、具有第一直径的第二透镜元件302和具有第二直径的第三透镜元件303。换言之,第一透镜元件301和第二透镜元件302具有相同的直径,而第三透镜元件303具有比第一透镜元件301和第二透镜元件302的直径大的直径。因此,由于第三透镜元件303具有最小的F数,所以通过第三透镜元件303形成的光斑具有最小的尺寸。此外,当从图像拾取设备300的后面、前面或表面观察时,第一透镜元件301、第二透镜元件302和第三透镜元件303沿水平方向成直线地被放置。在该示例中,第一透镜元件301被放置在左侧,第三透镜元件303被放置在中心,而第二透镜元件302被放置右侧。
参照图3b和图3c,分别与第一透镜元件301、第二透镜元件302和第三透镜元件303对应的第一图像拾取区域311、第二图像拾取区域312和第三图像拾取区域313被布置。第一图像拾取区域311、第二图像拾取区域312和第三图像拾取区域313可具有彼此不同的大小和像素节距。在该示例中,第一图像拾取区域311和第二图像拾取区域312具有相同的第一尺寸,而第三图像拾取区域313具有小于第一尺寸的第二尺寸。因此,通过第一图像拾取区域311和第二图像拾取区域312获得的图像具有相同的第一视角,而通过第三图像拾取区域313获得的图像具有比第一视角窄的第二视角。此外,参照图3c中示出的像素321、像素322和像素323,第一图像拾取区域311和第二图像拾取区域312具有相同的第一像素节距,而第三图像拾取区域313具有小于第一像素节距的第二像素节距。因此,通过第三图像拾取区域313获得的图像具有比通过第一图像拾取区域311和第二图像拾取区域312获得的图像高的分辨率。
图3a中示出的图像拾取设备300具有与图2a中示出的图像拾取设备200的结构类似的结构,其中,图像拾取设备300的第一透镜元件301、第二透镜元件302和第三透镜元件303的位置以及第一图像拾取区域311、第二图像拾取区域312和第三图像拾取区域313的位置不同于图像拾取设备200的第一透镜元件201、第二透镜元件202和第三透镜元件203的位置以及第一图像拾取区域211、第二图像拾取区域212和第三图像拾取区域213的位置。例如,第三透镜元件303被布置在中心,而第一透镜元件301和第二透镜元件302被布置在第三透镜元件303的两侧。因此,与图2a中示出的示例性实施例相比,第一透镜元件301与第二透镜元件302之间的距离更大,并因此视差可增加。作为结果,可提高深度信息的分辨率和精度。
图4a是示出根据另一示例性实施例的图像拾取设备400的结构的示意图,图4b是示出图4a中示出的图像拾取设备400的第一透镜元件401、第二透镜元件402和第三透镜元件403以及第一图像拾取区域411、第二图像拾取区域412和第三图像拾取区域413的布置的示意剖面图,而图4c是示出图4a中示出的图像拾取设备400的第一图像拾取区域411、第二图像拾取区域412和第三图像拾取区域413的大小的示图。
参照图4a,图像拾取设备400包括具有第一直径的第一透镜元件401、具有第一直径的第二透镜元件402和具有第二直径的第三透镜元件403。换言之,第一透镜元件401和第二透镜元件402具有相同的直径,而第三透镜元件403具有比第一透镜元件401和第二透镜元件402的直径大的直径。因此,由于第三透镜元件403具有最小的F数,所以通过第三透镜元件403形成的光斑具有最小的大小。此外,当从图像拾取设备400的后面、前面或表面观察时,第一透镜元件401、第二透镜元件402和第三透镜元件403沿水平方向成直线地被放置。在该示例中,第一透镜元件401被布置在左侧,第三透镜元件403被布置在中心,而第二透镜元件402被布置在右侧。
参照图4b和图4c,分别与第一透镜元件401、第二透镜元件402和第三透镜元件403对应的第一图像拾取区域411、第二图像拾取区域412和第三图像拾取区域413被布置。这里,第一图像拾取区域411、第二图像拾取区域412和第三图像拾取区域413是单个图像传感器410中的逻辑分割的区域。例如,如图4c所示,在单个图像传感器410中,第一图像拾取区域411是被划分为检测通过第一透镜元件401聚集的光束的区域,第二图像拾取区域412是被划分为检测通过第二透镜元件402聚集的光束的区域,而第三图像拾取区域413是被划分为检测通过第三透镜元件403聚集的光束的区域。在这种情况下,第一图像拾取区域411、第二图像拾取区域412和第三图像拾取区域413可具有相同的像素节距。
第一图像拾取区域411、第二图像拾取区域412和第三图像拾取区域413可具有彼此不同的大小。在该示例中,第一图像拾取区域411和第二图像拾取区域412具有相同的第一大小,而第三图像拾取区域413具有小于第一大小的第二大小。为此,基于预设坐标,图像拾取设备400的图像处理单元可将图像传感器410中的像素分割成第一图像拾取区域411、第二图像拾取区域412和第三图像拾取区域413以及虚拟区域。此外,图像处理单元可通过仅使用经由第一图像拾取区域411生成的信号来生成第一图像,通过仅使用经由第二图像拾取区域412生成的信号来生成第二图像,通过仅使用经由第三图像拾取区域413生成的信号来生成第三图像,并忽略由虚拟区域生成的信号。
根据示例性实施例,由于单个图像传感器410被用于第一透镜元件401、第二透镜元件402和第三透镜元件403,而不是使用多个单独的图像传感器,可简化装配工艺,并可降低制造成本。上面参照图4a至图4c描述的单个图像传感器410的结构也可应用到其他示例性实施例。
图5a是示出根据另一示例性实施例的图像拾取设备500的结构的示意图,图5b是示出图5a中示出的图像拾取设备500的第一透镜元件501、第二透镜元件502、第三透镜元件503、第四透镜元件504和第五透镜元件505以及第一图像拾取区域511、第二图像拾取区域512、第三图像拾取区域513、第四图像拾取区域514和第五图像拾取区域515的布置的示意性剖面图,而图5c是示出图5a中示出的图像拾取设备500的第一图像拾取区域511、第二图像拾取区域512、第三图像拾取区域513、第四图像拾取区域514和第五图像拾取区域515的大小和像素节距的示图。
参照图5a,图像拾取设备500包括具有第一直径的第一透镜元件501、具有大于第一直径的第二直径的第二透镜元件502、具有第二直径的第三透镜元件503、具有大于第二直径的第三直径的第四透镜元件504和具有第三直径的第五透镜元件505。换言之,第一透镜元件501具有最小的直径。此外,第二透镜元件502和第三透镜元件503具有比第一透镜元件501的直径大的直径,而第四透镜元件504和第五透镜元件505具有最大的直径。因此,第一透镜元件501具有最大的F数,而第四透镜元件504和第五透镜元件505具有最小的F数。当从图像拾取设备500的后面、前面或表面观察时,第一透镜元件501、第二透镜元件502、第三透镜元件503、第四透镜元件504和第五透镜元件505沿水平方向成直线地被放置。在该示例中,第一透镜元件501被布置在中心,第二透镜元件502和第三透镜元件503被布置在第一透镜元件501的两侧,而第四透镜元件504和第五透镜元件505分别被布置在左端和右端。
参照图5b和图5c,分别与第一透镜元件501、第二透镜元件502、第三透镜元件503、第四透镜元件504和第五透镜元件505对应的第一图像拾取区域511、第二图像拾取区域512、第三图像拾取区域513、第四图像拾取区域514和第五图像拾取区域515被布置。第一图像拾取区域511、第二图像拾取区域512、第三图像拾取区域513、第四图像拾取区域514和第五图像拾取区域515可具有彼此不同的大小和像素节距。在该示例中,第一图像拾取区域511、第二图像拾取区域512和第三图像拾取区域513具有相同的第一大小,而第四图像拾取区域514和第五图像拾取区域515具有小于第一大小的第二大小。因此,通过第一图像拾取区域511、第二图像拾取区域512和第三图像拾取区域513获得的图像具有相同的第一视角,而通过第四图像拾取区域514和第五图像拾取区域515获得的图像具有比第一视角窄的第二视角。
此外,参照图5c中示出的像素521、像素522、像素523、像素524和像素525,第一图像拾取区域511具有第一像素节距,第二图像拾取区域512和第三图像拾取区域513具有小于第一像素节距的第二像素节距,而第四图像拾取区域514和第五图像拾取区域515具有小于第二像素节距的第三像素节距。因此,通过第二图像拾取区域512和第三图像拾取区域513获得的图像具有比通过第一图像拾取区域511获得的图像高的分辨率,而通过第四图像拾取区域514和第五图像拾取区域515获得的图像具有比通过第二图像拾取区域512和第三图像拾取区域513获得的图像高的分辨率。
在上述的结构中,可通过第一透镜元件501和第一图像拾取区域511提供具有第一视角的图像,可通过第二透镜元件502和第三透镜元件503以及第二图像拾取区域512和第三图像拾取区域513提供具有第一视角的图像,并可通过第四透镜元件504和第五透镜元件505以及第四图像拾取区域514和第五图像拾取区域515提供具有第二视角的图像。此外,可通过使用经由第二透镜元件502和第三透镜元件503以及第二图像拾取区域512和第三图像拾取区域513分别获得的两个图像来提取具有第一视角的图像的深度信息,并可通过使用经由第四透镜元件504和第五透镜元件505以及第四图像拾取区域514和第五图像拾取区域515分别获得的两个图像来提取具有第二视角的图像的深度信息。
由于深度信息的精度可随着图像拾取设备500与对象之间的距离增加而劣化,所以提供望远镜变焦的第四透镜元件504和第五透镜元件505被布置在最外面的位置,使得第四透镜元件504和第五透镜元件505之间的距离是最大的。作为结果,通过第四透镜元件504和第五透镜元件505获得两个图像之间的视差可增加,并因此可补偿深度信息的精度的劣化。
此外,由于通过第一图像拾取区域511获得的图像与通过第二图像拾取区域512和第三图像拾取区域513获得的图像具有相同的视角,所以可将通过第二图像拾取区域512和第三图像拾取区域513提取的深度信息应用到通过第一图像拾取区域511获得的图像。或者,可通过使用经由第一图像拾取区域511、第二图像拾取区域512和第三图像拾取区域513提取的三个图像的全部来提取深度信息。或者,可通过使用经由第一图像拾取区域511获得的图像和经由第二图像拾取区域512获得的图像来提取深度信息,并可同时通过使用经由第二图像拾取区域512获得的图像和经由第三图像拾取区域513获得的图像来提取深度信息。
在图5a至图5c中示出的图像拾取设备500中,可根据场合要求而省去或修改一些组件。例如,可去除第二透镜元件502和第三透镜元件503以及第二图像拾取区域512和第三图像拾取区域513,或者可去除第四透镜元件504和第五透镜元件505以及第四图像拾取区域514和第五图像拾取区域515。在这种情况下,图像拾取设备500可包括对称布置的三个透镜元件和三个图像拾取区域。这里,为了深度信息提取的方便,三个图像拾取区域可具有相同的大小。或者,第一图像拾取区域511、第二图像拾取区域512和第三图像拾取区域513可具有相同的像素节距,并且第一透镜元件501、第二透镜元502和第三透镜元件503可具有相同的直径。作为结果,可通过使用像超分辨率的分辨率提高技术来提高图像的分辨率,并也可提高深度信息的精度。
图6a是示出根据另一示例性实施例的图像拾取设备600的结构的示意图,图6b是示出图6a中示出的图像拾取设备600的第一图像拾取区域611、第二图像拾取区域612、第三图像拾取区域613、第四图像拾取区域614、第五图像拾取区域615、第六图像拾取区域616、第七图像拾取区域617、第八图像拾取区域618和第九图像拾取区域619的示例的示图,图6c是示出图6a中示出的图像拾取设备600的第一图像拾取区域611、第二图像拾取区域612、第三图像拾取区域613、第四图像拾取区域614、第五图像拾取区域615、第六图像拾取区域616、第七图像拾取区域617、第八图像拾取区域618和第九图像拾取区域619的另一示例的示图。
参照图6a,图像拾取设备600包括具有第一直径的第一透镜元件601、具有大于第一直径的第二直径的第二透镜元件602至第五透镜元件605、具有大于第二直径的第三直径的第六透镜元件606至第九透镜元件609。换言之,第一透镜元件601具有最小的直径。此外,第二透镜元件602至第五透镜元件605具有比第一透镜元件601的直径大的相同的直径,而第六透镜元件606至第九透镜元件609具有最大的直径。因此,第一透镜元件601具有最大的F数,而第六透镜元件606至第九透镜元件609具有最小的F数。
当从图像拾取设备600的后面、前面或表面观察时,第一透镜元件601至第九透镜元件609沿水平方向和垂直方向被二维放置。在该示例中,第二透镜元件602至第五透镜元件605在第一透镜元件601的周围沿水平方向和垂直方向被布置,而第六透镜元件606至第九透镜元件609在第一透镜元件601的周围沿着对角线方向被布置。换言之,第六透镜元件606至第九透镜元件609分别被布置在图像拾取设备的后面、前面或表面上的四边形的四个顶点上,第二透镜元件602至第五透镜元件605分别被布置在四边形的四边的中点,而第一透镜元件601被放置在四边形的中心。
此外,参照图6b,分别与第一透镜元件601至第九透镜元件609对应的第一图像拾取区域611至第九图像拾取区域619被布置。第一图像拾取区域611至第九图像拾取区域619可具有彼此不同的大小和像素节距。在该示例中,第一图像拾取区域611至第五图像拾取区域615具有相同的第一大小,而第六图像拾取区域616至第九图像拾取区域619具有小于第一大小的第二大小。因此,通过第一图像拾取区域611至第五图像拾取区域615获得的图像具有相同的第一视角,而通过第六图像拾取区域616至第九图像拾取区域619获得的图像具有窄于第一视角的第二视角。虽然未示出,但是第一图像拾取区域611至第五图像拾取区域615可具有第一像素节距,而第六图像拾取区域616至第九图像拾取区域619可具有小于第一像素节距的第二像素节距。
图6b示出第一图像拾取区域611至第九图像拾取区域619分别包括单独的图像传感器的示例。参照图6c,第一图像拾取区域611至第九图像拾取区域619是单个图像传感器610中的被逻辑地划分的区域。在这种情况下,第一图像拾取区域611至第五图像拾取区域615具有相同的第一大小,而第六图像拾取区域616至第九图像拾取区域619具有小于第一大小的相同的第二大小。虽然未示出,但是第一图像拾取区域611可具有第一像素节距,第二图像拾取区域612至第五图像拾取区域615可具有小于第一像素节距的相同的第二像素节距,而第六图像拾取区域616至第九图像拾取区域619可具有小于第二像素节距的相同的第三像素节距。
在上述的结构中,成对的第二透镜元件602至第五透镜元件605和成对的第六透镜元件606至第九透镜元件609不仅具有水平视差,还具有垂直视差。因此,可不仅在水平方向上提取深度信息,也可在垂直方向上提取深度信息。这里,第六透镜元件606至第九透镜元件609被放置在最外面的位置,使得提供望远镜变焦功能的第六透镜元件606至第九透镜元件609之间的距离是最大的。此外,可通过使用超分辨率技术来提高经由第一图像拾取区域611至第五图像拾取区域615获得的具有第一视角的五个图像的分辨率,并可通过使用超分辨率技术来提高经由第六图像拾取区域616至第九图像拾取区域619获得的具有第二视角的四个图像的分辨率。此外,通过使用超分辨率技术,当执行用于生成具有第一视角与第二视角之间的视角的图像的数码变焦功能时,可平滑处理图像。
图7是示出根据另一示例性实施例的图像拾取设备700的结构的示意图。参照图7,图像拾取设备700包括具有第一直径的第一透镜元件701、第二透镜元件702和第三透镜元件703以及具有大于第一直径的第二直径的第四透镜元件704和第五透镜元件705。因此,第一透镜元件701、第二透镜元件702和第三透镜元件703具有相同的F数,而第四透镜元件704和第五透镜元件705具有相同的F数。第四透镜元件704和第五透镜元件705的F数小于第一透镜元件701、第二透镜元件702和第三透镜元件703的F数。虽然未示出,但是与上述的示例性实施例相同,与第一透镜元件701、第二透镜元件702和第三透镜元件703分别对应的图像拾取区域的大小可大于与第四透镜元件704和第五透镜元件705分别对应的图像拾取区域的大小。
根据示例性实施例,当从图像拾取设备700的后面、前面或表面观察时,第一透镜元件701、第二透镜元件702和第三透镜元件703沿水平方向(第一方向)被成直线地放置,而第四透镜元件704和第五透镜元件705沿垂直方向(垂直于第一方向的第二方向)被成直线地放置。在该示例中,第四透镜元件704被布置在第一透镜元件701、第二透镜元件702和第三透镜元件703的下面,而第五透镜元件705被布置在第一透镜元件701、第二透镜元件702和第三透镜元件703的上面。
在上述的结构中,由于第一透镜元件701、第二透镜元件702和第三透镜元件703具有水平方向上的视差,所以可通过使用经由第一透镜元件701、第二透镜元件702和第三透镜元件703获得的三个图像来提取水平方向上的深度信息。此外,由于第四透镜元件704和第五透镜元件705具有垂直方向上的视差,所以可通过使用经由第四透镜元件704和第五透镜元件705获得的两个图像来提取垂直方向上的深度信息。
此外,可通过第一透镜元件701、第二透镜元件702和第三透镜元件703获得具有第一视角的图像,而可通过第四透镜元件704和第五透镜元件705获得具有窄于第一视角的第二视角的图像。这里,可通过使用超分辨率技术来提高经由第一透镜元件701、第二透镜元件702和第三透镜元件703获得的具有第一视角的三个图像的分辨率,并可通过使用超分辨率技术来提高经由第四透镜元件704和第五透镜元件705获得的具有第二视角的两个图像的分辨率。通过使用超分辨率技术,当执行用于生成具有第一视角与第二视角之间的视角的图像的数码变焦功能时,可平滑处理图像。
需理解,这里描述的示例性实施例应只被视为描述性意义,而不是限制的目的。每个示例性实施例内的特征或方面的描述通常应该被认为可用于其他示例性实施例的其他类似的特征或方面。
虽然已经参照附图对一个或多个示例性实施例进行了描述,但是本领域技术的人员将理解,在不脱离由上面的权利要求所限定的精神和范围的情况下,可对其做出形式和细节上的各种改变。
Claims (15)
1.一种图像拾取设备,包括:
多个透镜元件;和
多个图像拾取区域,分别与所述多个透镜元件对应地布置,
其中,所述多个透镜元件中的至少两个透镜元件具有不同的直径,
所述多个图像拾取区域中的至少两个图像拾取区域具有不同的尺寸,
所述多个图像拾取区域中的最小图像拾取区域相对于所述多个透镜元件中的具有最大直径的透镜元件被布置,其中,所述最小图像拾取区域具有所述多个图像拾取区域的尺寸中的最小的尺寸,
所述多个图像拾取区域中的最大图像拾取区域相对于所述多个透镜元件中的具有最小直径的透镜元件被布置,其中,所述最大图像拾取区域具有所述多个图像拾取区域的尺寸中的最大的尺寸。
2.如权利要求1所述的图像拾取设备,其中,所述多个图像拾取区域包括彼此物理分离的图像传感器。
3.如权利要求1所述的图像拾取设备,其中,所述多个图像拾取区域中的至少两个图像拾取区域具有不同的像素节距,
所述多个图像拾取区域中的图像拾取区域的像素节距随着所述多个透镜元件中的相应的透镜元件的直径增加而减小。
4.如权利要求1所述的图像拾取设备,其中,所述多个图像拾取区域是单个图像传感器中的被逻辑划分的多个区域。
5.如权利要求1所述的图像拾取设备,其中,所述多个透镜元件中的至少两个透镜元件被配置为在各自的图像拾取区域上形成具有不同尺寸的光斑。
6.如权利要求1所述的图像拾取设备,其中,图像拾取设备被配置为从通过所述多个透镜元件和各自的图像拾取区域获得的图像提取深度信息。
7.如权利要求1所述的图像拾取设备,其中,所述多个透镜元件中的至少两个透镜元件包括:第一透镜元件,具有第一直径;第二透镜元件,具有大于第一直径的第二直径;和第三透镜元件,具有大于第二直径的第三直径,
所述多个图像拾取区域中的至少两个图像拾取区域包括:第一图像拾取区域,对应于第一透镜元件并具有第一尺寸;第二图像拾取区域,对应于第二透镜元件并具有第一尺寸;第三图像拾取区域,对应于第三透镜元件并具有小于第一尺寸的第二尺寸,
第一图像拾取区域具有第一像素节距,第二图像拾取区域具有小于第一像素节距的第二像素节距,而第三图像拾取区域具有小于第二像素节距的第三像素节距。
8.如权利要求1所述的图像拾取设备,其中,所述多个透镜元件中的至少两个透镜元件包括:第一透镜元件,具有第一直径;第二透镜元件,具有第一直径;和第三透镜元件,具有大于第一直径的第二直径,
所述多个图像拾取区域中的至少两个图像拾取区域包括:第一图像拾取区域,对应于第一透镜元件并具有第一尺寸;第二图像拾取区域,对应于第二透镜元件并具有第一尺寸;和第三图像拾取区域,对应于第三透镜元件并具有小于第一尺寸的第二尺寸,
第一图像拾取区域和第二图像拾取区域具有第一像素节距,而第三图像拾取区域具有小于第一像素节距的第二像素节距。
9.如权利要求8所述的图像拾取设备,其中,当从图像拾取设备的前面或后面观察时,沿水平方向成直线地布置第一透镜元件至第三透镜元件,
第一透镜元件被布置在第二透镜元件与第三透镜元件之间,
第一图像拾取区域被布置在第二图像拾取区域与第三图像拾取区域之间。
10.如权利要求8所述的图像拾取设备,其中,当从图像拾取设备的前面或后面观察时,沿水平方向成直线地布置第一透镜元件至第三透镜元件,
第三透镜元件被布置在第一透镜元件与第二透镜元件之间,
第三图像拾取区域被布置在第一图像拾取区域与第二图像拾取区域之间。
11.如权利要求1所述的图像拾取设备,其中,所述多个透镜元件中的至少两个透镜元件包括:第一透镜元件,具有第一直径;第二透镜元件,具有大于第一直径的第二直径;第三透镜元件,具有第二直径;第四透镜元件,具有大于第二直径的第三直径;和第五透镜元件,具有第三直径,
所述多个图像拾取区域中的至少两个图像拾取区域包括:第一图像拾取区域,对应于第一透镜元件并具有第一尺寸;第二图像拾取区域,对应于第二透镜元件并具有第一尺寸;第三图像拾取区域,对应于第三透镜元件并具有第一尺寸;第四图像拾取区域,对应于第四透镜元件并具有小于第一尺寸的第二尺寸;和第五图像拾取区域,对应于第五透镜元件并具有第二尺寸,
第一图像拾取区域具有第一像素节距,第二图像拾取区域和第三图像拾取区域具有小于第一像素节距的第二像素节距,而第四图像拾取区域和第五图像拾取区域具有小于第二像素节距的第三像素节距。
12.如权利要求11所述的图像拾取设备,其中,当从图像拾取设备的前面或后面观察时,沿水平方向成直线地布置第一透镜元件至第五透镜元件,
第一透镜元件被布置在第二透镜元件与第三透镜元件之间,
第二透镜元件被布置在第一透镜元件与第四透镜元件之间,
第三透镜元件被布置在第一透镜元件与第五透镜元件之间。
13.如权利要求1所述的图像拾取设备,其中,所述多个透镜元件中的至少两个透镜元件包括:第一透镜元件,具有第一直径;第二透镜元件至第五透镜元件,具有大于第一直径的第二直径;和第六透镜元件至第九透镜元件,具有大于第二直径的第三直径,
所述多个图像拾取区域中的至少两个图像拾取区域包括:第一图像拾取区域至第五图像拾取区域,对应于第一透镜元件至第五透镜元件并具有第一尺寸;和第六图像拾取区域至第九图像拾取区域,对应于第六透镜元件至第九透镜元件并具有小于第一尺寸的第二尺寸。
14.如权利要求13所述的图像拾取设备,其中,第六透镜元件至第九透镜元件分别布置在图像拾取设备的表面上的四边形的四个顶点上,
第二透镜元件至第五透镜元件分别布置在四边形的四边的中点,
第一透镜元件布置在四边形的中心。
15.如权利要求1所述的图像拾取设备,其中,所述多个透镜元件中的至少两个透镜元件包括:第一透镜元件至第三透镜元件,具有第一直径;和第四透镜元件和第五透镜元件,具有大于第一直径的第二直径。
其中,当从图像拾取设备的前面或后面观察时,沿第一方向成直线地布置第一透镜元件至第三透镜元件,并沿垂直于第一方向的第二方向成直线地布置第四透镜元件和第五透镜元件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811399434.8A CN109459843B (zh) | 2014-04-23 | 2015-04-21 | 包括具有不同直径的透镜元件的图像拾取设备 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0048873 | 2014-04-23 | ||
KR1020140048873A KR102269599B1 (ko) | 2014-04-23 | 2014-04-23 | 직경이 상이한 렌즈 소자들을 구비하는 촬상 장치 |
PCT/KR2015/003967 WO2015163671A1 (en) | 2014-04-23 | 2015-04-21 | Image pickup apparatus including lens elements having different diameters |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811399434.8A Division CN109459843B (zh) | 2014-04-23 | 2015-04-21 | 包括具有不同直径的透镜元件的图像拾取设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106255913A true CN106255913A (zh) | 2016-12-21 |
CN106255913B CN106255913B (zh) | 2021-12-24 |
Family
ID=54332765
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580021388.6A Active CN106255913B (zh) | 2014-04-23 | 2015-04-21 | 包括具有不同直径的透镜元件的图像拾取设备 |
CN201811399434.8A Active CN109459843B (zh) | 2014-04-23 | 2015-04-21 | 包括具有不同直径的透镜元件的图像拾取设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811399434.8A Active CN109459843B (zh) | 2014-04-23 | 2015-04-21 | 包括具有不同直径的透镜元件的图像拾取设备 |
Country Status (6)
Country | Link |
---|---|
US (3) | US9571705B2 (zh) |
EP (2) | EP3514598B1 (zh) |
KR (1) | KR102269599B1 (zh) |
CN (2) | CN106255913B (zh) |
ES (1) | ES2776367T3 (zh) |
WO (1) | WO2015163671A1 (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105308953A (zh) * | 2013-07-19 | 2016-02-03 | 谷歌技术控股有限责任公司 | 用于捕获图像的不均匀传感器阵列 |
US10591969B2 (en) | 2013-10-25 | 2020-03-17 | Google Technology Holdings LLC | Sensor-based near-field communication authentication |
US9710724B2 (en) | 2014-09-05 | 2017-07-18 | Intel Corporation | Multi-camera device |
US9936129B2 (en) * | 2016-06-15 | 2018-04-03 | Obsidian Sensors, Inc. | Generating high resolution images |
USD827626S1 (en) * | 2016-07-12 | 2018-09-04 | Huawei Technologies Co., Ltd. | Mobile phone |
JP6918409B2 (ja) * | 2017-01-26 | 2021-08-11 | ソニーセミコンダクタソリューションズ株式会社 | カメラモジュールおよびその製造方法、並びに電子機器 |
CN107295256A (zh) | 2017-06-23 | 2017-10-24 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
US11181816B2 (en) * | 2017-11-10 | 2021-11-23 | Denso Corporation | Windshield-mounted camera module |
US10627606B2 (en) | 2017-11-10 | 2020-04-21 | Denso Corporation | Camera module |
US10406995B2 (en) | 2017-11-10 | 2019-09-10 | Denso Corporation | Camera module |
US10661725B2 (en) | 2017-11-10 | 2020-05-26 | Denso Corporation | Camera module |
KR102486425B1 (ko) * | 2018-02-23 | 2023-01-09 | 엘지이노텍 주식회사 | 카메라 모듈 및 그의 초해상도 영상 처리 방법 |
USD920300S1 (en) * | 2018-03-23 | 2021-05-25 | Carl Zeiss Vision International Gmbh | Add-on for a smartphone for smartphone-based photorefraction |
US11375092B2 (en) | 2018-10-04 | 2022-06-28 | Samsung Electronics Co., Ltd. | Image sensor and image sensing method |
US10924667B2 (en) | 2018-10-04 | 2021-02-16 | Samsung Electronics Co., Ltd. | Image sensor and image sensing method |
USD915339S1 (en) * | 2018-12-06 | 2021-04-06 | Lg Electronics Inc. | Mobile phone |
USD915338S1 (en) * | 2019-06-20 | 2021-04-06 | Lg Electronics Inc. | Mobile phone |
CN114845059B (zh) * | 2022-07-06 | 2022-11-18 | 荣耀终端有限公司 | 一种拍摄方法及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005031466A (ja) * | 2003-07-07 | 2005-02-03 | Fujinon Corp | 撮像装置および撮像方法 |
EP2182718A1 (en) * | 2008-10-29 | 2010-05-05 | Weistech Technology Co., Ltd. | Multi-lens image sensor module |
US20130033577A1 (en) * | 2011-08-05 | 2013-02-07 | 3Dv Co. Ltd. | Multi-lens camera with a single image sensor |
CN103051833A (zh) * | 2011-10-12 | 2013-04-17 | 佳能株式会社 | 摄像设备及其制造方法、图像处理装置及图像处理方法 |
CN103268648A (zh) * | 2013-05-30 | 2013-08-28 | 江苏科技大学 | 多镜头广角行车记录仪 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5365597A (en) * | 1993-06-11 | 1994-11-15 | United Parcel Service Of America, Inc. | Method and apparatus for passive autoranging using relaxation |
CA2386560A1 (en) * | 2002-05-15 | 2003-11-15 | Idelix Software Inc. | Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools |
US7227692B2 (en) * | 2003-10-09 | 2007-06-05 | Micron Technology, Inc | Method and apparatus for balancing color response of imagers |
US7511749B2 (en) * | 2003-12-18 | 2009-03-31 | Aptina Imaging Corporation | Color image sensor having imaging element array forming images on respective regions of sensor elements |
WO2006026354A2 (en) * | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
US7206136B2 (en) | 2005-02-18 | 2007-04-17 | Eastman Kodak Company | Digital camera using multiple lenses and image sensors to provide an extended zoom range |
US7236306B2 (en) * | 2005-02-18 | 2007-06-26 | Eastman Kodak Company | Digital camera using an express zooming mode to provide expedited operation over an extended zoom range |
JP4545190B2 (ja) | 2005-03-24 | 2010-09-15 | パナソニック株式会社 | 撮像装置 |
US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
US8824833B2 (en) * | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
JP2009206922A (ja) | 2008-02-28 | 2009-09-10 | Funai Electric Co Ltd | 複眼撮像装置 |
CN101978292A (zh) * | 2008-03-27 | 2011-02-16 | 夏普株式会社 | 光学构件、照明装置、显示装置、电视接收装置以及光学构件的制造方法 |
KR101588877B1 (ko) * | 2008-05-20 | 2016-01-26 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
CN101771816A (zh) * | 2008-12-27 | 2010-07-07 | 鸿富锦精密工业(深圳)有限公司 | 便携式电子装置及成像方法 |
US8542287B2 (en) | 2009-03-19 | 2013-09-24 | Digitaloptics Corporation | Dual sensor camera |
EP2417560B1 (en) * | 2009-04-07 | 2017-11-29 | Nextvision Stabilized Systems Ltd | Video motion compensation and stabilization gimbaled imaging system |
JP5246424B2 (ja) | 2009-05-11 | 2013-07-24 | ソニー株式会社 | 撮像装置 |
CN102404510B (zh) * | 2009-06-16 | 2015-07-01 | 英特尔公司 | 手持装置中的摄像机应用 |
JP5258722B2 (ja) * | 2009-09-24 | 2013-08-07 | 富士フイルム株式会社 | 複眼カメラ及びその制御方法 |
US8648948B2 (en) * | 2009-09-30 | 2014-02-11 | Infrared Newco, Inc. | Imaging systems with multiple imaging pixel types and related methods |
JP4886016B2 (ja) | 2009-10-08 | 2012-02-29 | シャープ株式会社 | 撮像レンズ、撮像モジュール、撮像レンズの製造方法、および、撮像モジュールの製造方法 |
KR101626482B1 (ko) | 2009-10-27 | 2016-06-01 | 엘지전자 주식회사 | 듀얼 렌즈를 가진 촬상장치 및 촬상방법 |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US20140192238A1 (en) * | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
US8478123B2 (en) | 2011-01-25 | 2013-07-02 | Aptina Imaging Corporation | Imaging devices having arrays of image sensors and lenses with multiple aperture sizes |
US8520114B2 (en) * | 2011-06-01 | 2013-08-27 | Global Oled Technology Llc | Apparatus for displaying and sensing images |
US8737830B2 (en) * | 2011-07-25 | 2014-05-27 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Interchangeable zoom lens actuator with auto-focus adjustment |
US8791403B2 (en) | 2012-06-01 | 2014-07-29 | Omnivision Technologies, Inc. | Lens array for partitioned image sensor to focus a single image onto N image sensor regions |
KR20140060760A (ko) * | 2012-11-12 | 2014-05-21 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
CN105579902B (zh) | 2013-09-23 | 2019-06-28 | Lg伊诺特有限公司 | 一种制造相机模块的方法 |
KR102202196B1 (ko) | 2013-09-23 | 2021-01-13 | 엘지이노텍 주식회사 | 카메라 모듈 |
US9426365B2 (en) * | 2013-11-01 | 2016-08-23 | The Lightco Inc. | Image stabilization related methods and apparatus |
US20150146054A1 (en) * | 2013-11-27 | 2015-05-28 | Aptina Imaging Corporation | Image sensors with color filter elements of different sizes |
US9383548B2 (en) * | 2014-06-11 | 2016-07-05 | Olympus Corporation | Image sensor for depth estimation |
-
2014
- 2014-04-23 KR KR1020140048873A patent/KR102269599B1/ko active IP Right Grant
-
2015
- 2015-04-21 CN CN201580021388.6A patent/CN106255913B/zh active Active
- 2015-04-21 CN CN201811399434.8A patent/CN109459843B/zh active Active
- 2015-04-21 EP EP19161753.9A patent/EP3514598B1/en active Active
- 2015-04-21 WO PCT/KR2015/003967 patent/WO2015163671A1/en active Application Filing
- 2015-04-21 EP EP15783604.0A patent/EP3134759B1/en active Active
- 2015-04-21 ES ES15783604T patent/ES2776367T3/es active Active
- 2015-04-23 US US14/694,528 patent/US9571705B2/en active Active
-
2016
- 2016-12-27 US US15/391,101 patent/US10122932B2/en active Active
-
2018
- 2018-09-26 US US16/142,437 patent/US10939043B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005031466A (ja) * | 2003-07-07 | 2005-02-03 | Fujinon Corp | 撮像装置および撮像方法 |
EP2182718A1 (en) * | 2008-10-29 | 2010-05-05 | Weistech Technology Co., Ltd. | Multi-lens image sensor module |
US20130033577A1 (en) * | 2011-08-05 | 2013-02-07 | 3Dv Co. Ltd. | Multi-lens camera with a single image sensor |
CN103051833A (zh) * | 2011-10-12 | 2013-04-17 | 佳能株式会社 | 摄像设备及其制造方法、图像处理装置及图像处理方法 |
CN103268648A (zh) * | 2013-05-30 | 2013-08-28 | 江苏科技大学 | 多镜头广角行车记录仪 |
Also Published As
Publication number | Publication date |
---|---|
US10122932B2 (en) | 2018-11-06 |
WO2015163671A1 (en) | 2015-10-29 |
EP3134759B1 (en) | 2020-02-26 |
EP3134759A1 (en) | 2017-03-01 |
CN109459843A (zh) | 2019-03-12 |
EP3514598A1 (en) | 2019-07-24 |
KR20150122514A (ko) | 2015-11-02 |
KR102269599B1 (ko) | 2021-06-25 |
CN109459843B (zh) | 2021-06-01 |
US20190028652A1 (en) | 2019-01-24 |
US20170111589A1 (en) | 2017-04-20 |
CN106255913B (zh) | 2021-12-24 |
US9571705B2 (en) | 2017-02-14 |
EP3514598B1 (en) | 2021-06-02 |
US10939043B2 (en) | 2021-03-02 |
ES2776367T3 (es) | 2020-07-30 |
EP3134759A4 (en) | 2017-09-13 |
US20150312450A1 (en) | 2015-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106255913A (zh) | 包括具有不同直径的透镜元件的图像拾取设备 | |
AU2014210553B2 (en) | Photographing device and photographing method for taking picture by using a plurality of microlenses | |
WO2018001244A1 (zh) | 基于渐变节距微透镜阵列的集成成像双视3d显示方法及系统 | |
WO2018001243A1 (zh) | 一种宽视角的集成成像双视3d显示装置 | |
TWI527434B (zh) | 利用光場相機產生立體影像的方法及光場相機 | |
US11032531B2 (en) | Mobile device having a 3D display with selectable magnification | |
KR102283423B1 (ko) | 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법 | |
JPWO2013114890A1 (ja) | 撮像装置および測距装置 | |
TW201043017A (en) | Spatial-pixel-offset imaging device | |
JP5584270B2 (ja) | 撮像装置 | |
JP2017500796A5 (zh) | ||
CN205809441U (zh) | 基于渐变节距微透镜阵列的集成成像双视3d显示装置 | |
CN208459701U (zh) | 同视区的无串扰和均匀分辨率双视3d显示装置 | |
JP7308045B2 (ja) | 立体画像生成システム、並びに、立体画像生成装置及びそのプログラム | |
CN108761822B (zh) | 同视区的无串扰和均匀分辨率双视3d显示装置及方法 | |
Chen et al. | Panoramic stereo photography based on single-lens with a double-symmetric prism | |
CN108307171A (zh) | 3d电视墙及用于3d电视墙的图像显示方法和装置 | |
JP6234024B2 (ja) | 撮像素子、及び撮像装置 | |
CN207198455U (zh) | 2d及3d视频显微镜 | |
JP2006126542A (ja) | 立体画像表示装置 | |
JP6584898B2 (ja) | 三次元空間内位置検出機能付きディスプレイ | |
JP5840050B2 (ja) | 立体映像撮像装置 | |
JP2005184605A (ja) | 立体画像撮像装置および立体画像表示装置 | |
WO2015125744A1 (ja) | 測距装置および測距方法 | |
TW201212625A (en) | A real-time stereoscopic image display system and image display method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |