CN116671119A - 相机系统、移动设备和操作移动设备用于多焦点成像的方法 - Google Patents
相机系统、移动设备和操作移动设备用于多焦点成像的方法 Download PDFInfo
- Publication number
- CN116671119A CN116671119A CN202180078164.4A CN202180078164A CN116671119A CN 116671119 A CN116671119 A CN 116671119A CN 202180078164 A CN202180078164 A CN 202180078164A CN 116671119 A CN116671119 A CN 116671119A
- Authority
- CN
- China
- Prior art keywords
- image
- focal length
- lens
- focal
- camera system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 description 14
- 238000003491 array Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/676—Bracketing for image capture at varying focusing conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cameras In General (AREA)
- Studio Devices (AREA)
Abstract
在至少一个实施例中,相机系统包括多焦点透镜(100)、图像传感器(200)和图像处理器(300)。该多焦点透镜具有第一焦距(101)和第二焦距(102)。图像处理器(200)设置在多焦点透镜的下游。在操作中,图像传感器根据多焦点透镜的第一焦距和第二焦距生成组合图像(CI)。图像处理器接收组合图像并将组合图像分离为第一焦距的第一图像和第二焦距的第二图像。
Description
技术领域
本公开涉及一种相机系统、一种移动设备和一种操作移动设备用于多焦点成像的方法的各个方面。
本专利申请要求德国专利申请No.102020130873.6的优先权,其公开内容通过引用并入本文。
背景技术
智能手机和平板电脑等现代移动设备都配备了越来越复杂的成像系统。高端系统(例如顶级智能手机)使用不止一个单个相机系统来实现广角、正常和长焦范围。不过,这些系统的价格相当高,因为它们需要为每个焦距范围配备专用的相机系统。这对于顶级产品来说可能不是问题,但对价格较低却用途广泛的移动设备的需求越来越大。
本公开的目的是提供一种相机系统、一种移动设备和一种操作移动设备用于使用单个图像传感器以多个焦距进行多焦点成像的方法。
这些目的通过独立权利要求的主题来实现。在从属权利要求中描述了进一步的发展和实施例。
应当理解,除非描述为替代物,否则与任何一个实施例相关的任意特征可以单独使用,或与本文所述的其它特征结合使用,并且也可以与任何其他实施例的一个或更多个特征结合使用,或与任何其他实施例的任意组合结合使用。此外,在不脱离所附权利要求所定义的相机系统、移动设备和操作移动设备用于多焦点成像的方法的范围的前提下,也可以采用下文未描述的等同物和修改。
发明内容
以下公开内容涉及成像领域的改进构思。该改进构思提出了一种具有多焦点透镜的相机系统,该多焦点透镜具有多个焦距,例如广角和长焦。单个图像传感器生成不同焦距的组合图像。该图像传感器接收覆盖在传感器图像平面上的不同图像。使用数字信号处理将组合图像分离为单焦距图像。
在至少一个实施例中,相机系统包括多焦点透镜、图像传感器和图像处理器。多焦点透镜具有第一焦距和第二焦距。图像处理器设置在多焦点透镜的下游。
在操作中,图像传感器根据多焦点透镜的第一焦距和第二焦距生成组合图像。图像处理器接收组合图像并将组合图像分离为第一焦距的第一图像和第二焦距的第二图像。
例如,在现有技术解决方案中(例如在高端移动电话中),使用专用的相机系统来实现广角、正常和长焦范围。不过,所提出的构思允许仅使用单个相机系统进行组合成像。所提出的仅具有单个图像传感器的单相机系统给出与更昂贵的多传感器相机系统相似的结果。因此,对专用相机系统的需求得以减少,例如,双焦点透镜减少了两倍,三焦点透镜减少了三倍,依此类推。所提出的相机系统能用于移动电话相机,也能用于具有固定透镜结构的即时相机。
在至少一个实施例中,多焦点透镜包括同心透镜。同心透镜包括曲率中心重合的至少两个表面。至少两个表面分别具有第一焦距和/或第二焦距。
同心透镜提供了一种方便且相对容易制造的多焦点透镜。例如,衍射透镜在透镜表面之一上采用紧密间隔的同心环,以将入射光分成多个光束。对于第一焦距(例如广角),光束可以在光轴上的预定点处同相相加,而透镜的整体曲率提供第二焦距(例如长焦),反之亦然。环间距和数量及它们的台阶高度能调整到所需的焦距范围。折射透镜是可选的同心透镜,其利用不同光学功率的区域为单个透镜提供不同的焦距。例如,设计包括双焦点透镜,它同时呈现两个图像。此外,还有多个交替距离的环形区域。
在至少一个实施例中,多焦点透镜包括非球面透镜。非球面透镜具有至少包括第一部分和第二部分的表面轮廓。第一部分确定第一焦距并且第二部分确定第二焦距。非球面表面轮廓能够以相对大的自由度进行调整。这可能会使制造变得更复杂。
在至少一个实施例中,多焦点透镜包括分段透镜。分段透镜包括第一分段和第二分段。第一分段确定第一焦距并且第二分段确定第二焦距。分段透镜的段能够以相对大的自由度进行调整。这可能会使制造变得更复杂。
在至少一个实施例中,多焦点透镜被设置为双曲率透镜复合体或混合双焦点透镜。示例包括双焦点凸透镜和多焦点菲涅耳透镜。这些类型能够被认为是同心透镜的使其自身的制造具有成本效益的特殊形式。
在至少一个实施例中,多焦点透镜被设置为相机透镜。作为相机透镜实现的单个多焦点可能就足以在图像传感器处创建组合图像。这种情况能够与采用固定或可互换相机透镜的常规相机进行比较。相机透镜可以包括作为多焦点透镜的单个透镜或者多个光学透镜元件的系统。这些元件提供多个焦点,但也可以对相机系统进行补充以校正光学像差。
在至少一个实施例中,多焦点透镜包括至少一个微透镜,并且被设置在图像传感器上。能够采用相当紧凑的设计来制造与图像传感器组合的微透镜。这对于通常需要与共享的有限空间的附加功能电子器件组装在一起的或小型的移动设备可能是有益的。
在至少一个实施例中,多焦点透镜被配置成微透镜的阵列。阵列中的每个微透镜至少具有第一焦距和第二焦距。每个微透镜被设置在图像传感器的相应像素或像素组上。由于微透镜具有不止一个焦距,因此它们以每个像素或每个像素组为基础生成组合图像。例如,图像处理器通过专门的图像处理来分离组合图像。这允许使用图像传感器的全分辨率。
在至少一个实施例中,多焦点透镜被配置成微透镜的阵列。阵列中的微透镜具有第一焦距或第二焦距。每个微透镜被布置在图像传感器的相应像素或像素组上。阵列的这种实施方式允许将图像传感器划分为不同的子阵列,例如第一子阵列和第二子阵列。一个图像聚焦在一个子阵列(例如第一子阵列)上,另一个图像聚焦在另一个像素子阵列(例如第二子阵列)上。这样,将组合图像分离成单独的图像(例如根据第一焦距的第一图像和根据第二焦距的第二图像)可能就变成读出子阵列的问题。然而,这样采用了图像传感器的较低分辨率,例如半分辨率。
在至少一个实施例中,图像传感器将组合图像生成为组合彩色图像。此外,或者替代地,图像传感器可操作来进行数字信号处理以分离组合图像。
在至少一个实施例中,多焦点透镜至少具有第三焦距。图像传感器可操作以生成至少根据第一焦距、第二焦距和第三焦距的组合图像。最后,图像传感器还可操作以将组合图像至少分离为第一焦距的第一图像和第二焦距的第二图像以及第三焦距的第三图像。
在至少一个实施例中,移动设备包括根据上文讨论的一个或更多个方面的相机系统。此外,移动设备包括主机系统。主机系统包括智能手机、平板电脑、照相机或摄像机。任何类型的静态相机或摄像机都能用作主机系统。然而,对于摄像机来说,信号处理工作量相当大,但可以离线执行,例如通过下载视频并在外部计算机上进行后续处理。
在至少一个实施例中,操作移动设备用于多焦点成像的方法包括以下步骤。首先,至少根据第一焦距和第二焦距生成组合图像。使用至少具有第一焦距和第二焦距的多焦点透镜拍摄该组合图像。在多焦点透镜的下游设置图像传感器。利用图像处理器,接收组合信号并将其至少分离成第一焦距的第一图像和第二焦距的第二图像。
在至少一个实施例中,组合图像被重新设置成至少一个一维图像。然后使用盲信号分离算法根据第一焦距和第二焦距将该一维图像分割成子图像。最后,将第一焦距的子图像和第二一维子图像重新组合成第一焦距的第一图像和第二焦距的第二图像。
在至少一个实施例中,图像传感器将组合图像生成为组合彩色图像。根据图像传感器的颜色通道将组合图像重新设置成一维图像。根据所述颜色通道进行通过盲分离算法分割为子图像。最后,根据第一焦距和第二焦距对子图像进行重新组合以生成彩色图像。
从相机系统和移动设备的各种实施方式和实施例中可以很容易推导出该方法的其他实施方式,反之亦然。
以下对示例实施例的附图的描述可以进一步说明和解释该改进构思的各个方面。具有相同结构和相同效果的部件和零件分别以等效的附图标记显示。只要部件和零件在不同图中的功能彼此对应,在随后的附图中不必再对每个图进行重复描述。
附图说明
在附图中:
图1A、图1B示出了相机系统的示例实施例,
图2A、图2B示出了多焦点透镜的示例实施例,
图3示出了操作移动设备用于多焦点成像的方法的示例实施例,和
图4示出了多焦点成像的示例结果。
具体实施方式
图1A和图1B示出了相机系统的示例实施例。下文所描述的相机系统包括多焦点透镜100和设置在多焦点透镜下游的图像传感器200。此外,该相机系统包括图像处理器300。
本实施例中的多焦点透镜100具有第一焦距101和第二焦距102。在其它实施例中,甚至可以有更多的焦距。通常,多焦点透镜能够被认为是将光线分成多个焦点的透镜。图1A和图1B中的多焦点透镜可以认为是可能实现的表示。例如,多焦点透镜能实现为相机透镜。这样,多焦点透镜被布置成根据第一焦距101和第二焦距102聚焦光线以在图像传感器上形成图像。换言之,相机透镜根据第一焦距101和第二焦距102将光线聚焦到第一焦平面和第二焦平面上。焦平面对应于垂直于透镜光轴的平面,透镜物方视场(object field)中的点的图像聚焦在该焦平面上。
能够根据预期应用的需要来选择第一焦距和第二焦距。例如,第一焦距101能够是广角焦距,而第二焦距能够是长焦焦距。根据图像传感器的尺寸,焦距可能会转化为不同的值。相机系统能够在不同的设备上实现。在智能手机中,传感器尺寸可以为1/2.55英寸至1英寸,静态相机可以具有微型4/3、APS-C、全画幅甚至更大的任何传感器尺寸。由于不同传感器尺寸的广角和长焦焦距不同,因此针对全画幅给出了范围,并且能够将所述范围转换为其他尺寸。在下文中为了进行说明,仅将广角焦距设置为24mm并将长焦焦距设置为70mm。
此外,可能影响多焦点透镜的光学特性的另一个方面是焦深。焦深表示图像平面(例如图像传感器的焦平面)相对于多焦点透镜的放置公差。此处,焦深定义了在一个图像平面保持可接受的清晰聚焦的距离的同时另一个图像平面能够移位的距离。能够选择第一焦距和第二焦距以满足所需的焦深。
图1A和图1B示出了多焦点透镜的两个示例。这两个示例都构成同心透镜。同心透镜包括曲率中心例如与透镜的光轴重合的表面。例如,能够将一个表面设置为具有第一焦距,而将另一个表面设置为具有第二焦距。这个构思可以扩展到两个以上的焦距。
图1A示出了双曲率透镜复合体(compound)。这种多焦点透镜,在某种意义上,构成了两个球面透镜的并置。因此,多焦点透镜包括第一球面透镜部分103和第二球面透镜部分104,它们相对于公共光轴105居中。第一球面透镜部分103具有根据第一焦距的凸曲率。第二球面透镜部分104具有根据第二焦距的凸曲率。所述曲率中心在公共光轴105上重合。综合考虑,所得的多焦点透镜提供了第一焦距和第二焦距。因此,入射光束聚焦到第一焦点106(或第一焦平面)和第二焦点107(或第二焦平面)。
图1B示出了一种混合双焦点透镜。在某种意义上,这种多焦点透镜构成了两个菲涅耳透镜的混合体,或者构成了多焦点菲涅耳透镜108。这种多焦点菲涅耳透镜提供固定目标的多个对焦(in-of-focus)图像和失焦(out-of-focus)图像。多焦点菲涅耳透镜108包括同心环形截面的集合。该集合被进一步分为第一子集和第二子集,它们相对于公共光轴105居中。第一子集构成根据第一焦距的菲涅耳透镜。第二子集构成根据第二焦距的菲涅耳透镜。综合考虑,所得的多焦点菲涅尔透镜108提供了第一焦距和第二焦距。因此,入射光束聚焦到第一焦点106(或第一焦平面)和第二焦点107(或第二焦平面)。
图1A和图1B中的两个实施例是两种可能的示例。其他示例包括非球面透镜或分段透镜。此类透镜可以提供两个或更多个焦距,并且因此能与所提出的相机系统一起使用。例如,非球面透镜具有定义的表面轮廓。通常,此类轮廓也相对于光轴居中。表面轮廓通常表示为曲率半径的函数。为了实现多焦点透镜,该函数(因此,该透镜)可以具有根据第一焦距的第一部分和根据第二焦距的第二部分。因此,入射光束聚焦到第一焦点106(或第一焦平面)和第二焦点107(或第二焦平面)。在另一示例中,多焦点透镜包括分段透镜。分段透镜包括不必相对于公共光轴居中的段。这些段甚至可能具有不同的材料或光学特性,例如折射率。例如,第一分段具有第一焦距,第二分段具有第二焦距。入射光束聚焦到第一焦点106(或第一焦平面)和第二焦点107(或第二焦平面)。
在替代实施例中,多焦点透镜能被实现为,例如微透镜的阵列。通常,微透镜可以是单焦点透镜或多焦点透镜。在多焦点微透镜的情况下,每个微透镜可以以与上面关于相机透镜所讨论的(例如同心透镜、非球面透镜或分段透镜)相同或类似的方式实现。但是,单焦点微透镜可能只有单个焦距。为了实现多焦点透镜,微透镜的阵列可以包括不同焦距的微透镜的不同的组,例如分别具有第一焦距和第二焦距的两个组,以便实现双焦点透镜。
微透镜能够被认为是直径小于1mm甚至小于10um的小透镜。微透镜相对于图像传感器200的像素进行设置。例如,每个微透镜能够与图像传感器的相应像素相关联。微透镜可以与其对应的像素间隔设置或直接设置在其对应像素上。此外,来自阵列的给定微透镜可以实现为具有第一焦距101和第二焦距102二者。然而,阵列还可以包括不同焦距的微透镜,例如第一组微透镜均具有第一焦距,并且第二组微透镜均具有第二焦距。
图像传感器200被设置在多焦点透镜的下游。当场景被捕获时,图像传感器根据第一焦距和第二焦距生成组合图像。该组合图像包括根据第一焦距的第一图像和根据第二焦距的第二图像。例如,第一图像是场景的广角图像(例如,在24mm焦距下),而第二图像是同一场景的长焦图像(例如,在70mm焦距下)。组合图像表示第一图像和第二图像的叠加。为了分离图像,对组合图像进行图像处理,例如DSP处理。在下文中将对此作更详细的讨论。
该处理是在图像处理器300中进行的。图像处理器(例如微处理器、GPU或CPU)可以与图像传感器200一起集成到公共集成电路和/或传感器模块中。集成电路和/或传感器模块可以补充额外的电子器件来控制例如图像捕获和处理的操作。然而,图像处理器300可以至少部分是例如移动设备的外部组件,并且图像处理的全部或部分可以在外部执行。
图2A示出了多焦点透镜的另一示例。该图示出了多焦点透镜的横截面。该透镜包括第一分段401和第二分段402。第二分段402的形状为圆形平凸透镜,圆形平凸透镜以其平面面向图像传感器200。第二分段402确定了第一焦距,例如广角范围。第一分段401的形状为圆形凸凹透镜或平凹透镜,并且布置在第二分段402上。在该实施方式中,第一分段401的形状为平凹透镜并且被布置在第二分段402的背离图像传感器200的表面上。
该实施例构成了凸段和凹段的组合的示例,这些凸段和凹段最终组合以产生多焦点透镜。表面的其他组合和定向也是可能的,通常包括双凸段、平凸段、凹凸段、平凹段和/或双凹段。此外,可能涉及多于两个的段。该透镜结构能扩展到具有m个焦点水平的n个透镜段,其中n=1、2、3、...并且m=1、2、3、...且n≥m。下表列出了一些可能的透镜段与焦点水平的组合。
n | m | 透镜段 | 焦点水平 |
1 | 1 | 1 | 1 |
1 | 2 | 1 | - |
2 | 1 | 2 | 1 |
2 | 2 | 2 | 2 |
4 | 3 | 4 | 3 |
图2B示出了图2A所示的多焦点透镜的俯视图。两个透镜段401、402彼此同心,并且相对于对称轴线403同心。
本实施例的多焦点透镜构成双焦点透镜,其被构造成使得透镜段401(长焦范围)和透镜段402(广角范围)的对焦线在同一焦点水平404中相交。透镜段401的表面与透镜段402的表面之间的距离补偿了不同的焦距。这样,该结构不必考虑焦深,因为第一图像和第二图像都聚焦在同一焦点(或焦平面)上。
图3示出了操作移动设备用于多焦点成像的方法的示例实施例。图像传感器接收根据不同的焦距的组合图像CI。下文所述的方法将组合图像分离为第一焦距的第一图像和第二焦距的第二图像(或者,如果实现为两个以上的焦距,则还分离为其他图像)。该方法能够在图像处理器300上例如通过数字信号处理DSP执行。通常,该处理适用于单色图像或彩色图像。接下来,假设图像传感器生成彩色图像,使得组合图像是多个颜色通道(例如RGB通道)的组合彩色图像。
第一步,根据图像传感器的颜色通道,将组合图像CI分割成多个单色图像。例如,作为第一步的结果,组合图像被分割为红色图像R、绿色图像G、蓝色图像B和灰色图像L。这些分割图像与组合图像具有相同的维度,即这些分割图像是二维图像。
第二步,根据颜色通道将分割图像(即图像RGB和L)重新设置或分割成相应的一维图像,例如表示为分割的红色图像FR、分割的绿色图像FG、分割的蓝色图像FB和分割的灰色图像FL。例如,将单色图像的每个像素并排设置以生成分割后的图像。
第三步,对分割的图像进行盲信号分离算法。例如,该算法根据第一焦距和第二焦距的第二图像处理分割图像,不过能够将该算法扩展到其他的焦距。盲信号分离算法根据已知的鸡尾酒会问题改编,其中必须过滤掉一个声音才能进行对话。该算法的适配涉及基于独立分量分析ICA(independent component analysis)的特征矩阵联合相似对角化JADE(Joint Approximation Diagonalization of Eigen matrices)。
第三步产生对应于根据第一焦距和第二焦距的一维彩色通道图像的切割子图像的集合。例如,分别有根据第一焦距和第二焦距的两个分割的红色子图像FR1和FR2。类似地,分别有根据第一焦距和第二焦距的切割绿色子图像FG1和FG2、切割蓝色子图像FB1和FB2、以及切割灰色子图像FL1和FL2。
第四步,第一焦距的切割子图像和第二焦距的切割子图像根据颜色通道重新组合以生成单色图像。例如,此步骤生成重新组合的第一焦距的红色图像和重新组合的第二焦距的红色图像。类似地,第四步生成重新组合的第一焦距的绿色、蓝色和灰色图像,以及重新组合的第二焦距的绿色、蓝色和灰色图像。这些图像同样是二维的。重新组合的彩色通道图像被组合以生成最终的彩色图像FI1和FI2。最终的彩色图像FI1和FI2分别对应于第一焦距和第二焦距的单个图像。
在另一个实施例(未示出)中,多焦点透镜被配置成微透镜的阵列。阵列中的微透镜具有第一焦距或第二焦距。每个微透镜布置在图像传感器的相应像素或像素组上。此外,图像传感器包括不同的子阵列,例如第一子阵列和第二子阵列。来自第一子阵列的像素与第一焦距的微透镜相关联。来自第二子阵列的像素与第二焦距的微透镜相关联。
这样,一个图像聚焦在第一子阵列上,而另一个图像聚焦在第二子阵列上。将组合图像分离成单独的图像(例如根据第一焦距和第二焦距的第一图像和第二图像)能通过从相应的子阵列中读出像素来实现。然而,采用了图像传感器的较低分辨率,例如半分辨率。
图4示出了多焦点成像在一次软件算法迭代后的示例结果。每次迭代都提升图像分离的质量。该图在左侧显示第一图像,在右侧显示第二图像(例如灰色)。一些实验得出的结果是,挑战在于分离两个彼此相似的图像。如果图像是用大不同的焦距生成,则处理可能会更容易。通常,该程序还能用于在X射线图像扫描后检测其他绘画下方的绘画。
虽然本说明书包含许多细节,但不应将这些细节解释为对本发明范围或可能要求保护的内容的限制,而应将其解释为对特定于本发明的特定实施例的特征的描述。在本说明书的单独实施例中所描述的某些特征也能在单个实施例中组合实现。相反,在单个实施例中所描述的各种特征也能在多个实施例中单独实现或以任何合适的子组合实现。此外,尽管特征可被描述为在某些组合中起作用,甚至最初要求这样,但在某些情况下,能够将来自要求保护的组合中的一个或更多个特征从组合中切除,并且所要求保护的组合可以指向子组合或子组合的变体。
类似地,虽然附图中以特定的顺序对操作进行描述,但不应将其理解成为了达到所期望的结果,必须以所示的特定顺序来执行这些操作或者必须执行所有示出的操作。在某些情况下,多任务处理和并行处理可能是有利的。
已经描述了许多实施方式。但是在不脱离本发明的精神和范围的情况下可以进行各种修改。因此,其他实施方式也在权利要求的范围之内。
附图标记说明
100 多焦点透镜
101 第一焦距
102 第二焦距
103 第一球面透镜部分
104 第二球面透镜部分
105 光轴
106 第一焦点
107 第二焦点
200 图像传感器
300 图像处理器
401 第一分段
402 第二分段
403 对称轴线
404 公共焦点
B 蓝色图像
CI 组合图像
G 绿色图像
L 灰色图像
R 红色图像
FB 切割的蓝色图像
FB1,FB2 切割的蓝色子图像
FG 切割的绿色图像
FG1,FG2 切割的绿色子图像
FI1,FI2 最终的彩色图像
FL 切割的灰色图像
FL1,FL2 切割的灰色子图像
FR 切割的红色图像
FR1,FR2 切割的红色子图像
Claims (15)
1.一种相机系统,包括:
-具有第一焦距(101)和第二焦距(102)的多焦点透镜(100),
-图像传感器(200),其布置在所述多焦点透镜(100)下游并且可操作以根据所述第一焦距和第二焦距(101、102)生成组合图像(CI),和
-图像处理器(300),其可操作以接收所述组合图像(CI)并将所述组合图像分离为第一焦距的第一图像(FI1)和第二焦距的第二图像(FI2)。
2.根据权利要求1所述的相机系统,其中
-所述多焦点透镜(100)包括同心透镜,
-所述同心透镜包括曲率中心重合的至少两个表面,并且
-至少两个表面分别确定所述第一焦距和/或所述第二焦距。
3.根据权利要求1所述的相机系统,其中
-所述多焦点透镜(100)包括非球面透镜,
-所述非球面透镜具有包括至少第一部分和第二部分的表面轮廓,并且
-所述第一部分确定所述第一焦距,并且所述第二部分确定所述第二焦距。
4.根据权利要求1所述的相机系统,其中
-所述多焦点透镜包括分段透镜,
-所述分段透镜包括第一分段和第二分段,并且
-所述第一分段确定所述第一焦距,并且所述第二分段确定所述第二焦距。
5.根据权利要求1至4之一所述的相机系统,其中所述多焦点透镜(100)被设置为双曲率透镜复合体或混合双焦点透镜。
6.根据权利要求1至5之一所述的相机系统,其中所述多焦点透镜(100)被设置为相机透镜。
7.根据权利要求1至5之一所述的相机系统,其中所述多焦点透镜(100)包括至少一个微透镜并且被设置在所述图像传感器(200)上。
8.根据权利要求7所述的相机系统,其中
-所述多焦点透镜(100)被配置为微透镜的阵列,
-所述阵列中的每个微透镜具有至少所述第一焦距(101)和所述第二焦距(102),并且
-每个微透镜被设置在所述图像传感器(200)的相应像素或像素组上。
9.根据权利要求7所述的相机系统,其中
-所述多焦点透镜(100)被配置为微透镜的阵列,
-所述阵列中的微透镜具有所述第一焦距(101)和或所述第二焦距(102),并且
-每个微透镜被设置在所述图像传感器(200)的相应像素或像素组上。
10.根据权利要求1至9之一所述的相机系统,其中
-所述图像传感器(200)将所述组合图像(CI)生成为组合彩色图像,和/或
-所述图像处理器(300)可操作以进行数字信号处理,以将所述组合图像(CI)分离成第一焦距的第一图像(FI1)和第二焦距的第二图像(FI2)。
11.根据权利要求1至10之一所述的相机系统,其中
-所述多焦点透镜具有至少第三焦距,
-所述图像传感器(200)可操作以至少根据所述第一焦距、第二焦距和第三焦距生成组合图像(CI),并且
-所述图像处理器(300)可操作以将所述组合图像(CI)至少分离成第一焦距的第一图像(FI1)、第二焦距的第二图像(FI2)和第三焦距的第三图像。
12.一种移动设备,包括:
-根据权利要求1至11之一所述的相机系统,
-主机系统,其包括以下之一:
-智能手机、平板电脑、照相机或摄像机。
13.一种操作移动设备用于多焦点成像的方法,包括以下步骤:
-至少根据第一焦距和第二焦距(101、102)生成组合图像(CI),其中所述组合图像(CI)是使用具有至少所述第一焦距(101)和所述第二焦距(102)的多焦点透镜以及设置在所述多焦点透镜(100)下游的图像传感器(200)并且借助于图像处理器(300)拍摄的,
-接收所述组合图像(CI),并且
-将所述组合图像(CI)至少分离成第一焦距的第一图像和第二焦距的第二图像。
14.根据权利要求13所述的方法,其中
-将所述组合图像重新设置成至少一个一维图像,
-利用盲信号分离算法,根据所述第一焦距和所述第二焦距的第二图像,将所述一维图像分割成子图像,并且
-通过根据所述第一焦距和所述第二焦距重新组合子图像来生成第一焦距的第一图像和第二一维子图像。
15.根据权利要求13或14所述的方法,其中所述图像传感器将所述组合图像(CI)生成为组合彩色图像,并且其中:
-根据颜色通道将所述组合图像(CI)重新设置成一维彩色图像,
-分别对所述一维彩色图像执行利用盲信号分离算法分割为子图像,以得到一维彩色子图像,和
-根据所述第一焦距和所述第二焦距重新组合所述彩色子图像以产生彩色图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020130873.6 | 2020-11-23 | ||
DE102020130873 | 2020-11-23 | ||
PCT/EP2021/082669 WO2022106720A1 (en) | 2020-11-23 | 2021-11-23 | Camera system, mobile device and method of operating a mobile device for multi-focus imaging |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116671119A true CN116671119A (zh) | 2023-08-29 |
Family
ID=78822555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180078164.4A Pending CN116671119A (zh) | 2020-11-23 | 2021-11-23 | 相机系统、移动设备和操作移动设备用于多焦点成像的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240007747A1 (zh) |
CN (1) | CN116671119A (zh) |
DE (1) | DE112021004393T5 (zh) |
WO (1) | WO2022106720A1 (zh) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2881775B1 (en) * | 2012-08-06 | 2018-03-07 | FUJIFILM Corporation | Imaging device |
-
2021
- 2021-11-23 CN CN202180078164.4A patent/CN116671119A/zh active Pending
- 2021-11-23 WO PCT/EP2021/082669 patent/WO2022106720A1/en active Application Filing
- 2021-11-23 US US18/253,802 patent/US20240007747A1/en active Pending
- 2021-11-23 DE DE112021004393.5T patent/DE112021004393T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240007747A1 (en) | 2024-01-04 |
WO2022106720A1 (en) | 2022-05-27 |
DE112021004393T5 (de) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109459843B (zh) | 包括具有不同直径的透镜元件的图像拾取设备 | |
US7453510B2 (en) | Imaging device | |
CN108718376B (zh) | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 | |
CN109963059B (zh) | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 | |
KR101583646B1 (ko) | 전 방위 평면 이미지를 생성하는 방법 및 장치 | |
US9300885B2 (en) | Imaging device, portable information terminal, and imaging system | |
US20180367772A1 (en) | Distance information generating apparatus, imaging apparatus, and distance information generating method | |
CN105842813B (zh) | 图像传感器 | |
US20120154541A1 (en) | Apparatus and method for producing 3d images | |
US8736743B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
US11867877B2 (en) | Lens module and electronic device | |
US20140022446A1 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
EP2669949A1 (en) | Lens array for partitioned image sensor | |
EP3633969B1 (en) | Image sensor and image sensing method | |
CN108805921B (zh) | 图像获取系统及方法 | |
CN110248095B (zh) | 一种对焦装置、对焦方法及存储介质 | |
EP2611170A1 (en) | Stereography device and stereography method | |
US8787689B2 (en) | Apparatus and method for correction of distortion in digital image data | |
CN116671119A (zh) | 相机系统、移动设备和操作移动设备用于多焦点成像的方法 | |
WO2014203844A1 (ja) | 画像入力装置 | |
CN109672816B (zh) | 矩阵图像采集系统和矩阵图像投影系统 | |
EP4346199A1 (en) | Imaging method and device for autofocusing | |
CN111050038B (zh) | 一种反射式空间编码高分辨光场成像装置及方法 | |
CN111917940A (zh) | 可变时间和空间全景360度相机对象关系成像分析 | |
KR20240056149A (ko) | 다양한 화각에 대응하는 이미지들을 복원하는 단일 이미지 센서 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |