CN116320700A - 影像处理方法及影像处理系统 - Google Patents

影像处理方法及影像处理系统 Download PDF

Info

Publication number
CN116320700A
CN116320700A CN202210852709.9A CN202210852709A CN116320700A CN 116320700 A CN116320700 A CN 116320700A CN 202210852709 A CN202210852709 A CN 202210852709A CN 116320700 A CN116320700 A CN 116320700A
Authority
CN
China
Prior art keywords
image
sub
depth
lens array
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210852709.9A
Other languages
English (en)
Inventor
郭信宏
张育淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VisEra Technologies Co Ltd
Original Assignee
VisEra Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VisEra Technologies Co Ltd filed Critical VisEra Technologies Co Ltd
Publication of CN116320700A publication Critical patent/CN116320700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

一种影像处理方法，包括：使用一显示屏幕下的一相机获得一第一影像；使用一处理器处理第一影像；使用显示屏幕下的相机获得一第二影像；使用处理器处理第二影像；在叠加第一子影像及第二子影像后，产生一叠加影像。

Description

影像处理方法及影像处理系统
技术领域
本公开一般有关于影像处理方法和影像处理系统。特别涉及能够产生清晰影像的影像处理方法和影像处理系统。
背景技术
设置在显示屏幕(display screen)下方的相机需要整合透明显示(transparentdisplay)、影像处理和相机设计技术。但是，在相机前放置显示屏幕存在重大问题，例如雾化(haze)、眩光(glare)和偏色(color cast)。
显示屏幕的周期性狭缝结构(periodic slit structures)在光线通过显示屏幕时会引起绕射(diffraction)和干涉(interference)，从而导致影像重叠(overlaid)和模糊(blurry)。此外，如果拍摄的对象距离相机较远，绕射效果更加明显，而且物体的影像更加模糊。
因此，需要能够在显示屏幕下方产生清晰影像的影像处理方法和影像处理系统。
发明内容
根据本公开一些实施例，提供一种影像处理方法，包括：使用一显示屏幕下的一相机获得一第一影像；使用一处理器处理第一影像，包括：确定第一影像的一第一子影像，并从第一影像中获取第一子影像，第一子影像是具有一第一深度的第一影像的一子影像；使用显示屏幕下的相机获得一第二影像；使用处理器处理第二影像，包括：确定第二影像的一第二子影像，并从第二影像中获取第二子影像，第二子影像是具有一第二深度的第二影像的一子影像；叠加第一子影像及第二子影像；以及在叠加第一子影像及第二子影像后，产生一叠加影像。第一深度不同于第二深度。
在一些实施例中，确定第一子影像的步骤包括：使用一双层透镜阵列互补式金属氧化物半导体影像感测器获得第一影像的位置信息及方向信息；确定第一影像的多个子影像的多个深度；以及选择第一深度并获取第一子影像。确定第二子影像的步骤包括：使用双层透镜阵列互补式金属氧化物半导体影像感测器获得第二影像的位置信息及方向信息；确定第二影像多个子影像的多个深度；以及选择第二深度并获取第二子影像。在一些实施例中，影像处理方法还包括：在叠加的操作前，使用者选择第一子影像及第二子影像；以及在产生叠加影像后，输出叠加影像。在一些实施例中，影像处理方法还包括：使用处理器判断叠加影像的清晰度。在一些实施例中，影像处理方法还包括：响应于判断叠加影像是清晰的，输出叠加影像。在一些实施例中，影像处理方法还包括：响应于判断叠加影像是不清晰的，使用显示屏幕下的相机获得一第三影像。在一些实施例中，影像处理方法还包括：使用处理器处理第三影像，包括：使用处理器确定第三影像的一第三子影像，并从第三影像中获取第三子影像。第三子影像具有不同于第一深度及第二深度的一第三深度。在一些实施例中，叠加的步骤包括：叠加第一子影像、第二子影像及第三子影像。在一些实施例中，第三深度介于第一深度及第二深度之间。
根据本公开一些实施例，提供一种影像处理系统，包括一显示屏幕、一双层透镜阵列互补式金属氧化物半导体影像感测器、以及一处理器。双层透镜阵列互补式金属氧化物半导体影像感测器设置在显示屏幕下方，用于接收一第一光线及一第二光线。响应于接收到第一光线，双层透镜阵列互补式金属氧化物半导体影像感测器产生一第一影像。响应于接收到第二光线，双层透镜阵列互补式金属氧化物半导体影像感测器产生一第二影像。处理器配置以叠加第一影像的一第一子影像及第二影像的一第二子影像，以产生一叠加影像。第一子影像为第一影像具有一第一深度的一子影像。第二子影像为第二影像具有一第二深度的一子影像。第一深度不同于第二深度。
在一些实施例中，双层透镜阵列互补式金属氧化物半导体影像感测器包括：一第一层透镜阵列，包括多个第一层透镜；一第二层透镜阵列，设置在第一层透镜阵列上，且包括多个第二层透镜；以及一感测器，包括多个像素在一些实施例中，第一层透镜的每一者的尺寸等于像素的每一者的尺寸在一些实施例中，第二层透镜的每一者的尺寸大于或等于像素的每一者的尺寸的3倍。在一些实施例中，第一光线及第二光线穿过显示屏幕、第二层透镜阵列及第一层透镜阵列然后到达感测器。第二层透镜的每一者的一面积小于感测器的一感测面积的30％。在一些实施例中，第一层透镜阵列及第二层透镜阵列之间的排列为一三角形排列、一矩形排列、一六边形排列、或一多边形排列。在一些实施例中，处理器从第一影像中获取第一子影像，且处理器从第二影像中获取第二子影像，以用于叠加。在一些实施例中，处理器判断叠加影像的清晰度。在一些实施例中，响应于判断叠加影像是不清晰的，双层透镜阵列互补式金属氧化物半导体影像感测器接收一第三光线。响应于接收第三光线，双层透镜阵列互补式金属氧化物半导体影像感测器产生一第三影像。处理器配置以叠加第一子影像、第二子影像及第三影像的第三子影像，以产生一叠加影像。第三子影像为第三影像的具有一第三深度的一子影像。第三深度不同于第一深度及第二深度。在一些实施例中，响应于判断叠加影像是清晰的，显示屏幕输出叠加影像。在一些实施例中，第三深度介于第一深度及第二深度之间。在一些实施例中，用于叠加的第一子影像及第二子影像由一使用者选择。显示屏幕输出叠加影像。在一些实施例中，一第一物体的影像在第一影像中是清晰的，且一第二物体的影像在第二影像中是清晰的。第一物体的影像在第二影像中是不清晰的，且第二物体的影像在第一影像中是不清晰的。第一物体与影像处理系统相距第一深度。第二物体与影像处理系统相距第二深度。
附图说明
通过参考附图阅读随后的实施方式和实施例可以更充分地理解本公开。
图1示出了根据本公开一些实施例的一影像处理系统与一第一物体、一第二物体以及一第三物体的示意图。
图2示出了根据本公开一些实施例的一双层透镜阵列(double-layer lensarray)互补式金属氧化物半导体影像感测器(CMOS image sensor，CIS)的示意图。
图3A、图3B及图3C示出了根据本公开一些实施例的一第一层透镜阵列以及一第二层透镜阵列的示意图。
图4A、图4B及图4C示出了根据本公开一些实施例的一第一影像、一第二影像以及一第三影像的图。
图5A、图5B及图5C示出了根据本公开一些实施例的处理影像的示意图。
图6示出了根据本公开一些实施例的叠加(superimposing)一第一子影像、一第二子影像以及一第三子影像的示意图。
图7A和图7B示出了根据本公开一些实施例的一影像处理方法的流程图。
图8A和图8B示出了根据本公开一些实施例的另一种影像处理方法的流程图。
附图标记说明：
10：显示屏幕
20：双层透镜阵列互补式金属氧化物半导体影像感测器
21：第一层透镜阵列
22：第二层透镜阵列
23：感测器
24：中间层
30：处理器
100：影像处理系统
200：影像处理方法
202：步骤
204：步骤
206：步骤
208：步骤
210：步骤
211：第一层透镜
212：步骤
214：步骤
221：第二层透镜
231：像素
300：影像处理方法
302：步骤
304：步骤
306：步骤
308：步骤
310：步骤
312：步骤
314：步骤
316：步骤
318：步骤
320：步骤
2041：步骤
2041a：步骤
2042：步骤
2081：步骤
2081a：步骤
2082：步骤
3041：步骤
3041a：步骤
3042：步骤
3081：步骤
3081a：步骤
3082：步骤
3181：步骤
3181a：步骤
3182：步骤
D1：第一深度
D2：第二深度
D3：第三深度
FF：过滤函数
FF1：第一深度过滤函数
FF2：第二深度过滤函数
FF3：第三深度过滤函数
IM1：第一影像
IM2：第二影像
IM3：第三影像
L1：第一光线
L2：第二光线
L3：第三光线
O1：第一物体
O2：第二物体
O3：第三物体
SIIM：叠加影像
SIM1：第一子影像
SIM2：第二子影像
SIM3：第三子影像
具体实施方式
以下公开提供了许多不同的实施例或示例，用于实现本公开的不同特征。下面描述组件和布置的具体示例以简化本公开。举例来说，在下面的描述中，在第二特征之上或上形成第一特征可以包括第一特征和第二特征形成为直接接触的实施例，并且还可以包括在两个特征之间可以形成额外特征的实施例，使得第一特征和第二特征可以不直接接触。
此外，本公开可以在各种示例中重复参考数字及/或字母。这种重复是为了简单和清楚的目的，并且其本身并不规定所讨论的各种实施例及/或配置之间的关系。再者，为了讨论的清晰性，附图中的形状、尺寸及厚度可已不是按比例绘制或简化的；更确切地说，这些附图仅用于说明。
请参考图1，其示出根据本公开一些实施例的影像处理系统100与第一物体O1、第二物体O2以及第三物体O3的示意图。影像处理系统100可以装设在电子设备中，例如智能手机、平板电脑、笔记本电脑等。影像处理系统100可以包括显示屏幕10、双层透镜阵列互补式金属氧化物半导体影像感测器(CIS)20和处理器30。
双层透镜阵列互补式金属氧化物半导体影像感测器20和处理器30可以是共同地简称为相机。双层透镜阵列互补式金属氧化物半导体影像感测器20(或相机)可以设置在显示屏幕10的的下或下方。处理器30可以电性连接到双层透镜阵列互补式金属氧化物半导体影像感测器20，而且此连接由连接双层透镜阵列互补式金属氧化物半导体影像感测器20及处理器30的线条所表示。
在一些实施例中，影像处理系统100可以是能够获得入射到影像处理系统100的光的全光函数(plenoptic function，POF)的光场相机(light field camera)。在一些实施例中，影像处理系统100可以是能够获得具有不同波长的入射光的4D全光函数(POF)的光场相机。
4D全光函数可以包括入射光的平面坐标和方向。在一些实施例中，平面坐标可以是第一物体O1、第二物体O2和第三物体O3的X和Y坐标，而且它们可以称为位置信息。在一些实施例中，方向可以是第一物体O1、第二物体O2和第三物体O3相对于影像处理系统100的水平角度和垂直角度，而且它们可以称为方向信息。换言之，影像处理系统100可以获取从第一物体O1、第二物体O2和第三物体O3入射的光线的全光函数。
如图1所示，第一物体O1远离影像处理系统100。影像处理系统100与第一物体O1之间的距离为第一深度D1。影像处理系统100与第二物体O2之间的距离为第二深度D2。影像处理系统100与第三物体O3之间的距离为第三深度D3。在一些实施例中，第一深度D1不同于第二深度D2。在一些实施例中，第三深度D3不同于第一深度D1或第二深度D2。在一些实施例中，第三深度D3介于第一深度D1和第二深度D2之间。
如图1所示，第一光线L1从第一物体O1入射到影像处理系统100；第二光线L2从第二物体O2入射至影像处理系统100；第三光线L3从第三物体O3入射到影像处理系统100。
影像处理系统100可以接收第一光线L1并获取第一物体O1的位置信息及方向信息。影像处理系统100可接收第二光线L2并获取第二物体O2的位置信息及方向信息。影像处理系统100可接收第三光线L3并获取第三物体O3的位置信息及方向信息。
请参考图2，其示出根据本公开一些实施例的双层透镜阵列互补式金属氧化物半导体影像感测器20的示意图。双层透镜阵列互补式金属氧化物半导体影像感测器20可以包括一第一层透镜阵列21、一第二层透镜阵列22、一感测器23以及一中间层24。第二层透镜阵列22设置在第一层透镜阵列21之上，并且感测器23设置于第一层透镜阵列21下方。换言之，第一层透镜阵列21设置在第二层透镜阵列22和感测器23之间。中间层24设置在第一层透镜阵列21和第二层透镜阵列22之间。
如图2所示，在一些实施例中，第一光线L1、第二光线L2和第三光线L3依次穿过显示屏幕10、第二层透镜阵列22、中间层24及第一层透镜阵列21，然后到达感测器23。
请参考图3A、图3B和图3C。图3A、图3B和图3C示出了根据本公开一些实施例的第一层透镜阵列21和第二层透镜阵列22的示意图。尽管在图2中仅示出了一个第二层透镜221，第二层透镜阵列22可以包括多个第二层透镜221(请参考图3A、图3B和图3C)。如图3A、图3B和图3C所示，第一层透镜阵列21可以包括多个第一层透镜211。第二层透镜221的尺寸大于第一层透镜211的尺寸。在一些实施例中，第二层透镜221的尺寸大于或等于第一层透镜211的尺寸的3倍。然而，在一些实施例中，每个第二层透镜221的面积小于(或不大于)感测器23的感测面积的30％。感测器23的感测面积可以定义为感测器23能够感测光(或影像)的总面积。
图3A、图3B和图3C示出了第一层透镜阵列21和第二层透镜阵列22之间的布置的数个示例性实施例。如图3A、图3B和图3C所示，一个第二层透镜221可以对应多个第一层透镜211。第一层透镜阵列21和第二层透镜阵列22之间的排列可以是三角形排列(图3A)、矩形排列(图3B)、六边形排列(图3C)、或多边形排列(未表示)。
请回到图2，感测器23可以包括多个像素231。在一些实施例中，每个像素231的尺寸等于每个第一层透镜211的尺寸。
此外，在一些实施例中，中间层24的折射率可以等于或大于1，并且中间层24的折射率可以低于第一层透镜阵列21的折射率。在一些实施例中，中间层24的折射率可以等于或大于1，并且中间层24的折射率可以等于或低于第二层透镜阵列22的折射率。
在一些实施例中，第一层透镜阵列21的折射率可以等于第二层透镜阵列22的折射率。在一些实施例中，第一层透镜阵列21的折射率可以不等于第二层透镜阵列22的折射率。
通过上述配置，双层透镜阵列互补式金属氧化物半导体影像感测器20允许影像处理系统100获取具有不同波长的入射光的4D全光函数(POF)。
请参考图4A、图4B和图4C，其示出了本公开实施例的第一影像IM1、第二影像IM2及第三影像IM3的示意图。在影像处理系统100对焦在不同深度时，影像处理系统100可以拍摄多张照片。在图4A、图4B和图4C所示的实施例中，影像处理系统100可以拍摄三张照片，分别为第一影像IM1、第二影像IM2及第三影像IM3。
图4A示出了影像处理系统100对焦于第一深度D1所获得的第一影像IM1。具体而言，响应于双层透镜阵列互补式金属氧化物半导体影像感测器20接收到第一光线L1，双层透镜阵列互补式金属氧化物半导体影像感测器20将产生第一影像IM1。由于第一物体O1与影像处理系统100相距第一深度D1，并且影像处理系统100对焦于第一深度D1而获得第一影像IM1，因此第一影像IM1中的第一物体O1是清晰的。
请参考图5A、图5B和图5C，其示出了根据本公开一些实施例处理影像的示意图。由影像处理系统100获得的影像可以通过过滤函数FF进行处理。过滤函数FF可以包括多个过滤函数来处理不同深度的影像，然后产生子影像。在一些实施例中，过滤函数FF可以包括一第一深度过滤函数FF1、一第二深度过滤函数FF2以及一第三深度过滤函数FF3。第一深度过滤函数FF1用于处理在第一深度D1得到的影像，第二深度过滤函数FF2用于处理在第二深度D2得到的影像，第三深度过滤函数FF3用于处理在第三深度D3得到的影像。
在图5A中，第一影像IM1由第一深度过滤函数FF1处理。第一深度过滤函数FF1过滤掉不在第一深度D1的影像，并保留第一子影像SIM1。第一子影像SIM1在第一影像IM1中是清晰的，并且第一子影像SIM1包括第一物体O1的影像，因为第一物体O1在第一影像IM1中是清晰的。亦即，第一影像IM1中不清晰的影像(例如第二物体O2和第三物体O3的影像)被滤除。
图4B示出了影像处理系统100对焦在第二深度D2所获得的第二影像IM2。具体而言，响应于双层透镜阵列互补式金属氧化物半导体影像感测器20接收到第二光线L2，双层透镜阵列互补式金属氧化物半导体影像感测器20将产生第二影像IM2。由于第二物体O2与影像处理系统100相距第二深度D2，并且影像处理系统100对焦于第二深度D2而获得第二影像IM2，因此第二影像IM2中的第二物体O2是清晰的。
在图5B中，第二影像IM2随后由第二深度过滤函数FF2处理。第二深度过滤函数FF2过滤掉不在第二深度D2的影像，并且留下第二子影像SIM2。第二子影像SIM2在第二影像IM2中是清晰的，并且第二子影像SIM2包括第二物体O2的影像，因为第二物体O2在第二影像IM2中是清晰的。亦即，第二影像IM2中不清晰的影像(例如第一物体O1和第三物体O3的影像)被滤除。
图4C示出了影像处理系统100对焦在第三深度D3所获得的第三影像IM3。具体而言，响应于双层透镜阵列互补式金属氧化物半导体影像感测器20接收到第三光线L3，双层透镜阵列互补式金属氧化物半导体影像感测器20将产生第三影像IM3。由于第三物体O3与影像处理系统100相距第三深度D3，并且影像处理系统100对焦于第三深度D3而获得第三影像IM3，因此第三影像IM3中的第三物体O3是清晰的。
在图5C中，第三影像IM3随后由第三深度过滤函数FF3处理。第三深度过滤函数FF3过滤掉不在第三深度D3的影像，并留下第三子影像SIM3。第三子影像SIM3在第三影像IM3中是清晰的，并且第三子影像SIM3包括第三物体O3的影像，因为第三物体O3在第三影像IM3中是清晰的。亦即，第三影像IM3中不清晰的影像(例如第一物体O1和第二物体O2的影像)被滤除。
请参考图6，其示出了根据本公开一些实施例的叠加第一子影像SIM1、第二子影像SIM2以及第三子影像SIM3的示意图。叠加第一子影像SIM1、第二子影像SIM2及第三子影像SIM3意味着将第一子影像SIM1、第二子影像SIM2及第三子影像SIM3「合并」成一个新影像。如图6所示，第一子影像SIM1、第二子影像SIM2及第三子影像SIM3可以由处理器30叠加成为叠加影像SIIM。
因为叠加影像SIIM是第一子影像SIM1、第二子影像SIM2和第三子影像SIM3的组合，所以叠加影像SIIM在所有深度都是清晰的。此外，在叠加影像SIIM中，第一物体O1、第二物体O2及第三物体O3是清晰的。
请注意，上述实施例仅为示例，在一些实施例中，影像处理系统100不需要获取第三影像IM3。也就是说，在一些实施例中，影像处理系统100仅获得第一影像IM1和第二影像IM2以产生叠加影像SIIM。
上述影像处理系统100通过对不同深度的影像进行处理，以产生在所有深度是清晰的叠加影像。此外，上述影像处理系统100可解决光线穿过显示屏幕后，因绕射及干涉效应而造成影像重叠及模糊的问题。
请参阅图7A和图7B，其示出根据本公开一些实施例的影像处理方法200的流程图。在一些实施例中，影像处理方法可以从步骤202开始。
在步骤202中，显示屏幕10下方的相机(双层透镜阵列互补式金属氧化物半导体影像感测器20和处理器30)接收第一光线L1，并将相机对焦在第一深度D1得到第一影像IM1。然后影像处理方法200进行到步骤204。
在步骤204中，处理器30对第一影像IM1进行处理。步骤204可以包括步骤2041和步骤2042。在步骤2041中，处理器30确定在第一深度D1的第一影像IM1的第一子影像SIM1。步骤2041可以包括步骤2041a。在步骤2041a中，通过双层透镜阵列互补式金属氧化物半导体影像感测器20获得第一子影像SIM1的位置信息和方向信息。在步骤2042中，从第一影像IM1中获取第一子影像SIM1。然后影像处理方法200进行到步骤206。
在步骤206中，显示屏幕10下方的相机(双层透镜阵列互补式金属氧化物半导体影像感测器20和处理器30)接收第二光线L2，并将相机对焦在第二深度D2得到第二影像IM2。然后影像处理方法200进行到步骤208。
在步骤208中，处理器30对第二影像IM2进行处理。步骤208可以包括步骤2081和步骤2082。在步骤2081中，处理器30确定在第二深度D2的第二影像IM2的第二子影像SIM2。步骤2081可以包括步骤2081a。在步骤2081a中，通过双层透镜阵列互补式金属氧化物半导体影像感测器20获得第二子影像SIM2的位置信息和方向信息。在步骤2082中，从第二影像IM2中获取第二子影像SIM2。然后影像处理方法200进行到步骤210。
在步骤210中，使用者选择第一子影像SIM1和第二子影像SIM2。然后影像处理方法200进行到步骤212。
在步骤212中，处理器30将第一子影像SIM1和第二子影像SIM2叠加。然后影像处理方法200进行到步骤214。
在步骤214中，在处理器30将第一子影像SIM1和第二子影像SIM2叠加后，处理器30产生叠加影像SIIM。然后影像处理方法200进行到步骤216。
在步骤216中，将叠加影像SIIM输出到显示屏幕10。
请参考图8A和图8B，其示出根据本公开一些实施例的影像处理方法300的流程图。在一些实施例中，影像处理方法可以从步骤302开始。
在步骤302中，显示屏幕10下方的相机(双层透镜阵列互补式金属氧化物半导体影像感测器20和处理器30)接收第一光线L1，并将相机对焦在第一深度D1得到第一影像IM1。然后影像处理方法300进行到步骤304。
在步骤304中，处理器30对第一影像IM1进行处理。步骤304可以包括步骤3041和步骤3042。在步骤3041中，处理器30确定在第一深度D1的第一影像IM1的第一子影像SIM1。步骤3041可以包括步骤3041a。在步骤3041a中，通过双层透镜阵列互补式金属氧化物半导体影像感测器20获得第一子影像SIM1的位置信息和方向信息。在步骤3042中，处理器30从第一影像IM1获取第一子影像SIM1。然后影像处理方法300进行到步骤306。
在步骤306中，显示屏幕10下方的相机(双层透镜阵列互补式金属氧化物半导体影像感测器20和处理器30)接收第二光线L2，并将相机对焦在第二深度D2得到第二影像IM2。然后影像处理方法300进行到步骤308。
在步骤308中，处理器30对第二影像IM2进行处理。步骤308可以包括步骤3081和步骤3082。在步骤3081中，处理器30确定在第二深度D2的第二影像IM2的第二子影像SIM2。步骤3081可以包括步骤3081a。在步骤3081a中，通过双层透镜阵列互补式金属氧化物半导体影像感测器20获得第二子影像SIM2的位置信息和方向信息。在步骤3082中，处理器30从第二个影像IM2获取第二子影像SIM2。然后影像处理方法300进行到步骤310。
在步骤310中，处理器30叠加子影像(可以包括第一子影像SIM1和第二子影像SIM2)。然后影像处理方法300进行到步骤312。
在步骤312中，在处理器30叠加第一子影像SIM1和第二子影像SIM2后，处理器30产生叠加影像SIIM。然后影像处理方法300进行到步骤314。
在步骤314中，处理器30判断叠加影像SIIM的清晰度。如果判断叠加影像SIIM为清晰，则影像处理方法300进行到步骤316。如果判断叠加影像SIIM为不清晰，则影像处理方法300进行到步骤320。
在步骤316中，显示屏幕10下方的相机(双层透镜阵列互补式金属氧化物半导体影像感测器20和处理器30)接收第三光线L3，并将相机对焦在第三深度D3获得第三影像IM3。第三深度D3不同于第一深度D1和第二深度D2。在一些实施例中，第三深度D3介于第一深度D1和第二深度D2之间。然后影像处理方法300进行到步骤318。
在步骤318中，处理器30对第三影像IM3进行处理。步骤318可以包括步骤3181和步骤3182。在步骤3181中，处理器30确定在第三深度D3的第三影像IM3的第三子影像SIM3。步骤3181可以包括步骤3181a。在步骤3181a中，通过双层透镜阵列互补式金属氧化物半导体影像感测器20获得第三子影像SIM3的位置信息和方向信息。在步骤3182中，处理器30从第三影像IM3获取第三子影像SIM3。然后影像处理方法300返回到步骤310。
请注意，步骤310至步骤318可以重多个次，并且可以步骤多个子影像，以用于产生清晰的叠加影像。
在步骤320，叠加影像SIIM被输出到显示屏幕10。
应该注意，步骤的顺序是可变的。例如，可以在步骤204的前执行步骤206，或者可以在步骤304的前执行步骤306。
上述的影像处理方法200和影像处理方法300可以通过处理不同深度的影像而产生在所有深度清晰的叠加影像。此外，上述影像处理方法200和影像处理方法300可以解决光线穿过显示屏幕后，由于绕射和干涉效应造成的影像重叠和模糊的问题。
尽管已经通过示例并根据优选实施例描述了本公开，但应当理解本公开不限于所公开的实施例。相反地，本公开旨在涵盖各种修改和类似的布置(这对于本领域中技术人员来说是显而易见的)。因此，权利要求应给予最广泛的解释，以涵盖所有此类修改和类似布置。

Claims (10)

1.一种影像处理方法，包括：
使用一显示屏幕下的一相机获得一第一影像；
使用一处理器处理该第一影像，包括：
确定该第一影像的一第一子影像，并从该第一影像中获取该第一子影像，其中该第一子影像是具有一第一深度的该第一影像的一子影像；使用该显示屏幕下的该相机获得一第二影像；
使用该处理器处理该第二影像，包括：
确定该第二影像的一第二子影像，并从该第二影像中获取该第二子影像，其中该第二子影像是具有一第二深度的该第二影像的一子影像；叠加该第一子影像及该第二子影像；以及
在叠加该第一子影像及该第二子影像后，产生一叠加影像，
其中该第一深度不同于该第二深度。
2.如权利要求1所述的影像处理方法，
其中确定该第一子影像的步骤包括：
使用一双层透镜阵列互补式金属氧化物半导体影像感测器获得该第一影像的位置信息及方向信息；
确定该第一影像的多个子影像的多个深度；以及
选择该第一深度并获取该第一子影像，
其中，确定该第二子影像的该步骤包括：
使用该双层透镜阵列互补式金属氧化物半导体影像感测器获得该第二影像的位置信息及方向信息；
确定该第二影像多个子影像的多个深度；以及
选择该第二深度并获取该第二子影像。
3.如权利要求1所述的影像处理方法，还包括：
在叠加的操作前，使用者选择该第一子影像及该第二子影像；以及
在产生该叠加影像后，输出该叠加影像。
4.如权利要求1所述的影像处理方法，还包括：
使用该处理器判断该叠加影像的清晰度；
响应于判断该叠加影像是清晰的，输出该叠加影像；
响应于判断该叠加影像是不清晰的，使用该显示屏幕下的该相机获得一第三影像。
5.如权利要求4所述的影像处理方法，还包括：
使用该处理器处理该第三影像，包括：
使用该处理器确定该第三影像的一第三子影像，并从该第三影像中获取该第三子影像，其中第三子影像具有不同于该第一深度及该第二深度的一第三深度，
其中叠加的步骤包括：
叠加该第一子影像、该第二子影像及该第三子影像，
其中该第三深度介于该第一深度及该第二深度之间。
6.一种影像处理系统，包括：
一显示屏幕；
一双层透镜阵列互补式金属氧化物半导体影像感测器，设置在该显示屏幕下方，用于接收一第一光线及一第二光线；以及
一处理器，
其中响应于接收到该第一光线，该双层透镜阵列互补式金属氧化物半导体影像感测器产生一第一影像，其中响应于接收到该第二光线，该双层透镜阵列互补式金属氧化物半导体影像感测器产生一第二影像，
其中该处理器配置以叠加该第一影像的一第一子影像及该第二影像的一第二子影像，以产生一叠加影像，
其中该第一子影像为该第一影像具有一第一深度的一子影像，
其中该第二子影像为该第二影像具有一第二深度的一子影像，
其中该第一深度不同于该第二深度。
7.如权利要求6所述的影像处理系统，
其中，该双层透镜阵列互补式金属氧化物半导体影像感测器包括：
一第一层透镜阵列，包括多个第一层透镜；
一第二层透镜阵列，设置在该第一层透镜阵列上，且包括多个第二层透镜；以及
一感测器，包括多个像素；
其中该多个第一层透镜的每一者的尺寸等于该多个像素的每一者的尺寸，
其中该多个第二层透镜的每一者的尺寸大于或等于该多个像素的每一者的尺寸的3倍，
其中该第一光线及该第二光线穿过该显示屏幕、该第二层透镜阵列及该第一层透镜阵列，然后到达该感测器，
其中该多个第二层透镜的每一者的一面积小于该感测器的一感测面积的30％，
其中该第一层透镜阵列及该第二层透镜阵列之间的排列为一三角形排列、一矩形排列、一六边形排列、或一多边形排列。
8.如权利要求6所述的影像处理系统，
其中该处理器从该第一影像中获取该第一子影像，且该处理器从该第二影像中获取该第二子影像，以用于叠加，
其中该处理器判断该叠加影像的清晰度，
其中用于叠加的该第一子影像及该第二子影像由一使用者选择，
其中该显示屏幕输出该叠加影像。
9.如权利要求8所述的影像处理系统，
其中响应于判断该叠加影像是不清晰的，该双层透镜阵列互补式金属氧化物半导体影像感测器接收一第三光线，
其中响应于接收该第三光线，该双层透镜阵列互补式金属氧化物半导体影像感测器产生一第三影像，
其中该处理器配置以叠加该第一子影像、该第二子影像及该第三影像的第三子影像，以产生一叠加影像，
其中该第三子影像为该第三影像的具有一第三深度的一子影像，
其中该第三深度不同于该第一深度及该第二深度，
其中响应于判断该叠加影像是清晰的，该显示屏幕输出该叠加影像，
其中该第三深度介于该第一深度及该第二深度之间。
10.如权利要求6所述的影像处理系统，
其中一第一物体的影像在该第一影像中是清晰的，且一第二物体的影像在该第二影像中是清晰的，
其中该第一物体的影像在该第二影像中是不清晰的，且该第二物体的影像在该第一影像中是不清晰的，
其中该第一物体与该影像处理系统相距该第一深度，
其中该第二物体与该影像处理系统相距该第二深度。
CN202210852709.9A 2021-12-20 2022-07-08 影像处理方法及影像处理系统 Pending CN116320700A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/555,676 US11832001B2 (en) 2021-12-20 2021-12-20 Image processing method and image processing system
US17/555,676 2021-12-20

Publications (1)

Publication Number Publication Date
CN116320700A true CN116320700A (zh) 2023-06-23

Family

ID=80999284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210852709.9A Pending CN116320700A (zh) 2021-12-20 2022-07-08 影像处理方法及影像处理系统

Country Status (6)

Country Link
US (1) US11832001B2 (zh)
EP (1) EP4198880A1 (zh)
JP (1) JP7429731B2 (zh)
KR (1) KR102611713B1 (zh)
CN (1) CN116320700A (zh)
TW (1) TWI796236B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11837617B2 (en) * 2022-04-27 2023-12-05 Visera Technologies Company Ltd. Under-display camera system and operating method thereof

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120019688A1 (en) 2010-07-20 2012-01-26 Research In Motion Limited Method for decreasing depth of field of a camera having fixed aperture
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
EP2820838B1 (en) 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US9057931B1 (en) 2012-06-14 2015-06-16 Amazon Technologies, Inc. Display integrated camera
US20140168471A1 (en) * 2012-12-19 2014-06-19 Research In Motion Limited Device with virtual plenoptic camera functionality
JP6159097B2 (ja) * 2013-02-07 2017-07-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US8849064B2 (en) 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
EP3007228B1 (en) * 2013-05-21 2021-03-17 Photonic Sensors & Algorithms, S.L. Monolithic integration of plenoptic lenses on photosensor substrates
CN105335950B (zh) 2014-05-28 2019-02-12 华为技术有限公司 图像处理方法和图像处理装置
JP2018037998A (ja) 2016-09-02 2018-03-08 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP6757245B2 (ja) 2016-12-26 2020-09-16 キヤノン株式会社 動画再生装置、撮像装置、動画再生方法及びプログラム
JP7245835B2 (ja) 2017-12-05 2023-03-24 エアリー３ディー インコーポレイティド 奥行取得のためのライトフィールド画像処理方法
CN107967946B (zh) 2017-12-21 2021-05-11 武汉楚精灵医疗科技有限公司 基于深度学习的胃镜操作实时辅助系统及方法
TWI691932B (zh) 2018-06-12 2020-04-21 大陸商光寶電子（廣州）有限公司 影像處理系統及影像處理方法
CN109379454B (zh) 2018-09-17 2020-04-17 深圳奥比中光科技有限公司 电子设备
US10855892B2 (en) 2018-09-26 2020-12-01 Shenzhen GOODIX Technology Co., Ltd. Electronic apparatus, and light field imaging system and method with optical metasurface
DE102019133642A1 (de) 2018-12-12 2020-06-18 Magna Closures Inc. Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten
CN110060215B (zh) 2019-04-16 2021-09-10 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
US20210360154A1 (en) 2020-05-14 2021-11-18 David Elliott Slobodin Display and image-capture device
US11863729B2 (en) * 2021-09-21 2024-01-02 Qualcomm Incorporated Systems and methods for generating synthetic depth of field effects

Also Published As

Publication number Publication date
KR102611713B1 (ko) 2023-12-11
KR20230094103A (ko) 2023-06-27
JP7429731B2 (ja) 2024-02-08
TW202326597A (zh) 2023-07-01
EP4198880A1 (en) 2023-06-21
US11832001B2 (en) 2023-11-28
JP2023091707A (ja) 2023-06-30
US20230199325A1 (en) 2023-06-22
TWI796236B (zh) 2023-03-11

Similar Documents

Publication Publication Date Title
CN108141571B (zh) 无掩模相位检测自动聚焦
US11611734B2 (en) Devices and methods for an imaging system with a dual camera architecture
Horstmeyer et al. Flexible multimodal camera using a light field architecture
WO2014185064A1 (en) Image processing method and system
WO2021000592A1 (zh) 一种摄像装置和方法
US8908054B1 (en) Optics apparatus for hands-free focus
WO2021093635A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN104717482A (zh) 多光谱多景深阵列拍摄方法与拍摄相机
JP5766077B2 (ja) ノイズ低減のための画像処理装置及び画像処理方法
US20160104291A1 (en) Image refocusing
CN111586273B (zh) 电子设备及图像获取方法
US11756221B2 (en) Image fusion for scenes with objects at multiple depths
US20180288306A1 (en) Mask-less phase detection autofocus
Georgiev et al. Rich image capture with plenoptic cameras
TWI796236B (zh) 影像處理方法及影像處理系統
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端
CN117652136A (zh) 使用多点深度感测系统信息来处理图像数据
US8953899B2 (en) Method and system for rendering an image from a light-field camera
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP6006506B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
WO2022244354A1 (ja) 撮像素子及び電子機器
WO2023224664A1 (en) Fusing optically zoomed images into one digitally zoomed image
KR20220053361A (ko) 이미징 장치
KR200449278Y1 (ko) 케이스 및 이것을 구비한 감시카메라
JP2016143973A (ja) 撮影装置、撮影システム、撮影方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination