CN114125207A - 图像传感器、图像获取设备和操作图像获取设备的方法 - Google Patents

图像传感器、图像获取设备和操作图像获取设备的方法 Download PDF

Info

Publication number
CN114125207A
CN114125207A CN202110585914.9A CN202110585914A CN114125207A CN 114125207 A CN114125207 A CN 114125207A CN 202110585914 A CN202110585914 A CN 202110585914A CN 114125207 A CN114125207 A CN 114125207A
Authority
CN
China
Prior art keywords
image
regions
aperture
hole
display layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110585914.9A
Other languages
English (en)
Inventor
李受珍
康恩熙
权基南
李炯旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210031386A external-priority patent/KR20220029310A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114125207A publication Critical patent/CN114125207A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

公开了图像传感器、图像获取设备和操作图像获取设备的方法。所述图像获取设备包括：显示层，包括多个孔区域和布置在所述多个孔区域之间的多个像素区域，其中，外部光通过多个孔区域被接收；图像传感器，设置在显示层下方，并且被配置为通过感测通过多个孔区域接收的外部光来生成原始图像；处理器，被配置为基于模糊信息对原始图像执行图像处理，所述模糊信息基于多个孔区域的布置。

Description

图像传感器、图像获取设备和操作图像获取设备的方法
本申请要求于2020年8月31日在韩国知识产权局提交的第10-2020-0110128号韩国专利申请和于2021年3月10日在韩国知识产权局提交的第10-2021-0031386号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用被包含于此。
技术领域
下面的描述涉及一种图像传感器、包括图像传感器的图像获取设备和操作图像获取设备的方法。
背景技术
相机(一种被配置为捕获图像的装置)被广泛地装配在各种电子装置中。相机已经成为诸如智能电话的移动装置的必要部件，并且随着时间推移，相机变得更先进并在尺寸上更小。通常，智能电话可以包括前置相机和后置相机。前置相机可以设置在智能电话的上端，用于捕获用户自拍照。
发明内容
提供本发明内容以便以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本发明内容不意图确定要求权利的主题的关键特征或必要特征，也不意图用于帮助确定要求权利的主题的范围。
在一个总体方面，一种图像获取设备包括：显示层，包括多个孔区域和布置在所述多个孔区域之间的多个像素区域，其中，外部光通过所述多个孔区域被接收；图像传感器，设置在显示层下方，并且被配置为通过感测通过所述多个孔区域接收的外部光来生成原始图像；以及处理器，被配置为基于模糊信息对原始图像执行图像处理，模糊信息基于所述多个孔区域的布置。
所述多个孔区域中的每个可以布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。
所述多个孔区域中的每个可以为圆形，并且所述多个孔区域在形状和尺寸上可以是相同的。
所述多个孔区域中的每个在尺寸上可以比所述多个像素区域中的每个大，并且所述多个孔区域可以彼此分离。
处理器可以通过对原始图像执行图像预处理来生成预处理图像，并且通过对预处理图像执行图像恢复来生成增强图像。
处理器还可以被配置为通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。
处理器还可以被配置为使用基于神经网络的图像恢复模型来获得增强图像，基于神经网络的图像恢复模型被配置为使用预处理图像作为输入。
模糊信息可以基于所述多个孔区域的形状、尺寸、深度和间隔中的任何一个或者任何两个或更多个的任何组合来确定。
模糊信息可以包括与通过所述多个孔区域的形状、尺寸、深度和间隔中的至少一个确定的原始图像的模糊相关联的信息。
所述多个孔区域中的相邻孔区域的中心之间的间隔可以接近所述多个孔区域中的任何一个的直径。
所述多个孔区域中的相邻孔区域的中心之间的间隔与所述多个孔区域中的任何一个的直径的比率可以接近1。
在另一总体方面中，一种图像获取设备包括：显示层，包括多个像素区域和多个圆形孔区域，所述多个圆形孔区域被配置为使外部光通过其被接收；以及图像传感器，设置在显示层下方，并且被配置为通过感测外部光来生成图像。所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。所述多个孔区域和所述多个像素区域交替地布置在显示层中，并且所述多个孔区域的形状和尺寸均相同。
相邻的孔区域可以通过用于在它们之间布线的布线区域彼此分离，并且四个孔区域可以围绕单个像素区域来布置。
在另一总体方面中，一种图像传感器包括处理器，处理器被配置为：基于通过包括在显示层中的多个孔区域接收的外部光来生成原始图像，并基于模糊信息对原始图像执行图像处理，模糊信息基于所述多个孔区域的布置。
所述多个孔区域中的每个布置在显示层中的多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。所述多个孔区域中的每个在尺寸上可比所述多个像素区域中的每个大，并且所述多个孔区域可以彼此分离。
在另一总体方面，一种电子设备包括：显示面板，包括具有通过其接收外部光的多个孔区域和用于输出显示图像的多个像素区域的显示层；图像传感器，设置在显示面板下方，并且被配置为通过感测外部光来生成原始图像；存储装置，被配置为存储原始图像和增强图像中的任何一个或两者。
所述多个孔区域中的每个可以布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。所述多个孔区域中的每个可以在尺寸上比所述多个像素区域中的每个大，并且所述多个孔区域彼此分离。
在另一总体方面，一种操作图像获取设备的方法包括：通过使用设置在显示层下方的图像传感器感测通过布置在显示层中的多个孔区域接收的外部光来获得原始图像；基于模糊信息对原始图像执行图像处理，模糊信息基于所述多个孔区域的布置。
执行图像处理的步骤可以包括：通过对原始图像执行图像预处理来生成预处理图像；以及通过对预处理图像执行图像恢复来生成增强图像。
生成预处理图像的步骤可以包括：通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。
执行图像处理的步骤可以包括：使用基于神经网络的图像恢复模型来获得增强图像，基于神经网络的图像恢复模型使用预处理图像作为输入。
一种非暂时性计算机可读存储介质可以存储指令，指令在由一个或更多个处理器执行时使所述一个或更多个处理器执行上述方法。
在另一总体方面中，一种图像处理设备包括：显示层，包括以预定图案布置的多个孔区域和多个像素区域；图像传感器，设置在显示层下方，并且被配置为通过捕获通过所述多个孔区域的光来生成原始图像；以及处理器，被配置为基于所述多个孔区域的模糊信息来处理原始图像。
预定图案可以包括围绕所述多个像素区域中的每个的所述多个孔区域的子集。
预定图案可以包括与所述多个像素区域交错的所述多个孔区域。
所述多个孔区域中的每个可以为圆形，所述多个孔区域的形状和尺寸可以相同，并且所述多个孔区域中的每个可以在尺寸上比所述多个像素区域中的每个大。
所述多个孔区域中的每个可以为微孔区域。
模糊信息可以基于所述多个孔区域的形状、尺寸、深度、间隔和基于所述多个孔区域的布置的点扩散函数(PSF)中的任何一个或者任何两个或更多个的任何组合确定。
显示层可以被包括在电子设备的显示面板中。
所述多个孔区域中的相邻孔区域的中心之间的间隔可以接近所述多个孔区域中的任何一个的直径。
所述多个孔区域中的相邻孔区域的中心之间的间隔与所述多个孔区域中的任何一个的直径的比率可以接近1。
处理器还可以被配置为通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。
原始图像可以是去马赛克的红绿蓝(RGB)图像。
处理器还可以被配置为通过对预处理图像执行图像恢复来生成增强图像。
增强图像可以使用基于神经网络的图像恢复模型生成，基于神经网络的图像恢复模型被配置为使用预处理图像作为输入。
图像处理设备还可以包括：图像信号处理器(ISP)，被配置为对增强图像执行降噪、白色缺陷校正、RGB着色、RGB插值、颜色校正、图像格式转换中的任何一个或者任何两个或更多个的任何组合。
通过下面的具体实施方式、附图以及权利要求，其它特征和方面将是清楚的。
附图说明
图1示出了具有图像获取设备的电子设备的示例和显示屏幕上的放大的捕获区域的示例。
图2示出了图像获取设备的结构的示例。
图3和图4示出了布置在显示层中的孔区域的布置。
图5示出了基于孔区域的布置结构的点扩散函数(PSF)。
图6示出了基于孔区域的布置结构的PSF的变化的示例。
图7A至图7C示出图像恢复。
图8示出了图像处理方法的流程图的示例。
图9示出了训练图像恢复模型的示例。
图10示出了图像获取设备的示例。
图11示出图像传感器的示例。
图12示出了电子设备的示例。
在整个附图和具体实施方式中，相同的附图标记表示相同的元件。附图可以不按比例，并且为了清楚、说明和方便，可以夸大附图中的元件的相对尺寸、比例和描绘。
具体实施方式
提供下面的详细描述，以协助读者获得对这里描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，这里描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，这里描述的操作顺序仅是示例，并且不限于这里阐述的那些操作顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将是清楚的那样改变。此外，为了更清楚和简明，可以省略在理解了本申请的公开内容之后已知的特征的描述。
这里描述的特征可以以不同的形式实现，并且不应被解释为限于这里描述的示例。相反，这里描述的示例仅被提供以示出在理解本申请的公开之后将是清楚的实现这里描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
这里使用的术语仅用于描述特定示例的目的，并且不用于限制公开。如这里使用的，除非上下文另有明确指示，否则单数形式“一”、“一个(种/者)”和“该(所述)”也意图包括复数形式。如这里使用的，术语“和/或”包括相关联的所列项中的任何一个以及任何两个或更多个的任何组合。如这里使用的，术语“包括”、“包含”和“具有”说明存在所陈述的特征、数量、操作、元件、组件和/或它们的组合，但不排除存在或者添加一个或更多个其它特征、数量、操作、元件、组件和/或它们的组合。
此外，这里可以使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个不用于限定对应组件的本质、次序或顺序，而是仅用于将对应组件与其它组件区分开。
在整个说明书中，当诸如层、区域或基底的元件被描述为“在”另一元件“上”、“连接到”或者“结合到”另一元件时，它可以直接“在”所述另一元件“上”、“连接到”或者“结合到”所述另一元件，或者可存在介于其间的一个或更多个其它元件。相反，当元件被描述为“直接在”另一元件“上”、“直接连接到”或者“直接结合到”另一元件时，可以不存在介于其间的其它元件。同样地，例如“在……之间”和“直接在……之间”以及“与……相邻”和“直接与……相邻”的表述也可以被解释为如前文所描述。
除非另有定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解以及在理解本公开之后通常理解的含义相同的含义。还将理解的是，除非这里明确地如此定义，否则术语(诸如在通用词典中定义的术语)应当被解释为具有与它们在本公开和相关领域的上下文中的含义一致的含义，而将不以理想化或过于形式化的含义来解释。
此外，在示例实施例的描述中，当认为在理解本申请的公开之后所得知的结构或功能的详细描述将导致示例实施例的模糊解释，将省略这样的描述。
在下文中，将参照附图详细地描述示例，并且附图中的相同的附图标记始终表示相同的元件。
图1示出了具有图像获取设备的电子设备的示例和显示屏幕上的放大的捕获区域的示例。
在图1中，被配置为通过捕获图像来获得图像数据的图像获取设备可以通过被嵌入在电子设备110中来进行操作。图像获取设备可以通过被嵌入在包括显示器120的电子设备110中来进行操作。可以不受限制地使用任何类型的包括显示器的电子设备作为电子设备110。这里针对示例或实施例使用的术语“可以”(例如，关于示例或实施例可以包括、实施或者实现什么)表示至少一个示例或实施例存在有这样的特征、实施方式或实现方式，同时还注意的是，所有的示例和实施例不限于此，并且也可以存在替代示例或实施例。
接收外部光的图像获取设备的相机可以不暴露在电子设备110的外部，而是设置在电子设备110的内部。图像获取设备的相机可以设置在电子设备110的显示器120下方。具有如上所述设置的相机的图像获取设备也被称为显示屏下相机(under-display camera，UDC)。由于相机设置在电子设备110的内部，因此可以包括其中设置有相机的区域作为显示区域。因此，可以实现四边形显示器而不需要实现缺口型显示器或者在显示区域的内部设置独立的相机区域。
例如，如图1中所示，在图像传感器设置在显示器120的一个区域130内的示例中，与区域130对应的显示层140可以包括多个像素区域150和多个孔区域160，多个孔区域160各自为圆形形式。然而，孔区域160的形式不限于示出的圆形，并且孔区域160可以以各种形式实现，诸如以椭圆形形式和四边形形式为例。这里描述的孔区域也被称为微孔区域。像素区域150和孔区域160的布置图案可以在与区域130对应的显示层140中重复。如所示出的，孔区域160中的每个可以布置在像素区域150之间，并且靠近像素区域150来布置。在一个示例中，孔区域160可以布置为使得孔区域160的边界与像素区域150的边界之间的最小距离在孔区域160的直径的1/5内。然而，提供详细数值(1/5)仅是作为示例，因此，示例的范围不限于此。另外，多个孔区域160中的每个可以布置在显示层140中的多个像素区域150的子集之间。此外，多个孔区域160可以与多个像素区域150交错。
图像获取设备可以基于通过显示层140的孔区域160接收的外部光来获得图像数据。可以通过像素区域150(包括显示器120的另一区域中包括的其它像素区域)输出图像或者可以在像素区域150上显示图像。作为包括在显示面板中的组件的显示层140可以是其中以预定图案布置像素区域150的层。如所示出的，外部光穿过其进入到电子设备110中的孔区域160可以仅存在于其中设置有图像获取设备的区域130中。尽管其中布置有孔区域160的区域130和显示层140以圆形形式示出，但是也可以以各种形式设置区域130和显示层140。
图2示出了图像获取设备的结构的示例。
图2描绘了图1的电子设备110的区域130的剖面的示例。在图2中，图像获取设备包括显示层210和图像传感器220。显示层210包括被配置为输出颜色的多个像素区域230和使外部光250通过其被接收的圆形形式的多个孔区域240。像素区域230和孔区域240可以在图1的电子设备110的区域130中交替地布置在显示层210上。显示层210的除了孔区域240之外的剩余区域可以全部被构造为禁止光穿过。因此外部光250可以仅在穿过孔区域240之后到达图像传感器220。
在显示层210上，设置透明或半透明材料的保护层260以保护显示层210。例如，保护层260可以由钢化玻璃或增强塑料形成。此外，除了像素区域230之外，显示层210还可以包括用于实现显示面板的其它组件。包括这种像素区域230的显示器可以由诸如以液晶显示器(LCD)和有机发光二极管(OLED)为例的显示器类型来实现。
图像传感器220可以设置在显示层210下方，并且被配置为通过感测通过孔区域240接收的外部光250来生成原始图像。根据多个示例，图像传感器220可以被设计为超小，并且被设置为多个图像传感器。例如，由图像传感器220通过穿过孔区域240的光而生成的原始图像可以包括去马赛克的红绿蓝(RGB)图像。到达图像传感器220的外部光250可以是入射在显示层210上并且穿过孔区域250的光的一部分。因此，由图像传感器220获得的原始图像可以具有比期望的图像质量水平低的图像质量水平。例如，原始图像可能由于被像素区域230遮挡而具有相对低水平的亮度和相对大量的噪声。此外，孔区域240可以用作狭缝，并且因而由于衍射效应在原始图像中会存在伪像。例如，原始图像会具有模糊或耀斑。
由于这种图像质量劣化因素，可以期望在诸如UDC的结构中进行图像处理，以增强由图像传感器220获得的原始图像。图像获取设备还可以包括被配置为执行这种图像处理的处理器。根据一个示例，可以在图像传感器220中执行图像处理。图像处理可以包括将图像传感器220获得的原始图像恢复为具有与由不包括孔区域240的相机捕获的典型图像的图像质量相似的图像质量。图像获取设备可以通过基于孔区域240的布置(例如，孔区域240的形状、尺寸、深度、间隔等)处理图像来执行这种图像恢复，并且因此即使在使用UDC的环境中也可以提供高分辨率的清晰图像。
包括在显示层210中的孔区域240的布置可以基于孔区域240中的每个的形状、尺寸、深度、间隔等来确定。它可以是针对图像处理而优化的布置，或者被优化以降低原始图像中的图像质量劣化因素。可以基于通过孔区域240的布置表现出的模糊特性来确定这种优化的布置。下面将参照图3和图4描述孔区域240的布置的示例。
图3和图4示出了其中布置有多个孔区域的显示层的一部分，但是在其它示例中可以存在孔区域的不同布置。
在图3中，多个像素区域312、314、316和318布置在整个显示层中，多个孔区域320、322、324、326和328仅布置在显示层的一部分中。在显示层中，多个孔区域320、322、324、326和328以及多个像素区域312、314、316和318可以交替地布置。
例如，多个孔区域320、322、324、326和328中的每个可以具有圆形轮廓，并且可以具有相同的形状和尺寸。例如，单个圆形形式的孔区域320可以布置在多个像素区域312、314、316和318之间。在显示层中，每个孔区域可以与四个其它孔区域一起靠近四个像素区域来布置。例如，孔区域320可以靠近其它孔区域322、324、326和328以及多个像素区域312、314、316和318来布置。相邻的孔区域可以通过用于在它们之间布线的布线区域而彼此分离，并且四个孔区域可以布置为围绕单个像素区域。多个孔区域320、322、324、326和328可以被设计为在显示层的除了多个像素区域312、314、316和318以及布线区域之外的区域中具有最大尺寸。多个孔区域320、322、324、326和328可以靠近多个像素区域312、314、316和318布置。例如，孔区域320可以布置为使得孔区域320的边界与靠近孔区域320的多个像素区域312、314、316和318中的每个的边界之间的最小距离在孔区域160的直径的1/5内。
图4示出了显示层中的多个孔区域的布置的另一示例。在图4中，与图3中所示的示例布置类似，多个孔区域420、422、424、426和428以及多个像素区域412、414、416和418可以交替地布置在显示层中。均以圆形形式设置的多个孔区域420、422、424、426和428可以具有相同的形状和尺寸。多个孔区域420、422、424、426和428中的每个可以靠近四个相邻的孔区域和四个像素区域来布置。多个孔区域420、422、424、426和428可以通过它们之间的布线区域彼此识别，并且可以被设计为在除了多个像素区域412、414、416和418以及布线区域之外的区域中具有最大尺寸。
如上面针对图3和图4以及孔区域的示例布置所描述，可以使更多的外部光通过最大尺寸的孔区域被接收。因此可以基于孔区域的构造获得高亮度原始图像。此外，通过其中相同尺寸和形状的孔区域彼此靠近布置的布置结构，可以减少可能由于衍射而发生的图像质量的劣化。可以通过以下工艺来获得孔区域的最佳布置结构：在满足给定显示要求的像素区域布置在显示层中的状态下确定弯曲形状的孔区域的基本形式；在相邻像素区域之中布置得最远的像素区域与布置在当前像素区域附近的像素区域之间布置孔区域；增大布置的孔区域的尺寸，直到孔区域在距像素区域和用于布线的布线区域的预设距离内；以及阻挡除了相应的孔区域之外的可能由显示结构产生的所有微孔区域。
图像获取设备可以通过基于如上所述确定的孔区域的布置结构考虑光学特性对原始图像执行图像预处理并且通过执行图像恢复来生成更高分辨率的图像。下面将描述关于这种图像处理的进一步细节。
图5示出了基于孔区域的布置结构的点扩散函数(point spread function，PSF)。
图5示出了显示层中的具有直径510的一个区域505、包括孔区域520和525的多个孔区域以及包括像素区域515的多个像素区域。将由图像传感器通过孔区域感测的原始图像的模糊可以基于孔区域的布置结构模拟为PSF540。
PSF 540可以是指示将被包括在原始图像中的单个像素区域或点如何扩散的数学或数值表示。通过PSF 540，可以估计将在原始图像中指示的模糊信息。PSF 540的形状可以根据孔区域的尺寸、孔区域的形状、孔区域的深度、孔区域之间的间隔和/或孔区域在二维(2D)平面上的布置形式而变化。例如，孔区域的尺寸可以确定PSF 540的包络形式以及到主瓣的距离550。相邻孔区域520和525之间的间隔530可以确定第一旁瓣的位置和强度。此外，孔区域520和525之间的间隔与孔区域520和525中的每个的尺寸的比率可以确定第一旁瓣的强度。
例如，随着孔区域520和525的尺寸增大，中心542与主瓣之间的距离550可以增大，并且第一旁瓣的强度可以减小。随着孔区域520和525之间的间隔530减小，中心542与第一旁瓣之间的距离545可以增大，并且第一旁瓣的强度可以减小。下面将描述关于孔区域的布置结构和PSF之间的关系的进一步细节。
图6示出了基于孔区域的布置结构的PSF的变化的示例。在图6的示例中，假设情况610和630中的孔区域具有与情况610和630两者中的孔区域中的每个的尺寸对应的相同直径w，但是情况610中的孔区域之间的间隔(或间距)s1比情况630中的孔区域之间的间隔s2大。还假设其它条件是相同的。在图6的示例中，也示出了通过分别对情况610和630中的孔区域的布置进行模拟而得出的PSF 620和PSF 640。
比较PSF 620和PSF 640，随着孔区域之间的间隔减小，从中心(例如，622、642)到第一旁瓣的距离增大，并且第一旁瓣的强度减小。第一旁瓣指示与原始图像中的模糊或残像对应的元素，并且因此第一旁瓣的强度需要减小。
可以通过孔区域的尺寸来确定PSF的包络。例如，在PSF 620和PSF 640中，由于孔区域中的每个具有相同的尺寸，因此可以基于孔区域中的任何孔区域的直径来确定PSF620和PSF 640的包络。在PSF 620和PSF 640中，随着间隔s1或s2接近直径w或者比率s1/w或s2/w接近1，第一旁瓣的强度将接近零。
返回参照图5，基于孔区域的布置和PSF 540的形式之间的关系，可以期望孔区域中的每个的尺寸增大，并且相邻的孔区域520和525之间的间隔530减小。此外，可以期望孔区域和像素区域交替地布置，并且孔区域靠近每个像素区域来布置，并且每个孔区域具有单个圆形的形式。此外，当确定孔区域的布置时，可以考虑用于相邻孔区域520和525之间的布线等的裕度。
从基于孔区域的布置结构的PSF 540，可以估计可以在原始图像中被指示的模糊信息，并且可以采用基于布置结构的图像处理方法。例如，在孔区域520和525之间的间隔530相对大的示例中，会发生强重像。在这种示例中，图像获取设备可以使用与PSF 540相关联的信息从原始图像中去除重像或模糊，然后执行图像恢复。针对另一示例，在孔区域520和525之间的间隔530相对小的示例中，会发生强噪声和扩大的模糊轮廓。在这种示例中，图像获取设备可以使用神经网络执行去卷积或图像恢复。
图7A至图7C示出了图像恢复。
在图7A中，在其中布置有多个像素区域720和多个孔区域715的显示层710下方，图像传感器730可以通过感测通过孔区域715接收的外部光来生成原始数据。在操作735中，从布置在显示层710中的孔区域715的布置提取模糊信息。模糊信息可以基于孔区域715的形状、尺寸、深度和/或间隔而变化。可以从通过仿真或等式确定的PSF获得模糊信息。
在操作740中，基于模糊信息对原始数据执行图像预处理。图像预处理可以包括用于减少原始数据中包括的诸如重像或模糊的伪像的图像处理方法。图像预处理可以包括例如将滤波器应用于原始图像的滤波、使用已知内核的去卷积处理或用于获得具有减少的重像或模糊的图像的基于神经网络模型的方法。
在操作745中，可以对通过图像预处理获得的预处理图像执行图像恢复。图像恢复可以使来自图像恢复的结果更类似于在不存在被像素区域720遮挡的部分的环境下由图像传感器获得的图像。针对图像恢复，可以使用训练的基于神经网络的图像恢复模型。图像恢复模型可以使用预处理图像作为输入，并且输出通过图像恢复获得的增强图像。
为了从图像预处理和图像恢复获得期望的结果，布置在显示层710中的孔区域715中的每个的尺寸可能需要尽可能大，并且孔区域715之间的距离可能需要尽可能短。通过图像恢复获得的增强图像可以被传输到图像信号处理器(ISP)750。ISP 750可以以期望的方式处理增强图像。例如，ISP 750可以执行图像处理，例如，降噪、白色缺陷校正、RGB着色、RGB插值、颜色校正、图像格式转换等。
在图7B中，可以在ISP 755对原始图像执行图像处理之后执行上面描述的图像预处理和图像恢复。原始图像由图像传感器730获得，并且获得的原始图像被传输到ISP 755。ISP 755对原始图像执行图像处理，例如，降噪。随后，在操作760中对通过由ISP 755执行的图像处理获得的图像执行与操作740对应的图像预处理，然后在操作765中执行图像恢复。
在图7C中，可以在由第一ISP 770执行的图像处理与由第二ISP 785执行的图像处理之间在操作775和操作780中对原始图像执行上面描述的图像预处理和图像恢复。由图像传感器730获得的原始图像被传输到第一ISP 770，并且第一ISP 770对原始图像执行图像处理，例如，降噪。随后，在操作775中基于模糊信息执行图像预处理，并且在操作780中执行图像恢复。通过图像恢复获得的结果图像被传输到第二ISP 785，并且第二ISP 785对结果图像执行图像处理，例如，降噪、白色缺陷校正、RGB着色、RGB插值、颜色校正、图像格式转换等。
图8示出了图像处理方法的流程图的示例。
在图8中，在操作810中，图像获取设备使用图像传感器获得原始图像。图像传感器可以设置在显示器下方，并且被配置为通过感测通过显示层的多个孔区域接收或者捕获的外部光来生成原始图像。
在操作820和操作830中，图像获取设备通过根据基于孔区域的布置的模糊信息对原始图像执行图像处理来生成增强图像。孔区域的布置的结构可以通过孔区域的形状、尺寸、深度和/或间隔确定。在操作820中，图像获取设备通过基于模糊信息对原始图像执行图像预处理来生成预处理图像。例如，图像获取设备可以通过执行将滤波器应用于原始图像的图像预处理和对原始图像执行图像去卷积的图像处理中的至少一个来生成预处理图像。
在操作830中，图像获取设备通过对预处理图像执行图像恢复来生成增强图像。例如，图像获取设备可以使用利用预处理图像作为输入的基于神经网络的图像恢复模型来获得增强图像。图像恢复模型可以是被训练为在输入预处理图像作为输入数据时将通过对预处理图像执行图像恢复而获得的增强图像输出作为输出数据的模型。下面将描述关于图像恢复模型的训练的进一步细节。
图9示出了训练图像恢复模型的示例。
在图9中，可以基于典型图像和预处理图像来训练基于神经网络的图像恢复模型。当图像传感器920感测通过显示层910接收的外部光时，可以生成典型图像，在显示层910中存在主孔径915而不是微孔区域。如前面描述生成的典型图像可以被存储在典型图像数据库(DB)930中。
当图像传感器960感测通过显示层940的多个孔区域945接收的外部光时，可以获得原始图像，多个孔区域945和多个像素区域950交替地布置在显示层940中。显示层940中的孔区域945和像素区域950的布置可以与上面关于附图描述的布置相同。图像传感器960可以与图像传感器920相同。在图9的示例中，假设除了显示层910与显示层940之间的差异之外，图像传感器920和图像传感器960在获得图像上没有其它差异。在操作970中，对由图像传感器960获得的原始图像执行图像预处理。通过这种图像预处理生成的预处理图像可以被存储在预处理图像DB 980中。可以基于从基于孔区域945的布置的光学特性获得的模糊信息来执行图像预处理，并且图像预处理包括使用模糊信息从原始图像中去除重像。模糊信息可以包括与基于孔区域945的布置确定的PSF相关联的信息。
在操作990中，基于典型图像和预处理图像执行图像恢复模型的训练。可以将预处理图像输入到用于将执行图像恢复的图像恢复模型，并且可以将通过图像恢复获得的结果图像与在典型环境下获得的典型图像进行比较。可以更新包括在图像恢复模型中的神经网络的参数，使得基于损失函数减小结果图像与典型图像之间的由损失函数定义的差异。通过上面描述的这种过程，可以执行训练，使得从图像恢复模型输出的结果图像更类似于典型图像。
可以对多组训练数据重复执行所述过程，并且可以更新图像恢复模型，以具有更期望的结果。根据一个示例，可以使用通过将噪声或模糊人工添加到典型图像而获得的合成数据来训练图像恢复模型。例如，可以将合成数据输入到图像恢复模型，并且可以更新图像恢复模型的参数，使得从图像恢复模型输出的结果图像与合成之前的典型图像之间的差异减小。
图10示出了图像获取设备的示例。
在图10中，图像获取设备1000包括显示层1010、图像传感器1020和处理器1030。显示层1010可以包括多个孔区域和多个像素区域，外部光通过多个孔区域被接收。像素布置在孔区域之间。在显示层1010上，孔区域和像素区域可以交替地布置。孔区域中的每个可以具有比像素区域中的每个大的尺寸，并且以单个圆形的形式设置。孔区域可以具有相同的形状和尺寸，并且通过它们之间的布线区域彼此识别。
图像传感器1020可以设置在显示层1010下方，并且通过感测通过孔区域接收的外部光来生成原始图像，并且将生成的原始图像发送到处理器1030。图像传感器1020可以包括被配置为接收外部光并生成图像数据的相机。
处理器1030可以控制图像获取设备1000的整体操作，并且执行指令，以执行上面参照图1至图9描述的一个或更多个操作。例如，处理器1030可以通过根据基于孔区域的布置的模糊信息对原始图像执行图像处理来生成增强图像。模糊信息可以包括与通过显示层1010中存在的孔区域的形状、尺寸、深度和/或间隔确定的原始图像的模糊相关联的信息。模糊信息可以包括例如与基于孔区域的布置的结构的PSF相关联的信息。处理器1030可以通过对由图像传感器1020获得的原始图像执行图像预处理来生成预处理图像，并且通过对预处理图像执行图像恢复来生成增强图像。针对图像预处理，处理器1030可以执行用于生成预处理图像的将滤波器应用于原始图像的图像预处理和/或对原始图像执行图像去卷积的图像预处理。处理器1030可以使用利用预处理图像作为输入的基于神经网络的图像恢复模型来获得增强图像。
图11示出图像传感器的示例。
在一个示例中，图像传感器1110不仅可以获得原始图像，而且还可以通过对获得的原始图像执行图像处理来生成增强图像。因此，可以从图像传感器1110输出增强图像。
在图11中，图像传感器1110包括相机1120和处理器1130。相机1120可以通过感测通过包括在显示层中的多个孔区域接收的外部光来生成原始图像。在显示层中，多个孔区域和多个像素区域可以交替地布置。孔区域中的每个可以具有比像素区域中的每个大的尺寸，并且孔区域可以通过它们之间的布线区域彼此识别。例如，孔区域中的每个可以与四个其它孔区域一起靠接四个像素区域来布置。
处理器1130可以通过根据基于孔区域的布置的模糊信息对原始图像执行图像处理来生成增强图像。处理器1130可以对由相机1120获得的原始图像执行图像预处理(例如，滤波)，并且根据基于神经网络的图像恢复模型对通过图像预处理获得的预处理图像执行图像恢复。作为图像恢复的结果，可以生成增强图像。
图12示出了电子设备的示例。
作为包括显示器的设备的电子设备1200可以是例如智能电话、平板计算机、可穿戴装置、上网本、膝上型计算机等。在图12中，电子设备1200包括处理器1210、存储器1220、图像传感器1230、存储装置1240、输入装置1250、输出装置1260和通信装置1270。电子设备1200的这些组件可以通过通信总线1280彼此通信。电子设备1200可以执行上面参照图10描述的图像获取设备1000的所有功能。
处理器1210可以控制电子设备1200的整体操作，并且执行将在电子设备1200中执行的功能和指令。处理器1210可以执行上面参照图1到图11描述的操作或方法中的一个或更多个或者全部。处理器1210可以通过对通过图像传感器1230获得的原始图像执行图像处理来生成增强图像。例如，处理器1210可以通过根据基于显示层中的孔区域的布置的模糊信息对原始图像执行图像预处理和图像恢复来生成增强图像。
存储器1220可以存储对于处理器1210执行其处理操作所必需的信息。例如，存储器1220可以存储将由处理器1210执行的指令，并且在电子设备1200中的软件或应用的执行期间存储相关信息。存储器1220可以包括例如随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)或相关技术领域中公知的其它类型的非易失性存储器。
图像传感器1230可以设置在包括显示层的显示面板下方，并且被配置为通过感测通过布置在显示层中的孔区域接收的外部光来生成原始图像。图像传感器1230可以包括用于接收外部光的相机，并且也可以根据示例对原始图像执行图像处理。
存储装置1240可以包括计算机可读存储介质或装置，并且存储原始图像和增强图像。存储装置1240可以包括例如磁硬盘、光盘、闪存、电可擦除可编程只读存储器(EEPROM)等。
输入装置1250可以从用户接收输入，例如，触觉输入、视频输入、音频输入或触摸输入。输入装置1250可以包括例如键盘、鼠标、触摸屏、麦克风、视网膜扫描仪以及可以检测来自用户的输入并将检测到的输入发送到电子设备1200的其它装置。
输出装置1260可以通过视觉、听觉或触觉通道向用户提供电子设备1200的输出。输出装置1260可以包括例如用于液晶显示器(LCD)和发光二极管(LED)/有机发光二极管(OLED)显示器的显示面板、触摸屏、扬声器、振动发生器以及可以向用户提供输出的其它装置。例如，在输出装置1260是显示面板的示例中，显示面板可以包括显示层，在显示层中布置有外部光通过其被接收的多个孔区域和用于输出显示图像的多个像素区域。
通信装置1270可以通过有线或无线网络与外部装置通信。通信装置1270可以从外部装置接收数据或信息以及向外部装置发送数据或信息。
仅作为非穷举示例，这里描述的电子设备110可以是移动装置(诸如蜂窝电话、智能电话、可穿戴智能装置(诸如戒指、手表、一副眼镜、手链(手环)、踝链(脚链)、腰带、项链、耳环、头饰带、头盔或嵌入在服装中的装置)、便携式个人计算机(PC)(诸如膝上型计算机、笔记本计算机、小型笔记本计算机、上网本、超移动PC(UMPC)、平板PC(平板计算机))、平板电话、个人数字助理(PDA)、数码相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、全球定位系统(GPS)导航装置或传感器)，或者是固定装置(诸如台式PC、高清电视机(HDTV)、DVD播放器、蓝光播放器、机顶盒或家用电器)，或者是被构造为执行无限或网络通信的任何其它移动或固定装置。在一个示例中，可穿戴装置是设计为能够直接安装在用户身体上的装置(诸如一副眼镜或手环)。在另一示例中，可穿戴装置是使用附接装置安装在用户身体上的任何装置(诸如使用臂环附接到用户手臂上或者使用挂绳挂在用户脖子上的智能电话或平板计算机)。
这里关于图1至图12描述的图像获取设备、电子设备以及其它设备、装置、单元、模块和组件通过硬件组件实现。可以用于执行本申请中描述的操作的硬件组件的示例在适当的情况下包括控制器、传感器、发生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其它电子组件。在其它示例中，执行本申请中描述的操作的硬件组件中的一个或更多个通过计算硬件(例如，通过一个或更多个处理器或计算机)来实现。处理器或计算机可以通过一个或更多个处理元件(诸如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或者被配置为以限定的方式响应并执行指令以实现期望结果的任何其它装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或更多个存储器。通过处理器或计算机实现的硬件组件可以执行指令或软件(诸如，操作系统(OS)以及在OS上运行的一个或更多个软件应用)，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行而访问、操纵、处理、创建以及存储数据。为了简洁，单数术语“处理器”或“计算机”可以用在本申请中描述的示例的描述中，但是在其它示例中，多个处理器或计算机可以被使用，或者处理器或计算机可以包括多个处理元件或多种类型的处理元件或两者。例如，单个硬件组件或者两个或更多个硬件组件可以通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或更多个硬件组件可以通过一个或更多个处理器或者处理器和控制器来实现，并且一个或更多个其它硬件组件可以通过一个或更多个其它处理器或者另外的处理器和另外的控制器来实现。一个或更多个处理器或者处理器和控制器可以实现单个硬件组件或者两个或更多个硬件组件。硬件组件可以具有不同处理配置中的任何一个或更多个，不同处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
图1至图12中示出的执行本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述地执行指令或软件，以执行本申请中描述的通过所述方法执行的操作。例如，单个操作或者两个或更多个操作可以通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或更多个操作可以通过一个或更多个处理器或者处理器和控制器来执行，并且一个或更多个其它操作可以通过一个或更多个其它处理器或者另外的处理器和另外的控制器来执行。一个或更多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或更多个处理器或计算机)实现硬件组件并执行如上面描述的方法的指令或软件可以被编写为计算机程序、代码段、指令或它们的任何组合，以用于单独地或者共同地指示或者配置一个或更多个处理器或计算机作为机器或专用计算机进行操作，从而执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或更多个处理器或计算机直接执行的机器代码，诸如由编译器生成的机器代码。在另一示例中，指令或软件包括由一个或更多个处理器或计算机使用解释器执行的高级代码。基于附图中所示的框图和流程图以及说明书中的相应描述，可以使用任何编程语言编写指令或软件，其中，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制计算硬件(例如，一个或更多个处理器或计算机)实现硬件组件并执行如上面描述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或者固定在一个或更多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、卡型存储器(诸如多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及任何其它装置，所述任何其它装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或更多个处理器或计算机，使得一个或更多个处理器或计算机可以执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在网络连接的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构被一个或更多个处理器或计算机以分布式方式存储、访问以及执行。
虽然本公开包括具体示例，但是在理解本申请的公开之后将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例中进行形式和细节上的各种改变。这里描述的示例仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其它示例中的类似特征或方面。如果所描述的技术以不同的顺序执行，和/或如果所描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其它组件或其等同物替换或者补充，则可以实现合适的结果。
因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且在权利要求及其等同物的范围内的所有变化将被解释为包括在公开中。

Claims (36)

1.一种图像获取设备，包括：
显示层，包括多个孔区域和布置在所述多个孔区域之间的多个像素区域，其中，外部光通过所述多个孔区域被接收；
图像传感器，设置在显示层下方，并且被配置为通过感测通过所述多个孔区域接收的外部光来生成原始图像；以及
处理器，被配置为基于模糊信息对原始图像执行图像处理，所述模糊信息基于所述多个孔区域的布置。
2.根据权利要求1所述的图像获取设备，其中，所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内。
3.根据权利要求1所述的图像获取设备，其中，所述多个孔区域中的每个为圆形，并且所述多个孔区域的形状和尺寸相同。
4.根据权利要求1所述的图像获取设备，其中，所述多个孔区域中的每个在尺寸上比所述多个像素区域中的每个大，并且所述多个孔区域通过它们之间的布线区域彼此分离。
5.根据权利要求1至4中任一项所述的图像获取设备，其中，处理器还被配置为：
通过对原始图像执行图像预处理来生成预处理图像；以及
通过对预处理图像执行图像恢复来生成增强图像。
6.根据权利要求5所述的图像获取设备，其中，处理器还被配置为：
通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。
7.根据权利要求5所述的图像获取设备，其中，处理器还被配置为：
使用基于神经网络的图像恢复模型来获得增强图像，所述基于神经网络的图像恢复模型被配置为使用预处理图像作为输入。
8.根据权利要求1所述的图像获取设备，其中，所述模糊信息基于所述多个孔区域的形状、尺寸、深度和间隔中的任何一个或者任何两个或更多个的任何组合确定。
9.根据权利要求1所述的图像获取设备，其中，所述模糊信息包括与通过所述多个孔区域的形状、尺寸、深度和间隔中的至少一个确定的原始图像的模糊相关联的信息。
10.根据权利要求9所述的图像获取设备，其中，所述多个孔区域中的相邻孔区域的中心之间的间隔接近所述多个孔区域中的任何一个的直径。
11.根据权利要求9所述的图像获取设备，其中，所述多个孔区域中的相邻孔区域的中心之间的间隔与所述多个孔区域中的任何一个的直径的比率接近1。
12.一种图像获取设备，包括：
显示层，包括多个像素区域和多个圆形孔区域，所述多个圆形孔区域被配置为使外部光通过其被接收；以及
图像传感器，设置在显示层下方，并且被配置为通过感测外部光来生成图像，
其中，所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内，
所述多个孔区域和所述多个像素区域交替地布置在显示层中，并且
所述多个孔区域的形状和尺寸均相同。
13.根据权利要求12所述的图像获取设备，其中，相邻的孔区域通过用于在它们之间布线的布线区域彼此分离，并且四个孔区域围绕单个像素区域来布置。
14.一种图像传感器，包括：
处理器，被配置为：
基于通过包括在显示层中的多个孔区域接收的外部光来生成原始图像；并且
基于模糊信息对原始图像执行图像处理，所述模糊信息基于所述多个孔区域的布置。
15.根据权利要求14所述的图像传感器，其中，所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内，
所述多个孔区域中的每个在尺寸上比所述多个像素区域中的每个大，
并且所述多个孔区域彼此分离。
16.一种电子设备，包括：
显示面板，包括具有通过其接收外部光的多个孔区域和用于输出显示图像的多个像素区域的显示层接收；
图像传感器，设置在显示面板下方，并且被配置为通过感测外部光来生成原始图像；
处理器，被配置为通过基于模糊信息对原始图像执行图像处理来生成增强图像，所述模糊信息基于所述多个孔区域的布置；以及
存储装置，被配置为存储原始图像和增强图像中的任何一个或两者。
17.根据权利要求16所述的电子设备，其中，所述多个孔区域中的每个布置在显示层中的所述多个像素区域的子集之间，并且布置为使得孔区域的边界与像素区域的边界之间的最小距离在孔区域的直径的1/5内，
所述多个孔区域中的每个在尺寸上比所述多个像素区域中的每个大，并且所述多个孔区域彼此分离。
18.一种操作图像获取设备的方法，包括：
通过使用设置在显示层下方的图像传感器感测通过布置在显示层中的多个孔区域接收的外部光来获得原始图像；以及
基于模糊信息对原始图像执行图像处理，所述模糊信息基于所述多个孔区域的布置。
19.根据权利要求18所述的方法，其中，执行图像处理的步骤包括：
通过对原始图像执行图像预处理来生成预处理图像；以及
通过对预处理图像执行图像恢复来生成增强图像。
20.根据权利要求19所述的方法，其中，生成预处理图像的步骤包括：
通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。
21.根据权利要求19所述的方法，其中，执行图像处理的步骤包括：
使用基于神经网络的图像恢复模型来获得增强图像，所述基于神经网络的图像恢复模型使用预处理图像作为输入。
22.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或更多个处理器执行时使所述一个或更多个处理器执行根据权利要求18至21中任一项所述的方法。
23.一种图像处理设备，包括：
显示层，包括以预定图案布置的多个孔区域和多个像素区域；
图像传感器，设置在显示层下方，并且被配置为通过感测通过所述多个孔区域捕获的光来生成原始图像；以及
处理器，被配置为基于所述多个孔区域的模糊信息来处理原始图像。
24.根据权利要求23所述的图像处理设备，其中，所述预定图案包括围绕所述多个像素区域中的每个的所述多个孔区域的子集。
25.根据权利要求23所述的图像处理设备，其中，所述预定图案包括与所述多个像素区域交错的所述多个孔区域。
26.根据权利要求24所述的图像处理设备，其中，所述多个孔区域中的每个为圆形，所述多个孔区域的形状和尺寸相同，并且所述多个孔区域中的每个在尺寸上比所述多个像素区域中的每个大。
27.根据权利要求24所述的图像处理设备，其中，所述多个孔区域中的每个为微孔区域。
28.根据权利要求26所述的图像处理设备，其中，所述模糊信息基于所述多个孔区域的形状、尺寸、深度、间隔和基于所述多个孔区域的布置的点扩散函数中的任何一个或者任何两个或更多个的任何组合确定。
29.根据权利要求23所述的图像处理设备，其中，所述显示层被包括在电子设备的显示面板中。
30.根据权利要求23所述的图像处理设备，其中，所述多个孔区域中的相邻孔区域的中心之间的间隔接近所述多个孔区域中的任何一个的直径。
31.根据权利要求23所述的图像处理设备，其中，所述多个孔区域中的相邻孔区域的中心之间的间隔与所述多个孔区域中的任何一个的直径的比率接近1。
32.根据权利要求23所述的图像处理设备，其中，所述处理器还被配置为通过执行被配置为将滤波器应用于原始图像的图像预处理和被配置为对原始图像执行图像去卷积的图像预处理中的任何一个或两者来生成预处理图像。
33.根据权利要求32所述的图像处理设备，其中，所述原始图像是去马赛克的RGB图像。
34.根据权利要求32所述的图像处理设备，其中，所述处理器还被配置为通过对预处理图像执行图像恢复来生成增强图像。
35.根据权利要求34的图像处理设备，其中，所述增强图像使用基于神经网络的图像恢复模型生成，所述基于神经网络的图像恢复模型被配置为使用预处理图像作为输入。
36.根据权利要求34所述的图像处理设备，还包括：图像信号处理器，被配置为对增强图像执行降噪、白色缺陷校正、RGB着色、RGB插值、颜色校正、图像格式转换中的任何一个或者任何两个或更多个的任何组合。
CN202110585914.9A 2020-08-31 2021-05-27 图像传感器、图像获取设备和操作图像获取设备的方法 Pending CN114125207A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200110128 2020-08-31
KR10-2020-0110128 2020-08-31
KR1020210031386A KR20220029310A (ko) 2020-08-31 2021-03-10 이미지 센서, 이미지 센서를 포함하는 이미지 획득 장치 및 그것의 동작 방법
KR10-2021-0031386 2021-03-10

Publications (1)

Publication Number Publication Date
CN114125207A true CN114125207A (zh) 2022-03-01

Family

ID=76374924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110585914.9A Pending CN114125207A (zh) 2020-08-31 2021-05-27 图像传感器、图像获取设备和操作图像获取设备的方法

Country Status (3)

Country Link
EP (1) EP3962058A1 (zh)
JP (1) JP2022041886A (zh)
CN (1) CN114125207A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11837617B2 (en) * 2022-04-27 2023-12-05 Visera Technologies Company Ltd. Under-display camera system and operating method thereof
CN117041742A (zh) * 2023-08-29 2023-11-10 深圳市亿思朴科技有限公司 一种黑光全彩处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015944A1 (ja) * 2013-08-02 2015-02-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US10250782B2 (en) * 2015-10-08 2019-04-02 Samsung Electro-Mechanics Co., Ltd. Camera module, electronic device, and method of operating the same using pre-estimated lens-customized point spread function (PSF)
CN108630113B (zh) * 2017-03-22 2020-06-30 京东方科技集团股份有限公司 显示装置
CN115798365A (zh) * 2018-04-08 2023-03-14 北京小米移动软件有限公司 显示面板、光电检测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
JP2022041886A (ja) 2022-03-11
EP3962058A1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
US11792515B2 (en) Method and apparatus for image acquisition including image sensor
US10643306B2 (en) Image signal processor for processing images
US10410327B2 (en) Shallow depth of field rendering
US11263782B2 (en) Image signal processor for processing images
EP3542347B1 (en) Fast fourier color constancy
US9760794B2 (en) Method and system of low-complexity histrogram of gradients generation for image processing
US10853907B2 (en) Fast GPU context switch
US9483702B2 (en) Method, apparatus and system for determining a saliency map for an input image
CN104869320A (zh) 电子设备和控制电子设备操作方法
KR102583929B1 (ko) 디스플레이 장치 및 그 제어 방법
CN114125207A (zh) 图像传感器、图像获取设备和操作图像获取设备的方法
US20220138924A1 (en) Image restoration method and apparatus
US9299149B2 (en) Image enhancement using modulation strength map and modulation kernel
JP2014059691A (ja) 画像処理装置および方法、並びにプログラム
CN113052923B (zh) 色调映射方法、装置、电子设备和存储介质
US10521918B2 (en) Method and device for filtering texture, using patch shift
US10963728B2 (en) Method, device, and system for processing multimedia signal
US8902238B2 (en) Parallel flood-fill techniques and architecture
US20230127327A1 (en) System and method for learning tone curves for local image enhancement
JP6155349B2 (ja) デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品
US9615034B2 (en) Selective brightness control in photography
US12015855B2 (en) System and method for synthesizing low-light images
US20230252604A1 (en) Learning based discrete cosine noise filter
US11928799B2 (en) Electronic device and controlling method of electronic device
KR20240039394A (ko) 영상 처리 장치, 그것을 갖는 전자 장치, 그것의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination