CN112639610A - 恢复穿过显示器的图像的方法和装置 - Google Patents

恢复穿过显示器的图像的方法和装置 Download PDF

Info

Publication number
CN112639610A
CN112639610A CN201880096437.6A CN201880096437A CN112639610A CN 112639610 A CN112639610 A CN 112639610A CN 201880096437 A CN201880096437 A CN 201880096437A CN 112639610 A CN112639610 A CN 112639610A
Authority
CN
China
Prior art keywords
image
point spread
image sensor
spread functions
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880096437.6A
Other languages
English (en)
Other versions
CN112639610B (zh
Inventor
张洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112639610A publication Critical patent/CN112639610A/zh
Application granted granted Critical
Publication of CN112639610B publication Critical patent/CN112639610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/24—Optical objectives specially designed for the purposes specified below for reproducing or copying at short object distances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种恢复穿过显示器(2)并由位于显示器(2)的背面的图像传感器(6)拍摄的图像的方法，该方法包括获取由图像传感器(6)拍摄的图像，获得与以预定图案排列在校准图(CC)上的多个点(D)一对一对应的多个点扩展函数，并基于多个点扩展函数对图像进行去卷积以恢复图像。

Description

恢复穿过显示器的图像的方法和装置
技术领域
本公开总体上涉及电子技术领域，并且更特别地，涉及一种用于恢复穿过显示器并且由设置在显示器的背面上的图像传感器拍摄的图像的方法和装置。
背景技术
已经开发出用于诸如智能电话和平板终端的电子设备的透明显示器。通过将前置摄像头放置在透明显示器的后面，可以扩大电子设备的显示区域，从而在不牺牲用户价值的情况下实现沉浸式观看体验所需的真正“全屏显示”。
然而，穿过显示器的光会受到显示器的光学特性的影响。因此，如果图片/图像是由位于显示器后面的摄像头拍摄的，则由于显示器引起的光学干扰，图像质量会下降。
干扰主要是由于显示器上的反射或显示器的布线结构引起的衍射。特别是，衍射会在摄像头拍摄的图像上造成严重的丑陋伪影(模糊，耀斑等)，现在没有有效的解决方案来解决此问题。
发明内容
本公开提供了一种用于恢复由放置在透明显示器后面的图像传感器拍摄的图像的方法和设备，以提高穿过透明设备而劣化的图像的质量。
根据本公开的一个方面，提供了一种用于恢复通过显示器并由设置在显示器背面的图像传感器拍摄的图像的方法，包括：
获取图像传感器拍摄的图像；
获得与校准图上以预定图案排列的多个点一对一对应的多个点扩展函数；以及
基于多个点扩展函数执行图像的去卷积以恢复图像。
根据上述方法，通过使用多个点扩展函数的去卷积处理来恢复由放置在透明显示器后面的图像传感器拍摄的图像。结果，可以提高穿过透明装置而劣化的图像的质量。
在一些实施例中，基于多个点扩展函数执行图像的去卷积以恢复图像可以包括：
基于多个点扩展函数，为图像传感器的每个像素获取与图像传感器的像素对应的PSF矩阵；
为每个获得的PSF矩阵计算逆矩阵；以及
对由图像传感器拍摄的图像和逆矩阵进行卷积。
在一些实施例中，基于多个点扩展函数，对于图像传感器的每个像素，获取与图像传感器的像素对应的PSF矩阵可以包括：
对于图像传感器的每个像素，选择指示多个点扩展函数中最靠近像素的点扩展函数的PSF矩阵。
在一些实施例中，基于多个点扩展函数，对于图像传感器的每个像素，获取与图像传感器的像素对应的PSF矩阵可以包括：
对于图像传感器的每个像素，通过插值多个点扩展函数中在像素附近的至少两个点扩展函数，创建PSF矩阵。
在一些实施例中，显示器可以具有以格子形状形成的布线结构，并且显示器和图像传感器之间的距离、布线结构的基本上矩形的开口的尺寸以及穿过显示器的光的波长可以满足菲涅耳衍射的条件。
在一些实施例中，距离在0.5mm与7.5mm之间，开口的一侧的长度在10μm与200μm之间，并且波长是可见光的波长。
在一些实施例中，针对多个颜色通道中的每个获得多个点扩展函数。
在一些实施例中，多个颜色通道可以包括红色通道，绿色通道和蓝色通道。
在一些实施例中，在基于多个点扩散函数对图像进行去卷积以恢复图像之后，该方法还可以包括：
计算空间滤波以减少恢复的图像的噪声。
在一些实施例中，在基于多个点扩散函数对图像进行去卷积以恢复图像之前，该方法还可以包括：
基于显示器的透光率，提高恢复图像的数字增益。
在一些实施例中，在获得与校准图上以预定图案排列的多个点一对一对应的多个点扩展函数之前，该方法还可以包括：
获取显示器和图像传感器之间的距离；
获得布线结构的光栅尺寸；以及
基于校准图的模型数据、距离和光栅尺寸为每个颜色通道计算多个第一点扩展函数。
在一些实施例中，该方法可以进一步包括：由图像传感器在图像传感器的整个视场(FOV)中获取校准图的图像，以获得每个颜色通道的多个第二点扩展函数；以及
基于多个第一点扩展函数和多个第二点扩展函数，为每个颜色通道获得多个第三点扩展函数。
在一些实施例中，可以通过在同一网格中对第一点扩展函数和第二点扩展函数进行加权平均或简单平均来获得第三点扩展函数。
在一些实施例中，可以通过在同一网格中采用第一点扩展函数和第二点扩展函数的较大值来获得第三点扩展函数。
根据本公开的另一方面，提供了一种电子设备，包括：
显示器；
设置在显示器的背面的图像传感器；
处理器；以及
存储器，其中
处理器被配置为通过执行以下动作来恢复穿过显示器并由图像传感器拍摄的图像：
获取图像传感器拍摄的图像；
获得与校准图上以预定图案排列的多个点一对一对应的多个点扩展函数；以及
基于多个点扩展函数执行图像的去卷积以恢复图像。
根据上述设备，通过使用多个点扩展函数的去卷积处理来恢复由放置在透明显示器后面的图像传感器拍摄的图像。结果，可以提高穿过透明装置而劣化的图像的质量。
附图说明
从以下参考附图的描述中，本公开的实施例的这些和/或其他方面和优点将变得显而易见，并且将更容易理解，其中：
图1a是本公开中的电子设备的平面图。
图1b是图1a中所示的电子设备的截面图。
图1c是以图1b所示的电子设备的相机组件为中心的放大截面图。
图2是如图1a和图1b所示的电子设备的透明显示器的布线结构的示意性平面图。
图3是如图1a和1b所示的电子设备的相机组件的图像传感器的一部分的平面图。
图4是本公开中的电子设备的框图。
图5是本公开中的与电子设备一起提供的处理器的功能框图。
图6示出了PSF表数据的示例。
图7示出了用于估计多个点扩展函数的校准图的示例。
图8是示出用于估计要用于恢复图像的点扩展函数的方法的示例的流程图。
图9示出了用于获得每个颜色通道的PSF表数据的概念流程图。
图10示出了PSF表数据和图像传感器的像素之间的对应关系。
图11是示出用于恢复图像的方法的示例的流程图。
图12是示出去卷积处理的示例的过程图。
图13是图10的局部放大图，说明用于获得与像素相对应的PSF矩阵的方法。
图14a示出了由图像传感器拍摄的图像的示例。
图14b示出了根据实施例的经过去卷积处理恢复的图像的示例。
图15示出了本公开中的电子设备的示意性平面图。
具体实施方式
将详细描述本公开的实施例，并且将在附图中示出实施例的示例。在整个说明书中，相同或相似的元件以及具有相同或相似功能的元件由相似的附图标记表示。这里参考附图描述的实施例是说明性的，其旨在示出本公开，但是不应解释为限制本公开。
<电子设备>
首先，参考图1a至图3描述本公开中的电子设备的示意性配置。
图1a是本公开中的电子设备的平面图。图1b是图1a中所示的电子设备的截面图。图1c是以图1b所示的电子设备的相机组件为中心的放大截面图。图2是如图1a和图1b所示的电子设备的透明显示器的布线结构的示意性平面图。图3是如图1a和1b所示的电子设备的相机组件的图像传感器的平面图。
如图1a和图1b所示，电子设备1是智能电话。电子设备1可以是另一移动设备或终端，例如智能电话、平板电脑、个人数字助理(PDA)、笔记本电脑、移动互联网设备(MID)或可穿戴设备。替代地，电子设备1可以是具有与相机集成的显示器的任何设备。
如图1所示，电子设备1包括透明显示器2、壳体3和相机组件4。
透明显示器2是诸如有机发光二极管(Organic Light Emitting Diode，OLED)的透明显示器。透明显示器2可以是其布线是透明的液晶显示器(Liquid Crystal Display，LCD)。应当注意的是，术语“透明”并不意味着光的透射率为100％，而是意味着根据应用，光的透射率大于要求的值。
透明显示器2包括发光层2a和布线结构2b。在OLED的情况下，发光层2a是EL(电致发光)层。布线结构2b具有导线，用于控制发光层2a(未示出)的晶体管的信号在其中流动。布线结构2b可以是透明或不透明的。布线结构2b可以是一层、多层或多个岛的形式。
透明显示器2是触摸面板。透明显示器2可以是非触摸面板的普通显示器。
如图2所示，布线结构2b以格子形状形成。在这种情况下，可以将布线结构2b称为“屏幕光栅”，例如，布线结构2b的网格尺寸为35μm×90μm。可替代地，布线结构2b可以具有其他的平面形状。
壳体3容纳透明显示器2、相机组件和图4所示的其他部件，例如处理器10和存储器20等。
如图1a和1b所示，相机组件4在透明显示器2的后面。透明显示器2是真正的“全屏显示”，没有边框或用于布置相机显示器的凹口。
相机组件4是前置相机。相机组件4包括光学系统5和图像传感器6。光学系统5具有多个透镜，尽管在图1b和图1c中仅示出了一个透镜。如图1b所示，图像传感器6设置在透明显示器2的后侧。
图像传感器6拍摄穿过透明显示器2的图像。如图3所示，图像传感器6具有多个像素6r、6g和6b，每个像素具有诸如光电二极管的光电检测器和设置在光电检测器上方的滤色器。像素6r的滤色器透射红光，像素6g的滤色器透射绿光，像素6b的滤色器透射蓝光。
图像传感器6可以是CCD(电荷耦合器件)图像传感器，或者可以是CMOS(互补金属氧化物半导体晶体管)图像传感器，本发明对此不做限定。
透明显示器2与图像传感器6之间的距离R、布线结构2b的大体上矩形的开口的大小、以及穿过透明显示器2的光的波长满足菲涅耳衍射的条件。该条件由等式(1)给出。
Figure BDA0002938141790000051
在此，R：透明显示器2和图像传感器6之间的距离，λ：穿过透明显示器2的光的波长，x-x′：布线结构2b的矩形开口的宽度，y-y′：布线结构2b的矩形开口的高度。
例如，距离R在0.5mm和7.5mm之间，开口的一侧的长度(即，x-x′和y-y′)在10μm和200μm之间，并且波长λ是可见光的波长(例如400nm至700nm)。
接下来，参考图4和图5描述电子设备1的功能块。图4是本公开中的电子设备1的框图。
如图4所示，除了已经描述的组件(即，透明显示器2和相机组件4)之外，电子设备1还包括诸如CPU或GPU的处理器10、存储器20、电源电路30和通信电路40。电子设备1中的以上组件通过总线50连接在一起。
处理器10运行存储在存储器20中的一个或多个程序。处理器10通过运行程序来实现电子设备1的各种应用和数据处理。处理器10可以是一个或多个计算机处理器。处理器10不限于一个CPU核，而是可以具有多个CPU核。
处理器10被配置为恢复穿过透明显示器2并由图像传感器6拍摄的图像。处理器10可以是电子设备1的主CPU、或者与相机组件4一起提供的图像处理单元(IPU)或DSP。
当相机组件4工作时，处理器10关闭透明显示器2。更详细地，处理器10控制透明显示器2在相机组件4工作时至少对于与相机组件4重叠的显示区域不显示任何东西。
存储器20存储由处理器10执行的程序和各种数据。例如，用于估计点扩展函数的数据(即，将要描述的距离R和网格尺寸)被存储在存储器20中。
存储器20可以是高速RAM存储器，或者可以是诸如闪存和磁盘的非易失性存储器。
电源电路30具有诸如锂离子可充电电池(未示出)的电池以及用于管理电池的电池管理单元(BMU)。
通信电路40用于接收和传输数据，以通过无线通信与互联网或其他设备进行通信。无线通信可以采用任何通信标准或协议，包括但不限于GSM(全球移动通信系统)、CDMA(码分多址)、LTE(长期演进)、高级LTE、第五代移动通信技术(5G)。
通信电路40可以包括天线和RF(射频)电路。
如图5所示，处理器10包括图像获取单元11、PSF获取单元12和图像恢复单元13。图像获取单元11、PSF获取单元12和图像恢复单元13可以通过软件(程序)或诸如ASIC的硬件实施。
图像获取单元11用于获取由图像传感器6拍摄的图像。特别地，图像获取单元11经由总线50接收由图像传感器6拍摄的图像的数据。
PSF获取单元12用于从存储器20获得PSF表数据。这里，PSF表数据包括多个点扩展函数(PSF)。多个PSF可以彼此不同。每个PSF是矩阵形式。每个PSF可以是函数形式或矩阵形式。当PSF为矩阵形式时，在本说明书中可以称为PSF矩阵。
图6示出了PSF表数据的示例。在此示例中，总共81个PSF以9x9网格图案排列。将一个PSF分配给一个相应的网格。如图6所示，将PSF0,0放置在左上角的网格中，并且将PSF8，8放置在右下角的网格中。
多个点扩展函数以一一对应的方式对应于校准图上的多个点。图7示出了校准图的示例。在该示例中，以9×9的网格图案布置了总共81个点D。点D的布置图案不限于此，而是可以以其他图案布置，诸如三角形格子图案、蜂巢图案等。也就是说，多个点可以以预定图案布置。
图像恢复单元13用于基于多个PSF对图像执行去卷积以恢复图像。特别地，图像恢复单元13基于多个点扩展函数针对图像传感器6的每个像素获得与图像传感器的像素相对应的PSF矩阵，并且针对所获得的每个PSF矩阵计算逆矩阵，以及对由图像传感器6拍摄的图像和逆矩阵进行卷积。图像的恢复将在后面详细描述。
<估计点扩散函数的方法>
参照图8中的流程图描述用于估计用于恢复图像传感器6拍摄的图像的点扩展函数的方法。在此示例中，该方法包括以下过程。
在S11中，从存储器20获得透明显示器2和图像传感器6之间的距离R。在图1c中示出了距离R，可以是设计值或基于测量的值(例如平均值)。
在S12中，从存储器20获得光栅尺寸。光栅尺寸给出菲涅耳衍射的孔径函数。光栅尺寸可以是设计值或基于测量的值，例如平均值。例如，获得35μm×90μm作为光栅尺寸。
在S13中，基于校准图的模型数据、距离和光栅尺寸，为每个颜色通道(即红色通道、绿色通道和蓝色通道)计算多个第一点扩展函数。每个第一点扩展函数以一一对应的方式对应于校准图中的每个点。在一些实施例中，第一点扩展函数可以被归一化。通过对PSF进行归一化，PSF矩阵中所有元素的总和为1。
特别地，通过以下等式(2)计算第一点扩展函数u(x'，y')。
Figure BDA0002938141790000071
在此，A：光的振幅，i：虚数单位，λ：光的波长，f：从在S12中获得的光栅尺寸导出的孔径函数，R：在S11中获得的距离，k：光的波数。
如图9所示，通过执行S13获得三个PSF表数据。即，获得PSF表数据PSF_SH1_R、PSF表数据PSF_SH1_G和PSF表数据PSF_SH1_B。这里，PSF表数据PSF_SH1_R是用于红色通道的PSF表数据，PSF表数据PSF_SH1_G是用于绿色通道的PSF表数据，PSF表数据PSF_SH1_B是用于蓝色通道的PSF表数据。
在S14中，如图9所示，由图像传感器6拍摄校准图CC的图像以获得针对每个颜色通道的多个第二点扩展函数。特别地，如图10所示，在图像传感器6的整个视场(FOV)中拍摄图像，从而获得第二多个第二点扩展函数。图10示出了PSF表数据与图像传感器6的像素6r、6g、6b之间的对应关系。像素6r、6g、6b仅在图10的角落示出。
例如，由像素6r拍摄的图像成为用于红色通道的第二PSF。类似地，由像素6g拍摄的图像构成用于绿色通道的第二PSF，由像素6b拍摄的图像构成用于蓝色通道的第二PSF。在一些实施例中，第二点扩展函数可以被归一化。
如图9所示，通过执行S14获得三个PSF表数据。即，获得PSF表数据PSF_SH2_R、PSF表数据PSF_SH2_G和PSF表数据PSF_SH2_B。这里，PSF表数据PSF_SH2_R是用于红色通道的PSF表数据，PSF表数据PSF_SH2_G是用于绿色通道的PSF表数据，并且PSF表数据PSF_SH2_B是用于蓝色通道的PSF表数据。
在S15中，基于多个第一PSF和多个第二PSF，获得每个颜色通道的多个第三点扩展函数。例如，通过在同一网格中获取第一PSF和第二PSF的加权平均值或简单平均值来获得每个第三点扩展函数。
可替代地，可以通过在同一网格中采用第一PSF和第二PSF中的较大值来获得每个第三点扩展函数。在这种情况下，可以对第三PSF进行归一化，以便第三PSF中所有元素的总和为1。
如图9所示，通过执行S15获得三个PSF表数据。即，获得PSF表数据PSF_SH3_R、PSF表数据PSF_SH3_G和PSF表数据PSF_SH3_B。这里，PSF表数据PSF_SH3_R是用于红色通道的PSF表数据，PSF表数据PSF_SH3_G是用于绿色通道的PSF表数据，并且PSF表数据PSF_SH3_B是用于蓝色通道的PSF表数据。
在S16中，将在S15中获得的多个第三点扩展函数存储在存储器20中。
通过以上处理，通过估计PSF(基于校准图的模型数据估计第一PSF，基于通过相机组件4拍摄的校准图的图像估计第二PSF)，可以准确度很高地估计对应于校准图上的多个点的多个PSF。
应当注意，第一PSF或第二PSF可以被存储在存储器20中，而无需计算第三PSF。在这种情况下，第一PSF或第二PSF用于恢复图像。
上述PSF估计可以在工厂中执行一次。
<恢复图像的方法>
参照图11和图12中的过程图描述用于恢复由图像传感器6拍摄的图像的方法。在该示例中，该方法包括以下过程。
在S21中，获取由图像传感器6拍摄的图像。可以从存储器20读取图像，或者可以直接从相机组件4的图像传感器6获取图像。
在S22中，获得一对一地对应于在校准图上以预定图案布置的多个点的多个点扩展函数。在本实施例中，从存储器20读取多个第三PSF。可以从存储器20读取第一PSF或第二PSF，而非第三PSF。无论如何，在S22中，获得已经被预先估计并存储在存储器20中的多个PSF。
在S23中，基于在S22中获得的多个点扩展函数执行图像的去卷积以恢复图像。参考图10中的流程图详细描述去卷积处理。
在S231中，基于在S22中获得的PSF，获得与图像传感器6的像素相对应的PSF矩阵。为图像传感器6的每个像素获得PSF矩阵。作为一种选择，可以通过在S22中获得的PSF中选择指示最接近像素的点扩展函数的PSF矩阵来获得PSF矩阵。参考图13中说明示例。
在图13中，距离d1是左上网格的中心点C1与像素6r之间的距离。距离d2是右上网格的中心点C2与像素6r之间的距离。距离d3是左下网格的中心点C3与像素6r之间的距离。距离d4是右下网格的中心点C4与像素6r之间的距离。在这种情况下，因为距离d3是最短的，所以对于像素6r获得了在左下网格中表示PSFx，y+1的矩阵。
可替代地，可以通过对图像传感器6的每个像素进行插值来获得PSF矩阵。特别地，可以通过插值多个点扩散函数中在像素附近的至少两个点扩展函数来创建PSF矩阵。在图13的情况下，通过等式(3)计算像素6r的PSF矩阵。
PSF＝w1·PSFx，y+w2·PSFx+1，y+w3·PSFx，y+1+w4·PSFx+1，y+1 (3)
这里，w1、w2、w3和w4是加权因子，并且它们的总和是1。例如，加权因子与距离成反比。如果距离d1、d2、d3和d4相等，则w1、w2、w3和w4中的每一个为0.25。
通过将PSF矩阵的元素相加来执行等式(3)的计算。
在S232中，为在S231中获得的每个PSF矩阵计算逆矩阵。逆矩阵用作逆滤波器或去卷积窗口。
在S233中，基于透明显示器2的光透射率增大恢复图像的数字增益。特别地，数字增益随着光透射率的降低而增加。S233可以在S234之前的任何时机执行。
在S234中，对由图像传感器6拍摄的图像和在S232中计算出的逆矩阵进行卷积，从而恢复图像的质量。
在S235中，计算空间滤波以减少恢复的图像的噪声。可以为每个颜色通道计算空间滤波。单一滤波或迭代滤波可以作为滤波方法。S235可以在S234之后的任何时机执行。注意，S233和S235是可选的。
通过执行上述图像恢复方法，可以提高穿过透明显示器2的图像的质量。图14a示出了相机组件4拍摄的图像的示例。图14b示出了根据实施例的通过去卷积处理恢复的图像的示例。从图14a和14b可以清楚地看出，有效地消除了由于布线结构2b处的衍射引起的伪影。
根据本公开，相机组件4可以放置在透明显示器2后面的任何地方。例如，如图1a所示，相机组件4可以放置在电子设备1的中间区域。相机组件4可以放置在电子设备1的中心。
根据本公开，有可能将电子设备1的屏占比最大化并丰富用户体验以进行沉浸式观看。
根据本公开，相机组件4可以安装在透明显示器2的后面，而没有由衍射引起的难看的伪影。这使得能够将相机组件4设置在透明显示器2后面的任何位置，并且这使得可以进行自然眼点自拍照而无需任何昂贵的计算。
更特别地，如果像现有技术中那样将相机组件4安装在电子设备1的上部区域中，则自拍图像IM1的眼点不自然，如图15所示。另一方面，如图15所示，如果相机组件4安装在电子设备1的中间区域中，则自拍图像IM2的眼点可以是自然的。
显示面的眼睛位置和相机组件4之间的距离在将相机组件4放置在中间区域的情况下，比在将相机组件4放置在电子设备1的上部区域的情况下要小。因此，电子设备1的用户可以容易地以自然眼点拍摄自拍图像。
此外，图15所示的电子设备1是一种全覆盖显示智能手机。在显示器2的前表面上没有用于分配相机组件4的区域，因此可以在电子设备1的前表面上实现用于显示器2的更宽的区域。
如上所述，根据本公开，可以避免由配备有透明显示器的结构电路布局引起的诸如模糊、亮度损失和/或耀斑之类的低图像质量问题。
此外，根据本公开，有可能在不牺牲任何自拍照或视频聊天等用户体验的前提下利用前置摄像头。
应当注意，本公开中的电子设备不限于智能电话，而可以是具有显示器和前置摄像头的其他设备。
在本公开的实施例的描述中，应理解，诸如“中央”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“上部”、“下部”、“内部”、“外部”、“顺时针”和“逆时针”应解释为是指所描述的或所讨论的附图中所示的方向或位置。这些相对的术语仅用于简化本公开的描述，并且不指示或暗示所涉及的装置或元件必须具有特定的取向，或以特定的取向构造或操作。因此，这些术语不能被构造为限制本公开。
另外，诸如“第一”和“第二”之类的术语在本文中用于描述的目的，而非表明或暗示相对重要性或重要性，或暗示指示的技术特征的数量。因此，用“第一”和“第二”定义的特征可以包括这个特征中的一个或多个。在本公开的描述中，除非另有说明，“多个”是指两个或两个以上。
在本公开的实施例的描述中，除非另外指定或限制，否则术语“安装”、“连接”、“耦接”等被广泛地使用，并且可以是例如固定连接、可拆卸的连接、或整体连接；也可以是机械或电连接；也可以是通过居间结构直接连接或间接连接；也可以是两个元件的内部通信，本领域技术人员可以根据具体情况理解。
在本公开的实施例中，除非另外指定或限制，否则第一特征在第二特征“上”或“之下”的结构可以包括第一特征与第二特征直接接触的实施例，并且还可以包括一个实施例，其中第一特征和第二特征彼此不直接接触，而是通过在它们之间形成的附加特征接触。此外，第一特征在第二特征“上”、“之上”或“最上方”可以包括这样的实施例，其中第一特征在第二个特征右或斜“上”、“之上”或“最上方”，或仅表示第一个特征的高度高于第二个特征的高度；而第一个特征在第二特征“以下”、“之下”，或“底部”可以包括这样的实施例，其中第一特征在第二特征的右或斜“下”、“之下”或“底部”，或者仅意味着第一特征在高度低于第二个特征的高度。
在以上描述中提供了各种实施例和示例以实现本公开的不同结构。为了简化本公开，以上描述了某些元件和设置。但是，这些元件和设置仅作为示例，并不旨在限制本公开。另外，在本公开中的不同示例中的参考数字和/或参考字母可以重复。该重复是为了简化和清楚的目的，而不是指不同实施例和/或设置之间的关系。此外，在本公开中提供了不同过程和材料的示例。然而，本领域技术人员将理解，也可以应用其他过程和/或材料。
在整个说明书中，对“一个实施例”“一些实施例”“一个示例性实施例”、“一个例子”、“特定例子”或“一些例子”的引用表示在本公开的至少一个实施例或示例中包括与实施例或示例相关联的描述的特定的特征、结构、材料或特征。因此，在整个说明书中上述短语的出现不一定是指本公开的相同实施例或示例。此外，可以在一个或多个实施例或示例中以任何合适的方式来组合特定特征、结构、材料或特性。
可以将过程图中描述的或本文中以其他方式描述的任何过程或方法理解为包括可执行指令的代码的一个或多个模块、片段或部分，用于实现过程中的特定逻辑功能或步骤，以及本公开的优选实施例的范围包括其他实施方式，本领域技术人员应当理解，可以以除了所示或所讨论的顺序以外的顺序来实现功能，包括以实质上相同的顺序或相反的顺序。
在本文中以其他方式描述或在过程图中示出的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定顺序表，可以在指令执行系统，装置或设备(例如基于计算机的系统、包含处理器的系统或能够获取来自指令执行系统、装置和设备的指令并执行指令的其他系统)所使用的任何计算机可读介质中具体实现，或者与指令执行系统、装置和设备组合使用。对于说明书，“计算机可读介质”可以是适于包括，存储、通信、传播或传输将由指令执行系统、装置或设备使用或与之结合使用的程序的任何设备。计算机可读介质的更具体示例包括但不限于：具有一根或多根电线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤设备和便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是纸或能够在其上打印程序的其他合适的介质，这是因为，例如，纸或其他合适的介质可以被光学扫描，然后用其他合适的方法进行编辑、解密或处理，当需要以电子方式获得程序时，可以将程序存储在计算机存储器中。
应当理解，本公开的每个部分可以通过硬件、软件，固件或其组合来实现。在上述实施例中，多个步骤或方法可以通过存储在存储器中并由适当的指令执行系统执行的软件或固件来实现各种方法。例如，如果通过硬件实现，则同样在另一实施例中，可以通过本领域已知的以下技术中的一种或组合来实现步骤或方法：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
本领域技术人员将理解，可以通过用程序命令相关硬件来实现本公开的上述示例性方法中的全部或部分步骤。程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，程序包括本公开的方法实施例中的步骤之一或组合。
另外，本公开实施例的每个功能单元可以集成在处理模块中，或者这些单元可以是单独的物理存在，或者两个或多个单元集成在处理模块中。集成模块可以以硬件的形式或以软件功能模块的形式来实现。当集成模块以软件功能模块的形式实现并且被出售或用作独立产品时，集成模块可以被存储在计算机可读存储介质中。
上述存储介质可以是只读存储器、磁盘、CD等。
尽管已经示出和描述了本公开的实施例，但是本领域技术人员将理解，这些实施例是说明性的，并且不能被解释为限制本公开，并且可以在不脱离本公开的范围的情况下，对这些实施例进行改变、修改、替代和变化。

Claims (18)

1.一种用于恢复穿过显示器并由设置在显示器的背面的图像传感器拍摄的图像的方法，所述方法包括：
获取图像传感器拍摄的图像；
获得与校准图上以预定图案排列的多个点一对一对应的多个点扩展函数；以及
基于多个点扩展函数对图像进行去卷积，以恢复图像。
2.根据权利要求1所述的方法，其中，基于多个点扩展函数执行图像的去卷积以恢复图像包括：
基于多个点扩展函数，为图像传感器的每个像素获取与所述图像传感器的像素相对应的PSF矩阵；
为每个获得的PSF矩阵计算逆矩阵；以及
对由图像传感器拍摄的图像和逆矩阵进行卷积。
3.根据权利要求2所述的方法，其中，基于多个点扩展函数，为图像传感器的每个像素获取与所述图像传感器的像素相对应的PSF矩阵，包括：
对于图像传感器的每个像素，选择指示在多个点扩展函数中最靠近像素的点扩展函数的PSF矩阵。
4.根据权利要求2所述的方法，其中，基于多个点扩展函数，为图像传感器的每个像素获取与所述图像传感器的像素相对应的PSF矩阵，包括：
对于图像传感器的每个像素，通过插值多个点扩展函数中在像素附近的至少两个点扩展函数，创建PSF矩阵。
5.根据权利要求1至4中任一项所述的方法，其中，所述显示器具有形成为格子形状的布线结构，以及
显示器和图像传感器之间的距离、布线结构的大体上矩形的开口的尺寸，以及穿过显示器的光的波长满足菲涅耳衍射的条件。
6.根据权利要求5所述的方法，其中，所述距离在0.5mm和7.5mm之间，所述开口的一侧的长度在10μm和200μm之间，并且所述波长是可见光的波长。
7.根据权利要求1至6中任一项所述的方法，其中，针对多个颜色通道中的每个获得多个点扩展函数。
8.根据权利要求7所述的方法，其中，多个颜色通道包括红色通道、绿色通道和蓝色通道。
9.根据权利要求1至8中任一项所述的方法，其中，在基于多个点扩展函数对图像执行去卷积以恢复图像之后，所述方法还包括：
计算空间滤波以减少恢复的图像的噪声。
10.根据权利要求1至9中任一项所述的方法，其中，在基于多个点扩展函数对图像执行去卷积以恢复图像之前，所述方法还包括：
基于显示器的透光率，提高恢复图像的数字增益。
11.根据权利要求1所述的方法，其中，在获得与以预定图案排列在校准图上的多个点一对一对应的多个点扩展函数之前，所述方法还包括：
获取显示器与图像传感器之间的距离；
获得布线结构的光栅尺寸；以及
基于校准图的模型数据、距离和光栅尺寸，为每个颜色通道计算多个第一点扩展函数。
12.根据权利要求11所述的方法，还包括：
由图像传感器在图像传感器的整个视野(FOV)中获取校准图的图像，以获得每个颜色通道的多个第二点扩展函数；以及
基于多个第一点扩展函数和多个第二点扩展函数，为每个颜色通道获得多个第三点扩展函数。
13.如权利要求12所述的方法，其中，通过在同一网格中对所述第一点扩展函数和所述第二点扩展函数进行加权平均或简单平均而获得所述第三点扩展函数。
14.根据权利要求12所述的方法，其中，通过在相同网格中采用所述第一点扩展函数和所述第二点扩展函数的较大值来获得所述第三点扩展函数。
15.一种电子设备，包括：
显示器；
设置在显示器的背面的图像传感器；
处理器；以及
存储器，其中
处理器被配置为通过执行以下动作来恢复穿过显示器并由图像传感器拍摄的图像：
获取图像传感器拍摄的图像；
获得与校准图上以预定图案排列的多个点一对一对应的多个点扩展函数；以及
基于多个点扩展函数执行图像的去卷积以恢复图像。
16.根据权利要求15所述的电子设备，其中，所述处理器被配置为通过执行以下动作来基于所述多个点扩展函数执行图像的去卷积，以恢复图像：
基于所述多个点扩展函数，为所述图像传感器的每个像素获取与所述图像传感器的像素对应的PSF矩阵；
为每个获得的PSF矩阵计算逆矩阵；以及
对由图像传感器拍摄的图像和逆矩阵进行卷积。
17.根据权利要求15或16所述的电子设备，其中，所述显示器具有形成为格子形状的布线结构，以及
显示器与图像传感器之间的距离、布线结构的大体上矩形的开口的尺寸以及穿过显示器的光的波长满足菲涅耳衍射的条件。
18.根据权利要求17所述的电子设备，其中，所述距离在0.5mm和7.5mm之间，所述开口的一侧的长度在10μm和200μm之间，并且所述波长是可见光的波长。
CN201880096437.6A 2018-09-26 2018-09-26 恢复穿过显示器的图像的方法和装置 Active CN112639610B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/107739 WO2020061856A1 (en) 2018-09-26 2018-09-26 Method and device for recovering image passing through display

Publications (2)

Publication Number Publication Date
CN112639610A true CN112639610A (zh) 2021-04-09
CN112639610B CN112639610B (zh) 2022-12-02

Family

ID=69953191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096437.6A Active CN112639610B (zh) 2018-09-26 2018-09-26 恢复穿过显示器的图像的方法和装置

Country Status (4)

Country Link
US (1) US11947107B2 (zh)
EP (1) EP3837584A4 (zh)
CN (1) CN112639610B (zh)
WO (1) WO2020061856A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634469B (zh) * 2019-02-27 2021-01-26 京东方科技集团股份有限公司 显示模组及其制作方法、触控显示装置
US11575865B2 (en) 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
KR20220078191A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 영상 처리를 수행하는 전자 장치 및 그 동작 방법
US11727540B2 (en) 2020-12-31 2023-08-15 Samsung Electronics Co., Ltd. Image sharpening
US11721001B2 (en) * 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11722796B2 (en) * 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring
US11792535B2 (en) * 2021-08-10 2023-10-17 Samsung Electronics Co., Ltd. System and method to improve quality in under-display camera system with radially increasing distortion
CN115225740B (zh) * 2022-06-06 2023-07-14 荣耀终端有限公司 一种电子设备、显示屏及成像方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662566A (zh) * 2008-08-27 2010-03-03 索尼株式会社 信息处理设备、信息处理方法和程序
CN102687500A (zh) * 2010-08-05 2012-09-19 松下电器产业株式会社 图像恢复装置以及图像恢复方法
CN104363369A (zh) * 2014-11-17 2015-02-18 清华大学深圳研究生院 一种光场相机的图像恢复方法及装置
CN104704807A (zh) * 2013-03-28 2015-06-10 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、程序及记录介质
CN106134177A (zh) * 2014-03-31 2016-11-16 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN108364967A (zh) * 2017-09-30 2018-08-03 昆山国显光电有限公司 显示屏及显示装置
CN108365122A (zh) * 2017-09-30 2018-08-03 云谷（固安）科技有限公司 显示屏以及电子设备
CN108366186A (zh) * 2018-02-09 2018-08-03 广东欧珀移动通信有限公司 电子装置、显示屏及拍照控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4928301A (en) 1988-12-30 1990-05-22 Bell Communications Research, Inc. Teleconferencing terminal with camera behind display screen
US20070002130A1 (en) * 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
US8154582B2 (en) 2007-10-19 2012-04-10 Eastman Kodak Company Display device with capture capabilities
US8587682B2 (en) * 2010-02-12 2013-11-19 Nvidia Corporation Display system, method, and computer program product for capturing images using multiple integrated image sensors
US9013613B2 (en) 2010-09-21 2015-04-21 Sony Corporation Sensor-equipped display apparatus and electronic apparatus
US20140118559A1 (en) * 2012-10-28 2014-05-01 Chad L. Maglaque Modular Display Camera
CN104580879B (zh) * 2013-10-09 2018-01-12 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
JP6247794B2 (ja) * 2015-04-23 2017-12-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9870024B2 (en) 2015-10-30 2018-01-16 Essential Products, Inc. Camera integrated into a display
US9864400B2 (en) 2015-10-30 2018-01-09 Essential Products, Inc. Camera integrated into a display
US9736383B2 (en) 2015-10-30 2017-08-15 Essential Products, Inc. Apparatus and method to maximize the display area of a mobile device
US9823694B2 (en) 2015-10-30 2017-11-21 Essential Products, Inc. Camera integrated into a display
CN109076133B (zh) * 2016-05-13 2020-03-06 三菱电机株式会社 图像读取装置
KR101927438B1 (ko) 2016-07-14 2018-12-10 삼성전자주식회사 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법
CN108418928A (zh) * 2018-05-23 2018-08-17 Oppo广东移动通信有限公司 电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662566A (zh) * 2008-08-27 2010-03-03 索尼株式会社 信息处理设备、信息处理方法和程序
CN102687500A (zh) * 2010-08-05 2012-09-19 松下电器产业株式会社 图像恢复装置以及图像恢复方法
CN104704807A (zh) * 2013-03-28 2015-06-10 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、程序及记录介质
CN106134177A (zh) * 2014-03-31 2016-11-16 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN104363369A (zh) * 2014-11-17 2015-02-18 清华大学深圳研究生院 一种光场相机的图像恢复方法及装置
CN108364967A (zh) * 2017-09-30 2018-08-03 昆山国显光电有限公司 显示屏及显示装置
CN108365122A (zh) * 2017-09-30 2018-08-03 云谷（固安）科技有限公司 显示屏以及电子设备
CN108366186A (zh) * 2018-02-09 2018-08-03 广东欧珀移动通信有限公司 电子装置、显示屏及拍照控制方法

Also Published As

Publication number Publication date
CN112639610B (zh) 2022-12-02
WO2020061856A1 (en) 2020-04-02
EP3837584A1 (en) 2021-06-23
EP3837584A4 (en) 2021-09-08
US20210199952A1 (en) 2021-07-01
US11947107B2 (en) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112639610B (zh) 恢复穿过显示器的图像的方法和装置
KR102195555B1 (ko) 전자 장치 및 이미지 획득 방법
KR101873183B1 (ko) 콘볼루션 컬러 정정 방법, 및 그 기록 매체
US9451173B2 (en) Electronic device and control method of the same
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
JP5844940B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
US20150363912A1 (en) Rgbw demosaic method by combining rgb chrominance with w luminance
US8472748B2 (en) Method of image processing and image processing apparatus
CN105009168A (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质
US20160027155A1 (en) Restoration filter generation device and method, image processing device, imaging device, and non-transitory computer-readable medium
CN107370917B (zh) 控制方法、电子装置和计算机可读存储介质
CN112106343A (zh) 信息处理装置、信息处理方法、程序和信息处理系统
KR20210143063A (ko) 복수의 카메라들을 포함하는 전자 장치
CN108123064A (zh) 显示装置、电子装置和显示装置的制造方法
US11146720B2 (en) Electronic device for providing function by using RGB image and IR image acquired through one image sensor
US20150312505A1 (en) Image processing device, imaging device, image processing method, and non-transitory computer readable medium
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
CN114930799B (zh) 用于具有多个摄像头的电子设备的方法和电子设备
US11828704B2 (en) Spatial image processing for enhanced gas imaging systems and methods
KR20220001702A (ko) 이미지 센서를 포함하는 전자 장치
WO2022178683A1 (en) Method of generating target image, electrical device, and non-transitory computer readable medium
CN115225740B (zh) 一种电子设备、显示屏及成像方法
KR20240054134A (ko) 이미지 센서의 이미지를 이용한 학습 기반 화질 개선 방법 및 이를 지원하는 전자 장치
US20230137831A1 (en) Electronic device for improving image quality
WO2022241732A1 (en) Method of generating an image, electronic device, apparatus, and computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant