CN116051435B - 图像融合方法和电子设备 - Google Patents

图像融合方法和电子设备 Download PDF

Info

Publication number
CN116051435B
CN116051435B CN202211013567.3A CN202211013567A CN116051435B CN 116051435 B CN116051435 B CN 116051435B CN 202211013567 A CN202211013567 A CN 202211013567A CN 116051435 B CN116051435 B CN 116051435B
Authority
CN
China
Prior art keywords
image
camera
electronic device
processor
pixel blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211013567.3A
Other languages
English (en)
Other versions
CN116051435A (zh
Inventor
郑耀国
陈卫
李俊科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211013567.3A priority Critical patent/CN116051435B/zh
Publication of CN116051435A publication Critical patent/CN116051435A/zh
Application granted granted Critical
Publication of CN116051435B publication Critical patent/CN116051435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像融合方法和电子设备，涉及图像处理领域，用于实现图像融合以提高图像清晰度。图像融合方法包括：响应于拍照命令，通过第一摄像头获取第一图像并通过第二摄像头获取第二图像，其中，第一摄像头的视场角大于第二摄像头的视场角，第二摄像头的像素数多于第一摄像头的像素；如果满足预设条件，对第二图像的特征点和第一图像的特征点进行匹配，得到第一图像中与第二图像具有重合区域的第三图像，并将第二图像缩小至重合区域的大小得到第四图像；对第三图像和第四图像的颜色和亮度进行一致性校正，对一致性校正后的第三图像和第四图像进行融合后替换第一图像中位于重合区域的图像，得到目标图像。

Description

图像融合方法和电子设备
技术领域
本申请涉及图像处理领域，尤其涉及一种图像融合方法和电子设备。
背景技术
为了满足用户在不同焦段及视场角下的摄影需求，越来越多的手机支持多个摄像头的硬件配置，例如长焦摄像头、超广角摄像头、主摄广角摄像头、微距摄像头和鱼眼摄像头等等。一种摄像头无法在全焦段全视场角具备较好的清晰度，只能在特定焦段和特定视场角具备较好的清晰度，例如长焦摄像头适合拍摄较远的物体，超广角摄像头适合拍摄视场角更大的物体，主摄摄像头像素数多可以提供较高清晰度的图像，微距摄像头适合拍摄极近距离的物体，鱼眼摄像头适配拍摄360度视场角的物体等等。
在旗舰级的产品上，通过较高的硬件配置和复杂算法等方式可以综合这些摄像头的成像得到优质的拍照效果。但是对于中低端产品，硬件配置较低并且受算力限制无法使用复杂算法，导致清晰度较低或视场角小。
发明内容
本申请实施例提供一种图像融合方法和电子设备，用于通过图像融合得到视场角大并且中心区域清晰度高的图像。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种图像融合方法，包括：响应于拍照命令，同时通过第一摄像头获取第一图像并通过第二摄像头获取第二图像，其中，第一摄像头的视场角大于第二摄像头的视场角，第二摄像头的像素数多于第一摄像头的像素；如果满足预设条件，对第二图像的特征点和第一图像的特征点进行匹配，得到第一图像中与第二图像具有重合区域的第三图像，并将第二图像缩小至重合区域的大小得到第四图像；对第三图像和第四图像的颜色和亮度进行一致性校正，对一致性校正后的第三图像和第四图像进行融合后替换第一图像中位于重合区域的图像，得到目标图像。
本申请实施例提供的图像融合方法，通过将视场角较大而像素数少(即清晰度低)的第一图像与视场角相对较小而像素数多(即清晰度高)的第二图像进行融合，得到的目标图像兼具大视场角和高清晰度，即通过图像融合得到视场角大并且中心区域清晰度高的图像。
在一种可能的实施方式中，在将第二图像缩小至重合区域的大小得到第四图像之后，还包括：将第四图像中多个像素块的特征点分别与第三图像的特征点进行匹配，其中，多个像素块的并集为第四图像，多个像素块中相邻两个像素块之间有部分重合；按照相同特征点将多个像素块分别与第三图像进行对齐；将对齐后的多个像素块进行融合得到更新后的第四图像。多个像素块的边缘有多余的像素点能够填充对齐时产生的空洞。
在一种可能的实施方式中，该方法还包括：对目标图像中，位于重合区域与非重合区域之间的过渡带的图像进行模糊过渡处理，过渡带指重合区域四周向内收缩多个像素形成的环形区域。使得目标图像的清晰度从重合区域平滑过渡到非重合区域。
在一种可能的实施方式中，对目标图像中，位于重合区域与非重合区域之间的过渡带的图像进行模糊过渡处理，包括：对目标图像和第三图像的过渡带中的图像进行线性融合，其中，按照过渡带从最内侧至最外侧的顺序，第三图像的过渡带中各像素点乘以的加权系数从0依次增大至1，目标图像的过渡带中各像素点乘以的加权系数从1依次减小至0。即越靠近过渡带内侧目标图像(清晰度高)占比越大，越靠近过渡带外侧第三图像(清晰度低)占比越大，实现自然过渡效果。
在一种可能的实施方式中，该方法还包括：比较第三图像和第四图像中相同位置的亮度之差和色度之差以确定鬼影区域；将第三图像中位于鬼影区域的图像确定为目标图像中位于鬼影区域的图像。
在一种可能的实施方式中，满足预设条件包括以下条件的至少一项：第二图像为第二摄像头的焦距设置为最大时拍摄的图像，未处于高动态范围成像(high dynamicrange imaging，HDR)场景，感光度小于感光度门限，第一图像和第二图像的亮度差小于亮度门限。一方面，由于中低端产品的广角摄像头是定焦的，而主摄像头是可变焦距的，在拍摄近景时，广角摄像头成像失焦或者由于镜头的呼吸效应(即摄像头在改变焦点时，焦距的轻微改变)而影响相机出图的质量，从而导致图像融合的效果不佳。因此，本申请要求相机应用于拍摄远景的场景，此时第二摄像头的焦距设置为最大，以保证主摄像头和定焦广角摄像头的成像效果近乎一致。另一方面，由于HDR场景以及暗光场景(感光度大于或等于感光度门限时)下需要多帧图像进行降噪处理或者动态范围融合处理，再加上图像畸变校正的耗时，整个算法处理的链路较长。中低端产品处理芯片的性能较差，无法实现对图像的快速处理，因此在这两种场景下不执行本申请的图像融合算法。当主摄像头或者广角摄像头被遮挡或者损坏时，可以通过比较两个摄像头输出图像(第一图像和第二图像)的亮度差异来判断是否发生异常，如果亮度差过大于一定阈值则表明摄像头异常，此时不执行本申请的图像融合算法。
在一种可能的实施方式中，第一摄像头为定焦广角摄像头，第二摄像头为主摄像头。该配置是中低端产品的通常配置。
第二方面，提供了一种电子设备，包括处理器和存储器，存储器中存储指令，当处理器执行指令时，如第一方面及其任一实施方式所述的方法被执行。
第三方面，提供了一种计算机可读存储介质，包括指令，当指令在电子设备上运行时，使得电子设备执行如第一方面及其任一实施方式所述的方法。
第四方面，提供了一种包含指令的计算机程序产品，当指令在上述电子设备上运行时，使得该电子设备执行如第一方面及其任一实施方式所述的方法。
第五方面，提供了一种芯片系统，该芯片系统包括处理器，用于支持电子设备实现上述第一方面中所涉及的功能。在一种可能的设计中，该装置还包括接口电路，接口电路可用于从其它装置(例如存储器)接收信号，或者，向其它装置(例如通信接口)发送信号。该芯片系统可以包括芯片，还可以包括其他分立器件。
第二方面至第五方面的技术效果参照第一方面及其任一实施方式的技术效果，在此不再重复。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图；
图2为本申请实施例提供的一种电子设备运行的软件架构的示意图；
图3为本申请实施例提供的一种广角摄像头和主摄像头拍摄图像对比的示意图；
图4为本申请实施例提供的一种图像融合方法的流程示意图；
图5为本申请实施例提供的一种触发拍照命令的示意图；
图6为本申请实施例提供的一种桶形畸变的示意图；
图7为本申请实施例提供的一种对两幅图像中的特征点进行匹配的示意图；
图8为本申请实施例提供的一种将图像划分为多个像素块的示意图；
图9为本申请实施例提供的一种重合区域与非重合区域之间的过渡带的示意图；
图10为本申请实施例提供的一种图像融合效果的示意图；
图11为本申请实施例提供的另一种图像融合效果的示意图；
图12为本申请实施例提供的又一种图像融合效果的示意图；
图13为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
首先对本申请涉及的一些概念进行描述。
本申请实施例涉及的术语“第一”、“第二”等仅用于区分同一类型特征的目的，不能理解为用于指示相对重要性、数量、顺序等。
本申请实施例涉及的术语“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例涉及的术语“耦合”、“连接”应做广义理解，例如，可以指物理上的直接连接，也可以指通过电子器件实现的间接连接，例如通过电阻、电感、电容或其他电子器件实现的连接。
首先对本申请涉及的概念进行描述。
加速稳健特征(speeded up robust features，SURF)：SURF是一种图像识别和描述算法，可以用于计算机视觉任务，例如物体识别、3D重构和特征匹配等。特别地，可以实现对两幅图像中特征匹配的快速处理。
Wallis滤波：Wallis滤波是一种利用图像均值及方差调整各像素点亮度和色度的方式，在本申请中，用于根据广角图像与主摄图像的重合区域的全局统计结果对主摄图像的亮度和色度进行校正，具体如下公式1所示：
其中，f(x,y)表示每个像素点(x,y)的结果图，在步骤S103中指对第三图像和第四图像的色度和亮度进行一致性校正的结果，g(x,y)表示每个像素点(x,y)的参考图，在步骤S103中表示第三图像。mf在步骤S103中表示第四图像的均值，sf在步骤S103中表示第四图像的方差，mg在步骤S103中表示第三图像的均值，sg在步骤S103中表示第三图像的方差。
双线性三次插值：一种图像插值缩放方法，主要原理是按照公式2根据当前像素点与周围像素点的距离自适应地计算它们之间的权重W，再按照公式3对周围像素点及对应权重进行加权求和得到当前像素点的估计像素值。具体的计算方式如下：
其中，a一般取值为1或者-0.5。
x，y表示当前像素点的坐标，f(x,y)表示当前像素点的像素值，xi，yi表示邻域像素点的坐标，f(xi,yi)表示邻域像素点的像素值。
线性融合(alpha融合)：对于两幅图像(即后文涉及的经一致性校正后的第三图像和第四图像)中同一位置的像素点分别乘以各自的加权系数后进行求和，即得到融合后的像素点，这两个加权系数之和为1。例如，Z＝aX+bY，a+b＝1，其中，Z表示融合后的像素点，X表示一个图像中一个像素点，a表示该像素点的加权系数，Y表示另一个图像中同一位置的一个像素点，b表示该像素点的加权系数。
本申请实施例提供了一种电子设备，该电子设备可以是一种具有显示功能的设备，电子设备可以是移动的，也可以是固定的。电子设备可以部署在陆地上(例如室内或室外、手持或车载等)，也可以部署在水面上(例如轮船等)，还可以部署在空中(例如飞机、气球和卫星等)。该电子设备可以称为用户设备(user equipment，UE)、接入终端、终端单元、用户单元(subscriber unit)、终端站、移动站(mobile station，MS)、移动台、终端代理或终端装置等。例如，该电子设备可以是手机、平板电脑、笔记本电脑、智能手环、智能手表、耳机、智能音箱、虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、工业控制(industrial control)中的终端、无人驾驶(self driving)中的终端、远程医疗(remote medical)中的终端、智能电网(smart grid)中的终端、运输安全(transportation safety)中的终端、智慧城市(smart city)中的终端、智慧家庭(smarthome)中的终端等。本申请实施例对电子设备的具体类型和结构等不作限定。下面对电子设备的一种可能结构进行说明。
以电子设备为手机为例，图1示出了电子设备101的一种可能的结构。该电子设备101可以包括处理器210、外部存储器接口220、内部存储器221、通用串行总线(universalserial bus，USB)接口230、电源管理模块240、电池241、无线充电线圈242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器270A、受话器270B、麦克风270C、耳机接口270D、传感器模块280、按键290、马达291、指示器292、摄像头293、显示屏294以及用户标识模块(subscriber identification module，SIM)卡接口295等。
其中，传感器模块280可以包括压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备101的具体限定。在本申请另一些实施例中，电子设备101可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，例如：处理器210可以为现场可编程门阵列(field programmable gate array，FPGA)、专用集成电路(application specificintegrated circuit，ASIC)、片上系统(system on chip，SoC)、中央处理单元(centralprocessing unit，CPU)、应用处理器(application processor，AP)、网络处理器(networkprocessor，NP)、数字信号处理器(digital signal processor，DSP)、微控制单元(microcontroller unit，MCU)、可编程逻辑器件(programmable logic device，PLD)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signalprocessor，ISP)、控制器、视频编解码器、基带处理器以及神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，处理器210可以是应用处理器AP。或者，上述处理器210可以集成在片上系统(system on chip，SoC)中。或者，上述处理器210可以集成在集成电路(integrated circuit，IC)芯片中。该处理器210可以包括IC芯片中的模拟前端(analogfront end，AFE)和微控制单元(micro-controller unit，MCU)。
其中，控制器可以是电子设备101的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。
在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口、集成电路内置音频(inter-integrated circuitsound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purposeinput/output，GPIO)接口、用户标识模块(subscriber identity module，SIM)接口和/或USB接口等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备101的结构限定。在本申请另一些实施例中，电子设备101也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
电源管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器(如电子设备101的无线充电底座或者其他可以为电子设备101无线充电的设备)，也可以是有线充电器。例如，电源管理模块240可以通过USB接口230接收有线充电器的充电输入。电源管理模块240可以通过电子设备的无线充电线圈242接收无线充电输入。
其中，电源管理模块240为电池241充电的同时，还可以为电子设备供电。电源管理模块240接收电池241的输入，为处理器210、内部存储器221、外部存储器接口220、显示屏294、摄像头293和无线通信模块260等供电。电源管理模块240还可以用于监测电池241的电池容量、电池循环次数、电池健康状态(漏电、阻抗)等参数。在其他一些实施例中，电源管理模块240也可以设置于处理器210中。
电子设备101的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备101中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在电子设备101上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块260可以提供应用在电子设备101上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(bluetooth，BT)、全球导航卫星系统(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近距离无线通信技术(near field communication，NFC)、红外技术(infrared，IR)等无线通信的解决方案。在一些实施例中，电子设备101的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得电子设备101可以通过无线通信技术与网络以及其他设备通信。
电子设备101通过GPU、显示屏294以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏294和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像，视频等。显示屏294包括显示面板。在一些实施例中，电子设备101可以包括1个或N个显示屏294，N为大于1的正整数。
电子设备101可以通过ISP、摄像头293、视频编解码器、GPU、显示屏294以及应用处理器等实现拍摄功能。ISP用于处理摄像头293反馈的数据。在一些实施例中，ISP可以设置在摄像头293中。摄像头293用于捕获静态图像或视频。在一些实施例中，电子设备101可以包括1个或N个摄像头293，N为大于1的正整数。示例性的，本申请实施例的摄像头包括广角摄像头和主摄像头。
外部存储器接口220可以用于连接外部存储卡，例如微闪迪(micro SanDisk，Micro SD)卡，实现扩展电子设备101的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令，从而执行电子设备101的各种功能应用以及数据处理。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flashstorage，UFS)等。
本申请实施例涉及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
电子设备101可以通过音频模块270、扬声器270A、受话器270B、麦克风270C、耳机接口270D以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。扬声器270A，也称“喇叭”，用于将音频电信号转换为声音信号。受话器270B，也称“听筒”，用于将音频电信号转换成声音信号。麦克风270C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。电子设备101可以设置至少一个麦克风270C。耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230，也可以是3.5mm的开放移动终端平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
按键290包括开机键、音量键等。按键290可以是机械按键。也可以是触摸式按键。电子设备101可以接收按键输入，产生与电子设备101的用户设置以及功能控制有关的键信号输入。马达291可以产生振动提示。马达291可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息、未接来电、通知等。SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295，或从SIM卡接口295拔出，实现和电子设备101的接触和分离。电子设备101可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口295可以支持纳SIN(Nano SIM)卡、微SIM(MicroSIM)卡、SIM卡等。在一些实施例中，电子设备101采用嵌入式(embedded SIM，eSIM)卡，eSIM卡可以嵌在电子设备101中，不能和电子设备101分离。
处理器210通过执行内部存储器221中存储的程序、指令来执行本申请实施例提供的图像融合方法。处理器210运行的程序可以基于操作系统，例如安卓(Android)苹果(iOS)/>视窗(Windows)操作系统等。如图2所示，以处理器210运行的程序基于安卓/>为例，处理器210运行的程序按照功能进行分层，可以包括应用程序层、系统服务层、算法库硬件抽象层、内核层、驱动层。
驱动层用于驱动硬件层的硬件资源。驱动层中可以包括摄像头驱动，摄像头驱动用于驱动摄像头，以通过摄像头获取图像。
内核层包括操作系统(operation system，OS)内核(kernel)。操作系统内核用于管理系统的进程、内存、驱动程序、文件系统和网络系统。
硬件抽象层(hardware abstract layer，HAL)用于将硬件抽象化。包括摄像头模块，摄像头模块用于将摄像头硬件抽象化，将抽象化的摄像头供算法库中的图像融合算法调用，以向图像融合算法输出图像。
算法库可以包括图像融合算法，图像融合算法用于执行本申请实施例提供的图像融合方法。
系统服务层可以包括摄像服务，摄像服务用于向摄像程序提供调用图像融合算法的服务。
应用程序层可以包括摄像程序，摄像程序用于响应于拍照命令输出拍摄的图像。
在旗舰级的产品上，通过较高的硬件配置和复杂算法等方式可以综合这些摄像头的成像得到优质的拍照效果。但是对于中低端产品，硬件配置较低并且受算力限制无法使用复杂算法，导致广角图像无法兼具高清晰度及大视场角。
以主摄像头和广角摄像头的成像效果为例进行对比说明。如图3所示，广角摄像头通常具备较大的视场角，但是硬件配置的参数较低，例如500万像素、800万像素、1300万像素等；主摄像头具备较小的视场角，但硬件配置的参数较高，例如6400万像素、1亿像素等。主摄像头和广角摄像头在清晰度和视场角大小上互补，理论上如果能综合利用主摄像头的高清晰度优势和广角的大视场角优势，对这两种摄像头拍摄的图像进行融合，则可以到一个中心区域清晰度高且整体视场角又大的图像。在中低端产品中，广角摄像头的硬件配置较低且通常为定焦广角摄像头，受限于成本和算力限制无法使用复杂的算法实现图像融合，因此无法利用多个摄像头的优势来为用户提供更高的清晰度，无法提升拍照效果及用户体验。
本申请实施例提供的图像融合方法和电子设备，可以实现多个摄像头(例如主摄像头和(定焦)广角摄像头)拍摄图像的快速融合，从而得到中心视场角区域更清晰的图像，提高清晰度。如图4所示，该图像融合方法包括：
S101、响应于拍照命令，通过第一摄像头获取第一图像并通过第二摄像头获取第二图像。
如图5所示，可以通过点击拍照按钮A触发拍照命令，或者，通过连续多次按压音量键C触发拍照命令。
其中，第一摄像头的视场角大于第二摄像头的视场角，第二摄像头的像素数多于第一摄像头的像素，这样在对第一图像和第二图像进行融合时，既可以具有第一图像的大视场角，又具有第二图像的清晰度。示例性的，第一摄像头为广角摄像头，第二摄像头为主摄像头。由于广角摄像头拍摄的图像存在图6所示的桶形畸变(即处于边缘的图像向外弯曲)，所以通过第一摄像头获取的第一图像先要进行畸变校正，以消除桶形畸变。特别地，广角摄像头的对焦方式一般分为两种——自动对焦和定焦，大多数中低端产品中的广角摄像头为定焦广角摄像头，本申请主要面向这种摄像头的清晰度提升。
S102、如果满足预设条件，对第二图像的特征点和第一图像的特征点进行匹配，得到第一图像中与第二图像具有重合区域的第三图像，并将第二图像缩小至重合区域的大小得到第四图像。
满足预设条件包括以下条件的至少一项：第二图像为第二摄像头的焦距设置为最大(或称无限远，用于拍摄远景)时拍摄的图像，电子设备未处于高动态范围成像(highdynamic range imaging，HDR)场景，检测的感光度小于感光度门限，第一图像和第二图像的亮度差小于亮度门限。具体原因如下：
由于中低端产品的广角摄像头是定焦的，而主摄像头是可变焦距的，在拍摄近景时，广角摄像头成像失焦或者由于镜头的呼吸效应(即摄像头在改变焦点时，焦距的轻微改变)而影响相机出图的质量，从而导致图像融合的效果不佳。因此，本申请要求相机应用于拍摄远景的场景，此时第二摄像头的焦距设置为最大，以保证主摄像头和定焦广角摄像头的成像效果近乎一致。
由于HDR场景以及暗光场景(感光度大于或等于感光度门限时)下需要多帧图像进行降噪处理或者动态范围融合处理，再加上图像畸变校正的耗时，导致整个算法拍照链路较长。中低端产品的处理芯片的性能较差，无法实现对图像快速处理，因此在这两种场景下不执行本申请的图像融合算法，只对第一图像进行畸变校正以及单帧降噪后输出目标图像。
当主摄像头或者广角摄像头被遮挡或者损坏时，可以通过比较两个摄像头输出图像(第一图像和第二图像)的亮度差异来判断是否发生异常，如果亮度差过大则表明摄像头异常，此时不执行本申请的图像融合算法，该场景下只对第一图像进行畸变校正以及单帧降噪后输出目标图像。
由于第一摄像头的像素远低于第二摄像头的像素，并且，第一摄像头的视场角大于所述第二摄像头的视场角，所以实际上第二图像会与第一图像中的部分区域重叠，并且需要将第二图像缩小(下采样)才能映射至重合区域。
因此，首先需要将第二图像映射至第一图像，即确定第一图像中与第二图像重叠的区域。如图7所示，可以通过对第一图像提取特征点(例如SURF特征点)得到第一特征点，对第二图像提取特征点(例如SURF特征点)得到第二特征点，将第一特征点与第二特征点相匹配，则第一图像中与第二图像具有相同特征点的矩形区域，即为第一图像中与第二图像重合的区域，该重合区域的图像即为第三图像。该过程可以称为第一次粗略对齐。需要说明的是，还可以采用其他种类的特征点，本申请不作限定。
在将第二图像缩小至重合区域的大小得到第四图像时，可以通过双线性三次插值的方式对第二图像进行缩小操作，缩小后得到的第四图像的大小与重合区域的大小相同。
进一步地，由于经过畸变校正后的第三图像(第一图像的一部分)与缩小后的第四图像存在较小程度的差异，导致第三图像与第四图像可能不完全对齐。因此，可以将第三图像的第三特征点(例如SURF特征点)分别与第四图像中多个(例如4个)像素块的第四特征点(例如SURF特征点)进行匹配，按照相同特征点将多个像素块分别与第三图像进行像素级对齐，将对齐后的多个像素块重新进行融合即可得到第四图像。该过程可以称为第二次精准对齐。其中，所述多个像素块的并集为第四图像，并且所述多个像素块中相邻两个像素块之间有部分重合(例如重合宽度为50-100个像素点)，示例性的，如图8所示，可以将第四图像划分为四个像素块，分别对应左上角A、右上角B、左下角C和右下角D，这样便于有多余的像素点能够填充对齐时产生的空洞。
S103、对第三图像和第四图像的色度和亮度进行一致性校正，对一致性校正后的第三图像和第四图像进行融合后替换第一图像中位于重合区域的图像，得到目标图像。
可以通过Wallis滤波等方式，对第三图像和第四图像的色度和亮度进行一致性校正，方便对第三图像和第四图像在相近的色度和亮度下进行融合，另外可以避免在对第三图像和第四图像进行鬼影检测时，由于亮度差或者色度差产生错误的鬼影检测结果。
虽然理论上第一摄像头和第二摄像头是同时拍摄，但是在实际使用过程中，第一摄像头和第二摄像头拍摄的时间可能存在时间差，或者，第一摄像头和第二摄像头的组装存在差异，或者，拍照瞬间手抖等等，有可能导致出现鬼影(即运动模糊)。因此，在进行图像融合之前，还可以对第三图像和第四图像进行鬼影检测，从而对运动变化区域进行校正，避免直接融合导致图像模糊。
具体的，可以比较一致性校正后的第三图像和第四图像中相同位置的亮度之差和色度之差以确定鬼影区域，如果一致性校正后的第三图像和第四图像中相同位置的亮度之差大于亮度门限，并且色度之差大于色度门限，则该位置属于鬼影区域，否则该位置不属于鬼影区域。对于鬼影区域，目标图像直接采用第三图像中的图像，即直接将第三图像中位于鬼影区域的图像确定为目标图像中位于鬼影区域的图像。
在对第三图像和第四图像进行融合时，可以使用线性融合，本申请对融合方式不作限定。
另外，由于重合区域融合后清晰度要明显高于非重合区域，为了防止在重合区域与非重合区域之间出现明显的清晰度变化，在融合得到目标图像后，还需要对目标图像中，位于重合区域与非重合区域之间的过渡带(如图9所示，即从重合区域四周向内收缩多个像素形成的环形区域)的图像进行模糊过渡处理，使得目标图像的清晰度从重合区域平滑过渡到非重合区域。具体的，对目标图像和第三图像的过渡带中的图像进行线性融合，其中，按照过渡带从最内侧至最外侧的顺序，第三图像的过渡带中各像素点乘以的加权系数从0依次增大至1，目标图像的过渡带中各像素点乘以的加权系数从1依次减小至0。即越靠近过渡带内侧目标图像(清晰度高)占比越大，越靠近过渡带外侧第三图像(清晰度低)占比越大，实现自然过渡效果。
对于融合后有目标图像需要进行单帧图像降噪以提升目标图像的整体噪声水平。
S104、如果不满足预设条件，则将经过畸变校正的第一图像作为目标图像。
对于目标图像需要进行单帧图像降噪以提升目标图像的整体噪声水平。
图10-图12示出了采用本申请提供的图像融合方法实现的效果，从中可以看出最后生成的图像在重合区域具备更高的清晰度。
本申请实施例提供的图像融合方法和电子设备，通过将视场角较大而像素数少(即清晰度低)的第一图像与视场角相对较小而像素数多(即清晰度高)的第二图像进行融合，得到的目标图像兼具大视场角和高清晰度，即通过图像融合得到视场角大并且中心区域清晰度高的图像。
如图13所示，本申请实施例还提供一种芯片系统。该芯片系统60包括至少一个处理器601和至少一个接口电路602。至少一个处理器601和至少一个接口电路602可通过线路互联。处理器601用于支持电子设备实现上述方法实施例中的各个步骤，例如图4所示的方法，至少一个接口电路602可用于从其它装置(例如存储器)接收信号，或者，向其它装置(例如通信接口)发送信号。该芯片系统可以包括芯片，还可以包括其他分立器件。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括指令，当指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中的各个步骤，例如执行图4所示的方法。
本申请实施例还提供一种包括指令的计算机程序产品，当指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中的各个步骤，例如执行图4所示的方法。
关于芯片系统、计算机可读存储介质、计算机程序产品的技术效果参照前面方法实施例的技术效果。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个设备，或者也可以分布到多个设备上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个设备中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个设备中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种图像融合方法，其特征在于，包括：
响应于拍照命令，通过第一摄像头获取第一图像并通过第二摄像头获取第二图像，其中，所述第一摄像头的视场角大于所述第二摄像头的视场角，所述第二摄像头的像素数多于所述第一摄像头的像素；
如果满足预设条件，对所述第二图像的特征点和所述第一图像的特征点进行匹配，得到所述第一图像中与所述第二图像具有重合区域的第三图像，并将所述第二图像缩小至所述重合区域的大小得到第四图像；所述满足预设条件包括以下条件的至少一项：所述第二图像为所述第二摄像头的焦距设置为最大时拍摄的图像；未处于高动态范围成像HDR拍摄模式；感光度小于感光度门限；所述第一图像和所述第二图像的亮度差小于亮度门限；
对所述第三图像和所述第四图像的颜色和亮度进行一致性校正，对一致性校正后的所述第三图像和所述第四图像进行融合后替换所述第一图像中位于所述重合区域的图像，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，在将所述第二图像缩小至所述重合区域的大小得到第四图像之后，还包括：
将所述第四图像中多个像素块的特征点分别与所述第三图像的特征点进行匹配，其中，所述多个像素块的并集为所述第四图像，所述多个像素块中相邻两个像素块之间有部分重合；
按照相同特征点将所述多个像素块分别与所述第三图像进行对齐；
将对齐后的所述多个像素块进行融合得到更新后的所述第四图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述目标图像和所述第三图像的过渡带中的图像进行线性融合，其中，按照所述过渡带从最内侧至最外侧的顺序，第三图像的过渡带中各像素点乘以的加权系数从0依次增大至1，目标图像的过渡带中各像素点乘以的加权系数从1依次减小至0，所述过渡带指重合区域四周向内收缩多个像素形成的环形区域。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
比较所述第三图像和所述第四图像中相同位置的亮度之差和色度之差以确定鬼影区域；
将所述第三图像中位于所述鬼影区域的图像确定为所述目标图像中位于所述鬼影区域的图像。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述第一摄像头为定焦广角摄像头。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述第二摄像头为主摄像头。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储指令，当所述处理器执行所述指令时，如权利要求1-6任一项所述的方法被执行。
8.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在电子设备上执行时，使得所述电子设备执行如权利要求1-6任一项所述的方法。
CN202211013567.3A 2022-08-23 2022-08-23 图像融合方法和电子设备 Active CN116051435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211013567.3A CN116051435B (zh) 2022-08-23 2022-08-23 图像融合方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211013567.3A CN116051435B (zh) 2022-08-23 2022-08-23 图像融合方法和电子设备

Publications (2)

Publication Number Publication Date
CN116051435A CN116051435A (zh) 2023-05-02
CN116051435B true CN116051435B (zh) 2023-11-07

Family

ID=86118805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211013567.3A Active CN116051435B (zh) 2022-08-23 2022-08-23 图像融合方法和电子设备

Country Status (1)

Country Link
CN (1) CN116051435B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261387A (zh) * 2020-12-21 2021-01-22 展讯通信（上海）有限公司 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
WO2021098544A1 (zh) * 2019-11-20 2021-05-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
WO2021104394A1 (zh) * 2019-11-28 2021-06-03 RealMe重庆移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN113810600A (zh) * 2021-08-12 2021-12-17 荣耀终端有限公司 终端的图像处理方法、装置和终端设备
CN113810601A (zh) * 2021-08-12 2021-12-17 荣耀终端有限公司 终端的图像处理方法、装置和终端设备
CN113810598A (zh) * 2021-08-11 2021-12-17 荣耀终端有限公司 一种拍照方法及设备
CN113810590A (zh) * 2020-06-12 2021-12-17 华为技术有限公司 图像处理方法、电子设备、介质和系统
CN114463391A (zh) * 2022-01-26 2022-05-10 中国电子科技集团公司第十四研究所 一种利用图像分块匹配的sar图像配准方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098544A1 (zh) * 2019-11-20 2021-05-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
WO2021104394A1 (zh) * 2019-11-28 2021-06-03 RealMe重庆移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN113810590A (zh) * 2020-06-12 2021-12-17 华为技术有限公司 图像处理方法、电子设备、介质和系统
CN112261387A (zh) * 2020-12-21 2021-01-22 展讯通信（上海）有限公司 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
CN113810598A (zh) * 2021-08-11 2021-12-17 荣耀终端有限公司 一种拍照方法及设备
CN113810600A (zh) * 2021-08-12 2021-12-17 荣耀终端有限公司 终端的图像处理方法、装置和终端设备
CN113810601A (zh) * 2021-08-12 2021-12-17 荣耀终端有限公司 终端的图像处理方法、装置和终端设备
CN114463391A (zh) * 2022-01-26 2022-05-10 中国电子科技集团公司第十四研究所 一种利用图像分块匹配的sar图像配准方法

Also Published As

Publication number Publication date
CN116051435A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN108305236B (zh) 图像增强处理方法及装置
US9692959B2 (en) Image processing apparatus and method
CN109829864B (zh) 图像处理方法、装置、设备及存储介质
CN107948505B (zh) 一种全景拍摄方法及移动终端
WO2020078273A1 (zh) 一种拍摄方法及电子设备
CN113364976B (zh) 一种图像的显示方法及电子设备
CN112954251B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN112995467A (zh) 图像处理方法、移动终端及存储介质
EP4199496A1 (en) Image stabilization method and electronic device therefor
CN115526787A (zh) 视频处理方法和装置
CN111835973A (zh) 拍摄方法、拍摄装置、存储介质与移动终端
CN110807769B (zh) 图像显示控制方法及装置
CN113487500B (zh) 图像畸变校正方法与装置、电子设备和存储介质
CN113364975B (zh) 一种图像的融合方法及电子设备
KR20200009922A (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
CN112700525A (zh) 一种图像处理方法及电子设备
CN116051435B (zh) 图像融合方法和电子设备
JPWO2017104328A1 (ja) 画像処理装置及び画像処理方法
CN115696063A (zh) 拍照方法和电子设备
CN113486714B (zh) 一种图像的处理方法及电子设备
CN115002347A (zh) 图像处理方法、智能终端及存储介质
CN113709353B (zh) 图像采集方法和设备
CN116530090A (zh) 使用多个相机拍摄照片的方法及其装置
CN111294905B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN115696067B (zh) 终端的图像处理方法、终端设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant