CN111242860B - 超级夜景图像的生成方法、装置、电子设备及存储介质 - Google Patents

超级夜景图像的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111242860B
CN111242860B CN202010014410.7A CN202010014410A CN111242860B CN 111242860 B CN111242860 B CN 111242860B CN 202010014410 A CN202010014410 A CN 202010014410A CN 111242860 B CN111242860 B CN 111242860B
Authority
CN
China
Prior art keywords
image
frame
noise reduction
night scene
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010014410.7A
Other languages
English (en)
Other versions
CN111242860A (zh
Inventor
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202011065546.7A priority Critical patent/CN112288646A/zh
Priority to CN202010014410.7A priority patent/CN111242860B/zh
Publication of CN111242860A publication Critical patent/CN111242860A/zh
Priority to JP2022541888A priority patent/JP7375208B2/ja
Priority to PCT/CN2021/070225 priority patent/WO2021139635A1/zh
Priority to US17/790,989 priority patent/US20230074180A1/en
Priority to EP21738608.5A priority patent/EP4089625A4/en
Application granted granted Critical
Publication of CN111242860B publication Critical patent/CN111242860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种超级夜景图像的生成方法、装置、电子设备及存储介质，该方法包括：通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。

Description

超级夜景图像的生成方法、装置、电子设备及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种超级夜景图像的生成方法、装置、电子设备及存储介质。
背景技术
传统的夜景增强拍照处理，一般都是拍摄图像后，利用图像亮度算法或者对比度增强算法将已拍摄的夜景图像进行增强处理，这样就会提升图像暗部的亮度和对比度。但是，由于夜景图像的噪点比较多，并且噪点也可能会被增强，导致整个夜景图像的增强效果不佳。同时，根据局部方差确定增强系数的方案，容易在明暗过度剧烈的地方出现光晕。
现有技术方案中有利用多帧图像进行生成高动态范围图像的解决方案，但该方案在白天拍摄的场景中效果良好而在夜景照片的噪声很大；现有技术中还有直接对多帧夜景图像进行融合去噪等处理方案，但这种方案获得的夜景图像在图像的亮部或暗部仍旧不够清晰。
发明内容
本发明的目的在于提供一种超级夜景图像的生成方法、装置、电子设备及存储介质，旨在解决由于现有技术中生成的超级夜景图像的噪声大的问题。
一方面，本发明提供一种超级夜景图像的生成方法，所述方法包括下述步骤：
获取连续多帧原始图像，所述多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；
对所述多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像；
对所述正常降噪图像进行灰度变换处理，得到一帧过曝光图像；
将所述欠曝光图像、所述正常降噪图像和所述过曝图像进行融合处理，得到一帧超级夜景图像。
优选地，所述对所述多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像的步骤，包括：
对所述多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像；
采用单帧图像降噪法对所述堆叠降噪图像进行降噪处理，得到所述正常降噪图像。
优选地，所述对所述多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像的步骤包括：
从所述多帧正常曝光图像中选择一帧图像作为参考图像；
将所述多帧正常曝光图像中除去所述参考图像以外的图像与所述参考图像进行对齐处理；
根据第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理，得到所述堆叠降噪图像；
其中，所述第一公式为：表示所述堆叠降噪图像，Ii(x,y)表示对齐处理后的所述多帧正常曝光图像中的第i个图像，M-1表示所述正常曝光图像的帧数，wi(x,y)表示加权融合的权值，所述权值wi(x,y)通过以下公式进行计算：
d(x,y)＝|Ii(x,y)-I0(x,y)|，其中，I0(x,y)表示参考图像，n表示预设图像噪声的强度值。
优选地，所述根据第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理的步骤包括：
在YUV空间中根据所述第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理。
优选地，所述在YUV空间中根据所述第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理的步骤，包括：
获取对齐处理后的所述多帧正常曝光图像的Y分量数据，以及所述参考图像的U分量数据和V分量数据；
根据所述第一公式对所述Y分量数据进行加权融合降噪处理，并对所述U分量数据和所述V分量数据进行保边滤波处理；
将加权融合降噪处理后的Y分量数据，以及保边滤波处理后的所述U分量数据和所述V分量数据进行合成，得到所述堆叠降噪图像。
优选地，所述采用单帧图像降噪法对所述堆叠降噪图像进行降噪处理的步骤，包括：
在目标像素点的邻域窗口内随机选择若干参考像素点；
分别以所述目标像素点和每个所述参考像素点为中心获取像素块；
对每个所述像素块进行DCT变换，并根据预设阈值对每个所述像素块对应的DCT系数进行更新；
对更新后的DCT系数进行DCT反变换，以对每个所述像素块进行重建；
将重建后的每个像素块中与目标像素点的位置对应的像素点的像素值进行加权平均，将加权平均后的像素值作为所述目标像素点的像素值。
优选地，所述根据预设阈值对每个所述像素块对应的DCT系数进行更新的步骤，包括：
将所述DCT系数中小于所述预设阈值的系数置零。
优选地，所述将所述欠曝光图像、所述正常降噪图像和所述过曝图像进行融合处理，得到一帧超级夜景图像的步骤之后，包括：
采用细节增强算法对所述超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像；
其中，所述细节增强算法为基于保边滤波的细节增强算法，所述细节增强后的超级夜景图像为：I′(x,y)＝k1I(x,y)+(1-k1)S1(x,y)，其中，I′(x,y)表示所述细节增强后的超级夜景图像，I(x,y)表示所述超级夜景图像，S1(x,y)表示对所述超级夜景图像进行保边滤波处理后得到的图像，k1表示图像细节增强的系数，k1>1；或
所述细节增强算法为基于普通滤波的细节增强算法，所述细节增强后的超级夜景图像为：I′(x,y)＝max(min(T(x,y),Id(x,y)),Ie(x,y))，其中，T(x,y)＝k2I(x,y)+(1-k2)S2(x,y)，I′(x,y)表示所述细节增强后的超级夜景图像，I(x,y)表示所述超级夜景图像，S2(x,y)表示对所述超级夜景图像进行普通滤波处理后得到的图像，Id(x,y)表示对所述超级夜景图像进行膨胀处理后得到的图像，Ie(x,y)表示对所述超级夜景图像进行腐蚀处理后得到的图像，k2表示图像细节增强的系数，k2>1。
优选地，所述对所述正常降噪图像进行灰度变换处理的步骤，包括：
对所述正常降噪图像进行伽马变换处理。
优选地，对所述正常降噪图像进行伽马变换处理时的伽马系数为0.625。
另一方面，本发明提供了一种超级夜景图像的生成装置，所述装置包括：
图像获取单元，用于获取连续多帧原始图像，所述多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；
堆叠降噪单元，用于对所述多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像；
灰度变换单元，用于对所述正常降噪图像进行灰度变换处理，得到一帧过曝光图像；以及
图像合成单元，用于将所述欠曝光图像、所述正常降噪图像和所述过曝图像进行融合处理，得到一帧超级夜景图像。
另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。
附图说明
图1是本发明实施例一提供的超级夜景图像的生成方法的实现流程图；
图2是本发明实施例二提供的超级夜景图像的生成方法的实现流程图；
图3是本发明实施例三提供的超级夜景图像的生成装置的结构示意图；以及
图4是本发明实施例四提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的超级夜景图像的生成方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像。
本发明实施例适用于电子设备，该电子设备可以包括手机、手表、平板、电脑、相机等具有拍照功能的设备。在本发明实施例中，获取电子设备在暗处连续拍摄的多帧原始图像，该暗处可以为在夜间或者其他光线较暗的场景下，为便于说明，本示例中原始图像的帧数用M表示，M≥3，该多帧原始图像应包含一帧欠曝光图像和多帧正常曝光图像。在实际中，为便于操作，通常欠曝光图像为获取到的第一帧图像，例如，连续拍摄的原始图像为9帧，第一帧为欠曝光图像，后8帧图像为正常曝光图像。
在步骤S102中，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像。
在本发明实施例中，在对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像时，具体可以包括：
S1021：对该多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像。
具体地，从该多帧正常曝光图像中选择一帧图像作为参考图像，将该多帧正常曝光图像中除去该参考图像以外的图像与该参考图像进行对齐处理，再对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，得到该堆叠降噪图像，以降低因图像未对其造成的不良影响。其中，可以选取正常曝光图像中的第一帧图像作为参考图像，也可以选取正常曝光图像中的第二帧图像作为基准图像，还可以选取正常曝光图像中的最后一帧图像作为基准图像，在此不作限定。在将该多帧正常曝光图像中除去该参考图像以外的图像与该参考图像进行对齐处理时，由于将某一帧图像和其它帧图像进行对齐处理属于现有技术，如，可以通过稀疏光流进行对齐，在此不再赘述。
优选地，根据第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，得到该堆叠降噪图像；
其中，该第一公式为：表示该堆叠降噪图像，Ii(x,y)表示对齐处理后的该多帧正常曝光图像中的第i个图像，M-1表示该正常曝光图像的帧数，wi(x,y)表示加权融合的权值，加权融合的权值由当前图像与参考图像的差异决定，差异越大，权值越小，该权值wi(x,y)通过以下公式进行计算：
d(x,y)＝|Ii(x,y)-I0(x,y)|，其中，I0(x,y)表示参考图像，d(x,y)表示M-1张对齐处理后的该多帧正常曝光图像Ii(x,y)中的第i个图像与参考图像I0(x,y)的亮度差异值，n表示预设图像噪声的强度值，噪声强度n由电子设备的ISO、曝光时间和传感器本身属性决定，对于同一个传感器，ISO表示CCD或者CMOS感光元件的感光的速度，ISO越大n越大，曝光时间越短n越大。
在这里需要说明的是，可以在RGB空间中根据该第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，优选地，在YUV空间中根据该第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，进一步优选地，获取对齐处理后的所述多帧正常曝光图像的Y分量数据，以及所述参考图像的U分量数据和V分量数据，根据所述第一公式对所述Y分量数据进行加权融合降噪处理，并对所述U分量数据和所述V分量数据进行保边滤波处理，将加权融合降噪处理后的Y分量数据，以及保边滤波处理后的所述U分量数据和所述V分量数据进行合成，得到所述堆叠降噪图像，以提升加权融合降噪处理过程中的计算速度。其中，保边滤波处理可以是双边滤波处理，也可以是导向滤波处理，在此不作限定；堆叠降噪图像可以是在YUV空间存储的图像，也可以是转换到RGB空间或其它颜色空间存储的图像，在此亦不作限定。
S1022：对该堆叠降噪图像采用单帧图像降噪法生成一张正常降噪图像。
对该堆叠降噪图像采用单帧图像降噪法生成一张正常降噪图像，可以进一步消除噪声的影响。该单帧图形降噪法在离散余弦空间进行，在采用离散余弦变换进行降噪时，每次滑动一个像素，为便于说明，本实施例中将每次滑动后对应的像素点称为目标像素点，优选地，在目标像素点的邻域窗口内随机选择若干参考像素点，分别以该目标像素点和每个该参考像素点为中心获取像素块，对每个像素块进行DCT变换(Discrete CosineTransform，离散余弦变换)，并根据预设阈值对每个像素块对应的DCT系数进行更新，对更新后的DCT系数进行DCT反变换，以对每个像素块进行重建，将重建后的每个像素块中与目标像素点的位置对应的像素点的像素值进行加权平均，将加权平均后的像素值作为该目标像素点的像素值，从而有效地提高了图像的降噪效果。其中，该邻域窗口的大小通常为8×8，相应地，每个该像素块的大小通常也为8×8，预设阈值通常由人工进行设定，该阈值的大小可以根据图像噪声水平进行设置，噪声水平可由ISO和相机曝光时间及相机传感器本身确定，ISO数值越高就说明该感光元器件的感光能力越强。在根据预设阈值对每个像素块对应的DCT系数进行更新时，可选地，将DCT系数中小于预设阈值的系数置零。
在步骤S103中，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像。
在本发明实施例中，在对该正常降噪图像进行灰度变换处理时，可以对该正常降噪图像进行反转变换处理、对数变换处理或分段线性变换处理，优选地，对该正常降噪图像进行伽马变换处理，以得到对比度和可辨细节加强的过曝光图像。其中，该伽马变换的公式为：s＝crγ，其中，s表示该过曝光图像，r表示该正常降噪图像的灰度值，取值范围为[0,1]，c表示灰度缩放系数，用于整体拉伸图像灰度，通常取值为1，γ表示伽马系数，优选地，γ＝0.625，以提高图像增强的效果。
在步骤S104中，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像。
在本发明实施例中，该欠曝光图像可以为图像高光处提供丰富的细节，该正常降噪图像可以为图像提供丰富的中间亮度的细节，该过曝图像可以为图像暗处提供细节，通过对该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到融合后的超级夜景图像，该超级夜景图像为HDR(High Dynamic Range，高动态范围)图像。在对该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理时，优选地，以正常曝光图像为参考，对欠曝光图像和过曝光图像消除运动像素，分别得到第三图像和第四图像，将正常曝光图像，第三图像和第四图像降采样，计算第一权值图，将降采样得到的三幅图像分别转换成灰度图，对灰度图做多分辨率融合，计算第二权值图，将第二权值图升采样到与原图尺寸一致，对正常曝光图像、欠曝光图像和过曝光图像做加权融合，从而提高了高动态范围图像的视觉效果。当然，在对该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理也可以采用现有技术中的其他融合处理方法，在此不作赘述。
在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。在对该多帧正常曝光图像进行堆叠降噪处理时，在YUV空间中对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，从而提升了夜景图像的处理速度，进而进一步提升了用户体验。
实施例二：
图2示出了本发明实施例二提供的超级夜景图像的生成方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像。
在步骤S202中，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像。
在步骤S203中，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像。
在步骤S204中，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像。
在本发明实施例中，步骤S201-S204的实施方式可对应参考前述实施例一中步骤S101-S104的描述，在此不再赘述。
在步骤S205中，采用细节增强算法对该超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像。
在本发明实施例中，采用细节增强算法对该超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像，以进一步提高图像细节，进而进一步提高了图像的清晰度。
优选地，该细节增强算法为基于保边滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝k1I(x,y)+(1-k1)S1(x,y)，其中，I′(x,y)表示该细节增强后的超级夜景图像，I(x,y)表示该超级夜景图像，S1(x,y)表示对该超级夜景图像进行保边滤波处理后得到的图像，k1表示图像细节增强的系数，k1>1。具体地，对该超级夜景图像I(x,y)进行保边滤波处理，得到保边滤波处理后的图像S1(x,y)，通过公式I′(x,y)＝k1I(x,y)+(1-k1)S1(x,y)，即可得出细节增强后的超级夜景图像。
又一优选地，该细节增强算法为基于普通滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝max(min(T(x,y),Id(x,y)),Ie(x,y))，其中，T(x,y)＝k2I(x,y)+(1-k2)S2(x,y)，I′(x,y)表示该细节增强后的超级夜景图像，I(x,y)表示该超级夜景图像，S2(x,y)表示对该超级夜景图像进行普通滤波处理后得到的图像，Id(x,y)表示对该超级夜景图像进行膨胀处理后得到的图像，Ie(x,y)表示对该超级夜景图像进行腐蚀处理后得到的图像，k2表示图像细节增强的系数，k2>1。具体地，对该超级夜景图像I(x,y)分别进行普通滤波处理、膨胀处理和腐蚀处理，得到经普通滤波处理后的图像S2(x,y)、经膨胀处理后的图像Id(x,y)和腐蚀处理后的图像Ie(x,y)，然后根据公式：I′(x,y)＝max(min(T(x,y),Id(x,y)),Ie(x,y))，T(x,y)＝k2I(x,y)+(1-k2)S2(x,y)，即可得出细节增强后的超级夜景图像。
在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，采用细节增强算法对该超级夜景图像进行细节增强处理，从而进一步提升了夜景图像的细节，进而进一步提升了用户体验。
实施例三：
图3示出了本发明实施例三提供的超级夜景图像的生成装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
图像获取单元31，用于获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；
堆叠降噪单元32，用于对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像；
灰度变换单元33，用于对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像；以及
图像合成单元34，用于将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像。
优选地，堆叠降噪单元包括：
第一降噪子单元，用于对该多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像；
第二降噪子单元，用于采用单帧图像降噪法对该堆叠降噪图像进行降噪处理，得到该正常降噪图像。
优选地，该第一降噪子单元包括：
参考图像选择单元，用于从该多帧正常曝光图像中选择一帧图像作为参考图像；
图像对齐处理单元，用于将该多帧正常曝光图像中除去该参考图像以外的图像与该参考图像进行对齐处理；
第三降噪子单元，用于根据第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，得到该堆叠降噪图像；
其中，该第一公式为：表示该堆叠降噪图像，Ii(x,y)表示对齐处理后的该多帧正常曝光图像中的第i个图像，M-1表示该正常曝光图像的帧数，wi(x,y)表示加权融合的权值，该权值wi(x,y)通过以下公式进行计算：
d(x,y)＝|Ii(x,y)-I0(x,y)|，其中，I0(x,y)表示参考图像，n表示预设图像噪声的强度值。
优选地，该第二降噪子单元包括：
像素点选择单元，用于在目标像素点的邻域窗口内随机选择若干参考像素点；
像素块获取单元，用于分别以该目标像素点和每个该参考像素点为中心获取像素块；
DCT变换单元，用于对每个像素块进行DCT变换，并根据预设阈值对每个像素块对应的DCT系数进行更新；
DCT反变换单元，用于对更新后的DCT系数进行DCT反变换，以对每个像素块进行重建；
像素值计算单元，用于将重建后的每个该像素块中与目标像素点的位置对应的像素点的像素值进行加权平均，将加权平均后的像素值作为该目标像素点的像素值。
优选地，该DCT变换单元包括：
DCT变换子单元，用于将DCT系数中小于所述预设阈值的系数置零。
优选地，该第三降噪子单元包括：
第四降噪子单元，用于在YUV空间中根据该第一公式对经对齐处理后的该多帧正常曝光图像进行加权融合降噪处理。
优选地，该第四降噪子单元包括：
分量数据获取单元，用于获取对齐处理后的所述多帧正常曝光图像的Y分量数据，以及所述参考图像的U分量数据和V分量数据；或
分量数据获取单元，用于根据所述第一公式对所述Y分量数据进行加权融合降噪处理，并对所述U分量数据和所述V分量数据进行保边滤波处理；
分量数据合成单元，用于将加权融合降噪处理后的Y分量数据，以及保边滤波处理后的所述U分量数据和所述V分量数据进行合成，得到所述堆叠降噪图像。
优选地，灰度变换单元包括：
伽马变换单元，用于对该正常降噪图像进行伽马变换处理。
优选地，对该正常降噪图像进行伽马变换处理时的伽马系数为0.625。
优选地，该装置还包括：
细节增强处理单元，用于采用细节增强算法对该超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像；
其中，该细节增强算法为基于保边滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝k1I(x,y)+(1-k1)S1(x,y)，其中，I′(x,y)表示该细节增强后的超级夜景图像，I(x,y)表示该超级夜景图像，S1(x,y)表示对该超级夜景图像进行保边滤波处理后得到的图像，k1表示图像细节增强的系数，k1>1；或
该细节增强算法为基于普通滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝max(min(T(x,y),Id(x,y)),Ie(x,y))，其中，T(x,y)＝k2I(x,y)+(1-k2)S2(x,y)，I′(x,y)表示该细节增强后的超级夜景图像，I(x,y)表示该超级夜景图像，S2(x,y)表示对该超级夜景图像进行普通滤波处理后得到的图像，Id(x,y)表示对该超级夜景图像进行膨胀处理后得到的图像，Ie(x,y)表示对该超级夜景图像进行腐蚀处理后得到的图像，k2表示图像细节增强的系数，k2>1。
在本发明实施例中，超级夜景图像的生成装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。超级夜景图像的生成装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例四：
图4示出了本发明实施例四提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的电子设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述各方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。
在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。
在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种超级夜景图像的生成方法，其特征在于，所述方法包括下述步骤：
获取连续多帧原始图像，所述多帧原始图像为电子设备连续拍摄的多帧夜景图像，所述多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；
对所述多帧正常曝光图像进行堆叠降噪处理，包括：选取参考图像，根据其他图像与参考图像的亮度差异确定融合权值，并基于融合权值进行加权融合运算，得到一帧正常降噪图像；
对所述正常降噪图像进行灰度变换处理，得到一帧对比度和可辨细节加强的过曝光图像；
将所述欠曝光图像、所述正常降噪图像和所述过曝光图像进行融合处理，利用所述过曝光图像为图像暗处提供细节，得到一帧超级夜景图像。
2.如权利要求1所述的方法，其特征在于，所述对所述多帧正常曝光图像进行堆叠降噪处理后，所述方法还包括：
对加权融合降噪处理得到的一帧堆叠降噪图像，采用单帧图像降噪法进行降噪处理，得到所述正常降噪图像。
3.如权利要求2所述的方法，其特征在于，所述选取参考图像，根据其他图像与参考图像的亮度差异确定融合权值，并基于融合权值进行加权融合运算包括：
从所述多帧正常曝光图像中选择一帧图像作为参考图像；
将所述多帧正常曝光图像中除去所述参考图像以外的其他图像与所述参考图像进行对齐处理；
根据第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理，得到所述堆叠降噪图像；
其中，所述第一公式为： 表示所述堆叠降噪图像，Ii(x,y)表示对齐处理后的所述多帧正常曝光图像中的第i个图像，M-1表示所述正常曝光图像的帧数，wi(x,y)表示加权融合的权值，所述权值wi(x,y)通过以下公式进行计算：
d(x,y)＝|Ii(x,y)-I0(x,y)|，其中，I0(x,y)表示参考图像，n表示预设图像噪声的强度值。
4.如权利要求3所述的方法，其特征在于，所述根据第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理的步骤包括：
在YUV空间中根据所述第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理。
5.如权利要求4所述的方法，其特征在于，所述在YUV空间中根据所述第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理的步骤，包括：
获取对齐处理后的所述多帧正常曝光图像的Y分量数据，以及所述参考图像的U分量数据和V分量数据；
根据所述第一公式对所述Y分量数据进行加权融合降噪处理，并对所述U分量数据和所述V分量数据进行保边滤波处理；
将加权融合降噪处理后的Y分量数据，以及保边滤波处理后的所述U分量数据和所述V分量数据进行合成，得到所述堆叠降噪图像。
6.如权利要求2所述的方法，其特征在于，所述采用单帧图像降噪法对所述堆叠降噪图像进行降噪处理的步骤，包括：
在目标像素点的邻域窗口内随机选择若干参考像素点；
分别以所述目标像素点和每个所述参考像素点为中心获取像素块；
对每个所述像素块进行DCT变换，并根据预设阈值对每个所述像素块对应的DCT系数进行更新；
对更新后的DCT系数进行DCT反变换，以对每个所述像素块进行重建；
将重建后的每个像素块中与目标像素点的位置对应的像素点的像素值进行加权平均，将加权平均后的像素值作为所述目标像素点的像素值。
7.如权利要求6所述的方法，其特征在于，所述根据预设阈值对每个所述像素块对应的DCT系数进行更新的步骤，包括：
将所述DCT系数中小于所述预设阈值的系数置零。
8.如权利要求1所述的方法，其特征在于，所述对所述正常降噪图像进行灰度变换处理的步骤，包括：
对所述正常降噪图像进行伽马变换处理。
9.如权利要求8所述的方法，其特征在于，对所述正常降噪图像进行伽马变换处理时的伽马系数为0.625。
10.如权利要求1所述的方法，其特征在于，所述将所述欠曝光图像、所述正常降噪图像和所述过曝光图像进行融合处理，得到一帧超级夜景图像的步骤之后，包括：
采用细节增强算法对所述超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像；
其中，所述细节增强算法为基于保边滤波的细节增强算法，所述细节增强后的超级夜景图像为：I′(x,y)＝k1I(x,y)+(1-k1)S1(x,y)，其中，I′(x,y)表示所述细节增强后的超级夜景图像，I(x,y)表示所述超级夜景图像，S1(x,y)表示对所述超级夜景图像进行保边滤波处理后得到的图像，k1表示图像细节增强的系数，k1>1；或
所述细节增强算法为基于普通滤波的细节增强算法，所述细节增强后的超级夜景图像为：I′(x,y)＝max(min(T(x,y),Id(x,y)),Ie(x,y))，其中，T(x,y)＝k2I(x,y)+(1-k2)S2(x,y)，I′(x,y)表示所述细节增强后的超级夜景图像，I(x,y)表示所述超级夜景图像，S2(x,y)表示对所述超级夜景图像进行普通滤波处理后得到的图像，Id(x,y)表示对所述超级夜景图像进行膨胀处理后得到的图像，Ie(x,y)表示对所述超级夜景图像进行腐蚀处理后得到的图像，k2表示图像细节增强的系数，k2>1。
11.一种超级夜景图像的生成装置，其特征在于，所述装置包括：
图像获取单元，用于获取连续多帧原始图像，所述多帧原始图像为电子设备连续拍摄的多帧夜景图像，所述多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；
堆叠降噪单元，用于对所述多帧正常曝光图像进行堆叠降噪处理，包括：选取参考图像，根据其他图像与参考图像的亮度差异确定融合权值，并基于融合权值进行加权融合运算，得到一帧正常降噪图像；
灰度变换单元，用于对所述正常降噪图像进行灰度变换处理，得到对比度和可辨细节加强的一帧过曝光图像；以及
图像合成单元，用于将所述欠曝光图像、所述正常降噪图像和所述过曝光图像进行融合处理，利用所述过曝光图像为图像暗处提供细节，得到一帧超级夜景图像。
12.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述方法的步骤。
CN202010014410.7A 2020-01-07 2020-01-07 超级夜景图像的生成方法、装置、电子设备及存储介质 Active CN111242860B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202011065546.7A CN112288646A (zh) 2020-01-07 2020-01-07 堆叠降噪方法、装置、电子设备及存储介质
CN202010014410.7A CN111242860B (zh) 2020-01-07 2020-01-07 超级夜景图像的生成方法、装置、电子设备及存储介质
JP2022541888A JP7375208B2 (ja) 2020-01-07 2021-01-05 スーパー夜景画像の生成方法、装置、電子機器および記憶媒体
PCT/CN2021/070225 WO2021139635A1 (zh) 2020-01-07 2021-01-05 超级夜景图像的生成方法、装置、电子设备及存储介质
US17/790,989 US20230074180A1 (en) 2020-01-07 2021-01-05 Method and apparatus for generating super night scene image, and electronic device and storage medium
EP21738608.5A EP4089625A4 (en) 2020-01-07 2021-01-05 METHOD AND DEVICE FOR GENERATING A SUPER NIGHT SCENE IMAGE, ELECTRONIC DEVICE AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010014410.7A CN111242860B (zh) 2020-01-07 2020-01-07 超级夜景图像的生成方法、装置、电子设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011065546.7A Division CN112288646A (zh) 2020-01-07 2020-01-07 堆叠降噪方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111242860A CN111242860A (zh) 2020-06-05
CN111242860B true CN111242860B (zh) 2024-02-27

Family

ID=70865757

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010014410.7A Active CN111242860B (zh) 2020-01-07 2020-01-07 超级夜景图像的生成方法、装置、电子设备及存储介质
CN202011065546.7A Pending CN112288646A (zh) 2020-01-07 2020-01-07 堆叠降噪方法、装置、电子设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011065546.7A Pending CN112288646A (zh) 2020-01-07 2020-01-07 堆叠降噪方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20230074180A1 (zh)
EP (1) EP4089625A4 (zh)
JP (1) JP7375208B2 (zh)
CN (2) CN111242860B (zh)
WO (1) WO2021139635A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242860B (zh) * 2020-01-07 2024-02-27 影石创新科技股份有限公司 超级夜景图像的生成方法、装置、电子设备及存储介质
CN111770282B (zh) * 2020-06-28 2021-06-01 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
CN113587924B (zh) * 2021-06-16 2024-03-29 影石创新科技股份有限公司 拍摄系统标定方法、装置、计算机设备和存储介质
CN113593145A (zh) * 2021-07-28 2021-11-02 车航道(吉林)科技有限公司 一种基于门禁设备的智能缴费系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253725A (ja) * 2011-06-07 2012-12-20 Toshiba Corp 画像処理装置
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
WO2018072267A1 (zh) * 2016-10-17 2018-04-26 华为技术有限公司 用于终端拍照的方法及终端
CN109767413A (zh) * 2019-01-11 2019-05-17 深圳岚锋创视网络科技有限公司 一种抗运动伪影的hdr方法、装置及便携式终端
CN110166707A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110225330A (zh) * 2015-12-07 2019-09-10 谷歌有限责任公司 用于多视点降噪和高动态范围的系统和方法
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
CN110443766A (zh) * 2019-08-06 2019-11-12 厦门美图之家科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110611750A (zh) * 2019-10-31 2019-12-24 北京迈格威科技有限公司 一种夜景高动态范围图像生成方法、装置和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119858A (ja) * 2010-11-30 2012-06-21 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
JP5857444B2 (ja) 2011-05-12 2016-02-10 株式会社ニコン 撮像装置
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
CN110072052B (zh) * 2019-04-09 2021-08-27 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110072051B (zh) * 2019-04-09 2021-09-03 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110062159A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110166709B (zh) * 2019-06-13 2022-03-18 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
CN111242860B (zh) * 2020-01-07 2024-02-27 影石创新科技股份有限公司 超级夜景图像的生成方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253725A (ja) * 2011-06-07 2012-12-20 Toshiba Corp 画像処理装置
CN110225330A (zh) * 2015-12-07 2019-09-10 谷歌有限责任公司 用于多视点降噪和高动态范围的系统和方法
WO2018072267A1 (zh) * 2016-10-17 2018-04-26 华为技术有限公司 用于终端拍照的方法及终端
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
CN109767413A (zh) * 2019-01-11 2019-05-17 深圳岚锋创视网络科技有限公司 一种抗运动伪影的hdr方法、装置及便携式终端
CN110166707A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110443766A (zh) * 2019-08-06 2019-11-12 厦门美图之家科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110611750A (zh) * 2019-10-31 2019-12-24 北京迈格威科技有限公司 一种夜景高动态范围图像生成方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Samuel W. Hasinoff et al."Burst photography for high dynamic range and low-light imaging on mobile cameras".ACM Trans. Graph..2016,第35卷(第6期),1-6. *

Also Published As

Publication number Publication date
US20230074180A1 (en) 2023-03-09
EP4089625A1 (en) 2022-11-16
JP7375208B2 (ja) 2023-11-07
WO2021139635A1 (zh) 2021-07-15
EP4089625A4 (en) 2024-03-20
CN111242860A (zh) 2020-06-05
JP2023509744A (ja) 2023-03-09
CN112288646A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN111242860B (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN111418201B (zh) 一种拍摄方法及设备
EP2368226B1 (en) High dynamic range image combining
JP6169186B2 (ja) 画像処理方法及び装置並びに撮影端末
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
US7425985B2 (en) Image processing apparatus and method
JP6081726B2 (ja) 多重露出フュージョン基盤でゴーストブラーを除去したｈｄｒ映像生成装置及び方法
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
CN109767413B (zh) 一种抗运动伪影的hdr方法、装置及便携式终端
KR101442153B1 (ko) 저조도 영상 처리 방법 및 시스템
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN113344821B (zh) 图像降噪方法、装置、终端、存储介质
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
Yoo et al. Flicker removal for CMOS wide dynamic range imaging based on alternating current component analysis
Luo et al. Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory
JP6324235B2 (ja) 画像処理装置および画像処理方法
CN108629739B (zh) Hdr图像的生成方法、装置及移动终端
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
CN115147304A (zh) 图像融合方法、装置、电子设备和存储介质、产品
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN113469908B (zh) 图像降噪方法、装置、终端、存储介质
Matsuoka et al. Multiple exposure integration with image denoising
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN115564694A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
Yip et al. Optimal contrast enhancement for tone-mapped low dynamic range images based on high dynamic range images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant