CN113421211B - 光斑虚化的方法、终端设备及存储介质 - Google Patents

光斑虚化的方法、终端设备及存储介质 Download PDF

Info

Publication number
CN113421211B
CN113421211B CN202110678625.3A CN202110678625A CN113421211B CN 113421211 B CN113421211 B CN 113421211B CN 202110678625 A CN202110678625 A CN 202110678625A CN 113421211 B CN113421211 B CN 113421211B
Authority
CN
China
Prior art keywords
light spot
detection result
spot detection
input image
point coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110678625.3A
Other languages
English (en)
Other versions
CN113421211A (zh
Inventor
王愈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110678625.3A priority Critical patent/CN113421211B/zh
Publication of CN113421211A publication Critical patent/CN113421211A/zh
Application granted granted Critical
Publication of CN113421211B publication Critical patent/CN113421211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种光斑虚化的方法、终端设备及存储介质,用于使用随机采样坐标的方法,减少模糊采样点数,方便拓展不同形状的光斑模板,从而可以减少计算量。本申请实施例方法包括:根据输入图像进行光斑检测,得到光斑检测结果;基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。

Description

光斑虚化的方法、终端设备及存储介质
技术领域
本申请涉及图像处理领域,尤其涉及一种光斑虚化的方法、终端设备及存储介质。
背景技术
在现有技术中,终端设备中的相机虚化效果,即目前虚化预览以及视频虚化的主要流程是对输入图像像进行人像分割,并对背景进行模糊处理(例如高斯模糊),从而得到类似虚化(bokeh)的虚化效果。但是,目前在虚化处理时,大光斑虚化模板过大,预览阶段耗时,功耗过大。
发明内容
本申请实施例提供了一种光斑虚化的方法、终端设备及存储介质,用于使用随机采样坐标的方法,减少模糊采样点数,方便拓展不同形状的光斑模板,从而可以减少计算量。
本申请第一方面提供一种光斑虚化的方法,可以包括:
根据输入图像进行光斑检测,得到光斑检测结果;
基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;
基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。
本申请第二方面提供一种终端设备,可以包括:
处理模块,用于根据输入图像进行光斑检测,得到光斑检测结果;基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。
本申请又一方面提供一种终端设备,可以包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行本申请第一方面所述的方法。
本申请实施例又一方面提供一种计算机可读存储介质,包括指令,当其在处理器上运行时,使得处理器执行本申请第一方面所述的方法。
本申请实施例又一方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本申请第一方面所述的方法。
本申请实施例又一方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本申请第一方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
在本申请实施例中,根据输入图像进行光斑检测,得到光斑检测结果;基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。因为使用随机采样坐标的方法,减少模糊采样点数,方便拓展不同形状的光斑模板,从而可以减少计算量。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,还可以根据这些附图获得其它的附图。
图1为本申请实施例中得到的光斑虚化图的一个示意图;
图2为本申请实施例中光斑虚化的方法的一个实施例示意图;
图3A为本申请实施例中不同光斑模板的一个示意图;
图3B是本申请实施例中随机生成的采样点的一个示意图;
图3C是本申请实施例中泊松采样生成的采样点的一个示意图;
图3D为本申请实施例中通过泊松采样算法获取随机采样点的一个示意图;
图4为本申请实施例中终端设备的一个实施例示意图;
图5为本申请实施例中终端设备的另一个实施例示意图。
具体实施方式
本申请实施例提供了一种光斑虚化的方法、终端设备及存储介质,用于使用随机采样坐标的方法,减少模糊采样点数,方便拓展不同形状的光斑模板,从而可以减少计算量。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,都应当属于本申请保护的范围。
可以理解的是,在一些实现方式中,图像虚化处理,还存在一些问题。例如:在预览情况下,还存在光斑检测不准确,户外场景存在光斑数量过多,视觉效果差;检测不稳定,变化过快导致闪烁明显的问题。
本申请技术方案为了更接近真实的bokeh效果,对输入图像的亮度进行阈值处理,对偏亮的部分赋值更高的权重,以定制形状的光斑模板(也可称为模糊核)进行处理,从而得到大光斑虚化的效果。如图1所示,为本申请实施例中得到的光斑虚化图的一个示意图。
下面以实施例的方式,对本申请技术方案做进一步的说明,如图2所示,为本申请实施例中光斑虚化的方法的一个实施例示意图,该方法实施例应用于终端设备,可以包括:
201、获取样本图像。
可以理解的是,这里获取的样本图像,可以是历史大数据,终端设备在数量足够多的情况下,进行模型训练,得到的光斑分类器的可靠性才比较高。样本图像可以包括但不限于关于不同天气(例如:白天、夜晚、雨天、雪天、晴天、阴天等),不同拍摄对象(例如:高山、水流、大海、高楼大厦、植物、动物等),不同场景,不同环境等的样本图像。
202、根据所述样本图像,进行光斑分类训练,得到预置的光斑分类器。
可选的,所述根据所述样本图像,进行光斑分类训练,得到预置的光斑分类器,可以包括:根据所述样本图像,计算得到光斑区域梯度直方图(Histogram of OrientedGradient,HOG)特征、光斑区域像素均值、光斑区域像素方差和光斑区域中心像素;将所述光斑区域HOG特征、所述光斑区域像素均值、所述光斑区域像素方差和所述光斑区域中心区像素连接合并进行光斑分类训练,得到光斑分类器。此时,该光斑分类器可以作为预置的光斑分类器进行后续使用。
可以理解的是,终端设备基于样本图像的HOG特征以及其他图像块特征,训练得到光斑分类器。针对光斑检测不准确的问题,本申请通过训练一个基于HOG特征的逻辑回归分类器(Logist Regression Classifier)进行光斑检测。可选的,终端设备根据样本图像,计算得到基于HOG特征的光斑(patch)区域大小为16×16,分为2×2个单元(cell);将计算得到的HOG特征、patch区域像素均值、patch区域像素方差、patch区域中心区像素连接合并为总特征进行训练,得到光斑分类器。
例如:patch区域中心区像素为patch区域中心区4×4像素,或者,patch区域中心区2×2像素等,具体不做限定。
需要说明的是,HOG特征是一种图像局部特征,其基本思路是对图像局部的梯度幅值和方向进行投票统计,形成基于梯度特性的直方图,然后将局部特征拼接起来作为总特征。局部特征在这里指的是将图像划分为多个块(Block),每个Block内的特征进行联合以形成最终的特征。
图像中像素点(x,y)的梯度为:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
在公式中,Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为:
HOG特征提取的过程为:把样本图像分割为若干个像素的单元(cell),把梯度方向平均划分为9个区间(bin),在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计,得到一个9维的特征向量,每相邻的4个单元构成一个块(block),把一个块内的特征向量联起来得到36维的特征向量,用块对样本图像进行扫描,扫描步长为一个单元。最后将所有块的特征串联起来,就得到了样本图像的特征。例如,对于64×128的样本图像而言,每2×2的单元(16×16的像素)构成一个块,每个块内有4×9=36个特征,以8个像素为步长,那么,水平方向将有7个扫描窗口,垂直方向将有15个扫描窗口。也就是说,64×128的样本图像,总共有36×7×15=3780个特征。
可选的,要求得光斑区域的均值和方差,只需要遍历一遍数据集:读取一张图片,保存该图片的每个通道像素值的和以及像素值平方的和,利用得到的值再进一步求得光斑区域的均值和方差。
203、根据输入图像进行光斑检测,得到光斑检测结果。
可选的,所述根据输入图像进行光斑检测,得到光斑检测结果,可以包括:根据输入图像得到第一下采样图和第二下采样图;根据预置的光斑检测分类器,对所述第一下采样图和所述第二下采样图进行检测,分别得到第一光斑检测结果和第二光斑检测结果;对所述第一光斑检测结果和所述第二光斑检测结果进行融合处理,得到光斑检测结果。
可选的,所述根据预置的光斑检测分类器,对所述第一下采样图和所述第二下采样图进行检测,分别得到第一光斑检测结果和第二光斑检测结果,可以包括:根据预置的光斑检测分类器,采用滑窗方式对所述第一下采样图和所述第二下采样图中的每个像素进行检测,分别得到第一光斑检测结果和第二光斑检测结果。
可选的,所述对所述第一光斑检测结果和所述第二光斑检测结果进行融合处理,得到光斑检测结果,可以包括:对所述第一光斑检测结果和所述第二光斑检测结果进行阈值、腐蚀、膨胀处理,得到第三光斑检测结果和第四光斑检测结果;对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑检测结果。
可选的,所述方法还包括:根据所述光斑检测结果估计下一输入图像的光斑检测结果。可以理解的是,对于视频中的帧图像的光斑检测,可以基于帧间光流的方法估计光斑的运动,得到后续帧图像的光斑估计结果,不需要每帧图像都通过预置的光斑检测分类器做光斑检测。
可选的,所述对所述第一光斑检测结果和所述第二光斑检测结果进行阈值、腐蚀、膨胀处理,得到第三光斑检测结果和第四光斑检测结果,可以包括:对所述第一光斑检测结果进行阈值、腐蚀、膨胀处理,计算第一连通域,删除所述第一连通域中面积大于第一预置阈值的连通域,得到第三光斑检测结果;对所述第二光斑检测结果进行阈值、腐蚀、膨胀处理,计算第二连通域,删除所述第二连通域中面积大于第二预置阈值的连通域,得到第四光斑检测结果。
可选的,所述对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑检测结果,可以包括:对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑融合结果;基于所述第一下采样图或所述第二下采样图作为引导图像,对所述光斑融合结果进行滤波处理,得到光斑检测结果。
可选的,所述第一下采样图和所述第二下采样图的尺寸不同。
可选的,(1)若所述第一下采样图的尺寸大于所述第二下采样图的尺寸,则对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑融合结果;基于所述第一下采样图作为引导图像,对所述光斑融合结果进行滤波处理,得到光斑检测结果。
(2)若所述第二下采样图的尺寸大于所述第一下采样图的尺寸,则对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑融合结果;基于所述第二下采样图作为引导图像,对所述光斑融合结果进行滤波处理,得到光斑检测结果。
可选的,对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑融合结果,包括:
将所述第三光斑检测结果进行采样处理,得到与所述第四光斑检测结果尺寸相同的第三采样光斑检测结果;将所述第三采样光斑检测结果与所述第四光斑检测结果进行融合处理,得到光斑融合结果;或,
将所述第四光斑检测结果进行采样处理,得到与所述第三光斑检测结果尺寸相同的第四采样光斑检测结果;将所述第三光斑检测结果与所述第四采样光斑检测结果进行融合处理,得到光斑融合结果。
示例性的,终端设备获取输入图像;可选的,该输入图像可以是视频中的帧图像,也可以是拍摄好的图像,也可以是预览画面中的图像,具体此处不做限定。这里终端设备对输入图像进行下采样处理,得到像素尺寸为640×480和320×240的两张下采样图,再使用预置的光斑检测分类器,采用滑窗方式对每个像素(pixel)进行检测,得到第一光斑检测结果和第二光斑检测结果。
对第一光斑检测结果和第二光斑检测结果做阈值(例如阈值为0.6,大于0.6属于光斑点,小于0.6不属于光斑点),腐蚀,膨胀等处理操作(针对密集光斑区域的连接问题),计算连通域,排除面积过大,形状不规则的区域;将两份处理后的光斑检测结果进行融合(例如:尺寸为320×240图像上采样到640×480,像素点间做max处理),得到光斑检测结果;对光斑检测结果,基于输入图像,可以使用引导滤波、均值滤波、高斯模糊等方式进行模糊处理,得到模糊图。
204、基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标。
可选的,所述基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,包括:根据所述光斑检测结果提高光斑区域权重,使用随机采样点坐标对所述第一下采样图或所述第二下采样图进行模糊处理,得到模糊图。
可选的,所述光斑模板包括多边形光斑模板、圆形光斑模板或椭圆形光斑模板,还可以包括五角星、心形等光斑模板;
若所述光斑模板包括所述多边形光斑模板,则所述随机采样点坐标为对所述多边形光斑模板进行三角形分割,使用泊松采样(Poisson Sampling)方法获取的采样点坐标;
若所述光斑模板包括所述圆形光斑模板或所述椭圆形光斑模板,则所述随机采样点坐标为通过所述圆形光斑模板或椭圆形光斑模板对应的公式,获取的采样点坐标。即对于圆形,椭圆等有公式定义的光斑模板,可以直接采用对应公式进行范围限定得到随机采样点坐标。如图3A所示,为本申请实施例中不同光斑模板的一个示意图。
可以理解的是,泊松采样(possion sampling)的特点是任何两个点的距离都不会隔得太近。如图3B所示,是本申请实施例中随机生成的采样点的一个示意图;如图3C所示,是本申请实施例中泊松采样生成的采样点的一个示意图。
示例性的,关于泊松采样的算法步骤如下所示:
第一步:设定好两个点之间最近的距离r,以及采样点所在空间的维度n,比如2维平面。
第二步:在空间里生成足够多的网格,保证不接触的两个网格之间的点的距离大于r,并且网格数量足够多保证每个网格至多只需装一个采样点就能满足采样数量。为了最优化,一般取网格边长为
第三步:随机生成一个点,再创建两个数组,第一个是处理数组,第二个是结果数组,即最终的输出数组。把这个点放进处理数组中和结果数组中。
第三步:如果处理数组非空,从中随机选择一个点,如图3D中第二行第三列方格中的点,并把这个点从处理数组中删除。如果处理数组是空的,直接输出结果数组并结束算法。图3D为本申请实施例中通过泊松采样算法获取随机采样点的一个示意图。
第四步:设定最小距离min_r,比如r,最大距离max_r,比如2×r。以第二行第三列方格中的点为中心生成一个圆环,如图3D中的圆环,在这个圆环中生成一个采样点,如图3D中第三行第二列方格中的点。
第五步:检测这个采样点是否与其他点隔得太近,也就是距离小于r,由于之前已经设定好了网格,所以这里只要检查9个网格里的点就行了。如图3D中采样点周围有填充的网格。隔得太近的就取消这个采样点,否则就保留并放入处理数组和结果数组中。
第六步:设定好采样次数k,比如30。如果经过k次采样后,在圆环里仍然找不到可用的新点,那么就放弃这次采样。然后重复第三步。
205、基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。
可以理解的是,这里输入图像的前景分割结果可以包括人像分割掩模结果、物体分割掩模结果,或,动物分割掩模结果等。
示例性的,在一具体应用场景中,利用算法检测人像等生物体,将人像作为待虚化图像的前景,除人像以外的待虚化图像作为待虚化图像的背景,利用人像分割技术将前景与背景分割,获得前景分割结果。
可选的,所述预置的前景分割器和所述预置的光斑检测分类器,通过同一样本图像同时训练得到。
可以理解的是,基于多任务训练方法,在前景分割网络中可以增加光斑分类任务,从而得到的训练模型,既有前景分割器的作用,也有光斑检测分类器的作用,可以不需要再单独训练光源检测分类器,节省系统资源,简化操作流程。
在本申请实施例中,根据输入图像进行光斑检测,得到光斑检测结果;基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。因为使用随机采样坐标的方法,减少模糊采样点数,方便拓展不同形状的光斑模板,从而可以减少计算量。即针对大光斑模板计算量过大的问题,可以采用Poisson Sampling方法预先生成相应模板的随机采样点,减少计算量。进一步的,针对传统的阈值方法的问题,采用回归分类,多尺度检测融合等方法更加准确的进行光斑检测,解决室外光斑数量过多以及频繁闪烁的问题,且在下采样图上进行检测,计算增量不多。
如图4所示,为本申请实施例中终端设备的一个实施例示意图,可以包括:
处理模块401,用于根据输入图像进行光斑检测,得到光斑检测结果;基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。
可选的,处理模块401,具体用于根据所述输入图像得到第一下采样图和第二下采样图;根据预置的光斑检测分类器,对所述第一下采样图和所述第二下采样图进行检测,分别得到第一光斑检测结果和第二光斑检测结果;对所述第一光斑检测结果和所述第二光斑检测结果进行融合处理,得到光斑检测结果。
可选的,处理模块401,具体用于对所述第一光斑检测结果和所述第二光斑检测结果进行阈值、腐蚀、膨胀处理,得到第三光斑检测结果和第四光斑检测结果;对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑检测结果。
可选的,处理模块401,具体用于对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑融合结果;基于所述第一下采样图或所述第二下采样图作为引导图像,对所述光斑融合结果进行滤波处理,得到光斑检测结果。
可选的,处理模块401,具体用于获取样本图像;根据所述样本图像,进行光斑分类训练,得到所述预置的光斑分类器。
可选的,处理模块401,具体用于根据所述样本图像,获取光斑区域梯度直方图HOG特征、光斑区域像素均值、光斑区域方差和光斑区域中心像素;将所述光斑区域HOG特征、所述光斑区域像素均值、所述光斑区域方差和所述光斑区域中心区像素合并进行光斑分类训练,得到所述预置的光斑分类器。
可选的,处理模块401,具体用于根据所述光斑检测结果提高光斑区域权重,使用随机采样点坐标对所述第一下采样图或所述第二下采样图进行模糊处理,得到模糊图。
可选的,所述光斑模板包括多边形光斑模板、圆形光斑模板或椭圆形光斑模板;
若所述光斑模板包括所述多边形光斑模板,则所述随机采样点坐标为对所述多边形光斑模板进行三角形分割,使用泊松采样方法获取的采样点坐标;
若所述光斑模板包括所述圆形光斑模板或所述椭圆形光斑模板,则所述随机采样点坐标为通过所述圆形光斑模板或椭圆形光斑模板对应的公式,获取的采样点坐标。
可选的,所述第一下采样图和所述第二下采样图的尺寸不同。
可选的,所述预置的前景分割器和所述预置的光斑检测分类器,通过同一样本图像同时训练得到。
与上述至少一个应用于终端设备的实施例的方法相对应地,本申请实施例还提供一种或多种终端设备。本申请实施例的终端设备可以实施上述方法中的任意一种实现方式。如图5所示,为本申请实施例中终端设备的另一个实施例示意图,终端设备以手机为例进行说明,可以包括:射频(radio frequency,RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity,WiFi)模块570、处理器580、以及电源590等部件。其中,射频电路510包括接收器514和发送器512。本领域技术人员可以理解,图5中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍:
RF电路510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器580处理;另外,将设计上行的数据发送给基站。通常,RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器520可用于存储软件程序以及模块,处理器580通过运行存储在存储器520的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元530可包括触控面板531以及其他输入设备532。触控面板531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器580,并能接收处理器580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531,输入单元530还可以包括其他输入设备532。具体地,其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元540可包括显示面板541,可选的,可以采用液晶显示器(liquid crystaldisplay,LCD)、有机发光二极管(organic light-Emitting diode,OLED)等形式来配置显示面板541。进一步的,触控面板531可覆盖显示面板541,当触控面板531检测到在其上或附近的触摸操作后,传送给处理器580以确定触摸事件的类型,随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中,触控面板531与显示面板541是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板531与显示面板541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板541的亮度,接近传感器可在手机移动到耳边时,关闭显示面板541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路560、扬声器561,传声器562可提供用户与手机之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号,传输到扬声器561,由扬声器561转换为声音信号输出;另一方面,传声器562将收集的声音信号转换为电信号,由音频电路560接收后转换为音频数据,再将音频数据输出处理器580处理后,经RF电路510以发送给比如另一手机,或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块570,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器520内的软件程序和/或模块,以及调用存储在存储器520内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器580可包括一个或多个处理单元;优选的,处理器580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器580中。
手机还包括给各个部件供电的电源590(比如电池),优选的,电源可以通过电源管理系统与处理器580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,处理器580,用于根据所述输入图像进行光斑检测,得到光斑检测结果;基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的。
可选的,处理器580,具体用于根据输入图像得到第一下采样图和第二下采样图;根据预置的光斑检测分类器,对所述第一下采样图和所述第二下采样图进行检测,分别得到第一光斑检测结果和第二光斑检测结果;对所述第一光斑检测结果和所述第二光斑检测结果进行融合处理,得到光斑检测结果。
可选的,处理器580,具体用于对所述第一光斑检测结果和所述第二光斑检测结果进行阈值、腐蚀、膨胀处理,得到第三光斑检测结果和第四光斑检测结果;对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑检测结果。
可选的,处理器580,具体用于对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑融合结果;基于所述第一下采样图或所述第二下采样图作为引导图像,对所述光斑融合结果进行滤波处理,得到光斑检测结果。
可选的,处理器580,具体用于获取样本图像;根据所述样本图像,进行光斑分类训练,得到所述预置的光斑分类器。
可选的,处理器580,具体用于根据所述样本图像,获取光斑区域梯度直方图HOG特征、光斑区域像素均值、光斑区域方差和光斑区域中心像素;将所述光斑区域HOG特征、所述光斑区域像素均值、所述光斑区域方差和所述光斑区域中心区像素合并进行光斑分类训练,得到所述预置的光斑分类器。
可选的,处理器580,具体用于根据所述光斑检测结果提高光斑区域权重,使用随机采样点坐标对所述第一下采样图或所述第二下采样图进行模糊处理,得到模糊图。
可选的,所述光斑模板包括多边形光斑模板、圆形光斑模板或椭圆形光斑模板;
若所述光斑模板包括所述多边形光斑模板,则所述随机采样点坐标为对所述多边形光斑模板进行三角形分割,使用泊松采样方法获取的采样点坐标;
若所述光斑模板包括所述圆形光斑模板或所述椭圆形光斑模板,则所述随机采样点坐标为通过所述圆形光斑模板或椭圆形光斑模板对应的公式,获取的采样点坐标。
可选的,所述第一下采样图和所述第二下采样图的尺寸不同。
可选的,所述预置的前景分割器和所述预置的光斑检测分类器,通过同一样本图像同时训练得到。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种光斑虚化的方法,其特征在于,包括:
根据输入图像进行光斑检测,得到光斑检测结果;
基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;
基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的;
所述基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,包括:
根据所述光斑检测结果提高光斑区域权重,使用随机采样点坐标对第一下采样图或第二下采样图进行模糊处理,得到模糊图,所述第一下采样图和所述第二下采样图是根据所述输入图像得到的,所述第一下采样图和所述第二下采样图的尺寸不同;
其中,若所述光斑模板包括多边形光斑模板,则所述随机采样点坐标为对所述多边形光斑模板进行三角形分割,使用泊松采样方法获取的采样点坐标;
若所述光斑模板包括圆形光斑模板或椭圆形光斑模板,则所述随机采样点坐标为通过所述圆形光斑模板或椭圆形光斑模板对应的公式,获取的采样点坐标。
2.根据权利要求1所述的方法,其特征在于,所述根据输入图像进行光斑检测,得到光斑检测结果,包括:
根据所述输入图像得到第一下采样图和第二下采样图;
根据预置的光斑检测分类器,对所述第一下采样图和所述第二下采样图进行检测,分别得到第一光斑检测结果和第二光斑检测结果;
对所述第一光斑检测结果和所述第二光斑检测结果进行融合处理,得到光斑检测结果。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一光斑检测结果和所述第二光斑检测结果进行融合处理,得到光斑检测结果,包括:
对所述第一光斑检测结果和所述第二光斑检测结果进行阈值、腐蚀、膨胀处理,得到第三光斑检测结果和第四光斑检测结果;
对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑检测结果。
4.根据权利要求3所述的方法,其特征在于,所述对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑检测结果,包括:
对所述第三光斑检测结果和所述第四光斑检测结果进行融合处理,得到光斑融合结果;
基于所述第一下采样图或所述第二下采样图作为引导图像,对所述光斑融合结果进行滤波处理,得到光斑检测结果。
5.根据权利要求2-4中任一项所述的方法,其特征在于,所述方法还包括:
获取样本图像;
根据所述样本图像,进行光斑分类训练,得到所述预置的光斑分类器。
6.根据权利要求5所述的方法,其特征在于,所述根据所述样本图像,进行光斑分类训练,得到所述预置的光斑分类器,包括:
根据所述样本图像,获取光斑区域梯度直方图HOG特征、光斑区域像素均值、光斑区域方差和光斑区域中心像素;
将所述光斑区域HOG特征、所述光斑区域像素均值、所述光斑区域方差和所述光斑区域中心区像素合并进行光斑分类训练,得到所述预置的光斑分类器。
7.根据权利要求2-4中任一项所述的方法,其特征在于,所述预置的前景分割器和所述预置的光斑检测分类器,通过同一样本图像同时训练得到。
8.一种终端设备,其特征在于,包括:
处理模块,用于根据输入图像进行光斑检测,得到光斑检测结果;基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,所述随机采样点坐标为通过光斑模板获取的采样点坐标;基于所述输入图像的前景分割结果,将所述输入图像和所述模糊图进行融合,得到光斑虚化图,所述前景分割结果为预先通过所述输入图像和预置的前景分割器得到的;
所述基于所述光斑检测结果,使用随机采样点坐标对所述输入图像进行模糊处理,得到模糊图,包括:
根据所述光斑检测结果提高光斑区域权重,使用随机采样点坐标对第一下采样图或第二下采样图进行模糊处理,得到模糊图,所述第一下采样图和所述第二下采样图是根据所述输入图像得到的,所述第一下采样图和所述第二下采样图的尺寸不同;
其中,若所述光斑模板包括多边形光斑模板,则所述随机采样点坐标为对所述多边形光斑模板进行三角形分割,使用泊松采样方法获取的采样点坐标;
若所述光斑模板包括圆形光斑模板或椭圆形光斑模板,则所述随机采样点坐标为通过所述圆形光斑模板或椭圆形光斑模板对应的公式,获取的采样点坐标。
9.一种终端设备,其特征在于,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,包括指令,当其在处理器上运行时,使得处理器执行如权利要求1-7中任一项所述的方法。
CN202110678625.3A 2021-06-18 2021-06-18 光斑虚化的方法、终端设备及存储介质 Active CN113421211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110678625.3A CN113421211B (zh) 2021-06-18 2021-06-18 光斑虚化的方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678625.3A CN113421211B (zh) 2021-06-18 2021-06-18 光斑虚化的方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113421211A CN113421211A (zh) 2021-09-21
CN113421211B true CN113421211B (zh) 2024-03-12

Family

ID=77789118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678625.3A Active CN113421211B (zh) 2021-06-18 2021-06-18 光斑虚化的方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113421211B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372931A (zh) * 2021-12-31 2022-04-19 北京旷视科技有限公司 一种目标对象虚化方法、装置、存储介质及电子设备
WO2023245363A1 (zh) * 2022-06-20 2023-12-28 北京小米移动软件有限公司 图像处理方法及装置、电子设备、存储介质
CN117788269B (zh) * 2024-02-27 2024-05-07 季华实验室 一种基于fpga的光斑质心快速定位方法及其相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851090A (zh) * 2016-12-20 2017-06-13 广东欧珀移动通信有限公司 图像处理方法与装置、控制方法与装置、成像与电子装置
CN106981044A (zh) * 2017-03-20 2017-07-25 成都通甲优博科技有限责任公司 一种图像虚化方法及系统
EP3306566A1 (en) * 2016-10-10 2018-04-11 Direct Genomics Co., Ltd. Method and system for processing image
CN108156378A (zh) * 2017-12-27 2018-06-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN111161136A (zh) * 2019-12-30 2020-05-15 深圳市商汤科技有限公司 图像虚化方法、图像虚化装置、设备及存储装置
WO2020125410A1 (zh) * 2018-12-17 2020-06-25 华为技术有限公司 一种图像处理的方法及电子设备
CN111862035A (zh) * 2020-07-17 2020-10-30 平安科技(深圳)有限公司 光斑检测模型的训练方法、光斑检测方法、设备及介质
CN112561777A (zh) * 2019-09-25 2021-03-26 北京迈格威科技有限公司 图像添加光斑的方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306566A1 (en) * 2016-10-10 2018-04-11 Direct Genomics Co., Ltd. Method and system for processing image
CN106851090A (zh) * 2016-12-20 2017-06-13 广东欧珀移动通信有限公司 图像处理方法与装置、控制方法与装置、成像与电子装置
CN106981044A (zh) * 2017-03-20 2017-07-25 成都通甲优博科技有限责任公司 一种图像虚化方法及系统
CN108156378A (zh) * 2017-12-27 2018-06-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
WO2020125410A1 (zh) * 2018-12-17 2020-06-25 华为技术有限公司 一种图像处理的方法及电子设备
CN112561777A (zh) * 2019-09-25 2021-03-26 北京迈格威科技有限公司 图像添加光斑的方法及装置
CN111161136A (zh) * 2019-12-30 2020-05-15 深圳市商汤科技有限公司 图像虚化方法、图像虚化装置、设备及存储装置
CN111862035A (zh) * 2020-07-17 2020-10-30 平安科技(深圳)有限公司 光斑检测模型的训练方法、光斑检测方法、设备及介质

Also Published As

Publication number Publication date
CN113421211A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN113421211B (zh) 光斑虚化的方法、终端设备及存储介质
CN107038681B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN108024065B (zh) 一种终端拍摄的方法、终端及计算机可读存储介质
CN106407984B (zh) 目标对象识别方法及装置
CN107124555B (zh) 控制对焦的方法、装置、计算机设备及计算机可读存储介质
CN108234882B (zh) 一种图像虚化方法及移动终端
CN109002787B (zh) 图像处理方法和装置、存储介质、电子设备
CN108304758A (zh) 人脸特征点跟踪方法及装置
CN107784271B (zh) 指纹识别方法及相关产品
CN108573189B (zh) 一种获取排队信息的方法及装置
CN107124556B (zh) 对焦方法、装置、计算机可读存储介质和移动终端
CN109086761B (zh) 图像处理方法和装置、存储介质、电子设备
CN110347858B (zh) 一种图片的生成方法和相关装置
CN107729889A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109104578B (zh) 一种图像处理方法及移动终端
CN108460769A (zh) 图像处理方法及终端设备
CN111737520B (zh) 一种视频分类方法、视频分类装置、电子设备及存储介质
CN107450796A (zh) 一种图片处理方法、移动终端和计算机可读存储介质
JP2020509470A (ja) 画像合成のための方法、装置および不揮発性コンピュータ可読媒体
CN110868531B (zh) 一种触发信号发送的方法和装置
US10706282B2 (en) Method and mobile terminal for processing image and storage medium
CN105513098B (zh) 一种图像处理的方法和装置
CN108921086A (zh) 图像处理方法和装置、存储介质、电子设备
CN105184750A (zh) 一种在移动终端对实时视频图像去噪的方法和装置
CN113780291B (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant