CN109035186B - 基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备 - Google Patents

基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备 Download PDF

Info

Publication number
CN109035186B
CN109035186B CN201810743447.6A CN201810743447A CN109035186B CN 109035186 B CN109035186 B CN 109035186B CN 201810743447 A CN201810743447 A CN 201810743447A CN 109035186 B CN109035186 B CN 109035186B
Authority
CN
China
Prior art keywords
block
synthesis
sample
blocks
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810743447.6A
Other languages
English (en)
Other versions
CN109035186A (zh
Inventor
邹昆
曾贤镜
李蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN201810743447.6A priority Critical patent/CN109035186B/zh
Publication of CN109035186A publication Critical patent/CN109035186A/zh
Application granted granted Critical
Publication of CN109035186B publication Critical patent/CN109035186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备，涉及图像处理技术领域，该方法包括获取样本图像、草图和特征区合成图；该特征区合成图为已完成特征区域合成的地形图；按预设栅格网切割该样本图像得到样本块；根据该样本块创建非特征样本库；将该特征区合成图划分成多个图块，将每个该图块切割成多个合成块，利用随机采样与传播并行处理每个图块的合成运算；当每个图块的合成运算均结束时，将各个图块融合到结果图像，并输出该结果图像。本发明实施例提供的一种基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备，优化了地形非特征区域合成的合成效果，并提高了合成效率。

Description

基于并行随机采样与传播的地形非特征区域合成方法、装置 和电子设备
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备。
背景技术
现有的地形非特征区域的合成方法都是在特征区域合成完成之后开始进行。特征区域合成结束之后将得到一个特征区域部分已合成完毕，但是非特征区域部分为空白的结果地形，非特征区域合成就是从样本中复制合适的小块填充这些空白区域的过程。
现有的非特征区域合成方法主要存在以下几方面的问题：
第一，合成优先级计算代价大。已有算法的非特征区域合成采用沿着已合成区域与未合成区域的分界线开始不断的贴入新的块缩减未合成区域的方式进行，根据分界线上未合成块的优先级选取下一个合成块，以此来严格控制非特征区域合成顺序。这样的计算为追求高效率的地形合成算法而言，计算成本过高，严重影响合成效率。
第二，串行化合成方式影响合成效率。现有非特征区域合成算法严格遵守一种不可预测的合成顺序执行，使得非特征区域合成采用串行化的方式进行，导致非特征区域的合成耗时较长。
第三，合成效果有待提高。非特征区域由于不含有地形特征，现有算法对于匹配代价的计算采取了非常简便的方式，只计算了噪声方差和重叠区域的误差，这种计算方法对于非特征区域是空白的用户草图可以得到符合草图约束的结果，但是对于非特征区域不是空白的用户草图，其合成结果难以适应草图的约束，因为匹配过程中完全没有考虑草图的控制信息。所以，这种过于简单的匹配代价计算公式无法保证合成效果。
发明内容
有鉴于此，本发明的目的在于提供一种基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备，优化了非特征区域合成的合成效果，并提高了合成效率。
第一方面，本发明实施例提供了一种基于并行随机采样与传播的地形非特征区域合成方法，包括：获取样本图像、草图和特征区合成图；该特征区合成图为已完成特征区域合成的地形图；按预设栅格网切割该样本图像得到样本块；根据该样本块创建非特征样本库；将该特征区合成图划分成多个图块，并将每个该图块切割成多个合成块；该合成块的大小与该样本块一致；按国际象棋棋盘黑白格方式将该合成块划分为两种颜色合成块；该两种颜色合成块包括第一颜色合成块和第二颜色合成块；并行处理每个图块的合成运算；该合成运算的过程包括：依次对第一颜色合成块和第二颜色合成块进行随机采样与传播；该随机采样与传播的过程包括：对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较；如果该非特征块的匹配代价大于该样本块的匹配代价，将该非特征块替换为该样本块；对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；如果该相邻非特征块的匹配代价大于该样本相邻块的匹配代价，将该相邻非特征块邻块替换为该样本相邻块；当每个该非特征块不再替换时，该合成运算的步骤结束；当每个该图块的该合成运算均结束时，将各个图块融合到结果图像，并输出该结果图像。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较的步骤，包括：按从上到下、从左到右的顺序依次选取颜色合成块的各个非特征块为待合成块；从非特征样本库中随机选取样本块为候选块；分别计算该待合成块和该候选块的匹配代价；比较该待合成块的匹配代价和该候选块的匹配代价。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，该匹配代价的计算公式为：c(P,Q)＝αpcp+αoco+αncn，式中，c(P,Q)为匹配代价，P为待合成块，Q为候选块，cp为整个块的SSD，co为重叠区域的SSD，cn为噪声方差，αp整个块的SSD的权重，αo为重叠区域的SSD的权重，αn为噪声方差的权重。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较的步骤，包括：沿该颜色合成块的四个轴线方向依次选取各相邻非特征块为传播块；从该非特征样本库中选取该颜色合成块对应样本块的相同方向的样本相邻块为匹配块；分别计算该传播块和该匹配块的匹配代价；比较该传播块的匹配代价和该匹配块的匹配代价。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述并行处理每个图块的合成运算的步骤，包括：采用CPU并行处理的方式，并行处理每个图块的合成运算。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，在上述将该特征区合成图划分成多个图块，并将每个该图块切割成多个合成块的步骤之前，还包括：标识该特征区合成图中已经合成的特征区域，不对已标识的该特征区域进行替换。
第二方面，本发明实施例还提供了一种地形非特征区域合成装置，该装置包括：图像获取模块，用于获取样本图像、草图和特征区合成图；该特征区合成图为已完成特征区域合成的地形图；样本块切割模块，用于按预设栅格网切割该样本图像得到样本块；非特征样本库创建模块，用于根据该样本块创建非特征样本库；并行处理模块，用于将该特征区合成图划分成多个图块，并将每个图块切割成多个合成块；该合成块的大小与样本块一致；按国际象棋棋盘黑白格方式将合成块划分为两种颜色合成块；两种颜色合成块包括第一颜色合成块和第二颜色合成块；并行处理每个图块的合成运算；该合成运算的过程包括：依次对该第一颜色合成块和该第二颜色合成块进行随机采样与传播；该随机采样与传播的过程包括：对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较；如果该非特征块的匹配代价大于该样本块的匹配代价，将该非特征块替换为该样本块；对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；如果该相邻非特征块的匹配代价大于该样本相邻块的匹配代价，将该相邻非特征块邻块替换为该样本相邻块；当每个非特征块不再替换时，该合成运算的步骤结束；结果图像输出模块，用于当每个图块的该合成运算均结束时，将各个图块融合到结果图像，并输出该结果图像。
第三方面，本发明实施例还提供了一种地形非特征区域合成装置，该装置包括处理器，存储器，总线和通信接口，该处理器、通信接口和存储器通过该总线连接；该存储器用于存储程序；该处理器，用于通过该总线调用存储在该存储器中的程序，执行上述第一方面及其可能的实施方式之一提供的基于并行随机采样与传播的地形非特征区域合成方法。
第四方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，该存储器中存储有可在该处理器上运行的计算机程序，该处理器执行该计算机程序时实现上述第一方面及其可能的实施方式之一提供的基于并行随机采样与传播的地形非特征区域合成方法的步骤。
第五方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，该程序代码使该处理器执行上述第一方面及其可能的实施方式之一提供的基于并行随机采样与传播的地形非特征区域合成方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备，该方法包括获取样本图像、草图和特征区合成图；该特征区合成图为已完成特征区域合成的地形图；按预设栅格网切割该样本图像得到样本块；根据该样本块创建非特征样本库；将该特征区合成图划分成多个图块，并将每个该图块切割成多个合成块；该合成块的大小与该样本块一致；按国际象棋棋盘黑白格方式将该合成块划分为两种颜色合成块；该两种颜色合成块包括第一颜色合成块和第二颜色合成块；并行处理每个图块的合成运算；该合成运算的过程包括：依次对第一颜色合成块和第二颜色合成块进行随机采样与传播；该随机采样与传播的过程包括：对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较；如果该非特征块的匹配代价大于该样本块的匹配代价，将该非特征块替换为该样本块；对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；如果该相邻非特征块的匹配代价大于该样本相邻块的匹配代价，将该相邻非特征块邻块替换为该样本相邻块；当每个该非特征块不再替换时，该合成运算的步骤结束；当每个该图块的该合成运算均结束时，将各个图块融合到结果图像，并输出该结果图像；优化了地形非特征区域合成的合成效果，并提高了合成效率。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于并行随机采样与传播的地形非特征区域合成方法的流程图；
图2为本发明实施例提供的一种黑白棋盘划分示意图；
图3为本发明实施例提供的一种非特征区域合成运算传播示意图；
图4为本发明实施例提供的一种用于合成的草图及样本图；
图5为本发明实施例提供的一种PRSP算法与Tasse算法进行非特征区合成的效果对比图；
图6为本发明实施例提供的另一种PRSP算法与Tasse算法进行非特征区合成的效果对比图；
图7为本发明实施例提供的一种基于并行随机采样与传播的地形非特征区域合成装置的结构示意图；
图8为本发明实施例提供的另一种基于并行随机采样与传播的地形非特征区域合成装置的结构示意图。
图标：
71-图像获取模块；72-样本块切割模块；73-非特征样本库创建模块；74-并行处理模块；75-结果图像输出模块；80-处理器；81-存储器；82-总线；83-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Tasse等提出了一种基于样本的地形合成算法(Tasse F.P.,Gain J.,MaraisP.Enhanced Texture-Based Terrain Synthesis on Graphics Hardware[J].ComputerGraphics Forum.31(6):1959-1972,2012,后面简称Tasse算法)，其非特征区域合成方法是现有方法的代表。为了保持地形特征不受影响，Tasse算法计算了合成优先级，按序进行非特征区域的合成，在计算匹配代价时考虑了噪声方差和重叠区域误差，同时利用GPU对匹配代价计算进行提速，但此种并行处理只是在计算当前块与所有样本块的匹配代价时的并行化，整个合成还是串行执行，同时样本地形大小会受到GPU显存限制。
目前，现有的地形非特征区域合成方法还存在合成优先级计算代价大、合成效率受串行化合成方式影响、合成效果有待提高的问题，基于此，本发明实施例提供的一种基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备，可以优化非特征区域合成的合成效果，并提高合成效率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于并行随机采样与传播的地形非特征区域合成方法进行详细介绍。
实施例一
如图1所示，为本发明实施例提供的一种基于并行随机采样与传播的地形非特征区域合成方法的流程图，由图1可见，该方法包括以下步骤：
步骤S101：获取样本图像、草图和特征区合成图；该特征区合成图为已完成特征区域合成的地形图。
样本图像用于提供可供合成的小块，样本图像具有真实的地形数据，提供用以地形合成的真实的特征信息。而草图可以是用户的手绘图，决定合成地形的整体的、大尺度的特征。特征区合成图是特征区域合成完毕后的结果地形图。
这里，由于块与块之间的重叠，导致先合成的块会影响其相邻的后合成的区域，为了优先保证特征匹配不受到非特征的影响，所以非特征区域合成在特征区域合成结束之后才开始进行。
非特征区域是不含有特征曲线的部分，由于没有特征曲线的影响，它的合成与纹理合成非常相似。但是，与纹理合成不同的是非特征区域受到草图的控制，合成时必须考虑与草图的匹配，此外，由于存在块与块之间的重叠，并且非特征区域合成在特征区域合成完毕之后进行，非特征区域合成时不得修改特征区域的合成结果，在非特征区域与特征区域衔接交界的部分同样会受到特征的影响。
步骤S102：按预设栅格网切割该样本图像得到样本块。
根据用户自己的设定，按指定的栅格网规模将样本图像进行切割，得到方形小样本块。
步骤S103：根据该样本块创建非特征样本库。
为了使非特征样本库更加丰富，提高匹配效果，这里，可以对样本块分别进行旋转、镜面翻转、轴对称处理，得到旋转样本块、镜面翻转样本块和轴对称样本块；然后，再由上述样本块、旋转样本块、镜面翻转样本块和轴对称样本块共同构成非特征样本库。这里，对样本块每次逆时针旋转45°，连续旋转8次，得到不同旋转角度的各个旋转样本块。
步骤S104：将该特征区合成图划分成多个图块，并将每个该图块切割成多个合成块；该合成块的大小与该样本块一致；按国际象棋棋盘黑白格方式将该合成块划分为两种颜色合成块；该两种颜色合成块包括第一颜色合成块和第二颜色合成块；并行处理每个图块的合成运算；该合成运算的过程包括：依次对第一颜色合成块和第二颜色合成块进行随机采样与传播；该随机采样与传播的过程包括：对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较；如果该非特征块的匹配代价大于该样本块的匹配代价，将该非特征块替换为该样本块；对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；如果该相邻非特征块的匹配代价大于该样本相邻块的匹配代价，将该相邻非特征块邻块替换为该样本相邻块。
在其中至少一种可能的实施方式中，在上述按将特征区合成图划分成多个图块，并将每个图块切割成多个合成块的步骤之前，还可以先标识特征区合成图中已经合成的特征区域，以保护该特征区域在后面的合成过程中不被替换，防止非特征块替换特征块的情况。
这里，针对非特征区域的并行贴块的方法是将整个特征区合成图作为操作对象，将整个特征区合成图划分成若干个大的图块并行化合成。为使算法对运行的硬件条件没有依赖，本实施例中采用CPU并行处理的方式，并行处理每个图块的合成运算。
其中，合成运算的具体步骤包括：
(a1)按国际象棋棋盘黑白格方式将该图块划分为两种颜色合成块；上述两种颜色待合成块包括第一颜色合成块和第二颜色合成块；该合成块的大小与样本块一致；
(a2)依次对第一颜色合成块和第二颜色合成块进行随机采样与传播。
在步骤(a1)中，如图2所示，为本发明实施例提供的一种黑白棋盘划分示意图，由图2可见，这种划分方式正好将图块分成了两种颜色，灰色和白色，其分布与通用的国际象棋棋盘中黑白格子的分布一致。
在步骤(a2)中，第一颜色的合成块可以是灰色块，也可以是白色块。所以，首先进行随机采样与传播的可以是灰色块或白色块。这里，随机采样与传播的具体步骤包括：
(b1)对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较；
(b2)如果该非特征块的匹配代价大于该样本块的匹配代价，将该非特征块替换为该样本块；
(b3)对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；
(b4)如果该相邻非特征块的匹配代价大于该样本相邻块的匹配代价，将该相邻非特征块替换为该样本相邻块。
其中，步骤(b1)的执行过程如下：
(c1)按从上到下、从左到右的顺序依次选取该颜色合成块的各个非特征块为待合成块；
(c2)从非特征样本库中随机选取样本块为候选块；
(c3)分别计算该待合成块和该候选块的匹配代价；
(c4)比较该待合成块的匹配代价和该候选块的匹配代价。
这里，由于随机采样的方法并没有根据待合成块的任何信息去查找匹配块，而是采用随机的方式确立待合成块与候选块之间的信息，以这种方式得到的候选块与待合成块匹配的可能性非常低，在发现候选块与待合成块匹配并不好于当前已有块的情况下，选择拒绝随机采样得到的候选块，因此单纯随机采样的方式查找得到的候选块往往被拒绝，导致其拒绝率较高。
基于上述问题，在步骤(b3)中引入了传播的操作，由已完成随机采样的待合成块或已合成的特征块沿轴线向四周的相邻非特征块进行传播合成。
在随机采样的同时引入传播操作可以有效解决随机采样所得候选块拒绝率较高的问题。根据自然图像普遍存在一致性特点，地形图像中同样存在这种一致性。已经确立的好的匹配对双方相同方向上的邻域相似的可能性是非常高的，在非特征区域合成中，已经确定的好的匹配关系中，通过传播而来的候选块是好的匹配块的可能性同样极大，因此在随机采样的同时加以传播，可以降低候选块的拒绝率。所以，尽管随机采样的操作为待合成块找到非常合适的匹配块的概率很可能是非常低的，但是对非特征区域合成得到一个效果很好的结果影响并不大。因为在样本块数量比较大的情况下，随机采样总是可以找到一些好的匹配，而在地形合成中，样本库的小块数量往往比较庞大，因此随机采样的方式总会得到一小部分的匹配很好的块。只要有这样的匹配很好的块存在，则可以采用传播将这些好的匹配关系向四周扩散，从而解决那些随机采样中没有找到好的匹配块的匹配问题。
在实际操作中，在非特征区域传播开始之前，图块的各个待合成块都从样本库中随机选取过匹配块，这种随机操作使某些待合成块得到很好的匹配块是完全有可能的。传播的作用就是把这些好的匹配关系向四周传播扩散。
但是，由于没有特征曲线的影响，合成顺序不再沿着曲线走向进行，而是沿轴线方向栅格按序进行，非特征区域的传播方向是固定的，只需要沿着轴线的正负方向传播即可。此外，在非特征区域中，对于某个小块，可以由其正负轴线的四个方向传播，为了避免顺序相关性，在非特征区域的传播中，轴线方向上相邻的块不同时更新。在本实施例中，采用与通用国际象棋棋盘中黑白格的划分将非特征区域分两批进行匹配传播，这样就能保证相邻的块不会同时更新。
如图3所示，为本发明实施例提供的一种非特征区域合成运算传播示意图，其中，灰色的阴影区域表示特征区域，特征区域在非特征区域合成过程中属于保护区域，不对其做任何修改。对于某一待合成块E，该待合成块E的正负轴线四个方向相邻的块为A、B、C、D，根据邻块A、B、C、D各自与待合成块E的位置关系，分别找到A、B、C、D在样本中对应的匹配块，并按照各邻块与待合成块的位置关系确定相应的传播方向，并找到相应的传播块添加到候选块集合中。对于待合成块E，完成所有方向的传播在候选集合中可以得到4个小块，对于边缘块则可能少于4块。得到传播块集合之后，计算各自的匹配代价。
其中，匹配代价的计算公式为：
c(P,Q)＝αpcp+αoco+αncn
式中，c(P,Q)为匹配代价，P为待合成块，Q为候选块，cp为整个块的SSD，co为重叠区域的SSD，cn为噪声方差，αp整个块的SSD的权重，αo为重叠区域的SSD的权重，αn为噪声方差的权重。
这里，基于样本的地形合成，必须保证其合成结果符合草图的控制，对于非特征区域不是空白的草图，在计算匹配代价时还要考虑入选块能满足草图的约束，而对于非特征区域是空白的草图，则不必考虑这一部分。为了保证入选块能满足草图的约束，从两个方面来考量这一满足程度，一个是整个小块的高程值差异，另一个是小块表面的起伏变化差异。对于高程值差异，需要计算整个小块的SSD(Sum of Squared Differences，误差平方和)，即计算整个小块所有像素点高程值的差的平方和，采用Walsh-Hadamard变化对高程值矩阵降维。同时，从非特征样本库中找到匹配块融合到结果图像中时，需要确保结果图像小块之间无明显的人工痕迹。因此，候选块与结果图像中已合成部分的重叠区域的差异也是非特征区域匹配代价需要重点考虑的部分。此外，对于小块表面的起伏变化差异，则通过计算噪声方差差异来体现。
步骤S105：当每个非特征块不再替换时，上述合成运算的步骤结束。
由于随机采样并传播的操作是迭代进行的，随着迭代次数的增加，完全可以保证所有的块都找到合适的匹配。当图块中的每个非特征块都不再进行替换时，表明各个非特征块的匹配已经达到最优，对于该图块的合成运算结束。
步骤S106：当每个图块的合成运算均结束时，将各个图块融合到结果图像，并输出该结果图像。
每个图块在CPU上并行处理，同时进行合成运算。这里，并行处理(ParallelProcessing)是计算机系统中能同时执行两个或更多个处理的一种计算方法。并行处理可同时工作于同一程序的不同方面，其主要目的是节省大型和复杂问题的解决时间。为使用并行处理，首先需要对程序进行并行化处理，也就是说将工作各部分分配到不同处理进程(线程)中。从理论上讲，在n个并行处理的执行速度可能会是在单一处理机上执行的速度的n倍。
当每个图块的合成运算均完成时，将各个图块融合到结果图像，并输出该结果图像，从而结束非特征区域的合成。
本发明实施例提供的基于并行随机采样与传播的地形非特征区域合成方法，该方法包括获取样本图像、草图和特征区合成图；该特征区合成图为已完成特征区域合成的地形图；按预设栅格网切割该样本图像得到样本块；根据该样本块创建非特征样本库；将该特征区合成图划分成多个图块，并将每个该图块切割成多个合成块；该合成块的大小与该样本块一致；按国际象棋棋盘黑白格方式将该合成块划分为两种颜色合成块；该两种颜色合成块包括第一颜色合成块和第二颜色合成块；并行处理每个图块的合成运算；该合成运算的过程包括：依次对第一颜色合成块和第二颜色合成块进行随机采样与传播；该随机采样与传播的过程包括：对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较；如果该非特征块的匹配代价大于该样本块的匹配代价，将该非特征块替换为该样本块；对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；如果该相邻非特征块的匹配代价大于该样本相邻块的匹配代价，将该相邻非特征块邻块替换为该样本相邻块；当每个该非特征块不再替换时，该合成运算的步骤结束；当每个该图块的该合成运算均结束时，将各个图块融合到结果图像，并输出该结果图像；优化了地形非特征区域合成的合成效果，并提高了合成效率。
实施例二
本发明实施例二针对基于并行随机采样与传播的地形非特征区域合成方法的实际应用进行举例说明，并对该方法的合成效果进行了检验。
如图4所示，为本发明实施例提供的用于合成的草图和样本图，图4中，图a和图c是用户草图，两张图片的样式一样，但是图a的特征曲线表示的山脊，图c的特征曲线表示的是山谷。图b是用户选取的样本图1，d为用户选取的样本图2。将两张用户草图与样本图交叉合成实验进行效果比对。合成参数为：结果地形图大小为512*512，样本1的合成特征选取为山脊，样本2则选取为山谷，块大小为48。
分别采用PRSP(Non-feature Regions Terrain Synthesis Algorithm Based onParallel Random Sampling and Propagation，基于并行随机采样与传播的地形非特征区域合成算法)算法与Tasse算法对上述两个草图和两个样本图的各个组合进行非特征区域合成(由于GPU版本会使得样本大小受限，实验中Tasse算法采用的是CPU版本)，合成结果分别如图5、图6所示。
在图5中展示的是以山脊为特征的两种算法的非特征区合成的效果对比图。其中，图5(a)和图5(b)是针对输入中样本图1的一组结果对比，左侧的图5(a)是基于并行随机采样与传播的地形非特征区域合成算法合成所得，右侧的图5(b)是Tasse算法合成所得。图5(c)和图5(d)是针对输入中样本2的一组结果比对，左侧的图5(c)是基于并行随机采样与传播的地形非特征区域合成算法合成所得，右侧的图5(d)是Tasse算法合成所得。
在图6中展示的是以山谷为特征的两种算法的地形非特征区合成的效果对比图。其中，图6(a)和图6(b)是针对输入中样本图1的一组结果对比，左侧的图6(a)是基于并行随机采样与传播的地形非特征区域合成算法合成所得，右侧的图6(b)是Tasse算法合成所得。图6(c)和图6(d)是针对输入中样本2的一组结果比对，左侧的图6(c)是基于并行随机采样与传播的地形非特征区域合成算法合成所得，右侧的图6(d)是Tasse算法合成所得。
针对图5、图6的合成结果进行用户调查和数据统计分析，发现基于并行随机采样与传播的地形非特征区域合成算法的合成结果相比于Tasse算法合成结果在与用户草图的匹配程度上更具优势。
另外，在测试合成时间时，同时记录基于并行随机采样与传播的地形非特征区域合成算法中传播得到的块，并计算传播率以此考察传播对合成提速的贡献。其中，PRSP算法的非特征区域传播得到的匹配块统计结果如表1所示，上述两种算法分别进行非特征区域合成的时间测试结果如表2所示。
表1PRSP算法传播率统计表
样本大小 传播得到的匹配块数 传播率
512*512 213 73.95％
1024*1024 220 76.38％
1536*1536 215 74.65％
2049*2049 221 76.73％
表2非特征区域合成时间比较(单位：秒)
样本大小 Tasse算法耗时 PRSP算法耗时
512*512 8.45 1.06
1024*1024 22.51 4.36
1536*1536 62.8 6.84
2049*2049 113.26 14.52
由表1可知，PRSP算法通过传播可以完成约75％的匹配，提高了合成效率；并且，在同一个草图下，传播率随样本大小的变化不大。由表2数据可知，特征区域合成的PRSP算法相比Tasse算法在合成速度上提高了5-10倍。
实施例三
本发明实施例还提供了一种基于并行随机采样与传播的地形非特征区域合成装置，如图7所示，为该基于并行随机采样与传播的地形非特征区域合成装置的结构示意图，由图7所示，该装置包括依次相连的图像获取模块71、样本块切割模块72、非特征样本库创建模块73、并行处理模块74和结果图像输出模块75。其中，各个模块的功能如下：
图像获取模块71，用于获取样本图像、草图和特征区合成图；该特征区合成图为已完成特征区域合成的地形图；
样本块切割模块72，用于按预设栅格网切割该样本图像得到样本块；
非特征样本库创建模块73，用于根据该样本块创建非特征样本库；
并行处理模块74，用于将该特征区合成图划分成多个图块，并将每个图块切割成多个合成块；该合成块的大小与样本块一致；按国际象棋棋盘黑白格方式将合成块划分为两种颜色合成块；两种颜色合成块包括第一颜色合成块和第二颜色合成块；并行处理每个图块的合成运算；该合成运算的过程包括：依次对该第一颜色合成块和该第二颜色合成块进行随机采样与传播；该随机采样与传播的过程包括：对该颜色合成块的每个非特征块与非特征样本库中随机采样的样本块进行匹配代价比较；如果该非特征块的匹配代价大于该样本块的匹配代价，将该非特征块替换为该样本块；对该颜色合成块轴线方向的相邻非特征块与该颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；如果该相邻非特征块的匹配代价大于该样本相邻块的匹配代价，将该相邻非特征块邻块替换为该样本相邻块；当每个非特征块不再替换时，该合成运算的步骤结束；
结果图像输出模块75，用于当每个该图块的该合成运算均结束时，将各个该图块融合到结果图像，并输出该结果图像。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例四
参见图8，本发明实施例还提供一种基于并行随机采样与传播的地形非特征区域合成装置，包括：处理器80，存储器81，总线82和通信接口83，处理器80、通信接口83和存储器81通过总线82连接；处理器80用于执行存储器81中存储的可执行模块，例如计算机程序。
其中，存储器81可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线82可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器81用于存储程序，处理器80在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器80中，或者由处理器80实现。
处理器80可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器80读取存储器81中的信息，结合其硬件完成上述方法的步骤。
本发明实施例提供的基于并行随机采样与传播的地形非特征区域合成装置，与上述实施例提供的基于并行随机采样与传播的地形非特征区域合成方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例五
本发明实施例还提供了一种电子设备，该电子设备包括存储器、处理器，该存储器中存储有可在该处理器上运行的计算机程序，该处理器执行该计算机程序时实现上述实施例一、实施例二及其可能的实施方式之一提供的基于并行随机采样与传播的地形非特征区域合成方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施例六
本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，该程序代码使该处理器执行上述实施例一、实施例二及其可能的实施方式之一提供的基于并行随机采样与传播的地形非特征区域合成方法。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于并行随机采样与传播的地形非特征区域合成方法，其特征在于，包括：
获取样本图像、草图和特征区合成图；所述特征区合成图为已完成特征区域合成的地形图；
按预设栅格网切割所述样本图像得到样本块；
根据所述样本块创建非特征样本库；
将所述特征区合成图划分成多个图块，并将每个所述图块切割成多个合成块；所述合成块的大小与所述样本块一致；
按国际象棋棋盘黑白格方式将所述合成块划分为两种颜色合成块；所述两种颜色合成块包括第一颜色合成块和第二颜色合成块；
并行处理每个所述第一颜色合成块和所述第二颜色合成块的合成运算；
所述合成运算的过程包括：
依次对所述第一颜色合成块和所述第二颜色合成块进行随机采样与传播；
所述随机采样与传播的过程包括：
对所述颜色合成块的每个非特征块与所述非特征样本库中随机采样的样本块进行匹配代价比较；
如果所述非特征块的匹配代价大于所述样本块的匹配代价，将所述非特征块替换为所述样本块；
对所述颜色合成块轴线方向的相邻非特征块与所述颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；
如果所述相邻非特征块的匹配代价大于所述样本相邻块的匹配代价，将所述相邻非特征块邻块替换为所述样本相邻块；
当每个所述非特征块不再替换时，所述合成运算的步骤结束；
当每个所述第一颜色合成块和所述第二颜色合成块的所述合成运算均结束时，将各个所述第一颜色合成块和所述第二颜色合成块融合到结果图像，并输出所述结果图像。
2.根据权利要求1所述的基于并行随机采样与传播的地形非特征区域合成方法，其特征在于，所述对所述颜色合成块的每个非特征块与所述非特征样本库中随机采样的样本块进行匹配代价比较的步骤，包括：
按从上到下、从左到右的顺序依次选取所述颜色合成块的各个非特征块为待合成块；
从所述非特征样本库中随机选取样本块为候选块；
分别计算所述待合成块和所述候选块的匹配代价；
比较所述待合成块的匹配代价和所述候选块的匹配代价。
3.根据权利要求2所述的基于并行随机采样与传播的地形非特征区域合成方法，其特征在于，所述匹配代价的计算公式为：
c(P,Q)＝αpcp+αoco+αncn
式中，c(P,Q)为匹配代价，P为待合成块，Q为候选块，cp为整个块的SSD，co为重叠区域的SSD，cn为噪声方差，αp整个块的SSD的权重，αo为重叠区域的SSD的权重，αn为噪声方差的权重。
4.根据权利要求1所述的基于并行随机采样与传播的地形非特征区域合成方法，其特征在于，所述对所述颜色合成块轴线方向的相邻非特征块与所述颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较的步骤，包括：
沿所述颜色合成块的四个轴线方向依次选取各相邻非特征块为传播块；
从所述非特征样本库中选取所述颜色合成块对应样本块的相同方向的样本相邻块为匹配块；
分别计算所述传播块和所述匹配块的匹配代价；
比较所述传播块的匹配代价和所述匹配块的匹配代价。
5.根据权利要求1所述的基于并行随机采样与传播的地形非特征区域合成方法，其特征在于，所述并行处理每个所述第一颜色合成块和所述第二颜色合成块的合成运算的步骤，包括：
采用CPU并行处理的方式，并行处理每个所述第一颜色合成块和所述第二颜色合成块的合成运算。
6.根据权利要求1所述的基于并行随机采样与传播的地形非特征区域合成方法，其特征在于，在所述将所述特征区合成图划分成多个图块，并将每个所述图块切割成多个合成块的步骤之前，还包括：
标识所述特征区合成图中已经合成的特征区域，不对已标识的所述特征区域进行替换。
7.一种基于并行随机采样与传播的地形非特征区域合成装置，其特征在于，包括：
图像获取模块，用于获取样本图像、草图和特征区合成图；所述特征区合成图为已完成特征区域合成的地形图；
样本块切割模块，用于按预设栅格网切割所述样本图像得到样本块；
非特征样本库创建模块，用于根据所述样本块创建非特征样本库；
并行处理模块，用于将所述特征区合成图划分成多个图块，并将每个所述图块切割成多个合成块；所述合成块的大小与所述样本块一致；按国际象棋棋盘黑白格方式将所述合成块划分为两种颜色合成块；所述两种颜色合成块包括第一颜色合成块和第二颜色合成块；并行处理每个所述第一颜色合成块和所述第二颜色合成块的合成运算；所述合成运算的过程包括：依次对所述第一颜色合成块和所述第二颜色合成块进行随机采样与传播；所述随机采样与传播的过程包括：对所述颜色合成块的每个非特征块与所述非特征样本库中随机采样的样本块进行匹配代价比较；如果所述非特征块的匹配代价大于所述样本块的匹配代价，将所述非特征块替换为所述样本块；对所述颜色合成块轴线方向的相邻非特征块与所述颜色合成块对应样本块的相同方向的样本相邻块进行匹配代价比较；如果所述相邻非特征块的匹配代价大于所述样本相邻块的匹配代价，将所述相邻非特征块邻块替换为所述样本相邻块；当每个所述非特征块不再替换时，所述合成运算的步骤结束；
结果图像输出模块，用于当每个所述第一颜色合成块和所述第二颜色合成块的所述合成运算均结束时，将各个所述第一颜色合成块和所述第二颜色合成块融合到结果图像，并输出所述结果图像。
8.一种基于并行随机采样与传播的地形非特征区域合成装置，其特征在于，所述装置包括处理器，存储器，总线和通信接口，所述处理器、通信接口和存储器通过所述总线连接；
所述存储器用于存储程序；
所述处理器，用于通过所述总线调用存储在所述存储器中的程序，执行所述权利要求1-6任一所述方法。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-6任一所述方法。
CN201810743447.6A 2018-07-06 2018-07-06 基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备 Active CN109035186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810743447.6A CN109035186B (zh) 2018-07-06 2018-07-06 基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810743447.6A CN109035186B (zh) 2018-07-06 2018-07-06 基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN109035186A CN109035186A (zh) 2018-12-18
CN109035186B true CN109035186B (zh) 2021-03-26

Family

ID=64640919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810743447.6A Active CN109035186B (zh) 2018-07-06 2018-07-06 基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN109035186B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288954A (zh) * 2011-08-01 2011-12-21 高吉喜 一种草地植被覆盖度遥感估测方法
CN107271977A (zh) * 2017-07-25 2017-10-20 哈尔滨工业大学 基于移动激励源fdtd算法的高精度sar回波仿真方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982248B (zh) * 2012-12-12 2015-09-23 北京理工大学 基于线性矩阵不等式的序列地形重叠视场估计方法
CN103325104B (zh) * 2013-06-09 2016-05-11 中山大学 基于迭代稀疏表达的人脸图像超分辨率重建方法
CN103873777A (zh) * 2014-03-26 2014-06-18 深圳市金立通信设备有限公司 一种照片合成方法及终端
JP6742863B2 (ja) * 2016-09-02 2020-08-19 オリンパス株式会社 顕微鏡画像処理装置、方法およびプログラム
CN107895393A (zh) * 2017-10-24 2018-04-10 天津大学 一种综合文字和形状的故事图像序列生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288954A (zh) * 2011-08-01 2011-12-21 高吉喜 一种草地植被覆盖度遥感估测方法
CN107271977A (zh) * 2017-07-25 2017-10-20 哈尔滨工业大学 基于移动激励源fdtd算法的高精度sar回波仿真方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
The algorithm for calculating reflecting signal power characteristics based on terrain digital map;Aleksey V. Kiselev等;《18th INTERNATIONAL CONFERENCE ON MICRO/NANOTECHNOLOGIES AND ELECTRON DEVICES EDM 2017》;20170717;第115-118页 *

Also Published As

Publication number Publication date
CN109035186A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN112669463B (zh) 三维点云的曲面重建方法、计算机设备和计算机可读存储介质
CN106408604A (zh) 一种点云数据的滤波方法及装置
CN111091572B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112712546A (zh) 一种基于孪生神经网络的目标跟踪方法
CN110428386B (zh) 地图网格合并方法、装置、存储介质、电子装置
US20210248729A1 (en) Superpixel merging
CN111311528A (zh) 图像融合优化方法、装置、设备和介质
CN108776960B (zh) 基于传播辅助kd树的地形特征区域合成方法和装置
CN109035186B (zh) 基于并行随机采样与传播的地形非特征区域合成方法、装置和电子设备
CN108280135B (zh) 实现数据结构可视化的方法、装置和电子设备
US10360312B2 (en) System and method for identifying clones
CN109412149B (zh) 基于区域划分的电网子图构建方法、拓扑分析方法及装置
KR20180105210A (ko) 이미지 처리 방법 및 장치
CN109360215B (zh) 三维模型的外轮廓查找方法、装置、设备和存储介质
CN111462278A (zh) 基于深度的素材排序渲染方法、介质、设备及装置
CN114170257A (zh) 一种拟合弯曲目标轮廓的、装置、计算机设备及存储介质
CN110930290B (zh) 一种数据处理方法及装置
JP6196517B2 (ja) 目標画像生成支援装置、目標画像生成支援方法およびプログラム
CN112329294A (zh) 水果机械损伤仿真方法、装置、计算机设备及存储介质
CN111898654A (zh) 三维对象特征获取方法、装置、计算机设备和存储介质
CN117218143B (zh) 点云分割方法和装置
CN116563674B (zh) 样本图像增强方法、系统、电子设备及可读存储介质
CN117455936B (zh) 点云数据处理方法、装置及电子设备
US11132569B2 (en) Hardware accelerator for integral image computation
CN110727755B (zh) 一种地物形状规则化方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant