CN112508097B - 图像转换模型训练方法、装置、终端设备及存储介质 - Google Patents

图像转换模型训练方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN112508097B
CN112508097B CN202011422759.0A CN202011422759A CN112508097B CN 112508097 B CN112508097 B CN 112508097B CN 202011422759 A CN202011422759 A CN 202011422759A CN 112508097 B CN112508097 B CN 112508097B
Authority
CN
China
Prior art keywords
image
conversion
generator
contour
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011422759.0A
Other languages
English (en)
Other versions
CN112508097A (zh
Inventor
吴舒缇
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202011422759.0A priority Critical patent/CN112508097B/zh
Publication of CN112508097A publication Critical patent/CN112508097A/zh
Application granted granted Critical
Publication of CN112508097B publication Critical patent/CN112508097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于人工智能技术领域,提供了一种图像转换模型训练方法、装置、终端设备及存储介质,该方法包括:将原始图像和变换图像输入第一生成器、第二生成器进行图像转换得到第一转换图像和第二转换图像,将第二转换图像与原始图像、第一转换图像与变换图像进行图像比对;根据图像比对结果对第一生成器和第二生成器进行参数优化,将原始图像、变换图像对应输入参数优化后的第一生成器、第二生成器得到第三转换图像和第四转换图像;对第三转换图像和第四转换图像进行图像检测;根据图像检测结果对图像转换模型进行参数更新,直至图像转换模型收敛。本申请通过对第一生成器和第二生成器进行参数优化,提高了图像转换模型中生成器的准确性。

Description

图像转换模型训练方法、装置、终端设备及存储介质
技术领域
本申请涉及图像处理领域,尤其涉及一种图像转换模型训练方法、装置、终端设备及存储介质。
背景技术
随着人工智能教育的发展,现有的人工智能学习需要非常专业认识的指导,不同的人工智能技术,需要不同的专业人员进行相应的教学,将人工智能技术放入教育,需要考虑简化原本的人工智能技术实现过程。现有的人工智能教育,教学对象一般是学生,如何快速准确的将人像图像转换为卡通图像,显得尤为重要。
现有的人像图像与卡通图像之间均是基于图像转换模型进行图像转换,但现有的图像转换模型训练过程中,均是基于图像中的二维频谱特征对图像转换模型进行训练,进而导致训练后的图像转换模型对图像中的三维特征转换不准确,降低了图像转换模型的准确性。
发明内容
有鉴于此,本申请实施例提供了一种图像转换模型训练方法、装置、终端设备及存储介质,以解决现有技术的图像转换模型训练过程中,由于基于二维频谱特征对图像转换模型进行训练,所导致的图像转换模型准确性差的问题。
本申请实施例的第一方面提供了一种图像转换模型训练方法,包括:
获取原始图像和与所述原始图像对应的变换图像,将所述原始图像输入图像转换模型中的第一生成器进行图像转换,并将所述第一生成器的图像转换结果输入所述图像转换模型中的第二生成器进行图像转换,得到第一转换图像;
将所述变换图像输入所述第二生成器进行图像转换,将所述第二生成器的图像转换结果输入所述第一生成器进行图像转换,得到第二转换图像,并将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,得到图像比对结果;
根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,并将所述原始图像输入参数优化后的所述第一生成器,得到第三转换图像,以及,将所述变换图像对应输入参数优化后的所述第二生成器,得到第四转换图像;
将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,得到图像检测结果,所述图像检测结果用于分别指示所述第三转换图像和所述第四转换图像是否为真实图像;
根据所述图像检测结果对所述图像转换模型进行参数更新,直至所述图像转换模型收敛。
进一步地,所述将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,包括:
分别提取所述第二转换图像、所述原始图像、所述第一转换图像和所述变换图像中的图像轮廓,得到第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像;
根据预设轮廓宽度分别对所述第一轮廓图像、所述第二轮廓图像、所述第三轮廓图像和所述第四轮廓图像进行筛选;
将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度。
进一步地,所述将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度,包括:
对筛选后的所述第一轮廓图像和所述第二轮廓图像分别进行多边形逼近处理,得到第一多边形图像和第二多边形图像;
将所述第一多边形图像与所述第二多边形图像进行轮廓比对,得到所述第一轮廓相似度;
对筛选后的所述第三轮廓图像和所述第四轮廓图像分别进行多边形逼近处理,得到第三多边形图像和第四多边形图像;
将所述第三多边形图像与所述第四多边形图像进行轮廓比对,得到所述第二轮廓相似度。
进一步地,所述将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,包括:
将所述第三转换图像输入所述图像转换模型中的第一判别器,并指示所述第一判别器根据所述变换图像对所述第三转换图像进行图像检测,得到第一图像检测结果;
将所述第四转换图像输入所述图像转换模型中的第二判别器,并指示所述第二判别器根据所述原始图像对所述第四转换图像进行图像检测,得到第二图像检测结果。
进一步地,所述根据所述图像检测结果对所述图像转换模型进行参数更新,包括:
根据所述第一图像检测结果和所述第二图像检测结果分别进行损失计算,得到第一模型损失值和第二模型损失值;
计算所述第一模型损失值和所述第二模型损失值之间的和,得到模型总损失,并根据所述模型总损失分别对所述第一生成器、所述第二生成器、所述第一判别器和所述第二判别器中的参数进行权值更新。
进一步地,所述根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,包括:
根据所述第二转换图像与所述原始图像之间的比对结果进行损失计算,得到第一损失值,并根据所述第一损失值对所述第一生成器中的参数进行权值更新;
根据所述第一转换图像与所述变换图像之间的比对结果进行损失计算,得到第二损失值,并根据所述第二损失值对所述第二生成器中的参数进行权值更新。
本申请实施例的第二方面提供了一种图像转换方法,包括:
获取待转换图像,并将所述待转换图像输入采用第一方案提供的训练后的所述图像转换模型进行图像转换,得到目标转换图像。
本申请实施例的第三方面提供了一种图像转换模型训练装置,包括:
图像转换单元,用于获取原始图像和与所述原始图像对应的变换图像,将所述原始图像输入图像转换模型中的第一生成器进行图像转换,并将所述第一生成器的图像转换结果输入所述图像转换模型中的第二生成器进行图像转换,得到第一转换图像;
图像比对单元,用于将所述变换图像输入所述第二生成器进行图像转换,将所述第二生成器的图像转换结果输入所述第一生成器进行图像转换,得到第二转换图像,并将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,得到图像比对结果;
生成器优化单元,用于根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,并将所述原始图像输入参数优化后的所述第一生成器,得到第三转换图像,以及,将所述变换图像对应输入参数优化后的所述第二生成器,得到第四转换图像;
图像检测单元,用于将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,得到图像检测结果,所述图像检测结果用于分别指示所述第三转换图像和所述第四转换图像是否为真实图像;
参数更新单元,用于根据所述图像检测结果对所述图像转换模型进行参数更新,直至所述图像转换模型收敛。
本申请实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在终端设备上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方案提供的图像转换模型训练方法的各步骤。
本申请实施例的第五方面提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方案提供的图像转换模型训练方法的各步骤。
本申请实施例提供的一种图像转换模型训练方法、装置、终端设备及存储介质具有以下有益效果:通过将第二转换图像与原始图像进行图像比对、将第一转换图像与变换图像进行图像比对,并根据图像比对结果对第一生成器和第二生成器进行参数优化,有效的提高了第一生成器和第二生成器的准确性,通过将原始图像和变换图像对应输入参数优化后的第一生成器和第二生成器,得到第三转换图像和第四转换图像,并通过将第三转换图像和第四转换图像输入图像转换模型进行图像检测,能有效的检测到第一生成器和第二生成器对原始图像和变换图像的图像转换效果,以达到图像转换与图像检测之间的对抗,通过根据图像检测结果对图像转换模型进行参数更新,有效的提高了图像转换模型的准确性,防止了基于二维频谱特征对图像转换模型进行训练,所导致的图像转换模型准确性差的现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像转换模型训练方法的实现流程图;
图2是本申请另一实施例提供的一种图像转换模型训练方法的实现流程图;
图3是本申请实施例提供的一种图像转换方法的实现流程图;
图4是本申请实施例提供的一种图像转换模型训练装置的结构框图;
图5是本申请实施例提供的一种终端设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例所涉及的图像转换模型训练方法,可以由控制设备或终端(以下称“移动终端”)执行。
请参阅图1,图1示出了本申请实施例提供的一种图像转换模型训练方法的实现流程图,包括:
步骤S10,获取原始图像和与所述原始图像对应的变换图像,将所述原始图像输入图像转换模型中的第一生成器进行图像转换,并将所述第一生成器的图像转换结果输入所述图像转换模型中的第二生成器进行图像转换,得到第一转换图像。
其中,该原始图像的数量和图像内容均可以根据用户需求进行设置,本实施例中的原始图像为人像图像,该变换图像为对应人像图像进行图像转换后标准的卡通图像,该图像转换模型包括第一生成器(Generator)、第二生成器、第一判别器(Discriminator)和第二判别器,该第一生成器、第二生成器、第一判别器和第二判别器均采用卷积层+全连接层的多层网络结构,该第一生成器和第二生成器基于输入的图像和噪声信号进行图像的转换,得到生成图像,该第一判别器和第二判别器用于对第一生成器或第二生成器中进行图像转换后生成的图像进行图像检测,以检测第一生成器或第二生成器输出的图像是否为真实图像。
具体的,该步骤中,通过将原始图像输入第一生成器进行图像转换,并将第一生成器的图像转换结果输入第二生成器进行图像转换,以达到将原始图像转换为卡通图像,并将第一生成器转换得到的卡通图像进行图像转换,即将转换得到的卡通图像再次转换为人像图像(第一转换图像),基于转换得到的第一转换图像,有效的方便了对第一生成器和第二生成器图像转换性能的检测。
步骤S20,将所述变换图像输入所述第二生成器进行图像转换,将所述第二生成器的图像转换结果输入所述第一生成器进行图像转换,得到第二转换图像,并将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,得到图像比对结果。
其中,通过将变换图像输入第二生成器进行图像转换,并将第二生成器的图像转换结果输入第一生成器进行图像转换,以达到将标准的卡通图像转换为人像图像,并将第二生成器转换得到的人像图像进行图像转换的目的,即将转换得到的人像图像再次转换为卡通图像(第二转换图像),基于转换得到的第二转换图像,进一步方便了对第一生成器和第二生成器图像转换性能的检测。
该步骤中,通过将第二转换图像与原始图像进行图像比对、将第一转换图像与变换图像进行图像比对,能有效的对第一生成器和第二生成器的图像转换性能进行检测,即当第二转换图像与原始图像之间、第一转换图像与变换图像之间的图像相似度越大时,则表明第一生成器和第二生成器的图像转换性能好,当第二转换图像与原始图像之间、第一转换图像与变换图像之间的图像相似度越小时,则表明第一生成器和第二生成器的图像转换性能差。
可选的,该步骤中,可以基于灰度图像或颜色直方图的方式进行第二转换图像与原始图像之间、第一转换图像与变换图像之间的图像比对,得到该图像比对结果。
具体的,该步骤中,所述将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,得到图像比对结果之后,还包括:
根据所述图像比对结果获取所述第二转换图像与所述原始图像之间的图像相似度,得到第一相似度;
根据所述图像比对结果获取所述第一转换图像与所述变换图像之间的图像相似度,得到第二相似度;
计算所述第一相似度与所述第二相似度之间的和,得到图像总相似度;
若所述图像总相似度小于相似度阈值,则针对所述第一生成器和所述第二生成器发送图像生成错误提示;
其中,该相似度阈值可以根据需求进行设置,该相似度阈值用于根据与图像总相似度之间的大小比对结果,以判断该第一生成器和第二生成器的图像转换性能是否低于期望值。
具体的,该步骤中,若图像总相似度小于相似度阈值,则判断该第一生成器和第二生成器的图像转换性能低于期望值,即通过针对第一生成器和第二生成器发送图像生成错误提示,以提示用户对第一生成器和第二生成器重新进行选择或设置,防止了当第一生成器和第二生成器的图像转换性能低于期望值所导致的图像转换模型训练的错误,进而提高了图像转换模型训练的准确性。
可选的,该图像生成错误提示可以采用语音、文字、短信、灯光或图像的方式对用户进行提示,具体的,该步骤中,通过获取第一生成器和第二生成器的生成器标识,并查询该生成器标识对应的通信地址,通过将该图像生成错误提示发送至查询到的通信地址,以达到提示用户对第一生成器和第二生成器重新进行选择或设置的效果。
步骤S30,根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,并将所述原始图像输入参数优化后的所述第一生成器,得到第三转换图像,以及,将所述变换图像对应输入参数优化后的所述第二生成器,得到第四转换图像。
其中,通过根据图像比对结果对第一生成器和第二生成器进行参数优化,有效的提高了第一生成器和第二生成器的准确性,通过将原始图像输入参数优化后的第一生成器,能有效的基于参数优化后的第一生成器将原始图像转换为卡通图像,通过将变换图像对应输入参数优化后的第二生成器,能有效的基于参数优化后的第二生成器将变换图像转换为人像图像。
具体的,该步骤中,所述根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,包括:
根据所述第二转换图像与所述原始图像之间的比对结果进行损失计算,得到第一损失值,并根据所述第一损失值对所述第一生成器中的参数进行权值更新;
根据所述第一转换图像与所述变换图像之间的比对结果进行损失计算,得到第二损失值,并根据所述第二损失值对所述第二生成器中的参数进行权值更新。
可选的,该步骤中,所述根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,包括:
获取所述图像转换模型对应的参数优化值,并根据获取到的所述参数优化值分别对所述第一生成器和所述第二生成器的参数进行权值调节,其中,本实施例中预存储有优化值查询表,该优化值查询表中存储有不同模型标识与对应参数优化值之间的对应关系,因此,通过将该图像转换模型的模型标识与优化值查询表进行匹配,以得到该图像转换模型对应的参数优化值,基于匹配到的参数优化值分别对第一生成器和第二生成器中参数的权值进行增加或减小。
进一步地,该步骤中,所述根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化之后,还包括:
将所述原始图像输入参数优化后的所述第一生成器进行图像转换,并将参数优化后的所述第一生成器的图像转换结果输入参数优化后的所述第二生成器进行图像转换,得到第一优化图像;
将所述变换图像输入参数优化后的所述第二生成器进行图像转换,将参数优化后的所述第二生成器的图像转换结果输入参数优化后的所述第一生成器进行图像转换,得到第二优化图像;
将所述第二优化图像与所述原始图像进行图像比对、将所述第一优化图像与所述变换图像进行图像比对,得到参数优化后的图像比对结果;
若所述第二优化图像与所述原始图像之间,或所述第一优化图像与所述变换图像之间的图像相似度小于预设相似度,则根据参数优化后的图像比对结果对参数优化后的所述第一生成器和所述第二生成器继续进行参数优化;
若所述第二优化图像与所述原始图像之间,或所述第一优化图像与所述变换图像之间的图像相似度大于或等于预设相似度,则停止对所述第一生成器和所述第二生成器的参数优化。
步骤S40,将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,得到图像检测结果。
其中,该图像检测结果用于分别指示第三转换图像和第四转换图像是否为真实图像,该步骤中,通过根据该图像转换模型中的第一判别器对第三转换图像进行图像分类,并基于对第三转换图像的分类结果判定该第三转换图像是否是真实图像,通过根据该图像转换模型中的第二判别器对第四转换图像进行图像分类,并基于对第四转换图像的分类结果判定该第四转换图像是否是真实图像。
该步骤中,当判定到第三转换图像是真实图像时,则判定第一生成器的图像转换性能较高,使得第一判别器未能识别到该第一生成器输出的第三转换图像为虚假图像,当判定到第四转换图像是真实图像时,则判定第二生成器的图像转换性能较高,使得第二判别器未能识别到该第二生成器输出的第四转换图像为虚假图像。
具体的,该步骤中,所述将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,包括:
将所述第三转换图像输入所述图像转换模型中的第一判别器,并指示所述第一判别器根据所述变换图像对所述第三转换图像进行图像检测,得到第一图像检测结果;
将所述第四转换图像输入所述图像转换模型中的第二判别器,并指示所述第二判别器根据所述原始图像对所述第四转换图像进行图像检测,得到第二图像检测结果。
步骤S50,根据所述图像检测结果对所述图像转换模型进行参数更新,直至所述图像转换模型收敛。
具体的,该步骤中,所述根据所述图像检测结果对所述图像转换模型进行参数更新,包括:
根据所述第一图像检测结果和所述第二图像检测结果分别进行损失计算,得到第一模型损失值和第二模型损失值;
计算所述第一模型损失值和所述第二模型损失值之间的和,得到模型总损失,并根据所述模型总损失分别对所述第一生成器、所述第二生成器、所述第一判别器和所述第二判别器中的参数进行权值更新。
可选的,该步骤中,当检测到图像转换模型参数更新的迭代次数大于次数阈值,或图像转换模型对应的模型总损失小于损失阈值时,则判定该图像转换模型收敛,并将收敛后的图像转换模型输出,当检测到图像转换模型参数更新的迭代次数小于或等于次数阈值,或图像转换模型对应的模型总损失大于或等于损失阈值时,则返回执行步骤S10重新进行原始图像和变换图像的获取,基于获取到的新的原始图像和变换图像继续执行“将所述原始图像输入图像转换模型中的第一生成器进行图像转换,并将所述第一生成器的图像转换结果输入所述图像转换模型中的第二生成器进行图像转换,得到第一转换图像”的步骤,直至图像转换模型收敛。
本实施例中,通过将第二转换图像与原始图像进行图像比对、将第一转换图像与变换图像进行图像比对,并根据图像比对结果对第一生成器和第二生成器进行参数优化,有效的提高了第一生成器和第二生成器的准确性,通过将原始图像和变换图像对应输入参数优化后的第一生成器和第二生成器,得到第三转换图像和第四转换图像,并通过将第三转换图像和第四转换图像输入图像转换模型进行图像检测,能有效的检测到第一生成器和第二生成器对原始图像和变换图像的图像转换效果,以达到图像转换与图像检测之间的对抗,通过根据图像检测结果对图像转换模型进行参数更新,有效的提高了图像转换模型的准确性,防止了基于二维频谱特征对图像转换模型进行训练,所导致的图像转换模型准确性差的现象。
请参阅图2,图2是本申请另一实施例提供的一种图像转换模型训练方法的实现流程图。相对于图1对应的实施例,本实施例提供的图像转换模型训练方法用于对步骤S20作进一步细化,包括:
步骤S21,分别提取所述第二转换图像、所述原始图像、所述第一转换图像和所述变换图像中的图像轮廓,得到第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像。
其中,通过分别对第二转换图像、原始图像、第一转换图像和变换图像进行灰度处理,将第二转换图像、原始图像、第一转换图像和变换图像均转换为灰度图像,基于阈值函数将第二转换图像、原始图像、第一转换图像和变换图像对应的灰度图像转换为二值图像,并根据预设像素范围分别对第二转换图像、原始图像、第一转换图像和变换图像对应的二值图像进行像素点筛选,二值图像中像素点筛选后剩余像素点形成的即为第二转换图像、所述原始图像、所述第一转换图像和所述变换图像对应的轮廓图像。
步骤S22,根据预设轮廓宽度分别对所述第一轮廓图像、所述第二轮廓图像、所述第三轮廓图像和所述第四轮廓图像进行筛选。
其中,该预设轮廓宽度可以根据需求进行设置,该预设轮廓宽度用于对第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像中的轮廓进行筛选,以提高第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像中轮廓的准确性。
具体的,该步骤中,当第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像中任一轮廓的轮廓宽度与预设轮廓宽度之间的宽度差值未在预设宽度范围内时,则判定该轮廓宽度对应的轮廓是无效轮廓,并通过将第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像中的无效轮廓进行删除,以提高第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像的准确性。
步骤S23,将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度。
其中,该第一轮廓相似度用于指示图像比对结果中第二转换图像与原始图像之间的图像相似度,该第二轮廓相似度用于指示图像比对结果中第一转换图像与变换图像之间的图像相似度。
具体的,该步骤中,所述将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度,包括:
对筛选后的所述第一轮廓图像和所述第二轮廓图像分别进行多边形逼近处理,得到第一多边形图像和第二多边形图像;
将所述第一多边形图像与所述第二多边形图像进行轮廓比对,得到所述第一轮廓相似度;
对筛选后的所述第三轮廓图像和所述第四轮廓图像分别进行多边形逼近处理,得到第三多边形图像和第四多边形图像;
将所述第三多边形图像与所述第四多边形图像进行轮廓比对,得到所述第二轮廓相似度;
其中,多边形逼近处理指的是:使用多边形来近似表示一个图像轮廓,多边形逼近处理的目的是为了减少图像轮廓的顶点数目,多边形逼近处理的结果依然是一个轮廓。
具体的,该步骤中,对筛选后的第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像进行多边形逼近处理,包括:
步骤S231,通过分别获取轮廓图像中不同图像轮廓首尾的两点A和B,在A和B在之间连接一条直线AB,该直线为图像轮廓的弦;
步骤S232,获取曲线图像轮廓离该直线AB距离最大的点C,并计算C与直线AB之间的距离d;
步骤S233,比较距离d与预设距离之间的大小,若距离d小于预设距离,则该直线AB作为图像轮廓的近似轮廓;
步骤S234,若距离d大于或等于预设距离,则用点C将图像轮廓分为两段直线AC和BC,并分别对直线AC和BC返回执行步骤S231至S233。
本实施例中,通过分别提取第二转换图像、原始图像、第一转换图像和变换图像中的图像轮廓,基于提取到的图像轮廓有效的保障了第二转换图像与原始图像之间、第一转换图像与变换图像之间的图像比对,通过根据预设轮廓宽度分别对第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像进行筛选,有效的提高了第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像的准确性,通过将筛选后的第一轮廓图像与第二轮廓图像、第三轮廓图像与第四轮廓图像进行轮廓比对,能有效的得到第一轮廓图像与第二轮廓图像之间、第三轮廓图像与第四轮廓图像之间的图像比对结果。
请参阅图3,图3示出了本申请实施例提供的一种图像转换方法的实现流程图,包括:
步骤S60,获取待转换图像,并将所述待转换图像输入图像转换模型进行图像转换,得到目标转换图像。
其中,该图像转换模型是采用如上述图1或图2实施例所描述的方法模型训练后得到的。具体模型训练过程可以参见图1或图2实施例的相关描述,再次不再赘述。
本实施例中,通过将待转换图像输入图像转换模型进行图像转换,基于图像转换模型中参数优化和参数权值更新后的第一生成器,能有效的对待转换图像中的三维特征进行图像转换,进而提高了图形转换的准确性。
请参阅图4,图4是本申请实施例提供的一种图像转换模型训练装置100的结构框图。本实施例中该图像转换模型训练装置100包括的各单元用于执行图1、图2、图3对应的实施例中的各步骤。具体请参阅图1、图2、图3以及图1、图2、图3所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图4,包括:图像转换单元10、图像比对单元11、生成器优化单元12、图像检测单元13和参数更新单元14,其中:
图像转换单元10,用于获取原始图像和与所述原始图像对应的变换图像,将所述原始图像输入图像转换模型中的第一生成器进行图像转换,并将所述第一生成器的图像转换结果输入所述图像转换模型中的第二生成器进行图像转换,得到第一转换图像。
图像比对单元11,用于将所述变换图像输入所述第二生成器进行图像转换,将所述第二生成器的图像转换结果输入所述第一生成器进行图像转换,得到第二转换图像,并将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,得到图像比对结果。
其中,该图像比对单元11还用于:分别提取所述第二转换图像、所述原始图像、所述第一转换图像和所述变换图像中的图像轮廓,得到第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像;
根据预设轮廓宽度分别对所述第一轮廓图像、所述第二轮廓图像、所述第三轮廓图像和所述第四轮廓图像进行筛选;
将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度。
可选的,图形比对单元11还用于:对筛选后的所述第一轮廓图像和所述第二轮廓图像分别进行多边形逼近处理,得到第一多边形图像和第二多边形图像;
将所述第一多边形图像与所述第二多边形图像进行轮廓比对,得到所述第一轮廓相似度;
对筛选后的所述第三轮廓图像和所述第四轮廓图像分别进行多边形逼近处理,得到第三多边形图像和第四多边形图像;
将所述第三多边形图像与所述第四多边形图像进行轮廓比对,得到所述第二轮廓相似度。
生成器优化单元12,用于根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,并将所述原始图像输入参数优化后的所述第一生成器,得到第三转换图像,以及,将所述变换图像对应输入参数优化后的所述第二生成器,得到第四转换图像。
其中,生成器优化单元12还用于:根据所述第二转换图像与所述原始图像之间的比对结果进行损失计算,得到第一损失值,并根据所述第一损失值对所述第一生成器中的参数进行权值更新;
根据所述第一转换图像与所述变换图像之间的比对结果进行损失计算,得到第二损失值,并根据所述第二损失值对所述第二生成器中的参数进行权值更新。
图像检测单元13,用于将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,得到图像检测结果,所述图像检测结果用于分别指示所述第三转换图像和所述第四转换图像是否为真实图像。
其中,图像检测单元13还用于:将所述第三转换图像输入所述图像转换模型中的第一判别器,并指示所述第一判别器根据所述变换图像对所述第三转换图像进行图像检测,得到第一图像检测结果;
将所述第四转换图像输入所述图像转换模型中的第二判别器,并指示所述第二判别器根据所述原始图像对所述第四转换图像进行图像检测,得到第二图像检测结果。
参数更新单元14,用于根据所述图像检测结果对所述图像转换模型进行参数更新,直至所述图像转换模型收敛。
其中,该参数更新单元14还用于:根据所述第一图像检测结果和所述第二图像检测结果分别进行损失计算,得到第一模型损失值和第二模型损失值;
计算所述第一模型损失值和所述第二模型损失值之间的和,得到模型总损失,并根据所述模型总损失分别对所述第一生成器、所述第二生成器、所述第一判别器和所述第二判别器中的参数进行权值更新。
本实施例中,通过将第二转换图像与原始图像进行图像比对、将第一转换图像与变换图像进行图像比对,并根据图像比对结果对第一生成器和第二生成器进行参数优化,有效的提高了第一生成器和第二生成器的准确性,通过将原始图像和变换图像对应输入参数优化后的第一生成器和第二生成器,得到第三转换图像和第四转换图像,并通过将第三转换图像和第四转换图像输入图像转换模型进行图像检测,能有效的检测到第一生成器和第二生成器对原始图像和变换图像的图像转换效果,以达到图像转换与图像检测之间的对抗,通过根据图像检测结果对图像转换模型进行参数更新,有效的提高了图像转换模型的准确性,防止了基于二维频谱特征对图像转换模型进行训练,所导致的图像转换模型准确性差的现象。
图5是本申请另一实施例提供的一种终端设备2的结构框图。如图5所示,该实施例的终端设备2包括:处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22,例如图像转换模型训练方法的程序。处理器20执行所述计算机程序23时实现上述各个图像转换模型训练方法各实施例中的步骤,例如图1所示的S10至S50,或者图2所示的S21至S23,或者图3所示的S60。或者,所述处理器20执行所述计算机程序22时实现上述图4对应的实施例中各单元的功能,例如,图4所示的单元10至14的功能,具体请参阅图5对应的实施例中的相关描述,此处不赘述。
示例性的,所述计算机程序22可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器21中,并由所述处理器20执行,以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如,所述计算机程序22可以被分割成图像转换单元10、图像比对单元11、生成器优化单元12、图像检测单元13和参数更新单元14,各单元具体功能如上所述。
所述终端设备可包括,但不仅限于,处理器20、存储器21。本领域技术人员可以理解,图5仅仅是终端设备2的示例,并不构成对终端设备2的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元,例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备,例如所述终端设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种图像转换模型训练方法,其特征在于,包括:
获取原始图像和与所述原始图像对应的变换图像,将所述原始图像输入图像转换模型中的第一生成器进行图像转换,并将所述第一生成器的图像转换结果输入所述图像转换模型中的第二生成器进行图像转换,得到第一转换图像;
将所述变换图像输入所述第二生成器进行图像转换,将所述第二生成器的图像转换结果输入所述第一生成器进行图像转换,得到第二转换图像,并将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,得到图像比对结果;
根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,并将所述原始图像输入参数优化后的所述第一生成器,得到第三转换图像,以及,将所述变换图像对应输入参数优化后的所述第二生成器,得到第四转换图像;
将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,得到图像检测结果,所述图像检测结果用于分别指示所述第三转换图像和所述第四转换图像是否为真实图像;
根据所述图像检测结果对所述图像转换模型进行参数更新,直至所述图像转换模型收敛;
所述将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,包括:
分别提取所述第二转换图像、所述原始图像、所述第一转换图像和所述变换图像中的图像轮廓,得到第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像;
根据预设轮廓宽度分别对所述第一轮廓图像、所述第二轮廓图像、所述第三轮廓图像和所述第四轮廓图像进行筛选;
将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度。
2.根据权利要求1所述的图像转换模型训练方法,其特征在于,所述将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度,包括:
对筛选后的所述第一轮廓图像和所述第二轮廓图像分别进行多边形逼近处理,得到第一多边形图像和第二多边形图像;
将所述第一多边形图像与所述第二多边形图像进行轮廓比对,得到所述第一轮廓相似度;
对筛选后的所述第三轮廓图像和所述第四轮廓图像分别进行多边形逼近处理,得到第三多边形图像和第四多边形图像;
将所述第三多边形图像与所述第四多边形图像进行轮廓比对,得到所述第二轮廓相似度。
3.根据权利要求1所述的图像转换模型训练方法,其特征在于,所述将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,包括:
将所述第三转换图像输入所述图像转换模型中的第一判别器,并指示所述第一判别器根据所述变换图像对所述第三转换图像进行图像检测,得到第一图像检测结果;
将所述第四转换图像输入所述图像转换模型中的第二判别器,并指示所述第二判别器根据所述原始图像对所述第四转换图像进行图像检测,得到第二图像检测结果。
4.根据权利要求3所述的图像转换模型训练方法,其特征在于,所述根据所述图像检测结果对所述图像转换模型进行参数更新,包括:
根据所述第一图像检测结果和所述第二图像检测结果分别进行损失计算,得到第一模型损失值和第二模型损失值;
计算所述第一模型损失值和所述第二模型损失值之间的和,得到模型总损失,并根据所述模型总损失分别对所述第一生成器、所述第二生成器、所述第一判别器和所述第二判别器中的参数进行权值更新。
5.根据权利要求1所述的图像转换模型训练方法,其特征在于,所述根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,包括:
根据所述第二转换图像与所述原始图像之间的比对结果进行损失计算,得到第一损失值,并根据所述第一损失值对所述第一生成器中的参数进行权值更新;
根据所述第一转换图像与所述变换图像之间的比对结果进行损失计算,得到第二损失值,并根据所述第二损失值对所述第二生成器中的参数进行权值更新。
6.一种图像转换方法,其特征在于,包括:
获取待转换图像,并将所述待转换图像输入采用如权利要求1至5任一项所述方法训练后的所述图像转换模型进行图像转换,得到目标转换图像。
7.一种图像转换模型训练装置,其特征在于,包括:
图像转换单元,用于获取原始图像和与所述原始图像对应的变换图像,将所述原始图像输入图像转换模型中的第一生成器进行图像转换,并将所述第一生成器的图像转换结果输入所述图像转换模型中的第二生成器进行图像转换,得到第一转换图像;
图像比对单元,用于将所述变换图像输入所述第二生成器进行图像转换,将所述第二生成器的图像转换结果输入所述第一生成器进行图像转换,得到第二转换图像,并将所述第二转换图像与所述原始图像进行图像比对、将所述第一转换图像与所述变换图像进行图像比对,得到图像比对结果;
生成器优化单元,用于根据所述图像比对结果对所述第一生成器和所述第二生成器进行参数优化,并将所述原始图像输入参数优化后的所述第一生成器,得到第三转换图像,以及,将所述变换图像对应输入参数优化后的所述第二生成器,得到第四转换图像;
图像检测单元,用于将所述第三转换图像和所述第四转换图像输入所述图像转换模型进行图像检测,得到图像检测结果,所述图像检测结果用于分别指示所述第三转换图像和所述第四转换图像是否为真实图像;
参数更新单元,用于根据所述图像检测结果对所述图像转换模型进行参数更新,直至所述图像转换模型收敛;
其中,所述图像比对单元还用于:分别提取所述第二转换图像、所述原始图像、所述第一转换图像和所述变换图像中的图像轮廓,得到第一轮廓图像、第二轮廓图像、第三轮廓图像和第四轮廓图像;
根据预设轮廓宽度分别对所述第一轮廓图像、所述第二轮廓图像、所述第三轮廓图像和所述第四轮廓图像进行筛选;
将筛选后的所述第一轮廓图像与所述第二轮廓图像进行轮廓比对,得到第一轮廓相似度,并将筛选后的所述第三轮廓图像与所述第四轮廓图像进行轮廓比对,得到第二轮廓相似度。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202011422759.0A 2020-12-08 2020-12-08 图像转换模型训练方法、装置、终端设备及存储介质 Active CN112508097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011422759.0A CN112508097B (zh) 2020-12-08 2020-12-08 图像转换模型训练方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011422759.0A CN112508097B (zh) 2020-12-08 2020-12-08 图像转换模型训练方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN112508097A CN112508097A (zh) 2021-03-16
CN112508097B true CN112508097B (zh) 2024-01-19

Family

ID=74971281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011422759.0A Active CN112508097B (zh) 2020-12-08 2020-12-08 图像转换模型训练方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN112508097B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技(深圳)有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN110599421A (zh) * 2019-09-12 2019-12-20 腾讯科技(深圳)有限公司 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN110675334A (zh) * 2019-08-28 2020-01-10 苏州千视通视觉科技股份有限公司 一种图像增强方法及装置
CN111047512A (zh) * 2019-11-25 2020-04-21 中国科学院深圳先进技术研究院 图像增强方法、装置及终端设备
WO2020155518A1 (zh) * 2019-02-03 2020-08-06 平安科技(深圳)有限公司 物体检测方法、装置、计算机设备及存储介质
CN111709873A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 图像转换模型生成器的训练方法和装置
CN111754419A (zh) * 2020-05-15 2020-10-09 新加坡依图有限责任公司(私有) 图像处理方法、训练方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829894A (zh) * 2019-01-09 2019-05-31 平安科技(深圳)有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
WO2020155518A1 (zh) * 2019-02-03 2020-08-06 平安科技(深圳)有限公司 物体检测方法、装置、计算机设备及存储介质
CN110675334A (zh) * 2019-08-28 2020-01-10 苏州千视通视觉科技股份有限公司 一种图像增强方法及装置
CN110599421A (zh) * 2019-09-12 2019-12-20 腾讯科技(深圳)有限公司 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN111047512A (zh) * 2019-11-25 2020-04-21 中国科学院深圳先进技术研究院 图像增强方法、装置及终端设备
CN111754419A (zh) * 2020-05-15 2020-10-09 新加坡依图有限责任公司(私有) 图像处理方法、训练方法、装置、设备及计算机可读存储介质
CN111709873A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 图像转换模型生成器的训练方法和装置

Also Published As

Publication number Publication date
CN112508097A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN109284280B (zh) 仿真数据优化方法、装置及存储介质
CN111079570B (zh) 一种人体关键点识别方法、装置及电子设备
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
US10410354B1 (en) Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation
CN109086654B (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
CN110517262B (zh) 目标检测方法、装置、设备及存储介质
WO2019102962A1 (ja) 学習装置、学習方法、及び、記録媒体
WO2022027913A1 (zh) 目标检测模型生成方法、装置、设备及存储介质
CN114677565B (zh) 特征提取网络的训练方法和图像处理方法、装置
CN111027412B (zh) 一种人体关键点识别方法、装置及电子设备
JP2019036112A (ja) 異常音検知装置、異常検知装置、プログラム
CN112508097B (zh) 图像转换模型训练方法、装置、终端设备及存储介质
KR102178444B1 (ko) 미세 조직 분석 장치
CN111222558A (zh) 图像处理方法及存储介质
US20220171926A1 (en) Information processing method, storage medium, and information processing device
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN115641201A (zh) 数据异常检测方法、系统、终端设备及存储介质
CN114596533A (zh) 跌倒姿态检测方法、装置、电子设备及可读存储介质
KR20210123674A (ko) Tta를 이용한 분포 외 데이터 검출 방법 및 이를 수행하는 장치
CN112487853A (zh) 一种字迹比对方法、系统、电子设备及存储介质
CN113111953B (zh) 一种投影画质处理装置
TWI778341B (zh) 圖像近似度分析系統
US20230267705A1 (en) Information processing system and inference method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant