CN111739046A - 用于模型更新和检测图像的方法、装置、设备和介质 - Google Patents

用于模型更新和检测图像的方法、装置、设备和介质 Download PDF

Info

Publication number
CN111739046A
CN111739046A CN202010569138.9A CN202010569138A CN111739046A CN 111739046 A CN111739046 A CN 111739046A CN 202010569138 A CN202010569138 A CN 202010569138A CN 111739046 A CN111739046 A CN 111739046A
Authority
CN
China
Prior art keywords
image
region
training
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010569138.9A
Other languages
English (en)
Inventor
熊俊峰
王洋
刘焱
郝新
吴月升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010569138.9A priority Critical patent/CN111739046A/zh
Publication of CN111739046A publication Critical patent/CN111739046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了用于模型更新和检测图像的方法、装置、设备和介质,涉及图像检测和深度学习领域。模型更新方法包括获取用于训练神经网络模型的训练图像,训练图像至少包括图像融合区域,图像融合区域是通过将原始图像的第一区域中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的。该方法还包括将训练图像输入用于检测图像融合区域的神经网络模型,以获取训练图像中的图像融合区域的检测结果。该方法还包括确定原始图像中的第一区域的边缘的扩展结果。该方法还包括基于检测结果和扩展结果来调整神经网络模型的参数。通过该方法减少了图像数据的计算量,提高了图像数据处理效率。

Description

用于模型更新和检测图像的方法、装置、设备和介质
技术领域
本公开的实施例主要涉及数据处理领域,并且更具体地,涉及图像检测和深度学习领域的用于模型训练和检测图像的方法、装置、设备和介质。
背景技术
随着计算机计算能力的增强,图像数据处理技术也在快速发展。人们利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象。同时,图像处理也是人工智能领域的一个重要的发展方向。然而,随着图像处理技术的发展,出现了许多图像合成技术。通过这些图像合成技术,许多图像经过处理被合成在一起或组合在一起。这些合成图像或组合图像被越来越多应用于许多场景。然而,在这些合成图像的利用还存在着许多问题需要解决。
发明内容
本公开提供了一种用于模型更新和检测图像的方法、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种模型更新方法。该方法包括获取用于训练神经网络模型的训练图像,训练图像至少包括图像融合区域,图像融合区域是通过将原始图像的第一区域中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的,第一图像部分和第二图像部分均对应于相同的目标部位。该方法还包括将训练图像输入用于检测图像融合区域的神经网络模型,以获取训练图像中的图像融合区域的检测结果。该方法还包括确定原始图像中的第一区域的边缘的扩展结果。该方法还包括基于检测结果和扩展结果来调整神经网络模型的参数,以更新神经网络模型。
根据本公开的第二方面,提供了一种用于检测图像的方法。该方法包括将待检测图像输入根据第一方面的方法更新的神经网络模型,以获取待检测图像中的图像融合区域的检测结果。该方法还包括根据检测结果,确定待检测图像的类型,该类型指示所述待检测图像是融合图像或原始图像。
根据本公开的第三方面,提供了一种模型更新装置。该装置包括训练图像获取模块,被配置为获取用于训练神经网络模型的训练图像,训练图像至少包括图像融合区域,图像融合区域是通过将原始图像的第一区域中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的,第一图像部分和第二图像部分均对应于相同的目标部位;检测结果获取模块,被配置为将训练图像输入用于检测图像融合区域的神经网络模型,以获取训练图像中的图像融合区域的检测结果;扩展结果确定模块,被配置为确定原始图像中的第一区域的边缘的扩展结果;以及调整模块,被配置为基于检测结果和扩展结果来调整神经网络模型的参数,以更新神经网络模型。
根据本公开的第四方面,提供了一种用于检测图像的装置。该装置包括输入模块,被配置为将待检测图像输入根据第一方面的方法更新的神经网络模型,以获取待检测图像中的图像融合区域的检测结果;以及类型确定模块,被配置为根据检测结果,确定待检测图像的类型,该类型指示所述待检测图像是融合图像或原始图像。
根据本公开的第五方面,提供了一种电子设备。该电子设备包括至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开的第一方面的方法。
根据本公开的第六方面,提供了一种电子设备。该电子设备包括至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开的第二方面的方法。
根据本公开的第七方面,提供一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行根据本公开的第一方面的方法。
根据本公开的第八方面,提供一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行根据本公开的第二方面的方法。
根据本公开的技术解决了图像数据处理的问题,提高了图像数据处理的效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示出了本公开的多个实施例能够在其中实现的环境100的示意图;
图2示出了根据本公开的一些实施例的模型更新方法200的流程图;
图3示出了根据本公开的一些实施例的获取训练图像的方法300的流程图;
图4示出了本公开的多个实施例能够在其中实现的环境400的示意图;
图5示出了根据本公开的一些实施例的用于检测图像的方法500的流程图;
图6示出了根据本公开的一些实施例的用于模型更新的过程600的示意图;
图7示出了根据本公开的一些实施例的模型更新装置700的框图;
图8示出了根据本公开的一些实施例的用于检测图像的装置800的框图;以及
图9示出了能够实施本公开的多个实施例的设备900的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
随着深度伪造技术的发展,发展了各种层出不穷的图像深度伪造方法。这些方法一般需要训练神经网络模型,并将这些模型用于图像伪造。在训练这些神经网络模型时,需要确定针对不同对象(例如人物)的图像,然后对图像的关键点进行比对。然后再利用两个图像以及这两个图像的组合图像来训练该神经网络模型。训练好的该神经网络模型用于对图像进行伪造,例如确定好具有不同对象的两个图片,并进行特征点检测。然后在两个图像中的一个图像中确定出要被替换的替换区域,然后将两个图片利用神经网络模型生成新的图像,利用新图像中的预定区域中的图像替换该一个图像中的替换区域。接下来利用图像融合技术,将预定区域中的图像与该一个图像的剩余部分图像融合生成新的图像。
然而,传统方案一般通过检测人脸特征区域来识别造假图像。然而,这种方案通常对于图像伪造方法比较敏感,而对于没有见过的伪造方法,其识别能力会下降,从而不能很好的检测图像是否是经过替换处理过的。
至少了为了解决上述问题。根据本公开的实施例,提出一种模型更新和图像数据处理的改进方案。在该方案中,计算设备获取用于训练神经网络模型的训练图像,训练图像至少包括图像融合区域,图像融合区域是通过将原始图像的第一区域中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的,第一图像部分和第二图像部分均对应于相同的目标部位。然后计算设备将训练图像输入用于检测图像融合区域的神经网络模型,以获取训练图像中的图像融合区域的检测结果。计算设备确定原始图像中的第一区域的边缘的扩展结果。计算设备基于检测结果和扩展结果来调整神经网络模型的参数,以更新神经网络模型。利用该方法,减少了图像数据的计算量,提高了图像数据处理效率。此外,该方法还通过从图像融合方面检测图像是否被替换过,使得该模型能够适应更大的范围。
图1示出了本公开的多个实施例能够在其中实现的环境100的示意图。该示例环境100包括计算设备106。计算设备106可以利用训练图像102来训练神经网络模型108。神经网络模型108可用于检查图像融合区域。
计算设备106包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境、云平台中的虚拟机或其他计算设备等。
计算设备106接收训练图像102。训练图像102是由两个图像生成,两个图像均是包括目标部位的图像。在一些实施例中,目标部位为人脸。在一些实施例中,目标部位为人脸上的部分区域。在一些实施例中,目标部位为四肢。上述示例仅是用于描述本公开,而非对本公开的具体限定。
在生成训练图像102时,可以通过将原始图像103的目标部位替换为参考图像中的目标部位,然后再进行融合处理得到。在一个示例中,如果目标部位对应于人脸,则可以先进行特征点检测,然后确定出包括人脸的第一区域104。计算设备106还可以确定出参考图像中的对应于人脸的第二图像部分。计算设备106通过将第一图像的人脸替换为第二图像的人脸,并进行融合处理生成训练图像102。在另一个示例中,如果目标部位对应于部分人脸,例如眼睛和嘴巴之间的区域,则可以先进行特征点检测。然后确定出原始图像103的中对应于眼睛和嘴巴之间的区域的第一图像部分。计算设备106还可以确定出参考图像中的对应于眼睛和嘴巴之间的区域的第二图像部分。计算设备106将原始图像103的第一图像部分替换为参考图像中的第二图像部分。上述示例仅是用于描述本公开,而非对本公开的具体限定。本领域技术人员可以依据需要设置需要替换的图像内容。
上面图1示出了计算设备106从其他计算设备接收训练图像102来训练神经网络模型108。然而,其仅是用于描述本发明,而非对本公的具体限定。训练图像102可以存储在计算设备106中或由计算设备106生成,并且计算设备106在训练神经网络模型108时还使用其他的训练图像。
通过将训练图像102输入神经网络模型108可以得到检测结果112。该检测结果112用于标识训练图像102中的图像融合区域。其中图像融合区域是通过将原始图像103的第一区域104中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的。在一个示例中,图像融合区域标识在图像融合过程中像素的像素值调整过的区域。例如,在通过泊松模糊处理时,该过程处理过的像素区域。
计算设备106还会获取生成训练图像102的原始图像103中的第一区域104。然后利用该第一区域104确定该第一区域104的边缘。例如,确定出与原始图像103大上一致的边缘图,其中与边缘相对应的位置的值为1,而不与边缘对应的位置处的值设置为0。上述示例仅是用于描述本公开,而非对本公开的具体限定。然后对该第一区域104的边缘进行扩展处理来获得边缘的扩展结果110。利用该扩展结果110作为检测结果112的目标。
在一个示例中,通过高斯处理来对第一区域的边缘进行扩展处理来获得边缘的扩展结果110。在另一示例中,通过对边缘图中的每个点与周围的多个点上的值进行平均来确定该点的值来获得边缘的扩展结果110。上述示例仅是用于描述本公开,而非对本公开的具体限定。
然后,计算设备106将检测结果112和扩展结果110进行比对,并基于比对的结果来调整神经网络模型108的参数。因此,训练好的神经网络模型108可用于检测图像融合区域。
通过上述方式,通过从图像融合方面检测图像是否被替换处理过,降低了对生成伪造图像部分的技术的敏感度,使得能够适应更大的范围,并且由于检测的内容与造假图像生成部分无关,减少了计算量,提高了图像数据处理效率。
上面图1示出了本公开的多个实施例能够在其中实现的环境100的示意图。下面结合图2描述根据本公开的一些实施例的模型更新方法200的流程图。方法200可以由图1中的计算设备106或其它任意合适的设备来实现。
在框202处,计算设备106获取用于训练神经网络模型108的训练图像102,训练图像102至少包括图像融合区域,图像融合区域是通过将原始图像103的第一区域104中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的,第一图像部分和第二图像部分均对应于相同的目标部位。
在一些实施例中,在训练图像102可以是替换了人脸并经过融合处理的图像。在一些实施例中,训练图像102可以是替换了部分人脸并经过融合处理的图像。在一些实施例中,训练图像102可以是替换了人的身体的部分区域并经过融合处理的图像。上述示例仅是用于描述本公开,而非对本公开的具体限定。生成训练图像102的过程将下面结合图3进行详细描述。
在框204处,计算设备106将训练图像102输入用于检测图像融合区域的神经网络模型108,以获取训练图像102中的图像融合区域的检测结果112。训练图像102输入神经网络模型108后,神经网络模型108将检测图像融合区域。该图像融合区域标识在图像的该区域进行过融合处理。因此,在该区域图像中像素的像素值被调整了。
在框206处,计算设备106确定原始图像103中的第一区域104的边缘的扩展结果110。为了获得训练准确的神经网络模型108,需要确定神经网络模型108的检测结果112的对照目标。因此,计算设备106将原始图像103的第一区域104的边缘进行扩展处理来获得扩展结果110,以作为检测结果112的对照目标。通过确定扩展结果110,可以使训练的模型更准确,效率更高。
在一些实施例中,计算设备106确定第一区域104的边缘。计算设备先确定边缘图,该边缘图包括第一区域104的边缘。该边缘图的大小对应于原始图像103,其中该边缘图中对应于第一区域边缘的部分标记为预定值,例如1,非第一区域边缘的部分标记为0。上述示例仅是用于描述本公开,而非对本公开的具体限定。然后,计算设备106对边缘进行扩展处理来确定边缘的扩展结果110。在一个示例中,利用高斯模糊来确定边缘的扩展结果110。在另一个示例中,通过对边缘中的每个点及其周围预定数目的点的值求平值来计算该点的值,以获得边缘的扩展结果110。上述示例仅是用于描述本公开,而非对本公开的具体限定。
在一些实施例中,计算设备106可以从其他设备获取原始图像103的第一区域104的边缘的扩展结果110。上述示例仅是用于描述本公开,而非对本公开的具体限定。
在框208处,计算设备106基于检测结果112和扩展结果110来调整神经网络模型108的参数,以更新神经网络模型108。
在一些实施例中,计算设备106确定检测结果112和扩展结果110之间的差异。然后计算设备106基于差异来调整神经网络模型108的参数。通过这种方式,可以快速的调整神经网络模型,保证了神经网络模型的准确性。
在一个示例中,计算设备106通过下式(1)计算检测结果112和扩展结果110之间的差异值V:
V=—||t·logt’+(1-t)·log(1-t’)||2 2 (1)
其中,t表示与扩展的边缘图相对应的向量,t’表示与检测结果112相对应的向量,在t’中与训练图像102的中的每个像素点相对应的位置处的值1表示该像素点的像素值被调整过的概率为1,值0指示该像素点的像素值没有被调整过;||·||表示求范数。通过将V值与预定阈值进行比较,来确定是否还需要调整神经网络模型108。如果V值大于预定阈值,则表明检测结果不太准确,继续调整神经网络模型108的参数以更新神经网络模型108。
在一些实施例中,通过直接将检测结果112和扩展结果110进行比对来调整神经网络模型108。
通过上述方法,通过从图像融合方面检测图像是否被替换处理过,降低了对生成伪造图像部分的技术的敏感度,使得能够适应更大的范围。此外,由于检测的内容与造假图像生成部分无关,减少了计算量,提高了图像数据处理效率。
上面结合图2描述了根据本公开的一些实施例的用于模型更新的方法200的流程图。下面结合图3详细描述在图2的框202处用于获取训练图像的过程。图3示出了根据本公开的一些实施例的获取训练图像的方法300的流程图。方法300可以由图1中的计算设备106或其它任意合适的设备来实现。
在框302处,计算设备106获取原始图像103。计算设备106在获取原始图像103时。该原始图像103包括对应于目标部位的第一图像部分。该目标部位可以是人、人脸、人的肢体或任意合适的对象的目标部位。备选地或附加地,计算设备106还可以获取参考图像,参考图像中也存在与原始图像103相对应的目标部位以用于获取第二图像部分。
在框304处,计算设备106确定原始图像103中的第一图像部分。由于训练图像102是通过将原始图像103的一部分替换为第二图像的一部分得到的,因此,需要确定原始图像103中要被替换的第一图像部分。
在一些实施例中,计算设备106在确定第一图像部分时,首先对原始图像103中的目标部位进行特征点检测,以获得与目标部位相关联的特征点集合。在一个示例中,如果原始图像103中要进行替换的目标部位为人脸或人脸中的部分区域,需要先对原始图像103中的人脸进行特征点识别,以确定对应替换区域的特征点集合。在另一示例中,如果原始图像103中要进行替换的目标部位是四肢,则需要对原始图像103中的人物进行特征点识别,以确定替换区域的特征点集合。
计算设备106然后基于特征点集合确定第一区域104。然后计算106设备106将图像在第一区域104内的部分确定为第一图像部分。计算设备106还可以基于与获得第一图像部分相同的方式从参考图像获得第二图像部分。通过这种方式可以快速的确定好第一图像部分,提高了数据处理效率。
在框306处,计算设备106将原始图像103中的第一图像部分替换为第二图像部分。通过将第一图像部分替换为第二图像部分,使得此时原始图像103的第一图像部分外的剩余图像部分和第二图像部分进行组合。
在框308处,计算设备106对原始图像103中的剩余图像部分与第二图像部分进行融合处理,以生成训练图像102。在一个示例中,计算设备106采用泊松融合来处理两个图像部分的融合。在另一个示例中,计算设备106可以采用各种合适的融合方法来将两个图像部分进行融合处理以形成平滑的图像。上述示例仅是用于描述本公开,而非对本公开的具体限定。
通过上述方法,可以快速的得到用于训练神经网络模型的训练图像,提高了获取样本的速率和效率,节省了时间,并且改进了训练效果。
上面结合图3描述了根据本公开的一些实施例的获取训练图像的方法300的流程图。下面结合图4详细描述使用神经网络模型的环境。图4示出了本公开的多个实施例能够在其中实现的环境400的示意图。
如图4所示,计算设备406可以运行由图1中的计算设备106生成的神经网络模型108。在一些实施例中,计算设备406和计算设备106可以是相同的计算设备。在一些实施例中,计算设备406和计算设备106是不同的计算设备。上述示例仅是用于描述本公开,而非对本公开的具体限定。
通过在计算设备406中运行神经网络模型108,可以检查图像的融合区域,然后确定出待检测图像402的检测结果112。然后基于检测结果112确定待检测图像的类型404,即确定待检测图像402是否是具有图像融合区域的融合图像。如果图像具有融合区域,表明该图像是伪造的,因此也可以称为假图像。如果图像不具有融合区域,表明该图像是原始图像,没有经过伪造处理,因此,也可以称为真图像。
计算设备406包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境、云平台中的虚拟机或其他计算设备等。
计算设备406接收待检测图像402。该待检测图像402可以是任意合适的图像。通过将待检测图像402输入神经网络模型108可以确定出图像融合区域的检测结果112。然后利用该检测结果112,来确定待检测图像的类型404。例如可用于确定图像是真图像还是假图像,即该图像是原始图像还是经过融合处理的融合图像。
上面结合图4描述了本公开的多个实施例能够在其中实现的环境400的示意图。下面结合图5详细描述处理图像数据的过程。图5示出了根据本公开的一些实施例的用于处理图像数据的方法500的流程图。图5中的方法500可以图4中的计算设备406或其它任意合适的设备来执行。
在框502处,计算设备406将待检测图像402输入根据前述的方法得到的更新的神经网络模型108,以获取待检测图像402中的图像融合区域的检测结果112。在获得训练好的神经网络模型108后,可以直接将各种图像输入该神经网络模型108以进行检测。
在框504处,计算设备406根据检测结果112,确定待检测图像的类型404。计算设备406利用神经网络模型108来检测待检测图像402以得到检测结果112。利用该检测结果112,计算设备406可以确定待检测图像402是真图像还是假图像。
在一些实施例中如果检测结果112指示待检测图像402中存在图像融合区域,计算设备406则将待检测图像402确定为融合图像,表明该图像是伪造的假图像。如果检测结果112指示待检测图像402中不存在图像融合区域,计算设备406则将待检测图像402确定为原始图像,表明该图像是没有经过伪造的真图像。通过上述方式,可以快速的确定出图像是否是被伪造的,提高了图像检测效率。
通过上述方法,可以快速的确定出图像是否被修改过,并且由于该方法对生成伪造图像部分的技术的不敏感,增加了使用范围,提高了检测效率。
上面结合图5描述了根据本公开的一些实施例的用于处理图像数据的方法500的流程图。下面结合图6描述用于模型更新的一个示例。图6示根据本公开的一些实施例的用于模型更新的过程600的示意图。
如图6所示,该过程600用于利用融合的人脸图像来训练神经网络模型108。在该过程中,计算设备106获取两张两含人脸的图像:人脸图像A 602和人脸图像B 608。然后对两张图像的人脸图像的进行特征点检测以得到被标记的人脸图像A 604和被标记的人脸图像B 606。因此,被标记的人脸图像A604和被标记的人脸图像B606形成待融合的图像对614。然后确定图像A中要被替换的第一区域104。例如如果将第一区域104设置为眼睛和嘴巴之间的区域,由左右两只眼睛的特征点和嘴巴的特征点在人脸图像A中形成第一区域104,从而确定出第一图像部分。同样也可以从被标记的人脸图像B606中确定对与第一区域104相对应的第二图像部分。然后将被标记的人脸图像A604的第一区域104内的第一图像部分替换为被标记的人脸图像B 606的第二图像部分。然后对替换后的图像进行融合处理以得到融合的人脸图像AB 618。
然后将融合的人脸图像AB 618输入神经网络模型108以检测融合的人脸图像AB618的图像融合区域的检测结果112,该检测结果112用于标识融合的人脸图像AB 618中的融合区域。该检测结果112以矩阵的形式表示,该矩阵中的每个元素与融合的人脸图像AB618中的每个像素相对应。矩阵中的值表示对应像素的像素值被调整过的概率。如果没有被调整过,则为0;如果被调整过,则为1。上述示例仅是用于描述本公开,而非对本公开的具体限定。
计算设备106还会根据选择好的第一区域104确定区域边缘610。该边缘体现在与人脸像A 602的大小相对应的边缘图上。该边缘图中对应于标记区域边缘部分的元素的值标记为1,不是边缘的标记为0。然后通过高斯模糊来处理第一区域的边缘,以得到第一区域104的扩展结果110。然后将检测结果与扩展结果110进行比对620,例如通过上式1确定比对值V,如果V大于预定阈值,则重新调整神经网络模型108的参数。如果V小于预定阈值,则对该对图像的训练结束。
通过上述方法,可以快速的生成融合图像,并且更加快速准确的训练神经网络模型,并且减少了数据计算量,提高了图像数据检测效率。
图7示出了根据本公开实施例的模型更新装置的示意性框图。如图7所示,装置700包括训练图像获取模块702,被配置为获取用于训练神经网络模型的训练图像,训练图像至少包括图像融合区域,图像融合区域是通过将原始图像的第一区域中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的,第一图像部分和第二图像部分均对应于相同的目标部位。装置700还包括检测结果获取模块704,被配置为将训练图像输入用于检测图像融合区域的神经网络模型,以获取训练图像中的图像融合区域的检测结果。装置700还包括扩展结果确定模块706,被配置为确定原始图像中的第一区域的边缘的扩展结果。装置700还包括调整模块708,被配置为基于检测结果和扩展结果来调整神经网络模型的参数,以更新神经网络模型。
在一些实施例中,其中训练图像获取模块702包括原始图像获取模块,被配置为获取原始图像;第一图像部分确定模块,被配置为确定原始图像中的第一图像部分;替换模块,被配置为将原始图像中的第一图像部分替换为第二图像部分;以及融合处理模块,被配置为对原始图像中的剩余图像部分与第二图像部分进行融合处理,以生成训练图像。
在一些实施例中,其中第一图像部分确定模块包括特征点检测模块,被配置为对原始图像中的目标部位进行特征点检测,以获得与目标部位相关联的特征点集合;以及第一区域确定模块,被配置为基于特征点集合确定第一区域;以及第二图像部分确定模块,被配置为将图像在第一区域内的部分确定为第一图像部分。
在一些实施例中,其中扩展结果确定模块706包括边缘确定模块,被配置为确定第一区域的边缘;以及平滑处理模块,被配置为对边缘进行平滑处理来确定边缘的扩展结果。
在一些实施例中,其中调整模块708包括差异确定模块,被配置为确定检测结果和扩展结果的差异;以及参数调整模块,被配置为基于差异来调整神经网络模型的参数。
图8示出了根据本公开实施例的用于检测图像的装置800的示意性框图。如图8所示,装置800包括输入模块802,被配置为将待检测图像输入根据模型更新方法更新的神经网络模型,以获取待检测图像中的图像融合区域的检测结果。装置800还包括类型确定模块804,被配置为根据检测结果,确定待检测图像的类型,该类型指示所述待检测图像是融合图像或原始图像。
在一些实施例中,其中类型确定模块804包括融合图像确定模块,被配置为如果检测结果指示待检测图像中存在图像融合区域,则将待检测图像确定为融合图像;以及原始图像确定模块,被配置为如果检测结果指示待检测图像中不存在图像融合区域,则将待检测图像确定为原始图像。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
图9示出了可以用来实施本公开的实施例的电子设备900的示意性框图。设备900可以用于实现图1中的计算设备106和图4中的计算设备406。如图所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令,来执行各种适当的动作和处理。在RAM903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口1005也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如方法200、300和500。例如,在一些实施例中,方法200、300和500可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的方法200、300和500的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法200、300和500。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (18)

1.一种模型更新方法,包括:
获取用于训练神经网络模型的训练图像,所述训练图像至少包括图像融合区域,所述图像融合区域是通过将原始图像的第一区域中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的,所述第一图像部分和所述第二图像部分均对应于相同的目标部位;
将所述训练图像输入用于检测图像融合区域的神经网络模型,以获取所述训练图像中的所述图像融合区域的检测结果;
确定所述原始图像中的所述第一区域的边缘的扩展结果;以及
基于所述检测结果和所述扩展结果来调整所述神经网络模型的参数,以更新所述神经网络模型。
2.根据权利要求1所述的方法,其中获取所述训练图像包括:
获取所述原始图像;
确定所述原始图像中的第一图像部分;
将所述原始图像中的所述第一图像部分替换为所述第二图像部分;以及
对所述原始图像中的所述剩余图像部分与所述第二图像部分进行融合处理,以生成所述训练图像。
3.根据权利要求2所述的方法,其中确定所述第一图像部分包括:
对所述原始图像中的所述目标部位进行特征点检测,以获得与所述目标部位相关联的特征点集合;以及
基于所述特征点集合确定所述第一区域;以及
将所述图像在所述第一区域内的部分确定为所述第一图像部分。
4.根据权利要求1所述的方法,其中确定所述扩展结果包括:
确定所述第一区域的所述边缘;以及
对所述边缘进行平滑处理来确定所述边缘的所述扩展结果。
5.根据权利要求1所述的方法,其中调整所述神经网络模型的参数包括:
确定所述检测结果和所述扩展结果的差异;以及
基于所述差异来调整所述神经网络模型的参数。
6.一种用于检测图像的方法,包括:
将所述待检测图像输入根据权利要求1所述的方法更新的神经网络模型,以获取所述待检测图像中的图像融合区域的检测结果;以及
根据所述检测结果,确定所述待检测图像的类型,所述类型指示所述待检测图像是融合图像或原始图像。
7.根据权利要求6所述的方法,其中确定所述待检测图像的类型包括:
如果所述检测结果指示所述待检测图像中存在所述图像融合区域,则将所述待检测图像确定为融合图像;以及
如果所述检测结果指示所述待检测图像中不存在所述图像融合区域,则将所述待检测图像确定为原始图像。
8.一种模型更新装置,包括:
训练图像获取模块,被配置为获取用于训练神经网络模型的训练图像,所述训练图像至少包括图像融合区域,所述图像融合区域是通过将原始图像的第一区域中的第一图像部分之外的剩余图像部分与参考图像的第二图像部分进行融合所得到的,所述第一图像部分和所述第二图像部分均对应于相同的目标部位;
检测结果获取模块,被配置为将所述训练图像输入用于检测图像融合区域的神经网络模型,以获取所述训练图像中的所述图像融合区域的检测结果;
扩展结果确定模块,被配置为确定所述原始图像中的所述第一区域的边缘的扩展结果;以及
调整模块,被配置为基于所述检测结果和所述扩展结果来调整所述神经网络模型的参数,以更新所述神经网络模型。
9.根据权利要求8所述的装置,其中所述训练图像获取模块包括:
原始图像获取模块,被配置为获取所述原始图像;
第一图像部分确定模块,被配置为确定所述原始图像中的第一图像部分;
替换模块,被配置为将所述原始图像中的所述第一图像部分替换为所述第二图像部分;以及
融合处理模块,被配置为对所述原始图像中的所述剩余图像部分与所述第二图像部分进行融合处理,以生成所述训练图像。
10.根据权利要求9所述的装置,其中所述第一图像部分确定模块包括:
特征点检测模块,被配置为对所述原始图像中的所述目标部位进行特征点检测,以获得与所述目标部位相关联的特征点集合;以及
第一区域确定模块,被配置为基于所述特征点集合确定所述第一区域;以及
第二图像部分确定模块,被配置为将所述图像在所述第一区域内的部分确定为所述第一图像部分。
11.根据权利要求8所述的装置,其中所述扩展结果确定模块包括:
边缘确定模块,被配置为确定所述第一区域的所述边缘;以及
平滑处理模块,被配置为对所述边缘进行平滑处理来确定所述边缘的所述扩展结果。
12.根据权利要求8所述的方法,其中所述调整模块包括:
差异确定模块,被配置为确定所述检测结果和所述扩展结果的差异;以及
参数调整模块,被配置为基于所述差异来调整所述神经网络模型的参数。
13.一种用于检测图像的装置,包括:
输入模块,被配置为将所述待检测图像输入根据权利要求1所述的方法更新的神经网络模型,以获取所述待检测图像中的图像融合区域的检测结果;以及
类型确定模块,被配置为根据所述检测结果,确定所述待检测图像的类型,所述类型指示所述待检测图像是融合图像或原始图像。
14.根据权利要求13所述的装置,其中所述类型确定模块包括:
融合图像确定模块,被配置为如果所述检测结果指示所述待检测图像中存在所述图像融合区域,则将所述待检测图像确定为融合图像;以及
原始图像确定模块,被配置为如果所述检测结果指示所述待检测图像中不存在所述图像融合区域,则将所述待检测图像确定为原始图像。
15.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
16.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求6-7中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求6-7中任一项所述的方法。
CN202010569138.9A 2020-06-19 2020-06-19 用于模型更新和检测图像的方法、装置、设备和介质 Pending CN111739046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010569138.9A CN111739046A (zh) 2020-06-19 2020-06-19 用于模型更新和检测图像的方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010569138.9A CN111739046A (zh) 2020-06-19 2020-06-19 用于模型更新和检测图像的方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN111739046A true CN111739046A (zh) 2020-10-02

Family

ID=72651958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010569138.9A Pending CN111739046A (zh) 2020-06-19 2020-06-19 用于模型更新和检测图像的方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111739046A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139463A (zh) * 2021-04-23 2021-07-20 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567987A (zh) * 2011-11-28 2012-07-11 贵州大学 图像合成篡改中人工模糊操作痕迹的检测方法
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
JP2013205750A (ja) * 2012-03-29 2013-10-07 Toppan Printing Co Ltd 転写箔の製造方法及び転写箔
CN106447686A (zh) * 2016-09-09 2017-02-22 西北工业大学 一种基于快速有限剪切波变换的图像边缘检测方法
CN108154196A (zh) * 2018-01-19 2018-06-12 百度在线网络技术(北京)有限公司 用于输出图像的方法和装置
CN108229331A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
CN109670491A (zh) * 2019-02-25 2019-04-23 百度在线网络技术(北京)有限公司 鉴别人脸图像的方法、装置、设备和存储介质
WO2019084825A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 图像处理方法、设备及无人机
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110245612A (zh) * 2019-06-14 2019-09-17 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110599435A (zh) * 2019-09-04 2019-12-20 精英数智科技股份有限公司 一种图像合成的方法、装置、设备和存储介质
WO2020000908A1 (zh) * 2018-06-29 2020-01-02 汉王科技股份有限公司 一种人脸活体检测方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567987A (zh) * 2011-11-28 2012-07-11 贵州大学 图像合成篡改中人工模糊操作痕迹的检测方法
WO2013131407A1 (zh) * 2012-03-08 2013-09-12 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
JP2013205750A (ja) * 2012-03-29 2013-10-07 Toppan Printing Co Ltd 転写箔の製造方法及び転写箔
CN106447686A (zh) * 2016-09-09 2017-02-22 西北工业大学 一种基于快速有限剪切波变换的图像边缘检测方法
CN108229328A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
CN108229331A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
WO2019084825A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 图像处理方法、设备及无人机
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108154196A (zh) * 2018-01-19 2018-06-12 百度在线网络技术(北京)有限公司 用于输出图像的方法和装置
WO2020000908A1 (zh) * 2018-06-29 2020-01-02 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN109670491A (zh) * 2019-02-25 2019-04-23 百度在线网络技术(北京)有限公司 鉴别人脸图像的方法、装置、设备和存储介质
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110245612A (zh) * 2019-06-14 2019-09-17 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110599435A (zh) * 2019-09-04 2019-12-20 精英数智科技股份有限公司 一种图像合成的方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LINGZHI LI ET AL.: "Face X-ray for More General Face Forgery Detection", 《HTTPS://ARXIV.ORG/ABS/1912.13458V2》, pages 1 - 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139463A (zh) * 2021-04-23 2021-07-20 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113139463B (zh) * 2021-04-23 2022-05-13 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品

Similar Documents

Publication Publication Date Title
CN111241989B (zh) 图像识别方法及装置、电子设备
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN106447592B (zh) 每个特征描述符的在线个性化服务
CN113128271A (zh) 脸部图像的伪造检测
CN108229673B (zh) 卷积神经网络的处理方法、装置和电子设备
US11756288B2 (en) Image processing method and apparatus, electronic device and storage medium
CN110852257B (zh) 一种人脸关键点的检测方法、装置及存储介质
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN109544516B (zh) 图像检测方法及装置
KR20150077184A (ko) 의료 영상의 병변 유사도 판단 장치 및 방법
CN115631397A (zh) 一种基于双模态图像的目标检测方法及装置
CN109447021B (zh) 一种属性检测方法及属性检测装置
CN109712134B (zh) 虹膜图像质量评价方法、装置及电子设备
CN115393625A (zh) 从粗略标记进行图像分段的半监督式训练
CN111739046A (zh) 用于模型更新和检测图像的方法、装置、设备和介质
CN111626244B (zh) 图像识别方法、装置、电子设备和介质
CN111247517A (zh) 一种图像处理方法、装置及系统
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN112200109A (zh) 面部属性识别方法、电子设备以及计算机可读存储介质
Hao et al. Iris segmentation using feature channel optimization for noisy environments
CN111126566A (zh) 基于gan模型的异常家具布局数据检测方法
US11983241B2 (en) Method and system for training a neural network
CN115205956A (zh) 左右眼检测模型训练方法、识别左右眼的方法及装置
WO2020101036A1 (ja) 教師信号生成装置、モデル生成装置、物体検出装置、教師信号生成方法、モデル生成方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination