CN111753729A - 一种假脸检测方法、装置、电子设备及存储介质 - Google Patents

一种假脸检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111753729A
CN111753729A CN202010589398.2A CN202010589398A CN111753729A CN 111753729 A CN111753729 A CN 111753729A CN 202010589398 A CN202010589398 A CN 202010589398A CN 111753729 A CN111753729 A CN 111753729A
Authority
CN
China
Prior art keywords
image
sample image
face
loss value
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010589398.2A
Other languages
English (en)
Other versions
CN111753729B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Xinxin Science And Technology Innovation Information Technology Co ltd
Xi'an Xinxin Zhixing Technology Co ltd
Original Assignee
Xi'an Xinxin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xinxin Information Technology Co ltd filed Critical Xi'an Xinxin Information Technology Co ltd
Priority to CN202010589398.2A priority Critical patent/CN111753729B/zh
Publication of CN111753729A publication Critical patent/CN111753729A/zh
Application granted granted Critical
Publication of CN111753729B publication Critical patent/CN111753729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种假脸检测方法、装置、电子设备及存储介质；该方法包括：获取待检测假脸的目标图像；将目标图像输入至网络模型，使网络模型输出目标图像的假脸检测结果；该网络模型根据多个样本图像以及每个样本图像对应的标注信息训练获得；该标注信息包括：表征样本图像与对应的参考图像之间差异的脸部差异图；该网络模型中包含有预测目标图像对应的脸部差异图的网络结构；任一样本图像为一个正样本图像或一个负样本图像；正样本图像对应的参考图像为本身；负样本图像是通过对正样本图像中的脸部进行模拟深度伪造所构建的，负样本图像对应的参考图像为构建负样本图像时所使用的正样本图像。本发明可以对噪声较多的图像实现有效的假脸检测。

Description

一种假脸检测方法、装置、电子设备及存储介质
技术领域
本发明属于数字图像处理技术领域，具体涉及一种假脸检测方法、装置、电子设备及存储介质。
背景技术
深度伪造假脸是指利用深度学习的技术来合成或生成的具有欺骗性的图像，这里所说的图像包括图片和视频。随着深度伪造技术的不断发展，互联网上出现了大量有关深度伪造的负面应用，伪造图片和伪造视频的泛滥，带来了诸多的负面影响。因此，有必要对图像进行假脸检测。
相关技术中，有通过检测图像中的脸部轮廓线来实现假脸检测的方法；该方法中，将从图像中检测到的轮廓线输入至预先训练完成的CNN(Convolutional Neural Network，卷积神经网络)模型，由CNN模型输出图像中是否包含有假脸的检测结果。
然而，图像中的脸部轮廓线易受图像噪声的干扰，从而会影响CNN模型输出的检测结果的准确度。因此，相关技术的方案无法对噪声较多的图像实现有效的假脸检测。
发明内容
为了对噪声较多的图像实现有效的假脸检测，本发明提供了一种假脸检测方法、装置、电子设备及存储。
本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供了一种假脸检测方法，包括：
获取待检测假脸的目标图像；
将所述目标图像输入至预先训练完成的网络模型，以使所述网络模型输出所述目标图像的假脸检测结果；
其中，所述网络模型是根据多个样本图像以及每个所述样本图像对应的标注信息所训练获得的；任一所述样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图；所述网络模型中包含有预测所述目标图像对应的脸部差异图的网络结构；
任一所述样本图像为一个正样本图像或一个负样本图像；
每一所述正样本图像对应的参考图像为该正样本图像本身；
任一所述负样本图像是通过对一个正样本图像中的脸部进行模拟深度伪造所构建的图像，该负样本图像对应的参考图像为构建该负样本图像时所使用的正样本图像。
可选地，所述网络模型包括依次连接的U-net子网络和EfficientNet子网络；
所述将所述目标图像输入至预先训练完成的网络模型，以使所述网络模型输出所述目标图像的假脸检测结果的步骤，包括：
将所述目标图像输入至所述U-net子网络，以使所述U-net子网络预测所述目标图像对应的脸部差异图，并使所述目标图像对应的脸部差异图通过所述EfficientNet子网络，得到所述目标图像包含有假脸的概率，作为所述目标图像的假脸检测结果。
可选地，所述网络模型的训练过程包括：
获取多个样本图像以及每个所述样本图像对应的标注信息；
将所述样本图像输入至所述U-net子网络，以使所述U-net子网络预测所述样本图像对应的脸部差异图，并使所述样本图像对应的脸部差异图通过所述EfficientNet子网络，得到所述样本图像包含有假脸的概率；
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，并基于第一预设概率、第二预设概率以及所述EfficientNet子网络输出的概率，计算第二损失值；其中，所述第一预设概率为所述正样本图像对应的预设概率，所述第二预设概率为所述负样本图像对应的预设概率；
基于所述第一损失值和所述第二损失值计算总损失值；
当所述第一损失值、所述第二损失值以及所述总损失值分别小于对应的预设阈值时，结束训练，得到训练完成的所述网络模型。
可选地，所述基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，包括：
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图的Dice系数，计算第一损失值。
可选地，计算所述第二损失值的损失函数为二元交叉熵损失函数；
所述基于所述第一损失值和所述第二损失值计算总损失值，包括：
按照预设的权重配比，求取所述第一损失值和所述第二损失值的加权和，作为总损失值。
可选地，所述获取多个样本图像以及每个所述样本图像对应的标注信息的步骤，包括：
获取多个正样本图像；
将所述多个正样本图像输入至预设算法，通过所述算法实现下述步骤：
构建全0像素的脸部差异图，作为所述正样本图像对应的标注信息；
从所述多个正样本图像中随机选取一半正样本图像，并使用选取的正样本图像构建负样本图像；
基于每个所述负样本图像与对应的参考图像的均方误差，构建每个负样本图像对应的标注信息。
可选地，任一所述负样本图像的构建方式包括：
获取一个正样本图像，并确定该正样本图像中的脸部所在的目标矩形区域；
获取一个替换脸图像；
将所述替换脸图像的尺寸变换为与所述目标矩形区域匹配的尺寸；
对尺寸变换后的所述替换脸图像进行高斯模糊处理；
用高斯模糊处理后的所述替换脸图像的图像内容替换所述目标矩形区域中的图像内容，得到一个负样本图像。
第二方面，本发明提供了一种假脸检测装置，包括：
获取模块，用于获取待检测假脸的目标图像；
模型应用模块，用于将所述目标图像输入至预先训练完成的网络模型，以使所述网络模型输出所述目标图像的假脸检测结果；
其中，所述网络模型是根据多个样本图像以及每个所述样本图像对应的标注信息所训练获得的；任一所述样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图；所述网络模型中包含有预测所述目标图像对应的脸部差异图的网络结构；
任一所述样本图像为一个正样本图像或一个负样本图像；
每一所述正样本图像对应的参考图像为该正样本图像本身；
任一所述负样本图像是通过对一个正样本图像中的脸部进行模拟深度伪造所构建的图像，该负样本图像对应的参考图像为构建该负样本图像时所使用的正样本图像。
可选地，所述网络模型包括依次连接的U-net子网络和EfficientNet子网络；
所述模型应用模块，具体用于：
将所述目标图像输入至所述U-net子网络，以使所述U-net子网络预测所述目标图像对应的脸部差异图，并使所述目标图像对应的脸部差异图通过所述EfficientNet子网络，得到所述目标图像包含有假脸的概率，作为所述目标图像的假脸检测结果。
可选地，所述网络模型的训练过程包括：
获取多个样本图像以及每个所述样本图像对应的标注信息；
将所述样本图像输入至所述U-net子网络，以使所述U-net子网络预测所述样本图像对应的脸部差异图，并使所述样本图像对应的脸部差异图通过所述EfficientNet子网络，得到所述样本图像包含有假脸的概率；
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，并基于第一预设概率、第二预设概率以及所述EfficientNet子网络输出的概率，计算第二损失值；其中，所述第一预设概率为所述正样本图像对应的预设概率，所述第二预设概率为所述负样本图像对应的预设概率；
基于所述第一损失值和所述第二损失值计算总损失值；
当所述第一损失值、所述第二损失值以及所述总损失值分别小于对应的预设阈值时，结束训练，得到训练完成的所述网络模型。
可选地，所述基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，包括：
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图的Dice系数，计算第一损失值。
可选地，计算所述第二损失值的损失函数为二元交叉熵损失函数；
所述基于所述第一损失值和所述第二损失值计算总损失值，包括：
按照预设的权重配比，求取所述第一损失值和所述第二损失值的加权和，作为总损失值。
可选地，所述获取多个样本图像以及每个所述样本图像对应的标注信息，包括：
获取多个正样本图像；
将所述多个正样本图像输入至预设算法，通过所述算法实现下述步骤：
构建全0像素的脸部差异图，作为所述正样本图像对应的标注信息；
从所述多个正样本图像中随机选取一半正样本图像，并使用选取的正样本图像构建负样本图像；
基于每个所述负样本图像与对应的参考图像的均方误差，构建每个负样本图像对应的标注信息。
可选地，任一所述负样本图像的构建方式包括：
获取一个正样本图像，并确定该正样本图像中的脸部所在的目标矩形区域；
获取一个替换脸图像；
将所述替换脸图像的尺寸变换为与所述目标矩形区域匹配的尺寸；
对尺寸变换后的所述替换脸图像进行高斯模糊处理；
用高斯模糊处理后的所述替换脸图像的图像内容替换所述目标矩形区域中的图像内容，得到一个负样本图像。
第三方面，本发明提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一假脸检测方法所述的方法步骤。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一假脸检测方法所述的方法步骤。
在本发明的又一方面中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一假脸检测方法所述的方法步骤。
本发明提供的假脸检测方法中，通过一网络模型检测目标图像中是否存在有假脸。该网络模型根据多个样本图像以及每个样本图像对应的标注信息所训练获得，每一样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图。其中，样本图像包括正样本图像和负样本图像；正样本图像对应的参考图像为正样本图像本身；负样本图像是通过对正样本图像中的脸部进行模拟深度伪造所构建的，且负样本图像对应的参考图像为构建负样本图像时所使用的正样本图像。这样，将待检测假脸的目标图像输入至训练完成的网络模型，该网络模型便可以预测目标图像对应的脸部差异图，从而可以基于该脸部差异图，确定并输出目标图像的假脸检测结果。由于脸部差异图相较于脸部轮廓线受噪声干扰的影响较小，故而本发明可以对噪声较多的图像实现有效的假脸检测。
以下将结合附图及对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种假脸检测方法的流程示意图；
图2是本发明实施例提供的训练网络模型的过程示意图；
图3是示例性示出的一个正样本图像对应的脸部差异图和一个负样本图像对应的脸部差异图；
图4是将图3中两个脸部差异图分别对应的负样本图像和正样本图像输入到U-net子网络中后，U-net子网络分别预测的负样本图像及正样本图像的脸部差异图；
图5是本发明实施例提供的一种假脸检测装置的结构示意图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
为了对噪声较多的图像实现有效的假脸检测，本发明实施例提供了一种假脸检测方法、装置、电子设备及存储介质。其中，本发明实施例提供的假脸检测方法的执行主体为本发明实施例提供的假脸检测装置；该装置可以应用于电子设备中。在具体应用中，该电子设备可以是监控设备、计算机、智能移动终端或服务器等，在此不作限定；任何可以应用本发明实施例提供的假脸检测方法的电子设备，均属于本发明实施例的保护范围。
首先，对本发明实施例提供的一种假脸检测方法进行详细说明。如图1所示，该方法可以包括以下步骤：
S101：获取待检测假脸的目标图像。
这里，目标图像可以是图片，也可以是从视频中截取的视频帧。该步骤中，目标图像可以通过手动导入的方式进入到假脸检测装置所在的电子设备中；或者，产生目标图像的设备可以与假脸检测装置所在的电子设备相连，此时，目标图像一经产生，即可以直接进入假脸检测装置所在的电子设备中。其中，产生目标图像的设备如照相机、摄像机或摄像头等等。或者，产生目标图像的设备可以与假脸检测装置所在的电子设备是同一电子设备，如具有假脸检测功能的手机。
S102：将目标图像输入至预先训练完成的网络模型，以使网络模型输出目标图像的假脸检测结果；其中，该网络模型是根据多个样本图像以及每个样本图像对应的标注信息所训练获得的；任一样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图；该网络模型中包含有预测目标图像对应的脸部差异图的网络结构。
任一样本图像为一个正样本图像或一个负样本图像；每一正样本图像对应的参考图像为该正样本图像本身。任一负样本图像是通过对一个正样本图像中的脸部进行模拟深度伪造所构建的图像，该负样本图像对应的参考图像为构建该负样本图像时所使用的正样本图像。
由于深度伪造的方式是采用编解码网络结构来产生图像的，而编解码网络结构限制了输出图像的大小，因此编解码网络输出的替换脸图像的分辨率往往都是固定不变的，与待换脸的原始图像的分辨率往往不一致。因此，当用替换脸图像替换原始图像中的脸部时，还需要对替换脸图像进行仿射变换和高斯模糊，从而导致换脸后的假脸图像的分辨率不一致。本发明实施例中，模拟深度伪造的方式，主要模拟的是按照深度伪造的方式所产生的图像分辨率不均匀这一特性。也就是说，本发明实施例所构建的负样本图像的分辨率是不均匀的，这一特性与按照深度伪造的方式所产生的假脸图像相似。
可以理解的是，训练该网络模型时，每个样本图像均对应有一个脸部差异图，故而该网络模型训练完成后，给网络模型输入一个目标图像，网络模型即可预测目标图像对应的脸部差异图，从而基于该脸部差异图来确定目标图像中是否包含有假脸，进而输出目标图像的假脸检测结果。
可选地，上述的网络模型可以包括依次连接的U-net子网络和EfficientNet子网络。其中，U-net是一种语义分割网络，EfficientNet是谷歌提出的一种多维度混合的模型放缩方法。
相应的，步骤S102具体可以包括：
将目标图像输入至U-net子网络，以使U-net子网络预测目标图像对应的脸部差异图，并使目标图像对应的脸部差异图通过EfficientNet子网络，得到目标图像包含有假脸的概率，作为目标图像的假脸检测结果。
可以理解的是，仅根据U-net子网络预测的目标图像对应的脸部差异图，也是可以确定目标图像中是否包含有假脸的；例如，通过统计目标图像对应的脸部差异图中的像素的方式来确定目标图像中是否包含有假脸等等。本发明实施例中，为了提高整个网络模型所输出的检测结果的准确性，在U-net子网络后连接了EfficientNet子网络，从而得到更为准确的假脸检测结果。
为了方案更加清楚，下面对网络模型的训练过程进行详细说明。如图2所示，该网络模型的训练过程可以包括以下步骤：
S201：获取多个样本图像以及每个样本图像对应的标注信息。
这里，多个样本图像以及每个样本图像对应的标注信息可以是人工预先构建的。
或者，在一种优选实现方式中，可以采用自监督学习的方式构建样本图像以及标注样本图像的标注信息。为了方案布局清晰，后续对采用自监督学习的方式构建样本图像以及标注样本图像的标注信息的具体实现方式进行举例说明。
S202：将样本图像输入至U-net子网络，以使U-net子网络预测样本图像对应的脸部差异图，并使样本图像对应的脸部差异图通过EfficientNet子网络，得到样本图像包含有假脸的概率。
该步骤S202与上述的步骤S102相似，故不再进行赘述。
S203：基于标注信息中包含的脸部差异图以及U-net子网络预测的脸部差异图之间的差异，计算第一损失值，并基于第一预设概率、第二预设概率以及EfficientNet子网络输出的概率，计算第二损失值。
其中，第一预设概率为正样本图像对应的预设概率，第二预设概率为负样本图像对应的预设概率。例如，第一预设概率可以为1，第二预设概率可以为0。
该步骤中，基于标注信息中包含的脸部差异图以及U-net子网络预测的脸部差异图之间的差异，计算第一损失值，具体可以是基于标注信息中包含的脸部差异图以及U-net子网络预测的脸部差异图的Dice系数，计算第一损失值。该Dice系数用于表征两个样本之间的相似度，具体到本发明实施例中，Dice系数表征的是两个脸部差异图之间的相似度；Dice系数的计算公式如下：
Figure BDA0002555809850000121
其中，A代表U-net子网络预测的脸部差异图，B代表标注信息中包含的脸部差异图，符号∩代表求取A与B的交集；La代表Dice系数。
在实际应用中，每把一个样本图像输入到训练中的网络模型，该网络模型便可以预测出该样本图像对应的脸部差异图，并得到该样本图像包含有假脸的概率。因此，每把一个样本图像输入到训练中的网络模型后，都可以计算一次第一损失值和第二损失值。在具体计算时，可以基于之前参与训练的所有样本图像来计算；也就是说，假设每个样本图像的标注信息中包含的脸部差异图以及U-net子网络预测的该样本图像对应的脸部差异图之间的损失表示为La，每个样本图像的标注信息中包含的概率与EfficientNet子网络输出的该样本图像包含有假脸的概率之间的损失为Lb，那么第一损失值可以表示为
Figure BDA0002555809850000122
第二损失值可以表示为
Figure BDA0002555809850000123
n为之前参与了训练的样本图像的个数。
另外，计算第二损失值的损失函数可以采用二元交叉熵损失函数，当然，并不局限于此。该二元交叉熵损失函数的计算公式如下：
Figure BDA0002555809850000124
其中，y代表EfficientNet子网络输出的任一样本图像包含有假脸的概率；
Figure BDA0002555809850000125
等于第一预设概率或第二预设概率，具体数值取决于该样本图像是正样本图像或负样本图像。
S204：基于第一损失值和第二损失值计算总损失值。
这里，基于第一损失值和第二损失值计算总损失值的具体实现方式存在多种。示例性的，可以求取第一损失值和第二损失值的和，将和值作为总损失值，此时，该总损失值可以表示为
Figure BDA0002555809850000131
在另一种实现方式中，可以按照预设的权重配比，求取第一损失值和第二损失值的加权和，作为总损失值，此时，该损失值可以表示为
Figure BDA0002555809850000132
其中，λ1为第一损失值对应的权重因子，λ2为第二损失值对应的权重因子。示例性的，λ1可以设置为0.9，λ2可以设置为0.1。
S205：当第一损失值、第二损失值以及总损失值分别小于对应的预设阈值时，结束训练，得到训练完成的网络模型。
可以理解的是，当第一损失值、第二损失值以及总损失值分别小于对应的预设阈值的条件不满足时，可以调整网络模型的模型参数，返回步骤S202继续训练。
下面，对采用自监督学习的方式构建样本图像以及标注样本图像的标注信息的具体实现方式进行举例说明。示例性的，此时步骤S201具体可以包括：
Sa：获取多个正样本图像。
Sb：将多个正样本图像输入至预设算法，通过该算法实现下述步骤：
Sb1：构建全0像素的脸部差异图，作为正样本图像对应的标注信息；
Sb2：从多个正样本图像中随机选取一半正样本图像，并使用选取的正样本图像构建负样本图像；
Sb3：基于每个负样本图像与对应的参考图像的均方误差，构建每个负样本图像对应的标注信息。
在步骤Sb3中，基于每个负样本图像与对应的参考图像的均方误差，构建每个负样本图像对应的标注信息，具体是基于每个负样本图像的像素与对应的参考图像的像素的均方误差，构建每个负样本图像对应的标注信息。在实际应用中，负样本图像对应的脸部差异图可以为一个二值图像，即该二值图像的像素值仅包括0和255两种。可以理解的是，由于相同图像之间的均方误差为0，故而步骤Sb1中直接构建全0像素的脸部差异图作为正样本图像对应的脸部差异图。
图3示例性的示出了一个正样本图像对应的脸部差异图和一个负样本图像对应的脸部差异图，这两个脸部差异图分别是该正样本图像和该负样本图像的标注信息；图3中，左侧区域内的图像为该正样本图像对应的脸部差异图，右侧区域内的图像为该负样本图像对应的脸部差异图。图4则示例性的示出了将图3中两个脸部差异图分别对应的负样本图像和正样本图像输入到U-net子网络中后，U-net子网络分别预测的两个脸部差异图；图4中，左侧区域内的图像为将正样本图像输入到U-net子网络中后得到的脸部差异图，右侧区域内的图像为将负样本图像输入到U-net子网络中后得到的脸部差异图。
另外，在步骤Sb2中，构建每个负样本图像的方式可以参照下述步骤：
(1)获取一个正样本图像，并确定该正样本图像中的脸部所在的目标矩形区域。
(2)获取一个替换脸图像。
(3)将该替换脸图像的尺寸变换为与目标矩形区域匹配的尺寸。
(4)对尺寸变换后的替换脸图像进行高斯模糊处理。
(5)用高斯模糊处理后的替换脸图像的图像内容替换目标矩形区域中的图像内容，得到一个负样本图像。
可以理解的是，步骤(5)中得到的负样本图像中所显示的脸及是替换脸图像中所显示的脸。
本发明实施例提供的假脸检测方法中，通过一网络模型检测目标图像中是否存在有假脸。该网络模型根据多个样本图像以及每个样本图像对应的标注信息所训练获得，每一样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图。其中，样本图像包括正样本图像和负样本图像；正样本图像对应的参考图像为正样本图像本身；负样本图像是通过对正样本图像中的脸部进行模拟深度伪造所构建的，且负样本图像对应的参考图像为构建负样本图像时所使用的正样本图像。这样，将待检测假脸的目标图像输入至训练完成的网络模型，该网络模型可以预测目标图像对应的脸部差异图，从而可以基于该脸部差异图，确定并输出目标图像的假脸检测结果。由于脸部差异图相较于脸部轮廓线受噪声干扰的影响较小，故而本发明实施例可以对噪声较多的图像实现有效的假脸检测。
相应于上述的一种假脸检测方法，本发明实施例还提供了一种假脸检测装置，如图5所示，该装置可以包括：
获取模块501，用于获取待检测假脸的目标图像。
模型应用模块502，用于将所述目标图像输入至预先训练完成的网络模型，以使所述网络模型输出所述目标图像的假脸检测结果。
其中，所述网络模型是根据多个样本图像以及每个所述样本图像对应的标注信息所训练获得的；任一所述样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图；所述网络模型中包含有预测所述目标图像对应的脸部差异图的网络结构。任一所述样本图像为一个正样本图像或一个负样本图像；每一所述正样本图像对应的参考图像为该正样本图像本身；任一所述负样本图像是通过对一个正样本图像中的脸部进行模拟深度伪造所构建的图像，该负样本图像对应的参考图像为构建该负样本图像时所使用的正样本图像。
可选地，所述网络模型包括依次连接的U-net子网络和EfficientNet子网络；所述模型应用模块，具体用于：
将所述目标图像输入至所述U-net子网络，以使所述U-net子网络预测所述目标图像对应的脸部差异图，并使所述目标图像对应的脸部差异图通过所述EfficientNet子网络，得到所述目标图像包含有假脸的概率，作为所述目标图像的假脸检测结果。
可选地，所述网络模型的训练过程包括：
获取多个样本图像以及每个所述样本图像对应的标注信息；
将所述样本图像输入至所述U-net子网络，以使所述U-net子网络预测所述样本图像对应的脸部差异图，并使所述样本图像对应的脸部差异图通过所述EfficientNet子网络，得到所述样本图像包含有假脸的概率；
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，并基于第一预设概率、第二预设概率以及所述EfficientNet子网络输出的概率，计算第二损失值；其中，所述第一预设概率为所述正样本图像对应的预设概率，所述第二预设概率为所述负样本图像对应的预设概率；
基于所述第一损失值和所述第二损失值计算总损失值；
当所述第一损失值、所述第二损失值以及所述总损失值分别小于对应的预设阈值时，结束训练，得到训练完成的所述网络模型。
可选地，所述基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，包括：
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图的Dice系数，计算第一损失值。
可选地，计算所述第二损失值的损失函数为二元交叉熵损失函数；
所述基于所述第一损失值和所述第二损失值计算总损失值，包括：
按照预设的权重配比，求取所述第一损失值和所述第二损失值的加权和，作为总损失值。
可选地，所述获取多个样本图像以及每个所述样本图像对应的标注信息，包括：
获取多个正样本图像；
将所述多个正样本图像输入至预设算法，通过所述算法实现下述步骤：
构建全0像素的脸部差异图，作为所述正样本图像对应的标注信息；
从所述多个正样本图像中随机选取一半正样本图像，并使用选取的正样本图像构建负样本图像；
基于每个所述负样本图像与对应的参考图像的均方误差，构建每个负样本图像对应的标注信息。
可选地，任一所述负样本图像的构建方式包括：
获取一个正样本图像，并确定该正样本图像中的脸部所在的目标矩形区域；
获取一个替换脸图像；
将所述替换脸图像的尺寸变换为与所述目标矩形区域匹配的尺寸；
对尺寸变换后的所述替换脸图像进行高斯模糊处理；
用高斯模糊处理后的所述替换脸图像的图像内容替换所述目标矩形区域中的图像内容，得到一个负样本图像。
本发明实施例提供的假脸检测装置中，通过一网络模型检测目标图像中是否存在有假脸。该网络模型根据多个样本图像以及每个样本图像对应的标注信息所训练获得，每一样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图。其中，样本图像包括正样本图像和负样本图像；正样本图像对应的参考图像为正样本图像本身；负样本图像是通过对正样本图像中的脸部进行模拟深度伪造所构建的，且负样本图像对应的参考图像为构建负样本图像时所使用的正样本图像。这样，将待检测假脸的目标图像输入至训练完成的网络模型，该网络模型可以预测目标图像对应的脸部差异图，从而可以基于该脸部差异图，确定并输出目标图像的假脸检测结果。由于脸部差异图相较于脸部轮廓线受噪声干扰的影响较小，故而本发明实施例可以对噪声较多的图像实现有效的假脸检测。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述任一种假脸检测方法所述的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供了一种计算机可读存储介质。在该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，实现上述任一种假脸检测方法所述的方法步骤。
可选地，该计算机可读存储介质可以为非易失性存储器(Non-Volatile Memory，NVM)，例如为至少一个磁盘存储器。
可选的，所述计算机可读存储器还可以是至少一个位于远离前述处理器的存储装置。
在本发明的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一假脸检测方法所述的方法步骤。
需要说明的是，对于装置/电子设备/存储介质/计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种假脸检测方法，其特征在于，包括：
获取待检测假脸的目标图像；
将所述目标图像输入至预先训练完成的网络模型，以使所述网络模型输出所述目标图像的假脸检测结果；
其中，所述网络模型是根据多个样本图像以及每个所述样本图像对应的标注信息所训练获得的；任一所述样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图；所述网络模型中包含有预测所述目标图像对应的脸部差异图的网络结构；
任一所述样本图像为一个正样本图像或一个负样本图像；
每一所述正样本图像对应的参考图像为该正样本图像本身；
任一所述负样本图像是通过对一个正样本图像中的脸部进行模拟深度伪造所构建的图像，该负样本图像对应的参考图像为构建该负样本图像时所使用的正样本图像。
2.根据权利要求1所述的方法，其特征在于，所述网络模型包括依次连接的U-net子网络和EfficientNet子网络；
所述将所述目标图像输入至预先训练完成的网络模型，以使所述网络模型输出所述目标图像的假脸检测结果的步骤，包括：
将所述目标图像输入至所述U-net子网络，以使所述U-net子网络预测所述目标图像对应的脸部差异图，并使所述目标图像对应的脸部差异图通过所述EfficientNet子网络，得到所述目标图像包含有假脸的概率，作为所述目标图像的假脸检测结果。
3.根据权利要求2所述的方法，其特征在于，所述网络模型的训练过程包括：
获取多个样本图像以及每个所述样本图像对应的标注信息；
将所述样本图像输入至所述U-net子网络，以使所述U-net子网络预测所述样本图像对应的脸部差异图，并使所述样本图像对应的脸部差异图通过所述EfficientNet子网络，得到所述样本图像包含有假脸的概率；
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，并基于第一预设概率、第二预设概率以及所述EfficientNet子网络输出的概率，计算第二损失值；其中，所述第一预设概率为所述正样本图像对应的预设概率，所述第二预设概率为所述负样本图像对应的预设概率；
基于所述第一损失值和所述第二损失值计算总损失值；
当所述第一损失值、所述第二损失值以及所述总损失值分别小于对应的预设阈值时，结束训练，得到训练完成的所述网络模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图之间的差异，计算第一损失值，包括：
基于所述标注信息中包含的脸部差异图以及所述U-net子网络预测的脸部差异图的Dice系数，计算第一损失值。
5.根据权利要求4所述的方法，其特征在于，计算所述第二损失值的损失函数为二元交叉熵损失函数；
所述基于所述第一损失值和所述第二损失值计算总损失值，包括：
按照预设的权重配比，求取所述第一损失值和所述第二损失值的加权和，作为总损失值。
6.根据权利要求3所述的方法，其特征在于，所述获取多个样本图像以及每个所述样本图像对应的标注信息的步骤，包括：
获取多个正样本图像；
将所述多个正样本图像输入至预设算法，通过所述算法实现下述步骤：
构建全0像素的脸部差异图，作为所述正样本图像对应的标注信息；
从所述多个正样本图像中随机选取一半正样本图像，并使用选取的正样本图像构建负样本图像；
基于每个所述负样本图像与对应的参考图像的均方误差，构建每个负样本图像对应的标注信息。
7.根据权利要求1或6所述的方法，其特征在于，任一所述负样本图像的构建方式包括：
获取一个正样本图像，并确定该正样本图像中的脸部所在的目标矩形区域；
获取一个替换脸图像；
将所述替换脸图像的尺寸变换为与所述目标矩形区域匹配的尺寸；
对尺寸变换后的所述替换脸图像进行高斯模糊处理；
用高斯模糊处理后的所述替换脸图像的图像内容替换所述目标矩形区域中的图像内容，得到一个负样本图像。
8.一种假脸检测装置，其特征在于，包括：
获取模块，用于获取待检测假脸的目标图像；
模型应用模块，用于将所述目标图像输入至预先训练完成的网络模型，以使所述网络模型输出所述目标图像的假脸检测结果；
其中，所述网络模型是根据多个样本图像以及每个所述样本图像对应的标注信息所训练获得的；任一所述样本图像对应的标注信息包括：表征该样本图像与对应的参考图像之间差异的脸部差异图；所述网络模型中包含有预测所述目标图像对应的脸部差异图的网络结构；
任一所述样本图像为一个正样本图像或一个负样本图像；
每一所述正样本图像对应的参考图像为该正样本图像本身；
任一所述负样本图像是通过对一个正样本图像中的脸部进行模拟深度伪造所构建的图像，该负样本图像对应的参考图像为构建该负样本图像时所使用的正样本图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202010589398.2A 2020-06-24 2020-06-24 一种假脸检测方法、装置、电子设备及存储介质 Active CN111753729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589398.2A CN111753729B (zh) 2020-06-24 2020-06-24 一种假脸检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589398.2A CN111753729B (zh) 2020-06-24 2020-06-24 一种假脸检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111753729A true CN111753729A (zh) 2020-10-09
CN111753729B CN111753729B (zh) 2022-06-24

Family

ID=72677098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589398.2A Active CN111753729B (zh) 2020-06-24 2020-06-24 一种假脸检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111753729B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926508A (zh) * 2021-03-25 2021-06-08 支付宝(杭州)信息技术有限公司 活体检测模型的训练方法和装置
CN113743439A (zh) * 2020-11-13 2021-12-03 北京沃东天骏信息技术有限公司 目标检测方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229276A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 神经网络训练及图像处理方法、装置和电子设备
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
CN109657615A (zh) * 2018-12-19 2019-04-19 腾讯科技（深圳）有限公司 一种目标检测的训练方法、装置及终端设备
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229276A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 神经网络训练及图像处理方法、装置和电子设备
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
CN109657615A (zh) * 2018-12-19 2019-04-19 腾讯科技（深圳）有限公司 一种目标检测的训练方法、装置及终端设备
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐莹莹: "基于模式识别的生物医学图像处理研究现状", 《电子与信息学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743439A (zh) * 2020-11-13 2021-12-03 北京沃东天骏信息技术有限公司 目标检测方法、装置及存储介质
CN112926508A (zh) * 2021-03-25 2021-06-08 支付宝(杭州)信息技术有限公司 活体检测模型的训练方法和装置
CN112926508B (zh) * 2021-03-25 2022-07-19 支付宝(杭州)信息技术有限公司 活体检测模型的训练方法和装置

Also Published As

Publication number Publication date
CN111753729B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN109816009B (zh) 基于图卷积的多标签图像分类方法、装置及设备
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN111737522B (zh) 视频匹配方法、基于区块链的侵权存证方法和装置
CN111160379A (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN111709408A (zh) 图像真伪检测方法和装置
CN111723732A (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN112085056B (zh) 目标检测模型生成方法、装置、设备及存储介质
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN114359563B (zh) 模型训练方法、装置、计算机设备和存储介质
CN116311214B (zh) 车牌识别方法和装置
CN113673530A (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN112801047A (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
Niu et al. Boundary-aware RGBD salient object detection with cross-modal feature sampling
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
CN111222558B (zh) 图像处理方法及存储介质
CN114549849A (zh) 图像识别方法、装置、计算机设备和存储介质
CN115861736B (zh) 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质
CN115205619A (zh) 检测模型的训练方法、检测方法、装置和存储介质
CN115314239A (zh) 基于多模型融合的隐匿恶意行为的分析方法和相关设备
CN113298102B (zh) 一种目标分类模型的训练方法及装置
CN113706636A (zh) 一种用于篡改图像识别的方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 533, 5th Floor, Building A3A4, Phase I, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, High tech Zone, Hefei City, Anhui Province, 230031

Patentee after: Anhui Xinxin Science and Technology Innovation Information Technology Co.,Ltd.

Country or region after: China

Address before: 11 / F, building B2, yunhuigu, 156 Tiangu 8th Road, software new town, Yuhua Street office, high tech Zone, Xi'an, Shaanxi 710000

Patentee before: Xi'an Xinxin Information Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240415

Address after: 710000, Room 201, Building B2, Yunhuigu, Software New City, High tech Zone, Xi'an City, Shaanxi Province

Patentee after: Xi'an Xinxin Zhixing Technology Co.,Ltd.

Country or region after: China

Address before: Room 533, 5th Floor, Building A3A4, Phase I, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, High tech Zone, Hefei City, Anhui Province, 230031

Patentee before: Anhui Xinxin Science and Technology Innovation Information Technology Co.,Ltd.

Country or region before: China