CN113554045B - 数据集制作方法、装置、设备及存储介质 - Google Patents

数据集制作方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113554045B
CN113554045B CN202010329050.XA CN202010329050A CN113554045B CN 113554045 B CN113554045 B CN 113554045B CN 202010329050 A CN202010329050 A CN 202010329050A CN 113554045 B CN113554045 B CN 113554045B
Authority
CN
China
Prior art keywords
image data
original image
experimenter
acquisition
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010329050.XA
Other languages
English (en)
Other versions
CN113554045A (zh
Inventor
刘庆同
薛子育
王磊
郭沛宇
张乃光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Original Assignee
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Radio And Television Science State Administration Of Radio And Television filed Critical Research Institute Of Radio And Television Science State Administration Of Radio And Television
Priority to CN202010329050.XA priority Critical patent/CN113554045B/zh
Publication of CN113554045A publication Critical patent/CN113554045A/zh
Application granted granted Critical
Publication of CN113554045B publication Critical patent/CN113554045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本公开的实施例涉及数据集制作方法、装置、设备及存储介质。其中一个方法包括:按照指定的采集条件,采集实验者的原始图像数据,根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据,根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集。通过上述方法,通过采集指定的采集条件下的实验者的原始图像数据,能够使得所采集实验者的原始图像数据更具有针对性,也更加丰富全面精准,从而有效地提高了数据集的质量,同时也为行业构建深度伪造检测模型评价基准数据集提供方法参考。

Description

数据集制作方法、装置、设备及存储介质
技术领域
本公开的实施例涉及人工智能领域,更具体地,涉及数据集制作方法、数据集制作装置、数据集制作设备以及计算机可读存储介质。
背景技术
随着深度学习技术的不断发展,深度伪造技术逐步成熟,从而被广泛的应用到广播电视和网络视听行业有很多应用场景,包括替身演员换脸、虚拟主持人等。
目前,广播电视和网络视听行业为了防范应对深度伪造技术带来的风险,保障安全播出,通常使用深度伪造检测模型来识别所要播放的视频中是否存在伪造行为,从而判定所要播放的视频是否是伪造视频。
在实际应用中,由于数据集是深度伪造检测模型的重要数据支撑,在一定程度上决定了深度伪造检测模型对于新的数据的解释能力,并且,实现深度伪造检测模型所基于的深层神经网络因为其结构复杂,所以具有相较传统机器学习模型有更强的表达能力,从而也就需要更多的数据来避免过拟合的发生,以保证训练的模型在新的数据上也能有可以接受的表现,因此,为了防范应对深度伪造技术带来的风险,提高深度伪造检测模型在广播电视和网络视听机构内容审核中的审核能力,需要提供一种数据集制作的方案。
发明内容
本公开的实施例提供一种数据集制作的新的技术方案。
根据本说明书的第一方面,提供了一种数据集制作方法,包括:
按照指定的采集条件,采集实验者的原始图像数据;
根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据;
根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集。
可选地,所述采集条件包括:采集环境条件和实验者属性条件。
可选地,所述采集环境条件包括:采集角度和光照。
可选地,所述实验者属性条件包括:实验者的性别、实验者的年龄、实验者的肤色和实验者的面部特征。
可选地,按照指定的采集条件,采集实验者的原始图像数据,包括:
根据指定的采集条件的类型,确定指定的采集条件组;
针对每个指定的采集条件组,采集实验者的原始图像数据。
可选地,所述深度伪造模型包括:基于表情迁移的伪造模型、基于完整面部替换的伪造模型和基于面部再造的伪造模型中的至少一个。
可选地,根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据,包括:
对所述原始图像进行清洗处理;
截取清洗处理后的所述原始图像数据内的人脸图像数据;
选取部分所述人脸图像数据进行失真处理;
针对任一预先创建的深度伪造模型,将失真后的所述人脸图像数据和未失真的所述人脸图像数据输入到该深度伪造模型内,得到所述原始图像数据对应的伪造图像数据。
根据本说明书的第二方面,还提供一种数据集制作装置,包括:
采集模块,用于按照指定的采集条件,采集实验者的原始图像数据;
确定模块,用于根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据;
生成模块,用于根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集。
根据本说明书的第三方面,还提供了一种数据集制作设备,包括如本说明书第三方面所述的数据集制作装置,或者,所述包括:
存储器,用于存储可执行命令;
处理器,用于在所述可执行命令的控制下,执行如本说明书第一方面所述的数据集制作方法。
根据本说明书的第四方面,还提供了可读存储介质的一个实施例,其存储有可执行指令,所述可执行指令被处理器执行时,执行如本说明书的第一方面所述的数据集制作方法。
在一个实施例中,通过采集指定的采集条件下的实验者的原始图像数据,能够使得所采集实验者的原始图像数据更具有针对性,也更加丰富全面精准,从而有效地提高了数据集的质量,同时也为行业构建深度伪造检测模型评价基准数据集提供方法参考。
通过以下参照附图对本说明书的示例性实施例的详细描述,本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例,并且连同其说明一起用于解释本说明书的原理。
图1是本公开的实施例提供的一种数据集制作设备的硬件配置的框图;
图2是本公开的实施例提供的一种数据集制作方法的流程图;
图3是本公开的实施例提供的一种数据集制作装置的原理框图;
图4是本公开的实施例提供的一种数据集制作设备的原理框图。
具体实施方式
现在将参照附图来详细描述本说明书的各种示例性实施例。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本说明书及其应用或使用的任何限制。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是本公开的实施例提供的一种数据集制作设备的硬件配置的框图。
数据集制作设备1000可以为虚拟机或物理机。数据集制作设备1000 可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800,等等。其中,处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
应用于本实施例中,存储器1200用于存储计算机程序指令,该指令用于控制处理器1100进行操作以执行根据本发明任意实施例的数据集制作方法。技术人员可以根据本发明所公开方案设计该指令。该指令如何控制处理器1100进行操作,这是本领域公知,故在此不再详细描述。
尽管在图1中对数据集制作设备1000均示出了多个装置,但是,本发明可以仅涉及其中的部分装置,例如,数据集制作设备1000只涉及存储器1200和处理器1100。
在上述描述中,技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
<方法实施例>
本实施例提供了一种数据集制作方法,如图2所示,该方法包括以下步骤:
S201:按照指定的采集条件,采集实验者的原始图像数据。
在实际应用中,为了防范应对深度伪造技术带来的风险,保障安全播出,通常使用深度伪造检测模型来识别所要播放的视频中是否存在伪造行为,从而判定所要播放的视频是否是伪造视频。
进一步的,想要使用深度伪造检测模型来识别所要播放的视频中是否存在伪造行为,首先需要制作数据集,并使用数据集来训练深度伪造检测模型。
进一步的,由于数据集是深度伪造检测模型的重要数据支撑,在一定程度上决定了深度伪造检测模型对于新的数据的解释能力,并且,实现深度伪造检测模型所基于的深层神经网络因为其结构复杂,所以具有相较传统机器学习模型有更强的表达能力,从而也就需要更多的数据来避免过拟合的发生,以保证训练的模型在新的数据上也能有可以接受的表现,因此,为了防范应对深度伪造技术带来的风险,提高深度伪造检测模型在广播电视和网络视听机构内容审核中的审核能力,在制作数据集的过程中,首先需要按照指定的采集条件,采集实验者的原始图像数据。
在此需要说明的是,指定的采集条件指的是预先设置的特定采集条件,也就是说,在采集实验者的原始图像数据之前,需要先设置在哪些特定采集条件下采集实验者的原始图像数据。
另外,为了保证所采集的原始图像数据的多样性,因此,在本公开的实施例中,采集条件包括:采集环境条件和实验者属性条件。
在此需要说明的是,采集环境条件指的是与实验者无关的条件,并不随着实验者的改变而发生改变,是客观的条件,可以是采集角度,也可以是光照。实验者属性条件指的是与实验者自身有关的条件,会随着实验者的改变而发生改变,与客观环境无关,可以是实验者的性别比例,可以是实验者的年龄比例、也可以是实验者的肤色比例,还可以是实验者的面部特征。
在本公开的实施例中,所述采集角度指的是在不同的角度使用摄像机拍摄实验者,如,拍摄时可以从不同角度设置七个高清摄像机,即,前、左、左前、右、右前、正上方斜向下和正下方斜向上,后续,当实验者处于某个位置时,七个高清摄像机同时拍摄。所述光照指的是在不同的光照下使用摄像机拍摄实验者,如,拍摄时可以从各个方向设置九种照明条件,即,均匀,左,左上,左下,右,右上,右下,上,下。
在本公开的实施例中,所述试验者的性别比例指的是所选取的实验者的性别要满足一定的比例,如,男性实验者和女性实验者的数量比例为1:1;所述试验者的年龄比例指的是所选取的实验者的年龄要满足一定的比例,如,[20,40]的实验者的数量和[40,60]的实验者的数量之间的比例为1:1;所述试验者的肤色比例指的是所选取的实验者的肤色要满足一定的比例,如,偏白色实验者、白色实验者和偏棕色实验者的数量比例为1:2:1;所述实验者的面部特征指的是实验者的面部五官,实验者的面部表情,实验者面部无遮挡物。
在此需要说明的是,实验者的面部表情可以是中立,愤怒,快乐,悲伤,惊讶,轻蔑,厌恶,恐惧,极端夸张,在拍摄时演员可以用九种表情自然说话。
在此还需要说明的是,为了避免设置在不同角度的摄像机记录的重复数据样本,干扰数据分布,在本公开的实施例中,实验者在均匀照明条件下可以在姿势范围为-90°至+90°区间内转动头部,并保证面部区域特征点的照明条件不变,其他光照条件下实验者的头部应保持静止,也就是说,其他光照条件下,在拍摄时实验者的头部需要保持静止。
进一步的,在本公开的实施例中,上述采集条件可以根据实际情况来组合使用,具体的,根据指定的采集条件的类型,确定指定的采集条件组,针对每个指定的采集条件组,采集实验者的原始图像数据,如,假设预先设置的特定采集条件如表1:
采集角度 前、左、左前、右、右前、正上方斜向下和正下方斜向上
面部表情 中立,愤怒,快乐,悲伤,惊讶,轻蔑,厌恶,恐惧,夸张
光照 均匀,左,左上,左下,右,右上,右下,上,下
表1
可根据采集角度、面部表情和光照三种类型,将7种采集角度、9种面部表情和9种光照组合,一共形成567种组合,也就是说,有567个采集条件组,第一采集条件组包括:采集角度前、面部表情中立和光照均匀;第二采集条件组包括:采集角度左、面部表情愤怒和光照左。。。,每一个采集条件组均采集一次实验者的原始图像数据。
另外,为了保证所采集的原始图像数据的质量,在本公开的实施例中,摄像机录制分辨率包含1920×1080清晰度以上的低噪点视频,并通过选用合适的焦距和光圈,保证无镜头畸变和景深合理。
S202:根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据。
进一步的,由于在训练深度伪造检测模型所使用的数据集需要包括输入模型的原始图像数据和输出模型的伪造图像数据,因此,本公开的实施例在采集到实验者的原始图像数据之后,需要根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据。
进一步的,为了能够使深度伪造检测模型能够应对多种深度伪造技术伪造出的视频,因此,在本公开的实施例中,在根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据中,可以通过多种深度伪造模型来伪造出所述原始图像数据对应的伪造图像数据,如,假设有三种深度伪造模型,即,基于表情迁移的伪造模型、基于完整面部替换的伪造模型和基于面部再造的伪造模型,那么将所有的原始图像数据输入到基于表情迁移的伪造模型内,确定所述原始图像数据对应的伪造图像数据,再将所有的原始图像数据输入到基于完整面部替换的伪造模型内,确定所述原始图像数据对应的伪造图像数据,最后将所有的原始图像数据输入到基于面部再造的伪造模型内,确定所述原始图像数据对应的伪造图像数据,这样就得到了原始图像数据对应的三组伪造图像数据。
在此需要说明的是,由于在实际采集中,所采集的原始图像数据肯能存在重复或者扭曲变形的情况,因此,在本公开的实施例中,在输入到深度伪造检测模型之前,需要对对所述原始图像进行清洗处理,也就是说,将原始图像数据内重复的或者扭曲变形的原始图像数据删除掉。
在此还需要说明的是,由于深度伪造技术通常都是伪造人脸,因此,深度伪造检测模型针对的是检测视频内是否存在伪造的人脸,因此,在训练深度伪造检测模型时使用的数据集是包含人脸图像数据的。
另外,为了增加数据集的鲁棒性,模拟真实的环境,因此,在本公开的实施例中,在输入到深度伪造检测模型之前,需要选取部分所述人脸图像数据进行失真处理指的是,在人脸图像数据上添加多种干扰,让人脸图像数据失真。
基于此,本公开的实施例提供了一种根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据的实施方式,具体如下:
对所述原始图像数据进行清洗处理;截取清洗处理后的所述原始图像数据内的人脸图像数据;选取部分所述人脸图像数据进行失真处理,针对任一预先创建的深度伪造模型,将失真后的所述人脸图像数据和未失真的所述人脸图像数据输入到该深度伪造模型内,得到所述原始图像数据对应的伪造图像数据。
S203:根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集。
进一步的,由于深度伪造检测模型的构建过程中所使用的数据集通常由训练数据集和测试数据集构成,因此,在本公开的实施例中,在获取到原始图像数据和所述伪造图像数据之后,需要根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集。
在此需要说明的是,根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集可以是将原始图像数据及其对应的伪造图像数据按照预设的比例划分成训练数据集和测试数据集,也就是说,训练数据集内包括原始图像数据及其对应的伪造图像数据,测试数据集内也包括原始图像数据及其对应的伪造图像数据。
各部分的原始图像数据通过数据处理后归入各部分的原始图像数据中,各部分的伪造图像数据通过数据处理后进行深度伪造图像数据生成,多种方法生成的伪造图像数据归入各部分的伪造图像数据中。
通过上述方法,通过采集指定的采集条件下的实验者的原始图像数据,能够使得所采集实验者的原始图像数据更具有针对性,也更加丰富全面精准,从而有效地提高了数据集的质量,同时也为行业构建深度伪造检测模型评价基准数据集提供方法参考。
<装置实施例>
图3为本实施例提供一种数据集制作装置30,该装置30包括:
采集模块301,用于按照指定的采集条件,采集实验者的原始图像数据;
确定模块302,用于根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据;
生成模块303,用于根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集。
所述采集条件包括:采集环境条件和实验者属性条件。
所述采集环境条件包括:采集角度和光照。
所述实验者属性条件包括:实验者的性别比例、实验者的年龄比例、实验者的肤色比例和实验者的面部特征。
所述采集模块301具体用于,根据指定的采集条件的类型,确定指定的采集条件组;针对每个指定的采集条件组,采集实验者的原始图像数据。
所述深度伪造模型包括:基于表情迁移的伪造模型、基于完整面部替换的伪造模型和基于面部再造的伪造模型中的至少一个。
所述确定模块302具体用于,对所述原始图像数据进行清洗处理;截取清洗处理后的所述原始图像数据内的人脸图像数据;选取部分所述人脸图像数据进行失真处理;针对任一预先创建的深度伪造模型,将失真后的所述人脸图像数据和未失真的所述人脸图像数据输入到该深度伪造模型内,得到所述原始图像数据对应的伪造图像数据。
<设备实施例>
本实施例中,还提供一种如图4所示的数据集制作设备40,该数据集制作设备40包括本说明书装置实施例中描述的数据集制作装置30;或者,该数据集制作设备40包括:
存储器,用于存储可执行命令。
处理器,用于在存储器存储的可执行命令的控制下,执行本说明书任意方法实施例中描述的方法。
在数据集制作设备根据所执行的方法实施例的实施主体是服务器或终端。
在一个实施例中,以上装置实施例中的任意一个模块都可以由处理器实现。
<可读存储介质实施例>
本实施例提供一种可读存储介质,该存储介质中存储有可执行命令,该可执行命令被处理器执行时,执行本说明书任意方法实施例中描述的方法。
本说明书的一个实施例或者多个实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/ 或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开的实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本说明书的各个方面。
这里参照根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本说明书的各个方面。应当理解,流程图和/ 或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本说明书的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims (6)

1.一种数据集制作方法,包括:
按照指定的采集条件,采集实验者的原始图像数据;
根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据;
根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集;
其中,所述按照指定的采集条件,采集实验者的原始图像数据,包括:
根据指定的每个采集条件的类型对应的采集条件和所述采集条件的数量,确定多个采集条件组;
针对所述多个采集条件组中的每个采集条件组,采集实验者的原始图像数据;
其中,所述采集条件的类型包括采集环境条件和实验者属性条件;
所述采集环境条件包括采集角度和光照中的至少一项;
所述实验者属性条件包括实验者的性别比例、实验者的年龄比例、实验者的肤色比例和实验者的面部特征中的至少一项。
2.根据权利要求1所述的方法,其特征在于,所述深度伪造模型包括:基于表情迁移的伪造模型、基于完整面部替换的伪造模型和基于面部再造的伪造模型中的至少一个。
3.根据权利要求2所述的方法,其特征在于,根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据,包括:
对所述原始图像数据进行清洗处理;
截取清洗处理后的所述原始图像数据内的人脸图像数据;
选取部分所述人脸图像数据进行失真处理;
针对任一预先创建的深度伪造模型,将失真后的所述人脸图像数据和未失真的所述人脸图像数据输入到该深度伪造模型内,得到所述原始图像数据对应的伪造图像数据。
4.一种数据集制作装置,包括:
采集模块,用于按照指定的采集条件,采集实验者的原始图像数据;
确定模块,用于根据预先创建的深度伪造模型,确定所述原始图像数据对应的伪造图像数据;
生成模块,用于根据所述原始图像数据和所述伪造图像数据,生成训练数据集和测试数据集;
其中,所述按照指定的采集条件,采集实验者的原始图像数据,包括:
根据指定的每个采集条件的类型对应的采集条件和所述采集条件的数量,确定多个采集条件组;
针对所述多个采集条件组中的每个采集条件组,采集实验者的原始图像数据;
其中,所述采集条件的类型包括采集环境条件和实验者属性条件;
所述采集环境条件包括采集角度和光照中的至少一项;
所述实验者属性条件包括实验者的性别比例、实验者的年龄比例、实验者的肤色比例和实验者的面部特征中的至少一项。
5.一种数据集制作设备,包括如权利要求4所述的数据集制作装置,或者,所述设备包括:
存储器,用于存储可执行命令;
处理器,用于在所述可执行命令的控制下,执行如权利要求1-3中任一项所述的数据集制作方法。
6.一种计算机可读存储介质,存储有可执行指令,所述可执行指令被处理器执行时,执行如权利要求1-3中任一项所述的数据集制作方法。
CN202010329050.XA 2020-04-23 2020-04-23 数据集制作方法、装置、设备及存储介质 Active CN113554045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329050.XA CN113554045B (zh) 2020-04-23 2020-04-23 数据集制作方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329050.XA CN113554045B (zh) 2020-04-23 2020-04-23 数据集制作方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113554045A CN113554045A (zh) 2021-10-26
CN113554045B true CN113554045B (zh) 2024-04-09

Family

ID=78129561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329050.XA Active CN113554045B (zh) 2020-04-23 2020-04-23 数据集制作方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113554045B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482595B (zh) * 2022-09-27 2023-04-07 北京邮电大学 一种基于语义分割的特定人物视觉伪造检测与鉴别方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051917A1 (en) * 2002-11-28 2004-06-17 Digimarc Corporation Systems and methods for authentication of print media
CN107452060A (zh) * 2017-06-27 2017-12-08 西安电子科技大学 全角度自动采集生成虚拟数据集方法
CN108460398A (zh) * 2017-12-27 2018-08-28 达闼科技(北京)有限公司 图像处理方法、装置、云处理设备和计算机程序产品
CN108510483A (zh) * 2018-03-23 2018-09-07 云南师范大学 一种采用vlad编码和svm的计算生成彩色图像篡改检测方法
CN108776786A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 用于生成用户真伪识别模型的方法和装置
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN109086680A (zh) * 2018-07-10 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110287780A (zh) * 2019-05-17 2019-09-27 长安大学 一种光照下人脸图像特征提取方法
CN110348330A (zh) * 2019-06-24 2019-10-18 电子科技大学 基于vae-acgan的人脸姿态虚拟视图生成方法
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技(深圳)有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110427899A (zh) * 2019-08-07 2019-11-08 网易(杭州)网络有限公司 基于人脸分割的视频预测方法及装置、介质、电子设备
CN110443141A (zh) * 2019-07-08 2019-11-12 深圳中兴网信科技有限公司 数据集处理方法、数据集处理装置及存储介质
CN110490115A (zh) * 2019-08-13 2019-11-22 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN110503078A (zh) * 2019-08-29 2019-11-26 的卢技术有限公司 一种基于深度学习的远距离人脸识别方法和系统
CN110728656A (zh) * 2019-09-06 2020-01-24 西安电子科技大学 基于元学习的无参考图像质量数据处理方法、智能终端
US10552667B1 (en) * 2019-08-19 2020-02-04 Neon Evolution Inc. Methods and systems for image processing

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051917A1 (en) * 2002-11-28 2004-06-17 Digimarc Corporation Systems and methods for authentication of print media
CN107452060A (zh) * 2017-06-27 2017-12-08 西安电子科技大学 全角度自动采集生成虚拟数据集方法
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108460398A (zh) * 2017-12-27 2018-08-28 达闼科技(北京)有限公司 图像处理方法、装置、云处理设备和计算机程序产品
CN108510483A (zh) * 2018-03-23 2018-09-07 云南师范大学 一种采用vlad编码和svm的计算生成彩色图像篡改检测方法
CN108776786A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 用于生成用户真伪识别模型的方法和装置
CN109086680A (zh) * 2018-07-10 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN110287780A (zh) * 2019-05-17 2019-09-27 长安大学 一种光照下人脸图像特征提取方法
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110348330A (zh) * 2019-06-24 2019-10-18 电子科技大学 基于vae-acgan的人脸姿态虚拟视图生成方法
CN110443141A (zh) * 2019-07-08 2019-11-12 深圳中兴网信科技有限公司 数据集处理方法、数据集处理装置及存储介质
CN110415166A (zh) * 2019-07-29 2019-11-05 腾讯科技(深圳)有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN110427899A (zh) * 2019-08-07 2019-11-08 网易(杭州)网络有限公司 基于人脸分割的视频预测方法及装置、介质、电子设备
CN110490115A (zh) * 2019-08-13 2019-11-22 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
US10552667B1 (en) * 2019-08-19 2020-02-04 Neon Evolution Inc. Methods and systems for image processing
CN110503078A (zh) * 2019-08-29 2019-11-26 的卢技术有限公司 一种基于深度学习的远距离人脸识别方法和系统
CN110728656A (zh) * 2019-09-06 2020-01-24 西安电子科技大学 基于元学习的无参考图像质量数据处理方法、智能终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视听觉深度伪造检测技术研究综述;梁瑞刚;《信息安全学报》;第5卷(第2期);1-17 *

Also Published As

Publication number Publication date
CN113554045A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Chen et al. Hierarchical cross-modal talking face generation with dynamic pixel-wise loss
CN109544524B (zh) 一种基于注意力机制的多属性图像美学评价系统
Chen et al. What comprises a good talking-head video generation?: A survey and benchmark
Ochoa et al. Expertise estimation based on simple multimodal features
JP2021192222A (ja) 動画インタラクティブ方法と装置、電子デバイス、コンピュータ可読記憶媒体、及び、コンピュータプログラム
WO2022105519A1 (zh) 音效调整方法、装置、设备、存储介质及计算机程序产品
CN111275784B (zh) 生成图像的方法和装置
US20210046388A1 (en) Techniques for curation of video game clips
CN106547889A (zh) 一种题目推送方法及装置
US20230143452A1 (en) Method and apparatus for generating image, electronic device and storage medium
CN104980790A (zh) 语音字幕的生成和装置、播放方法和装置
CN110516749A (zh) 模型训练方法、视频处理方法、装置、介质和计算设备
CN112927144A (zh) 图像增强方法、图像增强装置、介质和电子设备
KR20210087001A (ko) 이미지 심사 방법, 장치, 전자 기기 및 저장 매체
Rummukainen et al. Categorization of natural dynamic audiovisual scenes
CN113554045B (zh) 数据集制作方法、装置、设备及存储介质
CN108921138B (zh) 用于生成信息的方法和装置
CN110659702A (zh) 基于生成式对抗网络模型书法字帖评价系统及方法
CN116567351B (zh) 一种视频处理方法、装置、设备及介质
Liang et al. Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields
CN111274447A (zh) 基于视频的目标表情生成方法、装置、介质、电子设备
CN107135402A (zh) 一种识别电视台图标的方法及装置
Yu et al. Review of face presentation attack detection competitions
CN114022938A (zh) 视素识别的方法、装置、设备和存储介质
Theerthagiri et al. Deepfake Face Detection Using Deep InceptionNet Learning Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant