CN117078507A - 一种基于ai技术的虚拟数字人动态追溯监管方法与系统 - Google Patents
一种基于ai技术的虚拟数字人动态追溯监管方法与系统 Download PDFInfo
- Publication number
- CN117078507A CN117078507A CN202311049954.7A CN202311049954A CN117078507A CN 117078507 A CN117078507 A CN 117078507A CN 202311049954 A CN202311049954 A CN 202311049954A CN 117078507 A CN117078507 A CN 117078507A
- Authority
- CN
- China
- Prior art keywords
- virtual digital
- cnn network
- learning rate
- module
- digital person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
一种基于AI技术的虚拟数字人动态追溯监管方法与系统,包括:在第一虚拟数字人人脸模型上增加第一特征,得到第二虚拟数字人,对第一、二虚拟数字人从不同角度截图,得到负样本和正样本;将第一CNN网络的学习率修改得到第二CNN网络;训练第二CNN网络;确定准确率大于第一阈值,第一数量最大的情况的第二CNN网络模型确定为目标CNN网络模型;使用目标CNN网络得到虚拟人特征和目标图像特征;计算特征相似度,当相似度大于第二阈值时确定目标图像使用了虚拟数字人。本方案可极大地加快从海量数据中追溯虚拟人的速度。
Description
技术领域
本发明涉及图像处理以及大数据分析与处理领域,具体而言涉及一种基于AI技术的虚拟数字人动态追溯监管方法与系统。
背景技术
虚拟数字人是指通过计算机生成的虚拟实体,其外貌、行为和交互能力都模仿了真实人类。这些虚拟数字人的表现形式可以是三维模型、图像、视频的形式。虚拟数字人的创造和应用在多个领域都有涉及,例如:娱乐和游戏、虚拟助手和人工智能、培训和教育、社交媒体和虚拟现实、新闻媒体等。虚拟数字人的发展涉及计算机图形学、计算机视觉、自然语言处理等多个领域的技术,旨在创造更加逼真、可交互和有趣的虚拟体验。
由于虚拟数字人是数字资产,与其它软件、图像类的数字资产类似,虚拟数字人容易被它人未经授权地使用、复制、传播。因此,对追虚拟数字人进行追溯监管是进行虚拟数字人资产管理重要的一环,如现有技术中的CCMTV虚拟数字人认证平台可提供身份追溯等功能。
由于虚拟数据人原型通常是三维模型,现有技术中可采用人脸识别技术对互联网上的图片、视频等资料进行比对,查看是否使用了目标虚拟数据人。然而,互联网每天产生海量的数据,使用现有的人脸识别技术,如CNN、FaceNet、VGGNet等都面临非常大的计算量,识别速度难以保证,无法及时处理海量的数据,导致追溯监管不及时。
发明内容
为解决上述技术问题,本发明公开了一种基于AI技术的虚拟数字人动态追溯监管方法与系统,通过对现有虚拟人物模型进行处理,对虚拟人物增加一些特殊特征,并使用CNN网络提取这些特殊特征,在进行追溯监管时,可以以非常快的速度确定出图像是否使用了虚拟人物。
在本发明的一个方面,提供一种基于AI技术的虚拟数字人动态追溯监管方法,包括如下步骤步骤S1,对第一虚拟数字人人脸模型进行修改,在所述第一虚拟数字人人脸模型上增加第一特征,得到第二虚拟数字人,所述第二虚拟数字人为对外发布的虚拟数字人;步骤S2,对所述第一虚拟数字人从不同角度截图,得到的图像为负样本,对所述第二虚拟数字人从不同角度截图,得到的图像为正样本;步骤S3,将第一CNN网络的卷积层中的第一数量、第一位置处的卷积层的学习率修改为第一学习率,其余卷积层的学习率修改为第二学习率,其中所述第一学习率小于所述第二学习率,得到第二CNN网络;步骤S4,以所述正样本和所述负样本训练第二CNN网络,并确定所述第二CNN网络的准确率;步骤S5,修改所述第一数量和/或第一位置,重复步骤S3-S4;步骤S6,确定准确率大于第一阈值,第一数量最大的情况的第二CNN网络模型确定为目标CNN网络模型;步骤S7,使用所述目标CNN网络模型的特征提取层提取所述第二虚拟数字人正面图像的第一特征;步骤S8,获取互联网上的第一图像,使用所述目标CNN网络模型提取所述第一图像的第二特征;步骤S9,计算所述第一特征和所述第二特征的相似度,当相似度大于第二阈值时确定所述第一图像使用了所述第二虚拟数字人。
进一步地,所述第一虚拟数字人人脸模型上增加第一特征包括:增加部分的线条长度、修改颜色或调整部分特征的轮廓或进行不对称调整。
进一步地,所述第一CNN网络为VGGFace、OpenFace、FaceNet、DeepFace中的一种。
进一步地,所述第一学习率为0.0001,所述第二学习率为0.001。
进一步地,所述特征提取层包括:输入层、卷积层、池化层、归一层。
另一方面,本发明还公开一种基于AI技术的虚拟数字人动态追溯监管系统,其特征在于所述系统包括:修改模块,用于对第一虚拟数字人人脸模型进行修改,在所述第一虚拟数字人人脸模型上增加第一特征,得到第二虚拟数字人,所述第二虚拟数字人为对外发布的虚拟数字人;样本模块,用于对所述第一虚拟数字人从不同角度截图,得到的图像为负样本,对所述第二虚拟数字人从不同角度截图,得到的图像为正样本;设置模块,用于将第一CNN网络的卷积层中的第一数量、第一位置处的卷积层的学习率修改为第一学习率,其余卷积层的学习率修改为第二学习率,其中所述第一学习率小于所述第二学习率,得到第二CNN网络;训练模块,用于以所述正样本和所述负样本训练第二CNN网络,并确定所述第二CNN网络的准确率;循环模块,用于修改所述第一数量和/或第一位置,重复所述设置模块用训练模块的步骤;确定模块,用于确定准确率大于第一阈值,第一数量最大的情况的第二CNN网络模型确定为目标CNN网络模型;第一计算模块,用于使用所述目标CNN网络模型的特征提取层提取所述第二虚拟数字人正面图像的第一特征;第二计算模块,用于获取互联网上的第一图像,使用所述目标CNN网络模型提取所述第一图像的第二特征;对比模块,用于计算所述第一特征和所述第二特征的相似度,当相似度大于第二阈值时确定所述第一图像使用了所述第二虚拟数字人。
进一步地,所述第一虚拟数字人人脸模型上增加第一特征包括:增加部分的线条长度、修改颜色或调整部分特征的轮廓或进行不对称调整。
进一步地,所述第一CNN网络为VGGFace、OpenFace、FaceNet、DeepFace中的一种。
进一步地,所述第一学习率为0.0001,所述第二学习率为0.001。
进一步地,所述特征提取层包括:输入层、卷积层、池化层、归一层。
本发明通过上述技术方案,可以产生如下有益效果:
通过对现有虚拟人物模型进行处理,对虚拟人物增加一些特殊特征,使用处理前后的模型生成正负样本,在训练时,使用正负样本训练,并词学习率,并得CNN网络提取这些特殊特征的同进,减少对其它特征的权重,从而减少其它特征的维度,大大减少整个特征维度,使用训练后的CNN网络在进行特征提取时,可以获得更快的提取速度,并且在进行查找时,直接使用特征对比,从而在进行追溯监管时,可以以非常快的速度确定出图像是否使用了虚拟人物。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明方法的流程图。
具体实施方式
下面,结合附图以及具体实施方式,对发明做出优选的描述。
本实施例通过如下步骤解决上术问题:
在一个实施例中,参考图1,本发明提供一种基于AI技术的虚拟数字人动态追溯监管方法,具体包括如下步骤:
步骤S1,对第一虚拟数字人人脸模型进行修改,在所述第一虚拟数字人人脸模型上增加第一特征,得到第二虚拟数字人,所述第二虚拟数字人为对外发布的虚拟数字人。
本实施例的原理在于,为了加快虚拟数字人的人脸识别,在虚拟数字人的人脸上增加一些不易察觉的特征,用这些特殊的特征进行人脸识别,以提高识别速度。
第一虚拟数字人为初始设计的虚拟数字人,为了在虚拟数字人的人脸上增加一些不易察觉的特征可以在虚拟数字人设计完成之后,由人工对第一虚拟数字人进行修改。
示例性地:可增加部分特征的线条长度、颜色等,如修改部分头发、睫毛、眉毛的长度、颜色等;可调整部分特征的轮廓,如略微调整部分五官的轮廓,如将鼻子附近的的线条调整成特殊的曲度;进行不对称调整,如将两眼、两耳、两边的面部调整得不完全对称等。
人工对第一虚拟数字人进行修改即得到可以对外发布的虚拟数字人,对外发布的虚拟数字人保留了部分人工增加的特征,当其被未授权使用时,可以通过这些特征更快地进行对比。
步骤S2,对所述第一虚拟数字人从不同角度截图,得到的图像为负样本,对所述第二虚拟数字人从不同角度截图,得到的图像为正样本。
通常虚拟数字人的初始模型为三维模型,为了得到足够多的样本,本实施例从不同的角度,对虚拟数字人进行截图,如可从虚拟数字人正面、侧面、斜视等多角度进行图像的截取;为了得到足够多的训练样本,本实施例可采用程度进行自动化截图,如使用现有技术中的OpenCV、Pillow等进行图像,以减少人力工作。类似地,可采用相同截图方法对第二虚拟数字人进行截图。
由于对外发布的是增加了人为特征的第二虚拟数字人,因此将第二虚拟数字人的截图确定为正样本,则没有特殊特征的第一虚拟数字做为对抗训练的负样本。
步骤S3,将第一CNN网络的卷积层中的第一数量、第一位置处的卷积层的学习率修改为第一学习率,其余卷积层的学习率修改为第二学习率,其中所述第一学习率小于所述第二学习率,得到第二CNN网络。
现有技术中有较多使用CNN网络进行人脸识别的模型,如VGGFace、OpenFace、FaceNet、DeepFace等。本实施例可基于现有技术中的任意CNN网络模型或自定义的网络模型。
在CNN网络模型中,如果卷积层的学习率低可以避免在已有的优化权重上引入过大的更新,以保留模型的基本特征提取能力,这有助于保持特征的稳定性,避免过快地引入复杂性,从而减少生成的特征的复杂性,也可加快特征的提取速度。
在本实施例中,由于正样本和负样本的相似度极高,因此,只需要对第一虚拟数字人保留少量的特征,以便进行快速识别,对第二虚拟数字人增加的特征保留较多的特征,以进行详细的识别。
通常首一层卷积层通常负责捕获低级别的特征,如边缘、纹理等;中间层卷积层逐渐开始捕获更抽象的特征,如形状、部分对象、物体的部分等;深层卷积网络可以学习更高级别的语义特征,如物体的整体形状等。在步骤S1中示例了可增加部分特征的线条长度、颜色,可调整部分特征的轮廓、进行不对称调整等调整手段,相关的调整项可能对应于不同的尺度的特征,因此,为了将特殊特征进行突出,本实施例对卷积层中的学习率进行不同的设置。
为了达到上述目的将第一CNN网络的卷积层中的第一数量、第一位置处的卷积层的学习率修改为第一学习率;示例性地,第一CNN网络包括了10层卷积,第一数量为4,第一位置分别为第一层、第三层、第五层、第七层;则将第一层、第三层、第五层、第七层的学习率修改为第一学习率,其余层的学习率设定为第二学习率。并且第一学习率小于第二学习率,以减少特征的复杂性。示例性地,第一学习率可设置为0.0001,第二学习率可设定为0.001。
步骤S4,以所述正样本和所述负样本训练第二CNN网络,并确定所述第二CNN网络的准确率。
为了训练第二CNN网络,准备正样本和负样本的数据集,确保数据集经过预处理、划分为训练集和测试集,并做好标签标记。在训练过程中可选择适当的优化器,如随机梯度下降(SGD)或Adam,用于调整网络的权重。在训练集上进行模型训练,通过反向传播更新网络的权重,以最小化损失函数。使用测试集验证模型的性能,计算准确率、精确率、召回率、F1分数等指标。使用模型在独立的测试集上进行评估,计算模型的准确率。
步骤S5,修改所述第一数量和/或第一位置,重复步骤S3-S4。
由于第一数量和第一位置均会影响最终的模型效果,因此为了得到最优的模型,本实施例需要不断地改变第一数量和/或第一位置。示例性地,卷积层数量为10,第一数量为9,即将9个卷积层设置为较低的学习率,第一位置可以为10个卷积层中的任意9个;因此,可以在不改变第一数量(9)的前置下,不断改变第一位置,如第一轮中将第一至九层设置为低学习率层、第二轮中将第一至八层、第十层设置为低学习率层,以此类推,不断地改变第一位置。当然也可以改变第一数量的值,如将第一数量由9修改为8,也可以同时修改第一数量和第一位置。改变第一数量和第一位置在于改变低学习率层,以寻找到最优的低学习率层分布,本领域技术人员可采用任意的规律进行修改,本实施例不做具体限定。
尽早确定出最大的第一数量,第一CNN网络的卷积层数为N,第一数量从N-1开始依次减小改变。
步骤S6,确定准确率大于第一阈值,第一数量最大的情况的第二CNN网络模型确定为目标CNN网络模型。
通过步骤5的训练过程,可以得到一批准确率、第一数量对就的第二CNN网络;为了尽可能地减少特征的复杂性,低学习率的卷积层越多越好。因此,在准确率满足一定条件的前提下,选择第一数量最大的情况的第二CNN网络确定为目标CNN网络。
编号 | 第一数量 | 准确率(%) |
1 | 9 | 92 |
2 | 8 | 95.5 |
3 | 7 | 96.3 |
4 | 7 | 96.4 |
示例性地,某实验得出的数据如上表所示,当将准确率设定为95%时,编号1的数据虽然低学习率层多,但准确率不达标,而编号2的数据,在准确率达标的前提下低学习率层最多,因此将编号2的数据对就的CNN网络模型确定为目标CNN网络模型。
步骤S7,使用所述目标CNN网络模型的特征提取层提取所述第二虚拟数字人正面图像的第一特征。
特征提取层是为了提取图像的特征,CNN网络中特征提取层可包括输入层、卷积层、池化层、归一层;因此可将所述目标CNN网络模型的输入层、卷积层、池化层、归一层提取出来,将第二虚拟数字人正面图像由输入层输入,经网络处理后从归一层输出得到第二虚拟数字人正面图像的第一特征。很显然,第一特征包括了在步骤S1中加入的特殊特征,可以通过这些特征特征对图像的相似度进行对比。
步骤S8,获取互联网上的第一图像,使用所述目标CNN网络模型提取所述第一图像的第二特征。
为了进行动态追溯监管,确保虚拟数字人不被未授权利用,本实施例进一步地从互联网上获取图像进行识别。此处可进行实时动态地获取,示例性地,使用爬虫技术或服务商提供的AP I,实时获取如微博、抖音等平台的数据并截取第一图像。与步骤S7类似地,使用目标CNN网络模型提取所述第一图像的第二特征。
互联网每天都会产生海量的数量,但由于目标CNN网络进行特征优化,因此提取速度相对于一般的人脸识别网络模型会极大的提升。经本实例例验证,在理想情况下,基础CNN网络使用OpenFace时,目标CNN网络对同一图像的特征提取耗时大约只有OpenFace的1/15。
步骤S9,计算所述第一特征和所述第二特征的相似度,当相似度大于第二阈值时确定所述第一图像使用了所述第二虚拟数字人。
前述步骤中获取了第二虚拟数字人以及互联网图像的特征值,当两者特征相似时,即可确定第一图像使用了所述第二虚拟数字人。其中计算相似度可采用欧几里德距离、余弦相似度、曼哈顿距离、汉明距离等。
本实施例的全部步骤均可设定相应的标准,因此可通过计算机程度自动化实现,减少人工的干预,提高效率。
在实施本发明方法时,优选地,为方便利用已有系统资源,可依托在现有的CCMTV平台实施动态追溯监管。当然也可在其它平台实施,本发明不做具体限定。
另一方面,本发明还提供一种基于AI技术的虚拟数字人动态追溯监管系统,其特征在于所述系统包括:
修改模块,用于对第一虚拟数字人人脸模型进行修改,在所述第一虚拟数字人人脸模型上增加第一特征,得到第二虚拟数字人,所述第二虚拟数字人为对外发布的虚拟数字人;
样本模块,用于对所述第一虚拟数字人从不同角度截图,得到的图像为负样本,对所述第二虚拟数字人从不同角度截图,得到的图像为正样本;
设置模块,用于将第一CNN网络的卷积层中的第一数量、第一位置处的卷积层的学习率修改为第一学习率,其余卷积层的学习率修改为第二学习率,其中所述第一学习率小于所述第二学习率,得到第二CNN网络;
训练模块,用于以所述正样本和所述负样本训练第二CNN网络,并确定所述第二CNN网络的准确率;
循环模块,用于修改所述第一数量和/或第一位置,重复所述设置模块用训练模块的步骤;确定模块,用于确定准确率大于第一阈值,第一数量最大的情况的第二CNN网络模型确定为目标CNN网络模型;
第一计算模块,用于使用所述目标CNN网络模型的特征提取层提取所述第二虚拟数字人正面图像的第一特征;
第二计算模块,用于获取互联网上的第一图像,使用所述目标CNN网络模型提取所述第一图像的第二特征;
对比模块,用于计算所述第一特征和所述第二特征的相似度,当相似度大于第二阈值时确定所述第一图像使用了所述第二虚拟数字人。
进一步地,上述所述的一种基于AI技术的虚拟数字人动态追溯监管系统的实现方法均与一种基于AI技术的虚拟数字人动态追溯监管方法相同,一种基于AI技术的虚拟数字人动态追溯监管方法中的全部进一步的技术方案均完全引入一种基于AI技术的虚拟数字人动态追溯监管系统中。
Claims (10)
1.一种基于AI技术的虚拟数字人动态追溯监管方法,其特征在于:
步骤S1,对第一虚拟数字人人脸模型进行修改,在所述第一虚拟数字人人脸模型上增加第一特征,得到第二虚拟数字人,所述第二虚拟数字人为对外发布的虚拟数字人;
步骤S2,对所述第一虚拟数字人从不同角度截图,得到的图像为负样本,对所述第二虚拟数字人从不同角度截图,得到的图像为正样本;
步骤S3,将第一CNN网络的卷积层中的第一数量、第一位置处的卷积层的学习率修改为第一学习率,其余卷积层的学习率修改为第二学习率,其中所述第一学习率小于所述第二学习率,得到第二CNN网络;
步骤S4,以所述正样本和所述负样本训练第二CNN网络,并确定所述第二CNN网络的准确率;
步骤S5,修改所述第一数量和/或第一位置,重复步骤S3-S4;
步骤S6,确定准确率大于第一阈值,第一数量最大的情况的第二CNN网络模型确定为目标CNN网络模型;
步骤S7,使用所述目标CNN网络模型的特征提取层提取所述第二虚拟数字人正面图像的第一特征;
步骤S8,获取互联网上的第一图像,使用所述目标CNN网络模型提取所述第一图像的第二特征;
步骤S9,计算所述第一特征和所述第二特征的相似度,当相似度大于第二阈值时确定所述第一图像使用了所述第二虚拟数字人。
2.根据权利要求1所述的一种基于AI技术的虚拟数字人动态追溯监管方法,其特征在于在所述第一虚拟数字人人脸模型上增加第一特征包括:增加部分的线条长度、修改颜色或调整部分特征的轮廓或进行不对称调整。
3.根据权利要求1所述的一种基于AI技术的虚拟数字人动态追溯监管方法,其特征在于所述第一CNN网络为VGGFace、OpenFace、FaceNet、DeepFace中的一种。
4.根据权利要求1所述的一种基于AI技术的虚拟数字人动态追溯监管方法,其特征在于:所述第一学习率为0.0001,所述第二学习率为0.001。
5.根据权利要求1所述的一种基于AI技术的虚拟数字人动态追溯监管方法,其特征在于:所述特征提取层包括:输入层、卷积层、池化层、归一层。
6.一种基于AI技术的虚拟数字人动态追溯监管系统,其特征在于所述系统包括:
修改模块,用于对第一虚拟数字人人脸模型进行修改,在所述第一虚拟数字人人脸模型上增加第一特征,得到第二虚拟数字人,所述第二虚拟数字人为对外发布的虚拟数字人;
样本模块,用于对所述第一虚拟数字人从不同角度截图,得到的图像为负样本,对所述第二虚拟数字人从不同角度截图,得到的图像为正样本;
设置模块,用于将第一CNN网络的卷积层中的第一数量、第一位置处的卷积层的学习率修改为第一学习率,其余卷积层的学习率修改为第二学习率,其中所述第一学习率小于所述第二学习率,得到第二CNN网络;
训练模块,用于以所述正样本和所述负样本训练第二CNN网络,并确定所述第二CNN网络的准确率;
循环模块,用于修改所述第一数量和/或第一位置,重复所述设置模块用训练模块的步骤;确定模块,用于确定准确率大于第一阈值,第一数量最大的情况的第二CNN网络模型确定为目标CNN网络模型;
第一计算模块,用于使用所述目标CNN网络模型的特征提取层提取所述第二虚拟数字人正面图像的第一特征;
第二计算模块,用于获取互联网上的第一图像,使用所述目标CNN网络模型提取所述第一图像的第二特征;
对比模块,用于计算所述第一特征和所述第二特征的相似度,当相似度大于第二阈值时确定所述第一图像使用了所述第二虚拟数字人。
7.根据权利要求6所述的一种基于AI技术的虚拟数字人动态追溯监管系统,其特征在于在所述第一虚拟数字人人脸模型上增加第一特征包括:增加部分的线条长度、修改颜色或调整部分特征的轮廓或进行不对称调整。
8.根据权利要求6所述的一种基于AI技术的虚拟数字人动态追溯监管系统,其特征在于所述第一CNN网络为VGGFace、OpenFace、FaceNet、DeepFace中的一种。
9.根据权利要求6所述的一种基于AI技术的虚拟数字人动态追溯监管系统,其特征在于:所述第一学习率为0.0001,所述第二学习率为0.001。
10.根据权利要求6所述的一种基于AI技术的虚拟数字人动态追溯监管系统,其特征在于:所述特征提取层包括:输入层、卷积层、池化层、归一层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049954.7A CN117078507A (zh) | 2023-08-18 | 2023-08-18 | 一种基于ai技术的虚拟数字人动态追溯监管方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049954.7A CN117078507A (zh) | 2023-08-18 | 2023-08-18 | 一种基于ai技术的虚拟数字人动态追溯监管方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117078507A true CN117078507A (zh) | 2023-11-17 |
Family
ID=88701848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311049954.7A Pending CN117078507A (zh) | 2023-08-18 | 2023-08-18 | 一种基于ai技术的虚拟数字人动态追溯监管方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078507A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020253505A1 (zh) * | 2019-06-20 | 2020-12-24 | 平安科技(深圳)有限公司 | 一种手掌图像的检测方法及装置 |
US20210407216A1 (en) * | 2020-11-09 | 2021-12-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating three-dimensional virtual image, and storage medium |
US20220147765A1 (en) * | 2020-11-10 | 2022-05-12 | Nec Laboratories America, Inc. | Face recognition from unseen domains via learning of semantic features |
CN115035562A (zh) * | 2022-04-27 | 2022-09-09 | 哈尔滨理工大学 | 一种基于FaceNet改进的口罩遮挡下的人脸识别方法 |
CN115424314A (zh) * | 2022-07-22 | 2022-12-02 | 重庆邮电大学 | 一种可识别的人脸匿名化处理方法及系统 |
CN115641632A (zh) * | 2022-10-20 | 2023-01-24 | 南京航空航天大学 | 一种基于分离三维卷积神经网络的人脸伪造检测方法 |
CN115690468A (zh) * | 2022-11-24 | 2023-02-03 | 苏州小优智能科技有限公司 | 一种人脸图像相似度比对优化方法及系统 |
CN116386117A (zh) * | 2023-04-07 | 2023-07-04 | 平安银行股份有限公司 | 人脸识别方法、装置、设备及存储介质 |
-
2023
- 2023-08-18 CN CN202311049954.7A patent/CN117078507A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020253505A1 (zh) * | 2019-06-20 | 2020-12-24 | 平安科技(深圳)有限公司 | 一种手掌图像的检测方法及装置 |
US20210407216A1 (en) * | 2020-11-09 | 2021-12-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating three-dimensional virtual image, and storage medium |
US20220147765A1 (en) * | 2020-11-10 | 2022-05-12 | Nec Laboratories America, Inc. | Face recognition from unseen domains via learning of semantic features |
CN115035562A (zh) * | 2022-04-27 | 2022-09-09 | 哈尔滨理工大学 | 一种基于FaceNet改进的口罩遮挡下的人脸识别方法 |
CN115424314A (zh) * | 2022-07-22 | 2022-12-02 | 重庆邮电大学 | 一种可识别的人脸匿名化处理方法及系统 |
CN115641632A (zh) * | 2022-10-20 | 2023-01-24 | 南京航空航天大学 | 一种基于分离三维卷积神经网络的人脸伪造检测方法 |
CN115690468A (zh) * | 2022-11-24 | 2023-02-03 | 苏州小优智能科技有限公司 | 一种人脸图像相似度比对优化方法及系统 |
CN116386117A (zh) * | 2023-04-07 | 2023-07-04 | 平安银行股份有限公司 | 人脸识别方法、装置、设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
VIKTOR VARKARAKIS, ETC.: "Validating Seed Data Samples for Synthetic Identities Methodology and Uniqueness Metrics", 《IEEE ACCESS》, 12 August 2020 (2020-08-12), pages 152532 - 152550 * |
WEIGUO ZHANG, ETC: "A Novel Counterfeit Feature Extraction Technique for Exposing Face-Swap Images Based on Deep Learning and Error Level Analysis", 《ENTROPY》, 21 February 2020 (2020-02-21), pages 1 - 16 * |
张敏: "面向低质量的深度伪造人脸检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, 15 March 2023 (2023-03-15), pages 138 - 66 * |
张润生;贺超;况朝青;: "基于深度神经网络的伪装人脸识别", 电子技术应用, no. 05, 6 May 2020 (2020-05-06), pages 27 - 30 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766447B (zh) | 一种使用多层注意力网络机制解决视频问答的方法 | |
CN109785258A (zh) | 一种基于多判别器生成对抗网络的人脸图像修复方法 | |
CN108520503A (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
CN115769234A (zh) | 基于模板从2d图像生成3d对象网格 | |
CN109344759A (zh) | 一种基于角度损失神经网络的亲属识别方法 | |
CN115035418A (zh) | 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及系统 | |
CN112085835A (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
CN111652798A (zh) | 人脸姿态迁移方法和计算机存储介质 | |
CN113642621A (zh) | 基于生成对抗网络的零样本图像分类方法 | |
CN107066979A (zh) | 一种基于深度信息和多维度卷积神经网络的人体动作识别方法 | |
CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
CN109816634A (zh) | 检测方法、模型训练方法、装置及设备 | |
CN115115969A (zh) | 视频检测方法、装置、设备、存储介质和程序产品 | |
CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
CN111813894A (zh) | 一种基于深度学习的自然语言情感识别方法 | |
CN113962192B (zh) | 汉字字体生成模型的生成方法、汉字字体生成方法及装置 | |
CN110659702A (zh) | 基于生成式对抗网络模型书法字帖评价系统及方法 | |
CN116704079B (zh) | 图像生成方法、装置、设备及存储介质 | |
US20230072918A1 (en) | Assessing image/video quality using an online model to approximate subjective quality values | |
CN117078507A (zh) | 一种基于ai技术的虚拟数字人动态追溯监管方法与系统 | |
CN111507383A (zh) | 一种基于进化算法的神经网络自动剪枝方法 | |
Wang et al. | Generative model with coordinate metric learning for object recognition based on 3D models | |
CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
CN111709278B (zh) | 一种识别猕猴面部表情的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |