CN114979728B - 一种基于深度学习的联盟链场景下视频数据上链有害性审核方法 - Google Patents

一种基于深度学习的联盟链场景下视频数据上链有害性审核方法 Download PDF

Info

Publication number
CN114979728B
CN114979728B CN202210570211.3A CN202210570211A CN114979728B CN 114979728 B CN114979728 B CN 114979728B CN 202210570211 A CN202210570211 A CN 202210570211A CN 114979728 B CN114979728 B CN 114979728B
Authority
CN
China
Prior art keywords
video
chain
authorization
alliance chain
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210570211.3A
Other languages
English (en)
Other versions
CN114979728A (zh
Inventor
胡晓艳
宋晓怡
程光
吴桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210570211.3A priority Critical patent/CN114979728B/zh
Publication of CN114979728A publication Critical patent/CN114979728A/zh
Application granted granted Critical
Publication of CN114979728B publication Critical patent/CN114979728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，具体步骤包括：系统管理员构建联盟链及私有IPFS网络，并允许普通用户及监管机构中的各监管者分别加入所述联盟链及IPFS网络；普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作；监管者获取IPFS网络上的视频数据，通过基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并向联盟链提交签名后的审核结果；由链码最终保证仅有合法的视频信息能够上链。本发明能够实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题。

Description

一种基于深度学习的联盟链场景下视频数据上链有害性审核 方法
技术领域
本发明的涉及联盟链内容监管技术领域，特别是涉及一种基于深度学习的联盟链场景下视频数据上链有害性审核方法。
背景技术
随着区块链技术的不断发展，链上承载的交易内容除最常见的金融数据外，也包含了如短文本、图片、文件等形式的非金融数据。允许非金融数据的注入显著扩展了区块链技术的应用场景，但这同时也带来了有害信息在链上传播的问题。相较于公有链，联盟链虽然能够通过准入机制来实现区块链网络内的成员认证与可控，但潜在的恶意个人发布仍然无法被阻止，即有害信息仍存在上链和传播风险。
相较于具有明显特征的涉及暴恐、色情等话题的敏感信息，区块链上传播的虚假信息更难监测与治理。特别地，Deepfake技术的应用使得虚假的图片、音频、视频等数字内容更具欺诈性，使得用户在海量信息中无法准确分辨真实的数据内容。以Deepfake视频为例，现有的结合区块链技术进行Deepfake视频泛滥治理的研究中，通常是使用区块链来跟踪和验证视频的发布来源，根据发布来源的可靠性进而判断视频的真实性，并通过信任模型来维护网络内用户声誉以及激励优质内容的发布。但是，上述研究仍有如下三个关键问题尚待解决：其一，上述研究仅通过信任模型来对链上视频的真实性进行验证，并未真正有效解决Deepfake视频上链并传播的问题；其二，由于用户能够在视频从捕获到存储的过程中进行一系列更改操作，因此即使追溯该视频至初始发布来源，也不能完全证明该视频内容可信，且信任模型本身存在主观性的问题，同时在区块链网络中计算和维护信任模型会产生相应的开销；其三，经合法授权的二次编辑视频应与Deepfake视频有所区分，因为前者是在原视频作者的同意下进行的创作行为，后者是未经同意的篡改行为，而目前对于上传至区块链的各类视频数据并没有完善的监管方案与事后处理机制。
因此，针对虚假视频信息上链并传播难以监管的问题，本发明提出了一种基于深度学习的视频数据上链有害性审核的方法。本发明将视频分为原创视频与二次剪辑视频两类，通过将完整的数据存储在IPFS网络上以提高区块链存储效率以及降低存储开销；对原创视频使用基于深度学习的Deepfake检测模型来检验是否为Deepfake视频；二次剪辑视频需要审核其是否经过合法的授权认证，数字签名的使用以及链上的防篡改记录将共同用于检测授权的有效性。通过对上述两类视频进行详细的有害性审核，该发明保证只有合法的视频数据才能够成功存储在链上，实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题。
发明内容
发明目的：本发明提供一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，能够实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题；由于所述Deepfake检测模型采用局部最大ECR值算法来选择视频关键帧，因此能够有效减少数据冗余并保证视频帧选取的多样性。
技术方案：本发明所述的一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，包括以下步骤：
(1)系统管理员构建联盟链及私有IPFS网络，并允许普通用户及监管机构中的各监管者分别加入所述联盟链及IPFS网络；
(2)普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作；
(3)监管者获取IPFS网络上的视频数据，通过基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并向联盟链提交签名后的审核结果；
(4)由链码最终保证仅有合法的视频信息能够上链。
步骤(1)中所述的联盟链网络及私有IPFS网络仅由已认证的普通用户及监管机构加入，该私有IPFS网络将用于存储完整的视频数据。
步骤(2)中所述的普通用户可执行的操作，包括提交视频信息、执行请求链上合法视频的授权操作以及执行响应收到的视频授权操作。
步骤(2)中所述的普通用户提交视频信息的操作限制普通用户发布原创视频及二次剪辑视频共两类视频，完整的视频数据将首先保存至所述IPFS网络，其返回的IPFS地址及其他相关信息将随后由普通用户提交至所述联盟链网络。
步骤(2)中所述的普通用户执行请求链上合法视频的授权操作，是指普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上。
步骤(2)中所述的普通用户执行响应收到的视频授权操作，是指普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上。
所述步骤(3)包括以下步骤：
(3.1)监管者从所述IPFS网络获取完整的视频数据；
(3.2)监管者调用基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并获得该视频的Deepfake审核结果；
(3.3)监管者使用自己的私钥对该审核结果签名，并向联盟链提交签名后的审核结果。
所述步骤(3.2)具体包括以下子步骤：
(3.2.1)根据完整的视频数据，计算视频各帧的ECR值，具体公式如下：
其中，ECRi表示为该帧的ECR值，i和i-1分别代表为视频的第i帧和第i-1帧，δi和δi-1分别为第i帧及相邻上一帧中的所有边缘像素值，为第i帧中增加的边缘像素的数量，/>为相邻上一帧消失的边缘像素的数量。
(3.2.2)设置窗口大小，对该视频的所有ECR值进行平滑处理，并选择具有最大差异的ECR值的帧作为该视频的关键帧；
(3.2.3)以MesoNet-4模型为基础执行Deepfake检测任务，并在面部提取过程中使用局部最大ECR值算法代替原有的随机帧选择策略，使得从上述关键帧中提取的人脸能够更好地用于后续Deepfake检测任务；
(3.2.4)通过执行(3.2.3)操作，从视频中提取到的人脸图片的分类结果将构成一数组，对该数组进行均值计算，如小于0.5，则认为是Deepfake视频，否则认为是真实视频。
步骤(4)所述的由链码最终保证仅有合法的视频信息能够上链，是指对于拟上链的视频信息，由链码根据视频类型分别审核并判断其有害性，其中，原创视频需要审核其是否为Deepfake视频，链码需要检索链上是否存在该视频的Deepfake审核结果，如其审核结果合法且为真实视频，则予以上链，其他情况则拒绝其上链请求；二次剪辑视频需要审核其是否经过有效的授权认证，链码需要检索链上是否存在该视频的授权记录及响应授权记录，如其授权及响应授权记录合法且结果为同意授权，则予以上链，其他情况则拒绝其上链请求。
有益效果：与现有技术相比，本发明的有益效果为：1.该方案结合IPFS网络进行大数据量的视频存储，提高了联盟链存储效率以及降低了存储开销；2.该方案能够有效审核拟上链的视频数据的有害性，实现联盟链网络内视频数据信息的内容安全性核查与监管，并解决虚假的视频信息在联盟链上扩散传播的问题；3.该方案对MesoNet-4模型进行了改进，通过使用局部最大ECR值算法以进行关键帧选取操作，有效减少了数据冗余并保证了视频帧选取的多样性，使得提取得到的人脸能够更好地用于后续Deepfake检测任务；4.该方案完善了联盟链内容监管领域对于虚假视频数据的处置方案，通过以适当的开销支持监管机构对链上视频数据进行穿透式监管，为进一步维护联盟链生态健康和可持续发展提供了可行的解决思路。
附图说明
图1为本发明所述基于深度学习的联盟链场景下视频数据上链有害性审核的方法流程图；
图2为本发明所述的原创视频的存储及上链流程；
图3为本发明所述的二次剪辑视频的存储及上链流程；
图4为本发明所述基于深度学习的Deepfake检测模型架构；
图5为本发明实施例所述的局部最大ECR值算法及随机帧选择策略下的Deepfake检测模型在测试集上的结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：本发明提出了一种基于深度学习的联盟链场景下视频数据上链有害性审核方法，具体步骤如图1所示。视频数据首先被分为原创视频和二次剪辑视频两类，所讨论的原创视频存储及上链流程如图2所示。普通用户首先将完整的视频存储在IPFS上，并得到相应的IPFS地址；多个监管者会从IPFS网络上获取用户上传的原创视频数据，通过基于深度学习的Deepfake检测模型来审核该原创视频是否为经篡改后的Deepfake视频，并向联盟链提交经签名后的原创视频审核结果；普通用户在向联盟链提交视频信息时，需要填写该视频的IPFS地址、视频类型等其他相关信息；链码会自动检查链上关于该原创视频的审核结果，如审核为真实视频，则该视频信息能够上链，否则不予上链。所讨论的二次剪辑视频的存储及上链流程如图3所示，普通用户需要先通过相应视频授权与响应授权流程以获取原始视频的授权，在向联盟链提交相关视频信息时，链码将根据链上的授权与响应授权记录自动检测授权的有效性，只有具有有效的授权记录的二次剪辑视频才能够成功上链，否则不予上链。
(1)系统管理员构建联盟链及私有IPFS网络，并允许普通用户及监管机构中的各监管者分别加入所述联盟链及IPFS网络；
系统管理员负责构建联盟链网络，并出于数据隐私和维护的考虑，构建私有IPFS网络，该IPFS网络将用于存储完整的视频数据。已认证的普通用户及监管机构分别加入所述联盟链及私有IPFS网络。
(2)普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作；
普通用户可选提交视频信息、请求链上合法视频的授权以及响应收到的视频授权等操作，其中提交视频信息操作限制普通用户发布原创视频及二次剪辑视频共两类视频，完整的视频数据将首先保存至所述IPFS网络，其返回的IPFS地址及其他相关信息将随后由普通用户提交至所述联盟链网络；在请求链上合法视频的授权操作时，普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上；在执行响应收到的视频授权操作时，普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上。提交至链上的视频信息、链上请求授权记录和链上响应授权记录分别如表1、表2、表3所示：
表1链上视频信息
表2链上请求授权记录
表3链上响应授权记录
(3)监管者获取IPFS网络上的视频数据，通过基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并向联盟链提交签名后的审核结果；
监管者从所述IPFS网络获取完整的视频数据，随后调用基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并获得该视频的Deepfake审核结果，该模型结构如图4所示。
局部最大ECR值算法要求首先计算视频各帧的ECR值，具体公式如下：
其中，ECRi表示为该帧的ECR值，i和i-1分别代表为视频的第i帧和第i-1帧，δi和δi-1分别为第i帧及相邻上一帧中的所有边缘像素值，为第i帧中增加的边缘像素的数量，/>为相邻上一帧消失的边缘像素的数量。
在得到该视频的所有ECR值后，设置窗口大小以对该视频的所有ECR值进行平滑处理，并选择具有最大差异的ECR值的帧作为该视频的关键帧。完整的Deepfake检测模型以MesoNet-4模型为基础，并在面部提取过程中使用局部最大ECR值算法代替原有的随机帧选择策略，使得从上述关键帧中提取的人脸能够更好地用于后续Deepfake检测任务。最后，从视频中提取到的人脸图片的分类结果将构成一数组，对该数组进行均值计算，如小于0.5，则认为是Deepfake视频，否则认为是真实视频。
在得到具体视频的Deepfake检测结果后，由监管者使用自己的私钥对该审核结果签名，并向联盟链提交签名后的审核结果。其中，提交至链上的视频审核结果如表4所示。
表4链上视频审核结果
(4)由链码最终保证仅有合法的视频信息能够上链。
对于拟上链的视频信息，由链码根据视频类型分别审核并判断其有害性，其中，原创视频需要审核其是否为Deepfake视频，链码需要检索链上是否存在该视频的Deepfake审核结果，如其审核结果合法且为真实视频，则予以上链，其他情况则拒绝其上链请求；二次剪辑视频需要审核其是否经过有效的授权认证，链码需要检索链上是否存在该视频的授权记录及响应授权记录，如其授权及响应授权记录合法且结果为同意授权，则予以上链，其他情况则拒绝其上链请求。最终，链上仅存有合法的视频信息。
为验证局部最大ECR值算法对MesoNet-4模型的改进效果，使用Celeb-DF数据集对模型以相同的参数(学习率为0.001，轮次为20轮)进行训练和测试，分别应用局部最大ECR值算法(Local-Max-ECR-Frame)和随机帧选择策略(Random-Frame)的模型在测试集上的实验结果如图5所示，其中Accuracy为准确率，Precision为精确率，Recall为召回率，F1_score为综合评价。两模型在准确率和综合评价上的结果不相上下，而应用Local-Max-ECR-Frame策略的模型性能总体略优于应用Random-Frame策略的模型。该性能提升并不显著的原因是，Random-Frame策略下会产生比Local-Max-ECR-Frame策略多约一倍的训练数据，即使包含了较多的图片冗余，但长时间的训练也能够帮助模型提升性能。此外，虽然Local-Max-ECR-Frame策略下的模型精确率略低于Random-Frame策略下的模型，但它拥有更高的召回率，意味着该策略下的模型对Deepfake视频更敏感，因此能够有效应用于视频上链有害性审核工作中以检测出潜在的Deepfake视频。
用户上传原创视频及二次剪辑视频过程中各步骤所花费的时间以及产生的链上存储开销如表5所示。本发明对50个视频进行了Deepfake检测以及相关视频信息的上链操作，表中数据为其平均值。
表5普通用户上传视频信息各步骤所产生的开销
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种联盟链场景下视频数据上链有害性审核方法，其特征在于，所述方法包括如下步骤：
(1)系统管理员构建联盟链及私有IPFS网络，并允许普通用户及监管机构中的各监管者分别加入所述联盟链及IPFS网络；
(2)普通用户提交视频信息、请求链上合法视频的授权以及响应收到的视频授权操作；
(3)监管者获取IPFS网络上的视频数据，通过基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并向联盟链提交签名后的审核结果；
(4)由链码最终保证仅有合法的视频信息能够上链；
所述步骤(3)包括以下步骤：
(3.1)监管者从所述IPFS网络获取完整的视频数据；
(3.2)监管者调用基于局部最大ECR值算法的Deepfake检测模型来判断该视频的真实性，并获得该视频的Deepfake审核结果；
(3.3)监管者使用自己的私钥对该审核结果签名，并向联盟链提交签名后的审核结果；
所述步骤(3.2)具体包括以下子步骤：
(3.2.1)根据完整的视频数据，计算视频各帧的ECR值，具体公式如下：
其中，ECRi表示为该帧的ECR值，i和i-1分别代表为视频的第i帧和第i-1帧，δi和δi-1分别为第i帧及相邻上一帧中的所有边缘像素值，为第i帧中增加的边缘像素的数量，/>为相邻上一帧消失的边缘像素的数量；
(3.2.2)设置窗口大小，对该视频的所有ECR值进行平滑处理，并选择具有最大差异的ECR值的帧作为该视频的关键帧；
(3.2.3)以MesoNet-4模型为基础执行Deepfake检测任务，并在面部提取过程中使用局部最大ECR值算法代替原有的随机帧选择策略，使得从上述关键帧中提取的人脸能够更好地用于后续Deepfake检测任务；
(3.2.4)通过执行(3.2.3)操作，从视频中提取到的人脸图片的分类结果将构成一数组，对该数组进行均值计算，如小于0.5，则认为是Deepfake视频，否则认为是真实视频。
2.根据权利要求1所述的一种联盟链场景下视频数据上链有害性审核方法，其特征在于，步骤(1)中所述的联盟链网络及私有IPFS网络仅由已认证的普通用户及监管机构加入，该私有IPFS网络将用于存储完整的视频数据。
3.根据权利要求1所述的一种联盟链场景下视频数据上链有害性审核方法，其特征在于，步骤(2)中所述的普通用户可执行的操作，包括提交视频信息、执行请求链上合法视频的授权操作以及执行响应收到的视频授权操作。
4.根据权利要求1所述的一种联盟链场景下视频数据上链有害性审核方法，其特征在于，步骤(2)中所述的普通用户提交视频信息的操作限制普通用户发布原创视频及二次剪辑视频共两类视频，完整的视频数据将首先保存至所述IPFS网络，其返回的IPFS地址及其他相关信息将随后由普通用户提交至所述联盟链网络。
5.根据权利要求3所述的一种联盟链场景下视频数据上链有害性审核方法，其特征在于，步骤(2)中所述的普通用户执行请求链上合法视频的授权操作，是指普通用户首先从链上得到想要获得授权的视频的具体信息，随后根据链上的视频信息，向该视频的作者发出授权请求，相应的请求授权记录由该用户签名，并存储在链上。
6.根据权利要求1所述的一种联盟链场景下视频数据上链有害性审核方法，其特征在于，步骤(4)所述的由链码最终保证仅有合法的视频信息能够上链，是指对于拟上链的视频信息，由链码根据视频类型分别审核并判断其有害性，其中，原创视频需要审核其是否为Deepfake视频，链码需要检索链上是否存在该视频的Deepfake审核结果，如其审核结果合法且为真实视频，则予以上链，其他情况则拒绝其上链请求；二次剪辑视频需要审核其是否经过有效的授权认证，链码需要检索链上是否存在该视频的授权记录及响应授权记录，如其授权及响应授权记录合法且结果为同意授权，则予以上链，其他情况则拒绝其上链请求。
CN202210570211.3A 2022-05-24 2022-05-24 一种基于深度学习的联盟链场景下视频数据上链有害性审核方法 Active CN114979728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210570211.3A CN114979728B (zh) 2022-05-24 2022-05-24 一种基于深度学习的联盟链场景下视频数据上链有害性审核方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210570211.3A CN114979728B (zh) 2022-05-24 2022-05-24 一种基于深度学习的联盟链场景下视频数据上链有害性审核方法

Publications (2)

Publication Number Publication Date
CN114979728A CN114979728A (zh) 2022-08-30
CN114979728B true CN114979728B (zh) 2024-04-02

Family

ID=82955346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210570211.3A Active CN114979728B (zh) 2022-05-24 2022-05-24 一种基于深度学习的联盟链场景下视频数据上链有害性审核方法

Country Status (1)

Country Link
CN (1) CN114979728B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123709A (zh) * 2013-04-23 2014-10-29 中国科学院沈阳自动化研究所 一种基于字典选择的关键帧提取方法
CN111090778A (zh) * 2019-12-26 2020-05-01 北京百度网讯科技有限公司 一种图片生成方法、装置、设备及存储介质
CN111897795A (zh) * 2020-06-24 2020-11-06 苏宁金融科技(南京)有限公司 一种联盟链的管理方法、装置及系统
CN113569824A (zh) * 2021-09-26 2021-10-29 腾讯科技（深圳）有限公司 模型处理方法、相关设备、存储介质及计算机程序产品

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468046B2 (en) * 2018-01-17 2022-10-11 Geeq Corporation Blockchain methods, nodes, systems and products

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123709A (zh) * 2013-04-23 2014-10-29 中国科学院沈阳自动化研究所 一种基于字典选择的关键帧提取方法
CN111090778A (zh) * 2019-12-26 2020-05-01 北京百度网讯科技有限公司 一种图片生成方法、装置、设备及存储介质
CN111897795A (zh) * 2020-06-24 2020-11-06 苏宁金融科技(南京)有限公司 一种联盟链的管理方法、装置及系统
CN113569824A (zh) * 2021-09-26 2021-10-29 腾讯科技（深圳）有限公司 模型处理方法、相关设备、存储介质及计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于区块链的内河执法管理系统的研究和设计;叶梓;孟宪伟;;数字通信世界(第01期);全文 *

Also Published As

Publication number Publication date
CN114979728A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
US11848957B1 (en) Session management
US11757641B2 (en) Decentralized data authentication
CN105591744B (zh) 一种网络实名认证方法及系统
US8190915B2 (en) Method and apparatus for detecting data tampering within a database
CN107770173A (zh) 用户管理系统、相关身份信息创建方法和请求校验方法
US10484426B2 (en) Auto-generated synthetic identities for simulating population dynamics to detect fraudulent activity
AU2004272083A1 (en) System and method for risk based authentication
CN105915494A (zh) 防盗链方法及系统
CN108234442A (zh) 获取合约的方法、系统及可读存储介质
CN110716932A (zh) 数据处理方法、系统、设备及存储介质
Doshi et al. A review paper on security concerns in cloud computing and proposed security models
CN107203713A (zh) 验证码生成方法及装置
CN114979728B (zh) 一种基于深度学习的联盟链场景下视频数据上链有害性审核方法
CN116720824B (zh) 一种基于区块链的电子证照库管理系统及方法
Manjula et al. Pre-Authorization and post-authorization techniques for detecting and preventing the session hijacking
CN103178955B (zh) 一种认证方法、设备和系统
CN111552985B (zh) 一种信息核验方法和装置
CN115037482A (zh) 欺诈行为检测方法、装置、电子设备及可读存储介质
TWI656454B (zh) Method and system for preventing password file leakage detection
CN107689964B (zh) 嵌入式web服务器防重放攻击的方法
CN107018148A (zh) 用户登录控制方法及装置
Andriamilanto Leveraging browser fingerprinting for web authentication
González Arrieta et al. Two-step verification in the teaching/learning process
Pernpruner et al. A Framework for Security and Risk Analysis of Enrollment Procedures: Application to Fully-remote Solutions based on eDocuments.
CN114006699B (zh) 一种零信任架构中证书颁发方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant