CN112464179B - 一种基于区块链与表情识别的短视频版权存储算法 - Google Patents

一种基于区块链与表情识别的短视频版权存储算法 Download PDF

Info

Publication number
CN112464179B
CN112464179B CN202011347975.3A CN202011347975A CN112464179B CN 112464179 B CN112464179 B CN 112464179B CN 202011347975 A CN202011347975 A CN 202011347975A CN 112464179 B CN112464179 B CN 112464179B
Authority
CN
China
Prior art keywords
short video
node
registration
block chain
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011347975.3A
Other languages
English (en)
Other versions
CN112464179A (zh
Inventor
俞定国
杨阳
陈楠
钱永江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Media and Communications
Original Assignee
Zhejiang University of Media and Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Media and Communications filed Critical Zhejiang University of Media and Communications
Priority to CN202011347975.3A priority Critical patent/CN112464179B/zh
Publication of CN112464179A publication Critical patent/CN112464179A/zh
Priority to US17/344,782 priority patent/US20220167066A1/en
Application granted granted Critical
Publication of CN112464179B publication Critical patent/CN112464179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioethics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于区块链与表情识别的短视频版权存储算法，针对短视频数字版权存证，首先对人脸类短视频通过本发明提出的“一种基于视觉优先规则的卷积神经网络”算法计算其视频关键信息，之后将该关键信息以日志文件的形式通过本发明提出的“基于区块链与表情识别的短视频版权存储”算法存储于联盟区块链中以完成短视频数字版权存证，包括：认证联盟链成员节点，通过认证之后可以对短视频数字版权进行存证与其他操作；人脸类短视频关键信息提取；通过深度学习算法对关键信息进行特征向量计算；为提高存证效率对特征向量进行增强计算；生成人脸类短视频数字版权认定标签值JSON文件。

Description

一种基于区块链与表情识别的短视频版权存储算法
技术领域
本发明涉及区块链、智能合约及深度学习技术对短视频数字版权的存证确权领域，具体涉及一种基于区块链与表情识别的短视频版权存储算法。
背景技术
近年来，短视频数字版权保护愈演愈热。不仅是流通在广播电视网络、传统互联网、5G移动网络上面的媒体流，如音乐、MV、直播流等具有版权，光大用户在一些短视频平台上传的人脸类短视频在涉及到价值转让或商用时，其版权会极易受到侵害。截至目前我国数字出版产业的用户数量已达到18多亿人，数字版权产业的整体收入规模达到7000多亿元。在数字媒体版权产业发展迅猛之时很多版权方面的问题也在暴露，如：传统数字版权保护方案效率低下，保护方案依赖中心化集团导致中心化程度高，且已被保护的数字版权信息极易被篡改，以及数字短视频作品被侵权、盗版之后维权与取证时间长且艰难。在对人脸类短视频媒体的数字版权存证确权方面，区块链技术中的联盟链可以起到一定的作用。
区块链中的联盟链技术应用于短视频数字版权存证领域，可以为其联盟内的每一个成员节点提供一个分布式存储信息的账本，这个账本中可以存储短视频数字版权信息，而且由于区块链自身具有防篡改特性，所以在不考虑Hash碰撞可能性的情况下账本中的记录不能随意篡改。因为一旦其中信息有任何微小的改动，基于Hash密码学算法的特征，对整个账本最终呈现的结果都是一次巨大的修改。
Hash算法是一种单向的密码学算法，它的特征是可以将一段明文通过加密计算映射为一段密文，且这个映射是不可逆的。也就是说任何信息经过Hash算法对其进行计算之后，无法通过计算得出的结果反推出加密前的信息，即只可加密不可解密。两个一模一样的明文串在Hash加密之后会生成相同的密文串，但要两个明文串中有一点不同，生成的密文串也会完全不一样且无规律可循。所以对于短视频数字版权的关键信息，通过Hash计算，完全可以为这些信息打上唯一的，不可反推的且由杂乱的字符组成的标识符。
深度学习技术中的视觉优先规则代表人类大脑信号处理机制中视觉优先规则最为特殊。人类具有通过快速浏览图片或文字从而获得信息的本能，且在获得信息的过程中无意识会将需要重点关注的部分“锚定”即也就是关注到了注意力焦点部分，此模式可以在视觉获取更多关键信息的基础上有效规避冗余信息。论文在已有卷积神经网络的基础之上引入视觉优先规则对于人脸表情关键点特征提取有很大帮助。首先，卷积神经网络通过其自身特征收集人脸语义子特征的不同部分与层次结构特征进而对复杂对象进行特征化表示，其中所有的子特征均已分组的形式存储于每一个独立层级的特征向量。其次，在基于视觉优先规则的卷积神经网络中每个分组内的子特征都是并行处理的。最后，视觉优先规则模块可以通过调整权重的方式调整每一个子特征的重要性。
关于应用区块链技术对短视频数字版权保护领域的研究，处于不同的视角审视则具有不同的侧重点，但是就目前而言并没有将区块链技术在某一具体的短视频数字版权存证应用方面进行总结，而且大多数的研究仍停留在研究层面。2018年宣传部针对全国范围推进县级融媒体中心的建设作出了部署安排，该部署要求2020年底基本实现在全国范围内覆盖县级融媒体中心。依托于省级媒体平台的各个县级融媒体中心群体，相当于一个以省级融媒体为中心，县级融媒体中心为分支的融媒体联盟，这一特性使得该组织架构可以作为一个典型的应用区块链技术对短视频数字版权保护应用场景：其中省级融媒体中心具有统筹县级融媒体中心进行媒体资源的存证等活动的权限，县级融媒体中心可以借助发明提出的基于区块链与人脸表情识别的短视频版权存储方式对短视频数字版权进行联盟链存证。
发明内容
本发明针对现有技术的不足，提出了一种基于区块链与表情识别的短视频版权存储算法。
发明可应用于短视频服务平台，服务平台为短视频生产者提供作品保护渠道。现在短视频已经成为融媒体新闻的重要呈现形式，所以发明基于省级融媒体中心这一典型应用场景建立联盟区块链(下称联盟链)。在此场景中下一级机构(如县级融媒体中心)可以基于联盟链进行短视频数字版权存证。上述内容中县级融媒体中心作为联盟链中的成员节点，必须通过省级融媒体中心认证，即其可以作为短视频数字资源提供方。成员节点使用该系统首先进行身份验证，通过身份验证的成员节点可以使用该系统针对短视频数字版权进行存证。
基于视觉优先规则的卷积神经网络计算通过自身特征收集人脸30个关键特征点的不同信息与层次性结构特征对这些信息与特征进行特征化标识，所有的子特征会被系统自动分组并被自动保存在一个独立的特征向量中。视觉优先规则计算针对每个组进行单独操作且首先假设在一个特征组的每个空间位置均存在一个特征；其次将特征组内的原始特征进行平均池化计算；然后将特征组内的全局特征与原始特征进行整合点积运算得到每一个特征所对应的独立系数并对其进行归一化计算；接下来引入参数并且缩放移动归一化的数值并对其进行SIGMOID函数激活；最后将激活之后的归一化值与原始特征进行点积运算得到增强特征向量。
本发明通过写入字段将识别到的人脸采样30个关键点部位增强特征向量数据写成JSON文件存储，面部关键点识别根据检测人数的增加而延长运算时间。本发明考虑到识别效率问题与实际应用需求问题，关键点识别既要保证存取信息的相对唯一效应，且还要保证数据量不能过大，对于区块链存储的需求先暂时无需考虑脖、颈等部位的数据采集。
本发明为提高系统可用性采用深度学习算法进行关键帧的提取，以短视频文件的关键帧增强特征向量的JSON文件作为视频存证与确权的主要依据，将JSON文件的Hash值作为文件唯一标识存储在区块链中。若一个待存证视频文件长度超过规定时长(5min)则系统自动将其切分为单个时长5min的短视频组，组中元素分别输出日志且以默克尔树的形式计算出总Hash值作为该长视频的默克尔根值写入区块。
一种基于区块链与表情识别的短视频版权存储算法，包括以下步骤：
第1步：基于视觉优先规则的卷积神经网络算法对人脸类短视频中人脸表情进行识别，通过客户端上传短视频作品，提取短视频全程人脸表情特征，算法生成能够唯一标识该短视频的内容标签值日志JSON文件；
第2步：采用基于区块链与人脸表情识别的短视频数字版权存储算法将对第1步生成的短视频的内容标签值日志JSON文件存储进如联盟区块链；
第3步：向联盟区块链中负责收集登记申请、加入未确认登记列表与建立区块的第一节点(节点1)发送登记请求，第一节点(节点1)向全网发布广播请求登记验证；
第4步：全网可用节点收到第一节点(节点1)的请求首先计算新区块哈希值，然后再向全网发布广播请求哈希值校验；
第5步：全网可用节点接收到第4步计算出的新区块哈希值，首先对哈希值进行校验，然后将自己的校验结果广播到全网，经过全网以容错算法为规则确认之后进行存储登记，最后向客户端返回结果。
本发明中，还包括：在第1步之前，联盟链成员登录认证。联盟链成员登录认证具体包括：
联盟链成员节点通过自己唯一的私钥向联盟区块链发起登录请求，如果该登录验证不被通过，则联盟区块链会自动拒绝该节点对交易系统的登录请求；如果该登录验证通过，则会将通过结果反馈给请求认证的节点，节点将会被允许进入短视频数字版权存储系统并发起之后的操作。
第1步中，视觉注意力是人类特有的脑信号处理机制，人类可以通过迅速扫描全局获得需要重点关注的区域，屏蔽非重点区域。所以在人脸表情特征识别与提取研究中，优先考虑人类眼球这一视觉特征机制(视觉优先规则)可以增强人脸表情特征提取准确度。
卷积神经网络的多层性与监督学习机制可以减少深层网络占用的内存量，其用于人脸表情识别可以对人脸表情这一复杂对象进行特征表示。
基于视觉优先规则的卷积神经网络算法在卷积神经网络没一个独立层之后加入了视觉特征因子组，该因子组将为每一个人脸表情特征组中的每个空间位置赋予一个视觉特征因子，该因子的大小可以控制人脸表情特征组中每一个独立特征的重要性权值，所以任意人脸表情特征组均可以自主地增强其特征表达度。首先，卷积神经网络通过其自身特征收集人脸语义子特征的不同部分与层次结构特征进而对复杂对象进行特征化表示，其中所有的子特征均已分组的形式存储于每一个独立层级的特征向量。其次，在基于视觉优先规则的卷积神经网络中每个分组内的子特征都是并行处理的。最后，视觉优先规则模块可以通过调整权重的方式调整每一个子特征的重要性。
视觉优先规则计算针对每个组进行单独操作且首先假设在一个特征组的每个空间位置均存在一个特征；其次将特征组内的原始特征进行平均池化计算；然后将特征组内的全局特征与原始特征进行整合点积运算得到每一个特征所对应的独立系数并对其进行归一化计算；接下来引入参数并且缩放移动归一化的数值并对其进行SIGMOID函数激活；最后将激活之后的归一化值与原始特征进行点积运算得到增强特征向量。本发明提出的基于视觉优先规则的卷积神经网络人脸表情识别算法为了使网络中增加恒等映射与丰富特征学习加入了残差恒等块，为保证细微表情与关键表情特征的精确提取该模块也和视觉优先规则模块相结合。
所述的基于视觉优先规则的卷积神经网络算法对人脸类短视频中人脸表情进行识别，具体包括：
A)提取输入数据的特征，设定core为卷积神经网络的卷积核，其大小为X*Y，X*Y表示卷积核的大小，bias为其偏置量，fun为激活函数，input与output分别为输入、输出，且input与output的大小均为M*N，x表示卷积核大小X*Y中X从0递增的变量，y表示卷积核大小X*Y中Y从0递增的变量。m表示input与output大小M*N中M从0递增的变量，n表示input与output大小M*N中N从0递增的变量，则提出的卷积运算公式如公式(1)所示。
Figure BDA0002800423310000051
B)，进行平均池化运算，将下采样层设定为samplingdown，且采用最大池化计算，则最大池化定义如公式(2)所示；
samplingdown＝max(samplingdown-1) (2)
其中，samplingdown-1表示下采样层的前一采样层。
C)，采用ELU激活函数，未控制激活函数饱和值本发明设置count为常数，则激活函数的表达式如公式(3)所示；
Figure BDA0002800423310000052
其中，ELU(x)表示基于自变量x的激活函数，count(exp(x)-1)中count是一个常数，该式用于控制激活函数的饱和值。
第1步中，所述的短视频的内容标签值日志JSON文件由以下面部特征信息组成：唇厚度、唇宽度、鼻厚度、耳垂厚度、耳垂宽度、耳廓宽度、鼻高度、下眼睑宽度、眼角宽度、睫毛宽度、右眉毛宽度、眉间距、右鬓角高度、发色、发中宽度、头顶高度、额头颜色、左鬓角宽度、左眉毛宽度、眉头高度、眉尾高度、单双眼皮、鱼尾宽度、眼球色、耳饰品、鼻宽度、人中深度、唇色、下唇厚度、下巴宽度，且其识别值由以下表情标签组成：害怕、高兴、生气、厌恶、悲伤、惊讶和正常。
第2步中，本发明提出的基于区块链的短视频数字版权存储架构在发生Hash碰撞即检测到疑似侵权视频时由视频数字版权关键帧作为判断依据，即也就是存储架构将对短视频作品自身上链存储改为关键帧信息上链存储，即也就是区块中存储的内容如“多个视频的Hash值”相应改变为“一个视频多个关键帧的Hash值”。除此之外，通过设定阈值的方式调整关键帧的数量，基于不同的审查标准机制设定不同的关键帧选定依据使得存储架构鲁棒性与效率都得以提升。基于区块链的短视频数字版权存储架构自下而上分别为素材制作层、共识合约层、业务层、用户层，架构示意图。
采用基于区块链与人脸表情识别的短视频数字版权存储算法将对第1步生成的短视频的内容标签值日志JSON文件存储进如联盟区块链，具体包括：
a)首先通过架构对外客户端上传原始素材；
b)其次基于视觉优先规则的卷积神经网络人脸表情识别机制提取关键帧数据，根据关键数据列表构建新的区块并向全网发出广播，并且将用户的个人信息和短视频版权信息同时存储到服务器上；
c)然后客户端将自动发起登记入链申请并将此申请先发送到节点1(第一节点)，节点1(第一节点)收集登记申请加入未确认的登记并建立区块之后向全网发布广播，请求全网进行登记验证；
d)节点2(第二节点)、节点3(第三节点)和节点4(第四节点)收到节点1(第一节点)发布的新区块之后分别计算新区块哈希值并向全网广播以完成预登记；
e)4个节点分别接收到彼此广播的新区块哈希值并进行校验；
如果接收到的某一个邻居节点计算出来的新区块哈希值等于自己在发布广播之前计算出来的新区块哈希值则视为登记校验通过，否则不通过；
最后各个独立节点完成新区块哈希值登记校验之后向其他节点广播校验结果，根据使用拜占庭容错算法规定每个正常工作的节点应该收到并验证至少2倍于攻击信息的登记校验信息，各个节点收到其他节点登记校验信息之后，存储短视频版权登记确认函并向客户端自动发送，一次登记过程全部结束。
在非关系型数据库区块链存储内容方面本发明在基于区块链的去中心化存储架构分布下采用深度学习技术提出基于视觉优先规则的卷积神经网络人脸表情识别机制，以短视频资源为素材提供一种提取人脸表情信息的思路并且针对数据合理选择关键帧提取信息存储进入区块链。本发明提出的CNNVP机制在人脸表情识别信息提取方面效果显著，关键帧图像以及关键信息文件大小远远小于原始视频文件。本发明在实验中选取75MB的原始短视频文件在关键信息提取之后生成的JSON文件大小约为1.2MB。从分布式存储架构角度分析关键信息提取策略在很大程度上提高了区块链存储系统的可用性。
第4步中，所述的全网可用节点为有效的节点，即为在线时间长、出问题几率小的节点，系统将其自动标注为可用节点。
第4步中，所述的新区块哈希值计算采用散列函数SHA256算法。
第5步中，所述的容错算法为采用了签名验证等算法确保消息传递防伪造、防篡改的可以在“少恶节点”环境中达成共识且计算复杂度较低的实用拜占庭容错算法。即所述的容错算法为实用拜占庭容错算法。
具体地，基于区块链与表情识别的短视频版权存储算法，其中“区块链”在系统中以“联盟区块链”表现，“表情识别”为本发明包含的算法“一种基于视觉优先的卷积神经网络算法”，具体包括以下步骤：
第1步：短视频生产者通过客户端向系统上传待存证人脸类短视频原始视频文件，该视频一般文件大小比较大不利于直接上区块链存储，所以本发明提出的“一种基于视觉优先规则的卷积神经网络”算法通过算法自身的特征收集人脸类短视频所有画面中人脸的信息对其进行语义解析，之后对该信息不同部位以及不同特征对人脸信息这种复杂型对象进行特征化表示，之后将所有的采集到的子特征分组保存，在每一个独立的层级保存完整的特征向量；
第2步：对第1步中得到的特征向量进行分组保存之后并行处理，以提高处理速度，之后为了调整各个人脸部位的重要性等级，对特征向量进行权重调整。针对分组保存的特征向量对它们进行单独操作而且本发明假设在任意一个独立特征组的空间位置上均存在一个特征值，之后对所有独立特征组中的原始特征值进行平均池化运算得到全局特征；
第3步：对第2步中得到的全局特征整合特征组内的所有原始特征进行点积运算得到每一个特征值所对应的独立系数并对这些系数进行归一化计算。最后引入参数并且缩放移动得到的归一化数值并使用SIGMOID函数对其进行函数激活，将激活之后得到的归一化值与原始特征值进行点积运算得到增强特征向量值；
第4步：对第3步输出的增强特征向量值输入一个交叉熵损失函数分类器最后输出七类表情标签识别值，分别为：害怕、高兴、生气、厌恶、悲伤、惊讶以及正常，本发明将通过写入JSON字段的方式将识别到的人脸关键信息数据存储为短视频内容标签值日志JSON文件；
第5步：针对第4步输出的可以唯一标识短视频数字版权的短视频内容标签纸日志JSON文件，本发明将文件上传至服务器以后将会得到文件的存储地址指针，视频版权保护系统将会存储视频的Hash值、视频Index值以及对应的文件指针；
第6步：本发明提出的基于区块链与表情识别的短视频版权存储算法为提高系统可用性采用深度学习算法进行关键帧的提取，以视频文件的关键帧作为视频存证与确权的主要依据，关键帧有获得文件信息速度较快且不必对比原文件内容的特点，则其性能损耗与物理资源的损耗可以忽略不计。本发明针对“一种基于视觉优先规则的卷积神经网络”算法计算得出的版权关键数据日志文件首先对其采用SHA256算法进行Hash值提取，其类似于数据库主键与文件形成了一一对应的关系，因此本发明将日志文件的Hash值作为文件唯一标识存储在区块链中。
所述的基于区块链与表情识别的短视频版权存储算法，还包括：在第1步之前，联盟链成员登录认证。联盟链成员节点通过自己唯一的私钥向联盟链发起登录请求，如果该登录验证不被通过，则联盟链会自动拒绝该节点的登录请求。否则，将通过结果反馈给请求认证的节点，节点将会被允许进入并允许进行之后的操作；
第1步中，短视频关键人脸信息。任意一个可在广播电视网络、移动互联网、5G网络中正常流通的短视频作品均占用较大的数字空间，直接对其进行自身上链的版权保护过于冗余，而且针对本发明的指向性，人脸信息越清晰、在视频所有帧幅中人脸画面占据越多存证细节越有优势，本发明通过深度学习算法对视频中人脸的表情进行识别简单描述视频中人脸的信息，以对视频内容进行合理的预测，之后以“短视频关键人脸信息”的形式作为联盟链存储数据的有效参数。
第2步中，特征向量。为提高分布式计算的效率，每一个基于视觉优先规则卷积神经网络计算得出的独立分组可以并行处理其子特征，但是每一个子特征在完整表达人脸表情信息的时候所占的重要性略有不同，所以调整子特征向量可以修改其重要性，因为本发明首先假设了每一个特征组均有一个原始特征，所以为了准确描述这些特征本发明对所有的原始特征进行平均池化运算。
第3步中，增强特征向量。由于基于视觉优先规则卷积神经网络计算出的分组式独立的，所以每一个特征均有其唯一的独立系数，本发明将每一个独立特征组的全局特征与原始特征进行整合点积运算即可得到每一个独立特征所对应的独立系数值，同时为了方便表示，本发明会将这些独立系数值进行归一化运算处理。真正可用于计算增强特征向量的归一化值还需要函数激活，本发明采用缩放移动归一化值的方式进行处理，最后通过点积运算可以得到增强型特征向量。
第4步中，JSON文件。增强特征向量可以通过一个交叉熵损失函数分类器对其结果进行进一步分类，其输出结果均为人物表情信息标签值，本发明为了方便将这些结果存储于区块链之中，使用JSON字段写入的方式将表情标签值结果分别写入短视频数字版权所对应的JSON文件中，而这些JSON文件也将唯一代表其所对应的短视频数字版权信息参与后续的上链存储操作。
第5步中，Hash值。为了方便JSON文件在区块链系统中的存储，本发明首先会将所有的JSON文件上传至文件存储服务器中，此时本发明将得到文件存储地址指针集合，为了增强文件上链存储的防篡改性与唯一性，最终上链存储的内容为视频文件的Hash值、视频JSON文件的Hash值(下称Index-Hash值)与JSON文件对应于文件存储服务器的地址指针值Hash值(下称Addresses-Hash值)。
第6步中，Hash编码。上述所有步骤用到的Hash加密算法均使用SHA256计算方式，而且本发明默认不考虑Hash碰撞，即也代表从短视频数字版权关键信息可以很容易计算出其加密之后的密文，但是几乎不可能通过密文反推出加密之前的任何信息。所以本发明提出的将短视频数字版权相关信息上链均采用其Hash编码上链的方式。
与现有技术相比，本发明具有如下优点：
基于区块链与表情识别的短视频版权存储算法，充分地利用区块链快速、轻量特性，以及联盟区块链中的以太坊技术，采用去中心化、安全透明、免除信任、集体维护与防篡改的特性，综合了P2P通信方式与智能合约、密码学以及分布式存储内容方式，把文件较大的短视频原始资源数据存储，以基于深度学习技术中的“一种基于视觉优先规则的卷积神经网络”算法，计算可以唯一标识短视频文件的人脸信息标签值JSON文件这样一种可以价值转移的方式存储于联盟区块链中。而短视频媒体存储以存储到文件储存服务器方式完美解决。经过联盟区块链的节点成员认证，即可对短视频媒体资源数据进行交易操作，无需编制大量的代码，维护节点运行的成本极低，对短视频生产者的视频媒体资源的版权管理具有很好的应用价值。本发明所具有的创新性，具体体现在以下几个方面：
1)本发明创新地提出了短视频关键信息摘要上链存储的概念，若将待存证短视频整体存储在区块链中,版权隐私性难以保护,同时由于区块大小的限制,较大的版权文件难以存储，本发明提出了以从短视频中抽取出可以代表且可以唯一标识短视频的关键信息，并将其上链存储的思路；
2)本发明创新地提出了一种“基于视觉优先规则的卷积神经网络”算法。人类大脑信号处理机制中视觉优先规则最为特殊。人类具有通过快速浏览图片或文字从而获得信息的本能，且在获得信息的过程中无意识会将需要重点关注的部分“锚定”即也就是关注到了注意力焦点部分，此模式可以在视觉获取更多关键信息的基础上有效规避冗余信息。本发明在已有卷积神经网络的基础之上引入视觉优先规则，提出了一种“基于视觉优先规则的卷积神经网络”算法，提升了人脸表情关键点特征提取的准确性；
3)本发明创新地提出了“基于区块链与表情识别的短视频版权存储”算法。传统的版权管理系统存储视频文件通常基于两种模式：直接将视频素材文件存入服务器之后再将存储文件的对应路径写入数据库文件数量激增则文件处理效率就会呈现指数级下降且存储文件路径的方式并不能完全保证数据的安全性，视频内容可能会被修改；直接以二进制字节流的方式读取视频素材讲视频文件写入数据库的字段中，频繁的数据库读取操作仍然会持续影响数据库运算性能。本发明采用深度学习技术可以对数字资产进行压缩化描述，减小系统负担即可极大增加区块链在数字版权保护领域的应用场景。
附图说明
图1为基于视觉优先规则的卷积神经网络结构图；
图2为基于视觉优先规则与残差恒等的卷积神经网络结构图；
图3为残差恒等模块结构图；
图4为结果输出计算流程示例图；
图5为人脸采样30个关键点部位示意图；
图6为计算默克尔根值示意图；
图7为基于区块链的短视频数字版权存储架构示意图；
图8为存储短视频版权登记示意图；
图9为传统存储方式与本发明存储方式耗时对比示意图
图10为传统存储方式与本发明存储方式内存消耗对比示意图
图11为现有视频版权存储架构与本发明提出的架构特征对比雷达图
图12为实验运算参数初始设定值。
具体实施方式
下面结合附图对基于区块链与表情识别的短视频版权存储算法方法作进一步说明。
基于区块链与表情识别的短视频版权存储算法，其中“区块链”在系统中以“联盟区块链”表现，“表情识别”为本发明包含的算法“一种基于视觉优先的卷积神经网络算法”，具体包括以下步骤：
第1步：短视频生产者通过客户端向系统上传待存证人脸类短视频原始视频文件，该视频一般文件大小比较大不利于直接上区块链存储，所以本发明提出的“一种基于视觉优先规则的卷积神经网络”算法通过算法自身的特征收集人脸类短视频所有画面中人脸的信息对其进行语义解析，之后对该信息不同部位以及不同特征对人脸信息这种复杂型对象进行特征化表示，之后将所有的采集到的子特征分组保存，在每一个独立的层级保存完整的特征向量；
第2步：对第1步中得到的特征向量进行分组保存之后并行处理，以提高处理速度，之后为了调整各个人脸部位的重要性等级，对特征向量进行权重调整。针对分组保存的特征向量对它们进行单独操作而且本发明假设在任意一个独立特征组的空间位置上均存在一个特征值，之后对所有独立特征组中的原始特征值进行平均池化运算得到全局特征；
第3步：对第2步中得到的全局特征整合特征组内的所有原始特征进行点积运算得到每一个特征值所对应的独立系数并对这些系数进行归一化计算。最后引入参数并且缩放移动得到的归一化数值并使用SIGMOID函数对其进行函数激活，将激活之后得到的归一化值与原始特征值进行点积运算得到增强特征向量值；
第4步：对第3步输出的增强特征向量值输入一个交叉熵损失函数分类器最后输出七类表情标签识别值，分别为：害怕、高兴、生气、厌恶、悲伤、惊讶以及正常，本发明将通过写入JSON字段的方式将识别到的人脸关键信息数据存储为短视频内容标签值日志JSON文件；
第5步：针对第4步输出的可以唯一标识短视频数字版权的短视频内容标签纸日志JSON文件，本发明将文件上传至服务器以后将会得到文件的存储地址指针，视频版权保护系统将会存储视频的Hash值、视频Index值以及对应的文件指针；
第6步：本发明提出的基于区块链与表情识别的短视频版权存储算法为提高系统可用性采用深度学习算法进行关键帧的提取，以视频文件的关键帧作为视频存证与确权的主要依据，关键帧有获得文件信息速度较快且不必对比原文件内容的特点，则其性能损耗与物理资源的损耗可以忽略不计。本发明针对“一种基于视觉优先规则的卷积神经网络”算法计算得出的版权关键数据日志文件首先对其采用SHA256算法进行Hash值提取，其类似于数据库主键与文件形成了一一对应的关系，因此本发明将日志文件的Hash值作为文件唯一标识存储在区块链中。
所述的基于区块链与表情识别的短视频版权存储算法，还包括：在第1步之前，联盟链成员登录认证。联盟链成员节点通过自己唯一的私钥向联盟链发起登录请求，如果该登录验证不被通过，则联盟链会自动拒绝该节点的登录请求。否则，将通过结果反馈给请求认证的节点，节点将会被允许进入并允许进行之后的操作；
第1步中，短视频关键人脸信息。任意一个可在广播电视网络、移动互联网、5G网络中正常流通的短视频作品均占用较大的数字空间，直接对其进行自身上链的版权保护过于冗余，而且针对本发明的指向性，人脸信息越清晰、在视频所有帧幅中人脸画面占据越多存证细节越有优势，本发明通过深度学习算法对视频中人脸的表情进行识别简单描述视频中人脸的信息，以对视频内容进行合理的预测，之后以“短视频关键人脸信息”的形式作为联盟链存储数据的有效参数。
第2步中，特征向量。为提高分布式计算的效率，每一个基于视觉优先规则卷积神经网络计算得出的独立分组可以并行处理其子特征，但是每一个子特征在完整表达人脸表情信息的时候所占的重要性略有不同，所以调整子特征向量可以修改其重要性，因为本发明首先假设了每一个特征组均有一个原始特征，所以为了准确描述这些特征本发明对所有的原始特征进行平均池化运算。
第3步中，增强特征向量。由于基于视觉优先规则卷积神经网络计算出的分组式独立的，所以每一个特征均有其唯一的独立系数，本发明将每一个独立特征组的全局特征与原始特征进行整合点积运算即可得到每一个独立特征所对应的独立系数值，同时为了方便表示，本发明会将这些独立系数值进行归一化运算处理。真正可用于计算增强特征向量的归一化值还需要函数激活，本发明采用缩放移动归一化值的方式进行处理，最后通过点积运算可以得到增强型特征向量。
第4步中，JSON文件。增强特征向量可以通过一个交叉熵损失函数分类器对其结果进行进一步分类，其输出结果均为人物表情信息标签值，本发明为了方便将这些结果存储于区块链之中，使用JSON字段写入的方式将表情标签值结果分别写入短视频数字版权所对应的JSON文件中，而这些JSON文件也将唯一代表其所对应的短视频数字版权信息参与后续的上链存储操作。
第5步中，Hash值。为了方便JSON文件在区块链系统中的存储，本发明首先会将所有的JSON文件上传至文件存储服务器中，此时本发明将得到文件存储地址指针集合，为了增强文件上链存储的防篡改性与唯一性，最终上链存储的内容为视频文件的Hash值、视频JSON文件的Hash值(下称Index-Hash值)与JSON文件对应于文件存储服务器的地址指针值Hash值(下称Addresses-Hash值)。
第6步中，Hash编码。上述所有步骤用到的Hash加密算法均使用SHA256计算方式，而且本发明默认不考虑Hash碰撞，即也代表从短视频数字版权关键信息可以很容易计算出其加密之后的密文，但是几乎不可能通过密文反推出加密之前的任何信息。所以本发明提出的将短视频数字版权相关信息上链均采用其Hash编码上链的方式。
如图1所示，基于区块链与表情识别的短视频版权存储算法中基于视觉优先规则的卷积神经网络结构包含：
1)卷积神经网络通过其自身特征收集人脸语义子特征的不同部分与层次结构特征进而对复杂对象进行特征化表示，其中所有的子特征均已分组的形式存储于每一个独立层级的特征向量；
2)在基于视觉优先规则的卷积神经网络中每个分组内的子特征都是并行处理的；
3)视觉优先规则模块可以通过调整权重的方式调整每一个子特征的重要性；
4)视觉优先规则计算针对每个组进行单独操作且首先假设在一个特征组的每个空间位置均存在一个特征；其次将特征组内的原始特征进行平均池化计算；然后将特征组内的全局特征与原始特征进行整合点积运算得到每一个特征所对应的独立系数并对其进行归一化计算；
5)引入参数并且缩放移动归一化的数值并对其进行SIGMOID函数激活；最后将激活之后的归一化值与原始特征进行点积运算得到增强特征向量。
如图2所示，基于区块链与表情识别的短视频版权存储算法中基于视觉优先规则与残差恒等的卷积神经网络结构包括：
1)提取输入数据的特征，在卷积神经网络中首层一般不会提取高级特征而只会提取一些较低级的特征，且特征的复杂程度级别会随着卷积层数的增加而进行相应的增加，所以拥有多个卷积层的神经网络在迭代之后可以获得更加精确的特征，设定core为卷积神经网络的卷积核，其大小为X*Y，bias为其偏置量，fun为激活函数，input与output分别为输入、输出，且其大小均为M*N，则提出的卷积运算公式如公式(1)所示。
Figure BDA0002800423310000141
2)为了对输入的特征图等进行压缩，本发明提出了平均池化运算，其是一种基于非线性的降采样运算方法，压缩之后的特征图尺寸将显著减小，而且平均池化运算不存在过拟合问题。如果将下采样层设定为samplingdown，且本发明均采用最大池化计算则最大池化定义如公式(2)所示。
samplingdown＝max(samplingdown-1) (2)
3)为增加卷积神经网络表达能力与非线性映射能力，采用ELU激活函数，未控制激活函数饱和值本发明设置count为常数，则激活函数的表达式如公式(3)所示。
Figure BDA0002800423310000151
4)本发明提出的基于视觉优先规则的卷积神经网络人脸表情识别算法为了使网络中增加恒等映射与丰富特征学习加入了残差恒等块，为保证细微表情与关键表情特征的精确提取该模块也和视觉优先规则模块相结合。如图3所示，基于区块链与表情识别的短视频版权存储算法中残差恒等模块结构包括：
1)设定input为残差恒等块的输入值，激活函数为ELU(x)，经过卷积运算后输出的结果为output；
2)卷积运算规模均为5*5且最终的输出为input+output；
3)第二次激活函数之前加入恒等映射。
如图4所示，基于区块链与表情识别的短视频版权存储算法中结果输出计算流程示例包括：
1)本发明提出的一种基于区块链与人脸表情识别的短视频版权存储算法的输入为短视频逐帧读取之后的图像；
2)经过卷积神经网络的计算之后输入一个交叉熵损失函数分类器最后输出七类表情标签的识别值，分别为害怕、高兴、生气、厌恶、悲伤、惊讶以及正常表情。
如图5所示，基于区块链与表情识别的短视频版权存储算法中人脸采样30个关键点部位包括：
1)识别的30个基本关键点；
2)本发明定义关键点为唇厚度、唇宽度、鼻厚度、耳垂厚度、耳垂宽度、耳廓宽度、鼻高度、下眼睑宽度、眼角宽度、睫毛宽度、右眉毛宽度、眉间距、右鬓角高度、发色、发中宽度、头顶高度、额头颜色、左鬓角宽度、左眉毛宽度、眉头高度、眉尾高度、单双眼皮、鱼尾宽度、眼球色、耳饰品、鼻宽度、人中深度、唇色、下唇厚度、下巴宽度。
如图6所示，基于区块链与表情识别的短视频版权存储算法中计算默克尔根值包括：
1)本发明将人脸表情识别关键信息标签值日志文件的Hash值作为文件唯一标识存储在区块链中；
2)若一个待存证视频文件长度超过规定时长(5min)则系统自动将其切分为单个时长5min的短视频组；
3)组中元素分别输出日志且以默克尔树的形式计算出总Hash值作为该长视频的默克尔根值写入区块。
如图7所示，基于区块链与表情识别的短视频版权存储算法中基于区块链的短视频数字版权存储架构示意图包括：
1)本发明提出的基于区块链的短视频数字版权存储架构在发生Hash碰撞即检测到疑似侵权视频时由视频数字版权关键帧作为判断依据，即也就是存储架构将对短视频作品自身上链存储改为关键帧信息上链存储，即也就是区块中存储的内容如“多个视频的Hash值”相应改变为“一个视频多个关键帧的Hash值”；
2)除此之外，通过设定阈值的方式调整关键帧的数量，基于不同的审查标准机制设定不同的关键帧选定依据使得存储架构鲁棒性与效率都得以提升；
3)基于区块链的短视频数字版权存储架构自下而上分别为素材制作层、共识合约层、业务层、用户层
如图8所示，基于区块链与表情识别的短视频版权存储算法中存储短视频数字版权登记示意图包括：
1)基于区块链的短视频数字版权存储架构对短视频关键信息版权进行存储时，首先通过架构对外客户端上传原始素材，其次基于视觉优先规则的卷积神经网络人脸表情识别机制提取关键帧数据，根据关键数据列表构建新的区块并向全网发出广播，并且将用户的个人信息和短视频版权信息同时存储到服务器上；
2)客户端将自动发起登记入链申请并将此申请先发送到节点1，节点1收集登记申请加入未确认的登记并建立区块之后向全网发布广播，请求全网进行登记验证；
3)节点2、节点3和节点4收到节点1发布的新区块之后分别计算新区块哈希值并向全网广播以完成预登记；
4)4个节点分别接收到彼此广播的新区块哈希值并进行校验。如果接收到的某一个邻居节点计算出来的新区块哈希值等于自己在发布广播之前计算出来的新区块哈希值则视为登记校验通过，否则不通过；
5)最后各个独立节点完成新区块哈希值登记校验之后向其他节点广播校验结果，根据使用拜占庭容错算法规定每个正常工作的节点应该收到并验证至少2倍于攻击信息的登记校验信息，各个节点收到其他节点登记校验信息之后，存储短视频版权登记确认函并向客户端自动发送，一次登记过程全部结束。
如图9、图10所示，基于区块链与表情识别的短视频版权存储算法中传统存储方式与本发明存储方式耗时对比和内存消耗对比包括：
1)本发明分别从素材库中选取大小约为0.5MB、10MB、30MB、50MB和100MB的原始视频文件，以传统存储方式和本发明存储方式分别对5短视频进行重复50次的存储操作；
2)实验结果显示无论是在耗时方面与耗资源方面本发明提出的存储方式均远远小于传统方式的消耗；
3)传统存储方式在耗时与耗资源方面的消耗随着视频资源大小自身变大呈现出指数级上升；
4)本发明提出的存储方式鲁棒性与稳定性较强，均无较明显变化；
5)所以针对短视频版权资源的上链存储，本发明提出的存储方式更加适应文件大小的变化。
如图11所示，基于区块链与表情识别的短视频版权存储算法中现有视频版权存储架构与本发明提出的架构特征对比雷达图包括：
1)本发明从数据存储便捷性、可容纳数据量、数据原子性(唯一性)、存储数据代表性、数据隐私性与安全性、系统操作灵活性与数据存储灵活性等方面详细对比了现有的传统版权存储方式、基于POW共识机制的区块链版权存储方式与本发明提出的基于PBFT、CNNVP的区块链版权存储方式；
2)对比结果表明本发明所提方法是高效的。
如图12所示，基于区块链与表情识别的短视频版权存储算法中运算参数初始设定值包括：
1)运算类型、运算规模、步幅、输出结果以及参数；
2)运算类型包括：卷积运算、视觉优先规则、最大池运算、全连接层运算；
3)运算规模包括：0、3*3、5*5；
4)输出结果包括：1*1*7、1*1*64、2*2*64、4*4*64等；
5)参数包括：0、128、256等。
上述只是对本发明实例所作的说明，而并非对本发明的限制。本领域的普通技术人员应当认识到，任何对本发明所做的变换、变型都将落入本发明的保护范围。

Claims (6)

1.一种基于区块链与表情识别的短视频版权存储算法，其特征在于，包括以下步骤：
第1步：基于视觉优先规则的卷积神经网络算法对人脸类短视频中人脸表情进行识别，通过客户端上传短视频作品，提取短视频全程人脸表情特征，算法生成能够唯一标识该短视频的内容标签值日志JSON文件；
所述的基于视觉优先规则的卷积神经网络算法对人脸类短视频中人脸表情进行识别，具体包括：
A)提取输入数据的特征，设定core为卷积神经网络的卷积核，其大小为X*Y，X*Y表示卷积核的大小，bias为其偏置量，fun为激活函数，input与output分别为输入、输出，且input与output的大小均为M*N，则提出的卷积运算公式如公式(1)所示：
Figure FDA0003783103190000011
B)，进行平均池化运算，将下采样层设定为samplingdown，且采用最大池化计算则最大池化定义如公式(2)所示；
samplingdown＝max(samplingdown-1) (2)
其中，samplingdown-1表示下采样层的前一采样层；
C)，采用ELU激活函数，未控制激活函数饱和值本发明设置count为常数，则激活函数的表达式如公式(3)所示；
Figure FDA0003783103190000012
其中，ELU(x)表示基于自变量x的激活函数，count(exp(x)-1)中count是一个常数，count(exp(x)-1)用于控制激活函数的饱和值；
所述的短视频的内容标签值日志JSON文件由以下面部特征信息组成：唇厚度、唇宽度、鼻厚度、耳垂厚度、耳垂宽度、耳廓宽度、鼻高度、下眼睑宽度、眼角宽度、睫毛宽度、右眉毛宽度、眉间距、右鬓角高度、发色、发中宽度、头顶高度、额头颜色、左鬓角宽度、左眉毛宽度、眉头高度、眉尾高度、单双眼皮、鱼尾宽度、眼球色、耳饰品、鼻宽度、人中深度、唇色、下唇厚度、下巴宽度，且其识别值由以下表情标签组成：害怕、高兴、生气、厌恶、悲伤、惊讶和正常；
第2步：采用基于区块链与人脸表情识别的短视频数字版权存储算法将对第1步生成的短视频的内容标签值日志JSON文件存储进如联盟区块链；
第3步：向联盟区块链中负责收集登记申请、加入未确认登记列表与建立区块的第一节点发送登记请求，第一节点向全网发布广播请求登记验证；
第4步：全网可用节点收到第一节点的请求首先计算新区块哈希值，然后再向全网发布广播请求哈希值校验；
第5步：全网可用节点接收到第4步计算出的新区块哈希值，首先对哈希值进行校验，然后将自己的校验结果广播到全网，经过全网以容错算法为规则确认之后进行存储登记，最后向客户端返回结果。
2.根据权利要求1所述的基于区块链与表情识别的短视频版权存储算法，其特征在于，还包括：在第1步之前，联盟链成员登录认证。
3.根据权利要求1所述的基于区块链与表情识别的短视频版权存储算法，其特征在于，联盟链成员登录认证具体包括：
联盟链成员节点通过自己唯一的私钥向联盟区块链发起登录请求，如果该登录验证不被通过，则联盟区块链会自动拒绝该节点对交易系统的登录请求；如果该登录验证通过，则会将通过结果反馈给请求认证的节点，节点将会被允许进入短视频数字版权存储系统并发起之后的操作。
4.根据权利要求1所述的基于区块链与表情识别的短视频版权存储算法，其特征在于，第2步中，采用基于区块链与人脸表情识别的短视频数字版权存储算法将对第1步生成的短视频的内容标签值日志JSON文件存储进如联盟区块链，具体包括：
a)首先通过架构对外客户端上传原始素材；
b)其次基于视觉优先规则的卷积神经网络人脸表情识别机制提取关键帧数据，根据关键数据列表构建新的区块并向全网发出广播，并且将用户的个人信息和短视频版权信息同时存储到服务器上；
c)然后客户端将自动发起登记入链申请并将此申请先发送到第一节点，第一节点收集登记申请加入未确认的登记并建立区块之后向全网发布广播，请求全网进行登记验证；
d)第二节点、第三节点和第三节点收到第一节点发布的新区块之后分别计算新区块哈希值并向全网广播以完成预登记；
e)4个节点分别接收到彼此广播的新区块哈希值并进行校验；
如果接收到的某一个邻居节点计算出来的新区块哈希值等于自己在发布广播之前计算出来的新区块哈希值则视为登记校验通过，否则不通过；
最后各个独立节点完成新区块哈希值登记校验之后向其他节点广播校验结果，根据使用拜占庭容错算法规定每个正常工作的节点应该收到并验证至少2倍于攻击信息的登记校验信息，各个节点收到其他节点登记校验信息之后，存储短视频版权登记确认函并向客户端自动发送，一次登记过程全部结束。
5.根据权利要求1所述的基于区块链与表情识别的短视频版权存储算法，其特征在于，第4步中，所述的新区块哈希值计算采用散列函数SHA256算法。
6.根据权利要求1所述的基于区块链与表情识别的短视频版权存储算法，其特征在于，第5步中，所述的容错算法为实用拜占庭容错算法。
CN202011347975.3A 2020-11-26 2020-11-26 一种基于区块链与表情识别的短视频版权存储算法 Active CN112464179B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011347975.3A CN112464179B (zh) 2020-11-26 2020-11-26 一种基于区块链与表情识别的短视频版权存储算法
US17/344,782 US20220167066A1 (en) 2020-11-26 2021-06-10 Short video copyright storage method based on blockchain and expression identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011347975.3A CN112464179B (zh) 2020-11-26 2020-11-26 一种基于区块链与表情识别的短视频版权存储算法

Publications (2)

Publication Number Publication Date
CN112464179A CN112464179A (zh) 2021-03-09
CN112464179B true CN112464179B (zh) 2022-10-21

Family

ID=74808028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011347975.3A Active CN112464179B (zh) 2020-11-26 2020-11-26 一种基于区块链与表情识别的短视频版权存储算法

Country Status (2)

Country Link
US (1) US20220167066A1 (zh)
CN (1) CN112464179B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378218B (zh) * 2021-06-02 2022-03-18 浙江数秦科技有限公司 一种基于区块链的知识产权数据存证确权方法
CN113656405B (zh) * 2021-08-10 2023-08-18 湖南天河国云科技有限公司 基于区块链的链上雷达图共建共享方法及装置
CN114090962B (zh) * 2022-01-24 2022-05-13 湖北长江传媒数字出版有限公司 一种基于大数据的智能出版系统及方法
CN114491429A (zh) * 2022-04-01 2022-05-13 北京嘉沐安科技有限公司 一种基于区块链的直播短视频大数据篡改识别方法及系统
CN117633728B (zh) * 2024-01-26 2024-04-05 成都云上新视听文化科技有限公司 基于区块链的影视动漫数字版权交易平台及版权确权方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333071A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 视频处理方法、装置、电子设备及存储介质
CN110569795B (zh) * 2018-03-13 2022-10-14 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
US10728019B2 (en) * 2018-04-27 2020-07-28 Gulfstream Aerospace Corporation Communication nodes, distributed communication networks, and methods for monitoring communication in a communication network using blockchains
CN109117476B (zh) * 2018-07-12 2022-04-01 浙江鸿程计算机系统有限公司 一种基于多情境嵌入的个性化场所语义识别方法
CN109559302A (zh) * 2018-11-23 2019-04-02 北京市新技术应用研究所 基于卷积神经网络的管道视频缺陷检测方法
CN109766673B (zh) * 2019-01-18 2019-12-10 四川大学 一种联盟式音视频版权区块链系统及音视频版权上链方法

Also Published As

Publication number Publication date
CN112464179A (zh) 2021-03-09
US20220167066A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
CN112464179B (zh) 一种基于区块链与表情识别的短视频版权存储算法
Zhang Deepfake generation and detection, a survey
US20070112775A1 (en) Method for user biometric artifical authentication
CN111479112B (zh) 一种视频编码方法、装置、设备和存储介质
Malik et al. DeepFake detection for human face images and videos: A survey
US20170178287A1 (en) Identity obfuscation
US20200082851A1 (en) Bounding box doubling as redaction boundary
CN110059465A (zh) 身份验证方法、对抗生成网络的训练方法、装置及设备
Kuang et al. Multi-modal multi-layer fusion network with average binary center loss for face anti-spoofing
Xu et al. Detecting facial manipulated videos based on set convolutional neural networks
Kuang et al. Unnoticeable synthetic face replacement for image privacy protection
CN111667275A (zh) 用户身份识别方法、装置、设备及其介质
WO2022201411A1 (ja) 準同型暗号を用いた顔認証のアプリケーション
CN113011254A (zh) 一种视频数据处理方法、计算机设备及可读存储介质
Hariprasad et al. Boundary-based fake face anomaly detection in videos using recurrent neural networks
CN113762034A (zh) 视频分类方法和装置、存储介质及电子设备
Yang et al. Short video copyright storage algorithm based on blockchain and expression recognition
CN113190858B (zh) 一种基于隐私保护的图像处理方法、系统、介质和设备
US20230142898A1 (en) Device and network-based enforcement of biometric data usage
WO2022089220A1 (zh) 图像数据处理方法、装置、设备、存储介质及产品
CN113723310B (zh) 基于神经网络的图像识别方法及相关装置
KR101752659B1 (ko) 영상 키 인증 방법 및 시스템
Padilha et al. Two‐tiered face verification with low‐memory footprint for mobile devices
Tan et al. The impact of data correlation on identification of computer-generated face images
CN117494092B (zh) 基于生物活体识别的景区门票无感核验方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant