CN113158148A - 基于区块链的多模态数字人版权管理方法及系统 - Google Patents
基于区块链的多模态数字人版权管理方法及系统 Download PDFInfo
- Publication number
- CN113158148A CN113158148A CN202110557147.0A CN202110557147A CN113158148A CN 113158148 A CN113158148 A CN 113158148A CN 202110557147 A CN202110557147 A CN 202110557147A CN 113158148 A CN113158148 A CN 113158148A
- Authority
- CN
- China
- Prior art keywords
- digital
- node
- background server
- human
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000003860 storage Methods 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 230000008520 organization Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 3
- 239000004744 fabric Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013475 authorization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Technology Law (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供基于区块链的多模态数字人版权管理方法及系统，其方法包括：从客户端将多模态数字人信息上传到后台服务器；后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；对多模态数字人版权信息进行公示。本发明可根据区块链中存储的版权归属信息来确定数字人形象版权归属，避免了多模态数字人版权争端，降低了维权难度。
Description
技术领域
本发明属于区块链技术应用和数字人身份版权管理技术领域，涉及基于区块链的多模态数字人版权管理方法及系统。
背景技术
在传统的AI认知中，视觉领域的人脸识别、行为检测，语音领域的语音识别和语音合成，自然语言领域的人机对话，都有众多成功应用。这些领域之前是独立演进的技术和应用，可以认为是单模态技术，不同的模态形式分别描述同一个对象在不同角度下的特征。人工智能是对人的模仿和学习，而人是一个看、听、说多模态共同工作的智能体，所以多模态技术是未来人工智能应用发展的方向。
多模态数字人基于NLP、语音、视觉技术，从低维信号到高维信号逐步升级。数字人在功能分类上，一类是内容播报型的数字人，是静态的，常见的AI虚拟主播就是属于这种类型，这类技术相对成熟；另一类是可以实时对话的交互型数字人，需要在实时对话过程中完成语音、语义、视觉的理解和合成，因此更具挑战。
未来，多模态数字人可以应用于线上和线下的场景，如直播、导购、视频客服、在线核身、业务咨询、员工培训等，任何基于屏幕展示的文字与语音内容都可以被赋予鲜活的人物形象。对企业来说，数字人有助于企业降低服务和内容生产成本、提升营销效率，同时给用户带来更好的体验。当前文字对话、语音对话机器人场景，未来都可以用数字人来替代。
而目前多模态数字人还属于发展的早期阶段，各大AI厂商对多模态数字人技术处于研发阶段，还未有成熟的产品，多模态数字人还没有大规模的应用落地。当前多模态数字人只能在服务端渲染，还未能够在客户端渲染，同时多模态数字人服务需要通过GPU调用模型推理得到视频，对资源的消耗比较大，因此多模态数字人技术需要不断改进。
在多模态数字人技术发展的同时，各大AI厂商对多模态数字人的形象没有一个很好的版权管理及保护方法。目前许多AI厂商的客户端生成播报型业务，如根据文本生成新闻播报视频、防诈骗宣传播报等业务，多模态数字人生成的视频可能会发布到互联网上。然而，由于互联网监管难、信息传播难控制，同时也有可能通过Deepfake技术对视频播报的内容进行修改，从而导致多模态数字人在互联网传播后面临版权争端、确权难、维权难的问题，对AI厂商造成经济损失的同时还打击了对多模态数字人技术研发的积极性，使用区块链技术可以实现多模态数字人版权的公开透明、不可篡改、不会丢失，可溯源。
发明内容
有鉴于此，本发明的目的在于提供基于区块链的多模态数字人版权管理方法及系统，保证了数字人版权归属在同一时刻的唯一性，可根据区块链中存储的版权归属信息来确定人工智能数字人形象的版权归属，消除了现有技术中存在的人工智能数字人版权归属不清楚的问题，避免了多模态数字人版权争端，降低了维权难度。
为达到上述目的，本发明采用如下技术方案：
一方面，基于区块链的多模态数字人版权管理方法，包括以下步骤：
S1、从客户端将多模态数字人信息上传到后台服务器；
S2、后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；
S3、后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；
S4、后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；
S5、对多模态数字人版权信息进行公示。
另一方面，本发明提供基于区块链的多模态数字人版权管理系统，包括：
信息提交模块，用于从客户端将多模态数字人信息上传到后台服务器；
信息处理模块，用于通过后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；
文件存储模块，用于通过后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；
区块链模块，用于通过后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；对多模态数字人版权信息进行公示。
与现有技术相比，本发明的有益效果包括：
1、本发明获取到客户端上传的多模态数字人信息后，对多模态数字人形象在链内的唯一性进行判断，然后将多模态数字人的归属信息写入到区块链中，并对数字人版权归属信息进行公示。由于区块链具有可追溯、防篡改的特性，保证了版权归属在同一时刻的唯一性，方便可根据区块链中存储的版权归属信息确定多模态数字人的版权归属，从而消除了现有技术中版权归属不清楚的问题，避免了多模态数字人版权争端，降低了维权难度。
2、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1是本发明实施例中基于区块链的多模态数字人版权管理方法总流程图；
图2是本发明实施例中基于区块链的多模态数字人版权管理方法步骤S3具体流程图；
图3是本发明实施例中基于区块链的多模态数字人版权管理方法的数据查询流程图；
图4是本发明实施例中基于区块链的多模态数字人版权管理方法的数据存储流程图；
图5是本发明实施例中基于区块链的多模态数字人版权管理方法步骤S4具体流程图；
图6是本发明实施例中基于区块链的多模态数字人版权管理系统的结构示意图。
具体实施方式
以下结合附图及实施例进一步说明本发明的实施方式，本领域普通技术人员可根据本说明书所展示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
实施例
如图1所示，本实施例中基于区块链的多模态数字人版权管理方法包括以下步骤：
S1、组织成员从客户端将多模态数字人信息上传到后台服务器；
本步骤中，在客户端需要提交数字人信息包括：数字人的身份信息、预设时间段内(例如15s)的数字人音视频数据、数字人图片；其中数字人的身份信息包括数字人的姓名、性别、生产日期、版本号、生产商名称、生产商组织机构代码、生产商通讯地址、生产商联系人、生产商联系电话。
本实施例中，预设时间段内(例如15s)的数字人音视频数据，是GPU服务器调用机器视觉算法模型渲染出来的，而不是影视视频或录制的视频数据。该数字人音视频数据的渲染过程为：首先，需要对模特进行开模，也就是进行视频录制，对录制的视频进行逐帧提取，得到若干张模特图片，将提取得到的模特图片作为训练集，并调用机器视觉算法模型进行骨骼点检测，通过对抗生成网络(Gan网络)图像生成技术，生成带有所检测骨骼点的图片，并拼接成数字人音视频。
录制视频的时候，需要模特说话，类似新闻主持人播报新闻，从而提取模特的人脸图像特征，并判断模特的嘴型和说话是否对齐。这需要通过深度神经网络算法模型进行训练，训练好后，要驱动数字人张嘴说话，并且有声音，嘴型与说话能对齐。流程如下：利用Asr语音识别技术将数字人说的话转换为文本，通过文本请求NLP(对话机器人)得到文本答案，再通过TTS请求将文本转换为声音，即通过TTS请求算法模型驱动数字人张嘴及做相应的动作，且嘴型和声音能够对得上，最终渲染得到15s数字人音视频数据。
S2、后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；
本步骤中，后台服务器将客户端提交的表单数据，进行序列化操作，压缩成一个数据块，并对数据块进行哈希运算生成文件指纹，单独将数字人图片数据进行base64编码。
S3、后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；
本实施例中，后台服务器用于存储数据块的文件系统是利用区块链技术创建的文件系统；进一步，为了提升文件系统的数据存储容量和安全可靠性，上述文件系统优选分布式文件系统。在本实施例中，采用IPFS(Inter-Planetary File System)星际文件系统，该文件系统可以很好的保证存储数据的安全性。后台服务器将数据块存入IPFS星际文件系统后，产生的文件地址即为数字人信息的存储地址。
如图2所示，本实施例中，步骤S3所述后台服务将数据块发送给分布式的安全文件系统进行存储，并接收该系统返回的文件地址，具体包括：
S31、先将客户端所上传的数字人信息，调用联盟链(fabric)网络中的链码进行查询；
S32、从所上传的数字人信息中提取多模态数字人图片数据，根据分布式的安全文件系统中所存储的多模态数字人图片数据判断所上传的数字人形象是否为链中未有的数字人，即是否为首次提交；如果是则转入步骤S33，否则不进行上链操作；
其中，确定客户端所上传的数字人形像是否为链中未有的数字人，包括：提取数字人图片及视频特征数据，根据基于区块链的文件系统中所存储的数字人形象特征数据(即人脸图像)判断客户端所上传的数字人形象是否为首次提交；具体可通过人脸识别得到的一个比率值来判断。
在优选的实施例中，IPFS星际文件系统返回的文件地址、文件指纹、数字人图片数据编码，进入fabric网络背书节点调用链码，首先链码判断数据的参数是否合法，例如数据的参数格式是否正确，如果数据的参数合法则查询所有数字人图片编码，对数字人图片进行人脸识别，如果人脸识别率超过80％的值则取消上链操作，否则对数据进行上链，将数据存储到本地账本。
S33、在分布式的安全文件系统中保存客户端所上传的数字人形象，并将文件地址返回给后台服务器。
也就是说，如图3所示，本实施例中多模态数字人版权拥有者从客户端上传数字人信息之后，需要对该多模态数字人在链中的独一性进行确定，以确保同一数字人形象不会同时被两个或两个以上的AI厂商确定版权归属。需要经过数据查询，保证链中同一时刻同一数字人形象的版权归属信息是唯一的，从而防止企图通过对已有数字人形象进行编辑后再上传来获得非法利益的恶意厂商，也可以保护版权所有者的利益不受侵犯。
本实施例具体可以在获取到客户端上传的数字人信息之后，对数字人信息中的数字人图片进行base64编码，然后通过调用区块链网络中的查询链码，进行人脸识别算法匹配，当发现存在人脸识别相似度超过80％，则可以判定客户端上传的数字人信息对该数字人形象的版权存疑，并取消该多模态数字人的上传权限；如果该多模态数字人是区块链中未存在的数字人形象，则执行数据存储流程，如图4所示。
进一步地，为了保证数据的安全性，本实施例中步骤S3包括：将多模态数字人信息存储至IPFS文件系统并获取到存储地址，然后由上传的组织成员对存储地址进行私钥加密，并将归属信息进行加密。所述归属信息包括数字人对应的厂商、名字、职能等级等信息。
S4、后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；
如图5所示，步骤S4中多模态数字人版权上链的过程包括以下步骤：
S41、后台服务器将从分布式的安全文件系统收到的文件地址和生成的文件指纹以及数字人图片编码，调用联盟链(fabric)网络各组织中的背书节点；
本步骤中，分布式的安全文件系统为IPFS星际文件系统，通过后台将客户端上传的数字人信息存入IPFS星际文件系统的过程中，产生数字人形象的地址hash值。
S42、背书节点调用链码，并对返回的结果进行签名，处理后发送到区块链网络中的order节点进行排序；
S43、order节点对数据进行批量打包，生成区块，并发送到联盟链(fabric)网络各组织中的主节点；
S44、主节点将交易发送给联盟链网络中各个peer节点，从而将数据存储到本地；
S45、区块链网络将交易的哈希(hash)值返回给后台服务器。
也就是说，在步骤S4中，后台服务器将从IPFS文件系统收到的文件地址和生成的文件指纹以及数字人图片编码，将这些数据发送到fabric网络中各组织的背书节点，由背书节点调用链码执行数据存储过程，并将结果进行签名后返回给应用程序；应用程序收集到足够的消息和签名，将消息广播给order节点。order节点对交易进行排序，批量打包，生成区块，发送给peer节点。智能合约(chaincode)部署在peer节点上，peer节点对账本进行读写操作。即order节点将交易打包生成区块发送给fabric网络中各组织的主节点，每个组织代表一个数字人AI协会标准制定委员会的成员。每个组织中的主节点将收到的交易同步给各个peer节点进行数据存储。
因为联盟链(fabric)网络中的共识算法是可插拔的，本实施例使用经过改进的PBFT(Practical Byzantine Fault Tolerance)共识算法进行替换，结合了BLS(Boneh-Lynn-Shacham)聚合签名的实用拜占庭容错算法可以大大降低通信的复杂度，提高共识效率。具体来说，结合BLS聚合签名可聚合多个对同一消息的签名为一个签名的优点，在Prepare(预备)阶段将原本各节点的广播更换为由各节点单点发送Prepare消息给该轮的主节点，在Commit(命令)阶段由主节点收集各节点签名，收到2f+1(f为作恶节点个数)个对区块的签名后，将验证过的这批签名聚合成一个聚合签名，再发送该聚合签名以及参与签名的节点列表给各个参与共识的节点；节点将根据发送过来的参与签名的节点列表获得参与签名节点的公钥组，对该聚合签名进行验证，通过改进Prepare阶段、Commit阶段这两个阶段将共识过程中整个网络的通信复杂度O(n2)降低到O(n)；增加了Finish(完成)阶段，Finish阶段的目的是若各节点对最终的区块及数据验证无误，则通知下一轮出块的主节点，防止下一个出块的主节点提前进入Pre-Prepare阶段而其他节点由于网络延迟等问题没有进入下一轮共识过程，导致最终视图切换。由于改进之后的机制比较依赖主节点的响应，改进了视图变更协议及流程，防止主节点作恶的情况。
S5、对多模态数字人版权信息进行公示。
本实施例中，后台服务器将从客户端上传的多模态数字人信息打包成数据块后，调用IPFS文件系统进行数据的存储，IPFS文件系统将文件的hash地址返回给后台服务器；在多模态数字人成功上链后，由系统、平台节点实时调用预设链码对链内多模态数字人版权归属信息进行公示。
进一步，为获取多模态数字人的版权授权请求，可对版权授权请求中的签名信息进行验签。其中，版权授权请求中的签名信息为版权出让方和版权受让方对多模态数字人形象进行共同的数字签名后得到的信息。
基于相同的发明构思，本实施例还提出基于区块链的多模态数字人版权管理系统，参见图6，该管理系统包括：
信息提交模块，用于从客户端将多模态数字人信息上传到后台服务器；
信息处理模块，用于通过后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；
文件存储模块，用于通过后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；
区块链模块，用于通过后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；对多模态数字人版权信息进行公示。
其中，信息提交模块所上传的数字人信息包括：数字人的身份信息、预设时间段内的数字人音视频数据及数字人图片；其中，预设时间段内的数字人音视频数据，通过调用机器视觉算法模型渲染得到；渲染过程包括：对模特进行开模，进行视频录制，对录制的视频进行逐帧提取，得到若干张模特图片，将提取得到的模特图片作为训练集，并调用机器视觉算法模型进行骨骼点检测，通过对抗生成网络图像生成技术，生成带有所检测骨骼点的图片，并拼接成数字人音视频。
本实施例中，文件存储模块先将客户端所上传的数字人信息，调用联盟链网络中的链码进行查询；从所上传的数字人信息中提取多模态数字人图片数据，根据分布式的安全文件系统中所存储的多模态数字人图片数据判断所上传的数字人形象是否为链中未有的数字人，即是否为首次提交；如果是则在分布式的安全文件系统中保存客户端所上传的数字人形象，并将文件地址返回给后台服务器，否则不进行上链操作。
在本实施例中，区块链模块对多模态数字人版权上链的过程包括：后台服务器将从分布式的安全文件系统收到的文件地址和生成的文件指纹以及数字人图片编码，调用联盟链网络各组织中的背书节点；背书节点调用链码，并对返回的结果进行签名，处理后发送到区块链网络中的order节点进行排序；order节点对数据进行批量打包，生成区块，并发送到联盟链网络各组织中的主节点；主节点将交易发送给联盟链网络中各个peer节点，从而将数据存储到本地；区块链网络将交易的哈希值返回给后台服务器；其中，联盟链网络的共识算法采用PBFT共识算法，并结合了BLS聚合签名的实用拜占庭容错算法。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.基于区块链的多模态数字人版权管理方法，其特征在于，包括以下步骤：
S1、从客户端将多模态数字人信息上传到后台服务器；
S2、后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；
S3、后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；
S4、后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；
S5、对多模态数字人版权信息进行公示。
2.根据权利要求1所述的多模态数字人版权管理方法，其特征在于，步骤S1中数字人信息包括：数字人的身份信息、预设时间段内的数字人音视频数据及数字人图片。
3.根据权利要求2所述的多模态数字人版权管理方法，其特征在于，预设时间段内的数字人音视频数据，通过调用机器视觉算法模型渲染得到；渲染过程包括：对模特进行开模，进行视频录制，对录制的视频进行逐帧提取，得到若干张模特图片，将提取得到的模特图片作为训练集，并调用机器视觉算法模型进行骨骼点检测，通过对抗生成网络图像生成技术，生成带有所检测骨骼点的图片，并拼接成数字人音视频。
4.根据权利要求1所述的多模态数字人版权管理方法，其特征在于，步骤S3包括：
S31、先将客户端所上传的数字人信息，调用联盟链网络中的链码进行查询；
S32、从所上传的数字人信息中提取多模态数字人图片数据，根据分布式的安全文件系统中所存储的多模态数字人图片数据判断所上传的数字人形象是否为链中未有的数字人，即是否为首次提交；如果是则转入步骤S33，否则不进行上链操作；
S33、在分布式的安全文件系统中保存客户端所上传的数字人形象，并将文件地址返回给后台服务器。
5.根据权利要求1所述的多模态数字人版权管理方法，其特征在于，步骤S4中多模态数字人版权上链的过程包括：
S41、后台服务器将从分布式的安全文件系统收到的文件地址和生成的文件指纹以及数字人图片编码，调用联盟链网络各组织中的背书节点；
S42、背书节点调用链码，并对返回的结果进行签名，处理后发送到区块链网络中的order节点进行排序；
S43、order节点对数据进行批量打包，生成区块，并发送到联盟链网络各组织中的主节点；
S44、主节点将交易发送给联盟链网络中各个peer节点，从而将数据存储到本地；
S45、区块链网络将交易的哈希值返回给后台服务器。
6.根据权利要求5所述的多模态数字人版权管理方法，其特征在于，联盟链网络的共识算法采用PBFT共识算法，并结合了BLS聚合签名的实用拜占庭容错算法：
在Prepare阶段将原本各节点的广播更换为由各节点单点发送Prepare消息给该轮的主节点，在Commit阶段由主节点收集各节点签名，收到2f+1个对区块的签名后，将验证过的这批签名聚合成一个聚合签名，再发送该聚合签名以及参与签名的节点列表给各个参与共识的节点，其中f为作恶节点个数；节点将根据发送过来的参与签名的节点列表获得参与签名节点的公钥组，对该聚合签名进行验证；最后，若各节点对最终的区块及数据验证无误，则通知下一轮出块的主节点。
7.基于区块链的多模态数字人版权管理系统，其特征在于，包括：
信息提交模块，用于从客户端将多模态数字人信息上传到后台服务器；
信息处理模块，用于通过后台服务器将客户端上传的多模态数字人信息打包成数据块，并生成文件指纹和数字人的图片编码；
文件存储模块，用于通过后台服务器将数据块发送给分布式的安全文件系统进行存储，并接收该安全文件系统返回的文件地址；
区块链模块，用于通过后台服务器将生成的文件指纹、数字人图片编码和安全文件系统所返回的文件地址发送到区块链网络，并调用链码对数字人版权进行上链；对多模态数字人版权信息进行公示。
8.根据权利要求7所述的多模态数字人版权管理系统，其特征在于，信息提交模块所上传的数字人信息包括：数字人的身份信息、预设时间段内的数字人音视频数据及数字人图片；其中，预设时间段内的数字人音视频数据，通过调用机器视觉算法模型渲染得到；渲染过程包括：对模特进行开模，进行视频录制，对录制的视频进行逐帧提取，得到若干张模特图片，将提取得到的模特图片作为训练集，并调用机器视觉算法模型进行骨骼点检测，通过对抗生成网络图像生成技术，生成带有所检测骨骼点的图片，并拼接成数字人音视频。
9.根据权利要求7所述的多模态数字人版权管理系统，其特征在于，文件存储模块先将客户端所上传的数字人信息，调用联盟链网络中的链码进行查询；从所上传的数字人信息中提取多模态数字人图片数据，根据分布式的安全文件系统中所存储的多模态数字人图片数据判断所上传的数字人形象是否为链中未有的数字人，即是否为首次提交；如果是则在分布式的安全文件系统中保存客户端所上传的数字人形象，并将文件地址返回给后台服务器，否则不进行上链操作。
10.根据权利要求7所述的多模态数字人版权管理系统，其特征在于，区块链模块对多模态数字人版权上链的过程包括：后台服务器将从分布式的安全文件系统收到的文件地址和生成的文件指纹以及数字人图片编码，调用联盟链网络各组织中的背书节点；背书节点调用链码，并对返回的结果进行签名，处理后发送到区块链网络中的order节点进行排序；order节点对数据进行批量打包，生成区块，并发送到联盟链网络各组织中的主节点；主节点将交易发送给联盟链网络中各个peer节点，从而将数据存储到本地；区块链网络将交易的哈希值返回给后台服务器；
其中，联盟链网络的共识算法采用PBFT共识算法，并结合了BLS聚合签名的实用拜占庭容错算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110557147.0A CN113158148A (zh) | 2021-05-21 | 2021-05-21 | 基于区块链的多模态数字人版权管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110557147.0A CN113158148A (zh) | 2021-05-21 | 2021-05-21 | 基于区块链的多模态数字人版权管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113158148A true CN113158148A (zh) | 2021-07-23 |
Family
ID=76877017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110557147.0A Pending CN113158148A (zh) | 2021-05-21 | 2021-05-21 | 基于区块链的多模态数字人版权管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158148A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115052016A (zh) * | 2022-06-08 | 2022-09-13 | 上海万向区块链股份公司 | 基于区块链技术的可定制数字烟花藏品生成系统 |
| CN117076755A (zh) * | 2023-10-16 | 2023-11-17 | 北京中科汇联科技股份有限公司 | 一种多用途数字人的控制系统及方法 |
| CN117560527A (zh) * | 2023-11-22 | 2024-02-13 | 北京风平智能科技有限公司 | 一种数字人aigc视频安全防伪方法及装置 |
| CN117744051A (zh) * | 2023-12-21 | 2024-03-22 | 江苏云工场信息技术有限公司 | 一种数字人身份确权的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107086920A (zh) * | 2017-06-20 | 2017-08-22 | 无锡井通网络科技有限公司 | 基于区块链的版权确权方法 |
| CN109086577A (zh) * | 2018-08-06 | 2018-12-25 | 深圳市网心科技有限公司 | 一种基于区块链的原创音乐作品管理方法及相关设备 |
| CN110912937A (zh) * | 2019-12-23 | 2020-03-24 | 杭州中科先进技术研究院有限公司 | 一种基于区块链的数字存证平台和存证方法 |
-
2021
- 2021-05-21 CN CN202110557147.0A patent/CN113158148A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107086920A (zh) * | 2017-06-20 | 2017-08-22 | 无锡井通网络科技有限公司 | 基于区块链的版权确权方法 |
| CN109086577A (zh) * | 2018-08-06 | 2018-12-25 | 深圳市网心科技有限公司 | 一种基于区块链的原创音乐作品管理方法及相关设备 |
| CN110912937A (zh) * | 2019-12-23 | 2020-03-24 | 杭州中科先进技术研究院有限公司 | 一种基于区块链的数字存证平台和存证方法 |
Non-Patent Citations (2)
| Title |
|---|
| 叶霖: "人工智能生成物所涉著作权问题研究", 《科技与出版》 * |
| 胡小雅: "虚拟成像表演的版权规制", 《河南科技》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115052016A (zh) * | 2022-06-08 | 2022-09-13 | 上海万向区块链股份公司 | 基于区块链技术的可定制数字烟花藏品生成系统 |
| CN117076755A (zh) * | 2023-10-16 | 2023-11-17 | 北京中科汇联科技股份有限公司 | 一种多用途数字人的控制系统及方法 |
| CN117560527A (zh) * | 2023-11-22 | 2024-02-13 | 北京风平智能科技有限公司 | 一种数字人aigc视频安全防伪方法及装置 |
| CN117744051A (zh) * | 2023-12-21 | 2024-03-22 | 江苏云工场信息技术有限公司 | 一种数字人身份确权的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113158148A (zh) | 基于区块链的多模态数字人版权管理方法及系统 | |
| CN111488433B (zh) | 一种适用于银行的提升现场体验感的人工智能交互系统 | |
| US9712526B2 (en) | User authentication for social networks | |
| CN110519297B (zh) | 一种基于区块链私钥的数据处理方法以及设备 | |
| CN109472690A (zh) | 基于区块链的贷款审批方法、装置、存储介质及电子设备 | |
| KR20200086660A (ko) | 스택 데이터 구조 백그라운드의 디지털 어시스턴트 프로세싱 | |
| CN112288398A (zh) | 面签验证方法、装置、计算机设备及存储介质 | |
| CN106570369A (zh) | 视频身分确认装置与方法 | |
| CN101005611B (zh) | 一种网吧视频监控和实名拍照系统及装置 | |
| CN109271757A (zh) | 一种软件的离线激活方法及系统 | |
| CN113873088B (zh) | 语音通话的交互方法、装置、计算机设备和存储介质 | |
| CN115051812B (zh) | 一种基于二维码和生物特征的用户身份双重识别方法 | |
| CN104618322B (zh) | 基于即时通讯工具的数据处理方法和装置 | |
| CN114419527B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN109726536A (zh) | 鉴权方法、电子设备和计算机可读程序介质 | |
| CN106657164A (zh) | 一种用于实名认证的身份识别复合算法及系统 | |
| CN106503522A (zh) | 一种基于多媒体信息的交互式实人身份认证方案 | |
| WO2022222735A1 (zh) | 信息处理方法、装置、计算机设备和存储介质 | |
| CN112383737B (zh) | 多人在线内容同屏的视频处理验证方法、装置和电子设备 | |
| CN114997873A (zh) | 基于生物特征鉴权的支付方法、装置、设备及存储介质 | |
| CN107454044A (zh) | 一种电子书阅读权限保护方法及系统 | |
| CN111353771A (zh) | 一种远程控制支付的方法、装置、设备和介质 | |
| CN114553684B (zh) | 网点运维方法、装置、计算机设备、存储介质 | |
| CN115022030B (zh) | 基于区块链的银行业务办理请求处理方法及装置 | |
| US20240015029A1 (en) | System And Apparatus For Providing Authenticable Electronic Communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |