CN116962851A - 多媒体版权保护方法及装置 - Google Patents
多媒体版权保护方法及装置 Download PDFInfo
- Publication number
- CN116962851A CN116962851A CN202211574706.XA CN202211574706A CN116962851A CN 116962851 A CN116962851 A CN 116962851A CN 202211574706 A CN202211574706 A CN 202211574706A CN 116962851 A CN116962851 A CN 116962851A
- Authority
- CN
- China
- Prior art keywords
- watermark
- video
- verified
- protected
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000007635 classification algorithm Methods 0.000 claims abstract description 36
- 239000012634 fragment Substances 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 15
- 238000009432 framing Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000288906 Primates Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Editing Of Facsimile Originals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及多媒体领域，提供一种多媒体版权保护方法及装置。所述方法包括：解码并分离待保护多媒体，得到待保护音频流和待保护视频流；根据直方图‑局部二进制模式场景分类算法提取待保护视频流的场景特征，根据场景特征得到第一水印；将第一水印嵌入待保护音频流，得到含水印音频流；根据含水印音频流生成第二水印；将第二水印嵌入待保护视频流，得到含水印视频流；根据含水印音频流和含水印视频流，得到含水印多媒体。本申请实施例提供的多媒体版权保护方法及装置以音视频全局特征生成第一水印和第二水印，并形成水印生成和嵌入的相互嵌套，提高水印对音视频流的各种篡改操作的敏感性，进而提高水印的完整性保护能力。
Description
技术领域
本申请涉及多媒体技术领域，具体涉及一种多媒体版权保护方法及装置。
背景技术
一直以来，加密和数字水印技术是数字版权保护的主要手段。加密技术是在数据传输过程中通过加密算法将多媒体数据转变成不可理解的数据，从而达到版权保护的目的，但加密数据解码成功后与原始数据相同并且不再具有保护能力，因此加密技术不能从根本上解决侵权问题。
数字水印技术是通过嵌入算法将认证信息嵌入到多媒体数据中，常见的操作(传输、复制等)并不会对嵌入的信息造成影响，一般在数字媒体的存活周期内具有版权认证的能力，但现有的数字技术大多依赖音视频流的局部特征生成水印，因此对音视频流的各种篡改操作敏感性较差，导致水印的完整性保护能力较弱。
发明内容
本申请实施例提供一种多媒体版权保护方法及装置，用以解决现有的数字技术大多依赖音视频流的局部特征生成水印，因此对音视频流的各种篡改操作敏感性较差，导致水印的完整性保护能力较弱的技术问题。
第一方面，本申请实施例提供一种多媒体版权保护方法，包括：
解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
根据所述含水印音频流生成第二水印；
将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
在一个实施例中，所述根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，包括：
利用直方图场景分类算法对所述待保护视频流进行场景分类，得到直方图帧间差值和；
利用局部二进制模式场景分类算法对所述待保护视频流进行场景分类，得到纹理图谱帧间差值和；
根据所述直方图帧间差值和与所述纹理图谱帧间差值和的调和平均数，提取所述待保护视频流的场景特征。
在一个实施例中，所述将所述第一水印嵌入所述待保护音频流，得到含水印音频流，包括：
解码所述待保护音频流，得到音频流数据；
将所述音频流数据中的左声道数据进行非重叠分帧，得到待处理音频帧数据；
对所述待处理音频帧数据进行三层离散小波变换，得到多个第一低频系数；
对所述多个第一低频系数进行排序，按照排序将所述多个第一低频系数进行分组，通过修改前一组中排序最后的第一低频系数，在每组中嵌入1比特所述第一水印的数据，得到含水印低频系数组；
合并所有含水印低频系数组，得到含水印低频系数集；
根据所述含水印低频系数集经过离散小波逆变换后的数据，得到含水印音频流。
在一个实施例中，所述根据所述含水印音频流生成第二水印，包括：
提取所述含水印音频流的一维MFCC系数，按照特定长度对所述一维MFCC系数进行分割，得到多个MFCC系数段；
根据每个MFCC系数段的方差生成对应的数字水印，并将所有数字水印进行合并，得到所述第二水印。
在一个实施例中，所述将所述第二水印嵌入所述待保护视频流，得到含水印视频流，包括：
根据所述场景特征对所述待保护视频流进行分割，得到L个待处理视频场景；其中，L为大于等于2的整数；
将所述第二水印分割为L个第二水印片段，并在每个第二水印片段末尾处添加结束标志位；
针对所述L个待处理视频场景中的任一视频帧，按照所述任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到所述任一视频帧的第一非显著区域；
对所述第一非显著区域的亮度分量进行8*8的离散余弦变换，得到第一直流系数，通过修改每个待处理视频场景中各视频帧的第一直流系数将所述L个第二水印片段一一对应嵌入所述L个待处理视频场景中，得到含水印视频场景集；
对所述含水印视频场景集进行离散余弦逆变换，将逆变换后的含水印视频场景集进行合并，得到含水印视频流。
在一个实施例中，所述得到含水印多媒体之后，包括：
解码并分离所述含水印多媒体，得到待验证音频流和待验证视频流；
根据直方图-局部二进制模式场景分类算法对所述待验证视频流进行场景分割，得到L个待验证视频场景；
针对任一待验证视频场景中的前三个视频帧，按照任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到所述任一视频帧的第二非显著区域；
对所述第二非显著区域的亮度分量进行8*8的离散余弦变换，得到第二直流系数，通过任一待验证视频场景中前三个视频帧的第二直流系数分别提取所述前三个视频帧上的水印片段，直到遇到所述结束标志位时停止提取；
将所述L个待验证视频场景按照时间由先到后进行排序；
根据排序由先到后对相邻两个待验证视频场景的待验证第二水印片段进行取舍；
若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)不相同，则保留wl(i)和wl-1(i)；其中，l为大于等于2且小于等于L的整数，i为大于等于1的整数，wl(i)是根据第l个待验证视频场景中的前三个视频帧上的水印片段得到的；
若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)相同，则保留wl(i)，舍弃wl-1(i)；
利用l+1替代l后，返回根据排序由先到后对相邻两个待验证视频场景的待验证第二水印片段进行取舍的步骤，直到l＝L时，完成所有相邻两个待验证视频场景的待验证第二水印片段的取舍；
将所有保留的待验证第二水印片段进行合并，得到待验证第二水印；
从区块链获取预先存储的所述含水印多媒体的可信第二水印，若所述待验证第二水印与所述可信第二水印不一致，则确定所述待验证音频流被篡改，定位篡改类型和篡改位置。
在一个实施例中，所述从区块链获取预先存储的所述含水印多媒体的可信第二水印之后，包括：
若所述待验证第二水印与所述可信第二水印一致，则确定所述待验证音频流未被篡改；
将所述待验证音频流中的左声道数据进行非重叠分帧，得到待验证音频帧数据；
对所述待验证音频帧数据进行三层离散小波变换，得到多个第二低频系数；
对所述多个第二低频系数进行排序，按照排序将所述多个第二低频系数进行分组；
根据任一组内第二低频系数的平均值与所述任一组之前一组中排序最后的第二低频系数之间的关系，在所述任一组内提取待验证第一水印片段；
将所有待验证第一水印片段进行合并，得到待验证第一水印；
从区块链获取预先存储的所述含水印多媒体的可信第一水印，若所述待验证第一水印与所述可信第一水印不一致，则确定所述待验证视频流被篡改，定位篡改类型和篡改位置。
第二方面，本申请实施例提供一种多媒体版权保护装置，包括：
解码分离模块，用于：解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
第一水印生成模块，用于：根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
含水印音频流生成模块，用于：将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
第二水印生成模块，用于：根据所述含水印音频流生成第二水印；
含水印视频流生成模块，用于：将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
含水印多媒体生成模块，用于：根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的多媒体版权保护方法的步骤。
第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的多媒体版权保护方法的步骤。
本申请提供的多媒体版权保护方法及装置，先解码并分离待保护多媒体，得到待保护音频流和待保护视频流，再根据直方图-局部二进制模式场景分类算法提取待保护视频流的场景特征，根据场景特征得到第一水印，再将第一水印嵌入待保护音频流，得到含水印音频流，再根据含水印音频流生成第二水印，将第二水印嵌入待保护视频流，得到含水印视频流，最后根据含水印音频流和含水印视频流，得到含水印多媒体。本申请利用待保护视频流的场景特征得到第一水印，将第一水印嵌入待保护音频流，再根据嵌入第一水印的待保护音频流生成第二水印，再将第二水印嵌入待保护视频流，以音视频全局特征生成第一水印和第二水印，并形成水印生成和嵌入的相互嵌套，提高水印对音视频流的各种篡改操作的敏感性，进而提高水印的完整性保护能力。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的多媒体版权保护方法的流程示意图之一；
图2是本申请实施例提供的多媒体版权保护方法的流程示意图之二；
图3是本申请实施例提供的多媒体版权保护方法的流程示意图之三；
图4是本申请实施例提供的多媒体版权保护方法的流程示意图之四；
图5是本申请实施例提供的多媒体版权保护方法的流程示意图之五；
图6是本申请实施例提供的多媒体版权保护方法的流程示意图之六；
图7是本申请实施例提供的多媒体版权保护方法的流程示意图之七；
图8为本申请实施例提供的多媒体版权保护装置的结构示意图；
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例提供的多媒体版权保护方法的流程示意图之一。参照图1，本申请实施例提供一种多媒体版权保护方法，可以包括：
101、解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
102、根据直方图-局部二进制模式场景分类算法提取待保护视频流的场景特征，根据场景特征得到第一水印；
103、将第一水印嵌入待保护音频流，得到含水印音频流；
104、根据含水印音频流生成第二水印；
105、将第二水印嵌入待保护视频流，得到含水印视频流；
106、根据含水印音频流和含水印视频流，得到含水印多媒体。
步骤102中，可以将场景特征进行置乱后，再根据置乱后的场景特征得到第一水印，提高第一水印的保密性。
本实施例提供的多媒体版权保护方法，先解码并分离待保护多媒体，得到待保护音频流和待保护视频流，再根据直方图-局部二进制模式场景分类算法提取待保护视频流的场景特征，根据场景特征得到第一水印，再将第一水印嵌入待保护音频流，得到含水印音频流，再根据含水印音频流生成第二水印，将第二水印嵌入待保护视频流，得到含水印视频流，最后根据含水印音频流和含水印视频流，得到含水印多媒体。本实施例利用待保护视频流的场景特征得到第一水印，将第一水印嵌入待保护音频流，再根据嵌入第一水印的待保护音频流生成第二水印，再将第二水印嵌入待保护视频流，以音视频全局特征生成第一水印和第二水印，并形成水印生成和嵌入的相互嵌套，提高水印对音视频流的各种篡改操作的敏感性，进而提高水印的完整性保护能力。
图2是本申请实施例提供的多媒体版权保护方法的流程示意图之二。参照图2，在一个实施例中，根据直方图-局部二进制模式场景分类算法提取待保护视频流的场景特征，可以包括：
201、利用直方图场景分类算法对待保护视频流进行场景分类，得到直方图帧间差值和；
202、利用局部二进制模式场景分类算法对待保护视频流进行场景分类，得到纹理图谱帧间差值和；
203、根据直方图帧间差值和与纹理图谱帧间差值和的调和平均数，提取待保护视频流的场景特征。
步骤201中，直方图场景分类算法能够直观地描述图像中不同的颜色值所占的比重，是表达图像颜色特征的主要方法。在进行视频场景分类时，运用直方图场景分类算法对视频连续两帧进行灰度值统计，然后通过比较两帧的直方图帧间差值和与门限(经验值)的大小，判断视频场景是否发生变换，其缺点是在颜色相似例如沙滩和沙漠的情况下难以分辨场景不同。本步骤中的直方图帧间差值和即为待保护视频流中，加总所有连续两帧的直方图帧间差值，得到的直方图帧间差值和。
步骤202中，局部二进制模式场景分类算法的基本思想是将每个像素点的灰度值与其邻域内的各灰度值做比较，相邻像素点灰度值较中心点小的设为0，反之设为1，然后把这串二进制数，转换成十进制灰度值，最后计算出相邻两帧间的纹理图谱帧间差值和与经验值比较，判断视频场景转换，其缺点在于无法区分纹理相同、颜色不同的场景，例如黑色和白色场景。本步骤中的纹理图谱帧间差值和即为待保护视频流中，加总所有相邻两帧的纹理图谱帧间差值，得到的纹理图谱帧间差值和。
步骤203中，可以根据以下公式计算直方图帧间差值和与纹理图谱帧间差值和的调和平均数：
其中，DH-LBP为直方图帧间差值和与纹理图谱帧间差值和的调和平均数，Ds为直方图帧间差值和，DLs为纹理图谱帧间差值和。
将DH-LBP与门限值(经验值0.18)进行比较，若DH-LBP大于门限值，则确定场景发生改变，反之，确定场景未发生改变，据此识别并提取待保护视频流的场景特征。
在实际应用中，步骤201和步骤202之间没有严格的时序关系；即，可同时执行，或任一步骤先执行，具体根据实际需求而定，此处不做限定。
本实施例利用直方图-局部二进制模式场景分类算法提取待保护视频流的场景特征，对比直方图场景分类算法和局部二进制模式场景分类算法，能够从颜色特征与纹理特征两方面判断场景是否发生改变，有效地解决了直方图场景分类算法在颜色相似场景中的漏检，以及在内容变化快的场景中的误检，并且弥补了局部二进制模式场景分类算法在场景颜色特征检测上的不足。
图3是本申请实施例提供的多媒体版权保护方法的流程示意图之三。参照图3，在一个实施例中，将第一水印嵌入待保护音频流，得到含水印音频流，可以包括：
301、解码待保护音频流，得到音频流数据；
302、将音频流数据中的左声道数据进行非重叠分帧，得到待处理音频帧数据；
303、对待处理音频帧数据进行三层离散小波变换，得到多个第一低频系数；
304、对多个第一低频系数进行排序，按照排序将多个第一低频系数进行分组，通过修改前一组中排序最后的第一低频系数，在每组中嵌入1比特第一水印的数据，得到含水印低频系数组；
305、合并所有含水印低频系数组，得到含水印低频系数集；
306、根据含水印低频系数集经过离散小波逆变换后的数据，得到含水印音频流。
步骤302中，可以将音频流数据中的左声道数据按照每1600帧进行非重叠分帧。
步骤303中，对待处理音频帧数据进行三层离散小波变换，也可以得到多个高频系数。
步骤304中，可以按照时间先后顺序对多个第一低频系数进行排序，当多个第一低频系数的长度一共为200比特时，按照排序将多个第一低频系数分为10组，每组20个系数，每个系数的长度1比特。通过修改前一组中排序最后的第一低频系数，在每组中嵌入1比特第一水印的数据，例如，第一组中有第1至第20个第一低频系数，第二组中有第21至第40个第一低频系数，以此类推，通过修改第一组的第20个第一低频系数，在第二组中嵌入1比特第一水印的数据。
需要说明的时，还可以根据同样的步骤对音频流数据中的右声道数据进行处理，得到完整的含水印音频流。
本实施例通过对低频系数进行分组分别嵌入部分第一水印，完成对整个第一水印的嵌入，能够提高水印嵌入效率，且在水印被攻击时，能够定位被攻击位置。
图4是本申请实施例提供的多媒体版权保护方法的流程示意图之四。参照图4，在一个实施例中，根据含水印音频流生成第二水印，可以包括：
401、提取含水印音频流的一维MFCC系数，按照特定长度对一维MFCC系数进行分割，得到多个MFCC系数段；
402、根据每个MFCC系数段的方差生成对应的数字水印，并将所有数字水印进行合并，得到第二水印。
MFCC系数，即Mel频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)，Mel频率是基于人耳听觉特性提出来的，它与赫兹频率成非线性对应关系。MFCC则是利用它们之间的这种关系，计算得到的赫兹频谱特征，MFCC已经广泛地应用在语音识别领域。由于Mel频率与赫兹频率之间非线性的对应关系，使得MFCC随着频率的提高，其计算精度随之下降。因此，在应用中常常只使用低频MFCC，而丢弃中高频MFCC。
步骤401中，可以按照64比特长度对一维MFCC系数进行分割。
步骤402中，可以根据每个MFCC系数段的方差生成编码，该编码即为对应的数字水印，具体可以基于以下公式生成编码：
其中，T为编码，即数字水印，D(n)为第n个MFCC系数段的方差，n为大于等于1的整数，M为所有MFCC系数段的方差的平均数。
本实施例能够根据多个MFCC系数段的方差进行编码，并将该编码作为对应的数字水印，再将多个数字水印合并得到第二水印。
图5是本申请实施例提供的多媒体版权保护方法的流程示意图之五。参照图5，在一个实施例中，将第二水印嵌入待保护视频流，得到含水印视频流，可以包括：
501、根据场景特征对待保护视频流进行分割，得到L个待处理视频场景；
其中，L为大于等于2的整数；
502、将第二水印分割为L个第二水印片段，并在每个第二水印片段末尾处添加结束标志位；
503、针对L个待处理视频场景中的任一视频帧，按照任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到任一视频帧的第一非显著区域；
504、对第一非显著区域的亮度分量进行8*8的离散余弦变换，得到第一直流系数，通过修改每个待处理视频场景中各视频帧的第一直流系数将L个第二水印片段一一对应嵌入L个待处理视频场景中，得到含水印视频场景集；
505、对含水印视频场景集进行离散余弦逆变换，将逆变换后的含水印视频场景集进行合并，得到含水印视频流。
步骤502中，前L-1个第二水印片段的长度可以为第一特定整数，最后一个第二水印片段的长度可以为第一特定整数与第二特定整数的和；第一特定整数为第二水印总长度除以L的商，第二特定整数为第二水印总长度除以L的余数，结束标志位的长度可以为8比特。
步骤503中，可以利用Itti视觉显著模型对L个待处理视频场景中的每一帧进行显著性分析，针对L个待处理视频场景中的任一视频帧，按照任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到任一视频帧的第一非显著区域；
Itti视觉显著模型是根据早期灵长类动物的视觉神经系统设计的一种视觉注意模型。该模型首先利用高斯采样方法构建图像的颜色、亮度和方向的高斯金字塔，然后利用高斯金字塔计算图像的亮度特征图、颜色特征图和方向特征图，最后结合不同尺度的特征图即可获得亮度、颜色和方向显著图，相加得到最终的视觉显著图。
步骤504中，可以利用二进制奇偶量化调制算法，通过修改每个待处理视频场景中各视频帧的第一直流系数将L个第二水印片段一一对应嵌入L个待处理视频场景中。
本实施例通过将待保护视频流和第二水印进行分割，并将分割后得到的第二水印片段一一对应嵌入分割后得到的待处理视频场景中，能够提高水印嵌入效率，且在水印被攻击时，能够定位被攻击位置。
图6是本申请实施例提供的多媒体版权保护方法的流程示意图之六。参照图6，在一个实施例中，得到含水印多媒体之后，得到含水印视频流，可以包括：
601、解码并分离含水印多媒体，得到待验证音频流和待验证视频流；
602、根据直方图-局部二进制模式场景分类算法对待验证视频流进行场景分割，得到L个待验证视频场景；
603、针对任一待验证视频场景中的前三个视频帧，按照任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到任一视频帧的第二非显著区域；
604、对第二非显著区域的亮度分量进行8*8的离散余弦变换，得到第二直流系数，通过任一待验证视频场景中前三个视频帧的第二直流系数分别提取前三个视频帧上的水印片段，直到遇到结束标志位时停止提取；
605、将L个待验证视频场景按照时间由先到后进行排序；
606、根据排序由先到后对相邻两个待验证视频场景的待验证第二水印片段进行取舍；
607、若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)不相同，则保留wl(i)和wl-1(i)；
其中，l为大于等于2且小于等于L的整数，i为大于等于1的整数，wl(i)是根据第l个待验证视频场景中的前三个视频帧上的水印片段得到的；
608、若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)相同，则保留wl(i)，舍弃wl-1(i)；
609、利用l+1替代l后，返回步骤606，直到l＝L时，完成所有相邻两个待验证视频场景的待验证第二水印片段的取舍；
610、将所有保留的待验证第二水印片段进行合并，得到待验证第二水印；
611、从区块链获取预先存储的含水印多媒体的可信第二水印，若待验证第二水印与可信第二水印不一致，则确定待验证音频流被篡改，定位篡改类型和篡改位置。
步骤602中，可以利用Itti视觉显著模型对L个待验证视频场景中的每一帧进行显著性分析，针对任一待验证视频场景中的前三个视频帧，按照任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到任一视频帧的第二非显著区域；
步骤604中，每个待验证视频场景的前三个视频帧中任一视频帧上的水印片段可以以编码形式表示如下：
其中，wg(i)为任一待验证视频场景的前三个视频帧中，第g个视频帧上的第i个水印片段，dg为第g个视频帧上的第二直流系数,Δ为特定常数，floor为向下取整符号，即为不大于/>的最大整数。
步骤607中，第l个待验证视频场景中的第i个待验证第二水印片段，可以以编码形式表示如下：
步骤611中，在得到含水印多媒体之后，可为提供用户可视化操作界面，用于用户侧填写多媒体的相关版权信息，如创作者、创作时间、作品描述等，同时，将该含水印多媒体发送至文件服务器存储，并生成地址信息，另外，根据该含水印多媒体中的含水印视频流和含水印音频流重新生成之前嵌入的第一水印和第二水印，该第一水印和第二水印为可信第一水印和可信第二水印，将该可信第一水印、可信第二水印、含水印多媒体的版权信息以及含水印多媒体的地址信息上传至区块链保存，保证了多媒体的安全性和不可篡改性，有效地解决数字水印被攻击损坏等问题。
若确定待验证音频流被篡改，则可以根据待验证第二水印不一致的部分定位篡改类型和篡改位置。
例如若可信第二水印的长度比待验证第二水印的长度要长，则确定待验证音频流被剪切；还可以将待验证第二水印和可信第二水印逆向恢复成为编码时的方差，根据两者对应方差出现偏差的位置判断待验证音频流被篡改的位置，另外，若低通滤波后待验证第二水印对应的各方差均小于可信第二水印对应的各方差，则确定对待验证音频流的攻击区域为整体音频流，攻击类型为低通滤波。
在实际应用中，步骤607和步骤608之间没有严格的时序关系；即，可同时执行，或任一步骤先执行，具体根据实际需求而定，此处不做限定。
本实施例通过提取得到的待验证第二水印与重新生成的可信第二水印相比较，能够验证待验证音频流的完整性。
图7是本申请实施例提供的多媒体版权保护方法的流程示意图之七。参照图7，在一个实施例中，从区块链获取预先存储的含水印多媒体的可信第二水印之后，包括：
701、若待验证第二水印与可信第二水印一致，则确定待验证音频流未被篡改；
702、将待验证音频流中的左声道数据进行非重叠分帧，得到待验证音频帧数据；
703、对待验证音频帧数据进行三层离散小波变换，得到多个第二低频系数；
704、对多个第二低频系数进行排序，按照排序将多个第二低频系数进行分组；
705、根据任一组内第二低频系数的平均值与该组之前一组中排序最后的第二低频系数之间的关系，在该组内提取待验证第一水印片段；
706、将所有待验证第一水印片段进行合并，得到待验证第一水印；
707、从区块链获取预先存储的含水印多媒体的可信第一水印，若待验证第一水印与可信第一水印不一致，则确定待验证视频流被篡改，定位篡改类型和篡改位置。
步骤704中，可以按照时间顺序由先到后对多个第二低频系数进行排序，按照排序将多个第二低频系数进行分组，当多个第二低频系数的长度一共为200比特时，按照排序将多个第二低频系数分为10组，每组20个系数，每个系数的长度1比特。
步骤705中，在第k组内提取待验证第一水印片段，可以以编码形式表示如下：
其中，W(k)为在第k组内提取的水印编码，即待验证第一水印片段，DWT0(20×(k-1))为第20×(k-1)个第二低频系数，temp_ave(k)为第k组内第二低频系数的平均值。
步骤706之后，还可以根据同样的步骤对音频流数据中的右声道数据进行处理，得到完整的待验证第一水印。
步骤707中，若确定待验证视频流被篡改，则可以根据待验证第一水印不一致的部分定位篡改类型和篡改位置。
例如：
1、帧删除攻击：
表1帧删除攻击实验结果
表1的帧删除实验结果表明，当待验证视频流受到帧删除攻击后可以100％定位到某一场景是否被修改。例如，当删除待验证视频流中第184帧时，待验证第一水印和可信第一水印的第178位至193位的编码如下表所示：
表2帧删除攻击水印信息对比
| 水印位置 | 178 | 179 | 180 | 181 | 182 | 183 | 184 | 185 |
| 待验证第一水印 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 可信第一水印 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 |
| 水印位置 | 186 | 187 | 188 | 189 | 190 | 191 | 192 | 193 |
| 待验证第一水印 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 可信第一水印 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
从水印信息整体上来看，待验证第一水印共919比特，而可信第一水印共918比特，由此可以判断视频流受到帧删除攻击，从表2中可以看出第185位水印编码发生变化，从而可以判断184所在场景视频流被删除了一帧数据。删除多帧与删除一帧的情况类似，均可以定位受攻击场景。
2、帧添加攻击：
帧添加与帧删除类似，当攻击发生时，根据重新生成的可信第一水印与提取的待验证第一水印长度不同，可以准确检测出是否受攻击。例如在第180帧至181帧之间插入一帧全黑的图片，待验证第一水印与可信第一水印的178位至193位如下表所示，从表3中可以明显看出第181帧前后视频场景发生变化，由此可以判断第181帧是插入帧。插入多帧与插入一帧的情况类似，通过比对两组水印，可以准确定位插入帧所在位置。
表3帧添加攻击水印信息对比
| 水印位置 | 178 | 179 | 180 | 181 | 182 | 183 | 184 | 185 |
| 待验证第一水印 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 可信第一水印 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 1 |
| 水印位置 | 186 | 187 | 188 | 189 | 190 | 191 | 192 | 193 |
| 待验证第一水印 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 可信第一水印 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
帧添加攻击与帧删除攻击的判断过程相似，均可以100％定位攻击位置。
3、帧修改攻击：
帧修改是指对视频帧进行篡改。由于帧修改一般是部分修改，不影响视频帧的观看，实验中模拟了视频帧篡改过程，将待验证视频流的视频帧部分像素点RGB值中的R与B值变成零，G值不变。实验过程中对某些连续帧做了不同程度的篡改，实验结果如下表所示：
表4帧删除攻击实验结果
/>
实验结果表明，当篡改程度达到16.7％时，算法可以100％检测篡改。当修改帧数较多，篡改程度为16.7％时，算法可以检测出视频受到攻击，且可以定位部分受到攻击的场景。
本实施例通过提取得到的待验证第一水印与重新生成的可信第一水印相比较，能够验证待验证视频流的完整性。
下面对本申请实施例提供的多媒体版权保护装置进行描述，下文描述的多媒体版权保护装置与上文描述的多媒体版权保护方法可相互对应参照。
图8为本申请实施例提供的多媒体版权保护装置的结构示意图。参照图8，本申请实施例提供一种多媒体版权保护装置，可以包括：
解码分离模块801，用于：解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
第一水印生成模块802，用于：根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
含水印音频流生成模块803，用于：将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
第二水印生成模块804，用于：根据所述含水印音频流生成第二水印；
含水印视频流生成模块805，用于：将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
含水印多媒体生成模块806，用于：根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
本实施例提供的多媒体版权保护装置，先解码并分离待保护多媒体，得到待保护音频流和待保护视频流，再根据直方图-局部二进制模式场景分类算法提取待保护视频流的场景特征，根据场景特征得到第一水印，再将第一水印嵌入待保护音频流，得到含水印音频流，再根据含水印音频流生成第二水印，将第二水印嵌入待保护视频流，得到含水印视频流，最后根据含水印音频流和含水印视频流，得到含水印多媒体。本实施例利用待保护视频流的场景特征得到第一水印，将第一水印嵌入待保护音频流，再根据嵌入第一水印的待保护音频流生成第二水印，再将第二水印嵌入待保护视频流，以音视频全局特征生成第一水印和第二水印，并形成水印生成和嵌入的相互嵌套，提高水印对音视频流的各种篡改操作的敏感性，进而提高水印的完整性保护能力。
在一个实施例中，第一水印生成模块802具体用于：
利用直方图场景分类算法对所述待保护视频流进行场景分类，得到直方图帧间差值和；
利用局部二进制模式场景分类算法对所述待保护视频流进行场景分类，得到纹理图谱帧间差值和；
根据所述直方图帧间差值和与所述纹理图谱帧间差值和的调和平均数，提取所述待保护视频流的场景特征。
在一个实施例中，含水印音频流生成模块803具体用于：
解码所述待保护音频流，得到音频流数据；
将所述音频流数据中的左声道数据进行非重叠分帧，得到待处理音频帧数据；
对所述待处理音频帧数据进行三层离散小波变换，得到多个第一低频系数；
对所述多个第一低频系数进行排序，按照排序将所述多个第一低频系数进行分组，通过修改前一组中排序最后的第一低频系数，在每组中嵌入1比特所述第一水印的数据，得到含水印低频系数组；
合并所有含水印低频系数组，得到含水印低频系数集；
根据所述含水印低频系数集经过离散小波逆变换后的数据，得到含水印音频流。
在一个实施例中，第二水印生成模块804具体用于：
提取所述含水印音频流的一维MFCC系数，按照特定长度对所述一维MFCC系数进行分割，得到多个MFCC系数段；
根据每个MFCC系数段的方差生成对应的数字水印，并将所有数字水印进行合并，得到所述第二水印。
在一个实施例中，含水印视频流生成模块805具体用于：
根据所述场景特征对所述待保护视频流进行分割，得到L个待处理视频场景；其中，L为大于等于2的整数；
将所述第二水印分割为L个第二水印片段，并在每个第二水印片段末尾处添加结束标志位；
针对所述L个待处理视频场景中的任一视频帧，按照所述任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到所述任一视频帧的第一非显著区域；
对所述第一非显著区域的亮度分量进行8*8的离散余弦变换，得到第一直流系数，通过修改每个待处理视频场景中各视频帧的第一直流系数将所述L个第二水印片段一一对应嵌入所述L个待处理视频场景中，得到含水印视频场景集；
对所述含水印视频场景集进行离散余弦逆变换，将逆变换后的含水印视频场景集进行合并，得到含水印视频流。
在一个实施例中，还包括音频完整性验证模块(图中未示出)，用于：
解码并分离所述含水印多媒体，得到待验证音频流和待验证视频流；
根据直方图-局部二进制模式场景分类算法对所述待验证视频流进行场景分割，得到L个待验证视频场景；
针对任一待验证视频场景中的前三个视频帧，按照任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到所述任一视频帧的第二非显著区域；
对所述第二非显著区域的亮度分量进行8*8的离散余弦变换，得到第二直流系数，通过任一待验证视频场景中前三个视频帧的第二直流系数分别提取所述前三个视频帧上的水印片段，直到遇到所述结束标志位时停止提取；
将所述L个待验证视频场景按照时间由先到后进行排序；
根据排序由先到后对相邻两个待验证视频场景的待验证第二水印片段进行取舍；
若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)不相同，则保留wl(i)和wl-1(i)；其中，l为大于等于2且小于等于L的整数，i为大于等于1的整数，wl(i)是根据第l个待验证视频场景中的前三个视频帧上的水印片段得到的；
若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)相同，则保留wl(i)，舍弃wl-1(i)；
利用l+1替代l后，返回根据排序由先到后对相邻两个待验证视频场景的待验证第二水印片段进行取舍的步骤，直到l＝L时，完成所有相邻两个待验证视频场景的待验证第二水印片段的取舍；
将所有保留的待验证第二水印片段进行合并，得到待验证第二水印；
从区块链获取预先存储的所述含水印多媒体的可信第二水印，若所述待验证第二水印与所述可信第二水印不一致，则确定所述待验证音频流被篡改，定位篡改类型和篡改位置。
在一个实施例中，还包括视频完整性验证模块(图中未示出)，用于：
若所述待验证第二水印与所述可信第二水印一致，则确定所述待验证音频流未被篡改；
将所述待验证音频流中的左声道数据进行非重叠分帧，得到待验证音频帧数据；
对所述待验证音频帧数据进行三层离散小波变换，得到多个第二低频系数；
对所述多个第二低频系数进行排序，按照排序将所述多个第二低频系数进行分组；
根据任一组内第二低频系数的平均值与所述任一组之前一组中排序最后的第二低频系数之间的关系，在所述任一组内提取待验证第一水印片段；
将所有待验证第一水印片段进行合并，得到待验证第一水印；
从区块链获取预先存储的所述含水印多媒体的可信第一水印，若所述待验证第一水印与所述可信第一水印不一致，则确定所述待验证视频流被篡改，定位篡改类型和篡改位置。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communication Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的计算机程序，以执行多媒体版权保护方法的步骤，例如包括：
解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
根据所述含水印音频流生成第二水印；
将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的多媒体版权保护方法的步骤，例如包括：
解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
根据所述含水印音频流生成第二水印；
将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：
解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
根据所述含水印音频流生成第二水印；
将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种多媒体版权保护方法，其特征在于，包括：
解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
根据所述含水印音频流生成第二水印；
将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
2.根据权利要求1所述的多媒体版权保护方法，其特征在于，所述根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，包括：
利用直方图场景分类算法对所述待保护视频流进行场景分类，得到直方图帧间差值和；
利用局部二进制模式场景分类算法对所述待保护视频流进行场景分类，得到纹理图谱帧间差值和；
根据所述直方图帧间差值和与所述纹理图谱帧间差值和的调和平均数，提取所述待保护视频流的场景特征。
3.根据权利要求1所述的多媒体版权保护方法，其特征在于，所述将所述第一水印嵌入所述待保护音频流，得到含水印音频流，包括：
解码所述待保护音频流，得到音频流数据；
将所述音频流数据中的左声道数据进行非重叠分帧，得到待处理音频帧数据；
对所述待处理音频帧数据进行三层离散小波变换，得到多个第一低频系数；
对所述多个第一低频系数进行排序，按照排序将所述多个第一低频系数进行分组，通过修改前一组中排序最后的第一低频系数，在每组中嵌入1比特所述第一水印的数据，得到含水印低频系数组；
合并所有含水印低频系数组，得到含水印低频系数集；
根据所述含水印低频系数集经过离散小波逆变换后的数据，得到含水印音频流。
4.根据权利要求1所述的多媒体版权保护方法，其特征在于，所述根据所述含水印音频流生成第二水印，包括：
提取所述含水印音频流的一维MFCC系数，按照特定长度对所述一维MFCC系数进行分割，得到多个MFCC系数段；
根据每个MFCC系数段的方差生成对应的数字水印，并将所有数字水印进行合并，得到所述第二水印。
5.根据权利要求1所述的多媒体版权保护方法，其特征在于，所述将所述第二水印嵌入所述待保护视频流，得到含水印视频流，包括：
根据所述场景特征对所述待保护视频流进行分割，得到L个待处理视频场景；其中，L为大于等于2的整数；
将所述第二水印分割为L个第二水印片段，并在每个第二水印片段末尾处添加结束标志位；
针对所述L个待处理视频场景中的任一视频帧，按照所述任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到所述任一视频帧的第一非显著区域；
对所述第一非显著区域的亮度分量进行8*8的离散余弦变换，得到第一直流系数，通过修改每个待处理视频场景中各视频帧的第一直流系数将所述L个第二水印片段一一对应嵌入所述L个待处理视频场景中，得到含水印视频场景集；
对所述含水印视频场景集进行离散余弦逆变换，将逆变换后的含水印视频场景集进行合并，得到含水印视频流。
6.根据权利要求5所述的多媒体版权保护方法，其特征在于，所述得到含水印多媒体之后，包括：
解码并分离所述含水印多媒体，得到待验证音频流和待验证视频流；
根据直方图-局部二进制模式场景分类算法对所述待验证视频流进行场景分割，得到L个待验证视频场景；
针对任一待验证视频场景中的前三个视频帧，按照任一视频帧各区域的显著性不同进行区域划分，排除显著性最大的三个区域，得到所述任一视频帧的第二非显著区域；
对所述第二非显著区域的亮度分量进行8*8的离散余弦变换，得到第二直流系数，通过任一待验证视频场景中前三个视频帧的第二直流系数分别提取所述前三个视频帧上的水印片段，直到遇到所述结束标志位时停止提取；
将所述L个待验证视频场景按照时间由先到后进行排序；
根据排序由先到后对相邻两个待验证视频场景的待验证第二水印片段进行取舍；
若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)不相同，则保留wl(i)和wl-1(i)；其中，l为大于等于2且小于等于L的整数，i为大于等于1的整数，wl(i)是根据第l个待验证视频场景中的前三个视频帧上的水印片段得到的；
若第l个待验证视频场景中的第i个待验证第二水印片段wl(i)与第l-1个待验证视频场景中的第i个待验证第二水印片段wl-1(i)相同，则保留wl(i)，舍弃wl-1(i)；
利用l+1替代l后，返回根据排序由先到后对相邻两个待验证视频场景的待验证第二水印片段进行取舍的步骤，直到l＝L时，完成所有相邻两个待验证视频场景的待验证第二水印片段的取舍；
将所有保留的待验证第二水印片段进行合并，得到待验证第二水印；
从区块链获取预先存储的所述含水印多媒体的可信第二水印，若所述待验证第二水印与所述可信第二水印不一致，则确定所述待验证音频流被篡改，定位篡改类型和篡改位置。
7.根据权利要求6所述的多媒体版权保护方法，其特征在于，所述从区块链获取预先存储的所述含水印多媒体的可信第二水印之后，包括：
若所述待验证第二水印与所述可信第二水印一致，则确定所述待验证音频流未被篡改；
将所述待验证音频流中的左声道数据进行非重叠分帧，得到待验证音频帧数据；
对所述待验证音频帧数据进行三层离散小波变换，得到多个第二低频系数；
对所述多个第二低频系数进行排序，按照排序将所述多个第二低频系数进行分组；
根据任一组内第二低频系数的平均值与所述任一组之前一组中排序最后的第二低频系数之间的关系，在所述任一组内提取待验证第一水印片段；
将所有待验证第一水印片段进行合并，得到待验证第一水印；
从区块链获取预先存储的所述含水印多媒体的可信第一水印，若所述待验证第一水印与所述可信第一水印不一致，则确定所述待验证视频流被篡改，定位篡改类型和篡改位置。
8.一种多媒体版权保护装置，其特征在于，包括：
解码分离模块，用于：解码并分离待保护多媒体，得到待保护音频流和待保护视频流；
第一水印生成模块，用于：根据直方图-局部二进制模式场景分类算法提取所述待保护视频流的场景特征，根据所述场景特征得到第一水印；
含水印音频流生成模块，用于：将所述第一水印嵌入所述待保护音频流，得到含水印音频流；
第二水印生成模块，用于：根据所述含水印音频流生成第二水印；
含水印视频流生成模块，用于：将所述第二水印嵌入所述待保护视频流，得到含水印视频流；
含水印多媒体生成模块，用于：根据所述含水印音频流和所述含水印视频流，得到含水印多媒体。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的多媒体版权保护方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的多媒体版权保护方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574706.XA CN116962851A (zh) | 2022-12-08 | 2022-12-08 | 多媒体版权保护方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574706.XA CN116962851A (zh) | 2022-12-08 | 2022-12-08 | 多媒体版权保护方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116962851A true CN116962851A (zh) | 2023-10-27 |
Family
ID=88441608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211574706.XA Pending CN116962851A (zh) | 2022-12-08 | 2022-12-08 | 多媒体版权保护方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116962851A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117459650A (zh) * | 2023-12-20 | 2024-01-26 | 长沙矿冶研究院有限责任公司 | 一种针对版权保护的数字视频水印方法及系统 |
-
2022
- 2022-12-08 CN CN202211574706.XA patent/CN116962851A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117459650A (zh) * | 2023-12-20 | 2024-01-26 | 长沙矿冶研究院有限责任公司 | 一种针对版权保护的数字视频水印方法及系统 |
| CN117459650B (zh) * | 2023-12-20 | 2024-03-22 | 长沙矿冶研究院有限责任公司 | 一种针对版权保护的数字视频水印方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Analysis of digital image watermark attacks | |
| US8442262B2 (en) | Method and system to process a digital image | |
| CN109948307B (zh) | 基于像素多尺度预测的可逆数据隐藏方法 | |
| US8135168B2 (en) | System for embedding data | |
| US7496197B2 (en) | Method and system for robust embedding of watermarks and steganograms in digital video content | |
| Kumar et al. | A study on robustness of block entropy based digital image watermarking techniques with respect to various attacks | |
| CN116962851A (zh) | 多媒体版权保护方法及装置 | |
| CN115482142A (zh) | 暗水印添加方法、提取方法、系统、存储介质及终端 | |
| CN111275602A (zh) | 人脸图像安全保护方法、系统及存储介质 | |
| CN111163241A (zh) | 一种可逆信息嵌入方法 | |
| Parameswaran et al. | Content-based watermarking for image authentication using independent component analysis | |
| Tran et al. | Lsb data hiding in digital media: a survey | |
| Huynh-The et al. | Robust image watermarking framework powered by convolutional encoder-decoder network | |
| CN114205644A (zh) | 基于帧内差的空域鲁棒视频水印嵌入与提取方法 | |
| CN113807996A (zh) | 一种基于块截断编码的图像自嵌入半脆弱水印方法及系统 | |
| CN109685711B (zh) | 一种在特征区域嵌入周期图的抗旋转水印方法 | |
| Chalamala et al. | Local binary patterns for digital image watermarking | |
| CN111179145B (zh) | 一种双层可逆水印方法 | |
| Hu et al. | DWT based robust image hashing algorithm | |
| Cruz et al. | Image content authentication system based on semi-fragile watermarking | |
| KR100397752B1 (ko) | 블록 기반 웨이블릿 변환을 이용한 워터마킹 방법 | |
| CN109102814B (zh) | 一种dct变换下面向相位的音频水印方法 | |
| Singhal et al. | Robust image watermarking based on local Zernike moments | |
| CN117291787B (zh) | 一种基于数据水印的追溯方法及系统 | |
| Rhayma et al. | Self-authentication scheme based on semi-fragile watermarking and perceptual hash function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |