CN115602179B - 音频水印处理方法、装置、计算机设备和存储介质 - Google Patents

音频水印处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115602179B
CN115602179B CN202211496709.6A CN202211496709A CN115602179B CN 115602179 B CN115602179 B CN 115602179B CN 202211496709 A CN202211496709 A CN 202211496709A CN 115602179 B CN115602179 B CN 115602179B
Authority
CN
China
Prior art keywords
information
audio
frequency domain
adjustment
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211496709.6A
Other languages
English (en)
Other versions
CN115602179A (zh
Inventor
黄磊超
杨天舒
刘华罗
刘绍腾
常勤伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211496709.6A priority Critical patent/CN115602179B/zh
Publication of CN115602179A publication Critical patent/CN115602179A/zh
Application granted granted Critical
Publication of CN115602179B publication Critical patent/CN115602179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal

Abstract

本申请涉及一种音频水印处理方法、装置、计算机设备和存储介质。方法包括:对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数;获取待嵌入信息,待嵌入信息包括标记信息和水印信息,标记信息用于实现对水印信息的定位;基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量;将与各音频片段对应的调整量进行逆频域变换,得到与各音频片段对应的待叠加片段;分别将各音频片段与对应的待叠加片段进行叠加,得到多个目标音频片段,基于多个目标音频片段,得到嵌入有水印信息的目标音频。采用本方法能够提高音频水印的抗攻击性。

Description

音频水印处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及音频技术领域,特别是涉及一种音频水印处理方法、装置、计算机设备和存储介质。
背景技术
近年来,随着计算机网络技术的发展,人们可以很方便地观看、下载、或者录制音频作品,大量的音频作品得以在网络上进行广泛传播。为了保护数字作品版权,音频水印技术应运而生。
以往的音频水印方法,例如时域音频水印方法,是将水印信息转换成一串二进制数据,并将音频文件的每一个采样数据也以二进制数据来表示,由此,将每一个采样数据的最低位使用水印信息的二进制数据来替换,从而达到在音频中嵌入水印的目的。
然而已有的音频水印方法,无法抵抗各种攻击,例如随机裁剪攻击、时间尺度变换攻击等。当音频作品遭受到攻击时,水印信息则难以被检测出来,存在音频水印抗攻击效果不理想的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高鲁棒性的音频水印处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一方面,本申请提供了一种音频水印处理方法。所述方法包括:
对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数;
获取待嵌入信息,所述待嵌入信息包括标记信息和水印信息,所述标记信息用于实现对所述水印信息的定位;
基于所述待嵌入信息确定各音频片段所对应的原始频域系数的调整量;
将与各所述音频片段对应的调整量进行逆频域变换,得到与各所述音频片段对应的待叠加片段;
分别将各所述音频片段与对应的待叠加片段进行叠加,得到多个目标音频片段,基于所述多个目标音频片段,得到嵌入有所述水印信息的目标音频。
另一方面,本申请还提供了一种音频水印处理装置。所述装置包括:
划分模块,用于对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数;
水印模块,用于获取待嵌入信息,所述待嵌入信息包括标记信息和水印信息,所述标记信息用于实现对所述水印信息的定位;
调整模块,用于基于所述待嵌入信息确定各音频片段所对应的原始频域系数的调整量;
所述调整模块,还用于将与各所述音频片段对应的调整量进行逆频域变换,得到与各所述音频片段对应的待叠加片段;
叠加模块,用于分别将各所述音频片段与对应的待叠加片段进行叠加,得到多个目标音频片段,基于所述多个目标音频片段,得到嵌入有所述水印信息的目标音频。
另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述音频水印处理方法的步骤。
另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述音频水印处理方法的步骤。
另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述音频水印处理方法的步骤。
上述音频水印处理方法、装置、计算机设备、存储介质和计算机程序产品,通过对待处理音频进行划分得到多个音频片段,确定与每个音频片段分别对应的原始频域系数,同时获取待嵌入信息,并基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量,基于该调整量进行逆频域变换得到待叠加片段,避免在频域上直接对原始频域系数进行修改,进而尽可能避免对音频音质的影响。由此,将基于调整量进行逆频域变换得到的待叠加片段与相应的音频片段进行叠加,得到多个目标音频片段,进而得到目标音频,实现了在频域中嵌入水印信息,由于频率系数能够很好的对应于实际音频音高,因此嵌入水印信息后的音频对于人耳而言难以察觉。同时,由于在频域中嵌入水印信息,利用频域系数能量均值的稳健性,在面临时域攻击时也具有较高的检出率,鲁棒性高。此外,由于待嵌入信息中携带有标记信息,在后续音频遭受诸如随机裁剪、时间尺度变换等攻击的情况下,根据标记信息能够准确地定位水印信息的位置,从而准确地检测出水印信息,抗攻击性强。
另一方面,本申请还提供了一种音频水印检测方法。所述方法包括:
对待检测音频进行划分得到多个待处理片段;
分别对每个待处理片段进行频域转换,得到各待处理片段所对应的目标频域系数,并确定所述目标频域系数中每一位频域系数分别对应的调整标记;
对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及所述目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息;
基于所述多个待处理片段所对应的单位嵌入信息,确定出标记信息;
根据所述标记信息的位置,从所述多个待处理片段所对应的单位嵌入信息中定位出水印信息。
另一方面,本申请还提供了一种音频水印检测装置。所述装置包括:
划分模块,用于对待检测音频进行划分得到多个待处理片段;
转换模块,用于分别对每个待处理片段进行频域转换,得到各待处理片段所对应的目标频域系数,并确定所述目标频域系数中每一位频域系数分别对应的调整标记;
确定模块,用于对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及所述目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息;
所述确定模块,还用于基于所述多个待处理片段所对应的单位嵌入信息,确定出标记信息;
定位模块,用于根据所述标记信息的位置,从所述多个待处理片段所对应的单位嵌入信息中定位出水印信息。
另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述音频水印检测方法的步骤。
另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述音频水印检测方法的步骤。
另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述音频水印检测方法的步骤。
上述音频水印检测方法、装置、计算机设备、存储介质和计算机程序产品,通过对待检测音频进行划分得到多个待处理片段,分别进行频域转换得到目标频域系数,再基于各待处理片段各自对应的目标频域系数,以及该目标频域系数中每一位频域系数对应的调整标记,逆推确定与各待处理片段分别对应的单位嵌入信息,进而能够从多个待处理片段对应的单位嵌入信息中确定出标记信息,最后根据所述标记信息的位置对水印信息进行定位,从而能够准确地检测出水印信息。由于水印信息通过频域转换的方式在频域中嵌入,因此在检测时,通过对待处理片段进行频域转换后,利用频域系数能量均值的稳健性确定标记信息,在面临时域攻击时也具有较高的检出率,鲁棒性高。
附图说明
图1为一个实施例中音频水印处理方法的应用环境图;
图2为一个实施例中音频水印处理方法的流程示意图;
图3为一个实施例中待嵌入信息的结构示意图;
图4为一个实施例中调整模板的结构示意图;
图5为另一个实施例中调整模板的结构示意图;
图6为一个实施例中音频水印检测方法的流程示意图;
图7为另一个实施例中音频水印处理方法的流程示意图;
图8为一个实施例中确定频域系数的调整方式的原理示意图;
图9为另一个实施例中音频水印检测方法的流程示意图;
图10为又一个实施例中音频水印检测方法的流程示意图;
图11为一个实施例中音频水印处理装置的结构框图;
图12为一个实施例中音频水印检测装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的音频水印处理方法,可以应用于如图1所示的应用环境中。其中,终端102与服务器104连接以进行通信。终端102和服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他服务器上。
在一些实施例中,终端102或服务器104对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数。然后,终端102或服务器104获取待嵌入信息,并基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量,再将与各音频片段对应的调整量进行逆频域变换,得到与各音频片段对应的待叠加片段。最后,终端102或服务器104分别将各音频片段与相应的待叠加片段进行叠加,得到多个目标音频片段,基于多个目标音频片段,得到嵌入有水印信息的目标音频。
其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备、或者便携式可穿戴设备等中的一种或多种,物联网设备可为智能音箱、智能电视、智能空调、或者智能车载设备等中的一种或多种。便携式可穿戴设备可为智能手表、智能手环、或者头戴设备等中的一种或多种。
其中,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中,终端上可装载有APP(Application)应用程序,包括传统需要单独安装的应用程序、以及不需要下载安装即可使用的小程序应用,例如浏览器客户端、网页客户端、音频/视频客户端等中的一种或多种。终端可以通过应用程序获取服务器传输的音频,相应地,服务器也可以获取终端通过应用程序上传的音频等。终端或服务器可以对音频进行检测来确定是否携带有水印信息。
其中,水印信息指的是需嵌入到音频载体中的信息,根据应用目的不同,可以是版权标识符、作品序列号、文字、图像、或者音频等中的一种或多种。
在一些实施例中,如图2所示,提供了一种音频水印处理方法,该方法可以应用于终端或服务器,也可以由终端和服务器协同执行。下面以该方法应用于计算机设备为例进行说明,该计算机设备可以是终端或服务器。该方法包括以下步骤:
步骤S202,对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数。
具体地,计算机设备获取待处理音频,并将该待处理音频分成多个音频片段。例如,将第1秒至第10秒划分成第一个音频片段,将第11秒至第20秒划分成第二个音频片段……等等。
对于每一个音频片段,计算机设备对音频片段进行频域转换,将音频片段从时域转换到频域,从而得到每个音频片段各自对应的原始频域系数。在一些实施例中,原始频域系数为对音频片段进行频域转换后得到的多位频域系数,其中,每一位频域系数表征音频片段映射在频域中的各个音频分量的权重。
其中,频域转换包括但不限于离散傅里叶变换((Discrete Fourier Transform,DFT)、离散余弦变换(Discrete Cosine Transform,DCT)、离散小波变换(DiscreteWavelet Transformation,DWT)、或者离散时间傅里叶变换(Discrete-time FourierTransform,DTFT)等中的一种或多种。示例性地,频域转换指的是对音频片段进行快速傅立叶变换(Fast Fourier Transform,FFT),频域系数则为进行快速傅里叶变换后得到的FFT系数。
步骤S204,获取待嵌入信息,待嵌入信息包括标记信息和水印信息,标记信息用于实现对水印信息的定位。
具体地,计算机设备获取待嵌入信息,该待嵌入信息中包括了标记信息和水印信息。其中,水印信息用于对音频进行溯源。标记信息用于实现对水印信息的定位,通过标记信息的位置可以准确地定位到嵌入水印信息的位置。待嵌入信息为二值化数值构成的序列,例如由0和1构成的二进制比特序列;相应地,水印信息和标记信息均可以是随机生成的二进制比特序列。构成待嵌入信息的每一个二值化数值,称之为单位嵌入信息。
为了后续水印检测时难以分辨水印信息和标记信息,在一些实施例中,待嵌入信息中的标记信息至少包括第一标记信息和第二标记信息,且第一标记信息与第二标记信息之间满足预设的相似度条件。预设的相似度条件可以是二者相等、或者二者的差异小于预设阈值等。当然,标记信息还可以包括第三标记信息、第四标记信息……等,以标记信息包括第一标记信息、第二标记信息、以及第三标记信息为例,则第一标记信息与第二标记信息之间、第一标记信息与第三标记信息之间、第二标记信息与第三标记信息之间均满足预设的相似度条件。
其中,预设相似度条件指的是二值化序列之间的差异小于阈值。例如,第一标记信息与第二标记信息相同;示例性地,第一标记信息与第二标记信息均为011010101。又如,多个标记信息呈规律性变化,比如若干个标记信息构成等差数列、相反数列、或者具有递增进位等;示例性地,第一标记信息为00010001,第二标记信息为00010011等。
由此,通过设置至少两段标记信息,在后续检测时首先检测标记信息,再根据标记信息的位置检测水印信息,能够准确地对水印信息的位置进行定位,同时能够更好地抵抗诸如裁剪、插入其他音频等攻击。
在一些实施例中,待嵌入信息中标记信息可以位于水印信息之前,例如待嵌入信息按顺序依次为第一标记信息、第二标记信息……水印信息。
示例性地,如图3所示,待嵌入信息为N位的二进制比特序列W
Figure 620548DEST_PATH_IMAGE002
其中,第1位至第
Figure 443010DEST_PATH_IMAGE004
位的二进制比特为第一标记信息SYNC1,第/>
Figure 710043DEST_PATH_IMAGE004
+1位至第2N位的二进制比特为第二标记信息SYNC2,从第2/>
Figure 987572DEST_PATH_IMAGE004
+1位至第N位的二进制比特则为水印信息WM。即,对于第i位的二进制比特,其满足如下公式:
Figure 656451DEST_PATH_IMAGE006
Figure 446552DEST_PATH_IMAGE008
Figure 200882DEST_PATH_IMAGE010
;/>
在另一些实施例中,待嵌入信息中标记信息也可以位于水印信息之后,例如待嵌入信息按顺序依次为水印信息、第一标记信息、第二标记信息……等。
在又一些实施例中,待嵌入信息中标记信息可以与水印信息穿插设置,例如待嵌入信息按顺序依次为第一标记信息、水印信息、第二标记信息,或者第一标记信息、第二标记信息、水印信息、第三标记信息……等。
需要说明的是,上述术语第一和第二等在本申请中用来描述待嵌入信息中的标记信息,但是这些标记信息不应当被这些术语限制。这些术语仅用来将一个标记信息与另一个标记信息进行区分。例如,第一标记信息可以被称作第二标记信息,并且类似地,第二标记信息可以被称作第一标记信息,而不脱离各种所描述的实施例的范围,但是除非上下文以其他方式明确指出,否则它们不是同一个标记信息。相似的情况还包括第一嵌入类型和第二嵌入类型等。
步骤S206,基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量。
具体地,对于每一个音频片段,计算机设备从待嵌入信息中确定一个单位嵌入信息,并分配给相应的音频片段。在一些实施例中,计算机设备按照音频片段的顺序,并按照待嵌入信息中各个单位嵌入信息的顺序,依次为各个音频片段分配相应的单位嵌入信息。例如,假设待嵌入信息为二进制比特序列:{0,1,1,0,1,1,1,1,1,0,1,1},计算机设备为第一个音频片段分配0,为第二个音频片段分配1,为第三个音频片段分配1……依此类推。当然也可以按照待嵌入信息的倒序进行分配,例如,计算机设备为第一个音频片段分配1,为第二个音频片段分配1,为第三个音频片段分配0……依此类推。
通常而言,一段音频长度是大于待嵌入信息的长度的,因此待嵌入信息可以在一段音频中循环重复嵌入,这样后续即便音频被裁剪、或者插入新的音频,只要音频中至少能检测出一段待嵌入信息,即可检测出水印信息。
在一些实施例中,不同的单位嵌入信息即表征了不同的原始频域系数的调整方式。对于原始频域系数的调整,可以是对原始频域系数的全部位的频域系数统一进行调整,也可以是对原始频域系数中的每一位频域系数分别进行调整。其中,调整方式包括但不限于增加处理、降低处理、取反处理、或归零处理等中的一种或多种。例如,单位嵌入信息1表示对原始频域系数进行增加处理,单位嵌入信息0表示对原始频域系数进行降低处理。
在另一些实施例中,计算机设备确定每个音频片段的原始频域系数各自对应的初始调整方式,并通过为各音频片段分别分配的单位嵌入信息所表征的调整方向,对各初始调整方式进行调整,并将调整后的调整方式作为各个音频片段各自对应的目标调整方式。换言之,对于每一个音频片段,其对应的原始频域系数中每位频域系数的调整量,是基于与相应频域系数匹配的目标调整方式、以及预先设置的调整幅度来确定的。其中,每种调整方式可以预先设置调整幅度,例如增加20%、降低20%、维持不变(即调整幅度为0)等。
例如,计算机设备随机确定每个音频片段的原始频域系数中每一位频域系数的初始调整方式,该初始调整方式可以是对频域系数进行增加处理或降低处理等。然后计算机设备再根据为每个音频片段所分配的单位嵌入信息,对该初始调整方式进行更新,从而得到最终的目标调整方式。例如,单位嵌入信息1表示对初始调整方式不作处理,单位嵌入信息0表示对初始调整方式进行取反处理等。又如,单位嵌入信息1表示对增加处理的初始调整方式,进一步提高增加的幅度;单位嵌入信息0表示对降低处理的初始调整方式,进一步提高降低的幅度,等等。
由此,基于为每个音频片段各自分配的单位嵌入信息,计算机设备即可确定每个音频片段各自对应的原始频域系数的目标调整方式,并基于该目标调整方式和预先设置的调整幅度,可进一步确定原始频域系数的调整量。
在一些实施例中,对于每一个音频片段,其对应的原始频域系数中每位频域系数均对应有一个调整标记,每个调整标记预设有相应的初始调整方式,计算机设备通过为各音频片段分别分配的单位嵌入信息所表征的调整方向,对各初始调整方式进行调整,得到每位频域系数各自对应的目标调整方式。换言之,原始频域系数中每位频域系数的调整量,基于与相应频域系数匹配的调整标记所指示的目标调整方式、以及各调整标记所对应的调整幅度确定;其中,调整标记所指示的目标调整方式根据待嵌入信息确定。
步骤S208,将与各音频片段对应的调整量进行逆频域变换,得到与各音频片段对应的待叠加片段。
具体地,在确定了各个音频片段对应的原始频域系数的调整量以后,计算机设备对该调整量进行逆频域变换,将原始频域系数的调整量从频域转换到时域,得到一段音频波形,该音频波形即为与音频片段对应的待叠加片段。
其中,逆频域变换为频域变换的逆运算过程,例如为逆离散傅里叶变换、逆离散余弦变换、逆离散小波变换、或者逆快速傅里叶变换等。
由此,对音频片段对应的调整量进行逆频域变换,转换到时域之后再与原音频片段进行叠加,而非对频域系数直接进行调整,能够极大地避免对音频音质的影响。
步骤S210,分别将各音频片段与对应的待叠加片段进行叠加,得到多个目标音频片段,基于多个目标音频片段,得到嵌入有水印信息的目标音频。
具体地,对于每个音频片段,计算机设备在得到该音频片段各自对应的待叠加片段之后,在时域上将待叠加片段与相应的音频片段进行叠加,叠加后的各个音频片段称为目标音频片段。计算机设备将待叠加片段与相应的音频片段进行叠加,例如可以是将待叠加片段的声波波形与音频片段的声波波形进行叠加。
由于各个音频片段是离散的,而音频信号是连续的,因此在一些实施例中,计算机设备在得到待叠加片段后,加窗后再与相应的音频片段进行叠加,从而得到嵌入有水印信息的目标音频。其中,加窗指的是对待叠加片段使用窗函数进行加权处理,从而使得频域能量更加接近真实频谱。窗函数包括但不限于矩形窗函数、汉明窗函数、或者汉宁窗等中的一种或多种。
由此,计算机设备基于各个目标音频片段,即可得到嵌入有水印信息的目标音频。例如,计算机设备可以将全部目标音频片段按顺序进行拼接,从而得到完整的目标音频。又如,在音频传输的场景中,为了便于传输与存储,计算机设备可以将各个目标音频片段分开传输,分开传输的每个目标音频片段构成了目标音频。
在一些实施例中,基于多个目标音频片段,得到嵌入有水印信息的目标音频,包括:确定多个目标音频片段中,每个目标音频片段对应的时间顺序;按照各目标音频片段各自对应的时间顺序,将多个目标音频片段进行拼接,得到目标音频,目标音频嵌入有水印信息。
具体地,计算机设备在对待处理音频进行划分时,记录每个音频片段对应的时间信息,例如时间戳。在得到目标音频片段之后,计算机设备确定每个目标音频片段的时间信息,目标音频片段的时间信息与叠加前相应的音频片段的时间信息相同。
计算机设备则按照各目标音频片段各自对应的时间信息,确定每个目标音频片段各自对应的时间顺序,由此,按照时间顺序将多个目标音频片段进行拼接,从而得到目标音频。由此,按照时间顺序将各个目标音频片段进行拼接,得到完整的目标音频,目标音频的水印信息则通过单位嵌入信息的方式,在频域中嵌入到音频中,无需在时域中对于音频进行修改,保护了音频音质。
上述音频水印处理方法中,通过对待处理音频进行划分得到多个音频片段,确定与每个音频片段分别对应的原始频域系数,同时获取待嵌入信息,并基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量,基于该调整量进行逆频域变换得到待叠加片段,避免在频域上直接对原始频域系数进行修改,进而尽可能避免对音频音质的影响。由此,将基于调整量进行逆频域变换得到的待叠加片段与相应的音频片段进行叠加,得到多个目标音频片段,进而得到目标音频,实现了在频域中嵌入水印信息,由于频率系数能够很好的对应于实际音频音高,因此嵌入水印信息后的音频对于人耳而言难以察觉,透明性良好。同时,由于在频域中嵌入水印信息,利用频域系数能量均值的稳健性,在面临时域攻击时也具有较高的检出率,鲁棒性高。此外,由于待嵌入信息中携带有标记信息,在后续音频遭受诸如随机裁剪、时间尺度变换等攻击的情况下,根据标记信息能够准确地定位水印信息的位置,从而准确地检测出水印信息,抗攻击性强。
其中,鲁棒性指的是音频水印抵抗各种攻击的能力程度。在嵌入有水印信息的音频在遭受各种攻击后,水印信息依然能被较好的保留并能从音频载体中被准确提取,说明鲁棒性高。透明性指的是音频在嵌入水印信息后的变化程度。透明性良好的水印嵌入方式能够使得音频在嵌入水印前后从听觉感知上无差别。检出率指的是成功提取水印信息的音频数量占总音频数量的比例。
在一些实施例中,基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量,包括:从待嵌入信息中,为每个音频片段分配相应的单位嵌入信息;确定每个音频片段所对应的原始频域系数中,每一位频域系数所匹配的调整标记;对于各音频片段中的当前音频片段,基于当前音频片段对应的单位嵌入信息,确定与当前音频片段匹配的各调整标记分别对应的目标调整方式;根据与当前音频片段所匹配的各调整标记分别对应的目标调整方式,以及各调整标记所对应的调整幅度,确定当前音频片段所对应的原始频域系数的调整量。
具体地,计算机设备从待嵌入信息中,为每个音频片段分配相应的单位嵌入信息。比如,计算机设备按照音频片段的顺序,并按照待嵌入信息中各个单位嵌入信息的顺序,依次为各个音频片段分配相应的单位嵌入信息。
例如,计算机设备按照各个音频片段的顺序,并从待嵌入信息中依次为各音频片段分配相应的单位嵌入信息,比如待嵌入信息10010011010,音频片段A分配有单位嵌入信息1,音频片段B分配有单位嵌入信息0,音频片段C分配有单位嵌入信息0……。由此,标记信息和水印信息均能够自然地嵌入到音频中。
对于每一个音频片段,计算机设备确定与每个音频片段所对应的原始频域系数中,每一位频域系数所匹配的调整标记。调整标记表征了每一位频域系数各自对应的初始调整方式。其中,初始调整方式可以是预先设置的多种调整方式中的任一种。
其中,调整标记的类型包括但不限于增加(up)、减少(down)、或者保持不变(keep)等中的一种或多种。调整标记可以由字符来表示,例如各个调整标记构成的序列可以是{up,down,down,keep,…}、或者{1,2,0,1,0,2,…}(其中,调整标记1表示增加,调整标记2表示减少,调整标记0表示保持不变)等。
为了便于描述,各个音频片段中其中一个音频片段进行说明,将其称为当前音频片段。计算机设备确定该当前音频片段对应的单位嵌入信息之后,根据单位嵌入信息所表征的调整方向,对与当前音频片段匹配的各调整标记分别对应的初始调整方式进行调整,得到目标调整方式。
由此,计算机设备即可根据与当前音频片段所匹配的各调整标记分别对应的目标调整方式,结合预先设置的各调整标记所对应的调整幅度,最终确定当前音频片段所对应的原始频域系数的调整量。
上述实施例中,通过确定每个音频片段各自对应的调整标记,并在所分配的单位嵌入信息的影响下对调整标记所指示的初始调整方式进行调整,最终得到目标调整方式,能够在待嵌入信息为二值化信息的情况下,利用调整标记和单位嵌入信息相结合的方式,尽可能丰富频域系数的调整方式,并能够对每一位频域系数精准地确定调整量。
在一些实施例中,从待嵌入信息中,为每个音频片段分配相应的单位嵌入信息,包括:在待嵌入信息中的首位单位嵌入信息开始,确定当前单位嵌入信息;将当前单位嵌入信息分配至各个音频片段中的当前音频片段;将下一顺序的单位嵌入信息作为下次分配时的当前单位嵌入信息,并将当前音频片段的后一个音频片段作为下次分配时的当前音频片段;返回至将当前单位嵌入信息分配至各个音频片段中的当前音频片段的步骤继续执行,直至待嵌入信息中的末位单位嵌入信息完成分配;重新将首位单位嵌入信息作为下一循环的当前单位嵌入信息,并进行多次循环分配,直至全部音频片段均分配有相应的单位嵌入信息。
具体地,计算机设备在为各音频片段分配单位嵌入信息时,按照待嵌入信息中各个单位嵌入信息的顺序,依次为各个音频片段进行分配。其中,计算机设备在待嵌入信息中的首位单位嵌入信息开始,为各个音频片段进行分配。
具体而言,计算机设备从该首位单位嵌入信息开始,确定当前待分配的当前单位嵌入信息。计算机设备将该当前单位嵌入信息,分配至各个音频片段中的当前音频片段,然后将下一顺序的单位嵌入信息作为下次分配时的当前单位嵌入信息,并将当前音频片段的后一个音频片段作为下次分配时的当前音频片段。其中,当前音频片段的后一个音频片段,可以是时间顺序在当前音频片段之后且与该当前音频片段相邻的音频片段。
在完成这一次分配之后,计算机设备返回至将当前单位嵌入信息分配至各个音频片段中的当前音频片段的步骤继续执行,直至待嵌入信息中的末位单位嵌入信息完成分配。如果音频长度刚好与待嵌入信息的长度相匹配,则每个音频片段均分配有相应的单位嵌入信息,则计算机设备完成分配流程。
在音频长度大于待嵌入信息的长度的情况下,计算机设备在完成一次分配后,重新将首位单位嵌入信息作为下一循环的当前单位嵌入信息,并在尚未进行分配的音频片段中,选择首个音频片段作为当前音频片段,重新进行分配……由此,计算机设备进行多次循环分配,直至全部音频片段均分配有相应的单位嵌入信息。
上述实施例中,通过将待嵌入信息的各个单位嵌入信息循环分配给各个音频片段,实现了将待嵌入信息循环嵌入至待处理音频中,这样后续即便音频被裁剪、或者插入新的音频,只要音频中至少能检测出一段待嵌入信息,即可检测出水印信息,具有较强的抗攻击性和较高的鲁棒性。
在一些实施例中,确定每个音频片段所对应的原始频域系数中,每一位频域系数所匹配的调整标记,包括:获取与每个音频片段对应的调整模板,调整模板包括与各音频片段对应的原始频域系数的位数相同的多位调整标记;对于原始频域系数中的当前频域系数,根据当前频域系数在原始频域系数中所处的位置,在多位调整标记中确定相应位置的目标调整标记;将目标调整标记作为当前频域系数所匹配的调整标记。
其中,每一个音频片段各自对应有一个调整模板,调整模板用于指示对原始频域系数中的各位频域系数如何进行调整。调整模板中包括有多个调整标记,调整标记的位数与原始频域系数的位数相同。各音频片段各自对应的调整模板可以是随机生成的。
示例性地,对于音频片段A,其FFT系数例如有a位,则与该音频片段A对应的调整模板mask也具有a位。调整模板中可以每一位均设置有调整标记,例如图4所示,不同的调整标记在图中以不同的填充方式表示。该调整模板中第一位调整标记表示系数保持不变,则对应于FFT系数的第一位,计算机设备不对该位系数进行增加或减少处理。该调整模板中第二位调整标记表示系数增加,则计算机设备对FFT系数的第二位系数进行增加处理。该调整模板中第三位调整标记表示系数减少,则计算机设备对FFT系数的第三位系数进行降低处理。依此类推。计算机设备对FFT系数增加或降低的幅度可以是预设幅度大小,例如增加或降低10%等。
又如,调整模板中可以仅在需要增加或降低处理的位置设置调整标记,其余位置则不设置调整标记,表示对系数不做处理,例如图5所示,对于需要增加的一或多位系数,该调整模板中相应位置设置有表示系数增加的调整标记。
具体地,计算机设备获取与每个音频片段对应的调整模板,进而获取了多位调整标记。其中,调整模板的位数与原始频域系数的位数相同,调整标记在调整模板中的位置与频域系数在原始频域系数中的位置具有对应关系。
对于任一音频片段,计算机设备确定其对应的原始频域系数,对于原始频域系数中的当前频域系数,计算机设备根据该当前频域系数在原始频域系数中所处的位置,从而在多位调整标记中确定相应位置的目标调整标记,并将该目标调整标记作为当前频域系数所匹配的调整标记。例如,第一个调整标记对应于第一位频域系数,第二个调整标记对应于第二位频域系数……等。对于每一位频域系数,计算机设备均做上述处理,由此即可确定每个频域系数对应的调整标记。
进而,基于各音频片段各自对应的调整模板,计算机设备可以确定各音频片段对应的多位原始频域系数中每一位频域系数的初始调整方式,再结合为每个音频片段分配的单位嵌入信息,对该初始调整方式进行更新,得到最终的目标调整方式,进而确定对各音频片段对应的多位原始频域系数中每一位频域系数具体进行增加处理还是降低处理。基于预先设置的增加幅度和降低幅度,计算机设备即可确定原始频域系数的调整量,该原始频域系数的调整量包括原始频域系数中每一位频域系数的调整量,例如增加20%、降低20%等。
示例性地,假设待嵌入信息为0和1构成的二进制比特序列,其中,当为音频片段分配的单位嵌入信息为比特1时,表示调整模板中调整标记(例如以up、down、keep表示)的调整方式不变,即,调整标记up表示频域系数增加,调整标记down则表示频域系数降低,调整标记keep表示频域系数不变。而当为音频片段分配的单位嵌入信息为比特0时,表示调整模板中调整标记(例如以up、down、keep表示)的调整方式相反,即,调整标记up表示频域系数降低,调整标记down则表示频域系数增加,调整标记keep表示频域系数不变。则每一位频域系数的调整量delta可以由如下公式表示:
Figure 265790DEST_PATH_IMAGE012
Figure 789175DEST_PATH_IMAGE014
其中,w表示单位嵌入信息,
Figure 530604DEST_PATH_IMAGE016
表示频域系数,其中/>
Figure 772229DEST_PATH_IMAGE018
表示标记为up的系数,/>
Figure 312932DEST_PATH_IMAGE020
表示标记为down的系数。α为水印强度,用于平衡音频音质和水印鲁棒性;水印强度的值越大,水印鲁棒性越强,音质越差。一般α可以取值0.02~0.05。
上述实施例中,通过获取与每个音频片段对应的调整模板,调整模板包括与各音频片段对应的原始频域系数的位数相同的多位调整标记;对于原始频域系数中的当前频域系数,根据当前频域系数在原始频域系数中所处的位置,在多位调整标记中确定相应位置的目标调整标记;将目标调整标记作为当前频域系数所匹配的调整标记。
由于待嵌入信息为二值化数值,故而,在一些实施例中,单位嵌入信息的数值类型包括第一嵌入类型和第二嵌入类型,基于第一嵌入类型的单位嵌入信息所确定的各调整标记分别对应的目标调整方式的调整方向,与基于第二嵌入类型的单位嵌入信息所确定的各调整标记分别对应的目标调整方式的调整方向相反。
具体地,每个调整标记表征了对频域系数按照何种调整方向(增加或降低)进行处理,而单位嵌入信息则是对调整标记所确定的调整方向进行处理。不同数值类型的单位嵌入信息表征的调整方向相反。
例如,对于音频片段A,该音频片段A的原始频域系数对应的调整标记分别为{up,down,down,keep,…},当为音频片段A分配的单位嵌入信息为第一嵌入类型(例如为1)时,则该音频片段A对应的各调整标记所表征的调整方式不变,仍然为{up,down,down,keep,…},即各调整标记分别对应的目标调整方式的调整方向不变。而当为音频片段A分配的单位嵌入信息为第二嵌入类型(例如为0)时,则计算机设备对该音频片段A对应的各调整标记所表征的调整方式进行取反处理,即{down,up,up,keep,…},即,各调整标记分别对应的目标调整方式与原本的调整方式相反,也与第一潜入类型所指示的调整方向相反。需要说明的是,对于保持不变的调整标记,计算机设备对其进行取反处理得到的调整标记,仍然为其本身。
由此,通过单位嵌入信息来确定各调整标记的调整方向,进而得到目标调整方式,并根据不同数值类型的单位嵌入信息所确定的目标调整方式的调整方向不同,仅凭单位嵌入信息或者调整模板仍无法获取水印信息,对音频嵌入水印的方式更加安全稳定。
在一些实施例中,对于各音频片段中的当前音频片段,基于当前音频片段对应的单位嵌入信息,确定与当前音频片段匹配的各调整标记分别对应的目标调整方式,包括:对于每个音频片段中的当前音频片段,确定与当前音频片段对应的单位嵌入信息的数值类型;在单位嵌入信息的数值类型为第一嵌入类型的情况下,将与当前音频片段所匹配的各调整标记分别对应的初始调整方式,作为与当前音频片段所匹配的各调整标记分别对应的目标调整方式;在单位嵌入信息的数值类型为第二嵌入类型的情况下,对与当前音频片段所匹配的各调整标记分别对应的初始调整方式,进行反向处理,得到与当前音频片段所匹配的各调整标记分别对应的目标调整方式。
具体地,对于每个音频片段中的当前音频片段,计算机设备确定与当前音频片段对应的单位嵌入信息的数值类型。
在单位嵌入信息的数值类型为第一嵌入类型的情况下,计算机设备将与当前音频片段所匹配的各调整标记分别对应的初始调整方式,作为与当前音频片段所匹配的各调整标记分别对应的目标调整方式。换言之,计算机设备维持各调整标记表征的调整方式不变。
例如,调整标记up指示对频域系数进行增加处理,则在单位嵌入信息的数值类型为1(第一嵌入类型)的情况下,计算机设备确定相应的频域系数最终的目标调整方式为增加处理。
在单位嵌入信息的数值类型为第二嵌入类型的情况下,对与当前音频片段所匹配的各调整标记分别对应的初始调整方式,进行反向处理,得到与当前音频片段所匹配的各调整标记分别对应的目标调整方式。换言之,计算机设备对各调整标记表征的调整方式进行取反。
例如,调整标记up指示对频域系数进行增加处理,则在单位嵌入信息的数值类型为0(第二嵌入类型)的情况下,计算机设备确定相应的频域系数最终的目标调整方式为降低处理。
上述实施例中,通过确定每个音频片段各自对应的调整标记,并在所分配的单位嵌入信息的影响下对调整标记所指示的初始调整方式进行调整,最终得到目标调整方式,能够在待嵌入信息为二值化信息的情况下,利用调整标记和单位嵌入信息相结合的方式,尽可能丰富频域系数的调整方式,并能够对每一位频域系数精准地确定调整量。
本申请还提供一种应用场景,该应用场景应用上述的音频水印处理方法。具体地,该音频水印处理方法在该应用场景的应用例如如下:终端上传待处理音频至服务器,服务器获取待处理音频后,对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数;同时,服务器获取待嵌入信息,基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量,并将与各音频片段对应的调整量进行逆频域变换,得到与各音频片段对应的待叠加片段,最后将各音频片段与相应的待叠加片段进行叠加,得到多个目标音频片段,基于多个目标音频片段,得到嵌入有水印信息的目标音频。服务器再将目标音频返回至终端。或者,服务器也可以基于嵌入有水印信息的目标音频,通过内容分发网络分发至各个终端,以实现音频的分享与传播。当然并不局限于此,本申请提供的音频水印处理方法还可以应用在其他应用场景中,例如在线直播、流媒体分享、在线课堂等。
基于同样的发明构思,本申请实施例还提供一种音频水印检测方法,该方法可以应用于终端或服务器,也可以由终端和服务器协同执行。如图6所示,下面以该方法应用于计算机设备为例进行说明,该计算机设备可以是终端或服务器。该方法包括以下步骤:
步骤S602,对待检测音频进行划分得到多个待处理片段。
具体地,计算机设备获取待处理音频,并将该待处理音频分成预设长度的多个音频片段。其中,预设长度大于或等于待嵌入信息的长度。
在一些实施例中,计算机设备按照待嵌入信息的长度,以相同长度的滑动窗口、按照预设步长对待检测音频进行遍历处理。其中,预设步长的长度可以按照实际需求设置,不同的步长可用于协调检出准确率和检出效率。
步骤S604,分别对每个待处理片段进行频域转换,得到各待处理片段所对应的目标频域系数,并确定目标频域系数中每一位频域系数分别对应的调整标记。
具体地,对于每个待处理片段,计算机设备分别对待处理片段进行频域转换,计算得到每个待处理片段各自对应的目标频域系数。该目标频域系数可能是嵌入了水印(即叠加了频域系数的调整量对应的音频)后的频域系数,也可能是未经改变的频域系数(例如待检测音频中并未嵌入有水印信息)。
对于每个待处理片段,计算机设备在确定相应的目标频域系数之后,基于在水印嵌入过程中标记的调整标记,确定每一位频域系数分别对应的调整标记。其中,每一个调整标记预设有相应的初始调整方式,各调整标记对应的初始调整方式例如为增加处理、降低处理、或者维持不变等中的一种。
步骤S606,对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息。
具体地,对于每个待处理片段,计算机设备基于相应待处理片段所对应的目标频域系数、以及目标频域系数中每一位频域系数所对应的调整标记,结合调整标记所对应的初始调整方式,根据不同类型的调整标记下一或多个频域系数对应的频域能量值所确定的目标调整方式,进而确定与各待处理片段分别对应的单位嵌入信息。
例如,在水印嵌入时调整标记预设有增加处理和降低处理,则在水印检测时,计算机设备在目标频域系数中选取标记为增加处理的一或多个频域系数,计算频域能量均值,并在目标频域系数中选取标记为降低处理的一或多个频域系数,计算频域能量均值,再比较两个频域能量均值之间的差异,来确定目标调整方式,进而确定与各待处理片段分别对应的单位嵌入信息。
需要说明的是,此处逆推确定单位嵌入信息的数值类型时,与水印嵌入过程中单位嵌入信息的数值类型的设置相对应。例如,在水印嵌入过程中单位嵌入信息的数值类型设置为第一嵌入类型时,保持调整标记为增加处理的仍然进行增加处理、调整标记为降低处理的仍然进行降低处理,而设置为第二嵌入类型时,调整标记为增加处理的则进行降低处理、调整标记为降低处理的则进行增加处理,则在水印检测的过程中,根据第一能量均值与第二能量均值的大小,若dbA>dbB则确定该待处理片段嵌入的单位嵌入信息为1,若dbA≤dbB则确定该待处理片段嵌入的单位嵌入信息为0。
步骤S608,基于多个待处理片段所对应的单位嵌入信息,确定出标记信息。
具体地,计算机设备遍历得到多个待处理片段,并且多个待处理片段所对应的单位嵌入信息的长度与待嵌入信息的长度相等时,计算机设备即可检测是否存在标记信息或标记信息是否正确。
需要说明的是,计算机设备检测标记信息的方式与水印嵌入时标记信息的设置方式相对应。例如,若在水印嵌入时,按照如图3所示的方式构建待嵌入信息,即待嵌入信息依次包括第一标记信息SYNC1、第二标记信息SYNC2、以及水印信息WM,且第一标记信息SYNC1与第二标记信息SYNC2相等。则在水印检测时,计算机设备检测前两段预设长度(与标记信息的长度对应)的单位嵌入信息是否相等,由此检测是否存在标记信息。
在另一些实施例中,在水印嵌入时设置第一标记信息SYNC1与第二标记信息SYNC2的差异小于预设阈值,则在水印检测时,计算机设备检测前两段预设长度的单位嵌入信息之间的相似度是否满足相似度条件(例如差异小于预设阈值),由此检测是否存在标记信息。
在另一些实施例中,在水印嵌入时设置待嵌入信息依次包括第一标记信息SYNC1、水印信息WM、以及第二标记信息SYNC2,则在水印检测时,计算机设备检测第一段预设长度(与标记信息的长度对应)的单位嵌入信息,与第三段预设长度的单位嵌入信息之间的相似度是否满足相似度条件,由此检测是否存在标记信息。
步骤S610,根据标记信息的位置,从多个待处理片段所对应的单位嵌入信息中定位出水印信息。
具体地,计算机设备在检测得到标记信息之后,根据预先构建的待嵌入信息中标记信息与水印信息的相对位置,即可根据标记信息的位置确定水印信息的位置,进而在多个待处理片段所对应的单位嵌入信息中定位出水印信息。
例如,计算机设备比较前N1个单位嵌入信息(对应于SYNC1部分)与紧接着的后N1个单位嵌入信息(对应于SYNC2部分)是否相等,若相等则确定检测出标记信息,则计算机设备即可将最后N2个单位嵌入信息确定为水印信息。又如,计算机设备比较前N1个单位嵌入信息(对应于SYNC1部分)与最后N1个单位嵌入信息(对应于SYNC2部分)是否相等,若相等则确定检测出标记信息,则计算机设备即可将两部分标记信息之间的N2个单位嵌入信息确定为水印信息。
上述音频水印检测方法中,通过对待检测音频进行划分得到多个待处理片段,分别进行频域转换得到目标频域系数,再基于各待处理片段各自对应的目标频域系数,逆推来确定与各待处理片段分别对应的单位嵌入信息,并从中确定出标记信息,最后根据标记信息的位置对水印信息进行定位,从而能够准确地检测出水印信息。由于水印信息通过频域转换的方式在频域中嵌入,因此在检测时,通过对待处理片段进行频域转换后,利用频域系数能量均值的稳健性确定标记信息,在面临时域攻击时也具有较高的检出率,鲁棒性高。
在一些实施例中,对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息,包括:基于各待处理片段所对应的目标频域系数、以及各待处理片段所对应的目标频域系数中每一位频域系数所对应的调整标记,确定每个待处理片段中对应于不同调整标记的频域能量值;基于每个待处理片段中对应于不同调整标记的频域能量值,确定与各待处理片段分别对应的单位嵌入信息。
具体地,对于每一个待处理片段,计算机设备基于各待处理片段各自对应的目标频域系数,以及各待处理片段所对应的目标频域系数中每一位频域系数所对应的调整标记,计算不同类型的调整标记下,一或多个目标频域系数的频域能量值。其中,计算机设备计算一或多个目标频域系数的频域能量值,可以是计算目标频域系数中每一位频域系数的绝对值,并将各个绝对值之和作为频域能量值。当然并不局限于此,例如还可以是平方差、平方和、加权和、或者标准差等。
由此,计算机设备基于不同类型的调整标记的频域能量值,逆推确定与不同类型的调整标记对应的目标调整方式,进而确定与各待处理片段分别对应的单位嵌入信息。
上述实施例中,通过频域系数的频域能量均值来还原单位嵌入信息,充分利用了频域能量的稳定性,在遭受时域攻击之后仍能够准确地检测水印信息,鲁棒性强。
在一些实施例中,调整标记包括第一调整标记和第二调整标记。例如,第一调整标记对应于增加处理,第二调整标记对应于降低处理。则相应地,基于每个待处理片段中对应于不同调整标记的频域能量值,确定与各待处理片段分别对应的单位嵌入信息,包括:对于多个待处理片段中的当前待处理片段,确定当前待处理片段中对应于不同调整标记的频域能量均值;基于第一调整标记对应的频域能量均值与第二调整标记对应的频域能量均值间的差异,确定与各调整标记分别对应的目标调整方式;基于与各调整标记分别对应的目标调整方式,确定与各待处理片段分别对应的单位嵌入信息。
具体地,对于多个待处理片段中的当前待处理片段,计算机设备确定该当前待处理片段中对应于不同类型的调整标记的频域能量均值。例如,计算机设备对于当前待处理片段对应的目标频域系数,从该目标频域系数中选择标记为第一调整标记的一或多个频域系数,计算该一或多个频域系数的频域能量均值;并从该目标频域系数中选择标记为第二调整标记的一或多个频域系数,计算该一或多个频域系数的频域能量均值。
计算机设备将第一调整标记对应的频域能量均值与第二调整标记对应的频域能量均值进行比较,基于二者之间的差异,来确定与各调整标记分别对应的目标调整方式。
例如,计算机设备对于目标频域系数中的每一位频域系数,选择调整标记为增加处理(up)的频域系数计算第一能量均值dbA,并选择调整标记为降低处理(down)的频域系数计算第二能量均值dbB,比较该第一能量均值dbA和第二能量均值dbB,并基于第一能量均值dbA与第二能量均值dbB的大小,来确定与各调整标记分别对应的目标调整方式。
由此,计算机设备基于与各调整标记分别对应的目标调整方式,确定与各待处理片段分别对应的单位嵌入信息。在一些实施例中,计算机设备根据调整模板中的各个调整标记所确定的初始调整方式,结合为各音频片段分别分配的单位嵌入信息所表征的调整方向,对各初始调整方式进行调整,并将调整后的调整方式作为各个音频片段各自对应的目标调整方式。例如,若dbA>dbB则确定该待处理片段嵌入的单位嵌入信息为0,若dbA≤dbB则确定该待处理片段嵌入的单位嵌入信息为1。
上述实施例中,通过频域系数的频域能量均值来还原单位嵌入信息,充分利用了频域能量的稳定性,在遭受时域攻击之后仍能够准确地检测水印信息,鲁棒性强。
在一些实施例中,基于多个待处理片段所对应的单位嵌入信息,确定出标记信息,包括:在多个待处理片段所对应的单位嵌入信息中,从预设位置处提取至少两段预设长度的单位嵌入信息序列,每段单位嵌入信息序列包括多个单位嵌入信息;基于所提取的两段单位嵌入信息序列,还原得到标记信息。
具体地,计算机设备对于多个待处理片段所对应的单位嵌入信息,从预设位置处提取至少两段预设长度的单位嵌入信息序列。该预设位置与水印嵌入时标记信息在待嵌入信息中的位置相对应。例如,在水印嵌入时设置待嵌入信息依次为长度为N1的第一标记信息、长度为N1的第二标记信息、以及长度为N2的水印信息,则在水印检测时,计算机设备从多个单位嵌入信息中,提取前两段分别为N1长度的单位嵌入信息序列,以此来检测标记信息。
由此,计算机设备基于所提取的两段单位嵌入信息序列进行比较,从而还原得到标记信息。例如,计算机设备比较第一段单位嵌入信息序列(前N1个单位嵌入信息)与紧接着的第二段单位嵌入信息序列(紧接着的后N1个单位嵌入信息)是否相等,若相等则确定检测出标记信息。
又如,在一些实施例中,至少两段预设长度的单位嵌入信息序列包括第一还原序列和第二还原序列,基于所提取的两段单位嵌入信息序列,还原得到标记信息,包括:对第一还原序列和第二还原序列进行比较;在第一还原序列和第二还原序列间的相似度小于阈值的情况下,基于第一还原序列和第二还原序列确定标记信息。
具体地,计算机设备比较第一还原序列与第一还原序列之间的相似度是否满足相似度条件,若相似度小于预设阈值则确定检测出标记信息。
其中,第一还原序列和第二还原序列之间的相似度,例如,可以是第一还原序列和第二还原序列之间的进位差值小于阈值、第一还原序列和第二还原序列之间呈规律性变换、第一还原序列和第二还原序列中每一位单位嵌入信息的差值小于阈值、或者第一还原序列和第二还原序列中相同位置但数值类型不同的单位嵌入信息的数量小于阈值等。
上述实施例中,通过提取与标记信息长度相同且位置相同的单位嵌入信息序列,并基于至少两段单位嵌入信息序列来判断是否检测到标记信息,在检测到标记信息的情况下即可定位水印信息的位置,再提取水印信息,准确率更高。同时,通过增加标记信息与水印信息一并嵌入音频,在音频被裁剪或者被时域攻击的情况下,仍能够利用频域系数能量的稳定性进行计算,进而准确地定位水印信息的位置,抗攻击性更高。
在一些实施例中,根据标记信息的位置,从多个待处理片段所对应的单位嵌入信息中定位出水印信息,包括:根据标记信息的位置,在多个待处理片段所对应的单位嵌入信息中,将与标记信息相邻且符合预设长度的多个单位嵌入信息,作为水印信息。
由于待嵌入信息中标记信息与水印信息的相对位置是已知的,则在水印检测时,根据标记信息的位置,计算机设备即可定位出水印信息的位置。具体地,计算机设备在多个待处理片段所对应的单位嵌入信息中,将与标记信息相邻且符合预设长度的多个单位嵌入信息,作为水印信息。
例如,在水印嵌入时设置待嵌入信息依次为长度为N1的第一标记信息、长度为N1的第二标记信息、以及长度为N2的水印信息,则在水印检测时,计算机设备将后N2个单位嵌入信息作为水印信息。
上述实施例中,根据标记信息的位置来定位水印信息,在无法检测出标记信息时即可确定音频遭受破坏或者未嵌入特定的水印信息,无需一一比对水印信息对应的序列,效率更高。并且,在定位标记信息的基础上再确定水印信息,能够保证提取得到的水印信息更加准确。
为了提高检测效率,在对待检测音频进行检测时,计算机设备可以以滑动窗口的形式进行依次遍历,当任意时刻检测出正确的标记信息即可停止遍历,并根据标记信息的位置检出水印信息。而在另一些实施例中,在时效性要求不高的情况下、或者是对检出准确率要求较高的情况下,计算机设备可以将待检测音频完整地检测一遍;由于待嵌入信息通常是重复循环嵌入待检测音频中,因此可检测得到多个标记信息。在此种情况下,计算机设备可以对多段单位嵌入信息序列的每一位,进行投票处理,将占比更高的单位嵌入信息的数值类型,作为该位的单位嵌入信息最终的数值类型。
基于所检测到的水印信息可以用于对音频进行溯源、或者对音频的版权进行验证等。在一些实施例中,上述方法还包括:对定位出的水印信息进行提取;将所提取的水印信息与源水印信息进行比较,并基于比较结果对待检测音频的发布源进行验证。
具体地,在定位水印信息的位置之后,计算机设备对定位出的水印信息进行提取。根据所提取的水印信息,计算机设备将其与源水印信息进行比较,基于比较结果来确定相应的待检测音频是否嵌入有该源水印信息,进而即可对待检测音频的发布源进行验证。其中,源水印信息例如为预先设定的与业务相对应的水印信息。
示例性地,对于某一音乐应用程序,该音乐应用程序具有某一音频的版权,则用户通过该音乐应用程序分享该音频时,该音乐应用程序对分享的音频嵌入源水印信息。在后续获取待检测音频之后,计算机设备对该待检测音频的水印信息进行检测,并比较该水印信息与源水印信息是否相同。若相同,则说明该待检测音频为从该音乐应用程序传出的音频,换言之,该待检测音频的发布源为该音乐应用程序。当计算机设备比较待检测音频的水印信息与源水印信息不同时,或者检测不到水印信息时,即可说明该待检测音频非从该音乐应用程序传出。在该音乐应用程序具有该音频的专属版权的情况下,可进一步确定该待检测音频为未经授权的音频。
上述实施例中,基于水印信息对音频作品进行验证,能够防止音频作品在未经授权的情况下被传播,保护了音频作品的版权,也保证了音频作品作者的权益。
本申请还提供一种应用场景,该应用场景应用上述的音频水印检测方法。具体地,该音频水印检测方法在该应用场景的应用例如如下:服务器获取待检测音频,该待检测音频可以是终端上传的,或者服务器从网络中获取的。服务器对待检测音频进行划分得到多个待处理片段,分别对每个待处理片段进行频域转换,得到各待处理片段所对应的目标频域系数,进而确定与各待处理片段分别对应的单位嵌入信息。服务器基于多个待处理片段所对应的单位嵌入信息,确定出标记信息,再根据标记信息的位置,从多个待处理片段所对应的单位嵌入信息中定位出水印信息。基于所确定的水印信息,服务器对该待检测音频进行溯源或验证,或者判断该待检测音频是否有被篡改、攻击等。当然并不局限于此,本申请提供的音频水印检测方法还可以应用在其他应用场景中,例如在线直播、在线课堂、音频分享等等。
下面结合水印嵌入过程与水印检测过程进行举例说明。
示例性地,假设待嵌入信息为一段二进制比特序列W,其分为三部分:第一标记信息SYNC1、第二标记信息SYNC2、以及水印信息WM。其中,第一标记信息SYNC1与第二标记信息SYNC2相等,可以称为同步码,水印信息WM为实际嵌入的水印。
在水印嵌入的过程中,如图7所示,计算机设备首先将待处理音频划分成长度为L的多个音频片段,并对每一个音频片段进行傅立叶变换,计算每个音频片段的频域系数,例如FFT系数。示例性地,对于每一个音频片段,计算机设备确定相匹配的调整模板。例如,在调整模板的多个调整标记中,计算机设备随机抽取L/4个调整标记设置为增加处理(up),L/4个调整标记设置为降低处理(down),其余调整标记则设置为保持不变(keep)。需要说明的是,此处确定了各种类型的调整标记的数量,在后续水印检测时计算频域能量值时应按照数量进行相应的计算。
对于任一音频片段,当分配的单位嵌入信息为1时,则计算机设备对于该音频片段对应的原始频域系数中的每一个频域系数,若对应于增加处理的调整标记,则对频域系数进行增加处理,若对应于降低处理的调整标记,则对频域系数进行降低处理。反之,当分配的单位嵌入信息为0时,则计算机设备对于该音频片段对应的原始频域系数中的每一个频域系数,若对应于增加处理的调整标记,则对频域系数进行降低处理,若对应于降低处理的调整标记,则对频域系数进行增加处理。由此,计算机设备即可得到每个频域系数的调整量。
进而,计算机设备对频域系数的调整量进行逆傅立叶变换,即可得到含水印信息的音频时域修改差值,也就是待叠加片段,该待叠加片段为调整量对应在时域中的音频。计算机设备对待叠加片段加窗后与相应的音频片段进行叠加,从而得到目标音频片段。对于全部音频片段,计算机设备均进行上述处理,由此对于整个音频,能够循环嵌入待嵌入信息的每个比特,最后再将各个目标音频片段按顺序进行拼接,即可得到完整的嵌水印的目标音频。
而在对任意一个音频片段进行比特嵌入的过程可如图8所示,计算机设备对待处理音频进行划分,得到的音频片段1、音频片段2、音频片段3……音频片段N。以音频片段1为例,计算机设备进行频域变换计算频域系数,例如FFT系数。同时,计算机设备获取与音频片段1对应的调整模板,例如调整模板1,该调整模板1中所包含的对应于各位频域系数的各调整标记如图8中所示。
示例性地,对于第一位频域系数,调整模板1中相应位置的调整标记表示调整方式为保持不变,则无论音频片段1嵌入的单位嵌入信息为1或0,计算机设备均保持频域系数不变。
对于第二位频域系数,调整模板1中相应位置的调整标记表示调整方式为增加处理,则当音频片段1嵌入的单位嵌入信息为1时,计算机设备确定该位频域系数最终的调整方式为增加处理;当音频片段1嵌入的单位嵌入信息为0时,计算机设备确定该位频域系数最终的调整方式为降低处理。
对于第三位频域系数,调整模板1中相应位置的调整标记表示调整方式为降低处理,则当音频片段1嵌入的单位嵌入信息为1时,计算机设备确定该位频域系数最终的调整方式为降低处理;当音频片段1嵌入的单位嵌入信息为0时,计算机设备确定该位频域系数最终的调整方式为增加处理。
而在后续水印检测的过程中,计算机设备首先检测出第一标记信息SYNC1和第二标记信息SYNC2,并判断二者是否相等,若相等则说明提取水印的音频片段同步正确,然后再提取水印信息WM。
如图9所示,对于待检测音频,计算机设备以预设窗长L、步长S对待检测音频进行遍历,其中窗长L=2*N1 + N2。N1即为标记信息SYNC1和SYNC2的长度,N2为水印信息WM的长度。假设待检测音频遭受攻击,例如裁剪了一部分,则计算机设备刚开始遍历的若干次均无法检测到完整的待嵌入信息。
如图10所示,对于待检测音频,当检测到某一待处理片段时,计算机设备首先进行频域转换得到该待处理片段对应的频域系数,并选取调整标记为增加处理(up)的频域系数计算能量均值dbA,选取调整标记为降低处理(down)的频域系数计算能量均值dbB。其中,计算机设备计算能量均值例如可以是计算各个频域系数的绝对值的均值等。由此,计算机设备比较能量均值dbA和dbB的大小,若dbA>dbB则确定该待处理片段嵌入的单位嵌入信息为1,若dbA≤dbB则确定该待处理片段嵌入的单位嵌入信息为0。
容易理解的是,具体还原得到的单位嵌入信息的数值类型与水印嵌入时对单位嵌入信息的设置有关。计算机设备重复上述步骤,直至提取得到待嵌入信息长度的单位嵌入信息序列。
进而,再如图10所示,对于该单位嵌入信息序列,计算机设备比较前N1个单位嵌入信息(对应于SYNC1部分的同步码)与紧接着的后N1个单位嵌入信息(对应于SYNC2部分的同步码)是否相等,若相等则确定检测出标记信息,则计算机设备即可将最后N2个单位嵌入信息确定为水印信息。由此,对于待检测音频的水印检出成功。若本次未检测出标记信息,则计算机设备遍历到下一个待处理片段,重复上述步骤。
由此,通过上述方式对音频嵌入水印,利用音频在频域能量均值对于伸缩变换的稳健性,可抗裁剪、时域尺度变换等同步攻击,鲁棒性强。通过对待嵌入信息进行编码,生成两段相同的随机0、1比特序列作为标记信息,并在标记信息后设置水印信息,检出时通过判断两段标记信息是否相等,依此来定位水印信息的位置,能够更加准确地定位水印,准确率更高。同时,利用频域系数能量均值的稳健性,在频域中嵌入水印,对于时域攻击恢复后也可正确检出水印信息;另外通过对频域系数的调整量转换到时域再进行加窗叠加,而非直接对频域系数进行修改,对音质影响更小。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的音频水印处理方法的音频水印处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个音频水印处理装置实施例中的具体限定可以参见上文中对于音频水印处理方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种音频水印处理装置1100,包括:划分模块1101、水印模块1102、调整模块1103以及叠加模块1104,其中:
划分模块1101,用于对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数。
水印模块1102,用于获取待嵌入信息,待嵌入信息包括标记信息和水印信息,标记信息用于实现对水印信息的定位。
调整模块1103,用于基于待嵌入信息确定各音频片段所对应的原始频域系数的调整量。
调整模块1103,还用于将与各音频片段对应的调整量进行逆频域变换,得到与各音频片段对应的待叠加片段。
叠加模块1104,用于分别将各音频片段与对应的待叠加片段进行叠加,得到多个目标音频片段,基于多个目标音频片段,得到嵌入有水印信息的目标音频。
在一些实施例中,待嵌入信息中的标记信息至少包括第一标记信息和第二标记信息,且第一标记信息与第二标记信息之间满足预设相似度条件。
在一些实施例中,待嵌入信息包括多个单位嵌入信息,调整模块还用于从待嵌入信息中,为每个音频片段分配相应的单位嵌入信息;确定每个音频片段所对应的原始频域系数中,每一位频域系数所匹配的调整标记;对于各音频片段中的当前音频片段,基于当前音频片段对应的单位嵌入信息,确定与当前音频片段匹配的各调整标记分别对应的目标调整方式;根据与当前音频片段所匹配的各调整标记分别对应的目标调整方式,以及各调整标记所对应的调整幅度,确定当前音频片段所对应的原始频域系数的调整量。
在一些实施例中,调整模块还用于在待嵌入信息中的首位单位嵌入信息开始,确定当前单位嵌入信息;将当前单位嵌入信息分配至各个音频片段中的当前音频片段;将下一顺序的单位嵌入信息作为下次分配时的当前单位嵌入信息,并将当前音频片段的后一个音频片段作为下次分配时的当前音频片段;返回至将当前单位嵌入信息分配至各个音频片段中的当前音频片段的步骤继续执行,直至待嵌入信息中的末位单位嵌入信息完成分配;重新将首位单位嵌入信息作为下一循环的当前单位嵌入信息,并进行多次循环分配,直至全部音频片段均分配有相应的单位嵌入信息。
在一些实施例中,调整模块还用于获取与每个音频片段对应的调整模板,调整模板包括与各音频片段对应的原始频域系数的位数相同的多位调整标记;对于原始频域系数中的当前频域系数,根据当前频域系数在原始频域系数中所处的位置,在多位调整标记中确定相应位置的目标调整标记;将目标调整标记作为当前频域系数所匹配的调整标记。
在一些实施例中,单位嵌入信息的数值类型包括第一嵌入类型和第二嵌入类型,基于第一嵌入类型的单位嵌入信息所确定的各调整标记分别对应的目标调整方式的调整方向,与基于第二嵌入类型的单位嵌入信息所确定的各调整标记分别对应的目标调整方式的调整方向相反。
在一些实施例中,调整模块还用于对于每个音频片段中的当前音频片段,确定与当前音频片段对应的单位嵌入信息的数值类型;在单位嵌入信息的数值类型为第一嵌入类型的情况下,将与当前音频片段所匹配的各调整标记分别对应的初始调整方式,作为与当前音频片段所匹配的各调整标记分别对应的调整方式;在单位嵌入信息的数值类型为第二嵌入类型的情况下,对与当前音频片段所匹配的各调整标记分别对应的初始调整方式,进行反向处理,得到与当前音频片段所匹配的各调整标记分别对应的调整方式。
在一些实施例中,叠加模块还用于确定多个目标音频片段中,每个目标音频片段对应的时间顺序;按照各目标音频片段各自对应的时间顺序,将多个目标音频片段进行拼接,得到目标音频,目标音频嵌入有水印信息。
上述音频水印处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的音频水印检测方法的音频水印检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个音频水印检测装置实施例中的具体限定可以参见上文中对于音频水印检测方法的限定,在此不再赘述。
在一个实施例中,如图12所示,提供了一种音频水印检测装置1200,包括:划分模块1201、转换模块1202、确定模块1203以及定位模块1204,其中:
划分模块1201,用于对待检测音频进行划分得到多个待处理片段。
转换模块1202,用于分别对每个待处理片段进行频域转换,得到各待处理片段所对应的目标频域系数,并确定目标频域系数中每一位频域系数分别对应的调整标记。
确定模块1203,用于对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息。
确定模块1203,还用于基于多个待处理片段所对应的单位嵌入信息,确定出标记信息。
定位模块1204,用于根据标记信息的位置,从多个待处理片段所对应的单位嵌入信息中定位出水印信息。
在一些实施例中,确定模块还用于基于各待处理片段所对应的目标频域系数、以及各待处理片段所对应的目标频域系数中每一位频域系数所对应的调整标记,确定每个待处理片段中对应于不同调整标记的频域能量值;基于每个待处理片段中对应于不同调整标记的频域能量值,确定与各待处理片段分别对应的单位嵌入信息。
在一些实施例中,调整标记包括第一调整标记和第二调整标记;确定模块还用于对于多个待处理片段中的当前待处理片段,确定当前待处理片段中对应于不同调整标记的频域能量均值;基于第一调整标记对应的频域能量均值与第二调整标记对应的频域能量均值间的差异,确定与各调整标记分别对应的目标调整方式;基于与各调整标记分别对应的目标调整方式,确定与各待处理片段分别对应的单位嵌入信息。
在一些实施例中,确定模块还用于在多个待处理片段所对应的单位嵌入信息中,从预设位置处提取至少两段预设长度的单位嵌入信息序列,每段单位嵌入信息序列包括多个单位嵌入信息;基于所提取的两段单位嵌入信息序列,还原得到标记信息。
在一些实施例中,至少两段预设长度的单位嵌入信息序列包括第一还原序列和第二还原序列,确定模块还用于对第一还原序列和第二还原序列进行比较;在第一还原序列和第二还原序列间的相似度小于阈值的情况下,基于第一还原序列和第二还原序列确定标记信息。
在一些实施例中,定位模块还用于根据标记信息的位置,在多个待处理片段所对应的单位嵌入信息中,将与标记信息相邻且符合预设长度的多个单位嵌入信息,作为水印信息。
在一些实施例中,上述装置还包括验证模块,用于对定位出的水印信息进行提取;将所提取的水印信息与源水印信息进行比较,并基于比较结果对待检测音频的发布源进行验证。
上述音频水印检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是前述实施例中的终端或服务器。下面以该计算机设备为服务器为例进行说明,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储音频数据等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种音频水印处理方法或音频水印检测方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (19)

1.一种音频水印处理方法,其特征在于,所述方法包括:
对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数;
获取待嵌入信息,所述待嵌入信息包括标记信息和水印信息,所述标记信息用于实现对所述水印信息的定位;
基于所述待嵌入信息确定各音频片段所对应的原始频域系数的调整量;
将与各所述音频片段对应的调整量进行逆频域变换,得到与各所述音频片段对应的待叠加片段;
分别将各所述音频片段与对应的待叠加片段进行叠加,得到多个目标音频片段,基于所述多个目标音频片段,得到嵌入有所述水印信息的目标音频。
2.根据权利要求1所述的方法,其特征在于,所述待嵌入信息中的标记信息至少包括第一标记信息和第二标记信息,且所述第一标记信息与所述第二标记信息之间满足预设的相似度条件。
3.根据权利要求1所述的方法,其特征在于,所述待嵌入信息包括多个单位嵌入信息,所述基于所述待嵌入信息确定各音频片段所对应的原始频域系数的调整量,包括:
从所述待嵌入信息中,为每个音频片段分配相应的单位嵌入信息;
确定每个音频片段所对应的原始频域系数中,每一位频域系数所匹配的调整标记;
对于各音频片段中的当前音频片段,基于所述当前音频片段对应的单位嵌入信息,确定与所述当前音频片段匹配的各调整标记分别对应的目标调整方式;
根据与所述当前音频片段所匹配的各调整标记分别对应的目标调整方式,以及各调整标记所对应的调整幅度,确定所述当前音频片段所对应的原始频域系数的调整量。
4.根据权利要求3所述的方法,其特征在于,所述从所述待嵌入信息中,为每个音频片段分配相应的单位嵌入信息,包括:
在所述待嵌入信息中的首位单位嵌入信息开始,确定当前单位嵌入信息;
将所述当前单位嵌入信息分配至各个音频片段中的当前音频片段;
将下一顺序的单位嵌入信息作为下次分配时的当前单位嵌入信息,并将所述当前音频片段的后一个音频片段作为下次分配时的当前音频片段;
返回至将所述当前单位嵌入信息分配至各个音频片段中的当前音频片段的步骤继续执行,直至所述待嵌入信息中的末位单位嵌入信息完成分配;
重新将首位单位嵌入信息作为下一循环的当前单位嵌入信息,并进行多次循环分配,直至全部音频片段均分配有相应的单位嵌入信息。
5.根据权利要求3所述的方法,其特征在于,所述确定每个音频片段所对应的原始频域系数中,每一位频域系数所匹配的调整标记,包括:
获取与每个音频片段对应的调整模板,所述调整模板包括与各音频片段对应的原始频域系数的位数相同的多位调整标记;
对于所述原始频域系数中的当前频域系数,根据所述当前频域系数在所述原始频域系数中所处的位置,在所述多位调整标记中确定相应位置的目标调整标记;
将所述目标调整标记作为所述当前频域系数所匹配的调整标记。
6.根据权利要求3所述的方法,其特征在于,所述单位嵌入信息的数值类型包括第一嵌入类型和第二嵌入类型,基于所述第一嵌入类型的单位嵌入信息所确定的各调整标记分别对应的目标调整方式的调整方向,与基于所述第二嵌入类型的单位嵌入信息所确定的各调整标记分别对应的目标调整方式的调整方向相反。
7.根据权利要求6所述的方法,其特征在于,所述对于各音频片段中的当前音频片段,基于所述当前音频片段对应的单位嵌入信息,确定与所述当前音频片段匹配的各调整标记分别对应的目标调整方式,包括:
对于每个音频片段中的当前音频片段,确定与所述当前音频片段对应的单位嵌入信息的数值类型;
在所述单位嵌入信息的数值类型为第一嵌入类型的情况下,将与所述当前音频片段所匹配的各调整标记分别对应的初始调整方式,作为与所述当前音频片段所匹配的各调整标记分别对应的目标调整方式;
在所述单位嵌入信息的数值类型为第二嵌入类型的情况下,对与所述当前音频片段所匹配的各调整标记分别对应的初始调整方式,进行反向处理,得到与所述当前音频片段所匹配的各调整标记分别对应的目标调整方式。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述基于所述多个目标音频片段,得到嵌入有所述水印信息的目标音频,包括:
确定所述多个目标音频片段中,每个目标音频片段对应的时间顺序;
按照各目标音频片段各自对应的时间顺序,将所述多个目标音频片段进行拼接,得到目标音频,所述目标音频嵌入有所述水印信息。
9.一种音频水印检测方法,其特征在于,所述方法包括:
对待检测音频进行划分得到多个待处理片段;
分别对每个待处理片段进行频域转换,得到各待处理片段所对应的目标频域系数,并确定所述目标频域系数中每一位频域系数分别对应的调整标记;
对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及所述目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息;
基于所述多个待处理片段所对应的单位嵌入信息,确定出标记信息;
根据所述标记信息的位置,从所述多个待处理片段所对应的单位嵌入信息中定位出水印信息。
10.根据权利要求9所述的方法,其特征在于,所述对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及所述目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息,包括:
基于各待处理片段所对应的目标频域系数、以及各待处理片段所对应的目标频域系数中每一位频域系数所对应的调整标记,确定每个待处理片段中对应于不同调整标记的频域能量值;
基于每个待处理片段中对应于不同调整标记的频域能量值,确定与各待处理片段分别对应的单位嵌入信息。
11.根据权利要求10所述的方法,其特征在于,所述调整标记包括第一调整标记和第二调整标记;所述基于每个待处理片段中对应于不同调整标记的频域能量值,确定与各待处理片段分别对应的单位嵌入信息,包括:
对于多个待处理片段中的当前待处理片段,确定所述当前待处理片段中对应于不同调整标记的频域能量均值;
基于所述第一调整标记对应的频域能量均值与所述第二调整标记对应的频域能量均值间的差异,确定与各调整标记分别对应的目标调整方式;
基于与各调整标记分别对应的目标调整方式,确定与各待处理片段分别对应的单位嵌入信息。
12.根据权利要求9所述的方法,其特征在于,所述基于所述多个待处理片段所对应的单位嵌入信息,确定出标记信息,包括:
在所述多个待处理片段所对应的单位嵌入信息中,从预设位置处提取至少两段预设长度的单位嵌入信息序列,每段单位嵌入信息序列包括多个单位嵌入信息;
基于所提取的两段单位嵌入信息序列,还原得到标记信息。
13.根据权利要求12所述的方法,其特征在于,所述至少两段预设长度的单位嵌入信息序列包括第一还原序列和第二还原序列,所述基于所提取的两段单位嵌入信息序列,还原得到标记信息,包括:
对所述第一还原序列和所述第二还原序列进行比较;
在所述第一还原序列和所述第二还原序列间的相似度小于阈值的情况下,基于所述第一还原序列和所述第二还原序列确定标记信息。
14.根据权利要求9所述的方法,其特征在于,所述根据所述标记信息的位置,从所述多个待处理片段所对应的单位嵌入信息中定位出水印信息,包括:
根据所述标记信息的位置,在所述多个待处理片段所对应的单位嵌入信息中,将与所述标记信息相邻且符合预设长度的多个单位嵌入信息,作为所述水印信息。
15.根据权利要求9至14任一项所述的方法,其特征在于,所述方法还包括:
对定位出的水印信息进行提取;
将所提取的水印信息与源水印信息进行比较,并基于比较结果对所述待检测音频的发布源进行验证。
16.一种音频水印处理装置,其特征在于,所述装置包括:
划分模块,用于对待处理音频进行划分得到多个音频片段,并确定与每个音频片段分别对应的原始频域系数;
水印模块,用于获取待嵌入信息,所述待嵌入信息包括标记信息和水印信息,所述标记信息用于实现对所述水印信息的定位;
调整模块,用于基于所述待嵌入信息确定各音频片段所对应的原始频域系数的调整量;
所述调整模块,还用于将与各所述音频片段对应的调整量进行逆频域变换,得到与各所述音频片段对应的待叠加片段;
叠加模块,用于分别将各所述音频片段与对应的待叠加片段进行叠加,得到多个目标音频片段,基于所述多个目标音频片段,得到嵌入有所述水印信息的目标音频。
17.一种音频水印检测装置,其特征在于,所述装置包括:
划分模块,用于对待检测音频进行划分得到多个待处理片段;
转换模块,用于分别对每个待处理片段进行频域转换,得到各待处理片段所对应的目标频域系数,并确定所述目标频域系数中每一位频域系数分别对应的调整标记;
确定模块,用于对于每个待处理片段,基于各相应待处理片段所对应的目标频域系数、以及所述目标频域系数中每一位频域系数所对应的调整标记,确定与各相应待处理片段分别对应的单位嵌入信息;
所述确定模块,还用于基于所述多个待处理片段所对应的单位嵌入信息,确定出标记信息;
定位模块,用于根据所述标记信息的位置,从所述多个待处理片段所对应的单位嵌入信息中定位出水印信息。
18.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
CN202211496709.6A 2022-11-28 2022-11-28 音频水印处理方法、装置、计算机设备和存储介质 Active CN115602179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211496709.6A CN115602179B (zh) 2022-11-28 2022-11-28 音频水印处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211496709.6A CN115602179B (zh) 2022-11-28 2022-11-28 音频水印处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN115602179A CN115602179A (zh) 2023-01-13
CN115602179B true CN115602179B (zh) 2023-03-24

Family

ID=84853470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211496709.6A Active CN115602179B (zh) 2022-11-28 2022-11-28 音频水印处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115602179B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
CN1889176A (zh) * 2006-07-14 2007-01-03 中山大学 一种抗da/ad变换的音频水印处理方法
CN101325700A (zh) * 2008-07-15 2008-12-17 清华大学 视频文件中水印嵌入和提取的方法及系统
CN110163787A (zh) * 2019-04-26 2019-08-23 江苏信实云安全技术有限公司 基于双树复小波变换的音频数字鲁棒盲水印嵌入方法
CN111737662A (zh) * 2020-06-16 2020-10-02 北京达佳互联信息技术有限公司 水印添加方法、水印提取方法、装置、电子设备
CN112040337A (zh) * 2020-09-01 2020-12-04 腾讯科技(深圳)有限公司 视频的水印添加和提取方法、装置、设备及存储介质
CN114582358A (zh) * 2022-02-16 2022-06-03 随锐科技集团股份有限公司 基于离散余弦变换的音频水印嵌入、提取方法和相关产品
CN114861139A (zh) * 2022-05-30 2022-08-05 腾讯音乐娱乐科技(深圳)有限公司 音频处理方法、版权读取方法及计算机设备、存储介质
CN115114596A (zh) * 2022-06-01 2022-09-27 腾讯科技(深圳)有限公司 水印处理方法、装置、电子设备和计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100799303B1 (ko) * 2006-06-21 2008-01-29 한국전자통신연구원 캡쳐링에 강인한 웨이블릿 기반 오디오 워터마크 삽입,추출 장치 및 방법과 이를 적용한 저작권 관리시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674876B1 (en) * 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
CN1889176A (zh) * 2006-07-14 2007-01-03 中山大学 一种抗da/ad变换的音频水印处理方法
CN101325700A (zh) * 2008-07-15 2008-12-17 清华大学 视频文件中水印嵌入和提取的方法及系统
CN110163787A (zh) * 2019-04-26 2019-08-23 江苏信实云安全技术有限公司 基于双树复小波变换的音频数字鲁棒盲水印嵌入方法
CN111737662A (zh) * 2020-06-16 2020-10-02 北京达佳互联信息技术有限公司 水印添加方法、水印提取方法、装置、电子设备
CN112040337A (zh) * 2020-09-01 2020-12-04 腾讯科技(深圳)有限公司 视频的水印添加和提取方法、装置、设备及存储介质
CN114582358A (zh) * 2022-02-16 2022-06-03 随锐科技集团股份有限公司 基于离散余弦变换的音频水印嵌入、提取方法和相关产品
CN114861139A (zh) * 2022-05-30 2022-08-05 腾讯音乐娱乐科技(深圳)有限公司 音频处理方法、版权读取方法及计算机设备、存储介质
CN115114596A (zh) * 2022-06-01 2022-09-27 腾讯科技(深圳)有限公司 水印处理方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于小波变换和余弦变换的盲水印技术;阳树洪等;《兰州交通大学学报》(第03期);第88-90、101页 *
基于时域同步及分块嵌入的音频水印算法;陈荔聪等;《现代电子技术》(第21期);第86-88、91页 *
基于量化数字音频信号频域参数的水印嵌入算法;王秋生等;《声学学报》;第27卷(第4期);第379-385页 *

Also Published As

Publication number Publication date
CN115602179A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
US8077911B2 (en) Methods, apparatus and programs for generating and utilizing content signatures
Prasad et al. A tamper detection suitable fragile watermarking scheme based on novel payload embedding strategy
Peng et al. Multipurpose watermarking for vector map protection and authentication
Huo et al. A semi-fragile image watermarking algorithm with two-stage detection
Korus et al. Adaptive self-embedding scheme with controlled reconstruction performance
US20180025462A1 (en) Method and Apparatus for Publishing Locational Copyrighted Watermarking Video
WO2020140636A1 (zh) 一种水印嵌入和提取方法、装置、终端设备及介质
CN111010490A (zh) 水印添加方法、装置、电子设备及计算机可读存储介质
Di Martino et al. Fragile watermarking tamper detection via bilinear fuzzy relation equations
Benrhouma et al. Security analysis and improvement of an active watermarking system for image tampering detection using a self-recovery scheme
CN112434319A (zh) 一种用于电子文件的数据加密方法及装置
CN115602179B (zh) 音频水印处理方法、装置、计算机设备和存储介质
Wang et al. RST invariant fragile watermarking for 2D vector map authentication
Natgunanathan et al. Robust patchwork-based watermarking method for stereo audio signals
Li et al. Parameterization of LSB in self-recovery speech watermarking framework in big data mining
Wang et al. A speech content authentication algorithm based on a novel watermarking method
Hu et al. A semi fragile watermarking algorithm based on compressed sensing applied for audio tampering detection and recovery
CN110866858B (zh) 水印嵌入和查询数据提供方法、装置和数据处理方法
CN113505348A (zh) 一种数据的水印嵌入方法、验证方法及装置
Liu et al. A watermarking-based authentication and recovery scheme for encrypted audio
Dadkhah et al. Efficient image authentication and tamper localization algorithm using active watermarking
Sun et al. A crypto signature scheme for image authentication over wireless channel
Su et al. An effective compressed image authentication scheme based on N-variant AMBTC
Dhar et al. Audio watermarking based on LWT and SD
Nishimura Reversible and robust audio watermarking based on quantization index modulation and amplitude expansion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40079088

Country of ref document: HK