CN118018643A - 一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统 - Google Patents
一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统 Download PDFInfo
- Publication number
- CN118018643A CN118018643A CN202410132336.7A CN202410132336A CN118018643A CN 118018643 A CN118018643 A CN 118018643A CN 202410132336 A CN202410132336 A CN 202410132336A CN 118018643 A CN118018643 A CN 118018643A
- Authority
- CN
- China
- Prior art keywords
- harmonic
- module
- power grid
- grid frequency
- absolute error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000011084 recovery Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2281—Call monitoring, e.g. for law enforcement purposes; Call tracing; Detection or prevention of malicious calls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42221—Conversation recording systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Technology Law (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统，其中的方法的主要步骤包括：1)对待检测的固话录音进行预处理。2)对预处理的数据进行短时傅里叶变换，并使用二次插值法对2‑7次谐波进行电网频率信号估计。3)读取用户输入的录音大致时间以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2‑7次谐波信号与参考信号之间的绝对误差矩阵。4)融合由2‑7次谐波与参考信号计算得出的绝对误差矩阵，生成绝对误差图。5)构建并训练用于绝对误差图检测分析的神经网络，将融合后的结果输入神经网络中，获得分析结果。6)对分析结果进行检测，判断得出是否被篡改。本发明提高了篡改取证的精确度。
Description
技术领域
本发明涉及数字信号检测与处理技术领域，尤其涉及一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统。
背景技术
随着科技的不断发展，固定电话已逐渐普及到我们生活的方方面面，成为现代社会人们沟通的主流方式之一。与此同时，音频数据存储技术也向着低成本、高便捷的方向不断完善，越来越多的人选择将固定电话通话内容录音保存，以备不时之需。然而，随着音频编辑软件的普及，任何录音都面临着可能被篡改的风险。在一些关键场合，例如司法鉴定，对录音进行篡改取证变得至关重要。篡改取证的主要目标是判断音频是否经历了插入、删除等修改，以确保音频信息的完整性、真实性和可靠性。因此针对上述需求，可使用电网频率进行固话篡改取证。
电网频率(Electric Network Frequency,ENF)，即交流电的传输频率，常见于由交流电网供电的设备中，其频率的标称值通常由所在地区决定，一般情况下，我国电网频率的标称值为50Hz，欧美国家的电网频率的标称值为60Hz。但由于现实复杂情况，电网频率往往会受到多种因素干扰，需要所在地区的电力控制部门进行实时监测并不断调节，因此，电网频率的大小不会保持不变，而是在标称值附近波动。由于电网频率的实际调整是时时刻刻都在发生的且该调整是随机的，因此电网频率信号具有连续且随机的特性。同时电网频率还具有同一电网一致性以及可被录音设备捕获等特点。因此，电网频率可作为天然时间戳，用于篡改取证领域。
目前，基于电网频率的固话篡改取证系统正处于发展初期阶段。受录音设备的限制，常见的市面上录音设备对50Hz以下的频率进行截断，不予记录。因此，通常选择二次谐波100Hz作为电网频率的基频。目前的方法大多基于此频率进行篡改取证检测。然而，在特定情况下，二次谐波容易受到干扰，使得仅仅依赖二次谐波在多种情境中难以取得理想效果，未能充分利用频谱信息。与此同时，现有的篡改取证系统的主要功能为判断音频文件是否被修改，但对于的修改类型却无法进行具体判断。
发明内容
本发明提供了一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统，用以解决或者至少部分解决现有技术中篡改取证精确度不高的技术问题。
为了解决上述技术问题，本发明第一方面提供了一种基于多谐波协同误差检测的固话篡改取证方法，包括：
S1：对待检测的固话录音进行预处理；
S2：对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；
S3：读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；
S4：对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；
S5：构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；
S6：对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。
在一种实施方式中，步骤S1包括：
对待检测的固话录音进行降采样，然后进行梳状滤波，得到预处理后的录音数据。
在一种实施方式中，步骤S2包括：
S2.1：对预处理后的固话录音音频数据Sdown做短时傅里叶变换，得到音频数据对应的时频域序列X(k,n)，其中k表示短时傅里叶变换的第k帧，n表示短时傅里叶变换的第n个频点；
S2.2：对时频域序列进行截断，获得多谐波子序列，具体公式为：
其中Xm(k,n′)表示m次谐波子序列，n′表示截取后STFT的第n′个频点，fdown为电网频率最低安全频率，fup为电网频率最高安全频率，fs表示降采样后的音频的采样频率，N表示STFT频点的总个数；
S2.3：使用二次插值法估计STFT每帧的ENF值，根据STFT每帧的ENF值得到每个谐波的电网频率信号序列。
在一种实施方式中，S2.3包括：
S2.3.1：对于STFT的第k帧，首先找到Xm(k,n′)中第k帧中最大频点坐标nmax，接着找到最大频点左右两侧的频点坐标nl、nr，并通过下式计算频率补偿值：
其中Δ为频率补偿值，Re(·)表示取复数的实部；
S2.3.2：根据下式计算第l帧的ENF值：
其中Em[k]表示由m次谐波子序列Xm(k,n′)估计出的第k帧的ENF信号值；
S2.3.3：对每一帧重复上述步骤S2.3.1～S2.3.2的操作得到每个谐波的电网频率信号序列。
在一种实施方式中，步骤S3包括：
S3.1：读取用户输入的录音开始时间tb和结束时间te，从电网频率数据库中截取相应时间段内参考信号的时域信号；
S3.2：将参考信号的时域信号进行STFT变化与二次插值获得参考信号；
S3.3：采用下列公式分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵：
其中Hm表示m次谐波绝对误差矩阵，Em[k]表示m次谐波的电网频率信号，Y[l]表示参考信号，k0为Em[k]的长度，l0为Y[l]的长度，l表示参考信号的第l帧，l的取值范围为0～l0，k表示m次谐波的第k帧，k的取值范围为0～k0，Y[0]表示参考信号第0帧的电网频率值，Y[k0]表示表示参考信号第k0帧的电网频率值，Y[l0-k0]表示参考信号第l0-k0帧的电网频率值，Em[0]表示m次谐波第0帧的电网频率值，Em[k0-1]表示m次谐波第k0-1帧的电网频率值。
在一种实施方式中，步骤S4包括：
S4.1：采用下列公式对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合：
其中Ho为融合后的矩阵，Hm表示2-7次谐波绝对误差矩阵；
S4.2：根据矩阵Ho生成热力图，将其作为绝对误差图P。
在一种实施方式中，步骤S5中的神经网络，下采样卷积模块由2个1×1卷积层、1个3×3卷积层、3个正则化层、2个ReLU激励函数层构成，扩展卷积模块的输入包括正常顺序输入和跳步输入，将这两个输入连接到2个1×1卷积层，然后相加得到输出；残差上采样模块将输入连接到1个3×3卷积层，经过卷积层后与输入相加，并再次连接一个3×3卷积层，获得对应的输出；输出恢复模块，由2个3×3卷积层和一个1×1卷积层组成，其中第一个3×3卷积层为扩展卷积。
在一种实施方式中，分析结果包括含有线段信息的绝对误差图P′，以及一组线段簇{Lα|(xαs,yαs),(xαe,yαe)}，其中Lα表示线段α，(xαs,yαs)为线段α起点的坐标，(xαe,yαe)为线段α终点的坐标，步骤S6包括：
判断线段簇中的线段是否满足下列条件，如果满足，则去除该线段，
|yαe-yαs|>ε
其中yαs为线段α起点纵坐标，yαe为线段α终点纵坐标，ε为噪声控制参数；
对去除噪声后的误差图中的线段进行数量与位置上的分析，若线段数量为一条则说明无篡改，输出录音开始时的时间戳；若数量为两条则说明存在篡改，并进一步对这两条线段进行位置分析，若一条线段的中点与另一条线段的起点横坐标值相同则为删除类型的篡改，若不相同有缺口则为插入类型的篡改，且从左往右数第一条线段的终点横坐标为篡改点。
基于同样的发明构思，本发明第二方面提供了一种基于多谐波协同误差检测的固话篡改取证装置，包括：
预处理模块，用于对待检测的固话录音进行预处理；
变换与插值模块，用于对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；
多谐波误差计算模块，用于读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；
多谐波协同融合模块，用于对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；
绝对误差图分析模块，用于构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；
检测模块，用于对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。
基于同样的发明构思，本发明第三方面提供了一种基于多谐波协同误差检测的固话篡改取证系统，包括第二方面所述的基于多谐波协同误差检测的固话篡改取证装置，还包括固话通话模块、通话记录模块以及电网频率参考信号数据库，其中，固话通话模块用于支持固话通话功能，通话记录模块用于将固话通话内容进行记录，将音频信号进行保存并传输至基于多谐波协同误差检测的固话篡改取证装置，电网频率参考信号数据库用于保存参考信号。
相对于现有技术，本发明的优点和有益的技术效果如下：
本发明提出了一种基于多谐波协同误差检测的固话篡改取证方法，对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合生成绝对误差图用于后续的分析与检测，即采用了多谐波协同融合判别，充分利用频谱信息，扩大了固话取证的适用范围，从而提高了篡改取证的精确度。同时，使用绝对误差图进行篡改取证检测与分析，不仅能够检测出是否被篡改，还能对常见的篡改类型进行判断与定位。此外，还利用绝对误差图检测分析神经网络，提高了对绝对误差图的分析精度与分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于多谐波协同误差检测的固话篡改取证系统的框架与流程图；
图2为本发明实施例中绝对误差图检测分析网络结构示意图；
图3为本发明实施例中无篡改情况下，音频波形图、电网频率信号示意图、绝对误差图以及绝对误差图分析结果；
图4为本发明实施例中删除部分录音情况下，音频波形图、电网频率信号示意图、绝对误差图以及绝对误差图分析结果；
图5为本发明实施例中插入部分录音情况下，音频波形图、电网频率信号示意图、绝对误差图以及绝对误差图分析结果。
具体实施方式
本发明公开了一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统，主要解决当前使用电网频率进行篡改取证时基频提取效果不稳定，没有充分利用频谱信息，以及难以判断篡改类型等问题。具体地，该方法利用多谐波协同融合，能够充分利用频谱信息。当二次谐波因干扰无法正常提取时，可通过多次谐波信息进行补偿，从而获得更为精准的判断。此外，我们采用绝对误差图进行篡改取证。这一方法不仅能够确定是否被篡改，还能通过绝对误差图进行处理检测，从而精确判断篡改的具体类型。为了进一步提高系统性能，本发明还设计改进了新的深度学习网络，以高效、精准地处理绝对误差图。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于多谐波协同误差检测的固话篡改取证方法，包括：
S1：对待检测的固话录音进行预处理；
S2：对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；
S3：读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；
S4：对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；
S5：构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；
S6：对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。
在一种实施方式中，步骤S1包括：
对待检测的固话录音进行降采样，然后进行梳状滤波，得到预处理后的录音数据。
具体来说，对固话录音文件进行读取，获得读取后的音频数据S0，以及其采样频率forg，一般音频其采样频率为8000Hz或44100Hz。为了减少计算所需资源，可对音频录音进行降采样，降采样后的采样频率为fs，降采样后的音频数据为S。在本实施方式中fs设置为800Hz。同时由于电网频率是窄带信号，因此对于带外噪声可能会对电网频率估计造成影响，所以选择梳状滤波器对降采样后的结果进行梳状滤波。其中梳状滤波器长度为L，频率响应为M，在本实施方式中L设置为256，M设置为{2,3,4,5,6,7}，同时具有相同的带宽宽度。获得梳状滤波后预处理完成的固话录音音频数据Sdown。
在一种实施方式中，步骤S2包括：
S2.1：对预处理后的固话录音音频数据Sdown做短时傅里叶变换，得到音频数据对应的时频域序列X(k,n)，其中k表示短时傅里叶变换的第k帧，n表示短时傅里叶变换的第n个频点；
S2.2：对时频域序列进行截断，获得多谐波子序列，具体公式为：
其中Xm(k,n′)表示m次谐波子序列，n′表示截取后STFT的第n′个频点，fdown为电网频率最低安全频率，fup为电网频率最高安全频率，fs表示降采样后的音频的采样频率，N表示STFT频点的总个数；
S2.3：使用二次插值法估计STFT每帧的ENF值，根据STFT每帧的ENF值得到每个谐波的电网频率信号序列。
具体来说，预处理是指经过降采样和梳状滤波，(Short-Time FourierTransform,STFT)为短时傅里叶变换。fdown为电网频率最低安全频率，在本实施方式中fdown取49.94Hz，fup为电网频率最高安全频率，在本本实施方式中fup取50.06Hz。
在一种实施方式中，S2.3包括：
S2.3.1：对于STFT的第k帧，首先找到Xm(k,n′)中第k帧中最大频点坐标nmax，接着找到最大频点左右两侧的频点坐标nl、nr，并通过下式计算频率补偿值：
其中Δ为频率补偿值，Re(·)表示取复数的实部；
S2.3.2：根据下式计算第l帧的ENF值：
其中Em[k]表示由m次谐波子序列Xm(k,n′)估计出的第k帧的ENF信号值；
S2.3.3：对每一帧重复上述步骤S2.3.1～S2.3.2的操作得到每个谐波的电网频率信号序列
具体来说，对m次谐波子序列中的每一帧重复步骤S2.3.1～S2.3.2操作可以得到m次谐波谐波的电网频率信号序列。
在一种实施方式中，步骤S3包括：
S3.1：读取用户输入的录音开始时间tb和结束时间te，从电网频率数据库中截取相应时间段内参考信号的时域信号；
S3.2：将参考信号的时域信号进行STFT变化与二次插值获得参考信号；
S3.3：采用下列公式分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵：
其中Hm表示m次谐波绝对误差矩阵，Em[k]表示m次谐波的电网频率信号，Y[l]表示参考信号，k0为Em[k]的长度，l0为Y[l]的长度，l表示参考信号的第l帧，l的取值范围为0～l0，k表示m次谐波的第k帧，k的取值范围为0～k0，Y[0]表示参考信号第0帧的电网频率值，Y[k0]表示表示参考信号第k0帧的电网频率值，Y[l0-k0]表示参考信号第l0-k0帧的电网频率值，Em[0]表示m次谐波第0帧的电网频率值，Em[k0-1]表示m次谐波第k0-1帧的电网频率值。
在本实施方式中中，取STFT的步长均为1s。因此k、l在数值上与其时间相等。通常情况下搜索时间需要大于录音持续时间，因此对于序列Y[l]的长度l0，每个谐波的电网频率序列Em[k]的长度k0，有l0>k0。
在一种实施方式中，步骤S4包括：
S4.1：采用下列公式对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合
其中Ho为融合后的矩阵，Hm表示2-7次谐波绝对误差矩阵；
S4.2：根据矩阵Ho生成热力图，将其作为绝对误差图P。
在一种实施方式中，步骤S5中的神经网络，下采样卷积模块由2个1×1卷积层、1个3×3卷积层、3个正则化层、2个ReLU激励函数层构成，扩展卷积模块的输入包括正常顺序输入和跳步输入，将这两个输入连接到2个1×1卷积层，然后相加得到输出；残差上采样模块将输入连接到1个3×3卷积层，经过卷积层后与输入相加，并再次连接一个3×3卷积层，获得对应的输出；输出恢复模块，由2个3×3卷积层和一个1×1卷积层组成，其中第一个3×3卷积层为扩展卷积。
若固话录音未被篡改，在绝对误差图中会出现一条明显的直线(线段)，而若遭遇篡改，则直线会断开为两部分，因此，依照此特点本发明可以构建绝对误差图检测分析神经网络。图2展示了绝对误差图检测分析网络结构。
网络主要功能便是检测图中的直线数量、位置及端点坐标。
具体来说，网络的主体结构由11个特征下采样卷积模块进行下采样，2个扩展卷积模块，2个残差上采样模块以及1个输出恢复模块组成，其中第一个扩展卷积模块的跨层输入为第七个特征下采样模块的输出，第二个扩展卷积模块的跨层输入为第四个特征下采样模块的输出。通过卷积网络可以输出一副中点特征图以及四幅向量特征图。则检测到的线段起止点可用下式得出：
(xs,ys)＝(xc,yc)+dl
(xe,ye)＝(xc,yc)+dr
其中(xs,ys)、(xe,ye)为起止点二维平面坐标，(xc,yc)为中点坐标，dl为向量特征图中包含中点且位于中点坐标左侧的向量之和。dr为向量特征图中包含中点且位于中点坐标右侧的向量之和。将步骤S5获得的绝对误差图P送入绝对误差图检测分析神经网络中，获得含有线段信息的绝对误差图P′，以及一组线段簇{Lα|(xαs,yαs),(xαe,yαe)}，其中Lα表示线段α，(xαs,yαs)为线段α起点，(xαe,yαe)为线段α终点。
在一种实施方式中，分析结果包括含有线段信息的绝对误差图P′，以及一组线段簇{Lα|(xαs,yαs),(xαe,yαe)}，其中Lα表示线段α，(xαs,yαs)为线段α起点的坐标，(xαe,yαe)为线段α终点的坐标，步骤S6包括：
判断线段簇中的线段是否满足下列条件，如果满足，则去除该线段，
|yαe-yαs|>ε
其中yαs为线段α起点纵坐标，yαe为线段α终点纵坐标，ε为噪声控制参数；
对去除噪声后的误差图中的线段进行数量与位置上的分析，若数量为一条则说明无篡改，输出录音开始时的时间戳；若数量为两条则说明存在篡改，并进一步对这两条线段进行位置分析，若一条线段的中点与另一条线段的起点横坐标值相同则为删除类型的篡改，若不相同有缺口则为插入类型的篡改，且从左往右数的第一条直线的终点横坐标为篡改点。
具体来说，所需结果为水平直线，因此去除满足上面式子的线段，可以在一定程度上消除噪声线段的干扰。ε为噪声控制参数，在本实施方式中可取5。请参见图3-5，其中，图3展示了无篡改的情况下的音频波形图、电网频率信号示意图、绝对误差图以及绝对误差图分析结果。图4展示了删除部分录音情况下，音频波形图、电网频率信号示意图、绝对误差图以及绝对误差图分析结果。图5展示了插入部分录音情况下，音频波形图、电网频率信号示意图、绝对误差图以及绝对误差图分析结果。
总体来说，本发明与现有技术相比，具有如下优点和有益技术效果：
1)提出多谐波协同融合判别，充分利用频谱信息，扩大了固话取证的适用范围，提高了篡改取证的精确度。
2)使用绝对误差图进行篡改取证检测与分析，不仅能够检测出是否被篡改，还能对常见的篡改类型进行判断与定位。
3)改进利用绝对误差图检测分析神经网络，提高了对绝对误差图的分析精度与分析效率。
实施例二
基于同样的发明构思，本实施例公开了一种基于多谐波协同误差检测的固话篡改取证装置，包括：
预处理模块，用于对待检测的固话录音进行预处理；
变换与插值模块，用于对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；
多谐波误差计算模块，用于读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；
多谐波协同融合模块，用于对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；
绝对误差图分析模块，用于构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；
检测模块，用于对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。
由于本发明实施例二所介绍的装置为实施本发明实施例一中基于多谐波协同误差检测的固话篡改取证方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
实施例三
基于同一发明构思，本发明还提供了一种基于多谐波协同误差检测的固话篡改取证系统，包括实施例二所述的基于多谐波协同误差检测的固话篡改取证装置，还包括固话通话模块、通话记录模块以及电网频率参考信号数据库，其中，固话通话模块用于支持固话通话功能，通话记录模块用于将固话通话内容进行记录，将音频信号进行保存并传输至基于多谐波协同误差检测的固话篡改取证装置，电网频率参考信号数据库用于保存参考信号。
请参见图1，为本发明实施例中基于多谐波协同误差检测的固话篡改取证系统的框架与流程图。
具体来说，固话通话模块用于正常的固话通话功能，保证基本的通讯功能；通话记录模块是将固话通话内容记录下来，将音频信号保存记录下来并传输到PC数据处理模块(基于多谐波协同误差检测的固话篡改取证装置)中；PC处理模块主要是将固话录音保存处理，并对需要篡改取证的录音使用多谐波协同误差检测的方法输出检测结果；电网频率参考信号数据库主要保存参考信号，为篡改取证提供参考值。
由于本发明实施例三所介绍的系统为实施本发明实施例一中基于多谐波协同误差检测的固话篡改取证方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于多谐波协同误差检测的固话篡改取证方法，其特征在于，包括：
S1：对待检测的固话录音进行预处理；
S2：对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；
S3：读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；
S4：对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；
S5：构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；
S6：对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。
2.如权利要求1所述的基于多谐波协同误差检测的固话篡改取证方法，其特征在于，步骤S1包括：
对待检测的固话录音进行降采样，然后进行梳状滤波，得到预处理后的录音数据。
3.如权利要求1所述的基于多谐波协同误差检测的固话篡改取证方法，其特征在于，步骤S2包括：
S2.1：对预处理后的固话录音音频数据Sdown做短时傅里叶变换，得到音频数据对应的时频域序列X(k，n)，其中k表示短时傅里叶变换的第k帧，n表示短时傅里叶变换的第n个频点；
S2.2：对时频域序列进行截断，获得多谐波子序列，具体公式为：
其中Xm(k，n′)表示m次谐波子序列，n′表示截取后STFT的第n′个频点，fdown为电网频率最低安全频率，fup为电网频率最高安全频率，fs表示降采样后的音频的采样频率，N表示STFT频点的总个数；
S2.3：使用二次插值法估计STFT每帧的ENF值，根据STFT每帧的ENF值得到每个谐波的电网频率信号序列。
4.如权利要求3所述的基于多谐波协同误差检测的固话篡改取证方法，其特征在于，S2.3包括：
S2.3.1：对于STFT的第k帧，首先找到Xm(k，n′)中第k帧中最大频点坐标nmax，接着找到最大频点左右两侧的频点坐标nl、nr，并通过下式计算频率补偿值：
其中Δ为频率补偿值，Re(·)表示取复数的实部；
S2.3.2：根据下式计算第l帧的ENF值：
其中Em[k]表示由m次谐波子序列Xm(k，n′)估计出的第k帧的ENF信号值；
S2.3.3：对每一帧重复上述步骤S2.3.1～S2.3.2的操作得到每个谐波的电网频率信号序列。
5.如权利要求1所述的基于多谐波协同误差检测的固话篡改取证方法，其特征在于，步骤S3包括：
S3.1：读取用户输入的录音开始时间tb和结束时间te，从电网频率数据库中截取相应时间段内参考信号的时域信号；
S3.2：将参考信号的时域信号进行STFT变化与二次插值获得参考信号；
S3.3：采用下列公式分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵：
其中Hm表示m次谐波绝对误差矩阵，Em[k]表示m次谐波的电网频率信号，Y[l]表示参考信号，k0为Em[k]的长度，l0为Y[l]的长度，l表示参考信号的第l帧，l的取值范围为0～l0，k表示m次谐波的第k帧，k的取值范围为0～k0，Y[0]表示参考信号第0帧的电网频率值，Y[k0]表示表示参考信号第k0帧的电网频率值，Y[l0-k0]表示参考信号第l0-k0帧的电网频率值，Em[0]表示m次谐波第0帧的电网频率值，Em[k0-1]表示m次谐波第k0-1帧的电网频率值。
6.如权利要求1所述的基于多谐波协同误差检测的固话篡改取证方法，其特征在于，步骤S4包括：
S4.1：采用下列公式对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合：
其中Ho为融合后的矩阵，Hm表示2-7次谐波绝对误差矩阵；
S4.2：根据矩阵Ho生成热力图，将其作为绝对误差图P。
7.如权利要求1所述的基于多谐波协同误差检测的固话篡改取证方法，其特征在于，步骤S5中的神经网络，下采样卷积模块由2个1×1卷积层、1个3×3卷积层、3个正则化层、2个ReLU激励函数层构成，扩展卷积模块的输入包括正常顺序输入和跳步输入，将这两个输入连接到2个1×1卷积层，然后相加得到输出；残差上采样模块将输入连接到1个3×3卷积层，经过卷积层后与输入相加，并再次连接一个3×3卷积层，获得对应的输出；输出恢复模块，由2个3×3卷积层和一个1×1卷积层组成，其中第一个3×3卷积层为扩展卷积。
8.如权利要求1所述的基于多谐波协同误差检测的固话篡改取证方法，其特征在于，分析结果包括含有线段信息的绝对误差图P′，以及一组线段簇{Lα|(xαs，yαs)，(xαe，yαe)}，其中Lα表示线段α，(xαs，yas)为线段α起点的坐标，(xαe，yαe)为线段α终点的坐标，步骤S6包括：
判断线段簇中的线段是否满足下列条件，如果满足，则去除该线段，
|yαe-yαs|>ε
其中yαs为线段α起点纵坐标，yαe为线段α终点纵坐标，ε为噪声控制参数；
对去除噪声后的误差图中的线段进行数量与位置上的分析，若线段数量为一条则说明无篡改，输出录音开始时的时间戳；若数量为两条则说明存在篡改，并进一步对这两条线段进行位置分析，若一条线段的中点与另一条线段的起点横坐标值相同则为删除类型的篡改，若不相同有缺口则为插入类型的篡改，且从左往右数第一条线段的终点横坐标为篡改点。
9.一种基于多谐波协同误差检测的固话篡改取证装置，其特征在于，包括：
预处理模块，用于对待检测的固话录音进行预处理；
变换与插值模块，用于对预处理后的固话录音音频数据进行短时傅里叶变换，并使用二次插值法对2-7次谐波进行电网频率信号估计，获得2-7次谐波的电网频率信号；
多谐波误差计算模块，用于读取用户输入的录音时间段以及电网频率数据库中相应时间段内的电网频率参考信号，分别计算2-7次谐波信号与参考信号之间的绝对误差矩阵；
多谐波协同融合模块，用于对计算出的2-7次谐波与参考信号之间的绝对误差矩进行融合，生成绝对误差图；
绝对误差图分析模块，用于构建并训练用于绝对误差图检测分析的神经网络，将绝对误差图输入神经网络中，获得分析结果，其中，神经网络由四个模块重复堆叠形成，第一模块为特征下采样卷积模块，第二模块为扩展卷积模块，第三模块为残差上采样模块，第四模块为输出恢复模块，通过神经网络的处理后输出一副中点特征图以及四幅向量特征图；
检测模块，用于对分析结果进行检测，判断是否被篡改，当被篡改时，判断得出篡改类型及篡改位置。
10.一种基于多谐波协同误差检测的固话篡改取证系统，其特征在于，包括如权利要求9所述的基于多谐波协同误差检测的固话篡改取证装置，还包括固话通话模块、通话记录模块以及电网频率参考信号数据库，其中，固话通话模块用于支持固话通话功能，通话记录模块用于将固话通话内容进行记录，将音频信号进行保存并传输至基于多谐波协同误差检测的固话篡改取证装置，电网频率参考信号数据库用于保存参考信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410132336.7A CN118018643A (zh) | 2024-01-30 | 2024-01-30 | 一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410132336.7A CN118018643A (zh) | 2024-01-30 | 2024-01-30 | 一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118018643A true CN118018643A (zh) | 2024-05-10 |
Family
ID=90945790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410132336.7A Pending CN118018643A (zh) | 2024-01-30 | 2024-01-30 | 一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118018643A (zh) |
-
2024
- 2024-01-30 CN CN202410132336.7A patent/CN118018643A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Manhertz et al. | STFT spectrogram based hybrid evaluation method for rotating machine transient vibration analysis | |
| JP4740609B2 (ja) | 有声音および無声音の検出装置、並びにその方法 | |
| CN110839016A (zh) | 异常流量监测方法、装置、设备及存储介质 | |
| Zhang et al. | Morphological undecimated wavelet decomposition for fault location on power transmission lines | |
| CN112394224B (zh) | 音频文件产生时间溯源动态匹配方法及系统 | |
| Wang et al. | Digital audio tampering detection based on ENF consistency | |
| CN107808100B (zh) | 针对特定测试样本的隐写分析方法 | |
| CN107274915A (zh) | 一种基于特征融合的数字音频篡改自动检测方法 | |
| Xiao et al. | Audio authenticity: Duplicated audio segment detection in waveform audio file | |
| CN114387977B (zh) | 基于双域深度特征和注意力机制的语音裁剪痕迹定位方法 | |
| CN112151067B (zh) | 一种基于卷积神经网络的数字音频篡改被动检测方法 | |
| CN110991481A (zh) | 一种基于交叉小波变换的高压并联电抗器内部松动故障诊断方法 | |
| Lin et al. | Exposing speech tampering via spectral phase analysis | |
| CN110263944A (zh) | 一种多变量故障预测方法和装置 | |
| CN114639391A (zh) | 机械故障提示方法、装置、电子设备及存储介质 | |
| Grigoras et al. | Analytical framework for digital audio authentication | |
| Mao et al. | Electric network frequency based audio forensics using convolutional neural networks | |
| Nicolalde-Rodríguez et al. | Audio authenticity based on the discontinuity of ENF higher harmonics | |
| Zhang et al. | Integrated processing method for microseismic signal based on deep neural network | |
| Wang et al. | Speech Resampling Detection Based on Inconsistency of Band Energy. | |
| Li et al. | A Reliable Strategy for Improving Automatic First‐Arrival Picking of High‐Noise Three‐Component Microseismic Data | |
| CN112735466A (zh) | 一种音频检测方法及装置 | |
| Savari et al. | High-performance combination method of electric network frequency and phase for audio forgery detection in battery-powered devices | |
| CN118018643A (zh) | 一种基于多谐波协同误差检测的固话篡改取证方法、装置及系统 | |
| CN106653045A (zh) | 从音频信号提取诊断信号的方法及诊断装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |