CN116388884A - 防窃听超声波干扰样本设计方法、系统及装置 - Google Patents

防窃听超声波干扰样本设计方法、系统及装置 Download PDF

Info

Publication number
CN116388884A
CN116388884A CN202310653928.9A CN202310653928A CN116388884A CN 116388884 A CN116388884 A CN 116388884A CN 202310653928 A CN202310653928 A CN 202310653928A CN 116388884 A CN116388884 A CN 116388884A
Authority
CN
China
Prior art keywords
interference sample
ultrasonic
amplitude
ultrasonic interference
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310653928.9A
Other languages
English (en)
Other versions
CN116388884B (zh
Inventor
徐文渊
李鑫锋
冀晓宇
闫琛
陆炫存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310653928.9A priority Critical patent/CN116388884B/zh
Publication of CN116388884A publication Critical patent/CN116388884A/zh
Application granted granted Critical
Publication of CN116388884B publication Critical patent/CN116388884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/80—Optical aspects relating to the use of optical transmission for specific applications, not provided for in groups H04B10/03 - H04B10/70, e.g. optical power feeding or optical transmission through water
    • H04B10/85—Protection from unauthorised access, e.g. eavesdrop protection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04K—SECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00—Jamming of communication; Counter-measures
    • H04K3/60—Jamming involving special techniques
    • H04K3/62—Jamming involving special techniques by exposing communication, processing or storing systems to electromagnetic wave radiation, e.g. causing disturbance, disruption or damage of electronic circuits, or causing external injection of faults in the information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种防窃听超声波干扰样本设计方法、系统及装置，所述方法包括：将正常人声数据集进行预处理；获取数字域音频经超声波调制后被窃听麦克风解调出来的音频传递函数；获取超声波干扰样本的播放长度；建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值；根据音频传递函数、超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值计算得到混合音频，将混合音频进行限幅处理后输入语音识别系统；对训练集数据处理后输入语音识别系统，计算平均损失函数，进行梯度下降优化；对预测集中的数据进行评估，完成超声波干扰样本的设计。本发明可以实现防窃听。

Description

防窃听超声波干扰样本设计方法、系统及装置
技术领域
本发明涉及防窃听超声波干扰样本设计领域，尤其是涉及防窃听超声波干扰样本设计方法、系统及装置。
背景技术
信息泄露是长久以来一直困扰着人们的问题，随着智能设备的快速发展，利用一些先进的录音设备诸如智能手机，录音笔等窃取信息的手段显得更为方便和隐蔽，这对于个人、企业甚至国家而言都存在着不小的隐患。
为了解决这个问题，目前工程上较为常见的防录音窃听技术包括音频干扰技术和电磁波干扰技术：音频干扰技术通过播放一些背景噪声来湮没语音信号，但这种方式由于在空气中就产生了可听的噪声信号，给说话者带来极大的干扰和不便；电磁波干扰是通过发射大功率电磁波导致数码设备由于电磁耦合产生干扰信号，以妨碍正常录音。但由于现在的数码录音设备大多有抗干扰电路，其线路很难感应相应的电磁信号，同时电磁干扰的有效作用距离往往仅有数十厘米，能够有效干扰的手机型号十分有限，干扰功能受到了极大的约束，干扰距离短，干扰效果差，适用范围窄。
发明内容
本发明的目的在于提供一种防窃听超声波干扰样本设计方法、系统及装置，旨在解决录音设备窃听导致的信息泄露问题。
本发明提供一种防窃听超声波干扰样本设计的方法，包括：
S1、将正常人声数据集进行预处理，将正常人声数据集预处理后划分为训练集和预测集；
S2、获取数字域音频经超声波调制后被麦克风解调出来的音频传递函数；
S3、获取超声波干扰样本的播放长度；
S4、基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值；
S5、根据音频传递函数、超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值计算得到混合音频，将混合音频进行限幅处理后输入语音识别系统；
S6、对训练集中的每条数据重复S5，计算平均损失函数，并进行梯度下降优化；
S7、对预测集中的数据执行S5进行评估，完成超声波干扰样本的设计。
本发明还提供一种防窃听超声波干扰样本设计的系统，包括：
预处理模块410：用于将正常人声数据集进行预处理，将正常人声数据集预处理后划分为训练集和预测集；
获取模块420：用于获取数字域音频经超声波调制后被麦克风解调出来的音频传递函数；
播放长度模块430：用于获取超声波干扰样本的播放长度；
优化模块440：用于基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值；
计算模块450：用于根据音频传递函数、超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值计算得到混合音频，将混合音频进行限幅处理后输入语音识别系统；
梯度下降优化模块460：对训练集中的每条数据重复计算模块的步骤，计算平均损失函数，并进行梯度下降优化；
评估模块470：用于对预测集中的数据执行计算模块的步骤进行评估，用于完成超声波干扰样本的设计。
本发明实施例还提供一种防窃听超声波干扰样本设计的装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述方法的步骤。
采用本发明实施例，设计了一种干扰语音信号的样本，使得窃听设备无法获知正确的语音信号。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的防窃听超声波干扰样本设计方法的流程图；
图2是本发明实施例的一种防窃听超声波干扰样本设计方法的干扰样本使用示意图;
图3是本发明实施例的一种防窃听超声波干扰样本设计方法的便携装置示意图；
图4是本发明实施例的防窃听超声波干扰样本设计系统的示意图；
图5是本发明实施例的防窃听超声波干扰样本设计装置的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
方法实施例
根据本发明实施例，提供了一种防窃听超声波干扰样本设计方法，图1是本发明实施例的防窃听超声波干扰样本设计方法的流程图，如图1所示，具体包括：
S1、将正常人声数据集进行预处理，将正常人声数据集预处理后划分为训练集和预测集；
S2、获取数字域音频经超声波调制后被麦克风解调出来的音频传递函数；
S3、获取超声波干扰样本的播放长度；
S4、基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值；
S4具体包括：基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值，优化函数如下：
Figure SMS_1
其中，
Figure SMS_2
为正常人声，/>
Figure SMS_3
为超声波干扰样本，f为被投放超声波干扰样本的语音模型，
Figure SMS_4
为叠加超声波样本后的音频，/>
Figure SMS_5
为损失函数，H为传递函数，shift表示经过时间t后将超声波干扰样本叠加到正常人声上，C为任意音频的集合，/>
Figure SMS_6
，g代表了房间脉冲响应，G为待优化的房间脉冲响应集合，/>
Figure SMS_7
为模拟人声在距离影响下接收到的幅值变化情况。
S5、根据音频传递函数、超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值得到超声波干扰样本干扰后解调出的音频；
S5具体包括：将超声波干扰样本根据音频传递函数计算得到窃听麦克风解调出来的干扰样本基带信号
Figure SMS_8
，与超声波载波引起的底噪n叠加得到接收端实际录制的超声波干扰信号，并根据发送时间和幅值优化参数，将超声波干扰信号与正常人声数据集中的一条数据进行叠加，模拟实际用户谈话时实时的超声波防窃听干扰信号同时被麦克风模块接收到的混合音频，将混合音频进行限幅处理后输入语音识别系统。
S6、对训练集中的每条数据重复S5，计算平均损失函数，并进行梯度下降优化；
S6具体包括：对训练集中的每条数据重复S5，最小化目标函数计算平均损失函数，并进行梯度下降优化。
S7、对预测集中的数据执行S5进行评估，完成超声波干扰样本的设计。
具体实施方法如下：
本发明设计了一种物理可实现、具有鲁棒性、通用的超声波干扰样本。而超声波与正常声波的不同在于超声波在麦克风处的解调会发生强烈的非线性作用与失真，使得数字域模型往物理域迁移存在挑战。
本发明还对短扰动影响长语音，同一扰动影响不同对象的通用性进行研究。短时扰动的通用干扰样本一直以来都是非常困难的，我们结合了最新的理论研究成果，使用CTCloss以及静音信号等想法，取得一个综合性能更好的，隐蔽性更强的语音干扰样本。
总的来说，我们设计的语音干扰样本方案具有以下的特点：
1. 基础的语音干扰样本干扰能力：为了实现基础的语音干扰样本干扰能力，我们需要最小化以下函数：
Figure SMS_9
。其中，/>
Figure SMS_10
为正常人声，/>
Figure SMS_11
为我们投放的干扰样本，f为正常人声语音模型，/>
Figure SMS_12
为目标指令，/>
Figure SMS_13
为CTC损失函数。然而经过我们实验发现超声波音频的投放到接收之间存在失真，该失真可以用传递函数H描述，H可以通过实验测得，因此我们的目标是优化以下函数：/>
Figure SMS_14
；
2.较大的解空间：本发明使用超声波投放防窃听的干扰样本，这将是完全无声、不可听的干扰样本，隐蔽性极高。一般的语音干扰样本
Figure SMS_15
为了提高隐蔽性都需要受到可听性约束，一般来说/>
Figure SMS_16
。得益于超声波的不可听性，我们的/>
Figure SMS_17
即可，大大提升了解空间的范围与干扰的成功率。
3.通用目标扰动:考虑到发送的语音并不是完全固定的，因此本研究设计了一个尽可能泛化并且通用的干扰样本，通过同一个扰动能够影响尽可能多的说话人的语音。对此我们需要最小化
Figure SMS_18
,其中C为任意的指令集合。
4. 无需时间同步：本发明需要尽可能地在发出语音时进行语音干扰样本的投放。然而想要完美同步投放时间是不可能的，因此我们为干扰样本设计了一定的自适应调整范围，保证在存在投放误差的前提下依然可以干扰成功。通过部署麦克风检测说话时间，通过以下优化过程达到通用的无同步扰动：最小化
Figure SMS_19
。其中，shift表示经过时间t后将超声波干扰样本叠加到正常人声上，在本技术方案中时移时长
Figure SMS_20
。
5.物理可实现:本技术方案考虑了物理世界建模仿真可实现这一过程，为了模拟人在不同环境以及不同音量下的音频特征变化，我们需要优化以下等式：
Figure SMS_21
。其中，g代表了房间脉冲响应，G为待优化的房间脉冲响应集合，/>
Figure SMS_22
为模拟人声在距离影响下接收到的幅值变化情况，在本技术方案中
Figure SMS_23
。此外考虑到超声波的投放会在麦克风处产生一定的底噪，因此我们最终需要优化的等式为：
Figure SMS_24
。
首先我们需要找到一个具有代表性的语音指令数据集，以及确定一个期望的目标指令。我们的目标是训练一个尽可能短的扰动，使用25kHz的超声波音频进行发送，使得接收端解调得到的信号是我们的一个设计的干扰样本，在与其接收端正常的语音指令叠加时可以被误识别为我们的目标指令。举例来说，当用户发送语音指令“吃饭”时，我们发送一个不可听的超声波干扰样本与用户的命令同时叠加，使得窃听设备将语音指令识别为没有关联性的词语，如“睡觉”。
步骤1：正常人声数据集预处理。我们在进行了相关调研后使用了fluent speechcommands数据集。考虑到我们的实际应用场景，我们希望在用户输入指令时播放干扰样本，而fluent speech commands数据集包括的正是许多用户日常对语音助手所输入的指令，因此使用这个数据集可以比较好的增加实际的效果与成功率。我们按照9：1的比例将fluentspeech commands数据集划分为训练集与预测集。
步骤2：实验测得数字域音频经超声波调制后被麦克风解调出来的音频的传递函数。由于经超声波调制后的音频在解调过程中会发生一定程度的失真并产生一定的底噪。因此，我们对麦克风解调时实际接收到的底噪音频进行录制。
步骤3：确定长度。这里的长度指的是干扰样本的实际播放长度，这个长度受目标指令的长度限制，是不宜过短的。在我们的测试中我们使用了“open the door”指令作为了目标指令，在调参中确定是1.2s的是一个比较合适的长度。一般而言，长度越长成功率越高，但越长的长度需要更久的优化时间，因此我们折中确定了这样一个长度。
步骤4：使用梯度下降法，选定相关的优化参数对干扰样本进行优化训练。首先初始化我们的干扰样本为长度1.2s的随机噪声，并选定一条用于训练的fluent speechcommands数据，将其的长度延长到至少为1.2s，对这一条数据进行位置、幅值鲁棒的优化训练。
位置的鲁棒训练。与数字域的实验不同，物理世界中我们无法保证能够在用户发送语音指令的同时发送干扰样本。一般情况下，我们会检测到用户发送语音指令之后才会进行，在这之间往往存在长度不等的时延。因此，在每一轮的迭代优化中，我们会在0-0.08s中随机选择一个干扰样本注入的时间节点，这样我们就能获得一定的在时间频段上的泛化性。
对干扰样本与音频进行幅值鲁棒优化。由于人的语音音量是多样的且不可预测的，如果我们的优化功率与受害人音频能量不一致，将难实现优化得到的干扰样本仍然可以将受害人的声音成为我们期望的转录结果。为此，我们提出了响度自适应。这一步的主要目的是为了模拟声源与麦克风之间的距离不同时带来的音频强度变化的区别，以及人声不同音量下的区别，进一步提高泛化性能。对于语音指令的强度变化，我们将其幅值在0.5-1.5倍随机选择；对于声源与麦克风距离变化的影响，我们使用了指数函数e^-d进行建模，其中d是距离1m处的距离。最后我们严格遵守麦克风的原则，将信号的振幅限制在[-1,1]上。
步骤5：参数整合。得到了相关性能的具体参数后，将干扰样本使用步骤2得到的传递函数计算得到预测的解调出的音频数据，叠加噪声后使用步骤4得到的参数与选定的fluent speech commands中的一条数据进行叠加，并对其进行限幅处理后得到预测完成后解调出的音频。
步骤6：计算损失函数。最小化
Figure SMS_25
。在这里我们使用了CTC损失函数。CTC被广泛应用于时序数据的预测问题上，尤其是在语音识别的问题中，而CTC损失函数可以很好的表示干扰样本得到的结果与目标结果的距离。对于fluent speech commands训练数据集中的每一条指令重复步骤4-5，计算平均的损失函数，并进行梯度下降优化。
步骤7：验证集验证。同样使用步骤4-5中的步骤，对剩余90%的数据进行验证评估过程。
图2是本发明实施例的一种防窃听超声波干扰样本设计方法的干扰样本使用示意图，如图2所示；
将干扰音频AM调制到超声波载体上得到超声波干扰样本，人的说话语音叠加到超声波对抗样本后被窃听器接收，窃听器解调得到无关信息。
图3是本发明实施例的一种防窃听超声波干扰样本设计方法的便携装置示意图，如图3所示；
手机将干扰音频AM调制到超声波载体上得到超声波干扰样本，功率放大器用于将超声波干扰样本放大，远距离传播。
本发明提供了一种无需时间同步并且通用的超声波干扰样本，实现了对任意文本的干扰，没有噪声，干扰范围大，可以使得窃听器收到无意义的内容，不影响用户正常的沟通对话交流，隐蔽性强。
系统实施例一
根据本发明实施例，提供了一种防窃听超声波干扰样本设计系统，图4是本发明实施例的一种防窃听超声波干扰样本设计系统的示意图，如图4所示，具体包括：
预处理模块410：用于将正常人声数据集进行预处理，将正常人声数据集预处理后划分为训练集和预测集；
获取模块420：用于获取数字域音频经超声波调制后被麦克风解调出来的音频传递函数；
播放长度模块430：用于获取超声波干扰样本的播放长度；
优化模块440：用于基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值；
所述优化模块440具体用于：基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值，优化函数如下：
Figure SMS_26
，其中，/>
Figure SMS_27
为正常人声，/>
Figure SMS_28
为超声波干扰样本，f为被投放超声波干扰样本的语音模型，/>
Figure SMS_29
为叠加超声波样本后的音频，/>
Figure SMS_30
为损失函数，H为传递函数，shift表示经过时间t后将超声波干扰样本叠加到正常人声上，C为任意音频的集合，/>
Figure SMS_31
，g代表了房间脉冲响应，G为待优化的房间脉冲响应集合，/>
Figure SMS_32
为模拟人声在距离影响下接收到的幅值变化情况。
计算模块450：用于根据音频传递函数、超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值计算得到混合音频，将混合音频进行限幅处理后输入语音识别系统；
所述计算模块450具体用于：将超声波干扰样本根据音频传递函数计算得到窃听麦克风解调出来的干扰样本基带信号
Figure SMS_33
，与超声波载波引起的底噪n叠加得到接收端实际录制的超声波干扰信号，并根据发送时间和幅值优化参数，将超声波干扰信号与正常人声数据集中的一条数据进行叠加，模拟实际用户谈话时实时的超声波防窃听干扰信号同时被麦克风模块接收到的混合音频，将混合音频进行限幅处理后输入语音识别系统。
梯度下降优化模块460：对训练集中的每条数据重复计算模块的步骤，计算平均损失函数，并进行梯度下降优化；
所述梯度下降优化模块460具体用于：对训练集中的每条数据重复计算模块的步骤，最小化目标函数计算平均损失函数，并进行梯度下降优化。
评估模块470：用于对预测集中的数据执行计算模块的步骤进行评估，完成超声波干扰样本的设计；
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例一
本发明实施例提供一种防窃听超声波干扰样本设计装置，如图5所示，包括：存储器50、处理器52及存储在存储器50上并可在处理器52上运行的计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
装置实施例二
本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传输的实现程序，程序被处理器52执行时实现上述方法实施例中的步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换本发明各实施例技术方案，并不使相应技术方案的本质脱离本方案的范围。

Claims (10)

1.一种防窃听超声波干扰样本设计方法，其特征在于，包括：
S1、将正常人声数据集进行预处理后划分为训练集和预测集；
S2、获取数字域音频经超声波调制后被窃听麦克风解调出来的音频传递函数；
S3、获取超声波干扰样本的播放长度；
S4、基于梯度下降法，建立目标函数对超声波干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值；
S5、根据音频传递函数、超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值计算得到混合音频，将混合音频进行限幅处理后输入语音识别系统；
S6、对训练集中的每条数据重复S5，计算平均损失函数，并进行梯度下降优化；
S7、对预测集中的数据执行S5进行评估，完成超声波干扰样本的设计。
2.根据权利要求1所述的方法，其特征在于，所述S4具体包括：基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值，优化函数如下：
Figure QLYQS_1
，其中，/>
Figure QLYQS_2
为正常人声，/>
Figure QLYQS_3
为超声波干扰样本，f为被投放超声波干扰样本的语音模型，/>
Figure QLYQS_4
为叠加超声波样本后的音频，/>
Figure QLYQS_5
为损失函数，H为传递函数，shift表示经过时间t后将超声波干扰样本叠加到正常人声上，C为任意音频的集合，/>
Figure QLYQS_6
，g代表了房间脉冲响应，G为待优化的房间脉冲响应集合，/>
Figure QLYQS_7
为模拟人声在距离影响下接收到的幅值变化情况，n为麦克风处的底噪。
3.根据权利要求2所述的方法，其特征在于，所述S5具体包括：将超声波干扰样本根据音频传递函数计算得到窃听麦克风解调出来得到干扰样本基带信号
Figure QLYQS_8
，将干扰样本基带信号与超声波载波引起的底噪n叠加得到麦克风实际录制的超声波干扰信号，根据发送时间和幅值优化参数，将超声波干扰信号与正常人声数据集中的一条数据进行叠加得到混合音频，将混合音频进行限幅处理后输入语音识别系统。
4.根据权利要求3所述的方法，其特征在于，所述S6具体包括：对训练集中的每条数据重复S5，最小化目标函数计算平均损失函数，并进行梯度下降优化。
5.一种防窃听超声波干扰样本设计系统，其特征在于，包括：
预处理模块：用于将正常人声数据集进行预处理，将正常人声数据集预处理后划分为训练集和预测集；
获取模块：用于获取数字域音频经超声波调制后被麦克风解调出来的音频传递函数；
播放长度模块：用于获取超声波干扰样本的播放长度；
优化模块：用于基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值；
计算模块：用于根据音频传递函数、超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值计算得到混合音频，将混合音频进行限幅处理后输入语音识别系统；
梯度下降优化模块：对训练集中的每条数据重复计算模块的步骤，计算平均损失函数，并进行梯度下降优化；
评估模块：用于对预测集中的数据执行计算模块的步骤进行评估，完成超声波干扰样本的设计。
6.根据权利要求5所述的系统，其特征在于，所述优化模块具体用于：基于梯度下降法，建立目标函数对干扰样本进行优化训练，训练完成后得到超声波干扰样本投放时间、超声波干扰样本优化幅值和正常人声优化幅值，优化函数如下：
Figure QLYQS_9
，其中，/>
Figure QLYQS_10
为正常人声，/>
Figure QLYQS_11
为超声波干扰样本，f为被投放超声波干扰样本的语音模型，/>
Figure QLYQS_12
为叠加超声波样本后的音频，/>
Figure QLYQS_13
为损失函数，H为传递函数，shift表示经过时间t后将超声波干扰样本叠加到正常人声上，C为任意音频的集合，/>
Figure QLYQS_14
，g代表了房间脉冲响应，G为待优化的房间脉冲响应集合，/>
Figure QLYQS_15
为模拟人声在距离影响下接收到的幅值变化情况，n为麦克风处的底噪。
7.根据权利要求6所述的系统，其特征在于，所述计算模块具体用于：将超声波干扰样本根据音频传递函数计算得到窃听麦克风解调出来得到干扰样本基带信号
Figure QLYQS_16
，将干扰样本基带信号与超声波载波引起的底噪n叠加得到麦克风实际录制的超声波干扰信号，根据发送时间和幅值优化参数，将超声波干扰信号与正常人声数据集中的一条数据进行叠加得到混合音频，将混合音频进行限幅处理后输入语音识别系统。
8.根据权利要求7所述的系统，其特征在于，所述梯度下降优化模块具体用于：对训练集中的每条数据重复计算模块的步骤，最小化目标函数计算平均损失函数，并进行梯度下降优化。
9.一种防窃听超声波干扰样本设计装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的防窃听超声波干扰样本设计方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至4中任一项所述的防窃听超声波干扰样本设计方法的步骤。
CN202310653928.9A 2023-06-05 2023-06-05 防窃听超声波干扰样本设计方法、系统及装置 Active CN116388884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310653928.9A CN116388884B (zh) 2023-06-05 2023-06-05 防窃听超声波干扰样本设计方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310653928.9A CN116388884B (zh) 2023-06-05 2023-06-05 防窃听超声波干扰样本设计方法、系统及装置

Publications (2)

Publication Number Publication Date
CN116388884A true CN116388884A (zh) 2023-07-04
CN116388884B CN116388884B (zh) 2023-10-20

Family

ID=86971661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310653928.9A Active CN116388884B (zh) 2023-06-05 2023-06-05 防窃听超声波干扰样本设计方法、系统及装置

Country Status (1)

Country Link
CN (1) CN116388884B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970156A (en) * 1997-02-14 1999-10-19 Telefonaktiebolaget Lm Ericsson Method and apparatus for reducing periodic interference in audio signals
US20070201692A1 (en) * 2006-02-07 2007-08-30 Satoshi Furusawa Data transmission apparatus, data transmission method
JP2013081069A (ja) * 2011-10-04 2013-05-02 Tamagawa Gakuen 暗号光送信装置及び受信装置、並びに暗号通信システム
KR20160020170A (ko) * 2014-08-13 2016-02-23 전자부품연구원 초음파 신호 송수신 방법
CN107295148A (zh) * 2016-03-31 2017-10-24 北京中密安信息安全技术有限公司 防窃听录音方法和干扰屏蔽器
CN110492926A (zh) * 2019-07-26 2019-11-22 北京光锁科技有限公司 一种基于机器学习的光纤窃听定位方法、系统及电子设备
US20200021977A1 (en) * 2018-07-13 2020-01-16 The Regents Of The University Of California Systems and methods for encrypting communication between vehicles
US10897675B1 (en) * 2019-08-14 2021-01-19 Sonova Ag Training a filter for noise reduction in a hearing device
WO2021090482A1 (ja) * 2019-11-08 2021-05-14 日本電信電話株式会社 音場生成装置、音場生成方法、及び音場生成プログラム
WO2021121128A1 (zh) * 2020-06-08 2021-06-24 平安科技（深圳）有限公司 基于人工智能的样本评估方法、装置、设备及存储介质
CN113094933A (zh) * 2021-05-10 2021-07-09 华东理工大学 基于注意力机制的超声波损伤检测分析方法及其应用
WO2021160189A1 (zh) * 2020-02-14 2021-08-19 重庆邮电大学 WiFi干扰环境下的CSI人体跌倒识别方法
CN113539225A (zh) * 2021-07-22 2021-10-22 北京电信易通信息技术股份有限公司 一种基于强声换能器阵列的车载防窃听装置
WO2021258914A1 (zh) * 2020-06-24 2021-12-30 深圳前海微众银行股份有限公司 一种序列标注模型的训练方法及装置
CN114337850A (zh) * 2021-12-30 2022-04-12 浙江大学 一种基于超声波注入技术的防窃听方法及系统
CN114359193A (zh) * 2021-12-23 2022-04-15 华中科技大学 一种基于超声相控阵成像的缺陷分类方法及系统
CN115037406A (zh) * 2022-05-27 2022-09-09 南京理工大学 基于梯度下降法的干扰协方差矩阵估计方法
US20220416910A1 (en) * 2018-07-23 2022-12-29 Koninklijke Philips N.V. Ultrasound imaging system with transmit apodization
CN115549846A (zh) * 2022-09-19 2022-12-30 四川明察科技有限公司 一种新型防录音防窃听的方法和系统
CN115841821A (zh) * 2022-11-15 2023-03-24 浙江大学杭州国际科创中心 一种基于人类语音结构的语音干扰噪声设计方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970156A (en) * 1997-02-14 1999-10-19 Telefonaktiebolaget Lm Ericsson Method and apparatus for reducing periodic interference in audio signals
US20070201692A1 (en) * 2006-02-07 2007-08-30 Satoshi Furusawa Data transmission apparatus, data transmission method
JP2013081069A (ja) * 2011-10-04 2013-05-02 Tamagawa Gakuen 暗号光送信装置及び受信装置、並びに暗号通信システム
KR20160020170A (ko) * 2014-08-13 2016-02-23 전자부품연구원 초음파 신호 송수신 방법
CN107295148A (zh) * 2016-03-31 2017-10-24 北京中密安信息安全技术有限公司 防窃听录音方法和干扰屏蔽器
US20200021977A1 (en) * 2018-07-13 2020-01-16 The Regents Of The University Of California Systems and methods for encrypting communication between vehicles
US20220416910A1 (en) * 2018-07-23 2022-12-29 Koninklijke Philips N.V. Ultrasound imaging system with transmit apodization
CN110492926A (zh) * 2019-07-26 2019-11-22 北京光锁科技有限公司 一种基于机器学习的光纤窃听定位方法、系统及电子设备
US10897675B1 (en) * 2019-08-14 2021-01-19 Sonova Ag Training a filter for noise reduction in a hearing device
WO2021090482A1 (ja) * 2019-11-08 2021-05-14 日本電信電話株式会社 音場生成装置、音場生成方法、及び音場生成プログラム
WO2021160189A1 (zh) * 2020-02-14 2021-08-19 重庆邮电大学 WiFi干扰环境下的CSI人体跌倒识别方法
WO2021121128A1 (zh) * 2020-06-08 2021-06-24 平安科技（深圳）有限公司 基于人工智能的样本评估方法、装置、设备及存储介质
WO2021258914A1 (zh) * 2020-06-24 2021-12-30 深圳前海微众银行股份有限公司 一种序列标注模型的训练方法及装置
CN113094933A (zh) * 2021-05-10 2021-07-09 华东理工大学 基于注意力机制的超声波损伤检测分析方法及其应用
CN113539225A (zh) * 2021-07-22 2021-10-22 北京电信易通信息技术股份有限公司 一种基于强声换能器阵列的车载防窃听装置
CN114359193A (zh) * 2021-12-23 2022-04-15 华中科技大学 一种基于超声相控阵成像的缺陷分类方法及系统
CN114337850A (zh) * 2021-12-30 2022-04-12 浙江大学 一种基于超声波注入技术的防窃听方法及系统
CN115037406A (zh) * 2022-05-27 2022-09-09 南京理工大学 基于梯度下降法的干扰协方差矩阵估计方法
CN115549846A (zh) * 2022-09-19 2022-12-30 四川明察科技有限公司 一种新型防录音防窃听的方法和系统
CN115841821A (zh) * 2022-11-15 2023-03-24 浙江大学杭州国际科创中心 一种基于人类语音结构的语音干扰噪声设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴燕静;马卓然;徐文渊;: "基于电磁干扰模拟传感器的防窃听技术研究", 电子技术, no. 04 *
赵凌伟;张磊;: "基于Mel尺度的语音干扰效果评估方法研究", 无线电工程, no. 02 *

Also Published As

Publication number Publication date
CN116388884B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US10672416B2 (en) Causing microphones to detect inaudible sounds and defense against inaudible attacks
Chen et al. Metamorph: Injecting inaudible commands into over-the-air voice controlled systems
Roy et al. Inaudible voice commands: The {Long-Range} attack and defense
CN102867517B (zh) 用于手持设备的自适应有效噪声消除
US10707971B2 (en) Ultrasound ranging for mobile devices
Baumann et al. Voice spoofing detection corpus for single and multi-order audio replays
CN104467983A (zh) 编码源码的编码装置和方法,解码源码的解码装置和方法
KR101233271B1 (ko) 신호 분리 방법, 상기 신호 분리 방법을 이용한 통신 시스템 및 음성인식시스템
Liu et al. Covert underwater acoustic communication using whale noise masking on DSSS signal
JP7362168B2 (ja) 条件付き敵対的生成ネットワークに基づく時変水中音響チャネルのシミュレーション方法
Chen et al. Understanding the effectiveness of ultrasonic microphone jammer
CN106161820B (zh) 一种用于立体声声学回声抵消的通道间去相关方法
CN116388884B (zh) 防窃听超声波干扰样本设计方法、系统及装置
CN116366169B (zh) 超声波信道建模方法、电子设备及存储介质
Yu et al. Aerial acoustic communication for long-range applications based on single-carrier frequency domain equalization
US8675821B2 (en) Network audio testing system and network audio testing method thereof
Jiang et al. Camouflage covert communication in air by imitating Cricket’s sound
Zhang et al. Practical speech re-use prevention in voice-driven services
CN107197403A (zh) 一种终端音频参数管理方法、装置及系统
Zhu et al. Secure Voice Interactions With Smart Devices
Shi et al. A long-range aerial acoustic communication scheme
CN113707166B (zh) 语音信号处理方法、装置、计算机设备和存储介质
Fishta et al. A wireless communication system for urban water supply networks based on guided acoustic waves
Wang et al. SeVI: Boosting Secure Voice Interactions with Smart Devices
Guo et al. Defensive Measure of Audio Secret Communication Based on Beamforming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xu Wenyuan

Inventor after: Yan Chen

Inventor after: Ji Xiaoyu

Inventor after: Li Xinfeng

Inventor after: Lu Xuancun

Inventor before: Xu Wenyuan

Inventor before: Li Xinfeng

Inventor before: Ji Xiaoyu

Inventor before: Yan Chen

Inventor before: Lu Xuancun

GR01 Patent grant
GR01 Patent grant