CN106662915B - 使用伪白噪声将控制信号嵌入音频信号中的方案 - Google Patents

使用伪白噪声将控制信号嵌入音频信号中的方案 Download PDF

Info

Publication number
CN106662915B
CN106662915B CN201580024342.XA CN201580024342A CN106662915B CN 106662915 B CN106662915 B CN 106662915B CN 201580024342 A CN201580024342 A CN 201580024342A CN 106662915 B CN106662915 B CN 106662915B
Authority
CN
China
Prior art keywords
signal
audio
pseudo
audio signal
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580024342.XA
Other languages
English (en)
Other versions
CN106662915A (zh
Inventor
F.W.乌明格三世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/274,571 external-priority patent/US9928728B2/en
Priority claimed from US14/274,555 external-priority patent/US20150325115A1/en
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN106662915A publication Critical patent/CN106662915A/zh
Application granted granted Critical
Publication of CN106662915B publication Critical patent/CN106662915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3018—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a pilot signal outside the frequency band of the recorded main information signal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法包括：产生音频信号；产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于所述音频信号将音频递送给用户的装置中；以及通过使用伪随机信号将所述控制信号嵌入所述音频信号中以便形成编码音频信号。另一种方法包括：接收包括具有嵌入控制信号的音频信号的信号；通过使用伪随机信号从所接收的信号恢复所述控制信号；使用所述恢复的控制信号来控制并入用于递送音频的装置中的触觉反馈装置；从所接收的信号恢复所述音频信号；以及使用所述恢复的音频信号来在用于递送音频的所述装置中产生音频。系统执行类似步骤，并且非暂时性计算机可读存储介质各自存储一个或多个计算机程序。

Description

使用伪白噪声将控制信号嵌入音频信号中的方案
相关申请的交叉引用
本申请是2014年5月9日提交的名称为“SCHEME FOR EMBEDDING A CONTROLSIGNAL IN AN AUDIO SIGNAL USING PSEUDO WHITE NOISE”的美国专利申请号14/274,571的继续申请并要求其权益，所述申请的完整内容和公开内容由此以引用的方式整体并入本文。
本申请涉及2014年5月9日提交的名称为“SCHEME FOR EMBEDDING A CONTROLSIGNAL IN AN AUDIO SIGNAL”并且标识为代理人卷号131714[SCEA13032US00]的美国专利申请号14/274,555，所述申请的完整内容和公开内容由此以引用的方式整体并入本文。
发明背景
1.发明领域
本发明总体上涉及计算机模拟输出技术，并且更具体地涉及可由计算机模拟(诸如计算机游戏和视频游戏)采用的音频和触觉技术。
2.相关技术论述
诸如视频游戏的计算机游戏已经变为一种流行的娱乐来源。计算机游戏通常以计算机游戏软件应用来实现，而且经常在游戏控制台、娱乐系统、台式计算机、膝上型计算机和笔记本计算机、便携装置、板状装置等上运行。计算机游戏是一种类型的计算机模拟。
计算机游戏的用户通常能够在显示器上观看游戏玩法并且利用游戏控制器、游戏板、控制杆、鼠标或其他输入装置和/或输入技术来控制游戏的各个方面。计算机游戏通常还包括音频输出，使得用户能够听到由游戏产生的声音，例如像，由其他玩家的角色产生的声音，类似于语音、脚步声、物理对抗、枪声、爆炸、汽车追逐、汽车碰撞等。
触觉技术或触觉装置向装置或系统的用户提供物理感觉作为一种类型的反馈或输出。触觉技术可提供的所述类型的物理感觉的一些实例包括向用户施加力、振动和/或运动。
发明内容
一个实施方案提供一种方法，其包括：产生音频信号；产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于音频信号将音频递送给用户的装置中；以及通过使用伪随机信号将控制信号嵌入音频信号中以便形成编码音频信号。
另一个实施方案提供一种存储一个或多个计算机程序的非暂时性计算机可读存储介质，所述一个或多个计算机程序被配置来致使基于处理器的系统执行包括以下各项的步骤：产生音频信号；产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于音频信号将音频递送给用户的装置中；以及通过使用伪随机信号将控制信号嵌入音频信号中以便形成编码音频信号。
另一个实施方案提供一种系统，其包括：音频输出接口；中央处理单元(CPU)，其耦合到音频输出接口；以及存储器，其耦合到CPU并且存储程序代码，所述程序代码被配置来致使CPU执行包括以下各项的步骤：产生音频信号；产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于音频信号将音频递送给用户的装置中；通过使用伪随机信号将控制信号嵌入音频信号中以便形成编码音频信号；以及将编码音频信号提供到音频输出接口。
另一个实施方案提供一种方法，其包括：接收包括具有嵌入控制信号的音频信号的信号；通过使用伪随机信号从所接收的信号恢复控制信号；使用恢复的控制信号来控制并入用于递送音频的装置中的触觉反馈装置；从所接收的信号恢复音频信号；以及使用恢复的音频信号来在用于递送音频的装置中产生音频。
另一个实施方案提供一种存储一个或多个计算机程序的非暂时性计算机可读存储介质，所述一个或多个计算机程序被配置来致使基于处理器的系统执行包括以下各项的步骤：接收包括具有嵌入控制信号的音频信号的信号；通过使用伪随机信号从所接收的信号恢复控制信号；使用恢复的控制信号来控制并入用于递送音频的装置中的触觉反馈装置；从所接收的信号恢复音频信号；以及使用恢复的音频信号来在用于递送音频的装置中产生音频。
另一个实施方案提供一种系统，其包括：至少一个声音再现装置；至少一个触觉反馈装置；中央处理单元(CPU)，其耦合到至少一个声音再现装置和至少一个触觉反馈装置；以及存储器，其耦合到CPU并且存储程序代码，所述程序代码被配置来致使CPU执行包括以下各项的步骤：接收包括具有嵌入控制信号的音频信号的信号；通过使用伪随机信号从所接收的信号恢复控制信号；使用恢复的控制信号来控制至少一个触觉反馈装置；从所接收的信号恢复音频信号；以及使用恢复的音频信号来在至少一个声音再现装置中产生音频。
通过参照阐明其中利用本发明的实施方案的原理的说明性实施方案的以下详述和附图，将更好地理解本发明的各种实施方案的特征和优点。
附图简述
根据以下结合附图给出的更具体的描述，本发明的实施方案的以上和其它方面、特征以及优点将更清楚，其中：
图1是示出根据本发明的一些实施方案的系统的方框图；
图2是示出根据本发明的一些实施方案的方法的流程图；
图3A和图3B是示出根据本发明的一些实施方案的方法的频谱图；
图4是示出根据本发明的一些实施方案的方法的流程图；
图5A和图5B是示出根据本发明的一些实施方案的方法的频谱图；
图6A和图6B是示出根据本发明的一些实施方案的方法的频谱图；
图7A和图7B是示出根据本发明的一些实施方案的方法的频谱图；
图8是示出根据本发明的一些实施方案的方法的流程图；
图9A是示出根据本发明的一些实施方案的系统的方框图；
图9B是示出根据本发明的一些实施方案的系统的方框图；
图10是示出根据本发明的一些实施方案的方法的流程图；
图11是示出根据本发明的一些实施方案的系统的方框图；
图12是示出根据本发明的一些实施方案的基于计算机或其他处理器的设备/系统的方框图，所述设备/系统可用来运行、实现和/或执行本文展示和描述的任何方法和技术；并且
图13是示出根据本发明的一些实施方案的基于另一个处理器的设备/系统的方框图，所述设备/系统可用来运行、实现和/或执行本文展示和描述的方法和技术。
具体实施方式
如以上所提及的，触觉技术或触觉装置向装置或系统的用户提供物理感觉作为一种类型的反馈或输出。一些计算机游戏、视频游戏和其他计算机模拟采用触觉装置。例如，采用触觉装置的游戏垫可包括响应于视频游戏中的某些事件振动的换能器。此类振动由用户的手感受，这提供更逼真的游戏体验。
计算机游戏或其他计算机模拟可采用触觉装置的另一种潜在方式是通过使用并入用户所佩戴的头戴耳机或头戴受话器中的一个或多个触觉反馈装置。在这种情景中，触觉反馈装置可响应于计算机模拟中的某些事件，向用户的头部施加力、振动、和/或运动。此外，此类力、振动和/或运动向用户提供更逼真的体验。事实上，也包括将强振动耦合到收听者的头部的触觉反馈装置的高质量立体声头戴受话器可使得计算机游戏体验更具沉浸感。
在设计这种头戴受话器触觉反馈系统时面对的一个重要挑战是提供用于触觉反馈换能器元件的鲁棒控制机构。如果必须从游戏装置向头戴受话器提供独立音频和控制通信信道，那么可招致许多额外成本。
根据本发明的实施方案，触觉控制信号以音频信号质量不明显地降级的方式嵌入音频信号中，并且以使得控制信息可在头戴受话器单元上通过最小的所需处理来鲁棒地恢复。此外，触觉控制信号以触觉控制信号是听不见的方式嵌入音频信号中，这有助于避免惹恼用户。通过以下所描述的技术，触觉装置控制信息共享音频信道。据信，触觉控制信号在音频信号中的此类嵌入可削减成本并简化设计。
图1示出根据本发明的实施方案操作的系统100的实例。系统通常包括发射侧102和接收侧104。在发射侧102上，基于处理器的系统110用于运行计算机模拟，诸如计算机游戏或视频游戏。通过举例，基于处理器的系统110可包括娱乐系统、游戏控制台、计算机等。
在接收侧104上示出正佩戴音频递送设备122的用户120。在一些实施方案中，音频递送设备122可包括一个装置，所述装置被配置来佩戴在人类的头部上，并且将音频递送到人类的一只或两只耳朵。在所示出的实例中，音频递送设备122包括保持在靠近用户120的耳朵的适当位置中的一对小扩音器124和126。在一些实施方案中，小扩音器124和126可代替地包括任何类型的扬声器、耳塞式装置、耳内监测器装置、或任何其他类型的声音再现装置。通过举例，音频递送设备122可包括头戴耳机、头戴受话器、耳塞式装置等。在一些实施方案中，音频递送设备122包括麦克风。但麦克风不是必需的，并且因此在一些实施方案中，音频递送设备122不包括麦克风。
在一些实施方案中，音频递送设备122还包括一个或多个触觉反馈装置128和130。在一些实施方案中，一个或多个触觉反馈装置128和130并入音频递送设备122中。在一些实施方案中，触觉反馈装置128和130被配置来非常接近于用户120的头部。在一些实施方案中，触觉反馈装置128和130被配置来向用户120的头部施加力、振动和/或运动。触觉反馈装置128和130通常被可通过计算机模拟产生的触觉控制信号控制。通过举例，触觉反馈装置128和130可包括任何类型的触觉装置，诸如任何类型的触觉换能器等。
根据本发明的各种实施方案，音频信号和触觉控制信号由基于处理器的系统110产生。触觉控制信号随后嵌入音频信号中，以便产生随后发送到音频递送设备122的修改的音频信号。修改的音频信号到音频递送设备122的发送由箭头140指示，并且所述发送可经由有线或无线连接。音频递送设备122接收修改的音频信号并且提取触觉控制信号。
系统100的发射侧102的操作的实例现在将参考图2来描述，所述图2示出根据本发明的实施方案操作的方法200的实例。
步骤202中，产生音频信号。更具体地，当计算机模拟在基于处理器的系统110上运行时，它通常将产生音频。在一些实施方案中，音频通常包括模拟所产生的声音，并且也可包括模拟的其他用户的语音。例如，音频可包括其他用户的特征所产生的声音，诸如语音、脚步声、物理对抗、枪声、爆炸、汽车追逐、汽车碰撞等。
在一些实施方案中，所产生的音频将通常体现在基于处理器的系统110所产生的音频信号中。所产生的音频信号将正常地具有频率范围。在一些实施方案中，例如，所产生的音频信号的频率范围可以在大约20赫兹(Hz)至21千赫兹(kHz)的数量级上。但应当理解，所产生的音频信号可包括任何频率范围。
在步骤204中，产生被配置来控制一个或多个触觉反馈装置的控制信号。在一些实施方案中，所产生的控制信号可被配置来控制并入用于向用户递送音频的装置中的一个或多个触觉反馈装置。例如，在一些实施方案中，所产生的控制信号可被配置来控制并入头戴耳机、头戴受话器、耳塞式装置等中的一个或多个触觉反馈装置。此外，所使用类型的触觉反馈装置可被选择以便向用户的头部、耳朵、脖子、肩膀和/或其他身体部分或区域施加任何类型的力、振动、运动等。
在一些实施方案中，所产生的控制信号可被配置来响应于计算机模拟中的某些事件，激活或点火一个或多个触觉反馈装置。例如，所产生的控制信号可被配置来响应于任何情况和/或在计算机模拟的设计者和/或开发者所选择的任何时间，激活一个或多个触觉反馈装置。此外，所产生的控制信号可包括模拟或数字控制信号。例如，在一些实施方案中，控制信号可包括被配置来在预期时间点火触觉装置的小脉冲。例如，计算机模拟的设计者和/或开发者可经历模拟序列，并且无论他们何时想要触发触觉装置(诸如致使蜂鸣或振动)，他们将小脉冲插入控制信号中。
接下来，在一些实施方案中，控制信号嵌入音频信号中。步骤206和208示出根据本发明的一些实施方案的控制信号可如何嵌入音频信号中的实例。
具体地，在步骤206中，从所产生的音频信号滤出一个频率范围部分中的信号功率。图3A为示出此步骤的实例的频谱图。在一些实施方案中，所产生的音频信号可具有在大约20Hz至21kHz数量级上的频率范围，但应当理解所产生的音频信号可包括任何频率范围。如在图3A中示出的，滤出来自音频信号312的频率范围的部分310的信号功率。在所示出的实施方案中，滤出的频率范围部分310包括低于大约30Hz的所有频率。据信低于大约30Hz的频率是大部分人类不能听见的和/或大部分人类将不注意到其缺失的频谱部分。应当理解低于30Hz的范围仅是一个实例，并且30Hz的截止可根据本发明的实施方案变化。
在一些实施方案中，高通滤波器可用于移除低于所选择的截止频率(诸如30Hz)的信号功率。即所产生的音频信号被高通滤波高于大约30Hz，所以低于30Hz没有或几乎没有任何东西。将信号功率从非常低频率移除的一个原因是：这样频谱的听不见部分可用于携带触发触觉换能器和/或其他触觉装置的信息。即大部分人类不能听见或将不注意差异的频谱部分被滤出并且随后被触觉装置控制信息替换。因为人类通常不能听见或未注意低于大约30Hz的声音，在本实例中使用低于30Hz的范围。然而，如以下将讨论的，由于大部分人类在人类可听范围顶部附近或刚超过人类可听范围的最高频率处，通常不能听见或将不注意差异，也可使用人类可听范围的上端附近的较高频率。
在步骤208(图2)中，将所产生的控制信号调制到一个或多个载波上，所述一个或多个载波具有频率处于音频信号频率范围的滤出部分中。图3B为示出此步骤的实例的频谱图。如图所示，将所产生的控制信号调制到具有落在频率范围320内的频率的载波上。在所示出的实施方案中，频率范围320包括大约20Hz至30Hz的范围。此范围落在从其移除信号功率的滤出部分310内。此外，在一些实施方案中，范围320在基于处理器的系统110与音频递送设备122(图1)之间的音频通信信道的带宽内。
频率范围320中的调制控制信号和原始音频信号312的剩余部分的组合形成修改的音频信号。即调制载波被加到滤波的音频信号以便形成修改的音频信号。在一些实施方案中，修改的音频信号包括具有嵌入控制信号的音频信号。在一些实施方案中，修改的音频信号随后发送到接收侧上的音频递送装置，诸如音频递送设备122。在一些实施方案中，此类发送可首先包含向基于处理器的系统110的音频输出接口提供修改的音频信号。即，具有嵌入控制信号的音频信号可以被提供到基于处理器的系统110的音频输出接口。音频输出接口可随后经由有线或无线连接将修改的音频信号发送到音频递送装置。
在一些实施方案中，将所产生的控制信号调制到各自具有落在频率范围320内的频率的一个或多个载波上。例如，仅一个或多个载波可各自被控制信号信息调制。在一些实施方案中，已知的技术可用于将控制数据调制到载波上。以上提及所产生的控制信号可包括模拟或数字控制信号。在一些实施方案中，当旨在点火触觉装置时，通过插入小20Hz脉冲将所产生的控制信号调制到载波上。例如，计算机模拟的设计者和/或开发者可经历模拟序列，并且无论他们何时想要触发触觉装置(诸如致使蜂鸣或振动)，他们插入小脉冲或在大致20-30Hz之间范围内的其他信号。在一些实施方案中，这种脉冲的振幅应当是合理强大的，因为它必须在接收侧上被检测，但振幅应当优选不是过强的因为它可能致使限幅。在一些实施方案中，这包括可将触觉装置控制信号嵌入音频信号中的一个方式。但应当理解在一些实施方案中，数字触觉装置控制信号可被调制到20Hz至30Hz范围内的一个或多个载波上。
因此，控制数据被调制到频谱部分中的载波上，大部分人类不能听见所述频谱部分或将不注意缺失音频，但所述频谱部分仍在游戏装置(或其他系统)与头戴受话器之间的音频通信信道的带宽内。具体地，在以上所描述的实例中，信息已经被调制到20Hz至30Hz范围内的频率上。在一些实施方案中，通过在加入调制控制信号之前，首先从发射侧上的游戏音频滤出在频率范围的所选择部分中的所有信号功率来完成这一点。在所示出的实例中，频率范围的所选择部分低于30Hz，但此截止频率可以被调整并且它在一些实施方案中可以是不同的范围。
现在将描述系统100(图1)的接收侧104的操作的实例。在一些实施方案中，用于递送音频的装置(诸如音频递送设备122)接收包括具有嵌入控制信号的音频信号的信号。在一些实施方案中，控制信号可嵌入音频信号中，如以上所描述的。在一些实施方案中，音频信号从所接收的信号恢复，并且随后恢复的音频信号用于在用于递送音频的装置中产生音频。类似地，在一些实施方案中，控制信号从所接收的信号恢复，并且随后恢复的控制信号用于控制并入用于递送音频的装置中的触觉反馈装置。
在一些实施方案中，滤波用于从所接收的信号恢复音频信号。例如，对所接收的信号进行滤波，以便从所接收信号的频率范围的部分P移除音频信号功率来形成恢复的音频信号。似地，在一些实施方案中，滤波用于从所接收的信号恢复控制信号。例如，对所接收的信号进行滤波，以便从所接收信号的频率范围的以上提及部分P之外的频率移除信号功率来形成滤波的信号。随后，在一些实施方案中，此第二滤波信号被解码以便提取控制信号。
现在将更详细地解释此类滤波的使用。即将参考图4描述包含滤波的系统100的接收侧104的操作的实例，其示出根据本发明的实施方案操作的方法400的实例。总体上，方法400包含接收修改的音频信号，并且随后从所接收的信号提取或恢复嵌入触觉装置控制信息。
具体地，在步骤402中接收信号。在一些实施方案中，信号包括修改的音频信号，如以上所描述的。例如，所接收的信号可包括具有嵌入控制信号的音频信号。在一些实施方案中，所接收的信号可包括音频信号，其具有被调制到大部分人类不能听见和/或不注意的一个或多个频谱部分中的载波上的触觉装置控制信号。这样，所接收的信号将通常包括频率范围。
在一些实施方案中，信号可由音频递送装置接收，诸如以上所描述的音频递送设备122(图1)，其可包括头戴耳机、头戴受话器、耳塞式装置等。在一些实施方案中，此类音频递送装置也可包括一个或多个触觉反馈装置，其可并入音频递送装置中。
总体上，在一些实施方案中，所接收的信号分成两个路径。一个路径将向头戴受话器扬声器或其他声音再现装置提供音频输出，并且另一个路径将用于提取控制信号数据。步骤404示出第一路径的实例。
具体地，在步骤404中，对所接收的信号进行滤波以便从频率范围部分移除音频信号功率来形成第一滤波信号。例如，继续以上所描述的示例性实施方案，其中触觉装置控制信息已经被调制到20Hz至30Hz范围内的频率上，低于30Hz的音频信号功率被滤出。剩余信号随后呈现到用户的音频递送装置扬声器，如所期望的游戏或其他模拟音频。
此步骤的实例在图5A中示出。具体地，对所接收的信号510进行滤波，以便移除低于30Hz的音频信号功率，其被示出作为滤出部分512。因为触觉装置控制信息包括在滤出部分512中，所以剩余信号可用于驱动用户的音频递送装置扬声器或其他声音再现装置，而没有触觉装置控制信息所致使的干扰或失真。在一些实施方案中，高通滤波器可用于执行滤波。
在步骤406(图4)中，第一滤波信号用于产生音频。例如，第一滤波信号可用于驱动与音频递送装置相关联的扬声器或其他声音再现装置。因此，在一些实施方案中，第一滤波信号表示恢复的音频信号。
步骤408示出以上所提及的将用于提取控制信号数据的第二路径的实例。具体地，在步骤408中，对所接收的信号进行滤波以便从20Hz至30Hz范围之外的频率移除信号功率来形成第二滤波信号。例如，继续以上所讨论的相同示例性实施方案，所接收的信号的高于30Hz的信号功率被滤出。
此步骤的实例在图5B中示出。具体地，对所接收的信号进行滤波，以便移除高于30Hz的所有信号功率。剩余部分514仅包括发射侧上被调制到20Hz至30Hz范围内的频率上的触觉装置控制信息。在一些实施方案中，低通滤波器可用于执行滤波。
最后，在步骤410(图4)中，第二滤波信号用于控制触觉反馈装置。如以上所提及的，在一些实施方案中，触觉反馈控制装置可并入用于递送所产生的音频的装置中。在一些实施方案中，使用第二滤波信号来控制触觉反馈装置的步骤可包括解码第二滤波信号，以便提取被配置来控制触觉反馈装置的控制信号。例如，在滤波步骤408之后，所得信号(即剩余部分514)可传送到提取控制数据的解码器。在一些实施方案中，所提取的控制数据对应于恢复的控制信号。所提取的控制数据随后用于控制触觉反馈装置，诸如触觉反馈振动器。
因此，如以上所描述的，本发明的各种实施方案提供将可以是数字或模拟的数据信号嵌入在音频信号内的方式，以便不破坏声音的可听质量。数据可以鲁棒地以及通过最小所需计算来提取。在一些实施方案中，嵌入信号用于控制一个或多个触觉反馈装置的目的。
在以上所描述的实例中提及：因为人类通常不能听见或不注意到20Hz至30Hz范围内的声音，所以低于30Hz的频率范围用于携带控制信息。类似地，在一些实施方案中，人类可听范围的上端附近的较高频率也可用于携带控制信息，由于人类通常也不能听见或不注意到那些频率。
图6A和图6B为示出在一些实施方案中使用较高频率范围以用于携带控制信息的实例的频谱图。在一些实施方案中，这些图示出在发射侧上执行的步骤。如在图6A中示出的，滤出来自发射侧上产生的音频信号612的频率范围的部分610的信号功率。在所示出的实施方案中，被滤出的频率范围部分610包括高于大约19千赫兹(kHz)的所有频率。据信高于大约19kHz的频率是大部分人类不能听见或不注意到的频谱部分。应当理解高于19kHz的范围仅是一个实例，并且19kHz的截止可在一些实施方案中变化。
图6B示出发射侧上产生的控制信号被调制到具有在频率范围的滤出部分中的频率的载波上的实例。如图所示，将所产生的控制信号调制到具有落在频率范围620内的频率的载波上。在所示出的实施方案中，频率范围620包括大约19kHz至21kHz的范围。此范围落在从其移除信号功率的滤出部分610内。此外，在一些实施方案中，范围620在基于处理器的系统110与音频递送设备122(图1)之间的音频通信信道的带宽内。频率范围620中的调制控制信号和原始音频信号612的剩余部分的组合形成修改的音频信号。在一些实施方案中，将所产生的控制信号调制到各自具有落在频率范围620内的频率的一个或多个载波上。
在一些实施方案中，低通滤波器可用于移除高于所选择的截止频率(诸如19kHz)的信号功率。即，所产生的音频信号被低通滤波低于大约19kHz，所以高于19kHz几乎没有任何东西。另外，将信号功率从非常高频率移除的一个原因是：这样频谱的听不见部分可用于携带触发触觉换能器和/或其他触觉装置的信息。即大部分人类不能听见或不注意到的频谱部分被滤出并且随后被触觉装置控制信息替换。在此实例中，高频率在一些实施方案中可以在人类可听范围顶部附近或刚超过人类可听范围。
在接收侧上，为了恢复或提取控制信息，在一些实施方案中，所接收的信号分成两个路径。一个路径将向头戴受话器扬声器提供音频输出，并且另一个路径将用于提取控制信号数据。具体地，针对第一路径，对所接收的信号进行滤波，以便移除高于19kHz的所有音频信号功率。因为触觉装置控制信息包括在滤出部分中，所以剩余信号可用于驱动用户的音频递送装置扬声器、或其他声音再现装置，而没有触觉装置控制信息所致使的干扰或失真。
针对第二路径，对所接收的信号进行滤波，以便移除低于19kHz的所有信号功率。剩余部分仅包括发射侧上被调制到19kHz至21kHz范围内的频率上的触觉装置控制信息。所得信号可随后用于控制触觉反馈装置，其可包括解码所得信号以便提取被配置来控制触觉反馈装置的控制信号。例如，所得信号可传送到提取控制数据的解码器。所提取的控制数据随后用于控制触觉反馈装置，诸如触觉反馈振动器。在一些实施方案中，所提取的控制数据对应于恢复的控制信号。
在一些实施方案中，低频率范围和高频率范围两者都可用于携带控制信息。图7A和图7B是示出这种实施方案的实例的频谱图。在一些实施方案中，这些图示出在发射侧上执行的步骤。具体地，参考图7A，在发射侧上来自游戏或其他模拟音频710的处于大部分人类不能听见或不注意到的两个频率范围部分712和714中的信号功率被滤出。例如，如所示出的，在加入调制控制信号之前，滤出在高于19kHz和低于30Hz频率范围内的信号功率。参考图7B，控制数据随后被调制到大部分人类不能听见或不注意的频谱部分722和724中的载波上，但所述频谱部分仍在游戏或其他基于处理器的装置与头戴受话器之间的音频通信信道的带宽内。具体地，在所示出的实例中，在19kHz–21kHz的范围内以及20Hz–30Hz之间的频率上调制控制信息。
在接收侧上，在一些实施方案中，类似于如以上所讨论的，信号分成两个路径。一个路径将向头戴受话器扬声器提供音频输出，并且另一个路径将用于提取控制信号数据。针对第一路径，滤出高于19kHz以及低于30Hz的音频信号功率。剩余信号随后呈现到用户的头戴受话器扬声器，或其他声音再现装置，如所期望的游戏音频。在一些实施方案中，这对应于恢复的音频信号。针对第二路径，滤出30Hz与19kHz之间的信号功率，以及随后将所得信号传送到提取控制数据的解码器，所述控制数据随后用于控制触觉反馈装置。
因此，如以上和本文所描述的，在一些实施方案中听不见的、或接近听不见的频谱部分可用于携带触发触觉换能器或其他触觉反馈装置的信息。在一些实施方案中，听不见的触觉控制信号嵌入音频信号中，并且嵌入控制信号可具体地用于控制还合并音频回放的一个或多个触觉反馈装置。
在一些实施方案中，这种方案可通过滤出大部分人类不能听见或大部分人类不注意到和/或许多人类仅能够勉强听见的一个或多个频谱部分来实现。在一些实施方案中，频谱的滤出部分可在人类可听范围的低端附近、人类可听范围的高端附近、或两者。例如，人类通常不能听见或不注意到在大约20Hz以下、还有在大约20kHz以上的声音。在一些实施方案中，高通滤波器可用于滤出可听范围的低端附近的部分，并且低通滤波器可用于滤出可听范围的高端附近的部分。此类滤波可移除那些范围中的几乎所有可听频率。在一些实施方案中，仅使用可听范围的低端附近的部分，或仅使用可听范围的高端附近的部分可以是有利的。
在以上所描述的实例中，30Hz用作低端上的截止，并且19kHz用作高端上的截止。应当理解这些只是实例，并且位于低端和/或高端处的截止频率可根据本发明的各种实施方案变化。例如，在一些实施方案中，可在低端处使用大约或接近40Hz、35Hz、27Hz、25Hz、22Hz、20Hz或任何其他频率的截止频率。类似地，在一些实施方案中，可在高端处使用大约或接近17kHz、18kHz、19.5kHz、20kHz或任何其他频率的截止频率。
在一些实施方案中，可通过考虑一个或多个设计折衷来选择截止频率。例如，在人类可听范围的低端上，截止频率越高，在截止以下存在越多的用于控制数据/信号的带宽。即如果截止频率是较高的，那么在低端处可嵌入更多的控制信息。从另一个方面来说，截止频率越低，存在越多的用于音频的带宽。即如果截止频率是较低的，那么音频信号可保持更多的较低频率音频声音。
类似地，在人类可听范围的高端上，截止频率越低，在截止以上存在越多的用于控制数据/信号的带宽。即如果截止频率是较低的，那么在高端处可嵌入更多的控制信息。从另一个方面来说，截止频率越高，存在越多的用于音频的带宽。即如果截止频率是较高的，那么音频信号可保持更多的较高频率音频声音。
在一些实施方案中，对选择截止频率的一个考虑可包括确定用户有多在意他们听见的音频的质量。例如，如果用户想要最好的音频质量，那么截止频率可以被选为正好在或刚超过大部分人类不再能够听见的低频率和高频率。此类截止频率将为音频提供大量的带宽。从另一个方面来说，如果用户不想要或需要最好的音频质量，那么例如在低端处的截止频率可上升，以使得它可能会延伸到人类可听范围部分中。类似地，例如高端处的截止频率可降低，以使得它可能会延伸到人类可听范围部分中。这将轻微地降级音频质量，但将允许更多的用于控制信息的带宽。
因此，例如，如果需要低端上的最好音频质量，那么截止频率可被设置在等于或低于30Hz的频率，在所述30Hz处人类听力开始迅速减少。从另一个方面来说，如果不需要低端上的非常好的音频质量，那么截止频率可被设置高于30Hz。例如，如果用户不在意音频中的低音声音质量，那么截止频率可能可以被设置到类似差不多60Hz。因此，在一些实施方案中，截止频率被设置成低于人类听力，或其中用户不在意降级的低音质量的点。
在一些实施方案中，仅在低端处或仅在高端处具有高质量音频可能是重要的。在此类实施方案中，可以选择截止频率以便适应这些需要。例如，如果在低端处而非高端处需要高质量音频，那么低端处的截止频率可以被设置成非常低以便包括最低的人类可听频率。并且高端处的截止频率可以被设置在某种程度上低的，可能延伸到最高的人类可听频率中，以便为控制信息提供更大带宽。因此，在一些实施方案中，对频率范围的一端处的质量音频的需要可以通过频率范围的另一端处的用于控制信息的更大带宽来偏置。
在选择音频信号的低端和/或高端的截止频率之后，随后在一些实施方案中，频率被清除出音频信号以便为控制信息让出空间。如以上所提及的，高通滤波器可用于清除低端处的频率，并且低通滤波器可用于清除高端处的频率。在一些实施方案中，并且取决于所使用的滤波器的质量，在滤波过程中可能存在泄漏。例如，在图7A中，在低端上存在低于30Hz的音频信号的泄漏730，并且在高端上存在高于19kHz的音频信号的泄漏732。如图所示，泄漏致使截止不是尖锐的。在一些实施方案中，较高质量滤波器可使得截止更尖锐而具有较少泄漏。在一些实施方案中，此类泄漏是在选择截止频率时的另一个考虑。
在将音频信号的低端和/或高端滤波之后，随后可加控制信息。控制信息可嵌入低端的滤波部分、高端的滤波部分、或两端的滤波部分中。在一些实施方案中，控制信息通过将其调制到一个或多个载波上来嵌入，所述一个或多个载波具有在音频信号的一个或两个滤出部分内的频率。在一些实施方案中，调制过程的一部分包含产生具有在音频信号的滤出部分内的频率的一个或多个载波。在一些实施方案中，振荡器可用于产生载波。振荡器的使用允许开发者选择发送的波的种类。然而，在一些实施方案中，振荡器的使用可致使振铃。这样，不需要振荡器的使用。因此，在一些实施方案中，不使用振荡器。
如以上所提及的，所产生和嵌入的控制信号可包括模拟或数字控制信号。例如，在一些实施方案中，控制信号可包括无论触觉装置何时应当被激活而插入的小20Hz脉冲。在一些实施方案中，控制信号可包括无论触觉装置何时应当被激活而插入的小25Hz脉冲、27Hz脉冲、或具有滤出部分内的任何频率的脉冲。
在一些实施方案中，可存在嵌入控制信号的泄漏或溢出。例如，在图7B中，在低端上存在高于30Hz的控制信号的泄漏740，并且在高端上存在低于19kHz的控制信号的泄漏742。在一些实施方案中，此类泄漏或溢出是在选择截止频率时的另一个考虑。例如，在一些实施方案中，实际最低地将控制信号嵌入在低端上可以是有利的，例如像大约20Hz，以使得控制信号不溢出过高到音频信号中。
在一些实施方案中，嵌入控制信号的潜在泄漏或溢出提出可以考虑的附加设计折衷。例如，可通过使控制信号更响亮来更容易从任何溢出(在音频侧上)分辨出所述控制信号，但随后存在更少的用于音频的净空。此外，另一个约束是两个信号加在一起，这在某点将提高峰值。将它们加在一起提升它们将限幅的可能性，并且优选避免限幅。
另一个设计折衷的实例是控制信号的带宽越窄，它在时域中越宽。这意味着窄带宽控制信号将不是非常尖锐和快速的。例如，20Hz控制信号将是50毫秒(msec)，这意味着它将不比大约50msec的长度更尖锐，所述大约50msec的长度不是非常尖锐的。相反，控制信号的带宽越宽，它在时域中越短。因此，为了具有尖锐和快速的控制信号，它将需要占用更多的频率空间。例如，1000Hz控制信号将降低到1msec的长度，所述1msec的长度将是锐利和快速的，但它对于音频将是糟糕的，因为它将充分延伸到人类可听范围(诸如人类语音的范围)中。
最后，在一些实施方案中，在原始音频信号被修改以便嵌入控制信息之后，将修改的信号发送到接收侧。在接收侧处，在一些实施方案中，控制信息嵌入在其中的频率范围被隔离。以上已经描述实例。随后在该频率范围中检测控制信息。例如，在一些实施方案中，在隔离频率范围中检测随后用于触发触觉装置的控制脉冲。
现在将描述根据本发明的一些实施方案的另一种技术，所述技术可用于将控制信号嵌入音频信号中。在一些实施方案中，此技术类似于扩展频谱技术，并且使用在从发射侧到接收侧的传输过程中保存下来的低电平伪随机白噪声。
总体上，在一些实施方案中，低电平伪随机白噪声用于将触觉装置控制信号隐藏在音频信号中。隐藏触觉装置控制信号的另一种方式将为将其编码在音频信号的低数位中。例如，最低有效位可以用作触觉装置的开/关。但关于此技术的一个问题是音频压缩将扰频低数位，这意味着触觉装置控制信号可能未在接收侧上恢复。可能打断低数位的另一个过程是组合的数模和模数转换。如果低数位被移除并且不承受音频压缩，那么它们仍可能被噪声扰频。如果触觉装置控制信号以足够高的振幅嵌入音频信号中以使得它将不被噪声扰频，那么用户将听见它，这对于用户将是讨厌的。
在一些方面中，在本技术的一些实施方案中使用的低电平伪随机白噪声类似于人造低数位。或相反，低数位类似低电平白噪声。因此，本技术的一些实施方案使用听起来像低电平白噪声的信号，但所述信号将在从发射侧到接收侧的传输过程中保存下来并且可以被解码。
因此，在本发明的一些实施方案中，通过使用伪随机信号将控制信号嵌入音频信号中以便形成编码音频信号。并且在接收侧上，在一些实施方案中，控制信号和/或音频信号通过使用伪随机信号从编码音频信号恢复。
总体上，在一些实施方案中，技术操作如下。在发射侧上，例如像发射侧102(图1)上，原始音频信号乘以伪随机信号(例如像低电平伪随机白噪声信号)以便形成第一合成信号。在一些实施方案中，低电平伪随机白噪声信号被配置，以使得将第一合成信号再次乘以伪随机白噪声信号将产生原始音频信号。随后将触觉装置控制信号加到第一合成信号以便形成第二合成信号。第二合成信号随后乘以低电平伪随机白噪声信号以便形成编码音频信号。随后将编码音频信号发射到接收侧，例如像接收侧104。
在一些实施方案中，编码音频信号听起来像原始音频信号加上一些相加的白噪声。在没有最后乘法的情况下，输出将是白噪声。在一些实施方案中，发送处于听起来像白噪声的编码形式的组合的音频和嵌入控制信号可能是令人希望的。但当执行最后的乘法时，编码音频可能以感知上类似于原始音频的形式发送到接收侧。
在接收侧上，在一些实施方案中，编码音频信号首先乘以低电平伪随机白噪声信号以便形成第一合成信号。在一些实施方案中，通过对第一合成信号进行滤波，从第一合成信号恢复触觉装置控制信号。在一些实施方案中，针对从第一合成信号恢复触觉装置控制信号不需要滤波。例如，在一些实施方案中，通过施加阈值或施加某个其他噪声减少或信号检测技术，从第一合成信号恢复触觉装置控制信号。在一些实施方案中，通过将第一合成信号乘以低电平伪随机白噪声信号，从第一合成信号恢复音频信号。
现在将更详细地描述在系统100的发射侧102上的本技术的操作实例。图8示出根据本发明的一些实施方案操作的方法800的实例，并且图9A示出根据本发明的一些实施方案的可用于执行方法800的发射侧系统900的实例。在一些实施方案中，方法800和发射侧系统900执行编码音频信号以便包括控制信号的方法。在一些实施方案中，方法800和发射侧系统900可由基于处理器的系统诸如基于处理器的系统110(图1)实现。
在步骤802中，产生音频信号。类似于如以上所描述的，音频可由在基于处理器的系统上运行的计算机模拟产生。在一些实施方案中，所产生的音频将通常体现在具有频率范围的音频信号中。在一些实施方案中，例如，所产生的音频信号的频率范围可以在大约20赫兹(Hz)到21千赫兹(kHz)的数量级上。但应当理解所产生的音频信号可包括任何频率范围。
在图9A中，所产生的音频信号被示出为x[n]，其具有对应频谱图910。音频信号x[n]包括人类可听范围中的基本上全部的音频频谱。
在步骤804中，类似于如以上所描述的，产生被配置来控制一个或多个触觉反馈装置的控制信号。在一些实施方案中，所产生的控制信号可被配置来控制并入用于向用户递送音频的装置中的一个或多个触觉反馈装置。此外，类似于如以上所描述的，在一些实施方案中，所产生的控制信号可被配置来响应于计算机模拟中的某些事件，激活或点火一个或多个触觉反馈装置。并且所使用类型的触觉反馈装置可以被选择以便向用户的头部、耳朵、脖子、肩膀和/或其他身体部分或区域施加任何类型的力、振动、运动等。
在图9A中，所产生的控制信号被示出为t[n]，其具有对应频谱图912。控制信号t[n]是将隐藏在音频信号中的信号。在所示出的实施方案中，控制信号t[n]包括窄频带。这样，因为非常它在一个窄频带处是非常集中的，控制信号t[n]达到峰值。在一些实施方案中，控制信号t[n]可包括处于窄频带中被配置来在预期时间点火触觉装置的小脉冲。在一些实施方案中，控制信号t[n]的窄频带可以定位在音频频谱中的许多不同位置处。这一点的一个原因是，在一些实施方案中，控制信号t[n]定位在与人类听力无关的扰频域中。
如以上所提及的，本技术的一些实施方案使用在从发射侧到接收侧的传输过程中保存下来的低电平伪随机白噪声。因此，在一些实施方案中，下一个步骤是产生伪随机信号。随后，在一些实施方案中，通过使用伪随机信号将控制信号嵌入音频信号中以便形成编码音频信号。
可使用不同类型的伪随机信号。在一些实施方案中，伪随机信号可包括具有伪随机可逆算子作为值的信号。以下将讨论这种实施方案的实例。在一些实施方案中，伪随机信号可包括仅具有两个值或状态(例如像+1和-1)的信号。即这种伪随机信号仅具有+1和-1的伪随机值。这种类型的伪随机信号在本文中将被称为两状态信号。如以下将讨论的，在一些实施方案中，两状态信号包括信号具有伪随机可逆算子作为值的简单情况。
图8和图9的以下描述将首先假定所产生的伪随机信号包括两状态信号。因此，在步骤806中，产生两状态信号。这种两状态信号包括上述低电平伪随机白噪声信号的一个实例。在一些实施方案中，两状态信号具有基本上平坦的频率响应，并且听起来像低电平白噪声。在一些实施方案中，两状态信号仅在两个状态之间伪随机地变化。
在图9A中，伪随机信号被示出为w[n]，并且如以上所提及的，将首先假定w[n]包括两状态信号。两状态信号w[n]具有对应频谱图914。在所示出的实施方案中，两状态信号w[n]具有基本上平坦的频率响应。即两状态信号w[n]在基本上每个频率处具有相等能量，由此使得它在音频频谱上是完全平坦的。在一些实施方案中，两状态信号w[n]包括人类可听范围中的基本上全部的音频频谱。
在一些实施方案中，两状态信号w[n]包括正一和负一的状态。在此类实施方案中，正一和负一的状态仅是两状态信号w[n]的状态，所述w[n]可由以下方程表示：
w[n]＝+1或-1(伪随机)
即，在一些实施方案中，两状态信号w[n]仅在+1与-1之间伪随机地改变。因此，由此得出：
w2[n]＝1
在一些实施方案中，可以预先确定在+1与-1之间的改变。预先确定两状态信号w[n]的+1与-1之间的改变允许轻松地重复两状态信号w[n]。在一些实施方案中，两状态信号w[n]将在接收侧上重复。
在步骤808中，将音频信号乘以两状态信号以便形成第一合成信号。在一些实施方案中，第一合成信号包括基本上平坦的频率响应。
在图9A中，通过音频信号x[n]经由乘法器916乘以两状态信号w[n]来示出此步骤。乘法的结果是具有对应频谱图918的第一合成信号y[n]。因此，第一合成信号y[n]由以下方程表示：
y[n]＝x[n]w[n]
在所示出的实施方案中，第一合成信号y[n]具有基本上平坦的频率响应。这是因为将音频信号x[n]乘以噪声导致噪声。此外，在所示出的实施方案中，第一合成信号y[n]包括基本上全部的频谱信号，即基本上全部带宽。这是因为当信号相乘在一起时，其带宽增加。即音频信号x[n]是全部音频频谱，并且当它乘以两状态信号w[n]时，结果是全部频谱。
因此，将音频信号x[n]乘以表示伪随机白噪声的两状态信号w[n]导致白噪声，所述白噪声被示出为具有频谱图918的第一合成信号y[n]。
以上提及在一些实施方案中，伪随机白噪声信号被配置，以使得将第一合成信号再次乘以伪随机白噪声信号将产生原始音频信号。配置两状态信号w[n]以便如以上所描述的仅具有正一和负一的状态是实现此结果的一个方式。这可由以下方程示出：
x[n]＝y[n]w[n]＝(x[n]w[n])w[n]
当w[n]＝+1或-1(伪随机地)
因为w2[n]＝1
将在接收侧上利用通过再次乘以两状态信号w[n]来恢复原始音频信号x[n]的能力，这将在以下讨论。
在步骤810中，将控制信号或触发信号加到第一合成信号以便形成第二合成信号。在一些实施方案中，第二合成信号包括在窄频带中升到基本上平坦的频率响应以上的峰值。
在图9A中，通过加法器922执行此步骤。以下解释将初始忽视所示出的陷波滤波器920，所述陷波滤波器920是任选特征。假定陷波滤波器920不存在，加法器922将控制信号t[n]加到第一合成信号y[n]。加法的结果是具有由924和926所指示的对应频谱图的第二合成信号s[n]。因此，如下计算第二合成信号s[n]：
s[n]＝y[n]+t[n]
s[n]＝x[n]w[n]+t[n]
在所示出的实施方案中，第二合成信号s[n]包括在窄频带中升到基本上平坦的频率响应926以上的峰值924。这是因为，如以上所提及的，控制信号t[n]在一个窄频带处是非常集中的，这致使它达到峰值。当将控制信号t[n]加到具有基本上平坦的频率响应的第一合成信号y[n]时，结果是峰值924升到基本上平坦的频率响应926以上。由于如以上所描述的第一合成信号y[n]基本上是噪声，平坦部分926基本上是背景噪声。如以下将关于接收侧所描述的，峰值924允许从噪声926提取控制信号t[n]。
如以上所提及的，所示出的陷波滤波器920是可在一些实施方案中使用的任选特征。当被使用时，陷波滤波器920被配置来使第一合成信号y[n]在控制信号t[n]将插入其中的窄频带中进行滤波。此滤波的结果由930和932所指示的频谱图示出。在第一合成信号y[n]的基本上平坦的频率响应932中创造陷波930。在窄频带中创造陷波930，控制信号t[n]的峰值912将被加法器922加在所述窄频带中。通过滤出在陷波930中的信号，将不存在或几乎没有什么东西干扰将相加和定位在陷波930中的控制信号。假如在该窄频带中存在假的高振幅信号，陷波930将帮助防止误肯定。当使用陷波滤波器920时，如下修改用于第二合成信号s[n]的方程：
s[n]＝(y[n])经滤波的+t[n]
s[n]＝(x[n]w[n])经滤波的+t[n]
然而应当指出以下方程不将任选陷波滤波器920考虑在内除非除非另行说明。
最后，在步骤812中，将第二合成信号乘以两状态信号以便形成编码音频信号。这导致听起来像原始音频信号加一些相加的白噪声的输出信号。在没有此最后乘法的情况下，输出将为白噪声加控制信号。
在图9A中，通过乘法器940执行此步骤。具体地，第二合成信号s[n]通过乘法器940乘以两状态信号w[n]。乘法的结果是具有由942和944所指示的对应频谱图的编码音频信号e[n]。因此，如下计算编码音频信号e[n]：
e[n]＝w[n]s[n]
e[n]＝w[n](y[n]+t[n])
e[n]＝w[n](x[n]w[n]+t[n])
e[n]＝x[n]w2[n]+w[n]t[n]
因为w[n]＝+1或-1(伪随机地)，由此得出，
e[n]＝x[n]+w[n]t[n]
因此，编码音频信号e[n]等于原始音频信号x[n]加原始控制信号t[n]乘以两状态信号w[n]。如以上所解释的，两状态信号w[n]表示伪随机白噪声。这样，控制信号t[n]和两状态信号w[n]的乘积是白噪声。因此，在信号e[n]的频谱图中，原始音频信号x[n]由942指示并且升到由944指示的低电平本底噪声以上。由944指示的低电平本底噪声是控制信号t[n]和两状态信号w[n]的乘积。
因此，结果是控制信号t[n]基本上被白噪声(即w[n])扰频，并且随后加到原始音频信号x[n]，从而导致原始音频信号x[n]加一些噪声。因为峰值924在乘法940之后转换成平坦噪声，获得所述噪声。据信由944指示的低电平本底噪声将是足够安静的，以使得大部分用户将不能听见它、不注意到它、和/或将不被它打扰。如果伪白噪声信号w[n]保持在人类不能听见它或不注意到它的阈值以下，那么本底噪声可保持在低电平。
在一些实施方案中，跳过步骤812和乘法940并且发送处于听起来像白噪声的编码形式的组合的音频和嵌入控制信号可能是令人希望的。但通过使用步骤812和乘法940，编码音频信号e[n]以感知上类似于原始音频的形式发送。
以上提及如果使用陷波滤波器920，如下修改用于第二合成信号s[n]的方程：
s[n]＝(x[n]w[n])经滤波的+t[n]
这意味着如果使用陷波滤波器920，如下计算编码音频信号e[n]：
e[n]＝w[n]s[n]
e[n]＝w[n]((x[n]w[n])经滤波的+t[n])
e[n]＝w[n](x[n]w[n])经滤波的+w[n]t[n]
因为陷波滤波，不存在轻易地从方程的第二项(即w[n](x[n]w[n])经滤波的)退出以便仅留下音频信号x[n]的(w2[n]＝1)。相反，在一些实施方案中，方程的第二项包括至少部分地基于音频信号x[n]的信号。因此，在一些实施方案中，可以说编码音频信号e[n]等于控制信号t[n]乘以两状态信号w[n]和至少部分地基于音频信号x[n]的信号的总和。换言之，编码音频信号e[n]等于至少部分地基于音频信号x[n]的信号加(或加到)两状态信号w[n]和控制信号t[n]的乘积。
因为音频信号x[n]自身是至少部分地基于音频信号x[n]的信号，所以在一些实施方案中，可以说编码音频信号e[n]等于控制信号t[n]乘以两状态信号w[n]和至少部分地基于音频信号x[n]的信号的总和，无论是否使用陷波滤波器920。换言之，编码音频信号e[n]等于至少部分地基于音频信号x[n]的信号加(或加到)两状态信号w[n]和控制信号t[n]的乘积，无论是否使用陷波滤波器920。这是因为，在一些实施方案中，当不使用陷波滤波器920时，至少部分地基于音频信号x[n]的信号等于音频信号x[n]。
在一些实施方案中，如果不使用陷波滤波器920，那么图9A中的系统900可以被简化。即可基于用来限定编码音频信号e[n]的以上代数简化系统900。具体地，图9B示出根据本发明的一些实施方案操作的发射侧系统950的实例。在一些实施方案中，发射侧系统950可由基于处理器的系统诸如基于处理器的系统110(图1)实现。
具体地，在系统950中，控制信号t[n](代替音频信号x[n])通过乘法器952乘以两状态信号w[n]以便形成第一合成信号v[n]。第一合成信号v[n]随后通过加法器954加到音频信号x[n]以便形成编码音频信号e[n]。因此，系统950所产生的编码音频信号e[n]由以下方程表示：
e[n]＝x[n]+w[n]t[n]
当不使用陷波滤波器920时，此方程与图9A中的系统900所产生的方程相同。因此，无论使用系统900还是系统950，在一些实施方案中，可以说编码音频信号e[n]等于控制信号t[n]乘以两状态信号w[n]和至少部分地基于音频信号x[n]的信号的总和。换言之，编码音频信号e[n]等于至少部分地基于音频信号x[n]的信号加(或加到)两状态信号w[n]和控制信号t[n]的乘积。针对系统950，至少部分地基于音频信号x[n]的信号等于音频信号x[n]。
在一些实施方案中，编码音频信号e[n]表示修改的音频信号，所述修改的音频信号包括嵌入有的控制信号t[n]的原始音频信号x[n]。在一些实施方案中，编码音频信号e[n]随后发送到接收侧上的音频递送装置，诸如音频递送设备122(图1)。在一些实施方案中，此类发送可首先包含向基于处理器的系统110的音频输出接口提供编码音频信号e[n]。即编码音频信号e[n]可以被提供到基于处理器的系统110的音频输出接口。音频输出接口可随后经由有线或无线连接将编码音频信号e[n]发送到接收侧上的音频递送装置。
现在将描述在系统100的接收侧104上的本技术的操作实例。图10示出根据本发明的一些实施方案操作的方法1000的实例，并且图11示出根据本发明的一些实施方案的可用于执行方法1000的接收侧系统1100的实例。在一些实施方案中，方法1000和接收侧系统1100执行解码所接收的信号以便恢复控制信号和音频信号的方法。在一些实施方案中，方法1000和接收侧系统1100可由用于递送音频的装置诸如音频递送设备122(图1)实现。
在步骤1002中，接收包括具有嵌入控制信号的音频信号的信号。在一些实施方案中，所接收的信号可包括类似以上所描述的编码音频信号e[n]的信号。
在图11中，所接收的信号被示出为具有由942和944所指示的对应频谱图的编码音频信号e[n]。如以上所描述的，原始音频信号x[n]由942指示并且升到由944指示的低电平本底噪声以上。由944指示的低电平本底噪声是控制信号t[n]和两状态信号w[n]的乘积。即如以上所描述的，在一些实施方案中，编码音频信号e[n]由以下方程表示(假定不使用任选陷波滤波器920)：
e[n]＝x[n]+w[n]t[n]
在步骤1004中，将所接收的信号乘以具有基本上平坦的频率响应的两状态信号以便形成第一合成信号。在一些实施方案中，所述两状态信号是与在发射侧上使用的两状态信号完全相同的。在一些实施方案中，将所述两状态信号设置成与在发射侧上使用的两状态信号完全相同提供恢复原始音频信号的能力(其在以上讨论)。在一些实施方案中，在任何后续处理之前，将所接收的信号乘以两状态信号取消编码期间的最后乘法的效果。
在图11中示出的实施方案中，通过乘法器1110执行此步骤。具体地，向乘法器1110提供编码音频信号e[n]。还向乘法器1110提供两状态信号w[n]。两状态信号w[n]具有由1112指示的对应频谱图，所述频谱图指示它具有基本上平坦的频率响应。
在所示出的实施方案中，所述两状态信号w[n]是与在发射侧上使用的两状态信号w[n]完全相同的。这样，在所示出的实施方案中，两状态信号w[n]包括正一和负一的状态，并且包括人类可听范围中的基本上全部音频频谱。
编码音频信号e[n]和两状态信号w[n]的乘法的结果是具有由1114和1116指示的对应频谱图的第一合成信号q[n]。如下计算第一合成信号q[n]：
q[n]＝w[n]e[n]
q[n]＝w[n](x[n]+w[n]t[n])
q[n]＝w[n]x[n]+w2[n]t[n]
因为w[n]＝+1或-1(伪随机地)，由此得出，
q[n]＝w[n]x[n]+t[n]
频谱图示出在一些实施方案中，第一合成信号q[n]包括在窄频带中升到基本上平坦的频率响应1116以上的峰值1114。峰值1114表示控制信号t[n]，并且基本上平坦的频率响应1116表示由音频信号x[n]和两状态信号w[n]的乘积创造的噪声。
在步骤1006中，从第一合成信号恢复控制信号。在一些实施方案中，可通过对第一合成信号进行滤波以便隔离控制信号所使用的窄频带来恢复控制信号。在一些实施方案中，从第一合成信号恢复控制信号的步骤还包括将控制信号的峰值与阈值比较。
在图11中示出的实施方案中，通过带通滤波器1120执行此滤波。具体地，带通滤波器1120接收第一合成信号q[n]，并且仅使在控制信号所使用的窄频带内的频率通过，并且拒绝该范围之外的频率。此滤波的结果是具有由1122指示的对应频谱图的信号c[n]。在一些实施方案中，峰值1122可与阈值比较以便确定控制信号是否旨在是有效的。因此，在一些实施方案中，第一合成信号q[n]正好被滤出到窄范围中，并且随后它与通常是高于背景噪声的电平的阈值比较。在一些实施方案中，信号c[n]用作恢复的控制信号。
在一些实施方案中，从第一合成信号恢复控制信号而不用滤波。这样，不需要带通滤波器1120。具体地，在一些实施方案中，第一合成信号q[n]可用作恢复控制信号。在一些实施方案中，当控制信号峰值1114已经被设计成具有比扰频音频信号的背景白噪声1116更大的振幅时，阈值处理可用于恢复。在一些实施方案中，在信号通过传送几乎未改变的高值并且将低值设置到零或接近零、在期间具有某种平滑过渡的非线性的情况下，软阈值处理可以被使用。总体上，任何噪声减少或噪声移除技术可用于恢复控制信号。
在步骤1008中，恢复的控制信号用于控制并入用于递送音频的装置中的一个或多个触觉反馈装置。例如，在一些实施方案中，恢复的控制信号可用于控制并入音频递送设备122(图1)中的一个或多个触觉反馈装置128和130。
在步骤1010中，通过将至少部分地基于第一合成信号的信号乘以两状态信号，从至少部分地基于第一合成信号的信号恢复音频信号。如以上所提及的，在一些实施方案中，所述两状态信号与在发射侧上使用的两状态信号完全相同，这提供恢复原始音频信号的能力。
在图11中示出的实施方案中，通过乘法器1130执行此步骤。以下解释将初始忽视所示出的陷波滤波器1132，所述陷波滤波器是任选特征。假定陷波滤波器1132不存在，第一合成信号q[n]通过乘法器1130乘以两状态信号w[n]。即向乘法器1130提供第一合成信号q[n]，并且向乘法器1130提供两状态信号w[n]。所述两状态信号w[n]与在发射侧上的两状态信号w[n]完全相同，并且具有由1112指示的对应频谱图，所述频谱图指示它具有基本上平坦的频率响应。第一合成信号q[n]和两状态信号w[n]的乘法的结果是具有由1134和1136指示的对应频谱图的信号r[n]。在一些实施方案中，信号r[n]用作恢复的音频信号。
在一些实施方案中，如下计算恢复音频信号r[n]：
r[n]＝w[n]q[n]
r[n]＝w[n](w[n]x[n]+t[n])
r[n]＝w2[n]x[n]+w[n]t[n]
因为w[n]＝+1或-1(伪随机地)，由此得出，
r[n]＝x[n]+w[n]t[n]
因此，恢复的音频信号r[n]等于原始音频信号x[n]加原始控制信号t[n]乘以两状态信号w[n]。如以上所解释的，两状态信号w[n]表示伪随机白噪声。这样，控制信号t[n]和两状态信号w[n]的乘积是白噪声。因此，在信号r[n]的频谱图中，原始音频信号x[n]由1134指示并且升到由1136指示的低电平本底噪声以上。由1136指示的低电平本底噪声是控制信号t[n]和两状态信号w[n]的乘积。
因此，结果是控制信号t[n]基本上被白噪声(即w[n])扰频，并且随后加到原始音频信号x[n]，从而导致原始音频信号x[n]加一些噪声。因为峰值1114在乘法1130之后转换成平坦噪声，获得所述噪声。据信由1136指示的低电平本底噪声将是足够安静的，以使得大部分用户将不能听见它、不注意到它、和/或将不被它打扰。如果伪白噪声信号w[n]保持在人类不能听见它或部注意到它的阈值以下，那么本底噪声可保持在低电平。
如以上所提及的，所示出的陷波滤波器1132是可在一些实施方案中使用的任选特征。当被使用时，陷波滤波器1132被配置来使第一合成信号q[n]在控制信号t[n]插入其中的窄频带中进行滤波。此滤波的结果由1140和1142所指示的频谱图示出。在第一合成信号q[n]的基本上平坦的频率响应1142中创造陷波1140。在窄频带中创造陷波1140，控制信号t[n]的峰值1114定位在所述窄频带中。通过滤出陷波1140中的信号，移除峰值1114，这帮助减少在恢复的音频信号r[n]中的本底噪声1136。这是因为，如以上所讨论的，由1136指示的低电平本底噪声是控制信号t[n]和两状态信号w[n]的乘积。如果减小或消除控制信号t[n]所创造的峰值1114，那么乘法1130的结果将是减小的本底噪声1136。
如果使用陷波滤波器1132，那么向乘法器1130提供的信号将是第一合成信号q[n]的经滤波版本。因此，在一些实施方案中，可以说向乘法器1130提供的信号至少部分地基于第一合成信号q[n]，因为它是第一合成信号q[n]的经滤波版本。如果未使用陷波滤波器1132，那么向乘法器1130提供的信号将是第一合成信号q[n]。在一些实施方案中，仍可以说向乘法器1130提供的信号至少部分地基于第一合成信号q[n]，因为向乘法器1130提供的信号是第一合成信号q[n]。因此，在一些实施方案中，无论是否使用陷波滤波器1132，通过将至少部分地基于第一合成信号q[n]的信号乘以两状态信号w[n]来恢复音频信号。
在一些实施方案中，从所接收的编码音频信号e[n]恢复控制信号和音频信号的步骤还包括使两状态信号w[n]与在发射侧上使用的完全相同的两状态信号w[n]同步的步骤。即在一些实施方案中，在接收侧上的w[n]需要与在发射侧上的w[n]同步。可使用任何同步方法。
在一些实施方案中，可使用的一个同步方法是嵌入标志信号连同原始触觉装置控制信号t[n]。标志信号可嵌入在不同频带中，或某时间片中。例如，可每秒、每隔一秒、或在某个其他定时插入脉冲。当获得恢复的控制信号c[n]时，它将包括处于某个正则模式的标志。两状态信号w[n]可随后时移，直到它匹配在恢复的控制信号c[n]中发现的标志信号。最终，所述时移中的一个将是正确的时移。如果使用不正确的时移，那么因为w[n]不等于在发射侧上的w[n]，所以所接收的信号e[n]和w[n]的乘法将产生白噪声。
最终，在步骤1012中，使用恢复的音频信号来在用于递送音频的装置中产生音频。例如，在一些实施方案中，恢复的音频信号r[n]可用于在音频递送设备122(图1)中产生音频。
因此，在一些实施方案中，接收侧接收包括具有嵌入控制信号的音频信号的信号。通过使用伪随机信号从所接收的信号恢复控制信号。通过举例，在一些实施方案中，伪随机信号可包括如以上所描述的两状态信号。在一些实施方案中，伪随机信号可包括具有伪随机可逆算子作为值的信号，其将在以下描述。
在一些实施方案中，通过使用伪随机信号从所接收的信号恢复控制信号包括将所接收的信号乘以伪随机信号以便形成第一合成信号，并且随后从第一合成信号恢复控制信号。在一些实施方案中，通过对第一合成信号进行滤波以便隔离控制信号所使用的窄频带来恢复控制信号。在一些实施方案中，第一合成信号包括在窄频带中升到基本上平坦的频率响应以上的峰值，并且从第一合成信号恢复控制信号还包括将峰值与阈值比较。
在一些实施方案中，从所接收的信号恢复音频信号包括将所接收的信号乘以伪随机信号以便形成第一合成信号，并且随后通过将至少部分地基于第一合成信号的信号乘以伪随机信号，从至少部分地基于第一合成信号的信号恢复音频信号。在一些实施方案中，至少部分地基于第一合成信号的信号包括第一合成信号。在一些实施方案中，至少部分地基于第一合成信号的信号包括第一合成信号的经滤波版本。
在以上所描述的技术的一些实施方案中，从发射侧到接收侧的变换能够保留能量。具体地，在发射侧上，原始音频信号x[n]的能量是其振幅和其带宽的乘积。该能量通过乘法916(图9A)转换到白噪声。白噪声横跨第一合成信号y[n]中的频谱扩散。在任何一个频率处，峰值比原始信号低得多。这样，音频信号x[n]实质上用峰值交换宽度，或换言之，能量扩散。
在接收侧上，所接收的信号e[n](图11)包括某一量的能量，所述能量的大部分用于第一合成信号q[n]中的控制信号部分1114。当所接收的信号e[n]乘以两状态信号w[n]以便形成第一合成信号q[n]时，该能量实质上转换成噪声。这一点的一个潜在不利一面是在所得音频信号中创造本底噪声。然而，在一些实施方案中，两状态信号w[n]优选保持足够低的，以使得人类不能听见或不注意到所得噪声。如果所得噪声是足以听见或在人类可听范围内那样响的，那么它通常导致不是显著的或人类不在意的低电平咝咝声。在一些实施方案中，可通过增加白噪声的电平来增加数据速率。这样，对数据速率的一个限制是在噪声咝咝声变得过于讨厌之前，白噪声不能是过宽或过高的。在一些实施方案中，噪声可以被滤出，但是此类滤波可能会加上伪像。
如以上所讨论的，在一些实施方案中，伪随机信号用于表示在从发射侧到接收侧的传输过程中保存下来的低电平伪随机白噪声。在大部分以上描述中，已经假定用于编码和解码音频信号的所述类型的伪随机信号包括两状态信号。但如以上所提及的，可使用不同类型的伪随机信号。例如，在一些实施方案中，伪随机信号可包括具有为伪随机可逆算子的值的信号。在一些实施方案中，两状态信号包括信号具有伪随机可逆算子作为值的简单情况。这样，在一些实施方案中，具有为伪随机可逆算子的值的信号包括两状态信号的情况。
以下讨论将解释在一些实施方案中使用伪随机可逆算子作为伪随机信号值的一些原因和优点。具体地，在一些实施方案中，原始音频信号x[n]可包括向量。即在每个样本处的音频信号是向量数而不是单个数。将音频信号表示为向量对于基于块的处理可以是有利的，其中在每个块处音频被认为是向量。将音频信号表示为向量对于适应类似立体声或环绕声的多信道音频也可以是有利的，其中所携带的每个样本包括两个数以用于立体声的左信道和右信道，或甚至用于环绕声的附加信道。因此，在一些实施方案中，原始音频信号x[n]可包括两个或更多个音频信道，在这种情况下原始音频信号x[n]可以被表示为向量。当然，在一些实施方案中，原始音频信号x[n]可仅包括一个音频信道。
在一些实施方案中，当音频信号x[n]包括向量时，通过使用具有伪随机幺正算子作为值的信号作为伪随机信号，代替具有伪随机值+/-1的两状态信号，图8-图11的以上所描述的算法和技术可普通化到此类向量值的信号或块处理的信号。即在一些实施方案中，所使用类型的伪随机信号是具有伪随机幺正算子作为值的信号。幺正算子是保留向量长度并且可逆的矩阵。因此，代替将音频信号x[n]乘以诸如+/-1的数，音频信号x[n]乘以矩阵。当音频信号x[n]是向量时，将它乘以矩阵产生另一个向量。
因此，在一些实施方案中，图8-图11中的伪随机信号w[n]可包括具有为幺正算子的值的信号。这样，在一些实施方案中，在图8-图11中对两状态信号的参考被对其值是幺正算子的信号的参考替换。类似地，在一些实施方案中，在图8-图11中对具有属性w2[n]＝1的两状态信号w[n]的参考被对幺正信号w[n]和其逆信号w-1[n]的参考替换。
在一些实施方案中，在图8-图11中使用具有为幺正算子的值的信号w[n]提供类似于以上所描述的两状态信号的结果，其通过再次乘以两状态信号提供恢复原始音频信号x[n]的能力。具体地，如以上所提及的，幺正算子是保留向量长度并且可逆的矩阵。此外，将矩阵乘以其逆矩阵实现同一属性。例如，如果原始矩阵是A，并且逆矩阵是B，那么由此得出A*B是返回与自变量所使用相同的向量的同一。因此，如果音频信号向量x[n]乘以矩阵A，那么将结果乘以逆矩阵B将返回原始音频信号向量x[n]。这样，幺正算子和其逆算子提供恢复音频信号的能力，其类似于以上所描述的具有属性w2[n]＝1的两状态信号w[n]。
如以上所提及的，幺正算子是保留向量长度并且可逆的矩阵。在一些实施方案中，用作图8-图11中的伪随机信号w[n]的值的算子不必须是幺正，只要它们是相逆的。具体地，使用幺正矩阵用于伪随机信号w[n]可具有工程益处，诸如信号音量将总体保持在某种程度上恒定。此外，使用非幺正的矩阵可能会导致关于使原始音频与扰频控制信号平衡的数字问题。然而，在一些实施方案中，用于伪随机信号w[n]的值的矩阵在它们相逆的条件下不需要是幺正的。如本文所使用的术语可逆算子是指幺正算子、以及相逆但未必是幺正的算子。因此，在一些实施方案中，幺正算子可用于伪随机信号w[n]。在一些实施方案中，可逆算子可用于伪随机信号w[n]。
也应当指出具有伪随机值+/-1的两状态信号包括具有幺正算子作为值的信号的简单情况。即w2＝1是简单版本的幺正算子。更具体地，在一些实施方案中，这种两状态信号包括具有幺正算子作为值的信号，其中每个幺正算子包括一个单元矩阵。因为两状态信号的值可被认为是幺正算子，所以所述两状态信号的值也可被认为是可逆算子。因此，如以上所提及的，在一些实施方案中，具有为伪随机可逆算子的值的信号包括两状态信号的情况。即伪随机值+/-1被认为是伪随机可逆算子。
如以上所提及的，将音频信号表示为向量可具有关于立体声信号或环绕声信号的益处。针对立体声信号，如果幺正算子用于伪随机信号w[n]，那么在一些实施方案中幺正算子可各自包括量值1的伪随机复数。此类伪随机幺正算子也将被认为是伪随机可逆算子。然而，应当理解可使用其他类型的幺正算子和可逆算子。
现在将提供图9A的发射侧系统900的描述，用于使用可逆算子作为伪随机信号w[n]的值的实施方案。总体上，在一些实施方案中，发射侧系统900的操作基本上与以上所描述的相同，除了伪随机信号的逆算子被乘法器940使用之外。
具体地，参考图9A，在一些实施方案中，伪随机信号w[n]包括具有为伪随机可逆算子的值的信号。这种信号包括用于将触觉装置控制信号隐藏在音频信号中的上述低电平伪随机白噪声信号的另一个实例。在每个样本处存在可逆矩阵或可逆线性算子。在一些实施方案中，通过在每个样本处以伪随机方式从此类算子集合选择，使得所述值是伪随机的。
在一些实施方案中，原始音频信号x[n]包括在每个样本处的向量。例如，如以上所提及的，在一些实施方案中，原始音频信号x[n]可包括两个或更多个音频信道，在这种情况下原始音频信号x[n]可以被表示为向量。当音频信号x[n]通过乘法器916乘以伪随机可逆算子信号w[n]时，结果是创造被示出为第一合成信号y[n]的白噪声。第一合成信号y[n]还包括在每个样本处的向量。然而应当理解，在一些实施方案中，原始音频信号x[n]不必须包括在每个样本处的向量。即在一些实施方案中，当伪随机信号w[n]包括具有为伪随机可逆算子的值的信号时，非向量音频信号x[n]也将起作用。例如，在一些实施方案中，这种非向量音频信号x[n]可包括仅具有一个音频信道的音频信号x[n]。
陷波滤波器920的操作以及通过加法器922的控制信号t[n]的相加基本上与如以上所描述的相同地操作，其中结果是第二合成信号s[n]也包括在每个样本处的向量。
在加上控制信号之后，结果乘以伪随机可逆算子信号的逆信号。即结果乘以伪随机信号的逆算子。具体地，最后乘法940与以上所描述的乘法多少有点不同地操作。第二合成信号s[n]乘以伪随机可逆算子信号w[n]的逆信号，其由w-1[n]指示。这是因为，如以上所描述的，算子和其逆算子提供恢复音频信号的能力，类似于具有属性w2[n]＝1的两状态信号w[n]。因此，在图9A中，记号“算子的w-1[n]”在乘法器940附近用于其中可逆算子用于伪随机信号的实施方案。
乘法940形成也包括在每个样本处的向量的编码音频信号e[n]。编码音频信号e[n]的对应频谱图仍由942和944指示。通过w-1[n]进行的乘法导致接近原始信号的音频信号942，其具有加到其的扰频版本944的控制信号。此结果类似于以上所描述的对于两状态信号的结果。
因此，在一些实施方案中，发射侧系统900通过将原始音频信号变换到不同域来操作，通过将所述原始音频信号乘以具有为伪随机可逆算子的值的信号来进行所述变换。随后加上控制信号。随后信号通过乘以伪随机可逆算子信号的逆信号变换回，其为通过乘以伪随机信号的逆算子。结果是原始音频信号加上加到其的扰频控制信号。一个益处是如果用户听见没有任何解码的编码音频信号，它应当是仅具有一些低电平白噪声的相当好的音频，所述低电平白噪声据信是不令人讨厌的。
针对可逆算子用于伪随机信号w[n]的实施方案，并且假定未使用任选陷波滤波器920，如下计算编码音频信号：
e[n]＝w-1[n]s[n]
e[n]＝w-1[n](y[n]+t[n])
e[n]＝w-1[n](x[n]w[n]+t[n])
因为w-1[n]w[n]＝1，由此得出，
e[n]＝x[n]+w-1[n]t[n]
因此，编码音频信号e[n]等于原始音频信号x[n]加原始控制信号t[n]乘以伪随机可逆算子信号w[n]的逆信号(即w-1[n])。如以上所解释的，伪随机可逆算子信号w[n]表示伪随机白噪声。这样，控制信号t[n]和w-1[n]的乘积是白噪声。
如果使用陷波滤波器920，那么如下计算编码音频信号e[n]：
e[n]＝w-1[n]s[n]
e[n]＝w-1[n]((y[n])经滤波的+t[n])
e[n]＝w-1[n]((x[n]w[n])经滤波的+t[n])
e[n]＝w-1[n](x[n]w[n])经滤波的+w-1[n]t[n]
因为陷波滤波，不存在轻易地从方程的第二项(即w-1[n](x[n]w[n])经滤波的)退出以便仅留下音频信号x[n]的(w-1[n]w[n]＝1)。相反，在一些实施方案中，方程的第二项包括至少部分地基于音频信号x[n]的信号。因此，在一些实施方案中，可以说编码音频信号e[n]等于控制信号t[n]乘以伪随机可逆算子信号w[n]的逆信号(即w-1[n])和至少部分地基于音频信号x[n]的信号的总和。换言之，编码音频信号e[n]等于至少部分地基于音频信号x[n]的信号加(或加到)控制信号t[n]和伪随机可逆算子信号w[n]的逆信号(即w-1[n])的乘积。
因为音频信号x[n]自身是至少部分地基于音频信号x[n]的信号，那么在一些实施方案中，可以说编码音频信号e[n]等于控制信号t[n]乘以伪随机可逆算子信号w[n]的逆信号(即w-1[n])和至少部分地基于音频信号x[n]的信号的总和，无论是否使用陷波滤波器920。换言之，编码音频信号e[n]等于至少部分地基于音频信号x[n]的信号加(或加到)控制信号t[n]和伪随机可逆算子信号w[n]的逆信号(即w-1[n])的乘积，无论是否使用陷波滤波器920。这是因为，在一些实施方案中，当不使用陷波滤波器920时，至少部分地基于音频信号x[n]的信号等于音频信号x[n]。
现在将提供图9B的发射侧系统950的描述，用于使用伪随机可逆算子作为伪随机信号w[n]值的实施方案。如以上所提及的，当不使用陷波滤波器920时，发射侧系统950是简化版本的发射侧系统900。总体上，在一些实施方案中，发射侧系统950的操作基本上与以上所描述的相同，除了伪随机信号的逆算子被乘法器952使用之外。
具体地，参考图9B，在一些实施方案中，伪随机信号w[n]包括具有为伪随机可逆算子的值的信号。如以上所描述的，这种信号包括用于将触觉装置控制信号隐藏在音频信号中的上述低电平伪随机白噪声信号的另一个实例。在每个样本处存在可逆矩阵或可逆线性算子。在一些实施方案中，通过在每个样本处以伪随机方式从此类算子集合选择，使得所述值是伪随机的。并且在一些实施方案中，原始音频信号x[n]包括在每个样本处的向量。但在一些实施方案中，原始音频信号x[n]不必须包括在每个样本处的向量。
发射侧系统950的操作始于第一乘法952，所述第一乘法952与以上所描述的乘法多少有点不同地操作。具体地，控制信号t[n]乘以伪随机可逆算子信号w[n]的逆信号，其由w-1[n]指示。此乘法由乘法器952执行，并且这样在图9B中，记号“算子的w-1[n]”在乘法器952附近用于其中可逆算子用于伪随机信号的实施方案。乘法器952形成第一合成信号v[n]，所述第一合成信号v[n]随后通过加法器954加到音频信号x[n]以便形成编码音频信号e[n]。
因此，当可逆算子用于伪随机信号w[n]时，系统950所产生的编码音频信号e[n]由以下方程表示：
e[n]＝x[n]+w-1[n]t[n]
当不使用陷波滤波器920并且可逆算子用于伪随机信号w[n]时，此方程与图9A中的系统900所产生的方程相同。因此，无论使用系统900还是系统950，在一些实施方案中，可以说编码音频信号e[n]等于控制信号t[n]乘以伪随机可逆算子信号w[n]的逆信号(即w-1[n])和至少部分地基于音频信号x[n]的信号的总和。换言之，编码音频信号e[n]等于至少部分地基于音频信号x[n]的信号加(或加到)控制信号t[n]和伪随机可逆算子信号w[n]的逆信号(即w-1[n])的乘积。这是因为音频信号x[n]自身是至少部分地基于音频信号x[n]的信号，即针对系统950，至少部分地基于音频信号x[n]的信号是音频信号x[n]。
现在将提供图11的接收侧系统1100的描述，用于使用伪随机信号w[n]的可逆算子的实施方案。总体上，在一些实施方案中，接收侧系统1100的操作基本上与以上所描述的相同，除了伪随机信号的逆算子被乘法器1130使用之外。
具体地参考图11，所接收的信号被示出为具有由942和944所指示的对应频谱图的编码音频信号e[n]。如以上所描述的，通过发射侧系统900的乘法940形成的编码音频信号e[n]包括在每个样本处的向量。例如，在一些实施方案中，编码音频信号e[n]可包括两个或更多个音频信道。在一些实施方案中，编码音频信号e[n]可仅包括一个音频信道。
还如以上所描述的，当可逆算子用于伪随机信号w[n]时，编码音频信号e[n]由以下方程表示：
e[n]＝x[n]+w-1[n]t[n]
在一些实施方案中，系统1100的第一步骤是所接收的编码音频信号e[n]通过乘法器1110乘以伪随机可逆算子信号w[n]。在一些实施方案中，所述伪随机可逆算子信号w[n]与在发射侧上使用的伪随机可逆算子信号w[n]完全相同。在一些实施方案中，将所述伪随机可逆算子信号w[n]设置成与在发射侧上使用的伪随机可逆算子信号w[n]完全相同提供恢复原始音频信号的能力(其在以上讨论)。在一些实施方案中，在任何后续处理之前，将所接收的编码音频信号e[n]乘以伪随机可逆算子信号w[n]取消编码期间的最后乘法的效果。
编码音频信号e[n]和伪随机可逆算子信号w[n]的乘法的结果是也包括在每个样本处的向量的第一合成信号q[n]。如下计算第一合成信号q[n]：
q[n]＝w[n]e[n]
q[n]＝w[n](x[n]+w-1[n]t[n])
因为w-1[n]w[n]＝1，由此得出，
q[n]＝w[n]x[n]+t[n]
第一合成信号q[n]具有由1114和1116指示的对应频谱图。
以与以上所描述的基本上相同的方式从第一合成信号q[n]恢复控制信号c[n]。即在一些实施方案中，带通滤波器1120对第一合成信号q[n]进行滤波，以便隔离控制信号所使用的窄频带。然而，如以上所讨论的，在一些实施方案中不使用滤波，这意味着不需要带通滤波器1120。例如，在一些实施方案中，当控制信号峰值1114已经被设计成具有比扰频音频信号的背景白噪声1116更大的振幅时，阈值处理可用于恢复。在一些实施方案中，通过施加噪声减少或信号检测技术，从第一合成信号恢复触觉装置控制信号。
接下来，从至少部分地基于第一合成信号q[n]的信号恢复音频信号。以下解释将初始忽视所示出的陷波滤波器1132，所述陷波滤波器1132是任选特征。假定陷波滤波器1132不存在，第一合成信号q[n]乘以伪随机可逆算子信号w[n]的逆信号，其由w-1[n]指示。通过乘法器1130执行此乘法。在图11中，记号“算子的w-1[n]”在乘法器1130附近用于其中可逆算子用于伪随机信号的实施方案。
如以上所提及的，在一些实施方案中，所述伪随机可逆算子信号w[n]与在发射侧上使用的伪随机可逆算子信号w[n]完全相同。第一合成信号q[n]与w-1[n]的乘法1130的结果是信号r[n]，所述信号还包括在每个样本处的向量，并且所述信号具有由1134和1136指示的对应频谱图。在一些实施方案中，信号r[n]用作恢复的音频信号。
在一些实施方案中，当可逆算子用于伪随机信号w[n]，并且忽略陷波滤波器1132时，如下计算恢复的音频信号r[n]：
r[n]＝w-1[n]q[n]
r[n]＝w-1[n](w[n]x[n]+t[n])
因为w-1[n]w[n]＝1，由此得出，
r[n]＝x[n]+w-1[n]t[n]
因此，恢复的音频信号r[n]等于原始音频信号x[n]加原始控制信号t[n]乘以伪随机可逆算子信号w[n]的逆信号(其表示为w-1[n])。如以上所解释的，伪随机可逆算子信号w[n]表示伪随机白噪声。这样，控制信号t[n]和w-1[n]的乘积是白噪声。因此，在信号r[n]的频谱图中，原始音频信号x[n]由1134指示并且升到由1136指示的低电平本底噪声以上。由1136指示的低电平本底噪声是控制信号t[n]和w-1[n]的乘积。因此，类似于如上所述，结果是控制信号t[n]基本上被白噪声(即w-1[n])扰频，并且随后加到原始音频信号x[n]，从而导致原始音频信号x[n]加一些噪声。
当使用时，任选的陷波滤波器1132以与上述基本上相同的方式操作。因此，如果使用陷波滤波器1132，那么向乘法器1130提供的信号将是第一合成信号q[n]的经滤波版本。因此，在一些实施方案中，无论是否使用陷波滤波器1132，可以说向乘法器1130提供的信号至少部分地基于第一合成信号q[n]。因此，在一些实施方案中，无论是否使用陷波滤波器1132，通过将至少部分地基于第一合成信号q[n]的信号乘以伪随机可逆算子信号w[n]的逆信号(其表示为w-1[n])来恢复音频信号。
类似于如上所述，在一些实施方案中，从所接收的编码音频信号e[n]恢复控制信号和音频信号的步骤还包括使伪随机可逆算子信号w[n]与在发射侧上使用的完全相同的伪随机可逆算子信号w[n]同步的步骤。可使用任何同步方法，例如像上述方法。
应当指出，图9A、图9B和图11中的记号“算子的w-1[n]”对于使用上述两状态信号w[n]的实施方案(即，针对伪随机信号w[n]使用伪随机值+/-1的实施方案)也是有效的。具体地，如果w[n]等于仅+1或-1，则w[n]＝w-1[n]。因此，对于使用上述两状态信号w[n]的实施方案，在乘法器940(图9A)、952(图9B)和1130(图11)中使用w-1[n]将提供相同结果。
如以上所提及的，音频信号x[n]可包括一个或多个音频信道。多个音频信道可用于适应立体声、环绕声等。通过举例，在一些实施方案中，当音频信号x[n]仅包括一个音频信道时，使用上述两状态信号w[n]。在一些实施方案中，当音频信号x[n]包括两个或更多个音频信道时，使用伪随机可逆算子信号w[n]。因此，在一些实施方案中，本文所述的方法和技术可应用于单信道音频信号以及多信道音频信号，例如像立体声信号、环绕声信号等。
在一些实施方案中，本文所述的方法和技术可在许多不同类型的基于处理器的设备或系统上使用、实现和/或运行。例如，本文所述的方法和技术可在计算机、服务器、游戏控制台、娱乐系统、便携式装置、板状装置、音频递送装置和系统等上使用、实现和/或运行。此外，在一些实施方案中，本文所述的方法和技术可在在线情景或联网情景(例如像在线游戏、在线社区、通过互联网等)中使用、实现和/或运行。
参考图12，示出可用于任何此类实现方式的基于处理器的设备或系统1200的实例。在一些实施方案中，基于处理器的设备或系统1200的一个或多个组件的可用于实现以上所提及的任何方法、系统或装置，例如像以上所提及的计算机、服务器、游戏控制台、娱乐系统、便携式装置、板状装置、音频递送装置、系统和设备等中的任意者。然而，基于处理器的设备或系统1200或其任何部分的使用不是一定需要的。在一些实施方案中，基于处理器的设备或系统1200可用于实现系统100(图1)的发射侧102。例如，在一些实施方案中，基于处理器的设备或系统1200可用于实现基于处理器的系统110。
通过举例，系统1200(图12)可包括但不限于包括，中央处理单元(CPU)1202、音频输出级和接口1204、随机存取存储器(RAM)1208和大容量存储单元1210，诸如磁盘驱动器。系统1200可耦合到本文所述的任何其他组件(诸如显示器1212和/或输入装置1216)或与所述组件集成。在一些实施方案中，系统1200包括基于处理器的设备或系统的实例。在一些实施方案中，这种基于处理器的设备或系统也可被认为包括显示器1212和/或输入装置1216。CPU 1202可用于执行或辅助执行本文所述的方法和技术的步骤，并且各种程序内容、图像、化身、角色、玩家、菜单屏幕、视频游戏、模拟、虚拟世界、图形用户接口(GUI)等可呈现在显示器1212上。
在一些实施方案中，音频输出级和接口1204提供用于将如本文所述的音频、修改的音频信号、编码音频信号或合成信号发送到外部音频递送装置或设备(诸如音频递送设备122(图1))或任何其他装置、系统或设备的任何必要的功能、电路和/或接口。音频输出级和接口1204可实现并经由有线连接或无线连接发送此类音频、修改的音频信号、编码音频信号或合成信号。在一些实施方案中，音频输出级和接口1204可提供辅助执行或进行本文所述的任何步骤、方法、修改、技术、特征和/或方式的任何必要的功能。
输入装置1216可包括任何类型的输入装置或输入技术或方法。例如，输入装置1216可包括游戏控制器、游戏板、控制杆、鼠标、识别笔或其他输入装置和/或输入技术。输入装置1216可以是无线或有线的，例如，它可无线地耦合到系统1200或包括有线连接。在一些实施方案中，输入装置1216可包括用于感测和/或追踪用户和/或由用户控制的物体的移动和/或运动的装置或传感器。显示器1212可包括任何类型的显示器或显示装置或设备。
大容量存储单元1210可包括或包含任何类型的计算机可读存储器或一个或多个记录介质。计算机可读存储器或一个或多个记录介质可固定在大容量存储单元1210中，或大容量存储单元1210可任选地包括可移除存储介质1214，诸如数字视频光盘(DVD)、蓝光光盘、压缩盘(CD)、USB存储装置、软盘或其他介质。通过举例，大容量存储单元1210可包括磁盘驱动器、硬盘驱动器、闪存装置、USB存储装置、蓝光光盘驱动器、DVD驱动器、CD驱动器、软盘驱动器等。大容量存储单元1210或可移除存储介质1214可用于存储实现本文所述方法和技术的代码或宏。
因此，可移除存储介质1214可任选地与大容量存储单元1210使用，所述大容量存储单元1210可用于存储实现本文所述方法和技术的程序或计算机代码(诸如用于运行上述方法和技术的程序代码)。然而，任何存储装置(诸如RAM 1208或大容量存储单元1210)可用于存储此类代码。例如，此类存储装置中的任意者可用作用于存储或体现用于致使控制台、系统、计算机、娱乐系统、客户端、服务器或其他基于处理器的设备或系统进行或执行本文所述的任何方法、代码和/或技术的步骤的计算机程序或软件应用的有形的非暂时性计算机可读存储介质。此外，任何存储装置(诸如RAM 1208或大容量存储单元1210)可用于存储任何需要的数据库。
在一些实施方案中，以上所述实施方案、方法、方式和/或技术中的一个或多个可在可由基于处理器的设备或系统执行的一个或多个计算机程序或软件应用中实现。通过举例，这种基于处理器的系统可包括基于处理器的设备或系统1200，或计算机、娱乐系统、游戏控制台、图形工作站、服务器、客户端、便携式装置、板状装置、音频递送装置或设备等。此类计算机程序或软件可用于执行上述方法和/或技术的各个步骤和/或特征。即，计算机程序或软件可适于或被配置来致使或配置基于处理器的设备或系统执行并实现本文所述的功能。例如，此类计算机程序或软件可用于实现上述方法、步骤、技术或特征的任何实施方案。作为另一个实例，此类计算机程序或软件可用于实现使用上述实施方案、方法、方式和/或技术中的任何一个或多个的任何类型的工具或类似用途。在一些实施方案中，一个或多个此类计算机程序或软件可包括计算机游戏、视频游戏、角色扮演游戏(RPG)、其他计算机模拟或系统软件(诸如操作系统、BIOS、宏或其他用途)。在一些实施方案中，计算机程序之内或之外的程序代码宏、模块、循环、子程序、调用等可用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中，此类计算机程序或软件可存储或体现在一个或多个非暂时性计算机可读存储或记录介质中，诸如上述一个或多个有形计算机可读存储或记录介质的任一。在一些实施方案中，此类计算机程序或软件可存储或体现在一个或多个暂时性计算机可读存储或记录介质中，诸如信号传输的一个或多个暂时性形式(例如，传播电信号或电磁信号)。
因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括：用于输入计算机的体现计算机程序的介质；以及计算机程序，所述计算机程序体现在所述介质中，以使所述计算机执行或进行包括本文所述实施方案、方法、方式和/或技术中的任何一个或多个所涉及的步骤中的任何一个或多个的步骤。例如，在一些实施方案中，本发明提供存储一个或多个计算机程序的一个或多个非暂时性计算机可读存储介质，所述一个或多个计算机程序适于或被配置来致使基于处理器的设备或系统执行包括以下各项的步骤：产生音频信号；产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于音频信号将音频递送给用户的装置中；以及将控制信号嵌入音频信号中。作为另一个实例，在一些实施方案中，本发明提供存储一个或多个计算机程序的一个或多个非暂时性计算机可读存储介质，所述一个或多个计算机程序适于或被配置来致使基于处理器的设备或系统执行包括以下各项的步骤：产生音频信号；产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于音频信号将音频递送给用户的装置中；以及通过使用伪随机信号将控制信号嵌入音频信号中以便形成编码音频信号。
参考图13，示出基于处理器的设备或系统1300的另一个实例，其可用于实现本文所述的装置、系统、步骤、方法、技术、特征、修改和/或方式中的任意者。在一些实施方案中，基于处理器的设备或系统1300可用于实现系统100(图1)的接收侧104。在一些实施方案中，基于处理器的设备或系统1300可用于实现音频递送设备122。然而，基于处理器的设备或系统1300或其任何部分的使用不是一定需要的。
通过举例，系统1300(图13)可包括但不限于包括，接口和输入级1302、中央处理单元(CPU)1304、存储器1306、一个或多个声音再现装置1308以及一个或多个触觉反馈装置1310。在一些实施方案中，系统1300包括基于处理器的设备或系统的实例。系统1300可耦合到或本文所述的任何其他组件(诸如音频递送装置)和/或被配置来佩戴在人的头部上并将音频递送到人耳内的一个或两个的装置或与其集成或与其合并在一起。
在一些实施方案中，接口和输入级1302被配置来接收无线通信。在一些实施方案中，接口和输入级1302被配置来接收有线通信。任何此类通信可包括如本文所述的音频信号、修改的音频信号、编码音频信号和/或合成信号。在一些实施方案中，接口和输入级1302被配置来接收其他类型的通信、数据、信号等。在一些实施方案中，接口和输入级1302被配置来提供用于从基于处理器的设备(诸如基于处理器的系统110(图1))或任何其他装置、系统或设备接收如本文所述的音频信号、修改的音频信号、编码音频信号和/或合成信号的任何必要的功能、电路和/或接口。在一些实施方案中，接口和输入级1302可提供辅助执行或进行本文所述的任何步骤、方法、修改、技术、特征和/或方式的任何必要的功能。
CPU 1304可用于执行或辅助执行或进行本文所述方法和技术的任何步骤。存储器1306可包括或包含任何类型的计算机可读存储器或一个或多个记录介质。存储器1306可用于存储实现本文所述的方法和技术的程序代码、计算机代码、宏和/或任何需要的数据库等，诸如用于运行上述方法和技术的程序代码。在一些实施方案中，存储器1306可包括用于存储或体现用于致使基于处理器的设备或系统1300进行或执行本文所述的任何方法、代码、特征和/或技术的步骤的计算机程序或软件应用的有形的非暂态计算机可读存储介质。在一些实施方案中，存储器1306可包括用于存储或体现用于致使基于处理器的设备或系统1300进行或执行本文所述的任何方法、代码、特征和/或技术的步骤的计算机程序或软件应用的暂时计算机可读存储介质，诸如信号传输的暂时性形式。
在一些实施方案中，一个或多个声音再现装置1308可包括任何类型的扬声器、扩音器、耳塞式装置、耳内装置、耳内监测器等。例如，一个或多个声音再现装置1308可包括被设计成靠近用户的耳朵使用的一对小扬声器，或它们可包括一个或多个耳塞式或耳内监测器式扬声器或音频递送装置。
在一些实施方案中，一个或多个触觉反馈装置1310可包括任何类型的触觉反馈装置。例如，一个或多个触觉反馈装置1310可包括被配置来施加力、振动、运动等的装置。一个或多个触觉反馈装置1310可包括任何类型的触觉换能器等。此外，在一些实施方案中，一个或多个触觉反馈装置1310可被配置来在用户的头部附近操作，以便向用户的头部施加力、振动和/或运动。在一些实施方案中，一个或多个触觉反馈装置1310可被配置或设计来向用户的头部、耳朵、脖子、肩膀和/或其他身体部分或区域施加任何类型的力、振动、运动等。在一些实施方案中，一个或多个触觉反馈装置1310被配置来通过触觉控制信号进行控制，所述触觉控制信号可由计算机模拟(例如像视频游戏)产生。
在一些实施方案中，系统1300可包括麦克风。但麦克风不是必需的，且因此在一些实施方案中，系统1300不包括麦克风。
在一些实施方案中，以上所述实施方案、方法、方式和/或技术中的一个或多个可在可由基于处理器的设备或系统执行的一个或多个计算机程序或软件应用中实现。通过举例，这种基于处理器的系统可包括基于处理器的设备或系统1300。例如，在一些实施方案中，本发明提供存储一个或多个计算机程序的一个或多个非暂时性计算机可读存储介质，所述一个或多个计算机程序适于或被配置来致使基于处理器的设备或系统执行包括以下各项的步骤：接收包括具有嵌入控制信号的音频信号的信号；从所接收的信号恢复音频信号；使用恢复的音频信号来在用于递送音频的装置中产生音频；从所接收的信号恢复控制信号；以及使用恢复的控制信号来控制并入用于递送音频的装置中的触觉反馈装置。作为另一个实例，在一些实施方案中，本发明提供存储一个或多个计算机程序的一个或多个非暂时性计算机可读存储介质，所述一个或多个计算机程序适于或被配置来致使基于处理器的设备或系统执行包括以下各项的步骤：接收包括具有嵌入控制信号的音频信号的信号；通过使用伪随机信号从所接收的信号恢复控制信号；使用恢复的控制信号来控制并入用于递送音频的装置中的触觉反馈装置；从所接收的信号恢复音频信号；以及使用恢复的音频信号来在用于递送音频的装置中产生音频。
虽然已经借助于特定实施方案及其应用描述本文公开的发明，但是在不背离权利要求书中阐明的本发明的范围的情况下，本领域的技术人员可对本发明进行许多修改和变更。

Claims (34)

1.一种用于音频信号处理的方法，其包括：
产生音频信号；
产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于所述音频信号将音频递送给用户的装置中；以及
通过使用伪随机信号将所述控制信号嵌入所述音频信号中以便形成编码音频信号，其中产生等于至少部分地基于所述音频信号的信号加所述控制信号和所述伪随机信号的逆信号的乘积的所述编码音频信号。
2.如权利要求1所述的方法，其中至少部分地基于所述音频信号的所述信号等于所述音频信号。
3.如权利要求1或2所述的方法，其中所述伪随机信号包括具有伪随机可逆算子的值。
4.如权利要求3所述的方法，其中：
所述伪随机可逆算子中的每一个包括一个单元矩阵；以及
所述伪随机可逆算子包括仅正一和负一的两个状态。
5.如权利要求1或2所述的方法，其中产生等于至少部分地基于所述音频信号的信号加所述控制信号和所述伪随机信号的逆信号的乘积的所述编码音频信号包括：
将所述音频信号乘以所述伪随机信号以便形成第一合成信号；
将所述控制信号加到所述第一合成信号以便形成第二合成信号；以及
将所述第二合成信号乘以所述伪随机信号的所述逆信号以便形成所述编码音频信号。
6.如权利要求1所述的方法，其中产生等于至少部分地基于所述音频信号的信号加所述控制信号和所述伪随机信号的逆信号的乘积的所述编码音频信号包括：
将所述音频信号乘以所述伪随机信号以便形成第一合成信号；
对所述第一合成信号进行滤波以便形成经滤波的第一合成信号；
将所述控制信号加到所述经滤波的第一合成信号以便形成第二合成信号；以及
将所述第二合成信号乘以所述伪随机信号的所述逆信号以便形成所述编码音频信号。
7.如权利要求1或2所述的方法，其中产生等于至少部分地基于所述音频信号的信号加所述控制信号和所述伪随机信号的逆信号的乘积的所述编码音频信号包括：
将所述控制信号乘以所述伪随机信号的所述逆信号以便形成第一合成信号；以及
将所述音频信号加到所述第一合成信号以便形成所述编码音频信号。
8.一种存储一个或多个计算机程序的非暂时性计算机可读存储介质，所述一个或多个计算机程序被配置来致使基于处理器的系统执行包括以下各项的步骤：
产生音频信号；
产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于所述音频信号将音频递送给用户的装置中；以及
通过使用伪随机信号将所述控制信号嵌入所述音频信号中以便形成编码音频信号，其中产生等于至少部分地基于所述音频信号的信号加所述控制信号和所述伪随机信号的逆信号的乘积的所述编码音频信号。
9.如权利要求8所述的非暂时性计算机可读存储介质，其中所述伪随机信号包括具有伪随机可逆算子的值。
10.一种用于音频信号处理的系统，其包括：
音频输出接口；
中央处理单元(CPU)，其耦合到所述音频输出接口；以及
存储器，其耦合到所述CPU并且存储程序代码，所述程序代码被配置来致使所述CPU执行包括以下各项的步骤，
产生音频信号；
产生控制信号，所述控制信号被配置来控制触觉反馈装置，所述触觉反馈装置被并入用于基于所述音频信号将音频递送给用户的装置中；
通过使用伪随机信号将所述控制信号嵌入所述音频信号中以便形成编码音频信号，其中产生等于至少部分地基于所述音频信号的信号加所述控制信号和所述伪随机信号的逆信号的乘积的所述编码音频信号；以及
将所述编码音频信号提供到所述音频输出接口。
11.如权利要求10所述的系统，其中所述伪随机信号包括具有伪随机可逆算子的值。
12.一种用于音频信号处理的方法，其包括：
接收包括具有嵌入控制信号的音频信号的信号；
通过使用伪随机信号从所述接收的信号恢复所述控制信号；
使用所述恢复的控制信号来控制并入用于递送音频的装置中的触觉反馈装置；
从所述接收的信号恢复所述音频信号；以及
使用所述恢复的音频信号来在用于递送音频的所述装置中产生音频。
13.如权利要求12所述的方法，其中通过使用伪随机信号从所述接收的信号恢复所述控制信号包括：
将所述接收的信号乘以所述伪随机信号以便形成第一合成信号。
14.如权利要求13所述的方法，其中通过使用伪随机信号从所述接收的信号恢复所述控制信号还包括：
通过对所述第一合成信号进行滤波来从所述第一合成信号恢复所述控制信号。
15.如权利要求14所述的方法，其中通过对所述第一合成信号进行滤波来从所述第一合成信号恢复所述控制信号包括：
对所述第一合成信号进行滤波以便隔离所述控制信号所使用的窄频带。
16.如权利要求13-15中任一项所述的方法，其中所述第一合成信号包括在窄频带中升到基本上平坦的频率响应之上的峰值。
17.如权利要求13-15中任一项所述的方法，其中通过使用伪随机信号从所述接收的信号恢复所述控制信号还包括：
将所述第一合成信号与阈值比较。
18.如权利要求13-15中任一项所述的方法，其中所述伪随机信号包括具有伪随机可逆算子的值。
19.如权利要求18所述的方法，其中：
所述伪随机可逆算子中的每一个包括一个单元矩阵；以及
所述伪随机可逆算子包括仅正一和负一的两个状态。
20.如权利要求12-15中任一项所述的方法，其还包括：
使所述伪随机信号和与所述伪随机信号完全相同的信号同步。
21.如权利要求12-15中任一项所述的方法，其中从所述接收的信号恢复所述音频信号包括：
将所述接收的信号乘以所述伪随机信号以便形成第一合成信号；以及
通过将至少部分地基于所述第一合成信号的信号乘以所述伪随机信号的逆信号，从至少部分地基于所述第一合成信号的所述信号恢复所述音频信号。
22.如权利要求21所述的方法，其中所述伪随机信号包括具有伪随机可逆算子的值。
23.如权利要求21所述的方法，其中至少部分地基于所述第一合成信号的所述信号包括所述第一合成信号。
24.如权利要求21所述的方法，其中至少部分地基于所述第一合成信号的所述信号包括所述第一合成信号的经滤波版本。
25.一种存储一个或多个计算机程序的非暂时性计算机可读存储介质，所述一个或多个计算机程序被配置来致使基于处理器的系统执行包括以下各项的步骤：
接收包括具有嵌入控制信号的音频信号的信号；
通过使用伪随机信号从所述接收的信号恢复所述控制信号；
使用所述恢复的控制信号来控制并入用于递送音频的装置中的触觉反馈装置；
从所述接收的信号恢复所述音频信号；以及
使用所述恢复的音频信号来在用于递送音频的所述装置中产生音频。
26.如权利要求25所述的非暂时性计算机可读存储介质，其中通过使用伪随机信号从所述接收的信号恢复所述控制信号包括：
将所述接收的信号乘以所述伪随机信号以便形成第一合成信号。
27.如权利要求26所述的非暂时性计算机可读存储介质，其中通过使用伪随机信号从所述接收的信号恢复所述控制信号还包括：
通过对所述第一合成信号进行滤波来从所述第一合成信号恢复所述控制信号。
28.如权利要求25-27中任一项所述的非暂时性计算机可读存储介质，其中所述伪随机信号包括具有伪随机可逆算子的值。
29.如权利要求25-27中任一项所述的非暂时性计算机可读存储介质，其中从所述接收的信号恢复所述音频信号包括：
将所述接收的信号乘以所述伪随机信号以便形成第一合成信号；以及
通过将至少部分地基于所述第一合成信号的信号乘以所述伪随机信号的逆信号，从至少部分地基于所述第一合成信号的所述信号恢复所述音频信号。
30.一种用于音频信号处理的系统，其包括：
至少一个声音再现装置；
至少一个触觉反馈装置；
中央处理单元(CPU)，其耦合到所述至少一个声音再现装置和所述至少一个触觉反馈装置；以及
存储器，其耦合到所述CPU并且存储程序代码，所述程序代码被配置来致使所述CPU执行包括以下各项的步骤，
接收包括具有嵌入控制信号的音频信号的信号；
通过使用伪随机信号从所述接收的信号恢复所述控制信号；
使用所述恢复的控制信号来控制所述至少一个触觉反馈装置；
从所述接收的信号恢复所述音频信号；以及
使用所述恢复的音频信号来在所述至少一个声音再现装置中产生音频。
31.如权利要求30所述的系统，其中通过使用伪随机信号从所述接收的信号恢复所述控制信号包括：
将所述接收的信号乘以所述伪随机信号以便形成第一合成信号。
32.如权利要求31所述的系统，其中通过使用伪随机信号从所述接收的信号恢复所述控制信号还包括：
通过对所述第一合成信号进行滤波来从所述第一合成信号恢复所述控制信号。
33.如权利要求30-32中任一项所述的系统，其中所述伪随机信号包括具有伪随机可逆算子的值。
34.如权利要求30-32中任一项所述的系统，其中从所述接收的信号恢复所述音频信号包括：
将所述接收的信号乘以所述伪随机信号以便形成第一合成信号；以及
通过将至少部分地基于所述第一合成信号的信号乘以所述伪随机信号的逆信号，从至少部分地基于所述第一合成信号的所述信号恢复所述音频信号。
CN201580024342.XA 2014-05-09 2015-05-01 使用伪白噪声将控制信号嵌入音频信号中的方案 Active CN106662915B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/274,571 US9928728B2 (en) 2014-05-09 2014-05-09 Scheme for embedding a control signal in an audio signal using pseudo white noise
US14/274,555 2014-05-09
US14/274,571 2014-05-09
US14/274,555 US20150325115A1 (en) 2014-05-09 2014-05-09 Scheme for embedding a control signal in an audio signal
PCT/US2015/028761 WO2015171452A1 (en) 2014-05-09 2015-05-01 Scheme for embedding a control signal in an audio signal using pseudo white noise

Publications (2)

Publication Number Publication Date
CN106662915A CN106662915A (zh) 2017-05-10
CN106662915B true CN106662915B (zh) 2020-09-29

Family

ID=54392869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580024342.XA Active CN106662915B (zh) 2014-05-09 2015-05-01 使用伪白噪声将控制信号嵌入音频信号中的方案

Country Status (4)

Country Link
EP (1) EP3140718B1 (zh)
JP (1) JP6295342B2 (zh)
CN (1) CN106662915B (zh)
WO (1) WO2015171452A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092012A (ja) 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018101243A (ja) * 2016-12-20 2018-06-28 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび電気刺激提示方法
JP2018185704A (ja) * 2017-04-27 2018-11-22 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび生体電気刺激方法
CN109005484A (zh) * 2017-06-06 2018-12-14 深圳朗特智能控制股份有限公司 一种利用声波进行信息传输和控制的装置及其实现方法
US10484792B2 (en) * 2018-02-16 2019-11-19 Skullcandy, Inc. Headphone with noise cancellation of acoustic noise from tactile vibration driver
KR20210031916A (ko) * 2018-08-08 2021-03-23 소니 주식회사 복호 장치, 복호 방법, 프로그램
CN109450774B (zh) * 2018-12-12 2021-02-19 深圳市晨北科技有限公司 白噪声资源分享系统
CN111243258B (zh) * 2020-01-07 2020-11-17 福建天晴数码有限公司 基于音频的终端屏幕控制方法、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5816823A (en) * 1994-08-18 1998-10-06 Interval Research Corporation Input device and method for interacting with motion pictures incorporating content-based haptic feedback
US7269734B1 (en) * 1997-02-20 2007-09-11 Digimarc Corporation Invisible digital watermarks
CN103677249A (zh) * 2012-08-31 2014-03-26 英默森公司 使用映射的声音-触觉效应转换系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3778236B2 (ja) * 1996-10-22 2006-05-24 ソニー株式会社 映像信号伝送方法、映像信号出力方法、映像信号出力装置および付加情報検出装置
US6792542B1 (en) * 1998-05-12 2004-09-14 Verance Corporation Digital system for embedding a pseudo-randomly modulated auxiliary data sequence in digital samples
GB9917985D0 (en) * 1999-07-30 1999-09-29 Scient Generics Ltd Acoustic communication system
US6947893B1 (en) * 1999-11-19 2005-09-20 Nippon Telegraph & Telephone Corporation Acoustic signal transmission with insertion signal for machine control
JP2002171397A (ja) * 2000-12-01 2002-06-14 Matsushita Electric Ind Co Ltd ディジタル画像伝送装置
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7523375B2 (en) * 2005-09-21 2009-04-21 Distribution Control Systems Set of irregular LDPC codes with random structure and low encoding complexity
US8156433B2 (en) * 2006-09-05 2012-04-10 Villanova University Embodied music system
EP2417776A1 (en) * 2009-04-10 2012-02-15 Immerz Inc. Systems and methods for acousto-haptic speakers
US20110064251A1 (en) * 2009-09-11 2011-03-17 Georg Siotis Speaker and vibrator assembly for an electronic device
US9886091B2 (en) * 2012-03-15 2018-02-06 Nokia Technologies Oy Tactile apparatus link
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5816823A (en) * 1994-08-18 1998-10-06 Interval Research Corporation Input device and method for interacting with motion pictures incorporating content-based haptic feedback
US7269734B1 (en) * 1997-02-20 2007-09-11 Digimarc Corporation Invisible digital watermarks
CN103677249A (zh) * 2012-08-31 2014-03-26 英默森公司 使用映射的声音-触觉效应转换系统

Also Published As

Publication number Publication date
JP2017515240A (ja) 2017-06-08
CN106662915A (zh) 2017-05-10
JP6295342B2 (ja) 2018-03-14
EP3140718A1 (en) 2017-03-15
EP3140718B1 (en) 2019-01-02
WO2015171452A1 (en) 2015-11-12
EP3140718A4 (en) 2017-11-29

Similar Documents

Publication Publication Date Title
US9928728B2 (en) Scheme for embedding a control signal in an audio signal using pseudo white noise
CN106662915B (zh) 使用伪白噪声将控制信号嵌入音频信号中的方案
US10339772B2 (en) Sound to haptic effect conversion system using mapping
US10063976B2 (en) Headphones for stereo tactile vibration, and related systems and methods
US10429933B2 (en) Audio enhanced simulation of high bandwidth haptic effects
JP4869352B2 (ja) 音声データストリームを処理する装置および方法
EP2778901B1 (en) Method and haptic device for encoding and decoding haptic information
EP1949751B1 (en) Device for and method of generating a vibration source-driving-signal
US20150325115A1 (en) Scheme for embedding a control signal in an audio signal
KR20140117958A (ko) 음향효과를 이용한 촉각효과 재생 장치 및 방법
US20160171987A1 (en) System and method for compressed audio enhancement
WO2021176842A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
US10923098B2 (en) Binaural recording-based demonstration of wearable audio device functions
KR102689827B1 (ko) 음장적용기능 및 적응적 소음통제기능이 구비되는 블루투스 이어폰
CN112204504A (zh) 触觉数据生成装置及方法、触觉效果提供装置及方法
CN113302845A (zh) 解码装置、解码方法和程序
EP4358084A1 (en) Audio cancellation system and method
JP7494848B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021200142A1 (ja) 情報処理装置、情報処理方法、及びプログラム
GB2610591A (en) Apparatus, systems and methods for haptics
JP2022104960A (ja) 振動体感装置，方法，振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant