CN101911662A - 将音频与铃声数据混合的方法及系统 - Google Patents

将音频与铃声数据混合的方法及系统 Download PDF

Info

Publication number
CN101911662A
CN101911662A CN2008801235789A CN200880123578A CN101911662A CN 101911662 A CN101911662 A CN 101911662A CN 2008801235789 A CN2008801235789 A CN 2008801235789A CN 200880123578 A CN200880123578 A CN 200880123578A CN 101911662 A CN101911662 A CN 101911662A
Authority
CN
China
Prior art keywords
audio signal
audio
mixing
notice
communicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2008801235789A
Other languages
English (en)
Inventor
张敖成
贝俊彦
卡西克·卡纳安
西瓦·帕万·库马尔·米特纳拉
惠雅·纳尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101911662A publication Critical patent/CN101911662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/021—Mobile ringtone, i.e. generation, transmission, conversion or downloading of ringing tones or other sounds for mobile telephony; Special musical data formats or protocols herefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/025—Computing or signal processing architecture features
    • G10H2230/041—Processor load management, i.e. adaptation or optimization of computational load or data throughput in computationally intensive musical processes to avoid overload artifacts, e.g. by deliberately suppressing less audible or less relevant tones or decreasing their complexity
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025—Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/035—Crossfade, i.e. time domain amplitude envelope control of the transition between musical sounds or melodies, obtained for musical purposes, e.g. for ADSR tone generation, articulations, medley, remix
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis

Abstract

本发明揭示一种用于在现行通信会话期间在通信装置(110)中播放经混合的音频的方法及系统。一种配置允许与在进行中的电话呼叫期间接收的语音音频同时听到铃声音频。在一种配置中，所述装置(110)包括：收发器(130)，其经配置以接收第一音频信号；事件处置器(128)，其经配置以接收通知；存储设备(126)，其经配置以存储至少一个音频文件(124)；处理器(112)，其经配置以基于所述所接收的通知起始将所述存储设备(126)中所存储的音频文件(124)转换为第二音频信号；混合器(120)，其经配置以混合所述第一音频信号及所述第二音频信号以产生经混合的音频信号；及输出装置(122)，其用于输出所述经混合的音频信号。

Description

将音频与铃声数据混合的方法及系统
技术领域
本发明涉及音频处理，且更确切地说涉及允许同时播放至少两个音频信号的音频混合技术。本发明与题为“智能缩放及混合以区分音频源(Intelligent Scaling and Mixing to Differentiate Audio Sources)”的共同待决且共同相关的第11/449,454号专利申请案相关。
背景技术
现代电话手持机现在包含高级音乐特征，其允许用户收听高质量的音乐且还进行电话呼叫和接收来自第三方的电话呼叫。多媒体手持机设计需要灵活的数字音频取样及强大的处理能力以实现高保真品质的音频录制及播放特征。举例来说，例如多段均衡或3D声音处理的复杂音频处理可能变成优化信号以供经由扬声器电话或头戴式受话器播放所必须的。
在当前手持机变得越来越强大时，用户同时在其手持机使用方面需要较大灵活性。为了支持这些新兴的复杂用户模式，所述手持型装置开始需要灵活的数字及模拟接口，所述接口允许在播放模式期间混合不同内容。举例来说，如果检测到传入电话呼叫，则许多当前电话将暂停音乐或视频播放。其它电话将降低音乐或视频的音量并播放音调以警示用户一呼叫正在传入。这些不同数据流通常具有不同取样率，此情况增加了管理这些手持机特征的复杂性。
当蜂窝式电话闲置且接收传入呼叫通知时，所述蜂窝式电话将通常存取待经由电话的扬声器播放的铃声数据。所述铃声数据可为简单音调或复杂乐谱，且其通常由用户选择以既在美感方面令人愉悦又识别呼叫者。然而，当蜂窝式电话的用户已忙于用电话通话时，铃声特征通常不存在。简单音调声音向手机用户指示存在另外的传入呼叫，因为手机无法在不影响进行中的通话的质量的情况下产生复杂声音。
发明内容
本发明中所描述的一个方面是一种在现行通信会话期间在通信装置中播放经混合的音频的方法，所述方法包括：从现行通信会话接收第一音频信号；接收通知；响应于所述通知，起始将经存储的音频文件转换为第二音频信号；混合第一音频信号及第二音频信号以产生经混合的音频信号；及将经混合的音频信号输出到通信装置的输出端。
本发明中所描述的另一方面是一种经配置以在现行通信会话期间播放经混合的音频的通信装置，所述装置包括：收发器，其经配置以接收第一音频信号；事件处置器，其经配置以接收通知；存储设备，其经配置以存储至少一个音频文件；处理器，其经配置以基于所接收的通知起始将存储设备中所存储的音频文件转换为第二音频信号；混合器，其经配置以混合第一音频信号及第二音频信号以产生经混合的音频信号；及输出装置，其用于输出经混合的音频信号。
一个方面是一种在现行通信会话期间在通信装置中播放经混合的音频的方法。此方法包含：从现行通信会话接收第一音频信号；接收通知；响应于所述通知，起始将经存储的音频文件转换为第二音频信号；混合第一音频信号及第二音频信号以产生经混合的音频信号；及将经混合的音频信号输出到通信装置的输出端。
另一方面是一种经配置以在现行通信会话期间播放经混合的音频的通信装置。此装置包含：收发器，其经配置以接收第一音频信号；事件处置器，其经配置以接收通知；存储设备，其经配置以存储至少一个音频文件；处理器，其经配置以基于所接收的通知起始将存储设备中所存储的音频文件转换为第二音频信号；混合器，其经配置以混合第一音频信号及第二音频信号以产生经混合的音频信号；及输出装置，其经配置以输出经混合的音频信号。
又一配置是一种经配置以在现行通信会话期间播放经混合的音频的通信装置，其中所述装置具有：用于从现行通信会话接收第一音频信号的装置；用于接收通知的装置；用于基于所述通知起始将经存储的音频文件转换为第二音频信号的装置；用于混合第一音频信号及第二音频信号以产生经混合的音频信号的装置；及用于将经混合的音频信号输出到通信装置的输出端的装置。
再一配置是一种或一种以上处理器可读存储装置，其具有处理器可读代码，所述处理器可读代码用于对一个或一个以上处理器进行编程以执行在现行通信会话期间在通信装置中播放音频的方法。所述存储装置经编程以执行一方法，所述方法是：从现行通信会话接收第一音频信号；接收通知；响应于所述通知，起始将经存储的音频文件转换为第二音频信号；混合第一音频信号及第二音频信号以产生经混合的音频信号；及将经混合的音频信号输出到通信装置的输出端。
另外一种配置是一种在通信装置中的电路，其经配置以执行在现行通信会话期间播放音频的方法，所述方法是：提供第一可混合的音频信号；接收通知；基于所述所接收的通知，起始将不可混合的音频文件转换为第二可混合的音频信号；混合所述第一可混合的音频信号及所述第二可混合的音频信号以产生经混合的音频信号；及输出所述经混合的音频信号。
附图说明
图1是本发明中的示范性配置的功能框图。
图2是展示同时播放语音信号及MIDI文件的方法的流程图。
图3是展示在一时间周期内分配处理能力的图表。
图4是展示根据本发明中的一种配置的中断优先权的图表。
具体实施方式
一种配置是用于在现行通信会话期间在通信装置中播放经混合的音频的系统及方法。举例来说，一种配置允许向蜂窝式电话的用户播放与传入呼叫相关联的铃声，同时所述电话继续对来自已正发生的电话通话的语音音频进行编码和解码。所述铃声可为简单音符或复杂音乐片断。如下文所论述，本文中所描述的其它配置将铃声的音乐数据与进行中的通话合并，而不会使在通信装置上发生的通话的质量降级。
如所提及，通信装置可为无线蜂窝式电话。另外，通信装置可为个人数字助理(PDA)、个人通信器、基于陆线的电话或配备有通信能力的立体或便携型音乐播放器。另外，通信装置可为使用IP(因特网协议)语音的移动单元，其中所述移动单元可为PDA、移动电话、膝上型计算机、个人计算机等。一般来说，现行通信会话是两个装置之间的数据会话，其中数据正传输到一装置或从一装置传输到另一装置(例如，基站或另一终端)。现行通信会话包括所述装置与另一装置或系统之间的通信链路。现行通信会话的一实例是无线通信系统中的进行中的电话呼叫，例如，当第一无线呼叫者对第二基于地面的呼叫者或无线呼叫者谈话时。
关于混合音频信号，线性重叠的原理首先适用于声波。亦即，当同时播放两个声音时，每一声音产生一声波，且在任何时间点所测量的声音大约等于在所述时间点所述两个波的和。因此，可称混合两个声音产生单个声音，所述单个声音是所述两个输入声音的和。类似地，混合两个音频流(其各自代表一声音)导致单个音频流，所述单个音频流代表所述两个输入声音的和。然而，混合两个不同的音频流可能不止涉及简单的求和。举例来说，在一些配置中，必须首先确保每一音频流处于“可混合的音频格式”。可混合的音频格式包含其中存在代表一系列取样时间点的基本声波形的数据的数据格式。所述格式的一个实例是脉码调制(PCM)。为了混合两个信号，对于两个信号来说，取样时间点相同可能是有利的。此做法简化了所述两个信号的求和。为了实现此效果，可能必须对所述信号中的一者或两者重新取样，亦即，计算不同系列的取样时间点的基本声波形的所述值。
混合也可包含以其它方式改变一个或两个音频流。举例来说，可能必须调整音量(或基本波形的振幅)以便当两个信号混合时避免不良音频效果(例如，限幅)。改变所述音频流中的一者或两者以使得收听者在听到经混合的音频流时可区分所述两个声音可能也是有利的。举例来说，可相对于音频流中的一者使音频流中的另一者衰减以使得可较容易听到所述一者。音频流中的每一者可使其平衡得以调整，以便在右听筒中听到一个音频流且在左听筒中听到另一个音频流。在题为“智能缩放及混合以区分音频源(Intelligent Scaling and Mixing to Differentiate Audio Sources)”的第11/449,454号美国专利申请案中描述又一混合技术。
因为混合可包含将每一数据流设置成可混合的格式，所以混合可包含数据流的合成、解压缩、解码或其它处理。在为进行混合需要以合成为条件的一种类别的不可混合的音频文件格式是例如MIDI(乐器数字接口)的事件驱动文件格式。MIDI格式经设计以用于在例如音乐合成器及PC声卡的电子音乐装置之间发送音乐信息。可在因特网上在MIDI.ORG处找到关于MIDI文件的更多信息。MIDI文件并不含有经数字化的声音，而是含有可由处理器解译并合成为可混合的音频流的一组数字音乐指令(音符)。因为MIDI格式仅含有呈音符形式的指令，所以MIDI文件可能非常小。以MIDI格式存储的音频文件通常具有扩展名.mid或.midi。其它相似或并入有MIDI的特征的格式包含XMF(可扩展音乐格式)或SMAF(合成音乐移动应用格式)。一些事件驱动格式包括用于在特定时间播放所存储的数字音频文件的指令，而不包括用于播放必须在特定时间合成的音符的指令(或除了用于播放必须在特定时间合成的音符的指令之外，还包括用于在特定时间播放所存储的数字音频文件的指令)。这些数字音频文件可包含以可混合的音频文件格式存储的文件。还应注意，可在将两个事件驱动文件中的任一者合成为“可混合的音频格式”之前混合所述两个事件驱动文件，且可在所述混合之后实现所述合成。
另一类别的不可混合的音频文件格式包含例如MP3的经压缩的音频格式，其在输出到混合器或数/模转换器之前需要处理。又一类别的不可混合的音频文件格式包含经编码的音频格式，例如，用以传输语音数据的无线通信应用(例如，EVRC(增强型可变速率编解码器)或GSM(全球移动通信系统))中的经编码的音频格式。
这些不可混合的文件通常可转换为在电子装置内较容易混合的音频格式。一种此类别的可混合的格式包含PCM(脉码调制)及相关格式，例如，ADPCM(自适应PCM)、WAV或AIFF(音频交换文件格式)。
一种配置允许将至少两个不可混合的音频文件转换为两个可混合的音频流并混合所述音频流以产生对用户的经混合的音频输出。将在维持声音的保真度并产生尽可能少的因处理引起的时间延迟的同时实现此效果。举例来说，如果在蜂窝式电话通话期间接收到传入呼叫，则将通话的语音数据与同所述传入呼叫相关联的铃声数据混合将是有利的。经混合的音频流的产生优选极少引起通话或传入呼叫的通知的延迟，且类似地极少引起语音数据及铃声数据的失真。
虽然本发明的一个方面涉及传入呼叫通知，但是可使用如本文中所描述的铃声数据来执行各种其它通知。举例来说，可使用专用铃声在电话通话期间宣告低电池电量状况或传入文本消息的宣告。通知甚至可包含来自用户的播放特定铃声或其它音频文件的指令。举例来说，如果用户正收听MP3文件并希望查阅他/她的当前铃声库。另一配置也可能未能包含所述用户起始的通知。应理解其它配置可利用在电话通话期间发生的任何类型的通知。
在一种配置中，为了在蜂窝式电话正使用时提供铃声音频，处理器将铃声数据合成为可混合的音频信号。如本文中所揭示，此合成优选与蜂窝式电话正在呼叫中执行其正常操作(例如，对语音包进行编码及解码)同时发生。
在继续下文之前，定义在描述本文中所描述的装置的配置时将使用的一些额外术语可能是有帮助的。因此，贯穿此详细描述，以下术语应具有此处归于所述术语的意义：
术语“宣告”或“呼叫宣告”意谓由电信装置执行以指示传入呼叫的感观可感知发生事件。宣告可为媒体文件、特定序列的闪烁或稳定光、振动或任何其它感观可感知机制。
术语“发起装置”意谓发起出站呼叫的电信装置。所述术语发起装置也可与“主叫方”或“发起方”可互换地使用。
术语“接收装置”意谓接收入站呼叫的电信装置。所述术语接收装置也可与“被叫方”或“接收方”可互换地使用。
所述系统包括如下文详细论述的各种模块。如所属领域的技术人员可了解，所述模块中的每一者可包括各种子例程、程序、定义语句及宏。通常单独编译模块中的每一者并将其链接成单个可执行程序。因此，为了方便起见，使用对模块中的每一者的以下描述来描述优选系统的功能性。因此，可将模块中的每一者经受的处理任意地重新分配到其它模块中的一者，一起组合在单个模块中，或使其可在(例如)可共享的动态链接库中获得。
可使用标准编程或工程技术将本文中所揭示的配置实施为方法、设备或制品以产生软件、固件、硬件或其任何组合。如本文中所使用的术语“制品”指实施在硬件或例如光学存储装置及易失性或非易失性存储器装置的计算机可读媒体中的代码或逻辑。所述硬件可包含(但不限于)现场可编程门阵列(FPGA)、专用集成电路(ASIC)、复杂可编程逻辑装置(CPLD)、可编程逻辑阵列(PLA)、微处理器或其它相似处理装置。
图1是本发明的示范性配置的功能框图。此配置包含手机110。所述手机可为任何类型的常规无线电话，例如，由
Figure BPA00001172218900061
Figure BPA00001172218900062
RESEARCH IN
Figure BPA00001172218900063
以及其它公司制造的无线电话。所述手机包括收发器130、处理器112、存储器126、混合器120及扬声器122以及其它。所述收发器130经配置以发送和接收数字信号。在特定配置中，收发器可包括用于无线通信的天线。处理器112可为任何标准或定制设计的微处理器。在一种配置中，处理器包括来自高通(Qualcomm)的MSM(移动台调制解调器)系列的芯片组，例如，MSM 6290或MSM 6800。可在因特网上在qualcomm.com处找到关于这些处理器的更多信息。耦合到所述处理器的(或在一些配置中，所述处理器的一部分)是事件处置器128。所述事件处置器128能够经由小键盘、处理器、收发器或其它能够发送通知并产生导致处理器112采取预定动作的事件的装置来接收来自用户的通知。举例来说，所述事件处置器128可作为函数调用在软件中实施。存储器126可为任何类型的数字存储设备，例如，快闪存储卡或磁性硬盘驱动器。耦合到存储器(或在一些配置中存储在存储器内)的是音频文件库124。可以例如上文所列举的格式的各种格式存储音频文件124。
音频文件124可包括待在接收到由事件处置器128处置的传入呼叫通知后播放的铃声数据。当接收到所述传入呼叫通知时，基于由用户选择的准则来选择适当的音频文件。举例来说，来自工作的手机呼叫可与作为MIDI文件存储在所述音频文件库124中的第一铃声相关联，而来自朋友的电话呼叫可与作为WAV文件存储在所述音频文件库124中的第二铃声相关联。混合器120经配置以将输出提供到扬声器122。混合器120经配置以将两个或两个以上音频流混合在一起，并且将单个音频流输出到扬声器122。可单独实施混合器120或作为处理器的一部分实施混合器120，且可由软件或固件来实现其执行的功能。如上文所提及，为了混合两个音频流，将混合器连接到至少一声码器解码器(vocoder decoder)118及一MIDI合成器116。在一些配置中，声码器解码器118及MIDI合成器116是混合器120的一部分。
声码器解码器118经配置以将与电话呼叫或现行通信会话相关联的语音包(语音数据)解码成可混合的音频格式。所述声码器解码器118对来自例如另一手机或陆线电话的发起装置的传入话音进行解码。MIDI合成器116经配置以基于输入的MIDI文件以可混合的音频格式合成音频信号。MIDI合成器的一个实例是CMX MIDI合成器。也在手机110内的是声码器解码器118，其对来自例如另一手机或陆线电话的发起装置的传入话音进行解码。当输入语音包及MIDI文件时，来自混合器120的经组合的输出允许用户在与另一方的电话通话期间听到MIDI铃声。
图2是展示同时将语音信号及MIDI文件输出到用户的过程200的流程图。当手机具有正在处理的呼叫时，可发生所述过程200。在状态210处，处理器等待接收传入呼叫通知。如果不存在另一传入呼叫的通知，则状态210继续循环。一旦手机收到通知有传入呼叫，便在状态212处从所存储的MIDI文件中选择与所述传入呼叫相关联的适当的铃声数据。
一旦已在状态212处选择适当的铃声数据，则所述过程200移动到决策状态220以确定在手机内是否存在足够可用处理能力来处理语音编码、语音解码及铃声数据的合成。下文关于图3更完整地论述此情况。如果在决策状态220处作出处理器并不具有合成全部量的铃声数据(由于大量处理能力专用于语音编码及/或解码)的能力的确定，则在状态216处修改铃声数据。
在状态216中，系统可减少铃声数据的复杂性以便可使用较少处理器循环来合成所述铃声数据。此做法允许系统维持语音编码及解码处理的保真度，但仍向用户播放所选择的铃声。在一种配置中，在状态216期间，当正由MIDI合成器合成铃声时，系统从所述铃声中移除一个或一个以上音符。因为MIDI文件基本上是组成铃声的音符的文件，所以有可能在将文件作为铃声重建成数字音乐之前从MIDI文件中减少特定音符。典型用户不可能注意到此减少，因为此减少将仅对铃声的总体声音作出极微小的改变。
在一种配置中，音符移除的次序是基于限制移除音符对用户的所感知的影响。举例来说，因为收听者将不会在像相对较大声的音符一样的程度上发现较安静的音符的遗失，所以移除音量较低的音符将对收听者产生较少影响。对于减少铃声的复杂性的另一选择是通过移除(且因此不合成)“释放部分”中的音符。在一铃声中，任何特定音符或音调均可具有若干状态。最初，音符在特定时间周期内可处于“初始”部分中。所述音符接着在特定时间周期内从所述初始部分移动到“持续”部分。所述“持续”部分之后是音符的释放部分。因为与其它部分相比释放部分可能较安静且对于铃声的总体乐曲来说较不重要，所以减少音符的释放部分的持续时间可能不会被用户注意。
预期减少铃声数据的复杂性的另外其它方法。举例来说，可给予例如旋律的特定MIDI音轨高于其它音轨的优先权。如已知的，与例如和音或和声的一次性事件相反，铃声的旋律是音乐事件的线性连续。因此，可用高于和声的保真度来合成旋律，而不破坏铃声的所感知的声音。因此，在一种配置中，移除来自和声或特定和音的音符以便减少铃声的复杂性，而不改变旋律音轨内的音符。
一旦系统通过上文所描述的方法中的一者减少了音乐的复杂性，所述过程200便移动到决策状态218，其中作出是否已将文件减少足够量以允许处理器合成铃声且还对进行中的电话呼叫的语音信号进行解码和编码的确定。如果作出不存在足够的剩余MIPS(每秒百万条指令，处理能力的度量)来以高保真度对语音信号进行解码和编码的确定，则所述过程200返回到状态216，其中采取额外方法来减少铃声的复杂性。然而，如果作出手持机内存在足够的剩余MIPS来对语音进行解码和编码且还合成铃声的确定，则所述过程200移动到状态220，其中合成铃声。
一旦已在状态220处将铃声数据合成为音频信号，便将所述所得音频信号与从声码器解码器接收的输出音频信号混合222。为了将从MIDI合成器接收的音频信号与来自声码器解码器的语音数据混合，对每一数据流重新取样以具有相同取样频率可能是有利的。在一种配置中，在48kHz下对语音及铃声音频信号取样。当然，系统并不限于在任何特定频率下取样。接着经由手机的扬声器播放经混合的声音224。
图3是展示在60毫秒的时间周期内分配手持机中的处理能力的图表，在所述时间周期内，用户正进行电话呼叫且铃声也正试图在同一周期期间播放，从而通知用户有传入呼叫。在手机通话期间，处理器负责语音编码、语音解码及铃声合成以及其它。在特定电话呼叫期间，语音编码/解码可使用的芯片/微处理器/计算机处理能力的最大量取决于正处理的特定编解码器。在任何给定时间使用的此最大量取决于实际编码或解码的信号。举例来说，编码/解码静默耗费极少的处理能力。在图3中，可能需要70％的处理能力的示范性编解码器用于在电话呼叫期间对语音信号进行编码和解码。当此编解码器在使用时，此70％的处理能力专用于语音编码/解码。因此，在接收到通知的情况下，剩余处理能力可用于铃声合成。
当然，编解码器可需要的处理能力的百分比可为除70％以外的数目，且预期在一种配置中，可根据使用的编解码器来动态分配处理能力。在图3中所展示的实例中，在0毫秒与10毫秒之间，大约一半的专用处理能力用于声码器操作。在10毫秒结束时，语音解码已将所接收的不可混合的语音包转换成可混合的音频格式，所述可混合的音频格式可被馈送到数/模转换器并经由扬声器播放。在10毫秒结束时，向电话的用户播放所述经解码的音频。当播放此音频时，在下一10毫秒中，声码器需要大约3/4的专用处理能力来执行语音包编码及解码。在下一10毫秒结束时，将不可混合的语音包解码成可混合的音频格式并向用户播放所述语音包。因此，在0与20毫秒之间，处理器对来自电话通话的语音信号完全编码和解码。在大约20毫秒时，接收传入呼叫通知，从而促使处理器选择适当的铃声数据并开始将其合成为可混合的音频信号。因此系统开始执行10毫秒的语音编码/解码及MIDI合成两者。此外，未使用100％的专用于声码器操作的处理能力，且在此情况下未使用100％的用于铃声合成的剩余处理能力。因为可在来自处理器的可用MIPS内合成第一10毫秒的MIDI铃声数据，所以无需采取任何措施来减少铃声的复杂性。在此10毫秒时间周期结束时，已将不可混合的语音包转换为可混合的音频流，且已将不可混合的铃声数据合成为可混合的音频流。混合此两个流并将其以尽可能少的延迟播放。因此，当在下一10毫秒内合成铃声数据的下一部分时，向用户播放包括语音及铃声音频的经混合的音频流。在30毫秒与40毫秒之间的下一10毫秒中，大量专用声码器处理能力正在使用，且继续发生铃声合成。然而，在此情况下，铃声数据过于复杂以致不能使用可用处理能力来完全合成所述铃声数据。
所述可用处理能力用于尽可能如实地合成10毫秒的铃声数据。如上文所论述，系统可通过上文所描述的方法中的一者或一者以上来减少铃声的复杂性，而非仅合成(例如)第一5毫秒的铃声部分。举例来说，通过从输入到MIDI合成器的数据中移除音符，需要较少的处理能力来将数据合成为音频信号。如上文所论述，音符移除的次序是基于限制丢弃音符的所感知的效果。应认识到，在一种配置中，系统继续减少复杂性以使得铃声的时序不会受进行中的电话通话的损害。因此，虽然可减少铃声的复杂性，但并非合成所述铃声而使得音乐乐曲中具有间隙或跳跃。乐曲仍在其正常时间周期中播放，可依据处理器对语音数据进行编码及解码的繁忙程度而仅或多或少地减少所述乐曲的复杂性。此做法确保铃声维持与用户预期的声音相同的声音而无跳过或噪音。
以许多方式中的任一者执行减少铃声数据的复杂性。在一种配置中，把将在处理能力可用的情况下在给定时间合成的所有音符存储在存储器中，其中给予每一音符设置成开或关的“现行”属性。为了减少复杂性，仅需要将“现行”属性改成关。将对MIDI合成器进行编程以仅合成“现行”属性设置成开的那些音符。
图4是展示根据一种配置的中断优先权的图表。考虑混合器410、音频命令412、声码器解码器414、MIDI合成器416及声码器编码器418间的优先权，混合器410具有最高优先权以确保无噪音播放。第二，音频命令412具有第二优先权，因为其是短小的，且在一些配置中，主处理器需要快速的响应。第三，声码器解码器414具有第三优先权，因为其时序约束可能较严格。MIDI合成器416具有第四优先权，因为其10毫秒的时间分辨率比声码器编码器的20毫秒帧精细。将MIDI合成器设计成不会消耗大于预分配的处理能力的处理能力。否则，声码器编码器的输出可能恶化。
声码器编码器418具有较低优先权。最终，因为所有处理是中断驱动的，所以闲置循环在最上级代码中可能是有利的。在硬件支持MIDI合成的情况下，可存在额外MIDI硬件ISR。MIDI硬件的优先权可与音频命令相同以实现MIDI硬件的最大利用。所述中断用于对处理器执行给定命令系列的次序区分优先次序。举例来说，如果处理器正使用声码器编码器对语音包进行编码且其突然接收到开始MIDI合成的指令，则处理器可在返回使用声码器编码器完成对语音包的编码之前执行MIDI合成(因为其中断优先权较高)。
如上文所提及，一种配置是一种在现行通信会话期间在通信装置中播放经混合的音频的方法，所述方法包括：从现行通信会话接收第一音频信号；接收通知；响应于所述通知，起始将经存储的音频文件转换为第二音频信号；混合第一音频信号及第二音频信号以产生经混合的音频信号；及将经混合的音频信号输出到通信装置的输出端。上文已描述用于执行此方法的步骤的结构。下文论述用于执行所述步骤的额外方式。可由收发器130执行从现行通信会话接收第一音频信号的步骤。收发器130可包含用于接收无线信号的天线或与公共数据网络(例如，因特网)的有线连接。举例来说，处理器112也可经由收发器130来接收第一音频信号。可由事件处置器128执行接收通知的步骤。举例来说，当蜂窝式电话的电池电量低时，处理器112可向事件处置器128产生通知，事件处置器128又指示处理器112从存储器126或音频文件库124中选择适当的音频文件。举例来说，处理器112也可从事件处置器或经由收发器130来接收通知。可由处理器112在其从存储器126或音频文件库124中加载音频文件时执行起始将经存储的音频文件转换为第二音频信号的步骤。存储器126也可在其响应于来自处理器112或事件处置器128的指令将第二音频信号传输到处理器112、混合器120或MIDI合成器116时执行起始转换。可由混合器120执行混合第一音频信号及第二音频信号的步骤。另外，可由处理器112执行此步骤。在混合例如两个MIDI文件的两个事件驱动音频信号的情况下，MIDI合成器116可能能够执行所述混合。可由混合器120执行将经混合的音频信号输出到通信装置的输出端的步骤。通信装置的输出装置可为扬声器122或收发器130。在输出装置为收发器130的情况下，处理器112可能能够执行所述输出步骤。在输出装置为天线的配置中，收发器130可执行所述输出步骤。在混合器120将经混合的音频信号馈送到处理器112以用于进一步处理(例如，在输出到扬声器之前的数/模转换)的配置中，处理器112可执行所述输出步骤。
应注意，所属领域的技术人员将认识到一电路可实施上文所描述的功能中的一些或全部。可能存在一个实施所有功能的电路。也可能存在与一可实施所有功能的第二电路组合的电路的多个区段。大体来说，如果在电路中实施多个功能，则所述电路可为集成电路。使用当前移动平台技术，集成电路可包括至少一个数字信号处理器(DSP)及控制所述至少一个DSP及/或与所述至少一个DSP通信的至少一个ARM处理器。可按区段描述一电路。通常重新使用区段以执行不同功能。
通信装置中的电路可经配置以提供第一可混合的音频信号。同一电路、不同电路或同一或不同电路的第二区段可经配置以接收通知。另外，同一电路、不同电路或同一或不同电路的第三区段可经配置以基于所接收的通知起始将不可混合的音频文件转换为第二可混合的音频信号。经配置以起始转换的电路部分可耦合到接收通知的电路部分，或其可为同一电路。同一或不同电路的第四区段可经配置以混合第一可混合的音频信号及第二可混合的音频信号以产生经混合的音频信号。所述第四区段可有利地耦合到第一区段及第四区段以获得第一及第二可混合的音频信号。或者，第一、第三及第四区段可实施于同一电路中。同一或不同电路的第五区段可经配置以输出经混合的音频信号。所述第五区段可有利地耦合到第四区段，或其可与第四区段实施于同一电路中。
前文描述阐述各种优选配置及其它示范性但非限制性配置。所述描述给出关于所揭示的配置的组合及模式的一些细节。所述配置的所揭示的特征及方面的其它变化、组合、修改、模式及/或应用(包含所属领域的技术人员在阅读本说明书后了解的变化、组合、修改、模式及/或应用)也在本发明的范围内。因此，应仅通过清楚地阅读随附权利要求书来确定本文中所主张的内容的范围。

Claims (29)

1.一种在现行通信会话期间在通信装置中播放经混合的音频的方法，所述方法包括：
从所述现行通信会话接收第一音频信号；
接收通知；
响应于所述通知，起始将经存储的音频文件转换为第二音频信号；
混合所述第一音频信号及所述第二音频信号以产生经混合的音频信号；以及
将所述经混合的音频信号输出到所述通信装置的输出端。
2.根据权利要求1所述的方法，其中所述第一音频信号包括语音数据。
3.根据权利要求1所述的方法，其中所述通知包括传入呼叫的通知。
4.根据权利要求1所述的方法，其中所述通信装置包括电话且所述现行通信会话包括进行中的电话呼叫。
5.根据权利要求1所述的方法，其中所述通信装置是无线蜂窝式电话。
6.根据权利要求1所述的方法，其中所述第二音频文件包括铃声数据。
7.根据权利要求1所述的方法，其中所述第二音频文件包括以事件驱动音频格式存储的文件。
8.根据权利要求7所述的方法，其中所述事件驱动音频格式包括MIDI分量。
9.根据权利要求1所述的方法，其中所述混合包括改变所述音频信号中的至少一者的音频感知特性。
10.根据权利要求1所述的方法，其中所述混合包括对可混合的音频文件中的至少一者重新取样。
11.根据权利要求1所述的方法，其中所述混合包括合成、解压缩或解码。
12.一种经配置以在现行通信会话期间播放经混合的音频的通信装置，所述装置包括：
收发器，其经配置以接收第一音频信号；
事件处置器，其经配置以接收通知；
存储设备，其经配置以存储至少一个音频文件；
处理器，其经配置以基于所述所接收的通知起始将所述存储设备中所存储的音频文件转换为第二音频信号；
混合器，其经配置以混合所述第一音频信号及所述第二音频信号以产生经混合的音频信号；以及
输出装置，其经配置以输出所述经混合的音频信号。
13.根据权利要求12所述的装置，其中所述通信装置包括电话且所述现行通信会话包括进行中的电话呼叫。
14.根据权利要求13所述的装置，其中所述电话包括无线蜂窝式电话。
15.根据权利要求12所述的装置，其中所述输出装置是扬声器。
16.根据权利要求12所述的装置，其中所述处理器、事件处置器及混合器中的至少两者实施在同一单元中。
17.根据权利要求12所述的装置，其中所述处理器进一步经配置以对所接收的语音数据进行解码以提供第一可混合的音频信号。
18.根据权利要求12所述的装置，其中所述通知由所述处理器产生。
19.根据权利要求12所述的装置，其中所述通知包括传入呼叫通知。
20.根据权利要求12所述的装置，其中不可混合的音频文件包括铃声数据。
21.根据权利要求12所述的装置，其中所述混合器经配置以对所述可混合的音频信号中的至少一者重新取样。
22.根据权利要求12所述的装置，其中所述混合器及所述处理器中的至少一者经配置以执行合成、解压缩或解码。
23.一种经配置以在现行通信会话期间播放经混合的音频的通信装置，所述装置包括：
用于从所述现行通信会话接收第一音频信号的装置；
用于接收通知的装置；
用于基于所述通知起始将经存储的音频文件转换为第二音频信号的装置；
用于混合所述第一音频信号及所述第二音频信号以产生经混合的音频信号的装置；以及
用于将所述经混合的音频信号输出到所述通信装置的输出端的装置。
24.一种或一种以上处理器可读存储装置，其具有处理器可读代码，所述处理器可读代码用于对一个或一个以上处理器进行编程以执行在现行通信会话期间在通信装置中播放音频的方法，所述方法包括：
从所述现行通信会话接收第一音频信号；
接收通知；
响应于所述通知，起始将经存储的音频文件转换为第二音频信号；
混合所述第一音频信号及所述第二音频信号以产生经混合的音频信号；以及
将所述经混合的音频信号输出到所述通信装置的输出端。
25.根据权利要求24所述的一种或一种以上处理器可读存储装置，其中所述现行通信会话包括进行中的电话呼叫。
26.根据权利要求24所述的一种或一种以上处理器可读存储装置，其中所述通知包括传入电话呼叫的通知。
27.一种在通信装置中的电路，其经配置以执行在现行通信会话期间播放音频的方法，
所述方法包括：
提供第一可混合的音频信号；
接收通知；
基于所述所接收的通知，起始将不可混合的音频文件转换为第二可混合的音频信号；
混合所述第一可混合的音频信号及所述第二可混合的音频信号以产生经混合的音频信号；以及
输出所述经混合的音频信号。
28.根据权利要求27所述的电路，其中所述第一可混合的音频信号包括经解码的语音数据。
29.根据权利要求27所述的电路，其中接收所述通知包括接收传入电话呼叫的通知。
CN2008801235789A 2007-11-21 2008-11-21 将音频与铃声数据混合的方法及系统 Pending CN101911662A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/944,193 US8498667B2 (en) 2007-11-21 2007-11-21 System and method for mixing audio with ringtone data
US11/944,193 2007-11-21
PCT/US2008/084400 WO2009067693A1 (en) 2007-11-21 2008-11-21 System and method for mixing audio with ringtone data

Publications (1)

Publication Number Publication Date
CN101911662A true CN101911662A (zh) 2010-12-08

Family

ID=40328619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801235789A Pending CN101911662A (zh) 2007-11-21 2008-11-21 将音频与铃声数据混合的方法及系统

Country Status (7)

Country Link
US (1) US8498667B2 (zh)
EP (1) EP2232834A1 (zh)
JP (1) JP2011504713A (zh)
KR (1) KR20100094529A (zh)
CN (1) CN101911662A (zh)
TW (1) TW200939732A (zh)
WO (1) WO2009067693A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101327A1 (zh) * 2015-12-18 2017-06-22 乐视控股（北京）有限公司 多播放器共同播放高保真声音的方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116439B1 (en) * 2005-08-19 2012-02-14 Avaya Inc. Call intrusion
US20100063825A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Systems and Methods for Memory Management and Crossfading in an Electronic Device
US20120213346A1 (en) * 2009-02-04 2012-08-23 Huawei Device Co.,Ltd. Method, server and terminal device for playing multimedia ring tone during call
EP2362375A1 (en) 2010-02-26 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using harmonic locking
US8804984B2 (en) * 2011-04-18 2014-08-12 Microsoft Corporation Spectral shaping for audio mixing
US9167082B2 (en) 2013-09-22 2015-10-20 Steven Wayne Goldstein Methods and systems for voice augmented caller ID / ring tone alias
CN110445929B (zh) * 2019-07-29 2022-05-20 腾讯科技（深圳）有限公司 通话连接建立方法、服务器、电子装置及存储介质
US11170630B2 (en) * 2019-07-31 2021-11-09 Bose Corporation Audio conditioning chimes

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012630B2 (en) 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
US6173061B1 (en) 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US6011851A (en) 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US6067361A (en) 1997-07-16 2000-05-23 Sony Corporation Method and apparatus for two channels of sound having directional cues
CN1151704C (zh) 1998-01-23 2004-05-26 音响株式会社 声像定位装置和方法
US6304644B2 (en) * 1998-05-06 2001-10-16 Casio Communications, Inc. Apparatus and method for cost effective caller identification and call-waiting for a multi-line telephone
US6983251B1 (en) 1999-02-15 2006-01-03 Sharp Kabushiki Kaisha Information selection apparatus selecting desired information from plurality of audio information by mainly using audio
JP4192226B2 (ja) 1999-04-19 2008-12-10 京セラ株式会社 携帯電話装置
US6839438B1 (en) 1999-08-31 2005-01-04 Creative Technology, Ltd Positional audio rendering
US6850496B1 (en) 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US7045700B2 (en) 2003-06-30 2006-05-16 Nokia Corporation Method and apparatus for playing a digital music file based on resource availability
US7030849B2 (en) 2003-07-03 2006-04-18 Freescale Semiconductor, Inc. Robust LCD controller
US7285712B2 (en) 2004-05-25 2007-10-23 Mediatek Incorporation Method of dynamically determining a maximum polyphony number according to operation mode and smoothly changing polyphony number when switching operation modes
TWI249942B (en) 2004-12-21 2006-02-21 Giga Byte Tech Co Ltd Method of call-waiting for in-coming call
GB2443989B (en) 2005-11-26 2008-11-05 Wolfson Microelectronics Plc Audio device and method
US20070218878A1 (en) * 2006-03-16 2007-09-20 Charbel Khawand Method and system for prioritizing audio channels at a mixer level
US8041057B2 (en) 2006-06-07 2011-10-18 Qualcomm Incorporated Mixing techniques for mixing audio

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101327A1 (zh) * 2015-12-18 2017-06-22 乐视控股（北京）有限公司 多播放器共同播放高保真声音的方法及装置

Also Published As

Publication number Publication date
EP2232834A1 (en) 2010-09-29
US20090131119A1 (en) 2009-05-21
US8498667B2 (en) 2013-07-30
WO2009067693A1 (en) 2009-05-28
JP2011504713A (ja) 2011-02-10
KR20100094529A (ko) 2010-08-26
TW200939732A (en) 2009-09-16

Similar Documents

Publication Publication Date Title
CN101911662A (zh) 将音频与铃声数据混合的方法及系统
JP3879323B2 (ja) 電話端末装置
JP3719057B2 (ja) 電話端末装置および通信方法
TW496062B (en) Cellular phone and music playback method
KR20090036141A (ko) 음성 및 텍스트 통신 시스템, 방법, 및 장치
JP4473260B2 (ja) 電話通信装置
JP2002064626A (ja) 携帯電話機
EP2127353B1 (en) Method for using an alert file by converting the alert file to a lower complexity file format and related electronic device
TW493330B (en) Cellular phone
KR100587425B1 (ko) 독립적인 오디오 경로가 형성되는 멀티미디어 기능 강화 단말기
JP2002156982A (ja) 携帯端末、携帯電話端末、携帯端末システム、音楽情報配信システム及び楽音データ配信方法
JP3319976B2 (ja) 電話機
EP2224703B1 (en) Mobile wireless communications device with novelty voice alteration and related methods
US7067731B2 (en) Sound source circuit and telephone terminal using same
JP2002261875A (ja) 携帯端末装置
KR100362150B1 (ko) 배경음악 기능을 갖는 이동 단말기
JP2004274464A (ja) 電話メッセージシステム、コンテンツサーバ、および、通話転送システム
KR101154948B1 (ko) 이동통신 단말기의 음악 재생 중 문자 메세지 알림방법
CN1164139C (zh) 具有录制并重放铃音功能的移动电话
JP4306944B2 (ja) 楽音再生装置
JP4345603B2 (ja) 電話端末装置
US20060211456A1 (en) Musical audible alert termination
KR20050099738A (ko) 이동단말기에 저장된 배경음악 설정 방법
JP3885989B2 (ja) 音声補完方法及び音声補完装置ならびに電話端末装置
JP2002108396A (ja) 音声通信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101208