CN101032187B - 通过嵌入在遥控器中的麦克风优化媒体中心音频的系统和方法 - Google Patents
通过嵌入在遥控器中的麦克风优化媒体中心音频的系统和方法 Download PDFInfo
- Publication number
- CN101032187B CN101032187B CN2005800331639A CN200580033163A CN101032187B CN 101032187 B CN101032187 B CN 101032187B CN 2005800331639 A CN2005800331639 A CN 2005800331639A CN 200580033163 A CN200580033163 A CN 200580033163A CN 101032187 B CN101032187 B CN 101032187B
- Authority
- CN
- China
- Prior art keywords
- voice data
- audio
- remote controller
- data
- media center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
Abstract
一种通过嵌入在遥控器中的麦克风优化媒体中心音频的方法和系统。该方法的一个实施例包括接收用于优化两个或多个扬声器的音频的命令。响应于该命令,在该两个或多个扬声器上输出音频数据。通过遥控器中的左麦克风和右麦克风收集该输出的音频数据。为了优化该输出的音频数据,分析收集到的音频数据以确定对由该两个或多个扬声器输出的音频数据的调整。
Description
背景技术
现今的媒体中心系统包括两个或多个扬声器。很多包含有5.1甚至是7.1的多扬声器系统,这里5.1系统指5个扬声器和1个低音炮,7.1系统指7个扬声器和一个低音炮。使用这些多扬声器系统,扬声器在整个室内环境分布以产生环绕声音的体验。但通常最佳的环绕声音体验局限于室内的音频最佳听音位置,如果确实存在这样的音频最佳听音位置的话。该音频最佳听音位置通常较小,可能会限制到一个听众。
为了使听众处于室内环境的音频最佳听音位置,通常听众必须适当地位于扬声器之间。扬声器和/或听众在室内环境中的较差定位是导致较差的扬声器平衡的一个因素。较差的扬声器平衡导致较差的声音质量。
现今,当听众想要在室内环境移动音频最佳听音位置而不移动扬声器的物理位置时,听众可尝试手动地重新平衡扬声器。不幸的是,扬声器的重新平衡是一项很难正确实现的任务。这里,听众必须管理一系列复杂的遥控动作,每次调整一个扬声器的输出。当扬声器的重新平衡功能在遥控器上不可用时,情况更糟糕。这里,听众必须从期望的音频最佳听音位置移动以通过媒体中心的前端调整每个扬声器的音频设置。
附图说明
可通过参照下列说明和用于例示本发明实施例的附图最好地理解本发明。在附图中:
图1例示了一个室内环境的实施例,其包括某些本发明的实施例可操作于其中的娱乐系统和座位区域;
图2例示了本发明的某些实施例可操作于其中的遥控器的一个实施例;
图3例示了本发明的某些实施例可操作于其中的媒体中心的一个实施例;
图4是一个处理实施例的流程图,该处理用于通过嵌入在遥控器中的麦克风来优化媒体中心音频;
图5是一个处理实施例的流程图,该处理用于分析数字音频数据并将其与一个用于媒体中心的扬声器系统的优化配置或模型进行比较;
图6是用于重新平衡扬声器系统的一个处理实施例的流程图;以及
图7是一个处理实施例的流程图,该处理用于在当结合用户选择的室内风格时,通过嵌入在遥控器中的麦克风来优化媒体中心音频。
具体实施方式
描述了一种通过嵌入在遥控器中的麦克风来优化媒体中心音频的方法和系统。在一个实施例中,本发明为听众提供了一种随着听众在座位区域到处移动而创建一个音频最佳听音位置,或者将已有的音频最佳听音位置在室内环境的座位区域到处移动的方式。还是在一个实施例中,本发明在遥控器中嵌入了麦克风,以更类似于人类听众那样收听(和记录)来自媒体中心的扬声器的音频。嵌入在遥控器左侧的一个或多个麦克风支持收集遥控器左侧的音频数据。同样,嵌入在遥控器右侧的一个或多个麦克风支持收集遥控器右侧的音频数据。然后该遥控器向媒体中心转发记录的音频。媒体中心分析该记录的音频并重新平衡其扬声器,以在座位区域内产生新的音频最佳听音位置。该新的音频最佳听音位置是当音频被记录时座位区域中遥控器物理所在的位置。在下面的说明中,为了解释,阐述了多个具体细节。但是,本领域技术人员应当清楚,可以不使用这些具体细节来实践本发明的实施例。
本发明的实施例可以用软件、固件、硬件或多种技术的任何组合来实现。例如,在某些实施例中,本发明可被提供为计算机程序产品或软件,其中包括存储有可用于编程计算机(或其它电子设备)以执行根据本发明的处理的指令的机器或计算机可读介质。在其它实施例中,可通过具体的硬件组件执行本发明的步骤,该硬件组件包含用于执行这些步骤的硬连线逻辑,或者可以通过编程的计算机组件和定制的硬件组件的组合来执行本发明的步骤。
因此,机器可读介质可包括任何用于存储或发送机器(例如计算机)可读形式的信息的机制。这些机制包括但不限于,硬盘、软盘、光盘、压缩盘只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机访问存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁或光卡、闪存、因特网上的传输、电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等)等。
以下详细说明的某些部分以对于计算机系统的寄存器或存储器内的数据比特的操作的算法和符号表示来示出。这些算法说明和表示是数据处理领域的技术人员用来最有效地向其它本领域技术人员传达他们工作实质的方式。在这里,算法通常被认为是导致期望结果的前后一致的操作序列。这些操作需要对物理量进行物理操作。通常,尽管不是必要的,这些物理量采用能够被存储、传输、组合、比较和其它操作的电或磁信号的形式。主要出于公共使用的原因,有时证明将这些信号称为比特、值、元素、符号、字符、项、数字等是方便的。
但是应当记住,所有这些及类似的术语都将与合适的物理量相关,并仅仅是应用于这些量的方便标签。除非特别声明,否则如从以下的讨论所显而易见的,应该理解,利用诸如“处理”、“运算”、“计算”、“确定”等这些术语的讨论可表示计算机系统或类似的电子计算装置的动作和处理,所述计算机系统或类似的电子计算装置对表示为计算机系统的寄存器和存储器内的物理(电子)量的数据进行操作并将其转换为其它数据,这些其它数据类似表现为计算机系统存储器或寄存器、或其它这样的信息存储、传输或显示装置内的物理量。
贯穿该说明书,“一个实施例”或“实施例”表示结合该实施例描述的特定特征、结构或特性包括在本发明至少一个实施例中。因此,本说明书中多处出现的短语“在一个实施例中”或“在实施例中”不一定全部指同一个实施例。此外,可在一个或多个实施例中以任何合适的方式组合这些特定的特征、结构或特性。
在以下实施例的详细说明中,通过例示,参考表示其中可实践本发明的特定实施例的附图。在附图中,类似的标号描述多个图中实际上类似的组件。足够详细地说明了这些实施例,以使本领域技术人员实践本发明。可利用其它实施例,并可进行不超出本发明范围的结构上的、逻辑上的和电子的改变。
图1例示了室内环境的一个实施例,其包括一个娱乐系统和座位区域,本发明的某些实施例可操作于该室内环境中。娱乐系统可包括但不限于媒体中心及其相关组件。座位区域可包括但不限于沙发和多个椅子。该室内环境被示为用于本发明的多种可能环境的一个实例,并且无意限制本发明。
参考图1,娱乐系统可包括但不必限于,遥控器102、媒体中心104、显示器106、扬声器108-118、中央扬声器120和低音炮122。对本发明而言,听众或用户可从室内环境中的任何位置通过遥控器102操作媒体中心104。媒体中心104向显示器106发送视频输出。显示器106可以是监控器、放映机、传统的模拟电视接收机或任何其它类型的可视视频显示器。媒体中心104的视频输出还可被发送给外部记录器,例如VTR、PVR、CD或DVD记录器、存储卡等。随着接收媒体中心104视频输出的新类型的显示器和/或设备的开发并且根据特定应用,接收媒体中心104视频输出的其它类型的显示器和/或设备可被添加或替代所描述的设备。
在本发明的一个实施例中,扬声器108-118、中央扬声器120和低音炮122被连接到媒体中心104,并用于向图1的室内环境提供环绕声音体验。在本发明的一个实施例中,扬声器108-118、中央扬声器120和低音炮122每一个具有其自己的声道。
通常,针对扬声器108-118、中央扬声器120和/或听众在室内的合适定位以优化环绕声音,扬声器108-118最好设置在距听众相同的距离处,并且中央扬声器120直接位于听众前面。这是因为当听众离一个扬声器比离其它扬声器更近时,由于其声音比离听众更远的扬声器更早到达听众并且声音更大,所以较近的扬声器会支配声音图像。因而,音频最佳听音位置经常限制在室内环境中的一个听众或位置。仅出于例示的目的,图1中的音频最佳听音位置可位于沙发124的中央。如果例如扬声器不能被放置在距离听众相等距离的位置上、中央扬声器没有直接在听众的前面、没有扬声器在听众后面和/或后面声道的扬声器在听众的偏左或偏右侧,则通过在室内环境中重新定位扬声器来产生音频最佳听音位置是不可能的,注意到这一点是重要的。
如果我们假设在图1的室内环境中不存在音频最佳听音位置,或者如果我们假设音频最佳听音位置位于沙发124的中央(或室内环境中的某些其它位置),那么如果听众想要坐在椅子126上通过媒体中心104观看电影,会发生什么?如上所述,扬声器108-118和中央扬声器120和/或听众在室内环境中的较差定位可导致扬声器的较差平衡。扬声器108-118和中央扬声器120的较差平衡导致较差的声音质量。坐在椅子126上的听众离扬声器108、112和116比离扬声器110、114和118更近。听众也没有直接在中央扬声器120的前面。因此,坐在椅子126上的听众不可能在图1的室内环境的音频最佳听音位置。这里,听众不能体验来自扬声器108-118和中央扬声器120的最佳声音质量,因为它们对于坐在椅子126上的用户的声音不是平衡的。
本发明为听众提供了一种创建音频最佳听音位置,或者随着听众在座位区域到处移动而将已有的音频最佳听音位置在室内环境的座位区域到处移动的方式。本发明在遥控器102中嵌入了麦克风,以更类似于人类听众的方式听取(并记录)来自扬声器108-118和中央扬声器120的音频。嵌入在遥控器102左侧的一个或多个麦克风支持收集遥控器左侧的音频数据。同样,嵌入在遥控器102右侧的一个或多个麦克风支持收集遥控器右侧的音频数据。在本发明的一个实施例中,一个麦克风阵列可被嵌入在遥控器102内。
嵌入在遥控器102内的两个或多个麦克风可更好的模仿人头部上耳朵的定向行为。在本发明的一个实施例中,嵌入在遥控器102中的两个或多个麦克风的使用允许本发明通过确定声音来自哪个方向来判断方向。该特征有助于在扬声器没有放置在距离听众相等的位置、中央扬声器没有直接在听众前面和/或在听众后面没有扬声器的情况下创建音频最佳听音位置。例如,本发明可确定,为了补偿实际上没有在用户后面的扬声器,或者扬声器虽然在用户后面但偏左或偏右的情况下,需要头部相关的传输功能。头部相关的传输功能提供了获得不是来自人后面的声音,对其滤波并重建的手段,从而使其表现为声音来自人的后面。
遥控器102然后向媒体中心104转发所记录的音频。媒体中心104分析该记录的音频并重新平衡扬声器108-118和中央扬声器120,以在座位区域内产生新的音频最佳听音位置。该新的音频最佳听音位置是在当音频被记录时,遥控器102在座位区域内实际所在的位置上。以下将参考图2-7更详细的描述该方法。
在本发明的实施例中,遥控器102、媒体中心104、显示器106、扬声器108-118、中央扬声器120及低音炮122可以支持通过模拟扬声器线、广域网(WAN)和局域网(LAN)连接、蓝牙、电子和电气工程师协会(IEEE)802.11、通用串行总线(USB)、1394、智能驱动器设备(IDE)、外围部件互连(PCI)、红外和基带的通信。随着新的接口的开发并且根据特定的应用,其他接口可添加到或替换所描述的接口。图1中所示的特定装置代表配置的一个实例,该配置可适合于一种用户家庭娱乐系统,并且无意限制本发明。下面参考图2更详细地描述遥控器102。
图2例示了遥控器102的一个实施例,本发明的某些实施例可操作于该遥控器中。图2仅出于例示的目的,并无意限制本发明。图2中所示的特定组件代表适合于本发明的配置的一个例子,并无意限制本发明。参考图2,遥控器102可包括但不限于音频优化按钮202、左麦克风204、右麦克风206、嵌入式处理器208、无线MAC/基带/AFE栈210和模数转换器212。尽管图2中示出了两个麦克风,应当理解,任何数量的麦克风可存在于该遥控器102中。下面更详细地描述这些组件中的每一个。
一旦用户确定了他或她在室内环境的座位区域内的理想位置,他或她可按下遥控器102上的音频优化按钮202以优化媒体中心104的音频。一旦按下按钮202,命令就发送到嵌入式处理器208。在一个实施例中,嵌入式处理器208通过无线MAC/基带/AFE栈210将该命令转发给媒体中心104。在另一个实施例中,嵌入式处理器208例如通过红外线将该命令转发给媒体中心104。这些例子无意限制本发明。响应于该命令,媒体中心104开始产生音频数据。嵌入式处理器208然后开始从左麦克风204和右麦克风206通过转换器212收集该音频数据。转换器212对来自麦克风204和206的模拟音频数据进行操作,并向嵌入式处理器208提供该模拟音频数据。
麦克风204和206用于在一个或多个方向上采样音频数据。左麦克风204支持收集遥控器102左侧产生的音频数据(即,典型地为用户左耳收听到的)。同样,右麦克风206支持收集遥控器102右侧产生的音频数据(即,典型地为用户右耳收听到的)。在本发明的一个实施例中,收集到的音频数据代表多声道音频数据。嵌入式处理器208然后通过转换器212将收集到的音频数据数字化。转换器212是一个模数转换器,嵌入式处理器208可用其将音频数据数字化以产生数字音频数据。在本发明的其它实施例中,转换器212的功能可被并入嵌入式处理器208中。嵌入式处理器208通过无线MAC/基带/AFE栈210向媒体中心104转发该数字化的音频数据。将参考图3更详细的描述媒体中心104。
图3例示了媒体中心104的一个实施例,本发明的某些实施例可操作于该媒体中心中。图3仅出于例示的目的,并无意限制本发明。图3中所示的特定组件代表适合于本发明的配置的一个例子,并无意限制本发明。参考图3,媒体中心104可包括但不限于处理器302、音频数据分析模块304、优化音频模型306、无线MAC/基带/AFE栈308及优化音频转换310。重放音频源312可被耦合到媒体中心104。重放音频源312可用于重放包含优化音频转换310的音频。重放音频源312可以是DVD播放器、PVR播放器等。这些例子无意限制本发明。下面将更详细的描述这些组件中的每一个。
处理器302通过无线MAC/基带/AFE栈308获取由遥控器102转发的数字音频数据及命令。在本发明的一个实施例中,处理器302能够执行多声道音频数据分析。在本发明的一个实施例中,音频数据分析模块304是处理器302利用以执行多声道音频数据分析的软件组件。优化音频模型306代表数字音频数据对位于理想的音频最佳听音位置内的用户听起来的感觉。优化音频模型306可以被存储,以供媒体中心104将来之用。
如上所述,在一个实施例中,处理器302连同音频数据分析模块304对由遥控器102收集并转发的数字音频数据执行多声道音频数据分析。在本发明的实施例中,对数字音频数据所执行的部分分析可包括调整数字音频数据,以保证所记录的音频数据更像听众实际听到的那样。例如,当音频数据被记录时,可能听众正在他或她前面大约两英尺处握着遥控器102。因此,处理器302可相应地调整数字音频数据,以补偿在记录音频数据时,听众的头部可能的物理位置相对于遥控器102的物理位置。此外,遥控器102通常地比一般的听众头部窄。因此,遥控器102中左麦克风204和右麦克风206的平均距离不等于听众左右耳间的平均距离。同样的,处理器302可通过相应地调整数字音频数据来补偿这些平均距离的差异。或者,在本发明的其它实施例中,可以对优化音频模型306进行建模,以对听众头部可能的物理位置相对于遥控器102的物理位置、和/或遥控器102中左麦克风204和右麦克风206间的平均距离和听众左右耳间的平均距离的差别进行补偿。这些仅仅是可如何调整数字音频数据和/或如何对优化音频模型306进行建模以更好地为用户提供听觉体验的例子。这些例子无意限制本发明。
在本发明的实施例中,处理器302通过数字音频数据确定室内环境中的物体是否由于音频数据中的某些频率而共振或振动。这些物体可包括但不限于挂在墙上的画等。处理器302可通过调整这些频率以减小室内环境中物体的共振。下面将参考图4-7描述本发明操作的实施例。
图4是用于通过嵌入在遥控器中的麦克风来优化媒体中心音频的处理的一个实施例的流程图,其无意限制本发明。参考图4,处理开始于处理块402,这里听众或用户按下遥控器102上的音频优化按钮202。优化按钮202向嵌入式处理器208发送优化命令。嵌入式处理器208通过无线MAC/基带/AFE栈210和308用信号通知媒体中心104用户已经启动了优化命令。
在处理块403,媒体中心104将优化音频转换初始化为一个单一的转换。单一转换是实际上不修改数据的转换。
在处理块404,响应于用户启动的优化命令,媒体中心104开始收集不同的音频数据(来自测试音调集的音调或来自重放音频源312的音频数据)。该不同的数据或音调可由音频测试文件或测试音调集产生,本发明特别使用该音频测试文件或测试音调集基于用户的位置来重新平衡媒体中央扬声器。该不同的数据或音调还可与已知的音频数据相关,例如存储在多声道音频源(例如DVD电影音带)上的已知音频数据。在本发明的一个实施例中,媒体中心104可在收集/输出存储在多声道音频源上的音频测试文件和已知音频数据间进行自动切换。
在处理块405,媒体中心104将当前的优化音频转换应用到收集的音频数据,并在其不同的扬声器上输出该音频数据。如上所述,在本发明的一个实施例中,扬声器108-118和中央扬声器120每一个具有其自己的声道,因此媒体中心104在七个不同声道上(相应于扬声器108-118和中央扬声器120)输出唯一的数据。
在处理块406,遥控器102通过左麦克风204和右麦克风206开始收集或记录音频数据。所收集的音频数据被转发给嵌入式处理器208。嵌入式处理器208通过转换器310或类似的建立在嵌入式处理器208中的功能来数字化该音频数据以产生数字音频数据。
在处理块408,遥控器102的嵌入式处理器208通过无线MAC/基带/AFE栈210和308向媒体中心104的处理器302转发该数字音频数据。如上所述,在本发明的某些实施例中,处理器302可调整数字音频数据和/或优化音频模型306,以补偿数字音频被记录时遥控器102相对于听众的头部的物理位置。处理器302还可调整数字音频数据和/或优化音频模型306,以补偿左麦克风204和右麦克风206间和用户的左右耳间平均距离中的差异。处理器302还可调整输出音频数据中的频率以减小室内环境中物体的谐振。
在处理块410,媒体中心104分析该数字音频数据,并将其与用于其扬声器108-118和中央扬声器120的优化音频模型306进行比较。这里,处理器302通过MAC/基带/AFE栈308获取来自遥控器102的数字音频数据。在本发明的一个实施例中,处理器302能够执行多声道音频分析。音频数据分析模块304是一个软件组件,处理器302可用其执行多声道音频分析。该分析用于产生优化音频模型306,该优化音频模型表示数字音频数据对于位于音频最佳听音位置的听众所听起来的感觉(例如,扬声器108-118和中央扬声器120对用户而言听起来是平衡的)。然后将从遥控器102转发的数字音频数据(用户听到的)与优化音频模型306(如果用户位于音频最佳听音位置他或她应该听到的)进行比较,以确定该数字音频数据是否足够接近于最佳。如上所述,可对该数字音频数据进行修改和/或可对优化音频模型306进行建模,以补偿听众的可能物理位置相对于遥控器102的物理位置和/或遥控器102中左麦克风204和右麦克风206间平均距离和听众左右耳间平均距离间的差异。以下参考图5更详细地描述步骤410。
在处理块412,如果媒体中心104确定数字音频数据足够接近于最佳(即,扬声器108-118和中央扬声器120对于用户的位置是平衡的),则图4中的处理结束。否则,图4的流程控制进行到处理块414。
在处理块414,媒体中心104确定数字音频数据是否偏离至不合理的值。例如,当某人偶然按压音频优化按钮202时遥控器102在枕头下面,则数字音频数据不是向更接近优化音频模型306收敛,而是偏离至不合理的值。如果数字音频数据偏离,则处理进行到处理块418,这里媒体中心104为扬声器108-118及中央扬声器120的音量、相位、延迟和/或均衡选择合理的默认值。在该点上图4中的处理结束。
或者,在处理块416,媒体中心104创建一个优化音频转换310,以基于该数字音频数据(用户正听到的)和优化模型306(如果用户位于音频最佳听音位置,他或她应该听到的)间的差异重新平衡扬声器108-118和中央扬声器120。图4的流程控制返回到步骤406。本发明优化媒体中心104的音频的过程可以是一个迭代的过程。重复步骤404到416,直到由扬声器108-118和中央扬声器120产生的音频足够接近于对于处于他的或她的座位区域内的理想物理位置的用户的最佳值(保证用户在音频最佳听音位置),或者确定了数字音频数据正在偏离。以下将参考图6更详细的描述步骤416。
在另一个实施例中,媒体中心音频的优化不是由用户通过遥控器102启动的。这里,当正在其扬声器108-118和中央扬声器120上输出已知的音频数据时,媒体中心音频的优化可由媒体中心104启动。这里,媒体中心104可如上处理块404-414中所描述的那样优化其音频。可由多声道音频源(例如DVD电影音带)产生已知的音频数据。
图5是一个过程的实施例的流程图,该过程用于分析数字音频数据并将其与用于媒体中心的扬声器系统的优化配置或模型进行比较(图4的步骤410)。参考图5,该过程开始在处理块502,这里媒体中心104建立优化音频模型306。优化音频模型306对如果用户处在音频最佳听音位置,他或她应当从扬声器108-118和中央扬声器120所听到的效果进行建模。因为媒体中心104在扬声器108-120上输出已知的音频数据,所以媒体中心104知道用户最佳体验应听到的效果。
如上所述,可对优化音频模型306进行建模,以补偿听众头部的可能的物理位置相对于遥控器102的物理位置和/或遥控器102中左麦克风204和右麦克风206间平均距离及听众左右耳间平均距离的差异。
如上所述,已知的音频数据可以是(但不限于)本发明利用的特定测试数据或存储在多声道音频源(例如DVD电影音带等)上的音频数据。在本发明的实施例中,媒体中心104可在存储在多声道音频源(例如DVD)上的音频数据中进行提前读取,并可在播放其之前从该数据建立一个优化模型。这有助于本发明实时地向用户作出反映。
在处理块504,媒体中心104将从遥控器102接收到的数字音频数据与优化音频模型306进行比较,从而确定对输出的音频数据所需要的调整,以重新平衡其扬声器108-118和中央扬声器120。在本发明的一个实施例中,所需要的音频数据调整反映了数字音频数据和优化音频模型306间的差异。这些音频数据调整可包括但不限于,音量、相位、延迟和均衡。在该点上图5中的处理结束。
图6是用于重新平衡扬声器系统的过程的一个实施例的流程图(图4的步骤416)。参考图6,过程开始于处理块602,这里媒体中心104按照数字音频数据和优化音频模型306间的差异所确定的那样来调整扬声器108-118和中央扬声器120中每一个的输出音频数据的音量。在处理块604,媒体中心104按照数字音频数据和优化音频模型306间的差异所确定的那样来调整扬声器108-118和中央扬声器120中每一个的输出音频数据的相位。在处理块606,媒体中心104按照数字音频数据和优化音频模型306间的差异所确定的那样来调整扬声器108-118和中央扬声器120中每一个的输出音频数据的延迟。在处理块608,媒体中心104按照数字音频数据和优化音频模型306间的差异所确定的那样来调整扬声器108-118和中央扬声器120中每一个的输出音频数据的均衡。应该注意到,步骤602-608可以任何顺序发生。在该点上图6中的处理结束。
在图6的一个替代实施例中,在优化迭代的任何给定期间,可修改音量、相位、延迟和均衡中的一个或多个。例如,可通过多个优化迭代来调整音量,接着通过一个或多个优化迭代来修改相位、延迟和均衡中的一个或多个等。在另一个例子中,可通过一个或多个优化迭代来调整音量,接着通过一个或多个优化迭代来调整延迟,然后再次通过一个或多个优化迭代来调整音量,等等。这些例子无意限制本发明,仅用于例示的目的。
在本发明的另一个实施例中,除优化用于座位区域内用户位置的音频之外,用户可通过遥控器102或直接从媒体中心104选择一个理想的室内风格。室内风格包括但不限于现场、爵士、歌剧等。图7是在结合用户选择的室内风格时,用于通过嵌入在遥控器中的麦克风来优化媒体中心音频的过程的一个实施例的流程图。
参考图7,过程开始于处理块702,这里用户按下遥控器102上的音频优化按钮202。处理块702的细节参考以上图4的处理块402所述。
在处理块704,用户通过遥控器102或直接从媒体中心104选择室内风格。在本发明的一个实施例中,用户可在他或她通过遥控器102选择了室内风格之后,按下遥控器102上的音频优化按钮202。
在处理块705,媒体中心104将优化音频转换初始化为一个单一转换。
在处理块706,响应于用户启动的优化命令,媒体中心104开始收集不同的音频数据(例如来自测试音调集的音调和来自重放音频源312的音频数据)。处理块706的细节如以上参考图4的处理块404所述。
在处理块707,媒体中心104将当前的优化音频转换应用到收集到的音频数据,并在其不同的扬声器上输出该音频数据。
在处理块708,遥控器102开始通过左麦克风204和右麦克风206收集音频数据。遥控器102然后数字化该音频数据以产生数字音频数据。处理块708的细节如以上参考图4的处理块406所述。
在处理块710,遥控器102向媒体中心104转发该数字音频数据和选择的室内风格。处理块710的细节如以上参考图4的处理块408所述。
在处理块712,媒体中心104分析该数字音频数据,并将其与用于扬声器108-118和中央扬声器120的优化配置或模型进行比较。处理块712的细节类似于以上参考图4的处理块410和图5所述。这里,优化音频模型306不仅包含如果用户在音频最佳听音位置内,他或她应当听到的效果,还包括代表用户选择的室内风格的音频数据。
在处理块714,如果媒体中心104确定了该数字音频数据足够接近于最佳(即,扬声器108-118和中央扬声器120对于用户的位置是平衡的),则图7中的处理结束。否则,图7的流程控制进行到处理块716。
在处理块716,媒体中心104确定数字音频数据是否偏离至不合理的值(如以上参考图4的步骤414所解释的)。如果数字音频数据偏离,则处理进行到处理块720,这里媒体中心104为扬声器108-118和中央扬声器120的音量、相位、延迟和/或均衡选择合理的默认值。
或者,在处理块718,媒体中心104创建一个优化音频转换310,以基于该数字音频数据(用户正听到的)和优化模型306(如果用户在音频最佳听音位置内他或她应听到的)间的差异重新平衡扬声器108-118和中央扬声器120。处理块718的细节如以上参考图4的处理块416和图6所述。图7的流程控制返回到步骤706。本发明优化媒体中心104音频的处理可以是一个迭代的处理。重复步骤706到718,直到扬声器108-118和中央扬声器120产生的音频足够接近于对于处于他的或她的座位区域内的理想物理位置的用户的最佳值(以保证用户在音频最佳听音位置内),或者直到确定了该数字音频数据偏离为止。
已经描述了通过嵌入在遥控器中的麦克风优化媒体中心音频的方法和系统。应当理解,上述说明仅出于例示的目的,不是限制性的。在阅读并理解了以上说明之后,多种其它实施例对于本领域技术人员来说是显而易见的。因此应参考所附的权利要求确定本发明的范围,并一同要求这些权利要求等价的全部范围。
Claims (34)
1.一种用于通过遥控器中的麦克风优化扬声器的音频的方法,包括:
接收用于优化两个或多个扬声器的音频的命令;
响应于所述命令在所述两个或多个扬声器上输出音频数据;
通过遥控器中的左麦克风和右麦克风收集所述输出的音频数据;
分析所述收集到的音频数据以确定用于优化由所述两个或多个扬声器输出的音频数据的调整;以及
对由所述两个或多个扬声器输出的所述音频数据进行所述确定的调整;
其中,分析所述收集的音频数据包括调节所收集的音频数据,以对所述右麦克风和所述左麦克风间的平均距离和听众左右耳间平均距离间的差异进行补偿。
2.如权利要求1的方法,其中调整包括延迟、相位、均衡和音量中的至少一个。
3.如权利要求1的方法,其中分析所述收集到的音频数据包括:
建立优化音频模型;以及
将所述收集到的音频数据与所述优化音频模型进行比较,以确定对由所述两个或多个扬声器输出的所述音频数据的所述调整,以优化所述两个或多个扬声器的音频数据。
4.如权利要求3的方法,其中所述优化音频模型表示如果所述两个或多个扬声器是平衡的,所述收集到的音频数据听起来应该怎样。
5.如权利要求3的方法,其中所述调整反映所述收集的音频数据和所述优化音频模型间的差异。
6.如权利要求3的方法,其中所述优化音频模型包括和室内风格相关的音频数据。
7.如权利要求6的方法,其中所述室内风格由用户选择。
8.如权利要求1的方法,其中用于优化所述两个或多个扬声器的音频的所述命令由用户通过所述遥控器启动。
9.如权利要求1的方法,其中用于优化所述两个或多个扬声器的音频的所述命令由媒体中心启动。
10.如权利要求1的方法,其中在所述两个或多个扬声器上输出的所述音频数据由音频测试文件产生。
11.如权利要求1的方法,其中在所述两个或多个扬声器上输出的所述音频数据由存储在多声道音频源上的数据产生。
12.如权利要求11的方法,其中所述多声道音频源是数字通用光盘(DVD)电影音带。
13.如权利要求1的方法,其中在所述两个或多个扬声器上输出的所述音频数据由音频测试文件或存储在多声道音频源上的数据产生,其中所述输出的音频数据可在所述音频测试文件和存储在所述多声道音频源上的所述数据间切换。
14.如权利要求1的方法,其中在所述两个或多个扬声器上输出的音频数据由存储在多声道音频源上的数据产生,其中存储在所述多声道音频源上的所述数据被提前读取,并用于建立一个优化音频模型。
15.如权利要求1的方法,其中分析所述收集的音频数据进一步包括,当通过所述遥控器中的左麦克风和右麦克风收集所述音频数据时,调整所述收集的音频数据以对室内环境中所述遥控器和听众的物理位置进行补偿。
16.如权利要求3的方法,其中分析所述收集的音频数据进一步包括,当通过所述遥控器中的所述左麦克风和所述右麦克风收集所述音频数据时,对所述优化音频模型进行建模以补偿室内环境中所述遥控器和听众的物理位置。
17.如权利要求1的方法,其中调整所述输出的音频数据中的一个或多个频率以减小室内环境中一个或多个物体的谐振。
18.一种用于通过遥控器中的麦克风优化扬声器的音频的系统,包括:
媒体中心;
两个或多个连接到所述媒体中心的扬声器;以及
连接到所述媒体中心的遥控器,其中所述媒体中心接收用于优化两个或多个扬声器的音频的命令,其中所述两个或多个扬声器响应于所述命令输出音频数据,其中所述遥控器通过左麦克风和右麦克风收集所述输出的音频数据,其中所述媒体中心分析所述收集的音频数据以确定对由所述两个或多个扬声器输出的所述音频数据的调整,从而优化所述两个或多个扬声器的音频数据,其中所述媒体中心对由所述两个或多个扬声器输出的所述音频数据进行所述确定的调整;
其中,所述媒体中心分析所述收集的音频数据以调节所述收集的音频数据,从而补偿所述右麦克风和所述左麦克风间的平均距离和听众左右耳间平均距离间的差异。
19.如权利要求18的系统,其中调整包括延迟、相位、均衡和音量中的至少一个。
20.如权利要求18的系统,其中所述媒体中心通过建立优化音频模型,并将所述收集的音频数据与所述优化音频模型进行比较来分析所述收集的音频数据以确定对由所述两个或多个扬声器输出的音频数据的所述调整,从而优化所述两个或多个扬声器的音频数据。
21.如权利要求20的系统,其中所述优化音频模型表示如果所述两个或多个扬声器是平衡的,所述收集到的音频数据听起来应该怎样。
22.如权利要求20的系统,其中所述调整反映所述收集的音频数据和所述优化音频模型间的差异。
23.如权利要求20的系统,其中所述优化音频模型包括和室内风格相关的音频数据。
24.如权利要求23的系统,其中所述室内风格由用户选择。
25.如权利要求18的系统,其中由用户通过所述遥控器启动用于优化所述两个或多个扬声器的音频的命令。
26.如权利要求18的系统,其中由媒体中心启动用于优化所述两个或多个扬声器的音频的命令。
27.如权利要求18的系统,其中在所述两个或多个扬声器上输出的所述音频数据由音频测试文件产生。
28.如权利要求18的系统,其中在所述两个或多个扬声器上输出的所述音频数据由存储在多声道音频源上的数据产生。
29.如权利要求28的系统,其中所述多声道音频源是数字通用光盘(DVD)电影音带。
30.如权利要求18的系统,其中在所述两个或多个扬声器上输出的所述音频数据由音频测试文件或存储在多声道音频源上的数据产生,其中所述输出的音频数据可在所述音频测试文件和存储在所述多声道音频源上的所述数据间切换。
31.如权利要求18的系统,其中在所述两个或多个扬声器上输出的所述音频数据由存储在多声道音频源上的数据产生,其中存储在所述多声道音频源上的所述数据被提前读取,并用于建立优化音频模型。
32.如权利要求18的系统,其中当通过所述遥控器中的所述左麦克风和所述右麦克风收集所述音频数据时,所述媒体中心分析所述收集的音频数据以调整所述收集的音频数据,从而对室内环境中所述遥控器和听众的物理位置进行补偿。
33.如权利要求20的系统,其中分析所述收集的音频数据进一步包括当通过所述遥控器中的所述左麦克风和所述右麦克风收集所述音频数据时,对所述优化音频模型进行建模以对室内环境中所述遥控器和听众的物理位置进行补偿。
34.如权利要求18的系统,其中所述媒体中心调整所述输出的音频数据中的一个或多个频率,以减小室内环境中一个或多个物体的谐振。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/975,685 | 2004-10-26 | ||
US10/975,685 US20060088174A1 (en) | 2004-10-26 | 2004-10-26 | System and method for optimizing media center audio through microphones embedded in a remote control |
PCT/US2005/037079 WO2006047110A1 (en) | 2004-10-26 | 2005-10-13 | System and method for optimizing media center audio through microphones embedded in a remote control |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101032187A CN101032187A (zh) | 2007-09-05 |
CN101032187B true CN101032187B (zh) | 2011-09-07 |
Family
ID=35811545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2005800331639A Expired - Fee Related CN101032187B (zh) | 2004-10-26 | 2005-10-13 | 通过嵌入在遥控器中的麦克风优化媒体中心音频的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060088174A1 (zh) |
CN (1) | CN101032187B (zh) |
DE (1) | DE112005002281T5 (zh) |
TW (1) | TWI290003B (zh) |
WO (1) | WO2006047110A1 (zh) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080170712A1 (en) * | 2007-01-16 | 2008-07-17 | Phonic Ear Inc. | Sound amplification system |
JP4890640B2 (ja) * | 2008-03-28 | 2012-03-07 | パイオニア株式会社 | 表示装置及び映像最適化方法 |
CN101981944B (zh) * | 2008-04-07 | 2014-08-06 | 杜比实验室特许公司 | 麦克风阵列的环绕声产生 |
KR20100066949A (ko) * | 2008-12-10 | 2010-06-18 | 삼성전자주식회사 | 오디오 기기 및 그의 신호보정방법 |
US9332371B2 (en) | 2009-06-03 | 2016-05-03 | Koninklijke Philips N.V. | Estimation of loudspeaker positions |
WO2012027605A2 (en) * | 2010-08-27 | 2012-03-01 | Intel Corporation | Intelligent remote control system |
JP2014527337A (ja) * | 2011-07-28 | 2014-10-09 | トムソン ライセンシング | オーディオ較正のシステムおよび方法 |
TW201319927A (zh) * | 2011-11-02 | 2013-05-16 | Quanta Comp Inc | 音訊處理系統及音訊暫存器之調整方法 |
US9408011B2 (en) | 2011-12-19 | 2016-08-02 | Qualcomm Incorporated | Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment |
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
EP2896222A1 (en) * | 2012-09-12 | 2015-07-22 | Sony Corporation | Audio system, method for sound reproduction, audio signal source device, and sound output device |
US9129515B2 (en) * | 2013-03-15 | 2015-09-08 | Qualcomm Incorporated | Ultrasound mesh localization for interactive systems |
CN109996166B (zh) | 2014-01-16 | 2021-03-23 | 索尼公司 | 声音处理装置和方法、以及程序 |
US9729984B2 (en) | 2014-01-18 | 2017-08-08 | Microsoft Technology Licensing, Llc | Dynamic calibration of an audio system |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
CN106688248B (zh) * | 2014-09-09 | 2020-04-14 | 搜诺思公司 | 音频处理算法和数据库 |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
EP3531714B1 (en) | 2015-09-17 | 2022-02-23 | Sonos Inc. | Facilitating calibration of an audio playback device |
CN105872747A (zh) * | 2015-12-01 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 声场校准方法、无线遥控设备以及声音媒体播放设备 |
EP3182733A1 (en) * | 2015-12-18 | 2017-06-21 | Thomson Licensing | Method for using a mobile device equipped with at least two microphones for determining the direction of loudspeakers in a setup of a surround sound system |
US9743181B2 (en) | 2016-01-06 | 2017-08-22 | Apple Inc. | Loudspeaker equalizer |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
US20170372697A1 (en) * | 2016-06-22 | 2017-12-28 | Elwha Llc | Systems and methods for rule-based user control of audio rendering |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
US9961464B2 (en) | 2016-09-23 | 2018-05-01 | Apple Inc. | Pressure gradient microphone for measuring an acoustic characteristic of a loudspeaker |
MX2019013056A (es) * | 2017-05-03 | 2020-02-07 | Fraunhofer Ges Forschung | Procesador de audio, sistema, metodo y programa de computadora para reproducir audio. |
US10299039B2 (en) | 2017-06-02 | 2019-05-21 | Apple Inc. | Audio adaptation to room |
US10334360B2 (en) * | 2017-06-12 | 2019-06-25 | Revolabs, Inc | Method for accurately calculating the direction of arrival of sound at a microphone array |
US10257633B1 (en) * | 2017-09-15 | 2019-04-09 | Htc Corporation | Sound-reproducing method and sound-reproducing apparatus |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
US10425733B1 (en) | 2018-09-28 | 2019-09-24 | Apple Inc. | Microphone equalization for room acoustics |
TWI715027B (zh) * | 2019-05-07 | 2021-01-01 | 宏碁股份有限公司 | 揚聲器調整方法與使用此方法的電子裝置 |
TWI757600B (zh) | 2019-05-07 | 2022-03-11 | 宏碁股份有限公司 | 揚聲器調整方法與使用此方法的電子裝置 |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
CN110881156A (zh) * | 2019-11-14 | 2020-03-13 | 孟闯 | 一种音乐全景声音效系统及实现方法 |
KR20210142393A (ko) * | 2020-05-18 | 2021-11-25 | 엘지전자 주식회사 | 영상표시장치 및 그의 동작방법 |
CN114666631B (zh) * | 2020-12-23 | 2024-04-26 | 华为技术有限公司 | 音效调节方法及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1440629A (zh) * | 2000-03-09 | 2003-09-03 | Be4有限公司 | 优化三维音响的系统和方法 |
CN1476736A (zh) * | 2000-06-08 | 2004-02-18 | 皇家菲利浦电子有限公司 | 遥控装置与接收机以及音频系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5666424A (en) * | 1990-06-08 | 1997-09-09 | Harman International Industries, Inc. | Six-axis surround sound processor with automatic balancing and calibration |
US6744882B1 (en) * | 1996-07-23 | 2004-06-01 | Qualcomm Inc. | Method and apparatus for automatically adjusting speaker and microphone gains within a mobile telephone |
US6069567A (en) * | 1997-11-25 | 2000-05-30 | Vlsi Technology, Inc. | Audio-recording remote control and method therefor |
US7095455B2 (en) * | 2001-03-21 | 2006-08-22 | Harman International Industries, Inc. | Method for automatically adjusting the sound and visual parameters of a home theatre system |
JP4765289B2 (ja) * | 2003-12-10 | 2011-09-07 | ソニー株式会社 | 音響システムにおけるスピーカ装置の配置関係検出方法、音響システム、サーバ装置およびスピーカ装置 |
-
2004
- 2004-10-26 US US10/975,685 patent/US20060088174A1/en not_active Abandoned
-
2005
- 2005-10-13 CN CN2005800331639A patent/CN101032187B/zh not_active Expired - Fee Related
- 2005-10-13 DE DE112005002281T patent/DE112005002281T5/de not_active Withdrawn
- 2005-10-13 WO PCT/US2005/037079 patent/WO2006047110A1/en active Application Filing
- 2005-10-20 TW TW094136714A patent/TWI290003B/zh not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1440629A (zh) * | 2000-03-09 | 2003-09-03 | Be4有限公司 | 优化三维音响的系统和方法 |
CN1476736A (zh) * | 2000-06-08 | 2004-02-18 | 皇家菲利浦电子有限公司 | 遥控装置与接收机以及音频系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101032187A (zh) | 2007-09-05 |
TWI290003B (en) | 2007-11-11 |
US20060088174A1 (en) | 2006-04-27 |
WO2006047110A1 (en) | 2006-05-04 |
DE112005002281T5 (de) | 2007-09-13 |
TW200623937A (en) | 2006-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101032187B (zh) | 通过嵌入在遥控器中的麦克风优化媒体中心音频的系统和方法 | |
EP1216599B1 (en) | Producing and storing hearing profiles and customized audio data | |
EP2926570B1 (en) | Image generation for collaborative sound systems | |
CN1682567B (zh) | 智能扬声器 | |
CN104956689B (zh) | 用于个性化音频虚拟化的方法和装置 | |
US7181297B1 (en) | System and method for delivering customized audio data | |
CN104769964B (zh) | 声学优化 | |
US5982902A (en) | System for generating atmospheric quasi-sound for audio performance | |
JP2020005279A (ja) | サテライトボリュームコントロール | |
CN1956601B (zh) | 音频再现设备与音频再现方法 | |
KR101251626B1 (ko) | 스마트 기기를 이용한 음향기기의 특성에 대한 보상 서비스 제공 방법 | |
US20070150284A1 (en) | Automated Sound System Designing | |
US20070021961A1 (en) | Audio reproduction method and apparatus supporting audio thumbnail function | |
US20050047619A1 (en) | Apparatus, method, and program for creating all-around acoustic field | |
Olive et al. | The variability of loudspeaker sound quality among four domestic-sized rooms | |
KR102171479B1 (ko) | 디지털 오디오 공동 재생 서비스 방법 및 시스템 | |
EP1424685A1 (en) | Method for generating speech data corpus | |
KR100703923B1 (ko) | 멀티미디어기기를 위한 입체음향 최적화 장치 및 방법 | |
WO2023025695A1 (en) | Method of calculating an audio calibration profile | |
WO2023056280A1 (en) | Noise reduction using synthetic audio | |
WO2021206668A1 (ru) | Система уведомлений в отелях | |
CN109716795A (zh) | 使用空间校准进行频谱校正 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110907 Termination date: 20161013 |
|
CF01 | Termination of patent right due to non-payment of annual fee |