CN109076250B - 交互式音频元数据处置 - Google Patents

交互式音频元数据处置 Download PDF

Info

Publication number
CN109076250B
CN109076250B CN201780028217.5A CN201780028217A CN109076250B CN 109076250 B CN109076250 B CN 109076250B CN 201780028217 A CN201780028217 A CN 201780028217A CN 109076250 B CN109076250 B CN 109076250B
Authority
CN
China
Prior art keywords
audio
command
encoded
based audio
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780028217.5A
Other languages
English (en)
Other versions
CN109076250A (zh
Inventor
P·L·马内斯
M·R·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of CN109076250A publication Critical patent/CN109076250A/zh
Application granted granted Critical
Publication of CN109076250B publication Critical patent/CN109076250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

提供了用于对基于对象的音频信号进行处理以用于通过回放系统再现的方法和设备。该设备接收至少一个音频帧中的多个基于对象的音频信号。另外,该设备接收与所述多个基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令。另外,该设备基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理。此外,该设备基于所述至少一个音频对象命令来将所述多个基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号。所述至少一个音频帧可以从机顶盒、OD播放器或电视中的一个接收。该设备可以是AV接收器或电视。

Description

交互式音频元数据处置
相关申请的交叉引用
本申请要求2016年3月23日提交的题为“INTERACTIVE AUDIO METADATAHANDLING”的美国专利申请No.15/078,945的优先权,该申请全部通过引用明确地并入本文。
技术领域
本公开一般涉及音频处理/处置,更特别地,涉及交互式音频元数据处理/处置。
背景技术
源装置(诸如机顶盒或光盘(OD)播放器)可以将编码的音频流发送到宿装置(诸如音频视频(AV)接收器或电视)。如果用户想要修改音频流(例如,修改与音频流中的音频对象相关联的音量、在音频流中添加/移除对象),则源装置可以对音频流进行解码,相应地修改音频流,然后对音频流重新进行编码以发送到宿装置。用于修改音频流的替代方法是需要的。
发明内容
在本公开的一方面,提供了一种用于对基于对象的音频信号进行处理以用于通过回放系统再现的方法和设备。该设备接收至少一个音频帧中的多个基于对象的音频信号。另外,该设备接收与所述多个基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令。另外,该设备基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理。此外,该设备基于所述至少一个音频对象命令来将所述多个基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号。
在本公开的一方面,提供了一种用于对基于对象的音频信号进行处理以用于通过回放系统再现的方法和设备。该设备接收用户选择信息,所述用户选择信息指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令。另外,该设备基于接收的用户选择信息来获得所述至少一个音频对象命令。另外,该设备接收多个基于对象的音频信号。此外,该设备将所述至少一个音频对象命令与接收的多个基于对象的音频信号一起发送。
附图说明
图1是用于例示说明与交互式音频元数据处置/处理相关联的第一方法的框图。
图2是用于例示说明与交互式音频元数据处置/处理相关联的第二方法的框图。
图3是用于例示说明与交互式音频元数据处置/处理相关联的第三方法的框图。
图4是用于例示说明与交互式音频元数据处置/处理相关联的第四方法的框图。
图5是例示说明当音频对象命令组块(chunk)与音频帧中的音频组块为带内(in-band)时的这个音频帧的示图。
图6是用于例示说明与收听者的头部有关的音频对象和通过音频对象命令对这样的音频对象的修改的示图。
图7是对基于对象的音频信号进行处理以用于通过回放系统再现的方法的流程图。
图8是对基于对象的音频信号进行处理以用于通过回放系统再现的方法的流程图。
图9是例示说明示例性设备中的不同部件/组件之间的数据流的概念性数据流示图。
图10是例示说明采用处理系统的设备的硬件实现的例子的示图。
图11是例示说明示例性设备中的不同部件/组件之间的数据流的概念性数据流示图。
图12是例示说明采用处理系统的设备的硬件实现的例子的示图。
具体实施方式
在下面与附图结合阐述的详细描述意图作为各种配置的描述,而非意图表示其中可以实施本文所描述的构思的仅有的配置。详细描述包括用于提供各种构思的透彻理解的目的的特定细节。然而,对于本领域技术人员将显而易见的是,这些构思可以在没有这些特定细节的情况下实施。在一些情况下,众所周知的结构和组件以框图的形式示出,以便避免使这样的构思模糊。设备和方法将在以下详细描述中描述,并且可以在附图中用各种块、组件、电路、步骤、处理、算法、元件等来例示说明。
如前面所讨论的,源装置(诸如机顶盒(STB)(其也被称为机顶单元(STU)或集成接收器/解码器(IRD))或OD播放器)可以将编码的音频流发送到宿装置(诸如AV接收器或电视)。如果用户想要修改音频流,诸如修改音频流中的音频对象的音量和/或添加音频对象/从音频流移除音频对象,则源装置可以对音频流进行解码,相应地修改音频流,然后对音频流重新进行编码以发送到宿装置。关于用户交互性,音频流的修改如果是由宿装置、而不是源装置处置,则可能更加高效。
图1是用于例示说明与交互式音频元数据处置/处理相关联的第一方法的框图100。如图1所示,宿装置104(其可以是AV接收器、电视等)接收音频对象命令108。另外,宿装置104从源装置102接收包括音频对象的一个或多个音频帧110(其也被称为基于对象的音频信号)。宿装置104可以周期性地每时间段T(例如,T可以是大约10.67ms)接收音频帧(一个或多个)110一次。源装置102可以例如是STB或OD播放器。可替代地,源装置102可以是移动电话、平板、串流棒(streaming stick)、媒体个人计算机(PC)或其他源装置。源装置102接收一个或多个音频帧140中的音频对象,并且将接收的在一个或多个音频帧110中的音频对象提供给宿装置104。宿装置104对在音频帧(一个或多个)110中接收的音频对象进行解码,并且基于接收的音频对象命令108来对解码的音频对象中的一个或多个进行处理112。宿装置104可以对音频对象执行附加处理(例如,放大),并且可以随后针对声音/回放系统106的声道(channel)114渲染/生成音频信号。随后,宿装置104将处理的音频信号114发送到声音/回放系统106。声音/回放系统106(例如,扩音器)将接收的电音频信号转换为对应的声音。
音频对象是具有动态或静态对象特定的元数据的一个或多个音频波形,该元数据描述这些波形的某些特性。音频对象通常与特定的对象(诸如特定的对话、声音效果、特定的乐器等)相关联。该特性可以包括在给定时间点在三维(3D)空间中的位置地点、测得的响度、音频对象的性质(诸如乐器、效果、音乐、背景或对话)、对话语言、如何显示音频对象、以及关于如何处理、渲染或回放音频对象的指令的形式的元数据。在包括一组音频帧的音频流内,可能存在数百个至数千个不同的音频对象。一个音频帧可以包括这样的音频对象的子集,取决于哪些音频对象可以被渲染以用于在该音频帧内回放。音频对象不一定被映射到特定的声道。宿装置104可以对音频对象单个地进行处理。随后,在渲染处理中,AV接收器可以通过针对与声音/回放系统106相对应的每个声道对特定音频对象进行转换和/或混音来将音频对象映射到这些声道。
音频对象命令108可以包括与以下操作相关联的命令:修改音频对象的音量、空间地重新安置对象(例如,参见以下与图6有关内容)、开启/关闭音频对象、添加/移除/替换音频对象、与扩音器/回放配置有关地调整收听者地点/方位、或者要不然调整与音频对象相关联的参数、配置或属性。在一个方面,音频对象可以包括音频波形数据和与该音频波形数据相关联的对象元数据。音频对象命令108可以包括与修改与音频波形数据所关联的对象元数据相关联的一个或多个命令。
图2是用于例示说明与交互式音频元数据处置/处理相关联的第二方法的框图200。如图2所示,用户选择装置208可以接收音频对象用户选择命令信息210。用户选择装置208可以从用户接收音频对象用户选择命令信息210,诸如通过用户选择装置208上提供的应用和/或接口。用户选择装置208对音频对象用户选择命令信息210进行处理212以对源装置202生成用户选择信息214。源装置202可以例如是STB或OD播放器。可替代地,源装置202可以是移动电话、平板、串流棒、媒体PC或其他源装置。在第一配置中,源装置202基于接收的用户选择信息214来生成音频对象命令。在第二配置中,源装置202将用户选择信息220提供给网络主机218,网络主机218生成对应的音频对象命令222,并且将生成的音频对象命令222提供给源装置202。一旦源装置202已经获得(例如,生成和/或接收)与用户选择信息214和/或220相对应的音频对象命令,源装置202就可以准备216将音频对象命令、连同在一个或多个音频帧240中的从网络主机218接收的音频对象一起发送到宿装置204。宿装置204可以是AV接收器和/或电视。源装置202也可以确定将音频对象命令包括在哪个(哪些)音频帧中,因为源装置202可能在随后的时间接收到针对将由源装置202发送到宿装置204的音频对象的音频对象命令。
在其中音频对象命令与音频组块带内发送的第一配置中,源装置202可以将音频对象命令作为音频对象命令组块附到音频帧(一个或多个)内的编码的/压缩的音频组块的后面。在这样的配置中,源装置202可以将音频组块(在224中)和音频对象命令组块226一起在一个或多个音频帧224中发送。就这一点而论,虽然箭头226、224被示为分开的箭头,但是音频对象命令和音频对象是一起、同时在相同的频带中并且在相同的音频帧(一个或多个)224内发送的。在其中音频对象命令与音频组块带外(out-of-band)发送的第二配置中,源装置202可以将音频对象命令226和音频帧(一个或多个)224在不同的频带中分开发送到宿装置204。
当接收到包括多个音频对象和一个或多个音频对象命令226的音频帧(一个或多个)224时,宿装置204可以基于所述一个或多个音频对象命令226来对音频对象进行处理228。随后,在基于一个或多个音频对象命令对一个或多个音频对象进行处理之后,宿装置204将音频对象渲染/映射到各声道230以用于通过声音/回放系统206回放。
再次参照图2,在第一配置中,用户选择装置208可以是与源装置202和宿装置204分开的单独的独立装置,诸如蜂窝电话、平板、STB遥控器、OD播放器遥控器或用于接收与音频对象命令相关联的用户输入的其他装置。在第二配置中,用户选择装置208和源装置202可以是同一个装置。也就是说,源装置202本身可以提供用于接收与音频对象命令相关联的用户输入的机制。在第三配置中,用户选择装置208和电视可以是同一个装置。在这样的配置中,宿装置204可以是AV接收器,并且电视本身可以提供用于接收与音频对象命令相关联的用户输入(例如,通过电视遥控器、触摸屏显示器等)的机制。
图3是用于例示说明与交互式音频元数据处置/处理相关联的第三方法的框图300。如图3所示,用户选择装置308可以接收音频对象用户选择命令信息310。用户选择装置308可以从用户接收音频对象用户选择命令信息310,诸如通过用户选择装置308上提供的应用和/或接口。用户选择装置308对音频对象用户选择命令信息310进行处理312以对源装置302生成用户选择信息314。源装置302可以例如是STB、OD播放器或电视。可替代地,源装置302可以是移动电话、平板、串流棒、媒体PC或其他源装置。在第一配置中,源装置302基于接收的用户选择信息314来生成音频对象命令。在第二配置中,源装置302将用户选择信息320提供给网络主机318,网络主机318生成对应的音频对象命令322,并且将生成的音频对象命令322提供给源装置302。一旦源装置302已经获得(例如,生成和/或接收)与用户选择信息314和/或320相对应的音频对象命令,源装置302就可以准备316将音频对象命令、连同在一个或多个音频帧340中的从网络主机318接收的音频对象一起发送到宿装置304。宿装置304可以是AV接收器。源装置302也可以确定将音频对象命令包括在哪个(哪些)音频帧中,因为源装置302可能在随后的时间接收到针对将由源装置302发送到宿装置304的音频对象的音频对象命令。
在其中音频对象命令与音频组块带内发送的第一配置中,源装置302可以将音频对象命令作为音频对象命令组块附到音频帧(一个或多个)内的编码的/压缩的音频组块的后面。在这样的配置中,源装置302可以将音频组块(在324中)和音频对象命令组块326一起在一个或多个音频帧324中发送。就这一点而论,虽然箭头326、324被示为分开的箭头,但是音频对象命令和音频对象是一起、同时在相同的频带中并且在相同的音频帧(一个或多个)324内发送的。在其中音频对象命令与音频组块带外发送的第二配置中,源装置302可以将音频对象命令326和音频帧(一个或多个)324在不同的频带中分开发送到宿装置304。
当接收到包括多个音频对象和一个或多个音频对象命令326的音频帧(一个或多个)324时,宿装置304可以基于所述一个或多个音频对象命令326来对音频对象进行处理328。随后,在基于一个或多个音频对象命令对一个或多个音频对象进行处理之后,宿装置304将音频对象渲染/映射到各声道330以用于通过声音/回放系统306回放。
再次参照图3,在第一配置中,用户选择装置308可以是与源装置302和宿装置304分开的单独的独立装置,诸如蜂窝电话、平板、STB遥控器、OD播放器遥控器、电视遥控器或用于接收与音频对象命令相关联的用户输入的其他装置。在第二配置中,用户选择装置308和源装置302可以是同一个装置。也就是说,源装置302本身可以提供用于接收与音频对象命令相关联的用户输入的机制。
图4是用于例示说明与交互式音频元数据处置/处理相关联的第四方法的框图400。如图4所示,用户选择装置408可以接收音频对象用户选择命令信息410。用户选择装置408可以从用户接收音频对象用户选择命令信息410,诸如通过用户选择装置408上提供的应用和/或接口。用户选择装置408对音频对象用户选择命令信息410进行处理412以对源装置402生成用户选择信息414。源装置402可以例如是STB或OD播放器。可替代地,源装置402可以是移动电话、平板、串流棒、媒体PC或其他源装置。在第一配置中,源装置402基于接收的用户选择信息414来生成音频对象命令。在第二配置中,源装置402将用户选择信息402提供给网络主机418,网络主机418生成对应的音频对象命令422,并且将生成的音频对象命令422提供给源装置402。一旦源装置402已经获得(例如,生成和/或接收)与用户选择信息414和/或420相对应的音频对象命令,源装置402就可以准备416将音频对象命令、连同在一个或多个音频帧440中的从网络主机418接收的音频对象一起发送到电视432。源装置402也可以确定将音频对象命令包括在哪个(哪些)音频帧中,因为源装置402可能在随后的时间接收到针对将由源装置402发送到宿装置404的音频对象的音频对象命令。
在其中音频对象命令与音频组块带内发送的第一配置中,源装置402可以将音频对象命令作为音频对象命令组块附到音频帧(一个或多个)内的编码的/压缩的音频组块的后面。在这样的配置中,源装置402可以将音频组块(在424中)和音频对象命令组块426一起在一个或多个音频帧424中发送。就这一点而论,虽然箭头426、424被示为分开的箭头,但是音频对象命令和音频对象是一起、同时在相同的频带中并且在相同的音频帧(一个或多个)424内发送的。在其中音频对象命令与音频组块带外发送的第二配置中,源装置402可以将音频对象命令426和音频帧(一个或多个)424分别在不同的频带中发送到电视432。
电视432接收音频对象命令和音频对象,并且将音频对象命令和音频对象转发给宿装置404。宿装置404可以是AV接收器。电视432可以根据电视432如何接收音频对象命令和音频对象来带内或带外地发送音频对象命令和音频对象。例如,如果电视432从源装置402在一个或多个音频帧中一起带内地接收音频对象命令和音频对象,则电视432可以将音频对象命令和音频对象一起在一个或多个音频帧中带内地转发给宿装置404。另举一例,如果电视432从源装置402带外地分别接收音频对象命令和音频对象,则电视432可以将音频对象命令和音频对象分别带外地转发给宿装置404。
当接收到包括多个音频对象和一个或多个音频对象命令426的音频帧(一个或多个)424时,宿装置404可以基于所述一个或多个音频对象命令426来对音频对象进行处理428。随后,在基于一个或多个音频对象命令对一个或多个音频对象进行处理之后,宿装置404将音频对象渲染/映射到各声道430以用于通过声音/回放系统406回放。
再次参照图4,在第一配置中,用户选择装置408可以是与源装置402和宿装置404分开的单独的独立装置,诸如蜂窝电话、平板、STB遥控器、OD播放器遥控器或用于接收与音频对象命令相关联的用户输入的其他装置。在第二配置中,用户选择装置408和源装置402可以是同一个装置。也就是说,源装置402本身可以提供用于接收与音频对象命令相关联的用户输入的机制。
图5是例示说明当音频对象命令组块与音频组块在音频帧中为带内时的这个音频帧。如图5所示,音频帧502包括音频组块和音频对象命令组块。音频组块包括多个(n个)音频对象,其中n是在音频流内可用的音频对象的总数的子集。例如,音频流可以包括用于全长电影的音频。这样的音频流可以包括数千个至数万个音频对象,如果没有更多的话。音频流可以包括500k个或更多个音频帧。一个音频帧特别地说可以携带n个音频对象,取决于哪些音频对象可以被渲染以用于在音频帧中回放。音频对象命令组块可以包括m个音频对象命令x1,x2,…,xm,其中,m≥0。音频对象命令xi可以对应于n个音频对象中的一个或多个。例如,音频对象命令xi可以是用于改变与一个或多个音频对象相关联的音量的命令。另举一例,音频对象命令xi可以是用于将一个音频对象替换为另一音频对象(例如,在体育活动期间,将讲英语的播音员替换为讲西班牙语的播音员)的命令。又举一例,音频对象命令xi可以是用于包括用于处理、渲染和回放的音频对象(诸如当用户想要与初始音频流(例如,全长电影)覆盖的另一音频流(例如,电话呼叫)时)的命令。
在一种配置中,音频对象命令可以适用于对应的音频对象(一个或多个),直到该命令被撤销为止。在另一配置中,音频对象命令可以在特定的时间段内适用于对应的音频对象(一个或多个)。在这样的配置中,音频对象命令可以包括音频对象命令适用的时间段。
示图500例示说明了包括n个音频对象和m个音频对象命令的音频帧。如前面所讨论的,一个或多个音频帧可以是在与一个音频帧相对应的同时的时间段(例如,10.67ms)内接收的。假定q个音频帧在同时的(concurrent)时间段内被接收到,其中,第i音频帧包括ni个音频对象和mi个音频对象命令,这样的同时的时间段可以与n1+n2+…+nq个音频对象和m1+m2+…+mq个音频对象命令相关联。
图6是用于例示说明与收听者的头部有关的音频对象和通过音频对象命令对这样的音频对象的修改的示图600。音频对象602可以“被安置”在相对于收听者的头部604的特定位置上。如图6所示,音频对象602被安置成沿着xy平面与收听者的头部604的向前的方向F成角度θ并且在z方向上与收听者的头部604的向前的方向F成角度
Figure BDA0001856504630000101
表达“被安置”意味着,当音频对象602通过声音/回放系统渲染和播放时,具有如收听者的头部位置604所指示的头部位置的收听者可以将音频对象602感知为在相对于收听者的头部604的这样的空间地点处。音频对象命令可以通过提供指示用于相对于给定收听者方位的θ和
Figure BDA0001856504630000102
的新的参数的信息,或者通过提供指示相对于给定收听者方位的θ和
Figure BDA0001856504630000103
的变化的信息,来改变音频对象在3D空间中的位置/空间地点。此外,音频对象命令可以将音频对象602替换为另一音频对象。例如,如图6所示,音频对象602是音频对象1。音频对象命令可以将音频对象1替换为音频对象2至p中的任何一个。对于特定的例子,假定音频流是体育活动,p个音频对象可以是来自用不同语言的比赛呼叫者(play caller)的对话,并且用户可以根据收听者想要听什么语言来选择所述p个音频对象中的一个。
渲染是对基于对象的音频信号进行处理以基于音频对象元数据(例如,θ、
Figure BDA0001856504630000104
和其他参数)生成输出音频信号。例如,渲染可以通过多维音频(MDA)参考渲染器(诸如矢量基振幅平移(VBAP)渲染器)来执行。VBAP是用于使用多扩音器的特定设置(例如,国际电信联盟(ITU)5.1/7.1扬声器布局配置或某个其他的扬声器布局配置)将虚拟源定位在特定方向上的方法。当渲染时,MDA/VBAP渲染器基于一个或多个音频对象命令并且基于与基于对象的音频信号相关联的音频对象元数据(例如,θ、
Figure BDA0001856504630000111
和其他参数)来将一组基于对象的音频信号渲染到一组输出信号。
图7是对基于对象的音频信号进行处理以用于通过回放系统再现的方法的流程图700。该方法可以由诸如AV接收器或电视的设备执行。在702,所述设备接收至少一个音频帧中的多个基于对象的音频信号。所述设备可以从机顶盒、OD播放器或电视中的一个接收至少一个音频帧。可替代地,所述设备可以从移动电话、平板、串流棒、媒体PC或其他源装置接收至少一个音频帧。例如,参照图1-图4,宿装置104、204、304、404接收音频帧110、224、324、424中的多个基于对象的音频信号。在704,所述设备接收与所述多个基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令。例如,参照图1-图4,宿装置104、204、304、404接收与所述多个基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令108、226、326、426’。在706,所述设备基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理。例如,参照图1-图4,宿装置104、204、304、404基于接收的至少一个音频对象命令108、226、326、426’来对所述至少一个基于对象的音频信号进行处理112、228、328、428。在708,所述设备基于所述至少一个音频对象命令来将所述多个基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号。例如,参照图1-图4,宿装置104、204、304、404基于所述至少一个音频对象命令108、226、326、426’来将所述多个基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号114、230、330、430。
对于特定的例子,参照图2-图4,宿装置104、204、304、404可以接收至少一个音频帧中的多个基于对象的音频信号。基于对象的音频信号可以包括基于对象的音频信号s1,s2,…,sn。宿装置104、204、304、404还可以接收与基于对象的音频信号s1,s2,…,sn的子集S相关联的音频对象命令x1,x2,…,xm。例如,音频对象命令x1可以指定当渲染时将基于对象的音频信号s1替换为基于对象的音频信号s2。另举一例,音频对象命令x2可以特定于改变基于对象的音频信号s3的音量。宿装置104、204、304、404随后可以基于接收的音频对象命令x1、x2来对基于对象的音频信号s1、s2、s3进行处理。宿装置104、204、304、404可以通过移除基于对象的音频信号s1、添加基于对象的音频信号s2并且改变基于对象的音频信号s3的音量来对基于对象的音频信号s1、s2、s3进行处理。随后,宿装置104、204、304、404可以基于音频对象命令x1,x2,…,xm来将基于对象的音频信号s1,s2,…,sn中的一组基于对象的音频信号(其至少包括s2和s3,但不包括s1)渲染到一组输出信号。
在一种配置中,在704,所述至少一个音频对象命令是在具有所述多个基于对象的音频信号的音频帧(一个或多个)中接收的。例如,如前面关于图2-图4所讨论的,音频对象命令可以在音频帧(一个或多个)中与基于对象的音频信号带内地接收。在这样的配置中,所述至少一个音频对象命令可以被附到音频帧(一个或多个)中的多个基于对象的音频信号的末尾。
在一种配置中,在704,所述至少一个音频对象命令与包括所述多个基于对象的音频信号的音频帧(一个或多个)是分开接收的。所述至少一个音频对象命令可以在音频帧(一个或多个)之前/之后接收,或者与包括所述多个基于对象的音频信号的音频帧(一个或多个)同时接收。例如,如前面关于图2-图4所讨论的,音频对象命令可以与具有基于对象的音频信号的音频帧(一个或多个)带外地接收。
在一个配置中,所述多个基于对象的音频信号中的每个基于对象的音频信号包括音频波形数据和与该音频波形数据相关联的对象元数据。在这样的配置中,为了基于接收的至少一个音频对象命令对所述至少一个基于对象的音频信号进行处理,所述设备可以基于所述至少一个音频对象命令来修改所述至少一个基于对象的音频信号的对象元数据。例如,为了对所述至少一个基于对象的音频信号进行处理,所述设备可以修改与音频波形数据相关联的对象元数据以改变音频波形数据的音量,重新安置与音频波形数据相关联的感知到的空间地点,添加/移除音频波形数据,调整与扩音器/回放配置有关的收听者地点/方位,或者要不然调整与音频波形数据相关联的参数、配置或属性。
在一个配置中,在706,为了基于接收的至少一个音频对象命令对所述至少一个基于对象的音频信号进行处理,所述设备可以修改与所述至少一个基于对象的音频信号相关联的音量,将所述至少一个基于对象的音频信号从所述一组基于对象的音频信号中移除不被渲染,将所述至少一个基于对象的音频信号添加到所述组基于对象的音频信号中进行渲染,当渲染所述一组基于对象的音频信号时将所述至少一个基于对象的音频信号中的第一基于对象的音频信号替换为所述至少一个基于对象的音频信号中的第二基于对象的音频信号,修改所述至少一个基于对象的音频信号的空间地点,或改变所述至少一个基于对象的音频信号的元数据/渲染属性。
图8是对基于对象的音频信号进行处理以用于通过回放系统再现的方法的流程图800。该方法可以由诸如机顶盒、OD播放器或电视的设备执行。在802,所述设备接收用户选择信息,该用户选择信息指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令。例如,参照图2-图4,源装置202、302、402接收用户选择信息214、314、414,用户选择信息214、314、414指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令。在804,所述设备基于接收的用户选择信息来获得所述至少一个音频对象命令。例如,参照图2-图4,在一个配置中,为了获得所述至少一个音频对象命令,源装置202、302、402可以基于接收的用户选择信息214、314、414来生成所述至少一个音频对象命令。另举一例,在一个配置中,为了获得所述至少一个音频对象命令,源装置202、302、402可以将用户选择信息220、320、420发送到网络主机218、318、418。另外,作为响应,源装置202、302、402可以从网络主机218、318、418接收所述至少一个音频对象命令222、322、422。在806,所述设备接收多个基于对象的音频信号。例如,参照图2-图4,所述设备可以从网络主机218、318、418在至少一个音频帧240、340、440中接收多个基于对象的音频信号。当将所述至少一个音频对象命令与所述多个基于对象的音频信号带内地一起发送时,在808,源装置202、302、402可以将所述至少一个音频对象命令附到所述多个基于对象的音频信号的末尾。在这样的配置中,源装置202、302、402可以将所述至少一个音频对象命令和所述多个基于对象的音频信号在至少一个音频帧中发送。在810,所述设备(串行地或并行/同时地)发送所述至少一个音频对象命令与接收的多个基于对象的音频信号。例如,参照图2-图4,源装置202、302、402将所述至少一个音频对象命令226、326、426与所述多个基于对象的音频信号224、324、424一起发送。
在一个配置中,所述至少一个音频对象命令是在至少一个音频帧中与所述多个基于对象的音频信号一起发送的。例如,如前面关于图2-图4所讨论的,音频对象命令226、326、426可以在至少一个音频帧224、324、424内与基于对象的音频信号带内地发送。在一个配置中,所述至少一个音频对象命令226、326、426与包括所述多个基于对象的音频信号的至少一个音频帧分开发送。例如,如前面所讨论的,音频对象命令226、326、426可以与包括基于对象的音频信号的音频帧(一个或多个)224、324、424带外地发送。源装置202、302、402可以将所述至少一个音频对象命令和所述多个基于对象的音频信号发送到AV接收器或电视中的一个。
图9是例示说明示例性设备902中的不同部件/组件之间的数据流的概念性数据流示图900。设备902对基于对象的音频信号进行处理以用于通过回放系统再现。设备902包括接收组件904、处理器组件906和渲染器组件908。接收组件904被配置为接收至少一个音频帧中的多个基于对象的音频信号920。另外,接收组件904被配置为接收与所述多个基于对象的音频信号920中的至少一个基于对象的音频信号相关联的至少一个音频对象命令922。接收组件904被配置为将基于对象的音频信号920和所述至少一个音频对象命令922提供给处理器组件906。处理器组件906被配置为基于接收的至少一个音频对象命令922来对所述至少一个基于对象的音频信号进行处理。处理器组件906被配置为将处理的基于对象的音频信号提供给渲染器组件908。渲染器组件908被配置为基于所述至少一个音频对象命令来将所述多个基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号924。该组输出信号924可以被提供给声音/回放系统(例如,以驱动扩音器)。
所述至少一个音频对象命令可以在具有所述多个基于对象的音频信号的音频帧(一个或多个)中接收。所述至少一个音频对象命令可以被附到音频帧(一个或多个)中的所述多个基于对象的音频信号的末尾。所述至少一个音频对象命令可以与包括所述多个基于对象的音频信号的音频帧(一个或多个)分开接收。所述多个基于对象的音频信号中的每个基于对象的音频信号包括音频波形数据和与该音频波形数据相关联的对象元数据。为了基于接收的至少一个音频对象命令对所述至少一个基于对象的音频信号进行处理,处理器组件906可以被配置为基于所述至少一个音频对象命令来修改所述至少一个基于对象的音频信号的对象元数据。为了基于接收的至少一个音频对象命令对所述至少一个基于对象的音频信号进行处理,处理器组件906可以被配置为修改与所述至少一个基于对象的音频信号相关联的音量,将所述至少一个基于对象的音频信号从所述组基于对象的音频信号中移除不被渲染,将所述至少一个基于对象的音频信号添加到所述组基于对象的音频信号中进行渲染,当渲染所述组基于对象的音频信号时将所述至少一个基于对象的音频信号中的第一基于对象的音频信号替换为所述至少一个基于对象的音频信号中的第二基于对象的音频信号,修改所述至少一个基于对象的音频信号的空间地点,或改变所述至少一个基于对象的音频信号的元数据/渲染属性。音频帧(一个或多个)可以从机顶盒、OD播放器或电视中的一个接收。所述设备可以是AV接收器或电视。
图10是例示说明采用处理系统1014的设备902’的硬件实现的例子的示图1000。处理系统1014可以用总线架构来实现,总线架构一般用总线1024表示。总线1024可以包括任何数量的互连总线和桥,取决于处理系统1014的特定应用和总体设计约束。总线1024将各种电路(包括处理器1004、组件904、906、908和计算机可读介质/存储器1006所表示的一个或多个处理器和/或硬件组件)链接在一起。总线1024还可以链接本领域中众所周知的、因此将不被任何进一步描述的各种其他的电路,诸如定时源、外设、电压调节器和功率管理电路。
处理系统1014包括耦合到计算机可读介质/存储器1006的处理器1004。处理器1004负责一般处理,包括存储在计算机可读介质/存储器1006上的软件的执行。该软件在被处理器1004执行时使处理系统1014执行前面对任何特定的设备描述的各种功能。计算机可读介质/存储器1006还可以用于存储处理器1004在执行软件时操纵的数据。处理系统1014进一步包括组件904、906、908中的至少一个。所述组件可以是在处理器1004中运行的、驻留/存储在计算机可读介质/存储器1006中的软件组件,耦合到处理器1004的一个或多个硬件组件或它们的某个组合。
在一个配置中,提供了一种用于对基于对象的音频信号进行处理以用于通过回放系统再现的设备。该设备包括用于接收至少一个音频帧中的多个基于对象的音频信号的部件。另外,该设备包括用于接收与所述多个基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令的部件。另外,该设备包括用于基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理的部件。此外,该设备包括用于基于所述至少一个音频对象命令来将所述多个基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号的部件。在一个配置中,所述多个基于对象的音频信号中的每个基于对象的音频信号包括音频波形数据和与该音频波形数据相关联的对象元数据。在这样的配置中,用于基于接收的至少一个音频对象命令对所述至少一个基于对象的音频信号进行处理的部件被配置为基于所述至少一个音频对象命令来修改所述至少一个基于对象的音频信号的对象元数据。在一个配置中,用于基于接收的至少一个音频对象命令对所述至少一个基于对象的音频信号进行处理的部件被配置为执行以下操作中的至少一个:修改与所述至少一个基于对象的音频信号相关联的音量,将所述至少一个基于对象的音频信号从所述组基于对象的音频信号中移除不被渲染,将所述至少一个基于对象的音频信号添加到所述组基于对象的音频信号中进行渲染,当渲染所述组基于对象的音频信号时将所述至少一个基于对象的音频信号中的第一基于对象的音频信号替换为所述至少一个基于对象的音频信号中的第二基于对象的音频信号,修改所述至少一个基于对象的音频信号的空间地点,或改变所述至少一个基于对象的音频信号的元数据/渲染属性。
图11是例示说明示例性设备中的不同部件/组件之间的数据流的概念性数据流示图1100。设备1102对基于对象的音频信号进行处理以用于通过回放系统再现。设备1102包括接收组件1104、命令组件1106和传送组件1108。接收组件1104被配置为接收用户选择信息1122,用户选择信息1122指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令。命令组件1106被配置为基于接收的用户选择信息来获得所述至少一个音频对象命令。接收组件1104被配置为接收多个基于对象的音频信号1120。接收组件1104被配置为将所述多个基于对象的音频信号1120提供给传送组件1108。命令组件1106被配置为将所述至少一个音频对象命令提供给传送组件1108。传送组件1108被配置为将所述至少一个音频对象命令与接收的多个基于对象的音频信号一起发送。
在一个配置中,传送组件1108被配置为将所述至少一个音频对象命令附到所述多个基于对象的音频信号的末尾。在这样的配置中,所述至少一个音频对象命令和所述多个基于对象的音频信号是在至少一个音频帧中发送的。命令组件1106可以被配置为通过基于接收的用户选择信息生成所述至少一个音频对象命令来基于接收的用户选择信息获得所述至少一个音频对象命令。命令组件1106可以被配置为通过将接收的用户选择信息发送到网络主机并且从网络主机接收所述至少一个音频对象命令来获得所述至少一个音频对象命令。所述至少一个音频对象命令是基于发送的用户选择信息的。
图12是例示说明采用处理系统1214的设备1102’的硬件实现的例子的示图1200。处理系统1214可以用总线架构来实现,总线架构一般用总线1224表示。总线1224可以包括任何数量的互连总线和桥,取决于处理系统1214的特定应用和总体设计约束。总线1224将各种电路(包括处理器1204、组件1104、1106、1108和计算机可读介质/存储器1206所表示的一个或多个处理器和/或硬件组件)链接在一起。总线1224还可以链接本领域中众所周知的、因此将不被任何进一步描述的各种其他的电路,诸如定时源、外设、电压调节器和功率管理电路。
处理系统1214包括耦合到计算机可读介质/存储器1206的处理器1204。处理器1204负责一般处理,包括存储在计算机可读介质/存储器1206上的软件的执行。该软件在被处理器1204执行时使处理系统1214执行前面对任何特定的设备描述的各种功能。计算机可读介质/存储器1206还可以用于存储处理器1204在执行软件时操纵的数据。处理系统1214进一步包括组件1104、1106、1108中的至少一个。所述组件可以是在处理器1204中运行的、驻留/存储在计算机可读介质/存储器1206中的软件组件、耦合到处理器1204的一个或多个硬件组件或它们的某个组合。
在一个配置中,提供了用于对基于对象的音频信号进行处理以用于通过回放系统再现的设备。该设备包括用于接收用户选择信息的部件,所述用户选择信息指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令。该设备进一步包括用于基于接收的用户选择信息来获得所述至少一个音频对象命令的部件。该设备进一步包括用于接收多个基于对象的音频信号的部件。该设备进一步包括用于将所述至少一个音频对象命令与接收的多个基于对象的音频信号一起发送的部件。该设备可以进一步包括用于将所述至少一个音频对象命令附到所述多个基于对象的音频信号的末尾的部件。所述至少一个音频对象命令和所述多个基于对象的音频信号可以在至少一个音频帧中发送。在一个配置中,用于基于接收的用户选择信息来获得所述至少一个音频对象命令的部件被配置为基于接收的用户选择信息来生成所述至少一个音频对象。在一个配置中,用于基于接收的用户选择信息来获得所述至少一个音频对象命令的部件被配置为将接收的用户选择信息发送到网络主机并且从网络主机接收所述至少一个音频对象命令,所述至少一个音频对象命令是基于发送的用户选择信息的。
与本文所公开的实施例结合描述的各种说明性逻辑块、组件、方法、算法处理和序列可以被实现为电子硬件、计算机软件或这二者的组合。为了清楚地例示说明硬件和软件的这个可互换性,各种说明性组件、块、组件和处理动作已经在前面大体上就它们的功能性进行了描述。这样的功能性是被实现为硬件、还是软件取决于特定应用和施加于整个系统的设计约束。所描述的功能性可以针对每个特定的应用以不同的方式实现,但是这样的实现决策不应被解释为引起脱离本文件的范围。
与本文所公开的实施例结合描述的各种说明性逻辑块和组件可以由被设计为执行本文所描述的功能的机器(诸如通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件或它们的任何组合)实现或执行。通用处理器可以是微处理器,但是在替代方案中,处理器可以是控制器、微控制器或状态机、它们的组合等。处理器也可以被实现为计算装置的组合,诸如DSP和微处理器、多个微处理器、与DSP核结合的一个或多个微处理器或任何其他这样的配置的组合。
本文所描述的交互式音频元数据处置系统和方法的实施例在许多类型的通用或专用计算系统环境或配置内是操作的。一般来说,计算环境可以包括任何类型的计算机系统,包括但不限于(仅举几例)基于一个或多个微处理器的计算机系统、大型计算机、数字信号处理器、便携式计算装置、个人组织器、装置控制器、电器内的计算引擎、移动电话、台式计算机、移动计算机、平板计算机、智能电话、AV接收器、电视、STB、OD播放器、具有嵌入式计算机的电器。
这样的计算装置通常可以见于具有至少一些最小的计算能力的装置中,包括但不限于个人计算机、服务器计算机、手持计算装置、膝上型或移动计算机、通信装置(诸如蜂窝电话和PDA)、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络PC、微计算机、大型计算机、音频或视频媒体播放器等。在一些实施例中,计算装置将包括一个或多个处理器。每个处理器可以是专门的微处理器,诸如DSP、极长指令字(VLIW)或其他微控制器,或者可以是具有一个或多个处理核(包括多核CPU中的基于专门的图形处理单元(GPU)的核)的常规CPU。
与本文所公开的实施例结合描述的方法、处理或算法的处理动作可以直接用硬件、用处理器执行的软件组件或这二者的任何组合来实施。软件组件可以包含在可以被计算装置访问的计算机可读介质中。计算机可读介质包括可移动的、不可移动或它们的某个组合的易失性和非易失性介质。计算机可读介质用于存储信息,诸如计算机可读或计算机可执行指令、数据结构、程序组件或其他数据。举例来说,而非限制,计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质包括但不限于计算机或机器可读介质或存储装置,诸如光学存储装置、蓝光盘(BD)、数字多功能盘(DVD)、紧凑盘(CD)、软盘、带驱动器、硬盘驱动器、光学驱动器、固态存储器装置、随机存取存储器(RAM)存储器、ROM存储器、EPROM存储器、EEPROM存储器、闪存或其他存储器技术、磁盒、磁带、磁盘储存器、或其他磁性存储装置、或可以用于存储期望的信息并且可以被一个或多个计算机装置访问的任何其他的装置。
软件组件可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或任何其他形式的非暂时性计算机可读存储介质、或本领域中已知的物理计算机储存器中。示例性存储介质可以耦合到处理器,以使得处理器可以从存储介质读取信息和将信息写入到存储介质。在替代方案中,存储介质可以与处理器是整体的。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。可替代地,处理器和存储介质可以作为分立的组件驻留在用户终端中。
如本文件中所使用的短语“非暂时性”意指“持久的或长寿命的”。短语“非暂时性计算机可读介质”包括任何一个和所有的计算机可读介质,唯一例外是暂时性的传播信号。举例来说而非限制,这包括非暂时性计算机可读介质,诸如寄存器存储器、处理器高速缓存和RAM。
信息(诸如计算机可读或计算机可执行指令、数据结构、程序组件等)的保持也可以通过使用各种通信介质对一个或多个调制的数据信号、电磁波(诸如载波)或其他传输机制或通信协议进行编码来实现,并且包括任何有线或无线信息递送机制。一般来说,这些通信介质是指这样的信号,该信号使其特性中的一个或多个以对该信号中的信息或指令进行编码的这样的方式设置或改变。例如,通信介质包括有线介质(诸如有线网络或传载一个或多个调制的数据信号的直接连线连接)和无线介质(诸如用于发送、接收或既发送、又接收一个或多个调制的数据信号或电磁波的声学、射频(RF)、红外、激光和其他无线介质)。以上中的任何一个的组合也应包括在通信介质的范围内。
此外,实施本文所描述的交互式音频元数据处置系统和方法的各种实施例中的一些或全部的软件、程序、计算机程序产品中的一个或任何一个或它们的部分可以被以计算机可执行指令或其他数据结构的形式存储、接收、发送、或从计算机或机器可读介质或存储装置和通信介质的任何期望的组合读取。
本文所描述的交互式音频元数据处置系统和方法的实施例可以在计算装置正在执行的计算机可执行指令(诸如程序组件)的一般上下文下进一步描述。一般来说,程序组件包括执行特定的任务或实现特定的抽象的数据类型的例程、程序、对象、组件、数据结构等。本文所描述的实施例也可以在分布式计算环境中实施,在分布式计算环境中,任务由一个或多个远程处理装置执行,或者在通过一个或多个通信网络链接的一个或多个装置的云内执行。在分布式计算环境中,程序组件可以被安置在本地计算机存储介质和远程计算机存储介质(包括媒体存储装置)这二者中。更进一步地,前述指令可以部分地或整个地被实现为硬件逻辑电路,这些硬件逻辑电路可以包括或者可以不包括处理器。
本文所使用的条件语言(诸如,除了别的之外,“能够”、“可能”、“可以”、“等”及相似条件语言)除非另有具体陈述或者在所用的上下文内另有理解,否则一般意图传达某些实施例包括,而其他实施例不包括,某些特征、元件和/或状态。因此,这样的条件语言一般并不意图暗示,特征、元件和/或状态是一个或多个实施例以任何方式所需的,或者一个或多个实施例一定包括用于在有或没有创作者输入或提示的情况下决定这些特征、元件和/或状态是包括在任何特定的实施例中、还是将在任何特定的实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义的,是以开放式的方式包容性地使用的,并且不排除附加的元件、特征、动作、操作等。此外,术语“或”是以其包容性的意义(而非其排他性的意义)使用的,以使得当被用于例如连接元素列表时,术语“或”意指该列表中的元素中的一个、一些或全部。
虽然以上详细描述已经示出、描述和指出了适用于各种实施例的新颖的特征,但是将理解的是,在不脱离本公开的精神的情况下,可以进行例示说明的装置或算法的形式和细节上的各种省略、替换和改变。如将认识到的,本文所描述的交互式音频元数据处置系统和方法的某些实施例可以在不提供本文阐述的所有特征和益处的形式内实施,因为一些特征可以与其他特征分开使用或实施。
而且,尽管主题已经使用特定于结构特征和方法动作的语言描述,但是要理解的是,所附权利要求中限定的主题不一定限于前面描述的特定特征或动作。相反,前面描述的特定的特征和动作是作为实现权利要求的示例形式公开的。
提供前面的描述是为了使得本领域技术人员能够实施本文所描述的各方面。对于这些方面的各种修改对于本领域技术人员将是明晰的,并且本文所限定的一般原理可以适用于其他方面。因此,权利要求并非意图限于本文所示出的方面,而是要被给予与语言权利要求一致的整个范围,其中,对于单数元件的论述并不意图意指“一个且只有一个”,除非特别如此陈述,而是相反意指“一个或多个”。词语“示例性的”在本文中用于意指“用作例子、实例或例示说明”。在本文中被描述为“示例性的”任何方面不一定要被解释为较于其他方面是优选的或有利的。除非另有具体陈述,否则术语“一些”是指一个或多个。诸如“A、B或C中的至少一个”、“A、B和C中的至少一个”和“A、B、C或它们的任何组合”的组合包括A、B和/或C的任何组合,并且可以包括多个A、多个B或多个C。具体地说,诸如“A、B或C中的至少一个”、“A、B和C中的至少一个”和“A、B、C或它们的任何组合”的组合可以是只有一个A、只有一个B、只有一个C、A和B、A和C、B和C、或A和B和C,其中,任何这样的组合可以包含A、B或C中的一个或多个构件。本领域的普通技术人员已知的或后来变得已知的、在整个本公开中描述的各方面的元件的任何结构的和功能的等同形式通过引用明确地并入在本文中,并且意图被权利要求所包含。而且,本文中没有公开任何内容意图是捐献给公众的,不管这样的公开是否被明确地记载在权利要求中。没有权利要求元素要被解释为用于功能的部件,除非该元素通过使用短语“用于……的部件”被明确地记载。

Claims (50)

1.一种对基于对象的音频信号进行处理以用于通过回放系统再现的方法,所述方法包括:
接收至少一个音频帧中的多个经编码的基于对象的音频信号;
接收与所述多个经编码的基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令,其中所述至少一个音频对象命令是未经编码的;
将所述多个经编码的基于对象的音频信号中的至少一些和未经编码的所述至少一个音频对象命令一起发送到所述回放系统;
基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理;以及
基于所述至少一个音频对象命令来将所述多个经编码的基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号。
2.根据权利要求1所述的方法,其中,所述至少一个音频对象命令是在所述至少一个音频帧中与所述多个经编码的基于对象的音频信号一起接收的。
3.根据权利要求2所述的方法,其中,所述至少一个音频对象命令被附到所述至少一个音频帧中的所述多个经编码的基于对象的音频信号的末尾。
4.根据权利要求1所述的方法,其中,所述至少一个音频对象命令是与包括所述多个经编码的基于对象的音频信号的所述至少一个音频帧分开接收的。
5.根据权利要求1所述的方法,其中,所述多个经编码的基于对象的音频信号中的每个基于对象的音频信号包括音频波形数据和与所述音频波形数据相关联的对象元数据,基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理包括基于所述至少一个音频对象命令来修改所述至少一个基于对象的音频信号的对象元数据。
6.根据权利要求1所述的方法,其中,基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理包括以下操作中的至少一个:
修改与所述至少一个基于对象的音频信号相关联的音量;
移除所述至少一个基于对象的音频信号以不在所述一组基于对象的音频信号中渲染;
将所述至少一个基于对象的音频信号添加到所述一组基于对象的音频信号中进行渲染;
当渲染所述一组基于对象的音频信号时,将所述至少一个基于对象的音频信号中的第一基于对象的音频信号替换为所述至少一个基于对象的音频信号中的第二基于对象的音频信号;
修改所述至少一个基于对象的音频信号的空间地点;或
改变所述至少一个基于对象的音频信号的属性。
7.根据权利要求1所述的方法,其中,所述至少一个音频帧是从机顶盒、光盘播放器或电视中的一个接收的。
8.根据权利要求1所述的方法,其中,所述方法是由音频视频(AV)接收器或电视中的一个执行的。
9.一种对基于对象的音频信号进行处理以用于通过回放系统再现的方法,所述方法包括:
接收用户选择信息,所述用户选择信息指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令;
基于接收的用户选择信息来获得所述至少一个音频对象命令,其中所述至少一个音频对象命令是未经编码的;
接收多个经编码的基于对象的音频信号;以及
将未经编码的所述至少一个音频对象命令与接收的所述多个经编码的基于对象的音频信号一起发送。
10.根据权利要求9所述的方法,其中,所述至少一个音频对象命令是在至少一个音频帧中与所述多个经编码的基于对象的音频信号一起发送的。
11.根据权利要求9所述的方法,进一步包括将所述至少一个音频对象命令附到所述多个经编码的基于对象的音频信号的末尾,所述至少一个音频对象命令和所述多个经编码的基于对象的音频信号是在至少一个音频帧中发送的。
12.根据权利要求9所述的方法,其中,所述至少一个音频对象命令是与包括所述多个经编码的基于对象的音频信号的至少一个音频帧分开发送的。
13.根据权利要求9所述的方法,其中,基于接收的用户选择信息来获得所述至少一个音频对象命令包括基于接收的用户选择信息来生成所述至少一个音频对象命令。
14.根据权利要求9所述的方法,其中,基于接收的用户选择信息来获得所述至少一个音频对象命令包括:
将接收的用户选择信息发送到网络主机;以及
从所述网络主机接收所述至少一个音频对象命令,所述至少一个音频对象命令是基于发送的用户选择信息的。
15.根据权利要求9所述的方法,其中,所述至少一个音频对象命令和所述多个经编码的基于对象的音频信号被发送到音频视频(AV)接收器或电视中的一个。
16.根据权利要求9所述的方法,其中,所述方法是由机顶盒、光盘播放器或电视中的一个执行的。
17.一种用于对基于对象的音频信号进行处理以用于通过回放系统再现的设备,所述设备包括:
存储器;以及
至少一个处理器,所述至少一个处理器耦合到所述存储器并且被配置为:
接收至少一个音频帧中的多个经编码的基于对象的音频信号;
接收与所述多个经编码的基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令,其中所述至少一个音频对象命令是未经编码的;
将所述多个经编码的基于对象的音频信号中的至少一些和未经编码的所述至少一个音频对象命令一起发送到所述回放系统;
基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理;以及
基于所述至少一个音频对象命令来将所述多个经编码的基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号。
18.根据权利要求17所述的设备,其中,所述至少一个音频对象命令是在所述至少一个音频帧中与所述多个经编码的基于对象的音频信号一起接收的。
19.根据权利要求18所述的设备,其中,所述至少一个音频对象命令被附到所述至少一个音频帧中的所述多个经编码的基于对象的音频信号的末尾。
20.根据权利要求17所述的设备,其中,所述至少一个音频对象命令是与包括所述多个经编码的基于对象的音频信号的所述至少一个音频帧分开接收的。
21.根据权利要求17所述的设备,其中,所述多个经编码的基于对象的音频信号中的每个基于对象的音频信号包括音频波形数据和与所述音频波形数据相关联的对象元数据,并且其中,为了基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理,所述至少一个处理器被配置为基于所述至少一个音频对象命令来修改所述至少一个基于对象的音频信号的对象元数据。
22.根据权利要求17所述的设备,其中,为了基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理,所述至少一个处理器被配置为执行以下操作中的至少一个:
修改与所述至少一个基于对象的音频信号相关联的音量;
移除所述至少一个基于对象的音频信号以不在所述一组基于对象的音频信号中渲染;
将所述至少一个基于对象的音频信号添加到所述一组基于对象的音频信号中进行渲染;
当渲染所述一组基于对象的音频信号时,将所述至少一个基于对象的音频信号中的第一基于对象的音频信号替换为所述至少一个基于对象的音频信号中的第二基于对象的音频信号;
修改所述至少一个基于对象的音频信号的空间地点;或
改变所述至少一个基于对象的音频信号的属性。
23.根据权利要求17所述的设备,其中,所述至少一个音频帧是从机顶盒、光盘播放器或电视中的一个接收的。
24.根据权利要求17所述的设备,其中,所述设备是音频视频(AV)接收器或电视中的一个。
25.一种用于对基于对象的音频信号进行处理以用于通过回放系统再现的设备,所述设备包括:
存储器;以及
至少一个处理器,所述至少一个处理器耦合到所述存储器并且被配置为:
接收用户选择信息,所述用户选择信息指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令;
基于接收的用户选择信息来获得所述至少一个音频对象命令,其中所述至少一个音频对象命令是未经编码的;
接收多个经编码的基于对象的音频信号;以及
将未经编码的所述至少一个音频对象命令与接收的所述多个经编码的基于对象的音频信号一起发送。
26.根据权利要求25所述的设备,其中,所述至少一个音频对象命令是在至少一个音频帧中与所述多个经编码的基于对象的音频信号一起发送的。
27.根据权利要求25所述的设备,其中,所述至少一个处理器被进一步配置为将所述至少一个音频对象命令附到所述多个经编码的基于对象的音频信号的末尾,所述至少一个音频对象命令和所述多个经编码的基于对象的音频信号是在至少一个音频帧中发送的。
28.根据权利要求25所述的设备,其中,所述至少一个音频对象命令是与包括所述多个经编码的基于对象的音频信号的至少一个音频帧分开发送的。
29.根据权利要求25所述的设备,其中,为了基于接收的用户选择信息来获得所述至少一个音频对象命令,所述至少一个处理器被配置为基于接收的用户选择信息来生成所述至少一个音频对象命令。
30.根据权利要求25所述的设备,其中,为了基于接收的用户选择信息来获得所述至少一个音频对象命令,所述至少一个处理器被配置为:
将接收的用户选择信息发送到网络主机;以及
从所述网络主机接收所述至少一个音频对象命令,所述至少一个音频对象命令是基于发送的用户选择信息的。
31.根据权利要求25所述的设备,其中,所述至少一个音频对象命令和所述多个经编码的基于对象的音频信号被发送到音频视频(AV)接收器或电视中的一个。
32.根据权利要求25所述的设备,其中,所述设备是机顶盒、光盘播放器或电视中的一个。
33.一种用于对基于对象的音频信号进行处理以用于通过回放系统再现的设备,所述设备包括:
用于接收至少一个音频帧中的多个经编码的基于对象的音频信号的部件;
用于接收与所述多个经编码的基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令的部件,其中所述至少一个音频对象命令是未经编码的;
用于将所述多个经编码的基于对象的音频信号中的至少一些和未经编码的所述至少一个音频对象命令一起发送到所述回放系统的部件;
用于基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理的部件;以及
用于基于所述至少一个音频对象命令来将所述多个经编码的基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号的部件。
34.根据权利要求33所述的设备,其中,所述至少一个音频对象命令是在所述至少一个音频帧中与所述多个经编码的基于对象的音频信号一起接收的。
35.根据权利要求34所述的设备,其中,所述至少一个音频对象命令被附到所述至少一个音频帧中的所述多个经编码的基于对象的音频信号的末尾。
36.根据权利要求33所述的设备,其中,所述至少一个音频对象命令是与包括所述多个经编码的基于对象的音频信号的所述至少一个音频帧分开接收的。
37.根据权利要求33所述的设备,其中,所述多个经编码的基于对象的音频信号中的每个基于对象的音频信号包括音频波形数据和与所述音频波形数据相关联的对象元数据,所述用于基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理的部件被配置为基于所述至少一个音频对象命令来修改所述至少一个基于对象的音频信号的对象元数据。
38.根据权利要求33所述的设备,其中,所述用于基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理的部件被配置为执行以下操作中的至少一个:
修改与所述至少一个基于对象的音频信号相关联的音量;
移除所述至少一个基于对象的音频信号以不在所述一组基于对象的音频信号中渲染;
将所述至少一个基于对象的音频信号添加到所述一组基于对象的音频信号中进行渲染;
当渲染所述一组基于对象的音频信号时,将所述至少一个基于对象的音频信号中的第一基于对象的音频信号替换为所述至少一个基于对象的音频信号中的第二基于对象的音频信号;
修改所述至少一个基于对象的音频信号的空间地点;或
改变所述至少一个基于对象的音频信号的属性。
39.根据权利要求33所述的设备,其中,所述至少一个音频帧是从机顶盒、光盘播放器或电视中的一个接收的。
40.根据权利要求33所述的设备,其中,所述设备是音频视频(AV)接收器或电视中的一个。
41.一种用于对基于对象的音频信号进行处理以用于通过回放系统再现的设备,所述设备包括:
用于接收用户选择信息的部件,所述用户选择信息指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令;
用于基于接收的用户选择信息来获得所述至少一个音频对象命令的部件,其中所述至少一个音频对象命令是未经编码的;
用于接收多个经编码的基于对象的音频信号的部件;以及
用于将未经编码的所述至少一个音频对象命令与接收的所述多个经编码的基于对象的音频信号一起发送的部件。
42.根据权利要求41所述的设备,其中,所述至少一个音频对象命令是在至少一个音频帧中与所述多个经编码的基于对象的音频信号一起发送的。
43.根据权利要求41所述的设备,进一步包括用于将所述至少一个音频对象命令附到所述多个经编码的基于对象的音频信号的末尾的部件,所述至少一个音频对象命令和所述多个经编码的基于对象的音频信号是在至少一个音频帧中发送的。
44.根据权利要求41所述的设备,其中,所述至少一个音频对象命令是与包括所述多个经编码的基于对象的音频信号的至少一个音频帧分开发送的。
45.根据权利要求41所述的设备,其中,用于基于接收的用户选择信息来获得所述至少一个音频对象命令的部件被配置为基于接收的用户选择信息来生成所述至少一个音频对象命令。
46.根据权利要求41所述的设备,其中,用于基于接收的用户选择信息来获得所述至少一个音频对象命令的部件被配置为:
将接收的用户选择信息发送到网络主机;以及
从所述网络主机接收所述至少一个音频对象命令,所述至少一个音频对象命令是基于发送的用户选择信息的。
47.根据权利要求41所述的设备,其中,所述至少一个音频对象命令和所述多个经编码的基于对象的音频信号被发送到音频视频(AV)接收器或电视中的一个。
48.根据权利要求41所述的设备,其中,所述设备是机顶盒、光盘播放器或电视中的一个。
49.一种计算机可读介质,所述计算机可读介质存储用于对基于对象的音频信号进行处理以用于通过回放系统再现的计算机可执行代码,所述计算机可读介质包括用于执行以下操作的代码:
接收至少一个音频帧中的多个经编码的基于对象的音频信号;
接收与所述多个经编码的基于对象的音频信号中的至少一个基于对象的音频信号相关联的至少一个音频对象命令,其中所述至少一个音频对象命令是未经编码的;
将所述多个经编码的基于对象的音频信号中的至少一些和未经编码的所述至少一个音频对象命令一起发送到所述回放系统;
基于接收的至少一个音频对象命令来对所述至少一个基于对象的音频信号进行处理;以及
基于所述至少一个音频对象命令来将所述多个经编码的基于对象的音频信号中的一组基于对象的音频信号渲染到一组输出信号。
50.一种计算机可读介质,所述计算机可读介质存储用于对基于对象的音频信号进行处理以用于通过回放系统再现的计算机可执行代码,所述计算机可读介质包括用于执行以下操作的代码:
接收用户选择信息,所述用户选择信息指示与至少一个基于对象的音频信号相关联的至少一个音频对象命令;
基于接收的用户选择信息来获得所述至少一个音频对象命令,其中所述至少一个音频对象命令是未经编码的;
接收多个经编码的基于对象的音频信号;以及
将未经编码的所述至少一个音频对象命令与接收的多个经编码的基于对象的音频信号一起发送。
CN201780028217.5A 2016-03-23 2017-03-14 交互式音频元数据处置 Active CN109076250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/078,945 2016-03-23
US15/078,945 US10027994B2 (en) 2016-03-23 2016-03-23 Interactive audio metadata handling
PCT/US2017/022355 WO2017165157A1 (en) 2016-03-23 2017-03-14 Interactive audio metadata handling

Publications (2)

Publication Number Publication Date
CN109076250A CN109076250A (zh) 2018-12-21
CN109076250B true CN109076250B (zh) 2021-09-07

Family

ID=59899040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780028217.5A Active CN109076250B (zh) 2016-03-23 2017-03-14 交互式音频元数据处置

Country Status (7)

Country Link
US (1) US10027994B2 (zh)
EP (1) EP3434009A4 (zh)
JP (1) JP7288760B2 (zh)
KR (1) KR20180122451A (zh)
CN (1) CN109076250B (zh)
HK (1) HK1258771A1 (zh)
WO (1) WO2017165157A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489821A1 (en) * 2017-11-27 2019-05-29 Nokia Technologies Oy A user interface for user selection of sound objects for rendering, and/or a method for rendering a user interface for user selection of sound objects for rendering
US10848818B2 (en) * 2018-09-03 2020-11-24 Vanco International, Llc Sensing based audio signal injection
CN109618223B (zh) * 2019-01-28 2021-02-05 北京易捷胜科技有限公司 一种声音替换方法
US11430485B2 (en) * 2019-11-19 2022-08-30 Netflix, Inc. Systems and methods for mixing synthetic voice with original audio tracks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933604A (zh) * 2005-09-16 2007-03-21 精工爱普生株式会社 图像声音输出系统、装置、声音处理程序和记录介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100733965B1 (ko) * 2005-11-01 2007-06-29 한국전자통신연구원 객체기반 오디오 전송/수신 시스템 및 그 방법
KR20080082917A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
WO2012016975A1 (en) 2010-08-04 2012-02-09 Nagravision S.A. Method for sharing data and synchronizing broadcast data with additional information
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
US9411882B2 (en) * 2013-07-22 2016-08-09 Dolby Laboratories Licensing Corporation Interactive audio content generation, delivery, playback and sharing
US8982281B2 (en) 2013-08-12 2015-03-17 Hydraconnect Sales Llc HDMI switch system with video alerts
PT3149955T (pt) * 2014-05-28 2019-08-05 Fraunhofer Ges Forschung Processador de dados e transporte de dados de controlo do utilizador para descodificadores e renderizadores de áudio
JP6724782B2 (ja) * 2014-09-04 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933604A (zh) * 2005-09-16 2007-03-21 精工爱普生株式会社 图像声音输出系统、装置、声音处理程序和记录介质

Also Published As

Publication number Publication date
EP3434009A4 (en) 2019-08-28
KR20180122451A (ko) 2018-11-12
HK1258771A1 (zh) 2019-11-22
WO2017165157A1 (en) 2017-09-28
CN109076250A (zh) 2018-12-21
JP2019514050A (ja) 2019-05-30
US20170280169A1 (en) 2017-09-28
US10027994B2 (en) 2018-07-17
EP3434009A1 (en) 2019-01-30
JP7288760B2 (ja) 2023-06-08

Similar Documents

Publication Publication Date Title
JP6883636B2 (ja) ダッキング制御のためのメタデータ
US20240055007A1 (en) Encoding device and encoding method, decoding device and decoding method, and program
US10063207B2 (en) Object-based audio loudness management
CN109076250B (zh) 交互式音频元数据处置
US11109179B2 (en) Signal processing device, method, and program
CN110537220B (zh) 信号处理设备和方法及程序
US10535355B2 (en) Frame coding for spatial audio data
US11942096B2 (en) Computer system for transmitting audio content to realize customized being-there and method thereof
US10708707B2 (en) Audio processing apparatus and method and program
US20200020342A1 (en) Error concealment for audio data using reference pools
KR20150028147A (ko) 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
KR102677399B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
JPWO2019069710A1 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
TW202107451A (zh) 基於操作條件執行心理聲學音訊寫碼
US20220417693A1 (en) Computer system for processing audio content and method thereof
WO2020158093A1 (ja) 制御装置及び通信装置
JP2023526136A (ja) 効率的なダッキング利得適用による改善されたメイン‐関連オーディオ体験
TW202109507A (zh) 基於用於心理聲學之音訊寫碼之經判定位元分配的量化空間分量
KR20200091277A (ko) 오디오 프라이밍을 고려한 디코딩 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1258771

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant