CN110191745A - 利用空间音频的游戏流式传输 - Google Patents

利用空间音频的游戏流式传输 Download PDF

Info

Publication number
CN110191745A
CN110191745A CN201880007562.5A CN201880007562A CN110191745A CN 110191745 A CN110191745 A CN 110191745A CN 201880007562 A CN201880007562 A CN 201880007562A CN 110191745 A CN110191745 A CN 110191745A
Authority
CN
China
Prior art keywords
audio
sound field
format
sound
field information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880007562.5A
Other languages
English (en)
Other versions
CN110191745B (zh
Inventor
R·Y·金
T·R·马尼恩
R·N·海特坎普
S·维尔森斯
P·A·埃德里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110191745A publication Critical patent/CN110191745A/zh
Application granted granted Critical
Publication of CN110191745B publication Critical patent/CN110191745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

游戏引擎可以在每帧的基础上生成视频和音频内容。可以生成对应于当前帧的音频数据以包括与可以被用来播放关联音频的扬声器配置或空间化技术无关的声场信息。可以基于与当前帧的对象位置处的游戏内对象所产生的声音相对应的单声道音频数据来生成声场。可以使用所选择的可用扬声器配置和空间化技术将声场信息传输到远程计算设备以进行再现。

Description

利用空间音频的游戏流式传输
技术领域
本公开一般涉及计算机生成的音频内容的流式传输。
背景技术
通常，生成用于视频游戏和其他计算机生成的内容的音频以与内容的直接消费者正在使用的音频再现设备兼容。例如，如果视频游戏播放器已经将一副耳机连接到他的计算机以便播放视频游戏，则通常将以与耳机直接兼容的格式生成音频，诸如双声道音频。
越来越多地，诸如视频游戏之类的生成的内容不仅在本地被再现，而且还被流式传输到远程计算设备。例如，可以将生成的内容呈现给除视频游戏的玩家之外的各种消费者。这些消费者可以利用各种各样的音频设备，包括支持三维音频空间化的设备。在一些实例中，消费者可用的音频能力可能超过玩家可用的那些。
发明内容
本公开一般涉及计算机生成的内容的流式传输。更具体地，本公开描述了与将空间音频流式传输到除了在其上生成内容的系统和设备之外的系统和设备有关的技术。
在示例实施例中，游戏引擎可以生成与视频游戏内容的帧相关联的音频数据。可以生成音频数据并将其提供以用于再现为声场数据，该声场数据与扬声器配置或用以生成对应于音频数据的声音的可用空间化技术无关。因此，可以在独立于或未认知到在音频被再现时可能可用的特定空间化技术或扬声器配置的情况下生成音频数据。与生成内容的常规方法相比，这使得流式传输的内容的接收者能够利用最佳可用空间化技术，即使这些技术在源处不可用。
在示例实施例中，音频平台模块可以接收包括声场信息的音频数据。音频平台模块可以接收用于本地可用音频再现设备的配置信息。接下来，音频平台模块可以生成与所选择的和本地可用的空间化技术和扬声器配置兼容的第一音频信号。然后，音频平台模块可以将音频信号传输到设备以进行音频再现。
在示例实施例中，可以将音频数据发送到远程计算设备。使用音频数据中的声场信息，远程计算设备可以标识可用的空间化技术和扬声器配置。远程计算设备可以基于声场信息生成与可用空间化技术和扬声器配置兼容的第二音频信号。
在示例实施例的另一方面，通过转换对应于游戏内对象的单声道源来生成声场信息。声场信息的生成还基于游戏内对象的位置和方向。将一个或多个混响声道加到信号中以提供方向性信息。标识一组系数并将其应用于信号以将单声道信号转换为声场数据。随后可以使用嵌入的方向性信息将声场数据转码为空间化技术，诸如DOLBY ATMOS。
在实施例中，游戏引擎可以处理内容帧。游戏对象可以与内容相关联。游戏对象可以与位置相关联，该位置可以每帧地更新。游戏对象可以与声音相关联。
在该实施例中，生成单声道音频数据以对应于声音。接收针对对象的位置数据。基于单声道数据和对象的位置生成声场数据。在一些实例中，声场数据还部分地基于组合一个或多个反馈声道以提供方向性信息。在该实施例的另一方面，将音频数据发送到远程计算设备并将其转换成与远程计算设备的音频再现能力兼容的空间化格式。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在用以限制所要求保护的主题内容的范围。
附图说明
以下将参考附图更全面地描述本公开的实施例，其中：
图1描绘了音频流式传输系统的示例实施例。
图2描绘了生成声场数据的游戏引擎的示例实施例的各方面。
图3描绘了音频流式传输系统的示例实施例的各方面。
图4描绘了生成包括声场信息的内容的示例过程。
图5描绘了将声场信息转换为所选空间化格式的音频信号的示例过程。
图6描绘了流式传输空间音频的示例过程。
图7描绘了声场表示的示例。
图8描绘了在其中可以体现本文描述的技术的示例通用计算环境。
具体实施方式
在实施例中，生成音频数据以包括与可以用来播放音频的扬声器配置或空间化技术无关的声场信息。声场信息可以在本地被用来使用所选择的且可用的扬声器配置和空间化技术来生成音频。还可以经由网络和/或游戏流式传输平台将声场信息发送到远程计算设备，其中可以为另一个用户播放它(通常与视频内容一起)。声场信息可以被用来生成与远程计算设备可用的扬声器配置和空间化技术兼容的音频。
在实施例中，声场信息还可以被用来支持多个扬声器配置和空间化技术。例如，声场信息可以被用来生成两个音频信号，其中通过应用适合于特定收听者的头部相关传递函数(“HRTF”)来进一步处理每个音频信号。应用HRTF的常规方法可以以防止为多于一个收听者进行定制的方式而这样做。
在实施例中，游戏引擎生成音频数据以包括声场信息。可以每帧生成音频数据，使得声场信息将反映游戏内的发声对象的位置和方向。帧可以是指由游戏引擎所执行的处理循环。每个循环可以包括各种步骤，诸如计算各种游戏内对象的当前位置、确定已更新位置是否引起任何游戏内效果、基于游戏内对象及其相应位置生成视频、以及生成与发声游戏对象或游戏内效果相关联的音频数据。例如，两个游戏对象之间的碰撞可能在碰撞的游戏内方位处产生声音。
游戏引擎可以每秒重复这些循环多次。重新计算帧的频率有时被称为帧速率。游戏引擎的帧速率可以相当大地变化，但是例如可以是每秒15到120帧不等。一般而言，较高的帧速率是优选的。
任何发声对象的方位或游戏内效果可以在每帧中变化。例如，表示汽车的游戏对象可能在游戏内环境中移动。当它如此做时，它产生的声音的位置也如此移动。
在许多实例中，期望在游戏内产生的声音由玩家所感知为相对于玩家的参考点而言是来自与游戏内对象相同的方位。例如，在游戏的虚拟环境中，汽车可能位于表示游戏内玩家的角色的右侧。优选地，车辆发出的声音应该被玩家感知也来自右侧。在流式传输场景中也是如此，其中流的消费者从与原始玩家相同的视角观看内容。
已经采用各种技术来播放音频，使得收听者将感知位置和方向的感觉。在诸如视频游戏之类的生成的内容的情况下，可能希望收听者能够感知各种对象以及游戏内效果的位置和方向。传统的2声道音频通过使用左、右扬声器声道来产生空间化效果。2声道音频的变化可以通过添加附加的声道来改进这种效果，如5.1和7.1扬声器配置和环绕声的情况那样。最近，已经开发出诸如DOLBY ATMOS和DTS：X之类的其他技术。这些技术可以被描述为是基于对象的而不是基于声道的，因为它们使用表示由各种对象产生的声音的格式。虽然基于声道的格式将制作时间混合成各种声道格式之一(例如，立体声、5.1或7.1)，但基于对象的格式将此步骤推迟到再现时间，并且因此能够适应在当时可用的任何扬声器配置。
实施例可以使用声场表示来生成和分发音频数据。声场表示可以表示n维空间内的各个点处的声压级。不旨在是限制性的一个示例是环境立体混合声(ambisonic)，其中声场数据可以以“a-格式”、“b-格式”或各种其他更高阶格式来表示。“a格式”通常对应于由声场麦克风阵列收集的数据。“b格式”可以从“a格式”数据获得，并且可以由信号或声道W、X、Y和Z组成。W信号表示全向麦克风，而X、Y和Z信号表示三维的方向性分量。在一些实施例中，在声场表示中使用球形谐波。
图1描绘了音频流式传输系统的示例实施例。音频流式传输系统100可以包括在其上生成游戏内容的计算设备102。游戏内容可以包括用于在屏幕140上再现的可视分量，以及用于在一个或多个本地音频再现设备134、136上再现而生成并被流式传输到远程计算设备110以用于在一个或多个远程音频再现设备138上再现的音频分量。如所描绘的，本地和远程的每个音频再现设备134-138可以具有备选的扬声器配置和对空间化技术的支持。
游戏引擎模块126可以支持各种空间化技术。在实施例中，这些可以包括经由声道格式模块120支持基于声道的空间化，经由对象格式模块122支持基于对象的空间化，以及经由声场格式模块124支持声场空间化。声道格式模块120、对象格式模块122和声场格式模块124可以是游戏引擎模块126的组件或者被集成到游戏引擎模块126中，并且可以输出与由游戏引擎模块126生成的内容的当前帧相对应的音频数据。
在实施例中，游戏引擎模块126可以生成仅使用声场格式表示的音频数据。换言之，在实施例中，与给定帧相关联的音频数据可以不包括与该帧相关联的声音的任何基于声道或基于对象的表示，并且因此可以排他地包括与该帧相关联的声音的声场表示。例如，可以基于诸如由生成的内容所表示的对象的位置和速度、虚拟麦克风阵列的位置和配置等因素为每个内容帧生成声场数据。
在另一实施例中，游戏引擎模块126可以生成使用声场格式表示的音频数据，并且附加地生成附加格式的音频数据，诸如基于声道的格式或基于对象的格式。因此，每个内容帧可以与对应的声场数据帧和基于声道和/或基于对象的数据的对应帧相关联。
在另一实施例中，游戏引擎模块126可以生成足够的信息以允许音频平台模块106产生声场数据。例如，游戏引擎模块126可以生成对象格式的音频数据，并且然后音频平台模块106可以将对象格式数据转换为声场数据。因此，参考图1，在一些实施例中，声场格式模块124可以是音频平台模块106的组件，并且适于将其他格式的音频数据转换或转码为声场数据128。
在各种实施例中，游戏引擎模块126可以以所选择的格式形成音频数据，以向本地和远程收听者提供优化的空间化。在一些实施例中，这可以包括最初以第一格式形成音频数据，以及在流式传输之前将音频数据转码为声场格式。在一些情况下，诸如当本地可用的音频再现格式具有相对差的空间化支持时，游戏引擎可以生成本地格式和允许将本地格式转换为声场表示的附加数据。
可以将声场数据128提供给音频平台模块106。音频平台模块106可以接收声场数据128并使得数据128由本地音频再现模块130和流式传输模块132处理。
本地音频再现模块130可以与一个或多个音频再现设备134、136接口连接。如图1所描绘的，每个音频再现设备134、136可以使用不同的扬声器配置和空间化技术来再现音频。例如，第一音频再现设备134可以是5.1或7.1环绕声系统，采用基于声道的空间化技术。第二音频再现设备136可以使用HRTF来提供个性化空间音频。其他示例包括电视、虚拟现实设备等。在实施例中，音频平台模块106可以接收针对可用音频再现设备的配置信息，并结合游戏引擎模块126确定由游戏引擎模块126生成的用于音频数据的音频格式。可以选择音频格式以允许在本地音频设备上的最大化空间化，并且通过声场数据的传输，允许在远程音频设备上的最大化空间化。在一些实施例中，声场数据可以由游戏引擎模块126直接生成，而在其他实施例中，声场数据可以从由游戏引擎模块126生成的另一种格式的音频数据进行转码。在后一种情况下，游戏引擎模块126和音频平台模块106可以交换足以将音频数据转码为声场格式的附加信息。
流式传输模块132可以将声场数据128发送到远程计算设备110，用于在与远程计算设备110相关联的一个或多个音频再现设备138上再现音频数据。与(多个)本地音频再现设备134-136一样，(多个)远程音频再现设备138可以采用各种扬声器配置和空间化技术。这些可能与(多个)本地音频再现设备134-136所支持的那些不同。例如，(多个)本地设备134-136可能仅支持基于声道的音频，而(多个)远程音频再现设备138可能支持使用基于对象的音频格式的声音再现，诸如DOLBY ATMOS或DTS：X。在实施例中，计算设备110可以将经流式传输的声场数据128转换为与(多个)音频再现设备138兼容的(多个)格式。
在一些实例中，本地计算设备102和远程计算设备110可以具有不同的处理能力、许可以及仅允许特定音频再现能力的其他因素。例如，本地计算设备102可以是具有DOLBYATMOS软件和许可的定制游戏设备，而远程计算设备110可以是支持2声道音频但不支持DOLBY ATMOS的移动电话。在一些实例中，远程计算设备110可以支持备选的空间化技术，诸如DTS：X或HRTF。
通过在游戏引擎模块126中生成声场数据(和/或由音频平台模块106进行转码)并将声场数据流式传输到计算设备110，计算设备110和(多个)音频再现设备138能够在远程站点处提供优化的收听体验——即使当(多个)本地音频再现设备134-136使用能力较弱的格式时。例如，(多个)本地音频再现设备134-136可以仅使用2声道音频，而(多个)远程音频再现设备可以采用全阵列的DOLBY ATMOS扬声器。声场数据的使用可以允许每个计算设备102、110和音频再现设备134-138使用相异的空间化技术，而不管其他计算设备102、110或音频再现设备134-138正在使用什么。
图2描绘了生成声场数据的游戏引擎的示例实施例的各方面。参考图1，游戏引擎模块126可以包括声场格式模块124。在实施例中，声场格式模块124可以基于输入单声道源202、位置和方向204信息、一个或多个系数组208和一个或多个混响声道206来生成声场数据210。
在实施例中，单声道源202对应于游戏对象。可能存在与游戏对象相关联的位置和方向204。尽管未在图2中明确描绘，但是诸如移动的速度和方向之类的属性也可以与游戏对象相关联，并且类似地用于生成声场数据。因此，单声道源可以表示由游戏对象生成的一个或多个声音，并且还与前述属性相关联。
在实施例中，将一个或多个混响声道206加到流中，以便提供方向性提示。在实施例中，(多个)混响声道206是不相关的。
在实施例中，可以将一个或多个系数组208应用于单声道源信号202以生成声场数据210的声道。在一些实施例中，可以每帧地重新计算或重新估计系数208。声场格式模块124可以通过为指定方向找到适当的系数组并使用所标识的系数对单声道源信号202进行卷积来应用系数208。
在实施例中，声场格式模块124可以将声场数据210输出作为一组声道。声道的数目可以取决于声场数据的程度或顺序。例如，如果使用一阶环绕声，则声道的数目可以包括4个声道(W，X，Y，Z)。注意，虽然这里使用术语“声道”，但是它不同于与基于声道的音频相关联的声道，如本文中使用的术语。例如，在环绕声中，声场数据的声道指的是虚拟麦克风的输出。相比之下，在基于声道的音频中，如本文中使用的术语，声道可以对应于扬声器，诸如5.1扬声器配置中的6个声道。
图3描绘了音频流式传输系统的示例实施例的各方面。声场数据128可以经由网络108而被传输到计算设备110。参考图1，目的地计算设备110可以远离其上生成声场数据128的源计算设备102。
声场数据128可以与内容的帧相关联。例如，在源计算节点102上运行的游戏引擎模块126可以生成视频内容的帧。游戏引擎模块126还可以生成与每个帧相关联的音频数据。在实施例中，声场数据128可以伴随有帧关联数据300。在实施例中，帧关联数据300可以包括可以被用来将声场数据128转换为另一音频格式的数据。在实施例中，帧关联数据可以包括指示虚拟收听者作为特定内容帧的位置、方向和距离的信息。在实施例中，帧关联数据可以包含与声场数据相关的元数据，诸如声场数据是N阶、N+1阶等的指示。在实施例中，帧关联数据可以包括同步信息。
在实施例中，计算设备110可以接收声场数据128并将其提供给本地音频再现模块302。已经接收到声场数据的本地音频再现模块302可以将声场数据转换为与(多个)音频再现设备兼容的音频格式。
本地音频再现模块302可以使得声场数据128由转换器模块304处理。转换器模块304可以将声场数据128转换或转码为另一种音频格式，包括但不限于基于声道的音频或基于对象的音频。
在实施例中，转换器模块可以至少部分地基于帧关联数据来执行转换或转码。例如，可以参考诸如声场内的虚拟收听者的位置、速度和方向之类的属性来执行转换或转码。
图4描绘了生成包括声场信息的内容的示例过程。尽管描绘为一系列框，但所描绘的顺序不应被视为限制本公开的范围。除非明确指出或逻辑上要求，否则所描绘的框表示可以重新布置、并行执行或在一些情况下省略的操作。
在实施例中，图4所描绘的操作可以在游戏内容的生成期间由游戏引擎模块执行。在框400处，游戏引擎模块可以生成新的内容帧。例如，这可以包括计算和更新各种游戏对象的位置。这些对象中的某些可能是发声的，或者使得在游戏的虚拟环境中的各种位置产生声音。框402描绘了为这些发声对象中的每一个生成声场格式数据。在实施例中，针对每个对象的声场数据进一步被组合成单个声场。在实施例中，声场数据由游戏引擎模块生成。
框404描绘了将声场转换为本地支持的音频格式。在实施例中，游戏引擎模块将声场数据提供给音频平台模块，音频平台模块可以接收数据并进而将其提供给本地音频再现模块。然后，本地音频再现模块可以生成用于在音频再现设备上回放的音频信号。在其他实施例中，游戏引擎模块可以形成另一种格式的音频数据，然后将其转码为声场格式。
框406描绘了游戏引擎模块还可以将声场信息提供给远程计算设备。在实施例中，游戏引擎模块可以将信息提供给本地音频平台模块，本地音频平台模块进而将声场信息提供给远程计算设备。
可以经由网络或游戏流式传输平台将声场信息信息提供给远程计算设备。然后，远程计算设备可以使用本地可用的任何扬声器配置和空间化技术来再现音频。
图5描绘了将声场信息转换为所选空间化格式的音频信号的示例过程。尽管描绘为一系列框，但所描绘的顺序不应被视为限制本公开的范围。除非明确指出或逻辑上要求，否则所描绘的框表示可以重新布置、并行执行或在一些情况下省略的操作。
在实施例中，图5描绘的操作可以由计算设备执行，该计算设备经由网络和/或游戏流式传输平台接收所生成的内容。例如，操作可以由本地音频再现模块执行，诸如图3所描绘的本地音频再现模块302。
框500描绘了本地音频再现模块获得与要在其上再现声音的音频设备的配置有关的信息，以及选择或标识合适的空间化格式。例如，如果合适的扬声器配置可用于使用，则可以选择DOLBY ATMOS配置；而如果有合适的可用耳机，则可以选择双声道音频和HRTF。
框502描绘了接收包括声场信息的音频数据。在实施例中，声场信息作为数据流被接收。流的各部分可以与由流的源生成的对应内容帧相关联。
如框504所描绘的，计算设备可以接收与当前帧相对应的位置性和方向性信息。在实施例中，位置性和方向性信息可以标识虚拟收听者的位置，使得解码可以相对于声场内的可变位置。
框506描绘了以所选择的空间化格式生成音频信号。在实施例中，信号的生成可以如关于图3所描述的那样进行。
图6描绘了流式传输空间音频的示例过程。尽管描绘为一系列框，但所描绘的顺序不应被视为限制本公开的范围。除非明确指出或逻辑上要求，否则所描绘的框表示可以重新布置、并行执行或在一些情况下省略的操作。
框600描绘了由游戏引擎模块生成与内容帧相关联的音频数据。在实施例中，基于音频数据的一个或多个单声道信号生成音频数据。单声道信号可以对应于游戏对象或游戏内事件。对象或事件可以与诸如方向、高度和距离之类的属性相关联，这些属性可以随着每个内容帧而变化。
包括声场信息的音频数据可以通过鉴于对象的位置、其移动方向和/或其面对的单声道信号的变换来生成。音频数据还可以包括一个或多个混响声道，其提供在后续转换中可用的方向性提示。
在实施例中，虚拟麦克风的输出从音频数据的声场信息可获得。在一些情况下，虚拟麦克风的位置可以是声场内的任意方位。在实施例中，基于诸如游戏玩家或游戏观众之类的游戏对象的位置来获得虚拟麦克风。
框602描绘了由音频平台模块接收音频数据，其中音频数据包括与音频设备配置无关的声场信息。如此处所指示的，声场信息与扬声器配置无关。在实施例中，声场信息指示n维空间中的点处的声压级，即声场。在实施例中，可以将声场信息表示为环绕声数据。
框604描绘了接收指示本地音频设备的配置的信息，其可以包括指示可用空间化技术和扬声器配置的信息。在一些实例中，收听者可以提供输入以指示对空间化技术的偏好。在其他实例中，可以基于可用的空间化技术和可用的扬声器自动选择优选格式。
框606描绘了生成用于在本地音频设备上回放的音频信号。可以至少部分地基于将声场信息转换为由本地设备支持的空间化格式来生成音频信号。
框608描绘了将包括声场信息的音频数据发送到远程计算设备。发送可以包括通过网络直接或间接地将数据传输到计算设备。例如，可以通过流式传输服务发送数据。
如框610所描绘的，远程计算设备可以获得音频数据并生成音频信号以用于在连接到远程计算设备的音频设备上回放。计算设备上的回放可以使用与生成了内容的计算设备所使用的空间化技术和扬声器配置不同的空间化技术和扬声器配置。例如，内容源可能已经使用基于声道的格式来播放音频，而远程计算设备可能采用基于对象的格式。
图7描绘了声场表示的示例。声场表示700可以包括中心声压梯度702的表示。在实施例中，这可以对应于由真实或虚拟全向麦克风捕获的信号。声场表示还可以包括X、Y和Z方向上的声场梯度704、706、708的表示。换言之，声场表示700可以包括三维的全向分量和附加的方向性分量。在实施例中，声场表示可以包括四声道信号，但是如本文所指出，这种类型的声道与常规的扬声器声道不同。在实施例中，声场表示700可以包括环绕声，诸如环绕声b格式表示。在实施例中，使用更高阶的声场表示，诸如更高阶的环绕声格式。在各实施例中，可以使用球形谐波技术来表示声场数据。
在实施例中，一种计算机实现的方法包括：
生成与游戏对象相关联的单声道音频流数据，游戏对象与内容帧相关联；
生成与内容帧相关联的音频数据，音频数据至少部分地基于单声道音频流和对象在内容帧中的位置被生成以包括声场信息；
基于音频数据，以与第一音频设备兼容的第一空间化格式生成第一音频信号；以及
将音频数据发送到远程计算设备，其中第二音频信号基于声场信息以与第二音频设备兼容的第二空间化格式被生成。
在实施例中，声场信息包括在声场中与对象在内容帧中的位置相对应的方位处的音频。
在实施例中，声场信息是与扬声器无关的。
在实施例中，声场信息包括方向性信息。
在实施例中，第一空间化格式是基于声道的，并且第二空间化格式是基于对象的。
6.在实施例中，计算机实现的方法还包括：
接收指示第一音频设备的扬声器配置的信息；以及
至少部分地基于扬声器配置来选择第一空间化格式。
7.根据权利要求1的计算机实现的方法，其中音频数据与第二音频设备的扬声器配置无关地被生成。
在实施例中，计算机实现的方法还包括：
至少部分地基于与内容帧相关联的游戏对象的方向、高度或距离中的至少一个来生成声场信息。
在实施例中，由第二音频设备进行的音频回放至少部分地基于头部相关传递函数。
在实施例中，一种系统包括：
至少一个处理器；
在其上存储有指令的存储器，指令在由至少一个处理器执行时使得系统：
接收与内容帧相关联的音频数据，音频数据被生成以包括与音频再现配置无关的声场信息；
至少部分地基于声场信息向与第一音频再现配置兼容的第一空间化格式的转换，生成第一音频信号；以及
将声场信息发送到远程计算设备，其中声场信息至少部分地基于第二音频再现配置而被转换为第二空间化格式。
在实施例中，第一空间化格式是基于声道的格式，并且第二空间化格式是基于对象的格式。
在实施例中，存储器在其上存储有进一步的指令，该进一步的指令在由至少一个处理器执行时使得系统：
接收指示第一音频再现配置的信息。
在实施例中，声场信息与扬声器配置无关。
在实施例中，声场信息包括环绕声信息。
在实施例中，声场信息指示n维空间中的点处的声压级。
在实施例中，声场信息至少部分地基于游戏对象的方向、高度或距离中的一个或多个被生成。
在实施例中，非瞬态计算机可读存储介质在其上存储有指令，指令在由计算设备执行时使得计算设备至少：
生成与对象相关联的第一音频数据，对象与内容帧相关联；
至少部分地基于第一音频数据和对象在内容中的位置，生成包括指示对象在声场内的放置的信息的第二音频数据；以及
将第二音频数据发送到远程计算设备，其中远程计算设备播放将第二音频数据转换为与远程计算设备的音频再现能力兼容的空间化格式。
在实施例中，非瞬态计算机可读存储介质在其上存储有进一步的指令，指令在由计算设备执行时使得计算设备至少：
响应于确定内容的回放已前进到第二帧，更新内容中的对象的位置；以及
至少部分地基于更新的位置来生成第二音频数据。
在实施例中，第二音频数据包括环绕声信息。
在实施例中，虚拟麦克风从第二音频数据可获得，虚拟麦克风与声场内的方位相关联。
可以在一个或多个计算设备或环境上实现本公开的各方面。图8描绘了在其中可以体现本文描述的一些技术的示例计算环境。计算设备802仅是合适的计算环境的一个示例，并且不旨在对本公开的主题内容的使用范围或功能性提出任何限制。也不应将计算环境的描绘解释为暗示与示例计算设备802中所图示的任一组件或组件的组合相关的任何依赖性或要求。在一些实施例中，各种所描绘的计算元件可以包括被配置为实例化本公开的特定方面的电路装置。例如，本公开中使用的术语电路装置可以包括被配置为通过固件或开关执行(多个)功能的专用硬件组件。在其他示例实施例中，术语电路装置可以包括通用处理单元、存储器等，其由体现可操作以执行(多个)功能的逻辑的软件指令来配置。在电路装置包括硬件和软件的组合的示例实施例中，实现者可以编写体现逻辑的源代码，并且源代码可以被编译成可以由通用处理单元处理的机器可读代码。由于本领域技术人员可以理解，现有技术已经发展到硬件、软件、或硬件/软件的组合之间几乎没有差异的程度，因此选择硬件与软件来实现特定功能是留给实现者的一种设计选择。更具体地，本领域技术人员可以理解，可以将软件过程转换为等效的硬件结构，并且硬件结构本身可以被转换为等效的软件过程。因此，硬件实现与软件实现的选择是一种设计选择并被留给实现者。
计算设备802可以包括移动设备、智能电话、平板电脑、膝上型电脑、台式计算机等中的任何一种，该计算设备802通常包括各种计算机可读介质。计算机可读介质可以是可以由计算设备802访问的任何可用介质，并且可以包括易失性和非易失性介质、可移除和不可移除介质。介质和计算机可读介质是物理介质，并且因此不包括传播信号本身或瞬态信号本身。
系统存储器822包括存储器形式的计算机可读存储介质，诸如只读存储器(“ROM”)823和随机存取存储器(“RAM”)860。RAM存储器860可以包括易失性存储器模块，诸如双列直插式存储器模块(“DIMM”)。系统存储器822的RAM 860部分有时可以被称为主存储器。RAM860通常包含处理器859立即可访问和/或当前正在操作的数据和/或程序模块。通过示例而非限制，图8图示了操作系统825、应用程序826、其他程序模块827和程序数据828。
处理器859通常包含有时称为核心的至少一个主处理单元和有时称为非核心的至少一个系统代理。处理器859的核心通常执行计算机可执行指令，而非核心执行相关任务，相关任务可以包括监督存储器传递和维持处理器高速缓存。非核心可以包括用于在处理器859的核心和系统存储器822之间进行接口连接的存储器控制器。
包含有助于诸如在启动期间在计算设备802内的元件之间传递信息的基本例程的基本输入/输出系统824(“BIOS”)通常被存储在ROM 823中。在各种实施例中，BIOS 824可以由其他固件替换。
计算设备802还可以包括非易失性存储设备。仅通过示例，图8图示出了从不可移除的非易失性磁介质读取或向其写入的硬盘驱动器838，以及从诸如CD ROM或其他光学介质之类的可移除非易失性光盘853读取或向其写入的光盘驱动器814。可以在示例操作环境中使用的其他非易失性存储设备包括但不限于闪存、数字通用盘、固态盘驱动器等。硬盘驱动器838通常通过诸如接口834的不可移除存储器接口而被连接到系统总线821，并且光盘驱动器804通常通过诸如接口835的可移除存储器接口而被连接到系统总线821。
上面讨论并在图8中被图示的驱动器及其关联的计算机存储介质可以为计算设备802提供计算机可读指令、数据结构、程序模块和其他数据的存储。例如，在图8中，硬盘驱动器838被图示为存储操作系统858、应用程序857、其他程序模块856和程序数据855的指令。注意，这些组件可以与操作系统825、应用程序826、其他程序模块827和程序数据828相同或不同。这里，操作系统858、应用程序857、其他程序模块856和程序数据855被赋予不同的数字，以说明它们至少是不同的副本。用户可以通过用户输入设备852将命令和信息录入到计算设备802中。用户接口设备852可以包括但不限于键盘、触摸板、计算机鼠标、轨迹球等。其他输入设备(也未示出)可以包括麦克风、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备常常通过耦合到系统总线的用户输入接口836而被连接到处理单元859，但是可以通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来进行连接。屏幕842或其他类型的显示设备也经由GPU 829连接，但是在一些实例中，可以通过系统总线821或另一接口来驱动屏幕842。除了监视器之外，计算机还可以包括可以通过输入/输出接口833连接的诸如扬声器、打印机等的其他外围输入/输出设备。
计算设备802可以使用到一个或多个远程计算机(诸如远程计算机846)的逻辑连接在联网环境中操作。远程计算机846可以是个人计算机、服务器、路由器、网络PC、对等设备或其他计算节点，并且通常包括上面相对于计算设备802所描述的许多或所有元件。图8中描绘的连接包括网络845，其可以包括局域网、广域网、蜂窝网络和网状网络、或其他类型的网络。
还应当理解，各种项目被图示为在使用时被存储在存储器中或存储在存储装置中，并且这些项目或其部分可以在存储器和其他存储设备之间传递，以用于存储器管理和数据完整性的目的。备选地，在其他实施例中，一些或所有软件模块和/或系统可以在另一设备上的存储器中执行，并且经由计算机间通信来与所图示的计算系统通信。此外，在一些实施例中，可以以其他方式实现或提供系统和/或模块中的一些或全部，诸如至少部分地以固件和/或硬件实现，包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如通过执行适当的指令并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等。一些或所有模块、系统和数据结构也可以被存储在计算机可读介质上(例如，作为软件指令或结构化数据)，诸如硬盘、存储器、网络或经由适当连接或由适当驱动器读取的便携式介质制品。系统、模块和数据结构还可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的部分)在包括基于无线和基于有线/电缆的介质在内的各种计算机可读传输介质上传输，并且可以采取各种形式(例如，作为单个或多路复用模拟信号的部分，或者作为多个离散数字分组或帧)。在其他实施例中，这种计算机程序产品也可以采取其他形式。相应地，本公开可以用其他计算机系统配置来实践。
本文描述的过程、方法和算法中的每一个可以体现在模块中，并且完全或部分地由模块自动化，模块包括加载到存储器中并由计算设备的一个或多个处理器执行的计算机可执行指令。过程和算法也可以全部或部分地在专用电路装置中被实现。所公开的过程和过程步骤的结果可以持久地或以其他方式被存储在任何类型的计算机存储设备中，诸如例如易失性或非易失性存储装置。如本文所使用的，易失性和非易失性存储装置排除了传播或瞬态信号本身。
本文描述的各种特征和过程可以彼此独立地使用，或者可以以各种方式进行组合。所有可能的组合和子组合都旨在落入本公开的范围内。另外，在一些实现中可以省略过程、方法和算法的某些元素。本文描述的方法和过程也不限于任何特定序列，并且包括与其相关的框或状态的描绘可以以适当的其他序列来执行。例如，所描述的框或状态可以以不同于具体公开的顺序来执行，或者多个框或状态可以在单个框或状态中进行组合。示例框或状态可以串行、并行或以某种其他方式执行。可以向所公开的示例实施例添加框或状态或从其中移除框或状态。本文描述的示例系统和组件可以与所描述的不同地配置。例如，与所公开的示例实施例相比，可以添加、移除或重新布置元素。
本文使用的条件语言，除其他之外诸如“可以(can)”“可能(could)”、“可能(might)”、“可以(may)”、“例如”等，除非另有明确说明，或者在所使用的上下文中以其他方式理解，否则通常旨在传达某些实施例包括、而其他实施例不包括某些特征、元素和/或步骤。因此，这种条件语言通常不旨在暗示一个或多个实施例以任何方式需要特征、元素和/或步骤，或者一个或多个实施例必须包括用于决定在任何特定实施例中是否包括或将要执行这些特征、元素和/或步骤的逻辑，无论是否有作者输入或提示。术语“包括(comprising)”、“包括(including)”、“具有”等是同义的并且以开放的方式包含地使用，并且不排除附加元素、特征、动作、操作等。而且，术语“或”在其包含意义上使用(而不是在其独有意义上)，使得当被使用时，例如，为了连接元素列表，术语“或”表示列表中的一个、一些或所有元素。
本文呈现的实施例是通过示例来呈现的，并且不旨在限制本公开的范围。因此，前面的描述中的任何内容都不旨在暗示任何特定的特征、特性、步骤、模块或框是必需的、必要的或必不可少的。本文描述的方法和系统可以以各种形式来体现。在不脱离本文所公开的精神的情况下，可以对本文描述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同物旨在覆盖落入本文公开的某些实施例的范围和精神内的这些形式或修改。
尽管用结构特征和/或动作专用的语言描述了本主题内容，但应理解，所附权利要求书中限定的主题内容不必限于上述具体特征或动作。相反，上面描述的具体特征和动作是作为实现权利要求的示例而公开的，并且其他等同特征和动作旨在落入权利要求的范围内。

Claims (15)

1.一种计算机实现的方法，包括：
生成与游戏对象相关联的单声道音频流数据，所述游戏对象与内容帧相关联；
生成与所述内容帧相关联的音频数据，所述音频数据至少部分地基于所述单声道音频流和所述对象在所述内容帧中的位置被生成以包括声场信息；
基于所述音频数据，以与第一音频设备兼容的第一空间化格式生成第一音频信号；以及
将所述音频数据发送到远程计算设备，其中第二音频信号基于所述声场信息以与第二音频设备兼容的第二空间化格式被生成。
2.根据权利要求1所述的计算机实现的方法，其中所述声场信息包括在所述声场中与所述对象在所述内容帧中的所述位置相对应的方位处的音频。
3.根据权利要求1所述的计算机实现的方法，其中所述声场信息是与扬声器无关的。
4.根据权利要求1所述的计算机实现的方法，其中所述声场信息包括方向性信息。
5.根据权利要求1所述的计算机实现的方法，其中所述第一空间化格式是基于声道的，并且所述第二空间化格式是基于对象的。
6.根据权利要求1所述的计算机实现的方法，还包括：
接收指示所述第一音频设备的扬声器配置的信息；以及
至少部分地基于所述扬声器配置来选择所述第一空间化格式。
7.根据权利要求1所述的计算机实现的方法，其中所述音频数据与所述第二音频设备的扬声器配置无关地被生成。
8.根据权利要求1所述的计算机实现的方法，还包括：
至少部分地基于与所述内容帧相关联的所述游戏对象的方向、高度或距离中的至少一个来生成所述声场信息。
9.根据权利要求1所述的计算机实现的方法，其中由所述第二音频设备进行的音频回放至少部分地基于头部相关传递函数。
10.一种系统，包括：
至少一个处理器；
在其上存储有指令的存储器，所述指令在由所述至少一个处理器执行时使得所述系统：
接收与内容帧相关联的音频数据，所述音频数据被生成以包括与音频再现配置无关的声场信息；
至少部分地基于所述声场信息向与第一音频再现配置兼容的第一空间化格式的转换，生成第一音频信号；以及
将所述声场信息发送到远程计算设备，其中所述声场信息至少部分地基于第二音频再现配置而被转换为第二空间化格式。
11.根据权利要求10所述的系统，其中所述第一空间化格式是基于声道的格式，并且所述第二空间化格式是基于对象的格式。
12.根据权利要求10所述的系统，其中所述存储器在其上存储有进一步的指令，所述进一步的指令在由所述至少一个处理器执行时使得所述系统：
接收指示所述第一音频再现配置的信息。
13.根据权利要求10所述的系统，其中所述声场信息指示n维空间中的点处的声压级。
14.根据权利要求10所述的系统，其中所述声场信息至少部分地基于游戏对象的方向、高度或距离中的一个或多个被生成。
15.一种计算机可读存储介质，在其上存储有指令，所述指令在由计算设备执行时使得所述计算设备至少：
生成与对象相关联的第一音频数据，所述对象与内容帧相关联；
至少部分地基于所述第一音频数据和所述对象在所述内容中的位置，生成包括指示所述对象在声场内的放置的信息的第二音频数据；以及
将所述第二音频数据发送到远程计算设备，其中所述远程计算设备播放将所述第二音频数据转换为与所述远程计算设备的音频再现能力兼容的空间化格式。
CN201880007562.5A 2017-01-31 2018-01-22 利用空间音频的游戏流式传输 Active CN110191745B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/420,840 2017-01-31
US15/420,840 US10123150B2 (en) 2017-01-31 2017-01-31 Game streaming with spatial audio
PCT/US2018/014608 WO2018144254A1 (en) 2017-01-31 2018-01-22 Game streaming with spatial audio

Publications (2)

Publication Number Publication Date
CN110191745A true CN110191745A (zh) 2019-08-30
CN110191745B CN110191745B (zh) 2022-09-16

Family

ID=61188918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880007562.5A Active CN110191745B (zh) 2017-01-31 2018-01-22 利用空间音频的游戏流式传输

Country Status (4)

Country Link
US (2) US10123150B2 (zh)
EP (1) EP3576857A1 (zh)
CN (1) CN110191745B (zh)
WO (1) WO2018144254A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660063A (zh) * 2021-08-18 2021-11-16 杭州网易智企科技有限公司 空间音频数据处理方法、装置、存储介质及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117546236A (zh) * 2021-06-15 2024-02-09 北京字跳网络技术有限公司 音频渲染系统、方法和电子设备
CN113521722B (zh) * 2021-07-13 2023-09-12 上海艾为电子技术股份有限公司 马达控制方法和电路、控制游戏运行的方法、电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1625302A (zh) * 2003-12-02 2005-06-08 索尼株式会社 声场再现设备和声场空间再现系统
CN101365522A (zh) * 2005-12-27 2009-02-11 巨大股份有限公司 如在视频游戏或移动设备环境中的流媒体投放
CN104054126A (zh) * 2012-01-19 2014-09-17 皇家飞利浦有限公司 空间音频渲染和编码
CN104604257A (zh) * 2012-08-31 2015-05-06 杜比实验室特许公司 用于在各种收听环境中渲染并且回放基于对象的音频的系统
CN105358225A (zh) * 2013-04-30 2016-02-24 Kabam公司 用于游戏回放的增强视频的系统和方法
WO2016123572A1 (en) * 2015-01-30 2016-08-04 Dts, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US9032465B2 (en) 2002-12-10 2015-05-12 Ol2, Inc. Method for multicasting views of real-time streaming interactive video
US7719563B2 (en) 2003-12-11 2010-05-18 Angus Richards VTV system
US9215575B2 (en) 2009-05-20 2015-12-15 Ross George Kouhi Encoding and distribution of game play through compact message encoding and graphical rendering
KR102374897B1 (ko) 2011-03-16 2022-03-17 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
US8903526B2 (en) * 2012-06-06 2014-12-02 Sonos, Inc. Device playback failure recovery and redistribution
WO2014055108A1 (en) 2012-10-03 2014-04-10 Google Inc. Cloud-based gameplay video rendering and encoding
US9452354B2 (en) 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
US9888333B2 (en) 2013-11-11 2018-02-06 Google Technology Holdings LLC Three-dimensional audio rendering techniques
GB2546504B (en) * 2016-01-19 2020-03-25 Facebook Inc Audio system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1625302A (zh) * 2003-12-02 2005-06-08 索尼株式会社 声场再现设备和声场空间再现系统
CN101365522A (zh) * 2005-12-27 2009-02-11 巨大股份有限公司 如在视频游戏或移动设备环境中的流媒体投放
CN104054126A (zh) * 2012-01-19 2014-09-17 皇家飞利浦有限公司 空间音频渲染和编码
CN104604257A (zh) * 2012-08-31 2015-05-06 杜比实验室特许公司 用于在各种收听环境中渲染并且回放基于对象的音频的系统
CN105358225A (zh) * 2013-04-30 2016-02-24 Kabam公司 用于游戏回放的增强视频的系统和方法
WO2016123572A1 (en) * 2015-01-30 2016-08-04 Dts, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660063A (zh) * 2021-08-18 2021-11-16 杭州网易智企科技有限公司 空间音频数据处理方法、装置、存储介质及电子设备
CN113660063B (zh) * 2021-08-18 2023-12-08 杭州网易智企科技有限公司 空间音频数据处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2018144254A1 (en) 2018-08-09
US20180220255A1 (en) 2018-08-02
US10123150B2 (en) 2018-11-06
CN110191745B (zh) 2022-09-16
EP3576857A1 (en) 2019-12-11
US20190069120A1 (en) 2019-02-28
US10667074B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
US11962993B2 (en) Grouping and transport of audio objects
CN101490743B (zh) 对立体声音频信号的动态解码
US10149089B1 (en) Remote personalization of audio
KR20200014428A (ko) 3차원 오디오 사운드트랙의 인코딩 및 재현
CN104981869A (zh) 在位流中用信号表示音频渲染信息
CN104520924A (zh) 指示游戏音频内容的基于对象的音频的编码和呈现
US11429340B2 (en) Audio capture and rendering for extended reality experiences
US10416954B2 (en) Streaming of augmented/virtual reality spatial audio/video
US11930348B2 (en) Computer system for realizing customized being-there in association with audio and method thereof
CN110191745A (zh) 利用空间音频的游戏流式传输
KR20150117797A (ko) 입체음향 제공방법 및 장치
WO2014160717A1 (en) Using single bitstream to produce tailored audio device mixes
US20240129683A1 (en) Associated Spatial Audio Playback
US10469975B2 (en) Personalization of spatial audio for streaming platforms
GB2589603A (en) Audio scene change signaling
CN115794022B (zh) 音频输出方法、装置、设备、存储介质和程序产品
US20220417693A1 (en) Computer system for processing audio content and method thereof
CN113194400B (zh) 音频信号的处理方法、装置、设备及存储介质
US20230123253A1 (en) Method and Apparatus for Low Complexity Low Bitrate 6DOF HOA Rendering
US20240119946A1 (en) Audio rendering system and method and electronic device
US20240119945A1 (en) Audio rendering system and method, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant