CN112673650B - 空间增强 - Google Patents

空间增强 Download PDF

Info

Publication number
CN112673650B
CN112673650B CN201980059028.3A CN201980059028A CN112673650B CN 112673650 B CN112673650 B CN 112673650B CN 201980059028 A CN201980059028 A CN 201980059028A CN 112673650 B CN112673650 B CN 112673650B
Authority
CN
China
Prior art keywords
priority
content information
content
rendering
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980059028.3A
Other languages
English (en)
Other versions
CN112673650A (zh
Inventor
K·J·雅维南
J·莱帕南
T·皮赫拉亚库亚
A·瓦西拉凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Priority to CN202410046209.5A priority Critical patent/CN117877496A/zh
Publication of CN112673650A publication Critical patent/CN112673650A/zh
Application granted granted Critical
Publication of CN112673650B publication Critical patent/CN112673650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)

Abstract

一种装置(131)包括用于执行以下操作的装置：获取媒体内容(122)，其中，该媒体内容(122)包括至少一个对象数据；获取优先级内容信息(126)，该优先级内容信息(126)包括标识和分类该至少一个对象的优先级标识；以及基于该优先级内容信息(126)渲染该至少一个对象。

Description

空间增强
技术领域
本申请涉及用于空间增强而不是排他地用于音频解码器内的空间音频增强的装置和方法。
背景技术
参数空间音频处理是其中使用一组参数描述声音的空间方面的音频信号处理的领域。例如，在从麦克风阵列进行参数化空间音频捕获时，从麦克风阵列信号中估计一组参数(例如，频带中声音的方向以及频带中捕获的声音的方向性与非方向性部分之间的比率)是一种典型且有效的选择。众所周知，这些参数很好地描述了麦克风阵列位置处捕获的声音的感知空间特性。这些参数可以相应地用于空间声音的合成，用于双耳式耳机，用于扬声器或其他格式，例如高保真度立体声响复制(Ambisonics)。
6自由度(6DoF)内容捕获和渲染是已实现的增强现实(AR)/虚拟现实(VR)应用的示例。例如，这可能是允许内容消费用户以旋转方式和平移方式移动以探索其环境的场景。旋转移动足以实现简单的VR体验，其中用户可以转动头部(俯仰、偏航和翻滚)以从静态点或沿自动移动的轨迹来体验空间。平移移动意味着用户还可以改变渲染的位置，即根据其意愿沿x，y和z轴移动。除6自由度系统外，还存在其他自由度系统以及使用术语3自由度(3DoF)的相关经验，3自由度仅涵盖旋转移动，而3DoF+则介于3DoF和6DoF之间并且允许某些有限的用户移动(换句话说，可以考虑实现在其中用户坐下但可以朝各个方向倾斜头部的受限的6DoF)。MPEG指定沉浸式媒体(MPEG-I)，其中阶段1a覆盖3DoF，阶段1b覆盖3DoF+，阶段2覆盖6DoF。
发明内容
根据第一方面，提供一种装置，包括用于执行以下操作的装置：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；基于该优先级内容信息来渲染该至少一个对象。
媒体内容可以包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
该优先级内容信息可包括标识和分类该至少一个音频信号对象的优先级信息。
用于渲染该至少一个对象的装置可进一步用于基于该优先级内容信息来渲染该至少一个音频信号对象。
用于获取至少一个空间音频信号的装置可以是用于从第一比特流中解码包括该至少一个音频信号对象的该至少一个空间音频信号的装置。
用于获取优先级内容信息的装置可进一步用于从第一比特流解码该优先级内容信息。
用于获取优先级内容信息的装置可进一步用于从用户输入获取该优先级内容信息。
优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对该至少一个对象进行分类；优先级区域大小参数，其用于定义与要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时要从该至少一个对象应用于其他对象的渲染效果。
基于该优先级内容信息来渲染该至少一个对象的装置可进一步用于：定义至少两个区域；以及基于该优先级内容信息，在该至少两个区域中的一个内渲染该至少一个对象。
用于基于该优先级内容信息来渲染该至少一个对象的装置可进一步用于：基于该优先级内容信息，将该至少一个对象从该至少两个区域中的一个移动到该至少两个区域中的另一个。
优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。
根据第二方面，提供了一种装置，包括用于执行以下操作的装置：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；以及生成数据流，该数据流包括该媒体内容和该优先级内容信息，其中，该数据流被配置为由渲染器发送和/或取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
该媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
该优先级内容信息可包括标识和分类该至少一个音频信号对象的优先级信息。
该渲染器可被配置为基于该优先级内容信息来渲染该至少一个音频信号对象。
用于获取媒体内容的装置可进一步用于从内容服务器接收该媒体内容。
用于获取优先级内容信息的装置还用于从优先级标识符服务器接收该优先级内容信息。
该优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果被应用于该至少一个对象时要从该至少一个对象应用于其他对象的渲染效果。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。
根据第三方面，提供了一种装置，包括用于执行以下操作的装置：生成媒体内容，其中，该媒体内容包括至少一个对象数据；和/或获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；用信号发送该媒体内容和/或该优先级内容信息，其中，该媒体内容和优先级内容信息被配置为被发送给渲染器和/或由渲染器取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
该媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
用于获取优先级内容信息的装置可进一步用于获取包括标识和分类该至少一个音频信号对象的优先级信息的优先级内容信息，其中，该渲染器可被配置为基于该优先级内容信息来渲染该至少一个音频信号对象。
该优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时要从该至少一个对象应用于其他对象的渲染效果。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。根据第四方面，提供了一种方法，包括：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；基于该优先级内容信息来渲染该至少一个对象。
媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
该优先级内容信息可包括标识和分类该至少一个音频信号对象的优先级信息。
渲染该至少一个对象可进一步包括基于该优先级内容信息来渲染该至少一个音频信号对象。
获取至少一个空间音频信号可进一步包括：从第一比特流中解码包括该至少一个音频信号对象的该至少一个空间音频信号。
获取优先级内容信息还可包括从第一比特流解码该优先级内容信息。
获取优先级内容信息还可包括从用户输入获取该优先级内容信息。
优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时将要从该至少一个对象应用于其他对象的渲染效果。
基于该优先级内容信息来渲染该至少一个对象可进一步包括：定义至少两个区域；以及基于该优先级内容信息，在该至少两个区域中的一个内渲染该至少一个对象。
基于该优先级内容信息来渲染该至少一个对象可进一步包括：基于该优先级内容信息，将该至少一个对象从该至少两个区域中的一个移动到该至少两个区域中的另一个。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。
根据第五方面，提供了一种方法：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；生成数据流，该数据流包括该媒体内容和该优先级内容信息，其中，该数据流被配置为由渲染器发送和/或取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
该媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
该优先级内容信息可包括标识和分类该至少一个音频信号对象的优先级信息。
该渲染器可被配置为基于该优先级内容信息来渲染该至少一个音频信号对象。
获取媒体内容可进一步包括从内容服务器接收该媒体内容。
获取优先级内容信息可进一步包括从优先级标识符服务器接收该优先级内容信息。
该优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时要从该至少一个对象应用于其他对象的渲染效果。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。
根据第六方面，提供了一种方法，包括：生成媒体内容，其中，该媒体内容包括至少一个对象数据；和/或获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；用信号发送该媒体内容和/或该优先级内容信息，其中，该媒体内容和优先级内容信息被配置为被发送给渲染器和/或由渲染器取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
该媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
获取优先级内容信息可进一步包括：获取包括标识和分类该至少一个音频信号对象的优先级信息的优先级内容信息，其中，该渲染器可被配置为基于该优先级内容信息来渲染该至少一个音频信号对象。
该优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时要从该至少一个对象应用于其他对象的渲染效果。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。
根据第七方面，提供了一种装置，该装置包括至少一个处理器和至少一个包括计算机程序代码的存储器，该至少一个存储器和该计算机程序代码被配置为与该至少一个处理器一起使该装置至少执行以下操作：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；基于该优先级内容信息来渲染该至少一个对象。
媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
该优先级内容信息可包括标识和分类该至少一个音频信号对象的优先级信息。
被促使为渲染该至少一个对象的装置可进一步被促使为基于该优先级内容信息来渲染该至少一个音频信号对象。
被促使为获取至少一个空间音频信号的装置可进一步被促使为从第一比特流中解码包括该至少一个音频信号对象的该至少一个空间音频信号。
被促使为获取优先级内容信息的装置可进一步被促使为从第一比特流解码该优先级内容信息。
被促使为获取优先级内容信息的装置可进一步被促使为从用户输入获取该优先级内容信息。
该优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时要从该至少一个对象应用于其他对象的渲染效果。
被促使为基于该优先级内容信息来渲染该至少一个对象的装置可进一步被促使为：定义至少两个区域；以及基于该优先级内容信息，在该至少两个区域中的一个内渲染该至少一个对象。
被促使为基于该优先级内容信息来渲染该至少一个对象的装置可进一步被促使为：基于该优先级内容信息，将该至少一个对象从该至少两个区域中的一个移动到该至少两个区域中的另一个。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。
根据第八方面，提供了一种装置，该装置包括至少一个处理器和至少一个包括计算机程序代码的存储器，该至少一个存储器和该计算机程序代码被配置为与该至少一个处理器一起使该装置至少执行以下操作：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；生成数据流，该数据流包括该媒体内容和该优先级内容信息，其中，该数据流被配置为由渲染器发送和/或取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
该媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。
该至少一个空间音频信号可定义音频场景。
该优先级内容信息可包括标识和分类该至少一个音频信号对象的优先级信息。
该渲染器可被配置为基于该优先级内容信息来渲染该至少一个音频信号对象。
被促使为获取媒体内容的装置可进一步被促使为从内容服务器接收该媒体内容。
被促使为获取优先级内容信息的装置可进一步被促使为从优先级标识符服务器接收该优先级内容信息。
该优先级内容信息可以包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时将要从该至少一个对象应用于其他对象的渲染效果。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。
根据第九方面，提供了一种装置，该装置包括至少一个处理器和至少一个包括计算机程序代码的存储器，该至少一个存储器和该计算机程序代码被配置为与该至少一个处理器一起使该装置至少执行以下操作：生成媒体内容，其中，该媒体内容包括至少一个对象数据；和/或获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；用信号发送该媒体内容和/或该优先级内容信息，其中，该媒体内容和优先级内容信息被配置为被发送给渲染器和/或由渲染器取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
该媒体内容可包括以下中的至少一个：音频内容；视频内容；以及图像内容。
该至少一个对象数据可包括至少一个空间音频信号，该至少一个空间音频信号定义了其中可以是至少一个音频信号对象的音频场景，并且该至少一个空间音频信号可被渲染为与内容消费者用户移动一致。
该至少一个对象数据可包括至少一个音频信号对象。该至少一个空间音频信号可定义音频场景。
被促使为获取优先级内容信息的装置可进一步被促使为：获取包括标识和分类该至少一个音频信号对象的优先级信息的优先级内容信息，其中，该渲染器可被配置为基于该优先级内容信息来渲染该至少一个音频信号对象。
该优先级内容信息可包括以下中的至少一个：对象标识符参数，其用于标识该优先级信息是用于该至少一个对象中的哪个对象；优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对该至少一个对象进行分类；优先级区域大小参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域大小；优先级区域半径参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域半径；优先级区域形状参数，其用于定义与将要应用于该至少一个对象的渲染效果相关联的场景优先级区域形状；触发条件参数，其用于在对该至少一个对象应用渲染效果之前定义至少一个要满足的标准；持续时间参数，其用于定义可以在该至少一个对象上应用渲染效果的持续时间；优先级对象效果参数，其定义将要应用于该至少一个对象的渲染效果；以及其他对象效果参数，其定义当将该渲染效果应用于该至少一个对象时要从该至少一个对象应用于其他对象的渲染效果。
该优先级内容信息可包括以下中的至少一个：第一级别，其中，与该第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；第二级别，其中，与该第二级别相关联的对象被移动到内容消费者用户的视野；第三级别，其中，与该第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及第四默认级别，其中，与该第四级别相关联的对象不基于其优先级级别被修改。根据第十方面，提供了一种包括指令的计算机程序[或包括程序指令的计算机可读介质]，该指令用于促使装置执行至少以下操作：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；基于该优先级内容信息来渲染该至少一个对象。
根据第十一方面，提供了一种包括指令的计算机程序[或包括程序指令的计算机可读介质]，该指令用于促使装置执行至少以下操作：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；生成数据流，该数据流包括该媒体内容和该优先级内容信息，其中，该数据流被配置为由渲染器发送和/或取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
根据第十二方面，提供了一种包括指令的计算机程序[或包括程序指令的计算机可读介质]，该指令用于促使装置执行至少以下操作：生成媒体内容，其中，该媒体内容包括至少一个对象数据；和/或获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；用信号发送该媒体内容和/或该优先级内容信息，其中，该媒体内容和优先级内容信息被配置为被发送给渲染器和/或由渲染器取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
根据第十三方面，提供了一种非暂时性计算机可读介质，其包括用于促使装置至少执行以下操作的程序指令：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；以及基于该优先级内容信息来渲染该至少一个对象。
根据第十四方面，提供了一种非暂时性计算机可读介质，其包括用于促使装置至少执行以下操作的程序指令：获取媒体内容，其中，该媒体内容包括至少一个对象数据；获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；生成数据流，该数据流包括该媒体内容和该优先级内容信息，其中，该数据流被配置为由渲染器发送和/或取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
根据第十五方面，提供了一种非暂时性计算机可读介质，其包括用于促使装置至少执行以下操作的程序指令：生成媒体内容，其中，该媒体内容包括至少一个对象数据；和/或获取优先级内容信息，该优先级内容信息包括标识和分类该至少一个对象的优先级标识；用信号发送该媒体内容和/或该优先级内容信息，其中，该媒体内容和优先级内容信息被配置为被发送给渲染器和/或由渲染器取得，该渲染器被配置为基于该优先级内容信息来渲染该至少一个对象。
根据第十三方面，提供了一种计算机可读介质，其包括用于促使装置执行如上所述的方法的程序指令。
一种装置，其包括用于执行如上所述的方法的动作的装置。
一种装置，其被配置为执行如上所述的方法的动作。
一种计算机程序，包括用于促使计算机执行如上所述的方法的程序指令。
一种存储在介质上的计算机程序产品可促使装置执行本文所述的方法。
一种电子设备可包括如本文所述的装置。
一种芯片组可包括本文所述的装置。
本申请的实施例旨在解决与现有技术相关联的问题。
附图说明
为了更好地理解本申请，现在将通过示例的方式参考附图，其中：
图1示意性地示出了适于实现一些实施例的装置的系统；
图2示出了根据一些实施例的如图1所示的系统的操作的流程图；
图3a、3b、4a、4b、5a、5b、6a和6b示意性地示出了根据一些实施例的示例优先级信令音频源渲染；
图7示出了根据一些实施例的在合成处理器装置内实现优先级区域的操作的流程图；
图8a和8b示意性地示出了根据一些实施例的示例优先级区域形状；
图9a和9b示意性地示出了根据一些实施例的实现优先级区域形状的示例渲染；
图10示出了根据一些实施例的在渲染主导(dominant)优先级内容期间实现对其他内容的修改的图1所示的系统的操作的流程图；
图11示出了根据一些实施例的另一示例系统；以及
图12示意性地示出了适于实现所示装置的示例设备。
具体实施方式
以下进一步详细描述用于提供具有可变优先级的音频对象的有效渲染的合适的装置和可能的机制。
空间音频信号(例如，沉浸式媒体)的渲染受到头部旋转和横向移动的影响，从而使内容消费者用户可以选择他们将听到和看到的内容。但是，在某些情况下，服务提供者(或内容创建者)可能想要限制渲染的移动的自由度，以确保内容消费者用户体验到重要的内容项目，例如详细说明关键安全问题的法律声明或重要指令项目。
蛮力方法(brute force approach)通常是临时限制用户头部旋转和横向移动，以迫使内容消费者用户体验该项目，但是要对沉浸感和用户体验有所妥协。
更好的方法是允许用户继续消费不间断的沉浸式媒体，但会影响重要对象的渲染，从而使用户无法避免消费它们。例如，已经提出了“内容锁定”，其中用户朝向或位置的变化不会影响特定媒体对象(换句话说，“被锁定”的内容)的渲染。
本文所讨论的一些实施例改善了内容锁定并且尤其在与3DoF或3DoF+环境相比更复杂且类似于真实世界的6DoF音频环境中产生了优势。
例如，一些实施例的优点在于它们不锁定所有内容。通过强迫用户听到和/或看到内容消费者用户不感兴趣(并且没有摆脱途径)的被锁定广告，可能会刺激用户到完全停止使用服务/场景的地步，而用户将会对他认为是强制性的法律声明更加耐心。
此外，在一些实施例中，优点在于，被锁定的内容不会被其他(未锁定的)内容隐藏或覆盖。例如，在一些实施例中，系统被配置为使得位于非常靠近用户的大声的未锁定音频对象不阻挡优先级音频对象。这尤其可能发生在6DoF环境中，其中用户能够自由移动，并且因此可能会非常靠近对象以进行详细检查。此外，在6DoF系统中，用户甚至可能故意靠近未锁定的对象(将大声/大号的未锁定对象定位在他们自己与强制性锁定对象之间)以阻挡听到或看到强制性对象。
在一些实施例中，内容的重要性不仅可以取决于特定的音频或视觉对象，而且可以取决于内容的位置和/或方向。例如，在一些实施例中，内容创建者可能想要优先级化(prioritize)渲染位于某个方向或位置的所有对象(例如，以突出显示对多个项目的选择而不是仅单个项目)。
另外，在一些实施例中，系统被配置为使得渲染取决于距离。因此，例如，当渲染远程地受到来自流服务器的影响时，用户动作可能仅对渲染产生有限影响。此外，本文中所描述的实施例可被配置为使得能够进行渲染，以使得不允许任何优先级内容显著地主导感知(例如，被锁定的内容占据视图的重要部分或整个视图)。用户具有的自由度越多(例如6DoF对比3DoF)，则越多烦恼，并且用户越容易失去对完全继续进行该服务的兴趣。例如，实施例可被配置为防止优先级内容在用户充耳不闻并且在他的视野中具有“盲区”时阻止重要的体验并且使在3D空间中的移动变得乏味。
本文进一步详细描述的概念涉及在虚拟现实(VR)、增强现实(AR)或混合现实(MR)上下文中的沉浸式媒体的渲染，其中，本文所述的装置和方法提供了用信号发送优先级信息并描述渲染中的相关联处理信息以使服务提供者(或内容创建者)能够控制任何重要对象(音频和/或视觉，但不限于这些)的渲染的能力。这样的优先级媒体对象可以是例如法律公告、广告、安全性或其他重要信息。
此外，如更详细描述的实施例描述了优先级信息和与媒体内容相关联的参数的信令。媒体内容包括标识内容(例如视频内容、音频内容和图像内容)内的“对象”的至少一个对象数据。
关于图1，示出了用于实现本申请的实施例的示例装置和系统。该系统被示为具有内容提供者服务器101、流服务器103、法律优先级请求器111、进一步优先级请求器114、对象优先级确定器115和内容消费者装置131。
内容(提供者)服务器101可被配置为生成和/或存储合适的内容。内容可包括对象(其可以是视觉的，例如视频或图像、对象和/或音频对象)，并且可以位于6DoF(或者替代地3DoF+或3DoF)环境内。内容服务器101可被配置为将内容102输出给合适的流服务器103。
此外，该系统可包括一个或多个优先级请求器。在图1所示的示例中，示出了法律优先级请求器111，其被配置为生成法律优先级请求并将其分配给一个或多个进一步生成的内容对象。法律优先级请求器111还可被配置为将法律优先级请求与当前生成的内容对象中的一个或多个相关联。该请求112可被传递给对象优先级确定器115。
在图1中还示出了进一步优先级请求器113，其被配置为生成进一步类型优先级请求并将其分配给一个或多个进一步生成的内容对象。进一步优先级请求器113还可被配置为将进一步类型优先级请求与当前生成的内容对象中的一个或多个相关联。该请求114可被传递给对象优先级确定器115。
该系统可包括对象优先级确定器115，其被配置为例如从法律和进一步类型优先级请求器接收优先级请求，并且标识和分类优先级内容(其可以是对象或对象组)。任何优先级对象的标识和分类可被传递给流服务器103。
流服务器103可被配置为从内容服务器101接收生成的内容以及从对象优先级确定器115接收标识和分类的内容，发送媒体122(其可以包括具有相关联的元数据(诸如空间音频参数)的视频和/或音频比特流)，以及此外基于对任何优先级对象的标识和分类，向合适的内容消费装置131用信号发送优先级信息126。
以这种方式，本文描述的实施例能够将音频(或其他)对象设置为优先级对象，该优先级对象具有从流服务器向用户设备用信号发送的优先级。这使得流服务器103能够控制对特定对象的渲染。在一些实施例中，优先级对象的信令不是视听媒体比特流的一部分本身，而是作为可在流服务器103处被插入媒体流中的附加控制信号(或元数据)。
在一些实施例中，流服务器103可被配置为动态地控制渲染。例如，流服务器103控制可基于来自广告商的付款和/或紧急安全信息请求以及与升级或降级的对象相关联的优先级。此外，在一些实施例中，优先级级别可以针对单个对象(或对象组或内容类型)被独立设置。每个优先级级别(其可以是例如强制性的、推荐的、可选的或无优先级)可以与渲染时的特定动作相关联。
该系统可包括内容消费装置131，其可包括如图1所示的用户设备或用于向用户渲染和/或呈现该内容的任何合适的电子设备。
内容消费装置131可被配置为接收媒体122和优先级信息126，并将此传递给合适的媒体渲染器133。媒体渲染器可被配置为基于优先级信息126来处理媒体。例如，在一些实施例中，渲染器133被配置为以以下方式修改内容的渲染：
基于确定的优先级区域和相关联处理来渲染内容；
基于具有参数空间音频的优先级来渲染内容；
在优先级内容的渲染期间修改其他内容。
在一些实施例中，媒体渲染器133被配置为渲染被分配有较低优先级(或不具有优先级设置)的对象，使得它们被“推”离内容消费者用户，从而不干扰对较高优先级内容的体验。在一些实施例中，这可以通过在(可能移动的)内容消费者用户位置周围生成优先级顺序区域来实现。另外，在一些实施例中，媒体渲染器133被配置为当优先级对象位于距用户一定阈值距离之外时，将其相应的优先级区域内的任何更高优先级对象“拉”向内容消费者用户。
在一些实施例中，媒体渲染器133被配置为以这样的方式处理优先级信令，即优先级标识不限于分立的对象，还可以在对象组(并且不限于音频)上被定义。例如，在一些实施例中，基于优先级信息的渲染可以进一步基于对象相对于内容消费者用户的位置和/或方向(或在场景中的绝对位置和/或方向)。因此，在一些实施例中，可以将重要(优先级)方向/位置上的内容保持锁定到内容消费者用户视图或以其他方式被优先级化。在重要位置具有移动对象的一些实施例中，可以基于其内容(例如，通过其频谱图等)对其进行跟踪。
在一些实施例中，媒体渲染器133当被配置为渲染标识的优先级对象时，被配置为使得该对象被渲染，以便其主导用户的感知，并且其他内容还被修改，以便可以在不干扰优先级内容的消费的情况下维持整体氛围。以这种方式，内容消费者用户能够在消费主导优先级内容的同时仍然有沉浸感。
关于图2，示出了详细说明如在图1所示的系统内执行的操作的示例流程图。
在一些实施例中，服务提供者(或内容创建者)被配置为确定和标识在每个场景内是否有任何优先级对象。在一些实施例中，将这些优先级对象分配到优先级类别。优先级类别可基于法律请求(要求)或其他请求(例如，优先级化广告的消费)来实现。确定/标识优先级对象并且然后将它们分配到优先级类别中的这些操作在图2中由步骤201所示。
此外，流服务器被配置为将优先级信息(PI)从流服务器发送给内容消费者装置(用户设备)中的渲染器。在一些实施例中，优先级信息包括：
(1)对象标识符(标识此优先级信息是用于哪个对象)；以及
(2)优先级类别。
此外，在一些实施例中，其他属性可以用信号发送，包括：
(3)优先级区域大小/半径(和形状)；
(4)用于优先级处理的触发条件；
(5)用于优先级处理的持续时间；
(6)被触发时的优先级对象效果；以及
(7)当优先级对象被触发时对其他对象的效果。
用信号发送优先级信息的操作在图2中由步骤203示出。
在一些实施例中，渲染器被配置为获取内容消费者用户朝向(3DoF和6DoF)和位置(6DoF)，并基于接收的优先级信息(确定场景中是否存在至少一个优先级对象)生成合适的渲染。可以基于优先级信息来修改渲染。
在一些实施例中，对基于优先级信息的渲染的修改可包括：
(1)优先级区域和相关联处理；
(2)具有参数空间音频的优先级(基于例如位置和/或方向渲染对象组)；以及
(3)在优先级内容的渲染期间修改其他内容。
可以为每个对象(或对象组)分配优先级状态。通常，优先级状态仅被分配给场景中最重要的对象。其他(未分配的)被视为非优先级化对象。
如上所述，一个或多个对象优先级可以与优先级级别相关联。可能有几个优先级级别。例如，可以有四个定义的优先级的级别或类别：
类别1(“强制性”)：可以渲染具有此优先级的级别的一个或多个对象，以便将与该对象(该多个对象)相关联的内容锁定到用户的视图。在一些实施例中，锁定还可以取决于特定条件被满足。有条件触发锁定的示例可以是以下中的一个：
内容消费者用户进入定义的场景(或场景中的区域)；
内容消费者用户移近对象(在到对象的定义的阈值距离之内)；
内容消费者关注对象(例如，在确定的时间段内将用户定向到该对象)。
渲染器可被配置为通过将对象移近内容消费者(例如如果其距用户的距离超过某个阈值)来修改与内容锁定对象相关联的渲染。在一些实施例中，当满足进一步的条件时，内容可被解锁并移动到其原始位置。例如，一旦内容消费者已经肯定地确认了内容，就可以将内容解锁。
类别2(“推荐的”)：可以渲染具有此优先级级别的对象，以使该对象“捕捉”到内容消费者用户的视图中(这也可能取决于特定条件被满足，这可能是与类别1或其他触发器相同)。
但是，可针对类别2对象解锁渲染。当用户将其头部旋转离开对象或移开对象(表示他们不感兴趣)时，对象将不会在他们的视图中保持冻结，而是会返回其原始位置和朝向。
类别3(“可选的”)：可以渲染具有此优先级级别的对象，以便突出显示该对象。在一些实施例中，突出显示效果是响应于条件被满足而实现的，该条件可以与对于类别1或类别2或某些其他触发条件相同。但是，此类别中的对象可能不被渲染以捕捉到用户的视图中，并且不被内容锁定。突出显示可以通过增加对象的音量和/或通过应用视觉效果或通过其他方式吸引用户的注意力来实现。
类别4(“非优先级化的”)：这是基本优先级状态，或者没有优先级状态设置。
在此示例中，类别1具有最高优先级，类别4具有最低优先级。以上是优先级级别的示例，并且应当理解，可以存在多于四个或少于四个的类别或级别。此外，在一些实施例中，可能存在将级别或类别划分的子级别或子类别。
在一些实施例中，媒体渲染器133被配置为修改渲染，从而考虑对象的相对重要性。例如，在一些实施例中，媒体渲染器133被配置为使得具有较低优先级的对象被“推”离内容消费者用户，以便不干扰较高优先级内容。类似地，在一些实施例中，媒体渲染器133被配置为将任何更高优先级对象“拉”向内容消费者用户。
在一些实施例中，这可以通过针对(可能改变的)用户位置周围的每个优先级级别生成优先级顺序区域来实现。
在这些实施例中，将具有最高优先级的任何对象定位在最高优先级区域中，并且将任何较低优先级对象重新定位在它们相应的优先级区域中，从最高优先级对象到最低优先级对象进行工作。
在一些实施例中，媒体渲染器133定位对象是通过基于对象的优先级增加或减小对象与内容消费者用户之间的距离来实现的，除非针对优先级类别定义了针对定位的特定效果(例如，该对象与将其锁定到用户视图或将其捕捉到用户视图中相关联)。
关于图3a，示出了具有沉浸式环境中的用户301的示例场景，该沉浸式环境包括第一对象、对象1 303和第二对象，对象2 305。在这些示例中，对象1 303被定义为具有较高优先级(如用信号发送给渲染器)，例如类别1对象，而不是是类别4对象的对象2 305。在此示例中可以看到，尽管对象1是类别1对象，但它至少部分地被对象2“阻挡”。
图3b示出了渲染器修改渲染以将对象重新定位到相应优先级区域之后的场景。用户301被定位在或位于包括对象1(类别2)和对象2的沉浸式环境中。此外，渲染器可生成第一优先级区域，优先级区域1 311，和第二优先级区域，优先级区域2 312，其中第二优先级区域形成围绕第一优先级区域的同心区域。
在该示例中，对象1在第一优先级区域内被“拉”或移动310到位置313，并且对象2被“推”或移动316到第二优先级区域位置315。因此，类别1对象不再被阻挡。
图4a示出了在具有用户401的环境内具有类别2对象1 403和类别3对象2 405的另一示例。
图4b示出了渲染器修改渲染以将对象重新定位到相应优先级区域后的场景。渲染器可生成第一优先级区域，优先级区域1 421，和第二优先级区域，优先级区域2 422，其中第二优先级区域形成围绕第一优先级区域的同心区域。在该示例中，对象1被捕捉412到第一优先级区域421内的视图，被捕捉到用户的视图内的位置413，并且对象2被“推”或移动414到第二优先级区域422位置415，并且另外被突出显示416。
图5a示出了在具有用户501的环境中具有类别1对象1 503和类别2对象2 505的另一示例。
图5b示出了渲染器修改渲染以将对象重新定位到相应优先级区域后的场景。渲染器可生成第一优先级区域、优先级区域1 521，和第二优先级区域，优先级区域2 522，其中第二优先级区域形成围绕第一优先级区域的同心区域。在该示例中，位于优先级区域1 521内的对象1未被修改，但是被保持为被锁定504在用户的视图内，并且对象2被“捕捉”或移动516到第二优先级区域522位置515并且在用户的视图内。
图6a和6b示出了包括两个以上优先级区域的另一示例。图6a示出了具有用户601以及类别1对象1 603(其被内容锁定604)、类别4对象2 605(其部分地阻挡对象1)、类别4对象3 607、类别2对象4 609(其初始不在用户的视野内)、类别3对象5 631和类别4对象6 633的示例环境。
图6b示出了渲染器修改渲染以将对象重新定位到相应优先级区域之后的场景。渲染器可生成第一优先级区域，优先级区域1 611，第二优先级区域，优先级区域2 612，第三优先级区域，优先级区域3 613，和第四优先级区域，优先级区域4 614，其中第四优先级区域围绕第三优先级区域，该第三优先级区域进一步围绕第二优先级区域并且围绕第一优先级区域。在该示例中，位于优先级区域1 611之外的对象1被移动到优先级区域1 611内的位置613，并且被锁定604在用户的视图内。对象2被移动616到优先级区域4 614位置615。对象3被移动618到优先级区域4 614位置617。对象4被捕捉到优先级区域2 612位置619内的位置619。以前是在位置641的优先级区域3 613内的对象5被突出显示642，并且对象6被保持在位置643处的优先级区域4 614中。
在图7中总结渲染器的操作。
第一操作是(从信令中)标识场景或环境包括至少一个具有需要处理的优先级设置的对象，如图7通过步骤701所示。
此外，可选地，在一些实施例中，渲染器确定是否已满足优先级处理的触发条件，如图7通过步骤703所示。触发条件的示例可包括接近对象、暂停以观看对象、进入具有对象的区域。
然后，可将渲染器配置为将对象移动到定义的类别区域内，如图7通过步骤705所示。该移动可包括将较低优先级对象推开或拉近较高优先级对象。
此外，在一些实施例中，渲染器可被配置为将较高优先级对象移动到更靠近用户，其中用户与对象之间的距离高于设置的阈值，如图7通过步骤707所示。
然后，渲染器可进一步基于任何与优先级类别相关的行为来修改对象的渲染，如图7通过步骤709所示。例如，在一些实施例中，类别1对象是内容锁定的，类别2对象可被捕捉到视图中，类别3对象可被突出显示。
从流服务器到内容消费者用户用信号发送诸如哪个对象具有哪个优先级类别的优先级信息，以便用户可以正确地执行对象的渲染。在针对每个对象的这种基于类别的信令中，用信号发送对象标识符(该优先级信息是用于哪个对象)和优先级类别(例如1至4)值。在一些实施例中，类别中的一个，例如类别4，可以是默认优先级类别，并且这些类别没有用信号发送。没有相关联的优先级信息的所接收的任何对象都将被视为属于默认(例如最低)优先级类别。
在一些实施例中，除了类别之外，其他属性(或可选的优先级信息)还可以用信号发送，包括：
优先级区域大小/半径(和形状)；
用于优先级处理的触发条件；
优先级处理的持续时间(或有效期)；
被触发时的优先级对象效果；
当优先级对象被触发时对其他对象的效果。
在一些实施例中，这些其他属性中的每一个还具有默认值，并且对于那些未用信号发送的属性，渲染器使用默认值(针对每个优先级类别内置的)。在一些实施例中，还可以从流服务器到渲染器按会话(在会话开始时的会话初始化期间)用信号发送默认值。
尽管图3至图6所示的示例示出了圆形/球形优先级形状，其他形状可以用信号发送。
图8a和8b示出了优先级区域形状的两个示例。图8a示出了圆(或球)803，高优先级对象811被移入其中，而更低优先级对象(诸如对象807)被从其移出。
图8b示出了由内容消费者用户视野定义的弧805的优先级区域，高优先级对象821被移入该区域而更低优先级对象(例如对象825)被移出该区域。在该视野之外，其他对象(例如对象841)未被修改。
触发条件属性可以向渲染器用信号发送何时“激活”优先级对象。示例包括，从用户到优先级对象的距离小于阈值距离，用户朝优先级对象看，并且从内容的开始起始的特定时间已经达到。
持续时间属性可以向渲染器用信号发送优先级处于活动状态多长时间。
对优先级对象的效果可以被指定。示例包括在音频对象情况下使对象更响或混响更少。对于视觉对象，示例包括使对象被更多照射或更大。
对除优先级对象以外的其他对象的效果也可被定义。对整个场景的效果也可被定义。一个示例可以是使整个场景更暗，从而优先级对象被突出显示。
在一些实施例中，渲染器可被配置为除了离散对象之外，将该优先级方法应用于参数空间音频。在这样的实施例中，需要对空间音频内容进行适当的分组以创建临时对象。
在一些实施例中，这可以通过对空间音频信号执行上下文敏感源分离来实现。这意味着分析从空间音频信号获取离散源(即对象)，并根据需要为其分配优先级。除了用于再现系统的优先级之外，还可以通过添加时间和位置提示来用信号发送该优先级，以找到它应该跟踪的信号。
另一种方法可以是：如果已知优先级对象的干信号(dry signal)，则实现基于自动房间冲激响应(RIR)的方法。这使得能够将作为对象的源完全分离并实现简单的优先级分配操作。
在一些实施例中，在空间声音虚拟空间中的方向或位置区域被创建并且被标记为针对特定时间提示的优先级。然后该区域可被视为优先级对象。如果该区域由于优先级对象修改(即，被带到用户的前面)而被移动了，则自动映射功能可被创建以执行从原始区域位置到当前优先级化区域位置的位置变换(transformation)。当任何时频图块(tile)被从原始区域位置再现时，它会被自动移至优先级化区域位置。该实施方式可以进一步通过内容分类来改善。在其中在即时优先级化开始时的内容被分类的一些实施例中，它可被随时间跟随，并且因此仅移动时频图块的一部分而不是全部。
在一些实施例中，渲染器被配置为修改其他内容的渲染，以避免修改的优先级对象被渲染，从而它主导了用户的感知到内容消费者用户错过某些其他内容(或其他内容干扰优先级对象)的程度。
在一些实施例中，渲染器被配置为将其他内容渲染为混响更多/扩散(音频)或稍微失焦(视频)。这可以帮助内容消费者用户将注意力集中在优先级对象上，例如对于音频，优先级对象将是被清晰(干)听到的唯一源，并具有特定的方向。其他声音仍然可以听见，但不那么“聚焦”，即使焦点放在优先级对象上，也帮助用户不失去在内容中的沉浸。
在一些实施例中，渲染器被配置为减小其他内容的频谱范围。例如，可以在播放优先级音频内容时应用低通滤波器(例如，在4kHz的转折(corner)频率处)以减小其他音频内容的“丰富性”。
在一些实施例中，渲染器包括当优先级对象是活动的时应用于其他内容的压缩器。在这样的示例中，当优先级对象存在信号时，来自其他内容的响亮信号会被自动衰减。(这也称为侧链压缩。)
在一些实施例中，渲染器被配置为修改其他内容的位置和/或方向以将其他内容“移开”优先级内容。例如，优先级内容可以在其周围创建一个其他内容所不允许的独特区域，并且它们将被从优先级对象移开以清除该区域。
例如，图9a和9b示出了优先级对象903和围绕优先级对象903的优先级对象优先级区域904。在图9a中，其他非优先级对象905、907和909在优先级对象优先级区域904之外，并且因此没有被修改。在图9b中，内容消费者用户901改变朝向902，从而使优先级对象移动到具有移动的优先级对象优先级区域904'的位置903'。由于非优先级对象907现在位于移动的优先级对象优先级区域904'内，因此它被移到移动的优先级对象优先级区域904'之外的位置917。
在一些实施例中，其他内容可被循环渲染。如果优先级对象需要内容消费者用户更长时间的关注，则该用户可能会错过场景中其他地方发生的一些重要内容。因此，当系统检测到内容消费者用户已将注意力集中在优先级对象上的持续时间长于阈值时间时，其他对象的播放将跳回到用户开始将注意力集中在(例如观看)优先级对象的时间。该循环将一直进行到优先级对象不再处于内容消费者用户的关注重点为止。
关于其他内容的渲染如图10所示。
例如，渲染器被配置为渲染主导优先级对象内容，如图10通过步骤1001所示。
其他对象内容的渲染然后被修改为它们很少干扰主导对象，如图10通过步骤1003所示。
此外，在一些实施例中，当内容消费者用户不如图10通过步骤1005所示那样关注主导优先级对象时，其他对象内容被循环并且针对其他对象内容的播放被跳过。
在一些实施例中，服务器/渲染器可采用优先级级别配额来帮助渲染内容。例如，在场景中同时具有十个类别1优先级对象将不会达到引起注意预期内容的目的。因此，例如在一些实施例中，针对优先级对象的示例配额被设置为一个类别1对象、一个类别2对象，三个类别3对象以及任意数量的类别4对象。
在这样的实施例中，服务器/渲染器被配置为标识用于任何类别的配额何时溢出并且临时地将对象优先级重新分类以适合配额定量(allowance)。配额履行(fulfilment)可以在过程的任何步骤中被自动实现。例如，合适的方案可以是采用“先到先得(first in,first served)”配额履行，其中按对象引入的顺序填充类别配额。如果一个类别的配额分配已满，则对象被临时降级(demote)为更低类别，直到有原始配额时隙(slot)开放。在一些实施例中，这可能导致对象的级联降级。
本文描述的系统的示例可以是：当VR服务(6DoF)的内容消费者用户进入场景并看到锁定在用户面前的法律声明文本时，同时还从该文本的位置向他读出该文本。用户在VR空间中靠近被定位在他和法律声明之间的一个很大声的大对象，以避免看到和听到该声明，但是该大声的大对象将被推开，而用户不得不观看并听到法律声明。这使服务提供者可以满足任何法律义务。
另一个示例是VR服务(3DoF、3DoF+或6DoF)提供者对法律声明和广告使用内容锁定，以确保用户看到/听到它们。被迫体验锁定在他们视图中的广告/法律声明的用户(他们无法通过转身或逃跑而逃脱)可能无法实现预期的效果，并导致用户脱离沉浸式效果。服务提供者实现本文所述的优先级对象信令实施例，从而实现了除内容锁定之外的其他方式来吸引人们注意渲染中的广告。消费者流失或退出率降低，广告收入开始增加。
另一个示例是VR服务(6DoF)提供者签署了新广告商的产品，这些产品出现在他的VR服务“坦佩雷徒步之旅”中。他们更新其产品的优先级，以便在用户走近时将其突出显示或捕捉到用户的视图中。一些广告商还没有按月付款，因此服务提供者从VR服务中的产品中去除了优先级状态。
附加示例可以是在购物中心时，用户看到整个商店，包括在VR或AR服务(6DoF)中突出显示(可使用优先级位置/方向通过优先级对象信令轻松启用的)的商店前面的所有产品。用户开始走向商店。
总之，该概念可以由以下元素/模块体现：
1.元素1：标识优先级内容(媒体对象或对象组)并确定其优先级类别。
2.元素2：使渲染器了解(a)哪些媒体组件是优先级组件，以及(b)每个媒体组件的优先级类别是什么(“强制性优先级信息”)。使渲染器了解可能的其他属性(“可选的优先级信息”)。
3.元素3：基于优先级信息，修改优先级内容或其他内容的渲染。
在典型的实施方式中，标识优先级内容(元素1)是由服务提供者手动或自动实现的，优先级信息被用信号发送给操作适当用户设备的渲染器(元素2)，并且渲染基于优先级信息而被修改(元素3)。
这涉及在两个系统组件(流服务器和用户设备)之间用信号发送优先级信息。信令可被定义/标准化以保证系统组件之间的互操作性。
在一些实施例中，标识优先级对象并确定优先级属性可以在渲染装置处(在用户设备处)被实现。在这些实施例中，用户(而不是服务提供者)(使用用户设备)自由定义什么内容将是优先级内容。用户可以例如将在他们感兴趣的某些产品上的广告定义为具有高优先级。此实施方式如图11所示。
在图11中，示出了在其上生成内容的内容(提供者)服务器1101以及传递给流服务器1103的合适的媒体(具有相关联的元数据的比特流)1102，流服务器1103打包将要由内容消费装置1131接收的媒体1122。
内容消费装置1131可包括媒体渲染器1133和优先级内容标识器1141。优先级内容标识器1141可被配置为以与先前定义的方式相似的方式来向对象分配优先级级别或将对象与优先级级别相关联。该优先级标识信令可被传递给媒体渲染器1133，其中对象被基于来自优先级内容标识器1141的用信号发送的优先级信息以先前描述的方式来渲染。
在一些实施例中，服务提供者可使用户能够设置他们对服务的优先级偏好。例如，当用户登录服务时。
在一些实施例中，实现了允许从服务提供者和用户设置优先级的混合实施方式。换句话说，渲染修改可以基于两组优先级信息：一组是从服务提供者用信号发送的，另一组基于在用户设备处本地设置的用户偏好。
关于图12，示出了可以用作分析或合成设备的示例电子设备。该设备可以是任何合适的电子设备或装置。例如，在一些实施例中，设备1900是移动设备、用户设备、平板计算机、计算机、音频播放装置等。
在一些实施例中，设备1900包括至少一个处理器或中央处理单元1907。处理器1907可被配置为执行各种程序代码，诸如本文所述的方法。
在一些实施例中，设备1900包括存储器1911。在一些实施例中，至少一个处理器1907耦接到存储器1911。存储器1911可以是任何合适的存储装置。在一些实施例中，存储器1911包括用于存储可在处理器1907上实现的程序代码的程序代码部分。此外，在一些实施例中，存储器1911还可包括用于存储数据(例如根据本文所述的实施例已处理或将要处理的数据)的存储数据部分。存储在程序代码部分中的已实现程序代码和存储在存储数据部分中的数据可以在需要时通过存储器-处理器耦接由处理器1907取得。
在一些实施例中，设备1900包括用户接口1905。在一些实施例中，用户接口1905可以耦接至处理器1907。在一些实施例中，处理器1907可以控制用户接口1905的操作并从用户接口1905接收输入。在一些实施例中，用户接口1905可以使用户能够例如经由小键盘向设备1900输入命令。在一些实施例中，用户接口1905可以使用户能够从设备1900获取信息。例如，用户接口1905可包括被配置为从设备1900向用户显示信息的显示器。在一些实施例中，用户接口1905可包括触摸屏或触摸接口，该触摸屏或触摸接口既能够使信息能够被输入到设备1900又能够向设备1900的用户显示信息。
在一些实施例中，设备1900包括输入/输出端口1909。在一些实施例中，输入/输出端口1909包括收发机。在这样的实施例中，收发机可以耦接到处理器1907，并且被配置为使得能够例如经由无线通信网络与其他装置或电子设备进行通信。在一些实施例中，该收发机或任何合适的收发机或发射机和/或接收机装置可被配置为经由导线或有线耦接与其他电子设备或装置通信。
收发机可以通过任何适当的已知通信协议与另外的装置进行通信。例如，在一些实施例中，收发机或收发机装置可以使用合适的通用移动电信系统(UMTS)协议、诸如例如IEEE 802.X的无线局域网(WLAN)协议、例如蓝牙的合适短距离射频通信协议、或红外数据通信路径(IRDA)。
收发机输入/输出端口1909可被配置为接收扬声器信号，并且在一些实施例中，通过使用执行合适代码的处理器1907来确定如本文所述的参数。此外，该设备可生成合适的传输信号和参数输出以传输到合成设备。
在一些实施方案中，设备1900可用作合成设备的至少一部分。这样，输入/输出端口1909可被配置为接收传输信号(并且在一些实施例中，如本文所述在捕获设备或处理设备处确定的参数)，并通过使用执行合适代码的处理器1907来生成合适的音频信号格式输出。输入/输出端口1909可以耦接到任何合适的音频输出，例如到多声道扬声器系统和/或耳机或类似设备。
通常，本发明的各种实施例可以用硬件或专用电路、软件、逻辑或其任何组合来实现。例如，一些方面可以用硬件实现，而其他方面可以用可以由控制器、微处理器或其他计算设备执行的固件或软件实现，但是本发明不限于此。虽然本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应该理解，本文描述的这些框、装置、系统、技术或方法可以作为非限制性示例以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以通过可由移动设备的数据处理器(例如在处理器实体中)执行的计算机软件实现，或通过硬件、或通过软件和硬件的组合实现。此外，在这方面，应当注意，如图中的逻辑流程的任何块可以表示程序步骤、或互连逻辑电路、块和功能、或程序步骤和逻辑电路、块和功能的组合。软件可存储在诸如存储器芯片的物理介质或在处理器内实现的存储器块、诸如硬盘或软盘之类的磁介质、以及诸如DVD及其数据变体CD之类的光学介质上。
存储器可以是适合于本地技术环境的任何类型，并且可以使用任何合适的数据存储技术(例如基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器和可移动存储器)来实现。作为非限制性示例，数据处理器可以是适合于本地技术环境的任何类型，并且可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、门级电路和基于多核处理器架构的处理器中的一个或多个。
可以在诸如集成电路模块的各种组件中实践本发明的实施例。集成电路的设计基本上是高度自动化的过程。复杂且功能强大的软件工具可用于将逻辑级设计转换为准备在半导体衬底上蚀刻和形成的半导体电路设计。
程序，例如加利福尼亚州山景城的新思科技(Synopsys)公司和加利福尼亚州圣何塞的楷登电子(Cadence Design)公司提供的程序，使用完善的设计规则以及预先存储的设计模块库自动路由导体并在半导体芯片上定位元件。一旦完成半导体电路的设计，就可以将标准化电子格式(例如Opus、GDSII等)的所得设计发送到半导体制造设施或“fab”以进行制造。
前面的描述通过示例性和非限制性示例提供了对本发明的示例性实施例的完整且信息丰富的描述。然而，当结合附图和所附权利要求阅读时，鉴于前面的描述，各种修改和调整对于相关领域的技术人员而言将变得显而易见。然而，对本发明的教导的所有这些和类似的修改仍将落入如所附权利要求所定义的本发明的范围内。

Claims (18)

1.一种用于空间增强的装置，包括至少一个处理器和至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少执行以下操作：
获取媒体内容，其中，所述媒体内容包括至少一个对象；
获取优先级内容信息，所述优先级内容信息包括标识和分类所述至少一个对象的优先级标识；以及
基于所述优先级内容信息来渲染所述至少一个对象，
其中，基于所述优先级内容信息来渲染的所述至少一个对象包括：
定义至少两个区域；以及
基于所述优先级内容信息，在所述至少两个区域中的一个内渲染所述至少一个对象，其中所述至少一个对象中具有高优先级的对象基于其优先级标识被移动到所述至少两个区域中更靠近用户的区域中。
2.根据权利要求1所述的装置，其中，所述媒体内容包括以下中的至少一个：
音频内容；
视频内容；以及
图像内容。
3.根据权利要求1所述的装置，其中，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起进一步使所述装置获取至少一个空间音频信号，所述至少一个空间音频信号定义了其中存在至少一个音频信号对象的音频场景，并且所述至少一个空间音频信号被渲染为与内容消费者用户移动一致，其中，所述优先级内容信息包括标识和分类所述至少一个对象的优先级内容信息，并且被渲染的所述至少一个对象进一步用于基于所述优先级内容信息来渲染所述至少一个音频信号对象。
4.根据权利要求3所述的装置，其中，所获取的至少一个空间音频信号用于从第一比特流中解码包括所述至少一个音频信号对象的所述至少一个空间音频信号。
5.根据权利要求4所述的装置，其中，所获取的优先级内容信息进一步用于从所述第一比特流解码所述优先级内容信息。
6.根据权利要求1所述的装置，其中，所获取的优先级内容信息进一步用于从用户输入获取所述优先级内容信息。
7.根据权利要求1所述的装置，其中，所述优先级内容信息包括以下中的至少一个：
对象标识符参数，其用于标识所述优先级内容信息是用于所述至少一个对象中的哪个对象；
优先级类别参数，其用于关于标识将要应用于至少一个对象的渲染效果来对所述至少一个对象进行分类；
优先级区域大小参数，其用于定义与将要应用于所述至少一个对象的渲染效果相关联的场景优先级区域大小；
优先级区域半径参数，其用于定义与将要应用于所述至少一个对象的渲染效果相关联的场景优先级区域半径；
优先级区域形状参数，其用于定义与将要应用于所述至少一个对象的渲染效果相关联的场景优先级区域形状；
触发条件参数，其用于在对所述至少一个对象应用渲染效果之前定义至少一个要满足的标准；
持续时间参数，其用于定义可以在所述至少一个对象上应用渲染效果的持续时间；
优先级对象效果参数，其定义将要应用于所述至少一个对象的渲染效果；以及
其他对象效果参数，其定义当将所述渲染效果应用于所述至少一个对象时将要从所述至少一个对象应用于其他对象的渲染效果。
8.根据权利要求1所述的装置，其中，基于所述优先级内容信息来渲染的所述至少一个对象进一步用于：基于所述优先级内容信息，将所述至少一个对象从所述至少两个区域中的一个移动到所述至少两个区域中的另一个。
9.根据权利要求1所述的装置，其中，所述优先级内容信息包括以下中的至少一个：
第一级别，其中，与所述第一级别相关联的对象是被锁定到内容消费者用户的视野的内容；
第二级别，其中，与所述第二级别相关联的对象被移动到内容消费者用户的视野；
第三级别，其中，与所述第三级别相关联的对象当在内容消费者用户的视野中时被突出显示；以及
第四默认级别，其中，与所述第四默认级别相关联的对象不基于其优先级级别被修改。
10.一种用于空间增强的装置，包括至少一个处理器和至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少执行以下操作：
获取媒体内容，其中，所述媒体内容包括至少一个对象；
获取优先级内容信息，所述优先级内容信息包括标识和分类所述至少一个对象的优先级标识；
生成数据流，所述数据流包括所述媒体内容和所述优先级内容信息，其中，所述数据流被配置为由渲染器发送和/或取得，所述渲染器被配置为基于所述优先级内容信息来渲染所述至少一个对象，
其中，基于所述优先级内容信息来渲染的所述至少一个对象包括：
定义至少两个区域；以及
基于所述优先级内容信息，在所述至少两个区域中的一个内渲染所述至少一个对象，其中所述至少一个对象中具有高优先级的对象被基于其优先级标识被移动到所述至少两个区域中更靠近用户的区域中。
11.根据权利要求10所述的装置，其中，所述媒体内容包括以下中的至少一个：
音频内容；
视频内容；以及
图像内容。
12.根据权利要求10所述的装置，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起进一步使所述装置获取至少一个空间音频信号，所述至少一个空间音频信号被渲染为与内容消费者用户移动一致并且定义了其中存在至少一个音频信号对象的音频场景，其中，所述优先级内容信息包括标识和分类所述至少一个对象的优先级内容信息，其中，所述渲染器被配置为基于所述优先级内容信息来渲染所述至少一个音频信号对象。
13.一种用于空间增强的方法，包括：
获取媒体内容，其中，所述媒体内容包括至少一个对象；
获取优先级内容信息，所述优先级内容信息包括标识和分类所述至少一个对象的优先级标识；
生成数据流，所述数据流包括所述媒体内容和所述优先级内容信息，其中，所述数据流被配置为由渲染器发送和/或取得，所述渲染器被配置为基于所述优先级内容信息来渲染所述至少一个对象，
其中，基于所述优先级内容信息来渲染的所述至少一个对象进一步包括：
定义至少两个区域；以及
基于所述优先级内容信息，在所述至少两个区域中的一个内渲染所述至少一个对象，其中所述至少一个对象中具有高优先级的对象基于其优先级标识被移动到所述至少两个区域中更靠近用户的区域中。
14.根据权利要求13所述的方法，还包括获取至少一个空间音频信号，所述至少一个空间音频信号定义了其中存在至少一个音频信号对象的音频场景，并且所述至少一个空间音频信号被渲染为与内容消费者用户移动一致，其中，所述优先级内容信息包括标识和分类所述至少一个对象的优先级内容信息，并且，渲染器所述至少一个对象进一步用于基于所述优先级内容信息来渲染所述至少一个音频信号对象。
15.根据权利要求13所述的方法，其中，基于所述优先级内容信息来渲染至少一个对象进一步用于：基于所述优先级内容信息，将所述至少一个对象从所述至少两个区域中的一个移动到所述至少两个区域中的另一个。
16.根据权利要求13所述的方法，其中，获取所述优先级内容信息进一步用于从用户输入获取所述优先级内容信息。
17.一种用于空间增强的方法，包括：
生成媒体内容，其中，所述媒体内容包括至少一个对象；
获取优先级内容信息，所述优先级内容信息包括标识和分类所述至少一个对象的优先级标识；
用信号发送所述媒体内容和/或所述优先级内容信息，其中，所述媒体内容和优先级内容信息被配置为被发送给渲染器和/或由渲染器取得，所述渲染器被配置为基于所述优先级内容信息来渲染所述至少一个对象，
其中，基于所述优先级内容信息来渲染的所述至少一个对象包括：
定义至少两个区域；以及
基于所述优先级内容信息，在所述至少两个区域中的一个内渲染所述至少一个对象，其中所述至少一个对象中具有高优先级的对象基于其优先级标识被移动到所述至少两个区域中更靠近用户的区域中。
18.根据权利要求17所述的方法，还包括获取至少一个空间音频信号，所述至少一个空间音频信号被渲染为与内容消费者用户移动一致并且定义了其中存在至少一个音频信号对象的音频场景，其中，所述优先级内容信息包括标识和分类所述至少一个对象的优先级内容信息，其中，所述渲染器基于所述优先级内容信息来渲染所述至少一个音频信号对象。
CN201980059028.3A 2018-07-13 2019-07-05 空间增强 Active CN112673650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410046209.5A CN117877496A (zh) 2018-07-13 2019-07-05 空间增强

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1811542.8 2018-07-13
GB1811542.8A GB2575510A (en) 2018-07-13 2018-07-13 Spatial augmentation
PCT/FI2019/050532 WO2020012066A1 (en) 2018-07-13 2019-07-05 Spatial augmentation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410046209.5A Division CN117877496A (zh) 2018-07-13 2019-07-05 空间增强

Publications (2)

Publication Number Publication Date
CN112673650A CN112673650A (zh) 2021-04-16
CN112673650B true CN112673650B (zh) 2024-01-26

Family

ID=63273073

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410046209.5A Pending CN117877496A (zh) 2018-07-13 2019-07-05 空间增强
CN201980059028.3A Active CN112673650B (zh) 2018-07-13 2019-07-05 空间增强

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410046209.5A Pending CN117877496A (zh) 2018-07-13 2019-07-05 空间增强

Country Status (5)

Country Link
US (2) US11611842B2 (zh)
EP (1) EP3821620A4 (zh)
CN (2) CN117877496A (zh)
GB (1) GB2575510A (zh)
WO (1) WO2020012066A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3703392A1 (en) * 2019-02-27 2020-09-02 Nokia Technologies Oy Rendering of audio data for a virtual space
GB202215318D0 (en) * 2022-10-17 2022-11-30 Nokia Technologies Oy 6dof higher order ambisonc rendering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075295A (zh) * 2013-04-03 2015-11-18 杜比实验室特许公司 用于生成和渲染具有条件渲染元数据的基于对象的音频的方法和系统
EP3174316A1 (en) * 2015-11-27 2017-05-31 Nokia Technologies Oy Intelligent audio rendering
CN107211227A (zh) * 2015-02-06 2017-09-26 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
EP3255905A1 (en) * 2016-06-07 2017-12-13 Nokia Technologies Oy Distributed audio mixing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2374772B (en) 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface
US7079658B2 (en) * 2001-06-14 2006-07-18 Ati Technologies, Inc. System and method for localization of sounds in three-dimensional space
US7386799B1 (en) * 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
JP5340296B2 (ja) * 2009-03-26 2013-11-13 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
JP5036797B2 (ja) * 2009-12-11 2012-09-26 株式会社スクウェア・エニックス 発音処理装置、発音処理方法、及び発音処理プログラム
HUE054452T2 (hu) 2011-07-01 2021-09-28 Dolby Laboratories Licensing Corp Rendszer és eljárás adaptív hangjel elõállítására, kódolására és renderelésére
US10585472B2 (en) * 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
EP2774022B1 (en) 2011-10-31 2018-07-18 Sony Mobile Communications Inc. Amplifying audio-visual data based on user's head orientation
CN111586533B (zh) * 2015-04-08 2023-01-03 杜比实验室特许公司 音频内容的呈现
US10136240B2 (en) * 2015-04-20 2018-11-20 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
EP3174005A1 (en) * 2015-11-30 2017-05-31 Nokia Technologies Oy Apparatus and method for controlling audio mixing in virtual reality environments
WO2017221216A1 (en) * 2016-06-23 2017-12-28 Killham Josh Positional audio assignment system
US11574644B2 (en) * 2017-04-26 2023-02-07 Sony Corporation Signal processing device and method, and program
US10237675B1 (en) 2018-05-22 2019-03-19 Microsoft Technology Licensing, Llc Spatial delivery of multi-source audio content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075295A (zh) * 2013-04-03 2015-11-18 杜比实验室特许公司 用于生成和渲染具有条件渲染元数据的基于对象的音频的方法和系统
CN107211227A (zh) * 2015-02-06 2017-09-26 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
EP3174316A1 (en) * 2015-11-27 2017-05-31 Nokia Technologies Oy Intelligent audio rendering
EP3255905A1 (en) * 2016-06-07 2017-12-13 Nokia Technologies Oy Distributed audio mixing

Also Published As

Publication number Publication date
EP3821620A4 (en) 2022-03-30
CN117877496A (zh) 2024-04-12
US20230209301A1 (en) 2023-06-29
GB2575510A (en) 2020-01-15
WO2020012066A1 (en) 2020-01-16
US11611842B2 (en) 2023-03-21
CN112673650A (zh) 2021-04-16
EP3821620A1 (en) 2021-05-19
GB201811542D0 (en) 2018-08-29
US20210271315A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
CN109068260B (zh) 配置经由家庭音频回放系统的音频的回放的系统和方法
US20200389756A1 (en) Dynamic Positional Audio
US20200126568A1 (en) Methods and systems for interactive rendering of object based audio
JP6186435B2 (ja) ゲームオーディオコンテンツを示すオブジェクトベースオーディオの符号化及びレンダリング
US20230209301A1 (en) Spatial Augmentation
JP2010515290A (ja) ダイアログエンハンスメント技術のコントローラ及びユーザインタフェース
US11570569B2 (en) Associated spatial audio playback
US20160286333A1 (en) Screen-Relative Rendering of Audio and Encoding and Decoding of Audio for Such Rendering
GB2550877A (en) Object-based audio rendering
CN111095191A (zh) 显示装置及其控制方法
JP6809463B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20240129683A1 (en) Associated Spatial Audio Playback
JP7314929B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220345844A1 (en) Electronic apparatus for audio signal processing and operating method thereof
CN114631332A (zh) 比特流中音频效果元数据的信令
WO2024078809A1 (en) Spatial audio rendering
CN115278475A (zh) 音频播放控制方法、音频播放设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant