CN108290289A - 用于使振动运动效果与虚拟现实会话同步的方法和系统 - Google Patents

用于使振动运动效果与虚拟现实会话同步的方法和系统 Download PDF

Info

Publication number
CN108290289A
CN108290289A CN201680066448.0A CN201680066448A CN108290289A CN 108290289 A CN108290289 A CN 108290289A CN 201680066448 A CN201680066448 A CN 201680066448A CN 108290289 A CN108290289 A CN 108290289A
Authority
CN
China
Prior art keywords
virtual reality
audio
mixed
motor message
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680066448.0A
Other languages
English (en)
Other versions
CN108290289B (zh
Inventor
让-弗朗乔斯·梅纳德
弗朗西斯·莫罗
罗伯特·德萨奥特勒斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
D Box Technologies Inc
Original Assignee
D Box Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by D Box Technologies Inc filed Critical D Box Technologies Inc
Publication of CN108290289A publication Critical patent/CN108290289A/zh
Application granted granted Critical
Publication of CN108290289B publication Critical patent/CN108290289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于使运动信号的输出与正在播放的虚拟现实节目同步的方法包括将虚拟现实节目的多声道音频输出混合到至少一个混合音频轨道中。使用至少一个混合音频轨道来获得正在播放的虚拟现实节目的时间位置。获得与正在播放的虚拟现实节目对应并与正在播放的虚拟现实节目的已识别时间位置同步的运动信号，运动信号包括运动平台致动器驱动指令。将运动信号输出到运动平台的致动系统，用于在运动平台中产生与正在播放的虚拟现实节目对应并同步的振动运动效果。还提供了用于使运动信号的输出与正在播放的虚拟现实节目同步的运动控制器。

Description

用于使振动运动效果与虚拟现实会话同步的方法和系统
交叉引用相关申请
本申请要求于2015年11月16日提交的美国临时专利申请No.62/255.687的优先权，其通过引用结合于此。
技术领域
本申请涉及在虚拟现实会话中执行振动运动效果的运动模拟器。
背景技术
执行振动运动效果的运动模拟器通常用于增强视频节目的观看体验。在这种技术中，运动模拟器的特征在于通过致动器以与视听节目或视觉事件同步的振动运动效果移位座椅或平台。在这样的运动模拟器的特定类型中，运动模拟器基于作为运动轨道编码的运动信号移动，与从视听节目的声道提取的振动相比较。
以类似的方式，通过提供观看者沉浸在其中的虚拟环境，虚拟现实也用于增强视听体验。移动虚拟现实可为视听节目添加额外的效果。在移动虚拟现实中，用户佩戴头戴式显示器和耳机。头戴式显示器或耳机的特征在于惯性测量单元(IMU)，以便跟踪用户的运动并因此根据佩戴者在虚拟环境中的方位来调整视觉显示。在移动虚拟现实会话中，音频输出也是沉浸式的，因为音频输出将适于用户在虚拟环境中的方位。例如，音频输出的特征可以在于左声道和右声道，根据佩戴者在虚拟环境中的方位，实时调整左声道和右声道的音频输出。
考虑到运动平台经常使用音频输出来将运动信号与视听节目同步，期望设计一种用于使运动平台的运动与移动虚拟现实会话同步的方法和系统。
发明内容
因此，根据本公开的第一实施例，提供了一种用于使运动信号的输出与正在播放的虚拟现实节目同步的方法，包括：将虚拟现实节目的多声道音频输出混合到至少一个混合音频轨道中；使用至少一个混合音频轨道来获得正在播放的虚拟现实节目的时间位置；获得与正在播放的虚拟现实节目对应并与正在播放的虚拟现实节目的已识别的时间位置同步的运动信号，运动信号包括运动平台致动器驱动指令；并且将运动信号输出到运动平台的致动系统，用于在运动平台中产生与正在播放的虚拟现实节目对应并同步的振动运动效果。
根据第一实施例，将虚拟现实节目的多声道音频输出混合到混合音频轨道中包括，在一个实例中，将多声道音频输出混合到单声道音频信号中。
仍然根据第一实施例，混合虚拟现实节目的多声道音频输出包括，在一个实例中，从移动虚拟现实处理器的耳机插孔接收多声道音频输出。
仍然根据第一实施例，混合虚拟现实节目的多声道音频输出包括，在一个实例中，从由移动虚拟现实处理器进行的传输中无线地接收多声道音频输出。
仍然根据第一实施例，混合虚拟现实节目的多声道音频输出包括，在一个实例中，使用加权和混合，其中，
M＝w1*C1+w2*C2+...+wn*Cn
其中，M是混合音频轨道，Cn是声道而w是权重。
仍然根据第一实施例，混合虚拟现实节目的多声道音频输出包括，在一个实例中，滤除人声。
仍然根据第一实施例，混合虚拟现实节目的多声道音频输出包括，在一个实例中，从混合音频轨道中排除多声道音频输出的至少一些声道。
仍然根据第一实施例，混合虚拟现实节目的多声道音频输出包括，在一个实例中，混合至少两个混合音频轨道使得至少两个混合音频轨道中的每个具有自己的混合变化，其中，使用至少两个混合音频轨道来获得时间位置，获得运动信号并输出运动信号。
仍然根据第一实施例，混合至少两个混合音频轨道使得至少两个混合音频轨道中的每个具有自己的混合变化包括，在一个实例中，根据多声道音频输出的不同声道组合混合至少两个混合音频轨道。
仍然根据第一实施例，获得正在播放的虚拟现实节目的时间位置包括，在一个实例中，获得正在播放的虚拟现实节目的标识，并随后接收虚拟现实节目的时间位置。
仍然根据第一实施例，获得正在播放的虚拟现实节目的时间位置包括，在一个实例中，计算至少一个混合音频轨道的指纹。
仍然根据第一实施例，计算指纹包括，在一个实例中，应用指纹识别技术来在时间位置处生成指纹，作为唯一表示混合音频轨道的编码标识符。
仍然根据第一实施例，获得正在播放的虚拟现实节目的时间位置包括，在一个实例中，查询与时间位置相关联的参考指纹的数据库并且检索与计算的指纹对应的时间位置。
仍然根据第一实施例，查询参考指纹的数据库包括，在一个实例中，查询远程联网服务器上的参考指纹的数据库。
仍然根据第一实施例，获得时间位置包括，在一个实例中，连续获得时间位置，获得运动信号并输出运动信号，从而保证运动信号的连续同步。
仍然根据第一实施例，获得与时间位置相关联的运动信号包括，在一个实例中，从远程联网服务器获得运动信号。
仍然根据第一实施例，利用运动信号驱动运动平台的致动器。
仍然根据第一实施例，在一个实例中提供了一种非暂时性计算机可读存储器，在其上记录有由计算机执行以实施上述方法的语句和指令，用于同步与正在播放的虚拟现实节目对应的运动信号的输出，运动信号用于在运动平台中产生振动运动效果。
根据本公开的第二实施例，提供了一种用于使运动信号的输出与正在播放的虚拟现实节目同步的运动控制器，包括：音频混合模块，用于将虚拟现实节目的多声道音频输出混合到至少一个混合音频轨道中；标识符模块，用于使用至少一个混合音频轨道来获得正在播放的虚拟现实节目的时间位置；以及运动提供模块，用于获得与正在播放的虚拟现实节目对应并与正在播放的虚拟现实节目的已识别时间位置同步的运动信号，运动信号包括运动平台致动器驱动指令，并且用于将运动信号输出到运动平台的致动系统，用于产生与正在播放的虚拟现实节目对应并同步的振动运动移动。
根据第二实施例，音频混合模块在一个实例中将多声道音频输出混合到单声道音频信号中。
依然根据第二实施例，音频混合模块在一个实例中从移动虚拟现实处理器的耳机插孔接收多声道音频输出。
依然根据第二实施例，音频混合模块在一个实例中从由移动虚拟现实处理器进行的传输中无线地接收多声道音频输出。
依然根据第二实施例，音频混合模块在一个实例中使用加权和混合，其中，
M＝w1*C1+w2*C2+...+wn*Cn
其中，M是混合音频轨道，Cn是声道而w是权重。
依然根据第二实施例，音频混合模块在一个实例中从混合音频输出中滤除人声。
依然根据第二实施例，音频混合模块在一个实例中从至少一个混合音频轨道中排除多声道音频输出的至少一些声道。
依然根据第二实施例，音频混合模块在一个实例中混合至少两个混合音频轨道使得至少两个混合音频轨道中的每个具有自己的混合变化，其中，标识符模块和运动提供模块使用至少两个混合音频轨道。
依然根据第二实施例，所述音频混合模块在一个实例中混合来自多声道音频输出的不同声道组合的所述至少两个混合音频轨道。
依然根据第二实施例，标识符模块在一个实例中获得正在播放的虚拟现实节目的标识，并随后接收虚拟现实节目的时间位置。
依然根据第二实施例，标识符模块在一个实例中计算至少一个混合音频轨道的指纹。
依然根据第二实施例，标识符模块在一个实例中应用指纹识别技术来在时间位置处生成指纹，作为唯一表示混合音频轨道的编码标识符。
依然根据第二实施例，标识符模块在一个实例中查询与时间位置相关联的参考指纹的数据库并且检索与计算的指纹对应的时间位置。
依然根据第二实施例，查询参考指纹的数据库包括在一个实例中本地查询参考指纹的数据库。
依然根据第二实施例，运动控制器在一个实例中连续获得时间位置，获得运动信号并输出运动信号，从而保证运动信号的连续同步。
依然根据第二实施例，运动提供模块在一个实例中从远程联网服务器获得与时间位置相关联的运动信号。
依然根据第二实施例，在一个实例中，提供用于利用运动信号驱动运动平台的致动器的驱动模块。
附图说明
图1是根据本公开的用于使振动运动效果与虚拟现实会话同步的系统的示意图；
图2是用于使振动运动效果与虚拟现实会话同步的方法的流程图；以及
图3是可以结合图1的系统使用的运动平台的实施例的透视图。
具体实施方式
参考附图，并且更具体地，参考图1和图3，以10示出了用于使运动平台的振动运动效果与虚拟现实会话同步的系统。通过示例，接收来自系统10的信号的运动平台可以包括运动模拟器，如图3所示。运动模拟器是接收致动信号以便根据一组运动移动其输出的类型。例如，运动模拟器可以是与视频或音频输出同步移动的类型，其中，运动信号表示从控制器接收的要执行的运动。在所示实施例中，运动模拟器具有座位，座位具有用户可坐在其中的座椅部11。可以包括其他乘客支持结构，例如，平台，但是为了简单起见，在本申请中使用表述座椅部11。
座椅部11示出为具有扶手、座位和靠背，并且这是考虑到的众多配置中的一种，因为座椅部11可以用于单个用户、多个用户，可以是长凳等。运动模拟器还具有致动系统12，输出(即，座椅部11)通过该致动系统支持到地面。虽然线性致动器13部分可见，但致动系统12被示出为具有隐藏其各种部件的外壳。致动系统可以具有从地面支持输出(即，座椅部11)的这些线性致动器13中的一个或多个。在一个实施例中，虽然也可以使用其他类型的线性致动器，但是线性致动器13是具有滚珠丝杠系统的类型的机电致动器。或者，对于图3的运动模拟器，可以使用液压或气压缸，代替机电线性致动器13。图3的运动模拟器是用于运动模拟器的多种可能配置中的一种。例如，运动模拟器在飞行模拟器实施例中可以支持平台或结构，而不是座椅部，或者在并行操纵器或类似机器人应用的情况下支持末端执行器。如下文所述，运动模拟器可以包括必要的电子器件，以接收具有运动内容的数字信号，以在与音频或视频输出或虚拟现实会话同步执行运动时，驱动致动系统12。
对于上下文，振动运动效果是指由运动平台执行的并作为感官反馈呈现给用户的振动和/或位移。通过非限制性示例，振动运动效果可以是从1微米到200mm的低振幅往复运动或振动，其可以具有低频谱内容，例如，0-5Hz、20-100Hz或0-200Hz，并可包含一个或多个维度或声道。根据一个实施例，振动运动效果是编码效果。
系统10的特征在于，运动控制器20向运动平台30(例如，图3的运动模拟器)供给表示要由运动平台30执行的振动运动效果的运动信号。运动平台30是指包括用于向用户呈现振动运动效果的一个或多个致动器的系统。除了图3的示例，运动平台还可以采取各种形式，例如，用于相对于结构提升人的振动运动平台、支持座位的运动平台、具有惯性振动器的椅子、用于提供触觉反馈的便携式触觉显示器、嵌入背心中的穿戴式致动器等。致动器可以是各种类型的，例如，线性、旋转、音圈、谐振、惯性等，并且可以从各种源供电，例如，电动的(包括机电的)，气动的、液压的等。运动信号从基于观看视听输出而编程的运动节目或运动轨迹中输出，并且包括致动器驱动指令，以驱动运动平台30的致动器在视听输出中执行编程的振动运动效果。运动信号的其他名称可以包括振动运动信号、运动代码、运动样本、运动数据包等。运动平台30因此可以具有数字信号处理器和/或驱动器，以便将从运动控制器20接收的运动信号转换为控制由致动器执行的运动以偏移运动平台30的座位或平台的信号。
由移动虚拟现实处理器A产生虚拟现实(VR)会话。移动VR处理器A通过耳机B(也称为耳机B)和头戴式显示器C产生沉浸式虚拟环境。虚拟环境具有环绕视频节目或电影以及音频节目或轨道。移动VR处理器A或头戴式显示器可以是以惯性测量单元(IMU)为特征的类型，以便跟踪佩戴者在虚拟环境中的方位。在一个实施例中，VR处理器A是头戴式显示器C的组成部分。还可以通过光学跟踪系统来执行穿戴者的方位的跟踪，该光学跟踪系统包括跟踪穿戴者的运动的相机或类似传感器。例如，佩戴者和/或头戴式显示器C可以配备有由摄像机跟踪的可跟踪参考，以计算佩戴者的方位。这可以例如是IMU的替代方案。使用IMU的输出或来自跟踪系统的跟踪，基于佩戴者在虚拟环境中的视角(POV)来调整视频输出。类似地，由于IMU的输出，佩戴者在耳机B中接收调整为佩戴者在虚拟环境中的POV的音频输出。因此，移动VR处理器A为耳机B产生多声道音频输出。根据一个实施例，多声道音频输出的特征在于用于立体声音频输出的左声道和右声道。耳机B可以具有听筒、头戴式耳机、扬声器电话等的形式。根据一个实施例，耳机B与头戴式显示器C成为一体，作为单件VR设备。
移动VR处理器A和头戴式显示器C可以具有任何适当的配置。例如，头戴式显示器C的特征可以在于带镜头的头部支架，该支架支持移动装置，例如，智能手机、平板电脑、便携式媒体播放器。移动装置因此可以是提供处理能力的移动VR处理器A、跟踪方位的IMU以及操作虚拟现实会话的屏幕。在这种实施例中，耳机B可以通过标准立体声连接器(例如，TRS连接器)或任何其他类型的多声道连接器连接到移动VR处理器A。或者，耳机B可使用无线技术(例如，BluetoothTM或WiFi)接收音频输出。无论是移动装置、笔记本电脑、台式机等形式的移动VR处理器A都可以向具有其自己的屏幕的独立头戴式显示器C提供视频输出。
运动控制器20执行识别VR视听节目(为了简化，称为VR节目)并且与VR会话同步地输出用于媒体的运动信号或者用运动信号驱动致动系统12的功能。因此，运动控制器20是具有合适的处理能力以执行这些功能的处理器，并且还可以具有数据库、电信容量和硬件，以便获得VR节目标识和相关的运动信号，以将运动信号输出到运动平台30。
运动控制器20包括音频混合模块21，其接收来自VR节目的多声道音频输出。根据一个实施例，运动控制器20直接接入耳机线，以获得立体声音频输出。根据另一实施例，运动控制器20可以无线地接收音频输出。音频混合模块21执行混合功能，以产生可识别的音频轨道。根据一个实施例，音频混合模块21将音频轨道的各种声道的序列部分(即，序列部分)连续组合到单声道中。音频混合模块21可以是移动VR处理器A的一部分，使得运动控制器A接收混合音频轨道。
可以使用简单的混合技术，例如，通过可选地使用电阻器将声道线连接在一起的模拟添加。可以使用更复杂的声道混合技术，例如，数字信号处理(DSP)、加权和以及加权平均。下面的数学表达式可以表示从声道Cn和相应的权重wn产生混合信号M的加权和的一种形式：
M＝w1*C1+w2*C2+w3*C3+w4*C4+w5*C5+w6*C6
上面的数学表达式可以根据需要调整为适合更多或更少的声道。在一个实施例中，权重wn是包含在-1和+1之间的十进制值，负值实际上减去声道内容。权重wn可以是静态的(在整个过程中是恒定的)或动态的(在每个音频样本之间更新或不经常更新)。权重的动态更新可以基于各种DSP技术，例如，声道滤波、包络分析和频谱分析。此外，各种处理(例如，数字或模拟滤波)可以在混合之前或混合之后应用于单独的声道。在一个实施例中，使用模拟滤波来从输入声道中去除DC偏压。在另一实施例中，数字滤波用于减少混合输出中人声的存在。根据另一实施例，混合模块21产生多个混合音频轨道，每个混合变化具有一个混合音频轨道。作为非限制性示例，输出可以包含一个加法混合、一个减法混合以及一个滤除人声的加法混合。
在另一实施例中，混合单元21接收6个输入音频声道(在5.1声道配置中)，以产生仅对左前声道和右前声道进行平均的第一混合输出、对左前声道、右前声道和前中声道进行平均的第二混合输出、以及滤除人声的左前声道和右前声道的第三混合输出。
标识符模块22使用混合音频轨道来获得或识别VR节目时间位置。例如，使用混合音频轨道，标识符模块22能够识别或获得VR节目的标识和VR节目的时间位置(例如，在00:02:37.12)。根据一个实施例，标识符模块22通过创建混合音频轨道的序列部分的指纹并将混合音频轨道的该指纹(即，混合音频轨道的序列部分的签名)和具有相应或兼容的格式的VR节目音频轨道的指纹的数据库进行比较，来识别VR节目及其时间位置。这是标识符模块22用来识别VR节目时间位置的不同方法中的一种。例如，本申请人的并因此通过引用结合于此的美国专利No.8,773,238提出了识别媒体时间位置的不同方法。识别可以包括识别第一VR节目，然后识别时间位置。在这种设置中，标识符模块22可以在第一粗糙数据库中执行比较搜索，以识别VR节目，并且在第二精细数据库中进行比较搜索，以精确地找到所识别的VR节目的进行中的时间位置。为了简单起见，虽然可以是不同的数据库，但是VR节目标识数据库40示出为单个数据库。标识符模块22因此可以产生不同的指纹，例如，粗糙指纹和精细指纹。在一些情况下，VR节目标识数据库40具有可管理的大小，使得作为第一步骤标识符模块22不需要识别VR节目，而是可以识别在可用VR节目的时间位置指纹的数据库中的指纹对应性，同时不影响运动信号输出与正在进行的VR会话的实时同步。
根据一个实施例，标识符模块22通过计算混合音频轨道的接收部分的指纹，创建混合音频轨道的序列部分的指纹，来识别VR节目及其时间位置。在计算指纹时，可以生成混合音频轨迹的指纹，作为唯一对应于混合音频轨迹的波形的代码。换言之，标识符模块22可以应用指纹识别技术在该时间位置处生成指纹，作为唯一表示混合音频轨迹的编码标识符。在生成这种唯一代码(即，编码标识符)时，通过与VR节目识别数据库40中的参考指纹进行比较，可识别从其中生成指纹的混合音频信号的对应波形。或者，获得指纹可以包括在参考时间位置处直接从运动信号中检索混合音频轨道的部分的指纹的编码标识符。根据另一实施例，标识符模块22将混合音频轨道的片段发送到VR节目标识数据库40，其中，进行识别(例如，创建指纹，比较等)，标识符模块22获得VR节目的标识和时间位置。
对于极大的数据库，系统10可以使用不同的方法来加速识别步骤。根据另一实施例，可以在数据库的精简部分中执行VR节目标识搜索，以缩小搜索并潜在地加速识别过程。例如，振动运动效果的用户有从一开始就观看视听节目的倾向。因此，节目标识搜索可以通过在视听节目的前几秒或几分钟内过滤来缩小。在以这种粗糙方式识别视听节目时，系统10然后可以继续精确识别所识别的节目中的时间部分。
类似地，在另一实施例中，VR节目标识数据库包括第一数据库和第二数据库，第一数据库涉及用户可用的每个视听节目的前几秒或几分钟，第二数据库涉及用户可用的每个视听节目的整个内容，其中，查找这两个数据库，试图识别正在播放的视听节目。第一数据库较小，其查找可能会更快成功，但只能在节目的前几秒钟或几分钟内完成。如果第一数据库找不到匹配，则在另外计算给定其额外尺寸的时间之后，第二数据库中的查找可能最终会成功。
作为另一示例，系统10搜索的缩小可以将时间用作过滤参数。事实上，由于电视网络(与按需服务相反)倾向于在整点或半点钟开始节目，所以搜索可以考虑缩小标识搜索的时钟时间，以当在下午7点15分或下午7点45分开始搜索时，搜索例如节目15分钟(例如，加或减5分钟)。
根据另一实施例，标识符模块22使用来自混合模块21的多个混合输出来进行多个识别。多个识别可以依次地(一个接一个地)或同时地(同时)进行。然后，使用返回单个时间位置的算法，将来自多个识别中的每一个的结果组合。这种算法的非限制性示例包括基于过去的统计数据保持最多播放的媒体的时间位置。在一个实施例中，标识符模块22同时查找与左前声道和右前声道的混合相关的第一数据库、与左前声道、右前声道和前中声道的混合相关的第二数据库、以及与滤除人声的左前声道和右前声道的混合相关的第三数据库。
系统10的上述搜索缩小策略不限于在VR节目中的应用，而是还可以适用于家庭、剧场和/或商业环境中的电影、电视节目等。类似地，本文描述的音频混合不限于VR节目中的应用。
数据库40可以是运动控制器20的一部分，或者可以是图1所示的方式的单独的云数据库。因此，运动控制器20可以使用其电信容量，以便访问VR节目标识数据库40。填充数据库40的指纹是在使用VR节目的混合音频轨道或其等价物的预编程中创建的，以确保标识符模块22的指纹与填充VR节目识别数据库40的指纹之间的对应性。此外，如上所述，数据库40可以包括指纹比较搜索能力，使得标识符模块22的任务是从混合音频轨道创建指纹，与比较搜索服务进行通信，并且获得与指纹对应的时间位置。
一旦从混合音频轨道中识别出VR节目时间位置，运动提供模块23将提供与唯一时间位置对应并因此与虚拟现实节目同步的运动信号。运动提供模块23可以访问运动信号数据库50，运动信号数据库50可以是运动控制器20的一部分或者可以是独立的数据库，例如，作为云的一部分。例如，VR节目标识数据库40和运动信号数据库50可以组合或不组合成单个数据库。运动控制器20还可以包括驱动运动平台的致动器的驱动模块。
已经获得与VR编程时间位置对应的运动信号的运动提供模块23将运动信号输出到运动平台30的致动系统。以使得运动平台30的致动与VR会话同步的方式进行运动控制器20的操作，由此运动渲染是实时的或准实时的。此外，可以以比实时更高的速度进行运动渲染，以便填充朝着运动平台30以规则的步法填充未填充的运动缓冲器。该缓冲可以用于补偿运动处理中的时间不规则性，例如，CPU中断或云通信延迟。这种缓冲器的非限制性示例可以是抖动缓冲器或重新采样缓冲器。
通过示例，运动控制器20可以是独立单元(专用硬件、PC、平板电脑等)的一部分，可以集成到运动模拟器(图3)，或者可以是作为移动装置A的一部分的模块。
参考图2，在60处示出了用于使振动运动效果与虚拟现实会话同步的方法。可以利用计算机系统的一个或多个处理器使用具有上述VR设置的图1的系统10来实现方法60，尽管也可以使用其他系统和配置。方法60的至少一些步骤可以是其上记录有由计算机执行以进行用于使运动信号的输出与正在播放的虚拟现实节目同步的方法的语句和指令的非临时性计算机可读存储器(未示出)的一部分。
根据61，获得VR音频输出。在一个实施例中，这包括多声道音频输出的所有声道。
在62中，混合多声道VR音频输出。根据一个实施例，将多声道组合成单个单声道声道。在一个实施例中，如在62中那样混合多声道VR音频输出可以在获得VR音频输出之前发生(作为混合音频轨道)。可以使用简单的混合技术，例如，通过可选地使用电阻器将声道线连接在一起的模拟添加。可以使用其他声道混合技术，例如，数字信号处理(DSP)、加权和以及加权平均。下面的数学表达式可以表示从声道Cn和相应的权重wn产生混合信号M的加权和的一种形式：
M＝w1*C1+w2*C2+w3*C3+w4*C4+w5*C5+w6*C6
上面的数学表达式可以根据需要调整为适合更多或更少的声道。在一个实施例中，权重wn是包含在-1和+1之间的十进制值，负值实际上减去声道内容。权重wn可以是静态的(在整个过程中是恒定的)或动态的(在每个音频样本之间更新或不经常更新)。权重的动态更新可以基于各种DSP技术，例如，声道滤波、包络分析和频谱分析。此外，各种处理(例如，数字或模拟滤波)可以在混合之前或混合之后应用于单独的声道。在一个实施例中，使用模拟滤波来从输入声道中去除DC偏压。在另一实施例中，数字滤波用于减少混合输出中人声的存在。
根据63，从混合音频轨道获得或识别VR节目时间位置。这可以在一个步骤或多个子步骤中完成。获得和/或识别VR节目时间位置可以包括为混合音频轨道的序列部分创建指纹，将混合音频轨道的指纹或序列部分传送到远程数据库的搜索引擎，和/或远程或者在本地将混合音频轨道的指纹或序列部分与VR节目的数据库进行比较，以识别VR节目及其时间位置。其中一些操作可以在一个步骤或多个子步骤中完成，例如，根据VR节目标识数据库的大小和处理能力。
根据64，在识别VR节目时间位置时，针对播放的VR节目的正在进行的时间位置，获得与VR节目时间位置相对应的运动信号。步骤63和64可以以这样的方式组合，即，使得作为单独的步骤获得中间时间位置是可选的。在这种组合中，可以使用单个数据库来查找指纹(指纹固有地表示时间位置)并获得运动信号。
根据65，运动信号然后输出到运动平台的致动系统。如果驱动器集成到运动控制器20中，则这可以包括驱动运动平台的致动器。当实时执行这些步骤时，运动信号的输出与正在进行的虚拟现实会话同步。当使用一个或多个运动缓冲器时，来自运动平台输出的时间位置信息可以与来自VR节目的时间位置信息进行比较，以便使运动信号与VR节目同步。这种同步可能需要调整缓冲器未填充步法或重新采样运动信号，以调整运动输出速度。然后，运动信号将用于通过VR会话致动运动平台的振动运动效果。
尽管已经参考以特定顺序执行的特定步骤描述和示出了本文描述的方法和系统，但将理解的是，在不背离本发明的教导的情况下，可以将这些步骤组合、细分或重新排序，以形成等同方法。因此，这些步骤的顺序和分组不是对本公开的限制。
对本领域技术人员而言，对本发明的上述实施例的修改和改进可能变得显而易见。例如，本公开涉及通用术语的音频输出，但是该表述可以覆盖音频轨道的连续序列部分。前面的描述旨在是示例性的，而不是限制性的。因此，本发明的范围旨在仅由所附权利要求的范围限制。

Claims (35)

1.一种用于使运动信号的输出与正在播放的虚拟现实节目同步的方法，包括：
将虚拟现实节目的多声道音频输出混合到至少一个混合音频轨道中；
使用至少一个所述混合音频轨道来获得正在播放的所述虚拟现实节目的时间位置；
获得与正在播放的所述虚拟现实节目对应并与正在播放的所述虚拟现实节目的已识别时间位置同步的运动信号，所述运动信号包括运动平台致动器驱动指令；并且
将所述运动信号输出到运动平台的致动系统，用于在所述运动平台中产生与正在播放的所述虚拟现实节目对应并同步的振动运动效果。
2.根据权利要求1所述的方法，其中，将所述虚拟现实节目的多声道音频输出混合到混合音频轨道中包括将所述多声道音频输出混合到单声道音频信号中。
3.根据权利要求1和2中任一项所述的方法，其中，混合所述虚拟现实节目的多声道音频输出包括从移动虚拟现实处理器的耳机插孔接收所述多声道音频输出。
4.根据权利要求1和2中任一项所述的方法，其中，混合所述虚拟现实节目的多声道音频输出包括从移动虚拟现实处理器进行的传输中无线地接收所述多声道音频输出。
5.根据权利要求1所述的方法，其中，混合所述虚拟现实节目的多声道音频输出包括使用加权和混合，其中，
M＝w1*C1+w2*C2+...+wn*Cn
其中，M是混合音频轨道，Cn是声道而w是权重。
6.根据权利要求1至5中任一项所述的方法，其中，混合所述虚拟现实节目的多声道音频输出包括滤除人声。
7.根据权利要求1所述的方法，其中，混合所述虚拟现实节目的多声道音频输出包括从所述混合音频轨道中排除所述多声道音频输出的至少一些声道。
8.根据权利要求1至7中任一项所述的方法，其中，混合所述虚拟现实节目的多声道音频输出包括混合至少两个混合音频轨道使得至少两个所述混合音频轨道中的每个具有自己的混合变化，其中，使用至少两个所述混合音频轨道来获得所述时间位置，获得所述运动信号并输出所述运动信号。
9.根据权利要求8所述的方法，其中，混合至少两个混合音频轨道使得至少两个所述混合音频轨道中的每个具有自己的混合变化包括根据所述多声道音频输出的不同声道组合混合至少两个所述混合音频轨道。
10.根据权利要求1至9中任一项所述的方法，其中，获得正在播放的所述虚拟现实节目的所述时间位置包括获得正在播放的所述虚拟现实节目的标识，并随后接收所述虚拟现实节目的所述时间位置。
11.根据权利要求1至10中任一项所述的方法，其中，获得正在播放的所述虚拟现实节目的所述时间位置包括计算至少一个所述混合音频轨道的指纹。
12.根据权利要求11所述的方法，其中，计算所述指纹包括应用指纹识别技术来在所述时间位置处生成所述指纹，作为唯一表示所述混合音频轨道的编码标识符。
13.根据权利要求11至12中任一项所述的方法，其中，获得正在播放的所述虚拟现实节目的所述时间位置包括查询与时间位置相关联的参考指纹的数据库并且检索与计算的指纹对应的所述时间位置。
14.根据权利要求13所述的方法，其中，查询参考指纹的数据库包括查询远程联网服务器上的参考指纹的数据库。
15.根据权利要求1-14中任一项所述的方法，其中，获得所述时间位置包括连续获得所述时间位置，获得所述运动信号并输出所述运动信号，从而保证所述运动信号的连续同步。
16.根据权利要求1-15中任一项所述的方法，其中，获得与所述时间位置相关联的所述运动信号包括从远程联网服务器获得所述运动信号。
17.根据权利要求1至16中任一项所述的方法，还包括利用所述运动信号驱动所述运动平台的致动器。
18.一种非暂时性计算机可读存储器，在其上记录有由计算机执行的实施根据权利要求1-17中任一项所述的方法的语句和指令，用于同步与正在播放的虚拟现实节目对应的运动信号的输出，所述运动信号用于在运动平台中产生振动运动效果。
19.一种用于使运动信号的输出与正在播放的虚拟现实节目同步的运动控制器，包括：
音频混合模块，用于将所述虚拟现实节目的多声道音频输出混合到至少一个混合音频轨道中；
标识符模块，用于使用至少一个所述混合音频轨道来获得正在播放的所述虚拟现实节目的时间位置；以及
运动提供模块，用于获得与正在播放的所述虚拟现实节目对应并与正在播放的所述虚拟现实节目的已识别时间位置同步的运动信号，所述运动信号包括运动平台致动器驱动指令，并且所述运动提供模块用于将所述运动信号输出到运动平台的致动系统，用于产生与正在播放的所述虚拟现实节目对应并同步的振动运动移动。
20.根据权利要求19所述的运动控制器，其中，所述音频混合模块将所述多声道音频输出混合到单声道音频信号中。
21.根据权利要求19和20中任一项所述的运动控制器，其中，所述音频混合模块从移动虚拟现实处理器的耳机插孔接收所述多声道音频输出。
22.根据权利要求19和20中任一项所述的运动控制器，其中，所述音频混合模块从移动虚拟现实处理器执行的传输中无线地接收所述多声道音频输出。
23.根据权利要求19所述的运动控制器，其中，所述音频混合模块使用加权和混合，其中，
M＝w1*C1+w2*C2+...+wn*Cn
其中，M是混合音频轨道，Cn是声道而w是权重。
24.根据权利要求19至23中任一项所述的运动控制器，其中，所述音频混合模块从所述混合音频输出中滤除人声。
25.根据权利要求19所述的运动控制器，其中，所述音频混合模块从至少一个所述混合音频轨道中排除所述多声道音频输出的至少一些声道。
26.根据权利要求19至25中任一项所述的运动控制器，其中，所述音频混合模块混合至少两个混合音频轨道使得至少两个所述混合音频轨道中的每个具有自己的混合变化，其中，所述标识符模块和所述运动提供模块使用至少两个所述混合音频轨道。
27.根据权利要求26所述的运动控制器，其中，所述音频混合模块根据所述多声道音频输出的不同声道组合来混合至少两个所述混合音频轨道。
28.根据权利要求19至27中任一项所述的运动控制器，其中，所述标识符模块获得正在播放的所述虚拟现实节目的标识，并随后接收所述虚拟现实节目的时间位置。
29.根据权利要求19至28中任一项所述的运动控制器，其中，所述标识符模块计算至少一个所述混合音频轨道的指纹。
30.根据权利要求29所述的运动控制器，其中，所述标识符模块应用指纹识别技术来在所述时间位置处生成所述指纹，作为唯一表示所述混合音频轨道的编码标识符。
31.根据权利要求29至30中任一项所述的运动控制器，其中，所述标识符模块查询与时间位置相关联的参考指纹的数据库并且检索与计算的指纹对应的所述时间位置。
32.根据权利要求31所述的运动控制器，其中，查询参考指纹的数据库包括本地查询参考指纹的数据库。
33.根据权利要求19-32中任一项所述的运动控制器，其中，所述运动控制器连续获得所述时间位置，获得所述运动信号并输出所述运动信号，从而保证所述运动信号的连续同步。
34.根据权利要求19-33中任一项所述的运动控制器，其中，所述运动提供模块从远程联网服务器获得与所述时间位置相关联的所述运动信号。
35.根据权利要求19-34中任一项所述的运动控制器，还包括驱动模块，用于利用所述运动信号驱动所述运动平台的致动器。
CN201680066448.0A 2015-11-16 2016-11-16 用于使振动运动效果与虚拟现实会话同步的方法和系统 Active CN108290289B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562255687P 2015-11-16 2015-11-16
US62/255,687 2015-11-16
PCT/US2016/062182 WO2017087460A1 (en) 2015-11-16 2016-11-16 Method and system for synchronizing vibro-kinetic effects to a virtual reality session

Publications (2)

Publication Number Publication Date
CN108290289A true CN108290289A (zh) 2018-07-17
CN108290289B CN108290289B (zh) 2022-02-25

Family

ID=58717813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066448.0A Active CN108290289B (zh) 2015-11-16 2016-11-16 用于使振动运动效果与虚拟现实会话同步的方法和系统

Country Status (6)

Country Link
US (2) US10212533B2 (zh)
EP (1) EP3377279A4 (zh)
JP (1) JP2018535627A (zh)
CN (1) CN108290289B (zh)
CA (1) CA3039336C (zh)
WO (1) WO2017087460A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114830675A (zh) * 2019-10-17 2022-07-29 迪宝克技术公司 用于使媒体内容的观看者效果信号与媒体内容的媒体信号同步的方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2765926C2 (ru) 2017-12-18 2022-02-04 Долби Интернешнл Аб Способ и система для обработки глобальных переходов между положениями прослушивания в среде виртуальной реальности
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030235317A1 (en) * 2002-06-24 2003-12-25 Frank Baumgarte Equalization for audio mixing
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN101427580A (zh) * 2005-12-23 2009-05-06 安布克斯英国有限公司 使用从内容流确定的指纹进行脚本同步
CN101971613A (zh) * 2008-02-20 2011-02-09 迪宝克技术公司 在数字影院环境中振动性运动信号的传输
US20120019352A1 (en) * 2010-07-21 2012-01-26 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
CN102395097A (zh) * 2011-09-29 2012-03-28 深圳市万兴软件有限公司 一种多声道音频信号缩混方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659773B2 (en) * 1998-03-04 2003-12-09 D-Box Technology Inc. Motion transducer system
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
WO2014031756A2 (en) 2012-08-21 2014-02-27 Immerz, Inc. Systems and methods for a vibrating input device
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
CN105094310B (zh) * 2014-05-09 2019-08-16 梦工厂动画公司 虚拟现实驾乘系统中减少晕车的方法和系统
EP3349917A4 (en) * 2015-09-16 2019-08-21 Taction Technology, Inc. APPARATUS AND METHODS FOR AUDIO-TOUCH SOUND SPATIALIZATION AND PERCEPTION OF LOW

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030235317A1 (en) * 2002-06-24 2003-12-25 Frank Baumgarte Equalization for audio mixing
CN101427580A (zh) * 2005-12-23 2009-05-06 安布克斯英国有限公司 使用从内容流确定的指纹进行脚本同步
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN101971613A (zh) * 2008-02-20 2011-02-09 迪宝克技术公司 在数字影院环境中振动性运动信号的传输
US20120019352A1 (en) * 2010-07-21 2012-01-26 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
CN102395097A (zh) * 2011-09-29 2012-03-28 深圳市万兴软件有限公司 一种多声道音频信号缩混方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114830675A (zh) * 2019-10-17 2022-07-29 迪宝克技术公司 用于使媒体内容的观看者效果信号与媒体内容的媒体信号同步的方法和系统

Also Published As

Publication number Publication date
CA3039336C (en) 2023-05-23
CA3039336A1 (en) 2017-05-26
US20190149938A1 (en) 2019-05-16
WO2017087460A1 (en) 2017-05-26
EP3377279A1 (en) 2018-09-26
JP2018535627A (ja) 2018-11-29
EP3377279A4 (en) 2018-09-26
US20180332425A1 (en) 2018-11-15
CN108290289B (zh) 2022-02-25
US10469977B2 (en) 2019-11-05
US10212533B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
JP6874184B2 (ja) 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
CN107835971B (zh) 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置
US10089785B2 (en) Real-time immersive mediated reality experiences
EP3104258A1 (en) Broadcast haptics architectures
CN107197385A (zh) 一种实时虚拟偶像直播方法及系统
CN106095069A (zh) 触觉回放调节系统
CN105163191A (zh) 一种将虚拟现实设备运用在ktv卡拉ok的系统和方法
US20210044644A1 (en) Systems, devices, and methods for streaming haptic effects
CN108290289A (zh) 用于使振动运动效果与虚拟现实会话同步的方法和系统
CN106302471A (zh) 一种推荐虚拟礼物的方法和装置
CN107547702A (zh) 一种信息处理方法、装置、电子设备及存储介质
CN110248219A (zh) 视频播放方法、装置及设备
CN116324681A (zh) 触觉场景表示格式
CN107925838A (zh) 信息处理装置、信息处理方法和程序
CN118202320A (zh) 基于位置的触觉信号压缩
CN108960130A (zh) 视频文件智能处理方法和装置
Zhang et al. Automatic generation of spatial tactile effects by analyzing cross-modality features of a video
CN107016949A (zh) 信息展示方法、装置及其设备
EP4310635A1 (en) Information processing device, information processing method, and program
GB2610591A (en) Apparatus, systems and methods for haptics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant