CN107210054A - 用于同步视听内容与惯性测量的方法、装置和系统 - Google Patents

用于同步视听内容与惯性测量的方法、装置和系统 Download PDF

Info

Publication number
CN107210054A
CN107210054A CN201680008502.6A CN201680008502A CN107210054A CN 107210054 A CN107210054 A CN 107210054A CN 201680008502 A CN201680008502 A CN 201680008502A CN 107210054 A CN107210054 A CN 107210054A
Authority
CN
China
Prior art keywords
signal
record
inertial
timestamp
mobile content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680008502.6A
Other languages
English (en)
Inventor
朱利安·弗勒里奥
法比恩·丹尼奥
庆-迪伊·黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107210054A publication Critical patent/CN107210054A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

用于同步视听内容与针对在移动内容设备上再现的内容的惯性输出的方法、装置和系统可以包括：响应于移动内容设备的振动，接收由振动产生的记录的音频信号和相应的记录的惯性信号。记录的信号被分别处理以确定记录的信号中的相应峰值的时间戳。记录的音频信号的时间戳与记录的惯性信号的时间戳之间的时间距离被确定，并且针对在移动内容设备上再现的内容的惯性信号移位被下述时间量：该时间量等于记录的音频信号的时间戳与记录的惯性信号的时间戳之间的确定的时间距离。

Description

用于同步视听内容与惯性测量的方法、装置和系统
技术领域
本原理涉及媒体消费和交互。更具体地，本原理涉及用于同步视听内容与惯性测量的方法、装置和系统。
背景技术
近年来，移动设备技术在市场上爆发。由于用户每天的需求热切地并且呈指数增长，研究人员和制造商都致力于增强用户与其移动设备之间的交互。已经进行了许多研究，以通过成像技术和3D技术来改善用户的视觉感知。研究人员还将听觉开发整合到移动应用中，以向用户提供更好的体验。然而，这些改进仍然限于视觉和听觉的两种感觉，而虚拟现实中的研究表明，触觉感知似乎会致使在设备与用户沉浸感之间产生强烈联系。不幸的是，在移动设备上产生触觉数据的过程还不太清楚。因为在移动设备上，试听媒体和感觉媒体是同时创建的，但是在单独的处理中，需要解决出现的同步问题。
更具体地说，出现的问题涉及在移动设备上记录媒体的开始延迟。具体来说，每个记录组件不在启动时立即开始工作，而是在一随机延迟之后开始。通常也不可能访问当前所记录的帧的绝对时间戳(两个记录过程共有)，并且启动点与开始记录触觉和视听内容的时间之间的实际延迟通常在100至600毫秒之间变化(这取决于设备)。由于这种不可预测的表现，对传感器和媒体记录设备的启动进行安排当前是不可行的，因此所记录的数据具有相同的起始点。这样的随机延迟变得足够大，足以在同时使用两个流的情况下针对最终呈现造成不真实和不舒服的用户体验。
发明内容
本原理提出了用于同步试听内容与惯性测量的方法、装置和系统。
在本原理的一个实施例中，一种方法包括响应于移动内容设备的振动，接收由所述振动产生的记录的音频信号和相应的记录的惯性信号；处理记录的音频信号以确定该信号中的相应峰值的时间戳；处理记录的惯性信号以确定该信号中的相应峰值的时间戳；确定记录的音频信号的时间戳与记录的惯性信号的时间戳之间的时间距离；以及将针对在移动内容设备上再现的内容的惯性信号移位下述时间量：该时间量等于记录的音频信号的时间戳与记录的惯性信号的时间戳之间的确定的时间距离。
在本原理的替代实施例中，用于与移动内容设备上同步视听内容与惯性测量的装置包括用于存储程序例程、音频信号数据和惯性信号数据中的至少一者的存储器和用于执行所述程序例程的处理器。在这样的实施例中，处理器被配置为响应于移动内容设备的振动，接收由所述振动产生的记录的音频信号和相应的记录的惯性信号；处理记录的音频信号以确定该信号中的相应峰值的时间戳；处理记录的惯性信号以确定该信号中的相应峰值的时间戳；确定记录的音频信号的时间戳与记录的惯性信号的时间戳之间的时间距离；以及将针对在移动内容设备上再现的内容的惯性信号移位下述时间量：该时间量等于记录的音频信号的时间戳与记录的惯性信号的时间戳之间的确定的时间距离。
在本原理的替代实施例中，用于在移动内容设备上同步视听内容与惯性测量的系统包括振动器，被配置为振动移动内容设备；音频记录器，被配置为响应于移动内容设备的振动而记录音频信号；惯性信号记录器，被配置为响应于移动内容设备的振动而记录相应的惯性信号；以及包括用于存储程序例程、音频信号数据和惯性信号数据中的至少一者的存储器和用于执行所述程序例程的处理器的装置。在这样的实施例中，该装置被配置为：响应于移动内容设备的振动，接收来自音频记录器的记录的音频信号和来自惯性信号记录器的相应的记录的惯性信号；处理记录的音频信号以确定音频信号中的相应峰值的时间戳；处理记录的惯性信号以确定惯性信号中的相应峰值的时间戳；确定记录的音频信号的时间戳与记录的惯性信号的时间戳之间的时间距离；以及将针对在移动内容设备上再现的内容的惯性信号移位下述时间量：所述时间量等于记录的音频信号的时间戳与记录的惯性信号的时间戳之间的确定的时间距离。
附图说明
通过结合附图考虑以下详细描述，可以容易地理解本原理的教导，其中：
图1描绘了根据本原理的实施例的用于同步视听内容与惯性测量的系统的高级框图；
图2描绘了根据本原理的实施例的能够在图1的用于同步视听内容和惯性测量的系统中实现的触觉视听内容同步器的高级框图；
图3描绘了根据本原理的实施例的用于同步视听内容与惯性测量(使用音频信号和加速度信号)的标记用户与移动内容设备交互的顺序的图示工作流程和结果信号；
图4描绘根据本原理的替代实施例的的用于同步视听内容与惯性测量(使用音频信号和加速度信号)的标记用户与移动内容设备交互的替换顺序的图示工作流程和结果信号；以及
图5描绘了根据本原理的实施例的用于同步视听内容与惯性测量的方法500的流程图。
应当理解，(一个或多个)附图的目的是用于说明各种描述的原理的概念，而不一定是用于说明原理的唯一可能的配置。
为了便于理解，在可能的情况下，在附图中使用相同的附图标记来表示相同元件。
具体实施方式
本原理的实施例有利地提供了用于同步视听内容与惯性测量的方法、装置和系统。尽管本原理将主要在特定移动设备(例如，移动电话)的上下文中描述，但本原理的具体实施例不应被视为限制本发明的范围。本领域技术人员将会理解并且通过本原理的教导被告知本原理的概念可以有利地被应用于针对许多其他内容消费设备(例如，移动电话、平板电脑、计算机、显示器等)的视听内容与惯性测量的同步。
在本发明的权利要求中，被表示为用于执行指定功能的装置的任何元素旨在涵盖执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合或b)与用于执行软件以执行功能的适当电路组合的任何形式的软件(因此包括固件、微代码等)。由这样的权利要求限定的本原理在于如下事实：由各种所述装置提供的功能是以权利要求所要求的方式被组合并汇集在一起的。因此认为可以提供这些功能的任何装置等同于本文所示的那些装置。
此外，本文中详述本原理的原则、方面和实施例的所有陈述及其具体示例都旨在涵盖其结构和功能等同物。此外，这样的等同物旨在包括当前已知的等同物以及将来开发的等同物(即，执行相同功能的任何开发的元件，不论结构如何)。
附图中所示的各种元件的功能可以通过使用专用硬件以及能够与合适的软件一起执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为专门指代能够执行软件的硬件，还可以隐含地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。此外，本文中详述本原理的原则、方面和实施例的所有陈述及其具体示例都旨在涵盖其结构和功能等同物。此外，这样的等同物旨在包括当前已知的等同物以及将来开发的等同物(即，执行相同功能的任何开发的元件，不论结构如何)。
因此，例如，本领域技术人员将理解，本文中呈现的框图表示体现本发明原理的说明性系统组件和/或电路的概念视图。类似地，应当理解，任何流程表、流程图、状态转换图、伪代码等代表在计算机可读介质中可以大体表示并且由计算机或处理器(无论这样的计算机或处理器是否被明确示出)执行的各种处理。
此外，由于附图中所描绘的组成系统组件和方法中的一些可以用软件实现，因此系统组件或处理功能块之间的实际连接可以根据本原理被编程的方式而不同。鉴于本文的教导，相关领域的普通技术人员将能够考虑本原理的这些实现方式和配置以及类似的实现方式或配置。
本发明的实施例提供了一种用于同步视听内容与惯性测量的方法、装置和系统。根据本原理，提供了的视听内容和从不同传感器(在一个实施例中，该不同的传感器被嵌入在相同移动设备中)获得的惯性数据的自动(或半自动)同步。
图1描绘了根据本原理的实施例的用于同步视听内容与惯性测量的系统的高级框图。图1的系统示意性地包括根据本原理的实施例的移动内容设备100(示例性地为平板电脑)。移动内容设备100包括加速度计111、陀螺仪112和磁强计113，统称为惯性传感器110。移动内容设备100还包括拍照手机120、记录器130和触觉视听内容同步器150。图1的移动内容设备100的记录器130示例性地包括感官记录器142和媒体记录器144。尽管在图1的本原理的实施例中，如图1所示，移动内容设备100包括加速度计111、陀螺仪112和磁强计113，但在本原理的替代实施例中，移动内容设备100可以包括用于检测运动的其他传感器。
图2描绘了根据本原理的实施例的触觉视听内容同步器150的高级框图。在图2的实施例中，触觉视听内容同步器150示意性地包括处理器210以及用于存储控制程序/软件例程、触觉信息等的存储器220。处理器210与诸如电源、时钟电路、高速缓冲存储器等的常规支持电路230以及有助于执行存储在存储器220中的软件程序的电路协同工作。由此可以理解，本文作为软件处理讨论的一些处理步骤可以在硬件内实现，例如作为与处理器210协作以执行各种步骤的电路。触觉视听内容同步器150还包含输入-输出电路240，其形成与处理装置通信的各种功能元件之间的接口
尽管图2的触觉视听内容同步器150被描绘为被编程为执行根据本原理的各种控制功能的通用计算机，但本发明可以在硬件中实现，例如作为专用集成电路(ASIC)。因此，本文描述的处理步骤旨在被广泛地解释为与由处理器、硬件或其组合执行的软件等同地执行。另外，尽管图2的触觉视听内容同步器150被描绘为移动内容设备100的集成组件，但根据本文所述的本原理的概念和实施例的触觉视听内容同步器150的功能可以采取外部组件的形式。
返回参考图1的系统100，媒体记录器144从相机和麦克风捕获视频和音频数据。在本原理的一个实施例中，媒体记录器144使用MediaRecorder对象(例如，Google API)分别捕获来自相机和麦克风的视频和音频。感官记录器142从传感器110接收数据。在本原理的一个实施例中，每个传感器具有传感器监听器，其监听传感器数据的改变并触发回调函数以取回数据。也就是说，在本原理的一个实施例中，传感器监听器包括由系统自动调用以通知事件的功能。例如，在一个实施例中，传感器监听器与加速度计相关联并被用于取回数据。这样的数据可以包括运动数据和相应的时间戳。该数据然后由感官记录器142记录。
根据本原理的实施例，例如在触觉视听内容同步器150中的一个实施例中，移动内容设备的日志服务在后台运行并且监听由传感器发送的数据的封装。在本原理的一个实施例中，当触觉视听内容同步器150感测到由惯性传感器发送的数据时，触觉视听内容同步器150使得对这种数据的记录由感官记录器142记录。无论何时接收和记录封装，检查来自发送该封装的传感器的信号的记录，以确定该信号中相应峰值的时间戳，通常通过确定峰值的位置和发生的时间来确定。在本原理的一个实施例中，日志服务被调度来在每个间隔之后将接收的数据写入文件中，然后在接收新数据之前清空容器。这种预定写入使得系统100能够避免高存储器消耗。
在本原理的一个实施例中，感官记录器142的输出是之后由触觉视听内容同步器150处理的文件。根据本原理，为了使来自媒体记录器144的视听内容和来自感官记录器142的运动数据对齐，在信号中产生易于检测的图案。在本原理的一个实施例中，利用了用户与移动内容设备100的自然触觉交互。更具体地，当用户触摸移动内容设备100以开始记录过程时(即，当用户按下移动内容设备上的开始记录按钮时)创建标记。也就是说，在本原理的一个实施例中，相机开始记录，并且当应用启动时启动惯性传感器，并且当用户点击“开始记录”按钮时开始具体的记录。用户与移动内容设备100的这种无缝和自然的触觉交互在音频轨道以及在一个实施例中在加速度信号中是可感知的，并且使得能够创建用于同步的易于检测的图案。应当注意，尽管在本原理的以下描述中关于加速度信号进行了描述，但在本原理的替代实施例中，其他运动信号(诸如来自陀螺仪112、磁强计113或任何其它运动传感器的信号)可以按照下文关于加速度信号进行的描述来实现。
图3描绘了根据本原理的实施例的用于同步视听内容与惯性测量(使用音频信号和加速度信号)的标记用户与移动内容设备交互的上文描述顺序的图示工作流程和结果信号。如图3所示，根据本原理的应用指示用户点击移动内容设备100的屏幕以启动应用。如图3所示，用户点击移动内容设备100的屏幕以启动应用，并且记录所得到的音频信号和相应的加速度计信号。
图4描绘了根据本原理的替代实施例的的用于同步视听内容与惯性测量(使用音频信号和加速度信号)的标记用户与移动内容设备交互的替换顺序的图示工作流程和结果信号。在图4的实施例中，嵌入在移动内容装置100中的内置振动器正好在有效记录之前(即，正好在启动相机和惯性传感器之前)被激活。在图4的实施例中，本原理的应用指示移动内容设备100开始振动，并且记录所得到的音频信号和相应的加速度计信号，如图4所示。
在本原理的上述两个实施例中，获得将用于本原理的同步过程的标记。在对音频信号和加速度计信号进行记录之后，可以初始化本原理的同步过程。在本原理的一个实施例中，提取并处理所记录的媒体内容的音频流，以找到由上述标记过程创建的峰值及其对应的时间戳。类似地，还可以通过简单的信号处理技术(即，具有鲁棒阈值的峰值检测)获得加速度中的对应峰值及其对应的时间戳。
获得了关于两个峰值的信息后，本原理的触觉视听内容同步器(诸如图1的触觉视听内容同步器150)计算两个时间戳之间的间隔，并移动加速度以与视听内容对齐以使视听内容与惯性测量同步。例如，如果在1秒的音频信号中和在2秒的加速度信号中检测到峰值，则加速度信号的时间戳移位-1秒，以使加速度信号与音频信号同步。因此，针对再现的内容的所有这样的惯性输出可以移动相似的时间量，以使视听内容与针对在移动内容设备上再现的内容的惯性输出同步。在本原理的替代实施例中，可以替代为将音频信号移位以与惯性信号同步。
图5描绘了根据本原理的实施例的用于同步视听内容与惯性测量的方法500的流程图。方法500在步骤502开始，在步骤502期间，响应于移动内容设备的振动而记录的音频信号和对应的惯性信号在例如触觉视听内容同步器150处被接收。方法500然后可以进行到504。
在步骤504，处理所记录的音频信号以确定该信号中的相应峰值的时间戳，通常是通过确定峰值的位置和其发生的时间来确定。方法500然后可以进行到步骤506。
在步骤506，处理所记录的惯性测量以确定该信号中的相应峰值的时间戳。方法500然后可以进行到步骤506。方法500然后可以进行到步骤508。
在步骤508，确定所记录的音频信号的时间戳与所记录的惯性测量的时间戳之间的时间距离。方法500然后可以进行到步骤510。
在步骤510，移动内容设备的惯性输出被移位下述时间量：该时间量等于所记录的音频信号的时间戳与所记录的惯性测量的时间戳之间的所确定的时间距离的时间量，以同步视听内容与针对在移动内容设备上再现内容的惯性输出。然后可以退出方法500。
本说明书示出了本原理的实施例。因此，应当理解，本领域技术人员将能够设计出体现了本原理并且包括在其范围内的各种布置(尽管未明确描述或显示在本文中)。也就是说，已经描述了用于同步视听内容与针对在移动内容设备上再现的内容的惯性输出的方法和设备的各种实施例(其旨在是说明性而非限制性)，但是应注意，本领域技术人员可以根据上述教导进行修改和改变。因此，应当理解，可以在所公开的本原理的特定实施例中进行改变，这些实施例在本发明的范围内。虽然上述内容是针对本原理的各种实施例，但是可以设计本原理的其他和另外的实施例，而不脱离其基本范围。

Claims (24)

1.一种用于在移动内容设备上同步视听内容与惯性测量的方法，包括：
响应于所述移动内容设备的振动，接收由所述振动产生的记录的音频信号和相应的记录的惯性信号；
处理所述记录的音频信号以确定所述音频信号中的相应峰值的时间戳；
处理所述记录的惯性信号以确定所述惯性信号中的相应峰值的时间戳；
确定所述记录的音频信号的时间戳与所述记录的惯性信号的时间戳之间的时间距离；以及
将针对在移动内容设备上再现的内容的惯性信号移位下述时间量：所述时间量等于所述记录的音频信号的时间戳与所述记录的惯性信号的时间戳之间的确定的时间距离。
2.根据权利要求1所述的方法，包括：
使得所述移动内容设备振动。
3.根据权利要求1所述的方法，其中，所述惯性信号包括加速度信号。
4.根据权利要求1所述的方法，其中，所述惯性信号包括来自陀螺仪的信号。
5.根据权利要求1所述的方法，其中，所述惯性信号包括来自磁强计的信号。
6.根据权利要求1所述的方法，其中，所述惯性信号被记录在文件中，然后所述文件在新的惯性信号被接收之前被清空。
7.根据权利要求1所述的方法，其中，所述振动是由用户触摸所述移动内容设备以开始记录过程引起的。
8.一种用于在移动内容设备上同步视听内容与惯性测量的装置，包括：
存储器，用于存储程序例程、音频信号数据和惯性信号数据中的至少一者；以及
处理器，用于执行所述程序例程；
所述处理器被配置为：
响应于所述移动内容设备的振动，接收由所述振动产生的记录的音频信号和相应的记录的惯性信号；
处理所述记录的音频信号以确定所述音频信号中的相应峰值的时间戳；
处理所述记录的惯性信号以确定所述惯性信号中的相应峰值的时间戳；
确定所述记录的音频信号的时间戳与所述记录的惯性信号的时间戳之间的时间距离；以及
将针对在移动内容设备上再现的内容的惯性信号移位下述时间量：所述时间量等于所述记录的音频信号的时间戳与所述记录的惯性信号的时间戳之间的确定的时间距离。
9.根据权利要求8所述的装置，其中，所述装置包括所述移动内容装置的集成组件。
10.根据权利要求8所述的装置，其中，所述处理器还被配置为使得所述移动内容设备振动。
11.根据权利要求8所述的装置，其中，所述惯性信号包括加速度信号。
12.根据权利要求8所述的装置，其中，所述惯性信号包括来自陀螺仪的信号。
13.根据权利要求8所述的装置，其中，所述惯性信号包括来自磁强计的信号。
14.根据权利要求8所述的装置，其中，所述惯性信号被记录在文件中，然后所述文件在新的惯性信号被接收之前被清空。
15.根据权利要求8所述的装置，其中，所述振动是由用户触摸所述移动内容设备开始记录过程引起的。
16.根据权利要求8所述的装置，其中，所述记录的音频信号从被配置成响应于所述移动内容设备的振动而记录音频信号的音频记录器被传输至所述装置，并且其中所述记录的惯性信号从被配置为响应于所述移动内容设备的振动而记录相应的惯性信号的惯性信号记录器被传输至所述装置。
17.一种用于在移动内容设备上同步视听内容与惯性测量的系统，包括：
振动器，被配置为振动所述移动内容设备；
音频记录器，被配置为响应于所述移动内容设备的振动而记录音频信号；
惯性信号记录器，被配置为响应于所述移动内容设备的振动而记录相应的惯性信号；以及
包括存储器和处理器的装置，所述存储器用于存储程序例程、音频信号数据和惯性信号数据中的至少一者，所述处理器用于执行所述程序例程；
所述装置被配置为：
响应于所述移动内容设备的振动，接收来自所述音频记录器的记录的音频信号和来自所述惯性信号记录器的相应的记录的惯性信号；
处理所述记录的音频信号以确定所述音频信号中的相应峰值的时间戳；
处理所述记录的惯性信号以确定所述惯性信号中的相应峰值的时间戳；
确定所述记录的音频信号的时间戳与所述记录的惯性信号的时间戳之间的时间距离；以及
将针对在移动内容设备上再现的内容的惯性信号移位下述时间量：所述时间量等于所述记录的音频信号的时间戳与所述记录的惯性信号的时间戳之间的确定的时间距离。
18.根据权利要求17所述的系统，其中，所述系统包括由平板电脑、移动电话、计算机和显示设备组成的群组中的至少一个。
19.根据权利要求17所述的系统，其中，所述振动器包括嵌入在所述移动内容设备中的内置振动器，并且在对所述音频信号进行记录和对所述对应的惯性信号进行记录之前被自动激活。
20.根据权利要求17所述的系统，其中，所述处理器还被配置为使得所述移动内容设备使用所述振动器振动。
21.根据权利要求17所述的系统，其中，所述惯性信号包括加速度信号。
22.根据权利要求17所述的系统，其中，所述惯性信号包括来自陀螺仪的信号。
23.根据权利要求17所述的系统，其中，所述惯性信号包括来自磁强计的信号。
24.根据权利要求17所述的系统，其中，所述振动是由用户触摸所述移动内容设备以开始记录过程引起的。
CN201680008502.6A 2015-02-03 2016-02-02 用于同步视听内容与惯性测量的方法、装置和系统 Pending CN107210054A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305159.4 2015-02-03
EP15305159.4A EP3054451A1 (en) 2015-02-03 2015-02-03 Method, apparatus and system for synchronizing audiovisual content with inertial measurements
PCT/EP2016/052158 WO2016124580A1 (en) 2015-02-03 2016-02-02 Method, apparatus and system for synchronizing audiovisual content with inertial measurements

Publications (1)

Publication Number Publication Date
CN107210054A true CN107210054A (zh) 2017-09-26

Family

ID=52627143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008502.6A Pending CN107210054A (zh) 2015-02-03 2016-02-02 用于同步视听内容与惯性测量的方法、装置和系统

Country Status (7)

Country Link
US (1) US10249341B2 (zh)
EP (2) EP3054451A1 (zh)
JP (1) JP2018505478A (zh)
KR (1) KR102401673B1 (zh)
CN (1) CN107210054A (zh)
TW (1) TW201643866A (zh)
WO (1) WO2016124580A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1860504A (zh) * 2003-09-30 2006-11-08 皇家飞利浦电子股份有限公司 用于视听内容合成的系统和方法
WO2013041152A1 (en) * 2011-09-19 2013-03-28 Thomson Licensing Methods to command a haptic renderer from real motion data
CN103970266A (zh) * 2013-01-24 2014-08-06 英默森公司 触觉感知记录和回放

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08203004A (ja) * 1995-01-20 1996-08-09 Victor Co Of Japan Ltd 磁気記録装置
JP4014139B2 (ja) * 2002-03-05 2007-11-28 富士重工業株式会社 エンジン評価装置
FI20031657A (fi) * 2003-11-14 2005-05-15 Nokia Corp Langaton monikamerajärjestelmä
JP4923420B2 (ja) * 2005-03-15 2012-04-25 日本電気株式会社 動画撮影・再生システム、その撮影・再生方法、その携帯装置およびその撮影、再生方法
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US7974314B2 (en) * 2009-01-16 2011-07-05 Microsoft Corporation Synchronization of multiple data source to a common time base
JP2011199465A (ja) * 2010-03-18 2011-10-06 Panasonic Corp 撮像装置
JP2012100216A (ja) * 2010-11-05 2012-05-24 Nikon Corp カメラおよび動画撮影プログラム
US8621355B2 (en) * 2011-02-02 2013-12-31 Apple Inc. Automatic synchronization of media clips
WO2016029170A1 (en) * 2014-08-22 2016-02-25 Cape Productions Inc. Methods and apparatus for automatic editing of video recorded by an unmanned aerial vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1860504A (zh) * 2003-09-30 2006-11-08 皇家飞利浦电子股份有限公司 用于视听内容合成的系统和方法
WO2013041152A1 (en) * 2011-09-19 2013-03-28 Thomson Licensing Methods to command a haptic renderer from real motion data
CN103970266A (zh) * 2013-01-24 2014-08-06 英默森公司 触觉感知记录和回放

Also Published As

Publication number Publication date
TW201643866A (zh) 2016-12-16
JP2018505478A (ja) 2018-02-22
WO2016124580A1 (en) 2016-08-11
KR102401673B1 (ko) 2022-05-25
EP3254284A1 (en) 2017-12-13
US10249341B2 (en) 2019-04-02
US20180019004A1 (en) 2018-01-18
EP3054451A1 (en) 2016-08-10
KR20170109573A (ko) 2017-09-29

Similar Documents

Publication Publication Date Title
KR101550520B1 (ko) 사용자 입력에 응답하는 커스텀 진동 패턴의 생성
JP6171319B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2019194879A (ja) フォーリー式触覚コンテンツ作成のためのシステム及び方法
CN105338238B (zh) 一种拍照方法及电子设备
CN109845245B (zh) 动态影像处理方法及计算机可读记录介质
CN111031393A (zh) 视频播放方法、装置、终端及存储介质
WO2015131767A1 (en) Video processing method and apparatus
CN108769738B (zh) 视频处理方法、装置、计算机设备和存储介质
CN111443957A (zh) 针对应用卡顿的处理方法、装置和电子设备
CN113409427A (zh) 动画播放方法、装置、电子设备及计算机可读存储介质
JP2014132461A (ja) 電子装置でコンテンツを制御する装置及びその方法
JP2005236428A (ja) コミュニケーション装置、システムおよび表示方法
CN109600301B (zh) 消息处理方法及装置
CN113709026B (zh) 即时通信消息的处理方法、设备、存储介质和程序产品
JP2018042137A (ja) 電子機器、制御装置、制御プログラム及び感度検査方法
CN111312207B (zh) 文本转音频方法、装置、计算机设备及存储介质
CN107210054A (zh) 用于同步视听内容与惯性测量的方法、装置和系统
CN113179432B (zh) 视频的采集位置的显示方法及显示设备
WO2013008869A1 (ja) 電子機器及びデータ生成方法
CN113507614A (zh) 视频的播放进度调节方法及显示设备
CN114596633A (zh) 坐姿检测方法及终端
CN111190751B (zh) 基于歌单的任务处理方法、装置、计算机设备及存储介质
CN114356559A (zh) 一种多线程控制方法及终端设备
CN110519319B (zh) 一种分裂分区的方法及装置
CN113641431A (zh) 二维码的增强显示的方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190523

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: The French Yixilaimu Leo City

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926

RJ01 Rejection of invention patent application after publication