CN110476437B - 捕获运动并使运动与记录的音频/视频同步 - Google Patents

捕获运动并使运动与记录的音频/视频同步 Download PDF

Info

Publication number
CN110476437B
CN110476437B CN201880021107.0A CN201880021107A CN110476437B CN 110476437 B CN110476437 B CN 110476437B CN 201880021107 A CN201880021107 A CN 201880021107A CN 110476437 B CN110476437 B CN 110476437B
Authority
CN
China
Prior art keywords
audio
video stream
motion
motion data
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021107.0A
Other languages
English (en)
Other versions
CN110476437A (zh
Inventor
阿拉·艾迪纳·利马梅
让-弗朗索瓦·梅纳德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
D Box Technologies Inc
Original Assignee
D Box Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by D Box Technologies Inc filed Critical D Box Technologies Inc
Publication of CN110476437A publication Critical patent/CN110476437A/zh
Application granted granted Critical
Publication of CN110476437B publication Critical patent/CN110476437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Abstract

本公开内容提供用于使运动数据与音频/视频流同步的方法和系统。获取包括至少一个定时标记的音频/视频流。处理音频/视频流以检测至少一个定时标记。获取与音频/视频流关联的运动数据和用于运动数据的定时信息，定时信息包括关于至少一个定时标记的定时信息。将具有检测到的至少一个定时标记的音频/视频流以及运动数据与定时信息一起输出。

Description

捕获运动并使运动与记录的音频/视频同步
技术领域
本公开涉及一种用于捕获与音频/视频记录关联的运动数据并且用于使运动数据与播放的音频/视频记录同步的方法和系统。
背景技术
在消费性电子产品的发展中，摄像机已经可以以较低的成本用于许多配置中。这带来了这种摄像机的广泛使用。在其用途中，用户记录他们参与的动作镜头已经成为趋势，例如当进行休闲或体育活动时。例如，使用摄像机(称为运动型摄像机)记录用户所沉浸的环境的动态图像和音频，车辆的驾驶员可以记录风景道路上的汽车行驶，或者滑降滑雪者可以记录滑行。
与此同时，实现振动-运动效果的运动模拟器通常用于增强视频节目的观看体验。在这种技术中，运动模拟器包括座椅或平台，座椅或平台由致动器以与视听节目或视觉事件同步的振动-运动效果移动。在特定类型的这种运动模拟器中，与从视听节目的声轨提取的振动相反，运动模拟器可以基于编码为运动轨迹的运动信号而移动。
期望使用运动模拟器向运动型摄像机的音频/视频记录添加振动-运动效果。
发明内容
本公开的目的是提供一种用于捕获与音频/视频记录关联的运动数据并且用于使运动数据与播放的音频/视频记录同步的新颖方法。
本公开的另一个目的是提供一种用于捕获与音频/视频记录关联的运动数据并且用于使运动数据与播放的音频/视频记录同步的新颖系统。
根据一个广义方面，提供了一种用于使运动数据与音频/视频流同步的方法。生成用于在音频/视频流中捕获的至少一个定时标记。获取包括至少一个定时标记的音频/视频流。处理音频/视频流以检测至少一个定时标记。获取与音频/视频流关联的运动数据以及运动数据的定时信息，定时信息包括关于至少一个定时标记的定时信息。基于定时信息和在音频/视频流中检测到的至少一个定时标记，使运动数据与音频/视频流同步。
根据一个广义方面，提供了一种用于使运动数据与音频/视频流同步的方法，包括：获取音频/视频流，音频/视频流包括至少一个定时标记；处理音频/视频流以检测至少一个定时标记；获取与音频/视频流关联的运动数据以及运动数据的定时信息，定时信息包括关于至少一个定时标记的定时信息；以及输出具有检测到的至少一个定时标记的音频/视频流以及具有定时信息的运动数据。
在一些实施例中，获取运动数据包括通过至少一个运动传感器捕获运动数据，与生成至少一个定时标记基本上同时开始。
在一些实施例中，该方法还包括基于定时信息和在音频/视频流中检测到的至少一个定时标记使运动数据与音频/视频流同步，由此输出音频/视频流包括输出与音频/视频流同步的运动数据。
在一些实施例中，同步运动数据包括通过基于至少一个定时标记改变运动数据的定时信息以与音频/视频流对齐来生成同步运动文件。
在一些实施例中，该方法还包括基于同步生成包括运动数据到音频/视频流的映射的定时文件。
在一些实施例中，该方法还包括输出与音频/视频流的播放同步的运动数据。
在一些实施例中，输出运动数据包括基于运动数据引起至少一个运动系统的移动。
在一些实施例中，该方法还包括生成包括用于引起至少一个运动系统的移动的指令的运动文件，运动文件基于运动数据并且与音频/视频流对齐。
在一些实施例中，使运动数据与音频/视频流同步包括:使运动数据的数据点与音频/视频流中的至少一个定时标记对齐。
在一些实施例中，使运动数据的数据点与音频/视频流中的至少一个定时标记对齐包括：使运动数据的零点与音频/视频流的对应的零点对齐。
在一些实施例中，该方法还包括：生成用于在获取音频/视频流时在音频/视频流中捕获的至少一个定时标记。
在一些实施例中，生成至少一个定时标记包括：响应于用户输入而生成至少一个定时标记。
在一些实施例中，输出具有检测到的至少一个定时标记的音频/视频流包括：调整运动数据的定时信息并且输出调整后的与音频/视频流同步的运动数据。
根据另一个广义方面，提供了一种用于使运动数据与音频/视频流同步的同步系统。该系统包括标记检测模块，其用于获取包括至少一个定时标记的音频/视频流；并且用于处理音频/视频流以检测至少一个定时标记；以及同步模块，其用于获取与音频/视频流关联的运动数据以及运动数据的定时信息，定时信息包括关于至少一个定时标记的定时信息；并且用于通过使用定时信息和识别的至少一个定时标记使运动数据的数据点与音频/视频流对齐，使运动数据与音频/视频流同步并且输出运动数据。
在一些实施例中，同步设备还配置为用于基于同步生成包括运动数据到音频/视频流的映射的定时文件。
在一些实施例中，同步设备还配置为用于输出与音频/视频流的播放同步的运动数据。
在一些实施例中，输出运动数据包括基于运动数据引起至少一个运动系统的移动。
在一些实施例中，同步设备还配置为用于生成包括用于引起至少一个运动系统的移动的指令的运动文件，运动文件基于运动数据并且与音频/视频流对齐。
在一些实施例中，同步模块用于同步运动数据包括使运动数据的数据点与音频/视频流中的至少一个定时标记对齐。
在一些实施例中，使运动数据的数据点与音频/视频流中的至少一个定时标记对齐包括使运动数据的零点与音频/视频流的对应的零点对齐。
根据另一个广义方面，提供了一种用于使运动数据与音频/视频流同步的同步系统，包括：同步设备；以及运动捕获设备，其包括：定时标记生成器，其用于生成用于在音频/视频流中捕获的至少一个定时标记；以及运动传感器，其用于捕获运动数据，与生成定时标记基本上同时开始。
在一些实施例中，运动捕获设备还包括用户输入，其中，定时标记生成器配置为用于响应于用户输入的执行来生成至少一个定时标记。
本文描述的系统、设备和方法的特征可以以各种组合使用，并且还可以以各种组合用于系统和计算机可读存储介质。
附图说明
通过以下结合附图的详细描述，本文描述的实施例的其他特征和优点将变得明显，在附图中：
图1是示出了用于捕获运动数据并使其与音频/视频流同步的方法的流程图。
图2是根据一个实施例的用于实现图1的方法的示例性计算系统的示意图。
图3是用于捕获运动数据并使其与音频/视频流同步的系统的示例性实施方式的框图。
应当注意，在整个附图中，相同的部件由相同的附图标记表示。
具体实施方式
参考图1，提供了一种用于捕获运动数据(也称为运动传感器数据)并使其与音频流和视频流中的至少一个同步的方法100。为了简化描述，本文将使用术语“音频/视频流”，但是应当理解，运动数据可以与一个或多个音频流、一个或多个视频流、或者音频流和视频流的任何合适的组合中的任何一个同步。运动数据由运动传感器根据音频/视频流记录期间所发生的动作生成，并且因此可以被称为运动传感器数据，但是为了简单起见，本文引用为运动数据。运动传感器可以是加速计、陀螺计或陀螺仪、磁力计、位置传感器、基于GPS的传感器或其任何合适的组合。
在步骤102中，基于定时信息生成音频信号和视频信号(以下称为“定时标记”)中的至少一个。该至少一个定时标记可以由扬声器、屏幕、灯或其他类似部件生成。该至少一个定时标记以被至少一个记录设备捕获的方式生成，至少一个记录设备可以是摄像机(例如，运动型摄像机)、麦克风或者配置为捕获音频/视频流的任何其他合适的记录设备。定时信息可以是对生成信号时的一个或多个时刻的任何合适的表示。例如，定时信息可以是绝对时间、相对时间、时钟周期计数、GPS时钟计数、采样或处理率或任何其他合适的表示。
在一些实施例中，定时标记是音频砰、叮或啁啾声，其对于人类听觉可以是可感知或不可感知的。在其他实施例中，定时标记是闪光、光闪烁图案、波长或振幅变化的光、或人眼可感知或不可感知的其他合适的光发射(例如，红外或紫外发射)。在其他实施例中，定时标记是显示在屏幕上的条形码、QR码或其他可视图案，其被保持在记录设备前，使得被记录设备捕获的音频/视频流包括可视图案作为定时标记。在其他实施例中，定时标记是任何合适的其他信号，或以上列出的信号的任何组合。
在某些实施例中，响应于用户输入生成定时标记。例如，用户可以按压按钮、触摸屏或其他输入设备，以指示应该生成定时标记。在其他实施例中，智能电话或其他移动设备可用于指示要生成定时标记，或可用于生成定时标记，例如通过
Figure BDA0002214491230000061
或任何其他合适的无线协议。还考虑了提供生成定时标记的指示的其他方式。定时标记可以生成预定次数(例如仅在记录开始时)，或者可以基本上连续地生成。例如，视觉定时标记可以在接收到用户输入之后生成五次，然后在之后每两分钟生成一次。在另一示例中，在接收到用户输入之后，每30秒生成音频定时标记，并继续直到接收到后续用户输入。
在一些实施例中，定时标记，无论是听觉的还是视觉的，都是随时间变化的定时标记，其在形式和/或类型上随时间变化。视觉定时标记，例如QR码，可以随时间变化，使得通过QR码显示的图案每秒变化数次、每秒变化一次、每几秒变化一次，等等。在一些情况下，可以选择QR码的刷新率(即，后续视觉图案之间的时间)，以与捕获定时标记的设备(例如摄像机)的刷新率不同步。如果已知摄像机的刷新率为24帧每秒(FPS)、60FPS或120FPS，则可以选择QR码的刷新率的周期与摄像机的刷新率不一致。例如，可以使QR码每1003毫秒改变一次(～0.997FPS)，使得QR码在摄像机捕获的相邻帧之间发生变化。这可以用于提高摄像机捕获的视频流中的定时标记的检测精度，下文将更详细地解释。类似的考虑可应用于音频定时标记，其中音频定时标记的频率或音调等可随时间变化。
在步骤104中，获取包括定时标记的音频/视频流。音频/视频流可以从捕获设备(例如摄像机、录音机等)、从存储介质(例如数据库、硬盘驱动器或内存驱动器)、从远程源(例如服务器、数据库、web服务)、或从任何其他合适的源获取。在一些实施例中，音频/视频流包括音频流和视频流两者。在其他实施例中，仅获取音频流和视频流中的其中一个。在更进一步的实施例中，获取单独的音频流和视频流，其可以适当地组合或单独地处理。
在步骤106，根据一个实施例，处理在102和104中被记录设备捕获的音频/视频流以检测捕获的定时标记。从音频/视频流获取的捕获的定时标记指示音频/视频流中的时刻，在这些时刻步骤102中生成的定时标记的表示被记录设备在音频/视频流中捕获。因此，处理音频/视频流以检测被记录设备捕获的可听和/或可视表示形式的定时标记。当找到这样的定时标记时，从音频/视频流中导出定时信息，例如以被找到的表示所在的音频/视频流中的一个或多个帧的帧频率信息的方式，或者以任何合适的方式。
可以使用任何合适的音频和/或视频处理技术在音频/视频流中检测步骤102中生成的定时标记。在一些实施例中，步骤102中生成的定时标记是具有预定频率和持续定时、以预定间隔重复预定次数的音频啁啾声。例如，以500ms的间隔重复10次21kHz(千赫兹)的200ms啁啾声。在该示例中，音频滤波器可用于去除除了包括21kHz的范围之外的所有声音，从而确定啁啾声在音频/视频流中的位置。然后，可以使用与音频/视频流中发现的啁啾声所在的帧有关的帧频率信息来获取定时信息。类似的技术可以应用于不同的基于声音的图案。例如，通过改变啁啾声的频率、在啁啾声中组合多个频率、改变啁啾声之间的间隔等，音频啁啾声可以将定时信息的附加元素编码到定时标记中。另外，图像处理技术可应用于检测音频/视频流中存在的视频定时标记的可视表示。例如，图像处理技术可以检测音频/视频流中的二维条形码(或QR码)、GPS时钟时间值等。QR码可以表示编码时间戳，可以处理该编码时间戳以获取所捕获的定时标记，并且在一些情况下QR码可以以某时间间隔变化。在一些实施例中，将定时标记的刷新率选择为与捕获定时标记的设备的捕获速率不同步。例如，每1003毫秒变化一次的视频定时标记可以确保从一个定时标记到下一个定时标记的转变发生在视频流中的后续帧之间，这可以在确定存在定时标记以及其转变时间中提高准确性。
在步骤108，获取与音频/视频流关联的运动数据。还获取运动数据的定时信息，定时信息包括关于至少一个定时标记的定时信息。在一些实施例中，例如通过至少一个运动传感器捕获运动数据。捕获运动数据可以与步骤102的生成定时标记基本上同时开始，或者在其后的预定时间以计算出的已知延迟开始。运动数据和音频/视频流(例如包括定时标记)分别由运动传感器和记录设备同时捕获，并且102的生成可以与104的捕获同时执行，使定时标记周期性地出现在104的整个音频/视频流捕获中。然后，运动数据与步骤102中生成音频和/或视频信号所基于的定时信息相关联地存储。运动数据可以存储在任何合适的数据库或其他存储介质中，如下文将更详细的描述，并且可以以任何合适的方式(例如通过标签、元数据、指针等)与定时信息相关联地存储。
运动数据表示运动传感器感测到的沿一个或多个轴的力、加速度和/或角变化率。例如，如果运动传感器落向地面，则运动数据可以指示向下的力和/或朝向地面的加速度，然后指示当运动传感器撞击地面时离开地面的力或加速度，即，参考坐标系。当位于记录设备附近或记录设备上时，运动数据可以表示由记录设备或握持、佩戴或使用记录设备的用户感测到的力和/或加速度。基于用户的期望以及包含运动传感器和记录设备的设备的存储容量，捕获运动数据和音频/视频流的持续时间具有任何适当的持续时间。应当指出，方法100可以在没有102的情况下实现，如此音频/视频流将没有定时标记。
步骤108还可以包括基于同步的运动数据生成运动模拟轨迹。运动模拟轨迹可以包括表示运动数据的运动样本，但是考虑运动模拟器可用的可用自由度。例如，运动传感器可以捕获运动数据，其关于比运动模拟器可用的自由度更高的自由度。因此，与再现运动数据相反，在108中生成运动模拟轨迹模拟或近似在运动数据中发生的动作。根据一个实施例，步骤108包括根据在运动数据中发生的动作的细节(例如，幅度、方向)从运动样本数据库中寻找运动样本。例如，步骤108可以从运动数据中检测滑雪活动中的跳跃和着陆，并且在运动样本数据库中具有等效的空中样本和着陆样本。同样，在车辆的情况下，可以在运动数据中检测道路曲线的转弯，并且可以在运动模拟轨迹中以运动样本的形式再现这种移动。根据又一实施例，可以基于音频/视频流生成运动模拟轨迹。视频流的图像处理可以实现检测跳跃和着陆或转弯等，并且因此可以用于生成运动模拟轨迹。音频流可以与视频流的图像处理结合使用，以帮助检测音频/视频流中发生的动作。可替代地，可以使用在步骤108中与音频/视频流同步的运动数据在运动平台生成运动模拟轨迹。
在步骤110中，在一个实施例中，基于捕获的运动数据的定时信息和音频/视频流中的定时标记，使运动数据与音频/视频流同步。在一些实施例中，在步骤104中捕获的运动数据被同步，使位于在步骤102中生成定时标记的时刻的运动数据中的数据点在时间上与音频/视频流中的定时标记的数据点对齐。在一些实施例中，修改运动数据，使得关联的定时信息被调整以使运动数据中的数据点与音频/视频流中的数据点对齐。在其他实施例中，修改运动数据，使得关联的定时信息复位，使具有指示所生成的定时标记的定时信息的第一数据点被设置为“定时＝0”点。可替代地，音频/视频流可以与运动数据同步，使得音频/视频流的定时特征改变以与运动数据对齐。在步骤108获取的运动数据是离散运动事件的集合的实施例中，步骤110可以包括重新对齐或重新定位离散运动事件以使运动数据与音频/视频流同步。在运动数据基本上是连续的实施例中，例如以恒定速率测量的一系列样本，步骤110可以包括应用一种或多种重新采样技术、一种或多种拉伸或压缩技术等。
同步可以包括一旦音频/视频流中的一个或多个定时标记与关联于运动数据的定时信息对齐，则使用音频/视频流的帧频率以及运动传感器的时间/时钟和/或采样或处理速率进行计算、使用运动传感器设备的GPS时钟和记录设备的GPS时钟进行计算(例如从QR码或其他视觉表示捕获的)，用于运动数据和音频/视频处理的同步播放。还考虑了用于同步运动数据的其他方法。例如，对齐运动数据可以通过拉伸或压缩运动数据中的数据点之间的时间间隔以与定时标记对齐来完成，特别是在运动传感器设备和记录设备之间存在时钟漂移的情况下。在一些实施例中，同步的运动数据(例如处于基于同步的已修改状态)可以存储在数据库或其他数据存储介质中。
在步骤112中，以一种或多种方式输出同步的运动数据。在一些实施例中，运动数据与音频/视频流同时且同步地分别输出到例如运动模拟器和音频/视频显示系统。运动数据的形式可以是占据多通道音频/视频流的一个或多个专用通道的运动模拟轨迹。步骤112还可以包括仅输出运动数据，但与并行播放的音频/视频流同步。例如，音频/视频流可以直接输出到音频/视频显示系统，方法100使用并行音频/视频流执行步骤106和108。在进一步的实施例中，运动数据通过上述运动模拟轨迹输出，其可以与音频/视频流同步。例如，可以改变运动数据的定时信息以与音频/视频流对齐。在其他实施例中，可以生成定时文件，其基于在步骤110执行的同步将运动数据映射到音频/视频流。步骤112还可以包括输出具有检测到的至少一个定时标记的音频/视频流以及具有定时信息的运动数据，以用于随后例如在另一设备中执行的同步步骤110。换句话说，步骤112可以发生在步骤108之后和步骤110之前。还考虑了用于输出同步的运动数据的其他方法。
同步的运动数据和音频/视频流可以使用任何合适的传输协议以任何合适的数据格式输出。例如，同步的运动数据和音频/视频流分别通过通用串行总线(USB)和高清晰度多媒体接口(HDMI)输出。在另一示例中，同步的运动数据和音频/视频流通过合适的无线协议(例如，
Figure BDA0002214491230000111
WiFi等)输出。
因此，运动数据与被记录设备捕获的音频/视频流同步，使得在播放期间，运动模拟器或其他使用运动数据或运动模拟轨迹的运动系统生成的移动与音频/视频流同步，并且可选地显示在屏幕或监视器上和/或通过扬声器播放。这允许音频/视频流的观看者享受到在捕获音频/视频流期间感受到的力的表现。同步的运动数据和音频/视频流还可以在播放之前被存储或编辑，这依赖于播放时在步骤108实现的同步。
参考图2，方法100可以由计算设备210实现，计算设备210包括处理单元212和存储器214，存储器214中存储有计算机可执行指令216。处理单元212可以包括任何合适的设备，其配置为使一系列步骤执行以实现方法100，使得指令216在被计算设备210或其他可编程装置执行时可以使本文所述方法中指定的功能/动作/步骤被执行。处理单元212可以包括例如任何类型的通用微处理器或微控制器、数字信号处理(DSP)处理器、中央处理单元(CPU)、集成电路、现场可编程门阵列(FPGA)、可重配置处理器、其他合适的编程或可编程逻辑电路、或其任何组合。
存储器214可以包括任何合适的已知或其他机器可读存储介质。存储器214可以包括非瞬态计算机可读存储介质，例如，但不限于，电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。存储器214可以包括位于设备210内部或外部的任何类型的计算机存储器的合适的组合，例如随机存取存储器(RAM)、只读存储器(ROM)、光盘只读存储器(CDROM)、电光存储器、磁光存储器、可擦可编程只读存储器(EPROM)以及电可擦可编程只读存储器(EEPROM)、铁电RAM(FRAM)等。存储器214可以包括适于可检索地存储可被处理单元212执行的机器可读指令216的任何存储方式(例如，设备)。
参考图3，示出了用于捕获运动数据并使其与音频/视频流同步的系统300。系统300包括运动捕获设备310和同步设备340。尽管在图3的示例中运动捕获设备310和同步设备340被示为两个单独的实体，但是在某些实施例中，它们可以是单个公共实体。在另一实施例中，运动捕获设备310和/或同步设备340具有与图2的计算设备210的配置相对应的配置。系统300配置为与至少一个记录设备350进行接口或以其他方式通信，记录设备350可以是摄像机、麦克风、智能电话或任何其他合适的记录设备。另外，系统300配置为通过效果生成器345和输出接口346向音频/视频系统360和运动模拟器370提供输出。音频/视频系统360可以包括用于显示音频/视频内容的一个或多个屏幕和/或一个或多个扬声器。运动模拟器370可以是能够生成供用户体验的运动的任何系统。例如，运动模拟器370的类型是具有用于支撑平台或座椅的致动器(例如，机电致动器、气动或液压缸等)，以根据致动器的驱动而移动平台或座椅。运动模拟器370可具有任何适当的驱动器(例如，处理单元、DSP)以将同步的运动数据和/或运动模拟轨迹转换成平台或座椅的位移。
运动捕获设备310包括标记生成模块312、定时信息模块314、数据库316、接口318、输入模块320和/或运动传感器单元325，运动传感器单元325包括一个或多个运动传感器，例如惯性传感器、加速计、陀螺仪、GPS等等。运动捕获设备310可选地包括按钮或触摸屏，即，用户接口322或其他输入设备，并且还可以包括扬声器332和/或光源334，或者可以通过一个或多个连接器连接到扬声器332和光源334中的一个或两个，所述连接器可以是有线或无线的。在一个实施例中，触摸屏既用作输入设备322又用作光源334。
标记生成模块312配置为用于例如根据步骤102通过扬声器332和/或光源334使至少一个定时标记生成。生成的信号作为定时标记被记录设备350捕获，并且与定时信息相关。在某些实施例中，输入模块320例如通过按钮322或通过有线或无线连接接收生成音频信号和/或视频信号的请求，并向标记生成模块312发送消息以指示标记生成模块312实施步骤102。
标记生成模块312从定时信息模块314获取定时信息。在一些实施例中，标记生成模块312可以在使音频信号和/或视频信号生成之前从定时信息模块314请求定时信息。在其他实施例中，标记生成模块312预先被提供定时信息。定时信息可以从时钟(例如GPS时钟)、时间和/或运动捕获设备310的运动传感器单元325的采样率等导出。
另外，扬声器332和光源334可以是任何合适的扬声器和光源或图案发射设备。在一些实施例中，扬声器332是扬声器阵列，例如音圈、高音扬声器、压电扬声器等，并且可以能够生成具有任何合适的频率及任何合适的振幅的声音。例如，可以以表示同步签名或指纹的变化时间间隔生成声音，以便于后续的同步。在一些实施例中，光源334是具有预定波长的一个或多个LED光。在其他实施例中，光源334是具有可变波长和/或振幅的任何其他合适技术的一个或多个光。在进一步的实施例中，光源334是任何合适技术的屏幕。在另一个实施例中，光源334更多的是图像源，例如显示QR码或时间值的屏幕，其反射和/或漫射环境光而不发射其自身的光。为了简单起见，使用光源334进行表达，尽管334可以是图像源334。
定时信息模块314配置为用于使定时信息与标记生成模块312生成定时标记关联并且与运动传感器单元325生成的运动数据关联。在一些实施例中，定时信息模块314配置为用于使运动传感器单元325开始捕获运动数据。在其他实施例中，输入模块320配置为使运动传感器单元325开始捕获运动数据。另外，在一些实施例中，定时信息模块314配置为用于向运动传感器单元325提供定时信息，使得运动数据可以与具有定时标记的定时位置的时间信息相关联地存储。在其他实施例中，定时信息模块314从运动传感器单元325接收运动数据，并将其与定时信息相关联地存储在数据库316中。
运动传感器单元325配置为例如根据步骤104捕获运动数据。运动传感器单元325可从定时信息模块314获取定时信息，并使运动数据与包括定时标记的时间位置的定时信息成对地存储在数据库316中。在一些实施例中，运动数据是形成由定时标记组成的时间线的运动数据流。在一些实施例中，运动传感器单元325直接写入数据库316，并且至少写入运动数据，并且可选地写入定时信息。在其他实施例中，运动传感器单元325将运动数据写入数据库316，并且定时信息模块314将定时信息与数据库316中的运动数据关联。在进一步的实施例中，运动传感器单元325捕获定时信息并将其发送到定时信息模块314。
数据库316可以是适于存储信息(在该情况下是与定时信息关联的运动数据)的任何数据库。例如，数据库316可以是内部存储设备、诸如SD卡或USB记忆棒的可移动存储设备、或其任何合适的组合。接口318可以是用于传输信息的任何合适的有线或无线接口。接口318配置为用于向同步设备340提供运动数据和定时信息。在一些实施例中，通过将数据库316从运动捕获设备310移动到同步设备340(例如通过移动SD卡)来提供接口318。
输入模块320配置为接收用户输入，用户输入指示应该执行捕获运动数据和生成音频信号和/或可视信号。用户输入可以通过可选按钮322或其他输入设备(开关、触摸屏、旋钮等)接收，或者通过输入模块320可以连接到的有线或无线连接接收。
同步设备340可以包括音频/视频(A/V)标记检测模块342、可选的同步模块344、以及接口348。同步设备340配置为用于从记录设备350接收音频/视频流以及从运动捕获设备310接收运动数据，并且用于通过效果生成模块345和输出接口346向音频/视频系统360和运动模拟器370提供输出。在一些实施例中，通过向同步设备340提供其上存储有音频/视频流的SD卡或其他可移动存储设备，同步设备340从记录设备350接收音频/视频流。同步设备340因此可以配置为搜索可移动存储设备上的目录以找到音频/视频流。
A/V标记检测模块342配置为用于根据步骤106处理从记录设备350接收的音频/视频流以检测定时标记。因此，A/V标记检测模块342配置为用于执行合适的音频和/或视频分析和处理技术，以检测由标记生成模块312生成并由记录设备350记录的定时标记的表示。然后，A/V标记检测模块342向同步模块344指示存在定时标记，并且在一些实施例中，将定时标记信息存储在数据库(未示出)中。在一个实施例中，同步设备340可以在没有捕获的定时信息的情况下使用来自记录设备的音频流执行同步，由此A/V标记检测模块342可以被旁路或者可以不存在。在一些实施例中，基本上自动地检测定时标记。在其他实施例中，例如为了减少处理定时，在音频/视频流中将定时标记手动标记为近似值。检测定时标记的处理技术可以包括各种信号处理方法，诸如音频信号滤波、或使用训练过的用于声音或视觉特征提取和识别的人工神经网络。
接口348可以是用于传输信息的任何合适的有线或无线接口。接口348配置为用于从运动捕获设备310接收运动数据和定时信息，并且用于将运动数据和定时信息提供给同步模块344，或者用于将运动数据和定时信息与A/V标记检测模块342处理的音频/视频流一同输出，A/V标记检测模块342指示定时标记。效果生成模块345或输出接口346可以使用这种输出来使运动数据与音频/视频流同步。另外，接口348配置为用于向运动捕获设备310的接口318发送对运动数据和定时信息的请求。在一些实施例中，接口348基本上与接口318相同。
同步模块344配置为用于从接口348获取运动数据和定时信息，并且用于从A/V标记检测模块342(或者可选地从存储定时标记的数据库)获取定时标记，并且如果同步设备340分别输出具有定时信息的运动数据和处理后的音频/视频流，则可以存在于同步设备340中或者任何其他下游设备中。同步模块344还配置为用于根据步骤108使运动数据与音频/视频流同步。更具体地，同步模块344配置为通过基于定时信息和定时标记将运动数据中的数据点与音频/视频流中的数据点对齐，使运动数据与音频/视频流同步。同步模块344还配置为在没有效果生成模块345或者使效果生成模块345旁路的情况下向输出接口346提供同步的运动数据，并且在一些实施例中，将同步的运动数据存储在数据库(未示出)中。在一些实施例中，同步模块344的功能在A/V标记检测模块342、效果生成模块345或输出接口345中提供，这将在下文中更详细地描述。
例如，以下表格是来自A/V标记检测模块342的检测示例、具有定时标记的捕获的运动数据、以及被同步模块344输出以匹配捕获的音频/视频流的调整后的运动数据。
来自342的记录的视频以及检测到的标记
Figure BDA0002214491230000181
来自运动传感器325和定时信息模块314的捕获的运动数据
Figure BDA0002214491230000182
被同步模块344调整以匹配记录的视频的运动数据
Figure BDA0002214491230000183
效果生成模块345可以例如根据步骤108基于同步的运动数据生成运动模拟轨迹。与再现运动数据相反，效果生成模块345可以模拟或近似在运动数据中发生的动作。根据一个实施例，效果生成模块345根据对运动数据的数据点(例如，幅度、方向)的分析从运动样本数据库(未示出)中检索运动样本。可替代地，可使用在步骤108中与音频/视频流同步的运动数据在运动平台生成运动模拟轨迹。在一些实施例中，效果生成模块345配置为用于基于A/V标记检测模块342提供的信息来执行运动数据与音频/视频流的同步。
根据又一实施例，效果生成模块345还可以或可替换地使用音频/视频流生成运动模拟轨迹。视频流的图像处理可以实现检测诸如跳跃和着陆的动作或转弯等，并且因此可以用于生成运动模拟轨迹。音频流可以与视频流的图像处理结合使用，以帮助检测音频/视频流中发生的动作。因此，在一些实施例中，运动模拟轨迹可以由效果生成模块345仅使用音频/视频流来生成。在这种情况下，同步设备340可以充当音频/视频流的传递设备，如果需要时间来处理音频/视频流以生成运动模拟轨迹，则效果生成模块345可选地延迟输出音频/视频流到音频/视频系统360。在一些实施例中，如果在音频/视频流中不存在定时标记，则可以基于包含音频/视频流的数字文件的时间戳和包含运动数据的数字文件的时间戳来执行近似同步。然后可以通过使用上文讨论的图像处理技术来改进近似同步。
输出模块或接口346配置为用于通过效果生成模块345从同步模块344(或者可选地从其中存储了同步的运动数据的数据库)接收同步的运动数据，并且可选地用于从记录设备350接收音频/视频流。输出模块346还配置为将同步的运动数据或模拟运动轨迹输出到运动模拟器370，并且可选地将音频/视频流输出到音频/视频系统360。例如，根据步骤110，同步设备340可仅输出运动数据或运动模拟轨迹，但与并行播放的音频/视频流同步。例如，音频/视频流可以直接输出到音频/视频显示系统360，而同步设备340使用并行音频/视频流进行处理。输出模块346可以以任何合适的格式输出音频/视频流，例如MPEG(运动图像专家组)格式。另外，输出模块346可以以任何合适的格式输出同步的运动数据。
在另一个实施例中，运动数据的输出形式可以是具有与音频/视频流关联的相应指纹文件的运动代码文件。然后可以将运动代码文件发送到远程储存库，例如基于云的存储系统，用于后续通过再现的音频/视频流的指纹识别来同步运动数据。
在一些替代实施例中，运动捕获设备310包括一个或多个音频记录设备，例如一个或多个麦克风。运动数据被运动传感器单元325捕获，并且与被音频记录设备捕获的记录的音频信息相关联地存储，该记录的音频信息用作定时信息。然后，同步设备340的同步模块344通过将来自记录设备350提供的音频/视频流的音频流与运动捕获设备的麦克风获取的记录的音频信息进行匹配来执行同步。因此，A/V标记检测模块342被旁路，同步模块344可从音频/视频流中提取音频轨道并对其进行处理以获取表示音频记录的声音指纹。同步模块344可以使用音频轨道和记录的音频信息来使运动数据与音频/视频流同步。运动捕获设备310提供的定时信息可以包括运动捕获设备310捕获的音频轨道，并且可以被定时信息模块314处理以获取声音指纹，该声音指纹类似于同步模块344处理的声音指纹。数字音频信号关联技术也可用于建立两个音频流之间的相对定时差并执行同步。可替代地，运动捕获设备310记录的原始音频是定时信息，并且其处理由同步模块344完成。在这样的实施例中，由于不存在定时标记，可以使用基于包含音频/视频流的数字文件的时间戳和包含运动数据的数字文件的时间戳而执行的近似同步以帮助加速同步。
在另一个替代实施例中，单个模块(例如同步设备340)配置为用于独立操作。也就是说，同步设备340配置为从任何合适的源(例如从远程服务器或存储设备)获取运动数据，并且用于从任何合适的源(例如从前述远程服务器或存储设备)获取音频/视频流。所获取的运动数据与定时信息(例如生成的定时标记的定时)关联，并且音频/视频流在其中包含定时标记。同步设备340配置为用于以任何合适的方式使运动数据与音频/视频流同步，如上所述，例如通过对齐定时标记、比较GPS时钟时间戳等。在一些示例中，同步可以在运动数据和音频/视频流之间应用预定偏移，例如基于执行捕获运动数据和/或音频/视频流的设备的已知捕获延迟。应当注意，在一些情况下，偏移可以为空。
在进一步的可选实施例中，同步设备340对运动数据和音频/视频流中的定时信息和/或定时标记进行解码，以获取运动数据和音频/视频流的时间线信息。时间线信息使运动数据和/或音频/视频流的一个或多个部分位于时间线上，例如起点、第一或第n个定时标记等。例如，时间线信息可以基于从GPS时钟获取的GPS时间。然后可以通过将运动数据与音频/视频流的时间线匹配来执行运动数据与音频/视频流的同步，或者反之亦然，并且可以适当地引入偏移。
本文公开的用于捕获运动数据并使其与音频/视频流同步的方法和系统的各个方面可以单独使用、组合使用、或者以在前面描述的实施例中没有具体讨论的各种布置来使用，因此不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，在一个实施例中描述的方面可以以任何方式与在其他实施例中描述的方面组合。尽管已经示出和描述了特定的实施例，但是对于本领域技术人员显而易见的是，在不脱离本发明的更宽方面的情况下，可以进行改变和修改。以下权利要求书的范围不应受实施例中阐述的优选实施例限制，而应给予与整个描述一致的最广泛合理的解释。根据一个实施例，所要求保护的方法和系统要解决的问题是例如当从两个独立实体(例如，两个设备、两个软件或设备的应用等)获取运动传感器数据时，将运动传感器数据与音频和/或视频流同步。
例如，根据使用GPS时钟的实施例，可以执行一种用于使运动数据与音频/视频流同步的方法，包括：a.获取具有至少一个关联/嵌入的定时标记的运动数据，其可以包括(i)获取运动定时标记并解码定时信息值(TimeM)；b.获取具有至少一个关联/嵌入的定时标记的音频/视频数据，其可以包括(i)获取A/V定时标记并解码时间信息值(TimeAV)；c.(i)通过在由TimeAV值创建的时间线上匹配TimeM值来使运动数据与A/V数据同步，或者(ii)通过在TimeM值创建的时间线上匹配TimeAV值来使A/V数据与运动数据同步。可选地，该方法的匹配可以偏移预定时间值。

Claims (23)

1.一种用于使运动数据与音频/视频流同步的方法，包括：
获取所述音频/视频流，所述音频/视频流包括由运动捕获设备生成的至少一个定时标记，所述至少一个定时标记是所述音频/视频流中的至少一个音频表示形式和/或至少一个视频表示形式；
处理所述音频/视频流以检测所述音频/视频流中的所述至少一个音频表示形式和/或所述至少一个视频表示形式；
获取与所述音频/视频流关联并且由所述运动捕获设备捕获的运动数据，以及用于所述运动数据的定时信息，所述定时信息包括关于至少一个定时标记的定时信息；以及
输出具有检测到的所述至少一个定时标记的所述音频/视频流以及具有所述定时信息的运动数据。
2.根据权利要求1所述的方法，其中，获取所述运动数据包括：与生成所述至少一个定时标记基本上同时地开始通过所述运动捕获设备的至少一个运动传感器捕获所述运动数据。
3.根据权利要求1或2所述的方法，还包括：基于所述定时信息和在所述音频/视频流中检测到的所述至少一个定时标记使所述运动数据与所述音频/视频流同步，由此输出所述音频/视频流包括输出与所述音频/视频流同步的所述运动数据。
4.根据权利要求3所述的方法，其中，同步所述运动数据包括：通过基于所述至少一个定时标记改变所述运动数据的所述定时信息以与所述音频/视频流对齐来生成同步运动文件。
5.根据权利要求3所述的方法，还包括：基于所述运动数据与所述音频/视频流同步，生成包括所述运动数据到所述音频/视频流的映射的定时文件。
6.根据权利要求1所述的方法，还包括：输出与所述音频/视频流的播放同步的所述运动数据。
7.根据权利要求6所述的方法，其中，输出所述运动数据包括：基于所述运动数据引起至少一个运动系统的移动。
8.根据权利要求1所述的方法，还包括：生成包括用于引起至少一个运动系统的移动的指令的运动文件，所述运动文件基于所述运动数据并且所述运动文件与所述音频/视频流对齐。
9.根据权利要求2所述的方法，其中，使所述运动数据与所述音频/视频流同步包括：使所述运动数据的数据点与所述音频/视频流中的所述至少一个定时标记对齐。
10.根据权利要求9所述的方法，其中，使所述运动数据的数据点与所述音频/视频流中的所述至少一个定时标记对齐包括：使所述运动数据的零点与所述音频/视频流的对应的零点对齐。
11.根据权利要求1所述的方法，还包括：生成在获取所述音频/视频流时用于在所述音频/视频流中捕获的至少一个定时标记。
12.根据权利要求11所述的方法，其中，生成所述至少一个定时标记包括：响应于用户输入生成所述至少一个定时标记。
13.根据权利要求1所述的方法，其中，输出具有检测到的所述至少一个定时标记的所述音频/视频流包括：调整所述运动数据的定时信息并且输出与所述音频/视频流同步的经调整的所述运动数据。
14.一种用于使运动数据与音频/视频流同步的同步设备，包括：
标记检测模块，用于
获取包括由运动捕获设备生成的至少一个定时标记的音频/视频流，所述至少一个定时标记是所述音频/视频流中的至少一个音频表示形式和/或至少一个视频表示形式；并且用于
处理所述音频/视频流以检测所述音频/视频流中的所述至少一个音频表示形式和/或所述至少一个视频表示形式；以及
同步模块，用于
获取与所述音频/视频流关联并且由所述运动捕获设备捕获的运动数据以及用于所述运动数据的定时信息，所述定时信息包括关于所述至少定时标记的定时信息；并且用于
通过使用所述定时信息和所识别的至少一个定时标记使所述运动数据的数据点与所述音频/视频流对齐，使所述运动数据与音频/视频流同步并且输出所述运动数据。
15.根据权利要求14所述的同步设备，其中，同步所述运动数据包括：通过基于所述至少一个定时标记改变所述运动数据的所述定时信息以与所述音频/视频流对齐来生成同步运动文件。
16.根据权利要求14或15所述的同步设备，其中，所述同步设备还配置为用于：基于同步来生成包括所述运动数据到所述音频/视频流的映射的定时文件。
17.根据权利要求14所述的同步设备，其中，所述同步设备还配置为用于：输出与所述音频/视频流的播放同步的所述运动数据。
18.根据权利要求17所述的同步设备，其中，输出所述运动数据包括：基于所述运动数据引起至少一个运动系统的移动。
19.根据权利要求14所述的同步设备，所述同步设备还配置为用于：生成包括用于引起至少一个运动系统的移动的指令的运动文件，所述运动文件基于所述运动数据并且所述运动文件与所述音频/视频流对齐。
20.根据权利要求14所述的同步设备，其中，用于同步所述运动数据的所述同步模块包括：使所述运动数据的数据点与所述音频/视频流中的所述至少一个定时标记对齐。
21.根据权利要求20所述的同步设备，其中，使所述运动数据的数据点与所述音频/视频流中的所述至少一个定时标记对齐包括：使所述运动数据的零点与所述音频/视频流的对应的零点对齐。
22.一种用于使运动数据与音频/视频流同步的同步系统，包括：
根据权利要求14至21中任一项所述的同步设备；以及
运动捕获设备，包括：
定时标记生成器，生成用于在所述音频/视频流中捕获的所述至少一个定时标记；以及
运动传感器，用于与生成所述定时标记基本上同时地开始捕获所述运动数据。
23.根据权利要求22所述的同步系统，其中，所述运动捕获设备还包括用户输入，其中，所述定时标记生成器被配置为用于响应于所述用户输入的执行来生成所述至少一个定时标记。
CN201880021107.0A 2017-01-26 2018-01-26 捕获运动并使运动与记录的音频/视频同步 Active CN110476437B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762450754P 2017-01-26 2017-01-26
US62/450,754 2017-01-26
PCT/CA2018/050096 WO2018137040A1 (en) 2017-01-26 2018-01-26 Capturing and synchronizing motion with recorded audio/video

Publications (2)

Publication Number Publication Date
CN110476437A CN110476437A (zh) 2019-11-19
CN110476437B true CN110476437B (zh) 2022-04-15

Family

ID=62977878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021107.0A Active CN110476437B (zh) 2017-01-26 2018-01-26 捕获运动并使运动与记录的音频/视频同步

Country Status (6)

Country Link
US (1) US11140372B2 (zh)
JP (1) JP7184780B2 (zh)
KR (1) KR102471667B1 (zh)
CN (1) CN110476437B (zh)
CA (1) CA3051610A1 (zh)
WO (1) WO2018137040A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107010B2 (en) * 2005-01-05 2012-01-31 Rovi Solutions Corporation Windows management in a television environment
KR102215256B1 (ko) 2019-11-18 2021-02-15 주식회사 인공지능연구원 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법
CN115065844B (zh) * 2022-05-24 2023-09-12 北京跳悦智能科技有限公司 一种主播肢体动作节奏的自适应调整方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326405A (zh) * 2009-02-23 2012-01-18 高通股份有限公司 视频内容呈现
CN103257620A (zh) * 2012-02-20 2013-08-21 Cj4Dplex有限公司 利用了影像与摇摆之间时间同步的摇摆控制系统及其方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6604064B1 (en) * 1999-11-29 2003-08-05 The United States Of America As Represented By The Secretary Of The Navy Moving weapons platform simulation system and training method
WO2002050753A1 (en) 2000-12-20 2002-06-27 Ar Vision Inc. Method for making simulator program and simulator system using the method
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
US20060256234A1 (en) 2005-04-26 2006-11-16 Philippe Roy Method and apparatus for encoding a motion signal with a sound signal
JP2009521170A (ja) * 2005-12-22 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 透かしによるスクリプト同期化方法
EP1858005A1 (en) * 2006-05-19 2007-11-21 Texthelp Systems Limited Streaming speech with synchronized highlighting generated by a server
US9138656B2 (en) 2006-06-14 2015-09-22 D-Box Technologies Inc. Control of a plurality of motion platforms in synchrony with a sequence of images
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US8628453B2 (en) * 2008-12-05 2014-01-14 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
CN102438714B (zh) * 2009-03-25 2013-08-21 迪宝克技术公司 在多座环境中分布动作信号的方法和装置
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US9699431B2 (en) * 2010-02-10 2017-07-04 Satarii, Inc. Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9626554B2 (en) * 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US8941723B2 (en) * 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US20120294594A1 (en) 2011-05-17 2012-11-22 Jer-Min Hsiao Audio-video synchronization method and audio-video synchronization module for performing audio-video synchronization by referring to indication information indicative of motion magnitude of current video frame
US20130036353A1 (en) 2011-08-05 2013-02-07 At&T Intellectual Property I, L.P. Method and Apparatus for Displaying Multimedia Information Synchronized with User Activity
KR20130134130A (ko) * 2012-05-30 2013-12-10 한국전자통신연구원 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US8842969B2 (en) * 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US10292647B1 (en) * 2012-12-19 2019-05-21 Alert Core, Inc. System and method for developing core muscle usage in athletics and therapy
US9261960B2 (en) * 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9609373B2 (en) * 2013-10-25 2017-03-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Presentation timeline synchronization across audio-video (AV) streams
EP2870984A1 (en) 2013-11-08 2015-05-13 Beats Medical Limited A system and method for selecting an audio file using motion sensor data
JP6664069B2 (ja) * 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US9374477B2 (en) 2014-03-05 2016-06-21 Polar Electro Oy Wrist computer wireless communication and event detection
US9436278B2 (en) * 2014-04-01 2016-09-06 Moju Labs, Inc. Motion-based content navigation
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US9674438B2 (en) * 2014-07-06 2017-06-06 Apple Inc. Low light video image stabilization strength modulation
US10086208B2 (en) * 2015-02-27 2018-10-02 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating authorized telemetry with an implantable device
US9833700B2 (en) * 2015-06-11 2017-12-05 Oculus Vr, Llc Connectable hand-held controllers for virtual-reality systems
US20180296163A1 (en) * 2015-07-27 2018-10-18 Google Inc. Altering Physiological Signals Based On Patient Movement
KR20170052976A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 모션을 수행하는 전자 장치 및 그 제어 방법
US9880627B2 (en) * 2015-12-15 2018-01-30 Immersion Corporation Automated haptic setting generation
US20170336220A1 (en) * 2016-05-20 2017-11-23 Daqri, Llc Multi-Sensor Position and Orientation Determination System and Device
US10506163B2 (en) * 2016-06-10 2019-12-10 Invensense, Inc. Systems and methods for synchronizing sensor data
WO2018120092A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Positional analysis using computer vision sensor synchronization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326405A (zh) * 2009-02-23 2012-01-18 高通股份有限公司 视频内容呈现
CN103257620A (zh) * 2012-02-20 2013-08-21 Cj4Dplex有限公司 利用了影像与摇摆之间时间同步的摇摆控制系统及其方法

Also Published As

Publication number Publication date
US20190373237A1 (en) 2019-12-05
KR102471667B1 (ko) 2022-11-25
CA3051610A1 (en) 2018-08-02
WO2018137040A1 (en) 2018-08-02
JP2020505861A (ja) 2020-02-20
US11140372B2 (en) 2021-10-05
CN110476437A (zh) 2019-11-19
KR20190110566A (ko) 2019-09-30
JP7184780B2 (ja) 2022-12-06

Similar Documents

Publication Publication Date Title
JP6664137B2 (ja) 触感記録および再生
US9667907B2 (en) System and method for haptic integration and generation in multimedia devices
US10444843B2 (en) Systems and methods for converting sensory data to haptic effects
CN110476437B (zh) 捕获运动并使运动与记录的音频/视频同步
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
CN109522280B (zh) 一种图像文件格式及生成方法及装置及应用
JP6664071B2 (ja) マルチメディアデータで使用する触覚データを記録するシステムおよび方法
CN102929386B (zh) 一种动感重现虚拟现实的方法及系统
KR20120053006A (ko) 개선된 오디오／비디오 방법들 및 시스템들
EP3090571A1 (en) Video metadata
US20210166532A1 (en) Drive control device, drive control method, and program
US11790952B2 (en) Pose estimation for video editing
Sexton et al. Automatic CNN-based enhancement of 360° video experience with multisensorial effects
TWI694851B (zh) 虛擬跑步系統用之影像及梯度訊號取得裝置與虛擬跑步系統
WO2016072130A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant