CN109711421A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN109711421A
CN109711421A CN201711008770.0A CN201711008770A CN109711421A CN 109711421 A CN109711421 A CN 109711421A CN 201711008770 A CN201711008770 A CN 201711008770A CN 109711421 A CN109711421 A CN 109711421A
Authority
CN
China
Prior art keywords
frame
signal frame
input
original signal
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711008770.0A
Other languages
English (en)
Inventor
肖泽东
郑远力
陈宗豪
顾照鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711008770.0A priority Critical patent/CN109711421A/zh
Priority to PCT/CN2018/111691 priority patent/WO2019080879A1/zh
Priority to EP18871662.5A priority patent/EP3614256B1/en
Publication of CN109711421A publication Critical patent/CN109711421A/zh
Priority to US16/599,004 priority patent/US11245763B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种数据处理方法和装置，所述方法包括：若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据第一数据采集器的第一原始信号帧生成补充信号帧，并根据第二帧率确定所述补充信号帧的输入时间戳；若当前时间达到补充信号帧的输入时间戳，则将补充信号帧输入到第一数据采集器的第一输入队列，并获取第二数据采集器当前输入到第二输入队列的第二原始信号帧；将第一输入队列中的补充信号帧与第二输入队列中的第二原始信号帧进行信号融合。采用本发明，可以将任意两个传感器的信号帧进行融合，以确保在输出较高帧率的估计量的同时，进一步提高测量精度。

Description

一种数据处理方法和装置
技术领域
本发明涉及互联网技术领域，尤其涉及一种数据处理方法和装置。
背景技术
随着科学技术的快速发展，衍生出了各式各样的传感设备(如：加速度计、陀螺仪、视觉图像传感器、惯性传感器和雷达等)。这些传感器可融合应用于各类可移动设备(比如，智能机器人，虚拟现实和增强现实设备)中以提供定位导航功能。比如，在机器人定位导航过程中，可以通过陀螺仪和雷达等传感器所采集到的传感信号之间的信号融合，来估计机器人的位置信息。
目前，由于各类传感器均按照一定的帧率输出这些离散的传感信号(比如，图像传感器输出传感信号的帧率为30Hz，惯性传感器输出传感信号的帧率通常大于100Hz，例如，500Hz)，因此，可将这些传感信号(即惯性传感器信号和图像传感器信号)输入到信号处理器中进行传感器信号融合。
为了输出较高的帧率，往往考虑以高帧率的传感器信号帧率输出，但是由于低帧率的图像传感器的输出帧率小于高帧率的惯性传感器的输出帧率，因此，在低帧率的图像传感器的任意两个图像传感器信号的输入间隔时长内，可以有多个高帧率的惯性传感器的惯性传感器信号。于是，在该输入间隔时长内进行信号融合的过程中，缺少用于校正该高帧率传感信号输入的低帧率传感信号，进而无法得到准确的估计量，从而导致估计出的位置信息严重偏离真实值。
发明内容
本发明实施例提供一种数据处理方法和装置，可以确保在输出较高帧率的估计量的同时，进一步提高测量精度。
本发明一方面提供了一种数据处理方法，包括：
若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；
若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。
其中，所述根据所述第一数据采集器的第一原始信号帧生成补充信号帧，包括：
在所述第一数据采集器的所述第一输入队列中提取所述第一数据采集器对应的目标第一原始信号帧，并根据所述目标第一原始信号帧生成所述第一输入队列对应的补充信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述补充信号帧的值与所述目标第一原始信号帧的值相同。
其中，所述根据所述第一数据采集器的第一原始信号帧生成补充信号帧，包括：
在所述第一数据采集器的第一输入队列中提取历史第一原始信号帧以及目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
根据所述历史第一原始信号帧估算第一补帧参量；
根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第一补帧参量对应的补帧间隔时长；
根据所述目标第一原始信号帧、所述第一补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述根据所述第一数据采集器的第一原始信号帧生成补充信号帧，包括：
在所述第一数据采集器的第一输入队列中提取目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
获取第二补帧参量；
根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第二补帧参量对应的补帧间隔时长；
根据所述目标第一原始信号帧、所述第二补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述根据所述第二帧率确定所述补充信号帧的输入时间戳，包括：
根据所述第二帧率计算待输入到所述第二输入队列的第二原始信号帧的输入时间戳，作为所述补充信号帧的输入时间戳。
其中，所述根据所述第二帧率确定所述补充信号帧的输入时间戳，包括：
根据所述目标第一原始信号帧的输入时间戳和所述补帧间隔时长确定所述补充信号帧的输入时间戳。
其中，在所述若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳之前，还包括：
获取第一输入队列中的目标第一原始信号帧以及第二输入队列中的目标第二原始信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
若所述目标第二原始信号帧的输入时间戳小于所述目标第一原始信号帧的输入时间戳，则在当前时间达到所述目标第一原始信号帧的输入时间戳时，将所述第一数据采集器中的所述目标第一原始信号帧和所述第二数据采集器中的所述目标第二原始信号帧进行信号融合。
其中，所述方法还包括：
将所述第一输入队列中的所述补充信号帧作为所述第一数据采集器的目标第一原始信号帧，并根据所述目标第一原始信号帧生成目标补充信号帧；
在当前时间达到所述目标补充信号帧的输入时间戳时，将所述第一输入队列中的所述目标补充信号帧与所述第二输入队列中的目标第二原始信号帧进行信号融合。
本发明另一方面提供了一种数据处理装置，包括：
补充帧生成模块，用于若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧；
时间戳确定模块，用于若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第二帧率确定所述补充信号帧的输入时间戳；
信号帧输入模块，用于若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
融合模块，用于将所述第一输入队列中的所述补充信号帧与所述第二输入队列中的所述第二原始信号帧进行信号融合。
其中，所述补充帧生成模块，具体用于在所述第一数据采集器的所述第一输入队列中提取所述第一数据采集器对应的目标第一原始信号帧，并将所述目标第一原始信号帧作为补充信号帧。
其中，所述补充帧生成模块包括：
第一提取单元，用于在所述第一数据采集器的第一输入队列中提取历史第一原始信号帧以及目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
参量估算单元，用于根据所述历史第一原始信号帧估算第一补帧参量；
第一计算单元，用于根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第一补帧参量对应的补帧间隔时长；
第一生成单元，用于根据所述目标第一原始信号帧、所述第一补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述补充帧生成模块包括：
第二提取单元，用于在所述第一数据采集器的第一输入队列中提取目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
参量获取单元，用于获取第二补帧参量；
第二计算单元，用于根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第二补帧参量对应的补帧间隔时长；
第二生成单元，用于根据所述目标第一原始信号帧、所述第二补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述时间戳确定模块，具体用于根据所述第二帧率计算待输入到所述第二输入队列的第二原始信号帧的输入时间戳，作为所述补充信号帧的输入时间戳。
其中，所述时间戳确定模块，具体用于根据所述目标第一原始信号帧的输入时间戳和所述补帧间隔时长确定所述补充信号帧的输入时间戳。
其中，信号帧获取模块，用于获取第一输入队列中的目标第一原始信号帧以及第二输入队列中的目标第二原始信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
所述融合模块，还用于若所述目标第二原始信号帧的输入时间戳小于所述目标第一原始信号帧的输入时间戳，则在当前时间达到所述目标第一原始信号帧的输入时间戳时，将所述第一数据采集器中的所述目标第一原始信号帧和所述第二数据采集器中的所述目标第二原始信号帧进行信号融合。
可选的，所述补充帧生成模块，还用于将所述第一输入队列中的所述补充信号帧作为所述第一数据采集器的目标第一原始信号帧，并根据所述目标第一原始信号帧生成目标补充信号帧；
所述融合模块，还用于在当前时间达到所述目标补充信号帧的输入时间戳时，将所述第一输入队列中的所述目标补充信号帧与所述第二输入队列中的目标第二原始信号帧进行信号融合
本发明另一方面提供了一种数据处理装置，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本发明实施例中一方面中的方法。
本发明实施例另一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中一方面中的方法。
本发明实施例通过在第一数据采集器的第一帧率小于第二数据采集器的第二帧率时，根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。由此可见，在当前时间达到所述补充信号帧的输入时间戳时，可将基于第一原始信号帧所生成的补充信号帧作为该第一数据采集器的输入信号(即将补帧处理后所得的补充信号帧输入到第一输入队列)，从而可使补充信号帧与该第二数据采集器的目标输入信号(即当前输入到第二队列中的具有最大的输入时间戳的第二原始信号帧)进行信号融合。此外，基于该第二数据采集器的第二帧率，可确保该第二数据采集器每输入一个目标第二原始信号帧，都存在一个与其对应的信号帧(比如，补充信号帧)对其进行校正，以确保在输出较高帧率的估计量的同时，进一步提高测量精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络架构的结构示意图；
图2是本发明实施例提供的一种数据处理方法的流程示意图；
图3是本发明实施例提供的一种融合信号帧的示意图；
图4是本发明实施例提供的另一种数据处理方法的流程示意图；
图5是本发明实施例提供的融合信号帧的示意图；
图6是本发明实施例提供的一种生成补充信号帧的示意图；
图7是本发明实施例提供的一种计算目标补充信号帧的输入时间戳的示意图；
图8是本发明实施例提供的一种数据处理装置的结构示意图；
图9是本发明实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例提供的一种网络架构的结构示意图。如图1所示，所述网络架构可以包括智能终端2000以及数据采集器集群；所述数据采集器集群可以包括多个传感器，如图1所示，具体包括传感器3000a、传感器3000b、…、传感器3000n；
所述传感器3000a、传感器3000b、…、传感器3000n可以分别与所述智能终端2000进行网络连接。这些传感器(比如，传感器3000a、传感器3000d、传感器3000e…、传感器3000n)可以集成于该智能终端中，可选的，这些传感器(比如，传感器3000b、传感器3000c)也可以作为独立的采集设备而附在该智能终端上。
如图1所示，所述智能终端2000可用于接收各传感器所采集到的传感信号，并对这些传感信号进行解析，以得到与各传感器的原始信号帧分别对应的输入时间戳。其中，各传感信号均为离散时间信号，且各传感器均按一定的帧率分别输出这些离散时间信号，因此，该智能终端可以在不同的输入时间戳时接收到各传感器所输入的传感信号，并基于低帧率传感器的输入信号(即第一原始信号帧)生成补充信号帧，以对低帧率传感器的输入信号进行补充输入，并在当前时间达到该补充信号帧的输入时间戳时，将该补充信号帧与高帧率传感器的输入信号(即目标第二原始信号帧，所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧)进行信号融合，以确保在输出高帧率估计量的同时，还可提高测量精度，以进一步得到准确的位置信息。
比如，以该智能终端2000为虚拟现实(VR，virtual reality)头盔为例，该VR头盔可以同时与多个传感器(例如，可以与图1所示的传感器3000a，传感器3000b和传感器3000c)进行网络连接。其中，传感器3000a的输出帧率(即第一帧率)为aHz，传感器3000b的输出帧率(即第二帧率)为bHz，传感器3000c的输出帧率(即第三帧率)为cHz，且这三个输出帧率的大小关系满足：第一帧率小于第二帧率，第二帧率小于第三帧率，即传感器3000c为最高帧率传感器，传感器3000b为较低帧率传感器，传感器3000a为最低帧率传感器。因此，其它两个传感器(3000a和3000b)的输入信号(补充信号帧)在与最高帧率传感器(3000c)的输入信号(目标第三原始信号帧，所述目标第三原始信号帧为第三输入队列中具有最大的输入时间戳的第三原始信号帧)进行信号融合之前，需要预先对传感器3000a和传感器3000b的输入信号分别进行补帧处理，以得到待输入到该传感器3000a的第一输入队列中的补充信号帧A，并得到待输入到该传感器3000b的第二输入队列中的补充信号帧B。随后，该VR头盔可进一步在当前时间到达该目标第三原始信号帧的输入时间戳时，将补充信号帧A，补充信号帧B以及目标第三原始信号帧进行同步融合，以确保在输出高帧率估计量的同时，还可提高该VR头盔的测量精度，以进一步得到准确的位置信息。
其中，所述智能终端2000生成所述补充信号帧以及信号融合的具体过程可以参见如下图2至图7对应的实施例。
进一步的，请参见图2，是本发明实施例提供的一种数据处理方法的流程示意图。如图2所示，所述方法可以包括：
步骤S101，若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；
具体地，若数据处理装置检测到第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则可进一步根据所述第一数据采集器的目标第一原始信号帧生成补充信号帧，该补充信号帧的值可与目标第一原始信号帧的值相同，即所述目标第一原始信号帧可以为第一输入队列中具有最大的输入时间戳的第一原始信号帧，换言之，该目标第一原始信号帧可以为最新输入到该数据处理装置中的第一原始信号帧；可选的，所述数据处理装置还可根据所述第一数据采集器的历史第一原始信号帧和目标第一原始信号帧生成补充信号帧；可选的，所述数据处理装置还可根据外界额外输入的信号和目标第一原始信号帧生成补充信号帧。随后，所述数据处理装置可进一步根据第二帧率确定所述补充信号帧的输入时间戳。
应当理解，在生成所述补充信号帧的过程中，所述第一原始信号帧可以包括历史第一原始信号帧和目标第一原始信号帧。其中，所述目标第一原始信号帧可以为第一输入队列中具有最大的输入时间戳的第一原始信号帧，即该第一输入队列中最新输入的第一原始信号帧。所述历史第一原始信号帧可以为已输入到第一输入队列中的第一数据采集器(比如：上述图1所对应实施例中的传感器3000a)自身所采集到的传感信号。可选的，所述历史第一原始信号帧还可以为已输入到第一输入队列中用于对该第一数据采集器的输入信号进行补充输入的补充信号帧。
其中，所述数据处理装置可以集成应用于任何一种智能终端(例如，上述图1所对应实施例中的智能终端2000)，此外，所述智能终端可以包括：智能手机、平板电脑、桌上型电脑、智能电视、VR眼镜、VR手套、VR头盔、增强现实(AR，Augmented Reality)设备(比如，AR眼镜)或者人工智能机器人。此外，所述智能终端可以包括用户操作界面，如键盘、鼠标、操纵杆、触摸屏或者显示器，以便于任何适合的用户输入可以与该智能终端进行交互，比如，可通过手动输入命令、声音控制、手势控制或者方位信息等控制该智能终端。
此外，该智能终端可以与多个数据采集器(例如，可以同时与上述图1所对应实施例中的多个传感器)相连，这些传感器可以集成于该智能终端中，也可以作为单独的显示设备而独立存在，即这些传感设备可以永久的或者可移除的附在该智能终端上。这些传感设备可以包括但不限于：GPS(Global Positioning System，全球定位系统)传感器、惯性传感器、位姿传感器、近距离传感器或者视觉图像传感器。因此，该智能终端可以接收这些传感器(比如，GPS传感器和位姿传感器)所采集到的传感信号(即可接收第一数据采集器采集到的第一原始信号帧以及第二数据采集器所采集到的第二原始信号帧)，并对这些传感信号进行分析，以得到与各传感器的原始信号帧分别对应的输入时间戳。其中，所述输入时间戳是指从系统开机时计时所统计到的相对时间戳。其中，各传感信号均为离散时间信号，且各传感器均按一定的帧率分别输出这些离散时间信号，因此，该智能终端可以在不同的输入时间戳时接收不同离散时间信号的输入。比如，可在输入时间戳为50ms时接收第一数据采集器所输入的第一原始信号帧，并在输入时间戳为48ms时接收第二数据采集器所输入的第二原始信号帧。其中，所述第一原始信号帧和第二原始信号帧可以为描述该智能终端的方位、方向、速度、或者加速度中的一种或者多种的离散时间信号。
其中，当第一数据采集器的输出帧率(即第一帧率)小于第二数据采集器的输出帧率(即第二帧率)时，应用于该智能终端中的所述该数据处理装置可对该第一数据采集器进行补帧处理，即该数据处理装置可对该第一数据采集器所输入的传感信号进行补充输入，即该数据处理装置可基于该第一数据传感器最新输入的传感信号(即具有最大输入时间戳的传感信号)，生成该第一数据传感器的补充信号帧(即该补充信号帧可以用于与第二数据采集器的下一个传感信号进行信号融合)。因此，在生成该补充信号帧(新的传感信号)的过程中，可重复利用该第一数据采集器(即低帧率传感器)最新输入的第一原始信号帧(即该第一数据采集器的输入队列中的目标第一原始信号帧，所述目标第一原始信号帧为该输入队列中具有最大的输入时间戳的第一原始信号帧)生成补充信号帧，从而可及时有效地对该低帧率传感器的输入信号进行补充输入，以确保低帧率传感器的输出时间能对准高帧率传感器的输出时间。
为便于更好的理解本方案，本发明实施例仅以该智能终端与两个数据采集器相连为例，即该智能终端中的数据处理装置可用于接收第一数据采集器所输入的第一原始信号帧和第二数据采集器所输入的第二原始信号帧。其中，所述第一数据采集器可以为低帧率传感器(例如，输出帧率为30Hz的视觉图像传感器)，所述第二数据采集器可以为高帧率传感器(例如，输出帧率为250Hz的惯性传感器)，进而该数据处理装置可进一步执行步骤S101-步骤S103，以使低帧率传感器的输出时间对准高帧率传感器的输出时间，以得到更准确的融合估计量，从而可以得到该智能终端当前准确的方位和/或运动信息。当然，当存在三个或三个以上具备不同帧率的数据采集器同步将传感信号输入到该智能终端中时，该智能终端仍可重复利用低帧率传感器最新输入的原始信号帧(即可重复利用第一输入队列中具有最大输入时间戳的第一原始信号帧)，生成与该最高帧率传感器对应的补充信号帧，从而可同步各传感器的输出时间，以便于与该最高帧率传感器进行信号融合。
步骤S102，若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
其中，所述第一输入队列，用于存储所述第一数据采集器所采集到的各离散时间信号(即历史第一原始信号帧)以及待输入的补充信号帧，若所述数据处理装置检测到当前时间达到所述补充信号帧的输入时间戳，则将该待输入的补充信号帧输入到所述第一数据采集器的第一输入队列。在该第一输入队列中，每个信号帧彼此对应着互不相同的输入时间戳。
其中，所述第二输入队列，用于存储已输入到所述数据处理装置中的历史第二原始信号帧以及待输入到所述数据处理装置中的第二原始信号帧。若当前时间达到所述补充信号帧的输入时间戳(即第二原始信号帧的输入时间戳)，则所述第二数据采集器可将待输入的第二原始信号帧输入到该第二输入队列中。
因此，该数据处理装置在获取到所述第一数据采集器当前输入的补充信号帧的同时，还可同步获取所述第二数据采集器当前输入的第二原始信号帧，以确保当前时间达到该第二原始信号帧的输入时间戳时，存在一个与该第二原始信号帧匹配的补充信号帧，以便于该数据处理装置可进一步执行步骤S103。
其中，该数据处理装置可以将步骤S101中所描述的三种用于生成补充信号帧的情况中的任意一种情况下的具体生成过程，以及将该补充信号帧输入至该第一输入队列中的具体输入过程作为补帧处理过程。因此，通过该补帧处理过程，该数据处理装置可以确保在低帧率传感器的输出时间对准高帧率传感器的输出时间时，进一步执行步骤S103，以准确输出较高帧率的信号融合估计值。
步骤S103，将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。
具体的，所述数据处理装置在执行完上述步骤S102之后，可进一步将具备相同输入时间戳的补充信号帧和第二原始信号帧进行信号融合，以使融合输出的帧率达到高帧率传感器的输出帧率，从而可准确输出较高帧率的信号融合估计值(即融合后的估计量)，该估计量可用于估计该智能终端(例如，人工智能机器人)当前的位置信息。即所述数据处理装置可将最新接收到的第二原始信号帧与最新接收到的补充信号帧进行信号融合，以得到用于描述该智能终端的方位和/或运动信息的估计量。
进一步的，请参见图3，是本发明实施例提供的一种融合信号帧的示意图。如图3所示，该智能终端为机器人A，且与该机器人A相连的两个数据采集器分别为第一数据采集器和第二数据采集器。其中，所述第一数据采集器可以为视觉图像传感器，该视觉图像传感器的第一帧率(即输出帧率)为FaHz(Fa＝1/Ta，其中，Ta为该视觉图像传感器自身所采集的任意两个图像信号之间的输入间隔时长)，该视觉图像传感器可用于实时采集图像信号，并以输入间隔时长Ta将采集到的各图像信号依次输入到第一输出队列。因此，该第一输入队列中可以存在如图3所示的输入时间戳为50ms的原始信号帧B1，该原始信号帧B1即为该第一输入队列中的目标第一原始信号帧，并可在一个输入间隔时长(比如，Ta＝33ms)之后接收该视觉图像传感器自身所采集到的下一个第一原始信号帧。
如图3所示，所述第二数据采集器可以为惯性传感器，该惯性传感器可以包括：线加速度计和/或角速率陀螺仪，主要是用于检测和测量该机器人A的六自由度姿态信号，且该惯性传感器的输出帧率(即第二帧率)为FbHz(Fb＝1/Tb，其中，Tb为该惯性传感器自身所采集的任意两个六自由度姿态信号之间的输入间隔时长)，因此，该惯性传感器可以每隔一个输入间隔时长(Tb)将采集到的各六自由度姿态信号分别输入到该机器人A的数据处理装置中(比如，该惯性传感器可以以每隔4ms的输入间隔时长将采集到的第二原始信号帧输入到数据处理装置中)。其中，在该惯性传感器的第二输入队列中存在如图3所示的输入时间戳为48ms的原始信号帧b1，该原始信号帧b1为该第二输入队列中的目标第二原始信号帧，且根据该原始信号帧b1的输入时间戳以及输入间隔时长(4ms)可以得到待输入到该第二输入队列中的原始信号帧b2的输入时间戳52ms。
因此，为了使这两个传感器的传感信号在信号融合之后能得到更高的输出帧率，即得到更为准确的估计量。需要对上述低帧率的视觉图像传感器的输入信号进行补帧处理，即可直接重复利用输入时间戳为50ms的原始信号帧B1，即直接对该原始信号帧B1进行复制，以得到与该视觉图像传感器对应的补充信号帧(即如图3所示的补充信号帧C1)，并可在当前时间达到原始信号帧b2的输入时间戳时，将当前输入到第二输入队列中的原始信号帧b2与该第一输入队列中的补充信号帧C1进行信号融合，以使这两个传感器的传感信号在进行信号融合后，得到融合输出的帧率达到高帧率传感器的输出帧率，以确保在输出较高帧率的估计量的同时，进一步提高测量精度，从而可以估计出更为准确的位置信息。
可选的，若只有两个传感器，则可以将低帧率的传感器确定为第一数据采集器，将高帧率的传感器确定为第二数据采集器，以执行上述步骤S101-S103中对第一数据采集器和第二数据采集器的信号融合操作。
可选的，若存在2个或2个以上的传感器，则可以将所有传感器中的最高帧率的传感器确定为第二数据采集器，并将其他任意一个或一个以上的传感器确定为第一数据采集器。其中，所确定出的每个第一数据采集器都可以基于上述S101-S102步骤生成与第二数据采集器对应的补充信号帧，进而上述S103步骤可以理解为：将每个第一数据采集器分别对应的第一输入队列中的补充信号帧共同与当前输入到第二输入队列的第二原始信号帧进行信号融合。例如，若存在3个第一数据采集器，且3个第一数据采集器分别对应的补充信号帧为A、B、C，且当前输入到第二输入队列的第二原始信号帧为D，则可以将A、B、C与D进行4个信号的融合处理，以输出更为精确的估量值。因此，本发明实施例并不对进行信号融合的传感器的数量进行限制。
可选的，若存在3个或3个以上的传感器，则也可以将所有传感器中满足融合信号输出帧率要求且非最高帧率的传感器确定为第二数据采集器。例如，若融合信号输出帧率要求为大于或等于90Hz，且有3个传感器的帧率分别为30Hz、100Hz、300Hz，则可以选择100Hz的传感器作为第二数据采集器。进一步的，还可以在其他帧率小于第二数据采集器的帧率的传感器中，选择任意一个或一个以上的传感器作为第一数据采集器。其中，所确定出的每个第一数据采集器都可以基于上述S101-S102步骤生成与第二数据采集器对应的补充信号帧，进而上述S103步骤可以理解为：将每个第一数据采集器分别对应的第一输入队列中的补充信号帧共同与第二数据采集器最新输出的第二原始信号帧、其他帧率大于第二数据采集器的帧率的传感器最新输出的原始信号帧进行信号融合。例如，若融合信号输出帧率要求为大于或等于150Hz，且有4个传感器的帧率分别为30Hz、100Hz、300Hz、500Hz，则可以选择300Hz的传感器作为第二数据采集器，并将30Hz和100Hz对应的传感器均确定为第一数据采集器，且两个第一数据采集器分别对应的补充信号帧为A、B，第二数据采集器的最新的第二原始信号帧为C，500Hz对应的传感器的最新的原始信号帧为D，则可以将A、B、C与D进行4个信号的融合处理，以输出更为精确的估量值。
本发明实施例通过在第一数据采集器的第一帧率小于第二数据采集器的第二帧率时，根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。由此可见，在当前时间达到所述补充信号帧的输入时间戳时，可将基于第一原始信号帧所生成的补充信号帧作为该第一数据采集器的输入信号(即将补帧处理后所得的补充信号帧输入到第一输入队列)，从而可使补充信号帧与该第二数据采集器的目标输入信号(即当前输入到第二队列中的第二原始信号帧)进行信号融合。此外，基于该第二数据采集器的第二帧率，可确保该第二数据采集器每输入一个目标第二原始信号帧，都存在一个与其对应的信号帧(比如，补充信号帧)对其进行校正，以确保在输出较高帧率的估计量的同时，进一步提高测量精度。
进一步的，请参见图4，是本发明实施例提供的另一种数据处理方法的流程示意图。如图4所示，所述方法可以包括：
步骤S201，获取第一输入队列中的目标第一原始信号帧以及第二输入队列中的目标第二原始信号帧；
其中，在该步骤S201的执行过程中，所述第一输入队列，用于存储所述第一数据采集器所采集到的各离散时间信号(即历史第一原始信号帧)以及目标第一原始补信号帧(例如，上述图3所对应实施例中的原始信号帧B1)。可见，该目标第一原始信号帧可以为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧，即该目标第一原始信号帧可以为最新输入至该第一输入队列中的第一原始信号帧。
其中，所述第二输入队列，用于存储已输入到所述数据处理装置中的历史第二原始信号帧以及最新输入到所述数据处理装置中的第二原始信号帧(例如，上述图3所对应实施例中的原始信号帧b1)，其中，所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧，即该目标第二原始信号帧可以为最新输入至该第二输入队列中的第二原始信号帧。
步骤S202，若所述目标第二原始信号帧的输入时间戳小于所述目标第一原始信号帧的输入时间戳，则在当前时间达到所述目标第一原始信号帧的输入时间戳时，将所述第一数据采集器中的所述目标第一原始信号帧和所述第二数据采集器中的所述目标第二原始信号帧进行信号融合。
进一步的，请参见图5，是本发明实施例提供的另一种融合信号帧的示意图。如图4所示，该智能终端为VR头盔，与VR头盔相连的数据采集器分别为第一数据采集器和第二数据采集器。其中，所述第一数据采集器为位姿传感器，该位姿传感器的第一帧率(即输出帧率)为aHz，该位姿传感器可用于实时采集第一六自由度姿态信号(即第一原始信号帧)，并将采集到的各第一原始信号帧输入到第一输入队列，因此，与该位姿传感器相连的VR头盔可从该第一输入队列中获取到如图5所示的输入时间戳为50ms的目标第一原始信号帧，并将在50ms之前已输入至该第一输入队列中的其余信号帧(即该位姿传感器自身所采集到的第一原始信号帧以及补充输入的补充信号帧)作为历史第一原始信号帧。所述第二数据采集器为惯性传感器，该惯性传感器的第二帧率为bHz，且该惯性传感器的第二帧率大于位姿传感器的第一帧率。该惯性传感器可用于检测和测量人体头部的第二六自由度姿态信号(即第二原始信号帧)，并将采集到各第二原始信号帧输入到第二输入队列，因此，与该第二数据采集器相连的VR头盔可从该第二输入队列中获取到如图5所示的输入时间戳为48ms的目标第二原始信号帧，且可将在48ms之前已输入至该第二输入队列中的其余信号帧(即该惯性传感器自身所采集到的第二原始信号帧)作为历史第二原始信号帧。此时，该VR头盔所获取到的目标第二原始信号帧的输入时间戳(48ms)小于所述目标第一原始信号帧的输入时间戳(50ms)，因此，该VR头盔可在检测到当前时间达到50ms时，将所述第一输入队列中目标第一原始信号帧和所述第二输入队列中目标第二原始信号帧进行信号融合，以准确预估当前时间时人体头部的头部姿态信息。
可见，该VR头盔可对这两个具有不同输出帧率的传感器的输入信号进行帧对帧的融合，即惯性传感器每输入一帧第二六自由度姿态信号，则位姿传感器可对应的将第一输入队列中具有最大的输入时间戳的第一六自由度姿态信号(即目标第一原始信号帧)输入到VR头盔中，以使输入到VR头盔中的目标第一原始信号帧能有效地与目标第二原始信号帧进行融合。由于与该VR头盔相连的两个传感器具有不同的输出帧率，因此，输入到该VR头盔中的两路原始信号帧的输入间隔时长将存在不同(比如，惯性传感器可以每隔4ms输入一次第二六自由度姿态信号，位姿传感器可以每隔33ms输入一次第一六自由度姿态信号)。因此，在两路原始信号帧的输入时间戳不相同的情况下，下一个输入到该VR头盔中的两路原始信号帧的输入时间戳也势必存在不同。因此，为了能使每个输入到该VR头盔中第二原始信号帧能有一对应的第一原始信号帧能与其进行信号融合。该VR头盔可在执行完上述步骤S202之后，进一步对低帧率的传感器的输入信号进行补帧处理，即该VR头盔可进一步执行后续步骤S203-步骤S206，以进一步确保低帧率传感器的输出时间可以对准高帧率传感器的输入时间(具体的，如图5所示，待输入的补充信号帧和待输入的第二原始信号帧具备相同的输入时间戳)，从而实现这两个传感器的输入信号帧的同步，进而可得到更为准确的估计量，以得到更为准确的头部位姿信息。
步骤S203，若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧；
进一步的，请参见图6，是本发明实施例提供的一种计算生成补充信号帧的示意图。如图6所示，所述第一数据采集器的第一输入队列中目标第一原始信号帧的输入时间戳为50ms，该第一数据采集器的输出帧率为aHz，且与该输出帧率对应的输入间隔时长为Ta。如图6所示，所述第二数据采集器的第二输入队列中目标第二原始信号帧的输入时间戳为48ms，该第二数据采集器的输出帧率为bHz，且与该输出帧率对应的输入间隔时长为Tb。此时，由于第一数据采集器的第一帧率小于第二数据采集器的第二帧率(即aHz小于bHz)，故而需要对第一数据采集器的输入信号进行补帧处理，以生成与第一数据采集器对应的补充信号帧。
其中，生成所述补充信号帧的具体过程可以有如下三种情况。
第一种情况，在所述第一数据采集器的所述第一输入队列中提取所述第一数据采集器对应的目标第一原始信号帧，并根据所述目标第一原始信号帧生成所述第一输入队列对应的补充信号帧。其中，所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；此时，所述补充信号帧的值与所述目标第一原始信号帧的值相同，即该数据处理装置可对该第一数据采集器最新采集到的第一原始信号帧进行复制，以得到与该目标第一原始信号帧具有相同值的补帧信号帧。
其中，所述目标第一原始信号帧可以为图6所示的输入时间戳为50ms的第一原始信号帧(比如，上述图5所对应实施例中第一数据采集器自身所采集到的第一六自由度姿态信号)。此时，该VR头盔可重复利用该第一输入队列中的目标第一原始信号帧，即该VR头盔可直接对该第一输入队列中输入时间戳为50ms的第一六自由度姿态信号的值进行复制，以得到与该第一数据采集器对应的补充信号帧。因此，该数据处理装置可进一步执行步骤S204，从而得到该补充信号帧的输入时间戳。
第二种情况，所述数据处理装置首先在所述第一数据采集器的第一输入队列中提取历史第一原始信号帧以及目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；其次，所述数据处理装置可进一步根据所述历史第一原始信号帧估算第一补帧参量；随后，所述数据处理装置可根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第一补帧参量对应的补帧间隔时长；最后，所述数据处理装置可根据所述目标第一原始信号帧、所述第一补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧。
其中，所述第一输入队列中的历史第一原始信号帧可以为该第一数据采集器自身所采集到的历史传感信号(即上述图5所对应实施例中输入时间戳50ms之前所涉及的历史第一六自由度姿态信号)。此时，该VR头盔可通过如图6所示的历史第一原始信号帧(一个或多个历史第一六自由度姿态信号)预估头部运动的速度值V1，即通过历史第一原始信号帧可估算出第一补帧参量，该第一补帧参量为用于描述头部运动情况的速度值V1。
如图6所示，与该第二数据采集器的输出帧率(bHz)对应的输入间隔时长为Tb(例如，Tb＝4ms)，且在第二输入队列中目标第二原始信号帧的输入时间戳为48ms。此时，该VR头盔可根据目标第一原始信号帧的输入时间戳(50ms)、所述目标第二原始信号帧的输入时间戳(48ms)以及所述输入间隔时长(4ms)，计算与头部运动的速度值V1对应的补帧间隔时长，此时，该补帧间隔时长(Δt)＝所述输入间隔时长-输入时间差＝4ms-2ms＝2ms。其中，该输入时间差为所述第一原始信号帧的输入时间戳与所述第二原始信号帧的输入时间戳之间的差值。随后，该VR头盔可重复利用该第一输入队列中的目标第一原始信号帧，头部运动的速度值V1和补帧间隔时长，生成如图6所示的待输入的补充信号帧。此时，(假设所述第一数据采集器的输入间隔时长内的运动模型为匀速模型)该补充信号帧可以表示为：
P＝P-+V1*Δt；
其中，P为生成的补充信号帧，P-为第一输入队列中目标第一原始信号帧。
第三种情况，所述数据处理装置首先在所述第一数据采集器的第一输入队列中提取目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；其次，所述数据处理装置可进一步获取第二补帧参量(该第二补帧参量可以为第三数据采集器所输入的用于描述头部运动情况的值，该第三数据采集器可以为上述图1所对应实施例中的传感设备，还可以为其他具有数据处理能力的外部通信设备，例如，其他VR设备或移动终端)；随后，所述数据处理装置可根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第二补帧参量对应的补帧间隔时长；最后，所述数据处理装置可进一步根据所述目标第一原始信号帧、所述第二补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述目标第一原始信号帧可以为图6所示的输入时间戳为50ms的第一原始信号帧，所述目标第二原始信号帧可以为图6所示的输入时间戳为48ms的第二原始信号帧，且与该第二数据采集器的输出帧率(bHz)对应的输入间隔时长为Tb(例如，Tb＝4s)。与此同时，该VR头盔还可进一步获取到第三数据采集器(例如，运动传感器)所采集到的头部运动的速度值V2(即第二补帧参量，该第二补帧参量也可用于描述头部运动情况)。此时，该VR头盔可根据目标第一原始信号帧的输入时间戳(50ms)、所述目标第二原始信号帧的输入时间戳(48ms)以及所述输入间隔时长(4ms)，计算与头部运动的速度值V2对应的补帧间隔时长(Δt)，此时，该补帧间隔时长(Δt)＝所述输入间隔时长-输入时间差＝4ms-2ms＝2ms。其中，该输入时间差为所述第一原始信号帧的输入时间戳与所述第二原始信号帧的输入时间戳之间的差值。随后，该VR头盔可重复利用该第一输入队列中的目标第一原始信号帧，头部运动的速度值V2和补帧间隔时长，生成如图6所示的待输入的补充信号帧。此时，该补充信号帧可以表示为：
P＝P-+V2*Δt；
其中，P为生成的补充信号帧，P-为第一输入队列中目标第一原始信号帧。
步骤S204，若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第二帧率确定所述补充信号帧的输入时间戳；
具体的，所述数据处理装置可根据所述第二帧率计算待输入到所述第二输入队列的第二原始信号帧的输入时间戳，作为所述补充信号帧的输入时间戳。
比如：以第二帧率为bHz为例，此时，可以得到与该第二帧率对应的输入间隔时长(比如，Tb＝1/b)。因此，只要该VR头盔获取到第二输入队列中目标第二原始信号帧的输入时间戳，则可根据该输入时间戳和Tb计算出待输入到该第二输入队列的第二原始信号帧的输入时间戳。比如，如图6所示的目标第二原始信号帧的输入时间戳为48ms，输入间隔时长Tb＝4ms，则待输入到该第二输入队列的第二原始信号帧的输入时间戳为52ms，此时，该VR头盔可直接将该输入时间戳作为补充信号帧的输入时间戳。
可选的，所述数据处理装置还可根据所述目标第一原始信号帧的输入时间戳和所述补帧间隔时长确定所述补充信号帧的输入时间戳。
比如，当VR头盔获取到第一输入队列中目标第一原始信号帧的输入时间戳为50ms，且补帧间隔时长可以为上述第二种情况和第三种情况所描述的补帧间隔时长(Δt＝2ms)时，该VR头盔可进一步确定待输入到该第一输入队列的第一补充信号帧的输入时间戳(即52ms)。
步骤S205，若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
如图6所示，若当前时间到达所述补充信号帧的输入时间戳(即52ms)，可将步骤S204中所生成的补充信号帧输入到第一输入队列，并获取当前输入到第二输入队列中的第二原始信号帧，以便于进一步执行步骤S206。
步骤S206，将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合；
其中，步骤S205-步骤S206的具体实现过程可参加上述图2所对应实施例中对步骤S102-步骤S103的描述，且融合该补充信号帧第二原始信号帧的具体过程可参见上述图3所对应实施例对信号融合的描述，这里将不再继续进行赘述。
步骤S207，将所述第一输入队列中的所述补充信号帧作为所述第一数据采集器的目标第一原始信号帧，并根据所述目标第一原始信号帧生成目标补充信号帧；
具体的，所述步骤S207的具体实现过程可参加上述图2所对应实施例中的步骤S101，也可参加上述图6所对应实施例中对所述补充信号帧的具体描述，这里将不再继续进行赘述。
进一步的，请参见图7，是本发明实施例提供的一种计算目标补充信号帧的输入时间戳的示意图。如图7所示，在所述第一数据采集器的第一输入队列中，存在输入时间戳为50ms的历史第一原始信号帧，以及输入时间戳为52ms的目标第一原始信号帧。此时，所述历史第一原始信号帧为上述图6所对应实施例中的该第一数据采集器自身所采集到的第一原始信号帧，所述目标第一原始信号帧为上述图6所对应实施例中的补充信号帧。如图7所示，在所述第二数据采集器的第二输入队列中，存在输入时间戳为48ms的历史第二原始信号帧，以及输入时间戳为52ms的目标第二原始信号帧。此时，所述历史第二原始信号帧为上述图6所对应实施例中的该第二数据采集器自身所采集到的第二原始信号帧，所述目标第二原始信号帧为上述图6所对应实施例中与补充信号帧具有相同输入时间戳的第二原始信号帧。
由于第二数据采集器的输入间隔时长(Tb＝4ms)，且此时所述目标第二原始信号帧的输入时间戳为52ms，因此，该数据处理装置可根据该输入时间戳(52ms)以及输入间隔时长(Tb)确定待输入到该第二输入队列中的第二原始信号帧的输入时间戳(即56ms)，并将该第二原始信号帧的输入时间戳作为待输入至第一输入队列中的目标补充信号帧的输入时间戳。
可选的，计算该目标补充信号帧的输入时间戳的具体过程，还可根据所述目标第一原始信号帧的输入时间戳(52ms)和补帧间隔时长(Δt’)之和，以进一步确定待输入至第一输入队列中的目标补充信号帧的输入时间戳(即56ms)。此时，应当理解，所述补帧间隔时长为如图7所示的第二原始信号帧的输入间隔时长(即Δt’＝Tb)。
步骤S208，在当前时间达到所述目标补充信号帧的输入时间戳时，将所述第一输入队列中的所述目标补充信号帧与所述第二输入队列中的目标第二原始信号帧进行信号融合。
具体的，所述步骤S208的具体实现过程可参加上述图2所对应实施例中对所述步骤S103中的信号融合的描述，这里将不再继续进行赘述。
本发明实施例通过在第一数据采集器的第一帧率小于第二数据采集器的第二帧率时，根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。由此可见，在当前时间达到所述补充信号帧的输入时间戳时，可将基于第一原始信号帧所生成的补充信号帧作为该第一数据采集器的输入信号(即将补帧处理后所得的补充信号帧输入到第一输入队列)，从而可使补充信号帧与该第二数据采集器的目标输入信号(即当前输入到第二队列中的第二原始信号帧)进行信号融合。此外，基于该第二数据采集器的第二帧率，可确保该第二数据采集器每输入一个目标第二原始信号帧，都存在一个与其对应的信号帧(比如，补充信号帧)对其进行校正，以确保在输出较高帧率的估计量的同时，进一步提高测量精度。
进一步的，请参见图8，是本发明实施例提供的一种数据处理装置的结构示意图。如图8所示，所述数据处理装置1可应用于智能终端，且所述智能终端可以包括：智能手机、平板电脑、桌上型电脑、智能电视、VR眼镜、VR手套、VR头盔、增强现实设备(比如，AR眼镜)或者人工智能机器人。所述数据处理装置1可以包括：补充帧生成模块10，时间戳确定模块20，信号帧输入模块30，融合模块40和信号帧获取模块50；
所述补充帧生成模块10，用于若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧；
其中，所述补充帧生成模块10，具体用于在所述第一数据采集器的所述第一输入队列中提取所述第一数据采集器对应的目标第一原始信号帧，并根据所述目标第一原始信号帧生成所述第一输入队列对应的补充信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述补充信号帧的值与所述目标第一原始信号帧的值相同。
可选的，所述补充帧生成模块10包括：第一提取单元101，参量估算单元102，第一计算单元103和第一生成单元104；进一步的，所述补充帧生成模块10还包括：第二提取单元105，参量获取单元106，第二计算单元107和第二生成单元108；
所述第一提取单元101，用于在所述第一数据采集器的第一输入队列中提取历史第一原始信号帧以及目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
所述参量估算单元102，用于根据所述历史第一原始信号帧估算第一补帧参量；
所述第一计算单元103，用于根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第一补帧参量对应的补帧间隔时长；
所述第一生成单元104，用于根据所述目标第一原始信号帧、所述第一补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述第一提取单元101，参量估算单元102，第一计算单元103和第一生成单元104的具体实现方式可参见上述图4所对应实施例中的对第二种情况中生成所述补充信号帧的具体过程的描述，这里将不再继续进行赘述。
应当理解，所述补充帧生成模块10中的所述第一提取单元101，参量估算单元102，第一计算单元103和第一生成单元104在用于生成所述补充信号帧时，所述第二提取单元105，参量获取单元106，第二计算单元107和第二生成单元108将不被用于生成所述补充信号帧。反之也可成立，即所述补充帧生成模块10中的所述第二提取单元105，参量获取单元106，第二计算单元107和第二生成单元108在用于生成所述补充信号帧时，所述第一提取单元101，参量估算单元102，第一计算单元103和第一生成单元104将不被用于生成所述补充信号帧。
所述第二提取单元105，用于在所述第一数据采集器的第一输入队列中提取目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
所述参量获取单元106，用于获取第二补帧参量；
所述第二计算单元107，用于根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第二补帧参量对应的补帧间隔时长；
所述第二生成单元108，用于根据所述目标第一原始信号帧、所述第二补帧参量和所述补帧间隔时长，生成补充信号帧。
其中，所述第二提取单元105，参量获取单元106，第二计算单元107和第二生成单元108的具体实现方式可参见上述图4所对应实施例中的对第三种情况中生成所述补充信号帧的具体过程的描述，这里将不再继续进行赘述。
所述时间戳确定模块20，用于若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第二帧率确定所述补充信号帧的输入时间戳；
其中，所述时间戳确定模块20，具体用于根据所述第二帧率计算待输入到所述第二输入队列的第二原始信号帧的输入时间戳，作为所述补充信号帧的输入时间戳；
可选的，所述时间戳确定模块20，具体用于根据所述目标第一原始信号帧的输入时间戳和所述补帧间隔时长确定所述补充信号帧的输入时间戳。
所述信号帧输入模块30，用于若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
所述融合模块40，用于将所述第一输入队列中的所述补充信号帧与所述第二输入队列中的所述第二原始信号帧进行信号融合。
可选的，所述信号帧获取模块50，用于获取第一输入队列中的目标第一原始信号帧以及第二输入队列中的目标第二原始信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
其中，所述补充帧生成模块10，时间戳确定模块20，信号帧输入模块30，融合模块40和信号帧获取模块50的具体实现方式可参见上述图4所对应实施例中对步骤S201-步骤S205的描述，这里将不再继续进行赘述。
所述融合模块40，还用于若所述目标第二原始信号帧的输入时间戳小于所述目标第一原始信号帧的输入时间戳，则在当前时间达到所述目标第一原始信号帧的输入时间戳时，将所述第一数据采集器中的所述目标第一原始信号帧和所述第二数据采集器中的所述目标第二原始信号帧进行信号融合。
可选的，所述补充帧生成模块10，还用于将所述第一输入队列中的所述补充信号帧作为所述第一数据采集器的目标第一原始信号帧，并根据所述目标第一原始信号帧生成目标补充信号帧；
所述融合模块40，还用于在当前时间达到所述目标补充信号帧的输入时间戳时，将所述第一输入队列中的所述目标补充信号帧与所述第二输入队列中的目标第二原始信号帧进行信号融合。
本发明实施例通过在第一数据采集器的第一帧率小于第二数据采集器的第二帧率时，根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。由此可见，在当前时间达到所述补充信号帧的输入时间戳时，可将基于第一原始信号帧所生成的补充信号帧作为该第一数据采集器的输入信号(即将补帧处理后所得的补充信号帧输入到第一输入队列)，从而可使补充信号帧与该第二数据采集器的目标输入信号(即当前输入到第二队列中的第二原始信号帧)进行信号融合。此外，基于该第二数据采集器的第二帧率，可确保该第二数据采集器每输入一个目标第二原始信号帧，都存在一个与其对应的信号帧(比如，补充信号帧)对其进行校正，以确保在输出较高帧率的估计量的同时，进一步提高测量精度。
进一步地，请参见图9，是本发明实施例提供的另一种数据处理装置的结构示意图。如图9所示，所述数据处理装置1000可以应用于上述图1对应实施例中的智能终端2000，所述数据处理装置1000可以包括：处理器1001，网络接口1004和存储器1005以及第一数据采集器1006和第二数据采集器1007，其中，所述第一数据采集器1006和所述第二数据采集器1007可以永久的或者可移除的附在智能终端上。此外，所述数据处理装置1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)，可选的，用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图9所示的数据处理装置1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；
若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。
应当理解，本发明实施例中所描述的数据处理装置1000可执行前文图2或图4所对应实施例中对所述数据处理方法的描述，也可执行前文图8所对应实施例中对所述数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的数据处理装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2或图4所对应实施例中对所述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种数据处理方法，其特征在于，包括：
若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳；
若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
将所述第一输入队列中的所述补充信号帧与当前输入到所述第二输入队列的第二原始信号帧进行信号融合。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据采集器的第一原始信号帧生成补充信号帧，包括：
在所述第一数据采集器的所述第一输入队列中提取所述第一数据采集器对应的目标第一原始信号帧，并根据所述目标第一原始信号帧生成所述第一输入队列对应的补充信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述补充信号帧的值与所述目标第一原始信号帧的值相同。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据采集器的第一原始信号帧生成补充信号帧，包括：
在所述第一数据采集器的第一输入队列中提取历史第一原始信号帧以及目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
根据所述历史第一原始信号帧估算第一补帧参量；
根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第一补帧参量对应的补帧间隔时长；
根据所述目标第一原始信号帧、所述第一补帧参量和所述补帧间隔时长，生成补充信号帧。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据采集器的第一原始信号帧生成补充信号帧，包括：
在所述第一数据采集器的第一输入队列中提取目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
获取第二补帧参量；
根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第二补帧参量对应的补帧间隔时长；
根据所述目标第一原始信号帧、所述第二补帧参量和所述补帧间隔时长，生成补充信号帧。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第二帧率确定所述补充信号帧的输入时间戳，包括：
根据所述第二帧率计算待输入到所述第二输入队列的第二原始信号帧的输入时间戳，作为所述补充信号帧的输入时间戳。
6.根据权利要求3或4所述的方法，其特征在于，所述根据所述第二帧率确定所述补充信号帧的输入时间戳，包括：
根据所述目标第一原始信号帧的输入时间戳和所述补帧间隔时长确定所述补充信号帧的输入时间戳。
7.根据权利要求1所述的方法，其特征在于，在所述若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧，并根据所述第二帧率确定所述补充信号帧的输入时间戳之前，还包括：
获取第一输入队列中的目标第一原始信号帧以及第二输入队列中的目标第二原始信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
若所述目标第二原始信号帧的输入时间戳小于所述目标第一原始信号帧的输入时间戳，则在当前时间达到所述目标第一原始信号帧的输入时间戳时，将所述第一数据采集器中的所述目标第一原始信号帧和所述第二数据采集器中的所述目标第二原始信号帧进行信号融合。
8.根据权利要求7所述的方法，其特征在于，还包括：
将所述第一输入队列中的所述补充信号帧作为所述第一数据采集器的目标第一原始信号帧，并根据所述目标第一原始信号帧生成目标补充信号帧；
在当前时间达到所述目标补充信号帧的输入时间戳时，将所述第一输入队列中的所述目标补充信号帧与所述第二输入队列中的目标第二原始信号帧进行信号融合。
9.一种数据处理装置，其特征在于，包括：
补充帧生成模块，用于若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第一数据采集器的第一原始信号帧生成补充信号帧；
时间戳确定模块，用于若第一数据采集器的第一帧率小于第二数据采集器的第二帧率，则根据所述第二帧率确定所述补充信号帧的输入时间戳；
信号帧输入模块，用于若当前时间达到所述补充信号帧的输入时间戳，则将所述补充信号帧输入到所述第一数据采集器的第一输入队列，并获取所述第二数据采集器当前输入到第二输入队列的第二原始信号帧；
融合模块，用于将所述第一输入队列中的所述补充信号帧与所述第二输入队列中的所述第二原始信号帧进行信号融合。
10.根据权利要求9所述的装置，其特征在于，
所述补充帧生成模块，具体用于在所述第一数据采集器的所述第一输入队列中提取所述第一数据采集器对应的目标第一原始信号帧，并根据所述目标第一原始信号帧生成所述第一输入队列对应的补充信号帧；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述补充信号帧的值与所述目标第一原始信号帧的值相同。
11.根据权利要求9所述的装置，其特征在于，所述补充帧生成模块包括：
第一提取单元，用于在所述第一数据采集器的第一输入队列中提取历史第一原始信号帧以及目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
参量估算单元，用于根据所述历史第一原始信号帧估算第一补帧参量；
第一计算单元，用于根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第一补帧参量对应的补帧间隔时长；
第一生成单元，用于根据所述目标第一原始信号帧、所述第一补帧参量和所述补帧间隔时长，生成补充信号帧。
12.根据权利要求9所述的装置，其特征在于，所述补充帧生成模块包括：
第二提取单元，用于在所述第一数据采集器的第一输入队列中提取目标第一原始信号帧的输入时间戳，并在所述第二数据采集器的第二输入队列中提取目标第二原始信号帧的输入时间戳；所述目标第一原始信号帧为所述第一输入队列中具有最大的输入时间戳的第一原始信号帧；所述目标第二原始信号帧为所述第二输入队列中具有最大的输入时间戳的第二原始信号帧；
参量获取单元，用于获取第二补帧参量；
第二计算单元，用于根据所述第二帧率确定第二数据采集器的输入间隔时长，并根据所述目标第一原始信号帧的输入时间戳、所述目标第二原始信号帧的输入时间戳以及所述输入间隔时长，计算与所述第二补帧参量对应的补帧间隔时长；
第二生成单元，用于根据所述目标第一原始信号帧、所述第二补帧参量和所述补帧间隔时长，生成补充信号帧。
13.根据权利要求9所述的装置，其特征在于，
所述时间戳确定模块，具体用于根据所述第二帧率计算待输入到所述第二输入队列的第二原始信号帧的输入时间戳，作为所述补充信号帧的输入时间戳。
14.一种数据处理装置，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-8任一项所述的方法。
15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-8任一项所述的方法。
CN201711008770.0A 2017-10-25 2017-10-25 一种数据处理方法和装置 Pending CN109711421A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711008770.0A CN109711421A (zh) 2017-10-25 2017-10-25 一种数据处理方法和装置
PCT/CN2018/111691 WO2019080879A1 (zh) 2017-10-25 2018-10-24 数据处理方法、计算机设备和存储介质
EP18871662.5A EP3614256B1 (en) 2017-10-25 2018-10-24 Data processing method, computer device, and storage medium
US16/599,004 US11245763B2 (en) 2017-10-25 2019-10-10 Data processing method, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711008770.0A CN109711421A (zh) 2017-10-25 2017-10-25 一种数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN109711421A true CN109711421A (zh) 2019-05-03

Family

ID=66247174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711008770.0A Pending CN109711421A (zh) 2017-10-25 2017-10-25 一种数据处理方法和装置

Country Status (4)

Country Link
US (1) US11245763B2 (zh)
EP (1) EP3614256B1 (zh)
CN (1) CN109711421A (zh)
WO (1) WO2019080879A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110596654A (zh) * 2019-10-18 2019-12-20 富临精工先进传感器科技(成都)有限责任公司 一种基于毫米波雷达的数据同步采集系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112354171B (zh) * 2020-10-20 2023-08-25 上海恒润文化科技有限公司 一种轨道车及其执行机构的执行控制方法和装置
CN114301942B (zh) * 2021-12-29 2024-07-26 杭州涂鸦信息技术有限公司 数据上报方法、数据上报装置以及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335554A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
CN104112363A (zh) * 2014-07-04 2014-10-22 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集系统
CN104813659A (zh) * 2013-03-21 2015-07-29 联发科技股份有限公司 视频帧处理方法
CN105022397A (zh) * 2014-04-25 2015-11-04 谷歌公司 用于使用多个传感器进行物体检测的方法和系统
CN105898384A (zh) * 2016-04-26 2016-08-24 广州盈可视电子科技有限公司 一种流媒体视频混合帧率控制的方法和装置
CN106612452A (zh) * 2015-10-22 2017-05-03 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222848B1 (en) * 1997-12-22 2001-04-24 Nortel Networks Limited Gigabit ethernet interface to synchronous optical network (SONET) ring
US7522629B2 (en) * 2003-01-16 2009-04-21 Alcatel-Lucent Usa Inc. Sending signaling messages to CDMA cellular mobile stations
US20070153731A1 (en) * 2006-01-05 2007-07-05 Nadav Fine Varying size coefficients in a wireless local area network return channel
US7974278B1 (en) * 2007-12-12 2011-07-05 Integrated Device Technology, Inc. Packet switch with configurable virtual channels
US8879464B2 (en) * 2009-01-29 2014-11-04 Avaya Inc. System and method for providing a replacement packet
TW201039580A (en) * 2009-04-20 2010-11-01 Ralink Technology Corp Method for determining a modulation and coding scheme for packets with variable lengths
CN102957869B (zh) * 2011-09-26 2016-08-17 斯凯普公司 视频稳定
GB2497507B (en) * 2011-10-14 2014-10-22 Skype Received video stabilisation
KR20140039920A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기
US20150185054A1 (en) * 2013-12-30 2015-07-02 Motorola Mobility Llc Methods and Systems for Synchronizing Data Received from Multiple Sensors of a Device
US10180340B2 (en) * 2014-10-09 2019-01-15 Invensense, Inc. System and method for MEMS sensor system synchronization
US10122998B2 (en) * 2015-04-30 2018-11-06 Seiko Epson Corporation Real time sensor and method for synchronizing real time sensor data streams

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335554A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
CN104813659A (zh) * 2013-03-21 2015-07-29 联发科技股份有限公司 视频帧处理方法
CN105022397A (zh) * 2014-04-25 2015-11-04 谷歌公司 用于使用多个传感器进行物体检测的方法和系统
CN104112363A (zh) * 2014-07-04 2014-10-22 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集系统
CN106612452A (zh) * 2015-10-22 2017-05-03 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置
CN105898384A (zh) * 2016-04-26 2016-08-24 广州盈可视电子科技有限公司 一种流媒体视频混合帧率控制的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110596654A (zh) * 2019-10-18 2019-12-20 富临精工先进传感器科技(成都)有限责任公司 一种基于毫米波雷达的数据同步采集系统

Also Published As

Publication number Publication date
EP3614256A1 (en) 2020-02-26
US11245763B2 (en) 2022-02-08
WO2019080879A1 (zh) 2019-05-02
US20200045113A1 (en) 2020-02-06
EP3614256A4 (en) 2020-09-09
EP3614256B1 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
KR101591779B1 (ko) 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
CN104050712B (zh) 三维模型的建立方法和装置
CN104501814A (zh) 一种基于视觉和惯性信息的姿态与位置估计方法
EP2927634A2 (en) Single-camera ranging method and system
CN107885871A (zh) 基于云计算的同步定位与地图构建方法、系统、交互系统
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN109711421A (zh) 一种数据处理方法和装置
CN104933734A (zh) 一种基于多kinect的人体姿态数据融合方法
CN108509026A (zh) 基于增强交互方式的远程维修支持系统及方法
US20200327693A1 (en) Information processing apparatus, information processing system, information processing method, and program
CN113096225B (zh) 一种图像特效的生成方法、装置、电子设备及存储介质
US11127156B2 (en) Method of device tracking, terminal device, and storage medium
CN110162258A (zh) 个性化场景图像的处理方法及装置
CN105321159A (zh) 手持式电子装置、图像提取装置及景深信息的获取方法
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
Ning Design and research of motion video image analysis system in sports training
CN105979330A (zh) 体感按键的定位方法及装置
CN114779932A (zh) 用户姿态识别方法、系统、设备及存储介质
CN111368667B (zh) 一种数据采集方法、电子设备和存储介质
CN117629188A (zh) 一种基于激光和视觉融合的agv导航方法及系统
JP7318814B2 (ja) データ生成方法、データ生成プログラムおよび情報処理装置
CN203630717U (zh) 基于轻型惯导传感输入设备的交互系统
CN103903253A (zh) 一种可移动终端定位方法及系统
CN110493618A (zh) 基于usb3.0接口的安卓电视智能控制方法及系统
CN114926613A (zh) 一种人体数据及空间定位的增强现实的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination