CN114007060A

CN114007060A - 图像数据和imu数据的处理系统、方法、介质以及头戴设备

Info

Publication number: CN114007060A
Application number: CN202111166338.0A
Authority: CN
Inventors: 王明
Original assignee: Qingdao Goertek Technology Co Ltd
Current assignee: Qingdao Goertek Technology Co Ltd
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2022-02-01

Abstract

本发明公开了一种图像数据和IMU数据的处理系统、方法、存储介质以及头戴设备，系统包括：主芯片、图像采集设备、微控制单元以及惯性测量单元；微控制单元同时与图像采集设备、和惯性测量单元电连接；主芯片分别与图像采集设备、和微控制单元电连接；主芯片用于生成控制指令发送至微控制单元；微控制单元用于根据接收的控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于两种指令分别控制图像采集设备与惯性测量单元进行工作，并确定图像数据和IMU数据，并将图像数据和IMU数据发送至主芯片；主芯片根据接收的图像数据和IMU数据进行数据匹配。本申请可以保障图像数据和IMU数据匹配的同步性，提升了算法精度。

Description

图像数据和IMU数据的处理系统、方法、介质以及头戴设备

技术领域

本发明涉及头戴式显示器技术领域，特别涉及一种图像数据和IMU数据的处理系统、方法、存储介质以及头戴设备。

背景技术

近年来头戴设备越来越流行，而对于一款头戴设备最核心的部分之一就是头部追踪算法，好的追踪算法能精确定位用户头戴的位置信息，从而触发应用进行相应的场景渲染，给用户带来低延迟真实的体验。目前市面常用的头部追踪算法就是基于图像采集设备和IMU的数据进行联合定位，这类算法对于图像数据和IMU的时间戳匹配度要求特别高，即对于指定时间收到的图像采集设备的图像要能匹配上对应曝光时间的IMU数据，这样算法的数据输入才能精准。

在现有技术中，目前常用的时间匹配逻辑为，在主芯片接收到图像数据后，为图像数据打一个时间戳，在智能传感集线器上产生IMU数据后，由智能传感集线器打上对应的IMU时间戳，再由算法进行数据匹配。由于智能传感集线器为单独的子系统，其计时起点与主芯片存在偏差，这样匹配上的图像数据和IMU数据实际产生时间有较大的时间偏差，导致算法输出不精确。

发明内容

本申请实施例提供了一种图像数据和IMU数据的处理系统、方法、存储介质以及头戴设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种图像数据和IMU数据的处理系统，系统包括：

主芯片、图像采集设备、微控制单元以及惯性测量单元；其中，

微控制单元同时与图像采集设备、和惯性测量单元电连接；其中，主芯片分别与图像采集设备、和微控制单元电连接；其中，

主芯片，还用于生成控制指令发送至微控制单元；

微控制单元，用于根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，并确定图像数据和IMU数据，以及将图像数据和IMU数据发送至主芯片；

主芯片，用于根据接收的图像数据和IMU数据进行数据匹配。

可选的，基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，包括：

基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行参数配置以及初始化；

控制初始化后的所述图像采集设备进行曝光。

可选的，图像采集设备，用于根据接收到的参数配置指令生成图像拍摄参数并初始化，根据接收到的曝光指令进行曝光后生成目标图像，并将目标图像发送至主芯片。

可选的，惯性测量单元，用于根据接收到的参数配置指令进行参数配置，并根据配置的参数实时获取IMU参数，以及将IMU参数实时发送至微控制单元。

可选的，图像采集设备上设有FSIN管脚；

其中，控制初始化后的所述图像采集设备进行曝光，包括：

按照预设帧率定期对FSIN管脚施加递增电压，控制初始化后的所述图像采集设备进行曝光。

可选的，图像数据包括第一帧序号、第一时间戳；IMU数据包括IMU参数和第二时间戳。

可选的，确定图像数据和IMU数据，包括：

记录曝光后的第一帧序号以及第一时间戳；

实时接收惯性测量单元上报的IMU参数；

对IMU参数标记第二时间戳。

可选的，根据接收的图像数据和IMU数据进行数据匹配，包括：

当接收到目标图像时，解析并计数目标图像后生成第二帧序号；

当接收到的第一帧序号与第二帧序号匹配成功时，将接收到的第一时间戳确定为目标图像的实际时间戳；

将目标图像、目标图像的实际时间戳与接收到的IMU参数和第二时间戳输入预设算法中进行数据匹配。

第二方面，本申请实施例提供了一种图像数据和IMU数据的处理方法，方法包括：

主芯片生成控制指令发送至微控制单元；

微控制单元根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，并确定图像数据和IMU数据，以及将图像数据和IMU数据发送至主芯片；

主芯片根据接收的图像数据和IMU数据进行数据匹配。

第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种头戴设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；主芯片、图像采集设备、微控制单元以及惯性测量单元；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述方法。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，图像数据和IMU数据的处理系统通过主芯片生成控制指令发送至微控制单元，然后采用微控制单元根据接收的控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于采集设备控制指令和惯性测量单元指令控制图像采集设备与惯性测量单元进行工作，并确定图像数据和IMU数据，以及将图像数据和IMU数据发送至主芯片，最后通过主芯片根据接收的图像数据和IMU数据进行数据匹配。由于本申请将图像采集设备与惯性测量单元挂载至同一个微控制单元，从而使得图像采集设备与惯性测量单元被同一个子系统进行控制，相比于现有技术中图像采集设备由主芯片按照预设周期直接控制发送拍摄指令到图像采集设备进行拍摄，以及惯性测量单元由设备中一个微控制单元控制的做法，本申请可以确保图像采集设备与惯性测量单元使用同一个系统计时，避免了现有技术中不同系统间分开控制引起的计时起点差异，从而保障了图像数据和IMU数据匹配的同步性，提升了算法精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的一种图像数据和IMU数据的处理系统的系统结构示意图；

图2是本申请实施例提供的一种图像数据和IMU数据的处理方法的流程示意图；

图3是本申请实施例提供的一种负载均衡器的结构示意图；

图4是本申请实施例提供的一种存储介质的示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请提供了一种图像数据和IMU数据的处理系统、方法以及头戴设备，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请将图像采集设备与惯性测量单元挂载至同一个微控制单元，从而使得图像采集设备与惯性测量单元被同一个子系统进行控制，相比于现有技术中图像采集设备由主芯片按照预设周期直接控制发送拍摄指令到图像采集设备进行拍摄，以及惯性测量单元由设备中一个微控制单元控制的做法，本申请可以确保图像采集设备与惯性测量单元使用同一个系统计时，避免了现有技术中不同系统间分开控制引起的计时起点差异，从而保障了图像数据和IMU数据匹配的同步性，提升了算法精度，下面采用示例性的实施例进行详细说明。

请参见图1，图1是本申请实施例提供的一种图像数据和IMU数据的处理系统，系统包括：主芯片、图像采集设备、微控制单元以及惯性测量单元；其中，微控制单元同时与图像采集设备、和惯性测量单元电连接；其中，主芯片分别与图像采集设备、和微控制单元电连接；其中，主芯片，用于生成控制指令发送至微控制单元；微控制单元，用于根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，并确定图像数据和IMU数据，以及将图像数据和IMU数据发送至主芯片；主芯片，用于根据接收的图像数据和IMU数据进行数据匹配。

具体的，主芯片可以看作是头戴设备中将图像数据和IMU数据进行数据匹配的CPU。图像采集设备可以标记为camera，是用来采集图像的设备。微控制单元(Microcontroller Unit；MCU)，又称单片微型计算机(Single Chip Microcomputer)或者单片机，是把中央处理器(Central Process Unit；CPU)的频率与规格做适当缩减，并将内存(memory)、计数器(Timer)、USB、A/D转换、UART、PLC、DMA等周边接口，甚至LCD驱动电路都整合在单一芯片上，形成芯片级的计算机。惯性测量单元(Inertial Measurement Unit，IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

在本实施例中，主芯片与微控制单元通过SPI(Serial Peripheral Interface，串行外设接口)进行双向通信，即主芯片通过SIP下发指令到微控制单元，微控制单元通过SIP将图像数据和IMU数据发送至主芯片。

具体的，SIP是是一种高速的，全双工，同步的通信总线，并且在芯片的管脚上只占用四根线，节约了芯片的管脚，同时为PCB的布局上节省空间，提供方便，正是出于这种简单易用的特性，越来越多的芯片集成了这种通信协议，比如AT91RM9200。

在本实施例中，微控制单元根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作时，首先基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行参数配置以及初始化，然后控制初始化后的所述图像采集设备进行曝光。

具体的，图像采集设备根据接收到的来自微控制单元的参数配置指令生成图像拍摄参数并初始化，然后根据接收到的曝光指令进行曝光后生成目标图像，并将目标图像发送至主芯片。其中，图像采集设备通过MIPI(Mobile Industry Processor Interface，移动产业处理器接口)与主芯片进行数据传输，即图像采集设备通过MIPI将图像发送到主芯片。

具体的，惯性测量单元根据接收到的来自微控制单元的参数配置指令进行参数配置，并根据配置的参数实时获取IMU参数，以及将IMU参数实时发送至微控制单元。

在本实施中，微控制单元通过I2C总线与图像采集设备进行通信，寄存器读写等。在硬件上，I2C总线只需要一根数据线和一根时钟线两根线，总线接口已经集成在芯片内部，不需要特殊的接口电路，而且片上接口电路的滤波器可以滤去总线数据上的毛刺。因此I2C总线简化了硬件电路PCB布线，降低了系统成本，提高了系统可靠性。

在本实施例中，图像采集设备上设有FSIN管脚；其中，控制初始化后的所述图像采集设备进行曝光时，按照预设帧率定期对FSIN管脚施加递增电压，控制初始化后的所述图像采集设备进行曝光。

在本实施例中，图像数据包括第一帧序号、第一时间戳；IMU数据包括IMU参数和第二时间戳。

在本实施例中，微控制单元确定图像数据和IMU数据时，首先记录曝光后的第一帧序号以及第一时间戳，然后实时接收惯性测量单元上报的IMU参数，最后对IMU参数标记第二时间戳。其中，惯性测量单元通过SPI实时上报IMU参数至微控制单元。

在本实施例中，主芯片根据接收的图像数据和IMU数据进行数据匹配时，首先当接收到目标图像时，解析并计数目标图像后生成第二帧序号，然后当接收到的第一帧序号与第二帧序号匹配成功时，将接收到的第一时间戳确定为目标图像的实际时间戳，最后将目标图像、目标图像的实际时间戳与接收到的IMU参数和第二时间戳输入预设算法中进行数据匹配。

本申请通过在硬件上将图像采集设备和惯性测量单元的控制逻辑设计在微控制单元端统一控制，确保了图像采集设备和惯性测量单元之间时间戳计时的统一性，同时通过在图像采集设备端主动控制图像采集设备和开始曝光的时间戳，从而获取图像采集设备真实成像的时间戳，确保了主芯片的算法端图像数据和IMU数据间匹配的准确度，极大地提高了算法的精度。

在本申请实施例中，图像数据和IMU数据的处理系统通过主芯片生成控制指令发送至微控制单元，然后采用微控制单元根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，并确定图像数据和IMU数据，以及将图像数据和IMU数据发送至主芯片，最后通过主芯片根据接收的图像数据和IMU数据进行数据匹配。由于本申请将图像采集设备与惯性测量单元挂载至同一个微控制单元，从而使得图像采集设备与惯性测量单元被同一个子系统进行控制，相比于现有技术中图像采集设备由主芯片按照预设周期直接控制发送拍摄指令到图像采集设备进行拍摄，以及惯性测量单元由设备中一个微控制单元控制的做法，本申请可以确保图像采集设备与惯性测量单元使用同一个系统计时，避免了现有技术中不同系统间分开控制引起的计时起点差异，从而保障了图像数据和IMU数据匹配的同步性，提升了算法精度。

下面将结合附图2，对本申请实施例提供的图像数据和IMU数据的处理方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的图像数据和IMU数据的处理系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

请参见图2，为本申请实施例提供了一种图像数据和IMU数据的处理方法的流程示意图。如图2所示，本申请实施例的方法可以包括以下步骤：

S101，主芯片生成控制指令发送至微控制单元；

其中，主芯片与微控制单元通过SPI进行双向通信，主芯片通过SPI下发指令给微控制单元进行图像采集设备和惯性测量单元的控制工作。

在一种可能的实现方式中，微控制单元收到控制指令后，微控制单元对图像采集设备发送参数配置指令，图像采集设备根据接收到的参数配置指令生成图像拍摄参数并初始化，然后根据接收到的曝光指令进行曝光后生成目标图像，并将所述目标图像发送至所述主芯片。

在一种可能的实现方式中，微控制单元收到控制指令后，微控制单元对惯性测量单元发送参数配置指令，惯性测量单元收到参数配置指令后，惯性测量单元首先根据接收到的参数配置指令进行参数配置，然后根据配置的参数实时获取IMU参数，以及将所述IMU参数实时发送至所述微控制单元。

S102，微控制单元根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，并确定图像数据和IMU数据，以及将图像数据和IMU数据发送至主芯片；

其中，图像数据包括第一帧序号、第一时间戳；IMU数据包括IMU参数和第二时间戳。

通常，图像采集设备的链路可分为数据通路与控制通路。控制通路直接连接微控制单元，由微控制单元连接，I2C用来与图像采集设备进行通信、寄存器读写等。FSIN管脚，当图像采集设备配置为Slave模式后，可以由微控制单元硬件拉高FSIN管脚，从而触发camera进行拍照功能。数据通路直接连接到主芯片，用来将图像采集设备的图像数据传输到主芯片，由主芯片进行camera图像的解析，并输入到算法中进行运算。

其中，惯性测量单元通过串行外设接口与微控制单元进行连接，由微控制单元控制惯性测量单元工作，并通过串行外设接口将数据传输到微控制单元端。

其中，微控制单元端将惯性测量单元的IMU参数与时间戳、图像的数据和时间戳传递给主芯片端。

在一种可能的实现方式中，微控制单元根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作时，首先基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行参数配置以及初始化，然后按照预设帧率定期对FSIN管脚施加递增电压，控制初始化后的所述图像采集设备进行曝光，其次记录曝光后的第一帧序号以及第一时间戳，并实时接收惯性测量单元上报的IMU参数，以及对IMU参数标记第二时间戳，最后将第一帧序号以及第一时间戳，IMU参数和第二时间戳发送至主芯片。

例如，首先微控制单元需要将图像采集设备配置为Slave模式，该模式下，图像采集设备在初始化完成后，微控制单元通过给图像采集设备上的FSIN施加定时电压触发每一帧的拍照，即FSIN被拉高时将开始曝光产生一帧图像。微控制单元将按照帧率定期拉高FSIN管脚，并记录当前的图像采集设备的帧序号MCU_Fn和当前的时间戳MCU_Tn。

进一步地，图像采集设备曝光完成后，产生的帧数据是通过MIPI单独传输给主芯片端，而主芯片端接收到帧数据后，进行每一帧数据的解析，为了匹配上每一帧的MCU时间戳，需要对解析后的每一帧数据进行计数，每一帧的序号为SOC_Fn。

微控制单元在控制FSIN管脚产生一帧图像后，会将统计的当前的帧序号MCU_Fn和时间戳MCU_Tn信息通过SPI传递到主芯片端。

S103，主芯片根据接收的图像数据和IMU数据进行数据匹配。

在一种可能的实现方式中，主芯片在接收到来自图像采集设备发送的图像数据时，解析并计数目标图像后生成第二帧序号，然后当接收到的第一帧序号与第二帧序号匹配成功时，将接收到的第一时间戳确定为目标图像的实际时间戳，最后将目标图像、目标图像的实际时间戳与接收到的IMU参数和第二时间戳输入预设算法中进行数据匹配。

例如，主芯片通过将SOC_Fn和MCU_Fn和匹配，找到每一帧图像数据对应的实际时间戳，最后主芯片将图像数据、图像数据的实际时间戳和IMU数据，IMU数据的实际时间戳输入到算法中，算法就可以根据统一的MCU端的时间戳进行camera和IMU数据的匹配，这样的匹配同步性最高。

本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的图像数据和IMU数据的处理方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的图像数据和IMU数据的处理方法。

本申请实施方式还提供一种与前述实施方式所提供的图像数据和IMU数据的处理方法对应的头戴设备，以执行上述图像数据和IMU数据的处理方法。

请参考图3，其示出了本申请的一些实施方式所提供的一种图像数据和IMU数据的处理器的示意图。如图3所示，图像数据和IMU数据的处理器2包括：处理器200，存储器201，总线202和通信接口203，处理器200、通信接口203和存储器201通过总线202连接；存储器201中存储有可在处理器200上运行的计算机程序，处理器200运行计算机程序时执行本申请前述任一实施方式所提供的图像数据和IMU数据的处理方法。

其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，处理器200在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的图像数据和IMU数据的处理方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的图像数据和IMU数据的处理器与本申请实施例提供的图像数据和IMU数据的处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的图像数据和IMU数据的处理方法对应的计算机可读存储介质，请参考图4，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施方式所提供的图像数据和IMU数据的处理方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的图像数据和IMU数据的处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，图像数据和IMU数据的处理的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims

1.一种图像数据和IMU数据的处理系统，其特征在于，所述系统包括：

所述微控制单元同时与所述图像采集设备、和惯性测量单元电连接；其中，所述主芯片分别与所述图像采集设备、和微控制单元电连接；其中，

所述主芯片，用于生成控制指令发送至所述微控制单元；

所述微控制单元，用于根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，并确定图像数据和IMU数据，以及将所述图像数据和IMU数据发送至所述主芯片；

所述主芯片，还用于根据接收的所述图像数据和IMU数据进行数据匹配。

2.根据权利要求1所述的一种图像数据和IMU数据的处理系统，其特征在于，所述基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，包括：

控制初始化后的所述图像采集设备进行曝光。

3.根据权利要求2所述的一种图像数据和IMU数据的处理系统，其特征在于，

所述图像采集设备，用于根据接收到的参数配置指令生成图像拍摄参数并初始化，根据接收到的曝光指令进行曝光后生成目标图像，并将所述目标图像发送至所述主芯片。

4.根据权利要求3所述的一种图像数据和IMU数据的处理系统，其特征在于，

所述惯性测量单元，用于根据接收到的参数配置指令进行参数配置，并根据所述配置的参数实时获取IMU参数，以及将所述IMU参数实时发送至所述微控制单元。

5.根据权利要求2所述的一种图像数据和IMU数据的处理系统，其特征在于，

所述图像采集设备上设有FSIN管脚；

其中，所述控制初始化后的所述图像采集设备进行曝光，包括：

按照预设帧率定期对所述FSIN管脚施加递增电压，控制初始化后的所述图像采集设备进行曝光。

6.根据权利要求4所述的一种图像数据和IMU数据的处理系统，其特征在于，所述图像数据包括第一帧序号、第一时间戳；所述IMU数据包括IMU参数和第二时间戳。

7.根据权利要求6所述的一种图像数据和IMU数据的处理系统，其特征在于，所述确定图像数据和IMU数据，包括：

记录曝光后的第一帧序号以及第一时间戳；

实时接收所述惯性测量单元上报的IMU参数；

对所述IMU参数标记第二时间戳。

8.根据权利要求7所述的一种图像数据和IMU数据的处理系统，其特征在于，所述根据接收的所述图像数据和IMU数据进行数据匹配，包括：

当接收到目标图像时，解析并计数所述目标图像后生成第二帧序号；

当接收到的所述第一帧序号与所述第二帧序号匹配成功时，将接收到的所述第一时间戳确定为所述目标图像的实际时间戳；

将所述目标图像、目标图像的实际时间戳与接收到的所述IMU参数和第二时间戳输入预设算法中进行数据匹配。

9.一种图像数据和IMU数据的处理方法，其特征在于，所述方法包括：

主芯片生成控制指令发送至所述微控制单元；

微控制单元根据接收的所述控制指令分别生成图像采集设备控制指令和惯性测量单元指令，并基于所述采集设备控制指令和惯性测量单元指令控制所述图像采集设备与所述惯性测量单元进行工作，并确定图像数据和IMU数据，以及将所述图像数据和IMU数据发送至所述主芯片；

主芯片根据接收的所述图像数据和IMU数据进行数据匹配。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求9的方法步骤。

11.一种头戴设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

权利要求1-8所述的任一项图像数据和IMU数据的处理系统；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求9所述的方法。