CN106546238B - 可穿戴设备及在可穿戴设备中确定用户位移的方法 - Google Patents
可穿戴设备及在可穿戴设备中确定用户位移的方法 Download PDFInfo
- Publication number
- CN106546238B CN106546238B CN201610947156.XA CN201610947156A CN106546238B CN 106546238 B CN106546238 B CN 106546238B CN 201610947156 A CN201610947156 A CN 201610947156A CN 106546238 B CN106546238 B CN 106546238B
- Authority
- CN
- China
- Prior art keywords
- data
- imu
- image data
- time
- transmission delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种可穿戴设备及确定用户位移的方法,该可穿戴设备中设置有惯性测量单元IMU,视觉传感器和微控制单元MCU,IMU采集用户一次运动过程中的运动参数信息,得到对应的多组IMU数据;视觉传感器采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据;微控制单元MCU,用于接收IMU数据和图像数据并计算出图像数据的采集时刻和IMU数据的采集时刻,根据相邻两帧图像数据的采集时刻确定待融合的IMU数据,对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移。本发明技术方案利用视觉传感器对用户位移进行测量并补偿IMU的测量结果,提高了用户位移测量的准确性,进而提高可穿戴设备的用户体验和竞争力。
Description
技术领域
本发明涉及可穿戴设备技术领域,具体涉及一种可穿戴设备及在可穿戴设备中确定用户位移的方法。
背景技术
目前,支持用户交互体验在可穿戴设备(例如,虚拟现实VR头盔)应用中越来越体现出实用价值,而且用户位置和姿态信息的实时捕获能使体验效果得到较大的提升,比如,用户在佩戴可穿戴设备玩运动类游戏时,如果用户的手部运动信息也能加入到游戏中去,那可体验的内容就能扩展的更加丰富。
现有技术通常会采用惯性传感器/惯性测量单元IMU(Inertial MeasurementUnit,简称IMU)来采集用户的位置信息,IMU支持三维姿态信息和三维位置信息的输出。但是IMU在长时间位移测试时,存在漂移误差,因此,现有技术中提出利用视觉传感器Camera同时对位移进行测量进而补偿IMU的测量结果,以保证测量结果的准确性。但是,IMU和视觉传感器Camera的采样频率通常不同,IMU的采样频率可高达1KHz,而视觉传感器Camera的采样频率一般在100Hz左右,因此,在非同频采样的情况下,IMU和Camera测量的不是同一时点上用户的运动数据,所以不能直接将IMU数据和Camera采集的数据进行融合,而需要进行同步。
图1是现有技术的数据同步的系统结构示意图,如图1所示,现有的一种对数据进行时间同步方案是在硬件设计时专门配置同步触发两种传感器(即,惯性传感器和视觉传感器)的结构,这种方案通过控制两种传感器的数据采样时刻来实现数据同步采集的目的。很明显,该方案一方面,结构复杂、成本较高;另一方面,不能满足某些可穿戴设备的使用需求,例如,对于集成度较高的通过USB接口连接视觉传感器Camera的可穿戴设备而言,严格控制采样触发时间是不能实现的。
由上可知,亟需一种新的对用户位移进行准确测量的方案,以解决现有方案成本高、结构复杂,不能满足特定产品使用需求的问题。
发明内容
本发明提供了一种可穿戴设备以及确定用户位移的方法,以解决或至少部分的解决上述问题。
根据本发明的一个方面,提供了一种可穿戴设备,该可穿戴设备中设置有惯性测量单元IMU,视觉传感器和微控制单元MCU,
所述惯性测量单元IMU,用于采集用户一次运动过程中的运动参数信息,得到对应的多组IMU数据后发送给所述微控制单元MCU;
所述视觉传感器,用于采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据并发送给所述微控制单元MCU;
所述微控制单元MCU,用于接收多组所述IMU数据和多帧所述图像数据,并计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻,根据相邻两帧图像数据的采集时刻确定待融合的IMU数据,对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移。
根据本发明的另一个方面,提供了一种在可穿戴设备中确定用户位移的方法,该方法包括:
利用可穿戴设备中的惯性测量单元IMU采集用户一次运动过程中的运动参数信息,得到对应的多组IMU数据,并利用所述可穿戴设备中的视觉传感器采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据;
计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻,并根据相邻两帧图像数据的采集时刻确定待融合的IMU数据;
对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移。
本发明实施例的有益效果是:本发明的可穿戴设备通过惯性测量单元IMU采集用户一次运动过程中的运动参数信息得到对应的多组IMU数据;并利用视觉传感器采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据,然后利用微控制单元MCU计算出每一帧图像数据的采集时刻和每一组IMU数据的采集时刻,根据相邻两帧图像数据的采集时刻确定待融合的IMU数据,对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移。如此,消除了由于非同步测量带来的融合计算误差,实现了对同步后的IMU数据和图像数据进行数据融合处理,保证了用户位移计算的准确性,提高了可穿戴设备的用户体验和市场竞争力。
附图说明
图1是现有技术的数据同步的系统结构示意图;
图2示意了根据本发明一个实施例的一种可穿戴设备的结构框图;
图3示意了根据本发明另一个实施例的一种在可穿戴设备中确定用户位移的方法的流程图。
具体实施方式
本发明的设计构思在于:针对现有可穿戴设备中需要准确确定用户位移信息以增强用户体验的需求,本发明采用视觉传感器Camera同时对用户位移进行测量以补偿IMU的测量结果,但是,由于两种传感器的采样频率不一致,导致两种传感器采集的数据无法直接进行融合以计算用户位移,基于此,本发明提供了新的数据同步方案,该方案利用可穿戴设备中的MCU接收两种传感器数据并根据MCU的本地时钟对接收到两种传感器数据进行标记然后分别计算出传感器数据的采集时刻,进而利用同步后的两种传感器数据确定出用户的位移,消除数据不同步造成的计算误差,提高用户位移测量的准确性,扩展可穿戴设备的内容,增强用户体验。
图2示意了根据本发明一个实施例的一种可穿戴设备的结构框图,参见图2,该可穿戴设备200中设置有惯性测量单元IMU201,视觉传感器203和微控制单元MCU202,
惯性测量单元IMU201,用于采集用户一次运动过程中的运动参数信息,得到对应的多组IMU数据后发送给微控制单元202;
惯性测量单元(Inertial measurement unit,简称IMU)是测量物体三轴姿态角或角速率以及加速度的装置。以可穿戴设备为虚拟现实头盔,惯性测量单元为加速度传感器为例示意性说明惯性测量单元的数据采集过程:虚拟现实头盔被佩戴到用户头部后,用户发生头部转向动作,该动作过程花费了三秒钟,那么加速度传感器采集用户的运动参数信息(即,加速度参数信息)将每一秒对应的三个轴向上的加速度数据作为一组,那么一次运动过程中可能采集到三组加速度数据。
视觉传感器203,用于采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据并发送给微控制单元202;
视觉传感器的主要功能是获取足够的供机器视觉系统处理的最原始图像;继续以用户发生头部转向动作为例,在加速度传感器采集用户头部运动的三轴加速度数据的同时,利用视觉传感器对用户头部转动动作拍照,可以得到对应的多帧原始图像。
微控制单元MCU202,用于接收IMU数据和图像数据,并计算出每一帧图像数据的采集时刻和每一组IMU数据的采集时刻,根据相邻两帧图像数据的采集时刻确定待融合的IMU数据,对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移。
图1所示的可穿戴设备可被穿戴在用户身上。以虚拟现实头盔为例,当虚拟现实头盔被佩戴到用户头部后,除了利用虚拟现实头盔中的惯性传感器(即惯性测量单元)IMU测量用户的位移数据之外,还可以通过虚拟现实头盔中的视觉传感器同时对用户位移进行测量补偿IMU的测量结果。然后,虚拟现实头盔中的MCU对两种传感器采集的数据进行同步,并将同步后采集时刻相同的数据对应进行数据融合,确定出用户一次运动过程中的位移。本发明实施例的可穿戴设备实现简单,并且基于准确的用户位移信息,使用户体验的内容可以扩展的更加丰富,拓宽了可穿戴设备的应用场景,也提高了可穿戴设备的市场竞争力。
本实施例的可穿戴设备可以是虚拟现实/增强现实头盔,虚拟现实手套等。具体应用时,在硬件设计上,本实施例的可穿戴设备中微控制单元MCU可采用高通骁龙芯片来进行两种传感器数据同步和数据融合处理。该芯片可运行在安卓系统,并且安卓系统对于外设的驱动支持非常丰富。惯性测量单元IMU与MCU通过串行外设接口SPI(Serial PeripheralInterface,简称SPI)连接。视觉传感器采用一款双目Camera,它与MCU通过USB3.0接口连接。
在本发明的一个实施例中,微控制单元MCU,具体用于根据微控制单元MCU自身接收到IMU数据的时刻,为IMU数据添加时间戳标记TIMU标记时刻,并根据微控制单元MCU自身接收到图像数据的时刻,为图像数据添加时间戳标记TCam标记时刻;
利用预先确定的图像数据的传输延时TCam传输延时以及如下数据采集时间计算公式(1)计算每一帧所述图像数据的采集时刻:
TCam采集时刻=TCam标记时刻-TCam传输延时 公式(1)
这里的,TCam标记时刻是MCU收到视觉传感器数据时的本地时钟的时刻,而不是视觉传感器数据的实际采集时间;TCam传输延时表示图像数据的传输延时,是一个可以预先计算出来的值。
利用预先确定的IMU数据的传输延时TIMU传输延时以及如下数据采集时间计算公式(2)计算所述IMU数据的采集时刻:
TIMU采集时刻=TIMU标记时刻-TIMU传输延时 公式(2)。
这里的,TIMU标记时刻是MCU收到惯性传感器数据时的本地时钟的时刻。TIMU传输延时表示IMU数据的传输延时,是一个可以预先计算出来的值。
需要说明的是,针对惯性传感器和视觉传感器采样频率不一致,为了进行两种数据的同步,本实施例是将MCU当前的系统时间作为时间戳分别标记在收到的数据上,然后将两种数据和计算出的数据采样时间一起写入缓存队列等待处理线程的数据融合处理。由于MCU收到传感器数据并给数据添加标记的时间并非是传感器采集数据的准确时间,考虑到数据的传输延时,IMU和Camera数据融合时不能完全参考MCU中采集线程标记的时间,而需要计算MCU标记时间减去传输延时后的时间作为传感器数据的采集时间。
在本发明的一个实施例中,提供了两种传感器数据的传输延时的计算方式,以下分别说明之。
图像数据的传输延时的计算过程具体如下:
TCam传输延时的测量可通过示波器完成。MCU从视觉传感器获取视觉传感器记录的每次采集每一帧图像数据时的曝光时刻,得到曝光时刻T曝光,并根据从视觉传感器处接收到每一帧图像数据的时刻,计算该帧图像数据的接收时刻与曝光时刻T曝光的时间差,将所得差值,作为一次测试过程中图像数据的传输延时TCam传输延时。
为了进一步提高图像数据传输延时的数据精度,还可以对多次测试过程中每次测试得到的多帧图像数据的传输延时进行求平均运算,将得到的平均值作为确定出的图像数据的传输延时TCam传输延时。
由于IMU工作频率较高,所以图像数据的传输延时TCam传输延时的测量方式并不适用于IMU数据。由于MCU可通过SPI接口接收IMU数据,而SPI的通信速率是可以配置的,因此,本实施例中,基于SPI的通信速率估算TIMU传输延时。首先,将IMU把IMU数据模拟量(例如,加速度数据和/或角速度数据)转换为数字量花费的时间记为T1,这个时间可通过IMU数据手册获得。然后IMU数据经过SPI接口传输花费的时间。举例而言,SPI的时钟配置为1Mbps,IMU的数据大小共128bit,则SPI传输一组IMU数据需要t2=128us;即,T2等于128us。最后,根据T1和T2计算IMU数据的传输延时,即IMU数据的传输延时TIMU传输延时=T2+T1。
另外,在两种传感器数据同步之后,本发明的一个实施例中,微控制单元MCU,从缓存队列中的IMU数据中,查找采集时刻TIMU采集时刻大于上一帧图像数据的采集时刻TCam采集时刻且小于等于当前帧图像数据的采集时刻TCam采集时刻的IMU数据,作为待融合的IMU数据。然后将查找到的IMU数据的运动参数信息转换成运动位移数据后,与上一次数据融合后的用户位置数据进行叠加,并将叠加后的用户位置数据与当前帧图像数据确定的运动位置信息进行数据融合,确定出用户一次运动过程中的位移。
需要说明的是,由于视觉传感器(即双目Camera)定位得出的是绝对位置,而IMU输出的是加速度数据(变化量),所以在图像数据中的位置数据和IMU数据中的运动参数数据融合前需要将IMU的加速度信息转换成运动位移信息,再加到上一次融合后的用户位置上,然后再与本次Camera计算得到的位置数据进行融合运算。对于Camera的当前帧数据而言,发生在上一帧之后且本帧之前的IMU数据才是需要融合的,所以MCU中的数据处理线程将大于上一帧TCam采集时刻且小于等于本帧TCam采集时刻的IMU数据找出,然后通过运动方程逐个计算并逐次积分,即得到两帧Camera数据之间IMU的总位移。通过运动方程逐个计算并逐次积分计算总位移可细分为如下步骤:
步骤1)更新旋转矩阵:旋转矩阵*陀螺仪增量;旋转矩阵是在乘以一个向量的时候改变向量的方向但不改变大小的效果的矩阵。
步骤2)由旋转矩阵更新加速度在坐标系的分量;
步骤3)垂直轴加速度分量减掉重力;
步骤4)Vt=V0+a*△t(V0为累加的上一次融合后的位置);△t为两帧图像数据的间隔;
步骤5)△s=Vt*△t;
步骤6)将Camera两帧间△s累加,即得到本次用户运动过程中IMU的总位移。
注:数据融合的具体计算为现有技术,因此,关于数据融合的更详细计算步骤可以参见现有技术中的记载,这里不再赘述。
图3示意了根据本发明另一个实施例的一种在可穿戴设备中确定用户位移的方法的流程图,参见图3,本实施例的在可穿戴设备中确定用户位移的方法包括:
步骤S301,利用可穿戴设备中的惯性测量单元IMU采集用户一次运动过程中的运动参数信息,得到对应的多组IMU数据,并利用所述可穿戴设备中的视觉传感器采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据;
步骤S302,计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻,并根据相邻两帧图像数据的采集时刻确定待融合的IMU数据;
步骤S303,对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移。
在本发明的一个实施例中,步骤S302,计算出所述图像数据的采集时刻和所述IMU数据的采集时刻包括:
利用可穿戴设备中的微控制单元MCU接收所述IMU数据和所述图像数据,并根据从所述IMU处接收到所述IMU数据的时刻,为所述IMU数据添加时间戳标记TIMU标记时刻,并根据从视觉传感器处接收到所述图像数据的时刻,为所述图像数据添加时间戳标记TCam标记时刻;
利用预先确定的图像数据的传输延时TCam传输延时以及如下数据采集时间计算公式(1)计算每一帧图像数据的采集时刻:
TCam采集时刻=TCam标记时刻-TCam传输延时 公式(1)
利用预先确定的IMU数据的传输延时TIMU传输延时以及如下数据采集时间计算公式(2)计算IMU数据的采集时刻:
TIMU采集时刻=TIMU标记时刻-TIMU传输延时 公式(2)。
在本发明的一个实施例中,步骤S302,中根据相邻两帧图像数据的采集时刻确定待融合的IMU数据包括:
利用微控制单元MCU接收多组所述IMU数据和多帧所述图像数据后放入缓存中,并在计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻之后从缓存的IMU数据中,查找采集时刻TIMU采集时刻大于上一帧图像数据的采集时刻TCam采集时刻且小于等于当前帧图像数据的采集时刻TCam采集时刻的IMU数据,作为待融合的IMU数据。
在本发明的一个实施例中,图3所示方法还包括:通过如下方式确定图像数据的传输延时TCam传输延时:
记录所述视觉传感器每次采集所述图像数据时的曝光时刻,得到曝光时刻T曝光,并根据MCU每次从视觉传感器处接收到所述图像数据的时刻,计算MCU每次接收到所述图像数据的时刻与所述曝光时刻T曝光的时间差值,得到一次测试过程中的图像数据的传输延时;
对多次测试过程中每次测试得到的图像数据的传输延时进行求平均运算,将得到的平均值作为确定出的图像数据的传输延时TCam传输延时;
该方法还包括:利用所述微控制单元MCU通过串行外设接口SPI接收所述惯性测量单元IMU数据,并通过如下方式确定IMU数据的传输延时TIMU传输延时:
TIMU传输延时=T2+T1
其中,T2是根据接收到的IMU数据的大小以及SPI的时钟计算出的IMU数据经SPI接口传输花费的时间;T1是获取的所述IMU将运动参数模拟量转换为数字量花费的时间。
在本发明的一个实施例中,步骤S303对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移包括:
将查找到的IMU数据的运动参数信息转换成运动位移数据后,与上一次数据融合后的用户位置数据进行叠加,并将叠加后的用户位置数据与当前帧图像数据确定的运动位置信息进行数据融合,确定出用户一次运动过程中的位移。
需要说明的是,本实施例的在可穿戴设备中确定用户位移的方法与前述可穿戴设备实施例中的各个部件的工作过程相对应的,因此本实施例的未尽事项可以参见前述可穿戴设备实施例中的相关说明,在此不再赘述。
综上可知,本发明实施例的这种可穿戴设备,能够利用惯性测量单元IMU采集用户的运动参数信息并同时利用视觉传感器采集用户运动过程中的图像,并将两种传感器数据进行同步后进行数据融合处理,从而提高了用户位移数据计算的准确性,优化了用户交互体验,使用户可体验的内容扩展的更加丰富。并且,本实施例的数据同步方案与现有的专门配置硬件控制同时出发两种传感器的方案相比,实现简单,成本低,能够方便可穿戴设备通过USB接口连接视觉传感器,提高可穿戴设备的便携性和市场竞争力。
需要说明的是:
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
本发明的可穿戴设备传统上包括处理器和以存储器形式的计算机程序产品或者计算机可读介质。存储器可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如,用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元包括用于执行根据本发明的方法步骤的计算机可读代码,即可以由例如处理器读取的代码,这些代码被运行时,导致该可穿戴设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包括”不排除存在未列在权利要求中的元件或步骤。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围以权利要求的保护范围为准。
Claims (8)
1.一种可穿戴设备,该可穿戴设备中设置有惯性测量单元IMU,视觉传感器和微控制单元MCU,其特征在于,
所述惯性测量单元IMU,用于采集用户一次运动过程中的运动参数信息,得到对应的多组IMU数据后发送给所述微控制单元MCU;
所述视觉传感器,用于采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据并发送给所述微控制单元MCU;
所述微控制单元MCU,用于接收多组所述IMU数据和多帧所述图像数据,并计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻,根据相邻两帧图像数据的采集时刻确定待融合的IMU数据,对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移;
所述微控制单元MCU,具体用于根据微控制单元MCU自身接收到IMU数据的时刻,为所述IMU数据添加时间戳标记TIMU标记时刻,并根据微控制单元MCU自身接收到所述图像数据的时刻,为所述图像数据添加时间戳标记TCam标记时刻;
利用预先确定的图像数据的传输延时TCam传输延时以及如下数据采集时间计算公式(1)计算每一帧所述图像数据的采集时刻:
TCam采集时刻=TCam标记时刻-TCam传输延时 公式(1)
利用预先确定的IMU数据的传输延时TIMU传输延时以及如下数据采集时间计算公式(2)计算每一组所述IMU数据的采集时刻:
TIMU采集时刻=TIMU标记时刻-TIMU传输延时 公式(2)。
2.根据权利要求1所述的可穿戴设备,其特征在于,所述微控制单元MCU还用于将接收到的多组所述IMU数据和多帧所述图像数据放入缓存中,并在计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻之后从缓存的IMU数据中,查找IMU数据的采集时刻TIMU采集时刻大于上一帧图像数据的采集时刻TCam采集时刻且小于等于当前帧图像数据的采集时刻TCam采集时刻的IMU数据,作为待融合的IMU数据。
3.根据权利要求1所述的可穿戴设备,其特征在于,所述微控制单元MCU,还用于通过如下方式确定所述图像数据的传输延时TCam传输延时:
记录所述视觉传感器每次采集所述图像数据时的曝光时刻,得到曝光时刻T曝光,并根据每次从视觉传感器处接收到所述图像数据的时刻,计算每次接收到所述图像数据的时刻与所述曝光时刻T曝光的时间差值,得到一次测试过程中的图像数据的传输延时;
对多次测试过程中每次测试得到的图像数据的传输延时进行求平均运算,将得到的平均值作为确定出的图像数据的传输延时TCam传输延时;
以及,通过串行外设接口SPI接收所述惯性测量单元IMU发送的IMU数据,并通过如下方式确定IMU数据的传输延时TIMU传输延时:
TIMU传输延时=T2+T1
其中,T2是根据接收到的IMU数据的大小以及SPI的时钟计算出的IMU数据经SPI接口传输花费的时间;T1是所述IMU将运动参数模拟量转换为数字量花费的时间。
4.根据权利要求2所述的可穿戴设备,其特征在于,所述微控制单元MCU,具体用于将查找到的IMU数据的运动参数信息转换成运动位移数据后,与上一次数据融合后的用户位置数据进行叠加,并将叠加后的用户位置数据与当前帧图像数据确定的运动位置信息进行数据融合,确定出用户一次运动过程中的位移。
5.一种在可穿戴设备中确定用户位移的方法,其特征在于,该方法包括:
利用可穿戴设备中的惯性测量单元IMU采集用户一次运动过程中的运动参数信息,得到对应的多组IMU数据,并利用所述可穿戴设备中的视觉传感器采集用户一次运动过程中的运动位置信息,得到对应的多帧图像数据;
计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻,并根据相邻两帧图像数据的采集时刻确定待融合的IMU数据;
对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移;
所述计算出所述图像数据的采集时刻和所述IMU数据的采集时刻的步骤包括:
利用可穿戴设备中的微控制单元MCU接收所述IMU数据和所述图像数据,并根据微控制单元MCU自身接收到所述IMU数据的时刻,为所述IMU数据添加时间戳标记TIMU标记时刻,并根据微控制单元MCU自身接收到所述图像数据的时刻,为所述图像数据添加时间戳标记TCam标记时刻;
利用预先确定的图像数据的传输延时TCam传输延时以及如下数据采集时间计算公式(1)计算每一帧图像数据的采集时刻:
TCam采集时刻=TCam标记时刻-TCam传输延时 公式(1)
利用预先确定的IMU数据的传输延时TIMU传输延时以及如下数据采集时间计算公式(2)计算IMU数据的采集时刻:
TIMU采集时刻=TIMU标记时刻-TIMU传输延时 公式(2)。
6.根据权利要求5所述的方法,其特征在于,所述根据相邻两帧图像数据的采集时刻确定待融合的IMU数据的步骤包括:
利用微控制单元MCU接收多组所述IMU数据和多帧所述图像数据后放入缓存中,并在计算出每一帧所述图像数据的采集时刻和每一组所述IMU数据的采集时刻之后从缓存的IMU数据中,查找采集时刻TIMU采集时刻大于上一帧图像数据的采集时刻TCam采集时刻且小于等于当前帧图像数据的采集时刻TCam采集时刻的IMU数据,作为待融合的IMU数据。
7.根据权利要求5所述的方法,其特征在于,该方法包括:通过如下方式确定图像数据的传输延时TCam传输延时:
记录所述视觉传感器每次采集所述图像数据时的曝光时刻,得到曝光时刻T曝光,并根据每次从视觉传感器处接收到所述图像数据的时刻,计算MCU每次接收到所述图像数据的时刻与所述曝光时刻T曝光的时间差值,得到一次测试过程中的图像数据的传输延时;
对多次测试过程中每次测试得到的图像数据的传输延时进行求平均运算,将得到的平均值作为确定出的图像数据的传输延时TCam传输延时;
该方法还包括:利用所述微控制单元MCU通过串行外设接口SPI接收所述惯性测量单元IMU数据,并通过如下方式确定IMU数据的传输延时TIMU传输延时:
TIMU传输延时=T2+T1
其中,T2是根据接收到的IMU数据的大小以及SPI的时钟计算出的IMU数据经SPI接口传输花费的时间;T1是所述IMU将运动参数模拟量转换为数字量花费的时间。
8.根据权利要求6所述的方法,其特征在于,所述对相邻两帧图像数据之间的IMU数据进行数据融合,确定出用户一次运动过程中的位移的步骤包括:
将查找到的IMU数据的运动参数信息转换成运动位移数据后,与上一次数据融合后的用户位置数据进行叠加,并将叠加后的用户位置数据与当前帧图像数据确定的运动位置信息进行数据融合,确定出用户一次运动过程中的位移。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610947156.XA CN106546238B (zh) | 2016-10-26 | 2016-10-26 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
PCT/CN2017/107603 WO2018077176A1 (zh) | 2016-10-26 | 2017-10-25 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610947156.XA CN106546238B (zh) | 2016-10-26 | 2016-10-26 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106546238A CN106546238A (zh) | 2017-03-29 |
CN106546238B true CN106546238B (zh) | 2020-09-01 |
Family
ID=58392546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610947156.XA Active CN106546238B (zh) | 2016-10-26 | 2016-10-26 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106546238B (zh) |
WO (1) | WO2018077176A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106546238B (zh) * | 2016-10-26 | 2020-09-01 | 北京小鸟看看科技有限公司 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
CN108803861B (zh) * | 2017-04-28 | 2021-01-12 | 广东虚拟现实科技有限公司 | 一种交互方法、设备及系统 |
CN107172320A (zh) * | 2017-06-21 | 2017-09-15 | 成都理想境界科技有限公司 | 数据同步方法及摄像设备 |
CN109255095B (zh) * | 2018-08-31 | 2022-09-20 | 腾讯科技(深圳)有限公司 | Imu数据的积分方法、装置、计算机可读介质及电子设备 |
CN109275048A (zh) * | 2018-11-21 | 2019-01-25 | 北京猎户星空科技有限公司 | 一种应用于机器人的数据处理方法、装置、设备及介质 |
CN109309831B (zh) * | 2018-12-13 | 2020-05-08 | 苏州科达科技股份有限公司 | 视频会议中视频延时的测试方法及装置 |
CN110163270B (zh) * | 2019-05-10 | 2021-11-09 | 北京易控智驾科技有限公司 | 多传感器数据融合方法及系统 |
CN112214009B (zh) * | 2019-06-25 | 2022-07-26 | 上海商汤临港智能科技有限公司 | 传感器数据处理方法、装置、电子设备及系统 |
WO2021035721A1 (en) * | 2019-08-30 | 2021-03-04 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Synchronizing sensors of autonomous driving vehicles |
CN112817301B (zh) * | 2019-10-30 | 2023-05-16 | 北京魔门塔科技有限公司 | 一种多传感器数据的融合方法、装置及系统 |
CN112747754A (zh) * | 2019-10-30 | 2021-05-04 | 北京初速度科技有限公司 | 一种多传感器数据的融合方法、装置及系统 |
CN111275769B (zh) * | 2020-01-17 | 2023-10-24 | 联想(北京)有限公司 | 一种单目视觉参数的校正方法及装置 |
CN113765611B (zh) * | 2020-06-03 | 2023-04-14 | 杭州海康威视数字技术股份有限公司 | 时间戳确定方法及相关设备 |
CN113949807A (zh) * | 2020-07-17 | 2022-01-18 | 杭州光粒科技有限公司 | 一种多路数据组合方法、系统及智能可穿戴设备 |
CN112000225B (zh) * | 2020-08-25 | 2021-06-25 | 唯羲科技有限公司 | 一种定位建图优化方法、装置及定位建图优化芯片 |
CN112388677A (zh) * | 2020-10-27 | 2021-02-23 | 四川大学 | 一种微型vslam视觉传感器 |
CN113114994A (zh) * | 2021-04-08 | 2021-07-13 | 中山大学 | 行为感知方法、装置及设备 |
CN113687590B (zh) * | 2021-08-10 | 2023-03-10 | 青岛小鸟看看科技有限公司 | Vr系统中头戴与手柄的时间同步方法、系统 |
CN114199239B (zh) * | 2022-01-05 | 2024-04-16 | 中国兵器工业计算机应用技术研究所 | 结合北斗导航的双视觉辅助惯性差分座舱内头部测姿系统 |
CN116156143A (zh) * | 2023-02-10 | 2023-05-23 | 杭州灵伴科技有限公司 | 数据生成方法、摄像设备、头戴式显示设备和可读介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102571251A (zh) * | 2010-12-01 | 2012-07-11 | 通用汽车环球科技运作有限责任公司 | 多总线控制器局域网系统中使用时间同步的数据传感器协调 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100359338C (zh) * | 2005-08-31 | 2008-01-02 | 中国科学院上海技术物理研究所 | 机载多角度多源数据的实时采集装置及方法 |
US9031809B1 (en) * | 2010-07-14 | 2015-05-12 | Sri International | Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion |
CN101949715B (zh) * | 2010-08-10 | 2012-06-20 | 武汉武大卓越科技有限责任公司 | 高精度时空数据获取的多传感器集成同步控制方法和系统 |
CN102538781B (zh) * | 2011-12-14 | 2014-12-17 | 浙江大学 | 基于机器视觉和惯导融合的移动机器人运动姿态估计方法 |
CN103292827B (zh) * | 2012-03-05 | 2016-10-05 | 联想(北京)有限公司 | 数据校正方法和电子设备 |
CN104603865A (zh) * | 2012-05-16 | 2015-05-06 | 丹尼尔·格瑞贝格 | 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统 |
US9300880B2 (en) * | 2013-12-31 | 2016-03-29 | Google Technology Holdings LLC | Methods and systems for providing sensor data and image data to an application processor in a digital image format |
US9600925B2 (en) * | 2014-01-06 | 2017-03-21 | Oculus Vr, Llc | Calibration of multiple rigid bodies in a virtual reality system |
CN103940434B (zh) * | 2014-04-01 | 2017-12-15 | 西安交通大学 | 基于单目视觉和惯性导航单元的实时车道线检测系统 |
CN104501814B (zh) * | 2014-12-12 | 2017-05-10 | 浙江大学 | 一种基于视觉和惯性信息的姿态与位置估计方法 |
CN104601900B (zh) * | 2015-01-16 | 2017-11-21 | 杭州戈虎达科技有限公司 | 用于智能交互微投设备的图像数据采集方法 |
CN104717426B (zh) * | 2015-02-28 | 2018-01-23 | 深圳市德赛微电子技术有限公司 | 一种基于外部传感器的多摄像机视频同步装置及方法 |
CN105806334B (zh) * | 2016-03-07 | 2018-11-16 | 苏州中德睿博智能科技有限公司 | 一种惯性传感器和视觉传感器数据同步采集系统 |
CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
CN105865454B (zh) * | 2016-05-31 | 2019-09-24 | 西北工业大学 | 一种基于实时在线地图生成的无人机导航方法 |
CN106060418A (zh) * | 2016-06-29 | 2016-10-26 | 深圳市优象计算技术有限公司 | 基于imu信息的宽动态图像融合方法 |
CN106546238B (zh) * | 2016-10-26 | 2020-09-01 | 北京小鸟看看科技有限公司 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
-
2016
- 2016-10-26 CN CN201610947156.XA patent/CN106546238B/zh active Active
-
2017
- 2017-10-25 WO PCT/CN2017/107603 patent/WO2018077176A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102571251A (zh) * | 2010-12-01 | 2012-07-11 | 通用汽车环球科技运作有限责任公司 | 多总线控制器局域网系统中使用时间同步的数据传感器协调 |
Non-Patent Citations (2)
Title |
---|
可穿戴式视觉辅助定位系统;柳青;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150415;第20、27-28、35、60-67页 * |
柳青.可穿戴式视觉辅助定位系统.《中国优秀硕士学位论文全文数据库 信息科技辑》.2015, * |
Also Published As
Publication number | Publication date |
---|---|
WO2018077176A1 (zh) | 2018-05-03 |
CN106546238A (zh) | 2017-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106546238B (zh) | 可穿戴设备及在可穿戴设备中确定用户位移的方法 | |
CN109922260B (zh) | 图像传感器和惯性传感器的数据同步方法和同步装置 | |
CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
JP6204585B2 (ja) | マルチメディア・クリップに対するビデオ安定化の適用 | |
US9797728B2 (en) | Drone provided with a vertical-view video camera compensated for the instantaneous rotations for estimation of the horizontal speeds | |
CN110139031B (zh) | 一种基于惯性感知的视频防抖系统及其工作方法 | |
CN115024715B (zh) | 一种人体运动智能测量与数字训练系统 | |
CN103148850B (zh) | 一种高精度的星敏感器 | |
CN106687063A (zh) | 跟踪系统及利用其的跟踪方法 | |
JP6288858B2 (ja) | 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置 | |
CN103136912A (zh) | 运动姿态捕捉系统 | |
KR20160096473A (ko) | 동작 평가 시스템 및 방법 | |
WO2014157310A1 (ja) | 携帯端末装置、記録媒体および補正方法 | |
CN102306160B (zh) | 一种提高立体测绘相机图像定位精度的辅助数据处理方法 | |
GB2590117A (en) | System and method for enhancing non-inertial tracking system with inertial constraints | |
CN109284006B (zh) | 一种人体运动捕获装置和方法 | |
CN111899276A (zh) | 一种基于双目事件相机的slam方法及系统 | |
CN110567484B (zh) | 标定imu与刚体姿态的方法、设备以及可读存储介质 | |
CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
CN107370941A (zh) | 一种信息处理方法及电子设备 | |
Liu et al. | Botanicgarden: A high-quality dataset for robot navigation in unstructured natural environments | |
CN203630717U (zh) | 基于轻型惯导传感输入设备的交互系统 | |
CN110826422A (zh) | 一种用于获得运动参数信息的系统和方法 | |
CN115290076A (zh) | 一种基于多传感器融合的人体关节角数据处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |