CN107289931A - 一种定位刚体的方法、装置和系统 - Google Patents

一种定位刚体的方法、装置和系统 Download PDF

Info

Publication number
CN107289931A
CN107289931A CN201710370295.5A CN201710370295A CN107289931A CN 107289931 A CN107289931 A CN 107289931A CN 201710370295 A CN201710370295 A CN 201710370295A CN 107289931 A CN107289931 A CN 107289931A
Authority
CN
China
Prior art keywords
infrared
illuminants
imu
rigid body
location coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710370295.5A
Other languages
English (en)
Other versions
CN107289931B (zh
Inventor
孙舶寒
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pico Technology Co Ltd
Original Assignee
Beijing Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pico Technology Co Ltd filed Critical Beijing Pico Technology Co Ltd
Priority to CN201710370295.5A priority Critical patent/CN107289931B/zh
Publication of CN107289931A publication Critical patent/CN107289931A/zh
Application granted granted Critical
Publication of CN107289931B publication Critical patent/CN107289931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种定位刚体的方法、装置和系统。该方法包括:接收双目红外摄像头模组采集的红外发光体的红外图像;接收惯性测量单元IMU采集的姿态信息;其中,红外发光体和IMU设置在待定位刚体上;依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标,将三维位置坐标作为待定位刚体的移动自由度;依据姿态信息确定待定位刚体在全局坐标系的转动自由度;其中,依据移动自由度和转动自由度定位待定位刚体。待定位刚体上的红外发光体为一个。可见,本方案适用于小体积的打定位刚体,且有利于实现多个待定位刚体的定位;利用红外发光体和IMU实现,定位成本低,定位精度较高。

Description

一种定位刚体的方法、装置和系统
技术领域
本发明涉及定位技术领域,特别涉及一种定位刚体的方法、装置和系统。
背景技术
定位技术被广泛应用于虚拟现实、增强现实、动作捕捉等领域,是人机交互的重要组成部分。其中,光学定位以其高精度、低成本、高刷新率等优点成为室内定位领域中被最广泛应用的技术。
目前定位方案包括激光光塔定位、多摄像头多光点定位、双目红绿蓝色彩模式(Red Green blue color model,简称为RGB)摄像头定位等。但是,上述定位方案不能同时解决定位成本高、定位精度不足、无法适用小体积物体等问题。
发明内容
鉴于现有技术定位方案不能同时解决定位成为高、定位精度不足、无法适用小体积物体等问题,提出了本发明的一种定位刚体的方法、装置和系统,以便解决或至少部分地解决上述问题。
根据本发明的一个方面,提供了一种定位刚体的方法,所述方法包括:
接收双目红外摄像头模组采集的红外发光体的红外图像;
接收惯性测量单元IMU采集的姿态信息;其中,所述红外发光体和所述IMU设置在待定位刚体上;
依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定所述红外发光体在全局坐标系的三维位置坐标,将所述三维位置坐标作为所述待定位刚体的移动自由度;
依据所述姿态信息确定所述待定位刚体在所述全局坐标系的转动自由度;其中,依据所述移动自由度和所述转动自由度定位所述待定位刚体。
根据本发明的另一个方面,提供了一种定位刚体的装置,所述装置包括:
接收单元,用于接收双目红外摄像头模组采集的红外发光体的红外图像;接收惯性测量单元IMU采集的姿态信息;其中,所述红外发光体和所述IMU设置在待定位刚体上;
移动自由度确定单元,用于依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定所述红外发光体在全局坐标系的三维位置坐标,将所述三维位置坐标作为所述待定位刚体的移动自由度;
转动自由度确定单元,用于依据所述姿态信息计算所述待定位刚体在全局坐标系的转动自由度;
定位单元,用于使用所述移动自由度和所述转动自由度定位所述待定位刚体。
根据本发明的又一个方面,提供了定位刚体的系统,所述系统包括:置于待定位刚体上的定位模块、外置于所述待定位刚体的双目红外摄像头模组、如前所述定位刚体的装置;
所述定位模块包括一红外发光体、一惯性测量单元IMU;
所述定位模块和所述双目红外摄像头模组有线或无线连接所述定位刚体的装置。
综上所述,本发明的技术方案是通过红外光学成像和惯性测量单元相结合的方式实现刚体的定位。具体地,接收双目红外摄像头模组采集的红外发光体的红外图像;接收惯性测量单元IMU采集的姿态信息;其中,红外发光体和IMU设置在待定位刚体上;依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标,将三维位置坐标作为待定位刚体的移动自由度;依据姿态信息确定待定位刚体在全局坐标系的转动自由度;这样,依据移动自由度和转动自由度就可以实现待定位刚体的定位。待定位刚体上的红外发光体为一个,可见,本技术方案适用于小体积的打定位刚体,且有利于实现多个待定位刚体的定位;利用红外发光体和IMU实现,定位成本低,定位精度较高。
附图说明
图1为本发明一个实施例提供的一种定位刚体的方法的流程示意图;
图2为本发明一个实施例提供的一种确定红外发光点与IMU的对应关系示意图;
图3为本发明一个实施例提供的一种定位刚体的装置的结构示意图;
图4为本发明一个实施例提供的一种定位刚体的系统的结构示意图。
具体实施方式
本发明的设计思路是:为同时解决定位成为高、定位精度不足、无法适用小体积物体等问题,本技术方案在待定位刚体上设置一红外发光体和一IMU,接收双目红外摄像头模组采集的红外发光体的红外图像以及惯性测量单元IMU采集的姿态信息;依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标,将三维位置坐标作为待定位刚体的移动自由度;依据姿态信息确定待定位刚体在全局坐标系的转动自由度;这样,依据移动自由度和转动自由度就可以实现待定位刚体的定位,且定位成本低,定位精度较高,适用于小体积待定位刚体。为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1为本发明一个实施例提供的一种定位刚体的方法的流程示意图。如图1所示,该方法包括:
步骤S110,接收双目红外摄像头模组采集的红外发光体的红外图像。
步骤S120,接收惯性测量单元IMU采集的姿态信息。
在本实施例中,红外发光体和IMU设置在待定位刚体上。且这里的待定位刚体上的发光体的个数只有一个,可以适用于小体积的待定位刚体;同时,当存在多个待定位刚体时,因为每个待定位刚体上只有一个红外发光体,有利于确定红外图像中的的红外发光点与红外发光体的对应关系,就可以实现多个待定位刚体的定位。
步骤S130,依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标,将三维位置坐标作为待定位刚体的移动自由度。
步骤S140,依据姿态信息确定待定位刚体在全局坐标系的转动自由度;其中,依据移动自由度和转动自由度定位待定位刚体。
双目成像原理是基于视差原理并利用双目摄像头从不同的位置获取物体的两幅图像,通过计算图像中对应点间的位置偏差,来获取物体三维集合信息的方法。该方法的优点是效率高、精度高、结构简单、成本低等优点。在本实施例中,使用外置于待定位刚体的双目红外摄像头模组采集待定位刚体上红外发光体的当前帧红外图像,然后根据当前帧红外图像中的与红外发光体对应的红外发光点的位置,利用双目成像原理确定红外发光体在全局坐标系的三维位置坐标,因为红外发光体为待定位刚体上的,与待定位刚体相对应,所以红外发光体的三维位置坐标确定后,可以将红外发光体的三维位置坐标作为待定位刚体的移动自由度。
本实施例中的惯性测量单元可以是九轴惯性测量单元IMU(九轴IMU)。九轴IMU是一种可以输出自身位移、姿态等六个自由度的传感器,其优点是成本低、精度高、体积小。本实施例中,将九轴IMU置于待定位刚体上,待定位刚体的三维线速度的变化与九轴IMU的单位角度变化时一致的。所以,利用九轴IMU采集的姿态信息可以较精确地获得待定位刚体在全局坐标系的转动自由度,即偏航角、俯仰角和翻滚角。
将上述的移动自由度以及转动自由度结合,组成待定位刚体的六个自由度,实现待定位刚体的定位。
可见,本技术方案中待定位刚体上的红外发光体为一个,适用于小体积的打定位刚体,且有利于实现多个待定位刚体的定位;利用红外发光体和IMU实现,定位成本低,定位精度较高。
因为双目摄像头的视角有限,当待定位刚体处于较大空间时,可能会出现发光体被遮挡的问题,会导致待定位刚体的无法定位。为避免红外发光体的遮挡,在本发明的一个实施例中,外置于待定位刚体的双目红外摄像头模组设置有多个。
步骤S110中的接收双目红外摄像头模组采集的红外发光体的红外图像包括:接收多个双目红外摄像头模组采集的红外发光体的多个红外图像。
虽然设置多个双目红外摄像头模组可以从多角度采集红外发光体的图像,防止红外发光体被遮挡,但是,因为坐标系的不同,对于同一个待定位刚体,通过多个双目红外摄像头采集的红外图像可能会出现多个三维位置坐标。为了保证待定位刚体的三维位置坐标的统一,在步骤S130依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标包括多个双目红外摄像头的空间标定过程,具体为如下步骤:
(1)依据多个红外图像中的与发光体对应的红外发光点的位置,计算发光体相对于每个双目红外摄像头模组的三维位置坐标。
每个双目红外摄像头模组都有各自的坐标系,本步骤计算发光体相对于每个双目红外摄像头模组的三维位置坐标,即在每个红外摄像头模组对应的坐标系的三维位置坐标。
(2)获取发光体相对于每个双目红外摄像头模组的历史轨迹。
在本步骤中,如上说明,是获取发光体在每个双目红外摄像头模组对应的坐标系的三维位置坐标的历史轨迹。
(3)依据三维位置坐标和历史轨迹,计算多个双目红外摄像头模组在全局坐标系的相对位置。
因为步骤(1)和(2)所得数据均分别相对于每个双目红外摄像头模组来说的,选定一个全局坐标系后,依据发光体在每个红外摄像头模组对应的坐标系的当前三维位置坐标和三维位置坐标的历史轨迹,就可以确定多个双目红外摄像模组在全局坐标系的相对位置,即完成全局坐标系的统一。
这里选定的全局坐标系,可以是以其中一个双目红外摄像头模组对应的坐标系,也可自行设定,在这里不做限定。
(4)依据相对位置和发光体相对于每个双目红外摄像头模组的三维位置坐标,计算发光体在全局坐标系的三维位置坐标。
当多个双目红外摄像模组在全局坐标系的相对位置确定后,依据发光体相对于每个双目红外摄像头模组的三维位置坐标,就可以计算发光体在全局坐标系的三维位置坐标。
另外,在实际应用中,为保证每个双目摄像头模组可以识别到待定位刚体上的红外发光体,需要用户挥动待定位刚体一定时间,例如,20秒。当用户挥动待定位刚体时,可以通过与双目摄像头连接的显示屏显示的提示信息,确认是否每个双目摄像头模组均已识别。当显示屏显示“均已识别”的提示信息后,用户停止挥动待定位刚体。
在很多应用场景下,待定位刚体可能不止一个。例如,在虚拟现实VR应用场景中,待定位刚体可以是VR设备和手柄这两个待定位刚体。所以,在本发明的一个实施例中,当存在多个待定位刚体时,在每个待定位刚体上均设置一红外发光体和一惯性测量单元IMU。
步骤S110的接收双目红外摄像头模组采集的红外发光体的红外图像和步骤S120的接收惯性测量单元IMU采集的姿态信息包括:接收双目红外摄像头模组采集的多个红外发光体的红外图像;接收多个惯性测量单元IMU采集的姿态信息。
这样,双目红外摄像头采集的当前帧红外图像中会存在多个红外发光体的图像,即多个红外发光点,在确定红外发光点对应的三维位置坐标后,还需要确定与红外图像中的每个红外发光点对应的红外发光体,将获得的三维位置坐标与待定位刚体上的红外发光体一一对应,才能实现各个待定位刚体的定位。所以,
在步骤S130中的依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标之前,图1所示的方法还包括:确定红外图像中的红外发光点与红外发光体的对应关系。
步骤S130中的依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标,将三维位置坐标作为待定位刚体的移动自由度包括:依据红外图像中的与红外发光体对应的红外发光点的位置,确定与红外发光点具有对应关系的红外发光体的三维位置坐标,将三维位置坐标作为与红外发光体对应的待定位刚体的移动自由度。
具体地,为了实现多个待定位刚体的定位,上述确定红外图像中的红外发光点与红外发光体的对应关系可以通过下述方法进行。
(1)因为,IMU与发光体是相对应的,则上述确定红外图像中的红外发光点与红外发光体的对应关系,即确定红外发光点与IMU的对应关系。包括:依据每个红外发光点的历史轨迹计算每个红外发光点的线速度方向;依据每个IMU的姿态信息确定每个IMU当前朝向的单位方向向量;并依据每个IMU的朝向的方向向量的历史轨迹和当前朝向的单位方向向量计算每个IMU的角度变化方向;判断红外发光点的线速度方向与IMU的角度变化方向是否一致;若判断为是,则确定红外发光点与IMU具有对应关系;当红外发光点与IMU的对应关系确定后,红外发光点与红外发光体的对应关系
这里判断红外发光点的线速度方向与IMU的角度变化方向是否一致包括:判断红外发光点的线速度方向与IMU的角度变化方向的点积与自然数1的差异是否小于预设阈值;若判断为是,则确定发光点与IMU之间具有对应关系。
图2为本发明一个实施例提供的一种确定红外发光点与IMU的对应关系示意图。如图2所示,根据IMU的朝向的方向向量的历史轨迹可以确定IMU上一帧的朝向的方向向量,根据IMU的四元数确定IMU当前朝向的单位方向向量,这样就可以计算每个IMU的角度变化方向;根据红外发光点的历史轨迹计算每个红外发光点的线速度方向。当两者一致时,就可以确定对应关系。这里的IMU的朝向与手柄的朝向一致,例如图2所示的,手柄的朝向为是设置有发光体一端的延长线的指向,则IMU的朝向与该指向一致。为保证IMU朝向与手柄的朝向一致,在将IMU设置在手柄中时,需要令IMU中的一个坐标轴的方向与手柄的朝向一致。
由上述说明可知,本实施例的实施需要利用发光点的历史轨迹以及IMU的朝向的历史轨迹,所以,上述方法进一步包括:保存每个发光点的三维位置坐标,并根据三维坐标记录发光点的历史轨迹;以及,保存每个IMU的当前朝向的单位方向向量,并根据单位方向向量记录IMU的朝向的历史轨迹。
(2)上述确定红外图像中的红外发光点与红外发光体的对应关系包括:依据红外图像中与多个红外发光体的对应的红外发光点的位置关系,向多个红外发光体发送闪烁指令,闪烁指令用于指示多个红外发光体依据闪烁指令进行闪烁;再次接收双目红外摄像头模组采集多个红外发光体的红外图像,即第二红外图像;依据红外图像中的与多个红外发光体对应的红外发光点的发光状态确定红外发光点与红外发光体的对应关系。
红外发光体不同,对应的红外发光点也不同。向多个红外发光体发送闪烁指令后,红外发光体会在第二红外图像中执行相应的闪烁指令,当红外发光体根据闪烁指令进行闪烁时,就可以确定红外图像中闪烁的红外发光点与执行闪烁命令的红外发光体的对应关系。
根据第二红外图像中的与多个红外发光体对应的红外发光点的发光状态确定图像中红外发光点与红外发光体的对应关系。例如,向红外发光体A发送的闪烁命令是降低亮度,向红外发光体B发送的闪烁命令是亮度不变,向红外发光体C发送的闪烁命令是熄灭,在第二红外图像中,亮度降低的红外发光点就对应红外发光体A,确定亮度降低的红外发光点与红外发光体A的对应关系;亮度不变的红外发光点对应红外发光体B,确定亮度不变的红外发光点与红外发光体B的对应关系;熄灭的红外发光点对应红外发光体C,确定熄灭的发光点与红外发光体C的对应关系。
上述的闪烁指令可以是亮度指示指令,即指示发光体进行不同亮度的操作;或者是奇数帧发光或偶数帧发光的指令。
为了对发光体进行持续的识别,不能无限期的向多个红外发光体发送闪烁指令,所以在向多个红外发光体发送闪烁指令时还需要发送该指令执行的预设时间,红外发光体只在预设时间内执行指令。这里的预设时间是由闪烁指令发送时间和多个红外发光体接收到亮度指示指令时间之间的时间差确定,可以是时间也可以是帧数。例如,时间差为1-3帧,就确定预设时间为3帧;或者,时间差为1-4ms,则确定预设时间为4ms。
在一个例子中,闪烁指令为降低发光亮度的指令,在某一帧P1需要确定红外发光点与红外发光体A和红外发光体B的对应关系。对红外发光体A发送降低发光亮度指令以及预设时间4ms或预设帧数3帧,对红外发光体B发送亮度不变的指令。当红外发光体A接受到指令后,会降低发光亮度(或熄灭)4ms或3帧;红外发光体B接收到指令后,进行亮度不变的操作。则在发送指令后的某一确定帧P2,图像中发光点一个亮度保持不变,另一个亮度降低,则可以确定保持不变的红外发光点对应红外发光体为B;亮度变化的红外发光点对应红外发光体A。从而进行红外发光点与红外发光体A和红外发光体B的对应关系的确定。需要说明的是,在定位物体连接到本定位系统中时,系统会为每个定位物体设定唯一的识别号并发布。在向红外发光体A指令时,红外发光体A就会执行相应的指令。
在本发明的一个实施例中,当待定位刚体的六个自由度确定后,结合IMU采集的数据,将待定位刚体的六个自由度进行平滑插值滤波,将滤波后的六个自由度作为待定位刚体最终的六个自由度并输出,以获得更准确的待定位刚体的六个自由度。这里IMU采集的数据具体为IMU采集的姿态信息和加速度信息。因为IMU采集的数据不仅包括上述的姿态信息,同时还会输出加速度信息,所以当进行平滑插值滤波时,只要从IMU采集的数据中提取加速度信息即可。
图3为本发明一个实施例提供的一种定位刚体的装置的结构示意图。如图3所示,该定位刚体的装置300包括:
接收单元310,用于接收双目红外摄像头模组采集的红外发光体的红外图像;接收惯性测量单元IMU采集的姿态信息;其中,红外发光体和IMU设置在待定位刚体上。
移动自由度确定单元320,用于依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标,将三维位置坐标作为待定位刚体的移动自由度。
转动自由度确定单元330,用于依据姿态信息计算待定位刚体在全局坐标系的转动自由度。
定位单元340,用于使用移动自由度和转动自由度定位待定位刚体。
在本发明的一个实施例中,接收单元310,用于接收多个双目红外摄像头模组采集的红外发光体的多个红外图像。
移动自由度确定单元320,还用于依据多个红外图像中的与发光体对应的红外发光点的位置,计算发光体相对于每个双目红外摄像头模组的三维位置坐标;获取发光体相对于每个双目红外摄像头模组的历史轨迹;依据三维位置坐标和历史轨迹,计算多个双目红外摄像头模组在全局坐标系的相对位置;依据相对位置和发光体相对于每个双目红外摄像头模组的三维位置坐标,计算发光体在全局坐标系的三维位置坐标。
在本发明的一个实施例中,接收单元310,用于接收双目红外摄像头模组采集的多个红外发光体的红外图像;接收多个惯性测量单元IMU采集的姿态信息;其中,多个红外发光体和多个惯性测量单元IMU分别置于多个待定位刚体上。
移动自由度确定单元320,用于确定红外图像中的红外发光点与红外发光体的对应关系;依据红外图像中的与红外发光体对应的红外发光点的位置,确定与红外发光点具有对应关系的红外发光体的三维位置坐标,将三维位置坐标作为与红外发光体对应的待定位刚体的移动自由度。
具体地,移动自由度确定单元320,依据每个红外发光点的历史轨迹计算每个红外发光点的线速度方向;依据每个IMU的姿态信息确定每个IMU当前朝向的单位方向向量;并依据每个IMU的朝向的方向向量的历史轨迹和当前朝向的单位方向向量计算每个IMU的角度变化方向;判断红外发光点的线速度方向与IMU的角度变化方向是否一致;若判断为是,则确定红外发光点与IMU具有对应关系;其中,IMU与发光体相对应;或者,
依据红外图像中与多个发光体的对应的发光点的位置关系,向多个发光体发送闪烁指令,闪烁指令用于指示多个发光体依据闪烁指令进行闪烁;接收双目红外摄像头模组采集多个发光体的第二图像;依据第二图像中的与多个红外发光体对应的红外发光点的发光状态确定红外发光点与红外发光体的对应关系。
图4为本发明一个实施例提供的一种定位刚体的系统的结构示意图。如图4所示,该定位刚体的系统400包括:置于待定位刚体上的定位模块410、外置于待定位刚体的双目红外摄像头模组420、如图3所示的定位刚体的装置430;
定位模块410包括一红外发光体411、一惯性测量单元IMU412;
定位模块410和双目红外摄像头模组420有线或无线连接定位刚体的装置430。
需要说明的是,本实施例中的定位刚体的个数和双目红外摄像头模组的个数不做具体的限定,本方案同样可以实现多个定位刚体的定位和/或利用多个红外摄像头模组进行待定位刚体的定位。
还需要说明的是,图3所示的装置和图4所示的系统的各实施例与图1所示的方法的各实施例对应相同,上文已有详细说明,在此不再赘述。
综上所述,本发明的技术方案是通过红外光学成像和惯性测量单元相结合的方式实现刚体的定位。具体地,接收双目红外摄像头模组采集的红外发光体的红外图像;接收惯性测量单元IMU采集的姿态信息;其中,红外发光体和IMU设置在待定位刚体上;依据红外图像中的与红外发光体对应的红外发光点的位置,确定红外发光体在全局坐标系的三维位置坐标,将三维位置坐标作为待定位刚体的移动自由度;依据姿态信息确定待定位刚体在全局坐标系的转动自由度;这样,依据移动自由度和转动自由度就可以实现待定位刚体的定位。待定位刚体上的红外发光体为一个,可见,本技术方案适用于小体积的打定位刚体,且有利于实现多个待定位刚体的定位;利用红外发光体和IMU实现,定位成本低,定位精度较高。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种定位刚体的方法,其特征在于,所述方法包括:
接收双目红外摄像头模组采集的红外发光体的红外图像;
接收惯性测量单元IMU采集的姿态信息;其中,所述红外发光体和所述IMU设置在待定位刚体上;
依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定所述红外发光体在全局坐标系的三维位置坐标,将所述三维位置坐标作为所述待定位刚体的移动自由度;
依据所述姿态信息确定所述待定位刚体在所述全局坐标系的转动自由度;其中,依据所述移动自由度和所述转动自由度定位所述待定位刚体。
2.如权利要求1所述的方法,其特征在于,
所述接收双目红外摄像头模组采集的红外发光体的红外图像包括:
接收多个双目红外摄像头模组采集的红外发光体的多个红外图像;
所述依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定所述红外发光体在全局坐标系的三维位置坐标包括:
依据所述多个红外图像中的与所述发光体对应的红外发光点的位置,计算所述发光体相对于每个双目红外摄像头模组的三维位置坐标;
获取所述发光体相对于每个双目红外摄像头模组的历史轨迹;
依据所述三维位置坐标和所述历史轨迹,计算所述多个双目红外摄像头模组在全局坐标系的相对位置;
依据所述相对位置和所述发光体相对于每个双目红外摄像头模组的三维位置坐标,计算所述发光体在所述全局坐标系的三维位置坐标。
3.如权利要求1或2所述的方法,其特征在于,
所述接收双目红外摄像头模组采集的红外发光体的红外图像;接收惯性测量单元IMU采集的姿态信息包括:接收双目红外摄像头模组采集的多个红外发光体的红外图像;接收多个惯性测量单元IMU采集的姿态信息;其中,所述多个红外发光体和所述多个惯性测量单元IMU分别置于多个待定位刚体上;
在所述依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定所述红外发光体在全局坐标系的三维位置坐标之前,所述方法还包括:
确定所述红外图像中的红外发光点与所述红外发光体的对应关系;
所述依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定所述红外发光体在全局坐标系的三维位置坐标,将所述三维位置坐标作为所述待定位刚体的移动自由度包括:
依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定与所述红外发光点具有对应关系的所述红外发光体的三维位置坐标,将所述三维位置坐标作为与所述红外发光体对应的所述待定位刚体的移动自由度。
4.如权利要求3所述的方法,其特征在于,所述确定所述红外图像中的红外发光点与所述红外发光体的对应关系包括:
依据每个所述红外发光点的历史轨迹计算每个所述红外发光点的线速度方向;
依据每个所述IMU的所述姿态信息确定每个所述IMU当前朝向的单位方向向量;并依据每个所述IMU的朝向的方向向量的历史轨迹和所述当前朝向的单位方向向量计算每个所述IMU的角度变化方向;
判断所述红外发光点的线速度方向与所述IMU的角度变化方向是否一致;若判断为是,则确定所述红外发光点与所述IMU具有对应关系;其中,所述IMU与所述发光体相对应。
5.如权利要求3所述的方法,其特征在于,所述确定所述红外图像中的红外发光点与所述红外发光体的对应关系包括:
依据所述红外图像中与所述多个红外发光体的对应的红外发光点的位置关系,向所述多个红外发光体发送闪烁指令,所述闪烁指令用于指示所述多个红外发光体依据所述闪烁指令进行闪烁;
接收所述双目红外摄像头模组采集所述多个红外发光体的红外图像;
依据所述红外图像中的与所述多个红外发光体对应的红外发光点的发光状态确定所述红外发光点与所述红外发光体的对应关系。
6.一种定位刚体的装置,其特征在于,所述装置包括:
接收单元,用于接收双目红外摄像头模组采集的红外发光体的红外图像;接收惯性测量单元IMU采集的姿态信息;其中,所述红外发光体和所述IMU设置在待定位刚体上;
移动自由度确定单元,用于依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定所述红外发光体在全局坐标系的三维位置坐标,将所述三维位置坐标作为所述待定位刚体的移动自由度;
转动自由度确定单元,用于依据所述姿态信息计算所述待定位刚体在全局坐标系的转动自由度;
定位单元,用于使用所述移动自由度和所述转动自由度定位所述待定位刚体。
7.如权利要求6所述的装置,其特征在于,
所述接收单元,用于接收多个双目红外摄像头模组采集的红外发光体的多个红外图像;
所述移动自由度确定单元,还用于依据所述多个红外图像中的与所述发光体对应的红外发光点的位置,计算所述发光体相对于每个双目红外摄像头模组的三维位置坐标;获取所述发光体相对于每个双目红外摄像头模组的历史轨迹;依据所述三维位置坐标和所述历史轨迹,计算所述多个双目红外摄像头模组在全局坐标系的相对位置;依据所述相对位置和所述发光体相对于每个双目红外摄像头模组的三维位置坐标,计算所述发光体在所述全局坐标系的三维位置坐标。
8.如权利要求6或7所述的装置,其特征在于,
所述接收单元,用于接收双目红外摄像头模组采集的多个红外发光体的红外图像;接收多个惯性测量单元IMU采集的姿态信息;其中,所述多个红外发光体和所述多个惯性测量单元IMU分别置于多个待定位刚体上;
所述移动自由度确定单元,用于确定所述红外图像中的红外发光点与所述红外发光体的对应关系;依据所述红外图像中的与所述红外发光体对应的红外发光点的位置,确定与所述红外发光点具有对应关系的所述红外发光体的三维位置坐标,将所述三维位置坐标作为与所述红外发光体对应的所述待定位刚体的移动自由度。
9.如权利要求8所述的装置,其特征在于,
所述移动自由度确定单元,依据每个所述红外发光点的历史轨迹计算每个所述红外发光点的线速度方向;依据每个所述IMU的所述姿态信息确定每个所述IMU当前朝向的单位方向向量;并依据每个所述IMU的朝向的方向向量的历史轨迹和所述当前朝向的单位方向向量计算每个所述IMU的角度变化方向;判断所述红外发光点的线速度方向与所述IMU的角度变化方向是否一致;若判断为是,则确定所述红外发光点与所述IMU具有对应关系;其中,所述IMU与所述发光体相对应;或者,
依据所述红外图像中与所述多个发光体的对应的发光点的位置关系,向所述多个发光体发送闪烁指令,所述闪烁指令用于指示所述多个发光体依据所述闪烁指令进行闪烁;接收所述双目红外摄像头模组采集所述多个发光体的第二图像;依据所述第二图像中的与所述多个红外发光体对应的红外发光点的发光状态确定所述红外发光点与所述红外发光体的对应关系。
10.一种定位刚体的系统,其特征在于,所述系统包括:置于待定位刚体上的定位模块、外置于所述待定位刚体的双目红外摄像头模组、如权利要求6-9任一项所述定位刚体的装置;
所述定位模块包括一红外发光体、一惯性测量单元IMU;
所述定位模块和所述双目红外摄像头模组有线或无线连接所述定位刚体的装置。
CN201710370295.5A 2017-05-23 2017-05-23 一种定位刚体的方法、装置和系统 Active CN107289931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710370295.5A CN107289931B (zh) 2017-05-23 2017-05-23 一种定位刚体的方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710370295.5A CN107289931B (zh) 2017-05-23 2017-05-23 一种定位刚体的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN107289931A true CN107289931A (zh) 2017-10-24
CN107289931B CN107289931B (zh) 2019-09-27

Family

ID=60094629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710370295.5A Active CN107289931B (zh) 2017-05-23 2017-05-23 一种定位刚体的方法、装置和系统

Country Status (1)

Country Link
CN (1) CN107289931B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489487A (zh) * 2018-03-20 2018-09-04 广州番禺职业技术学院 一种新型快速三维姿态角高精度测量方法与装置
CN108958483A (zh) * 2018-06-29 2018-12-07 深圳市未来感知科技有限公司 基于交互笔的刚体定位方法、装置、终端设备及存储介质
CN108981690A (zh) * 2018-06-07 2018-12-11 北京轻威科技有限责任公司 一种光惯融合定位方法、设备及系统
CN110260845A (zh) * 2019-06-10 2019-09-20 北京航空航天大学 一种基于三台高速摄像机的昆虫运动采集装置
CN111354018A (zh) * 2020-03-06 2020-06-30 合肥维尔慧渤科技有限公司 一种基于图像的物体识别方法、装置及系统
CN111504314A (zh) * 2020-04-30 2020-08-07 深圳市瑞立视多媒体科技有限公司 Imu与刚体的位姿融合方法、装置、设备及存储介质
CN112040058A (zh) * 2020-07-31 2020-12-04 广州幻境科技有限公司 终端设备的姿态数据检测方法和系统
CN112781589A (zh) * 2021-01-05 2021-05-11 北京诺亦腾科技有限公司 一种基于光学数据和惯性数据的位置追踪设备及方法
WO2023060999A1 (zh) * 2021-10-11 2023-04-20 深圳市瑞立视多媒体科技有限公司 一种基于光惯融合原理的无线手柄交互系统
CN116342662A (zh) * 2023-03-29 2023-06-27 北京诺亦腾科技有限公司 基于多目相机的追踪定位方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575108B1 (ko) * 2004-04-30 2006-04-28 한국과학기술원 비전 센서를 이용하여 다수 비행체를 도킹시키는 방법
CN103808319A (zh) * 2014-02-26 2014-05-21 上海交通大学 基于惯性定位和vlc技术的室内混合定位系统及方法
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN104457761A (zh) * 2014-11-18 2015-03-25 上海新跃仪表厂 基于多目视觉的相对位置和姿态的特征接力方法
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉系统及方法
CN105487670A (zh) * 2015-12-18 2016-04-13 北京诺亦腾科技有限公司 对虚拟现实系统的物理道具的定位方法以及虚拟现实系统
CN106525003A (zh) * 2016-12-16 2017-03-22 深圳市未来感知科技有限公司 一种基于双目视觉的姿态测量方法
CN206096621U (zh) * 2016-07-30 2017-04-12 广州数娱信息科技有限公司 一种增强型虚拟现实感知设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575108B1 (ko) * 2004-04-30 2006-04-28 한국과학기술원 비전 센서를 이용하여 다수 비행체를 도킹시키는 방법
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN103808319A (zh) * 2014-02-26 2014-05-21 上海交通大学 基于惯性定位和vlc技术的室内混合定位系统及方法
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN104457761A (zh) * 2014-11-18 2015-03-25 上海新跃仪表厂 基于多目视觉的相对位置和姿态的特征接力方法
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉系统及方法
CN105487670A (zh) * 2015-12-18 2016-04-13 北京诺亦腾科技有限公司 对虚拟现实系统的物理道具的定位方法以及虚拟现实系统
CN206096621U (zh) * 2016-07-30 2017-04-12 广州数娱信息科技有限公司 一种增强型虚拟现实感知设备
CN106525003A (zh) * 2016-12-16 2017-03-22 深圳市未来感知科技有限公司 一种基于双目视觉的姿态测量方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489487A (zh) * 2018-03-20 2018-09-04 广州番禺职业技术学院 一种新型快速三维姿态角高精度测量方法与装置
CN108981690A (zh) * 2018-06-07 2018-12-11 北京轻威科技有限责任公司 一种光惯融合定位方法、设备及系统
CN108958483A (zh) * 2018-06-29 2018-12-07 深圳市未来感知科技有限公司 基于交互笔的刚体定位方法、装置、终端设备及存储介质
CN110260845A (zh) * 2019-06-10 2019-09-20 北京航空航天大学 一种基于三台高速摄像机的昆虫运动采集装置
CN110260845B (zh) * 2019-06-10 2020-10-16 北京航空航天大学 一种基于三台高速摄像机的昆虫运动采集装置
CN111354018B (zh) * 2020-03-06 2023-07-21 合肥维尔慧渤科技有限公司 一种基于图像的物体识别方法、装置及系统
CN111354018A (zh) * 2020-03-06 2020-06-30 合肥维尔慧渤科技有限公司 一种基于图像的物体识别方法、装置及系统
CN111504314A (zh) * 2020-04-30 2020-08-07 深圳市瑞立视多媒体科技有限公司 Imu与刚体的位姿融合方法、装置、设备及存储介质
WO2021218731A1 (zh) * 2020-04-30 2021-11-04 深圳市瑞立视多媒体科技有限公司 Imu与刚体的位姿融合方法、装置、设备及存储介质
CN111504314B (zh) * 2020-04-30 2021-11-12 深圳市瑞立视多媒体科技有限公司 Imu与刚体的位姿融合方法、装置、设备及存储介质
CN112040058A (zh) * 2020-07-31 2020-12-04 广州幻境科技有限公司 终端设备的姿态数据检测方法和系统
CN112781589A (zh) * 2021-01-05 2021-05-11 北京诺亦腾科技有限公司 一种基于光学数据和惯性数据的位置追踪设备及方法
CN112781589B (zh) * 2021-01-05 2021-12-28 北京诺亦腾科技有限公司 一种基于光学数据和惯性数据的位置追踪设备及方法
WO2023060999A1 (zh) * 2021-10-11 2023-04-20 深圳市瑞立视多媒体科技有限公司 一种基于光惯融合原理的无线手柄交互系统
CN116342662A (zh) * 2023-03-29 2023-06-27 北京诺亦腾科技有限公司 基于多目相机的追踪定位方法、装置、设备及介质
CN116342662B (zh) * 2023-03-29 2023-12-05 北京诺亦腾科技有限公司 基于多目相机的追踪定位方法、装置、设备及介质

Also Published As

Publication number Publication date
CN107289931B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN107289931A (zh) 一种定位刚体的方法、装置和系统
KR102448284B1 (ko) 헤드 마운트 디스플레이 추적 시스템
CN106485736B (zh) 一种无人机全景视觉跟踪方法、无人机以及控制终端
CN105678693B (zh) 全景视频浏览播放方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN105809701B (zh) 全景视频姿态标定方法
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
JP2018528509A (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
CN206162398U (zh) 一种用于重型机械远程无人操作的立体视觉随动显示系统
CN108846867A (zh) 一种基于多目全景惯导的slam系统
CN109725733A (zh) 一种基于增强现实的人机交互方法及人机交互设备
CN110598590A (zh) 基于多视角相机的紧密交互人体姿态估计方法及装置
CN107295230A (zh) 一种基于红外热像仪的微型目标物移动侦测装置及方法
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
CN109765936A (zh) 移动终端的定位和控制方法、装置及无人机
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN108093244A (zh) 一种远程随动立体视觉系统
CN110062916A (zh) 用于模拟可移动平台的操作的视觉模拟系统
CN109166181A (zh) 一种基于深度学习的混合动作捕捉系统
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
CN106991706A (zh) 一种拍摄校准方法及系统
JP4580678B2 (ja) 注視点位置表示装置
CN106546230A (zh) 定位点布置方法及装置、测定定位点三维坐标的方法及设备
CN109445596B (zh) 一种一体式混合现实头戴显示系统
CN111199576B (zh) 一种基于移动平台的室外大范围人体姿态重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant