CN110796703A - 一种位姿跟踪系统、方法和存储介质 - Google Patents

一种位姿跟踪系统、方法和存储介质 Download PDF

Info

Publication number
CN110796703A
CN110796703A CN201911128179.8A CN201911128179A CN110796703A CN 110796703 A CN110796703 A CN 110796703A CN 201911128179 A CN201911128179 A CN 201911128179A CN 110796703 A CN110796703 A CN 110796703A
Authority
CN
China
Prior art keywords
infrared
information
point
projection screen
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911128179.8A
Other languages
English (en)
Other versions
CN110796703B (zh
Inventor
许澍虹
吕毅
代超璠
王丽君
吴程程
薛阳
武玉芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commercial Aircraft Corp of China Ltd
Beijing Aeronautic Science and Technology Research Institute of COMAC
Original Assignee
Commercial Aircraft Corp of China Ltd
Beijing Aeronautic Science and Technology Research Institute of COMAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commercial Aircraft Corp of China Ltd, Beijing Aeronautic Science and Technology Research Institute of COMAC filed Critical Commercial Aircraft Corp of China Ltd
Priority to CN201911128179.8A priority Critical patent/CN110796703B/zh
Publication of CN110796703A publication Critical patent/CN110796703A/zh
Application granted granted Critical
Publication of CN110796703B publication Critical patent/CN110796703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种位姿跟踪系统、方法和存储介质。其中，所述系统包括：姿态测算单元、至少两个红外激光发射器、投影屏幕以及红外相机和处理器；所述处理器与所述姿态测算单元以及所述红外相机通信连接，用于依据红外相机的空间坐标信息、投影屏幕的空间位置信息以及接收到的所述姿态测算单元获取的所述至少两个红外激光发射器的姿态信息和所述红外相机采集的所述投影屏幕上生成的至少两个红外标记点信息进行处理，依据所述处理结果确定待跟踪点的位姿信息。本发明提供的技术方案，无需在虚拟现实系统的投影屏幕上打孔安装相机，保证三维场景的一致性和虚拟现实系统投影屏幕的完整性，极大提升用户在使用虚拟现实系统时的沉浸式体验。

Description

一种位姿跟踪系统、方法和存储介质
技术领域
本发明实施例涉及运动跟踪技术领域，尤其涉及一种位姿跟踪系统、方法和存储介质。
背景技术
随着计算机软硬件技术的发展，沉浸式虚拟现实(Cave Automatic VirtualEnvironment，CAVE)系统被越来越多地应用于航空、航天、高铁、船舶及汽车等领域。CAVE系统根据用户眼点的空间位置和姿态信息对三维场景进行渲染，产生一个沉浸式虚拟环境。
目前，CAVE系统的运动跟踪设备主要采用光学运动跟踪技术，利用照相测量原理，获取目标的运动轨迹。为完成用户眼点的六自由度位姿跟踪，需要将CAVE投影屏幕打孔完成相机的固定和安装，然而，多相机的安装需要在系统投影屏幕上进行开孔，会破坏场景的一致性，严重影响用户的沉浸体验。
发明内容
本发明提供一种位姿跟踪系统、方法和存储介质，无需在虚拟现实系统的投影屏幕上打孔安装相机，保证三维场景的一致性和虚拟现实系统投影屏幕的完整性，极大提升用户在使用虚拟现实系统时的沉浸式体验。
第一方面，本发明实施例提供了一种位姿跟踪，所述系统包括姿态测算单元、至少两个红外激光发射器、投影屏幕以及红外相机和处理器；
所述姿态测算单元和所述至少两个红外激光发射器固定连接，所述至少两个红外激光发射器用于在所述投影屏幕上生成至少两个红外标记点，所述姿态测算单元用于获取所述至少两个红外激光发射器的姿态信息；
所述红外相机固定设置于所述投影屏幕的外部，用于采集所述投影屏幕上生成的至少两个红外标记点信息；
所述处理器与所述姿态测算单元以及所述红外相机通信连接，用于依据红外相机的空间坐标信息，以及接收到的所述姿态测算单元获取的所述至少两个红外激光发射器的姿态信息和所述红外相机采集的所述投影屏幕上生成的至少两个红外标记点信息进行处理，确定待跟踪点的位姿信息。
第二方面，本发明实施例还提供了一种位姿跟踪方法，由位姿跟踪系统中的处理器执行，该方法包括：
接收姿态测算单元的获取的至少两个红外激光发射器的姿态信息和红外相机采集的投影屏幕上生成的至少两个红外标记点信息；
依据所述红外相机的空间坐标信息、投影屏幕的空间位置信息，以及接收到的所述姿态测算单元获取的所述至少两个红外激光发射器的姿态信息和所述红外相机所采集的所述投影屏幕上生成的至少两个红外标记点信息，确定待跟踪点的位姿信息。
第三方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种位姿跟踪方法。
本发明实施例通过依据红外相机的空间坐标信息、投影屏幕的空间位置信息，以及空间姿态测算单元获取的至少两个红外激光发射器的姿态信息和红外相采集的投影屏幕上生成的至少两个红外标记点信息，确定待跟踪点的位姿信息。本实施例的技术方法，只要场景的空间几何信息已知且红外相机可以观察到红外标记点即可确定待跟踪点的位姿信息，无需在投影屏幕打孔安装相机，应用场景限制较小，保证了三维场景的一致性和CAVE系统投影屏幕的完整性。
附图说明
图1为本发明实施例一提供的一种位姿跟踪系统的结构示意图；
图2为本发明实施例二提供的一种位姿跟踪方法的流程图；
图3为本发明实施例三提供的一种位姿跟踪方法的流程图；
图4为本发明实施例三提供的一种红外标记点的折射示意图；
图5为本发明实施例三提供的一种红外标记点在红外相机成像面的成像示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种位姿跟踪系统的结构示意图。该位姿跟踪系统包括姿态测算单元、至少两个红外激光的发射器、投影屏幕以及红外相机和处理器。参见图1，姿态测算单元和至少两个红外激光发射器固定连接，设置于一个刚体上，设置于系统中的O点，至少两个红外激光发射器的发射方向不共线，且发射方向的反向延长线向相交于一点。其中，至少两个红外激光发射器用于在投影屏幕上生成至少两个红外标记点，姿态测算单元用于获取至少两个红外激光发射器的姿态信息。示例性的，图1中的点M1、M2以及M3分别为O点设置的红外激光发射器发射的红外标记点。
进一步参见图1，该位姿跟踪系统还包括投影屏幕10、红外相机11以及处理器(图中未示出)。其中，红外相机固定设置于投影屏幕的外部，用于采集投影屏幕上生成的至少两个红外标记点信息。进一步的，红外相机在进行设置的时候，需要通过各红外相机的成像信息来确定红外相机的固定摆放位置，保证所有投影屏幕均可被红外相机观测到。在红外相机的位置固定设置之后，通过系统标定，可以获取所有相机的空间摆放与朝向信息，具体的，可以通过在系统中设置相应的参照点，由参照点的空间位置信息、参照点在各红外相机中的成像位置等信息对各红外相机进行标定，确定各红外相机的空间摆放位置和朝向信息。
进一步的，处理器与姿态测算单元以及红外相机通信连接，用于依据红外相机的空间坐标信息、投影屏幕的空间位置信息以及接收到的姿态测算单元获取的至少两个红外激光发射器的姿态信息和红外相机采集的投影屏幕上生成的至少两个红外标记点信息进行处理，依据处理结果确定待跟踪点的位姿信息。
需要说明的是，该位姿跟踪系统的形状、屏幕数量、红外相机数量不局限与上述实施例所描述的内容。
本实施例提供的一种位姿跟踪系统，包括姿态测算单元、至少两个红外激光的发射器、投影屏幕以及红外相机和处理器，通过将红外相机固定设置在投影屏幕的外侧，无需在虚拟现实系统的投影屏幕上打孔安装相机，保证三维场景的一致性和虚拟现实系统投影屏幕的完整性，极大提升用户在使用虚拟现实系统时的沉浸式体验。
进一步的，在上述实施例的基础上，依据红外相机的空间坐标信息、投影屏幕的空间位置信息以及接收到的姿态测算单元获取的至少两个红外激光发射器的姿态信息和红外相机采集的投影屏幕上生成的至少两个红外标记点信息进行处理，确定待跟踪点的位姿信息包括：
依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息；
依据至少两个红外标记点的空间坐标信息，以及姿态测算单元获取的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线；
依据至少两条跟踪点路线交点的空间坐标信息，确定待跟踪点的空间坐标信息；
依据待跟踪点的空间坐标信息，以及姿态测算单元获取的待跟踪点的姿态信息，确定待跟踪点的位姿信息。
具体的，依据红外相机的空间位置信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息，包括：
依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息，确定至少两条经过红外相机和红外标记点的标记点路线；
依据标记点路线，以及投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息。
可选的，在依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息之后，还包括：
依据至少两个红外标记点的空间坐标信息和投影屏幕的厚度，以及至少两个红外标记点在投影屏幕的入射角和折射角，确定至少两个红外标记点的实际空间坐标信息。
进一步的，依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息，确定至少两条经过红外相机和红外标记点的标记点路线，包括：
确定至少两个红外标记点在红外相机成像面灰度重心的空间坐标信息；
依据至少两个红外相机的空间坐标信息，以及灰度重心的空间坐标信息，确定至少两条经过红外相机和灰度重心的标记点路线。
进一步的，依据至少两个红外标记点的空间坐标信息，以及姿态测算单元获取的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线，包括：
确定至少两个红外标记点关联的红外激光发射器；
依据至少两个红外标记点的空间坐标信息，以及姿态测算单元获取的至少两个红外标记点关联的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线。
可选的，依据至少两条跟踪点路线交点的空间坐标信息，确定待跟踪点的空间坐标信息，包括：
确定至少两条跟踪点路线交点的空间坐标信息；
确定交点和至少两个红外标记点之间的距离之和，将距离之和最小的交点的空间坐标信息作为待跟踪点的空间坐标信息。
实施例二
图2是本发明实施例二提供的一种位姿跟踪方法的流程图。本实施例可适用于对待跟踪点的位姿进行跟踪的情况，典型的，该方法可以应用于CAVE系统、桌面显示器跟踪、大屏幕跟踪以及机器人跟踪等场景中。该方法可以由位姿跟踪系统中的处理器来执行。参见图2，该方法具体可以包括如下步骤：
步骤210、接收姿态测算单元的获取的至少两个红外激光发射器的姿态信息和红外相机采集的投影屏幕上生成的至少两个红外标记点信息。
本实施例中，姿态测算单元与红外激光发射器固定连接。示例性的，姿态测算单元和红外激光发射器固定连接在一个刚体上，由用户进行佩戴。通过姿态测算单元可以实时的计算出红外激光发射器的姿态信息。示例性的，姿态测算单元可以为惯性测量单元，可以直接测量出红外激光发射器在x、y、z三个方向上的角速度和加速度，进而可以实时的确定各红外激光发射器的朝向信息。
红外激光发射器发射出的激光照射在投影屏上形成至少两个红外标记点，红外相机对投影屏幕上生成的至少两个红外标记点进行观测，采集的投影屏幕上生成的至少两个红外标记点信息并发送至处理器。
步骤220、依据红外相机的空间坐标信息、投影屏幕的空间位置信息，以及接收到的姿态测算单元获取的至少两个红外激光发射器的姿态信息和红外相机所采集的投影屏幕上生成的至少两个红外标记点信息，确定待跟踪点的位姿信息。
其中，位姿信息包括待跟踪点的空间三维坐标和空间朝向信息的六自由度位姿信息。
本实施例中，通过对设置在屏幕外侧的红外相机进行标定，可以确定各红外相机的空间坐标信息，利用红外相机对视野中的红外标记点进行观测，基于相机内参数矩阵与相机成像原理可以计算出经过红外相机坐标原点与红外标记点位置的直线方程。
进一步的，利用已知的投影屏幕空间几何信息计算红外标记所在直线与投影屏幕所在平面的交点位置，交点位置的空间位置坐标即为红外标记的空间位置坐标。
进一步的，根据姿态测算单元获取的至少两个红外激光发射器的姿态信息可以分别确定各红外激光发射器的发射方向，根据各红外标记点的空间坐标信息，以及红外标记点关联的红外激光发射器的发射方向，确定至少两条通过红外标记点和红外激光发射器的直线方程，由直线方程的交点可以确定待跟踪点的空间坐标，在根据姿态测算单元实时获取的红外激光发射器的姿态信息，可以进一步得到待跟踪点的姿态信息。示例性的，若系统最终要获取用户双眼的位姿信息，通过红外激光发射器与用户双眼之间的相对位置关系，可以进一步确定用户眼点的位姿信息。
本发明实施例通过惯性测量单元进行姿态解算，利用红外相机以及场景空间几何信息对红外激光投射的红外标记点进行定位并反推位置信息。只要场景的空间几何信息已知且红外相机可以观察到红外标记点即可完成六自由度位姿跟踪，应用场景限制较小；并且，该方法无需在投影屏幕打孔安装相机，保证了三维场景的一致性和虚拟现实系统投影屏幕的完整性，提高了用户的使用体验。
实施例三
图3为本发明实施例三提供的一种位姿跟踪方法的流程图。本发明实施例在上述实施例的基础上，对步骤220进行了进一步细化。参照图3，该方法具体可以包括：
步骤310、接收姿态测算单元的获取的至少两个红外激光发射器的姿态信息和红外相机采集的投影屏幕上生成的至少两个红外标记点信息。
步骤320、依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息。
本实施例中，首先通过红外相机的空间坐标信息，以及至少两个红外标记点在红外成像面的成像位置，确定经过红外相机和红外标记点成像点的直线方程；根据上述直线方程以及投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息。
具体的，依据红外相机的空间位置信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息，包括：
依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息，确定至少两条经过红外相机和红外标记点的标记点路线；
依据标记点路线，以及投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息。
其中，依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息，确定至少两条经过红外相机和红外标记点的标记点路线，包括：
确定至少两个红外标记点在红外相机成像面灰度重心的空间坐标信息；
依据至少两个红外相机的空间坐标信息，以及灰度重心的空间坐标信息，确定至少两条经过红外相机和灰度重心的标记点路线。
具体的，设红外标记点为Mi，红外相机的坐标原点为Ci，基于红外相机成像原理，利用相机的内参数矩阵与红外标记点Mi在红外相机像平面的成像位置mi，可以计算出经过相机坐标原点Ci与Mi的一条空间直线表达式，通过计算该直线与投影幕屏幕的交点即可获得红外标记点Mi的空间位置坐标。
然而，由于红外激光透射、散射和入射角度等因素的影响以及数字相机的成像特点，红外相机拍摄到的红外标记并非是一个点，而是一个包含多个像素的类圆形，具体参见图4。因此，需要通过特定方式选取其中的一点作为红外标记的成像位置进行进一步的解算。
可选的，本实施例将红外标记Mi对应像点mi(xi0，yi0)的重心视为标记点在像平面中的成像位置，采用灰度重心法求取其在成像平面的坐标(xi0，yi0)。设图4中像平面各像素点的灰度值为I(i,j)，(i,j)为各像素点在像平面中的坐标，则像点mi在像平面中的位置(xi0，yi0)的计算公式如下：
Figure BDA0002277508410000101
进一步的，可以计算出经过相机坐标原点Ci与红外标记点Mi线的空间表达式。设该空间表达式上的任一点ai坐标为(aix,aiy,aiz)。根据系统标定结果可知Ci与投影屏幕的空间位置。设Ci空间位置以及投影屏幕所在平面方程分别为(Cix,Ciy,Ciz)，和Ax+By+Cz+D＝0。则红外标记点在投影屏幕上的位置Mi(Mix,Miy,Miz)为直线Ciai与平面Ax+By+Cz+D＝0的交点，可通过求解以下方程获得。
Figure BDA0002277508410000111
上述求得的红外标记点的空间坐标信息为理想的空间坐标信息，由于投影屏幕具有一定的厚度，红外激光在穿透玻璃投影时发生了折射，红外标记点的计算结果与实际经过的红外标记点存在一定的位移，需要进行修正。
进一步的，在依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息之后，还包括：
依据至少两个红外标记点的空间坐标信息和投影屏幕的厚度，以及至少两个红外标记点在投影屏幕的入射角和折射角，确定至少两个红外标记点的实际空间坐标信息。
具体参照图5，设Mi为红外激光入射点，Mi’为红外激光投射点，α为入射角，可由姿态测算单元计算得到，β为折射角，D为投影屏幕厚度，d为红外标记点的偏移量。根据折射定律，偏移量d的计算公式具体如下：
Figure BDA0002277508410000121
由此即可计算得到红外标记点偏移量d的值，将计算获得的Mi’进行平移即可修正折射导致的误差，从而确定实际经过激光光线的红外标记点的实际空间坐标信息。
步骤330、依据至少两个红外标记点的空间坐标信息，以及姿态测算单元获取的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线。
本实施例中，姿态测算单元可以实时的计算出红外激光发射器的姿态信息，根据获取到的姿态信息可以确定各红外激光发射器的发射方向，再根据各红外标记点的空间坐标信息，可以确定至少两条经过红外标记点以及待跟踪点的直线方程。
具体的，依据至少两个红外标记点的空间坐标信息，以及姿态测算单元获取的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线，包括：
确定至少两个红外标记点关联的红外激光发射器；
依据至少两个红外标记点的空间坐标信息，以及姿态测算单元获取的至少两个红外标记点关联的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线。
步骤340、依据至少两条跟踪点路线交点的空间坐标信息，确定待跟踪点的空间坐标信息。
具体的，依据至少两条跟踪点路线交点的空间坐标信息，确定待跟踪点的空间坐标信息，包括：
确定至少两条跟踪点路线交点的空间坐标信息；
确定交点和至少两个红外标记点之间的距离之和，将距离之和最小的交点的空间坐标信息作为待跟踪点的空间坐标信息。
本实施例中，由于系统误差和投影屏幕折射的影响，通常情况下多条跟踪点路线并不能交于同一点，因此需要利用最优化的方法求取待跟踪点O的位置。
具体的，假设O的空间位置坐标为(Ox,Oy,Oz)，投影屏幕上的红外标记点Mi的空间位置坐标为(Mix,Miy,Miz)，经过Mi点的红外激光的单位方向向量为Vi，则O点到过Mi点的红外激光的距离为Vi×OMi。可选的，为了最优化跟踪点O的位置，本实施例采用到所有光线距离之和最小的点为跟踪点O的位置，即：
min∑Vi×OMi
可选的，通过选取任意两条光线的中垂线中点作为初始位置，利用牛顿迭代法即可求得该最优位置，将该最优位置处点的空间坐标信息作为待追踪点的空间坐标信息。
步骤350、依据待跟踪点的空间坐标信息，以及姿态测算单元获取的待跟踪点的姿态信息，确定待跟踪点的位姿信息。
其中，待跟踪点的位姿信息为六自由度位姿信息，包括上述求得的待跟踪点的空间坐标信息，以及姿态测算单元获取的姿态信息。通过确定待跟踪点的六自由度位姿信息，根据待跟踪点和用户眼睛之间的相对位置关系，可以进一步确定用户眼睛的六自由度位姿信息。
本发明实时例的技术方案，通过利用将红外标记成像的灰度重心求解标记点路线，并对求得的红外标记点的空间坐标进行修正，进一步提高了待追踪点位姿的求解精度。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种位姿跟踪方法。其中，所述方法包括：
接收姿态测算单元的获取的至少两个红外激光发射器的姿态信息和红外相机采集的投影屏幕上生成的至少两个红外标记点信息；
依据所述红外相机的空间坐标信息、投影屏幕的空间位置信息，以及接收到的所述姿态测算单元获取的所述至少两个红外激光发射器的姿态信息和所述红外相机所采集的所述投影屏幕上生成的至少两个红外标记点信息，确定待跟踪点的位姿信息。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种位姿跟踪系统，其特征在于，包括姿态测算单元、至少两个红外激光发射器、投影屏幕以及红外相机和处理器；
所述姿态测算单元和所述至少两个红外激光发射器固定连接，所述至少两个红外激光发射器用于在所述投影屏幕上生成至少两个红外标记点，所述姿态测算单元用于获取所述至少两个红外激光发射器的姿态信息；
所述红外相机固定设置于所述投影屏幕的外部，用于采集所述投影屏幕上生成的至少两个红外标记点信息；
所述处理器与所述姿态测算单元以及所述红外相机通信连接，用于依据红外相机的空间坐标信息、投影屏幕的空间位置信息以及接收到的所述姿态测算单元获取的所述至少两个红外激光发射器的姿态信息和所述红外相机采集的所述投影屏幕上生成的至少两个红外标记点信息进行处理，确定待跟踪点的位姿信息。
2.根据权利要求1所述的系统，其特征在于，所述至少两个红外激光发射器的发射方向不共线，且所述发射方向的反向延长线向相交于一点。
3.一种位姿跟踪方法，其特征在于，由位姿跟踪系统中的处理器执行，所述方法包括：
接收姿态测算单元的获取的至少两个红外激光发射器的姿态信息和红外相机采集的投影屏幕上生成的至少两个红外标记点信息；
依据所述红外相机的空间坐标信息、投影屏幕的空间位置信息，以及接收到的所述姿态测算单元获取的所述至少两个红外激光发射器的姿态信息和所述红外相机所采集的所述投影屏幕上生成的至少两个红外标记点信息，确定待跟踪点的位姿信息。
4.根据权利要求3所述的方法，其特征在于，所述依据所述红外相机的空间坐标信息、投影屏幕的空间位置信息，以及接收到的所述姿态测算单元获取的所述至少两个红外激光发射器的姿态信息和所述红外相机所采集的所述投影屏幕上生成的至少两个红外标记点信息，确定待跟踪点的位姿信息，包括：
依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息；
依据所述至少两个红外标记点的空间坐标信息，以及所述姿态测算单元获取的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线；
依据所述至少两条跟踪点路线交点的空间坐标信息，确定待跟踪点的空间坐标信息；
依据所述待跟踪点的空间坐标信息，以及所述姿态测算单元获取的待跟踪点的姿态信息，确定所述待跟踪点的位姿信息。
5.根据权利要求4所述的方法，其特征在于，所述依据红外相机的空间位置信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息，包括：
依据所述红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息，确定至少两条经过红外相机和红外标记点的标记点路线；
依据所述标记点路线，以及投影屏幕的空间位置信息，确定所述至少两个红外标记点的空间坐标信息。
6.根据权利要求5所述的方法，其特征在于，所述依据所述红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息，确定至少两条经过红外相机和红外标记点的标记点路线，包括：
确定至少两个红外标记点在红外相机成像面灰度重心的空间坐标信息；
依据所述至少两个红外相机的空间坐标信息，以及所述灰度重心的空间坐标信息，确定至少两条经过红外相机和灰度重心的标记点路线。
7.根据权利要求4所述的方法，其特征在于，所述依据所述至少两个红外标记点的空间坐标信息，以及所述姿态测算单元获取的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线，包括：
确定所述至少两个红外标记点关联的红外激光发射器；
依据所述至少两个红外标记点的空间坐标信息，以及所述姿态测算单元获取的至少两个红外标记点关联的红外激光发射器的姿态信息，确定至少两条经过红外标记点以及待跟踪点的跟踪点路线。
8.根据权利要求4所述的方法，其特征在于，在所述依据红外相机的空间坐标信息，以及至少两个红外标记点在红外相机成像面的成像位置信息和投影屏幕的空间位置信息，确定至少两个红外标记点的空间坐标信息之后，还包括：
依据所述至少两个红外标记点的空间坐标信息和投影屏幕的厚度，以及所述至少两个红外标记点在投影屏幕的入射角和折射角，确定所述至少两个红外标记点的实际空间坐标信息。
9.根据权利要求4所述的方法，其特征在于，所述依据所述至少两条跟踪点路线交点的空间坐标信息，确定待跟踪点的空间坐标信息，包括：
确定所述至少两条跟踪点路线交点的空间坐标信息；
确定所述交点和所述至少两个红外标记点之间的距离之和，将距离之和最小的交点的空间坐标信息作为待跟踪点的空间坐标信息。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求3-9中任一所述的一种位姿跟踪方法。
CN201911128179.8A 2019-11-18 2019-11-18 一种位姿跟踪系统、方法和存储介质 Active CN110796703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911128179.8A CN110796703B (zh) 2019-11-18 2019-11-18 一种位姿跟踪系统、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911128179.8A CN110796703B (zh) 2019-11-18 2019-11-18 一种位姿跟踪系统、方法和存储介质

Publications (2)

Publication Number Publication Date
CN110796703A true CN110796703A (zh) 2020-02-14
CN110796703B CN110796703B (zh) 2022-07-12

Family

ID=69445073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911128179.8A Active CN110796703B (zh) 2019-11-18 2019-11-18 一种位姿跟踪系统、方法和存储介质

Country Status (1)

Country Link
CN (1) CN110796703B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310704A (zh) * 2020-02-28 2020-06-19 联博智能科技有限公司 行李车姿态估计方法、行李车姿态估计装置及机器人
CN111688949A (zh) * 2020-06-24 2020-09-22 天津大学 一种无人机悬停姿态测量装置及方法
CN111736633A (zh) * 2020-06-09 2020-10-02 南京航空航天大学 一种基于光的双折射现象的位姿调控方法
CN112348753A (zh) * 2020-10-28 2021-02-09 杭州如雷科技有限公司 一种用于沉浸式内容的投影方法和系统
CN112991552A (zh) * 2021-03-10 2021-06-18 中国商用飞机有限责任公司北京民用飞机技术研究中心 人体虚实匹配方法、装置、设备及存储介质
CN113029124A (zh) * 2021-03-03 2021-06-25 吉林大学 一种基于红外视觉引导和激光测距的三维姿态位置测量装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339654A (zh) * 2007-07-04 2009-01-07 北京威亚视讯科技有限公司 一种基于标志点的增强现实三维注册方法和系统
CN101915991A (zh) * 2009-04-02 2010-12-15 通用汽车环球科技运作公司 全后窗平视显示器上的后方停车辅助
CN201741291U (zh) * 2010-05-11 2011-02-09 西安交通大学 基于Wiimote的红外虚拟现实教学系统
CN104144329A (zh) * 2014-08-15 2014-11-12 中国商用飞机有限责任公司北京民用飞机技术研究中心 光学跟踪方法
CN105913497A (zh) * 2016-05-27 2016-08-31 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位系统及方法
CN106980368A (zh) * 2017-02-28 2017-07-25 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN107239143A (zh) * 2017-06-06 2017-10-10 北京德火新媒体技术有限公司 一种采用小间距led屏幕的cave显示系统及方法
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
US20180113508A1 (en) * 2016-10-21 2018-04-26 Apple Inc. Eye tracking system
CN109032357A (zh) * 2018-08-15 2018-12-18 北京知感科技有限公司 多人全息桌面交互系统及方法
CN109520510A (zh) * 2018-12-26 2019-03-26 安徽智恒信科技有限公司 一种基于虚拟现实技术的室内导航方法及系统
CN110430421A (zh) * 2019-06-24 2019-11-08 南方电网调峰调频发电有限公司 一种用于五面led-cave的光学跟踪定位系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339654A (zh) * 2007-07-04 2009-01-07 北京威亚视讯科技有限公司 一种基于标志点的增强现实三维注册方法和系统
CN101915991A (zh) * 2009-04-02 2010-12-15 通用汽车环球科技运作公司 全后窗平视显示器上的后方停车辅助
CN201741291U (zh) * 2010-05-11 2011-02-09 西安交通大学 基于Wiimote的红外虚拟现实教学系统
CN104144329A (zh) * 2014-08-15 2014-11-12 中国商用飞机有限责任公司北京民用飞机技术研究中心 光学跟踪方法
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
CN105913497A (zh) * 2016-05-27 2016-08-31 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位系统及方法
US20180113508A1 (en) * 2016-10-21 2018-04-26 Apple Inc. Eye tracking system
CN106980368A (zh) * 2017-02-28 2017-07-25 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN107239143A (zh) * 2017-06-06 2017-10-10 北京德火新媒体技术有限公司 一种采用小间距led屏幕的cave显示系统及方法
CN109032357A (zh) * 2018-08-15 2018-12-18 北京知感科技有限公司 多人全息桌面交互系统及方法
CN109520510A (zh) * 2018-12-26 2019-03-26 安徽智恒信科技有限公司 一种基于虚拟现实技术的室内导航方法及系统
CN110430421A (zh) * 2019-06-24 2019-11-08 南方电网调峰调频发电有限公司 一种用于五面led-cave的光学跟踪定位系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SRIVISHNU SATYAVOLU等: "Analysis of IR-based Virtual Reality Tracking Using Multiple Kinects", 《IEEE VIRTUAL REALITY 2012》 *
石敏等: "真实感三维虚拟场景构建与漫游方法", 《系统仿真学报》 *
赵玉洁: "沉浸式虚拟交互平台研究与开发", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310704A (zh) * 2020-02-28 2020-06-19 联博智能科技有限公司 行李车姿态估计方法、行李车姿态估计装置及机器人
CN111310704B (zh) * 2020-02-28 2020-11-20 联博智能科技有限公司 行李车姿态估计方法、行李车姿态估计装置及机器人
CN111736633A (zh) * 2020-06-09 2020-10-02 南京航空航天大学 一种基于光的双折射现象的位姿调控方法
CN111688949A (zh) * 2020-06-24 2020-09-22 天津大学 一种无人机悬停姿态测量装置及方法
CN112348753A (zh) * 2020-10-28 2021-02-09 杭州如雷科技有限公司 一种用于沉浸式内容的投影方法和系统
CN113029124A (zh) * 2021-03-03 2021-06-25 吉林大学 一种基于红外视觉引导和激光测距的三维姿态位置测量装置
CN113029124B (zh) * 2021-03-03 2024-01-16 吉林大学 一种基于红外视觉引导和激光测距的三维姿态位置测量装置
CN112991552A (zh) * 2021-03-10 2021-06-18 中国商用飞机有限责任公司北京民用飞机技术研究中心 人体虚实匹配方法、装置、设备及存储介质
CN112991552B (zh) * 2021-03-10 2024-03-22 中国商用飞机有限责任公司北京民用飞机技术研究中心 人体虚实匹配方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110796703B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110796703B (zh) 一种位姿跟踪系统、方法和存储介质
US10217191B1 (en) Filtering of real-time visual data transmitted to a remote recipient
CN106774880B (zh) 用户控制装置的在空间中的三维跟踪
US10086955B2 (en) Pattern-based camera pose estimation system
US9805509B2 (en) Method and system for constructing a virtual image anchored onto a real-world object
JP2020035441A (ja) 模擬点群データを生成する方法、装置、機器および記憶媒体
US8817093B2 (en) Photogrammetric networks for positional accuracy
JP6896688B2 (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
JP2018520430A (ja) 視覚特徴を使用した画像の自動結合
US20210201524A1 (en) Method for generating roof outlines from lateral images
Schneider et al. Bundle adjustment for multi-camera systems with points at infinity
Blut et al. Three-dimensional CityGML building models in mobile augmented reality: A smartphone-based pose tracking system
US9749597B2 (en) Precise target positioning in geographical imaging
US11035948B2 (en) Virtual reality feedback device, and positioning method, feedback method and positioning system thereof
CN112381873A (zh) 一种数据标注方法及装置
CN110853098A (zh) 机器人定位方法、装置、设备及存储介质
JP2015118101A (ja) 情報処理装置および方法、プログラム
JP7291251B2 (ja) 環境地図管理装置、環境地図管理方法及びプログラム
CN111932611B (zh) 物体位置获取方法和装置
WO2021111613A1 (ja) ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
Schneider et al. Bundle adjustment and system calibration with points at infinity for omnidirectional cameras
Blissing Tracking techniques for automotive virtual reality
US20240085977A1 (en) Bundle adjustment using epipolar constraints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant