CN108227920B - 运动封闭空间追踪方法及追踪系统 - Google Patents

运动封闭空间追踪方法及追踪系统 Download PDF

Info

Publication number
CN108227920B
CN108227920B CN201711437183.3A CN201711437183A CN108227920B CN 108227920 B CN108227920 B CN 108227920B CN 201711437183 A CN201711437183 A CN 201711437183A CN 108227920 B CN108227920 B CN 108227920B
Authority
CN
China
Prior art keywords
simulation cabin
mixed reality
cameras
reality simulation
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711437183.3A
Other languages
English (en)
Other versions
CN108227920A (zh
Inventor
来国军
王峰
朱吉军
王晓卫
纪双星
杨而蒙
王召峰
刘宝珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARMY AVIATION INSTITUTE PLA
Original Assignee
ARMY AVIATION INSTITUTE PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARMY AVIATION INSTITUTE PLA filed Critical ARMY AVIATION INSTITUTE PLA
Priority to CN201711437183.3A priority Critical patent/CN108227920B/zh
Publication of CN108227920A publication Critical patent/CN108227920A/zh
Application granted granted Critical
Publication of CN108227920B publication Critical patent/CN108227920B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了一种运动封闭空间追踪方法及追踪系统；其中系统包括虚拟现实设备、两个固定安装的摄像机、混合现实模拟舱、图像采集卡和控制主机；利用本方法首先将两摄像机的位置信息利用最小二乘法进行离线标定，摄像机拍摄静态状态下的混合现实模拟舱表面标识的特征点，利用特征点和离线标定的摄像机建立初始位姿；控制模拟舱运动，实时拍摄标识点，通过预设SURF算法和预设KLT算法对特征点进行提取和匹配，得到特征点的实时世界坐标从而得到这一时刻混合现实模拟舱的位姿关系；根据本方法能准确定位人体和座舱的相对关系，实现对更快更长运动的跟踪匹配，提高特征点匹配的准确度，避免了由于定位器抖动或定位不准，导致用户眩晕的现象。

Description

运动封闭空间追踪方法及追踪系统
技术领域
本发明涉及混合现实模拟技术领域，特别涉及一种运动封闭空间追踪方法及追踪系统。
背景技术
随着混合现实技术不断发展，在各种模拟领域逐步开始运用混合现实。目前此类基于混合现实技术的飞行模拟器中存在一些不足：飞行模拟器处在不同姿态或运动、振动时，定位器抖动及定位不准；人在真实世界中的视觉听觉触觉和空间感与虚拟世界不一致，产生的虚幻感和眩晕感较强。这些问题导致现实和虚拟世界无法融合产生真实可信的可视化环境，在新的可视化环境里物理和数字对象无法共存，并实时互动，降低了飞行模拟器的实用性和沉浸感，训练人员的飞行体验不高。
发明内容
本发明的目的旨在至少解决所述的技术缺陷之一。
为了实现上述目的，本发明一方面的实施例提供一种运动封闭空间追踪方法，包括以下步骤:步骤S1、获取虚拟现实设备与定位器的位置关系；步骤S2、对两个固定位置的摄像机通过OpenCV库，采用最小二乘法进行离线标定，获取标定后的摄像机的内、外参数；步骤S3、通过两个摄像机标定后的内、外参数，对静态的混合现实模拟舱表面的特征点的初始位置进行记录，并通过立体成像原理和坐标转换得到模拟舱的初始位姿，建立初始坐标系；步骤S4、控制混合现实模拟舱运动，两个摄像机实时拍摄混合现实模拟舱，运动姿态时的特征点，通过预设SURF算法进行动态特征点的提取，然后采用预设KLT算法对提取的特征点进行匹配，实现快速运动产生的较长位移变化后，特征点的跟踪匹配；步骤S5、通过跟踪匹配得到特征点的实时世界坐标，计算出这一时刻特征点相对于初始位置的变化，进而得到这一时刻混合现实模拟舱的位姿关系；步骤S6、利用得到的混合现实模拟舱的位姿，利用之前获取的虚拟现实设备和定位器之间的位置关系，通过逆向转换进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感。
优选的，所述预设SURF算法是提取摄像机拍摄图像的高斯差分金字塔中每组的第一层图像；对所述第一层图像采取最大类间差分法的自适应阈值分割，获得二值图；将所述二值图作为约束条件进行特征点检测，使SURF算法检测只在边缘区域内部进行。
优选的，所述预设KLT算法，是在高斯差分金字塔的最高层计算光流，把计算得到的运动估计，作为下一层计算的初始点，经过多次迭代直至最底层。
优选的，所述混合现实模拟舱表面的特征点，采用圆形黑白对比的颜色的三个圆形组成，三个圆形呈等腰三角形排列。
优选的，所述混合现实模拟舱设置在六自由度平台上，用户通过操作控制手柄，控制六自由度平台运动，实现混合现实模拟舱在不同方向的运动。
本发明提供一种运动封闭空间追踪系统，包括虚拟现实设备、两个固定安装的摄像机、混合现实模拟舱、图像采集卡和控制主机；所述虚拟现实设备，由用户穿戴，用于展示虚拟场景，并获取自身与定位器之间的位置关系，并将所述位置关系发送至控制主机；两个所述固定安装的摄像机，用于拍摄混合现实模拟舱表面的特征点，进一步，将拍摄的所述特征点图像传输至图像采集卡；所述图像采集卡用于接收摄像机发送的特征点图像；并将特征点图像发送至控制主机；所述控制主机根据摄像机拍摄的特征点图像，通过OpenCV库，采用最小二乘法进行离线标定，获取标定后的摄像机内、外参数；通过两个摄像机标定后的内、外参数，对静态的混合现实模拟舱表面的特征点的初始位置进行记录，并通过立体成像原理和坐标转换得到模拟舱的初始位姿，建立初始坐标系；所述控制主机用于接收用户操作指令，根据操作指令控制混合现实模拟舱运动，两个摄像机实时拍摄混合现实模拟舱，运动姿态时的特征点，通过预设SURF算法进行动态特征点的提取，然后采用预设KLT算法对提取的特征点进行匹配，实现快速运动产生的较长位移变化后，特征点的跟踪匹配；通过跟踪匹配得到特征点的实时世界坐标，计算出这一时刻特征点相对于初始位置的变化，进而得到这一时刻混合现实模拟舱的位姿关系；所述控制主机用于接收虚拟现实设备与定位器的位置关系、利用得到的混合现实模拟舱的位姿，利用接收到的虚拟现实设备与定位器的关系，通过逆向转换进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感；并将匹配后画面发送至虚拟现实设备展示。
优选的，所述预设SURF算法是提取摄像机拍摄图像的高斯差分金字塔中每组的第一层图像；对所述第一层图像采取最大类间差分法的自适应阈值分割，获得二值图；将所述二值图作为约束条件进行特征点检测，使SURF算法检测只在边缘区域内部进行。
优选的，所述预设KLT算法，是在高斯差分金字塔的最高层计算光流，把计算得到的运动估计值，作为下一层计算的初始点，经过多次迭代直至最底层。
优选的，所述混合现实模拟舱表面的特征点，采用圆形黑白对比的颜色的三个圆形组成，三个圆形呈等腰三角形排列
优选的，所述混合现实模拟舱设置在六自由度平台上，用户通过操作控制手柄，控制六自由度平台运动，实现混合现实模拟舱在不同方向的运动。
根据本发明实施例提供的一种运动封闭空间追踪方法及追踪系统，至少具有以下优点,首先，利用不论人体处于站姿还是坐姿，又或者六自由度运动平台处于运动状态，都能虚拟和现实混合场景中，准确定位人体和座舱的相对关系，追踪训练人员所能观察到的肢体部位和舱内设备；通过预设的KLT算法对原KLT算法进行改进，实现对更快更长运动的跟踪匹配，提高特征点匹配的准确度，进一步提高模拟座舱位姿计算的准确度；预设SURF算法对原SURF算法进行改进，在特征点检测时，只在边缘区域内部进行，当两摄像机基线距离或两摄像机角度过大时，提高特征点匹配的准确度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种运动封闭空间追踪方法的流程图；
图2为本发明实施例提供的一种运动封闭空间追踪系统的结构框图
图3为本发明实施例提供的一种运动封闭空间追踪方法及系统中特征点示意图；
图4为本发明实施例提供的一种运动封闭空间追踪方法及系统中预设KLT算法示意图；
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明实施例的一种运动封闭空间追踪方法，包括以下步骤:
步骤S1、获取虚拟现实设备与定位器的位置关系；
步骤S2、对两个固定位置的摄像机通过OpenCV库，采用最小二乘法进行离线标定，获取标定后的摄像机的内、外参数；
步骤S3、通过两个摄像机标定后的内、外参数，对静态的混合现实模拟舱表面的特征点的初始位置进行记录，并通过立体成像原理和坐标转换得到模拟舱的初始位姿，建立初始坐标系；
步骤S4、控制混合现实模拟舱运动，两个摄像机实时拍摄混合现实模拟舱，运动姿态时的特征点，通过预设SURF算法进行动态特征点的提取，然后采用预设KLT算法对提取的特征点进行匹配，实现快速运动产生的较长位移变化后，特征点的跟踪匹配；
步骤S5、通过跟踪匹配得到特征点的实时世界坐标，计算出这一时刻特征点相对于初始位置的变化，进而得到这一时刻混合现实模拟舱的位姿关系；
步骤S6、利用得到的混合现实模拟舱的位姿，利用之前获取的虚拟现实设备和定位器之间的位置关系，通过逆向转换进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感。
在本发明的一个实施例中，步骤S1中的虚拟现实设备采用VR头盔，步骤S2中对摄像机进行标定，包括获取两个固定位置的摄像机的内参和外参；摄像机内参包括：摄像机焦距f，图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数u0、v0，单个像素在横轴和纵轴上的物理尺寸dx、dy，摄像机畸变参数，径向畸变系数k1、k2、k3，切向畸变系数p1、p2，外参包括：旋转矩阵R和平移向量T。在获取两个摄像机的上述参数基础上，对特征点图像通过立体成像原理和坐标转换得到建立初始坐标系进而得到的世界坐标，获取的混合现实模拟器实时位姿。
如图3所示，在本发明的又一个实施例中，混合现实模拟舱表面的特征点，采用圆形黑白对比的颜色的三个圆形组成，三个圆形呈等腰三角形排列。该结构形成的特征点具有很强的边缘结构，方便用于后续特征点提取。
在本发明的又一个实施例中采用三维软件Unigine或Unity。预设SURF算法是对原SURF算法进行了改进，改进后的SURF算法是提取摄像机拍摄图像的高斯差分金字塔中每组的第一层图像；对第一层图像采取最大类间差分法的自适应阈值分割，获得二值图；将二值图作为约束条件进行特征点检测，使SURF算法检测只在边缘区域内部进行。
如图4所示，在本发明的另一个实施例中，预设KLT算法，是将原KLT算法进行改进，传统KLT算法针对特征窗口内小而连贯运动的假设，当两摄像机基线距离或两摄像机夹角过大时，会导致左右摄像机拍摄图像中特征点位移过大，匹配精度不高。改进后的KLT算法是在高斯差分金字塔的最高层计算光流，把计算得到的运动估计，作为下一层计算的初始点，经过多次迭代直至最底层。最终提高特征点匹配的准确度，实现对更快更长运动的跟踪匹配。
进一步，混合现实模拟舱设置在六自由度平台上，用户通过操作控制手柄，控制六自由度平台运动，实现混合现实模拟舱在不同方向的运动。
本发明还提供一种运动封闭空间追踪系统，包括虚拟现实设备、两个固定安装的摄像机、混合现实模拟舱、图像采集卡和控制主机。
虚拟现实设备可以采用由用户穿戴VR头盔，展示虚拟场景，并获取自身与定位器之间的位置关系，并将位置关系发送至控制主机。
两个固定安装的摄像机用于拍摄混合现实模拟舱表面的特征点，进一步，将拍摄的特征点图像传输至图像采集卡；图像采集卡接收摄像机发送的特征点图像；并将特征点图像发送至控制主机。
控制主机采用三维软件Unigine或Unity。控制主机根据摄像机拍摄的特征点图像，通过OpenCV库，采用最小二乘法进行离线标定，获取标定后的摄像机内、外参数；通过两个摄像机标定后的内、外参数，对静态的混合现实模拟舱表面的特征点的初始位置进行记录，并通过立体成像原理和坐标转换得到模拟舱的初始位姿，建立初始坐标系。
在本发明的一个实施例中，虚拟现实设备采用VR头盔，控制主机对摄像机进行标定时，包括获取两个固定位置的摄像机的内参和外参；摄像机内参包括：摄像机焦距f，图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数u0、v0，单个像素在横轴和纵轴上的物理尺寸dx、dy，摄像机畸变参数，径向畸变系数k1、k2、k3，切向畸变系数p1、p2，外参包括：旋转矩阵R和平移向量T。在获取两个摄像机的上述参数基础上，对特征点图像通过立体成像原理和坐标转换得到建立初始坐标系进而得到的世界坐标，获取的混合现实模拟器实时位姿。
需要说明的是，关于混合现实模拟舱表面的特征点，本发明的一个实施例中采用圆形黑白对比的颜色的三个圆形组成，三个圆形呈等腰三角形排列。该结构形成的特征点具有很强的边缘结构，方便用于后续特征点提取。
控制主机接收用户操作指令，根据操作指令控制混合现实模拟舱运动，进一步，混合现实模拟舱设置在六自由度平台上，用户通过操作控制手柄，控制六自由度平台运动，实现混合现实模拟舱在不同方向的运动。
控制混合现实模拟舱运动后，两个摄像机实时拍摄混合现实模拟舱，运动姿态时的特征点，通过预设SURF算法进行动态特征点的提取，然后采用预设KLT算法对提取的特征点进行匹配，实现快速运动产生的较长位移变化后，特征点的跟踪匹配；通过跟踪匹配得到特征点的实时世界坐标，计算出这一时刻特征点相对于初始位置的变化，进而得到这一时刻混合现实模拟舱的位姿关系；控制主机用于接收虚拟现实设备与定位器的位置关系、利用得到的混合现实模拟舱的位姿，利用接收到的虚拟现实设备与定位器的关系，通过逆向转换进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感；并将匹配后画面发送至虚拟现实设备展示。
需要说明的是，预设SURF算法是对原SURF算法进行了改进，改进后的SURF算法是提取摄像机拍摄图像的高斯差分金字塔中每组的第一层图像；对第一层图像采取最大类间差分法的自适应阈值分割，获得二值图；将二值图作为约束条件进行特征点检测，使SURF算法检测只在边缘区域内部进行。
如图4所示，在本发明的另一个实施例中，预设KLT算法，是将原KLT算法进行改进，传统KLT算法针对特征窗口内小而连贯运动的假设，当两摄像机基线距离或两摄像机夹角过大时，会导致左右摄像机拍摄图像中特征点位移过大，匹配精度不高。改进后的KLT算法是在高斯差分金字塔的最高层计算光流，把计算得到的运动估计，作为下一层计算的初始点，经过多次迭代直至最底层。
根据本发明实施例提供的一种运动封闭空间追踪方法及追踪系统，至少具有以下优点,首先，利用不论人体处于站姿还是坐姿，又或者六自由度运动平台处于运动状态，都能虚拟和现实混合场景中，准确定位人体和座舱的相对关系，追踪训练人员所能观察到的肢体部位和舱内设备；通过预设的KLT算法对原KLT算法进行改进，实现对更快更长运动的跟踪匹配，提高特征点匹配的准确度，进一步提高模拟座舱位姿计算的准确度；预设SURF算法对原SURF算法进行改进，在特征点检测时，只在边缘区域内部进行，当两摄像机基线距离或两摄像机角度过大时，提高特征点匹配的准确度。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种运动封闭空间追踪方法，其特征在于，包括以下步骤:
步骤S1、获取虚拟现实设备与定位器的位置关系；
步骤S2、对两个固定位置的摄像机通过OpenCV库，采用最小二乘法进行离线标定，获取标定后的摄像机的内、外参数；
步骤S3、通过两个摄像机标定后的内、外参数，对静态的混合现实模拟舱表面的特征点的初始位置进行记录，并通过立体成像原理和坐标转换得到模拟舱的初始位姿，建立初始坐标系；
步骤S4、控制混合现实模拟舱运动，两个摄像机实时拍摄混合现实模拟舱，运动姿态时的特征点，通过预设SURF算法进行动态特征点的提取，然后采用预设KLT算法对提取的特征点进行匹配，实现快速运动产生的较长位移变化后，特征点的跟踪匹配；
步骤S5、通过跟踪匹配得到特征点的实时世界坐标，计算出这一时刻特征点相对于初始位置的变化，进而得到这一时刻混合现实模拟舱的位姿关系；
步骤S6、利用得到的混合现实模拟舱的位姿，利用之前获取的虚拟现实设备和定位器之间的位置关系，通过逆向转换进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感。
2.根据权利要求1所述的运动封闭空间追踪方法，其特征在于，所述预设SURF算法是提取摄像机拍摄图像的高斯差分金字塔中每组的第一层图像；对所述第一层图像采取最大类间差分法的自适应阈值分割，获得二值图；将所述二值图作为约束条件进行特征点检测，使SURF算法检测只在边缘区域内部进行。
3.根据权利要求1所述的运动封闭空间追踪方法，其特征在于，所述预设KLT算法，是在高斯差分金字塔的最高层计算光流，把计算得到的运动估计，作为下一层计算的初始点，经过多次迭代直至最底层。
4.根据权利要求1所述的运动封闭空间追踪方法，其特征在于，所述混合现实模拟舱表面的特征点，采用圆形黑白对比的颜色的三个圆形组成，三个圆形呈等腰三角形排列。
5.根据权利要求1所述的运动封闭空间追踪方法，其特征在于，所述混合现实模拟舱设置在六自由度平台上，用户通过操作控制手柄，控制六自由度平台运动，实现混合现实模拟舱在不同方向的运动。
6.一种运动封闭空间追踪系统，其特征在于，包括虚拟现实设备、两个固定安装的摄像机、混合现实模拟舱、图像采集卡和控制主机；
所述虚拟现实设备，由用户穿戴，用于展示虚拟场景，并获取自身与定位器之间的位置关系，并将所述位置关系发送至控制主机；
两个所述固定安装的摄像机，用于拍摄混合现实模拟舱表面的特征点，进一步，将拍摄的所述特征点图像传输至图像采集卡；
所述图像采集卡用于接收摄像机发送的特征点图像；并将特征点图像发送至控制主机；
所述控制主机根据摄像机拍摄的特征点图像，通过OpenCV库，采用最小二乘法进行离线标定，获取标定后的摄像机内、外参数；通过两个摄像机标定后的内、外参数，对静态的混合现实模拟舱表面的特征点的初始位置进行记录，并通过立体成像原理和坐标转换得到模拟舱的初始位姿，建立初始坐标系；
所述控制主机用于接收用户操作指令，根据操作指令控制混合现实模拟舱运动，两个摄像机实时拍摄混合现实模拟舱，运动姿态时的特征点，通过预设SURF算法进行动态特征点的提取，然后采用预设KLT算法对提取的特征点进行匹配，实现快速运动产生的较长位移变化后，特征点的跟踪匹配；通过跟踪匹配得到特征点的实时世界坐标，计算出这一时刻特征点相对于初始位置的变化，进而得到这一时刻混合现实模拟舱的位姿关系；
所述控制主机用于接收虚拟现实设备与定位器的位置关系、利用得到的混合现实模拟舱的位姿，利用接收到的虚拟现实设备与定位器的关系，通过逆向转换进行动态修正，并匹配内部虚拟场景与外部真实场景空间感和距离感；并将匹配后画面发送至虚拟现实设备展示。
7.根据权利要求6所述的运动封闭空间追踪系统，其特征在于，所述预设SURF算法是提取摄像机拍摄图像的高斯差分金字塔中每组的第一层图像；对所述第一层图像采取最大类间差分法的自适应阈值分割，获得二值图；将所述二值图作为约束条件进行特征点检测，使SURF算法检测只在边缘区域内部进行。
8.根据权利要求6所述的运动封闭空间追踪系统，其特征在于，所述预设KLT算法，是在高斯差分金字塔的最高层计算光流，把计算得到的运动估计值，作为下一层计算的初始点，经过多次迭代直至最底层。
9.根据权利要求6所述的运动封闭空间追踪系统，其特征在于，所述混合现实模拟舱表面的特征点，采用圆形黑白对比的颜色的三个圆形组成，三个圆形呈等腰三角形排列。
10.根据权利要求6所述的运动封闭空间追踪系统，其特征在于，所述混合现实模拟舱设置在六自由度平台上，用户通过操作控制手柄，控制六自由度平台运动，实现混合现实模拟舱在不同方向的运动。
CN201711437183.3A 2017-12-26 2017-12-26 运动封闭空间追踪方法及追踪系统 Expired - Fee Related CN108227920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711437183.3A CN108227920B (zh) 2017-12-26 2017-12-26 运动封闭空间追踪方法及追踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711437183.3A CN108227920B (zh) 2017-12-26 2017-12-26 运动封闭空间追踪方法及追踪系统

Publications (2)

Publication Number Publication Date
CN108227920A CN108227920A (zh) 2018-06-29
CN108227920B true CN108227920B (zh) 2021-05-11

Family

ID=62649135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711437183.3A Expired - Fee Related CN108227920B (zh) 2017-12-26 2017-12-26 运动封闭空间追踪方法及追踪系统

Country Status (1)

Country Link
CN (1) CN108227920B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985275B (zh) * 2018-08-17 2022-09-23 联想(北京)有限公司 增强现实设备及电子设备的显示追踪方法和装置
CN111784769B (zh) * 2019-04-04 2023-07-04 舜宇光学（浙江）研究院有限公司 基于模板的空间定位方法、空间定位装置，电子设备及计算机可读存储介质
CN110335292B (zh) * 2019-07-09 2021-04-30 北京猫眼视觉科技有限公司 一种基于图片跟踪实现模拟场景跟踪的方法、系统及终端
CN110837295A (zh) * 2019-10-17 2020-02-25 重庆爱奇艺智能科技有限公司 一种手持控制设备及其追踪定位的方法、设备与系统
CN113570668A (zh) * 2020-04-28 2021-10-29 富华科精密工业（深圳）有限公司 基于三线标定的摄像头外参标定方法及计算机装置
CN112255869B (zh) * 2020-11-03 2021-09-14 成都景中教育软件有限公司 一种基于参数的三维图形动态投影实现方法
CN114558280B (zh) * 2022-04-24 2022-08-02 之江实验室 基于双腿姿态预测的多场景智能运动设备及其使用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN204614276U (zh) * 2015-03-31 2015-09-02 刘宛平 一种具有混合现实功能的仿真全向模拟飞行器
CN106157731A (zh) * 2015-04-07 2016-11-23 深圳威阿科技有限公司 一种具有混合现实功能的模拟飞行座舱系统及其处理方法
CN106997617A (zh) * 2017-03-10 2017-08-01 深圳市云宙多媒体技术有限公司 混合现实虚拟呈现方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659411B2 (en) * 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN204614276U (zh) * 2015-03-31 2015-09-02 刘宛平 一种具有混合现实功能的仿真全向模拟飞行器
CN106157731A (zh) * 2015-04-07 2016-11-23 深圳威阿科技有限公司 一种具有混合现实功能的模拟飞行座舱系统及其处理方法
CN106997617A (zh) * 2017-03-10 2017-08-01 深圳市云宙多媒体技术有限公司 混合现实虚拟呈现方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Accessibility Evaluation in Aircraft Cabin Based on Virtual Reality";Xian Li;Hu Liu;《Applied Mechanics and Materials》;20141119;全文 *
"基于虚拟现实技术的船舶视景仿真系统研究与开发";韦天任;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170615(第6期);全文 *

Also Published As

Publication number Publication date
CN108227920A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108227920B (zh) 运动封闭空间追踪方法及追踪系统
US20190200003A1 (en) System and method for 3d space-dimension based image processing
CN107833271B (zh) 一种基于Kinect的骨骼重定向方法及装置
WO2019140945A1 (zh) 一种应用于飞行模拟器的混合现实方法
CN104699247A (zh) 一种基于机器视觉的虚拟现实交互系统及方法
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
KR20150117553A (ko) 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
CN103914855B (zh) 一种运动目标的定位方法及装置
KR101896827B1 (ko) 사용자 자세 추정 장치 및 방법
CN109448105B (zh) 基于多深度图像传感器的三维人体骨架生成方法及系统
CN112381003A (zh) 动作捕捉方法、装置、设备及存储介质
CN114004883A (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
CN113077519A (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN107066095B (zh) 一种信息处理方法及电子设备
CN113920189A (zh) 同时追踪可移动物体与可移动相机的六自由度方位的方法与系统
CN110445982B (zh) 一种基于六自由度设备的追踪拍摄方法
El-Sallam et al. A low cost 3D markerless system for the reconstruction of athletic techniques
CN111860275B (zh) 手势识别数据采集系统、方法
EP3971683A1 (en) Human body portion tracking method and human body portion tracking system
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质
TW202203644A (zh) 同時追蹤可移動物體與可移動相機的六自由度方位之方法與系統
CN109309827A (zh) 用于360°悬浮光场三维显示系统的多人实时跟踪装置和方法
CN111767886A (zh) 一种基于移动机器人的动捕跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210511

Termination date: 20211226

CF01 Termination of patent right due to non-payment of annual fee