CN112001966B - 飞行训练ar系统中显示屏的定位与跟踪方法 - Google Patents

飞行训练ar系统中显示屏的定位与跟踪方法 Download PDF

Info

Publication number
CN112001966B
CN112001966B CN202010768155.5A CN202010768155A CN112001966B CN 112001966 B CN112001966 B CN 112001966B CN 202010768155 A CN202010768155 A CN 202010768155A CN 112001966 B CN112001966 B CN 112001966B
Authority
CN
China
Prior art keywords
screen
points
point
mark
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010768155.5A
Other languages
English (en)
Other versions
CN112001966A (zh
Inventor
孙艾琳
李蔚清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010768155.5A priority Critical patent/CN112001966B/zh
Publication of CN112001966A publication Critical patent/CN112001966A/zh
Application granted granted Critical
Publication of CN112001966B publication Critical patent/CN112001966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种飞行训练AR系统中显示屏的定位与跟踪方法,包括:利用基于颜色与形状的标志点识别获取标记点的图像坐标;基于屏幕尺寸、标记点位置,进行标记点二维到三维空间的映射,并得到屏幕的空间位置。按照设置的时间间隔,重复上述过程重新解算屏幕位置。本发明根据基于颜色与形状的人工标记点检测,快速排除视野复杂画面中的无用颜色,能使标记点检测具有更高的准确率,进而提高了屏幕定位的准确率。本发明通过在实时运行中按照一定时间间隔重复检测更新屏幕三维位置,辅助HoloLens的SLAM方法,提高了跟踪的稳定性。

Description

飞行训练AR系统中显示屏的定位与跟踪方法
技术领域
本发明属于增强现实训练领域,具体为一种飞行训练AR系统中显示屏的定位与跟踪方法。
背景技术
随着无人机技术的发展及其在侦察、作战上的应用,如何方便快捷地为飞行员提供更多的飞行训练模拟信息,以满足日益增长的飞行员操作训练需求,使他们能够更好更直观地了解无人机操作过程,成为一个急需解决的问题。
基于增强现实的飞行训练模拟技术能够在飞行员看到的真实世界中的无人机遥操作场景上叠加虚拟的训练信息、操作规范、特情任务等。增强信息按照操作进度与需求以文字、图形图像等方式准确地显示给飞行员,指导飞行员完成任务,模拟特情发生的场景予以训练。
构造增强现实场景时最重要的问题是获取摄像机相对于真实场景的位置和姿态,只有实时求得摄像机的位姿信息,才能用于计算虚拟模型在真实场景中的空间状态及相应的二维投影,从而将三维虚拟物体无缝地叠加到现实环境中。
在无人机飞行员特情训练的场景中,将特情提示信息与飞机状态效果叠加在显示屏上是增强现实的一种主要辅助方式。由于HoloLens深度检测的最佳距离是2-5m,其在近距离测量中深度误差较大,而飞行员在座舱中与显示器距离在0.5m左右,因此无法单纯通过HoloLens进行屏幕定位。
在基于人工标志的三维注册方法中,较为流行的是基于二维码的定位方法。但由于二维码检测的原理是检测出矩形对象,然后计算是否为二维码。而在飞行控制界面,画面较为复杂且矩形元素多,在实际测试中二维码误检测率较高。故需改变人工标志的设计与检测方法以适应这样特点的场景。
另一个问题在于座舱环境中特征较少,而HoloLens的SLAM方法在特征较少的情况下定位稳定性不佳,因此存在通过人工标记修正定位误差,保持跟踪效果的需求。
发明内容
本发明的目的在于提出了一种飞行训练AR系统中显示屏的定位与跟踪方法。
实现本发明目的的技术解决方案为:一种飞行训练AR系统中显示屏的定位与跟踪方法,具体步骤为:
步骤1:利用基于颜色与形状的标志点识别获取标记点的图像坐标;
步骤2:基于屏幕尺寸、标记点位置,进行标记点二维到三维空间的映射,得到标记点的三维坐标,进而得到屏幕的空间位置
步骤3:按照设置的时间间隔,重复步骤1、2重新解算屏幕位置。
优选地,利用基于颜色与形状的标志点识别获取屏幕的图像坐标的具体方法为:
步骤1.1:将标记点设置在屏幕预设区域;
步骤1.2:将AR眼镜获取到的图像转换到HSV空间,通过图像处理过滤相机获取的图像中的颜色信息,留下目标颜色;
步骤1.3:对过滤颜色后的图像进行腐蚀操作;
步骤1.4:进行轮廓提取,计算轮廓面积,拟合轮廓形状,筛选得到面积与形状皆符合预设的色块;
步骤1.5:对步骤1.4得到的色块轮廓求解质心,得到色块区域中心点,即标记点图像坐标。
优选地,所述标记点为4个,对称设置在屏幕中心线两侧,且位于屏幕横框上。
优选地,RGB颜色空间到HSV颜色空间的转换公式如下:
V=max(R,G,B)
Figure BDA0002615479670000021
Figure BDA0002615479670000022
优选地,基于屏幕尺寸、标记点位置,进行标记点二维到三维空间的映射,并得到屏幕的空间位置的具体方法为:
步骤2.1:测量屏幕尺寸与标记点相对位置,设置四个标记点初始状态的三维坐标;
步骤2.2:对于步骤1检测结果进行筛选,选取四个标记点都被识别到的关键帧,根据标记点相对位置,区分检测到的四个标记点,使其与实际标记点一一对应;
步骤2.3:根据标记点图像坐标和初始状态的三维坐标、相机内参与畸变矩阵计算得到相机的旋转与平移矩阵;
步骤2.4:根据相机的旋转与平移矩阵计算标记点在相机坐标系中的坐标,并映射到世界坐标系下,对世界坐标系下的标记点进行右手坐标系到左手坐标系的转换,得到标记点空间位置。
优选地,设置的四个标记点初始状态的三维坐标为:(-halfW,-halfH,0)、(halfW,-halfH,0)、(-halfW,halfH,0)、(halfW,halfH,0),其中,halfW=markerDistance、halfH=screenHeight/2,markerDistance为标记点与屏幕垂直中线的水平距离,screenWidth×screenHeight为屏幕尺寸。
本发明与现有技术相比,其显著优点为:本发明根据基于颜色与形状的人工标记点检测,快速排除视野复杂画面中的无用颜色,能使标记点检测具有更高的准确率,进而提高了屏幕定位的准确率;本发明通过在实时运行中按照一定时间间隔重复检测更新屏幕三维位置,辅助HoloLens的SLAM方法,提高了跟踪的稳定性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1是本发明中标记点设计与布置的示意图。
图2为本发明中标记点识别流程的示意图。
图3为基于颜色和形状的人工标志的识别效果图。
具体实施方式
一种飞行训练AR系统中显示屏的定位与跟踪方法,基于AR眼镜HoloLens平台进行实现,采用基于颜色与形状区别的人工标记点,以及屏幕尺寸等先验知识,进行屏幕区域的定位,并辅助HoloLens进行跟踪,具体步骤为:
步骤1:利用基于颜色与形状的标志点识别获取标记点的图像坐标,如图2所示,具体包括以下步骤:
步骤1.1:将标记点设置在屏幕预设区域;
具体地,所述标记点为4个,对称设置在屏幕中心线两侧,且位于屏幕横框上。
在某些实施例中,选取自然场景中不常见的颜色,例如紫色,作为标记点颜色。选取自然场景中不常见的颜色目的在于过滤掉非标记点的颜色信息,快速定位到可能为标记点的色块。例如在AR飞行训练的场景下,座舱环境以及操控界面主要包括黑、白、灰、绿、红五种颜色,故可将标记点设置为紫色。
标记点设置在中心线两侧,以保证正常坐姿可操作距离内AR眼镜的视野能覆盖到所有标记点。根据中心线对称布置,可减少测量与计算需要,在解算到标记点空间位置后,更易得到屏幕四角空间位置。
步骤1.2:将AR眼镜获取到的图像转换到HSV空间,通过图像处理过滤相机获取的图像中的颜色信息,留下目标颜色。
HSV的彩色描述对人来说是自然且非常直观的,更符合筛选颜色的需求。在HSV模型中,H分量基本能表示一个物体的颜色。一些基本的颜色H的取值可以如下设置:Orange0-22,Yellow 22-38,Green 38-75,Blue 75-130,Violet 130-160,Red 160-179;同时,调控饱和度S和亮度V的取值也对标记检测中颜色的筛选提供了更大的可能性,以适应相机、光照等带来的色差。
在某些实施例中,设置紫色的判定条件为:H:130-160,S:43-255,V:46-255。
具体地,RGB颜色空间到HSV颜色空间的转换公式如下:
V=max(R,G,B)
Figure BDA0002615479670000041
Figure BDA0002615479670000042
步骤1.3:对过滤颜色后的图像进行腐蚀操作,去除因局部色差带来的错误颜色信息。
步骤1.4:进行轮廓提取,计算轮廓面积,拟合轮廓形状,筛选得到面积与形状皆符合预设的色块。
步骤1.5:对步骤1.4得到的色块轮廓求解质心,得到色块区域中心点,即是标记点图像坐标。
步骤2:基于屏幕尺寸、标记点位置,进行标记点二维到三维空间的映射,得到标记点的三维坐标,进而得到屏幕的空间位置,具体步骤如下:
步骤2.1:预先测量屏幕尺寸与标记点相对位置,设置四个标记点初始状态的三维坐标;
测量屏幕尺寸为screenWidth×screenHeight。标记点如图1沿屏幕垂直中轴左右对称设置,到中轴距离为markerDistance,则四个标记点初始状态的三维坐标可按如下公式设置:
令:
halfW=markerDistance
halfH=screenHeight/2
则:
objP=MatOfPoint3f(Point3(-halfW,-halfH,0)
,Point3(halfW,-halfH,0)
,Point3(-halfW,halfH,0)
,Point3(halfW,halfH,0))
其中objP表示标记点初始状态三维坐标的数组,排列顺序为从左上角开始顺时针顺序。
步骤2.2:对于步骤1检测结果进行筛选,选取四个标记点都被识别到的关键帧,根据标记点相对位置,区分检测到的四个标记点,使其与实际标记点一一对应。具体方式为判断标志中心点与画面中心点的图像坐标位置关系。
步骤2.3:使用solvePnP方法,根据标记点图像坐标和初始状态的三维坐标、相机内参与畸变矩阵计算得到相机的旋转与平移矩阵。
步骤2.4:根据步骤2.3得到的相机的旋转与平移矩阵,计算标记点在相机坐标系中的转换矩阵。进一步求出标记点在世界坐标系中的转换矩阵,其过程中需要进行右手坐标系到左手坐标系的转换,以适应Unity3d的坐标空间。最后由转换矩阵解算出4个标记点的中点,即屏幕中心点的空间位置。通过步骤2.1预先测量屏幕尺寸与标记点相对位置,得到屏幕任意点的空间坐标,具体过程为:
设TransInCamera为标记点在相机坐标系中的转换矩阵。Rvec、Tvec分别为步骤2.3所求得的相机的旋转和平移矩阵。
用旋转、平移矩阵得到转换矩阵的公式为:
TransInCamera=RvecT*Tvec
设TransInWorld为标记点在世界坐标系中的转换矩阵,cameraToWorldMatrix为AR眼镜提供的相机到世界坐标系的转换矩阵。设invY、invZ为取反Y、Z轴数据的矩阵,引入右手坐标系到左手坐标系的转换。
则从相机坐标系到世界坐标系的转换公式为:
TransInWorld=cameraToWorldMatrix*invZ*((invY*TransInCamera)*invZ)
所设置的4个标记点的中点(即屏幕中心点)在世界坐标系下的坐标可由转换矩阵求得。
设得到的旋转矩阵各位数值如下:
Figure BDA0002615479670000061
则屏幕中心点坐标为(m03,m13,m23)。
实际使用中往往需要得到屏幕上任意点的空间坐标,而非只需要屏幕中心的空间坐标。设halfW=screenWidth/2,halfH=screenHeight/2。屏幕四角坐标由左上角起顺时针为:
P1:(m03,m13,m23)+(halfW,-halfH,0)
P2:(m03,m13,m23)+(-halfW,halfH,0)
P3:(m03,m13,m23)+(halfW,-halfH,0)
P4:(m03,m13,m23)+(-halfW,-halfH,0)
对于屏幕中任意一点,设其与屏幕左上角在水平、竖直方向上距离分别为a,b,定义参数dx,dy:
Figure BDA0002615479670000062
可计算屏幕中任意一点坐标P0为:
P0=P1+dy(P3-P1)+dx(P2-P1)
步骤3:按照设置的时间间隔,重复步骤1、2重新解算屏幕位置,修正HoloLens定位误差,以保持跟踪的稳定。
HoloLens在定位中的误差主要由以下几个原因导致:1)HoloLens的最佳深度检测距离在2-5m,而座舱中飞行员训练场景飞行员与屏幕的距离在0.5m左右,深度识别效果不佳,而SLAM方法会依赖于深度数据。2)座舱场景环境单调,特征较少,单纯通过自然特征容易造成特征丢失无法定位的情况。3)飞行员操作过程中可能导致AR眼镜发生快速移动,同样会造成定位误差。
本发明添加标记点这一人工特征,提供依据标记点的屏幕定位方法,通过定期重定位屏幕,修正HoloLens自身的定位偏移造成的屏幕定位误差,提高整体定位精度,如图3所示。
本发明针对飞行员AR飞行训练场景中对屏幕定位与跟踪稳定性的需求,设计了一种基于人工标记点检测的屏幕定位与跟踪方法,其根据基于颜色与形状的人工标记点检测,快速排除视野复杂画面中的无用颜色,能使标记点检测具有更高的准确率,进而提高了屏幕定位的准确率,并通过在实时运行中按照一定时间间隔重复检测更新屏幕三维位置,辅助HoloLens的SLAM方法,提高了跟踪的稳定性。

Claims (3)

1.一种飞行训练AR系统中显示屏的定位与跟踪方法,其特征在于,具体步骤为:
步骤1:利用基于颜色与形状的标记点识别获取标记点的图像坐标,具体方法为:
步骤1.1:将标记点设置在屏幕预设区域,所述标记点为4个,对称设置在屏幕中心线两侧,且位于屏幕横框上;
步骤1.2:将AR眼镜获取到的图像转换到HSV空间,通过图像处理过滤相机获取的图像中的颜色信息,留下目标颜色;
步骤1.3:对过滤颜色后的图像进行腐蚀操作;
步骤1.4:进行轮廓提取,计算轮廓面积,拟合轮廓形状,筛选得到面积与形状皆符合预设的色块;
步骤1.5:对步骤1.4得到的色块轮廓求解质心,得到色块区域中心点,即标记点图像坐标;
步骤2:基于屏幕尺寸、标记点位置,进行标记点二维到三维空间的映射,得到标记点的三维坐标,进而得到屏幕的空间位置,RGB颜色空间到HSV颜色空间的转换公式如下:
V=max(R,G,B)
Figure FDA0004191289480000011
Figure FDA0004191289480000012
步骤3:按照设置的时间间隔,重复步骤1、2重新解算屏幕位置。
2.根据权利要求1所述的飞行训练AR系统中显示屏的定位与跟踪方法,其特征在于,基于屏幕尺寸、标记点位置,进行标记点二维到三维空间的映射,并得到屏幕的空间位置的具体方法为:
步骤2.1:测量屏幕尺寸与标记点相对位置,设置4个标记点初始状态的三维坐标;
步骤2.2:对于步骤1检测结果进行筛选,选取4个标记点都被识别到的关键帧,根据标记点相对位置,区分检测到的4个标记点,使其与实际标记点一一对应;
步骤2.3:根据标记点图像坐标和初始状态的三维坐标、相机内参与畸变矩阵计算得到相机的旋转与平移矩阵;
步骤2.4:根据步骤2.3得到的相机的旋转与平移矩阵,计算标记点在相机坐标系中的转换矩阵,并求出标记点在世界坐标系中的转换矩阵,根据转换矩阵得到屏幕中心点的空间位置,根据屏幕尺寸与标记点相对位置,得到屏幕任意点的空间坐标。
3.根据权利要求1所述的飞行训练AR系统中显示屏的定位与跟踪方法,其特征在于,设置的4个标记点初始状态的三维坐标为:(-halfW,-halfH,0)、(halfW,-halfH,0)、(-halfW,halfH,0)、(halfW,halfH,0),其中,halfW=markerDistance、halfH=screenHeight/2,markerDistance为标记点与屏幕垂直中线的水平距离,screenWidth×screenHeight为屏幕尺寸。
CN202010768155.5A 2020-08-03 2020-08-03 飞行训练ar系统中显示屏的定位与跟踪方法 Active CN112001966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010768155.5A CN112001966B (zh) 2020-08-03 2020-08-03 飞行训练ar系统中显示屏的定位与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010768155.5A CN112001966B (zh) 2020-08-03 2020-08-03 飞行训练ar系统中显示屏的定位与跟踪方法

Publications (2)

Publication Number Publication Date
CN112001966A CN112001966A (zh) 2020-11-27
CN112001966B true CN112001966B (zh) 2023-06-09

Family

ID=73463628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010768155.5A Active CN112001966B (zh) 2020-08-03 2020-08-03 飞行训练ar系统中显示屏的定位与跟踪方法

Country Status (1)

Country Link
CN (1) CN112001966B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537089B (zh) * 2021-07-20 2024-07-26 浙江点创信息科技有限公司 一种基于无人机航拍原片的松材线虫病疫木识别定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648405B (zh) * 2019-10-12 2022-02-01 江南大学 一种基于增强现实的飞行操作辅助方法和系统
CN110853075B (zh) * 2019-11-05 2021-08-06 北京理工大学 一种基于稠密点云与合成视图的视觉跟踪定位方法

Also Published As

Publication number Publication date
CN112001966A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN106650630B (zh) 一种目标跟踪方法及电子设备
CN111275759B (zh) 基于无人机双光影像融合的变电站刀闸温度检测方法
CN104848851B (zh) 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN101358836B (zh) 基于计算机视觉识别焊点中心位置的方法
CN103925927B (zh) 一种基于车载视频的交通标识定位方法
CN106017458B (zh) 移动机器人组合式导航方法及装置
CN113421346B (zh) 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN106291278A (zh) 一种基于多视觉系统的开关柜局部放电自动检测方法
CN109767473A (zh) 一种全景泊车装置标定方法及装置
CN109920000B (zh) 一种基于多相机协同的无死角的增强现实方法
CN113222940B (zh) 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN111709994B (zh) 一种自主无人机视觉探测与引导系统及方法
CN110766170B (zh) 基于图像处理的多传感器融合和人员定位的方法
CN108671534A (zh) 一种基于目标轮廓与骨架特征的机器人象棋开局摆棋方法和系统
CN112001966B (zh) 飞行训练ar系统中显示屏的定位与跟踪方法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN115761285A (zh) 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法
CN104794940B (zh) 一种通过移动终端对机械维修教学的方法
CN109636856A (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
CN111784768A (zh) 基于三色四灯标记识别的无人机姿态估计方法及系统
CN113012238A (zh) 一种多深度相机快速标定与数据融合的方法
CN111081108A (zh) 一种基于增强现实技术的拆装训练方法和装置
CN109410272B (zh) 一种变压器螺母识别与定位装置及方法
CN111928852B (zh) 一种基于led位置编码的室内机器人定位方法及系统
Han Tree height measurement based on image processing with 3-points correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant