CN109712247B - 基于混合现实技术的实景训练系统 - Google Patents
基于混合现实技术的实景训练系统 Download PDFInfo
- Publication number
- CN109712247B CN109712247B CN201811501726.8A CN201811501726A CN109712247B CN 109712247 B CN109712247 B CN 109712247B CN 201811501726 A CN201811501726 A CN 201811501726A CN 109712247 B CN109712247 B CN 109712247B
- Authority
- CN
- China
- Prior art keywords
- video
- image
- background
- virtual character
- lane line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 48
- 238000005516 engineering process Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 33
- 230000002441 reversible effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000001788 irregular Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000003706 image smoothing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002411 adverse Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- BXNJHAXVSOCGBA-UHFFFAOYSA-N Harmine Chemical compound N1=CC=C2C3=CC=C(OC)C=C3NC2=C1C BXNJHAXVSOCGBA-UHFFFAOYSA-N 0.000 description 1
- 206010047531 Visual acuity reduced Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
一种基于混合现实技术的实景训练系统，包括实景骑行训练系统和基于混合现实技术的视频处理系统，实景骑行训练系统是视频训练基本框架的搭建，包括视频采集模块、数据处理模块以及播放显示模块，基于混合现实技术的视频处理系统是骑行用户虚拟形象与实景视频相融合，包括动态路径规划模块和虚拟人物融合模块。本发明将坡度数据进行处理，使处理后的坡度数据变得平滑、稳定，从而让骑行体验变得更加流畅，并且采用混合现实技术，将用户的虚拟形象融入实景画面实现真实的户外骑行效果，使骑行训练更具沉浸感和趣味性。
Description
技术领域
本发明涉及自动化领域、图像处理领域以及视频控制领域，具体涉及基于混合现实技术的实景训练系统。
背景技术
中国素有自行车王国之称，据中国自行车行业协会的统计，我国自行车保有量以4亿辆稳居世界首位，自行车企业数量的平均增长率约为7.4％，每年产量增长值约为7.8％。因此，我国自行车的保有量在一定程度上为自行车运动特别是自行车健身运动的发展奠定了良好的群众基础。同时，随着经济条件的不断提升，形形色色的健身运动已经普及到了家家户户，国人从未像现在这样关注自己的身体健康。以骑自行车这种简单、方便、绿色的方式来锻炼也越来越成为一种时尚健康的健身方式。
但是由于环境污染等原因，室外骑行时雾霾天气和寒冷空气会一定程度地损害骑友们的身体健康；而且糟糕的视线和道路条件也会带来一些安全隐患。这些都成了阻碍人们开展骑行运动的重要因素。因此，不受环境、天气、时间等骑行条件影响的室内骑行台就成为了广大骑友们的理想选择。
现在一般的固定式骑行训练台已经很常见，但他们大都是机械式的，功能比较单一。随着智能穿戴设备大量涌入国内市场，智能骑行这一理念也逐渐被大家所接受。将智能设备与普通骑行相结合的智能骑行平台，在重现真实路感的同时，实时监测心率、运动数据，从而使骑行更科学、更有趣。互联网背景下的全民骑行服务系统使得联网多人骑行竞技成为可能。骑友们随时可以自由组建车队在线上进行室内骑行比赛，也可以单独参加各大线上的自行车骑行竞赛，在进行室内健身的同时也能体会到体育竞技带来的快乐。现在人机交互技术在生活中已经得到了广泛的应用，其中处于研究前沿的混合现实技术正向生活中的各个领域渗透。在骑行训练系统中采用混合现实技术，将骑行用户虚拟形象与实景视频相融合，让骑行者身临实景风光之中，使骑行训练更具真实感和趣味性。
发明内容
为克服现有骑行训练系统的真实感和趣味性较差的不足，本发明设计了基于混合现实技术的实景训练系统，采用混合现实技术开发了一种实景视频处理方法，将骑行用户的虚拟形象融入到实景视频中，并能够根据接收到的速度、位置等数据实时地改变场景中对手虚拟人物的位置，模拟出现实环境中真实的比赛场景，营造更激烈的比赛氛围，使得骑行训练更具竞技性和趣味性。
本发明解决其技术问题所采用的技术方案是：
一种基于混合现实技术的实景训练系统，包括实景骑行训练系统和基于混合现实技术的视频处理系统；
所述实景骑行训练系统搭建视频训练基本框架，包括视频采集模块、数据处理模块以及播放显示模块。
视频采集模块包括视频拍摄和数据采集，视频拍摄使用运动相机，相机支持蓝牙、ANT+、HDMI、Wifi多种数据传输协议，用户在拍摄过程中也能实时掌控摄像机的工作状态；
数据处理模块中，对坡度数据采用基于傅里叶级数展开的曲线拟合方法；
播放显示模块采用WPF中的视频播放控件类，视频播放控件类封装视频播放器类的全部功能，播放视频的时候，在播放视频的界面添加一个视频播放控件元素，在视频模式下还需要显示用户的训练数据，将视频播放控件和标签组合起来就可以完成视频播放及显示的需求；
所述基于混合现实技术的视频处理系统中，骑行用户虚拟形象与实景视频相融合，包括动态路径规划模块和虚拟人物融合模块；
动态路径规划模块包括车道线检测单元和障碍物检测单元；
车道线检测单元通过读取视频流，将视频进行反透视变换，变换后的视频进行预处理，经过Canny变换边缘检测和Hough变换车道线检测，根据斜率和长度筛选符合要求的线段，步骤如下：
2.1.1：视频进行反透视变换
在对视频进行反透视变换前，先确定视频从世界坐标系到像素坐标系的对应关系，再将视频进行反透视变换，把视角转变为俯视图，把视频画面投影到道路平面，去除透视误差，得到真实的路面场景；
2.1.2：视频预处理
先对反透视变换后的画面设置感兴趣区ROI，然后进行腐蚀膨胀、平滑处理预处理；首先设置感兴趣的区域ROI，根据车道线的一系列特点，逐步缩小感兴趣区域，聚焦于车道线可能出现的位置，尽可能地排除路边其他干扰因素的影响；然后通过腐蚀和膨胀这一组形态学操作，消除图像噪音；最后使用中值滤波进行图像平滑处理，通过图像平滑处理消除图像空间噪声，使图像更容易进行特征提取和识别；
2.1.3：Canny变换检测出画面的边缘
Canny边缘检测基于多级算法，并且采用两个关键阈值，高阈值Th和低阈值Tl来检测和连接边缘；设计了一种可以根据灰度直方图来设置阈值，自动获得其Th和Tl的方法，应用局部Th和Tl进行检测并连接每一个子图的边缘，再将处理后的子图合并为一个集成图像；
2.1.4：Hough变换进行车道线检测
选用随机霍夫变换进行直线检测，随机霍夫变换RHT计算包括从边缘图像中选择2个随机像素，并从点连接线计算参数，累加并输出累加器中的数据，从该数据中提取线段；
2.1.5：根据线段的斜率挑选符合要求的线段
根据经过反透视变换车道线与竖直方向y轴的夹角较小，左右车道线保持互相平行的关系，等约束条件来挑选符合要求的线段，用该方法挑选出起始段的车道线，再沿起始段向后跟踪检测车道线，连接形成的直线就是该路段的车道线；
障碍物检测单元是通过上面车道线的检测，得到赛道场景中的车道区域，将此区域设置为感兴趣区域进行车道中的障碍物检测。将边界标线包围的矩形区域设置为感兴趣区域，采用背景差分法提取交通图像中的前景车辆；
虚拟人物融合模块是根据前面的动态路径规划得到虚拟人物在视频中的运动轨迹，然后根据对手与自己之间的距离将虚拟人物正确地融入到视频画面中相应的位置，虚拟人物融合的步骤如下：
2.3.1：逆透视变换确定虚拟人物位置
使用逆透视变换将前向图转化为俯视图来消除路面透视变形的影响，然后依据俯视图和世界坐标系之间的线性位置关系来进行标定，最后结合路径规划来确定虚拟人物融入视频画面时的正确位置；
2.3.2：透视变换确定虚拟人物大小
透视变换将之前道路平面上的三维点映射到原视角的二维投影平面上，连接世界点与摄像机镜头的直线与定义世界点对应的唯一图像点的图像平面相交，而逆过程是将每一幅图像的投影还原成三维世界的过程，反向投影点将位于连接图像点与投影中心的直线上的某处；直接透视投影和反透视投影通常以针孔摄像机为模型，变换过程涉及到三个坐标系：世界坐标系、摄像机坐标系和图像坐标系；虚拟人物的尺寸和场景点世界坐标可以通过它对应的图像点坐标计算出来，还原到原视角画面；
2.3.3：根据虚拟人物的轮廓生成掩模
通过创建掩码模型来抑制干扰并保留良好的边缘信息，先对虚拟人物的源图采用Canny算子进行边缘检测，然后根据外围轮廓创建不规则掩码模型；
2.3.4：虚拟人物融入到目标图
采用与相机的图像平面平行的矩形掩模融合虚拟对象的形状，其宽度和高度默认设置为0.5和1.8米，一旦将所有相关矩形掩模投影到图像平面上，投影就会覆盖图像中合并的斑点，对于具有最大深度的行人，将分割设置为投影和合并的像素点的交叉点，通过将分段区域设置为背景来更新像素点，然后以相同的方式从剩余的像素点中提取具有最大深度的虚拟对象，通过迭代操作直到获得具有最接近深度的操作。
本发明的有益效果在于：
1.针对目前一般的固定式骑行训练大都是机械式且功能比较单一，本发明设计了实景训练模块，提升室内骑行的真实性与趣味性。
2.针对实景骑行系统的实时性，将坡度数据进行处理，使处理后的坡度数据变得平滑、稳定，从而让骑行体验变得更加流畅。
3.针对智能骑行系统已经可以根据速度推动实景画面的前进，但与真实场景效果还有很大的差距，本发明采用混合现实技术，将用户的虚拟形象融入实景画面实现真实的户外骑行效果，使骑行训练更具沉浸感和趣味性。
附图说明
图1为本发明基于混合现实技术的实景训练系统的实景训练系统的逻辑框架。
图2为本发明基于混合现实技术的实景训练系统的自适应变速播放流程图。
图3为本发明基于混合现实技术的实景训练系统的车道检测流程图。
图4为本发明基于混合现实技术的实景训练系统的透视变换几何图形。
图5为本发明基于混合现实技术的实景训练系统的视频预处理流程图。
图6为本发明基于混合现实技术的实景训练系统的障碍物检测流程图。
图7为本发明基于混合现实技术的实景训练系统的虚拟人物融合流程图。
具体实施方式
下面结合附图来说明本发明的具体实施过程。
图1为本发明实景骑行训练系统的逻辑框架，如图所示，骑行台将速度采集模块获取的速度数据通过无线传输设备发送给实景训练系统。实景训练系统读取速度数据，驱动视频播放器按照对应的速度推动场景画面。实景训练系统实时的将赛道对应的坡度数据发送给骑行台。骑行台接收到坡度数据，通过阻力控制模块调整阻力的大小，模拟出户外骑行路感。
本发明在实景训练系统的基础上又进行了创新和完善，将混合现实技术应用于实景训练系统。系统包括实景骑行训练系统和基于混合现实技术的视频处理系统。
所述实景骑行训练系统是视频训练基本框架的搭建，具体包括视频采集模块、数据处理模块以及播放显示模块。
视频采集模块的目的是视频拍摄和数据采集，视频拍摄需要使用专业的运动相机，普通的相机并不能完成需求。录制使用的是佳明(GARMIN)VIRB XE GPS户外微型智能运动摄像相机，该相机支持支持480p～1440p HD视频拍摄，而且拍摄的视频的过程中能够记录当前的路面情况，譬如海拔、GPS路径等。同时，相机支持蓝牙、ANT+、HDMI、Wifi多种数据传输协议，用户在拍摄的过程中也能实时掌控摄像机的工作状态。数据采集包括经纬度、海拔、坡度等。从视频文件中导出GPX文件，GPX文件中仅包含了经纬度信息，但从GPX中无法获取海拔数据，因此还需要将GPX文件导入到海拔地图中，用于提取海拔信息，而GPS中包含了坡度数据可直接获取。
数据处理模块是为了使骑行过程中阻力变化更符合真实情况，为用户带来更优质、更贴近真实的体验。经纬度和海拔数据不会直接影响用户的体验，因此不做数据处理，坡度数据是阻力变化的重要依据，采用佳明摄像机进行采集的坡度数据由于硬件上的限制，获取到的坡度数据并不是线性的，而是离散的点，所以需要对坡度数据进行相应的处理。
上述坡度数据处理采用基于傅里叶级数展开的曲线拟合方法。谐波是最简单的一类波形。其他波形如矩形波、锯齿波等往往可以用一系列谐波的叠加表示出来。设f(x)是一个周期为T的波，在一定条件下可以把它写成：
其中，为n次谐波，/>上式右端可称为由f(x)确定的傅里叶级数。
当函数f(x)满足条件：在区间(0，L)上除了有限个第一类间断点外，处处都是连续的，同时至多只有有限个极值点；则f(x)的傅立叶级数收敛，并且在连续点处收敛于该点的函数值，在间断点处收敛于该点左极限与右极限的算术平均值。
设函数f(x)已展开为全区间一致收敛的三角级数：
将其沿区间[-π，π]积分，由三角函数的正交性可得：
即
设n是任一正整数，对f(x)的展开式两边都乘以cos nx沿[-π，π]积分，得：
即同理，/>
拟合具体计算结果如下：
f(x)＝a0+a1cos(xw)+b1sin(xw)+a2cos(2xw)+b2sin(2xw)
+a3cos(3xw)+b3sin(3xw)+a4cos(4xw)+b4sin(4xw)
+a5cos(5xw)+b5sin(5xw)+a6cos(6xw)+b6sin(6xw)
+a7cos(7xw)+b7sin(7xw)+a8cos(8xw)+b8sin(8xw)
播放显示模块采用WPF中的视频播放控件类。视频播放控件类封装视频播放器类的全部功能，在播放视频的时候，需要在播放视频的界面添加一个视频播放控件元素。在视频模式下还需要显示用户的训练数据，将视频播放控件和标签组合起来就可以完成视频播放及显示的需求。
考虑到播放速度的问题，设计了一套自适应播放速度算法。图2是自适应变速播放流程图。如图所示，通过获取播放器的最大播放倍数N，视频播放的最大速度Smax＝S0N，下位机传递上来最大的速度Smax0，当Smax0小于Smax，根据实际骑行数据可以实现其正常的播放速度playSpeed＝S/S0，当Smax0大于Smax，playSpeed＝(Smax/Smax0)(S/S0)＝SN/Smax0，其中S为下位机传上来的实际速度，S0为视频录制的标准速度。
所述基于混合现实技术的视频处理系统是骑行用户虚拟形象与实景视频相融合，其中包括动态路径规划模块和虚拟人物融合模块。
动态路径规划模块是为了虚拟人物能够在实景场景中正确地运动和合理地避让障碍物。其中包括车道线检测单元和障碍物检测单元。
图3为车道线检测流程图。如图所示，通过读取视频流，将视频进行反透视变换，变换后的视频进行预处理，经过Canny变换边缘检测和Hough变换车道线检测，根据斜率和长度筛选符合要求的线段。步骤如下：
2.1.1：视频进行反透视变换
摄像机在视频采集时经过透视变换，将三维场景转换为二维画面时，原来车道线平行等特性丢失。所以首先将视频进行反透视变换，把视角转变为俯视图，把视频画面投影到道路平面，去除透视误差，得到真实的路面场景。在对视频进行透视变换之前，需要确定视频从世界坐标系到像素坐标系的对应关系，其中涉及了四个坐标系之间的转换过程，包括：
世界坐标系，即描述视频采集时三维场景的绝对坐标系。
摄像机坐标系，是用来定义摄像机采集视频时的坐标系。
成像坐标系，用来描述摄像机成像时的成像平面坐标系。
像素坐标系，用于描述摄像机采集、转换而成的数字图像的坐标系。
世界坐标系经过平移和旋转等几何变换转换为摄像机坐标系；摄像机坐标系再经过透视变换转化为成像坐标系；摄像机坐标系再通过像素采样最后得到数字图像的像素坐标系。
图4为透视变换几何图形，如图：N：投影中心(节点)，摄像机坐标系的y'轴，z'轴，世界坐标系的y轴，z轴。水平轴x'(对于摄像机坐标系)和x轴(对于世界系统)垂直于纸平面并且在图中省略，P：3D空间中的点；PI'，PH'：P点投影到图像平面和水平面；P'的齐次表示。f是摄像机系统的焦距，h是摄像机节点距离地面的高度。通过/>表示光轴的倾斜角度，即y和z'之间的角度。通过P点和投影的中心N画一条线并使其与图像平面相交以找到相应的图像点。为了消除水平面的扭曲，我们现在想要撤销平面中点的透视图。因此，通过逆透视变换：对于图像平面中的点P'，我们通过N向水平平面追踪相关的光线。交点是应用于图像点P'的逆透视映射的结果。
2.1.2：视频预处理
为了减小后期车道线检测时被干扰物的影响，先对反透视变换后的画面设置感兴趣区ROI，然后进行腐蚀膨胀、平滑处理等预处理。
图5为视频预处理流程图。如图所示，首先设置感兴趣的区域ROI。根据车道线的一系列特点，逐步缩小感兴趣区域，聚焦于车道线可能出现的位置，尽可能地排除路边其他干扰因素的影响。这一步骤通过对感兴趣区域的有效筛选，保证后面车道线检测的实时性和准确性。然后通过腐蚀和膨胀这一组形态学操作，消除图像噪音。分割出图像的单个元素并将图像中的相邻元素连接。
假设有两组集合：原始图像f(x,y)和结构元素B(u,v)。(x,y)和(u,v)分别是f和B的像素坐标。由和f！B表示的形态膨胀和腐蚀定义如下：
本发明中预处理图片的结构元素是扁平结构元素，这意味着B(u,v)＝0，则膨胀和腐蚀简化如下：
本发明选用开操作，先对预处理图片进行腐蚀操作去除图像的噪点，再进行膨胀操作来弥补对车道线的腐蚀。最后通过图像平滑消除图像空间噪声，使图像更容易进行特征提取和识别。经透视变换后的图像噪声主要由高频分量组成，平滑滤波器可以增强图像低频分量，消除高频噪声。
2.1.3：Canny变换检测出画面的边缘
Canny边缘检测基于多级算法，并且采用两个关键阈值，高阈值Th和低阈值Tl来检测和连接边缘。本发明设计了一种可以根据灰度直方图来设置阈值，自动获得其Th和Tl的方法。应用Otsu算法得到Th，并且通过将Th乘以小于1的系数得到Tl。系数为0.5时，该方法具有较好的边缘提取效果。然而，必须注意的是上述两个阈值是两个全局值，它们是基于整个图像获得的。对于背景不均匀的图像，此方法可能会失去一些局部特征。为了提高Canny边缘检测的精度，设计利用局部Th和Tl值分块来检测物体边缘，对整个图像进行分割，分别计算每个子图的局部Th和Tl。应用局部Th和Tl进行检测并连接每一个子图的边缘，再将处理后的子图合并为一个集成图像。
2.1.4：Hough变换进行车道线检测
随机霍夫变换RHT计算包括从边缘图像中选择2个随机像素，并从点连接线计算参数，累加并输出累加器中的数据，从该数据中提取线段。RHT算法在于ρ-θ平面中的每个点可以用来自原始二元边缘图像的2个点或1条线来表示。在RHT中，一对像素被映射到ρ-θ平面中的单个单元。RHT仅生成所有参数组合的一小部分，之后区域移除使用消失点的信息来进一步移除不需要的区域。将该像素的值更改为0(黑色像素)，可以减少一些计算时间和此方法的一些错误。根据RHT的参数分辨率高，参数空间范围无限，存储要求小，速度快等优点，本发明选用随机霍夫变换进行直线检测。得到相应的线性方程：
y＝mx+c
其中m是斜率，c是与y轴的交点。
2.1.5：根据线段的斜率挑选符合要求的线段
我们根据经过反透视变换车道线与竖直方向y轴的夹角较小，左右车道线保持互相平行的关系，等约束条件来挑选符合要求的线段。用该方法挑选出起始段的车道线，再沿起始段向后跟踪检测车道线，连接形成的直线就是该路段的车道线，流程如下：
1)测出车道线的起始段(θL0,xL0,yL0)、(θR0,xR0,yR0)，其中θL0、θR0表示左右车道线起始段与竖直方向y轴的夹角，(xL0,yL0)、(xR0,yR0)表示左右车道线起始段的上端点坐标；
2)然后以(xL0,yL0)、(xR0,yR0)为起始点，搜索与y轴方向的夹角在θL0±15°、θR0±15°范围的线段；
3)重复步骤2)，最后将检测到的短车道线短首尾相连，拼接为长的车道线段。
图6为障碍物检测流程图，通过之前车道线的检测，得到赛道场景中的车道区域，将此区域设置为感兴趣区域进行车道中的障碍物检测。将边界标线包围的矩形区域设置为感兴趣区域，采用背景差分法提取交通图像中的前景车辆。在典型的背景模型中，首先考虑图像背景的原型(背景的初始化)，然后将原型的每个像素与实际图像颜色图进行比较。如果色差超过预定阈值，则假设该像素属于前景，由此，导出原始前景信息。具体步骤如下：
2.2.1：背景模型的建立
由于拍摄的视频是在室外，背景不完全静止。照明波动，阴影或轻微移动(即叶子和树枝挥动)会降低前景提取的有效性。故采用混合模型使用统计滤波器来消除背景上连续的轻微运动，通过将时间演变的像素特征在聚类或颜色原型中分组，并将人口较多的人物描述为背景。通过考虑颜色特征来模拟背景，把每个像素分为四类：前景，阴影背景，突出背景和背景。识别出由于光照和阴影引起的背景不连续性，并依此将它们记录为背景。
在户外拍摄中，由于光照条件的变化和其他会对背景产生影响的因素变化，背景原型经常无法反映实际背景。因此采用自适应更新模型，保持背景模板递归更新，以便在即将到来的图像变化中调整背景模板。
2.2.2：背景扣除
通过将每个帧与背景实例进行比较来提取前景。执行此操作的最优方法是计算当前帧和背景模板之间每个像素的色差。当色差大于预定阈值的每个像素被分类为前景掩模，属于前景掩模的像素被分组以形成连接的组件，进一步处理连接的组件以便去除孔或其他不规则干扰，本发明选用最常见地形态滤波器来形成前景。
2.2.3：滤波与轮廓检测
通过背景减法提取的前景仍包含残留噪声，这可能对车辆检测产生不利影响。为了消除这种噪音，采用盒子对检测到的轮廓进行建模。首先使用Canny边缘检测器来检测车辆轮廓。然后计算轮廓的坐标并获得一个由盒子建模的车辆掩模。
图7是虚拟人物融合流程图。虚拟人物融合是根据前面的动态路径规划得到虚拟人物在视频中的运动轨迹，然后根据对手与自己之间的距离将虚拟人物正确地融入到视频画面中相应的位置。虚拟人物融合的具体步骤如下：
2.3.1：逆透视变换确定虚拟人物位置
由于在视频采集时单个前向光学相机不直接在场景中提供深度信息，图像中的物体位置与其在现实世界中的路面上的位置之间是非线性的。本发明使用逆透视变换将前向图转化为俯视图来消除路面透视变形的影响，然后依据俯视图和世界坐标系之间的线性位置关系来进行标定，最后结合路径规划来确定虚拟人物融入视频画面时的正确位置。
2.3.2：透视变换确定虚拟人物大小
透视变换将之前道路平面上的三维点映射到原视角的二维投影平面上。这种转换模拟了拍照的过程。连接世界点与摄像机镜头的直线与定义世界点对应的唯一图像点的图像平面相交。而逆过程是将每一幅图像的投影还原成三维世界的过程。反向投影点将位于连接图像点与投影中心(摄像机镜头)的直线上的某处。直接透视投影和反透视投影通常以针孔摄像机为模型。变换过程涉及到三个坐标系：世界坐标系、摄像机坐标系和图像坐标系。世界到图像点的线性映射，均以齐次坐标表示，可表示为：
其中(xp,yp)是图像点坐标，f是焦距，(xr,yr,zr)是相应现场点的世界坐标，是涉及的4×4变换矩阵，通过R转动矩阵和平移向量的世界和相机坐标框架。虚拟人物的尺寸和场景点世界坐标可以通过它对应的图像点坐标计算出来，还原到原视角画面。
2.3.3：根据虚拟人物的轮廓生成掩模
传统的视频融合算法只考虑图像特征变化，所以在融合过程中会把源图的噪声传输到结果中。为了让虚拟人物融入到视频场景时不受到噪声的污染，通过创建掩码模型来抑制干扰并保留良好的边缘信息。首先对虚拟人物的源图采用Canny算子进行边缘检测，然后根据外围轮廓创建不规则掩码模型。
2.3.4：虚拟人物融入到目标图
采用与相机的图像平面平行的矩形掩模融合虚拟对象的形状，其宽度和高度默认设置为0.5和1.8米。根据相机模型和虚拟对象水平位置的知识，矩形板的投影表示图像中行人的范围。一旦将所有相关矩形掩模投影到图像平面上，投影就会覆盖图像中合并的斑点。对于具有最大深度的行人，将分割设置为投影和合并的像素点的交叉点。通过将分段区域设置为背景来更新像素点。然后，以相同的方式从剩余的像素点中提取具有最大深度的虚拟对象。通过迭代操作直到获得具有最接近深度的操作。采用下降深度顺序的原因是较大的深度意味着较小的轮廓，因此上述粗分割具有相对较少的误差。
Claims (5)
1.一种基于混合现实技术的实景训练系统，其特征在于：包括实景骑行训练系统和基于混合现实技术的视频处理系统；
所述实景骑行训练系统包括：
视频采集模块，用于视频拍摄和数据采集，数据采集针对海拔、经纬度和坡度，采集到的数据用于后期的处理；
数据处理模块，坡度数据处理采用基于傅里叶级数展开的曲线拟合方法，经纬度和海拔数据不做处理；
播放显示模块，采用WPF中的视频播放控件类，视频播放控件类封装视频播放器类的全部功能，播放视频的时候，在播放视频的界面添加一个视频播放控件元素，在视频模式下还需要显示用户的训练数据，将视频播放控件和标签组合起来完成视频播放及显示的需求；
所述基于混合现实技术的视频处理系统包括：
动态路径规划模块，包括车道线检测单元和障碍物检测单元；
车道线检测单元，通过读取视频流，将视频进行反透视变换，变换后的视频进行预处理，经过Canny变换边缘检测和随机霍夫变换车道线检测，根据斜率和长度筛选符合要求的线段；
障碍物检测单元，通过上面车道线的检测，得到赛道场景中的车道区域，将此区域设置为感兴趣区域进行车道中的障碍物检测，将边界标线包围的矩形区域设置为感兴趣区域，采用背景差分法提取交通图像中的前景车辆；
虚拟人物融合模块，根据前面的动态路径规划得到虚拟人物在视频中的运动轨迹，然后根据彼此之间的距离将虚拟人物正确地融入到视频画面中相应的位置；
所述车道线检测单元，处理过程包含以下步骤：
2.1.1：视频进行反透视变换
在对视频进行反透视变换前，先确定视频从世界坐标系到像素坐标系的对应关系，再将视频进行反透视变换，把视角转变为俯视图，把视频画面投影到道路平面，去除透视误差，得到真实的路面场景；
2.1.2：视频预处理
先对反透视变换后的画面设置感兴趣区ROI，然后进行腐蚀膨胀、平滑处理预处理，首先设置感兴趣的区域ROI，根据车道线的一系列特点，逐步缩小感兴趣区域，聚焦于车道线可能出现的位置；然后通过腐蚀和膨胀这一组形态学操作，消除图像噪音，最后使用中值滤波进行图像平滑处理；
2.1.3：Canny变换检测出画面的边缘
Canny边缘检测基于多级算法，并且采用两个关键阈值，高阈值Th和低阈值Tl来检测和连接边缘，根据灰度直方图来设置阈值，自动获得其Th和Tl，应用局部Th和Tl进行检测并连接每一个子图的边缘，再将处理后的子图合并为一个集成图像；
2.1.4：Hough变换进行车道线检测
选用随机霍夫变换进行直线检测，随机霍夫变换RHT计算包括从边缘图像中选择2个随机像素，并从点连接线计算参数，累加并输出累加器中的数据，从该数据中提取线段；
2.1.5：根据线段的斜率挑选符合要求的线段
根据经过反透视变换车道线与竖直方向y轴的夹角较小，左右车道线保持互相平行的关系，等约束条件来挑选符合要求的线段；用该方法挑选出起始段的车道线，再沿起始段向后跟踪检测车道线，连接形成的直线就是该路段的车道线，流程如下：
1)测出车道线的起始段(θL0,xL0,yL0)、(θR0,xR0,yR0)，其中θL0、θR0表示左右车道线起始段与竖直方向y轴的夹角，(xL0,yL0)、(xR0,yR0)表示左右车道线起始段的上端点坐标；
2)然后以(xL0,yL0)、(xR0,yR0)为起始点，搜索与y轴方向的夹角在θL0±15°、θR0±15°范围的线段；
3)重复步骤2)，最后将检测到的短车道线短首尾相连，拼接为长的车道线段。
2.如权利要求1所述基于混合现实技术的实景训练系统，其特征在于：所述基于傅里叶级数展开的曲线拟合方法中，设f(x)是一个周期为T的波，在一定条件下把它写成：
其中，为n次谐波，/>上式右端可称为由f(x)确定的傅里叶级数；
当函数f(x)满足条件：在区间(0，L)上除了有限个第一类间断点外，处处都是连续的，同时至多只有有限个极值点；则f(x)的傅里叶级数收敛，并且在连续点处收敛于该点的函数值，在间断点处收敛于该点左极限与右极限的算术平均值；
设函数f(x)已展开为全区间一致收敛的三角级数：
将其沿区间[-π，π]积分，由三角函数的正交性可得：
即
设n是任一正整数，对f(x)的展开式两边都乘以cos nx沿[-π，π]积分，
得：
即同理，/>
拟合具体计算结果如下：
3.如权利要求1或2所述基于混合现实技术的实景训练系统，其特征在于：所述播放显示模块中，采用自适应播放速度算法，通过获取播放器的最大播放倍数N，视频播放的最大速度Smax＝S0N，下位机传递上来最大的速度Smax0，当Smax0小于Smax，根据实际骑行数据实现其正常的播放速度playSpeed＝S/S0，当Smax0大于Smax，playSpeed＝(Smax/Smax0)(S/S0)＝SN/Smax0，其中S为下位机传上来的实际速度，S0为视频录制的标准速度。
4.如权利要求1或2所述基于混合现实技术的实景训练系统，其特征在于：所述障碍物检测单元，处理过程包含以下步骤：
2.2.1：背景模型的建立
采用混合模型使用统计滤波器来消除背景上连续的轻微运动，通过将时间演变的像素特征在聚类或颜色原型中分组，并将人口较多的人物描述为背景，通过考虑颜色特征来模拟背景，把每个像素分为四类：前景，阴影背景，突出背景和背景，识别出由于光照和阴影引起的背景不连续性，并依此将它们记录为背景，在户外拍摄中，由于光照条件的变化和其他会对背景产生影响的因素变化，背景原型经常无法反映实际背景；因此采用自适应更新模型，保持背景模板递归更新，以便在即将到来的图像变化中调整背景模板；
2.2.2：背景扣除
通过将每个帧与背景实例进行比较来提取前景，执行此操作的最优方法是计算当前帧和背景模板之间每个像素的色差，当色差大于预定阈值的每个像素被分类为前景掩模，属于前景掩模的像素被分组以形成连接的组件，进一步处理连接的组件以便去除孔或其他不规则干扰，选用最常见地形态滤波器来形成前景；
2.2.3：滤波与轮廓检测
通过背景减法提取的前景仍包含残留噪声，这可能对车辆检测产生不利影响，为了消除这种噪音，采用盒子对检测到的轮廓进行建模，首先使用Canny边缘检测器来检测车辆轮廓，然后计算轮廓的坐标并获得一个由盒子建模的车辆掩模。
5.如权利要求1或2所述基于混合现实技术的实景训练系统，其特征在于：所述虚拟人物融合模块，处理过程的步骤如下：
2.3.1：逆透视变换确定虚拟人物位置
使用逆透视变换将前向图转化为俯视图来消除路面透视变形的影响，然后依据俯视图和世界坐标系之间的线性位置关系来进行标定，最后结合路径规划来确定虚拟人物融入视频画面时的正确位置；
2.3.2：透视变换确定虚拟人物大小
透视变换将之前道路平面上的三维点映射到原视角的二维投影平面上，连接世界点与摄像机镜头的直线与定义世界点对应的唯一图像点的图像平面相交，而逆过程是将每一幅图像的投影还原成三维世界的过程，反向投影点将位于连接图像点与投影中心的直线上的某处，直接透视投影和反透视投影以针孔摄像机为模型，变换过程涉及到三个坐标系：世界坐标系、摄像机坐标系和图像坐标系，世界到图像点的线性映射，均以齐次坐标表示，表示为：
其中(xp,yp)是图像点坐标，f是焦距，(xr,yr,zr)是相应现场点的世界坐标，是涉及的4×4变换矩阵，通过R转动矩阵和平移向量的世界和相机坐标框架，虚拟人物的尺寸和场景点世界坐标通过它对应的图像点坐标计算出来，还原到原视角画面；
2.3.3：根据虚拟人物的轮廓生成掩模
为了让虚拟人物融入到视频场景时不受到噪声的污染，通过创建掩码模型来抑制干扰并保留良好的边缘信息，先对虚拟人物的源图采用Canny算子进行边缘检测，然后根据外围轮廓创建不规则掩码模型；
2.3.4：虚拟人物融入到目标图
采用与相机的图像平面平行的矩形掩模融合虚拟对象的形状，其宽度和高度默认设置为0.5和1.8米，一旦将所有相关矩形掩模投影到图像平面上，投影就会覆盖图像中合并的斑点，对于具有最大深度的行人，将分割设置为投影和合并的像素点的交叉点，通过将分段区域设置为背景来更新像素点，然后以相同的方式从剩余的像素点中提取具有最大深度的虚拟对象，通过迭代操作直到获得具有最接近深度的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811501726.8A CN109712247B (zh) | 2018-12-10 | 2018-12-10 | 基于混合现实技术的实景训练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811501726.8A CN109712247B (zh) | 2018-12-10 | 2018-12-10 | 基于混合现实技术的实景训练系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109712247A CN109712247A (zh) | 2019-05-03 |
| CN109712247B true CN109712247B (zh) | 2023-07-21 |
Family
ID=66255537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811501726.8A Active CN109712247B (zh) | 2018-12-10 | 2018-12-10 | 基于混合现实技术的实景训练系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109712247B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110170148A (zh) * | 2019-05-13 | 2019-08-27 | 苏州米龙信息科技有限公司 | 一种具有娱乐交互功能的间歇式训练系统及方法 |
| CN110163974B (zh) * | 2019-05-22 | 2020-09-04 | 南京大学 | 一种基于无向图学习模型的单图像面片重建方法 |
| CN110490978B (zh) * | 2019-07-01 | 2023-07-21 | 浙江工业大学 | 基于混合现实技术的实景骑行训练方法 |
| CN111741287B (zh) * | 2020-07-10 | 2022-05-17 | 南京新研协同定位导航研究院有限公司 | 一种mr眼镜利用位置信息触发内容的方法 |
| CN112121410B (zh) * | 2020-10-22 | 2024-04-12 | 深圳市瑞立视多媒体科技有限公司 | 一种基于vr游戏的装备入柜的方法 |
| CN116091742B (zh) * | 2022-12-29 | 2024-04-02 | 维坤智能科技（上海）有限公司 | 一种三维场景的相机观测点展示优化的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105797349A (zh) * | 2016-03-17 | 2016-07-27 | 深圳市智游人科技有限公司 | 实景跑步装置、方法及系统 |
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN106693290A (zh) * | 2016-12-07 | 2017-05-24 | 浙江理工大学 | 一种动感单车虚拟漫游系统和虚拟漫游实现方法 |
| CN108519815A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的车辆控制方法、装置、存储介质和电子设备 |
| CN108830934A (zh) * | 2018-04-27 | 2018-11-16 | 浙江工业大学 | 一种用于骑行训练系统的实景运动控制方法 |
-
2018
- 2018-12-10 CN CN201811501726.8A patent/CN109712247B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105797349A (zh) * | 2016-03-17 | 2016-07-27 | 深圳市智游人科技有限公司 | 实景跑步装置、方法及系统 |
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN106693290A (zh) * | 2016-12-07 | 2017-05-24 | 浙江理工大学 | 一种动感单车虚拟漫游系统和虚拟漫游实现方法 |
| CN108519815A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的车辆控制方法、装置、存储介质和电子设备 |
| CN108830934A (zh) * | 2018-04-27 | 2018-11-16 | 浙江工业大学 | 一种用于骑行训练系统的实景运动控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 智能骑行台软件训练系统的设计与开发;邱怀宇;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20170615;摘要、第4-5章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109712247A (zh) | 2019-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712247B (zh) | 基于混合现实技术的实景训练系统 | |
| CN104134222B (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
| CN101894366B (zh) | 一种获取标定参数的方法、装置及一种视频监控系统 | |
| US9117310B2 (en) | Virtual camera system | |
| CN103236160B (zh) | 基于视频图像处理技术的路网交通状态监测系统 | |
| US10950032B2 (en) | Object capture coverage evaluation | |
| CN111539273A (zh) | 一种交通视频背景建模方法及系统 | |
| US11783443B2 (en) | Extraction of standardized images from a single view or multi-view capture | |
| CN1975782B (zh) | 视频序列中感兴趣区域的校正方法 | |
| CN111161313B (zh) | 一种视频流中的多目标追踪方法及装置 | |
| CN103886619B (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
| CN102184551A (zh) | 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统 | |
| CN106652448A (zh) | 基于视频处理技术的公路交通状态监测系统 | |
| Bešić et al. | Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning | |
| CN105046649A (zh) | 一种去除运动视频中运动物体的全景图拼接方法 | |
| CN110245199B (zh) | 一种大倾角视频与2d地图的融合方法 | |
| Li et al. | Photo-realistic simulation of road scene for data-driven methods in bad weather | |
| CN102034267A (zh) | 基于关注度的目标物三维重建方法 | |
| CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
| CN107944437B (zh) | 一种基于神经网络和积分图像的人脸定位方法 | |
| CN110136174B (zh) | 一种目标对象跟踪方法和装置 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN117994987B (zh) | 基于目标检测技术的交通参数提取方法及相关装置 | |
| CN108510520A (zh) | 一种图像处理方法、装置及ar设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |