CN110490978A - 基于混合现实技术的实景骑行训练方法 - Google Patents

基于混合现实技术的实景骑行训练方法 Download PDF

Info

Publication number
CN110490978A
CN110490978A CN201910583255.8A CN201910583255A CN110490978A CN 110490978 A CN110490978 A CN 110490978A CN 201910583255 A CN201910583255 A CN 201910583255A CN 110490978 A CN110490978 A CN 110490978A
Authority
CN
China
Prior art keywords
node
virtual portrait
training
outdoor scene
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910583255.8A
Other languages
English (en)
Other versions
CN110490978B (zh
Inventor
冯远静
郑天驰
陈晔
朱涛
田英傲
胡玉欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910583255.8A priority Critical patent/CN110490978B/zh
Publication of CN110490978A publication Critical patent/CN110490978A/zh
Application granted granted Critical
Publication of CN110490978B publication Critical patent/CN110490978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)

Abstract

一种基于混合现实技术的实景骑行训练方法，包括以下步骤：步骤1：实景障碍物检测；步骤2：实景路面分割；步骤3：路径规划；步骤4：路径拟合；步骤5：虚拟人物融合：虚拟人物融合利用虚拟人物的掩膜在图像上做高级图像融合，在多人联网比赛下，根据其余骑行者的距离参数来决定虚拟人物的位置和尺寸，并且根据路径拟合曲线方程的斜率来判断虚拟人物是否需要做出转弯动作。本发明将骑行用户的虚拟形象融入到实景视频中，并能够根据实景的路况信息，规划出虚拟人物的骑行路径，从而在实景视频中的虚拟人物模拟出在真实比赛场景骑行的过程，营造更加激烈的比赛氛围，使得骑行训练变得更有竞技性和趣味性。

Description

基于混合现实技术的实景骑行训练方法
技术领域
本发明涉及机器学习领域、图像处理领域以及视频控制领域，具体涉及基于混合现实技术的实景骑行训练方法。
背景技术
中国素有自行车王国之称，据中国自行车行业协会的统计，我国自行车保有量以4亿辆稳居世界首位，自行车企业数量的平均增长率约为7.4％，每年产量增长值约为7.8％。因此，我国自行车的保有量在一定程度上为自行车运动特别是自行车健身运动的发展奠定了良好的群众基础。同时，随着经济条件的不断提升，形形色色的健身运动已经普及到了家家户户，国人从未像现在这样关注自己的身体健康。以骑自行车这种简单、方便、绿色的方式来锻炼也越来越成为一种时尚健康的健身方式。
但是由于环境污染等原因，室外骑行时雾霾天气和寒冷空气会一定程度地损害骑友们的身体健康；而且糟糕的视线和道路条件也会带来一些安全隐患。这些都成了阻碍人们开展骑行运动的重要因素。因此，不受环境、天气、时间等骑行条件影响的室内骑行台就成为了广大骑友们的理想选择。
现在一般的固定式骑行训练台已经很常见，但他们大都是机械式的，功能比较单一。随着智能穿戴设备大量涌入国内市场，智能骑行这一理念也逐渐被大家所接受。将智能设备与普通骑行相结合的智能骑行平台，在重现真实路感的同时，实时监测心率、运动数据，从而使骑行更科学、更有趣。互联网背景下的全民骑行服务系统使得联网多人骑行竞技成为可能。骑友们随时可以自由组建车队在线上进行室内骑行比赛，也可以单独参加各大线上的自行车骑行竞赛，在进行室内健身的同时也能体会到体育竞技带来的快乐。现在人机交互技术在生活中已经得到了广泛的应用，其中处于研究前沿的混合现实技术正向生活中的各个领域渗透。在骑行训练系统中采用混合现实技术，将骑行用户虚拟形象与实景视频相融合，让骑行者身临实景风光之中，使骑行训练更具真实感和趣味性。
发明内容
为克服现有骑行训练系统的真实感和趣味性较差的不足，本发明设计了基于混合现实技术的实景骑行训练方法，将骑行用户的虚拟形象融入到实景视频中，并能够根据实景的路况信息，例如路面上的道路区域和出现在路面上的障碍物，规划出虚拟人物的骑行路径，从而在实景视频中的虚拟人物模拟出在真实比赛场景骑行的过程，营造更加激烈的比赛氛围，使得骑行训练变得更有竞技性和趣味性。
本发明解决其技术问题所采用的技术方案是：
一种基于混合现实技术的实景骑行训练方法，包括以下步骤：
步骤1：实景障碍物检测：在实景视频中，会出现较多的障碍物，比如：行人、汽车、骑行者等，在做实景融合的过程中要做到对路面上出现的障碍物做出规避行为。利用KITTI、ImageNet、Pascal VOC这三个包含大量上述障碍物的数据集对神经网络进行训练，使训练后的神经网络能够对实景中的障碍物做出识别；
步骤2：实景路面分割：实景融合的过程中可融合的区域需要根据当前情景中的路面区域来决定。BDD、CityScapes中包含了路面分割的训练集，利用这两个训练集训练神经网络，使训练后的神经网络能够对实景中的路面进行分割；
步骤3：路径规划：经过步骤1和步骤2的处理之后，我们会得到可行驶的区域，然后结合A*算法做出路径规划；
步骤4：路径拟合：利用最小二乘法对路径规划得到的结果拟合，生成一条平滑的拟合曲线；
步骤5：虚拟人物融合：虚拟人物融合利用虚拟人物的掩膜在图像上做高级图像融合，在多人联网比赛下，根据其余骑行者的距离参数来决定虚拟人物的位置和尺寸，并且根据路径拟合曲线方程的斜率来判断虚拟人物是否需要做出转弯动作。
进一步，所述步骤1中，实景障碍物检测的步骤如下：
步骤1.1：对KITTI、ImageNet、Pascal VOC三个数据集的数据进行相应的数据预处理，将LabelImg生成的标签结果xml文件转换为可用于训练读取数据的txt格式；
步骤1.2：利用ImageNet上预训练darknet-53分类模型,使网络能够学习到分类的特征；
步骤1.3：在预训练的darknet-53的基础上，更改神经网络的结构，将darknet-53前52层中的权重提取出，然后采用类似于FPN的upsample和融合做法，最后融合出了三个scale，在三个scale的feature map上做检测；
步骤1.4：在神经网络的输出层，得到三个scale的feature map,每个feature map中的每个grid cell都会输出3个box，每个box中又包含(x,y,w,h,confidence)以及需要分类的类别的概率；
步骤1.5：将KITTI、Pascal VOC数据混打乱之后，以相同的尺寸输入给神经网络，通过小批量训练网络，减少对内存的需求以及加快网络的训练速度；
步骤1.6：计算损失函数，利用数据集中的ground truth与神经网络的预测结果的值来计算损失值，除了w,h的损失函数采用总方差外，其余部分的损失函数用的是二值交叉熵，最后加到一起，组成总的损失函数；
步骤1.7：通过Adam优化器来更新神经网络的权重；
步骤1.8：通过训练使神经网络具有较好的泛化效果，然后将训练后的模型在实景视频中运行得到路面上的障碍物区域。
所述步骤2中，实景路面分割的步骤如下：
步骤2.1：在BDD与CityScapes训练集中，存在较多的错误标注数据，需要经过一轮手动筛选剔除错误的数据，然后将剩余正确的标注数据整合随机打乱，组成一份新的数据集；
步骤2.2：BDD与CityScapes训练集中的标签图为32位的彩色图，通过对图中像素进行分类，转换成8位的灰度图，才能作为训练样本的标签；
步骤2.3：在残差网络ResNet101上，利用Atrous Convolution代替最后几个最大池化层中的下采样，得到更高像素的score map，但每个像素的感受野并没有减小，然后简单地对特征的响应进行双线性插值恢复到原始图像大小；
步骤2.4：将训练集以一定大小的batch size加载给ResNet101的输入层进行训练并更新卷积核的参数；
步骤2.5：在对实景视视频泛化的过程中，只需要对路面做出分割即可，这样可以减少后续的计算量以提高程序的运行速度。
所述步骤3中，路径规划的步骤如下：
A*算法的原理是设计一个代价估计函数，其中评估函数F(n)是从起始节点通过节点n的到达目标节点的最小代价路径的估计值,函数G(n)是从起始节点到n节点的已走过路径的实际代价，函数H(n)是从n节点到目标节点可能的最优路径的估计代价；函数H(n)表明了算法使用的启发信息，它来源于人们对路径规划问题的认识，依赖某种经验估计；根据F(n)可以计算出当前节点的代价，并可以对下一次能够到达的节点进行评估。采用每次搜索都找到代价值最小的点再继续往外搜索的过程，一步一步找到最优路径；
步骤3.1：通过步骤1和步骤2确定了可行驶区域，对可行驶区域找最小外接矩形，将最小外接矩形划分成M×N份正方形；
步骤3.2：部分正方形完全包含了可行驶区域，部分没有包含，其余包含了部分，将完全包含可行驶区域的正方形设置为1，将没有包含可行驶区域的正方形设置为0，剩余只包含了部分的，根据包含的面积进行阈值处理，由此将整个行驶区域由图像的形式转变成二维数组的形式存储；
步骤3.3：创建开始节点为START，目标节点为GOAL，创建开启列表OPEN LIST，关闭列表CLOSE LIST；
步骤3.4：将开始节点START加入OPEN LIST中；
步骤3.5：查询OPEN中的节点，如果OPEN为空，则退出并说明没有找到路径；
步骤3.6：如果OPEN LIST不为空，从OPEN LIST中选择F(n)函数值最小的节点n；
步骤3.7：把节点n从OPEN LIST中去除，并将其添加到CLOSED LIST中；
步骤3.8：判断节点n是否是目标节点GOAL，如果节点n是目标节点GOAL,则退出，并说明找到最优路径，如果节点n不是目标节点GOAL,则转到步骤3.9；
步骤3.9：扩展节点n，生成n节点的子节点集。设n节点的子节点为m，对所有字节点m计算F(m)，之后根据节点m的分类情况往下运行:
步骤3.9.1：若节点m既不在OPEN LIST中也不在CLOSED LIST中，将其加入OPENLIST中，并为节点m分配一个指向其父节点n的指针。之后算法运行找到目标节点后根据该指针逐次返回，构成最优路径；
步骤3.9.2：若节点m在OPEN LIST中，则比较刚计算的F(m)值和之前已存在的F(m)旧值。若F(m)新值比旧值小，表明算法找到一条更好的路径，将F(m)新值作为节点m的代价值；若F(m)新值比旧值大，将F(m)旧值作为节点m的代价值，修改节点m的指针，将指针指向它的父节点n；
步骤3.9.3：若节点m在CLOSED LIST中，则忽略该节点并转到步骤3.9；
步骤3.10：转到步骤3.5继续运行，直至算法获得最优路径或无解退出，其中，在算法运行中创建的列表OPEN LIST用于保存要搜索的节点，这些节点与算法运行的当前节点相邻并且不在列表CLOSED LIST中。列表CLOSED LIST用来储存算法获得最佳路径点。
所述步骤4中，路径拟合的步骤如下：
步骤4.1：步骤3已经获得路径行驶的离散点，获得当前离散点的坐标位置；
步骤4.2：对离散点通过最小二乘法拟合成一条平滑的曲线；
步骤4.2.1：设置拟合多项式为：y＝a0+a1x+…+akxk；
步骤4.2.2:各点到这条曲线的距离之和，即偏差平方和如下：
步骤4.2.3：为了求得符合条件的a值，对等式右边求ai偏导数，因而得到：
……
步骤4.2.4:将等式左边进行一下化简，然后得到下面的等式：
……
步骤4.2.5：把这些等式表示成矩阵的形式，就得到下面的矩阵：
步骤4.2.6:只要解出这个线性方程，即可求得拟合曲线多项式的系数矩阵。将得到的拟合曲线方程写入txt文件中。
所述步骤5中，虚拟人物融合的步骤如下：
步骤5.1：先做出虚拟人物的一系列骑行动作，使虚拟人物融合在实景视频中的时候是动态显示的；
步骤5.2：根据相应的动作做出相应的图像掩模mask，因为本软件是利用C#的WPF设计的，为了考虑代码的兼容性，没有使用Opencv，而是使用了Emgucv作为图像处理库；
步骤5.3：在多人联网的比赛下，需要实时显示其余对手的位置，可以根据获得对手当前行驶的距离distance1和用户自身行驶的距离disatance0，两人之间的距离差distance2＝distance1-disatance0，如果distance2＞0，则表对手的位置位于当前用户的前方，此时需要显示对手的位置，根据distance2来决定显示对手虚拟人物的位置坐标以及对对手虚拟人物做一定的Resize以满足近大远小的视觉效果；
步骤5.4：既然已经得到了拟合曲线的方程，就可以求得曲线上任一点的切线方程，由此得到当前点的斜率，根据斜率的大小，可以判断出骑行者是在往哪个方向转弯，所以在虚拟人物融合的时候，可以做出虚拟人物转弯的效果，使虚拟人物的在骑行的过程中更接近现实场景中人物的骑行。
本发明的技术构思为：通过对实景视频的分析，识别出可行驶的区域以及行驶的路径，在多人联网的比赛中，根据其余比赛者的距离信息，在视频中实时显示其余比赛者的位置状态。
本发明采用如下技术手段：实景骑行训练方法分为以下五步：实景障碍物检测、实景路面分割、路径规划、路径拟合、虚拟人物融合。
由于设备采集到的实景赛道中会出现大量的障碍物，在虚拟人物融合的过程中，我们希望让虚拟人物能够做到避开障碍物，使虚拟人物的骑行更加接近现实。针对这些问题，设计出了实景障碍物检测的方法。
在虚拟人物融合的过程中，为了保证虚拟人物骑行的过程更加接近现实，需要将虚拟人物融合的范围限定在路面范围内。同时，有了路面信息与障碍物信息，就可以做出虚拟人物的骑行路径。针对这些问题，设计出了实景路面分割的方法。
在获得了障碍物信息和路面信息之后，可以利用A*算法对上述两种信息的结果做出虚拟人物骑行的路径规划，但这里得到的路径是低分辨率的。
完成初步的路径规划后得到低分辨率路径后，对低分辨率路径通过最小二乘法拟合，由此得到高分辨率的路径以及路径方程。
最后在虚拟人物融合部分，在多人联网的比赛下，通过获得其余对手的距离信息，根据距离信息来决定是否在用户的实景界面上放置虚拟人物，通过当前路况的路径方程来决定虚拟人物放置的位置。
本发明的有益效果在于：
1.针对实景骑行训练系统中的实景视频，识别出其中的障碍物和路面位置，从而限定了虚拟人物融合的范围，使虚拟人物的骑行更加接近现实。
2.通过路径规划和路径拟合使虚拟人物的骑行变得平滑、稳定、流畅
3.针对智能骑行系统已经可以根据速度推动实景画面的前进，但与真实场景效果还有很大的差距，本发明采用混合现实技术，将用户的虚拟形象融入实景画面实现真实的户外骑行效果，使骑行训练更具沉浸感和趣味性。
附图说明
图1为本发明基于混合现实技术的实景骑行训练方法的实景障碍物检测流程图。
图2为基于混合现实技术的实景骑行训练方法的实景路面分割流程图。
图3为基于混合现实技术的实景骑行训练方法的路径规划流程图。
图4为基于混合现实技术的实景骑行训练方法的虚拟人物融合流程图。
具体实施方式
下面结合附图来说明本发明的具体实施过程。
图1为本发明基于混合现实技术的实景骑行训练方法的实景障碍物检测流程图，如图所示，首先要对神经网络做预训练使得神经网络具有较好的分类效果，然后将分类神经网络的结构更改成目标检测模型，将训练集输入新的神经网络训练，训练结束后，将实景视频作为神经网络的输入得到最终的障碍物检测结果。
实景障碍物检测的步骤如下：
步骤1.1：对KITTI、ImageNet、Pascal VOC三个数据集的数据进行相应的数据预处理，将labelImg生成的标签结果xml文件转换为可用于训练读取数据的txt格式；
步骤1.2：利用ImageNet上预训练darknet-53分类模型,使网络能够学习到分类的特征；
步骤1.3：在预训练的darknet-53的基础上，更改神经网络的结构，将darknet-53前52层中的权重提取出，然后采用类似于FPN的upsample和融合做法，最后融合出了三个scale，在三个scale的feature map上做检测；
步骤1.4：在神经网络的输出层，得到三个scale的feature map,每个feature map中的每个grid cell都会输出3个box，每个box中又包含(x,y,w,h,confidence)以及需要分类的类别的概率；
步骤1.5：将KITTI、Pascal VOC数据混打乱之后，以相同的尺寸输入给神经网络，通过小批量训练网络，减少对内存的需求以及加快网络的训练速度；
步骤1.6：计算损失函数，利用数据集中的ground truth与神经网络的预测结果的值来计算损失值，除了w,h的损失函数采用总方差外，其余部分的损失函数用的是二值交叉熵，最后加到一起，组成总的损失函数；
步骤1.7：通过Adam优化器来更新神经网络的权重；
步骤1.8：通过训练使神经网络具有较好的泛化效果，然后将训练后的模型在实景视频中运行得到路面上的障碍物区域。
图2为基于混合现实技术的实景骑行训练方法的实景路面分割流程图，如图所示，利用BDD、CityScapes混合的训练集对ResNet残差神经网络训练，训练结束后将实景视频作为训练得到的模型的输入，得到实景路面分割结果。
实景路面分割的步骤如下：
步骤2.1：在BDD与CityScapes训练集中，存在较多的错误标注数据，需要经过一轮手动筛选剔除错误的数据，然后将剩余正确的标注数据整合随机打乱，组成一份新的数据集；
步骤2.2：BDD与CityScapes训练集中的标签图为32位的彩色图，通过对图中像素进行分类，转换成8位的灰度图，才能作为训练样本的标签；
步骤2.3：在残差网络ResNet101上，利用Atrous Convolution代替最后几个最大池化层中的下采样，得到更高像素的score map，但每个像素的感受野并没有减小，然后简单地对特征的响应进行双线性插值恢复到原始图像大小；
步骤2.4：将训练集以一定大小的batch size加载给ResNet101的输入层进行训练并更新卷积核的参数；
步骤2.5：在对实景视视频泛化的过程中，只需要对路面做出分割即可，这样可以减少后续的计算量以提高程序的运行速度。
图3为基于混合现实技术的实景骑行训练方法的路径规划流程图，如图所示，得到障碍物位置已经路面分割结果后，也就得到了可行驶区域，利用A*算法在可行驶区域中规划路径。
A*算法的原理是设计一个代价估计函数，其中评估函数F(n)是从起始节点通过节点n的到达目标节点的最小代价路径的估计值,函数G(n)是从起始节点到n节点的已走过路径的实际代价，函数H(n)是从n节点到目标节点可能的最优路径的估计代价。函数H(n)表明了算法使用的启发信息，它来源于人们对路径规划问题的认识，依赖某种经验估计。根据F(n)可以计算出当前节点的代价，并可以对下一次能够到达的节点进行评估。采用每次搜索都找到代价值最小的点再继续往外搜索的过程，一步一步找到最优路径。
路径搜索的步骤如下：
步骤3.1：通过步骤1和步骤2确定了可行驶区域，对可行驶区域找最小外接矩形，将最小外接矩形划分成M×N份正方形；
步骤3.2：部分正方形完全包含了可行驶区域，部分没有包含，其余包含了部分，将完全包含可行驶区域的正方形设置为1，将没有包含可行驶区域的正方形设置为0，剩余只包含了部分的，根据包含的面积进行阈值处理，由此将整个行驶区域由图像的形式转变成二维数组的形式存储；
步骤3.3：创建开始节点为START，目标节点为GOAL，创建开启列表OPEN LIST，关闭列表CLOSE LIST；
步骤3.4：将开始节点START加入OPEN LIST中；
步骤3.5：查询OPEN中的节点。如果OPEN为空，则退出并说明没有找到路径；
步骤3.6：如果OPEN LIST不为空，从OPEN LIST中选择F(n)函数值最小的节点n；
步骤3.7：把节点n从OPEN LIST中去除，并将其添加到CLOSED LIST中；
步骤3.8：判断节点n是否是目标节点GOAL，如果节点n是目标节点GOAL,则退出，并说明找到最优路径，如果节点n不是目标节点GOAL,则转到步骤3.9；
步骤3.9：扩展节点n，生成n节点的子节点集，设n节点的子节点为m，对所有字节点m计算F(m)，之后根据节点m的分类情况往下运行：
步骤3.9.1：若节点m既不在OPEN LIST中也不在CLOSED LIST中，将其加入OPENLIST中，并为节点m分配一个指向其父节点n的指针。之后算法运行找到目标节点后根据该指针逐次返回,构成最优路径；
步骤3.9.2：若节点m在OPEN LIST中，则比较刚计算的F(m)值和之前已存在的F(m)旧值，若F(m)新值比旧值小，表明算法找到一条更好的路径，将F(m)新值作为节点m的代价值；若F(m)新值比旧值大，将F(m)旧值作为节点m的代价值。修改节点m的指针，将指针指向它的父节点n；
步骤3.9.3：若节点m在CLOSED LIST中，则忽略该节点并转到步骤3.9；
步骤3.10：转到步骤3.5继续运行，直至算法获得最优路径或无解退出，其中，在算法运行中创建的列表OPEN LIST用于保存要搜索的节点，这些节点与算法运行的当前节点相邻并且不在列表CLOSED LIST中。列表CLOSED LIST用来储存算法获得最佳路径点。
路径规划时将原图变成了M×N的低分辨率图，通过A*算法得到了粗略的路径图，但是粗略的路径图整体波动较大，这也会导致在虚拟人物融合的过程中人物出现较大的波动，影响融合结果的流畅性和真实性。所以需要对粗略的路径图细化，使生成的路径曲线更加平滑。
步骤4.1：将低分辨率图放大回原来的高分辨率图，因为在分辨率图上缩放大小为正方形的尺寸，所以只需将低分辨率图乘以正方形的尺寸就可以得到高分辨图；
步骤4.2：取在高分辨率图的路径点的中心作为路径拟合的离散点，对离散点通过最小二乘法拟合成一条平滑的曲线；
步骤4.2.1：设置拟合多项式为：y＝a0+a1x+…+akxk；
步骤4.2.2:各点到这条曲线的距离之和，即偏差平方和如下：
步骤4.2.3：为了求得符合条件的a值，对等式右边求ai偏导数，因而得到：
……
步骤4.2.4:将等式左边进行一下化简，然后得到下面的等式：
……
步骤4.2.5：把这些等式表示成矩阵的形式，就得到下面的矩阵：
步骤4.2.6:只要解出这个线性方程，即可求得拟合曲线多项式的系数矩阵。将得到的拟合曲线方程写入txt文件中。
图4为基于混合现实技术的实景骑行训练方法的虚拟人物融合流程图，如图所示，完成了路径拟合之后，相当于是得到了虚拟人物的骑行路径，接下去就是将虚拟人物融合到实景视频中。在融合的过程中，利用上一步得到的路径拟合方程，结合虚拟人物融合算法完成最终的融合。
虚拟人物融合的步骤如下：
步骤5.1：通过虚拟人物模型，得到虚拟人物的一系列动作，使虚拟人物融合在实景视频中的时候是动态显示的；
步骤5.2：根据相应的动作生成相应的图像掩模mask，因为本软件是利用C#的WPF设计的，为了考虑代码的兼容性，没有使用Opencv，而是使用了Emgucv作为图像处理库；
步骤5.3：将一系列虚拟人物动作图输入，图像灰度化；
步骤5.4：虚拟人物二值化；
步骤5.5：虚拟人物边缘检测，这里使用了Canny边缘检测算子；
步骤5.6：虚拟人物形态学处理，这里经过闭运算，使虚拟人物在寻找轮廓时不会受到一些无关边缘点的影响；
步骤5.7：虚拟人物轮廓查找生成最终掩模mask；
步骤5.8：在多人联网的比赛下，需要实时显示其余对手的位置，可以根据获得对手当前行驶的距离distance1和用户自身行驶的距离disatance0，两人之间的距离差distance2＝distance1-disatance0，如果distance2＞0，则表对手的位置位于当前用户的前方，此时需要显示对手的位置，根据distance2和当前帧的路径拟合方程来决定显示对手虚拟人物的位置坐标以及对对手虚拟人物做一定的Resize以满足近大远小的视觉效果，并且在融合的过程中为了保持虚拟人物的动态效果，需要将虚拟人物的一系列动作按顺序显示；
步骤5.9：既然已经得到了拟合曲线的方程，就可以求得曲线上任一点的切线方程，由此得到当前点的斜率，根据斜率的大小，可以判断出骑行者是在往哪个方向转弯，所以在虚拟人物融合的时候，可以做出虚拟人物转弯的效果，使虚拟人物的在骑行的过程中更接近现实场景中人物的骑行。

Claims (6)

1.一种基于混合现实技术的实景骑行训练方法，其特征在于，所述方法包括以下步骤：
步骤1：实景障碍物检测：利用KITTI、ImageNet、Pascal VOC这三个包含大量上述障碍物的数据集对神经网络进行训练，使训练后的神经网络能够对实景中的障碍物做出识别；
步骤2：实景路面分割：BDD、CityScapes中包含了路面分割的训练集，利用这两个训练集训练神经网络，使训练后的神经网络能够对实景中的路面进行分割；
步骤3：路径规划：经过步骤1和步骤2的处理之后，我们会得到可行驶的区域，然后结合A*算法做出路径规划；
步骤4：路径拟合：利用最小二乘法对路径规划得到的结果拟合，生成一条平滑的拟合曲线；
步骤5：虚拟人物融合：虚拟人物融合利用虚拟人物的掩膜在图像上做高级图像融合，在多人联网比赛下，根据其余骑行者的距离参数来决定虚拟人物的位置和尺寸，并且根据路径拟合曲线方程的斜率来判断虚拟人物是否需要做出转弯动作。
2.如权利要求1所述基于混合现实技术的实景骑行训练方法，其特征在于，所述步骤1中，实景障碍物检测的步骤如下：
步骤1.1：对KITTI、ImageNet、Pascal VOC三个数据集的数据进行相应的数据预处理，将labelImg生成的标签结果xml文件转换为可用于训练读取数据的txt格式；
步骤1.2：利用ImageNet上预训练darknet-53分类模型,使网络能够学习到分类的特征；
步骤1.3：在预训练的darknet-53的基础上，更改神经网络的结构，将darknet-53前52层中的权重提取出，然后采用类似于FPN的upsample和融合做法，最后融合出了三个scale，在三个scale的feature map上做检测；
步骤1.4：在神经网络的输出层，得到三个scale的feature map,每个feature map中的每个grid cell都会输出3个box，每个box中又包含(x,y,w,h,confidence)以及需要分类的类别的概率；
步骤1.5：将KITTI、Pascal VOC数据混打乱之后，以相同的尺寸输入给神经网络，通过小批量训练网络，减少对内存的需求以及加快网络的训练速度；
步骤1.6：计算损失函数，利用数据集中的ground truth与神经网络的预测结果的值来计算损失值，除了w,h的损失函数采用总方差外，其余部分的损失函数用的是二值交叉熵，最后加到一起，组成总的损失函数；
步骤1.7：通过Adam优化器来更新神经网络的权重；
步骤1.8：通过训练使神经网络具有较好的泛化效果，然后将训练后的模型在实景视频中运行得到路面上的障碍物区域。
3.如权利要求1或2所述基于混合现实技术的实景骑行训练方法，其特征在于，所述步骤2中，实景路面分割的步骤如下：
步骤2.1：在BDD与CityScapes训练集中，存在较多的错误标注数据，需要经过一轮手动筛选剔除错误的数据，然后将剩余正确的标注数据整合随机打乱，组成一份新的数据集；
步骤2.2：BDD与CityScapes训练集中的标签图为32位的彩色图，通过对图中像素进行分类，转换成8位的灰度图，才能作为训练样本的标签；
步骤2.3：在残差网络ResNet101上，利用Atrous Convolution代替最后几个最大池化层中的下采样，得到更高像素的score map，但每个像素的感受野并没有减小，然后简单地对特征的响应进行双线性插值恢复到原始图像大小；
步骤2.4：将训练集以一定大小的batch size加载给ResNet101的输入层进行训练并更新卷积核的参数；
步骤2.5：在对实景视视频泛化的过程中，只需要对路面做出分割即可，这样可以减少后续的计算量以提高程序的运行速度。
4.如权利要求1或2所述基于混合现实技术的实景骑行训练方法，其特征在于，所述步骤3中，路径规划的步骤如下：
步骤3.1：通过步骤1和步骤2确定了可行驶区域，对可行驶区域找最小外接矩形，将最小外接矩形划分成M×N份正方形；
步骤3.2：部分正方形完全包含了可行驶区域，部分没有包含，其余包含了部分，将完全包含可行驶区域的正方形设置为1，将没有包含可行驶区域的正方形设置为0，剩余只包含了部分的，根据包含的面积进行阈值处理，由此将整个行驶区域由图像的形式转变成二维数组的形式存储；
步骤3.3：创建开始节点为START，目标节点为GOAL，创建开启列表OPEN LIST，关闭列表CLOSE LIST；
步骤3.4：将开始节点START加入OPEN LIST中；
步骤3.5：查询OPEN中的节点，如果OPEN为空，则退出并说明没有找到路径；
步骤3.6：如果OPEN LIST不为空，从OPEN LIST中选择F(n)函数值最小的节点n；
步骤3.7：把节点n从OPEN LIST中去除，并将其添加到CLOSED LIST中；
步骤3.8：判断节点n是否是目标节点GOAL，如果节点n是目标节点GOAL,则退出，并说明找到最优路径，如果节点n不是目标节点GOAL,则转到步骤3.9；
步骤3.9：扩展节点n，生成n节点的子节点集，设n节点的子节点为m，对所有字节点m计算F(m)，之后根据节点m的分类情况往下运行：
步骤3.9.1：若节点m既不在OPEN LIST中也不在CLOSED LIST中，将其加入OPEN LIST中，并为节点m分配一个指向其父节点n的指针，之后算法运行找到目标节点后根据该指针逐次返回,构成最优路径；
步骤3.9.2：若节点m在OPEN LIST中，则比较刚计算的F(m)值和之前已存在的F(m)旧值，若F(m)新值比旧值小，表明算法找到一条更好的路径，将F(m)新值作为节点m的代价值；若F(m)新值比旧值大，将F(m)旧值作为节点m的代价值，修改节点m的指针，将指针指向它的父节点n；
步骤3.9.3：若节点m在CLOSED LIST中，则忽略该节点并转到步骤3.9；
步骤3.10：转到步骤3.5继续运行，直至算法获得最优路径或无解退出，其中，在算法运行中创建的列表OPEN LIST用于保存要搜索的节点，这些节点与算法运行的当前节点相邻并且不在列表CLOSED LIST中，列表CLOSED LIST用来储存算法获得最佳路径点。
5.如权利要求1或2所述基于混合现实技术的实景骑行训练方法，其特征在于，所述步骤4中，路径拟合的步骤如下：
步骤4.1：步骤3已经获得路径行驶的离散点，获得当前离散点的坐标位置；
步骤4.2：对离散点通过最小二乘法拟合成一条平滑的曲线；
步骤4.2.1：设置拟合多项式为：y＝a0+a1x+…+akxk；
步骤4.2.2:各点到这条曲线的距离之和，即偏差平方和如下：
步骤4.2.3：为了求得符合条件的a值，对等式右边求ai偏导数，因而得到了
……
步骤4.2.4:将等式左边进行一下化简，然后得到下面的等式：
…….
步骤4.2.5：把这些等式表示成矩阵的形式，就得到下面的矩阵：
步骤4.2.6:只要解出这个线性方程，即求得拟合曲线多项式的系数矩阵，将得到的拟合曲线方程写入txt文件中。
6.如权利要求1或2所述基于混合现实技术的实景骑行训练方法，其特征在于，所述步骤5中，虚拟人物融合的步骤如下：
步骤5.1：先做出虚拟人物的一系列骑行动作，使虚拟人物融合在实景视频中的时候是动态显示的；
步骤5.2：安装Emgucv作为图像处理库；
步骤5.3：将一系列虚拟人物动作图输入，图像灰度化；
步骤5.4：虚拟人物二值化；
步骤5.5：虚拟人物边缘检测，这里使用了Canny边缘检测算子；
步骤5.6：虚拟人物形态学处理，这里经过闭运算，使虚拟人物在寻找轮廓时不会受到一些无关边缘点的影响；
步骤5.7：虚拟人物轮廓查找生成最终掩模mask；
步骤5.8：在多人联网的比赛下，需要实时显示其余对手的位置，可以根据获得对手当前行驶的距离distance1和用户自身行驶的距离disatance0，两人之间的距离差distance2＝distance1-disatance0，如果distance2＞0，则表对手的位置位于当前用户的前方，此时需要显示对手的位置，根据distance2和当前帧的路径拟合方程来决定显示对手虚拟人物的位置坐标以及对对手虚拟人物做一定的Resize以满足近大远小的视觉效果；
步骤5.9：既然已经得到了拟合曲线的方程，就可以求得曲线上任一点的切线方程，由此得到当前点的斜率，根据斜率的大小，判断出骑行者是在往哪个方向转弯，所以在虚拟人物融合的时候，做出虚拟人物转弯的效果，使虚拟人物的在骑行的过程中更接近现实场景中人物的骑行。
CN201910583255.8A 2019-07-01 2019-07-01 基于混合现实技术的实景骑行训练方法 Active CN110490978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910583255.8A CN110490978B (zh) 2019-07-01 2019-07-01 基于混合现实技术的实景骑行训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910583255.8A CN110490978B (zh) 2019-07-01 2019-07-01 基于混合现实技术的实景骑行训练方法

Publications (2)

Publication Number Publication Date
CN110490978A true CN110490978A (zh) 2019-11-22
CN110490978B CN110490978B (zh) 2023-07-21

Family

ID=68546411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910583255.8A Active CN110490978B (zh) 2019-07-01 2019-07-01 基于混合现实技术的实景骑行训练方法

Country Status (1)

Country Link
CN (1) CN110490978B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113206989A (zh) * 2021-03-31 2021-08-03 聚好看科技股份有限公司 一种三维通信系统中人物模型的定位方法及设备
TWI736138B (zh) * 2020-02-17 2021-08-11 國立屏東大學 交通安全學習系統與方法
CN114288631A (zh) * 2021-12-30 2022-04-08 上海庆科信息技术有限公司 数据处理方法、装置、存储介质、处理器及电子装置
CN115937626A (zh) * 2022-11-17 2023-04-07 郑州轻工业大学 基于实例分割的半虚拟数据集自动生成方法
WO2024125319A1 (zh) * 2022-12-15 2024-06-20 华为技术有限公司 虚拟人物的显示方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173990A1 (zh) * 2016-04-07 2017-10-12 北京进化者机器人科技有限公司 一种机器人避障中的最短路径规划方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN108830934A (zh) * 2018-04-27 2018-11-16 浙江工业大学 一种用于骑行训练系统的实景运动控制方法
CN109255467A (zh) * 2018-07-27 2019-01-22 四川大学 一种面向虚拟现实的a*寻路优化方法
CN109559315A (zh) * 2018-09-28 2019-04-02 天津大学 一种基于多路径深度神经网络的水面分割方法
CN109712247A (zh) * 2018-12-10 2019-05-03 浙江工业大学 基于混合现实技术的实景训练系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173990A1 (zh) * 2016-04-07 2017-10-12 北京进化者机器人科技有限公司 一种机器人避障中的最短路径规划方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN108830934A (zh) * 2018-04-27 2018-11-16 浙江工业大学 一种用于骑行训练系统的实景运动控制方法
CN109255467A (zh) * 2018-07-27 2019-01-22 四川大学 一种面向虚拟现实的a*寻路优化方法
CN109559315A (zh) * 2018-09-28 2019-04-02 天津大学 一种基于多路径深度神经网络的水面分割方法
CN109712247A (zh) * 2018-12-10 2019-05-03 浙江工业大学 基于混合现实技术的实景训练系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋健等: "面向虚拟现实的A~*算法的分析与改进", 《信息技术与网络安全》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736138B (zh) * 2020-02-17 2021-08-11 國立屏東大學 交通安全學習系統與方法
CN113206989A (zh) * 2021-03-31 2021-08-03 聚好看科技股份有限公司 一种三维通信系统中人物模型的定位方法及设备
CN114288631A (zh) * 2021-12-30 2022-04-08 上海庆科信息技术有限公司 数据处理方法、装置、存储介质、处理器及电子装置
CN115937626A (zh) * 2022-11-17 2023-04-07 郑州轻工业大学 基于实例分割的半虚拟数据集自动生成方法
CN115937626B (zh) * 2022-11-17 2023-08-08 郑州轻工业大学 基于实例分割的半虚拟数据集自动生成方法
WO2024125319A1 (zh) * 2022-12-15 2024-06-20 华为技术有限公司 虚拟人物的显示方法及电子设备

Also Published As

Publication number Publication date
CN110490978B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN110490978A (zh) 基于混合现实技术的实景骑行训练方法
Dosovitskiy et al. CARLA: An open urban driving simulator
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
Stefansdottir et al. Built environment, non-motorized travel and overall physical activity
CN111080659A (zh) 一种基于视觉信息的环境语义感知方法
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN110363716A (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN105279966B (zh) 一种校园交通的拥堵识别方法
US11071917B1 (en) System, method, and computer program product for extracting location information using gaming technologies from real world data collected by various sensors
CN106875424A (zh) 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN107730903A (zh) 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN101470898B (zh) 一种双人跳水同步性自动分析方法
CN107590813A (zh) 一种基于深层交互式测地距离的图像分割方法
Sharma et al. Pedestrian intention prediction for autonomous vehicles: A comprehensive survey
CN112906485A (zh) 基于改进的yolo模型的视障人士辅助障碍物感知方法
Hu et al. Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving
Li et al. Photo-realistic simulation of road scene for data-driven methods in bad weather
Le et al. Advancing cycling among women
CN107563299A (zh) 一种利用ReCNN融合上下文信息的行人检测方法
Zhang et al. Quantifying physical and psychological perceptions of urban scenes using deep learning
CN116894611A (zh) 一种城市轨道交通车站乘客疏散仿真方法及系统
CN104700384B (zh) 基于增强现实技术的展示系统及展示方法
CN111325850A (zh) 一种智能仿真室内滑雪虚拟现实系统及方法
CN111298448B (zh) 一种智能仿真室内滑雪游戏系统及方法
Van Basten et al. Exploiting motion capture to enhance avoidance behaviour in games

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant