CN113656918B - 一种应用于成品高架库场景的四旋翼仿真测试方法 - Google Patents
一种应用于成品高架库场景的四旋翼仿真测试方法 Download PDFInfo
- Publication number
- CN113656918B CN113656918B CN202111005847.5A CN202111005847A CN113656918B CN 113656918 B CN113656918 B CN 113656918B CN 202111005847 A CN202111005847 A CN 202111005847A CN 113656918 B CN113656918 B CN 113656918B
- Authority
- CN
- China
- Prior art keywords
- rotor
- test
- scene
- simulation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 129
- 238000010998 test method Methods 0.000 title claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 180
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 42
- 238000005286 illumination Methods 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 18
- 230000008447 perception Effects 0.000 claims description 16
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 238000005315 distribution function Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 230000003139 buffering effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012614 Monte-Carlo sampling Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 8
- 238000007619 statistical method Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 12
- 230000003111 delayed effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 241000208125 Nicotiana Species 0.000 description 2
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Optimization (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种应用于成品高架库场景的四旋翼仿真测试方法,包括批量测试场景蒙特卡罗构建方法,面向视觉传感器模拟的场景图像逼真度优化,四旋翼软件在环测试平台构建,基于批量场景统计分析的四旋翼目标跟踪测试。本发明采用虚拟现实引擎集成虚拟场景、四旋翼模型及其传感器模型,实现在安全和低成本的条件下对四旋翼进行大量地测试,显著地缩短了开发周期。本发明可以通过测试保证四旋翼的可靠性,在确保盘点的准确性,为企业节省大量成本和劳动力,提高生产效率的同时,减少危险场合的人工操作,有效的防止了安全事故的发生。
Description
技术领域
本发明涉及仿真测试技术领域,尤其涉及一种应用于成品高架库场景的四旋翼仿真测试方法。
背景技术
高架仓库近几年广泛应用于烟草行业,通过大幅度地增加仓库高度,充分利用仓库地面与空间,减少占地面积,有效的增加了仓库容量,提高了仓库存取作业机械化、自动化程度,提高了仓库管理水平,但也带来了盘点困难,人工操作的危险性等问题。无人机技术应用于烟草货物的盘点,可实现准确方便快速的实现对高架库库存商品实际数量的盘点。无人机从仓库起始位置启动,按照列优先的方式开始盘库,从第一列的第一行开始,无人机往上飞行,盘完一列后无人机转到下一列继续进行盘库工作,无人机拍摄的实时画面传回电脑端,经过处理后判断货物的缺失状况,在货物缺失时发出警报,提示当前位置存在缺失。在确保盘点的准确性,为企业节省大量成本和劳动力,提高生产效率的同时,减少危险场合的人工操作,有效的防止了安全事故的发生。
四旋翼无人机凭借轻便灵活的特性在军事及生活中有举足轻重的作用和广阔的应用前景,其中包括电力巡检、人员搜查、地图测绘等,在执行这些任务前,需要进行大量的测试来保证四旋翼的可靠性。
四旋翼比较成熟的仿真平台为半物理(硬件在环)仿真平台。半物理仿真平台结合四旋翼硬件设备,并由实际的传感器获得四旋翼位姿信息,因此仿真结果更接近实际情况,相比实机实地测试,该仿真方法开发速度快、成本低。目前半物理仿真技术的发展较为成熟,仿真精度不断提高,却仍然存在它的局限性。时常会出现在实地测试的性能效果达不到半物理平台中的模拟效果,其根本原因是半物理仿真平台仿真环境通常在实验室,传感器无法采集实地环境信息,所开发的系统无法适应真实环境。为了四旋翼的算法得到有效的训练,需要收集大量的工况感知数据。为了采集尽可能多的数据,厂商经常使用几十架甚至上百架四旋翼进行特定工况飞行测试。一般来说,典型场景和危险场景不会随着试运行的增加而继续增加,并且四旋翼系统在各种复杂工况的应用都面临着大量的实际问题,而广泛的实机试验仍然难以覆盖复杂多样的飞行场景。而且收集大量的工况感知数据工作量巨大,且收集过程十分繁琐。因此需要一个更为高效的对高架库库存商品实际数量盘点的方案。
发明内容
本发明提供了一种应用于成品高架库场景的四旋翼仿真测试方法,以解决现有技术中通过人工对高架库库存商品实际数量盘点会消耗大量劳动力,通过半物理仿真平台盘点需收集大量的工况感知数据,导致工作量巨大、效率不高的问题。
随着虚拟现实技术的发展,四旋翼测试方法有了新的模式。四旋翼的虚拟测试,是基于虚拟现实技术,根据测试需求采用虚拟仿真软件构建虚拟测试场景,包括四旋翼模型、环境模型和传感器模型等,从而可在虚拟场景中进行四旋翼的性能验证,在一定程度上是实机测试的有效替代方案。四旋翼虚拟测试平台可自定义构建多样化、独特性、随机性的动静态测试环境,并且可将大量危险工况场景参数泛化,在有限的虚拟测试环境中,进行针对性的性能测试,大幅提高了测试效率。四旋翼虚拟仿真技术极大的弥补了当前对四旋翼只能依靠实际场景测试的不足。通过参数化构建批量场景、各模块模型自由替换的自动化测试流程,不仅可以充分扩展测试范围和提高测试条件复杂度,还可以验证四旋翼的各个组成部分。从各个传感器在特定环境下的感知性能再到控制系统各模块,最后到四旋翼模型整体环境性能。四旋翼的虚拟测试流程逐渐成为实机实地测试的前提条件。虚拟测试平台可以生成并保存四旋翼测试流程的各项数据,为四旋翼性能评估、数据统计分析以及产品优化方向提供重要依据。采用马尔科夫链蒙特卡罗方法对测试场景参数概率分布抽样,拟组合生成批量测试场景用例,并且符合场景分布,并采用Unity3D参数化生成可视化场景;采用计算机图形学中的基于物理渲染等技术,进一步提升视觉传感器的真实度;基于Unity3D+AirSim环境搭建四旋翼动力学模型、传感器模型和环境模型,在Matlab/Simulink中搭建四旋翼的控制和决策算法,并实现联合仿真;最后基于批量测试场景进行四旋翼测试,统计并分析测试性能。通过大量灵活的场景填补在实际工况验证中无法重复测试甚至无法遇到的极端情况,通过在四旋翼虚拟场景中高效大量的测试,反复地测试在复杂危险的极限工况中的性能,高效地验证和迭代各控制算法,以便在实机实地测试之前尽早检测出四旋翼控制系统和传感器等模块的性能漏洞。
本发明采用的技术方案是:提供一种应用于成品高架库场景的四旋翼仿真测试方法,包括:
S1:拟参数化生成批量的虚拟测试场景,以符合特定场景参数进行分布,使用蒙特卡罗方法对场景参数分布进行有效的抽样与组合,针对四旋翼视觉避障工况,使用MH对场景参数进行抽样,利用加权欧式距离聚类的方法提取出关键测试用例;
S2:基于物理的BRDF光照模型提升模型材质的细节;使用切线空间的法线纹理,以增加模型细节层次;在框架基础上使用屏幕空间环境光遮蔽和高动态范围光照;
S3:采用AirSim四旋翼模型和环境模型;建立基于物理引擎的传感器物理模型构建框架,并基于Unity3D引擎实现各传感器的感知模拟,在原始数据的基础上加入真实模型的噪声参数;搭建基于Unity3D的仿真环境,保证Unity3D与Matlab/Simulink的通信与数据同步。
作为应用于成品高架库场景的四旋翼仿真测试方法的一种优选方式,还包括:
S4:基于批量场景的四旋翼测试方法,具体为:
构建高架场景库,基于场景库使用蒙特卡罗测试场景构建方法,自动生成批量的随机高架库场景,并对虚拟视觉传感器采集的图像进行渲染和优化;为了验证虚拟视觉传感器的真实性,采集虚拟图像以及真实图像,用HOG+SVM算法对样本进行测试。
作为应用于成品高架库场景的四旋翼仿真测试方法的一种优选方式,所述S1包括:
1)批量测试场景蒙特卡罗构建方法:
步骤一、根据测试需求,对高架仓库场景的关键特征及要素进行分析,将相应功能的场景进行参数化;
步骤二、根据实际场景想要测试的参数,给定输入域上的概率分布函数;
步骤三、从概率分布函数中进行蒙特卡罗抽样,抽样时基于MH抽样生成大量随机测试用例,采用加权欧氏距离聚类方法,获取具有代表性的关键测试用例,代替相似测试用例的测试结果;
步骤四、采用关键测试用例作为参数输入,以可视化模型为基础参数化生成批量测试场景,并与四旋翼的模型及控制系统模块联合仿真,得到各测试用例的测试结果;
2)蒙特卡罗方法:首先建立概率模型,然后随机抽样产生样本值,确定选取统计量,最后统计估计;
3)MH抽样:定义转移函数A(x,y);确立状态转移法则;构建马尔科夫链;
4)加权欧氏距离聚类的关键测试用例:获取具有代表性的关键测试用例,代替相似测试用例的测试结果。
作为应用于成品高架库场景的四旋翼仿真测试方法的一种优选方式,所述S2包括:
1)基于物理渲染的BRDF光照模型:通过建立较为精细的渲染模型,使得视觉传感器在不同光照下采集的图像中,物体都接近于真实的材质;
2)延迟渲染:先在三维空间中计算模型的几何信息和材质属性,然后在二维空间中计算光照对模型表面的影响,最后进行后处理技术,提高渲染质量;采用前向渲染中的颜色缓冲和深度缓冲,使用额外的G缓冲区,用来存储表面法线、位置、材质属性信息;
3)屏幕空间环境光遮蔽:通过计算物体表面上每个点处的遮蔽值,最终合成到光照模型;
4)高动态范围光照:通过采用非线性的色调映射算子把高动态范围光照映射到地动态范围,处理后的虚拟图像光照对比度更加明显,明暗更加分明。
作为应用于成品高架库场景的四旋翼仿真测试方法的一种优选方式,所述S3包括:
1)测试平台整体结构设计:虚拟场景仿真模块主要负责虚拟测试场景实时仿真、虚拟四旋翼运动实时仿真、虚拟视觉传感器图像实时渲染;四旋翼仿真模块主要负责传感器数据模拟、决策算法和飞控算法的数据仿真;
2)基于Unity3D的四旋翼仿真测试平台:AirSim不仅能利用了Unity3D引擎逼真的图形渲染能力,同时提供了,丰富且简洁的接口,让决策算法和控制算法方便快捷的接入从而进行大量的训练;
3)四旋翼仿真模型分析及控制系统搭建:四旋翼被定义为一个刚体,该刚体可以由任意数量的输入产生力和扭矩;四旋翼模型包括的参数有质量、惯性、线阻力和角阻力系数、摩擦系数和恢复系数,Unity3D物理引擎使用这些参数来计算刚体动力学;
4)四旋翼控制系统仿真模型构建:以双环PID控制系统为例,采用Matlab/Simulink实现四旋翼控制系统,根据测试需求对控制系统进行扩展,包括各种决策算法;
5)建立基于物理引擎的传感器构建框架,该框架由探测模拟、目标提取、感知模拟、误差模拟四个环节组成;
6)激光测距传感器:通过发射一条激光射线与环境中的物体交互,并回馈物体信息,以达到基本的模拟效果;
7)惯性测量单元:由陀螺仪和加速度计组成,通过向地面真实情况添加白噪声和随时间的偏差漂移来对四旋翼仿真模型进行建模;
8)磁力计和气压计:分别用来测量四旋翼的偏航角和高度,能直接通过Unity3D物理引擎中四旋翼模型的Transform组件获取角度和位置信息;
9)GPS:以水平和垂直位置误差估计衰减率,来模拟随时间推移的增益修正,延迟时间为200ms,刷新率50Hz;使用为水平和垂直固定分别设置参数的一阶低通滤波器对衰减率进行建模。
作为应用于成品高架库场景的四旋翼仿真测试方法的一种优选方式,所述S4包括:
1)拟随机生成并渲染批量大规模的测试场景,对四旋翼行人跟踪进行批量测试,统计四旋翼飞行数据,分析四旋翼在不同参数下的表现性能;
2)视觉传感器真实性验证:使用虚拟视觉传感器采集的行人目标图像与真实相机采集的图像进行对比,目标所处环境为高架仓库场景,分别随机抽取若干图像作为两组待测样本数据,采用经典的HOG+SVM算法对两组样本进行测试;
3)四旋翼目标跟踪测试:彩色图像由机载视觉传感器器获取,实时提取图像的方向梯度直方图,然后采用基于支持向量机的分类器对目标进行识别;在跟踪目标初始化后,使用KCF方法进行运动目标跟踪;将目标在图像中的像素坐标转换为目标的实际位置,计算出四旋翼的期望位置,通过飞控系统实现四旋翼目标跟踪。
本发明的有益效果是:
1)、本发明采用虚拟现实引擎集成虚拟场景、四旋翼模型及其传感器模型,实现在安全和低成本的条件下对四旋翼进行大量地测试,显著地缩短了开发周期。本发明可以通过测试保证四旋翼的可靠性,在确保盘点的准确性,为企业节省大量成本和劳动力,提高生产效率的同时,减少危险场合的人工操作,有效的防止了安全事故的发生。
2)、本发明应用虚拟现实技术,大大地拓展了四旋翼在自动化领域的发展方向,采用虚拟现实引擎集成虚拟场景、四旋翼模型及其传感器模型。提出了批量测试场景蒙特卡罗构建方法,并针对Unity3D引擎渲染特性,提出并使用了基于物理渲染的BRDF渲染模型和延迟渲染框架,基于Unity3D物理引擎及AirSim插件实现了四旋翼感知传感器的探测模拟。最后设计并搭建了四旋翼仿真测试平台,还可通过验证测试来对四旋翼仿真测试平台进行调试。
附图说明
图1为本发明公开的测试场景蒙特卡罗构建流程图。
图2为本发明公开的MH算法流程图。
图3为本发明公开的基于加权欧氏距离聚类的关键测试用例提取方法的流程示意图。
图4为本发明公开的关键测试用例生成方法的流程示意图。
图5a为本发明公开的关键测试用例聚类前仿真结果。
图5b为本发明公开的关键测试用例聚类后仿真结果。
图6为本发明公开的延迟渲染框架的结构框图。
图7为本发明公开的测试平台整体结构示意图。
图8为本发明公开的四旋翼3D模型图。
图9为本发明公开的基于物理引擎的传感器构建框架的结构框图。
图10a为本发明公开的四旋翼局部坐标示意图。
图10b为本发明公开的四旋翼世界坐标示意图。
图11为本发明公开的GPS位置测量数据图。
图12为本发明公开的HOG特征提取的基本步骤流程图。
图13为本发明公开的四旋翼行人目标跟踪控制流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步详细描述,但本发明的实施方式不限于此。
本发明公开一种应用于成品高架库场景的四旋翼仿真测试方法,其可实现准确方便快速的对高架库库存商品实际数量的盘点。在确保盘点的准确性,为企业节省大量成本和劳动力。
虚拟现实技术已经广泛应用到多种场景,如虚拟装配、虚拟仿真测试,因此,为了快速、安全、低成本的开发四旋翼无人机,基于虚拟现实技术的四旋翼仿真测试已成为现实。针对目前虚拟现实引擎及各仿真测试平台,提出了批量测试场景蒙特卡罗构建方法,并针对Unity3D引擎渲染特性,使用了基于物理渲染的BRDF渲染模型和延迟渲染框架,基于Unity3D物理引擎及AirSim插件实现了四旋翼感知传感器的探测模拟。最后设计并搭建了四旋翼仿真测试平台,实现了上述方法的验证,证明了建立的四旋翼测试平台能够用于四旋翼有关算法的开发与虚拟测试。
第一部分:批量测试场景蒙特卡罗构建:使用蒙特卡罗方法对场景参数分布进行有效的抽样与组合;针对四旋翼的视觉避障工况,采用马尔科夫链蒙特卡罗的MetropolisHastings算法对场景参数进行抽样,加快采样效率;使用加权欧式距离聚类生成关键测试用例,代替相似测试用例的测试结果;最后基于Unity3D与Matlab/Simulink联合仿真生成测试结果。
四旋翼工作环境包括周围各类动静态障碍物以及气象条件等诸多因素。场景要素是测试场景的重要组成部分,主要包括基础设施、自然结构、天气光照等体现场景主要特征的静态要素,四旋翼无人机实时速度、航向及坐标,任务目标类型、目标速度及相对位置等动态要素,具有高度的不确定、不可重复、不可预测和不可穷尽等特征。可见四旋翼的测试场景的参数及其分布都十分复杂,若使用传统的方法对场景参数进行组合,如枚举法,虽然计算结果可信度高,但是随着计算规模的增大,计算量呈指数增长,系统增加一两个场景参数,系统状态数就增加一倍。因此规模较大的系统就会面临“维数灾难”的困扰。因此本发明采用蒙特卡罗方法模拟四旋翼测试场景随机分布。蒙特卡罗方法最适宜高维问题模拟,其特点在于抽样样本数不依赖于系统的规模和复杂程度,且便于模拟各种随机分布。
蒙特卡罗方法(Monte Carlo Method)是一种通过多次随机抽样来估计数值结果的随机模拟方法。基本步骤:首先建立概率模型,然后随机抽样产生样本值,确定选取统计量,最后统计估计。概率模型用来描述随机性和确定性问题,用来抽样生成随机样本值;确定统计量的过程是确定与随机变量的函数关系,从随机样本的值中得到统计量的值;统计估计是从统计量的算术平均值中得到统计量的估计值,即所需解的近似估计值。蒙特卡罗方法与一般数值方法有较大的差异。常用的数值方法经过反复迭代后会产生误差积累。而蒙特卡罗方法不需要频繁地迭代,不会传播和积累误差,有更好的稳定性和收敛性,其正确性由概率论的大数法则和中心极限定理保证。
所述批量测试场景蒙特卡罗构建方法包括以下步骤:
步骤一、根据测试需求,对高架仓库场景的关键特征及要素进行分析,将相应功能的场景进行参数化;
步骤二、根据实际场景想要测试的参数,给定输入域上的概率分布函数;
步骤三、从概率分布函数中进行蒙特卡罗抽样,抽样时基于MH抽样生成大量随机测试用例,采用加权欧氏距离聚类方法,获取具有代表性的关键测试用例,代替相似测试用例的测试结果;
步骤四、采用关键测试用例作为参数输入,以可视化模型为基础参数化生成批量测试场景,并与四旋翼的模型及控制系统模块联合仿真,得到各测试用例的测试结果。
具体的整个测试流程如图1所示。其中场景参数、可视化模型、四旋翼模型和控制算法可预先构建并存储在场景库,各部分可进行改进和扩展,使测试范围更广泛,测试条件更复杂。场景参数包括四旋翼初始状态(位姿、速度等)、系统初始状态、基础设施(地形、建筑等)、天气状态(天气、温度、光照、风场、能见度等)、任务目标(需要识别或跟踪的静动态目标)等变量。采用蒙特卡罗方法构建测试场景,各测试用例保证覆盖率的同时符合实际情况,则仿真测试就如同在真实场景中对四旋翼系统进行测试评价。
为了解决直接抽样效率过低的问题采用马尔可夫链蒙特卡罗方法(MCMC)中的Metropolis Hastings(MH)抽样算法从已知概率分布进行抽样,将样本随机组合生成符合实际场景分布的测试用例。MCMC方法是通过建立状态转移规则,构建一条马尔可夫链,如果马尔可夫链满足非周期、遍历的并且不可约,在其多次状态转移后,马尔可夫链的平稳分布将逐渐接近已知的概率分布,链上的各个状态就是随机变量的样本值。马尔可夫链是MCMC的基础,其定义为:系统状态序列为x0,x1,...xk,xk+1…,系统状态条件概率为:P(xk+1|xk,...x1,x0)=P(xk+1|xk),则此状态序称为马尔可夫链。马尔可夫链具有无后效性,下一时刻k+1的状态,只依赖于当前状态k,与其他时刻状态无关。系统状态序列x0,x1,...xk,xk+1发生的概率可分解为:P(x0,x1,...xk,xk+1)=P(x0)P(x0|x1)P(xk+1|xk),P(x0)为初始状态概率,通常从初始状态x0出发,P(x0)=1;概率P(xk+1|xk)为转移概率,与k时刻有关;若与k无关,即P(xk+1|xk)=P(x0|x1),则马尔可夫链是均匀的马尔科夫链。自变量离散状态离散的称为马尔可夫链,自变量离散状态连续的称为马尔可夫序列,两者可通过广义状态空间马尔科夫链统一。MH算法的具体过程:
步骤一:定义转移函数A(x,y)。用来描述x状态转移到y状态的转移概率;建议转移函数q(y|x),用来描述在条件x下随机变量y的条件概率分布,要求满足非负性和非对称性:q(y|x)≥0,q(y|x)≠q(x|y);参数函数C(x,y)要求满足对称性:C(x,y)=C(y,x),一般形式为:
步骤二:确立状态转移法则。在概率分布q(y|X)中抽样生成候选样本值Y,使用接收-拒绝取舍准则判断是否接受候选样本值:若概率为α(X,Y),则接受候选样本Y,若概率为1-α(X,Y),则接收样本值X,拒绝样本值Y。详细流程是,生成一个随机数U,若U≤α(X,Y),接受候选样本值Y,否则接受样本X,抽样效率为:η=P(U≤α(x,y));上述X、Y表示矩阵,x、y表示单个数值。
步骤三:构建马尔科夫链。关键在于构建转移函数A(x,y),转移函数A(x,y)表示为建议转移函数q(y|x)与接收概率α(x,y)之乘积,在离散情况下满足:
A(x,y)=q(y|x)α(x,y),x≠y,
在连续情况下满足:
A(x,y)=q(y|x)α(x,y),x≠y,
A(x,x)=1-∫A(x,y)dy=q(x|x)+∫q(y|x)(1-α(x,y))dy (2)
构造转移函数A(x,y)的过程就是选择建议转移函数q(x|x)和接收率α(x,y),使已知概率分布f(x)为平稳分布。MH算法流程如图2所示。
核心部分是建议概率分布q(y|Xt)抽样生成Yt以及判断U是否小于α(Xt,Yt)。MH算法获得一条马尔可夫链:X0,X1,X2,...Xm,改变随机变量样本初始值X0,获得另一条马尔科夫链。接收概率α(x,y)只与一直概率分布比值f(y)/f(x)有关,与未知常数c无关,因此与概率分布式完全已知还是不完全已知无关,从而摆脱了从归一化常数未知的不完全已知概率分布抽样的困境,关键是如何选取建议概率分布,得到较高的抽样效率。
采用MH方法根据场景参数概率分布抽样得到的样本结果,可自定义关键测试用例的度量标准,将各参数样本组合生成关键测试用例,其中会出现重复或近似的测试用例,若全部用于参数化生成场景进行在线测试,会导致大量重复的测试结果,并且测试效率低下。因此,采用加权欧氏距离聚类方法,获取具有代表性的关键测试用例,代替相似测试用例的测试结果,定义为:设两个f维向量Xi=(Xi1,Xi2,...,Xif)T和Xj=(Xj1,Xj2,...,Xjf)T分别表示两个对象,它们的加权欧氏距离为:
wk(k=1,2,...,f)表示每个变量的权重。基于加权欧氏距离聚类的关键测试用例提取方法如图3所示。其中,矩阵K中的每一行表示一个测试用例。步骤一,基于加权欧式距离及其阈值,从K中i+1开始搜索与i行相似的测试用例,并删除;步骤二,更新矩阵K,Length_K,从i=1开始循环,i<Length_K-1不成立时结束。
在生成随机测试用例过程中,采样次数越多,测试用例覆盖范围越大,估计值的精度越高。但在大量采样的同时需要保证测试用例的独特性,避免后续不必要的重复测试,只将关键测试用例用于生成可视化场景,然后进行联合仿真测试,将测试结果代替普通测试用例的测试结果。关键测试用例生成流程的核心:采用加权欧式距离来判断输入的普通测试用例是否与PICT的组合测试用例相似。流程如图4。其中n表示样本数量,此处表示MH抽样形成的测试用例数量。当n次循环结束以后,输出关键测试用例集合。j为搜索到的相似的PICT用例索引,index为索引矩阵,默认值为全零矩阵。第一:利用加权欧氏距离从PICT组和测试用例中搜索相似的测试用例;第二,当输入的普通测试用例与PICT的组合测试用例的欧式距离Euclidean<2时,则判断为重复或相似的用例,并将其删除,否则保留。最后将所有输入的普通测试用例搜索并判断完后,生成可用于参数化场景生成的关键测试用例。关键测试用例生成前后对比如图5。
为了能够快速验证上述所提出的测试场景蒙特卡罗构建方法,本发明拟在小规模室内场景中对其基于视觉避障的功能进行测试,结合测试需求对场景关键要素分析,所涉及到的场景主要影响因素仅包括:四旋翼初始速度、光照强度、四旋翼与障碍物相对位置。在Unity3D中集成AirSim快速搭建四旋翼模型及双目传感器,并与Matlab/Simulink中的飞控算法联合仿真实现基于视觉的避障功能。
第二部分,面向视觉传感器模拟的场景图像逼真度优化:传统的四旋翼仿真平台中,视觉传感器采集的图像与真实视觉传感器采集的图像存在很大的差距,会对视觉相关的实验产生很大的负面影响。为了提升图像中模型的材质细节,本发明提出了基于物理渲染的BRDF光照模型;在细腻的材质基础上,使用了切线空间的法线纹理,大幅增加了模型细节层次;考虑到延迟渲染对多光源渲染的优势,使用了延迟渲染框架,在框架基础上使用屏幕空间环境光遮蔽(SSAO)和高动态范围光照(HDR),在几乎不消耗性能的情况下,进一步提高图像的逼真度。
光照模型是为了量化物体表面的物理模型采用一组数学表达式,然而通常使用经验模型,其真实度会随着光照变换、物体表面的复杂度上升,而升迅速下,如Lambert模型。因此,本发明提出了基于物理的双向反射分布函数(BRDF),通过建立较为精细的渲染模型,使得视觉传感器在不同光照下采集的图像中,物体都接近于真实的材质。
如果只有光照模型和一般颜色无法实现如墙体、岩石、木纹等复杂的外观,为了进一步增加视觉传感器图像的真实度,采用纹理映射技术中的法线纹理技术,进一步增加物体表面的细节。纹理映射技术就是创建一个纹理值表(一张图片),映射到模型表面达到控制模型外观的目的。简单的纹理映射通过采用一个纹理贴图,就可以描述物体表面的大致效果,但是不能进一步表达物体表面的多种细节,如砖墙和地面的凹凸不平等,因为网格表面是平滑的。为了进一步提高视觉传感器图像的逼真度,本发明采用法线映射技术,通过一张法线纹理来存储表面法线方向来干扰光照模型,让模型看起来像凹凸不平的,而不需要改变模型的定点位置。
在多光源虚拟测试场景中,采用普通的前向渲染来渲染视觉传感器图像,会产生大量额外计算量,严重影响测试平台的实时性。延迟渲染不仅采用了前向渲染中的颜色缓冲和深度缓冲,还会使用额外的G缓冲区(G-buffer),用来存储表面法线、位置、材质属性等信息。延迟渲染的主要阶段如图6所示,延迟渲染是先在三维空间中计算模型的几何信息和材质属性(法线、BRDF),然后在二维空间中计算光照对模型表面的影响,最后进行后处理技术,提高渲染质量。延迟渲染技术在为场景提供丰富的光照和渲染质量的同时,极大的提高了渲染效率。
目前为止,采用基于物理渲染技术和法线纹理技术后,图像渲染的效果能够初步的表现出模型的特征,但是和真实场景相比还有很大的差距。因此,要得到满意的渲染效果还需要在渲染管线中做一定的后处理。后处理阶段对延迟渲染的渲染效果至关重要,该阶段需要对视觉传感器采集图像的像素多次处理,才能输出到显示设备进行后续图像处理。本发明的延迟渲染框架中,后处理阶段采用屏幕空间环境遮蔽(SSAO)技术和高动态范围光照技术(HDR),进一步提高图像逼真度。
环境光遮蔽(Ambient Occlusion,AO)是一种用于模拟三维场景中环境光遮挡阴影效果的图形渲染技术,其基本原理是计算物体表面上每个点处的遮蔽值(AO值),最终合成到光照模型。如果在动态光源场景中进行实时渲染,AO值会实时更新,该方法会有很高的复杂度。为了高效的计算AO值,最常用的算法就是屏幕空间环境光遮蔽(SSAO)。SSAO是一种典型的后处理技术,能够增加场景的层次感,让图像更加细腻逼真。SSAO在二维屏幕空间进行计算,相比在三维空间中计算,复杂度大大降低。
拟图像中的像素值一般会限定在RGB分量在0~255之间,然而在真实环境中的光照条件显然超出了这个像素范围。因此,传统的虚拟图像无法描述真实环境的光照效果,导致虚拟视觉传感器获取的图像不够真实。高动态范围渲染(HDR)技术,是一种后期图像处理技术,通过采用非线性的色调映射算子(tone mapping operator,TMO)把高动态范围光照映射到地动态范围,处理后的虚拟图像光照对比度更加明显,明暗更加分明。可解决以上问题。
本发明使用Unity3D引擎基于物理的渲染引擎来实现,通过添加相机组件,并与四旋翼模型进行绑定,从而实现对四旋翼安装摄像头传感器。仿真摄像头传感器的感知图像信息通过坐标系转换的方法,将三维仿真空间中的点通过透视变换的方式投影到二维平面的图像点。为了更真实的模拟四旋翼视觉传感器的图像采集效果,拟在图像中加入噪声。传感器在获得图像数据过程中有时会有噪声产生。图像噪声主要源于图像传输过程,最终接受到的图像可能与原始采集的图像存在一定的差异,总体来说,图像噪声是随机产生的变量。在Unity中使用C#脚本实现椒盐噪声和高斯噪声,将不同色的噪声点叠加在原始图像中。
第三部分,四旋翼虚拟测试平台是一种软件在环测试平台,由于没有真实四旋翼硬件来提供四旋翼模型、控制系统以及传感器等。因此,将在软件平台上搭建四旋翼测试平台。为了提高仿真准确性,分析并采用了AirSim较为准确的四旋翼模型和环境模型;为了真实模拟四旋翼机载传感器探测原理并得到原始数据的过程,提出了基于物理引擎的传感器物理模型构建框架,并基于Unity3D引擎实现各传感器的感知模拟,最后在原始数据的基础上加入了真实模型的噪声参数;搭建了基于Unity3D的仿真环境,保证了Unity3D与Matlab/Simulink的通信与数据同步。
四旋翼虚拟测试平台以软件在环为仿真结构,其中涉及可视化的虚拟图像仿真,以及数据模型计算仿真。测试平台整体结果如图7所示,两部分互相通信实现软件在环仿真。
1)虚拟场景仿真模块
虚拟场景仿真模块主要负责虚拟测试场景实时仿真、虚拟四旋翼运动实时仿真、虚拟视觉传感器图像实时渲染等可视化模拟。根据具体测试工况,将抽样生成的测试用例参数及可视化三维模型存储为场景库,基于场景库可参数化生成批量可是化测试场景。基于物理引擎在虚拟测试场景中实现各记载传感器的感知模拟,以便快速获取四旋翼的速度、姿态、位置等状态信息,以及各种环境感知信息,将这些信息作为传感器的原始数据输入到四旋翼仿真模块,并获取控制算法输出的飞行指令,通过四旋翼数学模型驱动四旋翼三维模型。
2)四旋翼仿真模块
四旋翼仿真模块主要负责传感器数据模拟、决策算法和飞控算法的数据仿真。在虚拟测试场景中虚拟传感器获取的虚拟感知信号忽略了许多实际因素,不能直接注入控制系统中进行处理,需要定义各传感器动态参数(如IMU的更新率、激光的扫描范围),再加入合适的噪声模拟真实传感器采集的数据。核心算法基于各传感器融合信息,输出飞行策略,控制算法通过期望轨迹、姿态等控制信息对四旋翼进行控制。
虚拟场景仿真模块主要负责虚拟测试场景实时仿真、虚拟四旋翼运动实时仿真、虚拟视觉传感器图像实时渲染等可视化模拟。四旋翼仿真模块主要负责传感器数据模拟、决策算法和飞控算法的数据仿真。该模拟器设计用于支持各种精确的模拟功能,涵盖了四旋翼无人机平台的所有基本模块,如传感器数据模拟及融合、路径规划、决策、飞行控制等。图7所提出的测试平台仿真结构,在此基础上本节设计并构建一套基于Unity3D引擎的四旋翼仿测试平台,在Unity3D平台环境上使用AirSim插件实现四旋翼仿真模块。AirSim不仅能利用了Unity3D引擎逼真的图形渲染能力,同时提供了,丰富且简洁的接口,可以让决策算法和控制算法方便快捷的接入从而进行大量的训练,此外仿真环境可以方便的产生大量标注数据的,记录每次测试中传感器采集的图像、姿态等信息,以日志形式输出。
四旋翼仿真模型及控制系统搭建,采用的AirSim中四旋翼模型由机身、动力系统和碰撞包围盒组成,机身型号为DJI Phantom,布局结构为“X”型。如图8所示。其中四旋翼被定义为一个刚体,该刚体可以由任意数量的输入产生力和扭矩。四旋翼模型包括质量、惯性、线阻力和角阻力系数、摩擦系数和恢复系数等参数,Unity3D物理引擎可使用这些参数是来计算刚体动力学。在虚拟环境中使用位置、方向、线速度、线加速度、角速度和角加速度6个量来表示物体的运动状态。基于物理引擎在给定作用在物体上的里和力矩的情况下,计算每个物体的下一个运动状态。Unity3D引擎避免了通用引擎额外的复杂性,使四旋翼可在最高1000Hz的更新环路中运行,能够严格的控制性能,并且有较好的仿真实时性。以双环PID控制系统为例,采用Matlab/Simulink实现四旋翼控制系统,可根据测试需求对控制系统进行扩展,包括各种决策算法。
基于物理引擎的传感器构建框架,需要建立的传感器模型需要输出原始数据,在基于传感器测量原理并借助物理引擎的条件下,提出了基于物理引擎的传感器构建框架。如图9所示,模型的输入由四旋翼状态、仿真场景、传感器参数、场景参数四部分组成。四旋翼状态表示其运动状态;仿真场景表示四旋翼虚拟测试场景,其中包括了四旋翼传感器能够感知到的所有场景对象,例如基础设施、任务目标等;传感器参数主要包含基础参数、检测参数以及性能指标参数:基础参数表示四旋翼各传感器的安装位置、各性能参数以及噪声种类等;检测参数表示影响传感器感知结果的参数,例如激光雷达的光束角度分辨率等,会影响雷达探测物体轮廓的精确度;性能指标参数表示各传感器感知能力的参数,例如不同的距离范围视觉传感器的感知误差不同;场景参数表示会影响传感器感知精度的环境因素,例如天气、光照等。该框架的仿真结果为传感器模型最后输出的感知对象,感知对象的数据模型、图像模型等应接近真实情况。
基于物理引擎的传感器构建框架由探测模拟、目标提取、感知模拟、误差模拟四个环节组成,具体如下:
1)探测模拟,会根据传感器的探测原理,基于物理引擎实现传感器的探测模拟,输出探测的原始数据。
2)对象提取,根据传感器的位置和传感范围,从仿真场景中提取传感器传感范围内待处理的目标。
3)感知模拟,基于传感器本身的特性,对外输出对象的理想处理数据,得到理想待输出对象。
4)误差模拟,考虑到四旋翼传感器的自身参数、外界环境因素、四旋翼运动状态的影响,以及传感器的测量、感知原理,在理想待输出对象的输出数据上引入适当的误差,形成最终的感知输出。
激光测距传感器的探测机理:通过发射一条激光射线与环境中的物体交互,并回馈物体信息。因此,现有的物理引擎中可采用类似光线投射的机制,来模拟激光测距传感器的探测机理,通过该光线与场景中的模型碰撞,并返回模型位置信息,以达到基本的模拟效果。
惯性测量单元(IMU),由陀螺仪和加速度计组成,通过向地面真实情况添加白噪声和随时间的偏差漂移来对四旋翼仿真模型进行建模。磁力计和气压计分别用来测量四旋翼的偏航角和高度,可直接通过Unity3D物理引擎中四旋翼模型的Transform组件获取角度和位置信息。
磁力计和气压计分别用来测量四旋翼的偏航角和高度,可直接通过Unity3D物理引擎中四旋翼模型的Transform组件获取角度和位置信息。在场景中设置世界坐标的z轴为正北方向,x轴为正东方向,将四旋翼的局部坐标与世界坐标中rotation.z相减得到方向角,作为磁力计的原始数据,如图10所示,图中显示了z坐标和x坐标,y坐标垂直机身向上,可看出Unity中的坐标系与四旋翼规定坐标不同,z轴与y轴相反,需要转换后再使用。气压计原始数据则通过四旋翼世界坐标与地形坐标中position.y相减得到。
在物理引擎中通过获取无人机模型的世界坐标来转换为GPS原始数据。在实际环境中,GPS接收机在接收卫星信号的过程中会受到电离层、磁场和人为随机噪声的干扰。本发明GPS模型以水平和垂直位置误差估计衰减率,来模拟随时间推移的增益修正,延迟时间为200ms,刷新率50Hz。使用为水平和垂直固定分别设置参数的一阶低通滤波器对衰减率进行建模。将四旋翼静置并采样,GPS的位置变化信息,如图11所示。
第四部分,为了验证提出的方法,拟在已搭建的四旋翼仿真测试平台的基础上,通过批量测试对四旋翼的性能统计分析,证明本发明建立的四旋翼测试平台能够用于四旋翼有关算法的开发与虚拟测试。具体内容如下:针对高架仓库场景,使用蒙特卡罗测试场景构建方法搭建了批量的随机的高架库场景;基于HOG+SVM算法并进行了对比分析实验,分别对虚拟图像以及真实图像中的行人目标进行检测,拟验证视觉传感器图像经过渲染提升逼真度后,效果接近真实情况;最后搭建了四旋翼行人跟踪系统,经过批量测试后,对四旋翼性能进行统计分析。
为了进一步验证所提出的四旋翼虚拟测试平台中的关键技术,以、高架仓库场景为例,在场景中进行四旋翼目标跟踪测试。拟随机生成并渲染批量大规模的测试场景,对四旋翼行人跟踪进行批量测试,统计四旋翼飞行数据,分析四旋翼在不同参数下的表现性能。
为了验证虚拟视觉传感器采集图像是否与真实图像效果接近,拟使用虚拟视觉传感器采集的行人目标图像与真实相机采集的图像进行对比,目标所处环境均为复杂森林场景,分别随机抽取1000张图像作为两组待测样本数据,采用经典的HOG+SVM算法对两组样本进行测试。HOG算法的基本步骤如图12所示。
1)灰度化(将图像看做一个x,y,z(灰度)的三维图像);
2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化);目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
3)计算图像每个像素的梯度(包括大小和方向);主要是为了捕获轮廓信息,同时进一步弱化光照的干扰。
4)将图像划分成小cells(例如8*8像素/cell);
5)统计每个cell的梯度直方图(不同梯度的个数),即可形成每个cell的特征描述符;
6)将每几个cell组成一个block(例如2*2个cell/block),一个block内所有cell的特征描述符串联起来便得到该block的HOG特征描述符。
7)将图像内的所有block的HOG特征描述符串联起来就可以得到该图像的HOG特征描述符了。
使用OpenCVForUnity插件实现行人跟踪功能,其中包含了训练好的数据集和基本的图像处理算法,四旋翼行人目标跟踪控制流程,如图13所示。彩色图像由机载视觉传感器器获取,实时提取图像的方向梯度直方图(HOG),然后采用基于支持向量机的分类器(SVM)对目标进行识别。在跟踪目标初始化后,使用KCF方法进行运动目标跟踪。此外,将目标在图像中的像素坐标转换为目标的实际位置,计算出四旋翼的期望位置,通过飞控系统实现四旋翼目标跟踪。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (3)
1.一种应用于成品高架库场景的四旋翼仿真测试方法,其特征在于,包括:
S1:参数化生成批量的虚拟测试场景,以符合特定场景参数进行分布,使用蒙特卡罗方法对场景参数分布进行有效的抽样与组合,针对四旋翼视觉避障工况,使用MH对场景参数进行抽样,利用加权欧式距离聚类的方法提取出关键测试用例;
S2:基于物理的BRDF光照模型提升模型材质的细节;使用切线空间的法线纹理,以增加模型细节层次;在框架基础上使用屏幕空间环境光遮蔽和高动态范围光照;
S3:采用AirSim四旋翼模型和环境模型;建立基于物理引擎的传感器物理模型构建框架,并基于Unity3D引擎实现各传感器的感知模拟,在原始数据的基础上加入真实模型的噪声参数;搭建基于Unity3D的仿真环境,保证Unity3D与Matlab的Simulink的通信与数据同步;
所述S1包括:
1)批量测试场景蒙特卡罗构建方法:
步骤一、根据测试需求,对高架仓库场景的关键特征及要素进行分析,将相应功能的场景进行参数化;
步骤二、根据实际场景想要测试的参数,给定输入域上的概率分布函数;
步骤三、从概率分布函数中进行蒙特卡罗抽样,抽样时基于MH抽样生成大量随机测试用例,采用加权欧氏距离聚类方法,获取具有代表性的关键测试用例,代替相似测试用例的测试结果;
步骤四、采用关键测试用例作为参数输入,以可视化模型为基础参数化生成批量测试场景,并与四旋翼的模型及控制系统模块联合仿真,得到各测试用例的测试结果;
2)蒙特卡罗方法:首先建立概率模型,然后随机抽样产生样本值,确定选取统计量,最后统计估计;
3)MH抽样:定义转移函数A(x,y);确立状态转移法则;构建马尔科夫链;
4)加权欧氏距离聚类的关键测试用例:获取具有代表性的关键测试用例,代替相似测试用例的测试结果;
所述S3包括:
1)测试平台整体结构设计:虚拟场景仿真模块负责虚拟测试场景实时仿真、虚拟四旋翼运动实时仿真和虚拟视觉传感器图像实时渲染;四旋翼仿真模块负责传感器数据模拟、决策算法和飞控算法的数据仿真;
2)基于Unity3D的四旋翼仿真测试平台:AirSim利用Unity3D引擎的图形渲染,同时提供接口,让决策算法和控制算法接入,进行训练;
3)四旋翼仿真模型分析及控制系统搭建:四旋翼被定义为一个刚体,该刚体能根据任意数量的输入产生力和扭矩;四旋翼模型包括的参数包括质量、惯性、线阻力和角阻力系数、摩擦系数和恢复系数,Unity3D物理引擎使用所述参数计算刚体动力学;
4)四旋翼控制系统仿真模型构建:通过双环PID控制系统,采用Matlab的Simulink实现四旋翼控制系统,根据测试需求对控制系统进行扩展,包括各种决策算法;
5)建立基于物理引擎的传感器构建框架,该框架由探测模拟、目标提取、感知模拟、误差模拟四个环节组成;
6)激光测距传感器:通过发射一条激光射线与环境中的物体交互,并回馈物体信息;
7)惯性测量单元:由陀螺仪和加速度计组成,通过向地面真实情况添加白噪声和随时间的偏差漂移对四旋翼仿真模型进行建模;
8)磁力计和气压计:分别用来测量四旋翼的偏航角和高度,直接通过Unity3D物理引擎中四旋翼模型的Transform组件获取角度和位置信息;
9)GPS:以水平和垂直位置误差估计衰减率,来模拟随时间推移的增益修正,延迟时间为200ms,刷新率50Hz;使用为水平和垂直固定分别设置参数的一阶低通滤波器对衰减率进行建模;
S4:基于批量场景的四旋翼测试方法,具体为:
构建高架场景库,基于场景库使用蒙特卡罗测试场景构建方法,自动生成批量的随机高架库场景,并对虚拟视觉传感器采集的图像进行渲染和优化;采集虚拟图像以及真实图像,用HOG+SVM算法对样本进行测试。
2.根据权利要求1所述的应用于成品高架库场景的四旋翼仿真测试方法,其特征在于,所述S2包括:
1)基于物理渲染的BRDF光照模型:建立精细的渲染模型;
2)延迟渲染:先在三维空间中计算模型的几何信息和材质属性,然后在二维空间中计算光照对模型表面的影响,最后进行后处理技术,提高渲染质量;采用前向渲染中的颜色缓冲和深度缓冲,使用额外的G缓冲区,用来存储表面法线、位置和材质属性信息;
3)屏幕空间环境光遮蔽:通过计算物体表面上每个点处的遮蔽值,最终合成到光照模型;
4)高动态范围光照:通过采用非线性的色调映射算子把高动态范围光照映射到低动态范围。
3.根据权利要求1所述的应用于成品高架库场景的四旋翼仿真测试方法,其特征在于,所述S4包括:
1)随机生成并渲染批量大规模的测试场景,对四旋翼行人跟踪进行批量测试,统计四旋翼飞行数据,分析四旋翼在不同参数下的表现性能;
2)视觉传感器真实性验证:使用虚拟视觉传感器采集的行人目标图像与真实相机采集的图像进行对比,目标所处环境为高架仓库场景,分别随机抽取若干图像作为两组待测样本数据,采用HOG+SVM算法对两组样本进行测试;
3)四旋翼目标跟踪测试:彩色图像由机载视觉传感器器获取,实时提取图像的方向梯度直方图,然后采用基于支持向量机的分类器对目标进行识别;在跟踪目标初始化后,使用KCF方法进行运动目标跟踪;将目标在图像中的像素坐标转换为目标的实际位置,计算出四旋翼的期望位置,通过飞控系统实现四旋翼目标跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111005847.5A CN113656918B (zh) | 2021-08-30 | 2021-08-30 | 一种应用于成品高架库场景的四旋翼仿真测试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111005847.5A CN113656918B (zh) | 2021-08-30 | 2021-08-30 | 一种应用于成品高架库场景的四旋翼仿真测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113656918A CN113656918A (zh) | 2021-11-16 |
CN113656918B true CN113656918B (zh) | 2024-04-16 |
Family
ID=78493217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111005847.5A Active CN113656918B (zh) | 2021-08-30 | 2021-08-30 | 一种应用于成品高架库场景的四旋翼仿真测试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113656918B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578827B (zh) * | 2022-12-07 | 2023-03-14 | 杭州宇链科技有限公司 | 基于ai视频的危化品领用容器跟踪方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401755A (zh) * | 2020-03-19 | 2020-07-10 | 国电南瑞科技股份有限公司 | 基于马尔科夫链的多新能源出力场景生成方法、装置及系统 |
CN112034733A (zh) * | 2020-08-17 | 2020-12-04 | 广东工业大学 | 一种基于Unity3D的四旋翼无人机城市仿真方法 |
CN112925223A (zh) * | 2021-02-03 | 2021-06-08 | 北京航空航天大学 | 基于视觉传感网络的无人机三维跟踪虚拟测试仿真系统 |
CN112991508A (zh) * | 2021-03-30 | 2021-06-18 | 赛瓦软件(上海)有限公司 | 一种基于WebGL的3D渲染系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180349526A1 (en) * | 2016-06-28 | 2018-12-06 | Cognata Ltd. | Method and system for creating and simulating a realistic 3d virtual world |
-
2021
- 2021-08-30 CN CN202111005847.5A patent/CN113656918B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401755A (zh) * | 2020-03-19 | 2020-07-10 | 国电南瑞科技股份有限公司 | 基于马尔科夫链的多新能源出力场景生成方法、装置及系统 |
CN112034733A (zh) * | 2020-08-17 | 2020-12-04 | 广东工业大学 | 一种基于Unity3D的四旋翼无人机城市仿真方法 |
CN112925223A (zh) * | 2021-02-03 | 2021-06-08 | 北京航空航天大学 | 基于视觉传感网络的无人机三维跟踪虚拟测试仿真系统 |
CN112991508A (zh) * | 2021-03-30 | 2021-06-18 | 赛瓦软件(上海)有限公司 | 一种基于WebGL的3D渲染系统及方法 |
Non-Patent Citations (2)
Title |
---|
基于虚拟场景自动构建的四旋翼仿真测试系统;邓顺;杨涛;梅艳莹;;传感器与微系统(第09期);全文 * |
微型多旋翼无人机半物理虚拟飞行和控制实验平台;马忠丽;刘宏达;张兰勇;彭秀艳;;实验技术与管理(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113656918A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113485392B (zh) | 基于数字孪生的虚拟现实交互方法 | |
CN103307975B (zh) | 模型生成设备和方法以及信息处理设备和方法 | |
CN111563442A (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
CN110047142A (zh) | 无人机三维地图构建方法、装置、计算机设备及存储介质 | |
US20200082622A1 (en) | Method and System for Virtual Sensor Data Generation with Depth Ground Truth Annotation | |
US11094134B1 (en) | System and method for generating synthetic data | |
CN114332385A (zh) | 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法 | |
CN113139453A (zh) | 一种基于深度学习的正射影像高层建筑基底矢量提取方法 | |
CN109636927B (zh) | 一种飞行器姿态测量算法训练与鉴定的系统及方法 | |
CN106022266A (zh) | 一种目标跟踪方法及装置 | |
CN113656918B (zh) | 一种应用于成品高架库场景的四旋翼仿真测试方法 | |
CN116522570A (zh) | 一种智能无人集群系统区域覆盖中继通信应用仿真与试验系统 | |
López et al. | A GPU-accelerated framework for simulating LiDAR scanning | |
CN105139433B (zh) | 基于均值模型的红外弱小目标图像序列仿真方法 | |
Ripperda et al. | Data driven rule proposal for grammar based facade reconstruction | |
CN115392137B (zh) | 一种基于岩溶塌陷水土耦合作用的三维模拟系统 | |
Tallavajhula | Lidar Simulation for Robotic Application Development: Modeling and Evaluation. | |
JP2021154935A (ja) | 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム | |
CN112926681B (zh) | 一种基于深度卷积神经网络的目标检测方法及装置 | |
Zhang et al. | An algorithm for motion estimation based on the interframe difference detection function model | |
Dierenbach et al. | Next-Best-View method based on consecutive evaluation of topological relations | |
Lee et al. | Generating Reality-Analogous Datasets for Autonomous UAV Navigation using Digital Twin Areas | |
Awed et al. | Towards realizing a visual UAV flying environment: A novel approach based aerial imagery to construct a dataset for visual servoing | |
CN112215957A (zh) | 一种空中目标红外特性仿真方法 | |
Jiang et al. | Meteor Tail: Octomap Based Multi-sensor Data Fusion Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |