CN110221546B

CN110221546B - 虚实融合的船舶智能控制系统测试平台

Info

Publication number: CN110221546B
Application number: CN201910425359.6A
Authority: CN
Inventors: 马枫; 王伟业
Original assignee: Wuhan University of Technology WUT
Current assignee: Nanjing Smart Water Transportation Technology Co.,Ltd.
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2020-11-20
Anticipated expiration: 2039-05-21
Also published as: CN110221546A

Abstract

本发明涉及一种虚实融合的船舶智能控制系统测试平台，它包括：真实航行数据库、根据真实航行数据库内数据生成数值孪生融合交通场景的实时仿真系统、用于模拟所述测试场景中船舶的船舶模拟系统、根据船舶模拟系统提供的数据控制模拟船舶的被测智能控制系统。本发明测试平台构造的实验环境来自于真实数据采集，保证了测试的有效性，立足的对象实验船与实验过程依然基于数值模拟，降低了试验的风险与成本。即：实验对象船是基于数值仿真的，而实验场景则是完全来自于真实世界的感知融合。

Description

虚实融合的船舶智能控制系统测试平台

技术领域

本发明涉及半实物仿真技术领域，更具体的说，涉及一种船舶智能辅助驾驶、远程驾驶、自主航行的综合测试平台。

背景技术

智能船，相比传统船舶是集环境感知、智能决策以及规划和控制等功能于一体的复杂系统，它与传统意义上的船舶的差别不仅体现在基本功能上，同时也体现在船舶运行的控制方式上。船舶智能研发与验证的核心环节是测试，需要在不同航道条件、会遇场景、天气和环境等因素下，测试船舶的智能对环境的感知能力、识别能力，控制系统的判断能力和决策能力，以求得到更为完善的辅助驾驶、远程驾驶和自主航行技术。

船舶智能控制系统测试平台则着重重现智能船在使用中遇到的各种各样的复杂真实场景，同时可用于验证和试验船舶智能的软件算法的正确性，新型传感器、控制器的性能。传统船舶测试技术包括实船测试和虚拟仿真两种方式。实船开发智能航行风险高、成本大、效率低，还面临着实验条件不可控可能造成的安全问题。同时，实船处于外界风、浪、流、涌复杂干扰之下，试验场景与结果随机性强、重复性差。虚拟仿真实验难以复现真实航行的动态场景，特别是其它船舶的航行态势和相互影响。同时，利用虚拟仿真的方法难以穷举真实世界中船舶航行的各种场景，与现实航道条件很难达到完全一致，可靠性存疑。因此，需要研究虚实结合的测试方法，融合虚拟测试、模型试验、实船测试各自的优势。

发明内容

本发明所要解决的技术问题是：提供一种虚实融合的船舶智能控制系统测试平台，该测试平台构造的实验环境来自于真实数据采集，保证了测试的有效性，立足的对象实验船与实验过程依然基于数值模拟，降低了试验的风险与成本。即：实验对象船是基于数值仿真的，而实验场景则是完全来自于真实世界的感知融合。

为实现上述目的，本发明解决其技术问题所采用的技术方案是：

虚实融合的船舶智能控制系统测试平台，包括：

真实航行数据库、

根据真实航行数据库内数据生成数值孪生融合交通场景的实时仿真系统、

用于模拟所述测试场景中船舶的船舶模拟系统、

根据船舶模拟系统提供的数据控制模拟船舶的被测智能控制系统。

进一步地，所述的船舶智能控制系统测试平台还包括根据实时仿真系统数据生成虚拟影像的视景仿真系统和人机界面。

进一步地，所述真实航行数据库中至少包括真实航道数据，船舶自身的运动姿态、机舱、舵浆数据，以及基于船舶视角的海事雷达、AIS、GPS、激光雷达、CCTV、电子海图。

进一步地，所述真实航道数据包括航道水文信息、航道中船舶的实时运动信息、地理信息。

进一步地，所述实时仿真系统生成的数值孪生融合交通场景，包括静态场景和动态模型，静态场景用于验证被测智能控制系统对静态信息识别和处理的能力，动态模型用于验证被测智能控制系统处理突发事件的能力。

进一步地，所述静态场景包括航道模型、航道内建筑模型和天气模型；所述动态模型包括所述模拟船舶模型和航道内其它船舶模型。

进一步地，所述船舶模拟系统包含船舶运动动力预测模型和虚拟传感器，所述虚拟传感器包含虚拟海事雷达、虚拟AIS系统、虚拟GPS系统、虚拟激光雷达、虚拟机舱监控、虚拟桨舵监控；所述船舶运动动力预测模型用于模拟船舶在不同操作下产生出的运动变化。

进一步地，所述船舶运动动力预测模型接收控制控制指令，并将解算出船舶下一时刻的位置信息、航向角信息和姿态信息发送给智能控制系统。

进一步地，所述被测智能控制系统包括感知单元、决策单元和执行单元，感知单元用于处理所述虚拟传感器采集的外部环境信息，决策单元接收感知单元处理后的信息并做出控制决策，执行单元根据控制决策给出相应控制指令模拟船舶。

与现有技术相比，本发明船舶智能控制系统测试平台的有益效果在于：

1、使用虚拟的数值仿真船代替了真实的被测船，测试条件可控，实验便于重复。

2、测试场景信息来源于真实信息，弥补了虚拟场景不够真实的缺点，保证了测试的实用性和多样性，提高了智能算法实际应用的可能性。

3、数值仿真船使用船舶运动动力预测模拟测试所需的运动参数，保证了测试的准确性。

4、虚实融合测试可长时间不间断运行，大大提高了测试速度，节省了人力与物力成本。

附图说明

图1是本发明实施例的平台结构示意图。

具体实施方式

如图1所示，本发明虚实融合的船舶智能控制系统测试平台实施例，它包括：

真实航行数据库、

用于模拟所述测试场景中船舶的船舶模拟系统、

根据船舶模拟系统提供的数据控制模拟船舶的被测智能控制系统、

根据实时仿真系统数据生成虚拟影像的视景仿真系统。

本实施例中，实时仿真系统接收数据采集系统采集的真实航行数据库中的数据，重构一个与真实世界相同的数值孪生融合交通场景，场景可以基于实时数据，也可以是历史数据；船舶数值模拟系统用于模拟船舶在不同操作下产生出的运动变化，在数值孪生融合交通场景中生成一条虚拟船，该船作为被测船，可以根据不同的要求在不同的程度上与真实船的功能对应；智能控制系统是控制虚拟船运动的船舶智能，也是本平台的测试对象。它如同人脑一样感知外部信息并做作出相应的决策，在由真实世界投影出的虚拟世界中，操控虚拟船，进行避障、操纵，逐步学习、训练、提升智能本身，

真实航行数据库中至少包括真实航道数据，船舶自身的运动姿态、机舱、舵浆数据，以及基于船舶视角的海事雷达、AIS、GPS、激光雷达、CCTV、电子海图，用于采集真实航道的数据，同时建模基本的航道场景，具体包含航道水文信息(如水深、风、浪、流等)、航道中船舶的实时运动信息(如船舶坐标、速度、航向、船型等)、气象信息、地理信息，这些数据会被用到实时仿真系统之中，在虚拟环境中重现航道场景；所述真实航道数据包括航道水文信息、航道中船舶的实时运动信息、地理信息。

船舶数值模拟系统包含“虚拟传感器”和“船舶运动动力数值预测模型”两块核心功能。“虚拟传感器”用于模拟数值仿真船的传感器系统。目的在于：为了让被测的“人工智能”产生操控“真实船”的驾驶体验，需要模拟出如果该船真实存在的条件下，各种传感器采集到的各种信息，具体包含虚拟海事雷达、虚拟AIS系统、虚拟GPS系统、虚拟激光雷达。被测智能需要基于这些“虚拟传感器”的传感信息进行船舶操控，这是智能测试的核心内容。“船舶运动动力数值预测模型”用来复现在航道中行驶的被测船的位置与姿态，建立出“在不同操作下，数值船到底如何运动”的推理能力。具体内容为，建立以船舶质心为原点的右手正交坐标系，在此坐标系下被测船的运动可以通过沿x、y、z轴的三个线性分量绕x、y、z轴的三个角度分量来表示，进一步的，所述船舶数值模拟系统接收控制控制指令，根据船舶当前的速度、航向、阻力等信息，在软件仿真环境下，如MATLAB/SIMULINK、Python、C++等环境下根据质点运动方程进行模型解算出船舶下一时刻的三维位置信息、航向角信息、姿态信息，并发送给所述实时仿真系统与所述智能控制系统。

所述虚拟海事雷达是真实雷达的投影和复制体，多数时候可以直接使用真实世界中的雷达影像，用于感知数值孪生融合交通场景中较大范围的障碍物的大小、距离、速度等信息，也可使用目标重构的雷达图像；所述虚拟AIS系统，结合所述数值孪生融合交通场景获取航道中其他船舶实际位置、船速、改变航向率及航向等船舶动态与船名、呼号、吃水，船舶尺度及危险货物等船舶静态资料；同样AIS与GPS的数据，都可以根据真实实时数据或历史数据；类似地，虚拟激光雷达结合虚拟CCTV，用于感知航道中近距离的障碍物信息；虚拟机舱、虚拟桨舵，用于模拟在不同操作情况下，船舶的动力系统产生的动力系统变化。所述虚拟传感器产生的数据将发送至所述智能控制系统；

所述的被测智能控制系统，包括感知单元、决策单元和执行单元，感知单元用于处理所述虚拟传感器采集的外部环境信息，包括过往船只的航速、航向，各船离本船的距离以及船舶之间的距离，水流流速和流向；决策单元接收感知单元处理后的信息和被测船运动信息并做出控制决策，执行单元根据控制决策给出相应控制指令，并将控制指令发送给被测船，通过一系列可重复、可变参数、可加速的仿真实验，来验证测测算法在不同外部环境下的性能和表现。

所述实时仿真系统，数值孪生融合交通场景与所述真实航行数据库和船舶数值模拟系统连接，并根据数据重构与真实世界相同的虚实融合交通场景。所述的虚实融合交通场景包括静态场景和动态模型，静态场景用于验证智能船对静态信息识别和处理的能力，动态模型用于验证智能船处理突发事件的能力。静态场景包括航道模型、航道内建筑模型和天气模型，动态模型包括航道内船舶模型和被测智能船模型；所述动态模型设置有随机的事件，可以为一个场景创建任意多变体，然后让被测试船舶在所有变体中测试。多变体可以根据实时数据直接生成，也可以从历史数据中回放，也可用以真实交通流历史数据进行修改；所述根据实时仿真系统根据所述三维位置信息，利用风险分析及评估方法，对所述被测船在场景中的运动进行碰撞检测，还具备检查事故原因的回溯计算功能。

所述船舶模拟系统包含船舶运动动力预测模型和虚拟传感器，所述虚拟传感器包含虚拟海事雷达、虚拟AIS系统、虚拟GPS系统、虚拟激光雷达、虚拟机舱监控、虚拟桨舵监控；所述船舶运动动力预测模型用于模拟船舶在不同操作下产生出的运动变化。所述船舶运动动力预测模型接收控制控制指令，并将解算出船舶下一时刻的位置信息、航向角信息和姿态信息发送给智能控制系统。

所述视景仿真系统分别根据所述实时仿真系统和所述船舶数值模拟系统数据，用于接收所述实时仿真系统发送的航道场景信息和船舶数值模拟系统发送的所述三维位置信息和所述航向角信息、姿态信息，并利用所述三维位置信息、所述航向角信息、姿态信息和预先建立的三维几何模型对所述智能船在不同工况条件下的运动状态进行模拟，用可视化的形式提供真实虚拟船的本体知识、历史情况和实时信息，方便观察训练效果和算法调试。此外，测试模型中，还加入对网络延时、通讯不畅、远程通讯中断等远程驾驶关键事件的模拟。通过测试，验证智能船的辅助驾驶、远程驾驶和自主航行能力。

视景仿真的过程包括：

首先，利用3ds MAX/MAYA等软件搭建被测船三维几何模型与地形场景模型；其次，利用Unity3D、Unreal、Orge等软件提供的API(Application Programming Interface,应用程序编程接口)函数调用以搭建好的模型生成仿真画面；最后，利用C++、C#工程搭建配置界面，对仿真场景的启动、关闭以及初始状态进行管理与控制。

与上述系统实施例相对应，本发明实施例的测试方法：

步骤1.智能控制系统通过本平台提供的API接入系统，根据需求在船舶数值模拟系统中设置被测船动力学模型参数；

步骤2.实时仿真系统使用数据采集系统获得的真实航道数据生成测试所需的虚实混合场景，即数值孪生融合交通场景，包括静态场景和动态模型，并载入船舶数值模拟系统生成的被测船；

步骤3.视景仿真系统根据实时仿真系统的数据建立三维仿真场景；

步骤3.虚拟传感器从虚拟交通场景中采集周围的三维环境信息，并由被测智能控制系统中的感知单元处理不同传感器的信息；

步骤4.被测智能控制系统的决策单元根据船自身位置、姿态、速度、航向，结合感知单元处理好的外部环境信息得到与障碍物的位置和速度关系，并做作出控制决策；

步骤5.智能控制系统的执行单元根据控制决策控制被测船的运动机构工作，并采集当前时刻运动机构的相应参数。

步骤6.船舶数值模拟系统根据控制指令解算出被测船下一时刻的位置、速度、航向等运动参数，并发送至实时仿真系统；

步骤7.实时仿真系统根据船舶数据模拟系统的反馈更新交通场景；

步骤8.视景仿真系统更新三维仿真场景并显示，重复步骤2至步骤8；

步骤9.实时仿真系统生成测试结果过程文件，方便测试人员分析智能控制系统的控制决策是否满足要求。

本发明实施例通过运用数字孪生技术，半实物仿真技术，把海事雷达、AIS、CCTV等设备采集的真实航行数据，电子航道图等地理信息，用数字化的手段进行同步、统一、融合，来构建一个数字世界中尽可能一致的航道环境。在此基础之上，使用船舶动力预测方法建模描述出若干条虚拟船，通过精密的数值分析，保证虚拟船的操控特效与现实一致。尔后，让船舶智能在由真实世界投影出的虚拟世界中，操控虚拟船，进行避障、操纵，逐步学习、训练、提升智能本身，以实现对船舶智能测试、验证过程的简化，提高工作效率，节省人力与物力成本。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims

1.虚实融合的船舶智能控制系统测试平台，其特征在于：包括：

真实航行数据库、

用于模拟测试场景中船舶的船舶模拟系统、

根据船舶模拟系统提供的数据控制模拟船舶的被测智能控制系统；

所述真实航行数据库中至少包括真实航道数据，船舶自身的运动姿态、机舱、舵浆数据，以及基于船舶视角的海事雷达、AIS、GPS、激光雷达、CCTV、电子海图；

所述真实航道数据包括航道水文信息、航道中船舶的实时运动信息、地理信息；

所述实时仿真系统生成的数值孪生融合交通场景，包括静态场景和动态模型，静态场景用于验证被测智能控制系统对静态信息识别和处理的能力，动态模型用于验证被测智能控制系统处理突发事件的能力。

2.如权利要求1所述的船舶智能控制系统测试平台，其特征在于：它还包括根据实时仿真系统数据生成虚拟影像的视景仿真系统和人机界面。

3.如权利要求1所述的船舶智能控制系统测试平台，其特征在于，所述静态场景包括航道模型、航道内建筑模型和天气模型；所述动态模型包括模拟船舶模型和航道内其它船舶模型。

4.如权利要求1所述的船舶智能控制系统测试平台，其特征在于：所述船舶模拟系统包含船舶运动动力预测模型和虚拟传感器，所述虚拟传感器包含虚拟海事雷达、虚拟AIS系统、虚拟GPS系统、虚拟激光雷达、虚拟机舱监控、虚拟桨舵监控；所述船舶运动动力预测模型用于模拟船舶在不同操作下产生出的运动变化。

5.如权利要求4所述的船舶智能控制系统测试平台，其特征在于，所述船舶运动动力预测模型接收控制控制指令，并将解算出船舶下一时刻的位置信息、航向角信息和姿态信息发送给智能控制系统。

6.如权利要求1所述的船舶智能控制系统测试平台，其特征在于，所述被测智能控制系统包括感知单元、决策单元和执行单元，感知单元用于处理虚拟传感器采集的外部环境信息，决策单元接收感知单元处理后的信息并做出控制决策，执行单元根据控制决策给出相应控制指令模拟船舶。