CN111223354A - 无人小车、基于ar和ai技术的无人车实训平台及方法 - Google Patents

Abstract

本发明公开了基于AR技术的无人小车、AR虚拟城市系统、AI控制系统、无人车实训平台及方法。其无人车实训平台包括本发明的无人小车、AR虚拟城市系统及AI控制系统；其中：AR虚拟城市系统构建无人小车实训的虚拟城市环境；无人小车在虚拟城市环境中运行，并感知当前的虚拟场景，获取场景传感数据；AI控制系统实时获取虚拟城市环境信息及场景传感数据，结合预设的控制规则，生成控制无人小车运行的控制指令；无人小车根据AI控制系统的控制指令在虚拟城市环境中运行。本发明的无人车实训平台能够模拟其所需的嵌入式、无线通讯以及虚拟场景，AI人工智能算法控制，通过虚实结合技术真正打通无人驾驶技术各个层级所需的开发技术环境。

Description

无人小车、基于AR和AI技术的无人车实训平台及方法

技术领域

本发明涉及无人驾驶领域，尤其涉及无人小车、AR虚拟城市系统、AI控制系统、AR-AI无人车实训平台及方法。

背景技术

无人驾驶是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。

无人驾驶AI技术集自动控制、体系结构、人工智能、视觉计算等众多技术于一体，是计算机科学、模式识别和智能控制技术高度发展的产物，但由于该技术涉及到智能控制软硬件开发、无线传感技术、以及核心的人工智能技术，在模拟和实训过程中，传统的纯虚拟仿真无法完整还原其所需的技术环境，而真实的汽车无人驾驶，成本高，预算难，也非常难以用于实验与培训教学应用。

发明内容

为解决上述技术问题，本发明提供一种基于AR技术的无人小车、AR虚拟城市系统、AI控制系统、AR-AI无人车实训平台及方法。具体的，本发明的技术方案如下：

第一方面，本发明公开了一种基于AR技术的无人小车，至少包括：环境感知模块和执行处理模块；其中：所述环境感知模块，用于无人小车在虚拟城市环境中运行时，感知所述虚拟城市环境中的虚拟场景，获取所述虚拟场景传感数据；所述执行处理模块，用于根据控制指令控制所述无人小车在所述虚拟城市环境中运行。

优选地，所述无人小车包括通信芯片，用于将所述场景传感数据通过有线或者无线方式发送给AI控制系统；还用于接收所述AI控制系统的所述控制指令，所述AI控制系统设置在本地服务器/云端服务器。

优选地，所述无人小车包括AI控制系统，用于至少处理所述场景传感数据，生成所述控制指令。

优选地，所述无人小车包括一显示器，所述环境感知模块包括摄像头，所述摄像头前方设置所述显示器，所述显示器，用于显示所述虚拟城市环境；所述摄像头，用于拍摄当前所述虚拟场景的图片；所述摄像头拍摄的所述图片信息，被直接发送或者通过所述通信芯片发送给所述AI控制系统。

优选地，所述环境感知模块还包括：麦克风、环境扫描传感器和/或定位传感器，所述麦克风，用于接受环境中的声音信号，声音信号被直接发送或者通过所述通信芯片发送给所述AI控制系统；所述环境扫描传感器，用于发射环境扫描信号，同时接收由所述AI控制系统发送并由所述通信芯片转发的环境扫描反馈模拟信号，获取障碍物相关信息；所述定位传感器，用于定位所述无人小车当前所处的空间位置；所述无人车的障碍物信息和/或定位信息，被直接发送或者通过所述通信芯片发送给所述AI控制系统。环境扫描传感器包括但不限于激光雷达、毫米波雷达、超声波雷达、vSLAM系统(结构光传感器、TOF摄像头、(双)鱼眼摄像头)等。

优选地，所述无人小车还包括：车况感知模块，用于获取所述无人小车当前的车况；所述无人小车的车况信息，被直接发送或者通过所述通信芯片发送给所述AI控制系统。

优选地，所述车况感知模块包括：车速感知子模块、状态感知子模块和/或基本信息获取子模块；所述车速感知子模块，用于获取所述无人小车当前的车速；所述状态感知子模块，用于获取所述无人小车当前剩余动能、里程数；所述基本信息获取子模块，用于获取所述无人小车的车身尺寸。

第二方面，本发明公开了一种AR虚拟城市系统，包括：城市数据库，用于存储各种3D地图，及用于存储构建所述虚拟城市的各类3D模型；输入模块，用于接收用户输入的环境搭建指令；环境构建模块，用于根据所述环境搭建指令，利用所述城市数据库搭建无人小车进行实训的虚拟城市环境。输入模块包括但不限于(无线)键盘、平板电脑、笔记本电脑、PC、智能移动终端、智慧手套、遥控手板等。各类3D模型可以(从外界)将现有的模型导入系统。

优选地，所述AR虚拟城市系统还包括：接口调用模块和/或显示定位模块；接口调用模块，用于与地图类子数据库进行数据交互，从所述地图类子数据库中获取3D地图；显示定位模块，用于根据现实空间中的定位标记，在所述定位标记上覆盖显示所述3D地图。具体的在地面上规则地在几何图形各顶点放置二维码/定位标志物，和/或，具体为方形或长方形等的带标尺的地面定位背景图，且该图整体上用于触发所述AR虚拟城市的覆盖显示。实物小车也在该图上(亦该AR虚拟城市系统的某张3D地图中)运行。该特制的图也称为无人车实训平台地毯。值得一提的是，所述3D地图的大小整体上根据实物小车的(长宽高)尺寸进行同比例的缩小。以接近仿真效果。实物小车对应的虚拟车型有很多，不同车型有不同的长宽高度，虚拟车型的长宽高度在AR虚拟城市中运行时，即与AR虚拟城市进行交互，例如转弯时，有些车是虚拟的加长型车型，这种车型在转弯时需要更大的转弯半径。再例如过限高路段，有些车是虚拟的加高型车型，这种车型在过限高路段时则不被允许。

优选地，所述AR虚拟城市系统还包括：所述环境构建模块，还用于根据所述用户输入的调用指令，从所述城市数据库中调用相应的3D模型，设置在当前虚拟城市环境中的不同对应位置。

优选地，所述AR虚拟城市系统还包括：显示模块，用于显示所述无人小车在所述虚拟城市环境中运行的画面。

优选地，所述显示模块，还用于通过屏中屏的模式，显示所述无人小车视角下的当前虚拟场景；和/或，通过屏中屏的模式显示所述无人小车的运行参数。

优选地，所述虚拟城市环境中包含动态3D模型。

优选地，所述动态3D模型包括：移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察。

优选地，所述输入模块，还用于接收用户输入的动态3D模型的参数设置指令；所述环境构建模块，还用于根据所述动态3D模型的参数设置指令，设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。

优选地，所述城市数据库及环境构建模块集成在所述无人小车上；或所述城市数据库、及环境构建模块设置在本地服务器/云端服务器。

第三方面，本发明还公开了一种AI控制系统，包括：信号接收模块，至少用于实时接收无人小车的场景传感数据和/或所述无人小车运行的虚拟城市环境数据；数据处理模块，至少用于对所述场景传感数据进行数据处理，识别所述无人小车当前所处的虚拟场景；AI决策模块，用于基于所述虚拟城市环境数据，和/或结合所述无人小车当前所处的虚拟场景信息，生成控制所述无人小车运行的控制指令；信号发送模块，用于将所述控制指令发送给所述无人小车。

优选地，所述数据处理模块包括以下的任意一项或多项：图像识别处理子模块，用于将所述无人小车拍摄的虚拟场景图片进行图像识别处理，识别当前所处的虚拟场景；障碍信号处理子模块，用于接收所述无人小车发送的障碍物环境扫描信号，获取所述无人小车与障碍物的距离、方位信息；定位信号处理子模块，用于对接收的所述无人小车的定位信号进行解析处理，获取所述无人小车在所述虚拟城市环境中的位置；车况信号处理子模块，用于对接收的所述无人小车的车况信号进行相应数据处理，获取所述无人小车当前车况；声音信号处理子模块，用于对接收的所述无人小车的周边声音信号进行相应数据处理，获取所述无人小车周边情况。

优选地，所述AI控制系统还包括：信号模拟模块，用于根据接收的所述无人小车的定位信息及所述虚拟环境信息，生成环境扫描反馈模拟信号，并将所述环境扫描反馈模拟信号发送给所述无人小车。

优选地，所述AI控制系统还包括：输入模块，用于接收用户输入的控制规则。

优选地，所述AI决策模块包括：目的地获取子模块，用于获取所述无人小车抵达的目的地；路径规划子模块，用于根据所述无人小车当前在所述虚拟城市环境的位置信息，及所述无人小车的目的地信息，结合所述虚拟城市环境信息，规划所述无人小车从当前位置运行至所述目的地的路径；运行控制子模块，用于根据所述无人小车当前所处的虚拟场景信息，结合预设的控制规则，生成实时的控制指令，控制所述无人小车在所述规划的路径上的实时运行。

优选地，所述AI决策模块还包括：路径更新子模块，用于当所述无人小车当前所处的虚拟城市环境发生变化时，更新所述无人小车的规划路径。

优选地，所述AI控制系统集成在所无人小车上；或所述AI控制系统设置在本地服务器/云端服务器。

第四方面，本发明还公开了一种基于AR和AI技术的无人车实训平台，包括上述任一项所述的无人小车、上述任一项所述的AR虚拟城市系统、及上述任一项所述的AI控制系统；其中：所述AR虚拟城市系统，基于现实空间中的定位标记，显示构建的所述无人小车实训的虚拟城市环境；所述无人小车，在所述虚拟城市环境中运行，并感知当前的虚拟场景，获取场景传感数据；所述AI控制系统，实时获取所述虚拟城市环境信息及所述场景传感数据，结合预设的控制规则，生成控制所述无人小车运行的控制指令；所述无人小车，根据所述AI控制系统的控制指令在所述虚拟城市环境中运行。

优选地，所述AR虚拟城市系统设置在本地或云端；和/或,所述AI控制系统设置在本地或云端。

优选地，所述AR虚拟城市系统集成在所述无人小车；和/或,所述AI控制系统集成在所述无人小车。

第五方面，本发明还公开了一种基于AR和AI技术的无人车实训方法，应用于本发明所述的一种基于AR技术的无人车实训平台，所述方法包括：所述AR虚拟城市系统基于现实空间中的定位标记，显示构建的所述无人小车实训的虚拟城市环境；当所述无人小车在所述虚拟城市环境中运行时，所述无人小车感知当前的虚拟场景；所述AI控制系统实时获取所述当前的虚拟场景信息及所述虚拟城市环境信息，结合预设的控制规则，生成控制所述无人小车运行的控制指令；所述无人小车根据所述控制指令在所述虚拟城市环境中运行。

优选地，所述AR虚拟城市系统构建所述无人小车实训的虚拟城市环境具体包括：获取用户输入的环境搭建指令；根据所述环境搭建指令，从城市数据库中选用相应的3D地图，并在所述3D地图基础上，增加或减少相应的3D模型，搭建出所述无人小车进行实训的虚拟城市环境。

优选地，所述无人车实训方法还包括：通过智能终端的显示屏或AR显示设备，显示所述无人小车在所述虚拟城市环境中运行的画面。

优选地，所述无人车实训方法还包括：通过屏中屏的模式显示，所述无人小车视角下的当前虚拟场景；和/或，通过屏中屏的模式显示所述无人小车的运行参数。

优选地，所述无人车实训方法还包括：根据用户输入的调用指令，从所述城市数据库中调用相应的动态3D模型，设置在当前虚拟城市环境中的相应位置；移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察。

优选地，所述无人车实训方法还包括：根据用户输入的动态3D模型的参数设置指令，设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。

优选地，所述无人小车上装有摄像头，所述摄像头前方设置一显示器；所述无人小车感知当前的虚拟场景具体包括：所述无人小车的摄像头，通过所述显示器拍摄当前所处的虚拟场景图片。

优选地，所述无人小车感知当前的虚拟场景具体包括：所述无人小车通过发射环境扫描信号，同时接收由所述AI控制系统发送并由所述通信芯片转发的环境扫描反馈模拟信号，获取障碍物相关信息；和/或所述无人小车通过定位传感器定位自身当前所处的空间位置。

优选地，所述基于AR技术的无人车实训方法还包括：所述述无人小车获取当前的车况，并将所述车况发送给所述AI控制系统；其中，所述车况包括车速、剩余动能、里程数、车身尺寸之中的任意一项或多项的组合。

优选地，所述AI控制系统实时获取所述虚拟城市环境信息及所述场景传感数据，结合预设的控制规则，生成控制所述无人小车运行的控制指令具体包括：所述AI控制系统实时获取所述无人小车上报的场景传感数据和/或所述AR虚拟城市系统上报的虚拟城市环境信息；所述AI控制系统对所场景传感数据进行数据分析处理，获取所述无人小车当前所处的虚拟场景；获取所述无人小车的目的地；根据所述虚拟城市环境信息、所述无人小车当前所处的虚拟场景及所述无人小车的目的地信息，规划所述无人小车从当前位置运行至所述目的地的路径；根据所述无人小车当前所处的虚拟场景信息，结合预设的控制规则，生成实时的控制指令，控制所述无人小车在所述规划的路径上的实时运行。

优选地，所述无人车实训方法还包括：当所述虚拟城市环境发生变化时，所述AR虚拟城市系统通过所述无人小车上报所述变化后的虚拟城市环境信息；所述AI控制系统根据所述变化后的虚拟城市环境信息，结合所述无人小车当前所处的虚拟场景及目的地信息，更新所述无人小车的规划路径。

优选地，所述AI控制系统对所场景传感数据进行数据分析处理，获取所述无人小车当前所处的虚拟场景具体包括以下的任意一项或多项：将所述无人小车拍摄的虚拟场景图片进行图像识别处理，识别当前所处的虚拟场景；接收所述无人小车发送的障碍物环境扫描信号，获取所述无人小车与障碍物的距离、方位信息；对接收的所述无人小车的定位信号进行解析处理，获取所述无人小车在所述虚拟城市环境中的位置；对接收的所述无人小车的车况信号进行相应数据处理，获取所述无人小车当前车况。

优选地，将所述AR虚拟城市系统设置在本地或云端；和/或，将所述AI控制系统设置在本地或云端。

优选地，将所述AR虚拟城市系统集成在所无人小车；和/或，将所述AI控制系统集成在所无人小车。

本发明及实施例至少包括以下一项技术效果：

(1)本发明的无人车实训平台通过无人小车，AR虚拟城市系统以及AI控制系统，完整再现了基于人工智能的无人车驾驶系统，能够模拟其所需的嵌入式、无线通讯以及虚拟场景，AI人工智能算法控制，通过虚实结合技术真正打通无人驾驶技术各个层级所需的开发技术环境，同时也展开各个层级所需的实训或仿真。

(2)本发明的无人车实训平台可用于无人驾驶车辆的检验测试，通过AR虚拟城市系统构建虚拟城市环境，从而为无人车提供仿真测试环境，在不影响测试效果的同时大大降低了无人车实训的成本，进行测试的无人车可以是集成了控制系统的无人车，也可以是将无人车控制系统放置在本地服务器或云端服务器，对无人车的功能、可靠性及安全性进行全面测试。此外，该无人车实训平台还可以用于多台无人车同时进行测试，由于采用的是AR技术，因此，虚拟的城市环境和真实的环境都会被无人车感知到，从而可以让无人车控制系统根据实际情况作出响应决策，检测无人车及其控制系统的性能。

(3)本发明的无人车实训平台还可用于实验与培训教学应用，具体的，适用于程序研发工程师的培训教学。为培训学员进行实验教学及测试提供了测试平台，学员们可以通过AR虚拟城市系统构建了虚拟城市环境，作为无人小车运行的环境；此外，学员还需将自己编写的无人车控制程序设置在AI控制系统，由此，通过本发明的无人车实训平台实现对学员编写的无人车控制程序的检测。具体的，实现过程中，无人小车通过各传感器能很好的感知到周边的虚拟场景，并最终传输给AI控制系统，而AI控制系统在获取到这些传感数据后对其进行数据处理，获取无人小车当前的虚拟场景信息，结合AR虚拟城市系统上报的虚拟城市环境信息，则可生成对应的无人小车控制指令。当然，具体如何根据无人小车当前的虚拟场景及所在的虚拟城市环境信息等来生成控制指令则是学员编写的无人车控制程序的关键所在。若无人小车根据AI控制系统的控制指令可以安全且不遵守交通规则的情况下从出发地到达目的地，则说明该学员编写的无人车控制程序测试通过，检验了学员成果。

(4)本发明的AR虚拟城市系统可以设置在本地服务器，由于不受网络信号的影响，从而大大增强了虚拟环境构建及更新的时效性。当然，该AR虚拟城市系统也可以设置在云端，从而使得大量的场景数据和高精度地图信息均可保存在云端共享使用；此外，还可将AR虚拟城市系统集成在无人小车上，从而使得该无人小车更为智能。同样的，本发明的AI控制系统也可以设置在本地服务器、或者云端服务器、甚至是集成在无人小车上。用户可根据实际情况与需求进行灵活设置。

(5)本发明的AR虚拟城市系统不仅构建的虚拟城市系统不只是静态虚拟环境，还可通过一些动态3D模型，从而构建出动态的虚拟环境。比如行走路人、闪烁的红绿灯、指挥交通的交警、天气状况等等动态3D模型，都可以设置在虚拟城市环境中，从而让该虚拟城市环境更为逼真，更为接近实际的城市环境场景，也更加综合的考量了无人小车的控制性能。此外，还可在无人小车运行时，临时调用虚拟模型出现在该虚拟城市环境中，从而考量无人小车的应急控制能力，当然，也从另一方面测试检验学员的编程学习效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的基于AR技术的无人小车结构框图；

图2为本发明实施例二的基于AR技术的无人小车结构框图；

图3为本发明实施例三的AR虚拟城市系统的结构框图；

图4为本发明实施例四的AR虚拟城市系统的结构框图；

图5为本发明实施例五的AI控制系统的结构框图；

图6为本发明实施例六的AI控制系统的结构框图；

图7为本法实施例七的基于AR技术的无人车实训平台数据交互示意图；

图8为本发明实施例八中的无人小车示意图；

图9为本发明实施例八中的AR虚拟城市系统示意图；

图10a为本发明实施例八中采用的一种AR头盔示意图；

图10b为本发明实施例八中采用的另一种AR头盔示意图；

图11为本发明实施例八的无人车实训平台示意图；

图12为本发明实施例九的无人车实训平台示意图；

图13为本发明实施例九中采用无人车实训平台进行智能小车竞赛测试示意图；

图14为本发明实施例九中采用无人车实训平台进行智能小车竞赛测试示意图；

图15为本发明实施例十的无人车实训方法流程图；

图16为本发明实施例十一的无人车实训方法流程图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

【实施例一】

基于AR技术的无人小车：

本实施例公开的基于AR技术的无人小车，如图1所示，至少包括：环境感知模块110和执行处理模块120；其中：

所述环境感知模块110，用于无人小车在虚拟城市环境中运行时，感知所述虚拟城市环境中的虚拟场景，获取所述虚拟场景传感数据；

所述执行处理模块120，用于根据控制指令控制所述无人小车在所述虚拟城市环境中运行。

较佳的，所述无人小车包括通信芯片130，用于将所述场景传感数据通过有线或者无线方式发送给AI控制系统，还用于接收所述AI控制系统的所述控制指令，所述AI控制系统设置在本地服务器/云端服务器。

本实施例中的无人小车上设有环境感知模块110，可以用来感知周边环境，哪怕是虚拟环境。由于该无人小车是在虚拟城市环境中运行测试的，因此，该无人小车的环境感知模块110可以感知到当前周边的虚拟场景，获取当前的虚拟场景传感数据，然后将该虚拟场景传感数据通过通信芯片130发送给AI控制系统，让AI控制系统做出控制决策，AI控制系统再通过通信芯片130将控制指令传输给无人小车，无人小车的执行处理模块120则根据该控制指令控制无人小车在该虚拟城市环境中运行。本实施例中的AI控制系统可以设置在本地服务器，或者设置在云端服务器。当然，除此之外，该AI控制系统还可集成设置在无人小车内，用于至少处理所述场景传感数据，生成所述控制指令。本实施例不限定AI控制系统的设置地点。

本实施例中无人小车可以采用实际的无人驾驶车辆(真车)，也可以采用模拟实际无人驾驶车辆的智能小车(缩小版无人车)，如果采用的是实际的无人驾驶车辆，那么构建的虚拟城市环境也需与真实环境同比例，用户戴上AR眼镜后看到的虚拟城市环境和实际的城市环境比例大小一样，用户如同置身在实际的城市环境中。而如果采用模拟的智能小车，则构建的虚拟城市环境也是缩小版的真实城市环境，智能小车的缩小比例与虚拟环境的缩小比例一致。

【实施例二】

基于AR技术的无人小车：

本实施例的无人小车在实施例一的基础上，如图2所示，所述无人小车还包括一显示器，所述环境感知模块110包括摄像头111，

所述摄像头111前方设置至少一个所述显示器，所述显示器，用于显示所述虚拟城市环境；所述摄像头111，用于拍摄当前所述虚拟场景的图片；具体的，比如在摄像头前方设置一AR显示设备，从而使得该摄像头拍摄到虚实结合的场景，由于该无人小车是在虚拟城市环境中运行，因此，该摄像头通过显示器显示的当前的虚拟环境，从而可拍摄到当前的虚拟场景图片。

所述摄像头111拍摄的所述图片信息，被直接发送或者通过所述通信芯片130发送给所述AI控制系统。具体的，拍摄到的虚拟场景图片发送给AI控制系统，从而可以让AI控制系统做出控制决策，控制无人小车运行。

较佳的，本实施例中的环境感知模块110还包括：环境扫描传感器112、和/或定位传感器113，其中：

所述环境扫描传感器112，用于发射环境扫描信号，同时接收由所述AI控制系统发送并由所述通信芯片130转发的环境扫描反馈模拟信号，获取障碍物相关信息；具体的，该环境扫描传感器112可以是激光雷达、毫米波雷达、超声波雷达、结构光传感器、TOF摄像头、或(双)鱼眼摄像头等。我们以超声波雷达信号为例，无人小车上的超声波雷达发射超声波信号，但由于该无人小车所处的环境为虚拟环境，因此实际不会收到反馈的超声波信号，但本AI控制系统则会向无人小车发送环境扫描反馈模拟信号，从而让无人小车将该环境扫描反馈模拟信号作为无人小车仿真探测到的环境感知信号，进而基于此获取障碍物信息。

所述定位传感器113，用于定位所述无人小车当前所处的空间位置；定位传感器113包括但不限于(室外)北斗、GPS、格洛纳斯等卫星导航系统，(室内)AP、WIFI、LIFI、蓝牙、紫蜂、UMB、RFID辅助定位器、IR等定位系统。

所述无人车的障碍物信息和/或定位信息，被直接发送或者通过所述通信芯片130发送给所述AI控制系统。

本实施例中，无人小车将感知探测到的虚拟场景传感数据(比如虚拟场景图片、当前的虚拟障碍物信息、无人小车的位置信息等)发送给AI控制系统，从而作为AI控制系统生成控制指令的依据之一。

本实施例中的无人小车，除了环境感知外，还可感知获取自身的车况信息。具体的，本实施例中的无人小车还包括：

车况感知模块140，用于获取所述无人小车当前的车况；具体的，车况感知模块140包括：车速感知子模块141、状态感知子模块142和/或基本信息获取子模块143；其中：

所述车速感知子模块141，用于获取所述无人小车当前的车速；比如通过加速度传感器获取无人小车的车速，较佳的，该车况感知模块还可以获取无人小车的转向等(角速度)。

所述状态感知子模块142，用于获取所述无人小车当前剩余动能、里程数；

所述基本信息获取子模块143，用于获取所述无人小车的车身尺寸。

获取到无人小车的这些车况信息后，这些车况信息，被直接发送或者通过所述通信芯片130发送给所述AI控制系统。从而让AI控制系统可更好的控制无人小车。比如检测到无人小车当前的车速是80km/h，而根据获取的障碍物信息则检测到距离X米远的地方有(虚拟)障碍物，那么便可提前发出控制指令，让小车提前减速，转向等，从而避免撞上(虚拟)障碍物。

具体的，本实施例的无人小车可采用模拟的智能小车，示意图如图7所示，该无人小车上设置了各类传感器，用于更好的感知周边环境。

【实施例三】

AR虚拟城市系统：

本实施例公开的AR虚拟城市系统，可用于为本发明的无人小车实训提供虚拟城市环境，具体的，本实施例的AR虚拟城市系统如图3所示，包括：

城市数据库210，用于存储各种3D地图，及用于存储构建所述虚拟城市的各类3D模型；

输入模块220，用于接收用户输入的环境搭建指令；

环境构建模块230，用于根据所述环境搭建指令，利用所述城市数据库搭建无人小车进行实训的虚拟城市环境。

本实施例中，城市数据库中存储了虚拟环境搭建的素材，比如各种3D地图等，用户可直接调用数据库中的3D地图作为虚拟城市环境，当然，也可以在该3D地图的基础上，再调用其它3D模型来搭建虚拟城市环境，或者直接通过数据库中存储的各类3D模型来搭建虚拟城市环境。城市数据库中存储的3D模型包括很多类，比如道路类模型，里面有各种不同规格、材质、形状的道路3D模型；比如建筑类模型，则包含有写字楼模型、住宅模型、商场模型等等，此外还有行人类、动物类、植物类、气象类、场景类等等，用户在进行虚拟城市搭建时，则可直接基于该城市数据库中的各类3D模型来进行虚拟城市的环境构建，当然，该3D模型的参数还可根据需求进行设置，比如搭建虚拟城市环境时，设置某道路的长度、宽度、或者设置红绿灯的倒计时数等等。用户可以根据测试需求搭建各种个性化虚拟城市环境，或者根据测试的侧重性能搭建定制化虚拟城市环境。比如，当前主要测试无人小车转弯反应性能，则可在该虚拟城市环境中多搭建转弯的道路，或者十字路口等。

【实施例四】

AR虚拟城市系统：

本实施例的AR虚拟城市系统，在实施例三的基础上，如图4所示，还包括：

接口调用模块240，用于与地图类子数据库进行数据交互，从所述地图类子数据库中获取3D地图。具体的，地图类子数据库是用来存储3D地图的，该地图类子数据库可以是上述的城市数据库中的一个子库，也可以是其它地图软件应用程序的地图数据库，比如百度地图，通过该接口调用模块则可与百度地图进行数据交互，从百度地图中获取相应的3D地图，获取到的3D地图可以存储在城市数据库中，也可以直接用来搭建虚拟城市环境。

显示定位模块，用于根据现实空间中的定位标记，在所述定位标记上覆盖显示所述3D地图。具体的在地面上在规则的几何图形各顶点放置二维码或定位标志物，和/或，具体为方形或长方形等的带标尺的地面定位背景图，且该图整体上用于触发所述AR虚拟城市的覆盖显示。实物小车也在该图上(亦该AR虚拟城市系统的某张3D地图中)运行。值得一提的是，所述3D地图的大小整体上根据实物小车的(长宽高)尺寸进行同比例的缩小。以接近仿真效果。

此外，本实施例的AR虚拟城市系统还包括：

显示模块250，用于显示所述无人小车在所述虚拟城市环境中运行的画面。具体的，比如通过AR头盗或者PAD等移动智能终端可显示出无人小车在该虚拟城市环境中运行的画面。

较佳的，所述显示模块250，还用于通过屏中屏的模式，显示所述无人小车视角下的当前虚拟场景；和/或，通过屏中屏的模式显示所述无人小车的运行参数。具体的，显示模块既可以显示无人小车在虚拟城市环境中运行的画面，还可以显示以无人小车视角下的当前虚拟场景、甚至还可以显示无人小车当前的运行参数等。显示的方式可以是通过切换显示，或者通过主屏+屏中屏的方式显示，比如主屏显示无人小车视角下的虚拟场景，右下角或者左下角通过屏中屏的模式以一小屏显示该无人小车当前的运行参数，比如车速等。

本实施例的AR虚拟城市系统中，所述环境构建模块230，还用于根据所述用户输入的调用指令，从所述城市数据库中调用相应的3D模型，设置在当前虚拟城市环境中的不同对应位置。具体的，用户在搭建好虚拟城市环境后，无人小车可在该虚拟城市环境中运行，用户还可在无人小车运行过程中或者运行前从城市数据库中调用3D模型，设置在当前的虚拟城市环境中。比如，在前方虚拟道路上设置一路障3D模型(也可以在无人车实训平台地毯上设置实物路障)，或者在前方路口设置一红绿灯模型等。

本实施例的AR虚拟城市系统构建的虚拟城市环境中包含动态3D模型，具体的，该述动态3D模型包括：移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察等等。比如，在当前虚拟城市环境中增加一小狗3D模型，且设置该小狗3D模型蹿到该无人小车当前行驶的虚拟马路上来，从而检测该无人小车的应急控制能力。

此外，本实施例中的输入模块220，还用于接收用户输入的动态3D模型的参数设置指令；具体的，用户可以通过PAD或其他智能终端进行指令输入与调控调用等。

所述环境构建模块230，还用于根据所述动态3D模型的参数设置指令，设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。

具体的，比如设置移动的虚拟车辆移动的初始位置、运行速度及最终位置等。此外，还可设置动态3D模型的其它参数，比如红绿灯模型的红灯倒计时秒数、或者下雨状况的雨量大小、被大风吹落的广告牌的吹落地点等等。

最后，本实施例的AR虚拟城市系统中的城市数据库210及环境构建模块230可以集成在所述无人小车上；当然，该城市数据库210、及环境构建模块230也设置在本地服务器/云端服务器。

【实施例五】

AI控制系统：

本实施例还公开了一种AI控制系统，如图5所示，包括：

信号接收模块310，至少用于实时接收无人小车的场景传感数据和/或所述无人小车运行的虚拟城市环境数据；

数据处理模块320，至少用于对所述场景传感数据进行数据处理，识别所述无人小车当前所处的虚拟场景；

AI决策模块330，用于基于所述虚拟城市环境数据，和/或结合所述无人小车当前所处的虚拟场景信息，生成控制所述无人小车运行的控制指令；

信号发送模块340，用于将所述控制指令发送给所述无人小车。

本实施例的AI控制系统相当于无人小车的“大脑”，其所作的控制决策直接影响无人小车在虚拟城市环境中的实际运行。而控制无人小车运行的控制指令则是需求根据无人小车当前的虚拟场景、虚拟城市环境数据等来生成。只有了解到该无人小车当前在怎样的环境中运行，才能够进一步指导要怎样控制该无人小车移动。

【实施例六】

AI控制系统：

如图6所示，本实施例的AI控制系统在实施例五的基础上，所述数据处理模块包括以下的任意一项或多项：

图像识别处理子模块321，用于将所述无人小车拍摄的虚拟场景图片进行图像识别处理，识别当前所处的虚拟场景；具体的，无人小车拍摄到虚拟场景图片后会传输给AI控制系统，AI控制系统的图像识别处理子模块则会对虚拟场景图片进行图像识别处理，从而可以获得无人小车当前所处的虚拟场景情况。

障碍信号处理子模块322，用于接收所述无人小车发送的障碍物环境扫描信号，获取所述无人小车与障碍物的距离、方位信息；

定位信号处理子模块323，用于对接收的所述无人小车的定位信号进行解析处理，获取所述无人小车在所述虚拟城市环境中的位置；

车况信号处理子模块324，用于对接收的所述无人小车的车况信号进行相应数据处理，获取所述无人小车当前车况。具体的，车况包括无人小车当前的车速、剩余动能、车身尺寸等等。

本实施例的AI控制系统还包括：

信号模拟模块360，用于根据接收的所述无人小车的定位信息及所述虚拟环境信息，生成环境扫描反馈模拟信号，并将所述环境扫描反馈模拟信号发送给所述无人小车。具体的，由于无人小车所处的环境是虚拟环境，因此，设置在无人小车上的传感器有的并不能感应到真正的环境传感数据，比如雷达，由于雷达是遇到障碍物后返回雷达信号，但是由于无人小车所处的环境是虚拟环境，那么实际上无人小车上的雷达并不能获取到实际遇到障碍物返回的雷达信号。而为了让无人小车的实训更为接近现实，因此，必须要让无人小车“认为”自己感应到了返回的雷达信号。因此，本实施例中的AI控制系统中的信号模拟模块则用于根据无人小车当前的定位信息及虚拟环境信息，知道该无人小车当前所处的环境，也就知道该无人小车周边的虚拟障碍物，因此，该信号模拟模块则据此生成了环境扫描反馈模拟信号，并将其传输给无人小车，让无人小车将该环境扫描反馈模拟信号作为感知周边环境的反馈信号。

较佳的，本实施例的AI控制系统还包括：输入模块350，用于接收用户输入的控制规则。具体的，该用户可以通过智能终端编写无人驾驶的控制规则程序，该控制规则是该AI控制系统生成控制指令的执行基础。输入模块350包括但不限于(无线)键盘、平板电脑、笔记本电脑、PC、智能移动终端、智慧手套、遥控手板等。一般选用智能手机或PAD，益处在于如下四点，①作为编程界面和输入(终)端；②可以切换上帝视角查看整个AR虚拟城市及在其中运行的小车；③可以切换小车本身的视角进行观察，即小车的摄像头111所观察到的内容(显示器所显示的虚拟城市环境)。④轻便小巧，使用时也较方便。本实施例中的AI决策模块330包括：

目的地获取子模块331，用于获取所述无人小车抵达的目的地；

路径规划子模块32，用于根据所述无人小车当前在所述虚拟城市环境的位置信息，及所述无人小车的目的地信息，结合所述虚拟城市环境信息，规划所述无人小车从当前位置运行至所述目的地的路径；

运行控制子模块333，用于根据所述无人小车当前所处的虚拟场景信息，结合预设的控制规则，生成实时的控制指令，控制所述无人小车在所述规划的路径上的实时运行。

具体的，无人小车当前在虚拟城市系统的A地，B地为目的地，那么如何控制无人小车从A地移动到B地则是AI控制系统的主要工作。当然，AI控制系统会提前获取该虚拟城市环境信息，从而可以知道从A地到B地之间会有哪些虚拟场景。因此，AI控制系统可以规划出从A地到B地的运行路径，当然，该无人小车在实际移动运行过程中，可能还会有一些动态状况，比如，红绿灯、穿过马路的行人等，因此在无人小车按照规划的路径移动时，还需要结合无人小车当前所处的虚拟场景信息，结合预设的控制规则来进行实时控制。比如，遇到横穿马路的行人时，及时刹车停下来，遇到前方虚拟运行的车辆减速刹车时，控制该无人小车也及时减速刹车等。从而让该无人小车能够在不违反交通规则的情况下安全到达目的地。

当然，除此之外，本实施例中的AI决策模块330还包括：路径更新子模块334，用于当所述无人小车当前所处的虚拟城市环境发生变化时，更新所述无人小车的规划路径。也就是说，如果当前的虚拟城市环境一旦发生了变化，那么该无人小车的规划路径则也需要同步更新。比如，当前的虚拟城市环境中，用户又在前方道路设置了严重拥堵路况，那么便需要重新规划该无人小车的路径，绕开该严重拥堵路段的，从而可以更为快速的到达目的地。

【实施例七】

基于AR和AI技术的无人车实训平台：

本实施例的基于AR和AI技术的无人车实训平台，包括上述实施例一或实施例二所述的无人小车、实施例三或实施例四所述的AR虚拟城市系统、及上述实施例五或实施例六所述的AI控制系统；其中：

所述AR虚拟城市系统，基于现实空间中的定位标记，显示构建的所述无人小车实训的虚拟城市环境；

所述无人小车，在所述虚拟城市环境中运行，并感知当前的虚拟场景，获取场景传感数据；

所述AI控制系统，实时获取所述虚拟城市环境信息及所述场景传感数据，结合预设的控制规则，生成控制所述无人小车运行的控制指令；

所述无人小车，根据所述AI控制系统的控制指令在所述虚拟城市环境中运行。

本实施例中的AR虚拟城市系统可以设置在本地或云端；所述AI控制系统也可以设置在本地或云端。当然，除了可以设置在本地服务器或者云端之外，本实施例中的AR虚拟城市系统也可以集成在所述无人小车，AI控制系统也可以集成在所述无人小车。

我们以AI控制系统设置在云端，AR虚拟城市系统设置在本地为例，图7给出了本实施例的基于AR和AI技术的无人车实训平台中的数据交互示意图。

【实施例八】

本实施例的无人车实训平台包括无人小车、AR虚拟城市系统、及AI人工智能系统。

具体的，本实施例中的无人小车如图8所示，该无人小车为智能嵌入式无人车，主要有嵌入式CPU，定位系统以及传感系统构成；具体包括如下：

(1)CPU：嵌入式STM32开发平台；

(2)传感系统：配套视觉，语音，避障等传感套装

(3)人机交互

(4)配套安装系统人机交互套装

(5)定位系统：红外阵列定位套装

此外，该无人车实训平台还需要一无人车实训平台地毯+环境搭建积木套装，无人车实训平台地毯上构建虚拟城市环境，环境搭建积木可设置在该无人车地图上，用于作为车定位参考标志物，协助无人车定位(当无人小车的摄像头上未设置显示器时，依靠无人车实训平台地毯上设置的定位参考标准物来定位其在无人车地毯上的位置)。值得一提的是，无人车实训平台地毯如果移动或转动，覆盖显示在其上的AR虚拟城市也跟着(3DOF)移动或转动。

AR虚拟城市系统，由移动端AR系统以及AR眼镜构成，示意图如图9所示，其中，AR眼镜可采用AR头盔，图10a、图10b分别示出了带有体感传感器的AR头戴显示器(影像式HMD)、以及带有体感传感器的AR头戴显示器(透光式HMD)。当然，AR眼镜以后可能会更加轻薄，更加便捷，本发明不限定AR眼镜的形式。

(1)配套AR智能眼镜，能够进入虚拟城市沉浸式互动；同时可以屏中屏方式，同步地显示无人小车的视角内容和/或无人小车的运行参数信息；

(2)配套AR移动端软件，能够虚实同步，模拟控制智慧城市的交通，天气以及行人的开发模式，能够以上帝视角进行场景控制以及智能车的遥控互动；

AI人工智能系统，通过亚马逊云端以及视觉、语音等传感数据软件构成。

通过亚马逊智能云端平台，以视觉、语音、传感以及控制决策数据为基础数据库平台，结合虚拟场景的天气、路况、以及交通信息等，形成人工智能智慧城市的调度控制大脑，真正提供给到人工智能足够的数据源以及开发场景，实现人工智能开发的训练及开发应用平台。

本实施例的无人车实训平台的示意图如图11所示。

【实施例九】

本实施例的无人车实训平台包含AI智能小车(无人小车)、AR虚拟交通(AR虚拟城市系统)及AI人工智能平台(AI控制系统)；具体的，如图12所示，介绍如下：

1.AI智能小车：

采用嵌入式+智能传感技术，提供与真实的AI车辆同样完整的软硬件开发环境，且采用MINI版本的电控驱动以及避障、语音等传感技术，与虚拟城市及人工智能端做到互联互通。

2.AR虚拟交通(AR虚拟城市系统)：

利用AR虚拟现实技术与真实的AI智能车融合，采用AR识别技术识别真实的小车在实际环境行走，虚拟化小车的道路及智慧城市环境，包括交通灯、行人、车辆以及路况天气信息等，复现和提供一套真正完整的AI智慧城市系统。

3.AI人工智能平台：

通过如亚马逊、阿里等智能云端平台，以视觉、语音、传感以及控制决策数据为基础数据库平台，结合虚拟场景的天气、路况、以及交通信息等，形成人工智能智慧城市的调度控制大脑，真正提供给到人工智能足够的数据源以及开发场景，实现人工智能开发的训练及开发应用平台。

本无人车实训平台，使用AR技术将虚拟出来的城市系统与真实的AI小车所运行的城市道路及环境巧妙融合，运用多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等城市虚体虚拟信息模拟仿真后，应用到AI智能小车的真实世界中，实现了AR现实增强技术与真实的AI智能小车融合，虚拟化小车的道路及智慧城市环境，包括交通灯、行人、车辆以及路况天气信息等，复现和提供一套真正完整的AI智慧城市系统。

本实施例的AR无人车实训平台中，可通过运行在移动端AR系统以及AR眼镜与受训培训学员形成互动，其互动方式有以下三种：

·配套AR智能眼镜，能够进入虚拟城市沉浸式互动；

·配套AR移动端软件，能够虚实同步，模拟控制智慧城市的交通，天气以及行人的开发模式，能够以上帝视角进行场景控制以及智能车的遥控互动；

·配套AR智能眼镜，可以实时接收显示从亚马逊智能云端得到的控制、提示及报警信息。

图13、图14示出了采用本发明的无人车实训平台作为虚实结合无人车竞赛系统，实体智能小车结合真实物理环境和智能眼镜中的虚拟场景进行实际测试。用户通过AR眼镜可以看到智能小车运行在虚实结合的环境中。图中学员通过AR眼镜，通过激光定位笔/遥控手板与(实物/虚拟)小车或AR显示虚拟场景进行交互。

【实施例十】

基于AR和AI技术的无人车实训方法：

本实施例公开了一种基于AR和AI技术的无人车实训方法，本方法应用于本发明上述任一实施例所述的基于AR和AI技术的无人车实训平台，具体的，如图15所示，所述方法包括：

S101，所述AR虚拟城市系统构建所述无人小车实训的虚拟城市环境；

S102，当所述无人小车在所述虚拟城市环境中运行时，所述无人小车感知当前的虚拟场景；

S103，所述AI控制系统实时获取所述当前的虚拟场景信息及所述虚拟城市环境信息，结合预设的控制规则，生成控制所述无人小车运行的控制指令；

S104，所述无人小车根据所述控制指令在所述虚拟城市环境中运行。

较佳的，本实施例中的AR虚拟城市系统可以设置在本地服务器/云端服务器，或者集成在无人小车上；同样的，AI控制系统也可以设置在本地服务器或集成在无人小车上，更佳的，将AI控制系统设置在云端。

【实施例十一】

基于AR和AI技术的无人车实训方法：

本实施例的无人车实训方法，在上述实施例十的基础上，如图16所示，包括：

S201，获取用户输入的环境搭建指令；

S202，根据所述环境搭建指令，从城市数据库中选用相应的3D地图，并在所述3D地图基础上，增加或减少相应的3D模型，搭建出所述无人小车进行实训的虚拟城市环境；

S203，当所述无人小车在所述虚拟城市环境中运行时，所述无人小车感知当前的虚拟场景；

S204，所述AI控制系统实时获取所述无人小车上报的场景传感数据和/或所述AR虚拟城市系统上报的虚拟城市环境信息；

S205，所述AI控制系统对所场景传感数据进行数据分析处理，获取所述无人小车当前所处的虚拟场景；

S206，获取所述无人小车的目的地；

S207，根据所述虚拟城市环境信息、所述无人小车当前所处的虚拟场景及所述无人小车的目的地信息，规划所述无人小车从当前位置运行至所述目的地的路径；

S208，根据所述无人小车当前所处的虚拟场景信息，结合预设的控制规则，生成实时的控制指令，控制所述无人小车在所述规划的路径上的实时运行。

采用本实施例的无人车实训方法对无人车进行实训，首先需要搭建无人车运行的虚拟城市环境，然后再让无人车通过自身的传感器感知周边的环境，获取当前的虚拟场景数据，AI控制系统在获取到搭建的虚拟城市环境信息及无人车感测到的当前的虚拟场景数据后，对该虚拟场景数据进行数据分析处理，获取进行实训的无人小车当前所处的虚拟场景，然后再根据无人小车实训需要到达的目的地，以及虚拟城市环境信息，规划出无人小车在该虚拟城市环境中从当前位置移动到目的地位置的路径规划，当然，无人小车在实时移动运行过程中，还需要及时的将所感测到的当前的虚拟场景数据进行上报，从而使得AI控制系统可以根据实时获取到无人小车当前所处的虚拟场景，比如，当前遇到红灯，再结合预设的控制规则，比如，预设的控制规则为遇到红灯需要停下来。从而可以实时控制该无人小车在规划路径上安全移动运行。

本实施例中，步骤S203中无人小车感知当前的虚拟场景，可采用一种或多种方式实现：

(1)无人小车上装有摄像头，摄像头前方设置一显示器；无人小车的摄像头，通过该显示器拍摄当前所处的虚拟场景图片。

(2)无人小车通过发射环境扫描信号，同时接收由所述AI控制系统发送并由所述通信芯片转发的环境扫描反馈模拟信号，获取障碍物相关信息。该环境扫描信号可以通过无人小车上设置的激光雷达、毫米波雷达、超声波雷达、结构光传感器、TOF摄像头、或(双)鱼眼摄像头等任意一种或多种方式实现。

(3)无人小车通过定位传感器定位自身当前所处的空间位置。

(4)此外，为了更好的控制无人小车，则还需要获取更多无人小车的车况信息。具体的，无人小车获取当前的车况，并将所述车况发送给所述AI控制系统；其中，所述车况包括车速、剩余动能、里程数、车身尺寸之中的任意一项或多项的组合。

无人小车获取到这些传感数据后，会将其上报给AI控制系统，AI控制系统则对这些虚拟场景传感数据进行数据分析处理，具体的，包括以下的任意一项或多项：

(1)将所述无人小车拍摄的虚拟场景图片进行图像识别处理，识别当前所处的虚拟场景；

(2)接收所述无人小车发送的障碍物环境扫描信号，获取所述无人小车与障碍物的距离、方位信息；

(3)对接收的所述无人小车的定位信号进行解析处理，获取所述无人小车在所述虚拟城市环境中的位置；

(4)对接收的所述无人小车的车况信号进行相应数据处理，获取所述无人小车当前车况。

本实施例中，用户可以通过智能终端的显示屏或AR显示设备，显示该无人小车在所述虚拟城市环境中运行的画面。具体的，如图9所示，用户可以在智能手机端查看无人小车在虚拟城市环境中运行的画面，还可以佩戴AR头盔看到真实的无人小车在虚拟的城市环境中运行的情况。

除了以上帝(第三)视角显示上述的无人车在虚拟城市环境中运行外，还可以通过屏中屏的模式显示，无人小车视角下的当前虚拟场景；和/或，通过屏中屏的模式显示所述无人小车的运行参数。

此外，本实施例中，用户可以根据需求自身搭建虚拟城市环境，还可以在当前的虚拟城市环境基础上，调用相应的动态3D模型，从而使得构建的虚拟城市环境更加贴近现实环境。具体的，本实施例的基于AR技术的无人车实训方法还包括：

根据用户输入的调用指令，从所述城市数据库中调用相应的动态3D模型，设置在当前虚拟城市环境中的相应位置；具体的，用户还可设置该动态3D模型的参数，输入动态3D模型的参数设置指令，从而使得AR虚拟城市系统可以根据用户输入的动态3D模型的参数设置指令，设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。

上述的动态3D模型包括：移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察。

更佳的，本实施例的基于AR技术的无人车实训方法还包括：

当所述虚拟城市环境发生变化时，所述AR虚拟城市系统通过所述无人小车上报所述变化后的虚拟城市环境信息；

所述AI控制系统根据所述变化后的虚拟城市环境信息，结合所述无人小车当前所处的虚拟场景及目的地信息，更新所述无人小车的规划路径。

一旦当前的虚拟城市环境发生了变化，那么该无人小车的规划路径则也需要同步更新。比如，当前的虚拟城市环境中，用户又在前方道路设置了严重拥堵路况，那么便需要重新规划该无人小车的路径，绕开该严重拥堵路段的，从而可以更为快速的到达目的地。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (40)

1.一种基于AR技术的无人小车，其特征在于，至少包括：环境感知模块和执行处理模块；其中：

所述环境感知模块，用于无人小车在虚拟城市环境中运行时，感知所述虚拟城市环境中的虚拟场景，获取所述虚拟场景传感数据；

所述执行处理模块，用于根据控制指令控制所述无人小车在所述虚拟城市环境中运行。

2.根据权利要求1所述的一种无人小车，其特征在于，所述无人小车包括通信芯片，用于将所述场景传感数据通过有线或者无线方式发送给AI控制系统，还用于接收所述AI控制系统的所述控制指令；所述AI控制系统设置在本地服务器/云端服务器。

3.根据权利要求1所述的一种无人小车，其特征在于，所述无人小车包括AI控制系统，用于至少处理所述场景传感数据，生成所述控制指令。

4.根据权利要求2或3所述的一种无人小车，其特征在于，所述无人小车包括一显示器，所述环境感知模块包括摄像头，

所述摄像头前方设置所述显示器，所述显示器，用于显示所述虚拟城市环境；所述摄像头，用于拍摄当前所述虚拟场景的图片；

所述摄像头拍摄的所述图片信息，被直接发送或者通过所述通信芯片发送给所述AI控制系统。

5.根据权利要求2或3所述的一种无人小车，其特征在于，所述环境感知模块还包括：麦克风、环境扫描传感器和/或定位传感器；其中：

所述麦克风，用于接受环境中的声音信号，所述声音信号被直接发送或者通过所述通信芯片发送给所述AI控制系统；

所述环境扫描传感器，用于发射环境扫描信号，同时接收由所述AI控制系统发送并由所述通信芯片转发的环境扫描反馈模拟信号，获取障碍物相关信息；

所述定位传感器，用于定位所述无人小车当前所处的空间位置；

所述无人车的障碍物信息和/或定位信息，被直接发送或者通过所述通信芯片发送给所述AI控制系统。

6.根据权利要求2或3所述的一种无人小车，其特征在于，还包括：

车况感知模块，用于获取所述无人小车当前的车况；

所述无人小车的车况信息，被直接发送或者通过所述通信芯片发送给所述AI控制系统。

7.根据权利要求6所述的一种无人小车，其特征在于，所述车况感知模块包括：车速感知子模块、状态感知子模块和/或基本信息获取子模块；其中：

所述车速感知子模块，用于获取所述无人小车当前的车速；

所述状态感知子模块，用于获取所述无人小车当前剩余动能、里程数；

所述基本信息获取子模块，用于获取所述无人小车的车身尺寸。

8.一种AR虚拟城市系统，其特征在于，包括：

城市数据库，用于存储各种3D地图，及用于存储构建所述虚拟城市的各类3D模型；

输入模块，用于接收用户输入的环境搭建指令；

环境构建模块，用于根据所述环境搭建指令，利用所述城市数据库搭建无人小车进行实训的虚拟城市环境。

9.根据权利要求8所述的一种AR虚拟城市系统，其特征在于，还包括：接口调用模块和/或显示定位模块；

所述接口调用模块，用于与地图类子数据库进行数据交互，从所述地图类子数据库中获取3D地图；

所述显示定位模块，用于根据现实空间中的定位标记，在所述定位标记上覆盖显示所述3D地图。

10.根据权利要求8所述的一种AR虚拟城市系统，其特征在于，还包括：

所述环境构建模块，还用于根据所述用户输入的调用指令，从所述城市数据库中调用相应的3D模型，设置在当前虚拟城市环境中的不同对应位置。

11.根据权利要求8所述的一种AR虚拟城市系统，其特征在于，还包括：

显示模块，用于显示所述无人小车在所述虚拟城市环境中运行的画面。

12.根据权利要求11所述的一种AR虚拟城市系统，其特征在于，所述显示模块，还用于通过屏中屏的模式，显示所述无人小车视角下的当前虚拟场景；和/或，通过屏中屏的模式显示所述无人小车的运行参数。

13.根据权利要求8所述的一种AR虚拟城市系统，其特征在于，所述虚拟城市环境中包含动态3D模型。

14.根据权利要求13所述的一种AR虚拟城市系统，其特征在于，所述动态3D模型包括：移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察。

15.根据权利要求13所述的一种AR虚拟城市系统，其特征在于，所述输入模块，还用于接收用户输入的动态3D模型的参数设置指令；

所述环境构建模块，还用于根据所述动态3D模型的参数设置指令，设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。

16.根据权利要求8-15任一项所述的一种AR虚拟城市系统，其特征在于，所述城市数据库及环境构建模块集成在所述无人小车上；或者，所述城市数据库、及环境构建模块设置在本地服务器/云端服务器。

17.一种AI控制系统，其特征在于，包括：

信号接收模块，至少用于实时接收无人小车的场景传感数据和/或所述无人小车运行的虚拟城市环境数据；

数据处理模块，至少用于对所述场景传感数据进行数据处理，识别所述无人小车当前所处的虚拟场景；

AI决策模块，用于基于所述虚拟城市环境数据，和/或结合所述无人小车当前所处的虚拟场景信息，生成控制所述无人小车运行的控制指令；

信号发送模块，用于将所述控制指令发送给所述无人小车。

18.根据权利要求17所述的一种AI控制系统，其特征在于，所述数据处理模块包括以下的任意一项或多项：

图像识别处理子模块，用于将所述无人小车拍摄的虚拟场景图片进行图像识别处理，识别当前所处的虚拟场景；

障碍信号处理子模块，用于接收所述无人小车发送的障碍物环境扫描信号，获取所述无人小车与障碍物的距离、方位信息；

定位信号处理子模块，用于对接收的所述无人小车的定位信号进行解析处理，获取所述无人小车在所述虚拟城市环境中的位置；

车况信号处理子模块，用于对接收的所述无人小车的车况信号进行相应数据处理，获取所述无人小车当前车况；

声音信号处理子模块，用于对接收的所述无人小车的周边声音信号进行相应数据处理，获取所述无人小车周边情况。

19.根据权利要求18所述的一种AI控制系统，其特征在于，所述AI决策模块包括：

目的地获取子模块，用于获取所述无人小车抵达的目的地；

路径规划子模块，用于根据所述无人小车当前在所述虚拟城市环境的位置信息，及所述无人小车的目的地信息，结合所述虚拟城市环境信息，规划所述无人小车从当前位置运行至所述目的地的路径；

运行控制子模块，用于根据所述无人小车当前所处的虚拟场景信息，结合预设的控制规则，生成实时的控制指令，控制所述无人小车在所述规划的路径上的实时运行。

20.根据权利要求19所述的一种AI控制系统，其特征在于，所述AI决策模块还包括：

路径更新子模块，用于当所述无人小车当前所处的虚拟城市环境发生变化时，更新所述无人小车的规划路径。

21.根据权利要求17所述的一种AI控制系统，其特征在于，还包括：

信号模拟模块，用于根据接收的所述无人小车的定位信息及所述虚拟环境信息，生成环境扫描反馈模拟信号，并将所述环境扫描反馈模拟信号发送给所述无人小车。

22.根据权利要求17所述的一种AI控制系统，其特征在于，还包括：

输入模块，用于接收用户输入的控制规则。

23.根据权利要求17-22任一项所述的一种AI控制系统，其特征在于，所述AI控制系统集成在所无人小车上；或者，所述AI控制系统设置在本地服务器/云端服务器。

24.一种基于AR和AI技术的无人车实训平台，其特征在于，包括权利要求1-7任一项所述的无人小车、权利要求8-16任一项所述的AR虚拟城市系统、及权利要求17-23任一项所述的AI控制系统；其中：

所述AR虚拟城市系统，基于现实空间中的定位标记，显示构建的所述无人小车实训的虚拟城市环境；

所述无人小车，在所述虚拟城市环境中运行，并感知当前的虚拟场景，获取场景传感数据；

所述AI控制系统，实时获取所述虚拟城市环境信息及所述场景传感数据，结合预设的控制规则，生成控制所述无人小车运行的控制指令；

所述无人小车，根据所述AI控制系统的控制指令在所述虚拟城市环境中运行。

25.根据权利要求24所述的无人车实训平台，其特征在于，所述AR虚拟城市系统设置在本地或云端；所述AI控制系统设置在本地或云端。

26.根据权利要求24所述的无人车实训平台，其特征在于，所述AR虚拟城市系统集成在所述无人小车，和/或，所述AI控制系统集成在所述无人小车。

27.一种基于AR和AI技术的无人车实训方法，其特征在于，应用于权利要求24所述的一种基于AR和AI技术的无人车实训平台，所述方法包括：

所述AR虚拟城市系统基于现实空间中的定位标记，显示构建的所述无人小车实训的虚拟城市环境；

当所述无人小车在所述虚拟城市环境中运行时，所述无人小车感知当前的虚拟场景；

所述AI控制系统实时获取所述当前的虚拟场景信息及所述虚拟城市环境信息，结合预设的控制规则，生成控制所述无人小车运行的控制指令；

所述无人小车根据所述控制指令在所述虚拟城市环境中运行。

28.根据权利要求27所述的无人车实训方法，其特征在于，所述AR虚拟城市系统构建所述无人小车实训的虚拟城市环境具体包括：

获取用户输入的环境搭建指令；

根据所述环境搭建指令，从城市数据库中选用相应的3D地图，并在所述3D地图基础上，增加或减少相应的3D模型，搭建出所述无人小车进行实训的虚拟城市环境。

29.根据权利要求27所述的无人车实训方法，其特征在于，还包括：

通过智能终端的显示屏或AR显示设备，显示所述无人小车在所述虚拟城市环境中运行的画面。

30.根据权利要求29所述的无人车实训方法，其特征在于，还包括：

通过屏中屏的模式显示，所述无人小车视角下的当前虚拟场景；和/或，通过屏中屏的模式显示所述无人小车的运行参数。

31.根据权利要求27所述的无人车实训方法，其特征在于，还包括：

根据用户输入的调用指令，从所述城市数据库中调用相应的动态3D模型，设置在当前虚拟城市环境中的相应位置；移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察。

32.根据权利要求31所述的无人车实训方法，其特征在于，还包括：

根据用户输入的动态3D模型的参数设置指令，设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。

33.根据权利要求27所述的无人车实训方法，其特征在于，所述无人小车上装有摄像头，所述摄像头前方设置一显示器；所述无人小车感知当前的虚拟场景具体包括：

所述无人小车的摄像头，通过所述显示器拍摄当前所处的虚拟场景图片。

34.根据权利要求27所述的无人车实训方法，其特征在于，所述无人小车感知当前的虚拟场景具体包括：

所述无人小车通过发射环境扫描信号，同时接收由所述AI控制系统发送并由通信芯片转发的环境扫描反馈模拟信号，获取障碍物相关信息；和/或，所述无人小车通过定位传感器定位自身当前所处的空间位置。

35.根据权利要求27所述的无人车实训方法，其特征在于，还包括：

所述述无人小车获取当前的车况，并将所述车况发送给所述AI控制系统；其中，所述车况包括车速、剩余动能、里程数、车身尺寸之中的任意一项或多项的组合。

36.根据权利要求27所述的无人车实训方法，其特征在于，所述AI控制系统实时获取所述虚拟城市环境信息及所述场景传感数据，结合预设的控制规则，生成控制所述无人小车运行的控制指令具体包括：

所述AI控制系统实时获取所述无人小车上报的场景传感数据和/或所述AR虚拟城市系统上报的虚拟城市环境信息；

所述AI控制系统对所场景传感数据进行数据分析处理，获取所述无人小车当前所处的虚拟场景；

获取所述无人小车的目的地；

根据所述虚拟城市环境信息、所述无人小车当前所处的虚拟场景及所述无人小车的目的地信息，规划所述无人小车从当前位置运行至所述目的地的路径；

根据所述无人小车当前所处的虚拟场景信息，结合预设的控制规则，生成实时的控制指令，控制所述无人小车在所述规划的路径上的实时运行。

37.根据权利要求36所述的无人车实训方法，其特征在于，还包括：

当所述虚拟城市环境发生变化时，所述AR虚拟城市系统通过所述无人小车上报所述变化后的虚拟城市环境信息；

所述AI控制系统根据所述变化后的虚拟城市环境信息，结合所述无人小车当前所处的虚拟场景及目的地信息，更新所述无人小车的规划路径。

38.根据权利要求36所述的无人车实训方法，其特征在于，所述AI控制系统对所场景传感数据进行数据分析处理，获取所述无人小车当前所处的虚拟场景具体包括以下的任意一项或多项：

将所述无人小车拍摄的虚拟场景图片进行图像识别处理，识别当前所处的虚拟场景；

接收所述无人小车发送的障碍物环境扫描信号，获取所述无人小车与障碍物的距离、方位信息；

对接收的所述无人小车的定位信号进行解析处理，获取所述无人小车在所述虚拟城市环境中的位置；

对接收的所述无人小车的车况信号进行相应数据处理，获取所述无人小车当前车况。

39.根据权利要求27-38任一项所述的无人车实训方法，其特征在于，将所述AR虚拟城市系统设置在本地或云端；和/或，将所述AI控制系统设置在本地或云端。

40.根据权利要求27-38任一项所述的无人车实训方法，其特征在于，将所述AR虚拟城市系统集成在所无人小车；和/或，将所述AI控制系统集成在所无人小车。

Images